JP6434834B2 - 検査対象物抽出装置、及び検査対象物抽出方法 - Google Patents

検査対象物抽出装置、及び検査対象物抽出方法 Download PDF

Info

Publication number
JP6434834B2
JP6434834B2 JP2015056076A JP2015056076A JP6434834B2 JP 6434834 B2 JP6434834 B2 JP 6434834B2 JP 2015056076 A JP2015056076 A JP 2015056076A JP 2015056076 A JP2015056076 A JP 2015056076A JP 6434834 B2 JP6434834 B2 JP 6434834B2
Authority
JP
Japan
Prior art keywords
inspection object
image
feature
registered
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015056076A
Other languages
English (en)
Other versions
JP2016176766A (ja
Inventor
伴英 鈴木
伴英 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Solutions Ltd
Original Assignee
Hitachi Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Solutions Ltd filed Critical Hitachi Solutions Ltd
Priority to JP2015056076A priority Critical patent/JP6434834B2/ja
Priority to EP16157560.0A priority patent/EP3070459A1/en
Publication of JP2016176766A publication Critical patent/JP2016176766A/ja
Application granted granted Critical
Publication of JP6434834B2 publication Critical patent/JP6434834B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、物体が反射する光の複数の波長域の反射強度を取得する二つのカメラによって撮影された画像データから検査対象物を抽出する検査対象物抽出装置に関する。
近年、気候変動による自然災害の多発及び労働人口の減少によって広範囲に及ぶ社会インフラ設備の点検・監視業務等に負担を強いられている場面が多くなってきている。例えば道路、鉄道、水道、ガス、及び電力といった社会インフラ設備を維持するためには、これら設備を定期的に点検し、不備があれば補修を実施する必要がある。社会インフラ設備の点検には、目視点検及び打検といった人の経験に基づいて実施されている部分も多く存在しており、点検業務の効率化が求められている。
近年の点検業務の取り組みとして、無人航空機(Unmanned Aerial Vehicle 以下UAV)を用いた社会インフラ設備の点検に注目が集まっている。例えば、橋梁の裏側、及び山中に存在している鉄塔設備等、人が実際に赴いて確認することが難しい箇所を、UAVに搭載されたカメラによって状況を撮影し、劣化の有無を判断する。また、ソーラーパネル等広域のインフラ設備に対して、UAVを用いて上空から撮影し、異常個所を発見する取り組み等が実施されている。
またUAV以外にも、鉄道及び道路設備等では車載カメラ等を用いて検査対象物の動画を撮影し、検査対象物の設置場所及び状況等を確認するといった取り組みも実施されている。
このような場合に、カメラによって撮影された画像データから点検の対象物を抽出し、対象物の3次元での位置情報を把握する必要がある。対象物の3次元での位置情報を把握する方法として、ステレオカメラを用いて、撮影された2枚の画像の視差を用いて対象物を認識する技術として、例えば、特開2015−42952号公報がある。
この公報には、「対象物を検出する障害物検知センサ部と、障害物検知センサ部によって検出された対象物までの距離を測定すると共に、この測定に基づいて距離マップを生成する制御部と、制御部によって生成された距離マップの距離パターンから、利用状況から現実に検知し得ないと判断される距離パターンを検知した場合に、この検知された部分が測定エラーであると判定する距離パターン認識部とを備える。」と記載されている(要約参照)。
特開2015−42952号公報
特許文献1に記載された技術では、ステレオカメラから全ての距離の画像に対して対象物か否かを判定しているため、検査対象物以外の地物も検査対象物として抽出する可能性があり、処理負荷も高いものであった。
そこで、本発明は、検査対象物以外の地物を検査対象物として抽出する可能性を低減し、かつ処理負荷を軽減する検査対象物抽出装置を提供することを目的とする。
上記課題を解決するために、本発明は、物体が反射する光の複数の同じ波長域の反射強度を取得する二つのカメラによって撮影された画像データから検査対象物を抽出する検査対象物抽出装置であって、前記検査対象物の波長域の反射強度の範囲を示す値が登録された検査対象物特徴データを保持し、前記二つのカメラによって撮影された画像データの視差に基づく前記二つのカメラからの距離が、所定範囲に属する画像を取得し、前記取得した画像のうち、前記波長域の反射強度が前記検査対象物特徴データに登録された波長域の反射強度の範囲内である画像を前記検査対象物として抽出することを特徴とする。
本発明によれば、検査対象物以外の地物を検査対象物として抽出する可能性を低減し、かつ処理負荷を軽減する検査対象物抽出装置を提供できる。
上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。
実施例の計算機システムの構成図である。 実施例の検査対象物抽出システムの物理的な構成を示すブロック図である。 実施例のマルチスペクトルステレオカメラの各波長域における反射強度の説明図である。 実施例のマルチスペクトル画像の説明図である。 実施例のカメラ情報データベースの説明図である。 実施例の利用モジュール管理テーブルの説明図である。 実施例の検査対象物スペクトル特徴データベースの説明図である。 実施例の検査対象物スペクトル特徴データベースの説明図である。 実施例の検査対象物抽出結果データベースの説明図である。 実施例の地理空間変換処理部の地理空間変換処理、及び地理位置情報参照データベースの説明図である。 実施例の検査対象物地理空間情報データベースの説明図である。 実施例の検査対象物抽出処理のフローチャートである。 実施例の端末の表示部に表示される検査結果表示画面の説明図である。
図1は、実施例の計算機システムのシステム構成図である。
計算機システムは、マルチスペクトルステレオカメラ101、検査対象物抽出システム104、及びホスト端末130を備える。
マルチスペクトルステレオカメラ101は、撮影対象物が反射する光の強度を複数の波長域ごとに取得できる二つのマルチスペクトルカメラ101A及び101Bを有する。マルチスペクトルカメラ101A及び101Bによって撮影された画像の視差によって奥行きに関する情報が把握可能となる。本実施例のマルチスペクトルステレオカメラ101は、例えば、コンクリート点検用の車両、UAV、及び線路点検用の車両等の移動体に設置される。
検査対象物抽出システム104は、マルチスペクトルステレオカメラ101が撮像した画像から検査対象物を抽出する。検査対象物抽出システム104の物理的な構成は図2で説明する。
検査対象物抽出システム104は、映像保存部111、所定距離画像抽出部112、検査対象物抽出部113、地理空間変換処理部114、地理空間データベース(DB)更新部115、スペクトル解析部116、及び差分解析処理部117を有する。
また、検査対象物抽出システム104は、カメラ情報データベース(DB)105、映像データベース(DB)106、検査対象物スペクトル特徴データベース(DB)107、検査対象物抽出結果データベース(DB)108、地理位置情報参照データベース(DB)109、及び検査対象物地理空間情報データベース(DB)110にアクセス可能である。
映像保存部111は、マルチスペクトルステレオカメラ101によって撮影された映像データを映像データベース106に格納する。所定距離画像抽出部112は、マルチスペクトルステレオカメラ101によって撮影された映像データのフレームからマルチスペクトルステレオカメラ101から所定の距離にある画像を、検査対象物抽出領域として抽出する。
検査対象物抽出部113は、検査対象物スペクトル特徴データベース107を参照して、所定距離画像抽出部112によって抽出された検査対象物抽出領域から検査対象物を抽出し、検査対象物の画像座標及び範囲を検査対象物抽出結果データベース108に登録する。
地理空間変換処理部114は、地理位置情報参照データベース109を参照し、検査対象物抽出部113によって抽出された検査対象物の地理的な位置情報を算出する。地理空間データベース更新部115は、地理空間変換処理部114によって算出された検査対象物の地理的な位置情報を検査対象物地理空間情報データベース110に登録する。
スペクトル解析部116は、検査対象物抽出結果データベース108を参照し、検査対象物として抽出された画像のスペクトルを正規化し、スペクトル正規化指数を算出する。差分解析処理部117は、スペクトル解析部116の解析結果の差分を解析する。
カメラ情報データベース105には、マルチスペクトルステレオカメラ101の各種諸元情報が登録される。カメラ情報データベース105の詳細は図5で説明する。映像データベース106には、マルチスペクトルステレオカメラ101によって撮影された映像データが登録される。映像データベース106の詳細は図6で説明する。なお、映像データは、静止画であってもよいし、動画であってもよい。
検査対象物スペクトル特徴データベース107には、各検査対象の反射強度、及び特徴的なスペクトル情報等が正規化された値が登録される。検査対象物スペクトル特徴データベース107の詳細は図7A及び図7Bで説明する。検査対象物抽出結果データベース108には、検査対象物抽出部113によって抽出された検査対象物の画像座標及び範囲が登録される。検査対象物抽出結果データベース108の詳細は図8で説明する。
地理位置情報参照データベース109には、地物の画像と、当該地物の地理的な位置情報とが登録される。地理位置情報参照データベース109の詳細は図9で説明する。検査対象物地理空間情報データベース110には、検査対象物抽出部113によって抽出された検査対象物の地理的な位置情報、及び当該検査対象物の3Dオブジェクトの格納場所等が登録される。検査対象物地理空間情報データベース110の詳細は図10で説明する。
ホスト端末130は、ネットワーク120を介して検査対象物抽出システム104に接続され、表示部131、及び入力部132を有する。表示部131は、例えば、ディスプレイ等であり、検査対象物の検査結果表示画面1200(図12参照)が表示される。入力部132は例えば、キーボード及びマウス等であり、管理者等は、入力部132を介して、検査対象項目、検査範囲、及び検査期間等を入力する。
図2は、実施例の検査対象物抽出システム104の物理的な構成を示すブロック図である。
本実施例の検査対象物抽出システム104は、プロセッサ(CPU)201、メモリ202、補助記憶装置203及び通信インターフェース204を有する計算機によって構成される。
プロセッサ201は、メモリ202に格納されたプログラムを実行する。メモリ202は、不揮発性の記憶素子であるROM及び揮発性の記憶素子であるRAMを含む。ROMは、不変のプログラム(例えば、BIOS)等を格納する。RAMは、DRAM(Dynamic Random Access Memory)のような高速かつ揮発性の記憶素子であり、プロセッサ201が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
補助記憶装置203は、例えば、磁気記憶装置(HDD)、フラッシュメモリ(SSD)等の大容量かつ不揮発性の記憶装置であり、プロセッサ201が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置203から読み出されて、メモリ202にロードされて、プロセッサ201によって実行される。
メモリ202には、カメラ情報データベース105、映像データベース106、検査対象物スペクトル特徴データベース107、検査対象物抽出結果データベース108、地理位置情報参照データベース109、及び検査対象物地理空間情報データベース110が格納される。また、メモリ202には、映像保存部111、所定距離画像抽出部112、検査対象物抽出部113、地理空間変換処理部114、地理空間データベース更新部115、スペクトル解析部116、及び差分解析処理部117それぞれに対応するプログラムが格納され、プロセッサ201がこれらのプログラムを実行することによって、これらの機能が実装される。
検査対象物抽出システム104は、入力インターフェース205及び出力インターフェース208を有してもよい。入力インターフェース205は、キーボード206やマウス207等が接続され、オペレータからの入力を受けるインターフェースである。出力インターフェース208は、ディスプレイ装置209やプリンタ等が接続され、プログラムの実行結果をオペレータが視認可能な形式で出力するインターフェースである。
通信インターフェース204は、所定のプロトコルに従って、他の装置(ホスト端末130等)との通信を制御するネットワークインターフェース装置である。
プロセッサ201が実行するプログラムは、リムーバブルメディア(CD−ROM、フラッシュメモリ等)又はネットワークを介して検査対象物抽出システム104に提供され、非一時的記憶媒体である不揮発性の補助記憶装置203に格納される。このため、検査対象物抽出システム104は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
検査対象物抽出システム104は、物理的に一つの計算機上で、若しくは、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。
図3は、実施例のマルチスペクトルステレオカメラ101の各波長域における反射強度の説明図である。
マルチスペクトルカメラ101A及び101Bは、同じ諸元のカメラである。マルチスペクトルカメラ101A及び101Bは、撮影対象301が各波長で反射する反射強度を示す分光曲線304のうち、所定の波長域303A〜303Hごとに分割された反射強度を取得できる。図3では、マルチスペクトルカメラ101A及び101Bは、八個の波長域303A〜303Hの反射強度を取得するがこれに限定されず、数十〜数百の波長域の反射強度を取得してもよい。なお、波長域303A〜303Hを総称する場合、波長域303と記載する。
通常のカメラは、分光曲線304のうち、赤色の波長域、緑色の波長域、及び青色の波長域の反射強度を取得し、これらの反射強度を組み合わせることによって、カラー画像を生成する。マルチスペクトルカメラ101A及び101Bは、赤色、緑色、及び青色の波長域以外の波長域の反射強度も取得する。
なお、マルチスペクトルカメラ101A及び101Bは、各波長域303A〜303Hの反射強度に基づいて色分けされた画像データ305A〜305Dを生成する。画像データ305Aは波長域303Aの反射強度に対応し、画像データ305Bは波長域303Cの反射強度に対応し、画像データ305Cは波長域303Eの反射強度に対応し、画像データ305Dは波長域303Gの反射強度に対応する。
図3では、四つの波長域に対応して画像データ305A〜305Dが生成されたが、マルチスペクトルカメラ101A及び101Bが反射強度を取得可能な全ての波長域に対応して画像データが生成される。画像データ305A〜305Dを総称する場合、画像データ305と記載する。
図4は、実施例のマルチスペクトル画像の説明図である。
図3に示す各画像データ305は各波長域303に対応するレイヤ401A〜401Eごとに管理されることによって、各画像データ305を一つのマルチスペクトル画像(フレーム)として保持できるようになる。レイヤ401A〜401Eはバンドと記載する場合もある。各レイヤ401A〜401Eの画像データは、N×Mのピクセルによって構成される。各ピクセルには、各ピクセルに対応する撮影対象301の位置の各波長域の反射強度を示す値が格納される。なお、マルチスペクトル動画は、時系列順に連続するマルチスペクトル画像の集合である。
図5は、実施例のカメラ情報データベース105の説明図である。
カメラ情報データベース105は、マルチスペクトルステレオカメラID501、イメージセンサ502、レンズ焦点距離503、横ピクセル数504、縦ピクセル数505、カメラ間距離506、バンド数507、バンドビット数508、及び取得波長域509A〜509Hを含む。
マルチスペクトルステレオカメラID501には、マルチスペクトルステレオカメラ101の識別情報が登録される。これによって、複数のマルチスペクトルステレオカメラ101の諸元に関する情報が区別可能となる。
イメージセンサ502には、各マルチスペクトルステレオカメラ101に搭載された画像センサの種類を示す情報が登録される。レンズ焦点距離503には、各マルチスペクトルステレオカメラ101のレンズ焦点距離が登録される。横ピクセル数504、及び縦ピクセル数505には、各マルチスペクトルステレオカメラ101が撮影した画像の横のピクセル数、及び縦のピクセル数が登録される。
カメラ間距離506には、マルチスペクトルカメラ101Aとマルチスペクトルカメラ101Bとの間の距離が登録される。バンド数507には、各マルチスペクトルステレオカメラ101が取得可能なバンドの数が登録される。バンドビット数508には、各バンドに対応する画像データのピクセルのビット数が登録される。
取得波長域509A〜509Hには、各マルチスペクトルステレオカメラ101が取得できる波長域が登録される。図5では、八個の取得波長域が登録されるがこれに限定されない。
図6は、実施例の映像データベース106の説明図である。
映像データベース106は、映像ID601、マルチスペクトルステレオカメラID602、ファイルタイプ603、ファイル保存場所604、ファイル名L605、ファイル名R606、撮影日607、撮影時間608、及びフレーム数609を含む。
映像ID601には、映像データの識別情報が登録される。マルチスペクトルステレオカメラID602には、マルチスペクトルステレオカメラ101の識別情報が登録される。マルチスペクトルステレオカメラ101の識別情報はカメラ情報データベース105に紐付けられるので、検査対象物抽出システム104は、マルチスペクトルステレオカメラ101の識別情報を入力キーにして、カメラ情報データベース105を検索できる。
ファイルタイプ603には、映像データの種類が動画であるか静止画であるかを識別可能な情報が登録される。ファイル保存場所604には、映像データが格納されたディレクトリを示す情報が登録される。
ファイル名L605には、マルチスペクトルカメラ101Aが撮影した映像データのファイル名が登録され、ファイル名R606には、マルチスペクトルカメラ101Bが撮影した映像データのファイル名が登録される。
撮影日607には、マルチスペクトルステレオカメラ101が撮影した年月日が登録され、撮影時間608には、マルチスペクトルステレオカメラ101が撮影した時刻が登録される。
フレーム数609には、映像データが動画である場合には、映像データを構成するフレーム(画像データ)の数が登録され、映像データが静止画である場合には、「1」が登録される。
なお、映像保存部111は、マルチスペクトルステレオカメラ101が撮影した映像データをリアルタイムで補助記憶装置203に格納してもよいし、マルチスペクトルステレオカメラ101が撮影した映像データをネットワーク又は可搬型記憶媒体等を介して取得し、取得した映像データを補助記憶装置203に格納してもよい。映像保存部111は、映像データを補助記憶装置203に格納する場合、映像データベース106を更新する。
図7Aは、実施例の検査対象物スペクトル特徴データベース107の説明図である。
検査対象物スペクトル特徴データベース107は、各検査対象物に予め設定される。図7Aでは、植生の検査対象物スペクトル特徴データベース107及び水の検査対象物スペクトル特徴データベース107を示す。
検査対象物スペクトル特徴データベース107は、バンド701、波長域702、及び反射率703を含む。
バンド701には、マルチスペクトルステレオカメラ101が取得した各バンドの識別情報が登録される。波長域702には、各バンドの波長域の範囲が登録される。反射率703には、光の反射率が登録され、反射率が高いほど反射強度は大きくなる。例えば、各バンドの画像データのピクセルが8ビットであり、ピクセルの格納可能な値が0〜255である場合、バンド1の反射率703は0〜10%が登録されているため、バンド1の画像データのピクセルに0〜26が登録されていれば、当該ピクセルは植生のバンド1の要件を満たすことになる。バンド2〜バンドNの画像データの当該ピクセルの値がそれぞれ、バンド2〜バンドNの反射率703の範囲であれば、当該ピクセルは検査対象物「植生」として抽出される。
なお、検査対象物スペクトル特徴データベース107は、他の形式で表現されてもよく、例えば、図7Bに示すようなものであってもよい。
図7Bは、実施例の検査対象物スペクトル特徴データベース107の説明図である。
検査対象物スペクトル特徴データベース107は、検査対象物711、特徴バンド712、及び検査対象物指数713を含む。
検査対象物711には、検査対象物の種別を示す情報が登録される。特徴バンド712には、他の検査対象物のバンドの反射強度に比べて特徴的なバンドの識別情報が登録される。検査対象物指数713には、特徴バンド712に登録された各バンドに対応する画像データのピクセルに格納された値を正規化して算出される正規化指数の範囲が登録される。なお、植生の正規化指数としては、例えば、NDVI(Normalized Difference Vegetation Index)等がある。
例えば、検査対象物が植生である場合、680nm付近の波長域では反射率が0%であり、750nm付近の波長域では反射率が100%近くになるため、これらの波長域に対応するバンドの画像データのピクセルに格納された値を所定の計算式に代入して正規化指数が算出され、植生の画像データから算出された正規化指数の範囲が検査対象物指数713に登録される。
この場合、検査対象物抽出部113は、ある検査対象物の特徴バンド712に登録されたバンドに対応する画像データのピクセルに格納された値を正規化して正規化指数を算出する。そして、検査対象物抽出部113は、算出された正規化指数が検査対象物指数713に登録された範囲内であれば、当該ピクセルをある検査対象物として抽出する。
これによって、全てのバンドに対応する画像データに対して処理を実行する必要がなくなり、特徴的なバンドに対応する画像データに対してのみ処理を実行するため、検査対象物抽出システム104の処理負荷を軽減することができ、検査対象物の抽出精度を高めることができる。
図8は、実施例の検査対象物抽出結果データベース108の説明図である。
検査対象物抽出結果データベース108は、映像ID801、フレームID802、フレームL ID803、フレームR ID804、抽出対象805、抽出オブジェクト数806、抽出オブジェクトL画像座標807A〜807C、及び抽出オブジェクトR画像座標808A〜808Cを含む。
映像ID801には、検査対象物が抽出された映像データの識別情報が登録される。フレームID802には、検査対象物が抽出された映像データが動画である場合、検査対象物が抽出されたフレームの識別情報が登録される。フレームL ID803には、マルチスペクトルカメラ101Aのフレームの識別情報が登録される。フレームR ID804には、マルチスペクトルカメラ101Bのフレームの識別情報が登録される。
抽出対象805には、抽出された検査対象物の種類を示す情報が登録される。抽出オブジェクト数806には、抽出された検査対象物の数が登録される。抽出オブジェクトL画像座標807A〜807Cには、フレームL ID802に登録された識別情報によって識別されるフレームから抽出された検査対象物の当該フレーム内での座標が登録される。抽出オブジェクトR画像座標808A〜808Cには、フレームR ID803に登録された識別情報によって識別されるフレームから抽出された検査対象物の当該フレーム内での座標が登録される。
図9は、実施例の地理空間変換処理部114の地理空間変換処理、及び地理位置情報参照データベース109の説明図である。
地理空間変換処理部114の地理空間変換処理の詳細は図11で説明し、ここでは、地理位置情報参照データベース109について説明する。
地理位置情報参照データベース109は、地物ID901、画像保存場所902、ファイル名903、画像座標A904、画像座標B905、及び地理座標906を含む。
地物ID901には、地物の識別情報が登録される。画像保存場所902には、地物の画像が保存されたディレクトリを示す情報が登録される。ファイル名903には、地物の画像のファイル名が登録される。
画像座標A904には、マルチスペクトルカメラ101Aのフレーム上の地物の3次元座標が登録され、画像座標B905には、マルチスペクトルカメラ101Bのフレーム上の地物の3次元座標が登録される。各フレームの3次元座標は、地理空間変換処理部114がステレオ視差に基づいて算出する。また、地理座標906には、地物の地理的な座標(緯度、経度、及び標高)が登録される。
例えば、地物の画像は、911及び912に示す画像である。
図10は、実施例の検査対象物地理空間情報データベース110の説明図である。
検査対象物地理空間情報データベース110は、映像ID1001、フレームID1002、検査対象1003、3次元情報取得日1004、検査対象地理情報(中央値)1005、検査対象範囲1006、3DオブジェクトID1007、3Dオブジェクト画像保存場所1008、及び3Dオブジェクトファイル名1009を含む。
映像ID1001には、検査対象物が抽出された映像データの識別情報が登録される。フレームID1002には、検査対象物が抽出されたフレームの識別情報が登録される。検査対象1003には、検査対象物の種別が登録される。3次元情報取得日1004には、3次元座標を取得した検査対象物のフレームが撮影された年月日及び時刻が登録される。検査対象地理情報(中央値)1005には、検査対象物として抽出された範囲の中心座標が登録される。検査対象範囲1006には、検査対象物として抽出された中心座標からの範囲が登録される。
3DオブジェクトID1007には、検査対象物の3Dオブジェクトの識別情報が登録される。3Dオブジェクト画像保存場所1008には、検査対象物の3Dオブジェクトの画像が保存されたディレクトリを示す情報が登録される。3Dオブジェクトファイル名1009には、検査対象物の3Dオブジェクトの画像のファイル名が登録される。
図11は、実施例の検査対象物抽出処理のフローチャートである。
検査対象物抽出処理は、検査対象物抽出システム104によって所定のタイミングで実行される。例えば、前回検査対象物抽出システム104が検査対象抽出処理を実行してから所定時間が経過した場合であってもよいし、ホスト端末130から検査対象物抽出処理の実行要求を検査対象物抽出システムが受信した場合であってもよいし、検査対象物抽出処理が実行されていない映像データが所定数以上記憶された場合であってもよい。
まず、検査対象物抽出システム104は、検査対象物抽出処理が実行されていない映像データから一の映像データを選択する(1101)。
次に、検査対象物抽出システム104は、選択した映像データの未だ検査対象物抽出処理が実行されていないフレームから時系列が最も古い一のフレームを選択する(1102)。
次に、所定距離画像抽出部112は、ステップ1102の処理で選択したフレームの視差を算出し、算出した視差に基づいてマルチスペクトルステレオカメラ101からの距離が所定範囲に存在するピクセルを抽出する(1103)。
具体的には、所定距離画像抽出部112は、マルチスペクトルカメラ101Aによって撮影されたフレームと、当該フレームとペアになるマルチスペクトルカメラ101Bによって撮影されたフレームとに対して、視差を計算する。所定距離画像抽出部112は、二つのフレームのある一つのバンドに対応する画像データを利用して視差を計算してもよいし、ペアとなるフレームのマッチング精度を向上させるために、例えば、図7Bに示す検査対象物スペクトル特徴データベース107に登録された特徴バンド712に登録された複数のバンドに対応する画像データを利用して視差を計算してもよい。
所定距離画像抽出部112は、例えば、ステップ1102の処理で選択したフレームの全てのバンドに対応する画像データのピクセルのうち所定範囲外に存在するピクセルに0を登録して、これらのピクセルをマスクすることによって、所定範囲内に存在するピクセルのみを抽出してもよい。このように、所定範囲外に存在するピクセルをマスクすることによって、マスクされたピクセルには検査対象物抽出処理が実行されないので、検査対象物抽出システム104の処理負荷を軽減できる。
次に、検査対象物抽出部113は、検査対象物スペクトル特徴データベース107を参照して、ステップ1102の処理で選択したフレームのステップ1103の処理で抽出されたピクセルに対応する位置のピクセルから検査対象物オブジェクトを抽出する(1104)。
まず、図7Aに示す検査対象物スペクトル特徴データベース107を用いる場合について説明する。検査対象物抽出部113は、ステップ1102の処理で選択したフレームの全てのバンドの画像データのピクセルのうち、ステップ1103の処理で抽出されたピクセルと同じ位置のピクセルを選択する。そして、検査対象物抽出部113は、選択したピクセルの値が、検査対象物スペクトル特徴データベース107の各バンドの反射率703を満たすか否かを判定し、全てのバンドの反射率703を満たすピクセルを検査対象物として抽出する。
具体的には、画像データのピクセルは、2ビット単位で値が取得されている。例えば、8ビットでピクセルの値が取得されている場合、ピクセルには0〜255の値が格納され、16ビットでピクセルの値が取得されている場合、ピクセルには0〜65535の値が格納される。ピクセルに格納される値は2の値に近づくほど、当該ピクセルの位置の対象物の反射強度が大きいことを示す。例えば、8ビットでピクセルの値が取得されている場合、図7Aに示す植生の検査対象物スペクトル特徴データベース107のバンド1の反射率703には0〜10%が登録されているため、バンド1の画像データのマルチスペクトルステレオカメラ101からの距離が所定範囲内に存在するピクセルのうち、0〜26の値が格納されたピクセルが、バンド1の反射率703を満たす。検査対象物抽出部113は、各バンドの画像データのマルチスペクトルステレオカメラ101からの距離が所定範囲内に存在するピクセルが全てのバンド1〜バンドNの反射率703を満たすと、当該ピクセルを検査対象物として抽出する。
なお、検査対象物として抽出したピクセルに隣接するピクセルは、同じ検査対象物のオブジェクトとして取り扱われる。しかし、隣接するピクセルそれぞれが異なる検査対象物として抽出された場合、これらのピクセルは別々の検査対象物のオブジェクトとして取り扱われる。
次に、図7Bに示す検査対象物スペクトル特徴データベース107を用いる場合について説明する。この場合、検査対象物抽出部113は、特徴バンド712に登録されたバンドの画像データのマルチスペクトルステレオカメラ101からの距離が所定範囲内に存在するピクセルの値を正規化した正規化指数を算出する。そして、検査対象物抽出部113は、算出した正規化指数が検査対象物指数713に登録された範囲内であれば、正規化指数が算出されたピクセルを検査対象物として抽出する。これによれば、図7Bで説明したように、検査対象物抽出システム104の処理負荷を軽減でき、検査対象物のピクセルの抽出精度を向上させることができる。
なお、ステップ1102の処理では、検査対象物抽出部113は、検査対象物として抽出されたピクセル以外のピクセルに所定の値を登録し、検査対象物以外のピクセルをマスクしてもよい。
以上によって、マルチスペクトルステレオカメラ101からの距離が所定範囲内のピクセルから検査対象物を抽出するので、検査対象物抽出システム104の処理負荷を軽減でき、当該距離の検査対象物を正確に抽出できる。
次に、検査対象物抽出部113は、ステップ1104の処理で検査対象物として抽出されたピクセルの座標等を検査対象物抽出結果データベース108に登録する(1105)。具体的には、検査対象物抽出部113は、映像ID801に、ステップ1101の処理で選択した映像データの識別情報を登録し、フレームID802に、ステップ1102の処理で選択したフレームの識別情報を登録し、フレームL ID803に、マルチスペクトルカメラ101Aの当該フレームの識別情報を登録し、フレームR ID804に、マルチスペクトルカメラ101Bの当該フレームの識別情報を登録する。また、検査対象物抽出部113は、抽出対象805に、検査対象物の種類を示す情報を登録し、抽出オブジェクト数806に、ステップ1102の処理で選択したフレームから抽出された検査対象オブジェクトの数を登録する。また、検査対象物抽出部113は、抽出オブジェクトL 画像座標に、各検査対象オブジェクトの左下のピクセルのマルチスペクトルカメラ101Aが撮影したフレーム内での座標、及び各検査対象オブジェクトの右上のピクセルのマルチスペクトルカメラ101Aが撮影したフレーム内での座標を登録する。また、検査対象物抽出部113は、抽出オブジェクトR 画像座標に、各検査対象オブジェクトの左下のピクセルのマルチスペクトルカメラ101Bが撮影したフレーム内での座標、及び各検査対象オブジェクトの右上のピクセルのマルチスペクトルカメラ101Bが撮影したフレーム内での座標を登録する。
地理空間変換処理部114は、ステップ1102の処理で選択したフレームのステレオ視差を用いて、フレームの座標(2次元座標)をマルチスペクトルステレオカメラ101の位置を原点として3次元座標に変換する(1106)。ステップ1106の処理におけるステレオ視差の算出には、ステップ1102の処理と同様に、一つのレイヤの画像データを用いてもよいし、複数のレイヤの画像データを用いてもよい。
次に、地理空間変換処理部114は、地理位置情報参照データベース109を参照し、各フレームの検査対象物の座標に対応する地理的な位置情報(緯度、経度、及び標高)を算出する(1107)。
ステップ1107の処理について、図9を用いて説明する。
図9に示すフレームA910がステップ1102の処理で選択したフレームであるものとする。
地理位置情報参照データベース109には地物ID「1」及び「2」の地物の地理的な位置情報がそれぞれ登録されている。なお、図9では、地物ID「2」の地理位置情報参照データベース109は、地物ID「1」の地理位置情報参照データベース109の背面に示される。ここで、地物ID「1」の画像911は、フレームA910の地物913が予め撮影された画像であり、地物ID「2」の画像912は、フレームA910の地物914が予め撮影された画像である。
地理空間変換処理部114は、フレームA910から地物ID「1」の画像911に対応する地物913、及び地物ID「2」の画像912に対応する地物914を抽出する。そして、地理空間変換処理部114は、地物ID「1」及び地物ID「2」の地理位置情報参照データベース109を参照し、抽出した地物913の地理座標、及び抽出した地物914の地理座標を取得し、取得した地理座標に基づいて、フレームA910の各3次元座標に対応する地理的な位置情報を算出する。なお、図9では、二つの地物の地理的な位置情報に基づいて、フレームA910の3次元座標に対応する地理的な位置情報を算出したが、フレームA910の3次元座標に対応する地理的な位置情報は、少なくとも一つの地物の地理的な位置情報に基づいて算出することができる。
なお、地理空間変換処理部114は、抽出した地物913のマルチスペクトルカメラ101Aで撮影されたフレームA910の画像座標を地物ID「1」の地理位置情報参照データベース109の画像座標A904に登録し、抽出した地物913のマルチスペクトルカメラ101Bで撮影されたフレームA910の画像座標を、地物ID「1」の地理位置情報参照データベース109の画像座標B905に登録する。また、地理空間変換処理部114は、抽出した地物914のマルチスペクトルカメラ101Aで撮影されたフレームA910の画像座標を地物ID「2」の地理位置情報参照データベース109の画像座標A904に登録し、抽出した地物914のマルチスペクトルカメラ101Bで撮影されたフレームA910の画像座標を、地物ID「2」の地理位置情報参照データベース109の画像座標B905に登録する。
また、地理空間変換処理部114は、フレームA910から地物913と同じ種類であって、かつマルチスペクトルステレオカメラ101からの距離が所定範囲内にある地物915の画像を取得し、取得した地物915の画像921の格納場所、及び地理的な位置情報を、地物ID「3」の地理位置情報参照データベース109に登録する。同じく、地理空間変換処理部114は、フレームA910から地物914と同じ種類であって、かつマルチスペクトルステレオカメラ101からの距離が所定範囲内にある地物916の画像を取得し、取得した地物916の画像922の格納場所、及び地理的な位置情報を、地物ID「4」の地理位置情報参照データベース109に登録する。
ステップ1102の処理でフレームA910の時系列的に連続する次のフレームB920が選択された場合、地理空間変換処理部114は、地物ID「3」及び「4」の地理位置情報参照データベース109を参照して、フレームB920の座標に対応する地理的な位置情報を算出できる。
これによって、マルチスペクトルステレオカメラ101の位置情報が不明であっても、マルチスペクトルステレオカメラ101によって撮影されたフレームの地理的な位置情報を取得できる。また、マルチスペクトルステレオカメラ101の位置情報が取得可能であれば、当該位置情報とステレオ視差とを用いて、フレームの地理的な位置情報を取得してもよい。
なお、図9では、マルチスペクトルステレオカメラ101からの距離が所定範囲内になる地物の画像を取得することによって、時系列的に連続する次のフレームに当該地物の画像が存在する可能性を高めることができる。例えば、フレームA910において、マルチスペクトルステレオカメラ101との距離が地物913より小さい地物の画像を取得してしまうと、当該地物の画像がフレームB920に存在せず、フレームB920の3次元座標を地理的に対応する位置情報を取得できなくなる。
次に、地理空間変換処理部114は、ステップ1102の処理で選択したフレームの検査対象物のオブジェクトの画像座標に対応する地理的な位置情報を取得する。そして、地理空間データベース更新部115は、当該検査対象オブジェクトの地理的な位置情報を検査対象物地理空間情報データベース110に登録する(1108)。
次に、検査対象物抽出システム104は、ステップ1101の処理で選択した映像フレームの全てのフレームにステップ1102〜1108の処理が実行されたか否かを判定する(1109)。
ステップ1101の処理で選択した映像フレームの全てのフレームにステップ1102〜1108の処理が実行されていないと、ステップ1109の処理で判定された場合(1109:No)、検査対象物抽出システム104は、ステップ1102の処理に戻り、時系列的に連続する次のフレームを選択する。
一方、ステップ1101の処理で選択した映像フレームの全てのフレームにステップ1102〜1108の処理が実行されたと、ステップ1109の処理で判定された場合(1109:Yes)、検査対象物抽出システム104は、全ての映像データにステップ1101〜1109の処理が実行されたか否かを判定する(1110)。
ステップ1110の処理で、全ての映像データにステップ1101〜1109の処理が実行されていないと判定された場合(1110:No)、検査対象物抽出システム104は、ステップ1101の処理に戻り、次の映像データを選択する。
一方、ステップ1110の処理で、全ての映像データにステップ1101〜1109の処理が実行されたと判定された場合(1110:Yes)、検査対象物抽出システム104は、検査対象物抽出処理を終了する。
図12は、実施例のホスト端末130の表示部131に表示される検査結果表示画面1200の説明図である。
検査結果表示画面1200は、検査対象入力領域1210、差分解析対象入力領域1220、及び検査結果表示領域1230を含む。
検査対象入力領域1210は、検査対象、日付、表示ボタン、非表示ボタンを含む。検査対象には、検査対象の検査対象物の種類が入力される。日付には、検査対象となる年月日が入力される。ホスト端末130は、表示ボタンが操作されると、検査対象入力領域1210に入力された情報を含む検査要求を検査対象物抽出システム104に送信し、検査結果を受信して検査結果表示領域1230に検査結果を表示する。また、ホスト端末130は、非表示ボタンが操作されると、検査結果表示領域1230に表示された検査結果を消去する。
検査対象物抽出システム104は、検査要求を受信した場合、図10に示す3次元情報取得日1004が、受信した検査結果に含まれる検査対象となる年月日と一致し、検査対象1003に受信した検査要求に含まれる検査対象の種類を示す情報が登録された検査対象物地理空間情報データベース110を取得する。
そして、検査対象物抽出システム104は、取得した検査対象物地理空間情報データベース110の検査対象地理情報(中央値)1005に登録された地理的な位置情報を取得し、取得した地理的な位置情報を含む検査結果をホスト端末130に送信する。
ホスト端末130は、検査結果を受信すると、検査結果表示領域1230の受信した検査結果に含まれる地理的な位置情報の位置に「×」1211をプロットし、当該箇所で検査対象が検出されたことを表示する。なお、ホスト端末130は、「×」1211が操作された場合、詳細画面1212を表示する。詳細画面1212には、場所、高さ、検査結果及び対象が表示される。
差分解析対象入力領域1220は、差分解析対象、緯度、経度、範囲、期間、表示ボタン、及び非表示ボタンを含む。差分解析対象には、差分解析の対象となる検査対象物の種類が入力される。緯度及び経度には、差分解析の対象となる範囲の中心点の緯度及び経度が入力される。範囲には、差分解析の対象となる中心点からの範囲が入力される。期間には、差分解析の対象となる期間が入力される。
ホスト端末130は、表示ボタンが操作されると、差分解析対象入力領域1220に入力された情報を含む差分解析要求を検査対象物抽出システム104に送信し、差分解析結果を受信して検査結果表示領域1230に差分解析結果を表示する。ホスト端末130は、非表示ボタンが操作されると、検査結果表示領域1230に表示された差分解析結果を消去する。
検査対象物抽出システム104は、差分解析要求を受信した場合、図10に示す3次元情報取得日1004に登録された年月日が、受信した検査結果に含まれる検査対象となる期間の範囲に含まれ、検査対象1003に受信した差分解析要求に含まれる差分解析の対象となる検査対象物の種類を示す情報が登録され、検査対象地理情報1005に登録された地理的な位置情報が受信した差分解析要求に含まれる差分解析の対象となる範囲に含まれる検査対象物地理空間情報データベース110を取得する。
そして、スペクトル解析部116は、取得した検査対象物地理空間情報データベース110によって特定される映像データのフレームの検査対象物に対応する画像の所定の波長域の反射強度を正規化して、スペクトル正規化指数を算出する。なお、スペクトル解析部116は、図11に示すステップ1108の処理の実行後、各フレームの検査対象物に対応する画像のスペクトル正規化指数を予め算出しておいてもよい。
差分解析処理部117は、取得した検査対象物地理空間情報データベース110によって特定される映像データのフレームに対して、同じ地理的な位置情報であって、かつ同じ種類の検査対象物が抽出されたフレーム群を特定する。そして、差分解析処理部117は、特定したフレーム群から時系列が最も古いフレーム(1番目のフレーム)の検査対象物のスペクトル正規化指数と当該フレームの次のフレーム(2番目のフレーム)の検査対象物のスペクトル正規化指数との差分を算出する。次に、差分解析処理部117は、2番目のフレームの検査対象物のスペクトル正規化指数と当該フレームの次のフレーム(3番目のフレーム)の検査対象物のスペクトル正規化指数との差分を計算する。差分解析処理部117は、この差分の計算処理を特定したフレーム群の全てのフレームに実行し、差分解析対象となる検査対象物のスペクトル正規化指数の時系列変化を算出する。
そして、差分解析処理部117は、取得した検査対象物地理空間情報データベース110によって特定される映像データのフレームの検査対象物に対応する地理的な位置情報(抽出検査対象物位置情報)、及び閾値以上である差分が存在した検査対象物の地理的な位置情報(アラート検査対象物位置情報)を取得し、取得した地理的な位置情報を含む差分解析結果をホスト端末130に表示する。
ホスト端末130は、差分解析結果を受信した場合、受信した差分解析結果に含まれる検査対象物位置情報が示す位置を線で結び検査対象物を検査結果表示領域1230に表示し、アラート検査対象物位置情報の位置を矩形で囲みアラート表示領域1221を表示する。これによって、管理者等は、アラート表示領域1221で検査対象物に何らかの変化が生じていることを把握できる。例えば、検査対象物がコンクリートである場合、管理者は、アラート表示領域1221のコンクリートが劣化していることを把握できる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。
また、前記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、IC(Integrated Circuit)カード、SDカード、DVD(Digital Versatile Disc)等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
101 マルチスペクトルステレオカメラ
101A マルチスペクトルカメラ
101B マルチスペクトルカメラ
104 検査対象物抽出システム
105 カメラ情報データベース
106 映像データベース
107 検査対象物スペクトル特徴データベース
108 検査対象物抽出結果データベース
109 地理位置情報参照データベース
110 検査対象物地理空間情報データベース
111 映像保存部
112 所定距離画像抽出部
113 検査対象物抽出部
114 地理空間変換処理部
115 地理空間データベース更新部
116 スペクトル解析部
117 差分解析処理部
130 ホスト端末

Claims (5)

  1. 物体が反射する光の複数の同じ波長域の反射強度を取得する移動体に設置された二つのカメラによって撮影された画像データから検査対象物を抽出する検査対象物抽出装置であって、
    前記検査対象物の波長域の反射強度の範囲を示す値が登録された検査対象物特徴データを保持し、
    前記二つのカメラによって撮影された画像データから、前記二つのカメラによって撮影された画像データの視差に基づく前記二つのカメラからの距離が、所定範囲に属する画像を抽出し、
    前記抽出した画像のうち、前記波長域の反射強度が前記検査対象物特徴データに登録された波長域の反射強度の範囲内である画像を前記検査対象物として抽出し、
    少なくとも一つの地物の画像と、当該地物の地理的な位置情報とが登録された地理位置情報データを保持し、
    前記画像データから前記地理位置情報データに登録された地物の画像を特定し、
    前記特定した画像の地理的な位置情報、前記二つのカメラから前記検査対象物までの距離に基づいて、前記検査対象物の地理的な位置情報を算出し、
    前記地理位置情報データに登録された地物の画像が特定された画像データから、前記二つのカメラからの距離が予め設定された範囲に属する新たな地物の画像を取得し、
    前記地理位置情報データに登録された地物の画像の地理的な位置情報、前記二つのカメラから前記新たな地物までの距離に基づいて、前記新たな地物の画像の地理的な位置情報を算出し、
    前記新たな地物の画像と、当該新たな地物の地理的な位置情報とを前記地理位置情報データに登録し、
    前記検査対象物の地理的な位置情報が算出された画像データと時系列的に連続する次の画像データから、前記地理位置情報データに登録された新たな地物の画像を特定し、
    前記特定した新たな地物の画像の地理的な位置情報、前記二つのカメラから前記検査対象物までの距離に基づいて、前記次の画像データから検査対象物の地理的な位置情報を算出することを特徴とする検査対象物抽出装置。
  2. 請求項1に記載の検査対象物抽出装置であって、
    前記検査対象物特徴データには、前記検査対象物の前記二つのカメラが取得可能な全ての波長域の反射強度の範囲が登録され、
    前記抽出した画像の全ての波長域の反射強度が前記検査対象物特徴データに登録された全ての波長域の反射強度の範囲内である画像を前記検査対象物として抽出することを特徴とする検査対象物抽出装置。
  3. 請求項1に記載の検査対象物抽出装置であって、
    前記検査対象物特徴データには、前記検査対象物の波長域の反射強度を示す値として、複数の波長域の反射強度に基づいて算出された指数の範囲が登録され、
    前記抽出した画像の前記検査対象物特徴データに登録された複数の波長域の反射強度に基づいて指数を算出し、
    前記算出した指数が前記検査対象物特徴データに登録された指数の範囲内である画像を前記検査対象物として抽出することを特徴とする検査対象物抽出装置。
  4. 請求項1に記載の検査対象物抽出装置であって、
    前記地理的な位置情報が同じである前記検査対象物が抽出された画像データから撮影された時間が異なる複数の画像データを特定し、
    前記特定した複数の画像データの前記検査対象物の所定の波長域の反射強度に基づく指数を算出し、
    前記算出した指数の時系列変化を算出することを特徴とする検査対象物抽出装置。
  5. 物体が反射する光の複数の同じ波長域の反射強度を取得する移動体に設置された二つのカメラによって撮影された画像データを保持する計算機における前記画像データから検査対象物を抽出する検査対象物抽出方法であって、
    前記計算機は、プロセッサ及びメモリを有し、
    前記メモリには、前記検査対象物の波長域の反射強度の範囲を示す値が登録された検査対象物特徴データと、少なくとも一つの地物の画像と当該地物の地理的な位置情報とが登録された地理位置情報データと、が格納され、
    前記検査対象物抽出方法は、
    前記プロセッサが、前記二つのカメラによって撮影された画像データから、前記二つのカメラによって撮影された画像データの視差に基づく前記二つのカメラからの距離が、所定範囲に属する画像を抽出し、
    前記プロセッサが、前記抽出した画像のうち、前記波長域の反射強度が前記検査対象物特徴データに登録された波長域の反射強度の範囲内である画像を前記検査対象物として抽出し、
    前記プロセッサが、前記画像データから前記地理位置情報データに登録された地物の画像を特定し、
    前記プロセッサが、前記特定した画像の地理的な位置情報、前記二つのカメラから前記検査対象物までの距離に基づいて、前記検査対象物の地理的な位置情報を算出し、
    前記プロセッサが、前記地理位置情報データに登録された地物の画像が特定された画像データから、前記二つのカメラからの距離が予め設定された範囲に属する新たな地物の画像を取得し、
    前記プロセッサが、前記地理位置情報データに登録された地物の画像の地理的な位置情報、前記二つのカメラから前記新たな地物までの距離に基づいて、前記新たな地物の画像の地理的な位置情報を算出し、
    前記プロセッサが、前記新たな地物の画像と、当該新たな地物の地理的な位置情報とを前記地理位置情報データに登録し、
    前記プロセッサが、前記検査対象物の地理的な位置情報が算出された画像データと時系列的に連続する次の画像データから、前記地理位置情報データに登録された新たな地物の画像を特定し、
    前記プロセッサが、前記特定した新たな地物の画像の地理的な位置情報、前記二つのカメラから前記検査対象物までの距離に基づいて、前記次の画像データから検査対象物の地理的な位置情報を算出することを特徴とする検査対象物抽出方法。
JP2015056076A 2015-03-19 2015-03-19 検査対象物抽出装置、及び検査対象物抽出方法 Active JP6434834B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015056076A JP6434834B2 (ja) 2015-03-19 2015-03-19 検査対象物抽出装置、及び検査対象物抽出方法
EP16157560.0A EP3070459A1 (en) 2015-03-19 2016-02-26 Inspection target object extraction apparatus and inspection target object extraction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015056076A JP6434834B2 (ja) 2015-03-19 2015-03-19 検査対象物抽出装置、及び検査対象物抽出方法

Publications (2)

Publication Number Publication Date
JP2016176766A JP2016176766A (ja) 2016-10-06
JP6434834B2 true JP6434834B2 (ja) 2018-12-05

Family

ID=55442711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015056076A Active JP6434834B2 (ja) 2015-03-19 2015-03-19 検査対象物抽出装置、及び検査対象物抽出方法

Country Status (2)

Country Link
EP (1) EP3070459A1 (ja)
JP (1) JP6434834B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193286B (zh) * 2017-06-02 2020-12-08 同济大学 桥梁实景数字化采集方法
CN111415357B (zh) * 2020-03-19 2023-04-07 长光卫星技术股份有限公司 一种基于彩色影像的便携式阴影提取方法
US11913345B2 (en) 2021-07-26 2024-02-27 General Electric Company System and method of using a tool assembly

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3497929B2 (ja) * 1995-09-29 2004-02-16 富士重工業株式会社 侵入物監視装置
EP1870210A1 (en) * 2006-06-22 2007-12-26 Honda Research Institute Europe GmbH Evaluating visual proto-objects for robot interaction
JP2011013803A (ja) * 2009-06-30 2011-01-20 Ihi Corp 周囲形状検出装置、自律移動装置、移動体の操縦補助装置、周囲形状検出方法、自律移動装置の制御方法及び移動体の操縦補助方法
WO2012037528A2 (en) * 2010-09-16 2012-03-22 California Institute Of Technology Systems and methods for automated water detection using visible sensors
JP5771955B2 (ja) * 2010-11-16 2015-09-02 住友電気工業株式会社 対象識別装置及び対象識別方法
EP2669846B1 (en) * 2012-06-01 2017-11-01 Ricoh Company, Ltd. Target recognition system and target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
JP2015042952A (ja) 2013-08-26 2015-03-05 シャープ株式会社 障害物検知装置および電動車両

Also Published As

Publication number Publication date
JP2016176766A (ja) 2016-10-06
EP3070459A1 (en) 2016-09-21

Similar Documents

Publication Publication Date Title
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
JP6821762B2 (ja) 畳み込みニューラルネットワークを利用してpoi変化を検出するためのシステムおよび方法
Yeum et al. Vision‐based automated crack detection for bridge inspection
US20200401617A1 (en) Visual positioning system
CA2840436C (en) System for mapping and identification of plants using digital image processing and route generation
US20170193312A1 (en) Systems and Methods for Identifying Traffic Control Devices and Testing the Retroreflectivity of the Same
US20150379371A1 (en) Object Detection Utilizing Geometric Information Fused With Image Data
US20160133008A1 (en) Crack data collection method and crack data collection program
US8582808B2 (en) Methods for identifying rooftops using elevation data sets
Dai et al. Building segmentation and outline extraction from UAV image-derived point clouds by a line growing algorithm
JP2017224935A (ja) 物体検知評価システム及び物体検知評価方法
Nyaruhuma et al. Verification of 2D building outlines using oblique airborne images
KR102376912B1 (ko) 인공지능을 활용한 공간정보 기반의 토지 관리 장치 및 방법
CN113808098A (zh) 道路病害识别方法、装置、电子设备及可读存储介质
CN115984273B (zh) 道路病害检测方法、装置、计算机设备及可读存储介质
JP6434834B2 (ja) 検査対象物抽出装置、及び検査対象物抽出方法
JP2017102672A (ja) 地理位置情報特定システム及び地理位置情報特定方法
JP2015191572A (ja) マンホール検出装置、マンホール検出方法及びプログラム
JP2017010527A (ja) 対象を追跡するための方法および装置
CN112562005A (zh) 一种空间标定方法和系统
Nazir et al. Tiny-Inception-ResNet-v2: Using deep learning for eliminating bonded labors of brick kilns in South Asia
Shi et al. A method to detect earthquake-collapsed buildings from high-resolution satellite images
Lin et al. Automatic aircraft detection in very-high-resolution satellite imagery using a YOLOv3-based process
Rumora et al. Spatial video remote sensing for urban vegetation mapping using vegetation indices
BR102014025597A2 (pt) método e sistema de referência de um objeto imageado

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181109

R150 Certificate of patent or registration of utility model

Ref document number: 6434834

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250