JP6646527B2 - 物体検知評価システム及び物体検知評価方法 - Google Patents

物体検知評価システム及び物体検知評価方法 Download PDF

Info

Publication number
JP6646527B2
JP6646527B2 JP2016117929A JP2016117929A JP6646527B2 JP 6646527 B2 JP6646527 B2 JP 6646527B2 JP 2016117929 A JP2016117929 A JP 2016117929A JP 2016117929 A JP2016117929 A JP 2016117929A JP 6646527 B2 JP6646527 B2 JP 6646527B2
Authority
JP
Japan
Prior art keywords
image
inspection
feature points
object detection
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016117929A
Other languages
English (en)
Other versions
JP2017224935A (ja
Inventor
伴英 鈴木
伴英 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Solutions Ltd
Original Assignee
Hitachi Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Solutions Ltd filed Critical Hitachi Solutions Ltd
Priority to JP2016117929A priority Critical patent/JP6646527B2/ja
Publication of JP2017224935A publication Critical patent/JP2017224935A/ja
Application granted granted Critical
Publication of JP6646527B2 publication Critical patent/JP6646527B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、車載カメラを用いたインフラ設備の障害物検知及び評価に関する。
近年、気候変動による自然災害の多発や労働人口の減少によって広範囲に及ぶ社会インフラ設備の点検・監視業務などに負担を強いられている場面が多くなってきている。例えば道路、鉄道、水道、ガス又は電力といった社会インフラ設備を維持するためにはこれら設備を定期的に点検し、不備があれば補修を実施する必要がある。このような社会インフラ設備の点検・監視は目視点検及び打検といった人の経験に基づいて実施されている部分も多く存在しており、ＩＴ、最新機器、最新技術を用いた点検業務の効率化が求められている。
鉄道及び道路設備などの検査では、車載カメラ等を用いて線路・道路周辺を撮影し、その撮影した画像を元に車両の走行に影響を与える障害物を検出し、安全性確保に必要な情報を確認するといった取組も行われている。特開２０１６−０００５９８号公報（特許文献１）の障害物検知システムは、線路を走行する車両に設置されるカメラを用いて線路空間を撮影し、速度情報に基づき算出される所定の距離をもつ、異なる位置で撮影された２枚の画像を比較することによって経路空間における支障物の有無を検知する。
特開２０１６−０００５９８号公報
しかしながら、ＧＰＳ等に基づき取得した速度計算情報をそのまま各画像の速度として用いると誤差が大きい。例えばＧＰＳの場合、位置情報から速度データを算出する処理等によって、画像との対応付けで時間的な遅れが生じるためであると考えられる。この誤差を取り除くために速度データと画像との対応関係を数十フレーム分シフトして精度を向上させることが考えられるが、加速、定速、減速が混合される走行において最適なフレームシフト量を推定するのは難しく、その結果、比較対象の画像の選択及び障害物の検知処理の精度が低下し、障害物の検知を十分に行うことができない。
上記の課題を解決するために、本発明の物体検知評価システムは、画像から検査対象物を検出するための検出器データと、検査除外領域の位置情報と、検査対象設備の位置情報と、を保持する記憶部と、移動するカメラが撮影した第１の画像から、前記検出器データを用いて検査対象物を抽出する検査対象物抽出処理部と、前記第１の画像に含まれる複数の第１の特徴点と、前記カメラが前記第１の画像の前又は後に撮影した第２の画像に含まれ、それぞれ前記複数の第１の特徴点に対応する複数の第２の特徴点と、の間の画像上の移動量に基づいて、前記移動量の総数に対する割合が所定の値となる数の移動量を含む移動量の範囲を計算し、前記計算した範囲内の移動量に基づいて移動量の閾値を計算し、移動量が前記閾値より大きい前記特徴点を含む前記検査対象物を、前記第１の画像の撮影位置から近い検査対象物として取得する空間検索処理部と、計測された前記カメラの位置と、前記カメラの位置が計測された時刻と、各時刻に計測された前記カメラの位置に最も近い前記検査対象設備の位置と、前記第１の画像が撮影された時刻と、に基づいて、前記第１の画像が撮影された位置を計算する画像位置情報取得部と、前記第１の画像が撮影された位置が前記検査除外領域に含まれるか否かを判定する検査種別判定処理部と、を有し、前記第１の画像が撮影された位置が前記検査除外領域に含まれると判定された場合、前記空間検索処理部の処理が実行されない。
本発明の一態様によれば、速度等による誤差を排除し、適切な検査対象物の検知及び状態監視を行うことができる。上記した以外の課題、構成、及び効果は、以下の実施形態の説明によって明らかにされる。
本発明の実施例１の物体検知・評価システムの構成を示すブロック図である。 本発明の実施例１のマルチスペクトルカメラが取得したバンドの例を示す説明図である。 本発明の実施例１のマルチスペクトルカメラによって撮影された画像データの例を示す説明図である。 本発明の実施例１の車載映像データベースに登録されている車載映像データテーブル及びＧＰＳ位置情報ファイルの例を示す説明図である。 本発明の実施例１の車載カメラ情報データベースに登録されている車載カメラ情報テーブルの例を示す説明図である。 本発明の実施例１のホストシステムが実行する物体検知・評価処理を示すフローチャートである。 本発明の実施例１のフレーム画像位置情報取得部１２４が実行する処理の例を示す説明図である。 本発明の実施例１の検査対象設備データベースに登録されている検査対象設備テーブル及び検査対象設備のジオメトリデータの例を示す説明図である。 本発明の実施例１の検査種別分布地図データベースに登録されている検査種別分布テーブル及び検査種別のジオメトリデータの例を示す説明図である。 本発明の実施例１の検出器データベースに登録されている検出器テーブルの例を示す説明図である。 本発明の実施例１の空間検索処理部が撮影位置から近いオブジェクトを抽出する処理の例を示す説明図である。 本発明の実施例１の空間検索処理部が画像上の奥行きを検知する処理の例を示す説明図である。 本発明の実施例１のホストシステムが実行する検査処理の例を示す説明図である。 本発明の実施例１の検査種別判定処理部が実行する処理の例を示す説明図である。 本発明の実施例１の検査対象解析結果データベースに登録されている検査対象解析結果テーブル及び検査結果のジオメトリデータの例を示す説明図である。 本発明の実施例１のホスト端末が表示する検査処理の結果の画面の例を示す説明図である。 本発明の実施例１のフレーム画像位置情報取得部が作成する作業用ジオメトリテーブルの例を示す説明図である。 本発明の実施例１の空間検索処理部が画像の領域ごとに閾値を計算する処理の例を示す説明図である。 本発明の実施例１のホスト端末が表示する検査処理の結果の画面の別の例を示す説明図である。 本発明の実施例１の空間検索処理部が画像内の領域の前後関係を判定する処理を示すフローチャートである。
以下、本発明を適用した車載カメラを用いた物体検知・評価システムの実施形態について説明する。
なお、以下の実施例は主に鉄道を検査対象設備として記載するが、検査対象設備が道路など移動体が所定のルートを移動する他のインフラ設備である場合にも適用可能である。また、以下の実施例では車両に搭載された車載カメラを用いた例を記載するが、車載カメラが搭載される移動体の種別は問わない。例えば、ＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）、航空機、ドローンなどの移動体でも適用可能である。
図１は、本発明の実施例１の物体検知・評価システムの構成を示すブロック図である。
物体検知・評価システムは、車載カメラ１００、ホストシステム１１０及びホスト端末１４０を有する。
車載カメラ１００は、物体が反射する様々な光に対して数十種類に分光された波長域に対する物体の反射強度を取得することができるマルチスペクトルカメラ１０３と、ＧＰＳ衛星と通信を行って現在位置である緯度経度及び観測時間を記録することができるＧＰＳ装置１０１と、加速度を計測できる加速度センサー１０２と、を有する。マルチスペクトルカメラ１０３で撮影した映像データ、ＧＰＳ装置１０１で取得した緯度経度とその観測時間、及び、加速度センサー１０２で取得した加速度情報は、車載カメラ１００及びホストシステム１１０からアクセス可能な車載映像データベース（ＤＢ）１０４に格納される。なお、車載映像データベース１０４は車載カメラ１００の一部として構成されても良い。
ホストシステム１１０は、入力装置１１１、表示装置１１２、通信装置１１３、ＣＰＵ１１４、メモリ１１５、記憶装置１１６、マルチスペクトル空中映像ＤＢ１２６、検査対象設備ＤＢ１２７、検出器ＤＢ１２８、検査種別分布地図ＤＢ１２９、検査対象解析結果ＤＢ１３０、及び車載カメラ情報ＤＢ１３１を有する。
入力装置１１１は、管理者等の操作を受け付ける。表示装置１１２は、管理画面及び映像等を表示する。通信装置１１３は、インターネット等のネットワーク１５０を介して他の装置（例えばホスト端末１４０）等と通信を行う。ＣＰＵ１１４は、必要に応じて各プログラムをメモリ１１５に読み込ませ各種処理を実行する。
記憶装置１１６は、検査種別判定処理部１１７、検出器検索処理部１１８、検査対象物抽出処理部１１９、スペクトル解析処理部１２０、画像取得部１２１、検査種別分布地図作成部１２２、空間検索処理部１２３、フレーム画像位置情報取得部１２４、差分解析処理部１２５、及び評価処理部１３２を有する。
画像取得部１２１は、車載映像データベース１０４から物体検知評価処理の対象の映像データを取得するプログラムを有する。なお、以下の説明において、画像は静止画像を意味し、映像は複数の画像の集合体を意味する。例えば、動画像を映像と記載し、その動画像に含まれる各フレームの静止画像を画像と記載する場合がある。あるいは、定期的に撮影された複数の静止画像の各々を画像と記載し、それらの複数の静止画像の集合体を映像と記載する場合がある。
フレーム画像位置情報取得部１２４は、車載カメラ１００で撮影された映像データに対して、その映像データからフレーム画像を読み込み、そのフレーム画像が撮影された位置情報を取得するプログラムを有する。検査種別判定処理部１１７は、撮影位置を特定したフレーム画像に対して最適な検査種別（検査対象と検査項目）を特定するプログラムを有する。検出器検索処理部１１８は、その検査種別において抽出すべき設備または物体を検出するために最適な検出器を特定するプログラムを有する。検査対象物抽出処理部１１９は、特定された検出器を用いて映像データ内から特定の検査対象を抽出するプログラムを有する。
スペクトル解析処理部１２０は、対象画像等に対してスペクトル解析を行い、特定の検査対象を抽出したり、特定の検査対象の状態を評価したりするプログラムを有する。空間検索処理部１２３は、撮影位置から近い位置にある検査対象のオブジェクトを抽出するプログラムを有する。評価処理部１３２は、抽出したオブジェクトに対し、検査項目に応じて障害物検知を行ったり、スペクトル解析処理部１２０にスペクトル解析の指示を出したりするプログラムを有する。差分解析処理部１２５は、過去に実施済の検査と同一の検査を実施した場合に、その評価結果の差分を取得するプログラムを有する。検査種別分布地図作成部１２２は、マルチスペクトル空中画像の画像データに基づき、エリアの特性に適した検査種別を定義した検査種別分布地図を作成するプログラムを有する。
上記の各部に相当するプログラムがメモリ１１５に読み込まれ、ＣＰＵ１１４によって実行されることによって、上記の各部の機能が実現される。すなわち、以下の説明において上記の各部が実行する処理は、実際には、ＣＰＵ１１４が上記のプログラムに従って実行する。
マルチスペクトル空中映像データベース１２６には、検査種別分布地図の作成に必要な、人工衛星、航空機またはドローンなどを利用して撮影されたマルチスペクトル空中画像の画像データが格納される。検査対象設備データベース１２７には、道路、鉄道などの各種検査対象設備の地図データが格納される。検出器データベース１２８には、検査対象物抽出処理部１１９が検査対象を抽出するために必要な各種検出器が格納される。検査種別分布地図データベース１２９には、エリアの特性に応じた検査種別の定義が格納される。車載カメラ情報データベース１３１には、各種車載カメラの仕様が格納される。検査対象解析結果データベース１３０には、本実施例の物体検知・評価システムでの検知結果及び評価結果が格納される。
ホスト端末１４０は、入力装置１４２、表示装置１４１、通信装置１４３、ＣＰＵ１４４、メモリ１４５及び記憶装置１４６を有する。入力装置１１１は、ユーザ等の操作を受け付ける。表示装置１１２は、操作画面、車載カメラ１００で撮影した映像、及び解析結果等を表示する。通信装置１１３は、インターネット等のネットワーク１５０を介して他の装置（例えばホストシステム１１０）と通信を行う。ＣＰＵ１１４は、必要に応じて各プログラムをメモリ１１５に読み込ませ各種処理を実行する。
図２は、本発明の実施例１のマルチスペクトルカメラ１０３が取得したバンドの例を示す説明図である。
車載カメラ１００を構成しているマルチスペクトルカメラ１０３は、図２に示すように撮影対象２０１が各波長で反射する反射強度を表した分光曲線２０４のうち、数十程度に分割した波長域２０３−１〜２０３−８に対応するスペクトル反射強度２０２を取得することが可能なカメラである。
通常のカメラは撮影対象の分光曲線２０４のうち赤色の波長域と緑色の波長域と青色の波長域の３つのスペクトル反射強度のみを取得し、これら３つのスペクトル情報を組み合わせることによってカラー画像として表現することができるが、マルチスペクトルカメラ１０３は赤色波長、緑色波長及び青色波長域以外にも数十程度の波長域における光の反射強度を取得することが可能である。
また、マルチスペクトルカメラ１０３に用いる画像センサーの種別によっても取得できる波長域の範囲が異なる。例えば、ＣＣＤ又はＣＭＯＳ画像センサーを用いたカメラは３５０ｎｍ〜１１００ｎｍの波長域を取得することが可能であり、特定の範囲の波長のみを通過させるレンズを利用することで指定した波長域を含んだ画像を取得することが可能である。また、ＩｎＧａＡｓ近赤外検出器のように９００ｎｍ〜１７００ｎｍから複数のスペクトルを取得できる近赤外線カメラ、及び、近赤外（０．７５〜３μｍ）、中赤外（３〜６μｍ）、遠赤外（６〜１５μｍ）などの波長を取得し温度などを計測することが可能な赤外線カメラなどが存在している。そのため、検査対象及びエリアの特性に適した画像センサーを有するマルチスペクトルカメラ１０３を内蔵した車載カメラ１００を用いることが望ましい。
これらのいずれの画像センサーを用いたカメラであっても、マルチスペクトルカメラ１０３による撮影画像は、図２で示すように、取得された各波長域２０３−１〜２０３−８のスペクトル情報は例えば画像データ２０５−１〜２０５−７のように反射強度によって色分けされた画像として認識することができる。
図３は、本発明の実施例１のマルチスペクトルカメラ１０３によって撮影された画像データの例を示す説明図である。
図３（Ａ）に例示する画像はＮ×Ｍのピクセルにて構成されており、そのピクセルには指定した波長域における物体の反射強度を示す数値が格納されている。また、各波長域における反射強度が各ピクセルに格納された画像データをレイヤ３０１−３０５のような構造にて保持することで、複数の波長域の画像を１つの画像ファイルにて保持することができる。この画像をマルチスペクトル画像と呼び、マルチスペクトル画像が保持する各波長域に対応するレイヤをバンドと呼ぶ。なお、各バンドの反射強度のデータは、図３（Ｂ）の画像データテーブル３１０に例示されるような形式にて、車載映像ＤＢ１０４に登録される。ピクセル３１１は、レイヤの左上を基準としたレイヤ上での座標であり、バンドごとに、各ピクセル座標における反射強度の値（例えばバンド０からバンドＮまでの反射強度３１２−０〜３１２−Ｎ）が登録される。
ＧＰＳ装置１０１は、ＧＰＳ衛星と通信を行って現在位置である緯度経度とその観測時間を記録することが可能である。ＧＰＳ計測時間及び緯度経度はＣＳＶのような形式にて保存することが可能である。また、加速度センサー１０２は、車載カメラ１００を搭載している移動体が移動した際の加速度を取得することが可能である。これら車載カメラ１００で撮影された映像データ（マルチスペクトル画像の動画）、ＧＰＳ情報及び加速度情報は車載映像データベース１０４に格納される。
図４は、本発明の実施例１の車載映像データベース１０４に登録されている車載映像データテーブル４００及びＧＰＳ位置情報ファイル４１０の例を示す説明図である。
図４（Ａ）に示すように、車載映像データテーブル４００は、映像を一意に識別することができる映像ＩＤ４０１、撮影に利用されたマルチスペクトルカメラ１０３の種別を示すマルチスペクトルカメラＩＤ４０２、撮影した映像データ及び撮影時に取得したＧＰＳ位置情報の保存場所であるデータ保存場所４０３、撮影した映像データを識別する映像データ名４０４、映像データの撮影日４０５、撮影時間４０６、及び、当該映像データの撮影時に取得したＧＰＳ位置情報データのＧＰＳファイル名４０７にて構成されている。
マルチスペクトルカメラＩＤ４０２は、図５に示す車載カメラ情報データベース１３１のＩＤと連携しており、撮影に利用されたカメラの詳細スペックを車載カメラ情報データベース１３１から確認するために利用される。
また、ＧＰＳファイル名４０７にて指定されたＧＰＳ位置情報ファイル４１０には、図４（Ｂ）に示すように、各データを一意に識別するＩＤ４１１、ＧＰＳ位置情報の観測日４１２及び観測時間４１３、並びに、ＧＰＳ装置１０５で受信した緯度４１４及び経度１３５、が格納されている。なお、ＧＰＳ位置情報の受信間隔は、性能及び作業に合わせて任意の間隔とする。
図５は、本発明の実施例１の車載カメラ情報データベース１３１に登録されている車載カメラ情報テーブル５００の例を示す説明図である。
検査種別によっては異なる画像センサーを用いるため、複数台の車載カメラ１００を用意する方が望ましい。例えば、植生などを検知評価する場合には３５０ｎｍ〜１１００ｎｍから複数のスペクトルを取得できるマルチスペクトルカメラ、ひび割れ等を検知するに当たっては白黒画像のみ取得するようなパンクロマティックカメラ、水滴及び水漏れを検知するには９００ｎｍ〜１７００ｎｍから複数のスペクトルを取得できるマルチスペクトルカメラ、温度評価実施する場合には、近赤外（０．７５〜３μｍ）、中赤外（３〜６μｍ）、遠赤外（６〜１５μｍ）などの波長を取得することが可能な赤外線カメラを利用すべきである。そのため、映像データがどのような画像センサーを有するマルチスペクトルカメラ１０３によって撮影されかを車載カメラ情報テーブル５００にて判別可能にする必要がある。
車載カメラ情報テーブル５００は、マルチスペクトルカメラ１０３の種別を一意に識別するためのマルチスペクトルカメラＩＤ５０１、当該マルチスペクトルカメラ１０３が有する画像センサーの種別を示す画像センサー５０２、当該マルチスペクトルカメラ１０３のレンズ及び画像センサーの特性に関する、レンズ焦点距離５０３、横ピクセル数５０４、縦ピクセル数５０５、フレームレート５０６、バンドビット数５０７、及びバンド数５０８、を有する。
図８は、本発明の実施例１の検査対象設備データベース１２７に登録されている検査対象設備テーブル８００及び検査対象設備のジオメトリデータ８０７の例を示す説明図である。
図８（Ａ）及び（Ｂ）に示す検査対象設備テーブル８００には、道路、鉄道、又はトンネル等の検査対象設備のそれぞれについて、当該検体対象設備を一意に特定できる設備ＩＤ８０１、鉄道、道路等の当該検査対象設備の種別である設備タイプ８０２、当該検査対象設備の名称である設備名称８０３、ポリゴン又はポイントといった検査対象設備のジオメトリデータ８０７の点群が形成する形状を示すＧｅｏｍｅｔｒｙ Ｔｙｐｅ８０４、当該検査対象設備を構成する位置情報である検査対象設備のジオメトリデータ８０７を指定するＧｅｏｍｅｔｒｙ ＩＤ８０５、及び、当該検査対象設備テーブル８００の最終更新日８０６、が登録される。
図８（Ｃ）に示す検査対象設備のジオメトリデータ８０７には、検査対象設備の位置情報が登録されており、Ｇｅｏｍｅｔｒｙ ＩＤ８０５によって指定される。具体的には、検査対象設備のジオメトリデータ８０７のＩＤ８０８がＧｅｏｍｅｔｒｙ ＩＤ８０５に対応し、Ｇｅｏｍｅｔｒｙ８０９は、それぞれのＩＤ８０８の値に対応する位置情報（例えば座標値の集合）である。
図８（Ａ）には、Ｇｅｏｍｅｔｒｙ Ｔｙｐｅ８０４が「ポイント」である検査対象設備テーブル８００の例を示し、図８（Ｃ）にはそれに対応する検査対象設備のジオメトリデータ８０７の例を示す。この例では、検査対象である線路の位置が、複数の点の座標値の集合として、Ｇｅｏｍｅｔｒｙ ＩＤ８０５の値「Ｓｅｎｒｏ＿Ｐｏｉｎｔ＿００１／００１＿１」と同一のＩＤ８０８の値に対応するＧｅｏｍｅｔｒｙ８０９に登録される。一方、図８（Ｂ）には、Ｇｅｏｍｅｔｒｙ Ｔｙｐｅ８０４が「ポリゴン」である検査対象設備テーブル８００の例を示す。これに対応する検査対象設備のジオメトリデータ８０７には、当該ポリゴンの位置情報（例えば当該ポリゴンの各頂点の座標値）が登録される。
なお、通常の検査業務は検査対象設備ごとに異なる事業者が実施するため、鉄道の保守事業者の検査対象設備データベース１２７には線路、架線及び鉄塔等の鉄道及びその周辺に関連する検査設備の情報が登録されており、道路の保守事業者の検査対象設備データベース１２７には道路及び電柱等の道路及びその周辺に関連する検査設備の情報が登録されることが一般的であるが、複数の検査対象設備について１つの検査対象設備データベース１２７で情報管理する場合は、検査対象設備テーブル８００に検査対象設備を識別する項目を持たせて、近接する線路と道路で誤判断が生じないようにすることが望ましい。
図９は、本発明の実施例１の検査種別分布地図データベース１２９に登録されている検査種別分布テーブル９００及び検査種別のジオメトリデータ９０７の例を示す説明図である。
図９（Ａ）に示す検査種別分布テーブル９００は、検査種別分布テーブル９００のデータごとに付与される検査ＩＤ９０１、映像データ上で検出すべき対象物を示す検査対象９０２、検査対象に対してどのような評価を行うかを表す検査項目９０３、当該検査種別（検査対象と検査項目の組み合わせ）が適用されるエリアの形状を示すＧｅｏｍｅｔｒｙ ｔｙｐｅ９０４、当該検査種別が適用されるエリアのジオメトリデータを指定するＧｅｏｍｅｔｒｙＩＤ９０５、及び、当該検査種別分布テーブル９００のレコードの有効期間を示す有効期限９０６で構成される。
なお、検査対象９０２が示す検査対象物は、例えばトンネル又は電柱など、検査対象設備そのもの（又はその一部）であってもよいし、例えば線路の近くにある樹木など、検査対象設備以外の物体であってもよい。
また、ＧｅｏｍｅｔｒｙＩＤをキーとした位置情報のデータベースとして登録されている検査種別のジオメトリデータ９０７は、当該検査種別が適用される１つ以上のエリアの範囲を指定する位置情報が登録されている。具体的には、図９（Ｂ）に示すように、検査種別のジオメトリデータ９０７は、ＩＤ９０８と、それぞれのＩＤ９０８の値に対応するＧｅｏｍｅｔｒｙ９０９とで構成される。ＩＤ９０８は、ＧｅｏｍｅｔｒｙＩＤ９０５に対応する。Ｇｅｏｍｅｔｒｙ９０９には、それぞれの検査種別が適用されるエリアのジオメトリデータとして、例えばそのエリアを表すポリゴンの頂点の座標値等が登録される。
図１０は、本発明の実施例１の検出器データベース１２８に登録されている検出器テーブル１０００の例を示す説明図である。
検出器テーブル１０００には、検出器を特定する検出器ＩＤ１００１、当該検出器が適用される検査対象の種別を表す検査ＩＤ１００２、検出器の保存場所１００３、及び、検出器のファイル名１００４、で構成されている。検出器とは、学習させたい物体に対して、正解画像としてその物体が存在しているサンプル画像データの集合と、その物体とは全く異なるサンプル画像データの集合の入力に対して解析を行い、その画像データから特定の物体を抽出するのに有用な規則、ルール及び特徴などを記載したものである。
図１５は、本発明の実施例１の検査対象解析結果データベース１３０に登録されている検査対象解析結果テーブル１５００及び検査結果のジオメトリデータ１５０７の例を示す説明図である。
図１５（Ａ）に示す検査対象解析結果テーブル１５００には、検査対象である映像データを識別する映像ＩＤ１５０１、実施された検査種別を識別する検査ＩＤ１５０２、検査を実施した設備を識別する設備ＩＤ１５０３、ポリゴン又はポイントといった検査結果のジオメトリデータ１５０７の位置情報が構成する形状を示すＧｅｏｍｅｔｒｙ Ｔｙｐｅ１５０４、検査の結果障害物及び異常が検知された場所の位置情報が格納されたファイルを示すＧｅｏｍｅｔｒｙ ＩＤ１５０５、並びに、映像データのスペクトル解析結果及びオブジェクト抽出結果の格納先を示す解析結果格納場所１５０６、の情報が登録される。
図１５（Ｂ）に示す検査結果のジオメトリデータ１５０７は、Ｇｅｏｍｅｔｒｙ ＩＤ１５０５に対応するＩＤ１５０８と、検査の結果、障害物又は異常が検知された場所の検出位置のジオメトリ１５０９と、を有する。
なお、同じ映像の同一の検査設備に対して、複数の、互いに異なる検査種別の検査が実施された場合、同じ映像ＩＤ、同じ設備ＩＤ１５０４及び異なる検査ＩＤをもつ複数の検査対象解析結果テーブル１５００、及びそれぞれに対応する複数の検査結果のジオメトリデータ１５０７が生成される。
図６は、本発明の実施例１のホストシステム１１０が実行する物体検知・評価処理を示すフローチャートである。
なお、図６では１フレームずつ処理を実施する例を示しているが、処理を行うフレームの間隔は任意の間隔として良い。すなわち、ホストシステム１１０は、図６の処理を、映像に含まれる全てのフレームを対象として行ってもよいし、映像から任意の間隔で抽出されたフレームを対象として行ってもよい。
まず、画像取得部１２１が、通信装置１１３を経由し、処理対象の映像データを車載映像データベース１０４から読み込む（Ｓ６０１）。例えば、ホスト端末１４０の入力装置１４２がユーザからの検査対象設備の名称（路線名、道路名等）又は映像データのファイル名などの入力又は選択を受け付け、その結果をホストシステム１１０が通信装置１４３、ネットワーク１５０及び通信装置１１３を介して受け付けることによって、処理対象の映像データを特定しても良い。
次に、フレーム画像位置情報取得部１２４は、検査対象フレーム（例えば、α番目のフレーム）の画像が撮影された位置を特定する（Ｓ６０２）。
フレーム画像位置情報取得部１２４は、Ｓ６０１にて取得した映像データから、α番目のフレーム画像を読み込む。この例に置いて、映像データは動画であり、複数のフレーム画像の連続によって構成されている。Ｎは映像データを構成している全フレーム数であり、αは定数である。
フレーム画像位置情報取得部１２４は、この読み込まれたフレーム画像が撮影された位置情報を特定する。
図７は、本発明の実施例１のフレーム画像位置情報取得部１２４が実行する処理の例を示す説明図である。
例えば図７に示すようにα番目のフレーム画像７０１の位置情報を求める場合、車載映像データテーブル４００において対応付けられたＧＰＳ位置情報ファイル４１０から、α番目のフレーム画像７０１が有する撮影時間に一番近い観測日４１２及び観測時間４１３を有するＧＰＳ位置情報を取得する。取得したＧＰＳ位置情報の観測時間ｔにおけるＧＰＳ取得位置７０２とし、その緯度経度情報をＧＰＳ（ｘｔ、ｙｔ）とする。
このＧＰＳ情報は、時刻ｔにＧＰＳ装置１０１が観測した、車載カメラ１００の位置情報であるが、観測誤差を含んでいる可能性がある。そこで外部データとして検査対象設備データベース１２７に格納されている線路、道路等の位置情報である検査対象設備テーブル８００及び検査対象設備のジオメトリデータ８０７の情報を利用する。まず、フレーム画像位置情報取得部１２４は、検査対象設備のジオメトリデータ８０７を検索し、ＧＰＳ（ｘｔ、ｙｔ）に最も近い位置情報を含む検査対象設備のジオメトリデータ８０７のＩＤ８０８及びジオメトリ８０９を取得する。そして取得したジオメトリ８０９に列挙された緯度経度に対し順にＩＤを振り、作業用ジオメトリテーブル１７００を作成する。
図１７は、本発明の実施例１のフレーム画像位置情報取得部１２４が作成する作業用ジオメトリテーブル１７００の例を示す説明図である。
図１７に示す作業用ジオメトリテーブル１７００は、個々の位置情報を一意に識別する作業用ジオメトリのＩＤ１７０１と、それぞれのＩＤに対応する緯度１７０２及び経度１７０３と、を有する。
ジオメトリ８０９は、その検査対象設備の位置情報を管理しているデータであり、密な点群データである。なお、ジオメトリ８０９が疎な点群データであっても、スプライン補完などで対象区間の検査対象設備の点群から、近似多項式を求め、その多項式を用いることで密な点群を求めることができる。
フレーム画像位置情報取得部１２４は、この作業用ジオメトリテーブル１７００から、ＧＰＳ（ｘｔ、ｙｔ）から最少の距離にあるデータを空間検索にて検索し、検出された緯度１７０２及び経度１７０３で表わされる位置情報ＧＰＳ（ｘａ、ｙａ）７０４及びそれらに対応するＩＤ１７０１を取得する。そして、フレーム画像位置情報取得部１２４は、ＧＰＳ受信時間ｔに撮影されたフレーム画像７０３を対象の映像データから検索し、時刻ｔにおけるフレーム画像７０３の位置情報をＧＰＳ（ｘａ、ｙａ）と定義する。
同様に、フレーム画像位置情報取得部１２４は、ＧＰＳ受信時間ｔのｓ秒後（すなわち時間ｔ＋ｓ）に観測したＧＰＳの位置情報７０５から最少の距離にあるデータを空間検索にて作業用ジオメトリテーブル１７００から取得し、検出された緯度１７０２及び経度１７０３で表わされる位置情報ＧＰＳ（ｘｂ、ｙｂ）７０６及びそれらに対応するＩＤ１７０１を取得する。そして、フレーム画像位置情報取得部１２４は、ＧＰＳ受信時刻ｔ＋ｓに撮影されたフレーム画像７０７の位置情報をＧＰＳ（ｘｂ、ｙｂ）とする。
ｓはＧＰＳの観測時間間隔（秒）であり、ａ及びｂは作業用ジオメトリテーブル１７００に格納されている検査対象設備の地図情報の点群である作業用ジオメトリのＩＤ１７０１の値である。ｂ−ａでｓ秒間に移動した検査対象設備を構成している点群データの個数を計算できる。ｓ秒間に含まれるフレーム画像の数はｓ×フレームレート５０６で求めることが可能である。フレームレートｆｐｓの値をｆとすると、ＧＰＳ（ｘａ、ｙａ）からＧＰＳ（ｘｂ、ｙｂ）の間にはｓ×ｆ枚のフレーム画像が存在することになる。よって時間ｔにおけるフレーム画像７０３のフレーム番号を１とすると、α番目のフレームの位置情報はＧＰＳ（ｘα’、ｙα’）とするこができる。ただしα’も作業用ジオメトリテーブル１７００のＩＤ１７０１の値であり、α’＝ａ＋α（ｂ−ａ）／（ｓ×ｆ）の整数部分である。また、（ｂ−ａ）は（ｓ×ｆ）より十分大きな値とする。
例えば、ａがＩＤ＝２、ｂがＩＤ＝１６２であり、フレームレートが３０ｆｐｓ、ｓが４秒、αが１０の場合、α’の整数部分は１５となる。よって、作業用ジオメトリテーブル１７００のＩＤ１７０１の値「１５」に対応する緯度１７０２及び経度１７０３の値がα番目のフレーム画像７０１の位置情報となる。
次に、検査種別判定処理部１１７がα番目のフレーム画像に実施する検査種別（検査種別とその検査項目）を選択する（Ｓ６０３）。
具体的には、検査種別判定処理部１１７は、Ｓ６０２で求めたα番目のフレーム画像の位置情報ＧＰＳ（ｘα’、ｙα’）を用い、その位置情報について、検査種別分布地図ＤＢ１２９の検査種別のジオメトリデータ９０７を空間検索にて検索すればよい。そして、検査種別判定処理部１１７は、該当した検査種別のジオメトリデータ９０７をＧｅｏｍｅｔｒｙＩＤ９０５として有する検査種別分布テーブル９００から、検査ＩＤ９０１、検査対象９０２及び検査項目９０３を取得する。この際、検査種別判定処理部１１７は、さらに、有効期限９０６と現在の日時または映像データが撮影された日時とを比較し、現在の日時で有効な検査種別分布テーブル９００を選択しても良い。
なお、１つの画像フレームに対して（すなわちそのフレームの撮影位置に対して）複数の検査種別が適用されても良い。例えば、ある地点に対し、樹木を対象とした検査と、信号機等の設備を対象とした検査の２種類を実施することも可能である。その場合は、複数の検査種別分布テーブル９００がヒットし、それぞれの検査種別についてＳ６０５からＳ６０９の処理が行われる。一方で、α番目のフレーム画像の位置情報を含む検査種別分布テーブル９００及び検査種別のジオメトリデータ９０７が存在しない場合は、そのフレーム画像において検査を実施する必要がないため、物体検知・評価処理は実施せず、次のフレーム画像へと進む（Ｓ６０４、Ｓ６１０）。
図１４は、本発明の実施例１の検査種別判定処理部１１７が実行する処理の例を示す説明図である。
検査対象である線路１４０１の位置情報は、Ｓ６０２で特定された検査対象設備のジオメトリデータ８０７によって現わされる。
α番目のフレーム画像の撮影位置１４０４の場合、検査種別判定処理部１１７は、α番目のフレーム画像の撮影位置１４０４を含む検査種別のジオメトリデータ９０７を空間検索し、その位置情報に対応する検査種別のジオメトリデータ９０７、さらに検査種別分布テーブル９００を取得する。これによって、α番目のフレーム画像の撮影位置１４０４に適用される検査種別（検査対象９０２、検査項目９０３）を特定する。
なお、検査種別分布地図データベース１２９の登録データを新規で作成する場合には検査種別分布地図作成部１２２が作成する。例えば、新たな検査対象設備を追加する際には、新たに、検査対象設備テーブル８００及び検査対象設備のジオメトリデータ８０７を作成することに加え、どのような検査を実施するかを登録しておく必要がある。
検査種別分布地図作成部１２２は、あらかじめ撮影された空中写真が格納されたマルチスペクトル空中映像データベース１２６から対象の地域の空中写真を取得し、スペクトル解析処理部１２０がその地域特性である被服分類図を作成する。被服分類図とはたとえば、森林域地域、人工物地域、水域地域などその地形の特性を示した地図である。被服分類図を作成する技術はリモートセンシング分野において確立されている。
その被服分類図と検査対象設備データベース１２７に格納されている各種インフラ設備の検査対象設備テーブル８００を地図上にマッピングしたものとの空間検索によって、その地域に最適な検査種別分布テーブル９００とジオメトリデータ９０７を作成することが可能である。例えば、検査種別分布地図作成部１２２は、被覆分類図に当該被覆分類図上の位置に存在する検査対象設備テーブル８００のデータをマッピングし、被覆分類が森林地域に該当する地域に含まれる検査対象設備の位置情報については、それら位置情報で検査種別のジオメトリデータ９０７を生成し、対応する検査種別分布テーブル９００を新規作成し、新規作成したテーブルの検査対象９０２を樹木、検査項目９０３を障害物検知とする。
なお、検査種別分布地図データベース１２９の登録データは、上記のように検査種別分布地図作成部１２２が自動的に作成する代わりに、ユーザ等が手動で作成・修正してもよい。また、検査対象設備の位置情報からジオメトリデータ９０７を作成する際には、ＧＩＳシステムが有する機能を用い、ＰｏｉｎｔをＰｏｌｙｌｉｎｅ、ＰｏｌｙｌｉｎｅをＰｏｌｙｇｏｎに変換することもできるし、ＰｏｌｙｌｉｎｅをＰｏｌｙｇｏｎに変換する際は、Ｐｏｌｙｌｉｎｅにあらかじめ指定された所定のバッファーを適用し、Ｐｏｌｙｇｏｎを生成しても良い。
なお、検査種別分布地図データベース１２９の登録情報は、例えば季節によって使い分けられるように、同じ線路又は道路に対応する複数のデータを含んでも良い。
図６の物体検知・評価処理の処理フローに戻る。Ｓ６０３においてα番目のフレーム画像における検査種別が特定できた場合（Ｓ６０４）、次に、検出器検索処理部１１８が、Ｓ６０３で特定した検査ＩＤ９０１をキーとして検出器データベース１２８から検出に最適な検出器を検索する（Ｓ６０５）。例えば検査ＩＤ９０１がｋｅｎｓａｔｙｐｅ１である場合、検査対象９０２は樹木、検査項目９０３は障害物検知であり、検査ＩＤ１００２がｋｅｎｓａｔｙｐｅ１の検査器の情報が、検出器保存場所１００３、検出器ファイル名１００４に基づいて抽出される。
次に、検査対象物抽出処理部１１９が、Ｓ６０５で検索された検出器を利用して、α番目のフレーム画像から検査対象であるオブジェクトを検出する（Ｓ６０６）。例えば、検査対象が樹木である場合、検出器によって画像上で樹木と推定される領域が抽出される。検出器を用いたオブジェクト抽出に関しては様々な研究結果が公開されているため、本実施例では詳細は記載しない。
しかしながら、映像データの撮影条件、たとえば時間・天気・撮影方向などによっては検出したオブジェクトには誤差が含まれる可能性が高いという問題がある。そこで誤差を最小化させるために、合わせてスペクトル解析処理部１２０がスペクトル解析を実施する。例えば樹木の検知を実施したい場合を考えてみる。樹木のスペクトルは近赤外域での反射が強く、可視域赤での反射率が非常に低い傾向がある。そのため以下の計算式（１）によって植生指数と呼ばれる値を算出することができる。ここで、ＩＲは、Ｉｎｆｒａｒｅｄ（赤外線）の略であり、マルチスペクトルカメラで撮影したマルチスペクトル画像のうち、赤外線のバンドの反射強度の値を表している。ＲはＲｅｄの略であり、マルチスペクトル画像のうち、赤のバンドの反射強度の値を表している。
植生指数＝（ＩＲ−Ｒ）／（ＩＲ＋Ｒ） ・・・（１）
この植生指数は−１〜＋１までの値をとり、１に近づくほど植物である可能が高くなる。検査対象物抽出処理部１１９で検出したオブジェクトに対してこの植生指数を閾値として設定することによって、正解率を向上させることが可能である。例えば閾値を０．５に設定した場合、検査対象物抽出処理部１１９抽出したオブジェクトであってもそのオブジェクトの植生指数が０．５未満であれば、このオブジェクトは樹木ではないと判断することができる。植生ではＩＲとＲに基づく指数計算を実施したが、他の物質においても反射が強いスペクトルと反射が弱いスペクトルが存在しているため、以下に示す同様の計算式（２）によって指数を計算し、閾値未満のオブジェクトを除外することが可能である。
スペクトル検査指数＝（強反射バンド−弱反射バンド）／（強反射バンド＋弱反射バンド） ・・・（２）
信号機などの鉄道設備は種別ごとに形状が概ね同じであるため検出器による検出でも十分検出可能であるが、樹木のような個体ごとに形状がことなる物体の場合には検出器では十分に検出できない可能性がある。一方で樹木は色相や反射強度に特徴があるため、スペクトル解析による検出に優れている。そのため、検出器による検出とスペクトル解析による検出を組み合わせることで、幅広い検査対象物を精度よく検出することができる。なお、検出器による検出とスペクトル解析による検出のいずれを先に適用するか、いずれの閾値を厳しくするかなどは、検査対象物に応じて設定しても良い。また、十分な精度が得られるのであれば、どちらか一方によって検査対象物（オブジェクト）を抽出しても良い。
上記は検出すべき検査対象物が植物の例であるが、一般に、図２に示すように、波長域によって反射強度が異なり、波長域と反射強度の関係は検査対象物の種類に依存する傾向があることから、複数の波長域の反射強度が所定の条件を満たすか否かに基づいて、所望の検査対象物を検出することができる。
次に、空間検索処理部１２３は、撮影位置から近い位置にある検査対象のオブジェクトを抽出する（Ｓ６０７）。この処理の詳細について、図１１、図１２、図１８及び図２０を参照して説明する。
図１１は、本発明の実施例１の空間検索処理部１２３が撮影位置から近いオブジェクトを抽出する処理の例を示す説明図である。
具体的には、図１１は、α番目のフレーム画像１１０１から樹木のオブジェクトを抽出したオブジェクト抽出画像１１０２の例を示す。車載カメラ１００で撮影した映像の画像は２次元画像であるため、奥行という概念は存在しない。検査対象物抽出処理部１１９は、フレーム画像内に存在している検査対象物をその存在場所にかかわらずすべて抽出してしまう。オブジェクト抽出画像１１０２は、あくまでαフレーム画像に存在している樹木を抽出しているのであって、この画像に基づいてそれぞれの樹木の距離まで把握することは困難である。そのため、人間の目においては、フレーム画像の奥行きを考慮し、α番目のフレーム画像１１０１には走行に影響を与える位置に樹木が存在していることを検知することが可能であるが、コンピュータ上でのオブジェクトの抽出のみではそれが走行に影響を与えてしまう樹木か否かの判断は難しい。例えば、通常は、フレーム画像の上部ほど、撮影位置から遠いオブジェクトが映っている場合が多いことから、フレーム画像の上半分のピクセル行にあるオブジェクトは撮影位置での障害物の有無には影響しないと判定して機械的に除外することも考えられるが、それによって撮影位置の近くにある背の高い樹木の上部が取り除かれてしまい、正しく障害物検知できない恐れがある。
そこで、本実施例の空間検索処理部１２３は、α番目前後の複数枚のフレームを利用することによって検査対象物のオブジェクトの奥行を求める。移動している車両の車載カメラ１００で映像を撮影した場合、フレーム間で物体の移動が発生する。空間検索処理部１２３は、この移動量を元に奥行を計算する。通常、手前にある物体ほどフレーム間の移動量（すなわち、あるフレームにおける当該物体の画像上の位置と、別のフレームにおける当該物体の画像上の位置との差）は大きく、遠くに存在している物体ほどフレーム間の移動量は小さい。そこでα―１番目、α―２番目、α＋１番目、及びα＋２番目などの前後複数のフレームから特徴点を取得し、フレーム間で対応する特徴点どうしの移動量を求める。特徴点の抽出及び特徴点のマッチングに関してはＳＵＲＦ（Speeded Up Robust Features）及びＳＩＦＴ（Scale-Invariant Feature Transform）といった技術を用いることが可能である。
図１２は、本発明の実施例１の空間検索処理部１２３が画像上の奥行きを検知する処理の例を示す説明図である。
たとえば、図１２に示すように、α番目のフレーム画像１２１１、α―１番目のフレーム画像１２１０及びα＋１番目フレーム画像１２１２の特定の特徴点１２０１の位置（ｘ１、ｙ１）及び特徴点１２０２の位置（ｘ２、ｙ２）の移動量に着目する。ここで（ｘ１、ｙ１）及び（ｘ２、ｙ２）はフレーム画像の左上のピクセル座標を（０，０）とした場合フレーム画像上でのピクセル座標値であり、特徴点１２０１αという記載は、α番目のフレーム画像１２１１での特徴点１２０１の座標（ｘ１、ｙ１）を、特徴点１２０２αという表記は、α番目のフレーム画像１２１１での特徴点１２０２の座標（ｘ２、ｙ２）を表すものとする。
この例では、特徴点１２０１（α−１）から特徴点１２０１αへの移動量１２２１、及び、特徴点１２０１αから特徴点１２０１（α＋１）への移動量１２３１のベクトルはいずれも非常に小さく、特徴点１２０２（α−１）から特徴点１２０２αへの移動量１２２２、及び、特徴点１２０２αから特徴点１２０２（α＋１）への移動量１２３２のベクトルはいずれも非常に大きいことがわかる。これらの複数枚のフレームから算出した特徴点ごとの移動距離を、α番目のフレーム画像の特徴点が存在するピクセルの移動距離と定義する。移動距離はピクセル座標値の２点間の距離として計算する。ただし、複数フレームで同一の特徴点を取得している場合はそれらの平均を移動量とする。ただし、平均を計算するのはα−ａ、α＋ａ（ａは定数）の両方にて同一の特徴点を取得できる場合に限るものとする。なお、特徴量の抽出及び移動量の算出は、画像フレーム全体に対して実施しても良いし、検査に必要な領域に絞って実施しても良い。
次に、空間検索処理部１２３は、算出した特徴点のピクセル移動量から、α番目のフレーム画像の撮影位置から近い位置にある特徴点のグリッドを抽出する。フレームレートが一定であれば、１ピクセルの移動が実際の距離の何メートルに相当するかは移動速度によって異なる。そのため、移動速度が不明な場合及び精度が悪い場合、撮影位置からＸメートル以内に位置する特徴点のみを抽出するのは難しい。そこで、空間検索処理部１２３は、ピクセル移動量を相対的に比較することによって取得した特徴点が手前あるか奥に存在しているかを把握する。相対的に距離を把握するために、空間検索処理部１２３は、フレーム画面から取得した特徴点のピクセル移動量のＣＥＰ（Circular Error Probability、平均誤差半径）が所定の値（パーセント）となる閾値を求め、各特徴量のピクセル移動量が閾値より大きいか小さいかを比較することによって、各特徴量に対応するオブジェクトが手前に存在しているか、奥に存在しているかを把握することが可能である。
なお、以下の説明では便宜上ＣＥＰという用語を使用しているが、本実施例で扱われる移動量がスカラー値であるため、本実施例におけるＣＥＰは、取得された移動量の値の総数のうち、所定の割合の（例えばＸ％の）数の値を含む、移動量の値の範囲である。例えば、α番目のフレームから抽出された１００個の特徴点の各々と、α＋１番前のフレームから抽出された１００個の特徴点の各々が対応する場合、それらの１００組の特徴点の移動量が計算され、１００個の移動量の値が得られる。それらの１００個の値を大きさの順に並べて、Ｘ個の値を含む範囲を探し、その範囲に含まれる最小の移動量から最大の移動量までの範囲が、ＣＥＰがＸ％の範囲に相当する。
図２０は、本発明の実施例１の空間検索処理部１２３が画像内の領域の前後関係を判定する処理を示すフローチャートである。
図２０に示す処理は、複数の段階に分けて行われる。まず、空間検索処理部１２３は、画像を複数の領域に分け（Ｓ２００１）、夫々の領域においてＣＥＰがＸ％（Ｘは０から１００までの間の所定の値）となる移動量を算出し、領域ごとに前後関係を判断するための閾値を求める（Ｓ２００２）。
図１８は、本発明の実施例１の空間検索処理部１２３が画像の領域ごとに閾値を計算する処理の例を示す説明図である。
図１８の例では、２つの分割領域１８０１、１８０２の夫々で閾値が算出される。画像フレームの撮影地点によっては、例えば右側が山で左側が谷である場合、又は、進路が左右いずれかにカーブしている場合のように左右でピクセル移動量の傾向に大きな違いがみられ、また、画像フレームの上部と下部でもピクセル移動量の傾向に大きな違いがみられる。そのため、特性の似た領域ごとに閾値を定めることで、傾向の異なる領域の移動量に影響されて不適切な閾値が算出されることを防ぐ。空間検索処理部１２３は、ピクセル移動量を昇順に並び替え、そのＸ％確率円に入る最大の値を求めることによって、閾値を求める。
具体的には、例えば、空間検索処理部１２３は、画像フレームの領域ごとに、取得されたピクセル移動量を昇順に並べ、その分布の中心を特定し、そこを中心とした、移動量の値の総数のＸ％の値を含む範囲を特定し、その範囲に含まれる移動量の最大値を閾値として特定してもよい。また、最大値の代わりに、ＣＥＰがＸ％の範囲の値の任意の統計量（例えば最小値、平均値、中央値、分布の中心、又は、その分布の標準偏差の値に所定の係数を乗じた値を分布の中心の値に加算した値等）を閾値としてもよい。
次に、空間検索処理部１２３は、Ｓ２００２で処理した分割領域をさらに細かい領域（グリッド）に分け（Ｓ２００３）、各グリッドにおいてＣＥＰがＹ％となる移動量を算出し（Ｓ２００４）、Ｓ２００２で求めた閾値に基づき、グリッド間の前後関係を判断する（Ｓ２００５）。図１８の例では、空間検索処理部１２３は、分割領域１８０１をさらにグリッド１８０３等に分割し、グリッド単位でＣＥＰがＹ％となる移動量を算出する。特徴点の中には、画像フレーム間の特徴点のマッチングミスによって、不正な移動量を有するものも含まれる。このような不正な移動量の特徴点を排除しつつグリッドの前後関係をみるために、グリッドは１回目より細かな領域に設定することが望ましい。空間検索処理部１２３は、ピクセル移動量を昇順に並び替えそのＹ％確率円に入る値を求める。
そして、空間検索処理部１２３は、グリッドのＣＥＰがＹ％の閾値と、このグリッドが属する分割領域のＣＥＰがＸ％で算出された閾値とを比較し、ＣＥＰがＹ％の移動量の値が、ＣＥＰがＸ％の閾値より大きければ相対的に手前にあるグリッド、ＣＥＰがＸ％の閾値より小さければ相対的に奥にあるグリッドと判断する。なお、グリッドごとの閾値は、グリッド内の特徴点の移動量に基づいて、上記の領域ごとの閾値と同様の方法で計算することができる。
なお、一般に、一つのグリッドには撮影位置に近いオブジェクトと遠いオブジェクトの両方が同時に映り込んでいる場合があるが、グリッドがある程度小さければ、各グリッドには一つのオブジェクトのみが映っているか、又は、複数のオブジェクトが映っていたとしてもそれらの一つが支配的である場合が多いと考えられる。上記の説明において「相対的に手前にあるグリッド」及び「相対的に奥にあるグリッド」とは、それぞれ、相対的に手前（すなわち撮影位置から近い位置）にあるオブジェクトが主に映っているグリッド、及び、相対的に奥（すなわち撮影位置から遠い位置）にあるオブジェクトが主に映っているグリッドを意味する。
空間検索処理部１２３は、上記の処理を分割領域に属する各グリッドについて実施し（Ｓ２００６）、撮影位置から近いところにあるグリッドを特定することで、撮影位置から近い位置にある検査対象のオブジェクトを抽出する。空間検索処理部１２３は、上記の処理を、Ｓ２００１で分割した各領域に対して実施する（Ｓ２００７）。
このように、それぞれフレーム画面にて取得した特徴点のピクセル移動量のＣＥＰが所定のパーセント値となる閾値を求め、各グリッドのピクセル移動量が閾値より大きいか小さいかを比較することによって、相対的に、各グリッドが手前に存在しているか、奥に存在しているかを把握することが可能である。ピクセル移動量が閾値より大きい場合に、グリッドが撮影位置に近いと把握される。なお、ＣＥＰを繰り返す回数及びＸ、Ｙの値は任意に決定してよく、ＸとＹの値を同一にしても良い。また、ＣＥＰを算出する領域の区切り方も任意である。例えば画面を水平又は垂直に区切っても良いし、斜めに区切っても良い。また、フレーム画像上の特定の領域に絞ってＣＥＰの算出を実行しても良い。また、ＣＥＰ以外の、統計的な手法を用いて相対的な閾値を算出し、撮影位置から近い位置にある検査対象のオブジェクトを抽出しても良い。
上記の処理を実現する物体検知・評価システム構成の一例を示せば、次の通りである。すなわち、画像から検査対象物を検出するための検出器データを保持する記憶部と、移動するカメラが撮影した第１の画像から、前記検出器データを用いて検査対象物を抽出する検査対象物抽出処理部と、前記第１の画像に含まれる複数の第１の特徴点と、前記カメラが前記第１の画像の前又は後に撮影した第２の画像に含まれ、それぞれ前記複数の第１の特徴点に対応する複数の第２の特徴点と、の間の画像上の移動量に基づいて、それに含まれる移動量の割合が所定の値になる移動量の範囲を計算し、前記計算した範囲内の移動量に基づいて移動量の閾値を計算し、移動量が前記閾値より大きい前記特徴点を含む前記検査対象物を、前記第１の画像の撮影位置から近い検査対象物として取得する空間検索処理部と、を有する物体検知評価システムであって、前記空間検索処理部は、前記第１の画像及び前記第２の画像をそれぞれ所定の複数の領域に分割し、前記各領域に含まれる前記複数の第１の特徴点と前記複数の第２の特徴点とに基づいて、前記領域ごとに前記閾値を計算し、前記複数の領域を、それぞれ、より小さい複数のグリッドに分割し、前記各グリッドに含まれる前記複数の第１の特徴点と前記複数の第２の特徴点とに基づいて、前記グリッドごとに前記閾値を計算し、前記各グリッドの閾値と前記各グリッドを含む前記各領域の閾値とを比較し、いずれかの前記グリッドの閾値が当該グリッドを含む前記領域の閾値より大きい場合、当該グリッド内の前記特徴点を含む前記検査対象物を、前記第１の画像の撮影位置から近い検査対象物として取得する。
図１１の奥行き画像１１０３は、上記の処理によって画像に含まれるオブジェクトの前後関係を判定した結果の例である。この例では、撮影位置の近くにあるオブジェクトほど薄い網掛けが、遠くにあるオブジェクトほど濃い網掛けが施されている。
次に、空間検索処理部１２３は、Ｓ６０６において検査対象のオブジェクトとして抽出されたピクセルと、Ｓ６０７において撮影位置から近いところにある特徴点として抽出されたピクセルとを比較し、撮影位置から近い位置にある検査対象のオブジェクトを抽出する。例えば、Ｓ６０６において検査対象のオブジェクトとして抽出されたピクセルが、Ｓ６０７において撮影位置から近い特徴点として抽出されたピクセルを含む場合、その検査対象のオブジェクトが、撮影位置から近い検査対象のオブジェクトとして抽出される。その結果、図１１のα番目のフレーム画像１１０１から特定オブジェクト抽出画面１１０４が生成される。
次に、評価処理部１３２が、検査項目９０３に応じて、Ｓ６０７で抽出した撮影位置から近い位置にある検査対象のオブジェクトを検査する（Ｓ６０８）。検査の方法としては、オブジェクトの障害物検知又はオブジェクトの状態監視などがある。
検査項目９０３が障害物検知の場合、評価処理部１３２は、検査対象であるオブジェクトが検査対象設備の運用の障害になっていないかを評価する。たとえば、評価処理部１３２は、線路の架線もしくは道路脇にある電線上に樹木が覆いかぶさって障害になっていないかの確認、又は、線路もしくは高速道路の脇に存在している樹木が線路内もしくは道路内に入りこんで障害になっていないかの確認などを行う。
検査項目９０３が状態監視の場合は、検査対象であるオブジェクトの状態を評価する。たとえば、スペクトル解析処理部１２０が、バンドの反射強度の値に基づき、線路もしくは道路の温度変化を記録する、又は、線路もしくは道路の水分量の変化を記録するなどの評価を行う。
図１３は、本発明の実施例１のホストシステム１１０が実行する検査処理の例を示す説明図である。
検査項目９０３が障害物の検知である場合は、評価処理部１３２が、Ｓ６０７で生成した特定オブジェクト抽出画面１１０４に対してさらに、ＸＹ方向に検知範囲を指定するＸＹウィンドウ１３０１を設定し、ＸＹウィンドウ１３０１内に存在する検査対象のオブジェクトを抽出する。なお、ＸＹウィンドウ１３０１の範囲は固定されていても良いし、検査対象設備又は検査種別ごとに登録しておき、それらに応じて範囲を適宜切り替えても良い。さらに、ホスト端末１４０を用いてユーザが範囲を調整可能にしても良い。これによって、例えば線路を走行する鉄道車両に衝突する可能性がある樹木の枝等、検査対象設備を利用する物の運用の障害となる可能性がある検査対象物を抽出することができる。
検査項目９０３が状態監視である場合は、スペクトル解析処理部１２０が、Ｓ６０７で抽出した撮影位置から近い位置にある検査対象のオブジェクトのピクセルについての各バンドの反射強度の値に基づき、スペクトル解析を行う。例えば、スペクトル解析処理部１２０は、Ｓ６０６で示したスペクトル検査指数の計算と同様にバンド間差分を算出し、その値に基づいて温度又は水分量等、検査対象の状態をチェックする。なお、状態監視の場合も、ＸＹウィンドウ１３０１を設けても良い。
抽出されたオブジェクトのピクセルの情報及びＳ６０２で算出したα番目のフレーム画像の位置情報は、障害物情報として検査対象解析結果データベース１３０に登録される。なお、新しい映像データついての結果を格納する場合には、Ｓ６０２又はＳ６０３などで特定した情報に基づき、検査対象解析結果テーブル１３００が新規に作成され、検査対象解析結果データベース１３０に格納される。
ホストシステム１１０は、Ｓ６０２からＳ６０８の処理を、検査対象となる各フレームについて実施する（Ｓ６０９、Ｓ６１０）。
図１６は、本発明の実施例１のホスト端末１４０が表示する検査処理の結果の画面の例を示す説明図である。
結果画面１６０１では、検査対象解析結果テーブル１５００及び検査結果のジオメトリデータ１５０７に基づき、地図上に検査対象設備１６０３が表示され、さらに、障害物が検知された場所及び状態変化に問題のあった場所上にマークが付される。障害物検知の場合、障害検出位置マーク１６０４の他に、場所の緯度経度、検査結果情報等の詳細情報１６０２を表示しても良い。また、マーク又は詳細情報をクリックすることで、車載カメラ１００で撮影したその位置の画像又は映像を表示し、現場の状況を確認できるようにしてもよい。
図１９は、本発明の実施例１のホスト端末１４０が表示する検査処理の結果の画面の別の例を示す説明図である。
例えば、障害物検知の結果、いずれかのオブジェクトの少なくとも一部が障害物として検出された場合、画像上の検出された当該オブジェクトのピクセルに色を付けておき、映像を再生する際には、図１９に例示する障害物１９０１のように、識別可能に表示することも考えられる。ＸＹウィンドウ１３０１を画像上に表示しても良い。
状態監視の場合の場合も、状態変化検出位マークに代えて、検出された温度に応じて色を変えた状態表示１６０５を行っても良い。また、結果に関する詳細情報１６０６（例えば、スペクトル解析の結果、温度が閾値を超えていることなど）を表示しても良い。
結果画面１６０１には、そのほかに、現在画面に表示されている障害物検知の検査に関する情報１６０７及び状態監視の検査に関する情報１６０８を表示しても良く、複数の検査結果を同時に地図情報に表示しても良く、「表示」「非表示」ボタンを設けて複数の結果のうちいずれを表示するか切り替え可能にしても良い。
上記の図１６、図１９のような表示によって、検査対象施設を利用する移動体に影響を与える可能性がある検査対象物（例えば線路を走行する鉄道車両に衝突する可能性がある樹木の枝等）の存在を、当該物体検知・評価システムの利用者に明確に認識させることができる。
Ｓ６０６にて取得した特定位置の検査対象のスペクトル解析による評価を異なる日に実施した場合、過去に実施した物体検知・評価処理において、各検査対象物はそれぞれ位置情報を持った評価結果を保存しているため容易に検査対象物の状態の変化を抽出することが可能である。例えば検査対象の一つである道路脇又は線路脇の植生指数の変化を考えてみる。抽出されたそれぞれの検査対象物は植生指数を保有している。もし特定の樹木のみ植生指数が減少傾向にある場合、これは枯れが進んできたと判断することができる。よって、同一場所に存在している検査対象物に、異なる時期に同一項目の評価を行った場合、差分解析処理部１２５がその差分傾向を取得し、評価指数が減少傾向または増加傾向にあった場合、何等かの警告を発することも可能となる。
なお、実施例１では車載カメラ１００にマルチスペクトルカメラ１０３を用いた例を記載したが、マルチスペクトルカメラ１０３に代えて通常のカメラを用いても良い。通常のカメラの場合、図２に記載した撮影対象の分光曲線２０４の例のうち、赤色の波長域と緑色の波長域と青色の波長域の３つのスペクトル反射強度が取得でき、これら３つのスペクトル情報を組み合わせることによってカラー画像が表現される。よって、図３の画像データテーブル３１０は、３つのバンドのデータを有することになる。
この場合、図６の物体検知・評価処理のＳ６０６では、通常のカメラにて取得できる赤色の波長域と緑色の波長域と青色の波長域の反射強度のデータを用い、検査対象物において反射が強いスペクトルと反射が弱いスペクトルに基づき、閾値未満のオブジェクトを除外することで、検査対象物の抽出精度を高めることができる。
次に、本発明の実施例２を説明する。以下に説明する相違点を除き、実施例２のシステムの各部は、図１〜図２０に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。
実施例１では、α番目のフレーム画像の位置情報に対し検査種別が対応する場合に、フレーム画像に対する検査を実施する例を説明した。しかしながら、例えばトンネル内では樹木は生育しないので、トンネル内では、検査対象９０２が樹木であり、かつ、検査項目９０３が障害物検知であるような検査種別の検査は実施する必要がない。むしろ、そのような検査を実施することで、誤検出を増やしてしまうおそれがある。そのため、特定のエリアでは物体検知・評価処理をおこなわないようにしても良い。
この場合、図６で示した物体検知・評価処理のＳ６０３にて検査種別を特定した後にさらに、検査種別判定処理部１１７は、α番目のフレーム画像の撮影位置が検査除外エリアに該当しないかを判断する。
例えば、検査種別分布地図データベース１２９に検査除外テーブル（図示省略）を登録しておき、その検査除外テーブルに、検査種別ごとに除外する検査対象設備を登録しておいてもよい。検査種別判定処理部１１７は、検査種別を特定後に検査除外テーブルをチェックし、当該検査種別が除外される検査対象設備の検査対象設備についての検査対象設備テーブル８００及び検査対象設備のジオメトリデータ８０７を取得する。そして、α番目のフレーム画像の撮影位置が、除外される検査設備の検査対象設備のジオメトリデータ８０７に含まれるかを判定するための空間検索を行う。その結果、撮影位置が、除外される検査対象設備のジオメトリデータ８０７に含まれる場合は、検査除外エリアのフレームであると判断し、次のフレーム画像の処理へと進む（Ｓ６０４）。
図１４の例において、検査種別分布テーブル９００に対応する検査対象が樹木、検査項目が障害物検知の検査種別であり、このような検査種別については検査対象設備トンネルが検査除外として検査除外テーブルに登録されているとする。この場合、Ｓ６０４において、α番目のフレーム画像の撮影位置１４０４に対応する検査種別が特定され、さらに、その検査種別において検査除外されるトンネルのポリゴン１４０３に、当該撮影位置１４０４が含まれないため、フレーム画像に対するＳ６０５以降の検査処理が実行される。一方で、β番目のフレーム画像の場合は、その撮影位置に対応する検査種別は特定されるが、その検査種別において検査除外されるトンネルのポリゴン１４０３に当該撮影位置が含まれるため、Ｓ６０５以降の検査処理が実行されずに、次のフレーム画像の処理へと進む（Ｓ６０４）。
以上のように、本発明の実施例２によれば、不要な検査を行わないことで障害物等の誤検出を防ぐとともに、処理の負荷を低減することができる。
次に、本発明の実施例３を説明する。以下に説明する相違点を除き、実施例３のシステムの各部は、図１〜図２０に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。
実施例１には、速度情報を利用せずに行う処理を記載したが、ＧＰＳの加速度センサー１０２によって、ある程度の精度の速度情報が取得できる場合は、速度情報を用いても良い。速度情報を利用する場合、例えば、図４のＧＰＳ位置情報ファイル４１０にさらに、車載カメラ１００の加速度センサー１０２から取得した情報から計算された移動体（例えば車載カメラ１００を搭載した鉄道車両又は自動車等）の移動速度が登録される。そして、記憶装置１１６は、奥行解析処理部（図示省略）を有する。奥行解析処理部は、カメラで撮影した映像データのフレーム画像間の連続性を用いて映像の奥行を計算するプログラムを有する。あるいは、空間検索処理部１２３が、奥行解析処理部と同等のプログラムを含んでもよい。
図６の物体検知・評価処理のフローはさらに、Ｓ６０７にて特徴点のピクセル移動量算出後に、奥行解析処理部が、α番目のフレーム画像の撮影位置から所定の距離にある特徴点を抽出する手順を含む。
例えば、秒速１ｍで進む移動体にカメラを乗せ、そのカメラが撮影したあるフレームとその次に撮影したフレームのそれぞれから特徴点を取得した場合、それらの二つのフレームが撮影される間に移動体が最大で１／ｆｐｓ ｍ移動していることとなる。映像データの分解能によっても異なるが、この例では移動体が１ｍ移動した場合、特徴点の最大移動量が１０ピクセルであると仮定する。逆に、特徴点ごとの移動量を計算した場合１０ピクセルを超えるベクトルは発生しないはずであり、もし存在した場合は特徴点のマッチングミスと考えることができる。
また、上記の条件のもと、ある特徴点のピクセル移動量が１ピクセルと計算された場合、その特徴点は車載カメラ１００から遠い場所に存在していると考えることができる。よってフレーム間の各特徴点のピクセル移動量によって、それらの距離を計算することが可能である。しかし、算出した特徴点の移動量（ピクセル距離）は車載カメラ１００を搭載した移動体のスピードによって大きく変化する。そこで移動量を抽出するのに利用した複数のフレーム間の平均スピードによる重みづけによって定量的な距離へと変換する必要がある。これらのことから車載カメラ１００から各特徴点までの距離は、複数の特徴点のピクセル移動量の最大値、最小値及び当該最小値を計測した特徴点までの車載カメラ１００からの距離に基づいて計算される係数と、移動体の速度と、各特徴点のピクセル移動量と、に基づいて計算することが可能である。具体的には、例えば、次の式（３）によって計算される。
ｚ＝−α／ｃ×ｐ＋β ・・・（３）
ここでｚは車載カメラ１００から特徴点までの距離であり、ｃは車載カメラ１００を搭載した移動体の速度（ｍ／秒）であり、ｐは対象となる特徴点の移動量、α、βは係数である。α、βは以下の式（４）及び（５）の通りに計算できる。なお、ｃはα番目のフレーム画像１２１１の映像データに関するＧＰＳ位置情報ファイル４１０において、移動量を抽出するのに利用した各フレームの撮影位置と最も近い緯度４１４及び経度４１５を有するレコードの移動スピードの平均である。代表して、α番目のフレーム画像の撮影位置と最も近い緯度４１４及び経度４１５を有するレコードの移動スピードを用いても良い。
α＝ｚｍａｘ／（ｐｍｉｎ−ｐｍａｘ） ・・・（４）
β＝ｐｍａｘ×ｚｍａｘ／（ｐｍｉｎ−ｐｍａｘ） ・・・（５）
ここでｐｍｉｎは秒速１ｍにおけるフレーム間におけるピクセル移動量の最小値であり、ｐｍａｘは最大値である。またはｚｍａｘはｐｍｉｎを計測した特徴点までの車載カメラ１００からの距離を表している。また特徴点と車載カメラ１００の最小距離は０とする。この計算式を元に特徴点におけるピクセル移動量を用いてすべての特徴点の距離を計算する。このようにすることで、速度情報が取得できなかった部分を補完し、速度情報のばらつきを平滑化する。算出した特徴点の距離に対し、実施例１で述べたＣＥＸ％を行い、不正な値を取り除く。
しかしながら、ここで抽出した特徴点とその移動量のみでは画像のピクセル全体までの奥行（すなわち撮影位置からの距離）を計算できない。抽出した特徴点が、画像上のある領域においては非常に密な点群となり、別の領域においては非常に疎な点群となりうるためである。したがって、奥行解析処理部は、内挿法を用いて画像全体の移動量を求める。内挿法はスプライン補間又はラグランジュ補間など多く提案されている。内挿法に関しては限定しないが、ＧＩＳなどで地形を表現するために利用される不整三角網モデル（Triangulated Irregular Network：ＴＩＮ）を用いてもよい。
空間検索処理部１２３は、このようにして算出した特徴点の奥行きから所定の距離にある特徴点を抽出する。例えば、空間検索処理部１２３は、予め所定の距離の閾値を保持し、上記のように算出した撮影位置から各特徴点までの距離と当該閾値とを比較し、距離が当該閾値より小さい特徴点を、撮影位置から近い位置にある特徴点として抽出する。そして、空間検索処理部１２３は、Ｓ６０６において検査対象のオブジェクトとして抽出されたピクセルと、Ｓ６０７において撮影位置から近いところにある特徴点として抽出されたピクセルとを比較し、撮影位置から近い位置にある検査対象のオブジェクトを抽出する。
なお、内挿法による補間及び所定の距離にある特徴点の抽出は、前述のように、画像を複数の領域に分割し、領域ごとに処理しても良い。
また、上記の例では、速度情報を取得する方法として、車載カメラ１００の加速度センサー１０２が計測した加速度から速度情報を計算する方法を示したが、他の方法によって取得した速度情報を利用してもよい。例えば、ＧＰＳ装置１０１が計測した複数の位置と、それぞれの位置が計測された時刻と、に基づいて、計測された位置の間の移動距離を推定してもよいし、車載カメラ１００を搭載した移動体が計測した速度情報を取得してもよい。
以上の実施例３によれば、移動体の（すなわちそれに搭載された車載カメラ１００の）移動速度の情報を取得できる場合には、移動速度を用いて、車載カメラから対象物までの距離の推定の精度を高めることができる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
１００・・・車載カメラ
１０１・・・ＧＰＳ装置
１０２・・・加速度センサー
１０３・・・マルチスペクトルカメラ
１１０・・・ホストシステム
１４０・・・ホスト端末

Claims (14)

  1. 画像から検査対象物を検出するための検出器データと、検査除外領域の位置情報と、検査対象設備の位置情報と、を保持する記憶部と、
    移動するカメラが撮影した第１の画像から、前記検出器データを用いて検査対象物を抽出する検査対象物抽出処理部と、
    前記第１の画像に含まれる複数の第１の特徴点と、前記カメラが前記第１の画像の前又は後に撮影した第２の画像に含まれ、それぞれ前記複数の第１の特徴点に対応する複数の第２の特徴点と、の間の画像上の移動量に基づいて、前記移動量の総数に対する割合が所定の値となる数の移動量を含む移動量の範囲を計算し、前記計算した範囲内の移動量に基づいて移動量の閾値を計算し、移動量が前記閾値より大きい前記特徴点を含む前記検査対象物を、前記第１の画像の撮影位置から近い検査対象物として取得する空間検索処理部と、
    計測された前記カメラの位置と、前記カメラの位置が計測された時刻と、各時刻に計測された前記カメラの位置に最も近い前記検査対象設備の位置と、前記第１の画像が撮影された時刻と、に基づいて、前記第１の画像が撮影された位置を計算する画像位置情報取得部と、
    前記第１の画像が撮影された位置が前記検査除外領域に含まれるか否かを判定する検査種別判定処理部と、を有し、
    前記第１の画像が撮影された位置が前記検査除外領域に含まれると判定された場合、前記空間検索処理部の処理が実行されない物体検知評価システム。
  2. 請求項１に記載の物体検知評価システムであって、
    前記撮影位置から近い検査対象物のうち、画像上の所定の検査範囲に含まれる部分を抽出する評価処理部をさらに有する物体検知評価システム。
  3. 請求項１又は２に記載の物体検知評価システムであって、
    前記空間検索処理部は、前記第１の画像及び前記第２の画像をそれぞれ複数の領域に分割し、前記各領域に含まれる前記複数の第１の特徴点と前記複数の第２の特徴点とに基づいて、前記領域ごとに前記閾値を計算し、前記各領域内の特徴点の移動量と前記各領域の閾値とを比較する物体検知評価システム。
  4. 請求項１から３のいずれかに記載の物体検知評価システムであって、
    前記第１の画像は、複数の波長域の反射強度の情報を含み、
    前記検査対象物抽出処理部は、前記第１の画像から、前記複数の波長域の反射強度が所定の条件を満たすか否かを判定し、その判定の結果に基づいて、前記検査対象物を抽出する物体検知評価システム。
  5. 画像から検査対象物を検出するための検出器データを保持する記憶部と、
    移動するカメラが撮影した第１の画像から、前記検出器データを用いて検査対象物を抽出する検査対象物抽出処理部と、
    前記第１の画像に含まれる複数の第１の特徴点と、前記カメラが前記第１の画像の前又は後に撮影した第２の画像に含まれ、それぞれ前記複数の第１の特徴点に対応する複数の第２の特徴点と、の間の画像上の移動量に基づいて、前記移動量の総数に対する割合が所定の値となる数の移動量を含む移動量の範囲を計算し、前記計算した範囲内の移動量に基づいて移動量の閾値を計算し、移動量が前記閾値より大きい前記特徴点を含む前記検査対象物を、前記第１の画像の撮影位置から近い検査対象物として取得する空間検索処理部と、を有し、
    前記空間検索処理部は、前記カメラの移動速度を示す情報を取得した場合、前記移動速度と、前記複数の第１の特徴点と前記複数の第２の特徴点との間の画像上の移動量と、に基づいて、前記撮影位置から前記複数の第１の特徴点までの距離を計算し、前記計算した距離が前記計算した閾値より小さい前記特徴点を含む前記検査対象物を、前記第１の画像の撮影位置から近い検査対象物として取得する物体検知評価システム。
  6. 請求項２に記載の物体検知評価システムであって、
    前記第１の画像を表示する表示部をさらに有し、
    前記表示部は、前記第１の画像から前記検査範囲に含まれる部分が抽出された場合、抽出された前記検査範囲に含まれる部分を識別可能に表示する物体検知評価システム。
  7. 請求項６に記載の物体検知評価システムであって、
    前記表示部は、
    前記第１の画像の撮影位置を含む地域の地図を表示し、
    前記第１の画像から前記検査範囲に含まれる部分が抽出された場合、前記地図上に、前記第１の画像の撮影位置を表示する物体検知評価システム。
  8. プロセッサと、前記プロセッサに接続される記憶装置と、を有する計算機システムが実行する物体検知評価方法であって、
    前記記憶装置は、画像から検査対象物を検出するための検出器データと、検査除外領域の位置情報と、検査対象設備の位置情報と、を保持し、
    前記物体検知評価方法は、
    前記プロセッサが、移動するカメラが撮影した第１の画像から、前記検出器データを用いて検査対象物を抽出する第１手順と、
    前記プロセッサが、前記第１の画像に含まれる複数の第１の特徴点と、前記カメラが前記第１の画像の前又は後に撮影した第２の画像に含まれ、それぞれ前記複数の第１の特徴点に対応する複数の第２の特徴点と、の間の画像上の移動量に基づいて、前記移動量の総数に対する割合が所定の値となる数の移動量を含む移動量の範囲を計算し、前記計算した範囲内の移動量に基づいて移動量の閾値を計算し、移動量が前記閾値より大きい前記特徴点を含む前記検査対象物を、前記第１の画像の撮影位置から近い検査対象物として取得する第２手順と、
    前記プロセッサが、計測された前記カメラの位置と、前記カメラの位置が計測された時刻と、各時刻に計測された前記カメラの位置に最も近い前記検査対象設備の位置と、前記第１の画像が撮影された時刻と、に基づいて、前記第１の画像が撮影された位置を計算する第４手順と、
    前記プロセッサが、前記第１の画像が撮影された位置が前記検査除外領域に含まれるか否かを判定する第５手順と、を含み、
    前記第５手順において、前記第１の画像が撮影された位置が前記検査除外領域に含まれると判定された場合、前記第２手順が実行されない物体検知評価方法。
  9. 請求項８に記載の物体検知評価方法であって、
    前記プロセッサが、前記撮影位置から近い検査対象物のうち、画像上の所定の検査範囲に含まれる部分を抽出する第３手順をさらに含む物体検知評価方法。
  10. 請求項８又は９に記載の物体検知評価方法であって、
    前記第２手順は、前記プロセッサが、前記第１の画像及び前記第２の画像をそれぞれ複数の領域に分割し、前記各領域に含まれる前記複数の第１の特徴点と前記複数の第２の特徴点とに基づいて、前記領域ごとに前記閾値を計算し、前記各領域内の特徴点の移動量と前記各領域の閾値とを比較する手順を含む物体検知評価方法。
  11. 請求項８から１０のいずれかに記載の物体検知評価方法であって、
    前記第１の画像は、複数の波長域の反射強度の情報を含み、
    前記第１手順は、前記プロセッサが、前記第１の画像から、前記複数の波長域の反射強度が所定の条件を満たすか否かを判定し、その判定の結果に基づいて、前記検査対象物を抽出する手順を含む物体検知評価方法。
  12. プロセッサと、前記プロセッサに接続される記憶装置と、を有する計算機システムが実行する物体検知評価方法であって、
    前記記憶装置は、画像から検査対象物を検出するための検出器データを保持し、
    前記物体検知評価方法は、
    前記プロセッサが、移動するカメラが撮影した第１の画像から、前記検出器データを用いて検査対象物を抽出する第１手順と、
    前記プロセッサが、前記第１の画像に含まれる複数の第１の特徴点と、前記カメラが前記第１の画像の前又は後に撮影した第２の画像に含まれ、それぞれ前記複数の第１の特徴点に対応する複数の第２の特徴点と、の間の画像上の移動量に基づいて、前記移動量の総数に対する割合が所定の値となる数の移動量を含む移動量の範囲を計算し、前記計算した範囲内の移動量に基づいて移動量の閾値を計算し、移動量が前記閾値より大きい前記特徴点を含む前記検査対象物を、前記第１の画像の撮影位置から近い検査対象物として取得する第２手順と、を含み、
    前記第２手順は、前記プロセッサが、前記カメラの移動速度を示す情報を取得した場合、前記移動速度と、前記複数の第１の特徴点と前記複数の第２の特徴点との間の画像上の移動量と、に基づいて、前記撮影位置から前記複数の第１の特徴点までの距離を計算し、前記計算した距離が前記計算した閾値より小さい前記特徴点を含む前記検査対象物を、前記第１の画像の撮影位置から近い検査対象物として取得する手順を含む物体検知評価方法。
  13. 請求項９に記載の物体検知評価方法であって、
    前記計算機システムは、前記第１の画像を表示する表示装置をさらに有し、
    前記第１の画像から前記検査範囲に含まれる部分が抽出された場合、前記表示装置が、抽出された前記検査範囲に含まれる部分を識別可能に表示する手順をさらに含む物体検知評価方法。
  14. 請求項１３に記載の物体検知評価方法であって、
    前記表示装置が、前記第１の画像の撮影位置を含む地域の地図を表示し、前記第１の画像から前記検査範囲に含まれる部分が抽出された場合、前記地図上に、前記第１の画像の撮影位置を表示する手順をさらに含む物体検知評価方法。
JP2016117929A 2016-06-14 2016-06-14 物体検知評価システム及び物体検知評価方法 Expired - Fee Related JP6646527B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016117929A JP6646527B2 (ja) 2016-06-14 2016-06-14 物体検知評価システム及び物体検知評価方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016117929A JP6646527B2 (ja) 2016-06-14 2016-06-14 物体検知評価システム及び物体検知評価方法

Publications (2)

Publication Number Publication Date
JP2017224935A JP2017224935A (ja) 2017-12-21
JP6646527B2 true JP6646527B2 (ja) 2020-02-14

Family

ID=60688450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016117929A Expired - Fee Related JP6646527B2 (ja) 2016-06-14 2016-06-14 物体検知評価システム及び物体検知評価方法

Country Status (1)

Country Link
JP (1) JP6646527B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6735298B2 (ja) * 2018-03-05 2020-08-05 日本電信電話株式会社 たわみ推定装置、たわみ推定方法及びプログラム
JP7197282B2 (ja) * 2018-04-18 2022-12-27 日本信号株式会社 物体検知システム
CN109030510A (zh) * 2018-07-05 2018-12-18 武汉捷特航空科技有限公司 一种无人机公路弯沉测量系统
JP7280119B2 (ja) * 2019-06-03 2023-05-23 古河電気工業株式会社 支援情報作成装置、支援情報作成システム、支援情報作成方法、及び支援情報作成プログラム
JP2020199981A (ja) * 2019-06-12 2020-12-17 九州旅客鉄道株式会社 飛行体の制御方法
WO2021100502A1 (ja) * 2019-11-18 2021-05-27 ポジティブワン株式会社 割当制御装置、割当制御システム、及び割当制御方法
JP6747704B1 (ja) * 2020-04-07 2020-08-26 ポジティブワン株式会社 割当制御装置、割当制御システム、及び割当制御方法
KR102336433B1 (ko) * 2019-12-20 2021-12-07 (주)캠시스 카메라를 이용한 수율 관리 시스템 및 방법
CN111240227B (zh) * 2020-01-22 2021-05-25 南京航空航天大学 一种运输直升机救火类综合任务谱编制方法
WO2021176568A1 (ja) * 2020-03-03 2021-09-10 日本電気株式会社 設備診断システム、及び、設備診断方法
JP2024017894A (ja) * 2022-07-28 2024-02-08 株式会社日立製作所 タスク実行システム、タスク実行方法、およびタスク実行プログラム
CN116051565B (zh) * 2023-04-03 2023-07-28 广州水木星尘信息科技有限公司 基于结构光3d点云的接触网缺陷目标检测方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4855342B2 (ja) * 2007-06-05 2012-01-18 株式会社デジタルマジック オブジェクト分類装置、駐車スペース検出装置、オブジェクト分類方法、駐車スペース検出方法、及びプログラム
JP5224906B2 (ja) * 2008-05-23 2013-07-03 株式会社Ｉｈｉ 植生検出装置および方法
JP5519381B2 (ja) * 2010-04-09 2014-06-11 トヨタ自動車株式会社 スペクトル測定装置
JP2012189584A (ja) * 2011-02-21 2012-10-04 Mitsubishi Electric Corp 目標検出装置
JP5809751B2 (ja) * 2012-06-26 2015-11-11 本田技研工業株式会社 対象物認識装置

Also Published As

Publication number Publication date
JP2017224935A (ja) 2017-12-21

Similar Documents

Publication Publication Date Title
JP6646527B2 (ja) 物体検知評価システム及び物体検知評価方法
US10480939B2 (en) High speed stereoscopic pavement surface scanning system and method
Zhou An object-based approach for urban land cover classification: Integrating LiDAR height and intensity data
Garilli et al. Automatic detection of stone pavement's pattern based on UAV photogrammetry
US20160133008A1 (en) Crack data collection method and crack data collection program
CA2840436A1 (en) System for mapping and identification of plants using digital image processing and route generation
US20160133007A1 (en) Crack data collection apparatus and server apparatus to collect crack data
US20230177795A1 (en) Method and system for determining a condition of a geographical line
US20230353763A1 (en) Method and system for encoding image data representing a geographical line
Mertz et al. City-wide road distress monitoring with smartphones
KR101874968B1 (ko) 이미지 정보 기반의 시정거리 측정 시스템 및 이를 이용한 시정거리 측정 방법
Shokri et al. A robust and efficient method for power lines extraction from mobile LiDAR point clouds
Yao et al. Automated detection of 3D individual trees along urban road corridors by mobile laser scanning systems
CA3066752A1 (en) High speed stereoscopic pavement surface scanning system and method
Abou Chacra et al. Municipal infrastructure anomaly and defect detection
Rumora et al. Spatial video remote sensing for urban vegetation mapping using vegetation indices
JP2015092339A (ja) スペクトル的および空間的物体モデルから識別する方法
Yu et al. Regional sampling of forest canopy covers using UAV visible stereoscopic imagery for assessment of satellite-based products in Northeast China
Beumier et al. Building change detection from uniform regions
JP2023152480A (ja) 地図データ生成方法、地図データ生成装置及び地図データ生成プログラム
Lehrbass et al. Urban tree cover mapping with relief-corrected aerial imagery and LiDAR
Zaki et al. Individual tree crown (ITC) delineation using watershed transformation algorithm for tropical lowland dipterocarp
Walter Object-based classification of integrated multispectral and LIDAR data for change detection and quality control in urban areas
Kaur et al. Automatic road detection of satellite images—A survey
Jengo et al. Pothole detection and road condition assessment using hyperspectral imagery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200110

R150 Certificate of patent or registration of utility model

Ref document number: 6646527

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees