JPWO2020174916A1 - 撮影システム - Google Patents

撮影システム Download PDF

Info

Publication number
JPWO2020174916A1
JPWO2020174916A1 JP2021501695A JP2021501695A JPWO2020174916A1 JP WO2020174916 A1 JPWO2020174916 A1 JP WO2020174916A1 JP 2021501695 A JP2021501695 A JP 2021501695A JP 2021501695 A JP2021501695 A JP 2021501695A JP WO2020174916 A1 JPWO2020174916 A1 JP WO2020174916A1
Authority
JP
Japan
Prior art keywords
image
target object
photographing
target
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021501695A
Other languages
English (en)
Other versions
JP7035272B2 (ja
Inventor
悠 杉村
一成 岩永
洋平 秋元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Publication of JPWO2020174916A1 publication Critical patent/JPWO2020174916A1/ja
Application granted granted Critical
Publication of JP7035272B2 publication Critical patent/JP7035272B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/006Apparatus mounted on flying objects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

構造物の検査に適した画像を効率よく収集することが可能な技術を提案する。本例の構造物検査支援システム100は、現在位置を測位するGNSS受信機120と、目標物を撮影する撮像装置110と、撮像装置110を制御する計算装置130とを備え、これらは移動体に搭載される。計算装置130は、予め設定された目標物の設置位置と、GNSS受信機120により測位された現在位置と、車両の移動速度とに基づいて、撮像装置110を制御して撮影を複数回繰り返し、撮像装置110から出力される複数の画像のそれぞれに対して画像認識処理を行って、目標物を撮影した画像で且つ検査に適した画像を選択する。

Description

本発明は、移動体に搭載された撮像装置で目標物を自動的に撮影する撮影システムに関する。
従来、監視カメラ等の撮像装置を用いて、監視対象領域内に侵入する物体を監視することが行われている。また、監視員による有人監視ではなく、映像監視装置(或いはシステム)が自動的に監視を行う技術が検討されている。このような映像監視装置は、検出結果を利用して移動物体の出現した映像のみを記録する機能や、表示装置に警告アイコンを表示したりブザー等を鳴らしたりして監視員の注意を促す機能を有している。したがって、映像監視装置を利用することで、常時の確認作業を行う場合に比べて監視業務の負担低減に役立つ。
監視対象領域内に侵入する物体を自動的に検出する技術の一例として、背景差分法と呼ばれる方法を用いた監視技術が従前より広く用いられている(例えば、特許文献1参照)。背景差分法による物体検出方法では、撮像装置等から得られる入力画像と検出すべき物体が映っていない基準となる背景画像との輝度(或いは、画素値)の差分を算出し、その値(差分)が所定の閾値と比べて大きい変化領域に検出すべき物体が存在する、或いはその可能性があるとして監視を行う。
特許文献1に開示された技術では、撮影機能と測位機能とを備える端末装置によって取得した時間的に異なる2枚の撮影画像から、対象物そのものの経時変化と、対象物と背景との相対的な変化(電柱の傾斜等)の2種類の経時変化を自動で検出する。
また、撮像装置等から得られる入力画像単体で物体の領域を検出する方法があり、その一例としてSS(Selective Search)手法がある。SS手法では、入力画像の色やテクスチャの類似度を基に、物体が存在する或いはその可能性がある領域を検出する。
特開2016−18463号公報
屋外構造物(家屋、標識、電柱、信号機など)の定期点検、あるいは災害発生後の巡視点検には、膨大な人員が掛かる。これらの作業を簡易化する手段として、道路を走行する車両に、GNSS(Global Navigation Satellite System;全地球測位システム)受信機、360度カメラ、LiDAR(Light Detection and Ranging)などを搭載してデータ収集を行う検査支援システムが存在する。このシステムは、例えば、レーザーとカメラの併用による周辺物の3次元座標の認識を行い、道路の平坦性やトンネルの形状などを検査するのに使用されている。
屋外構造物の検査において、表面のひびや色の変化を記録する場合がある。この検査は、これまで人手による目視の点検と撮影を行ってデータ管理していたため、多くの労力と時間を要してしまっていた。自動撮影による手法を考えた場合、撮影画像が可視で高画質、かつ歪みの少ないものでなければ物体の表面状態をよく観察できないので、従来の検査支援システムで対応することは難しい。また、構造物全体を検査する場合には、進行方向から撮影した画像だけでなく、複数の方向から撮影した画像が必要となる。更に、ガードレールなどの周辺構造物や人物などで遮蔽される場合があるため、点検に最適な瞬間の画像は異なる。したがって、単純なGNSS連動の自動撮影では、複数の方向から撮影した画像同士の対応付けや、ユーザが点検に使える画像の選択などのために、膨大な手間が必要となる。
本発明は、上記のような従来の事情に鑑みて為されたものであり、構造物の検査に適した画像を効率よく収集することが可能な技術を提案することを目的とする。
上記目的を達成するために、本発明では、撮影システムを以下のように構成した。
本発明に係る撮影システムは、現在位置を測位する測位装置と、目標物を撮影する撮像装置と、前記撮像装置を制御する制御装置とを移動体に搭載した撮影システムにおいて、前記制御装置は、予め設定された前記目標物の設置位置と、前記測位装置により測位された現在位置と、前記移動体の移動速度とに基づいて、前記撮像装置を制御して撮影を複数回繰り返し、前記撮像装置から出力される複数の画像のそれぞれに対して画像認識処理を行って、前記目標物を撮影した画像で且つ検査に適した画像を選択することを特徴とする。
このように、本発明に係る撮影システムでは、同じ目標物を複数回撮影した上で、それにより得られた複数の画像の中から検査に適した画像を自動的に選択するように構成されている。これにより、構造物の検査に適した画像の収集を、人手を極力排除して、効率よく実施することが可能となる。
ここで、一構成例として、前記制御装置は、目標物の歪みが少ない画像、より中央に目標物がある画像、目標物が見切れていない画像、遮蔽物の映り込みが少ない画像を正解の教師データに用いた深層学習により事前に生成された学習モデルを使用して、前記撮像装置から出力される複数の画像の中から前記目標物を撮影した画像を抽出する構成としてもよい。
また、一構成例として、前記制御装置は、前記目標物を撮影した画像が複数ある場合に、事前に登録された画像との類似度が最も高い画像、または、前記目標物に最も近い位置で撮影された画像を、前記検査に適した画像として選択する構成としてもよい。
また、一構成例として、前記撮像装置は、前記目標物を複数の方向から撮影し、前記制御装置は、前記目標物を複数の方向から撮影した各画像をグループ化する構成としてもよい。
本発明に係る撮影システムによれば、構造物の検査に適した画像を効率よく収集することが可能となる。
本発明の一実施形態に係る構造物検査支援システムの構成例を示す図である。 図1の構造物検査支援システムにおける撮影時のフローチャートを示す図である。 図1の構造物検査支援システムによる自動撮影の仕組みについて説明する図である。 図1の構造物検査支援システムによる画像選択の仕組みについて説明する図である。 図1の構造物検査支援システムによる撮影結果の表示例を示す図である。
本発明の一実施形態について、図面を参照して説明する。以下では、一眼レフカメラなどの撮像装置を用いて道路、橋梁、標識などの構造物(アセット)をより鮮明に撮影し、構造物の検査に適した画像を収集する構造物検査支援システムを例にして説明する。
図1には、本発明の一実施形態に係る構造物検査支援システム100の構成例を示してある。構造物検査支援システム100は、ハードウェア資源としてCPU(Central Proc essing Unit)などのプロセッサやメモリを備えた電子計算機システムにより構成され、メモリに予め格納されたプログラムをプロセッサで実行することで、それぞれの機能が実現される。なお、ハードウェア資源として、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)などを用いてもよい。
構造物検査支援システム100は、撮像装置110と、GNSS受信機120と、計算装置130と、記録装置140と、出力装置150とを備える。本例では、これらの装置を、道路を走行する車両に搭載している。なお、撮像装置110が本発明に係る撮像装置に対応し、GNSS受信機120が本発明に係る測位装置に対応し、計算装置130が本発明に係る制御装置に対応している。
撮像装置110は、検査対象となる構造物の撮影を行う装置であり、例えば、構造物の状態をより鮮明に把握するために、一眼レフカメラや4Kカメラなどの高画質カメラが使用される。高画質カメラを撮像装置110に使用することで、構造物のひびや傷なども認識可能な画像を撮影することができる。撮像装置110は、車両の前方方向、右方向、左方向、上方向、後方方向など、特定の方向に向けて車両に搭載される。撮像装置110の搭載位置、撮影方向、台数は、検査対象(撮影の目標物)となる構造物の種類に応じて決定される。例えば、車両の進行方向に対して左側に設置されている電柱を横方向から撮影したい場合には、車両から見て左方向に向けた撮像装置110を車両に搭載すればよい。撮像装置110が撮影した映像は、計算装置130へ出力される。
GNSS受信機120は、現在位置の測位を行う装置であり、例えば、GPS(Global Positioning System)受信機が用いられる。GNSS受信機120は、測位衛星からの電波に基づいて現在位置(例えば、緯度及び経度)を特定し、現在位置の情報を計算装置130に出力する。
計算装置130は、映像取得部131と、画像処理部132と、データ通信部133と、位置取得部134と、記録制御部135と、表示制御部136とを備える。計算装置130は、一台の装置として構成されてもよいし、複数の装置の集合体として構成されてもよいし、その構成態様は問わない。
位置取得部134は、GNSS受信機120から現在位置の情報を取得し、映像取得部131に出力する。
映像取得部131は、現在位置の情報に基づいて撮像装置110による撮影を制御し、リアルタイムの画像データを取得して、現在位置の情報とともに画像処理部132に出力する。映像取得部131による撮像制御の詳細については後述する。また、映像取得部131は、画像データが記録されている記録装置140から入力された映像信号から、1次元、2次元または3次元配列の画像データを取得してもよい。
画像データに対しては、ノイズやフリッカなどの影響を低減するために、前処理として、平滑化フィルタや輪郭強調フィルタ、濃度変換などの処理が施されてもよい。また、用途に応じて、RGBカラーやモノクロなどのデータ形式が選択されてもよい。更には、処理コスト低減の観点から、所定の大きさになるように画像データに対して縮小処理が施されてもよい。
画像処理部132は、映像取得部131より得られた画像データと現在位置の情報を入力として、検査に最適な画像の選択を行う。画像処理部132による画像選択の詳細については後述する。
データ通信部133は、画像処理部132の結果や記録装置140に保存された情報などを、ローカルエリアに設置された他の機器や、ネットワーク上の監視センタなどに送信する。
記録制御部135は、画像処理部122による検出や画像選択の結果を用いて、映像の記録制御を行ったり、記録映像の圧縮率や記録間隔の制御を行ったりする。
表示制御部136は、映像取得部121による取得画像、画像処理部132による検出や画像選択の結果、記録装置130に保存されているデータなどの表示を制御する。
記録装置140は、映像取得部121により得られた映像を、記録制御部124の命令により記録保持する。また、記録装置140は、表示制御部136などからの要求に応じて、保存しているデータを送信する。
出力装置150は、表示/指示端末151と、表示出力装置152とを備える。
表示/指示端末151は、映像取得部131や画像処理部132の処理で用いるパラメータの設定など、ユーザからの指示を受け付ける。
表示出力装置152は、表示制御部136の制御に従って、映像取得部121による取得画像、画像処理部132による検出や画像選択の結果、記録装置130に保存されているデータなど、各種の情報を表示する。
次に、本例の構造物検査支援システム100における撮影時の動作について、図2のフローチャートを参照して具体的に説明する。
まず、撮像装置110やGNSS受信機120など、撮影に必要な機器を車両に設置する(ステップS10)。
続いて、自動撮影のために必要なデータを準備する(ステップS11)。例えば、検査対象(撮影の目標物)に登録された構造物(例えば、電柱)の設置位置の情報を、予め記録装置140に記憶させる。
その後、車両が走行を開始してから走行を終了するまで(撮影の目標物が存在する範囲の巡回を終えるまで)、以下の処理を行う(ステップS12〜S15)。
映像取得部141が、予め登録された目標物の設置位置と、GNSS受信機120で測位された現在位置と、車両の移動速度とに基づいて、目標物の半径x[m]以内に車両が接近したか否かを判定する(ステップS13)。そして、目標物の半径x[m]以内に車両が接近したと判定された場合に、撮像装置110に撮影を指示してシャッターを自動でy秒間連射させる(ステップS14)。
車両の移動速度や移動方向は、GNSS受信機120から所定の測位間隔で得られる現在位置の時間的な推移に基づいて計算することができる。なお、車両から速度情報を取得する構成としてもよいが、測位結果を利用する本例の方がシステム構成を簡易化できる。また、撮影を開始する際の目標物までの距離や、撮影を継続する時間(シャッターの連射時間)は、自由に設定することができる。
次に、本例の構造物検査支援システム100による自動撮影の仕組みについて、図3を参照して説明する。
自動撮影は、目標物の設置位置と車両の現在位置との距離に基づいて行われる。本例では、目標物を複数の方向から撮影できるように、複数の撮像装置110を車両に搭載している。具体的には、車両の前方に向けた前方カメラ、車両の側方(例えば、左方向)に向けた側方カメラ、車両の後方に向けた後方カメラを車両に搭載している。これらカメラでの最適なシャッタータイミングは車両の移動方向や移動速度によって異なる。そこで、本例の映像取得部141は、目標物と車両との位置関係、車両の移動方向を考慮して、前方カメラ、側方カメラ、後方カメラのそれぞれのシャッタータイミングを独立に管理する。
また、GNSS受信機120により取得される現在位置の情報には誤差が含まれることから、撮影の期間にはマージンを持たせる必要がある。ここでは、前方カメラで撮影する場合の撮影距離を目標物の手前10〜15mの範囲とし、側方カメラで撮影する場合の撮影距離を目標物の手前2m〜奥2mの範囲とし、後方カメラで撮影する場合の撮影距離を目標物の後方10〜15mの範囲とする。車両の移動速度を30km/hと仮定すると、目標物と車両の距離が近づいており且つ車両が進行する車線の側に目標物が面している場合(目標物の位置が対向車線側でない場合)には、目標物と車両の距離が15mとなった瞬間から0.6秒間、前方カメラのシャッターの連射を続けるよう制御する。また、側方カメラについては、目標物と車両の距離が2mとなった瞬間から0.48秒間、シャッターの連射を続けるよう制御する。同様に、後方カメラについては、車両が目標物を通過して目標物と車両の距離が10mとなった瞬間から0.48秒間、シャッターの連射を続けるよう制御する。
なお、車両が一定の移動速度で走行を続けることができれば理想的だが、実際には、車両が目標物の近くで信号によって停車したり、渋滞などで低速になったりする可能性がある。そこで、車両の移動速度や加速度に応じて、撮影を停止したり、連射の間隔を短く(あるいは長く)するようにしてもよい。
ここで、撮影により得られた画像データは、目標物の設置位置毎に管理され、前方、側方、後方の各カメラの撮影時間に基づいて対応付けられる。例えば、撮影開始時の車両の位置が目標物Aの手前15mで、そこから0.6秒間に撮影した画像を、目標物Aの前方画像群としてグルーピングする。同様に、目標物Aの手前2mから0.48秒間に撮影した画像を、目標物Aの側方画像群としてグルーピングする。また、目標物Aの後方10mから0.6秒間に撮影した画像を、目標物Aの後方画像群としてグルーピングする。
次に、画像処理部132の動作について、図4を参照して具体的に説明する。なお、以下の説明における「カメラ1」、「カメラ2」、「カメラ3」は、それぞれ、前方カメラ、側方カメラ、後方カメラのことである。
画像処理部132は、映像取得部131から画像データを取得する(ステップS20)。画像データは、図4に画像フォルダ例を示すように、GNSS受信機120による測位結果をもとに、目標物であるアセット毎にグループ化して管理される。
続いて、画像処理部132は、検査対象に設定された全てのアセットについて、以下の処理を行う(ステップS21〜S26)。
カメラ1による複数の画像データ(前方画像群)の中から検査に最適な画像を選択する(ステップS22)。同様に、カメラ2による複数の画像データ(側方画像群)の中から最適画像を選択し(ステップS23)、カメラ3による複数の画像データ(後方画像群)の中から最適画像を選択する(ステップS24)。その後、不要になった画像(最適画像に選択されなかった画像)の削除を行う(ステップS25)。
最適画像の選択は、一例として、以下のようにして行われる。まず、複数の画像のそれぞれについて、画像のエッジを検出してその特徴を見ることより、画像内における目標物の候補領域の抽出を行う。そして、複数の画像から候補領域が抽出された場合に、それらの画像の中から、候補領域のピクセル数が最も多い画像を最適画像として選択する。
また、別の例として、CNN(Convolutional Neural Network;畳み込みニューラルネットワーク)に代表される画像認識処理を用いた深層学習(ディープラーニング)により、複数の画像のそれぞれについて、画像内における目標物の有無を認識する。ディープラーニングでは、例えば、目標物の歪みが少ない画像、より中央に目標物がある画像、目標物が見切れていない画像、遮蔽物の映り込みが少ない画像などを正解の教師データ(ポジティブ画像)とし、これらに合致しない画像を不正解の教師データ(ネガティブ画像)として与えて事前に学習モデルを生成しておき、画像内の目標物の認識に使用する。そして、この学習モデルによって目標物の存在が認識された画像を抽出し、その中から、所定の条件を満たす画像を最適画像として選択する。最適画像の選択に用いる所定の条件としては、例えば、(1)事前に登録された画像(正解の教師データ)との類似度が最も高い画像を選択する条件、(2)目標物に最も近い位置で撮影された画像を選択する条件、(3)これらを組み合わせた条件、などが挙げられる。
以上のようにして、同じ目標物を撮影した複数の画像データの中から、検査に最適な画像が自動的に選択される。画像処理部132により選択された画像は、記録装置140に記録される。また、表示出力装置152に表示され、目視の検査に使用される。なお、目視の検査ではなく、画像認識による自動傷検知などを行ってもよい。
図5には、表示出力装置152による撮影結果の表示例を示してある。表示出力装置152には、図5のような撮影結果表示画面200が表示される。同図の撮影結果表示画面200は、画面左側のマップ表示領域201と、画面右側の検査対象表示領域202とを有する。マップ表示領域201のマップには、検査対象に登録されている構造物を示すマークが表示される。検査員が上記のマークをマウスクリック等により選択すると、その構造物を横、正面、背面の3方向から撮影した各画像群の中から選出された3枚の最適画像が検査対象表示領域202に表示される。検査員は、検査対象表示領域202に表示された3枚の最適画像を確認し、該当する構造物の点検を行う。
以上説明したように、本例の構造物検査支援システム100は、現在位置を測位するGNSS受信機120と、目標物を撮影する撮像装置110と、撮像装置110を制御する計算装置130とを備え、これらは移動体に搭載される。計算装置130は、予め設定された目標物の設置位置と、GNSS受信機120により測位された現在位置と、車両の移動速度とに基づいて、撮像装置110を制御して撮影を複数回繰り返し、撮像装置110から出力される複数の画像のそれぞれに対して画像認識処理を行って、目標物を撮影した画像で且つ検査に適した画像を選択する。
このように、本例の構造物検査支援システム100は、同じ目標物を複数回撮影した上で、それにより得られた複数の画像の中から検査に最適な画像を自動的に選択するように構成されている。したがって、構造物の検査に最適な画像の収集を、人手を極力排除して、効率よく実施することができる。これにより、従来のように、構造物の検査に際して検査員が現地に赴いて一つ一つ直接目視で確認する必要がなくなり、構造物検査の効率性が向上する。しかも、撮像装置110として高画質カメラを用いて撮影を行うことで、構造物のひびや傷などの有無も検査することが可能となる。
ここで、上記の説明では、各方向について1枚の画像を検査に最適な画像として選択しているが、検査に適した複数枚の画像を選択してもよい。この場合には、例えば、事前に登録された画像(正解の教師データ)との類似度が高い順に複数枚の画像を選択してもよく、目標物に近い位置で撮影された順に複数枚の画像を選択してもよく、これらを組み合わせた順序付けに従って複数枚の画像を選択してもよい。
また、上記の説明では、1つの方向に対して1台の撮像装置110(例えば、車両の側方に向けた1台の側方カメラ)を配置しているが、1つの方向に対して複数台の撮像装置110を配置してもよい。これは、車両が接近した状態で撮影すると1枚の画像に収まらないような目標物の撮影に適している。例えば、上下方向に長い電柱を目標物として撮影する場合には、水平方向に向けた撮像装置と、斜め上方に向けた撮像装置の2台を使用して撮影し、これら2台の撮像装置で撮影された2枚の画像を合成して、電柱の全体を収めた画像を生成してもよい。この場合、2台の撮像装置で得られた複数の画像の中から最適画像を選択し、最適画像を撮影した方とは異なる方の撮像装置でこれと最も近い時刻に撮影された画像を合成すればよい。
また、上記の説明では、自動撮影に使用する移動体として、道路を走行する車両を用いているが、列車や無人航空機(いわゆる「ドローン」)などの他の移動体を用いて自動撮影を行うようにしてもよい。
以上、本発明を構造物検査支援システムに利用する場合を例にして説明したが、本発明はこのような例に限定されるものではなく、上記以外にも広く適用することができることは言うまでもない。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式をプロセッサやメモリ等のハードウェア資源を有するコンピュータにより実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。
本発明は、移動体に搭載された撮像装置で目標物を自動的に撮影する種々の撮影システムに利用することができる。
100:構造物検査支援システム、 110:撮像装置、 120:GNSS受信機、
130:計算装置、 131:映像取得部、 132:画像処理部、 133:データ通信部、 134:位置取得部、 135:記録制御部、 136:表示制御部、 140:記録装置、 150:出力装置、 151:表示/指示端末、 152:表示出力装置

Claims (8)

  1. 現在位置を測位する測位装置と、目標物を撮影する撮像装置と、前記撮像装置を制御する制御装置とを移動体に搭載した撮影システムにおいて、
    前記制御装置は、予め設定された前記目標物の設置位置と、前記測位装置により測位された現在位置と、前記移動体の移動速度とに基づいて、前記撮像装置を制御して撮影を複数回繰り返し、前記撮像装置から出力される複数の画像のそれぞれに対して画像認識処理を行って、前記目標物を撮影した画像で且つ検査に適した画像を選択することを特徴とする撮影システム。
  2. 請求項1に記載の撮影システムにおいて、
    前記制御装置は、目標物の歪みが少ない画像、より中央に目標物がある画像、目標物が見切れていない画像、遮蔽物の映り込みが少ない画像を正解の教師データに用いた深層学習により事前に生成された学習モデルを使用して、前記撮像装置から出力される複数の画像の中から前記目標物を撮影した画像を抽出することを特徴とする撮影システム。
  3. 請求項1に記載の撮影システムにおいて、
    前記制御装置は、前記目標物を撮影した画像が複数ある場合に、事前に登録された画像との類似度が最も高い画像、または、前記目標物に最も近い位置で撮影された画像を、前記検査に適した画像として選択することを特徴とする撮影システム。
  4. 請求項2に記載の撮影システムにおいて、
    前記制御装置は、前記目標物を撮影した画像が複数ある場合に、事前に登録された画像との類似度が最も高い画像、または、前記目標物に最も近い位置で撮影された画像を、前記検査に適した画像として選択することを特徴とする撮影システム。
  5. 請求項1に記載の撮影システムにおいて、
    前記撮像装置は、前記目標物を複数の方向から撮影し、
    前記制御装置は、前記目標物を複数の方向から撮影した各画像をグループ化することを特徴とする撮影システム。
  6. 請求項2に記載の撮影システムにおいて、
    前記撮像装置は、前記目標物を複数の方向から撮影し、
    前記制御装置は、前記目標物を複数の方向から撮影した各画像をグループ化することを特徴とする撮影システム。
  7. 請求項3に記載の撮影システムにおいて、
    前記撮像装置は、前記目標物を複数の方向から撮影し、
    前記制御装置は、前記目標物を複数の方向から撮影した各画像をグループ化することを特徴とする撮影システム。
  8. 請求項4に記載の撮影システムにおいて、
    前記撮像装置は、前記目標物を複数の方向から撮影し、
    前記制御装置は、前記目標物を複数の方向から撮影した各画像をグループ化することを特徴とする撮影システム。
JP2021501695A 2019-02-26 2020-01-16 撮影システム Active JP7035272B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019033160 2019-02-26
JP2019033160 2019-02-26
PCT/JP2020/001299 WO2020174916A1 (ja) 2019-02-26 2020-01-16 撮影システム

Publications (2)

Publication Number Publication Date
JPWO2020174916A1 true JPWO2020174916A1 (ja) 2021-10-21
JP7035272B2 JP7035272B2 (ja) 2022-03-14

Family

ID=72239329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021501695A Active JP7035272B2 (ja) 2019-02-26 2020-01-16 撮影システム

Country Status (4)

Country Link
US (1) US11373409B2 (ja)
EP (1) EP3934232A1 (ja)
JP (1) JP7035272B2 (ja)
WO (1) WO2020174916A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253324B (zh) * 2021-02-25 2024-03-29 安徽乐道智能科技有限公司 一种高速公路目标场景定位方法、导航方法及系统
WO2022264396A1 (ja) * 2021-06-18 2022-12-22 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP7444140B2 (ja) 2021-07-05 2024-03-06 横河電機株式会社 情報処理装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000101913A (ja) * 1998-09-25 2000-04-07 Mitsubishi Electric Corp 複数のビデオ映像による空間表現装置
JP2009267792A (ja) * 2008-04-25 2009-11-12 Panasonic Corp 撮像装置
JP2015094727A (ja) * 2013-11-13 2015-05-18 富士通株式会社 測定装置、情報処理装置、測定プログラム、情報処理プログラム、測定方法および情報処理方法
JP2017028640A (ja) * 2015-07-28 2017-02-02 カシオ計算機株式会社 画像生成装置、画像生成方法、および画像生成プログラム
JP2017138162A (ja) * 2016-02-02 2017-08-10 Jfe鋼板株式会社 構造物の点検システムおよび点検方法
JP2018018461A (ja) * 2016-07-29 2018-02-01 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、表示装置、情報処理方法、及びプログラム
WO2018110095A1 (ja) * 2016-12-15 2018-06-21 オムロン株式会社 制御装置、センサ管理装置、制御方法、センサ管理方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016018463A (ja) 2014-07-10 2016-02-01 株式会社日立製作所 状態変化管理システム及び状態変化管理方法
KR102192899B1 (ko) * 2018-08-16 2020-12-18 주식회사 날비컴퍼니 이미지에 보케 효과를 적용하는 방법 및 기록매체
JP2022049261A (ja) * 2020-09-16 2022-03-29 キヤノン株式会社 情報処理装置及び情報処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000101913A (ja) * 1998-09-25 2000-04-07 Mitsubishi Electric Corp 複数のビデオ映像による空間表現装置
JP2009267792A (ja) * 2008-04-25 2009-11-12 Panasonic Corp 撮像装置
JP2015094727A (ja) * 2013-11-13 2015-05-18 富士通株式会社 測定装置、情報処理装置、測定プログラム、情報処理プログラム、測定方法および情報処理方法
JP2017028640A (ja) * 2015-07-28 2017-02-02 カシオ計算機株式会社 画像生成装置、画像生成方法、および画像生成プログラム
JP2017138162A (ja) * 2016-02-02 2017-08-10 Jfe鋼板株式会社 構造物の点検システムおよび点検方法
JP2018018461A (ja) * 2016-07-29 2018-02-01 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、表示装置、情報処理方法、及びプログラム
WO2018110095A1 (ja) * 2016-12-15 2018-06-21 オムロン株式会社 制御装置、センサ管理装置、制御方法、センサ管理方法およびプログラム

Also Published As

Publication number Publication date
EP3934232A1 (en) 2022-01-05
WO2020174916A1 (ja) 2020-09-03
JP7035272B2 (ja) 2022-03-14
US11373409B2 (en) 2022-06-28
US20220044027A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
JP7035272B2 (ja) 撮影システム
WO2022193420A1 (zh) 近水桥梁多类型病害智能检测方法与无人船设备
US10878584B2 (en) System for tracking object, and camera assembly therefor
JP6631619B2 (ja) 映像監視システム及び映像監視方法
JP4188394B2 (ja) 監視カメラ装置及び監視カメラシステム
CN110718095B (zh) 一种内河航道船舶的ais监控系统及监控方法
CN109151439A (zh) 一种基于视觉的自动追踪拍摄系统及方法
JP2002034055A (ja) 移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システム
JP2022103234A (ja) 情報処理装置、情報処理方法、プログラム
CN115797873B (zh) 一种人群密度检测方法、系统、设备、存储介质及机器人
US9418299B2 (en) Surveillance process and apparatus
KR20160078724A (ko) 카메라 감시 영역 표시 방법 및 장치
JP2011095112A (ja) 三次元位置測定装置、飛翔体のマッピングシステム、およびコンピュータプログラム
KR20170058827A (ko) 인체의 형상 내지 동태 분석을 이용한 보안 감시장치, 보안 감시방법 및 쓰레기 투기 감시장치
WO2019161663A1 (zh) 一种港区监控方法及系统、中控系统
CN109785562A (zh) 一种立式光电地面威胁警戒系统及可疑目标识别方法
JP2021185663A (ja) 映像監視装置、映像監視方法及びプログラム
KR102671607B1 (ko) 영상 기반 재난 감지 방법 및 장치
JP3443106B2 (ja) 浮遊物体の検出・監視方法及びその装置
KR101161557B1 (ko) 카메라 위치?태양이 움직이는 시간에 따른 그림자 제거방식을 통한 영상추적장치 및 방법
JP6934386B2 (ja) 動体追尾装置及びそのプログラム
JP7252788B2 (ja) 撮影システム
CN109029366B (zh) 一种通过飞行器拍摄测定藻斑水平漂移速率的方法
JP2022045032A (ja) 道路周辺物監視装置、道路周辺物監視プログラム
KR102660024B1 (ko) 도로 이벤트 탐지 방법 및 그 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210512

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220302

R150 Certificate of patent or registration of utility model

Ref document number: 7035272

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150