JP6831396B2 - 映像監視装置 - Google Patents

映像監視装置 Download PDF

Info

Publication number
JP6831396B2
JP6831396B2 JP2018556603A JP2018556603A JP6831396B2 JP 6831396 B2 JP6831396 B2 JP 6831396B2 JP 2018556603 A JP2018556603 A JP 2018556603A JP 2018556603 A JP2018556603 A JP 2018556603A JP 6831396 B2 JP6831396 B2 JP 6831396B2
Authority
JP
Japan
Prior art keywords
asset
straight line
unit
image
candidate area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018556603A
Other languages
English (en)
Other versions
JPWO2018110377A1 (ja
Inventor
海斗 笹尾
海斗 笹尾
伊藤 渡
渡 伊藤
一成 岩永
一成 岩永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Publication of JPWO2018110377A1 publication Critical patent/JPWO2018110377A1/ja
Application granted granted Critical
Publication of JP6831396B2 publication Critical patent/JP6831396B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Description

本発明は、映像監視装置に係り、例えば、画像中のアセット候補領域を検出する機能を備える映像監視装置に関する。
監視カメラ等の撮像装置を用いて、監視対象領域内に侵入する物体を監視することが行われている。また、監視員による有人監視ではなく、装置或いはシステムが自動的に監視 を行う技術が検討されている。このような機能を有する映像監視装置は、検出結果を利用することで移動物体の出現した映像のみ記録する機能や、表示装置に警告アイコンを表示 、またブザー等を鳴らして監視員の注意を促すことができるため、従来の常時確認作業が必要であった監視業務の負担低減に役立つ。
監視対象領域内に侵入する物体を自動的に検出する技術の一例として、背景差分法と呼ばれる方法を用いた監視技術が従来から広く用いられている(例えば、特許文献1参照)。背景差分法による物体検出方法は、撮像装置等から得られる入力画像と、検出すべき物体が映っていない基準となる背景画像との輝度(或いは、画素値)の差分を算出し、当該検出値が所定の閾値と比べて大きい変化領域に検出すべき物体が存在する或いはその可能性があるとして監視を行う。
特許文献1に開示の技術では、撮影機能と測位機能とを備える端末装置によって取得した時間的に異なる2枚の撮影画像から、対象物そのものの経時変化と、対象物と背景との相対的な変化(電柱の傾斜等)の2種類の経時変化を自動で検出する。
また、撮像装置等から得られる入力画像単体で物体の領域を検出する方法があり、その一例としてSS手法(Selective Search手法)がある。SS手法は、入力画像の色やテク スチャの類似度を基に、物体が存在する或いはその可能性がある領域を検出する。
特開2016−18463号公報
ところで、上述の物体領域検出手法は、差分法やSS手法などによって、物体が存在する或いはその可能性がある領域を自動で検出し発報する。しかし、差分法では動体のみしか検出できず、建物などの背景とされる物体を検出できない。また、カメラ画像中に日照 変化による影が新たに浮かび上がる場合など環境に変化があった場合、その変化を物体が現れたものと認識してしまい、誤報の原因となる。また、SS手法では、物体らしいものを大量に検出する特性があり誤報の原因になり易く、計算コストも非常に高く一般的なC PU(Central Processing Unit)ではリアルタイムに動作することは困難である。
対象としている物体とその他の対象としていない物体や日照変化などのノイズを識別する手段としては、検出した物体の領域から特徴抽出と機械学習などによって識別する方法や深層学習(Deep Learning)などの特徴量設計を必要としない機械学習による識別方法がある。いずれの機械学習方法においても、高精度化にあたっては、入力する候補領域の切り出し精度や学習データの質の向上が必要であるとの課題がある。
本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。
本発明は、映像取得部により取得した入力画像から、監視エリア内のアセット領域を検出する映像監視装置であって、前記入力画像からエッジ画像を取得するエッジ抽出部と、 前記エッジ画像から直線を抽出する直線抽出部と、前記抽出された直線を複数のグループに分類する直線分類部と、前記分類された各々のグループから1つの代表直線を選定する代表直線選定部と、前記代表直線を用いてアセット候補領域を抽出するアセット候補領域抽出部と、前記アセット候補領域を識別するために必要な画像群が格納されている識別データベース部と、前記識別データベース部を参照して前記アセット候補領域から検出対象アセットを識別するアセット識別部と、を備える。
また、前記アセット候補領域抽出部は、前記アセット候補領域の領域位置を検出しても よい。
また、前記アセット識別部が識別した前記検出対象アセットの状態推定を行うアセット状態推定部を備え、前記アセット状態推定部は、少なくとも前記検出対象アセットの角度または3次元上の位置のいずれかを算出してもよい。
本発明によると、日照変化などのノイズに強固なアセット領域の自動検出技術を提供することを目的とする。
実施形態に係る、画像監視システムの概略構成を示すブロック図である。 実施形態に係る、画像処理部のブロック図である。 実施形態に係る、エッジ抽出部によるエッジ抽出処理及び2値化処理の例を示した図である。 実施形態に係る、直線抽出部による直線抽出処理の例を示した図である。 実施形態に係る、直線分類部による直線分類処理の例を示した図である。 実施形態に係る、代表直線選定部による代表直線選定処理の例を示した図で ある。 実施形態に係る、アセット候補領域抽出部によるアセット領域抽出処理の例を示した図である。 実施形態に係る、アセット識別部によるアセット識別処理の例を示した図である。 実施形態に係る、画像処理部の処理を示したフローチャートである。
次に、本発明を実施するための形態(以下、単に「実施形態」という)を、図面を参照 して具体的に説明する。本実施形態では、カメラなどの撮像装置から映像を取得し、画像処理によって監視エリア内のアセット領域を検出する機能を有する画像監視技術を説明する。当該技術では、取得した画像からエッジ画像を生成後、直線性に関する特徴量を抽出 ・選定し、それらをもとに画像上でのアセット候補領域を検出する。以下、具体的に説明する。ここで、「アセット」とは、道路や橋梁、標識などの構造物を指し、特に直線を形状の特徴とし有する構造物を指す。
図1は、本実施形態に係る画像監視システム100の概略構成を示すブロック図である 。画像監視システム100は、ハードウェアとしてはCPUを備えた電子計算機システムにより構成され、それぞれの機能が実行されるようになっている。前記ハードウェアは、 DSP(Digital Signal Processor)やFPGA(Field-Programmable Gate Array)、 GPU(Graphics Processing Unit)など電子計算機システム以外で代替してもよい。
画像監視システム100は、撮像装置101と、記録装置110と、計算装置111と 、出力装置112とを備える。撮像装置101は、テレビカメラ等であって、1台または複数のいずれでもよい。撮像装置101が撮影した映像は、計算装置111へ出力される 。
計算装置111は、映像取得部102と、画像処理部103と、データ通信部104と 、記録制御部105と、表示制御部106と、を備える。
映像取得部102は、撮像装置101または記録装置110から映像を取得する。具体的には、映像取得部102は、撮像装置101からのリアルタイムの画像データや、画像データが記録されている記録装置110などから入力された映像信号から、1次元配列も しくは2次元、3次元配列の画像データを取得する。
この画像データにおいては、ノイズやフリッカなどの影響を低減するために、前処理と して平滑化フィルタや輪郭強調フィルタ、濃度変換などの処理が施されてもよい。また、 用途に応じてRGBカラーやモノクロなどのデータ形式が選択されてもよい。さらには、処理コスト低減の観点から、所定の大きさになるように画像データに対して縮小処理が施 されてもよい。
画像処理部103は、映像取得部102より得られた画像データを入力として、画像処理によりアセット領域を検出し、その状態を推定する。画像処理部103のより具体的な構成及び処理については後述する。データ通信部104は、画像処理部103の結果や記録装置110に保存された情報等を、ローカルエリアに設置された他の機器や、ネットワーク上の監視センタなどと送受信する。
記録制御部105は、画像処理部103における検出及び推定結果を用いて、映像の記録制御を行ったり、記録映像の圧縮率や記録間隔の制御を行ったりする。表示制御部10 6は、映像取得部102で取得した映像および画像処理部103で得られた結果や、記録装置110に保存された情報の表示を制御する。記録装置110は、映像取得部102より得られた映像を、記録制御部105の命令により記録保持する。
出力装置112は、発報装置107と、指示装置108と、表示出力装置109とを備える。発報装置107は、画像処理部103で検出した異常状態を音声や光などでユーザに知らせる。指示装置108は、画像処理部103に用いるパラメータや発報内容を受けて発報を停めるなどユーザからの指示を入力する。表示出力装置109は、各種の情報を 表示する。
なお、計算装置111は、一つの装置として構成されてもよいし、複数の装置の集合体として構成されてもよく、その構成態様は問わない。
つづいて、図2〜図8を参照して、画像処理部103の機能を具体的に説明する。
図2は、画像処理部103のブロック図である。画像処理部103は、エッジ抽出部201と、直線抽出部202と、直線分類部203と、代表直線選定部204と、アセット候補領域抽出部205と、識別データベース部206と、アセット識別部207と、アセット状態推定部208と、を備える。
図3は、エッジ抽出部201によるエッジ抽出処理及び2値化処理の例を示した図である。エッジ抽出部201は、図示のように、映像取得部102より取得した入力画像301からエッジを抽出する。本実施形態では、入力画像データの輝度値に対して垂直方向のみのSobelフィルタを適用し、判別分析法(大津の手法等)による2値化を行うことでエッジ画像302を取得する。
ここでエッジ抽出処理に用いる情報として、入力画像データの各画素値であるRGB値 、HSV空間に変換した際の各値H(色相)、S(彩度)、V(明度)、またはそれらを補正・統合した情報が用いられてもよい。また、垂直方向のSobelフィルタの代わりに水平方向のSobelフィルタやラプラシアンフィルタなどの他のフィルタが用いられてもよい。さらに、2値化に用いられる閾値は任意に決定されてもよい。
図4は、直線抽出部202による直線抽出処理の例を示した図である。図示のように、 直線抽出部202は、エッジ抽出部201で抽出したエッジ画像302を用いて直線画像401を取得する。
本実施形態では、直線抽出処理としてハフ変換を適用する。具体的には、投票数の閾値 として取得画像の高さの1/3を設定する。例えば、取得画像の高さが「1080」であった場合、投票数の閾値を「360」とする。投票数の閾値は取得画像の幅などを利用して動的に設定、もしくは任意の値で設定してもよい。また、直線画像401を取得する際 、ハフ変換で得た結果を、太さを「2」として8近傍で投影する。投影する際、各直線の太さや4近傍と8近傍の選択は、取得画像の大きさに合わせて動的に値を設定もしくは任意の値を設定してもよい。
垂直成分の強い直線のみを取得するために、抽出した各直線の傾きを算出し、画像上の 垂直線を0度としたとき、−k1〜k2(度)の範囲内の傾きを持つ直線のみを選定する 。ここで、k1、k2は任意の定数である。本実施例では、アセットのうち例えば電柱を高精度に抽出することを目的としてk1=k2=15とする。また、ハフ変換を適用して直線を抽出する場合は、ρ=x×cos(θ)+y×sin(θ)によって直線を表現するものとしたとき、k1、k2の代わりにρやθを基準にしてもよい。
図5は、直線分類部203による直線分類処理(グルーピング処理)の例を示した図である。直線分類部203は、直線抽出部202で抽出した直線画像401をいくつかのグループに分類する。
直線分類部203は、各直線を画像上に投影した後、画像内の各列を順次探索し、各列 に一定の幅R1を持たせた範囲内において各直線の一部でも含まれていれば、それらの直線を同じグループとして分類し、直線分類画像501を取得する。本実施形態では、R1 =20を設定している。ただし、直線抽出部202と同様に、分類の基準はハフ変換を行う際のρやθを用いてもよい。ここでは、直線分類画像501では、直線分類処理の結果 、グループ1(G1)〜グループ5(G5)の5グループに分類されている。分類結果を表示出力する場合は、色分けやラベル名を付加して示す。
図6は、代表直線選定部204による代表直線選定処理の例を示した図である。代表直線選定部204は、直線分類部203によって分類した各々の 直線グループ(G1〜G5)から代表する直線1つを選定する。具体的には、代表直線選定部204は、直線分類部203で分類された各グループ(G1〜G5)から、直線抽出部202でハフ変換を用いたときの最大投票数を得た直線を1つの代表直線として選定し 、代表直線画像601を取得する。
より具体的には、各グループ(G1〜G5)で最もハフ変換の投票スコアが高い直線を、エッジ画像上で上下からスキャンし、一定ピクセル連続でエッジが存在した部分を根元 /頂点と見なす。図示では、グループ1(G1)〜グループ5(G5)のそれぞれに対応 した、第1〜第5グループ代表直線LG1〜LG5が選定され示されている。なお、代表直線の選定方法としては、各グループの直線の傾きの平均値、最大値、最小値、中央値 などが用いられてもよい。
図7は、アセット候補領域抽出部205によるアセット領域抽出処理の例を示した図である。ここでは、アセット候補領域抽出部205は、画像上のそれぞれのアセット候補位置(左上座標と右下座標)を検出する。
はじめに、アセット候補領域抽出部205は、それぞれのx座標を検出するために、直線分類部203で取得した直線分類画像501を用いて、各グループを囲むための矩形の最小x座標と最大x座標を計算し、それぞれをアセット候補位置の左上と右下のx座標とする。ここで、それぞれのx座標から算出される幅に一定のオフセット値R2を与えても よく、本実施形態ではR2=20を設定し、それぞれのx座標を均等に外側へ広げているが、どちらか一方のみを外側へ広げるもしくは内側に狭めてもよい。
次に、アセット候補領域抽出部205は、それぞれのy座標を検出するために、エッジ抽出部201で抽出したエッジ画像302と代表直線選定部204で取得した代表直線画像601との論理演算ANDを計算し、膨張処理と収縮処理を複数回行い論理積膨張画像701を得る。図示の例では、5×5のフィルタによる膨張処理を3回と1×5のフィルタによる収縮処理を3回実施した。
ここで、それぞれのフィルタの大きさや実施回数は任意のものに変更してもよい。その後、アセット候補領域抽出部205は、論理積膨張画像701に対してラベリングを行い 、各ラベル領域702の面積や高さ、幅などを計算する。計算した各項目から総合的に一 番大きいラベル領域702を代表直線ごとに決定する。ここでは、代表直線が5本であるので、第1〜第5ラベル領域702_1〜702_5の5領域となる。
そして、アセット候補領域抽出部205は、各ラベル領域702(第1〜第5ラベル領 域702_1〜702_5)を囲むための矩形の最小y座標と最大y座標を計算し、それぞれをアセット候補位置の左上と右下のy座標とする。ここで、それぞれのy座標から算出される高さに一定のオフセット値R3を持たせてもよい。本実施形態ではR3=0を設定しているが、前記x座標の時と同様に、それぞれのx座標を均等に外側へ広げるもしくは内側に狭めてもよいし、どちらか一方のみを外側へ広げるもしくは内側に狭めてもよい 。
アセット候補領域抽出部205は、前記で得たそれぞれのx座標とy座標を合わせてアセット候補領域703(第1〜第5アセット候補領域703_1〜703_5)として抽出する。図7では、入力画像301にアセット候補領域703を投影した合成画像704 を示している。
図8は、アセット識別部207によるアセット識別処理の例を示した図である。図示のように、入力画像301にアセット候補領域抽出部205で抽出したアセット候補領域703を投影した合成画像704に対して、事前に様々なシーンで撮影された大量のアセット画像を格納した識別データベース部206を用いて、深層学習(Deep Learning)によるアセット識別を行い、ノイズ領域を排除する。
すなわち、識別データベース部206には、検出したい検出対象アセット(例えば電柱や標識)と、非アセット領域(検出対象アセット以外のアセット)の画像データが収集さ れ、深層学習(Deep Learning)のような機械学習により、非特徴量ベースで学習を行う 。抽出した領域を学習データとして用いることで、学習データ作成の自動化や精度向上を行える。
図8の例では、アセット識別部207は、第1及び第3アセット候補領域703_1、 703_3に対応する電柱を検知対象のアセットとして識別しており、電柱以外はノイズとみなし、識別画像801を取得する。本実施形態によると、識別対象(検出対象アセッ ト)は道路標識や信号機、電灯、街灯、白線などの道路上表記物、電線、橋脚、配管、建物の柱、鴨居、天板などのその他のアセットでもよく、識別は検知対象と非検知対象の2クラスに限らず、多クラス識別に拡張することも可能である。その他、直線を特徴とする物には適用可能である。また、深層学習(Deep Learning)の代わりに、特徴量を何かしら決めた上でSVM(Support Vector Machine)などの一般的な機械学習法を用いてもよい。特徴量として、例えば、電線の有無や看板の有無などのルールベースの方法やHoG 特徴などの汎用な特徴など様々な特徴を用いることができる。本候補領域抽出手段を用いることで、従来法のSS手法より高速に動作し、誤報の数が少なくなる。
アセット状態推定部208は、アセット識別部207によって検出対象アセットと識別されたアセットの角度や3次元上の位置を推定する。アセットの位置や角度の推定には、 画像から座標変換やハフ変換などによって求める方法の他、ToF(Time of Flight)やステレオカメラなどから得られる3次元情報やGPS(Global Positioning System))などの位置センサ、水平水準器などの角度センサを併用したシステムを用いてもよい。さらに、画像処理部103は、アセット識別部207において必要となる教師データを効率的に作成するために、識別データベース部206に格納されている画像群をエッジ抽出部2 01に入力することで、アセット候補領域抽出部205やアセット識別部207で得られたアセット候補領域およびアセット領域を教師データとして活用することができる。
図9は、画像監視システム100の主に画像処理部103の処理に着目したフローチャートであり、当該フローチャートを参照して画像処理部103の処理を簡単に纏めて説明 する。
まず、画像入力処理として、映像取得部102が撮像装置101や記録装置110から 画像データを取得しエッジ抽出部201へ出力する(S10)。エッジ抽出部201は、 映像取得部102から取得した画像データに対して所定のフィルタリングを施しエッジ抽出処理及び2値化処理を行う(S12)。直線抽出部202は、エッジ抽出部201で抽出したエッジ画像302に対して直線検出処理を行い、直線画像401を取得する(S1 4)。
つづいて、直線分類部203は、直線のグルーピング処理を行い、近くに存在する直線同士を1グループとして纏める(S16)。つぎに、アセット領域抽出処理として、代表直線選定部204及びアセット候補領域抽出部205の処理を行う(S18)。代表直線選定部204が各グループの代表直線を抽出し、アセット候補領域抽出部205がラベリ ング処理等を行いそれぞれの代表直線に対応したアセット候補領域を抽出する。
さらにつづいて、アセット識別部207が識別データベース部206を参照し、アセッ ト候補領域から検出対象アセットを識別する(S20)。アセット状態推定部208は、 識別された検出対象アセットの状態推定(角度や3次元上の位置の推定)を行う(S22 )。
以上、本実施形態によれば、撮像装置101から入力される映像または記録装置110 の記録映像から、移動物体等の影響を受けることなく画像中に写る複数のアセット候補領域を個別に検出することが可能となる。その結果、日照変化などのノイズに強固なアセット領域の自動検出機能を有する検出技術とすることができる。言い換えると、この検出技術により、好適なアセット領域の記録、アセットを検出した場合の発報機能の向上、モニ タ表示による監視員への適切な周知が可能となる。
以上、本発明を、実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
100 画像監視システム、 101 撮像装置、 102 映像取得部、 103 画像処理部、 104 データ通信部、 105 記録制御部、 106 表示制御部、 107 発報装置、 108 指示装置、 109 表示出力装置、 110 記録装置、 111 計算装置、 112 出力装置、 201 エッジ抽出部、 202 直線抽出部、 203 直線分類部、 204 代表直線選定部、 205 アセット候補領域抽出部、 206 識別データベース部、 207 アセット識別部、 208 アセット状態推定部

Claims (6)

  1. 映像取得部により取得した入力画像から、監視エリア内のアセット領域を検出する映像監視装置であって、
    前記入力画像からエッジ画像を取得するエッジ抽出部と、
    前記エッジ画像から直線を抽出するハフ変換を適用し、垂直成分の強い直線のみを取得するために抽出した各直線の傾きを算出し、画像上の垂直線を0度としたときに所定の範囲内の傾きを持つ直線のみを選定する直線抽出部と、
    前記抽出された直線を複数のグループに分類する直線分類部と、
    前記グループで最もハフ変換の投票スコアが高い直線をエッジ画像上で上下からスキャンして一定ピクセル連続でエッジが存在した部分を根元/頂点と見なし、前記分類された各々のグループから1つの代表直線を選定する代表直線選定部と、
    前記代表直線を用いてアセット候補領域を抽出するアセット候補領域抽出部と、
    前記アセット候補領域を識別するために必要な画像群が格納されている識別データベース部と、
    前記識別データベース部を参照して前記アセット候補領域から検出対象アセットを識別するアセット識別部と、
    を備えることを特徴とする映像監視装置。
  2. 映像取得部により取得した入力画像から、監視エリア内のアセット領域を検出する映像監視装置であって、
    前記入力画像からエッジ画像を取得するエッジ抽出部と、
    前記エッジ画像から直線を抽出する直線抽出部と、
    前記直線を画像上に投影した後に画像内の各列を順次探索し、各列に一定の幅を持たせた範囲内において各直線の一部でも含まれていれば前記抽出された直線を複数のグループに分類する直線分類部と、
    前記分類された各々のグループから1つの代表直線を選定する代表直線選定部と、
    前記代表直線を用いてアセット候補領域を抽出するアセット候補領域抽出部と、
    前記アセット候補領域を識別するために必要な画像群が格納されている識別データベース部と、
    前記識別データベース部を参照して前記アセット候補領域から検出対象アセットを識別するアセット識別部と、
    を備えることを特徴とする映像監視装置。
  3. 映像取得部により取得した入力画像から、監視エリア内のアセット領域を検出する映像監視装置であって、
    前記入力画像からエッジ画像を取得するエッジ抽出部と、
    前記エッジ画像から直線を抽出する直線抽出部と、
    前記抽出された直線を複数のグループに分類する直線分類部と、
    前記分類された各々のグループから1つの代表直線を選定する代表直線選定部と、
    前記エッジ抽出部で抽出したエッジ画像と前記代表直線選定部で取得した代表直線画像との論理演算により膨張処理と収縮処理を複数回行い、論理積膨張画像を得て前記論理積膨張画像に対してラベリングを行い、各ラベル領域の面積や高さ、幅を計算し、計算した各項目から総合的に一番大きいラベル領域を代表直線ごとに決定し、前記代表直線を用いてアセット候補領域を抽出するアセット候補領域抽出部と、
    前記アセット候補領域を識別するために必要な画像群が格納されている識別データベース部と、
    前記識別データベース部を参照して前記アセット候補領域から検出対象アセットを識別するアセット識別部と、
    を備えることを特徴とする映像監視装置。
  4. 映像取得部により取得した入力画像から、監視エリア内のアセット領域を検出する映像監視装置であって、
    前記入力画像からエッジ画像を取得するエッジ抽出部と、
    前記エッジ画像から直線を抽出する直線抽出部と、
    前記抽出された直線を複数のグループに分類する直線分類部と、
    前記分類された各々のグループから1つの代表直線を選定する代表直線選定部と、
    前記代表直線を用いてアセット候補領域を抽出するアセット候補領域抽出部と、
    前記アセット候補領域を識別するために事前に様々なシーンで撮影された大量のアセット画像が格納されている識別データベース部と、
    入力画像に前記アセット候補領域抽出部で抽出したアセット候補領域を投影した合成画像に対して、前記識別データベース部に格納されたアセット画像を用いて深層学習によるアセット識別を行いノイズ領域を排除するアセット識別部と、
    を備えることを特徴とする映像監視装置。
  5. 前記アセット候補領域抽出部は、前記アセット候補領域の領域位置を検出することを特徴とする請求項1乃至請求項4に記載の映像監視装置。
  6. 前記アセット識別部が識別した前記検出対象アセットの状態推定を行うアセット状態推定部を備え、
    前記アセット状態推定部は、少なくとも前記検出対象アセットの角度または3次元上の位置のいずれかを算出することを特徴とする請求項1乃至請求項に記載の映像監視装置。
JP2018556603A 2016-12-15 2017-12-06 映像監視装置 Active JP6831396B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016243402 2016-12-15
JP2016243402 2016-12-15
PCT/JP2017/043746 WO2018110377A1 (ja) 2016-12-15 2017-12-06 映像監視装置

Publications (2)

Publication Number Publication Date
JPWO2018110377A1 JPWO2018110377A1 (ja) 2019-10-24
JP6831396B2 true JP6831396B2 (ja) 2021-02-17

Family

ID=62558664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018556603A Active JP6831396B2 (ja) 2016-12-15 2017-12-06 映像監視装置

Country Status (2)

Country Link
JP (1) JP6831396B2 (ja)
WO (1) WO2018110377A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020135776A (ja) * 2019-02-26 2020-08-31 プラス株式会社 撮影装置
CN111724440B (zh) * 2020-05-27 2024-02-02 杭州数梦工场科技有限公司 监控设备的方位信息确定方法、装置及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05215547A (ja) * 1992-02-06 1993-08-24 Nippon Telegr & Teleph Corp <Ntt> ステレオ画像間対応点決定方法
JP3043910B2 (ja) * 1992-09-17 2000-05-22 日本電信電話株式会社 電柱の湾曲程度を測定する装置
JP2011080845A (ja) * 2009-10-06 2011-04-21 Topcon Corp 3次元データ作成方法及び3次元データ作成装置
JP2015088168A (ja) * 2013-09-25 2015-05-07 国際航業株式会社 学習サンプル生成装置、学習サンプル生成プログラム、及び自動認識装置

Also Published As

Publication number Publication date
JPWO2018110377A1 (ja) 2019-10-24
WO2018110377A1 (ja) 2018-06-21

Similar Documents

Publication Publication Date Title
CN109886130B (zh) 目标对象的确定方法、装置、存储介质和处理器
RU2484531C2 (ru) Устройство обработки видеоинформации системы охранной сигнализации
JP6764481B2 (ja) 監視装置
US20080212099A1 (en) Method for counting people passing through a gate
CN110650316A (zh) 智能巡逻及预警处理方法、装置、电子设备及存储介质
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
JP2008046903A (ja) 対象個数検出装置および対象個数検出方法
US20110280478A1 (en) Object monitoring system and method
JP2015089019A (ja) 情報処理装置、制御方法、プログラム、及び情報システム
KR101645959B1 (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
KR101062225B1 (ko) 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
Santoro et al. Crowd analysis by using optical flow and density based clustering
US20110280442A1 (en) Object monitoring system and method
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
JP6831396B2 (ja) 映像監視装置
JP7125843B2 (ja) 障害検知システム
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
US20200394802A1 (en) Real-time object detection method for multiple camera images using frame segmentation and intelligent detection pool
KR101230567B1 (ko) 객체 검출 및 추적장치와 방법, 및 그것을 사용하는 지능형 감시 시스템
KR102150661B1 (ko) 객체를 검출하기 위한 전처리 장치 및 방법
JP2011090708A (ja) 対象個数検出装置および対象個数検出方法
KR102161212B1 (ko) 움직임 검출 시스템 및 방법
JP2018190132A (ja) 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210128

R150 Certificate of patent or registration of utility model

Ref document number: 6831396

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250