JP7157330B2 - 監視装置、監視方法および監視プログラム - Google Patents

監視装置、監視方法および監視プログラム Download PDF

Info

Publication number
JP7157330B2
JP7157330B2 JP2018221703A JP2018221703A JP7157330B2 JP 7157330 B2 JP7157330 B2 JP 7157330B2 JP 2018221703 A JP2018221703 A JP 2018221703A JP 2018221703 A JP2018221703 A JP 2018221703A JP 7157330 B2 JP7157330 B2 JP 7157330B2
Authority
JP
Japan
Prior art keywords
unit
data
analysis
data stream
receiving unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018221703A
Other languages
English (en)
Other versions
JP2020088658A (ja
Inventor
健太朗 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018221703A priority Critical patent/JP7157330B2/ja
Priority to US16/600,598 priority patent/US11042956B2/en
Publication of JP2020088658A publication Critical patent/JP2020088658A/ja
Application granted granted Critical
Publication of JP7157330B2 publication Critical patent/JP7157330B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は監視装置、監視方法および監視プログラムに関する。
複数のデータストリームを受信し、それら複数のデータストリームをリアルタイムに解析する監視システムがある。例えば、道路を撮影する複数の監視カメラから映像データを受信し、映像データをリアルタイムに解析して車両などの物体を認識する交通監視システムがある。データストリームのリアルタイム解析の負荷が大きい場合、監視システムは、高速化のためFPGA(Field-Programmable Gate Array)やGPU(Graphics Processing Unit)などのハードウェアアクセラレータを利用することが考えられる。
なお、監視カメラの映像データをリムーバブルディスクに記録する監視システムが提案されている。提案の監視システムは、リムーバブルディスクの交換直後は通常記録モードで映像データを記録し、次の交換タイミングが迫ると通常記録モードよりもフレームレートを下げた延長記録モードで映像データを記録する。また、カメラの映像データの中からファームウェアにより所望の物体を検知する検知認識システムが提案されている。提案の検知認識システムは、過去の映像データを教師データとして用いて機械学習により検知アルゴリズムを学習し、学習結果に基づいてファームウェアを更新する。
特開2001-14801号公報 特開2018-88157号公報
解析アルゴリズムの変更などの理由により、監視システムを運用したままハードウェアアクセラレータ内の解析部を更新したいことがある。例えば、FPGAに読み込ませる回路情報を変更して動的再構成を行うことにより、FPGA内に形成した解析部の論理回路を更新したいことがある。しかし、あるデータストリームを担当する解析部を更新する際には当該解析部を一時的に停止させることになるため、そのままでは当該データストリームのリアルタイム解析が実行されなくなってしまう。そのため、映像データに写った物体を見逃すリスクが生じるなど、監視システムの監視精度が低下するおそれがある。
この問題に対しては、ハードウェアアクセラレータ内に通常時には使用しない予備の解析部を確保しておき、あるデータストリームを担当する解析部を更新する際には、予備の解析部に当該データストリームを解析させる方法も考えられる。しかし、ハードウェアアクセラレータに予備の解析部を確保することは、回路規模やコストの点で不利となる。
1つの側面では、本発明は、解析部を更新する際のデータストリーム解析の中断を抑制する監視装置、監視方法および監視プログラムを提供することを目的とする。
1つの態様では、第1の解析部および第2の解析部と、第1の受信部と、第2の受信部と、制御部とを有する監視装置が提供される。第1の解析部および第2の解析部は、入力されたデータを解析する。第1の受信部は、第1のデータストリームのデータを受信し、受信した第1のデータストリームのデータを第1の解析部に出力する。第2の受信部は、第2のデータストリームのデータを受信し、受信した第2のデータストリームのデータを第2の解析部に出力する。制御部は、第1の解析部の更新を示す更新要求を受け付けた場合、第2のデータストリームに対して間引き処理を行って間引き処理後のデータを出力するよう第2の受信部に指示し、第1のデータストリームの少なくとも一部のデータが第2の解析部に出力されるよう第1の受信部の出力先を変更する。
また、1つの態様では、監視装置が実行する監視方法が提供される。また、1つの態様では、コンピュータに実行させる監視プログラムが提供される。
1つの側面では、解析部を更新する際のデータストリーム解析の中断を抑制できる。
第1の実施の形態の監視装置の例を説明する図である。 第2の実施の形態の情報処理システムの例を示す図である。 監視サーバのハードウェア例を示すブロック図である。 監視サーバの機能例を示すブロック図である。 FPGAの回路構成例を示すブロック図である。 FPGAの第1の再構成例を示す図である。 FPGAの第2の再構成例を示す図である。 映像データの第1の間引き例を示す図である。 映像データの第2の間引き例を示す図である。 FPGA再構成の手順例を示すフローチャートである。
以下、本実施の形態を図面を参照して説明する。
[第1の実施の形態]
第1の実施の形態を説明する。
図1は、第1の実施の形態の監視装置の例を説明する図である。
第1の実施の形態の監視装置10は、複数のデータストリームをリアルタイムに解析する監視システムに用いられる。例えば、監視装置10は、複数の監視カメラにより得られた複数の画像データストリームをリアルタイムに解析して、道路上の車両などの物体を認識する交通監視システムに用いられる。監視装置10を、情報処理装置やコンピュータと言うこともできる。監視装置10は、クライアント装置でもよいしサーバ装置でもよい。
監視装置10は、解析部11,12、受信部13,14および制御部15を有する。監視装置10は、データストリーム解析の高速化のためハードウェアアクセラレータを利用する。ハードウェアアクセラレータには、FPGAなどのプログラマブルデバイスや、GPUなどの専用プロセッサが含まれる。例えば、解析部11,12、受信部13,14および制御部15は、ハードウェアアクセラレータ上に形成される。
FPGAは、多数の論理ブロックと論理ブロック間を接続する配線階層とを有している。論理ブロック間の配線や入出力を示す回路情報をFPGAに与えて構成変更を指示することで、解析部11,12、受信部13,14および制御部15に相当する回路領域をFPGA上に形成することができる。GPUは、多数のプロセッサコアとプロセッサコアから使用される揮発性の共有メモリとを有している。アプリケーションプログラムをGPUに与えることで、解析部11,12、受信部13,14および制御部15に相当するプロセッサコアをGPU内に確保することができる。
解析部11,12は、入力されたデータを所定の解析アルゴリズムに従って解析する。例えば、解析部11,12は、画像データストリームに含まれるフレームの入力を受け付け、入力されたフレームに対して所定の画像認識アルゴリズムに従って画像認識を行う。解析部11,12は、並列かつリアルタイムにデータ解析を実行できる。画像認識の目的の例として、道路上の車両台数のカウント、車両のナンバープレート番号の認識、車両の種類の判定、通行中の人物の認識などが挙げられる。
ここで、解析部11,12の解析アルゴリズムを、監視装置10の運用を継続しながら更新したいことがある。例えば、監視対象の変更、監視場所の変更、解析アルゴリズムの改良などの際に、解析部11,12の解析アルゴリズムを更新したいことがある。例えば、監視装置10は、解析部12によるデータ解析を継続しながら、一時的に解析部11を停止して解析部11を更新する。また、監視装置10は、解析部11によるデータ解析を継続しながら、一時的に解析部12を停止して解析部12を更新する。FPGAを利用する場合、このような解析部11,12の更新は、他の回路領域を動作させながら一部の回路領域の配線を変更する動的再構成によって行うことができる。また、GPUを利用する場合、このような解析部11,12の更新は、一部のプロセッサコアに新たなアプリケーションプログラムをロードすることによって行うことができる。
受信部13,14は、データストリームのデータを受信し、受信したデータストリームのデータを何れかの解析部に出力する。受信部13,14は、データストリームに含まれる単位データをバッファリングし、解析部11,12のデータ解析速度に合わせて単位データを1つずつ何れかの解析部に出力することが考えられる。例えば、受信部13,14は、画像データストリームに含まれるフレームをバッファリングし、解析部11,12のフレーム解析速度に合わせてフレームを1つずつ何れかの解析部に出力する。
受信部13は、データストリーム16(第1のデータストリーム)のデータを継続的に受信する。通常モードでは、受信部13は、受信したデータストリーム16のデータを受信順に解析部11に出力する。受信部14は、データストリーム17(第2のデータストリーム)のデータを継続的に受信する。通常モードでは、受信部14は、受信したデータストリーム17のデータを受信順に解析部12に出力する。すなわち、解析部11と受信部13とが対応し、解析部12と受信部14とが対応する。
データストリーム16,17は、単位データが時系列に並んだデータ列である。例えば、データストリーム16,17は、画像のフレームが時系列に並んだフレーム列である。データストリーム16,17は、異なるセンサデバイスなど異なるデータソースから受信されるデータ列であってもよい。例えば、データストリーム16,17は、異なる監視カメラから受信されるフレーム列であってもよい。受信部13がデータストリーム16を担当し、受信部14がデータストリーム17を担当する。よって、通常モードでは、解析部11がデータストリーム16を解析し、解析部12がデータストリーム17を解析する。
ただし、受信部13,14は、後述するように、制御部15からの指示に応じて一時的に間引きモードで実行することがある。間引きモードでは、受信したデータの出力先となる解析部が変わることがある。また、間引きモードでは、受信したデータに対して間引き処理を行い、一部のデータを削除して残ったデータのみ出力することがある。
制御部15は、解析部11,12の更新を制御する。制御部15は、1つの解析部の更新を示す更新要求18を受け付ける。第1の実施の形態では、解析部11を更新することを考える。更新要求18は、監視装置10の内部で発生してもよいし監視装置10の外部から受信されてもよい。更新要求18は、監視装置10または他の情報処理装置のユーザによって入力されてもよい。更新要求18は、更新対象の解析部を識別する識別情報を含んでもよく、更新後の解析アルゴリズムを示す情報を含んでもよい。例えば、FPGAを利用する場合、更新要求18は、解析部11に相当する回路領域を形成するための回路情報を含んでもよい。また、GPUを利用する場合、更新要求18は、解析部11に相当するプロセッサコアに実行させるアプリケーションプログラムを含んでもよい。
更新要求18を受け付けると、制御部15は、更新対象ではない解析部12に対応する受信部14に対して間引きモードの実行を指示する。間引きモードの指示は、例えば、受信部14がもつパラメータの書き換えによって行う。間引きモードでは、受信部14は、データストリーム17に対して間引き処理を行い、間引き処理後のデータを解析部12に出力することになる。これにより、単位時間当たりに受信部14から解析部12に出力されるデータが減少する。例えば、受信部14は、画像データストリームに含まれるフレームの中から一定間隔で所定割合のフレームを削除する。
解析部11を含む3以上の解析部を用いて3以上のデータストリームを解析していた場合、制御部15は、更新対象ではない2以上の解析部に対応する2以上の受信部それぞれに対して間引きモードの実行を指示してもよい。間引きモードにおいて各受信部がデータを削除する所定割合は、通常モードで使用されている解析部の数に応じて決めてもよい。例えば、通常モードではN個(Nは2以上の整数)の解析部が使用されている場合、更新対象ではない解析部に対応する受信部はそれぞれ、データストリームから1/Nだけデータを間引くことが考えられる。受信部14は、画像データストリームに含まれるフレームのうちN個に1個の間隔でフレームを間引いてもよい。その場合、受信部14から解析部12への出力には、N個に1個の割合で空き時間が生じることになる。
また、更新要求18を受け付けると、制御部15は、更新対象である解析部11に対応する受信部13の出力先を一時的に変更する。出力先の変更により、受信部13は、データストリーム16のデータを解析部11に出力することを停止し、データストリーム16の少なくとも一部のデータを更新対象ではない解析部12に出力する。受信部13は、受信部14と同様にデータストリーム16に対して間引き処理を行ってもよい。FPGAを利用する場合、制御部15は、受信部13と解析部12の間に配線を追加してもよい。また、例えば、制御部15は、受信部13がもつパラメータを書き換える。
単位時間当たりに受信部14から解析部12に出力されるデータが減少した分だけ、単位時間当たりに受信部13から解析部12にデータを出力するようにしてもよい。これにより、単位時間当たりに解析部12に入力されるデータは増加しない。受信部14から解析部12にデータが出力されない空き時間に、受信部13から解析部12にデータが出力されるようにしてもよい。例えば、受信部13は、画像データストリームに含まれるフレームの中から一定間隔で所定割合のフレームを抽出して解析部12に出力する。
通常モードではN個の解析部が使用されている場合、受信部13は、更新対象ではない解析部それぞれに対してデータストリーム16のデータの1/Nを出力することが考えられる。例えば、受信部14がN個に1個の割合でフレームを間引いている場合、空き時間を利用して受信部13がN個に1個の割合でフレームを解析部12に出力する。
解析部11の更新が完了すると、制御部15は間引きモードを通常モードに戻してもよい。例えば、受信部13は、制御部15からの指示に応じて、データストリーム16のデータを解析部12に出力することを停止し、データストリーム16のデータの全てを解析部11に出力する。また、受信部14は、制御部15からの指示に応じて、間引き処理を停止し、データストリーム17のデータの全てを解析部12に出力する。
第1の実施の形態の監視装置10によれば、解析部11の更新を示す更新要求18に応じて、受信部14においてデータストリーム17のデータの間引き処理が行われ、受信部14から解析部12に出力されるデータが減少する。また、受信部13の出力先が変更され、データストリーム16の少なくとも一部のデータが解析部12に出力される。
これにより、解析部11の更新中も、データストリーム16,17それぞれのデータが少なくとも部分的には解析され、解析部11が担当するデータストリーム16のデータが全く解析されなくなることを抑制できる。よって、解析部11の更新中も監視装置10の運用を継続することができ、監視精度の低下を抑制できる。また、受信部14による間引き処理により、解析部11を更新している間の解析部12の負荷増加を抑制できる。よって、監視装置10は予備の解析部をもたなくてもよく、解析部12の演算能力を過大に確保しなくてもよい。このため、監視装置10の回路規模やコストを抑制できる。このように、監視装置10の解析アルゴリズムの更新を効率化することができる。
[第2の実施の形態]
次に、第2の実施の形態を説明する。
図2は、第2の実施の形態の情報処理システムの例を示す図である。
第2の実施の形態の情報処理システムは、道路を走行する車両のナンバープレート番号を認識する交通監視システムである。この交通監視システムは、例えば、警察が特定の車両を捜索する犯罪捜査に利用することが可能である。
第2の実施の形態の情報処理システムは、監視カメラ31~34および監視サーバ100を含む。監視サーバ100は、第1の実施の形態の監視装置10に対応する。監視カメラ31~34は、ネットワーク30を介して監視サーバ100に接続されている。監視カメラ31~34は、車両21,22などの様々な車両が走行する道路20を撮影する。監視カメラ31~34は、道路20の異なる位置を撮影している。例えば、監視カメラ31~34は、道路20を見下ろすように道路20の上方に設置されている。
監視カメラ31~34はそれぞれ、ネットワーク30を介して映像データを監視サーバ100に継続的に送信する。映像データは、道路20を写した画像であるフレームを時系列に並べた画像データストリームである。監視カメラ31が送信する映像データは、第1の実施の形態のデータストリーム16に対応する。監視カメラ32が送信する映像データは、第1の実施の形態のデータストリーム17に対応する。
監視サーバ100は、監視カメラ31~34などの複数の監視カメラから映像データを継続的に受信し、受信した映像データをリアルタイムに解析する。監視サーバ100は、映像データから画像認識により、車両21,22のナンバープレート番号など各車両のナンバープレート番号を認識する。映像データの解析を高速化するため、監視サーバ100は、ハードウェアアクセラレータとしてFPGAを使用する。
図3は、監視サーバのハードウェア例を示すブロック図である。
監視サーバ100は、バスに接続されたCPU(Central Processing Unit)101、RAM(Random Access Memory)102、HDD(Hard Disk Drive)103、FPGA104、画像信号処理部105、入力信号処理部106、媒体リーダ107および通信インタフェース108を有する。
CPU101は、プログラムの命令を実行するプロセッサである。CPU101は、HDD103に記憶されたプログラムやデータの少なくとも一部をRAM102にロードし、プログラムを実行する。なお、CPU101は複数のプロセッサコアを備えてもよく、監視サーバ100は複数のプロセッサを備えてもよい。複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」と言うことがある。
RAM102は、CPU101が実行するプログラムやCPU101が演算に使用するデータを一時的に記憶する揮発性の半導体メモリである。なお、監視サーバ100は、RAM以外の種類のメモリを備えてもよく、複数のメモリを備えてもよい。
HDD103は、OS(Operating System)やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、および、データを記憶する不揮発性ストレージである。なお、監視サーバ100は、フラッシュメモリやSSD(Solid State Drive)など他の種類のストレージを備えてもよく、複数のストレージを備えてもよい。
FPGA104は、回路構成を事後的に変更することができるプログラマブルデバイスである。FPGA104は、入力信号を出力信号に変換する単位ブロックである複数の論理ブロックと、それら複数の論理ブロックを接続する配線階層とを有する。CPU101からの指示に応じてRAM102からFPGA104に回路情報が転送される。FPGA104は、回路情報に従って論理ブロックおよび配線階層を設定して所望の論理回路を形成する。FPGA104は、他の回路領域を動作させながら一部の回路領域を更新する動的再構成を行うこともできる。FPGA104は、RAM102から入力データを受け付け、回路構成に従って入力データを処理する。FPGA104の処理結果は、CPU101によりFPGA104からRAM102に読み出される。
画像信号処理部105は、CPU101からの命令に従って、監視サーバ100に接続されたディスプレイ111に画像を出力する。ディスプレイ111としては、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(OEL:Organic Electro-Luminescence)ディスプレイなど、任意の種類のディスプレイを使用することができる。
入力信号処理部106は、監視サーバ100に接続された入力デバイス112から入力信号を受信する。入力デバイス112として、マウス、タッチパネル、タッチパッド、キーボードなど、任意の種類の入力デバイスを使用できる。また、監視サーバ100に複数種類の入力デバイスが接続されてもよい。
媒体リーダ107は、記録媒体113に記録されたプログラムやデータを読み取る読み取り装置である。記録媒体113として、例えば、フレキシブルディスク(FD:Flexible Disk)やHDDなどの磁気ディスク、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光ディスク、光磁気ディスク(MO:Magneto-Optical disk)、半導体メモリなどを使用できる。媒体リーダ107は、例えば、記録媒体113から読み取ったプログラムやデータをRAM102またはHDD103に格納する。
通信インタフェース108は、ネットワーク30に接続され、ネットワーク30を介して監視カメラ31~34と通信を行う。通信インタフェース108は、ネットワーク30から受信した受信データをRAM102に格納し、また、RAM102から送信データを読み出してネットワーク30に送信する。通信インタフェース108は、ケーブルが接続される有線通信インタフェースである。ただし、通信インタフェース108が、無線リンクによって通信を行う無線通信インタフェースであってもよい。
図4は、監視サーバの機能例を示すブロック図である。
監視サーバ100は、回路情報記憶部121、解析結果記憶部122、FPGA構成部123、映像データ転送部124および解析結果抽出部125を有する。回路情報記憶部121および解析結果記憶部122は、例えば、RAM102またはHDD103の記憶領域を用いて実装される。FPGA構成部123、映像データ転送部124および解析結果抽出部125は、例えば、CPU101が実行するプログラムを用いて実装される。
回路情報記憶部121は、FPGA104に適用する回路情報を記憶する。回路情報は、例えば、各論理ブロックについて入力信号と出力信号との間の関係を定義したルックアップテーブルや、配線階層であるクロスバースイッチの各接点のON/OFFを定義した配線情報を含む。回路情報は、監視カメラ31~34の映像データを解析する解析アルゴリズムが実装されるように予めユーザにより作成される。回路情報は、監視サーバ100で作成されてもよいし他の情報処理装置で作成されてもよい。
解析結果記憶部122は、FPGA104により生成された映像データの解析結果を記憶する。解析結果は、映像データから認識されたナンバープレート番号を含む。
FPGA構成部123は、ユーザからの指示に応じてFPGA104の回路構成を変更する。映像データを解析する解析アルゴリズムは、監視カメラ31~34の設置位置を変更した場合や解析アルゴリズムを改良した場合などに更新されることがある。その場合、新たな解析アルゴリズムに対応する回路情報が回路情報記憶部121に格納され、ユーザから更新要求が入力される。すると、FPGA構成部123は、FPGA104に新たな回路情報を転送し、FPGA104に更新要求を入力して動的再構成を行う。
映像データ転送部124は、ネットワーク30および通信インタフェース108を介して監視カメラ31~34から映像データを取得する。異なる監視カメラの映像データは異なるデータストリームとして区別される。映像データ転送部124は、取得した監視カメラ31~34の映像データを継続的にFPGA104に転送する。
解析結果抽出部125は、FPGA104から継続的に解析結果を読み出して解析結果記憶部122に格納する。解析結果抽出部125は、認識されたナンバープレート番号と所定のナンバープレート番号とを比較して、所定のナンバープレート番号が発見されたか否かを判定してもよい。解析結果抽出部125は、解析結果または解析結果を利用した判定結果を出力してもよい。例えば、解析結果抽出部125は、解析結果または判定結果をディスプレイ111に表示するなど、監視サーバ100の出力デバイスに出力する。また、解析結果抽出部125は、解析結果または判定結果を他の情報処理装置に送信する。
図5は、FPGAの回路構成例を示すブロック図である。
FPGA104は、FPGAインタフェース131、制御部132、回路情報メモリ133、複数の解析部、複数の受信部および配線部136を有する。複数の解析部には、解析部134(解析部#0)、解析部134-1(解析部#1)、解析部134-2(解析部#2)および解析部134-3(解析部#3)が含まれる。複数の受信部には、受信部135(受信部#0)、受信部135-1(受信部#1)、受信部135-2(受信部#2)および受信部135-3(受信部#3)が含まれる。複数の解析部、複数の受信部および配線部136は、回路情報に基づいて形成される。
制御部132は、第1の実施の形態の制御部15に対応する。解析部134は、第1の実施の形態の解析部11に対応する。解析部134-1は、第1の実施の形態の解析部12に対応する。受信部135は、第1の実施の形態の受信部13に対応する。受信部135-1は、第1の実施の形態の受信部14に対応する。
FPGAインタフェース131は、FPGA104の外部からの入力を受け付けるインタフェースである。FPGAインタフェース131は、回路情報を受信し、受信した回路情報を回路情報メモリ133に転送する。また、FPGAインタフェース131は、1つの解析部の更新を示す更新要求をCPU101から受信し、受信した更新要求を制御部132に転送する。また、FPGAインタフェース131は、映像データを受信し、受信した映像データを受信部135,135-1~135-3に振り分ける。また、FPGAインタフェース131は、解析結果の読み出しを示す読み出し要求をCPU101から受信し、解析部134,134-1~134-3から解析結果を読み出して応答する。
制御部132は、解析部134,134-1~134-3の動的再構成を制御する。制御部132は、更新要求を受け付け、更新後の解析アルゴリズムに対応する回路情報を回路情報メモリ133から読み出し、更新要求が示す解析部の回路構成を変更する。回路情報メモリ133は、解析部134,134-1~134-3、受信部135,135-1~135-3および配線部136を形成するための回路情報を記憶する。
解析部134,134-1~134-3は、映像データに含まれるフレームを1つずつ受け付け、入力されたフレームに対して所定の解析アルゴリズムを実行して、入力されたフレームに写った1以上のナンバープレート番号を認識する。解析部134,134-1~134-3は、ナンバープレート番号を示す解析結果を保持し、CPU101からの読み出し要求に応答して、保持している解析結果を出力する。
解析部134,134-1~134-3はそれぞれ、1つの監視カメラの映像データを担当する。解析部134,134-1~134-3により、異なる監視カメラの映像データを並列に解析できる。例えば、解析部134が監視カメラ31の映像データを担当し、解析部134-1が監視カメラ32の映像データを担当し、解析部134-2が監視カメラ33の映像データを担当し、解析部134-3が監視カメラ34の映像データを担当する。解析部134,134-1~134-3は、異なる監視カメラの解析結果をCPU101が区別できるように、監視カメラを識別するラベルを解析結果に付加してもよい。
受信部135,135-1~135-3は、監視カメラ31~34から映像データのフレームを継続的に受信する。受信部135,135-1~135-3は、受信タイミングのゆらぎを解消するため、受信したフレームをバッファリングする。受信部135,135-1~135-3は、解析部134,134-1~134-3が一定速度でフレームを処理できるように、配線部136を介して適切な解析部にフレームを1つずつ出力する。
受信部135,135-1~135-3はそれぞれ、1つの監視カメラの映像データを受信する。例えば、受信部135が監視カメラ31の映像データを受信し、受信部135-1が監視カメラ32の映像データを受信し、受信部135-2が監視カメラ33の映像データを受信し、受信部135-3が監視カメラ34の映像データを受信する。初期状態では、受信部135,135-1~135-3はそれぞれ、受信したフレームの全てを1つの解析部に出力する。例えば、受信部135が解析部134にフレームを出力し、受信部135-1が解析部134-1にフレームを出力し、受信部135-2が解析部134-2にフレームを出力し、受信部135-3が解析部134-3にフレームを出力する。
配線部136は、解析部134,134-1~134-3と受信部135,135-1~135-3とを配線で接続する。配線部136の配線は、回路情報を用いた動的再構成により変更可能である。初期状態では少なくとも、解析部134と受信部135とが配線で接続され、解析部134-1と受信部135-1とが配線で接続され、解析部134-2と受信部135-2とが配線で接続され、解析部134-3と受信部135-3とが配線で接続されている。ただし、各受信部が全ての解析部と接続されているように配線部136を形成しておいてもよい。その場合、配線の事後的変更を抑制できる。
ここで、解析アルゴリズムを変更するため、FPGA104が有する何れか1つの解析部を動的再構成により更新することを考える。1つの解析部の更新には数秒から十数秒程度の時間を要することがある。更新対象の解析部が何れか1つの監視カメラの映像データを担当している場合、そのまま当該解析部を停止して更新すると、更新中は当該監視カメラの映像データの解析が全く行われなくなってしまう。これにより、発見したいナンバープレート番号を見過ごしてしまうリスクが高くなり、監視精度が低下するおそれがある。
そこで、第2の実施の形態のFPGA104は、画像データの間引き処理を行うことで、当初のハードウェアリソースの範囲内で、更新中であっても全く解析されない監視カメラの映像データが生じないようにし、監視精度の低下を抑制する。
図6は、FPGAの第1の再構成例を示す図である。
ここでは説明を簡単にするため、監視カメラ31,32の2台の監視カメラで道路20を撮影しており、解析部134,134-1の2つの解析部を用いて監視カメラ31,32の映像データを並列に解析している場合を考える。
通常時には、受信部135は監視カメラ31から映像データのフレームを順次受信し、受信部135-1は監視カメラ32から映像データのフレームを順次受信する。受信部135は、受信した監視カメラ31のフレームを、間引き処理を行わずに解析部134に1つずつ出力する。解析部134は、入力されたフレームを解析する。受信部135-1は、受信した監視カメラ32のフレームを、間引き処理を行わずに解析部134-1に1つずつ出力する。解析部134-1は、入力されたフレームを解析する。
解析部134の更新を示す更新要求がCPU101により発行されると、制御部132は、更新対象の解析部134に対応する受信部135と、更新対象でない解析部134-1との間に配線を追加する。ただし、受信部135と解析部134-1との間に既に配線が存在する場合は配線の追加は不要である。そして、制御部132は、更新対象の解析部134に対応する受信部135と、更新対象でない解析部134-1に対応する受信部135-1に対して、フレーム出力方法の変更を指示する。フレーム出力方法の変更は、例えば、受信部135,135-1の動作を制御するパラメータを受信部135,135-1の内部または外部に用意し、制御部132がパラメータを書き換えることで行う。
更新対象でない解析部134-1に対応する受信部135-1は、監視カメラ32の映像データに対して間引き処理を行う。間引き処理は、映像データの一部を削除して出力することで、単位時間当たりの出力データ量を削減するものである。後述するように、間引き処理の例として、連続する複数のフレームの中から一定間隔でフレームを削除するフレーム間引きと、各フレームから一部の画像領域を削除する領域間引きとが挙げられる。受信部135-1は、間引き処理後の監視カメラ32のフレームを解析部134-1に出力する。フレーム間引きの場合、間引き処理によって削除されなかったフレームが解析部134-1に1つずつ入力される。削除されたフレームのタイミングでは受信部135-1から解析部134-1に対して何も出力されない。
更新対象の解析部134に対応する受信部135は、更新対象の解析部134へのフレームの出力を停止する。その代わりに、受信部135は、更新対象でない解析部134-1に監視カメラ31のフレームを出力する。ただし、受信部135-1から解析部134-1にもフレームが流入するため、監視カメラ31のフレームの全てを解析部134-1が処理可能なわけではない。そのため、受信部135でも間引き処理が行われる。
受信部135-1がフレーム間引きを行う場合、受信部135も監視カメラ31の映像データに対してフレーム間引きを行う。受信部135は、間引き処理によって削除されなかったフレームを解析部134-1に1つずつ出力する。受信部135がフレームを出力するタイミングは、受信部135-1がフレームを出力しないタイミングである。例えば、受信部135と受信部135-1とが2個に1個の割合でフレームを削除し、削除されなかったフレームを交互に解析部134-1に出力する。
受信部135-1が領域間引きを行う場合、受信部135も監視カメラ31の映像データに対して領域間引きを行う。受信部135,135-1はそれぞれ、間引き処理によって削除されなかった画像領域を解析部134-1に出力する。受信部135が出力する画像領域と受信部135-1が出力する画像領域とを結合したものが1つのフレームとして取り扱われる。例えば、受信部135と受信部135-1とが元のフレームの半分のサイズの画像領域を抽出し、抽出した画像領域を解析部134-1に出力する。
制御部132は、受信部135,135-1のフレーム出力方法が変更されると、変更後の解析アルゴリズムを示す回路情報を用いて解析部134を更新する。解析部134の更新では、例えば、解析部134に含まれる論理ブロックに適用するルックアップテーブルの更新や、解析部134内での配線の更新などが行われる。
解析部134の更新が完了すると、制御部132は、更新対象の解析部134に対応する受信部135と、更新対象でない解析部134-1に対応する受信部135-1に対して、フレーム出力方法の復元を指示する。フレーム出力方法の復元は、例えば、受信部135,135-1の動作を制御するパラメータを受信部135,135-1の内部または外部に用意し、制御部132がパラメータを書き換えることで行う。
これにより、受信部135は、受信した監視カメラ31のフレームを、間引き処理を行わずに解析部134に1つずつ出力する。受信部135-1は、受信した監視カメラ32のフレームを、間引き処理を行わずに解析部134-1に1つずつ出力する。受信部135と解析部134-1の間の配線は削除せずに残しておいてよい。ただし、制御部132は、受信部135と解析部134-1の間の配線を削除するようにしてもよい。
このようにして、FPGA104の運用を継続しながら解析部134の解析アルゴリズムを変更することができる。解析部134の更新中も、監視カメラ31の映像データと監視カメラ32の映像データの両方が少なくとも部分的には解析される。よって、発見すべきナンバープレート番号を見落とすリスクが低減され、監視精度が向上する。また、当初の解析部134,134-1のハードウェアリソースの範囲内で映像データの解析を継続でき、通常時には使用されない予備の解析部を用意しなくてよい。
次に、使用する解析部が多い場合、すなわち、並列に解析する映像データが多い場合を考える。通常時に使用する解析部がN個(Nは2以上の整数)あり、これら解析部に0,1,2,…という非負整数の識別番号が付与されているとする。また、N個の監視カメラから受信される映像データに含まれるフレームは、ある時刻を基準にして0,1,2,…という非負整数の識別番号によって識別できるものとし、N個の解析部に対応するN個の受信部においてフレームタイミングを揃えることができるとする。
フレーム間引きの場合、N個の受信部のうちi番目(i=0,1,2,…)の受信部は、連続するN個のフレームのうちi番目のフレーム(非負整数の識別番号をNで割った余りがiであるフレーム)を削除すればよい。更新対象でない解析部に対応する受信部は、連続するN個のフレームのうち削除しなかったN-1個のフレームを、対応する解析部に出力する。一方、更新対象の解析部に対応する受信部は、連続するN個のフレームのうち削除しなかったN-1個のフレームを、更新対象でないN-1個の解析部に振り分ける。
更新対象でないi番目の解析部は、i番目のフレームタイミングでは対応する受信部からフレームが入力されない。このため、更新対象の解析部に対応する受信部は、削除しなかったi番目のフレームをi番目の解析部に出力すればよい。これにより、更新対象でないN-1個の解析部には、当初と同じ速度でフレームが入力されることになる。
領域間引きの場合、N個の受信部のうちi番目の受信部は、各フレームから1/Nのサイズの画像領域を削除すればよい。更新対象でない解析部に対応する受信部は、削除しなかった(N-1)/Nのサイズの画像領域を、対応する解析部に出力する。一方、更新対象の解析部に対応する受信部は、残った(N-1)/Nのサイズの画像領域を、更新対象でないN-1個の解析部に振り分ける。ここでは、残った(N-1)/Nのサイズの画像領域をN-1等分すればよい。各受信部がフレームを出力する速度は間引き処理前と同じである。更新対象でない解析部は、(N-1)/Nのサイズの画像領域の入力と1/Nのサイズの画像領域の入力とを受け付け、両者を結合する。これにより、更新対象でないN-1個の解析部には、間引き処理前と同じサイズのフレームが入力されることになる。
図7は、FPGAの第2の再構成例を示す図である。
通常時には、受信部135は監視カメラ31から映像データのフレームを順次受信する。受信部135-1は監視カメラ32から映像データのフレームを順次受信する。受信部135-2は監視カメラ33から映像データのフレームを順次受信する。受信部135-3は監視カメラ34から映像データのフレームを順次受信する。
受信部135は、受信した監視カメラ31のフレームを、間引き処理を行わずに解析部134に1つずつ出力する。受信部135-1は、受信した監視カメラ32のフレームを、間引き処理を行わずに解析部134-1に1つずつ出力する。受信部135-2は、受信した監視カメラ33のフレームを、間引き処理を行わずに解析部134-2に1つずつ出力する。受信部135-3は、受信した監視カメラ34のフレームを、間引き処理を行わずに解析部134-3に1つずつ出力する。
解析部134-1の更新を示す更新要求がCPU101により発行されると、制御部132は、更新対象の解析部134-1に対応する受信部135-1と、更新対象でない解析部134,134-2,134-3との間に配線を追加する。ただし、配線が存在する場合は配線の追加は不要である。そして、制御部132は、受信部135,135-1~135-3に対して、フレーム出力方法の変更を指示する。
受信部135は、監視カメラ31の映像データに対して間引き処理を行い、解析部134への出力のデータ量を1/4だけ減少させる。フレーム間引きの場合、受信部135は、連続する4個のフレームのうち0番目のフレームを削除する。領域間引きの場合、受信部135は、各フレームから1/4のサイズの画像領域を削除する。同様に、受信部135-2は、監視カメラ33の映像データに対して間引き処理を行い、解析部134-2への出力のデータ量を1/4だけ減少させる。フレーム間引きの場合、受信部135-2は、連続する4個のフレームのうち2番目のフレームを削除する。領域間引きの場合、受信部135-2は、各フレームから1/4のサイズの画像領域を削除する。受信部135-3は、監視カメラ34の映像データに対して間引き処理を行い、解析部134-3への出力のデータ量を1/4だけ減少させる。フレーム間引きの場合、受信部135-3は、連続する4個のフレームのうち3番目のフレームを削除する。領域間引きの場合、受信部135-3は、各フレームから1/4のサイズの画像領域を削除する。
受信部135-1は、監視カメラ32の映像データのうち1/4ずつを解析部134,134-2,134-3に振り分け、残った1/4を削除する。フレーム間引きの場合、受信部135-1は、連続する4個のフレームのうち0番目のフレームを解析部134に出力し、1番目のフレームを削除し、2番目のフレームを解析部134-2に出力し、3番目のフレームを解析部134-3に出力する。領域間引きの場合、受信部135-1は、各フレームの1/4のサイズの画像領域を解析部134,134-2,134-3にそれぞれ出力し、残った1/4のサイズの画像領域を削除する。
なお、上記では通常時にN個の解析部が使用されている場合、更新対象の解析部が担当する映像データをN-1個の解析部に振り分けている。すなわち、更新対象でない解析部の全てを使って、更新対象の解析部が担当する映像データを処理するようにして、振り分け先の数を最大化している。これに対して、更新対象でない解析部の一部のみを使って、更新対象の解析部が担当する映像データを処理するようにしてもよい。
例えば、振り分け先の解析部の個数を予めユーザが決めておいてもよいし、通常時に使用する解析部の個数の一定割合としてもよい。また、更新対象でない解析部の一部のみを振り分け先とする場合、振り分け先の解析部をランダムに選択してもよいし、所定の監視カメラに対応する所定の解析部を選択してもよい。また、振り分け先の解析部を所定のルールに従って決定してもよい。例えば、I番目の解析部を更新する場合にI-1番目の解析部とI+1番目の解析部を選択するなど、更新対象の解析部の前後の識別番号をもつ解析部を選択するようにしてもよい。また、制御部132が各解析部の負荷を監視し、負荷の低い解析部を振り分け先として優先的に選択してもよい。
次に、フレーム間引きと領域間引きの例を説明する。
図8は、映像データの第1の間引き例を示す図である。
ここでは説明を簡単にするため、図6と同様に、監視カメラ31,32の2台の監視カメラで道路20を撮影しており、解析部134,134-1の2つの解析部を用いて監視カメラ31,32の映像データを並列に解析している場合を考える。
受信部135は、監視カメラ31からフレーム141~148(フレーム#0~#7)を順に受信する。受信部135-1は、監視カメラ32からフレーム151~158(フレーム#0~#7)を順に受信する。間引き処理としてフレーム間引きを行う場合、受信部135は、連続する2個のフレームのうち0番目のフレームを削除し、1番目のフレームを解析部134-1に出力する。よって、受信部135から解析部134-1には、監視カメラ31のフレーム141~148のうちフレーム142,144,146,148が出力される。一方、受信部135-1は、連続する2個のフレームのうち1番目のフレームを削除し、0番目のフレームを解析部134-1に出力する。よって、受信部135-1から解析部134-1には、監視カメラ32のフレーム151~158のうちフレーム151,153,155,157が出力される。
図9は、映像データの第2の間引き例を示す図である。
受信部135は、監視カメラ31からフレーム161を受信する。受信部135-1は、監視カメラ32からフレーム163を受信する。間引き処理として領域間引きを行う場合、受信部135は、フレーム161の中央から、フレーム161の半分のサイズの画像領域162を抽出する。例えば、フレーム161のサイズが横1920ピクセル×縦1080ピクセルである場合、画像領域162はフレーム161の中央の横1920ピクセル×縦540ピクセルの画像領域である。同様に、受信部135-1は、フレーム163の中央から、フレーム163の半分のサイズの画像領域164を抽出する。
受信部135は画像領域162を解析部134-1に出力し、受信部135-1は画像領域164を解析部134-1に出力する。解析部134-1は、画像領域164の下に画像領域162を結合してフレーム165を生成する。フレーム165のサイズはフレーム161,163と同じである。解析部134-1は、生成したフレーム165を入力されたフレームとみなしてナンバープレート番号の認識を行う。
なお、上記では各フレームの上側と下側を削除して複数の画像領域を縦方向に結合しているが、各フレームの左側と右側を削除して複数の画像領域を横方向に結合してもよい。また、上記では各フレームの中央の画像領域を抽出しているが、各フレームの上半分、下半分、左半分、右半分など中央以外の画像領域を抽出してもよい。
また、上記では監視カメラ31のフレーム161と監視カメラ32のフレーム163とで抽出位置が同じであるが、監視カメラによって抽出位置を変えてもよい。例えば、監視カメラ31のフレーム161からは上半分または左半分の画像領域を抽出し、監視カメラ32のフレーム163からは下半分または右半分の画像領域を抽出してもよい。また、上記では全てのフレームを通じて抽出位置が固定であるが、フレームによって抽出位置を変えてもよい。例えば、0番目のフレームでは上半分、1番目のフレームでは下半分、2番目のフレームでは左半分、3番目のフレームでは右半分の画像領域を抽出してもよい。
次に、FPGA104の処理手順について説明する。
図10は、FPGA再構成の手順例を示すフローチャートである。
(S10)制御部132は、1つの解析部の更新を示す更新要求を受信する。更新する解析部に適用する回路情報は、既に回路情報メモリ133に書き込まれている。
(S11)制御部132は、更新要求で指定された更新対象の解析部#Xを特定する。
(S12)制御部132は、更新対象の解析部#Xに対応する受信部#Xから、更新対象でない各解析部への配線が既に存在しているか判断する。配線がある場合はステップS14に進み、配線が無い場合はステップS13に進む。
(S13)制御部132は、配線部136を更新して、更新対象の解析部#Xに対応する受信部#Xから、更新対象でない各解析部への配線を追加する。
(S14)制御部132は、受信部#X以外の受信部、すなわち、更新対象でない解析部に対応する受信部を、その受信部が受信する映像データの1/Nだけ間引くよう設定する。例えば、その受信部が受信するフレームをN個に1個間引くよう設定する。
(S15)制御部132は、更新対象の解析部#Xに対応する受信部#Xを、解析部#X以外の解析部に映像データの1/Nずつ振り分けるよう設定する。例えば、受信部#Xが受信するフレームをN個に1個ずつ解析部#X以外の解析部に出力するよう設定する。
(S16)制御部132は、更新対象の解析部#Xを停止させる。
(S17)制御部132は、回路情報メモリ133から更新された回路情報を読み出し、読み出した回路情報を解析部#Xに適用する。すなわち、制御部132は、動的再構成により、読み出した回路情報に基づいて解析部#Xの回路領域を書き換える。
(S18)制御部132は、更新した解析部#Xを再起動する。
(S19)制御部132は、更新した解析部#Xに対応する受信部#Xを、受信部#Xが受信する映像データの振り分けを解除するよう設定する。これにより、受信部#Xが受信したフレームは全て解析部#Xに出力される。
(S20)制御部132は、受信部#X以外の受信部、すなわち、更新対象でない解析部に対応する受信部を、その受信部が受信する映像データに対する間引き処理を解除するよう設定する。これにより、フレームが間引き処理されずに出力される。
第2の実施の形態の監視サーバ100によれば、ある解析部を更新する際、複数の監視カメラの映像データに対して間引き処理が行われ、間引き処理によって生じた余剰能力を利用して更新対象の解析部が担当する監視カメラの映像データが解析される。これにより、解析アルゴリズムを変更する際も複数の監視カメラの映像データの解析を継続できる。また、更新対象の解析部が担当する監視カメラの映像データが更新中に全く解析されなくなることを抑制できる。また、複数の監視カメラの映像データの何れもが少なくとも部分的には解析される。よって、映像データから監視対象物を見落とすリスクを低減でき、監視精度を向上させることができる。また、当初のハードウェアリソースの範囲内で複数の監視カメラの映像データの解析を継続できる。よって、通常時に使用されない予備の解析部を用意しなくてもよく、回路規模やコストを抑制できる。
10 監視装置
11,12 解析部
13,14 受信部
15 制御部
16,17 データストリーム
18 更新要求

Claims (8)

  1. 入力されたデータを解析する第1の解析部および第2の解析部と、
    第1のデータストリームのデータを受信し、受信した前記第1のデータストリームのデータを前記第1の解析部に出力する第1の受信部と、
    第2のデータストリームのデータを受信し、受信した前記第2のデータストリームのデータを前記第2の解析部に出力する第2の受信部と、
    前記第1の解析部の更新を示す更新要求を受け付けた場合、前記第2のデータストリームに対して間引き処理を行って前記間引き処理後のデータを出力するよう前記第2の受信部に指示し、前記第1のデータストリームの少なくとも一部のデータが前記第2の解析部に出力されるよう前記第1の受信部の出力先を変更する制御部と、
    を有する監視装置。
  2. 前記第1のデータストリームおよび前記第2のデータストリームはそれぞれ、複数のフレームを含む画像データストリームであり、前記間引き処理は、前記画像データストリームの前記複数のフレームのうち一部のフレームを削除することを含む、
    請求項1記載の監視装置。
  3. 前記第1のデータストリームおよび前記第2のデータストリームはそれぞれ、複数のフレームを含む画像データストリームであり、前記間引き処理は、前記画像データストリームの各フレームから一部の画像領域を削除することを含む、
    請求項1記載の監視装置。
  4. 前記第1の解析部、前記第2の解析部、前記第1の受信部および前記第2の受信部は、プログラマブルデバイス上に形成されており、前記出力先の変更は、前記第1の受信部と前記第2の解析部との間に配線を追加することを含む、
    請求項1記載の監視装置。
  5. 前記第2の受信部への指示では、前記第2の受信部から前記第2の解析部に出力される前記第2のデータストリームのデータを所定割合だけ減少させ、
    前記出力先の変更では、前記第1の受信部から前記第1の解析部への前記第1のデータストリームのデータの出力を停止させ、前記第1のデータストリームのデータのうち前記所定割合のデータを前記第1の受信部から前記第2の解析部に出力させる、
    請求項1記載の監視装置。
  6. 前記第1の解析部および前記第2の解析部を含む複数の解析部と、前記第1の受信部および前記第2の受信部を含む前記複数の解析部に対応する複数の受信部とを有しており、
    前記所定割合は、解析部の個数に応じて決定される、
    請求項5記載の監視装置。
  7. 監視装置が実行する監視方法であって、
    前記監視装置が有する第1の受信部から前記監視装置が有する第1の解析部に、前記第1の受信部で受信された第1のデータストリームのデータを出力させ、
    前記監視装置が有する第2の受信部から前記監視装置が有する第2の解析部に、前記第2の受信部で受信された第2のデータストリームのデータを出力させ、
    前記第1の解析部の更新を示す更新要求を受け付けた場合、前記第2のデータストリームに対して間引き処理を行って前記間引き処理後のデータを出力するよう前記第2の受信部に指示し、前記第1のデータストリームの少なくとも一部のデータが前記第2の解析部に出力されるよう前記第1の受信部の出力先を変更する、
    監視方法。
  8. コンピュータに、
    前記コンピュータが有する第1の受信部から前記コンピュータが有する第1の解析部に、前記第1の受信部で受信された第1のデータストリームのデータを出力させ、
    前記コンピュータが有する第2の受信部から前記コンピュータが有する第2の解析部に、前記第2の受信部で受信された第2のデータストリームのデータを出力させ、
    前記第1の解析部の更新を示す更新要求を受け付けた場合、前記第2のデータストリームに対して間引き処理を行って前記間引き処理後のデータを出力するよう前記第2の受信部に指示し、前記第1のデータストリームの少なくとも一部のデータが前記第2の解析部に出力されるよう前記第1の受信部の出力先を変更する、
    処理を実行させる監視プログラム。
JP2018221703A 2018-11-27 2018-11-27 監視装置、監視方法および監視プログラム Active JP7157330B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018221703A JP7157330B2 (ja) 2018-11-27 2018-11-27 監視装置、監視方法および監視プログラム
US16/600,598 US11042956B2 (en) 2018-11-27 2019-10-14 Monitoring apparatus and monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018221703A JP7157330B2 (ja) 2018-11-27 2018-11-27 監視装置、監視方法および監視プログラム

Publications (2)

Publication Number Publication Date
JP2020088658A JP2020088658A (ja) 2020-06-04
JP7157330B2 true JP7157330B2 (ja) 2022-10-20

Family

ID=70769967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018221703A Active JP7157330B2 (ja) 2018-11-27 2018-11-27 監視装置、監視方法および監視プログラム

Country Status (2)

Country Link
US (1) US11042956B2 (ja)
JP (1) JP7157330B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181105A (ja) * 2019-04-25 2020-11-05 キヤノン株式会社 投影装置およびその制御方法
WO2021157315A1 (ja) * 2020-02-05 2021-08-12 株式会社ソニー・インタラクティブエンタテインメント グラフィックプロセッサ及び情報処理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109489A (ja) 1998-10-27 2006-04-20 Hitachi Maxell Ltd 画像データを含むディジタルデータの記録とコピーを同時に行う方法及び装置
JP2008236353A (ja) 2007-03-20 2008-10-02 Mitsubishi Electric Corp カメラ異常検知装置
JP2017139631A (ja) 2016-02-04 2017-08-10 日立オートモティブシステムズ株式会社 撮像装置
JP2018136737A (ja) 2017-02-22 2018-08-30 ホーチキ株式会社 代替システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61113314A (ja) * 1984-11-08 1986-05-31 Nec Corp サンプル値間引きデイジタルフイルタ−
US5193000A (en) * 1991-08-28 1993-03-09 Stereographics Corporation Multiplexing technique for stereoscopic video system
US6301246B1 (en) * 1998-08-17 2001-10-09 Siemens Information And Communication Networks, Inc. Silent monitoring in a voice-over-data-network environment
GB2359185B (en) 1998-10-27 2003-02-19 Hitachi Maxell Information recording method and system,image compression/decompression system,system control method,and monitoring system including part or all of them
JP2006094543A (ja) 1998-10-27 2006-04-06 Hitachi Maxell Ltd 画像データを含むディジタルデータを記録する方法及び装置
JP2001014801A (ja) 1998-10-27 2001-01-19 Hitachi Maxell Ltd 情報記録方法及びシステム、画像圧縮/伸張システム、システム制御方法、及び、これらの一部又は全部を有する監視システム
JP3994787B2 (ja) * 2002-04-25 2007-10-24 株式会社日立製作所 監視カメラシステム
US7297118B2 (en) * 2003-06-12 2007-11-20 Ge Medical Systems Global Technology Company Ultrasound method and apparatus for multi-line acquisition
US20120229460A1 (en) * 2011-03-12 2012-09-13 Sensio Technologies Inc. Method and System for Optimizing Resource Usage in a Graphics Pipeline
JP2017004502A (ja) 2015-06-15 2017-01-05 株式会社リコー 情報システムおよびアップデート方法
JP2017201756A (ja) * 2016-05-06 2017-11-09 富士通株式会社 制御装置、レート制御方法、および、ネットワークシステム
JP7162412B2 (ja) 2016-11-29 2022-10-28 マクセル株式会社 検知認識システム
JP6855906B2 (ja) * 2017-04-25 2021-04-07 富士通株式会社 スイッチプログラム、スイッチング方法及び情報処理装置
WO2019021344A1 (ja) * 2017-07-24 2019-01-31 オリンパス株式会社 画像処理装置および撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109489A (ja) 1998-10-27 2006-04-20 Hitachi Maxell Ltd 画像データを含むディジタルデータの記録とコピーを同時に行う方法及び装置
JP2008236353A (ja) 2007-03-20 2008-10-02 Mitsubishi Electric Corp カメラ異常検知装置
JP2017139631A (ja) 2016-02-04 2017-08-10 日立オートモティブシステムズ株式会社 撮像装置
JP2018136737A (ja) 2017-02-22 2018-08-30 ホーチキ株式会社 代替システム

Also Published As

Publication number Publication date
US11042956B2 (en) 2021-06-22
JP2020088658A (ja) 2020-06-04
US20200167888A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
US20210142146A1 (en) Intelligent image sensor stack
WO2021232229A1 (zh) 虚拟场景生成方法、装置、计算机设备和存储介质
JP2021179971A (ja) 小目標を検出するための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
US20180218221A1 (en) Systems and methods for object tracking and classification
US20160133297A1 (en) Dynamic Video Summarization
CN109740420A (zh) 车辆违法识别方法及相关产品
JP7157330B2 (ja) 監視装置、監視方法および監視プログラム
CN111597953A (zh) 多路图像处理方法、装置及电子设备
EP3890312A1 (en) Distributed image analysis method and system, and storage medium
CN109800684B (zh) 一种视频中对象的确定方法及装置
JP4110323B2 (ja) 情報出力方法及び装置及びプログラム及び情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体
CN111488866B (zh) 基于深度学习的入侵物识别方法、装置及电子设备
CN109800685A (zh) 一种视频中对象的确定方法及装置
KR102238610B1 (ko) 딥러닝 객체 검출기의 추론 정보를 이용한 정지객체 검출 방법
CN111523529B (zh) 基于乘客出行轨迹的轨道交通疫情防控系统及方法
CN109886234B (zh) 目标检测方法、装置、系统、电子设备、存储介质
CN111681267A (zh) 基于图像识别的轨道防侵入方法
CN112215042A (zh) 一种车位限位器识别方法及其系统、计算机设备
KR102594804B1 (ko) 메모리 연동 가능한 계층적 구조 기반의 이벤트 검출 방법 및 장치
JP7403606B1 (ja) 管理装置、管理方法及び管理プログラム
Huang et al. Discovering traffic anomaly propagation in urban space using traffic change peaks
JP7379260B2 (ja) 逆走車検知装置、逆走車検知方法及び逆走車検知プログラム
CN114639037B (zh) 确定高速服务区的车辆饱和的方法及电子设备
CN113543045B (zh) 处理单元、相关装置和张量运算方法
KR102564039B1 (ko) 프레임간 유사도에 기초하여, 신경망 학습을 위한 프레임 데이터를 생성하는 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210810

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210820

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220919

R150 Certificate of patent or registration of utility model

Ref document number: 7157330

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150