JP6543214B2

JP6543214B2 - Motion monitoring device

Info

Publication number: JP6543214B2
Application number: JP2016090636A
Authority: JP
Inventors: 健太郎福井; 順一尾崎; 恭悟野村; 俊明大熊; 隆地頭薗
Original assignee: Nihon Suido Consultants Co Ltd
Current assignee: Nihon Suido Consultants Co Ltd
Priority date: 2016-04-28
Filing date: 2016-04-28
Publication date: 2019-07-10
Anticipated expiration: 2036-04-28
Also published as: JP2017200098A

Description

本発明は、土砂などの動きをカメラで監視する動き監視装置、動き監視方法、およびプログラムに関する。 The present invention relates to a motion monitoring device, a motion monitoring method, and a program for monitoring the motion of soil and the like with a camera.

土砂などの崩落をカメラ等の撮像手段で監視するシステムの一例が、特許文献１に記載されている。特許文献１に記載されるシステムは、砂防領域などの現場に設置された山体監視用のカメラと、砂防管理センタに設置された画像処理装置とを有し、カメラと画像処理装置とは通信ケーブルによって互いに通信可能に接続されている。画像処理装置は、カメラの映像信号をリアルタイムに受信して画像処理を行い、山体の動いていない部分に対する動いた部分の輝度の変化を捉えて崩落の発生を検知する。具体的には、画像処理装置は、最新の映像情報の輝度パターンと先に記憶していた映像信号の輝度パターンとを比較することにより撮影前後の画像が一致したか否かをチェックする。そして、画像処理装置は、撮影前後の画像が一致した場合には崩落が発生していないためカメラによる撮影を続行し、撮影前後の画像にパターンの不一致が発生した場合、崩落の発生を検知する。 Patent Document 1 describes an example of a system for monitoring collapse of soil and the like with an imaging unit such as a camera. The system described in Patent Document 1 includes a mountain monitoring camera installed at a site such as an erosion control area and an image processing apparatus installed at the erosion control management center, and the camera and the image processing apparatus communicate with each other via a communication cable. Are communicably connected to each other. The image processing apparatus receives an image signal of a camera in real time and performs image processing, detects a change in luminance of a moved part with respect to a non-moving part of a mountain, and detects the occurrence of a fall. Specifically, the image processing apparatus checks whether the images before and after shooting match by comparing the luminance pattern of the latest video information and the luminance pattern of the video signal stored earlier. Then, the image processing apparatus continues the shooting with the camera when the images before and after shooting match, and therefore, the shooting with the camera is continued, and when the pattern mismatch occurs in the images before and after shooting, the occurrence of the falling is detected. .

特開２００２−３６５３７２号公報JP 2002-365372 A

しかしながら、特許文献１に記載されるシステムでは、山体に動きがないとき、監視カメラで撮影して得られる画像を現場から砂防管理センタにリアルタイムで送信し続ける必要がある。このため、監視カメラ等の撮像手段が設置される現場側の消費電力量が増大する。 However, in the system described in Patent Document 1, when there is no movement in the mountain, it is necessary to continue transmitting an image obtained by shooting with a surveillance camera from the site to the erosion control center in real time. For this reason, the amount of power consumption on the site where the imaging means such as the surveillance camera is installed increases.

本発明の目的は、上述した課題、即ち、撮像手段が設置される現場側の消費電力量が増大する、という課題を解決する動き監視装置を提供することにある。 An object of the present invention is to provide a motion monitoring apparatus that solves the above-mentioned problem, that is, the problem of increasing the amount of power consumption on the site where the imaging means is installed.

本発明の一形態に係る動き監視装置は、
監視エリアの画像を撮影する撮像手段と、
前記画像を解析し、前記監視エリアの画像の各部の動きを検知する監視手段と、
前記動きが検知されていないときは前記画像の送信を停止し、前記動きが検知されると前記画像の送信を開始する送信手段と、
を有する。 A motion monitoring device according to one aspect of the present invention is
An imaging unit that captures an image of the monitoring area;
Monitoring means for analyzing the image and detecting movement of each part of the image in the monitoring area;
Transmission means for stopping transmission of the image when the movement is not detected, and transmitting the image when the movement is detected;
Have.

また本発明の他の形態に係る動き監視方法は、
撮像手段と監視手段と送信手段とを有する動き監視装置が実行する動き監視方法であって、
前記撮像手段が、監視エリアの画像を撮影し、
前記監視手段が、前記画像を解析して前記監視エリアの画像の各部の動きを検知し、
前記送信手段が、前記動きが検知されていないときは前記画像の送信を停止し、前記動きが検知されると前記画像の送信を開始する。 A motion monitoring method according to another aspect of the present invention is
A motion monitoring method performed by a motion monitoring apparatus having an imaging unit, a monitoring unit, and a transmission unit, the method comprising:
The imaging means captures an image of the monitoring area,
The monitoring means analyzes the image to detect movement of each part of the image in the monitoring area;
The transmission means stops transmission of the image when the movement is not detected, and starts transmission of the image when the movement is detected.

また本発明の他の形態に係るプログラムは、
監視エリアの画像を撮影する撮像手段を有するコンピュータを、
前記画像を解析し、前記監視エリアの画像の各部の動きを検知する監視手段と、
前記動きが検知されていないときは前記画像の送信を停止し、前記動きが検知されると前記画像の送信を開始する送信手段と、
して機能させる。 Further, a program according to another aspect of the present invention is
A computer having imaging means for capturing an image of the surveillance area,
Monitoring means for analyzing the image and detecting movement of each part of the image in the monitoring area;
Transmission means for stopping transmission of the image when the movement is not detected, and transmitting the image when the movement is detected;
To function.

本発明は上述した構成を有するため、撮像手段が設置される現場側の消費電力量を低減することができる。 Since the present invention has the above-described configuration, it is possible to reduce the amount of power consumption on the site where the imaging means is installed.

本発明の第１の実施形態のブロック図である。FIG. 1 is a block diagram of a first embodiment of the present invention. 本発明の第１の実施形態に係る動き監視装置で使用するパーソナルコンピュータのブロック図である。FIG. 1 is a block diagram of a personal computer used in a motion monitoring device according to a first embodiment of the present invention. 本発明の第１の実施形態に係る動き監視装置で使用するフレーム画像記憶部の内容の一例を示す図である。It is a figure which shows an example of the content of the flame | frame image memory | storage part used with the movement monitoring apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る動き監視装置で使用する送信バッファの内容の一例を示す図である。It is a figure which shows an example of the content of the transmission buffer used with the movement monitoring apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る動き監視装置で使用する崩落検知フラグの内容の一例を示す図である。It is a figure which shows an example of the content of the collapse detection flag used with the movement monitoring apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る動き監視装置における監視手段の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the monitoring means in the movement monitoring apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る動き監視装置における送信手段の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the transmission means in the movement monitoring apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る動き監視装置における監視手段が実行する画像処理の一例を示すフローチャートである。It is a flowchart which shows an example of the image processing which the monitoring means in the movement monitoring apparatus concerning the 1st Embodiment of this invention performs. 本発明の第２の実施形態のブロック図である。Figure 2 is a block diagram of a second embodiment of the invention;

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１を参照すると、本発明の第１の実施形態に係る監視システム１００は、土砂などの崩落を監視するシステムであり、動き監視装置１１０とサーバ装置１２０とから構成される。動き監視装置１１０は、崩落を監視する砂防領域などの現場に設置される。これに対してサーバ装置１２０は、防災センタなど現場から地理的に離れた場所に設置される。 Next, embodiments of the present invention will be described in detail with reference to the drawings.
First Embodiment
Referring to FIG. 1, a monitoring system 100 according to the first embodiment of the present invention is a system for monitoring the fall of soil and the like, and includes a motion monitoring apparatus 110 and a server apparatus 120. The motion monitoring device 110 is installed at a site such as an erosion control area that monitors a fall. On the other hand, the server device 120 is installed at a geographically distant place such as a disaster prevention center.

動き監視装置１１０は、主な構成要素として、カメラ１１１、パーソナルコンピュータ（以下、ＰＣと記す）１１２、通信器１１３、外部アンテナ１１４、バッテリ１１５、およびソーラーパネル１１６を備えている。 The motion monitoring apparatus 110 includes a camera 111, a personal computer (hereinafter referred to as a PC) 112, a communicator 113, an external antenna 114, a battery 115, and a solar panel 116 as main components.

カメラ１１１は、監視エリアのカラー画像を取得する撮像手段である。カメラ１１１は、例えば、消費電力の少ない市販の小型デジタルカメラモジュールを使用することができる。カメラ１１１は、ＰＣ１１２およびバッテリ１１５に接続される。例えば、カメラ１１１は、市販のカメラ用画像入力ボードによりＰＣ１１２のＰＣＩバススロットに接続することができる。 The camera 111 is an imaging unit that acquires a color image of the monitoring area. The camera 111 can use, for example, a commercially available compact digital camera module with low power consumption. The camera 111 is connected to the PC 112 and the battery 115. For example, the camera 111 can be connected to the PCI bus slot of the PC 112 by a commercially available camera image input board.

通信器１１３は、動き監視装置１１０とサーバ装置１２０との間で各種の情報を無線により送受信する通信手段である。通信器１１３は、例えば、ＬＴＥ通信サービスＸｉに対応したデータ通信用端末を使用することができる。通信器１１３は、例えば、ＵＳＢポートを通じてＰＣ１１２に接続することができる。 The communication unit 113 is a communication unit that wirelessly transmits and receives various types of information between the motion monitoring device 110 and the server device 120. The communication device 113 can use, for example, a data communication terminal compatible with the LTE communication service Xi. The communication device 113 can be connected to the PC 112 through, for example, a USB port.

外部アンテナ１１４は、弱電界地帯を補助的にカバーするために通信器１１３に接続して使用するアンテナである。通信器１１３に内蔵されたアンテナで支障なく通信できる場合、外部アンテナ１１４は省略することができる。 The external antenna 114 is an antenna used in connection with the communicator 113 in order to supplemently cover the weak electric field zone. When communication can be performed without problems by the antenna built in the communication device 113, the external antenna 114 can be omitted.

バッテリ１１５とソーラーパネル１１６とは、動き監視装置１１０の電源である。バッテリ１１５は、カメラ１１１、ＰＣ１１２、および通信器１１３に動作電力を供給する。ソーラーパネル１１６は、太陽光発電によってバッテリ１１５を充電する。このように、バッテリ１１５とソーラーパネル１１６とを電源とすることにより、公衆電源の確保が困難な砂防領域における長期間にわたる監視が可能になる。 The battery 115 and the solar panel 116 are power sources of the motion monitoring device 110. The battery 115 supplies operating power to the camera 111, the PC 112, and the communicator 113. The solar panel 116 charges the battery 115 by solar power generation. Thus, by using the battery 115 and the solar panel 116 as a power source, long-term monitoring in an erosion control area where securing of the public power source is difficult becomes possible.

ＰＣ１１２は、カメラ１１１の画像を解析して監視エリアの画像の各部の動きを検知する機能、およびカメラ１１１の画像を通信器１１３経由でサーバ装置１２０へ送信する機能などを有する情報処理手段である。ＰＣ１１２は、例えば、消費電力の少ない市販のＰＣモジュールを使用することができる。ＰＣ１１２には、カメラ１１１と通信器１１３とバッテリ１１５とが接続されている。 The PC 112 is an information processing means having a function of analyzing the image of the camera 111 to detect the movement of each part of the image of the monitoring area, and a function of transmitting the image of the camera 111 to the server device 120 via the communicator 113. . The PC 112 can use, for example, a commercially available PC module with low power consumption. A camera 111, a communicator 113, and a battery 115 are connected to the PC 112.

図２は、ＰＣ１１２の一例を示すブロック図である。この例のＰＣ１１２は、カメラ１１１を接続するためのＰＣＩバススロットなどのインタフェイス１３１、通信器１１３を接続するためのＵＳＢポートなどのインタフェイス１３２、ＲＡＭやＲＯＭ等で構成される記憶部１３３、およびＭＰＵ等のマイクロプロセッサとその周辺回路で構成される演算処理部１３４を備えている。 FIG. 2 is a block diagram showing an example of the PC 112. As shown in FIG. The PC 112 in this example has an interface 131 such as a PCI bus slot for connecting the camera 111, an interface 132 such as a USB port for connecting the communicator 113, and a storage unit 133 configured with RAM, ROM, etc. And a microprocessor such as an MPU and its peripheral circuits.

記憶部１３３は、フレーム画像記憶部１４１、送信バッファ１４２、崩落検知フラグ１４３、およびプログラム１４４を記憶するための記憶領域を有する。 The storage unit 133 has a storage area for storing the frame image storage unit 141, the transmission buffer 142, the fall detection flag 143, and the program 144.

フレーム画像記憶部１４１は、カメラ１１１で撮像して得られたフレーム画像を記憶する記憶領域である。図３はフレーム画像記憶部１４１に記憶される情報の例を示す。この例のフレーム画像記憶部１４１は、複数のエントリで構成され、それぞれのエントリは、フレーム画像とタイムスタンプとから構成される。フレーム画像は、カメラ１１１で撮像した監視エリアの１枚の画像そのもの或いは当該画像へのポインタであり、タイムスタンプはその撮影時刻である。例えば、図３の２行目のエントリは、タイムスタンプの欄に２０１６０４２１１１００が記録され、フレーム画像の欄にＧ００１が記録されている。これは、２０１６年４月２１日の午前１１時００分に撮影されたフレーム画像がＧ００１というポインタで参照される記憶領域に保存されていることを表している。 The frame image storage unit 141 is a storage area for storing a frame image obtained by imaging with the camera 111. FIG. 3 shows an example of information stored in the frame image storage unit 141. As shown in FIG. The frame image storage unit 141 in this example is composed of a plurality of entries, and each entry is composed of a frame image and a time stamp. The frame image is a single image itself of the monitoring area captured by the camera 111 or a pointer to the image, and the time stamp is the shooting time. For example, in the entry of the second line of FIG. 3, "201604211100" is recorded in the column of the time stamp, and G001 is recorded in the column of the frame image. This means that the frame image captured at 11:00 am on April 21, 2016 is stored in the storage area referred to by the pointer G001.

送信バッファ１４２は、サーバ装置１２０へ送信するフレーム画像を記憶する記憶領域である。図４は送信バッファ１４２に記憶される情報の例を示す。この例の送信バッファ１４２は、先入れ先出し方式のバッファであり、複数のエントリで構成され、それぞれのエントリは、フレーム画像とタイムスタンプとから構成される。それぞれのエントリのフレーム画像とタイムスタンプの意味は、図３に示したフレーム画像記憶部１４１におけるフレーム画像とタイムスタンプと同じである。 The transmission buffer 142 is a storage area for storing a frame image to be transmitted to the server device 120. FIG. 4 shows an example of information stored in the transmission buffer 142. The transmission buffer 142 in this example is a first-in-first-out buffer and is composed of a plurality of entries, and each entry is composed of a frame image and a time stamp. The meaning of the frame image and the time stamp of each entry is the same as that of the frame image and the time stamp in the frame image storage unit 141 shown in FIG.

崩落検知フラグ１４３は、崩落の検知状態を表す情報を記憶する記憶領域である。図５は崩落検知フラグ１４３に記憶される情報の例を示す。この例の崩落検知フラグ１４３は、１つのエントリで構成され、そのエントリには、値１および値０の何れか一方の値が記憶される。エントリに値１が記憶された崩落検知フラグ１４３は、崩落を検知していることを表す。一方、エントリに値０が記憶された崩落検知フラグ１４３は、崩落を検知していないことを表す。エントリに値１が記憶されていることを、フラグがセットされていると称し、エントリに値０が記憶されていることを、フラグがリセットされていると称する。 The fall detection flag 143 is a storage area for storing information indicating a fall detection state. FIG. 5 shows an example of information stored in the fall detection flag 143. The fall detection flag 143 in this example is configured of one entry, and one of the value 1 and the value 0 is stored in the entry. The fall detection flag 143 in which the value 1 is stored in the entry indicates that a fall is detected. On the other hand, the fall detection flag 143 in which the value 0 is stored in the entry indicates that the fall is not detected. The storage of the value 1 in the entry is referred to as the flag being set, and the storage of the value 0 in the entry is referred to the flag being reset.

プログラム１４４は、通信器１１３等の入力手段を通じて外部から入力されて予め記憶部１３３に保存される。 The program 144 is input from the outside through input means such as the communicator 113 and stored in advance in the storage unit 133.

演算処理部１３４は、記憶部１３３からプログラム１４４を読み込んで実行することにより、ＰＣ１１２を構成するハードウェアとプログラム１４４とを協働させて各種処理部を実現する機能を有している。演算処理部１３４で実現される主な処理部として、監視部１５１と送信部１５２とがある。 The arithmetic processing unit 134 has a function of realizing various processing units by causing the hardware constituting the PC 112 and the program 144 to cooperate with each other by reading and executing the program 144 from the storage unit 133. The main processing units realized by the arithmetic processing unit 134 include a monitoring unit 151 and a transmission unit 152.

監視部１５１は、カメラ１１１の画像を解析し、監視エリアの画像の各部の動きを検知する機能を有する。送信部１５２は、カメラ１１１の画像を通信器１１３経由でサーバ装置１２０へ送信する機能を有する。 The monitoring unit 151 has a function of analyzing the image of the camera 111 and detecting the movement of each part of the image of the monitoring area. The transmission unit 152 has a function of transmitting the image of the camera 111 to the server device 120 via the communication unit 113.

サーバ装置１２０は、動き監視装置１１０から送信された画像を受信して表示装置に表示する機能、当該画像を記憶装置に保存する機能、異常時の管理者への通報機能などを有する情報処理手段である。 The server device 120 has a function of receiving an image transmitted from the motion monitoring device 110 and displaying it on a display device, a function of storing the image in a storage device, and a function of notifying an administrator at abnormality It is.

次に、本実施形態に係る監視システム１００の動作を、動き監視装置１１０の動作を中心に説明する。 Next, the operation of the monitoring system 100 according to the present embodiment will be described focusing on the operation of the motion monitoring apparatus 110.

図６は動き監視装置１１０の監視部１５１の動作の一例を示すフローチャートである。監視部１５１は、例えばＰＣ１１２が起動すると図６に示した処理を開始する。まず、監視部１５１は、初期化を行う（Ｓ１０１）。この初期化では、監視部１５１は、フレーム画像記憶部１４１、送信バッファ１４２、崩落検知フラグ１４３を初期化する。この初期化では、監視部１５１は、図３のフレーム画像記憶部１３０の全エントリと図４の送信バッファ１４０の全エントリを、例えばＮＵＬＬ値で上書きし、図５の崩落検知フラグ１５０のエントリに値０を記憶する。 FIG. 6 is a flowchart showing an example of the operation of the monitoring unit 151 of the motion monitoring apparatus 110. For example, when the PC 112 is activated, the monitoring unit 151 starts the process illustrated in FIG. First, the monitoring unit 151 performs initialization (S101). In this initialization, the monitoring unit 151 initializes the frame image storage unit 141, the transmission buffer 142, and the collapse detection flag 143. In this initialization, the monitoring unit 151 overwrites all entries of the frame image storage unit 130 of FIG. 3 and all entries of the transmission buffer 140 of FIG. Store the value 0.

次に、監視部１５１は、カメラ１１１により監視エリアを撮影する（Ｓ１０２）。例えば、監視部１５１は、シャッターを切る信号をカメラ１１１へ送信することにより、１回の撮影を行わせる。次に、監視部１５１は、撮影して得られたフレーム画像をカメラ１１１から読み出し、タイムスタンプを付与して、フレーム画像記憶部１４１に記憶する（Ｓ１０３）。次に、監視部１５１は、今回取得したフレーム画像を現フレーム画像とし、前回取得したフレーム画像を前フレーム画像とし、フレーム画像記憶部１４１から前フレーム画像と現フレーム画像とを読み出し、画像解析を行う（Ｓ１０４）。監視部１５１は、この画像解析により、監視エリア内で土砂などの崩落が発生しているか否かを検知する。画像解析の詳細は後述する。 Next, the monitoring unit 151 captures an image of the monitoring area with the camera 111 (S102). For example, the monitoring unit 151 transmits a signal for releasing the shutter to the camera 111 to perform one shooting. Next, the monitoring unit 151 reads a frame image obtained by shooting from the camera 111, adds a time stamp, and stores the frame image in the frame image storage unit 141 (S103). Next, the monitoring unit 151 sets the frame image acquired this time as the current frame image, sets the frame image acquired last time as the previous frame image, reads the previous frame image and the current frame image from the frame image storage unit 141, and analyzes the image. Perform (S104). The monitoring unit 151 detects whether or not landslide or the like has occurred in the monitoring area by the image analysis. Details of the image analysis will be described later.

次に、監視部１５１は、今回の画像解析によって崩落の発生を検知したか否かを判定する（Ｓ１０５）。次に、監視部１５１は、崩落の発生を検知した場合、崩落検知フラグ１４３がセットされているか否かを判定し（Ｓ１０６）、その判定結果に応じて処理を切り分ける。まず、崩落検知フラグ１４３がリセットされている場合、崩落を検知していない状態ではじめて崩落を検知したため、監視部１５１は、崩落検知フラグ１４３をセットし（Ｓ１０７）、今回の画像解析に使用した前フレーム画像と現フレーム画像とを送信バッファ１４２に格納する（Ｓ１０８）。そして、ステップＳ１１１の処理へ進む。また、崩落検知フラグ１４３がセットされていた場合、前回の画像解析に引き続いて今回も再び崩落を検知したため、監視部１５１は、今回の画像解析に使用した現フレーム画像を送信バッファ１４２に格納する（Ｓ１０９）。ステップＳ１０９において前フレーム画像を格納しない理由は、前フレーム画像は前回の処理で現フレーム画像として送信バッファ１４２に既に格納しているためである。そして、ステップＳ１１１の処理へ進む。 Next, the monitoring unit 151 determines whether the occurrence of collapse has been detected by the image analysis this time (S105). Next, when detecting the occurrence of a fall, the monitoring unit 151 determines whether the fall detection flag 143 is set (S106), and separates the process according to the determination result. First, when the fall detection flag 143 is reset, the fall is detected only when the fall is not detected. Therefore, the monitoring unit 151 sets the fall detection flag 143 (S107) and is used for the present image analysis. The previous frame image and the current frame image are stored in the transmission buffer 142 (S108). Then, the process proceeds to step S111. Also, when the fall detection flag 143 is set, the fall is detected again this time following the previous image analysis, so the monitoring unit 151 stores the current frame image used for the current image analysis in the transmission buffer 142. (S109). The reason why the previous frame image is not stored in step S109 is that the previous frame image has already been stored in the transmission buffer 142 as the current frame image in the previous process. Then, the process proceeds to step S111.

一方、監視部１５１は、今回の画像解析によって崩落の発生を検知しなかった場合、崩落検知フラグ１４３をリセットする（Ｓ１１０）。そして、ステップＳ１１１の処理へ進む。 On the other hand, when the monitoring unit 151 does not detect the occurrence of the fall by the image analysis this time, the monitor 151 resets the fall detection flag 143 (S110). Then, the process proceeds to step S111.

監視部１５１は、ステップＳ１１１では、一定時間の待ち合わせを行う。一定時間は、監視エリアを撮影する時間間隔に応じて定められる。監視部１５１は、一定時間の待ち合わせ後、ステップＳ１０２へ戻り、監視エリアをカメラ１１１で撮影する処理以降の上述した処理と同様の処理を繰り返す。 In step S111, the monitoring unit 151 waits for a fixed time. The fixed time is determined in accordance with the time interval for photographing the monitoring area. After waiting for a certain period of time, the monitoring unit 151 returns to step S 102, and repeats the same processing as the above-described processing after the processing of photographing the monitoring area with the camera 111.

このように監視部１５１は、カメラ１１１によって撮影した監視エリアのフレーム画像を周期的に取得してタイムスタンプを付与してフレーム画像記憶部１４１に保存する。また、監視部１５１は、保存したフレーム画像を解析して崩落の発生を検知する。そして、監視部１５１は、崩落の発生を検知すると、崩落の発生前後のフレーム画像を送信バッファ１４２に保存し、崩落の発生を検知していない期間中のフレーム画像は送信バッファ１４２に保存しない。 As described above, the monitoring unit 151 periodically acquires a frame image of the monitoring area captured by the camera 111, adds a time stamp, and stores the frame image in the frame image storage unit 141. Also, the monitoring unit 151 analyzes the stored frame image to detect the occurrence of collapse. When the monitoring unit 151 detects the occurrence of the fall, the monitoring unit 151 stores frame images before and after the occurrence of the fall in the transmission buffer 142, and does not store in the transmission buffer 142 a frame image during a period in which the occurrence of the fall is not detected.

図７は送信部１５２の動作の一例を示すフローチャートである。送信部１５２は、例えばＰＣ１１２が起動すると図７に示した処理を開始する。まず、送信部１５２は、送信バッファ１４２からフレーム画像を取り出す（Ｓ１２１）。このステップＳ１２１で取り出すフレーム画像の最大数は、１つであってもよいし、２以上であってもよい。送信部１５２は、この取り出しに成功した場合（Ｓ１２２でＮＯ）、取り出したフレーム画像を、通信器１１３を使用してサーバ装置１２０へ送信する（Ｓ１２３）。このとき、通信器１１３は、タイムスタンプに基づいて古い時刻のフレーム画像から順に送信する。このようにすることにより、サーバ装置１２０は、受信した順にフレーム画像をサーバ装置１２０に接続される表示装置に表示することにより、崩落発生前後の様子を表す動画の再生が行える。また、送信部１５２は、動き補償に基づく予測符号化などの手法によって一連のフレーム画像を圧縮符号化して送信するようにしてもよい。そして、送信部１５２は、ステップＳ１２４へ進む。一方、送信部１５２は、送信バッファ１４２にフレーム画像が１つも存在しないために取り出しに失敗した場合（Ｓ１２２でＹＥＳ）、ステップＳ１２３をスキップしてステップＳ１２４へ進む。 FIG. 7 is a flowchart showing an example of the operation of the transmission unit 152. For example, when the PC 112 is activated, the transmission unit 152 starts the process illustrated in FIG. 7. First, the transmission unit 152 extracts a frame image from the transmission buffer 142 (S121). The maximum number of frame images extracted in step S121 may be one or two or more. If the transmission unit 152 succeeds in this extraction (NO in S122), the transmission unit 152 transmits the extracted frame image to the server apparatus 120 using the communicator 113 (S123). At this time, the communication device 113 sequentially transmits frame images of old time based on the time stamp. By doing this, the server device 120 can reproduce the moving image representing the situation before and after the collapse by displaying the frame images on the display device connected to the server device 120 in the order of reception. In addition, the transmission unit 152 may compress and transmit a series of frame images by a method such as predictive coding based on motion compensation. Then, the transmission unit 152 proceeds to step S124. On the other hand, when the transmission unit 152 fails in the extraction because there is no frame image in the transmission buffer 142 (YES in S122), the process skips step S123 and proceeds to step S124.

送信部１５２は、ステップＳ１２４において、予め定められた時間だけ待ち合わせを行う。この待ち合わせ時間は、フレーム画像を連続して送信する時間間隔に応じて定められる。そして、送信部１５２は、一定時間の待ち合わせ後、ステップＳ１２１へ戻り、送信バッファ１４２からフレーム画像を取り出す処理以降の上述した処理と同様の処理を繰り返す。 In step S124, the transmission unit 152 waits for a predetermined time. The waiting time is determined in accordance with the time interval for transmitting frame images continuously. Then, after waiting for a fixed time, the transmission unit 152 returns to step S121, and repeats the same processing as the above-described processing after the processing for extracting a frame image from the transmission buffer 142.

このように送信部１５２は、送信バッファ１４２にフレーム画像が記憶されると、それを読み出して通信器１１３経由でサーバ装置１２０へ送信する。前述したように、監視部１５１は、崩落の発生を検知すると崩落の発生前後のフレーム画像を送信バッファ１４２に保存し、崩落の発生を検知していない期間はフレーム画像を送信バッファ１４２に保存しない。このため、送信部１５２は、崩落の発生が検知されるとカメラ１１１のフレーム画像の送信を開始し、崩落の発生が検知されていない期間はカメラ１１１のフレーム画像の送信を停止する。これによって、崩落の発生の有無にかかわらず全期間のフレーム画像をサーバ装置１２０へ送信する構成と比較して、動き監視装置１１０の消費電力量を低減することができる。 As described above, when the frame image is stored in the transmission buffer 142, the transmission unit 152 reads the frame image and transmits the frame image to the server device 120 via the communicator 113. As described above, when detecting the occurrence of the fall, the monitoring unit 151 stores frame images before and after the occurrence of the fall in the transmission buffer 142, and does not store the frame image in the transmission buffer 142 during a period when the occurrence of the fall is not detected. . Therefore, the transmission unit 152 starts transmission of a frame image of the camera 111 when occurrence of a fall is detected, and stops transmission of frame images of the camera 111 during a period when the occurrence of a fall is not detected. As a result, the power consumption of the motion monitoring device 110 can be reduced as compared with a configuration in which frame images of the entire period are transmitted to the server device 120 regardless of the occurrence of the collapse.

次に、図６のステップＳ１０４で実行する画像解析の詳細を説明する。 Next, the details of the image analysis performed in step S104 of FIG. 6 will be described.

図８は、ステップＳ１０４で実行する画像解析の詳細を示すフローチャートである。監視部１５１は、先ず、フレーム画像記憶部１４１から前フレーム画像と現フレーム画像とを読み出す（Ｓ１３１）。なお、前フレーム画像が存在しない初回撮影時は、直ちに崩落なしと決定して図８の処理を終えるか、或いは現フレーム画像のコピーを前フレーム画像に使用して図８の処理を行う。次に、監視部１５１は、読み出した前フレーム画像と現フレーム画像とにＨＳＶ変換を行う（Ｓ１３２）。即ち、前フレーム画像と現フレーム画像の各画素のＲＧＢ値を、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の値に変換する。次に、監視部１５１は、ＨＳＶ変換後の前フレーム画像と現フレーム画像とに基づいて、以下の２種類の手法によって移動領域を検出する。 FIG. 8 is a flowchart showing the details of the image analysis performed in step S104. The monitoring unit 151 first reads the previous frame image and the current frame image from the frame image storage unit 141 (S131). Note that, at the time of the first photographing in which the previous frame image does not exist, it is immediately determined that there is no collapse, and the processing of FIG. 8 is ended, or the copy of the current frame image is used for the previous frame image to perform the processing of FIG. Next, the monitoring unit 151 performs HSV conversion on the read previous frame image and the current frame image (S132). That is, the RGB values of each pixel of the previous frame image and the current frame image are converted into hue (Hue), saturation (Saturation), and lightness (Value) values. Next, the monitoring unit 151 detects a moving area by the following two types of methods based on the previous frame image after HSV conversion and the current frame image.

まず、監視部１５１は、ＨＳＶ変換後の前フレーム画像と現フレーム画像とに基づいてオプティカルフローを検出し、そのオプティカルフローに基づいて移動領域を抽出する（Ｓ１３３）。オプティカルフローの検出は、フレーム画像間の対応を求める処理であり、代表的な検出手法として、勾配法、Ｌｕｃａｓ−Ｋａｎａｄｅ法などがある。オプティカルフロー検出では、参照画像上のある画素の対応点を求めるために、その画素を中心とする参照ウインドウを設定し、候補画像上で全ての候補ウインドウとの間で、ウインドウ内の画素の色の差分絶対値の和（ＳＡＤ）を計算し、ＳＡＤが最小となる画素を対応点として選択する。このように、周囲の点とのＳＡＤを比較して移動ベクトルを決定するため、画像間差分に基づく方法よりも、移動領域をより頑健に抽出することができる。しかし、色の変化のない部分の誤検知が或る頻度で生じることが本発明者によって確認されている。 First, the monitoring unit 151 detects an optical flow based on the previous frame image after HSV conversion and the current frame image, and extracts a movement area based on the optical flow (S133). Optical flow detection is processing for obtaining correspondence between frame images, and representative detection methods include the gradient method, the Lucas-Kanade method, and the like. In optical flow detection, in order to find the corresponding point of a pixel on the reference image, a reference window centered on that pixel is set, and the color of the pixel in the window with all the candidate windows on the candidate image The sum (SAD) of the difference absolute values of is calculated, and the pixel with the smallest SAD is selected as the corresponding point. As described above, since the movement vector is determined by comparing the SAD with the surrounding points, the movement area can be extracted more robustly than the method based on the inter-image difference. However, it has been confirmed by the inventor that false detection of a portion without color change occurs with a certain frequency.

また、監視部１５１は、ＨＳＶ変換後の前フレーム画像と現フレーム画像との間の差分画像を検出し、その差分画像に基づいて移動領域を抽出する（Ｓ１３４）。この差分画像による移動領域の検出は、フレーム間の僅かな照明の変化等によって移動領域の誤検知が生じるけれども、その原理から明らかなように、色の変化のない部分を移動領域として検知しない性質がある。 Also, the monitoring unit 151 detects a difference image between the previous frame image after HSV conversion and the current frame image, and extracts a movement area based on the difference image (S134). Although the detection of the movement area by this difference image causes a false detection of the movement area due to a slight change in illumination between frames, etc., it is the nature that a portion without color change is not detected as the movement area, as is clear from the principle. There is.

次に、監視部１５１は、オプティカルフローに基づいて抽出した移動領域と差分画像に基づいて抽出した移動領域との重複領域を抽出する（Ｓ１３５）。次に、監視部１５１は、重複領域のサイズ（画素数）が予め設定された閾値Ｓminより大きいか否かを判定する（Ｓ１３６）。そして、監視部１５１は、重複領域のサイズ（画素数）が閾値Ｓminより大きければ、前フレーム画像と現フレーム画像との間に動きのある部分が存在する、すなわち崩落があると判断し（Ｓ１３７）、そうでなければ崩落がないと判断する（Ｓ１３８）。 Next, the monitoring unit 151 extracts an overlapping area between the moving area extracted based on the optical flow and the moving area extracted based on the difference image (S135). Next, the monitoring unit 151 determines whether the size (number of pixels) of the overlapping area is larger than a preset threshold Smin (S136). Then, if the size (number of pixels) of the overlap area is larger than the threshold Smin, the monitoring unit 151 determines that there is a moving part between the previous frame image and the current frame image, that is, there is a drop (S137). ), Otherwise it is judged that there is no collapse (S138).

このように図８に示す画像解析では、オプティカルフローに基づく移動領域の抽出と差分画像に基づく移動領域の抽出とを組み合わせ、双方で抽出された領域を移動領域とする。このため、移動領域を頑健に抽出することができると共に、色の変化のない部分を移動領域として誤検知するのを防止することができる。崩落の誤検知が少なくなることによって、送信対象となるフレーム画像の数が減り、動き監視装置１１０の消費電力量をより一層低減することができる。 As described above, in the image analysis shown in FIG. 8, the extraction of the moving area based on the optical flow and the extraction of the moving area based on the difference image are combined, and the area extracted by both is taken as the moving area. As a result, the moving area can be extracted robustly, and it is possible to prevent erroneous detection of a portion without color change as the moving area. By reducing the false detection of the fall, the number of frame images to be transmitted can be reduced, and the power consumption of the motion monitoring apparatus 110 can be further reduced.

以上の説明では、監視部１５１は、フレーム画像の全範囲を対象に移動領域を検出したが、移動領域を検出する領域をフレーム画像の一部に限定してもよい。例えば、カメラ１１１で撮像して得られる画像に、山体と空とが写っている場合、空が写っている領域以外の画像領域から移動領域を検出するようにしてよい。 In the above description, the monitoring unit 151 detects the moving area for the entire range of the frame image, but the area for detecting the moving area may be limited to a part of the frame image. For example, when the mountain and the sky appear in the image obtained by imaging with the camera 111, the movement area may be detected from an image area other than the area in which the sky appears.

また、監視部１５１は、崩落を検知すると、崩落検知フラグ１４３がリセットされている場合、今回の画像解析に使用した前フレーム画像と現フレーム画像とを送信バッファ１４２に格納した。しかし、監視部１５１は、崩落を検知すると、崩落検知フラグ１４３がリセットされている場合、今回の画像解析に使用した前フレーム画像と現フレーム画像とに加えて、当該前フレームの１つ前のフレーム画像、さらに１つ前のフレーム画像のように、前フレームより前の１以上のフレーム画像を送信バッファ１４２に格納するようにしてもよい。 In addition, when the fall is detected, when the fall detection flag 143 is reset, the monitoring unit 151 stores the previous frame image and the current frame image used for the current image analysis in the transmission buffer 142. However, when the monitoring unit 151 detects a fall, if the fall detection flag 143 is reset, in addition to the previous frame image and the current frame image used for the current image analysis, the previous one before the previous frame One or more frame images prior to the previous frame may be stored in the transmission buffer 142, such as a frame image and a frame image immediately before that.

また、監視部１５１は、崩落を検知すると、崩落を検知した旨のメッセージを通信器１１３経由でメール等によって外部に通知するように構成されていてよい。 In addition, when detecting the fall, the monitoring unit 151 may be configured to notify a message to the effect that the fall is detected to the outside by mail or the like via the communication device 113.

また、監視部１５１は、サーバ装置１２０から通信器１１３経由でコマンドを受信した場合、受信したコマンドに従った動作を行うように構成されていてよい。例えば、監視部１５１は、フレーム画像の読み出しコマンドを受信した場合、フレーム画像記憶部１４１に記憶された全てのフレーム画像、あるいはコマンドで指定された期間に該当するタイムスタンプを有するフレーム画像を、通信器１１３経由でサーバ装置１２０へ送信するように構成されていてよい。 In addition, when the monitoring unit 151 receives a command from the server device 120 via the communicator 113, the monitoring unit 151 may be configured to perform an operation according to the received command. For example, when the monitoring unit 151 receives a command to read a frame image, the monitoring unit 151 communicates all frame images stored in the frame image storage unit 141 or a frame image having a time stamp corresponding to a period designated by the command. It may be configured to transmit to the server device 120 via the transmitter 113.

また、動き監視装置１１０で監視する動きは、土砂などの移動による崩落に限定されず、人や車両などの動きであってもよい。 Further, the movement monitored by the movement monitoring apparatus 110 is not limited to the fall due to the movement of soil and the like, and may be a movement of a person, a vehicle or the like.

[第２の実施形態]
図９を参照すると、本発明の第２の実施形態に係る動き監視装置２００は、撮像手段２１０と監視手段２２０と送信手段２３０とを備えている。 Second Embodiment
Referring to FIG. 9, the motion monitoring apparatus 200 according to the second embodiment of the present invention includes an imaging unit 210, a monitoring unit 220, and a transmission unit 230.

撮像手段２１０は、監視エリアの画像を撮影する機能を有する。監視手段２２０は、撮影手段２１０で撮影して得られた画像を解析し、監視エリアの画像の各部の動きを検知する機能を有する。送信手段２３０は、監視手段２２０によって動きが検知されていないときは画像の送信を停止し、動きが検知されると画像の送信を開始する機能を有する。 The imaging unit 210 has a function of capturing an image of the monitoring area. The monitoring means 220 has a function of analyzing the image obtained by the photographing means 210 and detecting the movement of each part of the image in the monitoring area. The transmitting means 230 has a function of stopping the transmission of the image when the movement is not detected by the monitoring means 220 and starting the transmission of the image when the movement is detected.

このように構成された動き監視装置２００は、以下のように動作する。先ず、撮像手段２１０が、監視エリアの画像を撮影する。次に、監視手段２２０が、撮像手段２１０で撮像して得られた画像を解析し、監視エリアの画像の各部の動きを検知する。次に、送信手段２３０が、動きが検知されていないときは、撮像手段２１０で撮像して得られた画像の送信を停止し、動きが検知されると画像の送信を開始する。 The motion monitoring device 200 configured as described above operates as follows. First, the imaging unit 210 captures an image of the monitoring area. Next, the monitoring means 220 analyzes the image obtained by imaging by the imaging means 210 and detects the movement of each part of the image in the monitoring area. Next, when the movement is not detected, the transmission unit 230 stops transmission of the image obtained by imaging by the imaging unit 210, and starts transmission of the image when the movement is detected.

このように本実施形態に係る動き監視装置２００は、動きが検知されていないときは、撮像手段２１０で撮像して得られた画像の送信を停止し、動きが検知されると画像の送信を開始するため、撮像手段が設置される現場側の消費電力量を低減することができる。 As described above, when the movement is not detected, the motion monitoring device 200 according to the present embodiment stops transmission of the image obtained by imaging by the imaging unit 210, and transmits the image when the movement is detected. To start, it is possible to reduce the amount of power consumption on the site where the imaging means is installed.

以上、本発明を幾つかの実施形態を挙げて説明したが、本発明は以上の実施形態に限定されず、本発明の範囲内で各種の付加変更が可能である。 Although the present invention has been described above with reference to several embodiments, the present invention is not limited to the above embodiments, and various additions and modifications can be made within the scope of the present invention.

本発明は、物の動きを遠隔で監視する分野に利用でき、特に崖等における土砂等の崩落を監視する分野に好適である。 INDUSTRIAL APPLICABILITY The present invention can be used in the field of remotely monitoring the movement of objects, and is particularly suitable for the field of monitoring the fall of soil and the like in a cliff or the like.

１００…監視システム
１１０…動き監視装置
１１１…カメラ
１１２…パーソナルコンピュータ（ＰＣ）
１１３…通信器
１１４…外部アンテナ
１１５…バッテリ
１１６…ソーラーパネル
１２０…サーバ装置
１３１、１３２…インタフェイス
１３３…記憶部
１３４…演算処理部
１４１…フレーム画像記憶部
１４２…送信バッファ
１４３…崩落検知フラグ
１４４…プログラム
１５１…監視部
１５２…送信部
２００…動き監視装置
２１０…撮像手段
２２０…監視手段
２３０…送信手段 100 ... monitoring system 110 ... motion monitoring device 111 ... camera 112 ... personal computer (PC)
113: communication device 114: external antenna 115: battery 116: solar panel 120: server device 131, 132: interface 133: storage unit 134: arithmetic processing unit 141: frame image storage unit 142: transmission buffer 143: collapse detection flag 144 ... program 151 ... monitoring unit 152 ... transmission unit 200 ... motion monitoring device 210 ... imaging means 220 ... monitoring means 230 ... transmission means

Claims

An imaging unit that captures an image of the monitoring area;
Monitoring means for analyzing the image and detecting movement of each part of the image in the monitoring area;
Transmission means for stopping transmission of the image when the movement is not detected, and transmitting the image when the movement is detected;
I have a,
The monitoring means performs detection of a moving area by optical flow and detection of a moving area by inter-image difference based on two frame images captured at different times by the imaging means, and is detected by the optical flow. The movement of each part of the image of the monitoring area is detected based on the overlapping area of the moving area and the moving area detected by the inter-image difference.
Motion monitoring device.

With a power supply consisting of a battery and a solar panel,
The motion monitoring device according to claim 1 .

A motion monitoring method performed by a motion monitoring apparatus having an imaging unit, a monitoring unit, and a transmission unit, the method comprising:
The imaging means captures an image of the monitoring area,
When the monitoring means analyzes the image and detects the movement of each part of the image in the monitoring area, the movement area by the optical flow based on two frame images captured at different times by the imaging means. And detection of the movement area by the inter-image difference, and based on the overlap area of the movement area detected by the optical flow and the movement area detected by the inter-image difference, each part of the image of the monitoring area Detect the movement of the
The transmission means stops transmission of the image when the movement is not detected, and starts transmission of the image when the movement is detected.
Movement monitoring method.

A computer having imaging means for capturing an image of the surveillance area,
When the image is analyzed and the movement of each part of the image in the monitoring area is detected, the detection of the moving area by the optical flow and the inter-image are performed based on two frame images captured at different times by the imaging unit. The movement area is detected by the difference, and the movement of each part of the image in the monitoring area is detected based on the overlap area between the movement area detected by the optical flow and the movement area detected by the inter-image difference. Monitoring means,
Transmission means for stopping transmission of the image when the movement is not detected, and transmitting the image when the movement is detected;
Program to make it work.