JP7420879B2 - Device and method for extracting human presence area - Google Patents
Device and method for extracting human presence area Download PDFInfo
- Publication number
- JP7420879B2 JP7420879B2 JP2022126299A JP2022126299A JP7420879B2 JP 7420879 B2 JP7420879 B2 JP 7420879B2 JP 2022126299 A JP2022126299 A JP 2022126299A JP 2022126299 A JP2022126299 A JP 2022126299A JP 7420879 B2 JP7420879 B2 JP 7420879B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- person
- presence area
- human presence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 24
- 230000010365 information processing Effects 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000002787 reinforcement Effects 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 239000002341 toxic gas Substances 0.000 description 1
Landscapes
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
Description
本発明は、ごみ処理施設のプラットフォームからごみピットに人が転落する危険性を警報するためのごみピット転落警報装置に使用される人存在領域を抽出する装置およびその方法に関する。 The present invention relates to an apparatus and method for extracting a human presence area used in a garbage pit fall warning system for warning of the danger of a person falling from a platform of a garbage disposal facility into a garbage pit.
ごみ処理施設に搬入されたごみは、「ごみ投入扉」という大型の扉から「ごみピット」へ投入される。ごみ投入扉が開いている状態で清掃作業等を行っている際、作業員が誤ってごみピットに転落する恐れがある。ごみピット内は、大型のクレーンが稼働し、有毒ガスが滞留している可能性があるため、仮に、作業員が転落した場合にはクレーン等を非常停止し、一刻も早く救出する必要がある。従来は、クレーン運転員が目視で転落したか否かを検知していた。 Garbage brought into the garbage processing facility is thrown into the ``garbage pit'' through a large door called the ``garbage input door.'' When cleaning work is carried out with the garbage disposal door open, there is a risk that the worker may accidentally fall into the garbage pit. A large crane is operating inside the garbage pit, and there is a possibility that toxic gas may accumulate inside the garbage pit, so if a worker falls, the crane etc. must be stopped in an emergency and rescued as soon as possible. . Conventionally, a crane operator visually detected whether or not a crane had fallen.
特許文献1は、廃棄物が貯留されるごみピット内の映像を撮像することにより得られる過去の画像データに前記廃棄物の種類がラベリングされた教師データを学習済みの識別アルゴリズムを用いて、前記ごみピット内の新たな画像データを入力として前記ごみピット内に貯留されている廃棄物の種類を識別する種類識別部を備えた装置である。廃棄物以外の識別対象物の種類として、搬入扉、作業員、搬入車両が例示され、さらに、ごみピット内への作業員または搬送車両の転落を検知することが記載されている。 Patent Document 1 discloses that the past image data obtained by capturing images of a garbage pit where waste is stored is labeled with the type of waste using a trained identification algorithm. This device is equipped with a type identification unit that inputs new image data of the garbage pit and identifies the type of waste stored in the garbage pit. Examples of types of objects to be identified other than waste include a carry-in door, a worker, and a carry-in vehicle, and furthermore, it is described that falling of a worker or a transport vehicle into a garbage pit is detected.
特許文献2は、ごみ焼却施設に搬入され、ごみピットに投下される途中のごみを撮影したごみ画像を取得し、ごみ画像から焼却不適物を検出するシステムである。例えば、ごみ袋ではないと識別したごみを焼却不適物として検出し、焼却不適物の違法搬入の問題を解決するシステムである。 Patent Document 2 is a system that acquires a garbage image taken of garbage that is being transported to a garbage incineration facility and is being dumped into a garbage pit, and detects items unsuitable for incineration from the garbage image. For example, the system detects garbage that is not identified as garbage bags as unsuitable for incineration, and solves the problem of illegal importation of unsuitable for incineration.
上記特許文献1は、ごみピット内に貯留されている画像から、作業員が転落したか否かを判断しているため、転落する前の転落の危険性を予見し警告する構成ではない。
また、特許文献2はごみピット内へ作業者が転落することについては何ら言及されていない。
また、近年では、少人化のためクレーンの自動運転が実施されつつあり、ごみピット内を視認できるクレーンの操作者がいない場合に備えて、作業者の転落防止の要求が高まりつつある。
In Patent Document 1, it is determined whether the worker has fallen from the image stored in the garbage pit, and therefore, the structure is not designed to predict and warn the danger of falling before the worker falls.
Further, Patent Document 2 does not mention anything about a worker falling into a garbage pit.
In addition, in recent years, automatic operation of cranes has been implemented to reduce the number of workers, and there is an increasing demand for measures to prevent workers from falling in case there is no crane operator who can visually see inside the garbage pit.
上記実情に鑑み、本発明は、ごみ処理施設のプラットフォームからごみピットに人が転落する危険性を警報することができるごみピット転落警報装置に使用される人存在領域を抽出する装置およびその方法を提供することを目的とする。 In view of the above circumstances, the present invention provides an apparatus and method for extracting a human presence area used in a garbage pit fall warning device that can warn of the danger of a person falling from a platform of a garbage disposal facility into a garbage pit. The purpose is to provide.
本発明のごみピット転落警報装置は、ごみピット(受入ピットともいう。)へごみが投入される投入エリアを、プラットフォームの上方から撮像した投入エリア画像(例えば、静止画、動画)から、人が存在する人存在領域を抽出する画像処理部を有する。 The garbage pit fall warning device of the present invention detects a dumping area where garbage is dumped into a garbage pit (also referred to as a receiving pit) from a loading area image (for example, a still image or a video) taken from above a platform. It has an image processing unit that extracts an area where a person exists.
前記画像処理部は、
前記投入エリア画像に予め設定される第一画像領域と、前記人存在領域との第一重なり量を算出する第一重なり量算出部と、および/または、
前記投入エリア画像の前記第一画像領域とは異なる場所に予め設定される第二画像領域と、前記人存在領域との第二重なり量を算出する第二重なり量算出部と、を有していてもよい。
The image processing unit includes:
a first overlap amount calculation unit that calculates a first amount of overlap between a first image area preset in the input area image and the human presence area; and/or
It has a second image area preset in a location different from the first image area of the input area image, and a second overlap amount calculation unit that calculates a second overlap amount with the person presence area. You can.
前記ごみピット転落警報装置は、
前記第一重なり量が第一所定量以上であれば、第一警報を出力する第一警報出力部と、
前記第一重なり量が、第一所定量より大きい第二所定量以上であれば、第二警報を出力する第二警報出力部と、および/または、
前記第二重なり量が、第三所定量以上であれば、第三警報を出力する第三警報出力部と、を有していてもよい。
前記第三所定量は、前記第一所定量より小さくてもよい。
The garbage pit fall warning device is
a first alarm output unit that outputs a first alarm if the first overlap amount is equal to or greater than a first predetermined amount;
a second alarm output unit that outputs a second alarm if the first overlap amount is greater than or equal to a second predetermined amount that is larger than the first predetermined amount; and/or
The device may further include a third alarm output unit that outputs a third alarm if the second amount of overlap is equal to or greater than a third predetermined amount.
The third predetermined amount may be smaller than the first predetermined amount.
前記ごみピット転落警報装置は、
前記プラットフォームを上方から平面視した場合に、前記投入エリアの内に配置される搬入車両(例えば、ごみ収集車、施設内の運搬車両など)と上下方向(例えば、床面から鉛直方向)で重なり合わないように設置される、前記投入エリア画像を撮像する撮像装置を有していてもよい。
The garbage pit fall warning device is
When the platform is viewed from above, it overlaps in the vertical direction (e.g., vertically from the floor surface) with a delivery vehicle (e.g., a garbage truck, a transportation vehicle within the facility, etc.) placed in the input area. You may have an imaging device which images the input area image and is installed so that it does not match.
前記ごみピット転落警報装置は、
前記プラットフォームとは異なる場所で上方から人を撮像した画像に、人存在領域をラベリングした第一教師データと、前記プラットフォームの内で上方から人を撮像した画像に人存在領域をラベリングした第二教師データの内、少なくとも一方を用いて知的情報処理技術によって生成される画像処理プログラム(人存在領域抽出プログラム)を記憶する記憶部を有していてもよい。
The garbage pit fall warning device is
First teacher data in which a human presence area is labeled in an image of a person taken from above at a location different from the platform, and second teacher data in which a person presence area is labeled in an image of a person taken from above in the platform. It may include a storage unit that stores an image processing program (person presence area extraction program) generated by intelligent information processing technology using at least one of the data.
前記画像処理プログラム(人存在領域抽出プログラム)は、前記第一教師データと前記第二教師データの両方を用いて知的情報処理技術によって生成されてもよい。 The image processing program (person presence area extraction program) may be generated by intelligent information processing technology using both the first teacher data and the second teacher data.
他の発明のごみピット転落警報方法は、
プラットフォームからごみピットへごみが投入される投入エリアを上方から撮像した投入エリア画像から、人が存在する人存在領域を抽出する画像処理ステップを含む。
Another invention of the garbage pit fall warning method is as follows:
The method includes an image processing step of extracting a human presence area where a person is present from a loading area image taken from above of a loading area where garbage is loaded from a platform to a garbage pit.
前記画像処理ステップは、
前記投入エリア画像に予め設定される第一画像領域と、前記人存在領域との第一重なり量を算出する第一重なり量算出サブステップと、および/または、
前記投入エリア画像の前記第一画像領域とは異なる場所に予め設定される第二画像領域と、前記人存在領域との第二重なり量を算出する第二重なり量算出サブステップと、含んでいてもよい。
前記画像処理ステップは、
前記プラットフォームとは異なる場所で情報から人を撮像した画像に、人存在領域をラベリングした第一教師データと、前記プラットフォームの内で上方から人を撮像した画像に人存在領域をラベリングした第二教師データの内、少なくとも一方を用いて知的情報処理技術によって生成される画像処理プログラム(人存在領域抽出プログラム)を実行して前記投入エリア画像から前記人存在領域を抽出してもよい。
第一重なり量算出サブステップは、画像処理プログラム(人存在領域抽出プログラム)を実行して第一重なり量を算出してもよい。
第二重なり量算出サブステップは、画像処理プログラム(人存在領域抽出プログラム)を実行して第二重なり量を算出してもよい。
The image processing step includes:
a first overlap amount calculation substep of calculating a first overlap amount between a first image region preset in the input area image and the human presence area; and/or
a substep of calculating a second overlap amount between a second image area preset in a location different from the first image area of the input area image and the human presence area; Good too.
The image processing step includes:
First teacher data in which a human presence area is labeled on an image of a person taken from information at a location different from the platform, and second teacher data in which a person presence area is labeled in an image of a person taken from above within the platform. The human presence area may be extracted from the input area image by executing an image processing program (human presence area extraction program) generated by intelligent information processing technology using at least one of the data.
In the first overlap amount calculation substep, the first overlap amount may be calculated by executing an image processing program (person presence area extraction program).
In the second double deviation amount calculation substep, the second double deviation amount may be calculated by executing an image processing program (person presence area extraction program).
前記画像処理プログラム(人存在領域抽出プログラム)は、前記第一教師データと前記第二教師データの両方を用いて知的情報処理技術によって生成されてもよい。 The image processing program (person presence area extraction program) may be generated by intelligent information processing technology using both the first teacher data and the second teacher data.
前記ごみピット転落警報方法は、
前記第一重なり量が第一所定量以上であれば、第一警報を出力する第一警報出力ステップと、
前記第一重なり量が、第一所定量より大きい第二所定量以上であれば、第二警報を出力する第二警報ステップと、および/または、
前記第二重なり量が第三所定量以上であれば、第三警報を出力する第三警報ステップと、を含んでいてもよい。
前記第三所定量は、前記第一所定量より小さくてもよい。
The garbage pit fall warning method is as follows:
a first alarm output step of outputting a first alarm if the first overlap amount is equal to or greater than a first predetermined amount;
a second alarm step of outputting a second alarm if the first overlap amount is greater than or equal to a second predetermined amount that is larger than the first predetermined amount; and/or
The method may further include a third alarm step of outputting a third alarm if the second amount is equal to or greater than a third predetermined amount.
The third predetermined amount may be smaller than the first predetermined amount.
前記ごみピット転落警報方法は、
前記プラットフォームを上方から平面視した場合に、前記投入エリアの内に配置される搬入車両と上下方向(鉛直方向)で重なり合わないように設置される撮像装置で、前記投入エリア画像を撮像する撮像ステップを含んでいてもよい。
The garbage pit fall warning method is as follows:
Imaging that captures an image of the loading area with an imaging device installed so as not to overlap in the vertical direction (vertical direction) with a loading vehicle placed in the loading area when the platform is viewed from above May include steps.
他の発明のごみピット転落警報プログラムは、
少なくとも一つのプロセッサーにより、上記のごみピット転落警報方法を実現するプログラムである。
他の発明のコンピュータ命令が記憶されているコンピュータ読み取り可能な記録媒体は、前記コンピュータ命令がプロセッサーにより実行されることで、上記の転落警報プログラムのステップを実現するコンピュータ読み取り可能な記録媒体である。
Another invention of the garbage pit fall warning program is
This is a program that implements the above garbage pit fall warning method using at least one processor.
A computer-readable recording medium storing computer instructions according to another aspect of the invention is a computer-readable recording medium that implements the steps of the fall warning program described above when the computer instructions are executed by a processor.
前記ごみピット転落警報装置は、前記記憶部とは別に、前記画像処理プログラム(人存在領域抽出プログラム)を記憶する外部装置(ごみ処理施設サーバ、クラウドサーバ、データベースなど)へアクセスし実行するためのハードウエアとプログラムを有していてもよい。
前記画像処理プログラム(人存在領域抽出プログラム)は、再学習されてもよい。
Separately from the storage unit, the garbage pit fall warning device has a device for accessing and executing an external device (garbage treatment facility server, cloud server, database, etc.) that stores the image processing program (person presence area extraction program). It may include hardware and programs.
The image processing program (person presence area extraction program) may be retrained.
「知的情報処理技術」は、例えば、機械学習、深層学習、強化学習、深層強化学習などが挙げられる。
機械学習、深層学習、強化学習、深層強化学習のアルゴリズムは、特に制限されず、従来のアルゴリズムを用いてもよい。教師あり学習として、例えば、線形回帰、一般化線形モデル、サポートベクター回帰、ガウス過程回帰、アンサンブル法、決定木、ニューラルネットワーク、サポートベクターマシン、判別分析、単純ベイズ、最近傍法などの各種アルゴリズムを採用してもよい。
Examples of "intelligent information processing technology" include machine learning, deep learning, reinforcement learning, and deep reinforcement learning.
Algorithms for machine learning, deep learning, reinforcement learning, and deep reinforcement learning are not particularly limited, and conventional algorithms may be used. As supervised learning, various algorithms such as linear regression, generalized linear model, support vector regression, Gaussian process regression, ensemble method, decision tree, neural network, support vector machine, discriminant analysis, naive Bayes, and nearest neighbor method can be used. May be adopted.
ごみピット警報装置の各要素は、メモリ、プロセッサー、ソフトウエアプログラムを有する情報処理装置(例えば、コンピュータ、サーバ)や、専用回路、ファームウエアなどで構成してもよい。情報処理装置は、オンプレミスまたはクラウドのいずか一方、あるいは両方の組み合わせであってもよい。 Each element of the garbage pit warning device may include a memory, a processor, an information processing device (for example, a computer, a server) having a software program, a dedicated circuit, firmware, and the like. The information processing device may be on-premises or in the cloud, or a combination of both.
(実施形態1)
図1に、実施形態1のごみピット転落警報装置1についての構成要素の一例を示す。図2にプラットフォーム60の平面図の一例を示す。図3に撮像領域の平面図の一例を示す。
(Embodiment 1)
FIG. 1 shows an example of the components of the garbage pit fall warning device 1 of the first embodiment. FIG. 2 shows an example of a plan view of the platform 60. FIG. 3 shows an example of a plan view of the imaging area.
撮像装置30(31、32、33、34)は、プラットフォーム60を上方から平面視した場合に、投入エリアの内に配置される搬入車両5(51、52、53)と上下方向(鉛直方向)で重なり合わないように設置される。
図2において、撮像装置31、32、33、34は、それぞれ投入エリア画像(E31、E32、E33、E34)を撮像する。各撮像装置は、例えば、プラットフォーム60の天井から床面に向かって撮像するように設置されていてもよく、搬入車両5(51、52、53)のボディ天面より高く、投入扉65の最大高さ以下の位置から、投入口に向かって撮像する位置に設置されていてもよい。各撮像装置は、上から見たときに搬入車両5と、互いに重ならない(陰にならない)ように設置されることで、人7が搬入車両5に隠れるような死角が低減されて、投入扉65と搬入車両5の隙間から落ちる人を確実に撮像できる。
撮像装置30は、一つの投入口あたり、1つでもよく、複数であってもよい。複数の場合に、少なくとも一つが静止画像を撮像または動画を撮像してもよい。複数であれば死角をさらに低減できる。
撮像装置30は、搬入車両5の前上方から後下方に向けて視野角35度から60度の範囲を撮像するように設置されてもよい。
搬入車両5は、例えば、ボディ内のごみを押出手段で外に押し出す押出式と、ボディを傾けてごみを排出するダンプ式などのいずれでもよい。ごみ排出の際に、例えばボディを傾けても死角が生じないように各撮像装置が設置される。
The imaging device 30 (31, 32, 33, 34) is vertically (vertically) connected to the loading vehicle 5 (51, 52, 53) arranged in the loading area when the platform 60 is viewed from above. are installed so that they do not overlap.
In FIG. 2, imaging devices 31, 32, 33, and 34 each capture input area images (E31, E32, E33, and E34). Each imaging device may be installed, for example, to take an image from the ceiling of the platform 60 toward the floor, and is higher than the top surface of the body of the delivery vehicle 5 (51, 52, 53), It may be installed at a position where images are taken toward the input port from a position below the height. By installing each imaging device so that it does not overlap (does not shade) each other with the delivery vehicle 5 when viewed from above, blind spots where the person 7 may be hidden behind the delivery vehicle 5 are reduced, and the loading vehicle 5 is A person falling through the gap between the vehicle 65 and the delivery vehicle 5 can be reliably imaged.
One or more imaging devices 30 may be provided per input port. In the case of a plurality of images, at least one may take a still image or a moving image. If there are more than one, blind spots can be further reduced.
The imaging device 30 may be installed so as to capture an image in a viewing angle range of 35 degrees to 60 degrees from the upper front to the lower rear of the delivery vehicle 5.
The carry-in vehicle 5 may be either a push-out type in which the garbage inside the body is pushed out by a pushing means or a dump-type in which the garbage is discharged by tilting the body. Each imaging device is installed so that a blind spot does not occur even if the body is tilted during garbage discharge.
図3において、撮像装置32の撮像領域E32を一点鎖線で示し、撮像装置33の撮像領域E33を二点鎖線で示す。
撮像装置32では、人7(人存在領域721、722、723)が撮像されるが、搬入車両52によってその陰の人731は撮像されない。一方、撮像装置33で人731が撮像され、人7(人存在領域732、733)も撮像される。
In FIG. 3, an imaging area E32 of the imaging device 32 is shown by a chain line, and an imaging area E33 of the imaging device 33 is shown by a chain double-dashed line.
The imaging device 32 images the person 7 (person presence areas 721, 722, 723), but the person 731 behind the person 731 is not imaged by the delivery vehicle 52. On the other hand, the person 731 is imaged by the imaging device 33, and the person 7 (person presence areas 732 and 733) is also imaged.
画像処理部10は、プラットフォーム60から、ごみピット62へごみが投入される投入エリアを上方から撮像した投入エリア画像(例えば、静止画、動画)から、人7が存在する人存在領域(721、722、723、731、732、733)を抽出する。画像処理部10は、抽出した人存在領域に矩形枠を設定(描画)する。画像処理部10は、矩形枠に抽出の信頼度の数値を同時に表示してもよい。
記憶部40は、プラットフォーム60とは異なる場所で上方から人を撮像した画像に、人存在領域をラベリングした第一教師データと、プラットフォーム60の内で上方から人を撮像した画像に人存在領域をラベリングした第二教師データの内、少なくとも一方を用いて知的情報処理技術によって生成される画像処理プログラム(人存在領域抽出プログラム)を記憶する。
第一教師データは、例えば、立位の人を正面から撮像した画像、インターネットから収集可能な画像である(同じ撮像装置で撮像されていない画像でもよい)。
第二教師データは、例えば、プラットフォーム60に存在する人の画像、投入エリアに存在する人の画像、投入エリア画像中の第一画像領域および/または第二画像領域に存在する(重なりあっている)人の画像である。
画像処理部10は、画像処理プログラム(人存在領域抽出プログラム)を用いて、人存在領域を抽出する。
The image processing unit 10 extracts a human presence area (721, 722, 723, 731, 732, 733). The image processing unit 10 sets (draws) a rectangular frame in the extracted human presence area. The image processing unit 10 may simultaneously display the numerical value of the reliability of extraction in a rectangular frame.
The storage unit 40 stores first teacher data in which an image of a person taken from above at a location different from the platform 60 is labeled with a person presence area, and a person presence area is labeled in an image of a person taken from above within the platform 60. An image processing program (person presence area extraction program) generated by intelligent information processing technology using at least one of the labeled second teacher data is stored.
The first teacher data is, for example, an image captured from the front of a person in a standing position, or an image that can be collected from the Internet (images that are not captured by the same imaging device may be used).
The second training data is, for example, present in an image of a person present on the platform 60, an image of a person present in the input area, a first image area and/or a second image area in the input area image (overlapping ) is an image of a person.
The image processing unit 10 extracts a human presence area using an image processing program (human presence area extraction program).
画像処理部10は、抽出した人存在領域に枠(例えば、矩形枠)および抽出の信頼度の数値をモニターに表示させてもよい。
画像処理部10は、画像処理プログラム(人存在領域抽出プログラム)の人存在領域の抽出判断において(人物か否かの判断において)、人存在領域の抽出の信頼度(0~100%)が人物判断基準閾値(例えば、60%以上、75%以上、80%以上など)以上であれば人存在領域(人物)であると判断する人存在判断部101を有する。
人存在判断部101は、画像処理プログラム(人存在領域抽出プログラム)で抽出された人存在領域のサイズ(例えば、矩形、円形など)が、サイズ閾値の範囲(上限、下限)を外れている場合に、人物ではないと判断してもよい。人物の領域サイズは、搬入車両よりも小さく、スコップなどの備品よりも大きいため、サイズ閾値の範囲(上限、下限)を設定しておくことで、誤認識を減らすことができる。例えば、抽出された領域の矩形サイズが、サイズ閾値の範囲よりも大きいまたは小さい場合には人存在領域でないと判断する。
画像処理部10は、人物判断基準閾値および/またはサイズ閾値の範囲(上限、下限)を可変に設定する閾値設定部102を有する。誤検知が多い場合に閾値を変更するなどできる。
画像処理部10は、動画を形成する連続した静止画(フレーム)のそれぞれにおいて、1フレームで人存在領域(人物)を抽出した場合に、人存在領域が検知できたと判断する第一検知部103を有する。
画像処理部10は、連続した静止画(フレーム)で構成される動画を所定フレーム数(例えば、40~100など)で区切ったフレームブロック毎において、1フレームブロック内で判断基準数(例えば、上記所定数より少ない数)のフレームで人存在領域(人物)を抽出した場合に、人存在領域が検知できたと判断する第二検知部104を有する。「人間の移動」はある程度の期間を継続して発生するため、1フレーム単位ではなく、所定数のフレームの集合体(フレームブロック単位)での検知とするほうが効率的であるので好ましい。
画像処理部10は、フレームブロックの所定フレーム数と、所定フレーム数より小さい判断基準数を可変可能に設定する判断基準設定部105と、を有する。これにより、例えば、ごみピット施設、プラットフォームの状況、搬入車両、作業者の服装などに応じて可変に設定できる。
The image processing unit 10 may display a frame (for example, a rectangular frame) around the extracted human presence area and a numerical value of the reliability of extraction on the monitor.
The image processing unit 10 determines whether the extraction reliability (0 to 100%) of the human presence area is a person in the extraction judgment of the human presence area by the image processing program (person presence area extraction program) (in determining whether it is a person or not). It has a person presence determination unit 101 that determines that the area is a person presence area (person) if it is equal to or higher than a determination criterion threshold value (for example, 60% or more, 75% or more, 80% or more, etc.).
If the size (for example, rectangle, circular, etc.) of the human presence area extracted by the image processing program (human presence area extraction program) is outside the size threshold range (upper limit, lower limit) However, it may be determined that the person is not a person. Since the area size of a person is smaller than the delivery vehicle and larger than equipment such as a shovel, misrecognition can be reduced by setting a size threshold range (upper limit, lower limit). For example, if the rectangular size of the extracted area is larger or smaller than the size threshold range, it is determined that the area is not a human presence area.
The image processing unit 10 includes a threshold setting unit 102 that variably sets the range (upper limit, lower limit) of the person judgment criterion threshold and/or the size threshold. If there are many false positives, you can change the threshold.
The image processing unit 10 includes a first detection unit 103 that determines that a human presence area has been detected when a human presence area (person) is extracted in one frame in each of continuous still images (frames) forming a moving image. has.
The image processing unit 10 calculates the number of judgment criteria (for example, the above-mentioned The second detection unit 104 determines that a human presence area has been detected when a person presence area (person) is extracted from frames (a number smaller than a predetermined number). Since "human movement" occurs continuously over a certain period of time, it is preferable to detect a set of a predetermined number of frames (frame block units) rather than one frame unit because it is more efficient.
The image processing unit 10 includes a determination criterion setting unit 105 that variably sets a predetermined number of frames of a frame block and a determination criterion number smaller than the predetermined number of frames. This allows for variable settings depending on, for example, the situation of the garbage pit facility, the platform, the delivery vehicle, the clothing of the worker, etc.
また、別実施形態として、画像処理プログラム(人存在領域抽出プログラム)は、第一教師データと第二教師データの両方を用いて知的情報処理技術によって生成されてもよい。 Moreover, as another embodiment, the image processing program (person presence area extraction program) may be generated by intelligent information processing technology using both the first teacher data and the second teacher data.
画像処理部10は、第一重なり量算出部11と第二重なり量算出部12を有する。
第一重なり量算出部11は、投入エリア画像に予め設定される第一画像領域E01と、人存在領域(の矩形枠で囲まれた面積)との重なりである、第一重なり量を算出する。
第二重なり量算出部12は、投入エリア画像の第一画像領域E01とは異なる場所(投入口から遠位の場所)に予め設定される第二画像領域E02と、人存在領域(の矩形枠で囲まれた面積)との重なりである、第二重なり量を算出する。
図3において、第一画像領域E01は、ごみの投入口からごみピットを含むように設定されていてもよい。第一画像領域E01は、搬入車両5の後方の画像、車輪止め61、投入口の投入扉65の画像が含まれていてもよい。第一画像領域E01は、搬入車両5の側方または前方の画像が含まれていてもよい。また、第二画像領域E02は、第一画像領域E01と隣接し、かつ投入口からプラットフォーム60側を含むように設定されていてもよい。
The image processing section 10 includes a first overlap amount calculation section 11 and a second overlap amount calculation section 12.
The first overlap amount calculation unit 11 calculates the first overlap amount, which is the overlap between the first image area E01 preset in the input area image and the human presence area (the area surrounded by the rectangular frame). .
The second double deflection amount calculation unit 12 calculates a second image area E02 that is set in advance at a location different from the first image area E01 of the input area image (a location distal from the input port), and a rectangular frame of the human presence area. Calculate the second double overlap amount, which is the overlap with the area (area surrounded by ).
In FIG. 3, the first image area E01 may be set to include a garbage pit from the garbage input port. The first image area E01 may include an image of the rear of the loading vehicle 5, a wheel stopper 61, and an image of the input door 65 of the input slot. The first image area E01 may include an image of the side or front of the delivery vehicle 5. Further, the second image area E02 may be set to be adjacent to the first image area E01 and include the platform 60 side from the input port.
第一警報出力部21は、第一重なり量が第一所定量以上であれば、第一警報を出力する。第二警報出力部22は、第一重なり量が、第一所定量より大きい第二所定量以上であれば、第二警報を出力する。第三警報出力部23は、第二重なり量が、第三所定量以上であれば、第三警報を出力する。
出力は、スピーカ25からの音声であってもよい。
第一所定量は、例えば、人存在領域の面積の25%以上~35%未満の範囲の値であってもよい。例えば、車輪止め61に載っている人存在領域732が該当する。第一警報は、例えば、「転落に注意してください」など直接的な警告(音声、音、光など)であってもよい。
第二所定量は、例えば、人存在領域の面積の35%以上100%以下の範囲の値であってもよい。例えば、投入口に落ちかけている人存在領域722、733が該当する。第二警報は、例えば、緊急性の高い警報、クレーンの自動停止、中央管理室への通報であってもよい。
第三所定量は、例えば、人存在領域の面積の5%以上から25%未満の値であってもよい。例えば、人存在領域721、723が該当する。第三警報は、例えば、「安全帯を装着しましょう」などの軽い呼びかけであってもよい。第三所定量は、例えば、第一所定量より小さくてもよい。
The first alarm output unit 21 outputs a first alarm if the first overlap amount is greater than or equal to the first predetermined amount. The second alarm output unit 22 outputs a second alarm if the first overlap amount is greater than or equal to a second predetermined amount that is larger than the first predetermined amount. The third alarm output unit 23 outputs a third alarm if the second double amount is equal to or greater than a third predetermined amount.
The output may be audio from the speaker 25.
The first predetermined amount may be, for example, a value in a range of 25% or more and less than 35% of the area of the human presence area. For example, the area 732 where a person is present on the wheel stopper 61 corresponds to this area. The first warning may be a direct warning (voice, sound, light, etc.) such as "Be careful of falling", for example.
The second predetermined amount may be, for example, a value in a range of 35% or more and 100% or less of the area of the human presence area. For example, this applies to areas 722 and 733 where people are about to fall into the slot. The second alarm may be, for example, a highly urgent alarm, an automatic stop of the crane, or a notification to the central control room.
The third predetermined amount may be, for example, a value of 5% or more and less than 25% of the area of the human presence area. For example, this applies to the human presence areas 721 and 723. The third warning may be, for example, a simple warning such as "Wear your safety belt." The third predetermined amount may be smaller than the first predetermined amount, for example.
(実施例)
図4Aは、第一画像領域E01が投入傾斜面621の始点からごみピット62の方向に設定される。
第一画像領域E01内に、人存在領域750の認識矩形枠が30%~49%重なったら、第一警報が出力される。第一画像領域E01内に、人存在領域751の認識矩形枠が50%~100%重なったら、第二警報(非常停止)が出力される。
(Example)
In FIG. 4A, the first image area E01 is set in the direction from the starting point of the input slope 621 to the garbage pit 62.
When the recognition rectangular frame of the person presence area 750 overlaps the first image area E01 by 30% to 49%, a first alarm is output. When the recognition rectangular frame of the person presence area 751 overlaps the first image area E01 by 50% to 100%, a second alarm (emergency stop) is output.
図4Bは、第一画像領域E01が、投入傾斜面621の始点からごみピット62の方向に設定され、第二画像領域E02が、投入傾斜面621の始点からプラットフォーム60の方向に設定される。
第二画像領域E02内に、人存在領域760の認識矩形枠が50%~100%重なったら、第三警報(弱い警告)が出力される。
第一画像領域E01内に、人存在領域の認識矩形枠が30%~49%重なったら、第一警報(強い警告)が出力される。第一画像領域E01内に、人存在領域761の認識矩形枠が50%~100%重なったら、第二警報(非常停止)が出力される。
In FIG. 4B, the first image area E01 is set in the direction from the starting point of the input slope 621 to the garbage pit 62, and the second image area E02 is set in the direction from the start point of the input slope 621 to the platform 60.
When the recognition rectangular frame of the person presence area 760 overlaps with the second image area E02 by 50% to 100%, a third warning (weak warning) is output.
When the recognition rectangular frame of the human presence area overlaps the first image area E01 by 30% to 49%, a first warning (strong warning) is output. When the recognition rectangular frame of the person presence area 761 overlaps the first image area E01 by 50% to 100%, a second alarm (emergency stop) is output.
また、別実施形態として、画像処理部10は、人存在領域を抽出する処理として、例えば、画像にエッジ処理を施して、人7(例えば、頭部、肩部、腕部、ヘルメット、帽子、作業服など)を抽出し解析することで、人存在領域(矩形枠で囲む)と、他の構造物(搬入車両5、車輪止め61、ごみピット62、投入口傾斜面621、投入扉65、プラットフォーム60の床など)とを区別してもよい。
また、警報出力手段として、例えば、「表示装置」でもよく、液晶モニター、有機ELモニター、CRTモニター、スマートフォン、タブレット、汎用パソコンのモニターなどが例示される。
また、警報出力手段として、例えば、音声出力手段、音出力手段、点灯手段などでもよい。
In another embodiment, the image processing unit 10 performs edge processing on the image as a process for extracting a person presence area, and performs edge processing on the image to extract the person 7 (e.g. head, shoulders, arms, helmet, hat, By extracting and analyzing the human presence area (surrounded by a rectangular frame) and other structures (carrying vehicle 5, wheel chocks 61, garbage pit 62, input slope 621, input door 65, (such as the floor of the platform 60).
Further, the alarm output means may be, for example, a "display device", and examples thereof include a liquid crystal monitor, an organic EL monitor, a CRT monitor, a smartphone, a tablet, a general-purpose personal computer monitor, and the like.
Furthermore, the alarm output means may be, for example, a voice output means, a sound output means, a lighting means, or the like.
(実施形態2)
実施形態2のごみピット転落警報方法は、プラットフォーム60からごみピット62へごみが投入される投入エリアを上方から撮像した投入エリア画像から、人7が存在する人存在領域を抽出する画像処理ステップを含む。
前記画像処理ステップは、
前記投入エリア画像に予め設定される第一画像領域と、前記人存在領域との第一重なり量を算出する第一重なり量算出サブステップと、および/または、
前記投入エリア画像の前記第一画像領域とは異なる場所に予め設定される第二画像領域と、前記人存在領域との第二重なり量を算出する第二重なり量算出サブステップと、含んでいてもよい。
前記画像処理ステップは、
前記プラットフォームとは異なる場所で情報から人を撮像した画像に、人存在領域をラベリングした第一教師データと、前記プラットフォームの内で上方から人を撮像した画像に人存在領域をラベリングした第二教師データの内、少なくとも一方を用いて知的情報処理技術によって生成される画像処理プログラム(人存在領域抽出プログラム)を実行して前記投入エリア画像から前記人存在領域を抽出するステップを含んでいてもよい。
(Embodiment 2)
The garbage pit fall warning method of the second embodiment includes an image processing step of extracting a person presence area where the person 7 is present from a loading area image taken from above of the loading area where garbage is loaded from the platform 60 to the garbage pit 62. include.
The image processing step includes:
a first overlap amount calculation substep of calculating a first overlap amount between a first image region preset in the input area image and the human presence area; and/or
a substep of calculating a second overlap amount between a second image area preset in a location different from the first image area of the input area image and the human presence area; Good too.
The image processing step includes:
First teacher data in which a human presence area is labeled on an image of a person taken from information at a location different from the platform, and second teacher data in which a person presence area is labeled in an image of a person taken from above within the platform. The method may include the step of executing an image processing program (person presence area extraction program) generated by intelligent information processing technology using at least one of the data to extract the person presence area from the input area image. good.
前記人存在領域を抽出するステップは、人存在領域の抽出判断において(人物か否かの判断において)、人存在領域の抽出の信頼度(0~100%)が人物判断基準閾値(例えば、60%以上、75%以上、80%以上など)以上であれば人存在領域(人物)であると判断する人存在判断ステップを含んでいてもよい。
前記人存在判断ステップは、画像処理プログラム(人存在領域抽出プログラム)で抽出された人存在領域のサイズ(例えば、矩形、円形など)が、サイズ閾値の範囲(上限、下限)を外れている場合に、人物ではないと判断してもよい。
前記画像処理ステップは、動画を形成する連続した静止画(フレーム)のそれぞれにおいて、1フレームで人存在領域(人物)を抽出した場合に、人存在領域が検知できたと判断する第一検知ステップを含んでいてもよい。
前記画像処理ステップは、連続した静止画(フレーム)で構成される動画を所定フレーム数(例えば、40~100など)で区切ったフレームブロック毎において、1フレームブロック内で判断基準数(例えば、上記所定数より少ない数)のフレームで人存在領域(人物)を抽出した場合に、人存在領域が検知できたと判断する第二検知ステップを含んでいてもよい。
前記画像処理ステップは、人物判断基準閾値および/またはサイズ閾値の範囲(上限、下限)を可変に設定する閾値設定ステップを含んでいてもよい。
前記画像処理ステップは、フレームブロックの所定フレーム数と、所定フレーム数より小さい判断基準数を可変可能に設定する判断基準設定ステップを含んでいてもよい。
In the step of extracting the human presence region, the reliability of extraction of the human presence region (0 to 100%) is set to a human judgment criterion threshold (for example, 60%) in the extraction judgment of the human presence region (in determining whether or not it is a person). % or more, 75% or more, 80% or more), it may include a person presence determination step of determining that the area is a person presence area (person).
The human presence determination step is performed when the size (e.g., rectangular, circular, etc.) of the human presence area extracted by the image processing program (human presence area extraction program) is outside a size threshold range (upper limit, lower limit). However, it may be determined that the person is not a person.
The image processing step includes a first detection step of determining that a human presence area has been detected when a human presence area (person) is extracted in one frame in each of continuous still images (frames) forming a moving image. May contain.
In the image processing step, the number of judgment criteria (for example, the above-mentioned The method may include a second detection step of determining that the human presence area has been detected when the human presence area (person) is extracted from frames (a number smaller than a predetermined number).
The image processing step may include a threshold setting step of variably setting a range (upper limit, lower limit) of a person judgment criterion threshold and/or a size threshold.
The image processing step may include a determination criterion setting step of variably setting a predetermined number of frames of the frame block and a determination criterion number smaller than the predetermined number of frames.
第一重なり量算出サブステップは、画像処理プログラム(人存在領域抽出プログラム)を実行して第一重なり量を算出してもよい。
第二重なり量算出サブステップは、画像処理プログラム(人存在領域抽出プログラム)を実行して第二重なり量を算出してもよい。
前記ごみピット転落警報方法は、
前記第一重なり量が第一所定量以上であれば、第一警報を出力する第一警報出力ステップと、
前記第一重なり量が、第一所定量より大きい第二所定量以上であれば、第二警報を出力する第二警報ステップと、および/または、
前記第二重なり量が第三所定量以上であれば、第三警報を出力する第三警報ステップと、を含んでいてもよい。
前記ごみピット転落警報方法は、
前記プラットフォームを上方から平面視した場合に、前記投入エリアの内に配置される搬入車両と上下方向(鉛直方向)で重なり合わないように設置される、前記投入エリア画像を撮像する撮像ステップを含んでいてもよい。
前記画像処理プログラム(人存在領域抽出プログラム)は、第一教師データと第二教師データの両方を用いて知的情報処理技術によって生成されてもよい。
In the first overlap amount calculation substep, the first overlap amount may be calculated by executing an image processing program (person presence area extraction program).
In the second double deviation amount calculation substep, the second double deviation amount may be calculated by executing an image processing program (person presence area extraction program).
The garbage pit fall warning method is as follows:
a first alarm output step of outputting a first alarm if the first overlap amount is equal to or greater than a first predetermined amount;
a second alarm step of outputting a second alarm if the first overlap amount is greater than or equal to a second predetermined amount that is larger than the first predetermined amount; and/or
The method may further include a third alarm step of outputting a third alarm if the second amount is equal to or greater than a third predetermined amount.
The garbage pit fall warning method is as follows:
an imaging step of capturing an image of the loading area, which is installed so as not to overlap in the vertical direction (vertical direction) with a loading vehicle placed in the loading area when the platform is viewed from above; It's okay to stay.
The image processing program (person presence area extraction program) may be generated by intelligent information processing technology using both first teacher data and second teacher data.
(実施形態3)
実施形態3のごみピット転落警報プログラムは、
少なくとも一つのプロセッサーにより、上記のごみピット転落警報方法を実現するプログラムである。
(Embodiment 3)
The garbage pit fall warning program of Embodiment 3 is as follows:
This is a program that implements the above garbage pit fall warning method using at least one processor.
(実施形態4)
実施形態4のコンピュータ命令が記憶されているコンピュータ読み取り可能な記録媒体は、前記コンピュータ命令がプロセッサーにより実行されることで、上記の転落警報プログラムのステップを実現するコンピュータ読み取り可能な記録媒体である。
(Embodiment 4)
The computer-readable recording medium in which the computer instructions of the fourth embodiment are stored is a computer-readable recording medium that implements the steps of the fall warning program described above when the computer instructions are executed by a processor.
1 ごみピット転落警報
10 画像処理装置
101 人存在判断部
102 閾値設定部
103 第一検知部
104 第二検知部
105 判断基準設定部
11 第一重なり量算出部
12 第二重なり量算出部
21 第一警報出力部
22 第二警報出力部
23 第三警報出力部
25 スピーカ
30、31、32、33、34 撮像装置
40 記憶部
5、51、52、53 搬入車両
60 プラットフォーム
61 車輪止め
62 ごみピット
621 投入口傾斜面
65 投入扉
7 人
E01 第一画像領域
E02 第二画像領域
1 Garbage pit fall alarm 10 Image processing device 101 Person presence determination section 102 Threshold value setting section 103 First detection section 104 Second detection section 105 Judgment standard setting section 11 First overlap amount calculation section 12 Second overlap amount calculation section 21 First Alarm output section 22 Second alarm output section 23 Third alarm output section 25 Speakers 30, 31, 32, 33, 34 Imaging device 40 Storage sections 5, 51, 52, 53 Carrying vehicle 60 Platform 61 Wheel chock 62 Garbage pit 621 Injection Opening inclined surface 65 Loading door 7 Person E01 First image area E02 Second image area
Claims (4)
プラットフォームとは異なる場所で上方から人を撮像した画像に人存在領域をラベリングした第一教師データと、前記プラットフォームの内で上方から人を撮像した画像に人存在領域をラベリングした第二教師データの両方を用いて知的情報処理技術によって生成される人存在領域抽出プログラムを用いて、ごみピットへごみが投入される投入エリアを、前記プラットフォームの上方から撮像した投入エリア画像から、人が存在する人存在領域を抽出する画像処理部を有する、装置。 A device for extracting a human presence area in order to warn of the danger of a person falling into a garbage pit,
First training data in which a human presence area is labeled in an image of a person taken from above at a location different from the platform, and second training data in which a person presence area is labeled in an image of a person taken from above within the platform. Using a human presence area extraction program generated by intelligent information processing technology using both , it is possible to determine whether a person is present in the input area where garbage is thrown into the garbage pit from an image of the input area taken from above the platform. A device that includes an image processing unit that extracts a human presence area.
プラットフォームとは異なる場所で上方から人を撮像した画像に人存在領域をラベリングした第一教師データと、前記プラットフォームの内で上方から人を撮像した画像に人存在領域をラベリングした第二教師データの両方を用いて知的情報処理技術によって生成される人存在領域抽出プログラムを用いて、ごみピットへごみが投入される投入エリアを、前記プラットフォームの上方から撮像した投入エリア画像から、人が存在する人存在領域を抽出する画像処理ステップを含む、方法。 A method for extracting a human presence area to warn of the danger of a person falling into a garbage pit, the method comprising:
First training data in which a human presence area is labeled in an image of a person taken from above at a location different from the platform, and second training data in which a person presence area is labeled in an image of a person taken from above within the platform. Using a human presence area extraction program generated by intelligent information processing technology using both , it is possible to determine whether a person is present in the input area where garbage is thrown into the garbage pit from an image of the input area taken from above the platform. A method comprising an image processing step of extracting a human presence area.
前記コンピュータ命令がプロセッサーにより実行されることで、請求項3に記載のプログラムのステップを実現するコンピュータ読み取り可能な記録媒体。 A computer-readable storage medium having computer instructions stored thereon, the computer-readable storage medium comprising:
A computer-readable recording medium, wherein the computer instructions are executed by a processor to implement the steps of the program according to claim 3.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020116519 | 2020-07-06 | ||
JP2020116519 | 2020-07-06 | ||
JP2021101760A JP7122439B2 (en) | 2020-07-06 | 2021-06-18 | Garbage pit fall alarm device, garbage pit fall alarm method and garbage pit fall alarm program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021101760A Division JP7122439B2 (en) | 2020-07-06 | 2021-06-18 | Garbage pit fall alarm device, garbage pit fall alarm method and garbage pit fall alarm program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022169610A JP2022169610A (en) | 2022-11-09 |
JP7420879B2 true JP7420879B2 (en) | 2024-01-23 |
Family
ID=80185379
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021101760A Active JP7122439B2 (en) | 2020-07-06 | 2021-06-18 | Garbage pit fall alarm device, garbage pit fall alarm method and garbage pit fall alarm program |
JP2022126299A Active JP7420879B2 (en) | 2020-07-06 | 2022-08-08 | Device and method for extracting human presence area |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021101760A Active JP7122439B2 (en) | 2020-07-06 | 2021-06-18 | Garbage pit fall alarm device, garbage pit fall alarm method and garbage pit fall alarm program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7122439B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116189099B (en) * | 2023-04-25 | 2023-10-10 | 南京华苏科技有限公司 | Method for detecting and stacking exposed garbage based on improved yolov8 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004292141A (en) | 2003-03-28 | 2004-10-21 | Babcock Hitachi Kk | Device for preventing falling into refuse pit |
JP2016040674A (en) | 2014-08-12 | 2016-03-24 | セコム株式会社 | Object detection device |
JP2019179422A (en) | 2018-03-30 | 2019-10-17 | 日立造船株式会社 | Flying object, information recording method, flying object control method, and control program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4066168B2 (en) | 2003-03-13 | 2008-03-26 | オムロン株式会社 | Intruder monitoring device |
JP2021100872A (en) | 2019-12-24 | 2021-07-08 | Jfeエンジニアリング株式会社 | Monitoring device, monitoring system, monitoring method, and program |
-
2021
- 2021-06-18 JP JP2021101760A patent/JP7122439B2/en active Active
-
2022
- 2022-08-08 JP JP2022126299A patent/JP7420879B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004292141A (en) | 2003-03-28 | 2004-10-21 | Babcock Hitachi Kk | Device for preventing falling into refuse pit |
JP2016040674A (en) | 2014-08-12 | 2016-03-24 | セコム株式会社 | Object detection device |
JP2019179422A (en) | 2018-03-30 | 2019-10-17 | 日立造船株式会社 | Flying object, information recording method, flying object control method, and control program |
Also Published As
Publication number | Publication date |
---|---|
JP7122439B2 (en) | 2022-08-19 |
JP2022169610A (en) | 2022-11-09 |
JP2022014437A (en) | 2022-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7420879B2 (en) | Device and method for extracting human presence area | |
JP2017225122A5 (en) | ||
US20030093200A1 (en) | Vision-based method and apparatus for automatically activating a child safety feature | |
CN110733983B (en) | Tower crane safety control system and control method thereof | |
US20190313948A1 (en) | Monitoring assistance system, control method thereof, and program | |
KR20140081254A (en) | Human detecting apparatus and method | |
KR101309366B1 (en) | System and Method for Monitoring Emergency Motion based Image | |
JP7095312B2 (en) | Hazard level detection device, risk level detection method, and risk level detection program | |
JPH05261692A (en) | Working environment monitoring device for robot | |
JP5647459B2 (en) | Moving object detection device | |
WO2015121634A1 (en) | Electronic guard systems | |
US10750133B2 (en) | Systems and methods for automatic video recording | |
JP4883415B2 (en) | Monitoring device and program | |
JP2009077064A (en) | Monitoring method and monitoring apparatus | |
TW201510945A (en) | A method for identifying personnel and a security booth prevention system thereof | |
KR20120038640A (en) | Safty system of heavy weight moving apparatus using image processing | |
KR20140059962A (en) | Elevator crime prvent system and method of controlling the same | |
Nandyal et al. | Recognition of suspicious human activities using klt and kalman filter for atm surveillance system | |
JP2013132682A (en) | Device for detecting abnormal sheet passing | |
JPH08180276A (en) | Method and device for obstacle detection | |
JPH0674114B2 (en) | Elevator crime prevention device | |
KR102286229B1 (en) | A feature vector-based fight event recognition method | |
CN115703609A (en) | Elevator user detection system | |
JP4525402B2 (en) | Image sensor device | |
JP2004192459A (en) | Abnormal phenomenon detecting device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220808 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230814 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230825 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7420879 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |