JP7275863B2 - Image processing device, image processing device control method, and image processing device control program - Google Patents
Image processing device, image processing device control method, and image processing device control program Download PDFInfo
- Publication number
- JP7275863B2 JP7275863B2 JP2019100167A JP2019100167A JP7275863B2 JP 7275863 B2 JP7275863 B2 JP 7275863B2 JP 2019100167 A JP2019100167 A JP 2019100167A JP 2019100167 A JP2019100167 A JP 2019100167A JP 7275863 B2 JP7275863 B2 JP 7275863B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- time
- occurrence
- state
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Description
本開示は、画像処理装置、画像処理装置の制御方法、及び画像処理装置の制御プログラムに関する。 The present disclosure relates to an image processing device, a control method for an image processing device, and a control program for an image processing device.
従来、取得した画像から人の行動を認識する画像処理装置が知られている(例えば、特許文献1を参照)。 2. Description of the Related Art Conventionally, there is known an image processing device that recognizes human behavior from an acquired image (see Patent Document 1, for example).
ところで、この種の画像処理装置においては、例えば、高齢者介護見守りの現場における事故の早期発見の観点等から、人の転倒状態の発生を正確に検出する要請がある。 By the way, in this type of image processing apparatus, for example, from the viewpoint of early detection of an accident at the site of nursing care for the elderly, there is a demand for accurately detecting the occurrence of a falling state of a person.
従来、この種の画像処理装置においては、時系列の画像から検出される人の姿勢の時間的変化から、人の転倒状態の発生を検出している。しかしながら、この種の画像処理装置が適用される場面は、種々あり、認識対象の人の周囲には、種々の周辺物体が存在する。 Conventionally, in this type of image processing apparatus, the occurrence of a falling state of a person is detected from temporal changes in the posture of the person detected from time-series images. However, there are various situations in which this type of image processing apparatus is applied, and various peripheral objects exist around a person to be recognized.
そのため、従来技術に係る画像処理装置においては、人と周辺物体とを識別できず、当該人の転倒状態の発生を誤検出するおそれがあった。特に、従来技術に係る画像処理装置においては、人が扉を介して撮像装置による撮像領域外に退出する場合や、人が障害物の陰に隠れた場合には、人と扉とを一体的に認識してしまうおそれがある。その結果、従来技術に係る画像処理装置においては、人が画像内の一地点に止まったように認識し、当該人が転倒状態となったものと認識してしまうおそれがあった。 Therefore, in the image processing apparatus according to the related art, there is a possibility that the person cannot be distinguished from the surrounding objects, and that the occurrence of the falling state of the person concerned is erroneously detected. In particular, in the image processing apparatus according to the related art, when a person leaves the imaging area of the imaging device through the door, or when the person is hidden behind an obstacle, the person and the door are integrated. may be recognized by As a result, the conventional image processing apparatus may recognize that the person has stopped at one point in the image, and may recognize that the person has fallen.
本開示は、上記問題点に鑑みてなされたもので、簡易な手法で、人の転倒状態の発生に係る誤検出を抑制し得る画像処理装置、画像処理装置の制御方法、及び画像処理装置の制御プログラムを提供することを目的とする。 The present disclosure has been made in view of the above problems, and an image processing device, a control method for the image processing device, and an image processing device that can suppress erroneous detection related to the occurrence of a falling state of a person with a simple method. The purpose is to provide a control program.
前述した課題を解決する主たる本開示は、
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得する画像取得部と、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する転倒状態検出部と、
前記転倒状態検出部により前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている時点における第1画像と、前記転倒状態検出部によって前記転倒状態の発生が検出された検出開始タイミングから、所定時間前の時点の第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態検出部の検出結果が誤検出であるか否かを判定する誤検出抑制部と、
を備える、画像処理装置である。
又、他の局面では、
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得する画像取得部と、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する転倒状態検出部と、
前記転倒状態検出部により前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態検出部によって前記転倒状態の発生が検出されている間であって、且つ、前記転倒状態の発生が検出された検出開始タイミングから所定の継続判定時間後の第1画像と、前記転倒状態の発生が検出されるよりも前の時点における第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態検出部の検出結果が誤検出であるか否かを判定する誤検出抑制部と、
を備える、画像処理装置である。
The main disclosure that solves the above-mentioned problems is
an image acquisition unit that acquires time-series images generated by an imaging device that captures an image of a monitoring target area;
a falling state detection unit that detects the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected by the overturned state detection unit, a first image at the time when the occurrence of the overturned state is detected among the time-series images, and A second image at a time point a predetermined time before the detection start timing at which the occurrence of the overturned state is detected is extracted, and the overturned state detection unit detects the overturned state based on the amount of change in the first image with respect to the second image. an erroneous detection suppression unit that determines whether the result is an erroneous detection;
An image processing device comprising:
Also, in other aspects,
an image acquisition unit that acquires time-series images generated by an imaging device that captures an image of a monitoring target area;
a falling state detection unit that detects the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected by the overturned state detection unit, the occurrence of the overturned state is detected by the overturned state detection unit in the time-series images, and A first image after a predetermined continuation determination time from the detection start timing at which the occurrence of the overturning state is detected and a second image at a time point before the occurrence of the overturning state is detected are extracted, and the second image is extracted. an erroneous detection suppression unit that determines whether or not the detection result of the overturned state detection unit is an erroneous detection, based on the amount of change in the first image with respect to the image;
An image processing device comprising:
又、他の局面では、
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得し、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出し、
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている時点における第1画像と、前記転倒状態の発生が検出された検出開始タイミングから、所定時間前の時点の第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する、
画像処理装置の制御方法である。
又、他の局面では、
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得し、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出し、
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている間であって、且つ、前記転倒状態の発生が検出された検出開始タイミングから所定の継続判定時間後の第1画像と、前記転倒状態の発生が検出されるよりも前の時点における第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する、
画像処理装置の制御方法である。
Also, in other aspects,
Acquiring time-series images generated by an imaging device that captures an image of a monitored area,
detecting the occurrence of a falling state of a subject existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected, the first image at the time when the occurrence of the overturned state is detected among the time-series images, and from the detection start timing at which the occurrence of the overturned state is detected. , extracting a second image at a point in time a predetermined time ago , and determining whether or not the occurrence of the falling state is an erroneous detection based on the amount of change in the first image with respect to the second image;
A control method for an image processing apparatus.
Also, in other aspects,
Acquiring time-series images generated by an imaging device that captures an image of a monitored area,
detecting the occurrence of a falling state of a subject existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected, the period during which the occurrence of the overturned state is detected in the time-series images and from the detection start timing at which the occurrence of the overturned state is detected extracting a first image after a predetermined continuation determination time and a second image at a point in time before the occurrence of the overturned state is detected, and based on a change of the first image with respect to the second image; , determining whether the occurrence of the falling state is an erroneous detection;
A control method for an image processing apparatus.
又、他の局面では、
コンピュータに、
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得する処理と、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する処理と、
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている時点における第1画像と、前記転倒状態の発生が検出された検出開始タイミングから、所定時間前の時点の第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する処理と、
を実行させる画像処理装置の制御プログラムである。
又、他の局面では、
コンピュータに、
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得する処理と、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する処理と、
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている間であって、且つ、前記転倒状態の発生が検出された検出開始タイミングから所定の継続判定時間後の第1画像と、前記転倒状態の発生が検出されるよりも前の時点における第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する処理と、
を実行させる画像処理装置の制御プログラムである。
Also, in other aspects,
to the computer,
A process of acquiring time-series images generated by an imaging device that captures an image of a monitoring target area;
a process of detecting the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected, the first image at the time when the occurrence of the overturned state is detected among the time-series images, and from the detection start timing at which the occurrence of the overturned state is detected. , a process of extracting a second image at a point in time a predetermined time ago , and determining whether or not the occurrence of the overturned state is an erroneous detection based on the amount of change of the first image with respect to the second image;
is a control program for an image processing apparatus that executes
Also, in other aspects,
to the computer,
A process of acquiring time-series images generated by an imaging device that captures an image of a monitoring target area;
a process of detecting the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected, the period during which the occurrence of the overturned state is detected in the time-series images and from the detection start timing at which the occurrence of the overturned state is detected extracting a first image after a predetermined continuation determination time and a second image at a point in time before the occurrence of the overturned state is detected, and based on a change of the first image with respect to the second image; , a process of determining whether the occurrence of the falling state is an erroneous detection;
is a control program for an image processing apparatus that executes
本開示に係る画像処理装置によれば、簡易な手法で、人の転倒状態の発生に係る誤検出を抑制することが可能である。 According to the image processing device according to the present disclosure, it is possible to suppress erroneous detection related to the occurrence of a falling state of a person using a simple method.
以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Preferred embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. In the present specification and drawings, constituent elements having substantially the same functional configuration are denoted by the same reference numerals, thereby omitting redundant description.
[行動認識システムの全体構成]
以下、図1~図3を参照して、一実施形態に係る行動認識システムUの全体構成について説明する。
[Overall Configuration of Action Recognition System]
Hereinafter, the overall configuration of an action recognition system U according to one embodiment will be described with reference to FIGS. 1 to 3. FIG.
図1は、本実施形態に係る行動認識システムUの一例を示す図である。 FIG. 1 is a diagram showing an example of an action recognition system U according to this embodiment.
本実施形態に係る行動認識システムUは、画像処理装置100、撮像装置200、通信ネットワーク300を備えている。
An action recognition system U according to this embodiment includes an
撮像装置200は、例えば、一般的なカメラや広角カメラであり、カメラの撮像素子が生成した画像信号をAD変換して、画像データを生成する。本実施形態に係る撮像装置200は、フレーム単位の画像データを連続的に生成して、時系列の画像データ(即ち、動画像のデータ)を撮像可能に構成されている。
The
撮像装置200は、例えば、部屋内の適宜な位置に設置される。そして、撮像装置200は、人B1(本発明の「対象者」に相当)が撮像領域(ここでは、部屋)から撮像領域外(ここでは、部屋に隣接するトイレ)に退出するための扉B2が画像内に映るように、設置されている。
The
撮像装置200は、通信ネットワーク300を介して、画像処理装置100に対して動画像のデータを送信する。
The
画像処理装置100は、撮像装置200で生成された画像のデータに基づいて、当該画像に映る人B1の行動を判別して、その判別結果を出力する装置である。
The
図2は、本実施形態に係る画像処理装置100のハードウェア構成の一例を示す図である。
FIG. 2 is a diagram showing an example of the hardware configuration of the
画像処理装置100は、主たるコンポーネントとして、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、外部記憶装置(例えば、フラッシュメモリ)104、及び通信インターフェイス105等を備えたコンピュータである。
The
画像処理装置100の後述する各機能は、例えば、CPU101がROM102、RAM103、外部記憶装置104等に記憶された制御プログラム(例えば、画像処理プログラム)や各種データ(例えば、画像データ)を参照することによって実現される。尚、RAM102は、例えば、データの作業領域や一時退避領域として機能する。
For each function of the
但し、画像処理装置100の各機能は、CPU101による処理に代えて、又は、これと共に、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)又はFPGA(Field-Programmable Gate Array)等で構成されたデジタル演算回路によって実現されてもよい。
However, each function of the
図3は、本実施形態に係る画像処理装置100の機能ブロックの一例を示す図である。
FIG. 3 is a diagram showing an example of functional blocks of the
画像処理装置100は、画像取得部10、人領域検出部20、転倒状態検出部30、及び誤検出抑制部40を備えている。
The
[画像取得部]
画像取得部10は、撮像装置200から、当該撮像装置200が生成した画像データ(以下、「画像」と略称する)を取得する。そして、画像取得部10は、撮像装置200に連続的に生成される時系列の画像を順次取得する。
[Image Acquisition Unit]
The
尚、画像取得部10が撮像装置200から取得した画像は、RAM103等に、所定時間(例えば、1分間)の間、一時記憶される。
The image acquired by the
[人領域検出部]
人領域検出部20は、画像取得部10が取得した時系列の画像に対して所定の演算処理を施して、画像に映る人B1を含む領域(以下、「人領域」と称する)を検出する。
[Human area detector]
The human
図4は、人領域検出部20が検出する画像中における人領域の一例を示す図である。尚、図4中において、Rallは画像の全画像領域、R1は画像中における人領域を表している。
FIG. 4 is a diagram showing an example of a human area in an image detected by the human
人領域検出部20は、例えば、時系列の画像それぞれについて、前のタイミングの画像からの差分画像を検出し、当該差分画像から人領域R1を検出する。そして、人領域検出部20は、例えば、画像中に人B1が検出された領域を含む矩形領域を人領域R1と設定する。
For example, for each time-series image, the human
但し、人領域検出部20が領域R1を検出する手法としては、その他、学習済みのニューラルネットワーク、テンプレートマッチング、HOG(Histograms of Oriented Gradients)特徴量、又はSVM(Support Vector Machine)等の手法であってもよい。
However, other methods for detecting the region R1 by the human
[転倒状態検出部]
転倒状態検出部30は、画像取得部10が取得した時系列の画像に基づいて、当該画像中に映る人B1の転倒状態の発生を検出する。
[Tumble state detector]
Based on the time-series images acquired by the
転倒状態検出部30は、例えば、人領域検出部20によって検出された人領域R1の時間的変化に基づいて、人B1の転倒状態が発生したか否かを判定する。この際、転倒状態検出部30は、例えば、単位時間当たり人領域R1の変化量を用いて、人B1の転倒状態が発生しているか否かを判定する。具体的には、転倒状態検出部30は、所定数フレーム毎に人領域検出部20によって検出された人領域R1の差分を算出し、単位時間当たり人領域R1の変化量が大きい場合には、人B1の転倒状態が発生していないと判定し、単位時間当たり人領域R1の変化量が小さい場合には、人B1の転倒状態が発生したと判定する。かかる判断基準は、単位時間当たり人領域R1の変化量が大きい場合には、人B1が歩行等の動作を行っているため、人B1が転倒状態ではない一方で、単位時間当たり人領域R1の変化量が小さい場合には、人B1が動作を行わない状態となるため、人B1が転倒状態である、とのものである。
The fall
尚、転倒状態検出部30は、この際、画像内における人領域R1の形状を更に参照してもよい。この場合、転倒状態検出部30は、例えば、上記条件に加えて、各画像内における人領域R1の形状が床面と平行に延びた状態である場合には、人B1が転倒状態であると判定する。
At this time, the overturned
そして、転倒状態検出部30は、人B1の転倒状態が発生したことを検出した場合には、外部の警報装置(図示せず)に発報するべく、その旨を示す転倒検出信号を誤検出抑制部40に送信する。尚、転倒状態検出部30は、画像取得部10が逐次的に取得する画像において、人B1の転倒状態の発生が検出されている間、転倒検出信号を継続的に誤検出抑制部40に送信する。
When the overturn
尚、転倒状態検出部30が人B1の転倒状態の発生を検出する手法は、任意である。例えば、転倒状態検出部30は、学習済みの再帰型ニューラルネットワークを用いて、時系列の画像から、直接、人B1の転倒状態の発生を検出してもよい。
Note that any method may be used by the falling
[誤検出抑制部]
誤検出抑制部40は、転倒状態検出部30により人B1の転倒状態の発生が検出されたとき(即ち、転倒状態検出部30が転倒検出信号を発したとき)に、転倒状態検出部30が正確に検出しているのか又は誤検出しているのかを確認する。
[False detection suppressor]
The erroneous
上記したように、この種の画像処理装置Uにおいては、撮像装置200の視点から、人B1が障害物(ここでは、扉B2)の陰に入ったときには、画像上、人B1が障害物と一体的に映るため、人B1と障害物とを識別できない状態が発生する場合がある。このとき、時系列の画像に基づいて、その画像の時間的変化からB1の転倒状態の発生を検出する手法を用いた場合(例えば、画像差分法)、人B1が障害物の陰に隠れて画像に変化がなくなった状況(例えば、人が扉の向こう側に移動した)を、人B1が転倒して画像に変化がなくなった状況、すなわち、単位時間当たりの変化量が小さくなった状況と誤認識してしまうおそれがある。誤検出抑制部40は、かかる状態に起因する誤検出を抑制する。
As described above, in this type of image processing apparatus U, when the person B1 enters the shadow of an obstacle (here, the door B2) from the viewpoint of the
図5は、誤検出抑制部40が誤検出抑制の判定対象とする監視対象領域の一例を示す図である。
FIG. 5 is a diagram showing an example of a monitoring target area to be determined for erroneous detection suppression by the erroneous
図5において、Ballは撮像領域(即ち、撮像装置200が撮像する画像に映る全領域)、Boutは撮像領域Ball外の領域(ここでは、部屋に隣接したトイレ領域)、B2は人B1が撮像領域Ballから撮像領域外Boutに出るための扉、B3は監視対象領域を表す。 In FIG. 5, Ball is an imaging area (that is, the entire area shown in the image captured by the imaging device 200), Bout is an area outside the imaging area Ball (here, a toilet area adjacent to the room), and B2 is an image of the person B1. A door for exiting from the area Ball to Bout outside the imaging area, B3 represents a monitoring target area.
ここで、誤検出抑制部40において、扉B2の前の領域(即ち、扉B2に隣接する領域)が監視対象領域B3(以下、「扉前領域B3」とも称する)に設定されているのは、上記したように、人B1が扉B2を介して撮像領域Ballから撮像領域外Boutに退出する際に、転倒状態検出部30による誤検出が発生するおそれがあるためである。
Here, in the erroneous
図6及び図7は、誤検出抑制部40の判定処理の一例について説明する図である。
6 and 7 are diagrams for explaining an example of determination processing of the erroneous
図6及び図7は、いずれも、人B1が撮像領域Ballから撮像領域外Boutに退出する際の撮像領域Ballの時系列の状態遷移を表している。ここで、図6は、転倒状態検出部30によって検出された人B1の転倒状態が誤検出でない場合における、撮像領域Ballの時系列の状態遷移を表し、図7は、転倒状態検出部30によって検出された人B1の転倒状態が誤検出である場合における、撮像領域Ballの状態遷移を表している。
6 and 7 both show time-series state transitions of the imaging region Ball when the person B1 leaves the imaging region Ball to outside the imaging region Bout. Here, FIG. 6 shows time-series state transitions of the imaging region Ball when the fall state of the person B1 detected by the fall
尚、図6及び図7のタイミングT3は、転倒状態検出部30によって人B1の転倒状態の発生が検出されたタイミングである。又、タイミングT1は、タイミングT3の15秒前のタイミングである。又、タイミングT4は、転倒状態検出部30によって人B1の転倒状態の発生が検出されたタイミングから3秒後のタイミングである。又、タイミングT2は、タイミングT1とタイミングT3の間のタイミングである。
Note that the timing T3 in FIGS. 6 and 7 is the timing at which the falling
具体的には、誤検出抑制部40は、画像取得部10が取得する時系列の画像のうち、転倒状態検出部30によって人B1の転倒状態の発生が検出されている時点における第1画像(以下、「After画像」と称する)(例えば、タイミングT4の状態の画像)と、転倒状態検出部30によって人B1の転倒状態の発生が検出されるよりも前の監視対象領域B3に人が侵入していない時点における第2画像(以下、「Before画像」と称する)(例えば、タイミングT1の状態の画像)とを比較する。そして、誤検出抑制部40は、After画像とBefore画像の変化分が小さい場合には、転倒検出信号が誤検出であると判定し、その変化分が大きい場合には、転倒検出信号が誤検出ではないと判定する。
Specifically, the erroneous
そして、誤検出抑制部40は、転倒検出信号が誤検出ではないと判定した場合には、当該転倒検出信号を外部の警報装置(図示せず)にそのまま送信し、転倒検出信号が誤検出であると判定した場合には、転倒検出信号を外部の警報装置(図示せず)に送信することを抑制する。
When the erroneous
通常、人B1の転倒状態が発生しているときには、画像上の扉前領域B3に人B1が映った状態となる(例えば、図6のタイミングT4の状態の画像)一方で、人B1の転倒状態が発生していないときには、人B1は、撮像領域Ballから撮像領域外Boutに退出してしまっているため、画像上の扉前領域B3に人B1が映っていない状態となる(例えば、図7のタイミングT4の状態の画像)。誤検出抑制部40は、かかる基本的な画像特徴を利用して、上記の判定処理を行う。
Normally, when the person B1 falls, the person B1 appears in the area B3 in front of the door on the image (for example, the image at the timing T4 in FIG. 6). When the state does not occur, the person B1 has left the imaging area Ball to the outside of the imaging area Bout. 7) in the state of timing T4). The erroneous
ここで、誤検出抑制部40が参照する「Before画像」は、扉前領域B3に人B1が存在しない状態の画像であり、例えば、画像取得部10が取得する時系列の画像のうち、転倒状態検出部30によって人B1の転倒状態の発生が検出された検出開始タイミングから、所定時間前(例えば、15秒前)に遡ったタイミングの画像である。この際、検出開始タイミングから遡る「所定時間」は、比較対象として設定する扉前領域B3のサイズや、基準とする人の動作スピード等によって適宜変更可能である。
Here, the “Before image” referred to by the false
但し、より好適には、誤検出抑制部40は、人領域検出部20の検出結果に基づいて、画像取得部10が取得する時系列の画像のうち、人領域検出部20にて扉前領域B3に人が検出されていないときの画像を、「Before画像」として選択する。これによって、確実に、扉前領域B3に人が存在しない状態の画像を、Before画像として選択することが可能である。
However, more preferably, the erroneous
誤検出抑制部40が参照する「After画像」は、例えば、画像取得部10が取得する時系列の画像のうち、転倒状態検出部30によって人B1の転倒状態の発生が検出されているときの画像である。
The "after image" referred to by the erroneous
但し、より好適には、誤検出抑制部40は、画像取得部10が取得する時系列の画像のうち、転倒状態検出部30によって転倒状態の発生が検出されている間であって、且つ、検出開始タイミングから所定の継続判定時間後(例えば、3秒後)の画像を、「After画像」として選択する。これによって、実際には人B1の転倒状態が発生していないときに、人B1が撮像領域Ballから撮像領域外Boutに退出し終える前の時点の画像が、After画像として選択されることを抑制することができる。
However, more preferably, the erroneous
図8は、誤検出抑制部40がBefore画像に対するAfter画像の変化分を求める手法の一例を説明する図である。
FIG. 8 is a diagram illustrating an example of a method by which the erroneous
誤検出抑制部40は、例えば、Before画像からAfter画像を減算し、図8に示すような、Before画像とAfter画像との画素値の差分のヒストグラムを生成する。図8のヒストグラムは、横軸はBefore画像とAfter画像との画素値(例えば、256階調の画素値)の差分を表し、縦軸は当該差分の出現頻度(即ち、画素数)を表す。
For example, the erroneous
そして、誤検出抑制部40は、ヒストグラム上において、画素値の差分が閾値ThP(例えば、15)よりも大きい画素が所定個(例えば、20個)未満であるか否かによって、転倒状態検出部30によって検出された人B1の転倒状態が誤検出であるか否かの判定を行う。即ち、誤検出抑制部40は、ヒストグラム上において、Before画像とAfter画像との差分が閾値ThPよりも大きい画素が所定個以上であれば、Before画像とAfter画像とは共に人B1が存在しない状態の画像であると特定できるため、人B1の転倒状態が誤検出であると判定する。一方、誤検出抑制部40は、ヒストグラム上において、Before画像とAfter画像との差分が閾値ThPよりも大きい画素が所定個以上であれば、After画像のみに人B1が映っていると特定できるため、人B1の転倒状態が誤検出ではないと判定する。
Then, the erroneous
但し、誤検出抑制部40によりBefore画像とAfter画像との変化分を求める手法は、他の任意の手法であってよい。例えば、誤検出抑制部40は、不要なノイズ成分を除去するため、Before画像及びAfter画像それぞれにフィルタ処理(例えば、ラプラシアンフィルタ)を施した後に、Before画像とAfter画像との変化分を求めてもよい。
However, any other method may be used as the method for obtaining the amount of change between the Before image and the After image by the erroneous
図9は、誤検出抑制部40の動作の一例を示すフローチャートである。
FIG. 9 is a flow chart showing an example of the operation of the erroneous
ステップS1において、誤検出抑制部40は、転倒状態検出部30によって人B1の転倒状態の発生が検出されることを待ち受け(S1:NO)、人B1の転倒状態の発生が検出された場合(S1:YES)、ステップS2に処理を進める。
In step S1, the erroneous
ステップS2において、誤検出抑制部40は、転倒状態検出部30によって人B1の転倒状態の発生が検出された検出開始タイミングから所定時間前(ここでは、15秒前)の扉前領域B3の画像をBefore画像として、RAM103に記憶する。
In step S2, the erroneous
ステップS3において、誤検出抑制部40は、転倒状態検出部30が転倒検出信号を発した状態が所定の継続判定時間だけ継続することを待ち受け(S3:NO)、所定の継続判定時間だけ継続した場合(S3:YES)、ステップS4に処理を進める。
In step S3, the erroneous
ステップS4において、誤検出抑制部40は、検出開始タイミングから継続判定時間後の扉前領域B3の画像をAfter画像として、RAM103に記憶する。
In step S4, the erroneous
ステップS5において、誤検出抑制部40は、After画像とBefore画像との間で差分画像を生成する。
In step S5, the erroneous
ステップS6において、誤検出抑制部40は、After画像とBefore画像の差分画像に基づいて、After画像とBefore画像の差分が小さいか否かを判定する。このとき、誤検出抑制部40は、例えば、図8に示すような、Before画像とAfter画像との画素値の差分のヒストグラムを生成し、画素値の差分が閾値ThP(例えば、15)よりも大きい画素が所定個(例えば、20個)未満であるか否かの判定を行う。そして、誤検出抑制部40は、After画像とBefore画像の差分が小さい場合(S6:YES)、ステップS7に処理を進め、After画像とBefore画像の差分が大きい場合(S6:NO)、ステップS8に処理を進める。
In step S6, the erroneous
ステップS7において、誤検出抑制部40は、転倒状態検出部30から発せられる転倒検出信号が誤検出であるとして、当該転倒検出信号をキャンセルする。
In step S7, the erroneous
ステップS8において、誤検出抑制部40は、転倒状態検出部30から発せられる転倒検出信号が誤検出ではないとして、当該転倒検出信号を外部の警報装置に発報する。尚、外部の警報装置は、転倒検出信号を受信するに応じて、例えば、スピーカ又はディスプレイにて人B1の転倒状態が発生したことを報知する。
In step S8, the erroneous
[効果]
以上のように、本実施形態に係る画像処理装置Uによれば、簡易な手法で、人B1の転倒状態が発生した際に、誤検出されることを抑制することができる。
[effect]
As described above, according to the image processing apparatus U according to the present embodiment, it is possible to suppress erroneous detection when the person B1 falls down using a simple method.
(その他の実施形態)
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。
(Other embodiments)
The present invention is not limited to the above-described embodiment, and various modifications are conceivable.
上記実施形態では、画像処理装置100の構成の一例として、撮像装置200とは別個に配設され、通信ネットワーク300を介して撮像装置200からの画像を取得する態様を示した。しかしながら、本発明の画像処理装置100は、撮像装置200と一体的に配設されてもよい。その場合、画像処理装置100は、撮像装置200から直接的に画像を取得する構成とすることが可能である。
In the above-described embodiment, as an example of the configuration of the
上記実施形態では、画像処理装置100の構成の一例として、画像取得部10、人領域検出部20、転倒状態検出部30、及び誤検出抑制部40の機能が一のコンピュータによって実現されるものとして記載したが、複数のコンピュータによって実現されてもよいのは勿論である。又、当該コンピュータに読み出されるプログラムやデータも、複数のコンピュータに分散して格納されてもよい。
In the above embodiment, as an example of the configuration of the
又、上記実施形態では、画像処理装置100の動作の一例として、画像取得部10、人領域検出部20、転倒状態検出部30、及び誤検出抑制部40の処理を一連のフローの中で実行されるものとして示したが、これらの処理の一部又は全部が並列で実行されるものとしてもよいのは勿論である。
Further, in the above embodiment, as an example of the operation of the
又、上記実施形態では、画像処理装置100の適用対象として、人B1を示した。しかしながら、本発明の画像処理装置100は、人B1以外の動物の転倒状態の判定にも適用可能である。
Further, in the above embodiment, the person B1 is shown as an application target of the
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。 Although specific examples of the present invention have been described in detail above, these are merely examples and do not limit the scope of the claims. The technology described in the claims includes various modifications and changes of the specific examples illustrated above.
本開示に係る画像処理装置によれば、簡易な手法で、人の転倒状態の発生に係る誤検出を抑制することが可能である。 According to the image processing device according to the present disclosure, it is possible to suppress erroneous detection related to the occurrence of a falling state of a person using a simple method.
U 行動認識システム
10 画像取得部
20 人領域検出部
30 転倒状態検出部
40 誤検出抑制部
100 画像処理装置
200 撮像装置
300 通信ネットワーク
Ball 撮像領域
B1 人
B2 扉
B3 監視対象領域
Bout 撮像領域外の領域
U
Claims (12)
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する転倒状態検出部と、
前記転倒状態検出部により前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている時点における第1画像と、前記転倒状態検出部によって前記転倒状態の発生が検出された検出開始タイミングから、所定時間前の時点の第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態検出部の検出結果が誤検出であるか否かを判定する誤検出抑制部と、
を備える、画像処理装置。 an image acquisition unit that acquires time-series images generated by an imaging device that captures an image of a monitoring target area;
a falling state detection unit that detects the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected by the overturned state detection unit, a first image at the time when the occurrence of the overturned state is detected among the time-series images, and A second image at a time point a predetermined time before the detection start timing at which the occurrence of the overturned state is detected is extracted, and the overturned state detection unit detects the overturned state based on the amount of change in the first image with respect to the second image. an erroneous detection suppression unit that determines whether the result is an erroneous detection;
An image processing device comprising:
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する転倒状態検出部と、 a falling state detection unit that detects the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
前記転倒状態検出部により前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態検出部によって前記転倒状態の発生が検出されている間であって、且つ、前記転倒状態の発生が検出された検出開始タイミングから所定の継続判定時間後の第1画像と、前記転倒状態の発生が検出されるよりも前の時点における第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態検出部の検出結果が誤検出であるか否かを判定する誤検出抑制部と、 When the occurrence of the overturned state is detected by the overturned state detection unit, the occurrence of the overturned state is detected by the overturned state detection unit in the time-series images, and A first image after a predetermined continuation determination time from the detection start timing at which the occurrence of the overturning state is detected and a second image at a time point before the occurrence of the overturning state is detected are extracted, and the second image is extracted. an erroneous detection suppression unit that determines whether or not the detection result of the overturned state detection unit is an erroneous detection, based on the amount of change in the first image with respect to the image;
を備える、画像処理装置。 An image processing device comprising:
請求項1または2に記載の画像処理装置。 The erroneous detection suppressing unit determines that the detection result of the overturning state detecting unit is erroneous detection when the amount of change in the first image with respect to the second image is less than a predetermined value. If the amount of change in the first image relative to the
The image processing apparatus according to claim 1 or 2 .
請求項1乃至3のいずれか一項に記載の画像処理装置。 The monitoring target area is an area adjacent to a door for the target person to exit from the imaging area to the outside of the imaging area, out of the entire imaging area imaged by the imaging device.
The image processing apparatus according to any one of claims 1 to 3 .
請求項1乃至4のいずれか一項に記載の画像処理装置。 Further comprising a human region detection unit that detects whether or not the target person exists in the monitoring target region based on the time-series images,
The image processing apparatus according to any one of claims 1 to 4 .
請求項5に記載の画像処理装置。 The erroneous detection suppressing unit selects, from among the time-series images, an image at a time when the target person is not detected in the monitoring target area as the second image.
The image processing apparatus according to claim 5 .
請求項2、および請求項2に従属する請求項3乃至6のいずれか一項に記載の画像処理装置。 The erroneous detection suppressing unit selects, from among the time-series images, an image at a point in time a predetermined time before the detection start timing at which the occurrence of the overturned state is detected by the overturned state detection unit, as the second image. do,
An image processing apparatus according to claim 2 and any one of claims 3 to 6 depending on claim 2 .
請求項1、および請求項1に従属する請求項3乃至6のいずれか一項に記載の画像処理装置。 The erroneous detection suppression unit controls detection start timing at which the occurrence of the overturning state is detected while the occurrence of the overturning state is being detected by the overturning state detection unit in the time-series images. selecting an image after a predetermined continuation determination time from as the first image;
7. An image processing apparatus according to claim 1 and any one of claims 3 to 6 depending on claim 1 .
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出し、
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている時点における第1画像と、前記転倒状態の発生が検出された検出開始タイミングから、所定時間前の時点の第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する、
画像処理装置の制御方法。 Acquiring time-series images generated by an imaging device that captures an image of a monitored area,
detecting the occurrence of a falling state of a subject existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected, the first image at the time when the occurrence of the overturned state is detected among the time-series images, and from the detection start timing at which the occurrence of the overturned state is detected. , extracting a second image at a point in time a predetermined time ago , and determining whether or not the occurrence of the falling state is an erroneous detection based on the amount of change in the first image with respect to the second image;
A control method for an image processing device.
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出し、 detecting the occurrence of a falling state of a subject existing in the monitoring target area based on the time-series images;
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている間であって、且つ、前記転倒状態の発生が検出された検出開始タイミングから所定の継続判定時間後の第1画像と、前記転倒状態の発生が検出されるよりも前の時点における第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する、 When the occurrence of the overturned state is detected, the period during which the occurrence of the overturned state is detected in the time-series images and from the detection start timing at which the occurrence of the overturned state is detected extracting a first image after a predetermined continuation determination time and a second image at a point in time before the occurrence of the overturned state is detected, and based on a change of the first image with respect to the second image; , determining whether the occurrence of the falling state is an erroneous detection;
画像処理装置の制御方法。 A control method for an image processing device.
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得する処理と、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する処理と、
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている時点における第1画像と、前記転倒状態の発生が検出された検出開始タイミングから、所定時間前の時点の第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する処理と、
を実行させる画像処理装置の制御プログラム。 to the computer,
A process of acquiring time-series images generated by an imaging device that captures an image of a monitoring target area;
a process of detecting the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected, the first image at the time when the occurrence of the overturned state is detected among the time-series images, and from the detection start timing at which the occurrence of the overturned state is detected. , a process of extracting a second image at a point in time a predetermined time ago , and determining whether or not the occurrence of the overturned state is an erroneous detection based on the amount of change of the first image with respect to the second image;
A control program for an image processing apparatus that executes
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得する処理と、 A process of acquiring time-series images generated by an imaging device that captures an image of a monitoring target area;
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する処理と、 a process of detecting the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている間であって、且つ、前記転倒状態の発生が検出された検出開始タイミングから所定の継続判定時間後の第1画像と、前記転倒状態の発生が検出されるよりも前の時点における第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する処理と、 When the occurrence of the overturned state is detected, the period during which the occurrence of the overturned state is detected in the time-series images and from the detection start timing at which the occurrence of the overturned state is detected extracting a first image after a predetermined continuation determination time and a second image at a point in time before the occurrence of the overturned state is detected, and based on a change of the first image with respect to the second image; , a process of determining whether the occurrence of the falling state is an erroneous detection;
を実行させる画像処理装置の制御プログラム。 A control program for an image processing apparatus that executes
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019100167A JP7275863B2 (en) | 2019-05-29 | 2019-05-29 | Image processing device, image processing device control method, and image processing device control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019100167A JP7275863B2 (en) | 2019-05-29 | 2019-05-29 | Image processing device, image processing device control method, and image processing device control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020195077A JP2020195077A (en) | 2020-12-03 |
JP7275863B2 true JP7275863B2 (en) | 2023-05-18 |
Family
ID=73548073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019100167A Active JP7275863B2 (en) | 2019-05-29 | 2019-05-29 | Image processing device, image processing device control method, and image processing device control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7275863B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000059762A (en) | 1998-08-07 | 2000-02-25 | Canon Inc | Camera controller, method and computer-readable storage medium thereof |
JP2000207665A (en) | 1999-01-18 | 2000-07-28 | Matsushita Electric Works Ltd | Falling detecting device |
JP2002279428A (en) | 2001-03-15 | 2002-09-27 | Noritz Corp | Device for detecting human body |
-
2019
- 2019-05-29 JP JP2019100167A patent/JP7275863B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000059762A (en) | 1998-08-07 | 2000-02-25 | Canon Inc | Camera controller, method and computer-readable storage medium thereof |
JP2000207665A (en) | 1999-01-18 | 2000-07-28 | Matsushita Electric Works Ltd | Falling detecting device |
JP2002279428A (en) | 2001-03-15 | 2002-09-27 | Noritz Corp | Device for detecting human body |
Also Published As
Publication number | Publication date |
---|---|
JP2020195077A (en) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5832910B2 (en) | Image monitoring device | |
JP2017536880A5 (en) | ||
KR20060051247A (en) | Image processing apparatus and image processing method | |
WO2016021147A1 (en) | Image processing system for detecting retention of moving body from image, image processing method, and recording medium | |
JP6803525B2 (en) | Face detection device, face detection system equipped with this, and face detection method | |
JP3063504B2 (en) | Image data feature detection device | |
JP5470187B2 (en) | Image processing apparatus and object detection apparatus | |
JP2017168105A5 (en) | ||
KR101860062B1 (en) | Fall detection system and method | |
JP5771039B2 (en) | Abandoned person detection device | |
JP7275863B2 (en) | Image processing device, image processing device control method, and image processing device control program | |
US11288817B2 (en) | Image processing device, stationary object tracking system, image processing method, and recording medium | |
JP2010199865A (en) | Abnormality detection system, abnormality detection method, and abnormality detection program | |
JP4740755B2 (en) | Monitoring device using images | |
JP4707019B2 (en) | Video surveillance apparatus and method | |
JP6000762B2 (en) | Image monitoring device | |
JP2005025313A (en) | System for detecting stayer | |
JP5573387B2 (en) | Monitoring device, monitoring program, and monitoring method | |
JP2014229034A (en) | Fire detection device and fire detection method | |
JP3957495B2 (en) | Image sensor | |
US20230222833A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JPH0731248B2 (en) | Moving object detector | |
JP2015046811A (en) | Image sensor | |
JPH09259370A (en) | Fire detection device | |
TWI813297B (en) | Method for motion detection and circuit system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190708 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191016 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7275863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |