JP7275863B2 - Image processing device, image processing device control method, and image processing device control program - Google Patents

Image processing device, image processing device control method, and image processing device control program Download PDF

Info

Publication number
JP7275863B2
JP7275863B2 JP2019100167A JP2019100167A JP7275863B2 JP 7275863 B2 JP7275863 B2 JP 7275863B2 JP 2019100167 A JP2019100167 A JP 2019100167A JP 2019100167 A JP2019100167 A JP 2019100167A JP 7275863 B2 JP7275863 B2 JP 7275863B2
Authority
JP
Japan
Prior art keywords
image
time
occurrence
state
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019100167A
Other languages
Japanese (ja)
Other versions
JP2020195077A (en
Inventor
修司 一谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2019100167A priority Critical patent/JP7275863B2/en
Publication of JP2020195077A publication Critical patent/JP2020195077A/en
Application granted granted Critical
Publication of JP7275863B2 publication Critical patent/JP7275863B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Description

本開示は、画像処理装置、画像処理装置の制御方法、及び画像処理装置の制御プログラムに関する。 The present disclosure relates to an image processing device, a control method for an image processing device, and a control program for an image processing device.

従来、取得した画像から人の行動を認識する画像処理装置が知られている(例えば、特許文献1を参照)。 2. Description of the Related Art Conventionally, there is known an image processing device that recognizes human behavior from an acquired image (see Patent Document 1, for example).

国際公開第2016/181837号WO2016/181837

ところで、この種の画像処理装置においては、例えば、高齢者介護見守りの現場における事故の早期発見の観点等から、人の転倒状態の発生を正確に検出する要請がある。 By the way, in this type of image processing apparatus, for example, from the viewpoint of early detection of an accident at the site of nursing care for the elderly, there is a demand for accurately detecting the occurrence of a falling state of a person.

従来、この種の画像処理装置においては、時系列の画像から検出される人の姿勢の時間的変化から、人の転倒状態の発生を検出している。しかしながら、この種の画像処理装置が適用される場面は、種々あり、認識対象の人の周囲には、種々の周辺物体が存在する。 Conventionally, in this type of image processing apparatus, the occurrence of a falling state of a person is detected from temporal changes in the posture of the person detected from time-series images. However, there are various situations in which this type of image processing apparatus is applied, and various peripheral objects exist around a person to be recognized.

そのため、従来技術に係る画像処理装置においては、人と周辺物体とを識別できず、当該人の転倒状態の発生を誤検出するおそれがあった。特に、従来技術に係る画像処理装置においては、人が扉を介して撮像装置による撮像領域外に退出する場合や、人が障害物の陰に隠れた場合には、人と扉とを一体的に認識してしまうおそれがある。その結果、従来技術に係る画像処理装置においては、人が画像内の一地点に止まったように認識し、当該人が転倒状態となったものと認識してしまうおそれがあった。 Therefore, in the image processing apparatus according to the related art, there is a possibility that the person cannot be distinguished from the surrounding objects, and that the occurrence of the falling state of the person concerned is erroneously detected. In particular, in the image processing apparatus according to the related art, when a person leaves the imaging area of the imaging device through the door, or when the person is hidden behind an obstacle, the person and the door are integrated. may be recognized by As a result, the conventional image processing apparatus may recognize that the person has stopped at one point in the image, and may recognize that the person has fallen.

本開示は、上記問題点に鑑みてなされたもので、簡易な手法で、人の転倒状態の発生に係る誤検出を抑制し得る画像処理装置、画像処理装置の制御方法、及び画像処理装置の制御プログラムを提供することを目的とする。 The present disclosure has been made in view of the above problems, and an image processing device, a control method for the image processing device, and an image processing device that can suppress erroneous detection related to the occurrence of a falling state of a person with a simple method. The purpose is to provide a control program.

前述した課題を解決する主たる本開示は、
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得する画像取得部と、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する転倒状態検出部と、
前記転倒状態検出部により前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている時点における第1画像と、前記転倒状態検出部によって前記転倒状態の発生が検出された検出開始タイミングから、所定時間前の時点の第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態検出部の検出結果が誤検出であるか否かを判定する誤検出抑制部と、
を備える、画像処理装置である。
又、他の局面では、
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得する画像取得部と、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する転倒状態検出部と、
前記転倒状態検出部により前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態検出部によって前記転倒状態の発生が検出されている間であって、且つ、前記転倒状態の発生が検出された検出開始タイミングから所定の継続判定時間後の第1画像と、前記転倒状態の発生が検出されるよりも前の時点における第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態検出部の検出結果が誤検出であるか否かを判定する誤検出抑制部と、
を備える、画像処理装置である。
The main disclosure that solves the above-mentioned problems is
an image acquisition unit that acquires time-series images generated by an imaging device that captures an image of a monitoring target area;
a falling state detection unit that detects the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected by the overturned state detection unit, a first image at the time when the occurrence of the overturned state is detected among the time-series images, and A second image at a time point a predetermined time before the detection start timing at which the occurrence of the overturned state is detected is extracted, and the overturned state detection unit detects the overturned state based on the amount of change in the first image with respect to the second image. an erroneous detection suppression unit that determines whether the result is an erroneous detection;
An image processing device comprising:
Also, in other aspects,
an image acquisition unit that acquires time-series images generated by an imaging device that captures an image of a monitoring target area;
a falling state detection unit that detects the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected by the overturned state detection unit, the occurrence of the overturned state is detected by the overturned state detection unit in the time-series images, and A first image after a predetermined continuation determination time from the detection start timing at which the occurrence of the overturning state is detected and a second image at a time point before the occurrence of the overturning state is detected are extracted, and the second image is extracted. an erroneous detection suppression unit that determines whether or not the detection result of the overturned state detection unit is an erroneous detection, based on the amount of change in the first image with respect to the image;
An image processing device comprising:

又、他の局面では、
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得し、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出し、
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている時点における第1画像と、前記転倒状態の発生が検出された検出開始タイミングから、所定時間前の時点の第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する、
画像処理装置の制御方法である。
又、他の局面では、
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得し、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出し、
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている間であって、且つ、前記転倒状態の発生が検出された検出開始タイミングから所定の継続判定時間後の第1画像と、前記転倒状態の発生が検出されるよりも前の時点における第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する、
画像処理装置の制御方法である。
Also, in other aspects,
Acquiring time-series images generated by an imaging device that captures an image of a monitored area,
detecting the occurrence of a falling state of a subject existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected, the first image at the time when the occurrence of the overturned state is detected among the time-series images, and from the detection start timing at which the occurrence of the overturned state is detected. , extracting a second image at a point in time a predetermined time ago , and determining whether or not the occurrence of the falling state is an erroneous detection based on the amount of change in the first image with respect to the second image;
A control method for an image processing apparatus.
Also, in other aspects,
Acquiring time-series images generated by an imaging device that captures an image of a monitored area,
detecting the occurrence of a falling state of a subject existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected, the period during which the occurrence of the overturned state is detected in the time-series images and from the detection start timing at which the occurrence of the overturned state is detected extracting a first image after a predetermined continuation determination time and a second image at a point in time before the occurrence of the overturned state is detected, and based on a change of the first image with respect to the second image; , determining whether the occurrence of the falling state is an erroneous detection;
A control method for an image processing apparatus.

又、他の局面では、
コンピュータに、
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得する処理と、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する処理と、
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている時点における第1画像と、前記転倒状態の発生が検出された検出開始タイミングから、所定時間前の時点の第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する処理と、
を実行させる画像処理装置の制御プログラムである。
又、他の局面では、
コンピュータに、
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得する処理と、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する処理と、
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている間であって、且つ、前記転倒状態の発生が検出された検出開始タイミングから所定の継続判定時間後の第1画像と、前記転倒状態の発生が検出されるよりも前の時点における第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する処理と、
を実行させる画像処理装置の制御プログラムである。
Also, in other aspects,
to the computer,
A process of acquiring time-series images generated by an imaging device that captures an image of a monitoring target area;
a process of detecting the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected, the first image at the time when the occurrence of the overturned state is detected among the time-series images, and from the detection start timing at which the occurrence of the overturned state is detected. , a process of extracting a second image at a point in time a predetermined time ago , and determining whether or not the occurrence of the overturned state is an erroneous detection based on the amount of change of the first image with respect to the second image;
is a control program for an image processing apparatus that executes
Also, in other aspects,
to the computer,
A process of acquiring time-series images generated by an imaging device that captures an image of a monitoring target area;
a process of detecting the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected, the period during which the occurrence of the overturned state is detected in the time-series images and from the detection start timing at which the occurrence of the overturned state is detected extracting a first image after a predetermined continuation determination time and a second image at a point in time before the occurrence of the overturned state is detected, and based on a change of the first image with respect to the second image; , a process of determining whether the occurrence of the falling state is an erroneous detection;
is a control program for an image processing apparatus that executes

本開示に係る画像処理装置によれば、簡易な手法で、人の転倒状態の発生に係る誤検出を抑制することが可能である。 According to the image processing device according to the present disclosure, it is possible to suppress erroneous detection related to the occurrence of a falling state of a person using a simple method.

一実施形態に係る行動認識システムの一例を示す図A diagram showing an example of an action recognition system according to an embodiment. 一実施形態に係る画像処理装置のハードウェア構成の一例を示す図1 is a diagram showing an example of the hardware configuration of an image processing apparatus according to an embodiment; FIG. 一実施形態に係る画像処理装置の機能ブロックの一例を示す図1 is a diagram showing an example of functional blocks of an image processing apparatus according to an embodiment; FIG. 一実施形態に係る人領域検出部が検出する画像中における人領域の一例を示す図FIG. 4 is a diagram showing an example of a human region in an image detected by a human region detection unit according to one embodiment; 一実施形態に係る誤検出抑制部が誤検出抑制の判定対象とする監視対象領域の一例を示す図FIG. 4 is a diagram showing an example of a monitoring target area to be determined for erroneous detection suppression by an erroneous detection suppression unit according to an embodiment; 一実施形態に係る誤検出抑制部の判定処理の一例について説明する図FIG. 4 is a diagram illustrating an example of determination processing of an erroneous detection suppressing unit according to an embodiment; 一実施形態に係る誤検出抑制部の判定処理の一例について説明する図FIG. 4 is a diagram illustrating an example of determination processing of an erroneous detection suppressing unit according to an embodiment; 一実施形態に係る誤検出抑制部がBefore画像に対するAfter画像の変化分を求める手法の一例を説明する図FIG. 5 is a diagram illustrating an example of a method of obtaining a change amount of an after image with respect to a before image by an erroneous detection suppressing unit according to one embodiment; 一実施形態に係る誤検出抑制部の動作の一例を示すフローチャート4 is a flow chart showing an example of the operation of an erroneous detection suppression unit according to an embodiment;

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Preferred embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. In the present specification and drawings, constituent elements having substantially the same functional configuration are denoted by the same reference numerals, thereby omitting redundant description.

[行動認識システムの全体構成]
以下、図1~図3を参照して、一実施形態に係る行動認識システムUの全体構成について説明する。
[Overall Configuration of Action Recognition System]
Hereinafter, the overall configuration of an action recognition system U according to one embodiment will be described with reference to FIGS. 1 to 3. FIG.

図1は、本実施形態に係る行動認識システムUの一例を示す図である。 FIG. 1 is a diagram showing an example of an action recognition system U according to this embodiment.

本実施形態に係る行動認識システムUは、画像処理装置100、撮像装置200、通信ネットワーク300を備えている。 An action recognition system U according to this embodiment includes an image processing device 100 , an imaging device 200 and a communication network 300 .

撮像装置200は、例えば、一般的なカメラや広角カメラであり、カメラの撮像素子が生成した画像信号をAD変換して、画像データを生成する。本実施形態に係る撮像装置200は、フレーム単位の画像データを連続的に生成して、時系列の画像データ(即ち、動画像のデータ)を撮像可能に構成されている。 The imaging device 200 is, for example, a general camera or a wide-angle camera, and AD-converts an image signal generated by an imaging element of the camera to generate image data. The image capturing apparatus 200 according to the present embodiment is configured to continuously generate image data in frame units and capture time-series image data (that is, moving image data).

撮像装置200は、例えば、部屋内の適宜な位置に設置される。そして、撮像装置200は、人B1(本発明の「対象者」に相当)が撮像領域(ここでは、部屋)から撮像領域外(ここでは、部屋に隣接するトイレ)に退出するための扉B2が画像内に映るように、設置されている。 The imaging device 200 is installed, for example, at an appropriate position in the room. Then, the imaging device 200 has a door B2 for the person B1 (corresponding to the “subject” of the present invention) to exit from the imaging area (here, the room) to the outside of the imaging area (here, the toilet adjacent to the room). is installed so that is reflected in the image.

撮像装置200は、通信ネットワーク300を介して、画像処理装置100に対して動画像のデータを送信する。 The imaging device 200 transmits moving image data to the image processing device 100 via the communication network 300 .

画像処理装置100は、撮像装置200で生成された画像のデータに基づいて、当該画像に映る人B1の行動を判別して、その判別結果を出力する装置である。 The image processing device 100 is a device that determines the behavior of the person B1 appearing in the image based on the data of the image generated by the imaging device 200 and outputs the determination result.

図2は、本実施形態に係る画像処理装置100のハードウェア構成の一例を示す図である。 FIG. 2 is a diagram showing an example of the hardware configuration of the image processing apparatus 100 according to this embodiment.

画像処理装置100は、主たるコンポーネントとして、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、外部記憶装置(例えば、フラッシュメモリ)104、及び通信インターフェイス105等を備えたコンピュータである。 The image processing apparatus 100 includes, as main components, a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an external storage device (for example, a flash memory) 104, a communication interface 105, and the like. is a computer with

画像処理装置100の後述する各機能は、例えば、CPU101がROM102、RAM103、外部記憶装置104等に記憶された制御プログラム(例えば、画像処理プログラム)や各種データ(例えば、画像データ)を参照することによって実現される。尚、RAM102は、例えば、データの作業領域や一時退避領域として機能する。 For each function of the image processing apparatus 100, which will be described later, for example, the CPU 101 refers to control programs (eg, image processing programs) and various data (eg, image data) stored in the ROM 102, the RAM 103, the external storage device 104, and the like. realized by The RAM 102 functions, for example, as a data work area and a temporary save area.

但し、画像処理装置100の各機能は、CPU101による処理に代えて、又は、これと共に、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)又はFPGA(Field-Programmable Gate Array)等で構成されたデジタル演算回路によって実現されてもよい。 However, each function of the image processing apparatus 100 is configured by a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or the like, instead of or together with the processing by the CPU 101. may be implemented by a digital arithmetic circuit.

図3は、本実施形態に係る画像処理装置100の機能ブロックの一例を示す図である。 FIG. 3 is a diagram showing an example of functional blocks of the image processing apparatus 100 according to this embodiment.

画像処理装置100は、画像取得部10、人領域検出部20、転倒状態検出部30、及び誤検出抑制部40を備えている。 The image processing apparatus 100 includes an image acquisition section 10 , a human region detection section 20 , a falling state detection section 30 , and an erroneous detection suppression section 40 .

[画像取得部]
画像取得部10は、撮像装置200から、当該撮像装置200が生成した画像データ(以下、「画像」と略称する)を取得する。そして、画像取得部10は、撮像装置200に連続的に生成される時系列の画像を順次取得する。
[Image Acquisition Unit]
The image acquisition unit 10 acquires image data (hereinafter abbreviated as “image”) generated by the imaging device 200 from the imaging device 200 . Then, the image acquisition unit 10 sequentially acquires time-series images that are continuously generated by the imaging device 200 .

尚、画像取得部10が撮像装置200から取得した画像は、RAM103等に、所定時間(例えば、1分間)の間、一時記憶される。 The image acquired by the image acquiring unit 10 from the imaging device 200 is temporarily stored in the RAM 103 or the like for a predetermined period of time (for example, one minute).

[人領域検出部]
人領域検出部20は、画像取得部10が取得した時系列の画像に対して所定の演算処理を施して、画像に映る人B1を含む領域(以下、「人領域」と称する)を検出する。
[Human area detector]
The human region detection unit 20 performs predetermined arithmetic processing on the time-series images acquired by the image acquisition unit 10, and detects a region including the person B1 in the image (hereinafter referred to as a “human region”). .

図4は、人領域検出部20が検出する画像中における人領域の一例を示す図である。尚、図4中において、Rallは画像の全画像領域、R1は画像中における人領域を表している。 FIG. 4 is a diagram showing an example of a human area in an image detected by the human area detection unit 20. As shown in FIG. In FIG. 4, Rall represents the entire image area of the image, and R1 represents the human area in the image.

人領域検出部20は、例えば、時系列の画像それぞれについて、前のタイミングの画像からの差分画像を検出し、当該差分画像から人領域R1を検出する。そして、人領域検出部20は、例えば、画像中に人B1が検出された領域を含む矩形領域を人領域R1と設定する。 For example, for each time-series image, the human region detection unit 20 detects a difference image from the image at the previous timing, and detects the human region R1 from the difference image. Then, the human region detection unit 20 sets, for example, a rectangular region including the region in which the person B1 is detected in the image as the human region R1.

但し、人領域検出部20が領域R1を検出する手法としては、その他、学習済みのニューラルネットワーク、テンプレートマッチング、HOG(Histograms of Oriented Gradients)特徴量、又はSVM(Support Vector Machine)等の手法であってもよい。 However, other methods for detecting the region R1 by the human region detection unit 20 include methods such as trained neural networks, template matching, HOG (Histograms of Oriented Gradients) feature quantity, and SVM (Support Vector Machine). may

[転倒状態検出部]
転倒状態検出部30は、画像取得部10が取得した時系列の画像に基づいて、当該画像中に映る人B1の転倒状態の発生を検出する。
[Tumble state detector]
Based on the time-series images acquired by the image acquiring unit 10, the overturning state detection unit 30 detects the occurrence of the overturning state of the person B1 appearing in the images.

転倒状態検出部30は、例えば、人領域検出部20によって検出された人領域R1の時間的変化に基づいて、人B1の転倒状態が発生したか否かを判定する。この際、転倒状態検出部30は、例えば、単位時間当たり人領域R1の変化量を用いて、人B1の転倒状態が発生しているか否かを判定する。具体的には、転倒状態検出部30は、所定数フレーム毎に人領域検出部20によって検出された人領域R1の差分を算出し、単位時間当たり人領域R1の変化量が大きい場合には、人B1の転倒状態が発生していないと判定し、単位時間当たり人領域R1の変化量が小さい場合には、人B1の転倒状態が発生したと判定する。かかる判断基準は、単位時間当たり人領域R1の変化量が大きい場合には、人B1が歩行等の動作を行っているため、人B1が転倒状態ではない一方で、単位時間当たり人領域R1の変化量が小さい場合には、人B1が動作を行わない状態となるため、人B1が転倒状態である、とのものである。 The fall state detection unit 30 determines whether or not the person B1 has fallen, based on the temporal change of the human region R1 detected by the human region detection unit 20, for example. At this time, the overturning state detection unit 30 determines whether or not the overturning state of the person B1 has occurred, for example, using the amount of change in the person region R1 per unit time. Specifically, the falling state detection unit 30 calculates the difference between the human regions R1 detected by the human region detection unit 20 every predetermined number of frames. It is determined that the overturned state of the person B1 has not occurred, and if the amount of change in the person region R1 per unit time is small, it is determined that the overturned state of the person B1 has occurred. This determination criterion is that when the amount of change in the person region R1 per unit time is large, the person B1 is not falling over because the person B1 is performing an action such as walking. When the amount of change is small, the person B1 does not move, and therefore the person B1 is in a falling state.

尚、転倒状態検出部30は、この際、画像内における人領域R1の形状を更に参照してもよい。この場合、転倒状態検出部30は、例えば、上記条件に加えて、各画像内における人領域R1の形状が床面と平行に延びた状態である場合には、人B1が転倒状態であると判定する。 At this time, the overturned state detection unit 30 may further refer to the shape of the human region R1 in the image. In this case, for example, in addition to the above conditions, if the shape of the person region R1 in each image extends parallel to the floor surface, the falling state detection unit 30 determines that the person B1 is in a falling state. judge.

そして、転倒状態検出部30は、人B1の転倒状態が発生したことを検出した場合には、外部の警報装置(図示せず)に発報するべく、その旨を示す転倒検出信号を誤検出抑制部40に送信する。尚、転倒状態検出部30は、画像取得部10が逐次的に取得する画像において、人B1の転倒状態の発生が検出されている間、転倒検出信号を継続的に誤検出抑制部40に送信する。 When the overturn detection unit 30 detects that the overturn of the person B1 has occurred, the overturn detection unit 30 erroneously detects a fall detection signal to notify an external alarm device (not shown). It is transmitted to the suppression unit 40 . Note that the fall detection unit 30 continuously transmits the fall detection signal to the erroneous detection suppression unit 40 while the falling state of the person B1 is being detected in the images sequentially acquired by the image acquisition unit 10. do.

尚、転倒状態検出部30が人B1の転倒状態の発生を検出する手法は、任意である。例えば、転倒状態検出部30は、学習済みの再帰型ニューラルネットワークを用いて、時系列の画像から、直接、人B1の転倒状態の発生を検出してもよい。 Note that any method may be used by the falling state detection unit 30 to detect the occurrence of the falling state of the person B1. For example, the falling state detection unit 30 may detect the occurrence of the falling state of the person B1 directly from time-series images using a learned recursive neural network.

[誤検出抑制部]
誤検出抑制部40は、転倒状態検出部30により人B1の転倒状態の発生が検出されたとき(即ち、転倒状態検出部30が転倒検出信号を発したとき)に、転倒状態検出部30が正確に検出しているのか又は誤検出しているのかを確認する。
[False detection suppressor]
The erroneous detection suppression unit 40 is configured so that when the fall state detection unit 30 detects that the person B1 is falling (that is, when the fall state detection unit 30 issues a fall detection signal), the fall state detection unit 30 Check whether it is detected correctly or falsely detected.

上記したように、この種の画像処理装置Uにおいては、撮像装置200の視点から、人B1が障害物(ここでは、扉B2)の陰に入ったときには、画像上、人B1が障害物と一体的に映るため、人B1と障害物とを識別できない状態が発生する場合がある。このとき、時系列の画像に基づいて、その画像の時間的変化からB1の転倒状態の発生を検出する手法を用いた場合(例えば、画像差分法)、人B1が障害物の陰に隠れて画像に変化がなくなった状況(例えば、人が扉の向こう側に移動した)を、人B1が転倒して画像に変化がなくなった状況、すなわち、単位時間当たりの変化量が小さくなった状況と誤認識してしまうおそれがある。誤検出抑制部40は、かかる状態に起因する誤検出を抑制する。 As described above, in this type of image processing apparatus U, when the person B1 enters the shadow of an obstacle (here, the door B2) from the viewpoint of the imaging device 200, the person B1 appears as an obstacle in the image. Since the images are displayed integrally, a state in which the person B1 and the obstacle cannot be identified may occur. At this time, when using a method of detecting the occurrence of the overturned state of B1 from the temporal change of the images based on the time-series images (for example, the image difference method), the person B1 is hidden behind the obstacle. A situation in which there is no change in the image (for example, the person moved to the other side of the door) is a situation in which the person B1 falls and the image does not change, that is, a situation in which the amount of change per unit time becomes small. There is a risk of erroneous recognition. The erroneous detection suppression unit 40 suppresses erroneous detection caused by such a state.

図5は、誤検出抑制部40が誤検出抑制の判定対象とする監視対象領域の一例を示す図である。 FIG. 5 is a diagram showing an example of a monitoring target area to be determined for erroneous detection suppression by the erroneous detection suppression unit 40 .

図5において、Ballは撮像領域(即ち、撮像装置200が撮像する画像に映る全領域)、Boutは撮像領域Ball外の領域(ここでは、部屋に隣接したトイレ領域)、B2は人B1が撮像領域Ballから撮像領域外Boutに出るための扉、B3は監視対象領域を表す。 In FIG. 5, Ball is an imaging area (that is, the entire area shown in the image captured by the imaging device 200), Bout is an area outside the imaging area Ball (here, a toilet area adjacent to the room), and B2 is an image of the person B1. A door for exiting from the area Ball to Bout outside the imaging area, B3 represents a monitoring target area.

ここで、誤検出抑制部40において、扉B2の前の領域(即ち、扉B2に隣接する領域)が監視対象領域B3(以下、「扉前領域B3」とも称する)に設定されているのは、上記したように、人B1が扉B2を介して撮像領域Ballから撮像領域外Boutに退出する際に、転倒状態検出部30による誤検出が発生するおそれがあるためである。 Here, in the erroneous detection suppression unit 40, the area in front of the door B2 (ie, the area adjacent to the door B2) is set as the monitoring target area B3 (hereinafter also referred to as the "door front area B3"). This is because, as described above, when the person B1 leaves the imaging area Ball to the outside of the imaging area Bout through the door B2, there is a possibility that the overturned state detection unit 30 may make an erroneous detection.

図6及び図7は、誤検出抑制部40の判定処理の一例について説明する図である。 6 and 7 are diagrams for explaining an example of determination processing of the erroneous detection suppression unit 40. FIG.

図6及び図7は、いずれも、人B1が撮像領域Ballから撮像領域外Boutに退出する際の撮像領域Ballの時系列の状態遷移を表している。ここで、図6は、転倒状態検出部30によって検出された人B1の転倒状態が誤検出でない場合における、撮像領域Ballの時系列の状態遷移を表し、図7は、転倒状態検出部30によって検出された人B1の転倒状態が誤検出である場合における、撮像領域Ballの状態遷移を表している。 6 and 7 both show time-series state transitions of the imaging region Ball when the person B1 leaves the imaging region Ball to outside the imaging region Bout. Here, FIG. 6 shows time-series state transitions of the imaging region Ball when the fall state of the person B1 detected by the fall state detection unit 30 is not an erroneous detection, and FIG. The state transition of the imaging area Ball is shown when the detected falling state of the person B1 is erroneously detected.

尚、図6及び図7のタイミングT3は、転倒状態検出部30によって人B1の転倒状態の発生が検出されたタイミングである。又、タイミングT1は、タイミングT3の15秒前のタイミングである。又、タイミングT4は、転倒状態検出部30によって人B1の転倒状態の発生が検出されたタイミングから3秒後のタイミングである。又、タイミングT2は、タイミングT1とタイミングT3の間のタイミングである。 Note that the timing T3 in FIGS. 6 and 7 is the timing at which the falling state detection unit 30 detects the falling state of the person B1. Timing T1 is timing 15 seconds before timing T3. Timing T4 is the timing after three seconds from the timing at which the overturning state detection unit 30 detects the overturning state of the person B1. Timing T2 is a timing between timing T1 and timing T3.

具体的には、誤検出抑制部40は、画像取得部10が取得する時系列の画像のうち、転倒状態検出部30によって人B1の転倒状態の発生が検出されている時点における第1画像(以下、「After画像」と称する)(例えば、タイミングT4の状態の画像)と、転倒状態検出部30によって人B1の転倒状態の発生が検出されるよりも前の監視対象領域B3に人が侵入していない時点における第2画像(以下、「Before画像」と称する)(例えば、タイミングT1の状態の画像)とを比較する。そして、誤検出抑制部40は、After画像とBefore画像の変化分が小さい場合には、転倒検出信号が誤検出であると判定し、その変化分が大きい場合には、転倒検出信号が誤検出ではないと判定する。 Specifically, the erroneous detection suppressing unit 40 selects the first image ( hereinafter referred to as an “after image”) (for example, an image at timing T4), and a person entering the monitoring target region B3 before the fall state detection unit 30 detects the occurrence of the fall state of the person B1. A second image (hereinafter referred to as a “before image”) (for example, an image at timing T1) is compared with the second image at the time when the image has not been taken. Then, the erroneous detection suppression unit 40 determines that the fall detection signal is erroneously detected when the amount of change between the After image and the Before image is small, and determines that the fall detection signal is erroneously detected when the amount of change is large. determine that it is not.

そして、誤検出抑制部40は、転倒検出信号が誤検出ではないと判定した場合には、当該転倒検出信号を外部の警報装置(図示せず)にそのまま送信し、転倒検出信号が誤検出であると判定した場合には、転倒検出信号を外部の警報装置(図示せず)に送信することを抑制する。 When the erroneous detection suppressing unit 40 determines that the fall detection signal is not erroneously detected, the erroneous detection signal is transmitted to an external alarm device (not shown) as it is so that the fall detection signal is not erroneously detected. If it is determined that there is, the transmission of the fall detection signal to an external alarm device (not shown) is suppressed.

通常、人B1の転倒状態が発生しているときには、画像上の扉前領域B3に人B1が映った状態となる(例えば、図6のタイミングT4の状態の画像)一方で、人B1の転倒状態が発生していないときには、人B1は、撮像領域Ballから撮像領域外Boutに退出してしまっているため、画像上の扉前領域B3に人B1が映っていない状態となる(例えば、図7のタイミングT4の状態の画像)。誤検出抑制部40は、かかる基本的な画像特徴を利用して、上記の判定処理を行う。 Normally, when the person B1 falls, the person B1 appears in the area B3 in front of the door on the image (for example, the image at the timing T4 in FIG. 6). When the state does not occur, the person B1 has left the imaging area Ball to the outside of the imaging area Bout. 7) in the state of timing T4). The erroneous detection suppressing unit 40 performs the above determination processing using such basic image features.

ここで、誤検出抑制部40が参照する「Before画像」は、扉前領域B3に人B1が存在しない状態の画像であり、例えば、画像取得部10が取得する時系列の画像のうち、転倒状態検出部30によって人B1の転倒状態の発生が検出された検出開始タイミングから、所定時間前(例えば、15秒前)に遡ったタイミングの画像である。この際、検出開始タイミングから遡る「所定時間」は、比較対象として設定する扉前領域B3のサイズや、基準とする人の動作スピード等によって適宜変更可能である。 Here, the “Before image” referred to by the false detection suppressing unit 40 is an image in which the person B1 does not exist in the door front area B3. This is an image taken at a timing before a predetermined time (for example, 15 seconds before) from the detection start timing at which the state detection unit 30 detects the occurrence of the falling state of the person B1. At this time, the "predetermined time" that goes back from the detection start timing can be appropriately changed depending on the size of the door front region B3 set as a comparison target, the motion speed of a person as a reference, and the like.

但し、より好適には、誤検出抑制部40は、人領域検出部20の検出結果に基づいて、画像取得部10が取得する時系列の画像のうち、人領域検出部20にて扉前領域B3に人が検出されていないときの画像を、「Before画像」として選択する。これによって、確実に、扉前領域B3に人が存在しない状態の画像を、Before画像として選択することが可能である。 However, more preferably, the erroneous detection suppressing unit 40 detects the door front region by the human region detecting unit 20 among the time-series images acquired by the image acquiring unit 10 based on the detection result of the human region detecting unit 20 . An image when no person is detected in B3 is selected as a "Before image". As a result, it is possible to reliably select an image in which no person is present in the door front area B3 as the Before image.

誤検出抑制部40が参照する「After画像」は、例えば、画像取得部10が取得する時系列の画像のうち、転倒状態検出部30によって人B1の転倒状態の発生が検出されているときの画像である。 The "after image" referred to by the erroneous detection suppressing unit 40 is, for example, the time-series image obtained by the image obtaining unit 10, which is obtained when the falling state of the person B1 is detected by the falling state detection unit 30. It is an image.

但し、より好適には、誤検出抑制部40は、画像取得部10が取得する時系列の画像のうち、転倒状態検出部30によって転倒状態の発生が検出されている間であって、且つ、検出開始タイミングから所定の継続判定時間後(例えば、3秒後)の画像を、「After画像」として選択する。これによって、実際には人B1の転倒状態が発生していないときに、人B1が撮像領域Ballから撮像領域外Boutに退出し終える前の時点の画像が、After画像として選択されることを抑制することができる。 However, more preferably, the erroneous detection suppressing unit 40 is performed while the overturning state detection unit 30 detects the occurrence of the overturning state in the time-series images acquired by the image acquisition unit 10, and An image after a predetermined continuation determination time (for example, after 3 seconds) from the detection start timing is selected as an "after image". As a result, when the person B1 does not actually fall down, the image at the time before the person B1 finishes leaving the imaging region Ball to the outside of the imaging region Bout is suppressed from being selected as the After image. can do.

図8は、誤検出抑制部40がBefore画像に対するAfter画像の変化分を求める手法の一例を説明する図である。 FIG. 8 is a diagram illustrating an example of a method by which the erroneous detection suppressing unit 40 obtains the amount of change in the After image with respect to the Before image.

誤検出抑制部40は、例えば、Before画像からAfter画像を減算し、図8に示すような、Before画像とAfter画像との画素値の差分のヒストグラムを生成する。図8のヒストグラムは、横軸はBefore画像とAfter画像との画素値(例えば、256階調の画素値)の差分を表し、縦軸は当該差分の出現頻度(即ち、画素数)を表す。 For example, the erroneous detection suppression unit 40 subtracts the after image from the before image, and generates a histogram of pixel value differences between the before image and the after image as shown in FIG. In the histogram of FIG. 8, the horizontal axis represents the difference in pixel values (for example, pixel values of 256 gradations) between the Before image and the After image, and the vertical axis represents the appearance frequency of the difference (ie, the number of pixels).

そして、誤検出抑制部40は、ヒストグラム上において、画素値の差分が閾値ThP(例えば、15)よりも大きい画素が所定個(例えば、20個)未満であるか否かによって、転倒状態検出部30によって検出された人B1の転倒状態が誤検出であるか否かの判定を行う。即ち、誤検出抑制部40は、ヒストグラム上において、Before画像とAfter画像との差分が閾値ThPよりも大きい画素が所定個以上であれば、Before画像とAfter画像とは共に人B1が存在しない状態の画像であると特定できるため、人B1の転倒状態が誤検出であると判定する。一方、誤検出抑制部40は、ヒストグラム上において、Before画像とAfter画像との差分が閾値ThPよりも大きい画素が所定個以上であれば、After画像のみに人B1が映っていると特定できるため、人B1の転倒状態が誤検出ではないと判定する。 Then, the erroneous detection suppressing unit 40 determines whether or not the number of pixels whose difference in pixel value is larger than a threshold value ThP (for example, 15) is less than a predetermined number (for example, 20) on the histogram. It is determined whether or not the falling state of the person B1 detected by 30 is an erroneous detection. That is, if the number of pixels in the histogram where the difference between the Before image and the After image is larger than the threshold value ThP is equal to or greater than a predetermined number, the erroneous detection suppressing unit 40 determines that the person B1 does not exist in both the Before image and the After image. Therefore, it is determined that the falling state of the person B1 is an erroneous detection. On the other hand, the erroneous detection suppressing unit 40 can specify that the person B1 appears only in the after image if the number of pixels on the histogram where the difference between the before image and the after image is larger than the threshold value ThP is a predetermined number or more. , it is determined that the overturned state of the person B1 is not an erroneous detection.

但し、誤検出抑制部40によりBefore画像とAfter画像との変化分を求める手法は、他の任意の手法であってよい。例えば、誤検出抑制部40は、不要なノイズ成分を除去するため、Before画像及びAfter画像それぞれにフィルタ処理(例えば、ラプラシアンフィルタ)を施した後に、Before画像とAfter画像との変化分を求めてもよい。 However, any other method may be used as the method for obtaining the amount of change between the Before image and the After image by the erroneous detection suppressing unit 40 . For example, the erroneous detection suppression unit 40 performs filter processing (for example, Laplacian filter) on each of the Before image and the After image in order to remove unnecessary noise components, and then obtains the amount of change between the Before image and the After image. good too.

図9は、誤検出抑制部40の動作の一例を示すフローチャートである。 FIG. 9 is a flow chart showing an example of the operation of the erroneous detection suppression unit 40. As shown in FIG.

ステップS1において、誤検出抑制部40は、転倒状態検出部30によって人B1の転倒状態の発生が検出されることを待ち受け(S1:NO)、人B1の転倒状態の発生が検出された場合(S1:YES)、ステップS2に処理を進める。 In step S1, the erroneous detection suppressing unit 40 waits for detection of the falling state of the person B1 by the falling state detection unit 30 (S1: NO). S1: YES), the process proceeds to step S2.

ステップS2において、誤検出抑制部40は、転倒状態検出部30によって人B1の転倒状態の発生が検出された検出開始タイミングから所定時間前(ここでは、15秒前)の扉前領域B3の画像をBefore画像として、RAM103に記憶する。 In step S2, the erroneous detection suppression unit 40 generates an image of the door front area B3 a predetermined time (here, 15 seconds before) from the detection start timing at which the falling state of the person B1 is detected by the falling state detection unit 30. is stored in the RAM 103 as a Before image.

ステップS3において、誤検出抑制部40は、転倒状態検出部30が転倒検出信号を発した状態が所定の継続判定時間だけ継続することを待ち受け(S3:NO)、所定の継続判定時間だけ継続した場合(S3:YES)、ステップS4に処理を進める。 In step S3, the erroneous detection suppressing unit 40 waits for the state in which the overturning state detection unit 30 has issued the overturning detection signal to continue for the predetermined continuation determination time (S3: NO), and continues for the predetermined continuation determination time. If so (S3: YES), the process proceeds to step S4.

ステップS4において、誤検出抑制部40は、検出開始タイミングから継続判定時間後の扉前領域B3の画像をAfter画像として、RAM103に記憶する。 In step S4, the erroneous detection suppression unit 40 stores the image of the door front area B3 after the continuation determination time from the detection start timing in the RAM 103 as an after image.

ステップS5において、誤検出抑制部40は、After画像とBefore画像との間で差分画像を生成する。 In step S5, the erroneous detection suppression unit 40 generates a difference image between the After image and the Before image.

ステップS6において、誤検出抑制部40は、After画像とBefore画像の差分画像に基づいて、After画像とBefore画像の差分が小さいか否かを判定する。このとき、誤検出抑制部40は、例えば、図8に示すような、Before画像とAfter画像との画素値の差分のヒストグラムを生成し、画素値の差分が閾値ThP(例えば、15)よりも大きい画素が所定個(例えば、20個)未満であるか否かの判定を行う。そして、誤検出抑制部40は、After画像とBefore画像の差分が小さい場合(S6:YES)、ステップS7に処理を進め、After画像とBefore画像の差分が大きい場合(S6:NO)、ステップS8に処理を進める。 In step S6, the erroneous detection suppression unit 40 determines whether or not the difference between the after image and the before image is small based on the difference image between the after image and the before image. At this time, the erroneous detection suppression unit 40 generates, for example, a histogram of pixel value differences between the Before image and the After image as shown in FIG. It is determined whether or not the number of large pixels is less than a predetermined number (for example, 20). Then, if the difference between the After image and the Before image is small (S6: YES), the erroneous detection suppression unit 40 proceeds to step S7, and if the difference between the After image and the Before image is large (S6: NO), the process proceeds to Step S8. proceed to

ステップS7において、誤検出抑制部40は、転倒状態検出部30から発せられる転倒検出信号が誤検出であるとして、当該転倒検出信号をキャンセルする。 In step S7, the erroneous detection suppression section 40 determines that the fall detection signal issued from the fall state detection section 30 is an erroneous detection, and cancels the fall detection signal.

ステップS8において、誤検出抑制部40は、転倒状態検出部30から発せられる転倒検出信号が誤検出ではないとして、当該転倒検出信号を外部の警報装置に発報する。尚、外部の警報装置は、転倒検出信号を受信するに応じて、例えば、スピーカ又はディスプレイにて人B1の転倒状態が発生したことを報知する。 In step S8, the erroneous detection suppression unit 40 determines that the fall detection signal issued from the fall state detection unit 30 is not an erroneous detection, and issues the fall detection signal to an external alarm device. Note that the external alarm device notifies that the person B1 has fallen, for example, through a speaker or a display in response to receiving the fall detection signal.

[効果]
以上のように、本実施形態に係る画像処理装置Uによれば、簡易な手法で、人B1の転倒状態が発生した際に、誤検出されることを抑制することができる。
[effect]
As described above, according to the image processing apparatus U according to the present embodiment, it is possible to suppress erroneous detection when the person B1 falls down using a simple method.

(その他の実施形態)
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。
(Other embodiments)
The present invention is not limited to the above-described embodiment, and various modifications are conceivable.

上記実施形態では、画像処理装置100の構成の一例として、撮像装置200とは別個に配設され、通信ネットワーク300を介して撮像装置200からの画像を取得する態様を示した。しかしながら、本発明の画像処理装置100は、撮像装置200と一体的に配設されてもよい。その場合、画像処理装置100は、撮像装置200から直接的に画像を取得する構成とすることが可能である。 In the above-described embodiment, as an example of the configuration of the image processing apparatus 100, a mode in which the image processing apparatus 100 is arranged separately from the imaging apparatus 200 and acquires an image from the imaging apparatus 200 via the communication network 300 has been described. However, the image processing device 100 of the present invention may be arranged integrally with the imaging device 200 . In that case, the image processing apparatus 100 can be configured to acquire an image directly from the imaging apparatus 200 .

上記実施形態では、画像処理装置100の構成の一例として、画像取得部10、人領域検出部20、転倒状態検出部30、及び誤検出抑制部40の機能が一のコンピュータによって実現されるものとして記載したが、複数のコンピュータによって実現されてもよいのは勿論である。又、当該コンピュータに読み出されるプログラムやデータも、複数のコンピュータに分散して格納されてもよい。 In the above embodiment, as an example of the configuration of the image processing apparatus 100, the functions of the image acquisition unit 10, the human area detection unit 20, the falling state detection unit 30, and the false detection suppression unit 40 are realized by one computer. Although described, it may of course be implemented by multiple computers. Programs and data read by the computer may also be distributed and stored in a plurality of computers.

又、上記実施形態では、画像処理装置100の動作の一例として、画像取得部10、人領域検出部20、転倒状態検出部30、及び誤検出抑制部40の処理を一連のフローの中で実行されるものとして示したが、これらの処理の一部又は全部が並列で実行されるものとしてもよいのは勿論である。 Further, in the above embodiment, as an example of the operation of the image processing apparatus 100, the processes of the image acquisition unit 10, the human area detection unit 20, the falling state detection unit 30, and the false detection suppression unit 40 are executed in a series of flows. Although shown as being executed in parallel, part or all of these processes may of course be executed in parallel.

又、上記実施形態では、画像処理装置100の適用対象として、人B1を示した。しかしながら、本発明の画像処理装置100は、人B1以外の動物の転倒状態の判定にも適用可能である。 Further, in the above embodiment, the person B1 is shown as an application target of the image processing apparatus 100 . However, the image processing apparatus 100 of the present invention can also be applied to determine the overturned state of animals other than the person B1.

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。 Although specific examples of the present invention have been described in detail above, these are merely examples and do not limit the scope of the claims. The technology described in the claims includes various modifications and changes of the specific examples illustrated above.

本開示に係る画像処理装置によれば、簡易な手法で、人の転倒状態の発生に係る誤検出を抑制することが可能である。 According to the image processing device according to the present disclosure, it is possible to suppress erroneous detection related to the occurrence of a falling state of a person using a simple method.

U 行動認識システム
10 画像取得部
20 人領域検出部
30 転倒状態検出部
40 誤検出抑制部
100 画像処理装置
200 撮像装置
300 通信ネットワーク
Ball 撮像領域
B1 人
B2 扉
B3 監視対象領域
Bout 撮像領域外の領域
U Action Recognition System 10 Image Acquisition Unit 20 Human Area Detector 30 Overturned State Detector 40 False Detection Suppression Unit 100 Image Processing Device 200 Imaging Device 300 Communication Network Ball Imaging Area B1 Person B2 Door B3 Monitored Area Bout Area Outside Imaging Area

Claims (12)

監視対象領域を撮像する撮像装置が生成した時系列の画像を取得する画像取得部と、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する転倒状態検出部と、
前記転倒状態検出部により前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている時点における第1画像と、前記転倒状態検出部によって前記転倒状態の発生が検出された検出開始タイミングから、所定時間前の時点の第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態検出部の検出結果が誤検出であるか否かを判定する誤検出抑制部と、
を備える、画像処理装置。
an image acquisition unit that acquires time-series images generated by an imaging device that captures an image of a monitoring target area;
a falling state detection unit that detects the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected by the overturned state detection unit, a first image at the time when the occurrence of the overturned state is detected among the time-series images, and A second image at a time point a predetermined time before the detection start timing at which the occurrence of the overturned state is detected is extracted, and the overturned state detection unit detects the overturned state based on the amount of change in the first image with respect to the second image. an erroneous detection suppression unit that determines whether the result is an erroneous detection;
An image processing device comprising:
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得する画像取得部と、 an image acquisition unit that acquires time-series images generated by an imaging device that captures an image of a monitoring target area;
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する転倒状態検出部と、 a falling state detection unit that detects the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
前記転倒状態検出部により前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態検出部によって前記転倒状態の発生が検出されている間であって、且つ、前記転倒状態の発生が検出された検出開始タイミングから所定の継続判定時間後の第1画像と、前記転倒状態の発生が検出されるよりも前の時点における第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態検出部の検出結果が誤検出であるか否かを判定する誤検出抑制部と、 When the occurrence of the overturned state is detected by the overturned state detection unit, the occurrence of the overturned state is detected by the overturned state detection unit in the time-series images, and A first image after a predetermined continuation determination time from the detection start timing at which the occurrence of the overturning state is detected and a second image at a time point before the occurrence of the overturning state is detected are extracted, and the second image is extracted. an erroneous detection suppression unit that determines whether or not the detection result of the overturned state detection unit is an erroneous detection, based on the amount of change in the first image with respect to the image;
を備える、画像処理装置。 An image processing device comprising:
前記誤検出抑制部は、前記第2画像に対する前記第1画像の変化分が所定値未満の場合には、前記転倒状態検出部の検出結果が誤検出であるものと判定し、前記第2画像に対する前記第1画像の変化分が所定値以上の場合には、前記転倒状態検出部の検出結果が誤検出ではないものと判定する、
請求項1または2に記載の画像処理装置。
The erroneous detection suppressing unit determines that the detection result of the overturning state detecting unit is erroneous detection when the amount of change in the first image with respect to the second image is less than a predetermined value. If the amount of change in the first image relative to the
The image processing apparatus according to claim 1 or 2 .
前記監視対象領域は、前記撮像装置が撮像する全撮像領域のうち、前記対象者が当該撮像領域内から当該撮像領域外に退出するための扉に隣接する領域である、
請求項1乃至3のいずれか一項に記載の画像処理装置。
The monitoring target area is an area adjacent to a door for the target person to exit from the imaging area to the outside of the imaging area, out of the entire imaging area imaged by the imaging device.
The image processing apparatus according to any one of claims 1 to 3 .
前記時系列の画像に基づいて、前記監視対象領域に前記対象者が存在するか否かを検出する人領域検出部を更に備える、
請求項1乃至のいずれか一項に記載の画像処理装置。
Further comprising a human region detection unit that detects whether or not the target person exists in the monitoring target region based on the time-series images,
The image processing apparatus according to any one of claims 1 to 4 .
前記誤検出抑制部は、前記時系列の画像のうち、前記監視対象領域に前記対象者が検出されていない時点における画像を、前記第2画像として選択する、
請求項に記載の画像処理装置。
The erroneous detection suppressing unit selects, from among the time-series images, an image at a time when the target person is not detected in the monitoring target area as the second image.
The image processing apparatus according to claim 5 .
前記誤検出抑制部は、前記時系列の画像のうち、前記転倒状態検出部によって前記転倒状態の発生が検出された検出開始タイミングから、所定時間前の時点の画像を、前記第2画像として選択する、
請求項2、および請求項2に従属する請求項3乃至6のいずれか一項に記載の画像処理装置。
The erroneous detection suppressing unit selects, from among the time-series images, an image at a point in time a predetermined time before the detection start timing at which the occurrence of the overturned state is detected by the overturned state detection unit, as the second image. do,
An image processing apparatus according to claim 2 and any one of claims 3 to 6 depending on claim 2 .
前記誤検出抑制部は、前記時系列の画像のうち、前記転倒状態検出部によって前記転倒状態の発生が検出されている間であって、且つ、前記転倒状態の発生が検出された検出開始タイミングから所定の継続判定時間後の画像を、前記第1画像として選択する、
請求項1、および請求項1に従属する請求項3乃至6のいずれか一項に記載の画像処理装置。
The erroneous detection suppression unit controls detection start timing at which the occurrence of the overturning state is detected while the occurrence of the overturning state is being detected by the overturning state detection unit in the time-series images. selecting an image after a predetermined continuation determination time from as the first image;
7. An image processing apparatus according to claim 1 and any one of claims 3 to 6 depending on claim 1 .
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得し、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出し、
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている時点における第1画像と、前記転倒状態の発生が検出された検出開始タイミングから、所定時間前の時点の第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する、
画像処理装置の制御方法。
Acquiring time-series images generated by an imaging device that captures an image of a monitored area,
detecting the occurrence of a falling state of a subject existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected, the first image at the time when the occurrence of the overturned state is detected among the time-series images, and from the detection start timing at which the occurrence of the overturned state is detected. , extracting a second image at a point in time a predetermined time ago , and determining whether or not the occurrence of the falling state is an erroneous detection based on the amount of change in the first image with respect to the second image;
A control method for an image processing device.
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得し、 Acquiring time-series images generated by an imaging device that captures an image of a monitored area,
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出し、 detecting the occurrence of a falling state of a subject existing in the monitoring target area based on the time-series images;
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている間であって、且つ、前記転倒状態の発生が検出された検出開始タイミングから所定の継続判定時間後の第1画像と、前記転倒状態の発生が検出されるよりも前の時点における第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する、 When the occurrence of the overturned state is detected, the period during which the occurrence of the overturned state is detected in the time-series images and from the detection start timing at which the occurrence of the overturned state is detected extracting a first image after a predetermined continuation determination time and a second image at a point in time before the occurrence of the overturned state is detected, and based on a change of the first image with respect to the second image; , determining whether the occurrence of the falling state is an erroneous detection;
画像処理装置の制御方法。 A control method for an image processing device.
コンピュータに、
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得する処理と、
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する処理と、
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている時点における第1画像と、前記転倒状態の発生が検出された検出開始タイミングから、所定時間前の時点の第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する処理と、
を実行させる画像処理装置の制御プログラム。
to the computer,
A process of acquiring time-series images generated by an imaging device that captures an image of a monitoring target area;
a process of detecting the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
When the occurrence of the overturned state is detected, the first image at the time when the occurrence of the overturned state is detected among the time-series images, and from the detection start timing at which the occurrence of the overturned state is detected. , a process of extracting a second image at a point in time a predetermined time ago , and determining whether or not the occurrence of the overturned state is an erroneous detection based on the amount of change of the first image with respect to the second image;
A control program for an image processing apparatus that executes
コンピュータに、 to the computer,
監視対象領域を撮像する撮像装置が生成した時系列の画像を取得する処理と、 A process of acquiring time-series images generated by an imaging device that captures an image of a monitoring target area;
前記時系列の画像に基づいて、前記監視対象領域に存在する対象者の転倒状態の発生を検出する処理と、 a process of detecting the occurrence of a falling state of a target person existing in the monitoring target area based on the time-series images;
前記転倒状態の発生が検出されたときに、前記時系列の画像のうち、前記転倒状態の発生が検出されている間であって、且つ、前記転倒状態の発生が検出された検出開始タイミングから所定の継続判定時間後の第1画像と、前記転倒状態の発生が検出されるよりも前の時点における第2画像とを抽出し、前記第2画像に対する前記第1画像の変化分に基づいて、前記転倒状態の発生が誤検出であるか否かを判定する処理と、 When the occurrence of the overturned state is detected, the period during which the occurrence of the overturned state is detected in the time-series images and from the detection start timing at which the occurrence of the overturned state is detected extracting a first image after a predetermined continuation determination time and a second image at a point in time before the occurrence of the overturned state is detected, and based on a change of the first image with respect to the second image; , a process of determining whether the occurrence of the falling state is an erroneous detection;
を実行させる画像処理装置の制御プログラム。 A control program for an image processing apparatus that executes
JP2019100167A 2019-05-29 2019-05-29 Image processing device, image processing device control method, and image processing device control program Active JP7275863B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019100167A JP7275863B2 (en) 2019-05-29 2019-05-29 Image processing device, image processing device control method, and image processing device control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019100167A JP7275863B2 (en) 2019-05-29 2019-05-29 Image processing device, image processing device control method, and image processing device control program

Publications (2)

Publication Number Publication Date
JP2020195077A JP2020195077A (en) 2020-12-03
JP7275863B2 true JP7275863B2 (en) 2023-05-18

Family

ID=73548073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019100167A Active JP7275863B2 (en) 2019-05-29 2019-05-29 Image processing device, image processing device control method, and image processing device control program

Country Status (1)

Country Link
JP (1) JP7275863B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059762A (en) 1998-08-07 2000-02-25 Canon Inc Camera controller, method and computer-readable storage medium thereof
JP2000207665A (en) 1999-01-18 2000-07-28 Matsushita Electric Works Ltd Falling detecting device
JP2002279428A (en) 2001-03-15 2002-09-27 Noritz Corp Device for detecting human body

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059762A (en) 1998-08-07 2000-02-25 Canon Inc Camera controller, method and computer-readable storage medium thereof
JP2000207665A (en) 1999-01-18 2000-07-28 Matsushita Electric Works Ltd Falling detecting device
JP2002279428A (en) 2001-03-15 2002-09-27 Noritz Corp Device for detecting human body

Also Published As

Publication number Publication date
JP2020195077A (en) 2020-12-03

Similar Documents

Publication Publication Date Title
JP5832910B2 (en) Image monitoring device
JP2017536880A5 (en)
KR20060051247A (en) Image processing apparatus and image processing method
WO2016021147A1 (en) Image processing system for detecting retention of moving body from image, image processing method, and recording medium
JP6803525B2 (en) Face detection device, face detection system equipped with this, and face detection method
JP3063504B2 (en) Image data feature detection device
JP5470187B2 (en) Image processing apparatus and object detection apparatus
JP2017168105A5 (en)
KR101860062B1 (en) Fall detection system and method
JP5771039B2 (en) Abandoned person detection device
JP7275863B2 (en) Image processing device, image processing device control method, and image processing device control program
US11288817B2 (en) Image processing device, stationary object tracking system, image processing method, and recording medium
JP2010199865A (en) Abnormality detection system, abnormality detection method, and abnormality detection program
JP4740755B2 (en) Monitoring device using images
JP4707019B2 (en) Video surveillance apparatus and method
JP6000762B2 (en) Image monitoring device
JP2005025313A (en) System for detecting stayer
JP5573387B2 (en) Monitoring device, monitoring program, and monitoring method
JP2014229034A (en) Fire detection device and fire detection method
JP3957495B2 (en) Image sensor
US20230222833A1 (en) Image processing apparatus, image processing method, and storage medium
JPH0731248B2 (en) Moving object detector
JP2015046811A (en) Image sensor
JPH09259370A (en) Fire detection device
TWI813297B (en) Method for motion detection and circuit system

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190708

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191016

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R150 Certificate of patent or registration of utility model

Ref document number: 7275863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150