WO2020202425A1 - 滞在判定装置、滞在判定方法及び滞在判定プログラム - Google Patents

滞在判定装置、滞在判定方法及び滞在判定プログラム Download PDF

Info

Publication number
WO2020202425A1
WO2020202425A1 PCT/JP2019/014434 JP2019014434W WO2020202425A1 WO 2020202425 A1 WO2020202425 A1 WO 2020202425A1 JP 2019014434 W JP2019014434 W JP 2019014434W WO 2020202425 A1 WO2020202425 A1 WO 2020202425A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
moving
stay determination
stationary
duration
Prior art date
Application number
PCT/JP2019/014434
Other languages
English (en)
French (fr)
Inventor
仁己 小田
山本　英司
奥村　誠司
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2021511794A priority Critical patent/JP6972428B2/ja
Priority to PCT/JP2019/014434 priority patent/WO2020202425A1/ja
Publication of WO2020202425A1 publication Critical patent/WO2020202425A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers

Definitions

  • the present invention relates to a technique for determining whether or not a person is staying in a certain area from moving image data.
  • Patent Document 1 describes a technique for detecting a stationary person from moving image data.
  • the difference between the image data of the detection region and the background image data is obtained, and an attempt is made to extract a pixel region (hereinafter, human body pixel region) corresponding to the contour or region of a person from the difference image representing the difference. .. If the human body pixel region is extracted, it is determined that a person exists, and a representative position in the human body pixel region is obtained. Then, the distance at which the representative position is displaced at a predetermined time is compared with the threshold value, and the human behavior (stay, rest, movement, etc.) is determined.
  • a pixel region hereinafter, human body pixel region
  • Patent Document 1 it should be determined that a person who is accompanied by movements such as organizing documents and putting on and taking off work clothes in an office that greatly moves the arm or body is staying. It will be determined that it is moving.
  • the technique described in Patent Document 1 when an action such as a large movement of an arm or a body is performed, the distance of displacement at a predetermined time becomes large and exceeds a threshold value, which is a cause of determination of movement.
  • An object of the present invention is to make it possible to appropriately determine whether a person is staying or moving.
  • the stay determination device is A result acquisition unit that acquires detection results indicating the presence / absence of a stationary person and the presence / absence of a moving person for each of a plurality of subregions in which the area included in the image data is divided.
  • a time measuring unit that measures the duration of the state indicated by the detection result acquired by the result acquisition unit that there is no person who is stationary and there is a person who is moving. For each of the plurality of partial regions, a stay determination unit for determining whether or not a person is staying is provided based on the detection result and the duration measured by the time measurement unit.
  • a person stays based on the detection result of the presence / absence of a stationary person and the presence / absence of a moving person, and the duration of the state in which there is no stationary person and there is a moving person. It is determined whether or not it is. This makes it possible to appropriately determine whether a person is staying or moving even when there is a person who performs a movement that greatly moves his or her arm or body.
  • FIG. 1 The block diagram of the stay determination apparatus 10 which concerns on Embodiment 1.
  • FIG. 1 The flowchart which shows the overall operation of the stay determination apparatus 10 which concerns on Embodiment 1.
  • the flowchart of the determination process which concerns on Embodiment 1. The figure which shows the operation example of the stay determination apparatus 10 which concerns on Embodiment 1.
  • FIG. 1 The block diagram of the stay determination apparatus 10 which concerns on modification 1.
  • the stay determination device 10 is a computer.
  • the stay determination device 10 includes hardware of a processor 11, a storage device 12, a reception interface 13, and a transmission interface 14.
  • the processor 11 is connected to other hardware via a signal line and controls these other hardware.
  • the processor 11 is an IC (Integrated Circuit) that performs processing. Specific examples of the processor 11 are a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).
  • a CPU Central Processing Unit
  • DSP Digital Signal Processor
  • GPU Graphics Processing Unit
  • the storage device 12 is a device that stores data. Specific examples of the storage device 12 are a RAM (Random Access Memory), a ROM (Read Only Memory), and an HDD (Hard Disk Drive).
  • the storage device 12 includes an SD (registered trademark, Secure Digital) memory card, CF (CompactFlash, registered trademark), a NAND flash, a flexible disk, an optical disk, a compact disk, a Blu-ray (registered trademark) disk, and a DVD (Digital Versaille Disk). It may be a portable recording medium such as.
  • the receiving interface 13 and the transmitting interface 14 are interfaces for communicating with external devices such as an input device and an output device.
  • Specific examples of the receiving interface 13 and the transmitting interface 14 are Ethernet (registered trademark), USB (Universal Serial Bus), and HDMI (registered trademark, High-Definition Multimedia Interface) ports.
  • the receiving interface 13 and the transmitting interface 14 may be realized by one port.
  • the input device is a device such as an image sensor and an infrared sensor.
  • the output device is, for example, a device such as a transmitter and a display device.
  • the input device and output device may be a communication chip or a NIC (Network Interface Card).
  • the stay determination device 10 includes a person detection unit 21 and a determination unit 22 as functional components.
  • the determination unit 22 includes a result acquisition unit 23, a time measurement unit 24, and a stay determination unit 25 as functional components.
  • the functions of each functional component of the stay determination device 10 are realized by software.
  • the storage device 12 stores a program that realizes the functions of each functional component of the stay determination device 10. This program is read by processor 11 and executed by processor 11. As a result, the functions of each functional component of the stay determination device 10 are realized.
  • processors 11 In FIG. 1, only one processor 11 was shown. However, the number of processors 11 may be plural, and the plurality of processors 11 may execute programs that realize each function in cooperation with each other.
  • Information or data or signal values or variable values indicating the processing results of each functional component are stored in the storage device 12 or the register or cache memory in the processor 11.
  • the operation of the stay determination device 10 according to the first embodiment will be described with reference to FIGS. 2 to 4.
  • the operation of the stay determination device 10 according to the first embodiment corresponds to the stay determination method according to the first embodiment. Further, the operation of the stay determination device 10 according to the first embodiment corresponds to the processing of the stay determination program according to the first embodiment.
  • the stay determination device 10 has a state in which a person is staying, a state in which a person is moving, or a state in which a person is absent for each of a plurality of subregions obtained by dividing an area included in the image data. Determine if it is in a state.
  • staying means a state in which there is a stationary person in the partial area and a state in which a moving person stays for a certain period of time or longer.
  • Moving means that a person moving in a partial area stays for less than a certain period of time and moves to another area. Absence means that there are no people in the partial area.
  • the stay determination device 10 measures the duration of the state in which a moving person is present, determines that the person is staying when the duration is longer than the reference time, and determines that the person is staying when the duration is less than the reference time. Judged as moving. However, there is a possibility that a stationary person and a moving person exist at the same time in the target partial area. Therefore, when measuring the duration of a state in which a moving person is present, the stay determination device 10 confirms that there is no stationary person. Therefore, the duration of the state in which there is a moving person is limited to the duration of the state in which there is no stationary person and there is a moving person.
  • the stay determination device 10 executes processing by sequentially inputting image data of a plurality of frames constituting the moving image data.
  • the photographing device for photographing the moving image data is fixed, and the image data of each frame of the moving image data is obtained by photographing the same area.
  • Step S1 Person detection process
  • the person detection unit 21 divides the area included in the image data into a grid shape, and detects the presence / absence of a stationary person and the presence / absence of a moving person for each of the plurality of divided partial areas.
  • the person detection unit 21 may detect the presence / absence of a stationary person and the presence / absence of a moving person in each of the plurality of partial regions by using the existing technology.
  • the person detection unit 21 may detect the presence / absence of a stationary person and the presence / absence of a moving person in each of a plurality of subregions by using the technique described in International Publication No. 2015-136828. It is possible.
  • Step S2 Judgment process
  • the determination unit 22 acquires the detection result, which is the result detected by the person detection unit 21 in step S1, and determines whether or not a person is staying in each of the plurality of partial regions.
  • Step S21 Result acquisition process
  • the result acquisition unit 23 acquires the detection result, which is the result detected by the person detection unit 21 in step S1.
  • steps S22 to S30 is executed with each of the plurality of subregions as the target subregion.
  • Step S22 Existence determination process
  • the result acquisition unit 23 determines whether or not the detection result acquired in step S21 indicates that at least one of a stationary person and a moving person exists in the target partial area.
  • the result acquisition unit 23 advances the process to step S23 when neither the stationary person nor the moving person is present.
  • the result acquisition unit 23 proceeds to step S25 when there is at least one of a stationary person and a moving person.
  • Step S23 Reset process
  • the time measurement unit 24 resets the duration of the target subregion to 0. Further, the time measurement unit 24 stops the measurement when the duration of the target partial region is measured.
  • the duration indicates the duration of the state in which there is no stationary person and there is a moving person. Here, since no one is moving, the duration is reset to 0 and the duration measurement is stopped.
  • Step S24 Absence processing
  • Step S25 Rest determination process
  • the result acquisition unit 23 determines whether or not the detection result acquired in step S21 indicates that there is a person who is stationary in the target partial area. If there is a person who is stationary, the result acquisition unit 23 advances the process to step S26. On the other hand, the result acquisition unit 23 advances the process to step S28 when there is no person who is stationary.
  • Step S26 Reset process
  • the time measurement unit 24 resets the duration of the target subregion to 0. Further, the time measurement unit 24 stops the measurement when the duration of the target partial region is measured. Here, since there are no people who are stationary and no one is moving, the duration is reset to 0 and the measurement of the duration is stopped.
  • Step S27 Stay processing
  • Step S28 Duration measurement process
  • the time measurement unit 24 starts measuring the duration when the duration of the target partial region has not been measured. That is, by the process of step S22 and the process of step S25, it is determined that the detection result indicates that there is no person who is stationary and there is a person who is moving. Therefore, the time measuring unit 24 measures the duration. The time measurement unit 24 continues to measure the duration until the measurement is stopped by the process of step S23 or the process of step S26.
  • the processing is executed by inputting the image data of a plurality of frames constituting the moving image data in order.
  • the measurement of the duration is continued until the detection result does not indicate that there is no person who is stationary and there is a person who is moving.
  • the duration measured here is the time in the moving image data. That is, when the moving image data is 10 frames per second and the measurement of the duration is continued with the image data of 50 frames, the duration is 5 seconds.
  • Step S29 Duration determination process
  • the stay determination unit 25 determines whether or not the duration of the target partial area is equal to or longer than the reference time.
  • the reference time may be a time common to all subregions or a different time for each subregion. For example, when the input moving image data is acquired by a camera or the like having a distorted lens, the way a person is reflected differs between the central portion and the edge portion of the image data. Therefore, if the time common to all the partial areas is used as the reference time, it may not be possible to accurately determine whether a person is staying or moving. If the duration is equal to or longer than the reference time, the stay determination unit 25 proceeds to step S27. On the other hand, if the duration is less than the reference time, the stay determination unit 25 advances the process to step S30.
  • Step S30 Movement process
  • FIG. 4 shows one example (movement example 1) determined to be moving and two examples (stay example) determined to be staying in a certain partial area of image data constituting the moving image data. 1 and 2) are shown.
  • one scale is a frame acquisition cycle of moving image data, which is 200 milliseconds. That is, it is assumed that each frame of the moving image data is acquired every 200 milliseconds. Further, it is assumed that the reference time is 3000 milliseconds.
  • the person detection unit 21 When inputting moving image data taken from a bird's-eye view from the ceiling, the person detection unit 21 divides each frame into a grid shape as shown in FIG. 4, and obtains each of the plurality of subregions obtained by the division. Detects the presence or absence of a stationary person and the presence or absence of a moving person.
  • the duration of the state in which there is no stationary person and there is a moving person is less than the reference time, and it is determined that the person is moving.
  • the duration of the state in which there is no stationary person and there is a moving person is less than the reference time, and it is determined that the person is moving.
  • the duration of the state in which there is no stationary person and there is a moving person is equal to or longer than the reference time.
  • the moving image data input by the stay determination device 10 may be moving image data taken with infrared rays or moving image data taken with visible light. Further, the moving image data input by the stay determination device 10 may be two-dimensionally arranged data acquired from a sensor or some device like an image.
  • the detection result of the presence / absence of a stationary person and the presence / absence of a moving person, and the person who is moving without a stationary person are included. Whether or not a person is staying is determined based on the duration of the state of being present. This makes it possible to appropriately determine whether a person is staying or moving even when there is a person who makes a movement that greatly moves his or her arm or body. As a result, it is appropriate to save energy by providing the brightness necessary for work involving visual observation when a person stays, and providing the minimum brightness necessary for moving when moving. It is possible to do it.
  • each functional component is realized by software.
  • each functional component may be realized by hardware. The difference between the first modification and the first embodiment will be described.
  • the stay determination device 10 includes an electronic circuit 15 instead of the processor 11 and the storage device 12.
  • the electronic circuit 15 is a dedicated circuit that realizes the functions of each functional component and the storage device 12.
  • Examples of the electronic circuit 15 include a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable Gate Array). is assumed.
  • Each functional component may be realized by one electronic circuit 15, or each functional component may be distributed and realized by a plurality of electronic circuits 15.
  • Modification 2> As a modification 2, some functional components may be realized by hardware, and other functional components may be realized by software.
  • the processor 11 and the electronic circuit 15 are called processing circuits. That is, the function of each functional component is realized by the processing circuit.

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Geophysics (AREA)
  • Image Analysis (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

結果取得部（２３）は、画像データに含まれる領域が分割された複数の部分領域それぞれについて、静止している人の有無と動いている人の有無とを示す検出結果を取得する。時間計測部（２４）は、静止している人が居らず動いている人が居ることを結果取得部（２３）によって取得された検出結果が示す状態の継続時間を計測する。滞在判定部（２５）は、検出結果と、時間計測部（２４）によって計測された継続時間とに基づき、複数の部分領域それぞれについて、人が滞在している否かを判定する。

Description

滞在判定装置、滞在判定方法及び滞在判定プログラム
　この発明は、動画像データから人が一定の領域に滞在しているか否かを判定する技術に関する。
　特許文献１には、動画像データから静止している人を検出する技術について記載されている。特許文献１では、検知領域の画像データと背景画像データとの差分が求められ、その差分を表す差分画像から人の輪郭又は領域に対応した画素領域（以下、人体画素領域）の抽出が試みられる。人体画素領域が抽出されれば人が存在すると判断され、人体画素領域における代表位置が求められる。そして、代表位置が所定時間に変位する距離が閾値と比較され、人の行動（滞在、静止、移動等）が判断される。
特開２０１３－０９６９４７号公報
　照明制御においては、省エネルギー化を図るために、人が滞在する場合と滞在せずに移動している場合とで明るさを変えたいという要望がある。例えば、人が滞在する場合は視認を伴う作業に必要な明るさを提供し、移動している場合には移動するために必要最低限の明るさを提供することで省エネルギー化を図ることが考えられる。この要望を実現するに当たって、人が滞在しているか移動しているかの判定が必要になる。
　しかし、特許文献１に記載された技術では、例えば、オフィスにおける書類整理及び作業着の着脱といった腕又は身体を大きく動かすような動作を伴う人は滞在していると判定されるべきであるが、移動していると判定されてしまう。特許文献１に記載された技術では、腕又は身体を大きく動かすような動作を行うと所定時間に変位する距離が大きくなり閾値を超えてしまい、移動と判定されることが原因である。
　この発明は、人が滞在しているか移動しているかを適切に判定可能にすることを目的とする。
　この発明に係る滞在判定装置は、
　画像データに含まれる領域が分割された複数の部分領域それぞれについて、静止している人の有無と動いている人の有無とを示す検出結果を取得する結果取得部と、
　静止している人が居らず動いている人が居ることを前記結果取得部によって取得された前記検出結果が示す状態の継続時間を計測する時間計測部と、
　前記複数の部分領域それぞれについて、前記検出結果と、前記時間計測部によって計測された前記継続時間とに基づき、人が滞在している否かを判定する滞在判定部と
を備える。
　この発明では、静止している人の有無と動いている人の有無との検出結果と、静止している人が居らず動いている人が居る状態の継続時間とに基づき、人が滞在している否かが判定される。これにより、腕又は身体を大きく動かすような動作を行う人がいるような場合にも、人が滞在しているか移動しているかを適切に判定することが可能になる。
実施の形態１に係る滞在判定装置１０の構成図。 実施の形態１に係る滞在判定装置１０の全体的な動作を示すフローチャート。 実施の形態１に係る判定処理のフローチャート。 実施の形態１に係る滞在判定装置１０の動作例を示す図。 変形例１に係る滞在判定装置１０の構成図。
　実施の形態１．
　＊＊＊構成の説明＊＊＊
　図１を参照して、実施の形態１に係る滞在判定装置１０の構成を説明する。
　滞在判定装置１０は、コンピュータである。
　滞在判定装置１０は、プロセッサ１１と、記憶装置１２と、受信インタフェース１３と、送信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
　プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。
　記憶装置１２は、データを記憶する装置である。記憶装置１２は、具体例としては、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）である。
　また、記憶装置１２は、ＳＤ（登録商標，Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）といった可搬記録媒体であってもよい。
　受信インタフェース１３及び送信インタフェース１４は、入力装置及び出力装置といった外部の装置と通信するためのインタフェースである。受信インタフェース１３及び送信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）のポートである。受信インタフェース１３及び送信インタフェース１４は、１つのポートによって実現されてもよい。
　入力装置は、具体例としては、画像センサと赤外線センサといった装置である。出力装置は、具体例としては、トランスミッタと表示装置といった装置である。入力装置及び出力装置は、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）であってもよい。
　滞在判定装置１０は、機能構成要素として、人検出部２１と、判定部２２とを備える。判定部２２は、機能構成要素として、結果取得部２３と、時間計測部２４と、滞在判定部２５とを備える。滞在判定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
　記憶装置１２には、滞在判定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１により読み込まれ、プロセッサ１１によって実行される。これにより、滞在判定装置１０の各機能構成要素の機能が実現される。
　図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。
　各機能構成要素の処理の結果を示す情報又はデータ又は信号値又は変数値が、記憶装置１２、又は、プロセッサ１１内のレジスタ又はキャッシュメモリに記憶される。
　＊＊＊動作の説明＊＊＊
　図２から図４を参照して、実施の形態１に係る滞在判定装置１０の動作を説明する。
　実施の形態１に係る滞在判定装置１０の動作は、実施の形態１に係る滞在判定方法に相当する。また、実施の形態１に係る滞在判定装置１０の動作は、実施の形態１に係る滞在判定プログラムの処理に相当する。
　滞在判定装置１０は、画像データに含まれる領域を分割した複数の部分領域それぞれについて、人が滞在している状態と、人が移動している状態と、人が不在である状態とのいずれの状態であるかを判定する。
　実施の形態１では、滞在しているとは、部分領域内に静止している人が居る状態と動いている人が一定時間以上居続ける状態とを意味する。移動しているとは、部分領域内で動いている人が一定時間未満しか居らず別の領域に移ることを意味する。不在とは、部分領域内に人が居ないことを意味する。
　そこで、滞在判定装置１０は、動いている人が居る状態の継続時間を計測し、継続時間が基準時間以上の場合には滞在していると判定し、継続時間が基準時間未満の場合には移動と判定する。但し、対象の部分領域には静止している人と動いている人とが同時に存在する可能性がある。そのため、滞在判定装置１０は、動いている人が居る状態の継続時間を計測する場合には、静止している人が居ない状態であることを確認する。したがって、動いている人が居る状態の継続時間とは、静止している人が居らず動いている人が居る状態の継続時間に限定される。
　図２を参照して、実施の形態１に係る滞在判定装置１０の全体的な動作を説明する。
　滞在判定装置１０は、動画像データを構成する複数のフレームの画像データを順に入力として、処理を実行する。ここでは、動画像データを撮影する撮影装置は、固定されており、動画像データの各フレームの画像データは、同一の領域を撮影して得られたものとする。
　（ステップＳ１：人検出処理）
　人検出部２１は、画像データに含まれる領域をグリッド状に分割し、分割されて得られた複数の部分領域それぞれについて静止している人の有無と動いている人の有無とを検出する。
　具体的には、人検出部２１は、既存技術を用いて、複数の部分領域それぞれについて静止している人の有無と動いている人の有無とを検出すればよい。例えば、人検出部２１は、国際公開第２０１５－１３６８２８号に記載された技術を用いて、複数の部分領域それぞれについて静止している人の有無と動いている人の有無とを検出することが可能である。
　（ステップＳ２：判定処理）
　判定部２２は、ステップＳ１で人検出部２１によって検出された結果である検出結果を取得して、複数の部分領域それぞれについて、人が滞在しているか否かを判定する。
　図３を参照して、実施の形態１に係る判定処理（図２のステップＳ２）を説明する。
　（ステップＳ２１：結果取得処理）
　結果取得部２３は、ステップＳ１で人検出部２１によって検出された結果である検出結果を取得する。
　ステップＳ２２からステップＳ３０の処理が複数の部分領域それぞれを対象の部分領域として実行される。
　（ステップＳ２２：存在判定処理）
　結果取得部２３は、対象の部分領域について、静止している人と動いている人との少なくともいずれかが居ることをステップＳ２１で取得された検出結果が示すか否かを判定する。
　結果取得部２３は、静止している人と動いている人とのいずれも居ない場合には、処理をステップＳ２３に進める。一方、結果取得部２３は、静止している人と動いている人との少なくともいずれかが居る場合には、処理をステップＳ２５に進める。
　（ステップＳ２３：リセット処理）
　時間計測部２４は、対象の部分領域の継続時間を０にリセットする。また、時間計測部２４は、対象の部分領域の継続時間の計測がされている場合には、計測を停止する。継続時間は、静止している人が居らず動いている人が居る状態が継続している時間を示す。ここでは、動いている人が居ないため、継続時間は０にリセットされ、継続時間の計測が停止される。
　（ステップＳ２４：不在処理）
　滞在判定部２５は、対象の部分領域については、人が不在であると判定する。
　（ステップＳ２５：静止判定処理）
　結果取得部２３は、対象の部分領域について、静止している人が居ることをステップＳ２１で取得された検出結果が示すか否かを判定する。
　結果取得部２３は、静止している人が居る場合には、処理をステップＳ２６に進める。一方、結果取得部２３は、静止している人が居ない場合には、処理をステップＳ２８に進める。
　（ステップＳ２６：リセット処理）
　時間計測部２４は、対象の部分領域の継続時間を０にリセットする。また、時間計測部２４は、対象の部分領域の継続時間の計測がされている場合には、計測を停止する。ここでは、静止している人が居り動いている人が居ないため、継続時間は０にリセットされ、継続時間の計測が停止される。
　（ステップＳ２７：滞在処理）
　滞在判定部２５は、対象の部分領域については、人が滞在していると判定する。
　（ステップＳ２８：継続時間計測処理）
　時間計測部２４は、対象の部分領域の継続時間の計測がされていない場合には、継続時間の計測を開始する。つまり、ステップＳ２２の処理及びステップＳ２５の処理により、静止している人が居らず動いている人が居ることを検出結果が示す状態であると判定される。そこで、時間計測部２４は、継続時間を計測する。
　なお、時間計測部２４は、ステップＳ２３の処理又はステップＳ２６の処理で計測が停止されるまで、継続時間の計測を継続する。ここでは、動画像データを構成する複数のフレームの画像データを順に入力として、処理が実行される。そのため、ステップＳ２２の処理及びステップＳ２５の処理により、静止している人が居らず動いている人が居ることを検出結果が示す状態でなくなるまで、継続時間の計測が継続されることになる。
　ここで計測される継続時間は、動画像データにおける時間である。つまり、動画像データは、１秒間当たり１０フレームである場合に、５０フレームの画像データで継続時間の計測が継続された場合には、継続時間は５秒間になる。
　（ステップＳ２９：継続時間判定処理）
　滞在判定部２５は、対象の部分領域の継続時間が基準時間以上であるか否かを判定する。基準時間は、全ての部分領域に共通の時間であってもよいし、部分領域毎に異なる時間であってもよい。例えば、入力となる動画像データが歪みのあるレンズを持つカメラ等によって取得された場合には、画像データの中央部と端部とで人の映り方が異なる。そのため、全ての部分領域に共通の時間を基準時間として用いてしまうと、高精度に人が滞在しているか移動しているかを判定できない可能性がある。
　滞在判定部２５は、継続時間が基準時間以上である場合には、処理をステップＳ２７に進める。一方、滞在判定部２５は、継続時間が基準時間未満である場合には、処理をステップＳ３０に進める。
　（ステップＳ３０：移動処理）
　滞在判定部２５は、対象の部分領域については、人が移動していると判定する。
　図４を参照して、実施の形態１に係る滞在判定装置１０の動作例を説明する。
　図４は、動画像データを構成する画像データのある部分領域について、移動していると判定される１つの例（移動例１）と、滞在していると判定される２つの例（滞在例１，２）とを示している。図４では、１つの目盛が動画像データのフレームの取得サイクルであり、２００ミリ秒であるとする。つまり、動画像データの各フレームは、２００ミリ秒毎に取得されているとする。また、基準時間が３０００ミリ秒であるとする。
　天井から俯瞰して撮影された動画像データを入力とする場合、人検出部２１は、図４のように、各フレームをグリッド状に分割し、分割されて得られた複数の部分領域それぞれについて静止している人の有無と動いている人の有無とを検出する。
　人が移動している場合には、同じ部分領域に同一人物が居続けることはない。そのため、移動例１のように、静止している人が居らず動いている人が居る状態の継続時間が基準時間未満となり、移動していると判定される。
　狭い範囲での荷物の持ち運びのように動いている人が居る状態の場合には、時間内に変位する距離が大きくなるものの、同じ領域に同一人物が居続ける。そのため、滞在例１のように、静止している人が居らず動いている人が居る状態の継続時間が基準時間以上となり、滞在していると判定される。滞在例１のように、継続時間が基準時間未満の間は移動していると判定され、継続時間が基準時間以上になると滞在していると判定されるようになる。
　静止している人が居る状態の場合には、滞在例２のように、人が留まっているため滞在と判定される。
　なお、滞在判定装置１０の入力となる動画像データは、赤外線で撮影された動画像データであっても、可視光で撮影された動画像データであっても構わない。また、滞在判定装置１０の入力となる動画像データは、センサ又は何らかのデバイスから取得されるデータが画像のように２次元的に配列されたものであっても構わない。
　＊＊＊実施の形態１の効果＊＊＊
　以上のように、実施の形態１に係る滞在判定装置１０は、静止している人の有無と動いている人の有無との検出結果と、静止している人が居らず動いている人が居る状態の継続時間とに基づき、人が滞在している否かを判定する。これにより、腕又は身体を大きく動かすような動作を行う人がいるような場合にも、人が滞在しているか移動しているかを適切に判定可能である。その結果、人が滞在する場合は視認を伴う作業に必要な明るさを提供し、移動の場合には移動するために必要最低限の明るさを提供することで省エネルギー化を図るといったことを適切に行うことが可能である。
　＊＊＊他の構成＊＊＊
　＜変形例１＞
　実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。
　図５を参照して、変形例１に係る滞在判定装置１０の構成を説明する。
　各機能構成要素がハードウェアで実現される場合には、滞在判定装置１０は、プロセッサ１１と記憶装置１２とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と記憶装置１２との機能とを実現する専用の回路である。
　電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ　Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）が想定される。
　各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。
　＜変形例２＞
　変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
　プロセッサ１１と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
　１０　滞在判定装置、１１　プロセッサ、１２　記憶装置、１３　受信インタフェース、１４　送信インタフェース、１５　電子回路、２１　人検出部、２２　判定部、２３　結果取得部、２４　時間計測部、２５　滞在判定部。

Claims (6)

  1. 　画像データに含まれる領域が分割された複数の部分領域それぞれについて、静止している人の有無と動いている人の有無とを示す検出結果を取得する結果取得部と、
    　静止している人が居らず動いている人が居ることを前記結果取得部によって取得された前記検出結果が示す状態の継続時間を計測する時間計測部と、
    　前記複数の部分領域それぞれについて、前記検出結果と、前記時間計測部によって計測された前記継続時間とに基づき、人が滞在している否かを判定する滞在判定部と
    を備える滞在判定装置。
  2. 　前記滞在判定部は、静止している人が居らず動いている人が居ることを前記検出結果が示す部分領域について、前記継続時間が基準時間以上である場合には、人が滞在していると判定し、前記継続時間が前記基準時間未満である場合には、人が移動していると判定する
    請求項１に記載の滞在判定装置。
  3. 　前記滞在判定部は、静止している人が居ることを前記検出結果が示す部分領域について、人が滞在していると判定する
    請求項１又は２に記載の滞在判定装置。
  4. 　前記滞在判定部は、静止している人及び動いている人が居ないことを前記検出結果が示す部分領域について、人が不在であると判定する
    請求項１から３までのいずれか１項に記載の滞在判定装置。
  5. 　結果取得部が、画像データに含まれる領域が分割された複数の部分領域それぞれについて、静止している人の有無と動いている人の有無とを示す検出結果を取得し、
    　時間計測部が、静止している人が居らず動いている人が居ることを前記検出結果が示す状態の継続時間を計測し、
    　滞在判定部が、前記複数の部分領域それぞれについて、前記検出結果と前記継続時間とに基づき、人が滞在している否かを判定する滞在判定方法。
  6. 　画像データに含まれる領域が分割された複数の部分領域それぞれについて、静止している人の有無と動いている人の有無とを示す検出結果を取得する結果取得処理と、
    　静止している人が居らず動いている人が居ることを前記結果取得処理によって取得された前記検出結果が示す状態の継続時間を計測する時間計測処理と、
    　前記複数の部分領域それぞれについて、前記検出結果と、前記時間計測処理によって計測された前記継続時間とに基づき、人が滞在している否かを判定する滞在判定処理と
    を行う滞在判定装置としてコンピュータを機能させる滞在判定プログラム。
PCT/JP2019/014434 2019-04-01 2019-04-01 滞在判定装置、滞在判定方法及び滞在判定プログラム WO2020202425A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021511794A JP6972428B2 (ja) 2019-04-01 2019-04-01 滞在判定装置、滞在判定方法及び滞在判定プログラム
PCT/JP2019/014434 WO2020202425A1 (ja) 2019-04-01 2019-04-01 滞在判定装置、滞在判定方法及び滞在判定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/014434 WO2020202425A1 (ja) 2019-04-01 2019-04-01 滞在判定装置、滞在判定方法及び滞在判定プログラム

Publications (1)

Publication Number Publication Date
WO2020202425A1 true WO2020202425A1 (ja) 2020-10-08

Family

ID=72666731

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/014434 WO2020202425A1 (ja) 2019-04-01 2019-04-01 滞在判定装置、滞在判定方法及び滞在判定プログラム

Country Status (2)

Country Link
JP (1) JP6972428B2 (ja)
WO (1) WO2020202425A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05118613A (ja) * 1991-10-30 1993-05-14 Matsushita Electric Ind Co Ltd 生活シーン推定装置および空気調和機
JPH06117836A (ja) * 1992-08-21 1994-04-28 Matsushita Electric Ind Co Ltd 画像処理装置と空気調和機の制御装置と画像処理装置を用いた応用機器
JP2009110688A (ja) * 2007-10-26 2009-05-21 Outstanding Technology:Kk 照明装置、照明方法、およびプログラム
JP2010257611A (ja) * 2009-04-21 2010-11-11 Taisei Corp エネルギー負荷制御システム
JP2013058063A (ja) * 2011-09-08 2013-03-28 Chuo Electronics Co Ltd 画像処理装置、方法、プログラム、および監視システム
JP2014056312A (ja) * 2012-09-11 2014-03-27 Ricoh Co Ltd 制御装置、制御方法およびプログラム
JP2017111008A (ja) * 2015-12-16 2017-06-22 パナソニックＩｐマネジメント株式会社 人検知システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05118613A (ja) * 1991-10-30 1993-05-14 Matsushita Electric Ind Co Ltd 生活シーン推定装置および空気調和機
JPH06117836A (ja) * 1992-08-21 1994-04-28 Matsushita Electric Ind Co Ltd 画像処理装置と空気調和機の制御装置と画像処理装置を用いた応用機器
JP2009110688A (ja) * 2007-10-26 2009-05-21 Outstanding Technology:Kk 照明装置、照明方法、およびプログラム
JP2010257611A (ja) * 2009-04-21 2010-11-11 Taisei Corp エネルギー負荷制御システム
JP2013058063A (ja) * 2011-09-08 2013-03-28 Chuo Electronics Co Ltd 画像処理装置、方法、プログラム、および監視システム
JP2014056312A (ja) * 2012-09-11 2014-03-27 Ricoh Co Ltd 制御装置、制御方法およびプログラム
JP2017111008A (ja) * 2015-12-16 2017-06-22 パナソニックＩｐマネジメント株式会社 人検知システム

Also Published As

Publication number Publication date
JP6972428B2 (ja) 2021-11-24
JPWO2020202425A1 (ja) 2021-09-27

Similar Documents

Publication Publication Date Title
KR102399017B1 (ko) 이미지 생성 방법 및 장치
US9330325B2 (en) Apparatus and method for reducing noise in fingerprint images
US20150199585A1 (en) Method of sampling feature points, image matching method using the same, and image matching apparatus
AU2016397318B2 (en) Passenger counting device, system, method and program
CN107404628B (zh) 图像处理装置及方法以及监视系统
JP6138861B2 (ja) 距離算出装置
WO2017143745A1 (zh) 一种确定待测对象的运动信息的方法及装置
JP2008286725A (ja) 人物検出装置および方法
JP2001324305A (ja) 画像対応位置検出装置および該装置を備える測距装置
WO2012042580A1 (ja) 視線推定装置
JP2013186042A (ja) 距離算出装置及び距離算出方法
WO2019011110A1 (zh) 逆光场景的人脸区域处理方法和装置
JP2009026223A (ja) 物体検出装置及びプログラム
CN105787429B (zh) 采用机器视觉用于检查物体的方法和设备
JP2019029948A (ja) 画像監視装置、画像監視方法および画像監視プログラム
JP6972428B2 (ja) 滞在判定装置、滞在判定方法及び滞在判定プログラム
US9866798B2 (en) Image processing apparatus, method and program for controlling an image processing apparatus based on detected user movement
WO2021130978A1 (ja) 動作分析システムおよび動作分析プログラム
JPWO2020194650A1 (ja) 異物検出装置、異物検出方法、およびプログラム
EP2435953B1 (en) Method and device for detecting the open or closed state of an eye of a face
US9811740B2 (en) Computer-readable medium storing therein image processing program, image processing device, and image processing method
KR20170131257A (ko) 머신 비전을 위한 영상 분석 방법 및 영상 분석 장치
KR20180125278A (ko) 보행자 검출 장치 및 그 방법
JP6897431B2 (ja) 画像処理装置、設定支援方法、および設定支援プログラム
WO2019233169A1 (zh) 图像处理方法和装置、电子装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19922534

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021511794

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19922534

Country of ref document: EP

Kind code of ref document: A1