WO2019176039A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2019176039A1
WO2019176039A1 PCT/JP2018/010173 JP2018010173W WO2019176039A1 WO 2019176039 A1 WO2019176039 A1 WO 2019176039A1 JP 2018010173 W JP2018010173 W JP 2018010173W WO 2019176039 A1 WO2019176039 A1 WO 2019176039A1
Authority
WO
WIPO (PCT)
Prior art keywords
door
area
image
region
image processing
Prior art date
Application number
PCT/JP2018/010173
Other languages
English (en)
French (fr)
Inventor
勝大 草野
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2018/010173 priority Critical patent/WO2019176039A1/ja
Priority to JP2019542646A priority patent/JP6602521B1/ja
Publication of WO2019176039A1 publication Critical patent/WO2019176039A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B3/00—Applications of devices for indicating or signalling operating conditions of elevators

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program.
  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program for estimating an area occupied by a person and an object in a box-like structure.
  • Patent Document 1 discloses a technique for acquiring the size of a huge object getting on an elevator from an image taken by a camera, estimating the weight of the object, and determining the weight.
  • the object of the present invention is to estimate an occupied area when a lightweight and large occupied area and a plurality of people are in a box-like structure such as an elevator car or a train.
  • An image processing apparatus includes: An image acquisition unit that acquires, as a captured image, a chronological image obtained by capturing an area including the door in a structure having a door; Based on the captured image including a state in which the door is opened and closed, a detection unit that detects the door region as a door region; A first calculation unit that calculates motion information in the door region as door region motion information based on the captured image; A second calculating unit that calculates an area of a moving object passing through the door region as a passing object area using the captured image and the door region movement information; An addition / subtraction unit that calculates an area occupied by the moving object with respect to the structure using the door area movement information and the passing object area is provided.
  • the boarding control to the structure is performed using the occupied area that could not be estimated only by the weight. Can do.
  • FIG. 1 is a configuration diagram of an image processing apparatus according to Embodiment 1.
  • FIG. 3 is a schematic diagram illustrating an example of a time-series image indicating opening / closing of a door in the first embodiment.
  • FIG. 3 is a schematic diagram illustrating an example of an image of a door area in the first embodiment.
  • FIG. 3 is a schematic diagram illustrating an example of an image in which a person passes through a door area according to the first embodiment.
  • the schematic diagram which shows an example of the image through which a person and an object pass the door area
  • FIG. 3 is a flowchart showing the operation of the image processing apparatus according to the first embodiment.
  • FIG. 6 is a configuration diagram of an image processing apparatus according to a modification of the first embodiment.
  • 10 is a flowchart showing the operation of the image processing apparatus according to the second embodiment.
  • FIG. 6 is a configuration diagram of an image processing apparatus according to a third embodiment. 10 is a flowchart
  • Embodiment 1 FIG. *** Explanation of configuration *** The configuration of the image processing apparatus 100 according to the present embodiment will be described with reference to FIG.
  • the image processing apparatus 100 estimates an area occupied by a person and an object inside the structure in a box-shaped structure such as an elevator car or a train.
  • the structure has a door.
  • an elevator car is used as an example of a structure having a door.
  • the image processing apparatus 100 is a computer.
  • the image processing apparatus 100 includes a processor 910 and other hardware such as a memory 921, an auxiliary storage device 922, an input interface 930, and an output interface 940.
  • the processor 910 is connected to other hardware via a signal line, and controls these other hardware.
  • the image processing apparatus 100 includes an image acquisition unit 110, a detection unit 120, a storage unit 130, a first calculation unit 140, a second calculation unit 150, and an addition / subtraction unit 160 as functional elements.
  • the storage unit 130 stores a door region Rt.
  • the functions of the image acquisition unit 110, the detection unit 120, the first calculation unit 140, the second calculation unit 150, and the addition / subtraction unit 160 are realized by software.
  • the storage unit 130 is provided in the memory 921.
  • the storage unit 130 may be included in the auxiliary storage device 922.
  • the processor 910 is a device that executes an image processing program.
  • the image processing program is a program that implements the functions of the image acquisition unit 110, the detection unit 120, the first calculation unit 140, the second calculation unit 150, and the addition / subtraction unit 160.
  • the processor 910 is an IC (Integrated Circuit) that performs arithmetic processing. Specific examples of the processor 910 are a CPU, a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).
  • the processor 910 is also referred to as an image processing processor.
  • the memory 921 is a storage device that temporarily stores data.
  • a specific example of the memory 921 is an SRAM (Static Random Access Memory) or a DRAM (Dynamic Random Access Memory).
  • the auxiliary storage device 922 is a storage device that stores data.
  • a specific example of the auxiliary storage device 922 is an HDD.
  • the auxiliary storage device 922 may be a portable storage medium such as an SD (registered trademark) memory card, a CF, a NAND flash, a flexible disk, an optical disk, a compact disk, a Blu-ray (registered trademark) disk, and a DVD.
  • HDD is an abbreviation for Hard Disk Drive.
  • SD (registered trademark) is an abbreviation for Secure Digital.
  • CF is an abbreviation for CompactFlash (registered trademark).
  • DVD is an abbreviation for Digital Versatile Disk.
  • the input interface 930 is connected to the imaging device 200.
  • a specific example of the imaging apparatus 200 is a camera.
  • the input interface 930 is an image input interface that acquires an image from the imaging apparatus 200.
  • the input interface 930 may include a port connected to an input device such as a mouse, a keyboard, or a touch panel.
  • the input interface 930 is a USB (Universal Serial Bus) terminal.
  • the input interface 930 may be a port connected to a LAN (Local Area Network).
  • the output interface 940 is a port to which a cable of an output device such as a display is connected.
  • the output interface 940 is a USB terminal or an HDMI (registered trademark) (High Definition Multimedia interface) terminal.
  • the display is an LCD (Liquid Crystal Display).
  • the image processing apparatus 100 is a processing result output interface that displays a processing result on a display via the output interface 940.
  • the image processing program is read into the processor 910 and executed by the processor 910.
  • the memory 921 stores not only an image processing program but also an OS (Operating System).
  • the processor 910 executes an image processing program while executing the OS.
  • the image processing program and the OS may be stored in the auxiliary storage device.
  • the image processing program and OS stored in the auxiliary storage device are loaded into the memory 921 and executed by the processor 910. Part or all of the image processing program may be incorporated in the OS.
  • the image processing apparatus 100 may include a plurality of processors that replace the processor 910.
  • the plurality of processors share execution of the image processing program.
  • Each processor is a device that executes an image processing program, like the processor 910.
  • Data, information, signal values, and variable values used, processed, or output by the image processing program are stored in the memory 921, the auxiliary storage device 922, or a register or cache memory in the processor 910.
  • the “part” of each part of the image acquisition unit 110, the detection unit 120, the first calculation unit 140, the second calculation unit 150, and the addition / subtraction unit 160 may be read as “processing”, “procedure”, or “process”. Also, the “process” of the image acquisition process, the detection process, the first calculation process, the second calculation process, and the addition / subtraction process may be read as “program”, “program product”, or “computer-readable storage medium storing the program”. Good.
  • the image processing program causes the computer to execute each process, each procedure, or each process in which the “part” of each part is replaced with “process”, “procedure”, or “process”.
  • the image processing method is a method performed by the image processing apparatus 100 executing an image processing program.
  • the image processing program may be provided by being stored in a computer-readable recording medium.
  • the image processing program may be provided as a program product.
  • the imaging device 200 captures an area including a door.
  • the imaging apparatus 200 outputs, to the image acquisition unit 110, a chronological image obtained by capturing an area including the door as a captured image 301.
  • imaging device 200 captures an area including a door from the inside of the elevator.
  • the image acquisition unit 110 acquires, as a captured image 301, a time-series image obtained by capturing an area including a door in a structure having a door. When the door area is not detected, the image acquisition unit 110 outputs the captured image 301 acquired from the imaging device 200 to the detection unit 120. When the door area has been detected, the image acquisition unit 110 outputs the captured image 301 acquired from the imaging device 200 to the first calculation unit 140.
  • the detecting unit 120 detects the door region as the door region Rt based on the captured image 301 including the state where the door is opened and closed.
  • the detection unit 120 stores the door region Rt in the storage unit 130.
  • FIG. 2 is a schematic diagram showing an example of a photographed image 301 showing opening and closing of the door in the present embodiment.
  • the detection unit 120 starts from an image of a door closed state where the door is closed, and continuously detects images in time series in which the door is opened, the door is opened, and the door is closed. Get in. Then, the detection unit 120 calculates a motion vector between adjacent frames in time series order. The detection unit 120 detects a region where the motion vector is uniformly generated in the same direction as the door region Rt in the image.
  • FIG. 3 is a schematic diagram illustrating an example of an image of the door region Rt in the present embodiment.
  • the hatched portion is the door region Rt detected by the detection unit 120.
  • the storage unit 130 stores the door region Rt in the image output from the detection unit 120 and outputs the door region Rt to the first calculation unit 140. Further, the detection unit 120 outputs to the image acquisition unit 110 whether or not the door region Rt has been detected.
  • the first calculation unit 140 calculates the motion vector of the door region Rt portion input from the storage unit 130 for the images acquired in time series from the image acquisition unit 110 and outputs the motion vector to the second calculation unit 150.
  • the motion vector of the door region Rt is an example of the door region motion information Vt.
  • the second calculator 150 calculates the area of the moving object passing through the door as the passing object area Mb from the time-series motion vector of the door region Rt acquired from the first calculator 140.
  • the second calculation unit 150 outputs the passing object area Mb to the addition / subtraction unit 160 together with the direction of movement, that is, the door region movement information Vt.
  • FIG. 4 is a schematic diagram illustrating an example of an image in which a person 31 passes through the door region Rt according to the present embodiment.
  • FIG. 5 is a schematic diagram illustrating an example of an image in which a person 31 and an object 32 pass through the door region Rt according to the present embodiment.
  • the object 32 is a cart.
  • the moving object 30 is a person 31 or an object 32 that enters or exits a structure such as an elevator car. As shown in FIGS. 4 and 5, the area where the motion vector is generated increases as the area of the moving object 30 shown in the image increases.
  • the adding / subtracting unit 160 outputs the areas of the person 31 and the object 32 currently present in the elevator car according to the area acquired from the second calculating unit 150 and the direction of movement.
  • the addition / subtraction unit 160 defines the direction of the motion vector that first passes through the door region Rt as the “in” direction and the motion vector that passes in the opposite direction as the “out” direction. Then, the addition / subtraction unit 160 calculates the area of the person 31 and the object 32 existing in the current elevator car as the occupied area Ma.
  • step S ⁇ b> 101 the image acquisition unit 110 acquires, from the imaging device 200, captured images 301 in chronological order from the door closed state where the elevator car door is closed.
  • the image acquisition unit 110 outputs the captured image 301 to the detection unit 120.
  • step S102 the detection unit 120 detects the door region as the door region Rt based on the captured image 301 including a state where the door is opened and closed. Specifically, the detection unit 120 detects, as the door region Rt, a region in which motion information is generated that moves uniformly in the same direction in the captured image 301 including a state where the door opens and closes.
  • the detection unit 120 calculates a motion vector as motion information between adjacent frames in time series order.
  • the detection unit 120 detects a region where a motion vector is generated in the same direction uniformly between adjacent frames as a door region Rt.
  • a motion vector is an example of motion information.
  • the detection unit 120 stores the door region Rt in the storage unit 130.
  • step S103 the detection unit 120 determines whether or not the door region Rt has been detected.
  • the detection unit 120 repeatedly opens and closes the door. If the door region Rt does not expand for a predetermined time T, the detection unit 120 determines that the door region has been detected. If the door area has not been detected, the process returns to step S101. If the door area has been detected, the process proceeds to step S104.
  • step S104 the first calculation unit 140 calculates a motion vector in the door region Rt as the door region motion information Vt based on the captured image 301. Specifically, the first calculation unit 140 acquires the door region Rt from the storage unit 130. The first calculation unit 140 calculates a motion vector that passes through the door region Rt between adjacent frames in the time series order with respect to the images acquired from the image acquisition unit 110 in the time series order. The motion vector passing through the door region Rt is an example of the door region motion information Vt.
  • step S105 the second calculation unit 150 calculates the area of the moving object passing through the door region as the passing object area Mb using the captured image 301 and the door region movement information Vt.
  • the second calculation unit 150 calculates the area of the moving object that passes through the door region Rt as the passing object area Mb for each direction of the motion vector calculated by the first calculation unit 140. For example, it is assumed that door dimensions are registered in the image processing apparatus 100 in advance.
  • the second calculator 150 calculates the passing object area Mb by calculating the ratio of the moving object part to the door area obtained from the door dimensions in the captured image 301.
  • step S106 the addition / subtraction unit 160 calculates the occupation area Ma of the moving object 30 with respect to the structure using the door region movement information Vt and the passing object area Mb.
  • the addition / subtraction unit 160 uses the door region movement information Vt to set the direction from the door to the structure and the direction from the door.
  • the addition / subtraction unit 160 adds the passing object area Mb to the occupied area Ma when moving in the direction in which the moving object enters.
  • the addition / subtraction unit 160 subtracts the passing object area Mb from the occupied area Ma when the moving object moves in the direction of exiting the door. Thereby, the addition / subtraction unit 160 calculates the occupation area Ma.
  • the addition / subtraction unit 160 adds / subtracts the passing object area Mb calculated by the second calculation unit 150 according to the direction of the door region motion information Vt, thereby moving the moving object 30 present in the current elevator car.
  • the occupation area Ma is calculated.
  • an example of a structure has been described as an elevator car.
  • the present embodiment can be applied to any structure such as a train, a container, or a bus as long as a moving object can enter and exit from the door.
  • a relatively light object having a large occupation area such as a cart, a wheelchair, or a wagon with casters is assumed.
  • the imaging device captures an image including the door area from the inside of the elevator.
  • the image capturing apparatus may capture an image from the outside of the elevator.
  • the image processing apparatus 100 may include a communication device.
  • the communication device has a receiver and a transmitter.
  • the communication device is wirelessly connected to a communication network such as a LAN, the Internet, or a telephone line.
  • the communication device is a communication chip or a NIC (Network Interface Card).
  • the image processing apparatus 100 may acquire an image in the structure via a communication device. Alternatively, the image processing apparatus 100 may display the processing result on an external display device via a communication device.
  • the functions of the image acquisition unit 110, the detection unit 120, the first calculation unit 140, the second calculation unit 150, and the addition / subtraction unit 160 are realized by software.
  • the functions of the image acquisition unit 110, the detection unit 120, the first calculation unit 140, the second calculation unit 150, and the addition / subtraction unit 160 may be realized by hardware.
  • FIG. 7 is a diagram illustrating a configuration of an image processing apparatus 100 according to a modification of the present embodiment.
  • the image processing apparatus 100 includes an electronic circuit 909, a memory 921, an auxiliary storage device 922, an input interface 930, and an output interface 940.
  • the electronic circuit 909 is a dedicated electronic circuit that realizes the functions of the image acquisition unit 110, the detection unit 120, the first calculation unit 140, the second calculation unit 150, and the addition / subtraction unit 160.
  • the electronic circuit 909 is a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA, an ASIC, or an FPGA.
  • GA is an abbreviation for Gate Array.
  • ASIC is an abbreviation for Application Specific Integrated Circuit.
  • FPGA is an abbreviation for Field-Programmable Gate Array.
  • the functions of the image acquisition unit 110, the detection unit 120, the first calculation unit 140, the second calculation unit 150, and the addition / subtraction unit 160 may be realized by one electronic circuit, or may be realized by being distributed to a plurality of electronic circuits. May be. As another modification, some functions of the image acquisition unit 110, the detection unit 120, the first calculation unit 140, the second calculation unit 150, and the addition / subtraction unit 160 are realized by an electronic circuit, and the remaining functions are realized by software. May be.
  • Each of the processor and the electronic circuit is also called a processing circuit. That is, in the image processing apparatus 100, the functions of the image acquisition unit 110, the detection unit 120, the first calculation unit 140, the second calculation unit 150, and the addition / subtraction unit 160 are realized by processing circuitry.
  • the image acquisition unit outputs a time-series image to the detection unit or the first calculation unit according to whether or not the door area is detected.
  • the detection unit detects the door region from the time series image when the door is opened and closed.
  • the detection unit calculates movement information of the door that opens and closes from a video that opens and closes the door area among videos acquired in time series from the imaging device, and detects an area where a lot of movement occurs as a door area.
  • the storage unit stores the door area detected by the detection unit.
  • a 1st calculation part calculates the motion vector in the door area
  • a 2nd calculation part calculates the area of the moving object which passes a door area
  • the image processing apparatus 100 in a structure having a door, it is possible to estimate an occupied area when a lightweight object having a large occupied area and a plurality of people are on board. Therefore, according to the image processing apparatus 100 according to the present embodiment, the boarding control to the structure can be performed using the occupied area that cannot be estimated only by the weight.
  • Embodiment 2 differences from the first embodiment will be mainly described.
  • symbol is attached
  • the detection unit 120 is configured to detect a door region from a motion vector when the door is opened and closed.
  • an embodiment will be described in which images are compared in a state where the door is closed and in a state where the door is opened and closed, and the door region is detected.
  • the configuration of the image processing apparatus 100 according to the present embodiment is the same as that shown in FIGS.
  • the detection unit 120 sets an image of the door closed state where the door is closed as the background image 311.
  • a captured image 301 in the door closed state shown in FIG. 2 is an example of the background image 311.
  • the detection unit 120 detects an area having the largest difference from the background image 311 as the door area Rt.
  • the detection unit 120 detects the door region Rt from the images acquired from the image acquisition unit 110 in chronological order, and stores them in the storage unit 130.
  • FIG. 8 is a flowchart showing processing of the image processing apparatus 100 according to the present embodiment.
  • the same processes as those in FIG. 6 of the first embodiment are denoted by the same step symbols, and the description thereof is omitted.
  • the detection unit 120 sets the image of the door closed state in which the door is closed as the background image 311.
  • the detection unit 120 continuously acquires time-series images that capture a state where the door is opened, a door opened state where the door is opened, and a state where the door is closed.
  • the detection unit 120 calculates a difference between each image and the background image 311 and detects an area where the difference is large as a door area Rt in the image.
  • the detection unit calculates a difference from the video acquired in time series from the imaging device and the video with the door area closed and the video with the door area opened and closed. . And a detection part detects an area
  • Embodiment 3 FIG. In the present embodiment, differences from Embodiments 1 and 2 will be mainly described. In addition, the same code
  • the configuration of the image processing apparatus 100a according to the present embodiment will be described with reference to FIG. 9 is different from FIG. 1 of the first embodiment in that an input interface 930 a is connected to the external sensor 201. Sensor information of the external sensor 201 is input to the input interface 930a.
  • the input interface 930a is a sensor input interface.
  • the addition / subtraction unit 160 determines the areas of the persons 31 and the objects 32 currently present in the elevator car according to the passing object area Mb output from the second calculation unit 150 and the direction of movement. Output as occupied area Ma.
  • the addition / subtraction unit 160 calculates the area present in the current elevator car based on the area of the motion vector and the direction of the motion vector.
  • the addition / subtraction unit 160 resets the current area when the reset information 202 is input from the external sensor 201. Specifically, when the addition / subtraction unit 160 receives the reset information 202 indicating that the inside of the structure is empty, the addition / subtraction unit 160 initializes the occupation area Ma.
  • FIG. 10 is a flowchart showing processing of the image processing apparatus 100a in the present embodiment.
  • the same processes as those in FIG. 6 of the first embodiment are denoted by the same step symbols, and the description thereof is omitted.
  • the addition / subtraction unit 160a determines whether the reset information 202 is input from the external sensor 201 after calculating the occupied area. If the reset information 202 has been input, the process proceeds to step S308. If there is no input of reset information 202, the process returns to step S105. In step S308, the addition / subtraction unit 160a resets the occupation area Ma and returns to step S104.
  • the addition / subtraction unit resets the occupied area by the reset information output from the external sensor. Therefore, according to the image processing apparatus 100a according to the present embodiment, the error of the occupied area accumulated by the addition / subtraction unit is reduced by resetting the area of the elevator car based on the reset information input from the external sensor. be able to.
  • each unit of the image processing apparatus has been described as an independent functional block.
  • the configuration of the image processing apparatus may not be the configuration as in the above-described embodiment.
  • the functional blocks of the image processing apparatus may have any configuration as long as the functions described in the above-described embodiments can be realized.
  • the image processing apparatus may be a system composed of a plurality of apparatuses instead of a single apparatus.
  • you may implement combining several parts among Embodiment 1-3.
  • one part of these embodiments may be implemented.
  • these embodiments may be implemented in any combination as a whole or in part. That is, in Embodiments 1 to 3, any combination of the embodiments, a modification of an arbitrary component of each embodiment, or an omission of any component in each embodiment is possible.
  • moving objects 31 people, 32 objects, 100, 100a image processing device, 110 image acquisition unit, 120 detection unit, 130 storage unit, 140 first calculation unit, 150 second calculation unit, 160, 160a addition / subtraction unit, 200 imaging Device, 201 external sensor, 202 reset information, 301 captured image, 311 background image, 909 electronic circuit, 910 processor, 921 memory, 922 auxiliary storage device, 930, 930a input interface, 940 output interface, Rt door area, Ma occupied area , Mb passing object area, Vt door area movement information.

Landscapes

  • Indicating And Signalling Devices For Elevators (AREA)
  • Image Analysis (AREA)

Abstract

画像取得部（１１０）は、扉を有する構造物において扉を含む領域を撮影した時系列順の画像を撮影画像（３０１）として取得する。検出部（１２０）は、扉が開閉する状態を含む撮影画像（３０１）に基づいて、扉の領域を扉領域（Ｒｔ）として検出する。第１算出部（１４０）は、撮影画像（３０１）に基づいて、扉領域（Ｒｔ）における動き情報を扉領域動き情報（Ｖｔ）として算出する。第２算出部（１５０）は、撮影画像（３０１）と扉領域動き情報（Ｖｔ）を用いて、扉領域を通過する移動物体の面積を通過物体面積（Ｍｂ）として算出する。加減算部（１６０）は、扉領域動き情報（Ｖｔ）と通過物体面積（Ｍｂ）を用いて、構造物に対する移動物体の占有面積（Ｍａ）を算出する。

Description

画像処理装置、画像処理方法および画像処理プログラム
　本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。特に、箱状の構造物に入っている人および物が占める面積を推定する画像処理装置、画像処理方法および画像処理プログラムに関するものである。
　エレベータでは、重量センサによる重量判定により、かご内の乗車率を推定している。重量が規定値以上の場合、かご内が一杯であると判定され、乗車待ちの人がいる階であっても通過するといった制御が行われる。
　また、特許文献１には、カメラで撮影した画像から、エレベータに乗車する巨大な物体の大きさを取得し、その物体の重量を推定し、重量判定する技術が開示されている。
特開２０１６－１６９０７２号公報
　エレベータには、台車あるいは車椅子といった軽量かつ占有面積が大きい物体と複数の人が乗車している場合がある。重量判定のみを用いた場合、新たに人が乗車できないほどかご内が混雑しているにもかかわらず、重量が規定値以下となる。このため、かご内に新たに乗車できる空間があると判定されてしまう。
　また、特許文献１では、巨大な物体を対象としており、かつ、最終的に重量推定を実施しているため、かご内の占有面積を推定することはできていない。
　本発明は、エレベータかごあるいは列車といった箱状の構造物において、軽量かつ占有面積が大きい物と複数の人とが乗車している際の占有面積を推定することを目的とする。
　本発明に係る画像処理装置は、
　扉を有する構造物において前記扉を含む領域を撮影した時系列順の画像を撮影画像として取得する画像取得部と、
　前記扉が開閉する状態を含む前記撮影画像に基づいて、前記扉の領域を扉領域として検出する検出部と、
　前記撮影画像に基づいて、前記扉領域における動き情報を扉領域動き情報として算出する第１算出部と、
　前記撮影画像と前記扉領域動き情報を用いて、前記扉領域を通過する移動物体の面積を通過物体面積として算出する第２算出部と、
　前記扉領域動き情報と前記通過物体面積とを用いて、前記構造物に対する前記移動物体の占有面積を算出する加減算部とを備えた。
　本発明に係る画像処理装置では、構造物に対する移動物体の占有面積を算出することができるので、重量だけでは推定することができなかった占有面積を用いて、構造物への乗車制御を行うことができる。
実施の形態１に係る画像処理装置の構成図。 実施の形態１における扉の開閉を示す時系列画像の一例を示す模式図。 実施の形態１における扉領域の画像の一例を示す模式図。 実施の形態１に係る扉領域を人が通過する画像の一例を示す模式図。 実施の形態１に係る扉領域を人および物が通過する画像の一例を示す模式図。 実施の形態１に係る画像処理装置の動作を示すフローチャート。 実施の形態１の変形例に係る画像処理装置の構成図。 実施の形態２に係る画像処理装置の動作を示すフローチャート。 実施の形態３に係る画像処理装置の構成図。 実施の形態３に係る画像処理装置の動作を示すフローチャート。
　以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。
　実施の形態１．
＊＊＊構成の説明＊＊＊
　図１を用いて、本実施の形態に係る画像処理装置１００の構成を説明する。
　画像処理装置１００は、エレベータかごあるいは列車といった箱状の構造物において、この構造物の内部に入っている人および物が占める面積を推定する。なお、構造物は扉を有する。本実施の形態では、扉を有する構造物の例として、エレベータかごを用いて説明する。
　画像処理装置１００は、コンピュータである。画像処理装置１００は、プロセッサ９１０を備えるとともに、メモリ９２１、補助記憶装置９２２、入力インタフェース９３０、および出力インタフェース９４０といった他のハードウェアを備える。プロセッサ９１０は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
　画像処理装置１００は、機能要素として、画像取得部１１０と検出部１２０と記憶部１３０と第１算出部１４０と第２算出部１５０と加減算部１６０を備える。記憶部１３０には、扉領域Ｒｔが記憶される。
　画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の機能は、ソフトウェアにより実現される。記憶部１３０は、メモリ９２１に備えられる。記憶部１３０は、補助記憶装置９２２に備えられていてもよい。
　プロセッサ９１０は、画像処理プログラムを実行する装置である。画像処理プログラムは、画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の機能を実現するプログラムである。
　プロセッサ９１０は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）である。プロセッサ９１０の具体例は、ＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。プロセッサ９１０は、画像処理プロセッサともいう。
　メモリ９２１は、データを一時的に記憶する記憶装置である。メモリ９２１の具体例は、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、あるいはＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。
　補助記憶装置９２２は、データを保管する記憶装置である。補助記憶装置９２２の具体例は、ＨＤＤである。また、補助記憶装置９２２は、ＳＤ（登録商標）メモリカード、ＣＦ、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬記憶媒体であってもよい。なお、ＨＤＤは、Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅの略語である。ＳＤ（登録商標）は、Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌの略語である。ＣＦは、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）の略語である。ＤＶＤは、Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋの略語である。
　入力インタフェース９３０は、撮像装置２００と接続される。撮像装置２００の具体例は、カメラである。入力インタフェース９３０は、撮像装置２００から画像を取得する画像入力インタフェースである。また、入力インタフェース９３０として、マウス、キーボード、あるいはタッチパネルといった入力装置と接続されるポートを備えていてもよい。入力インタフェース９３０は、具体的には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子である。なお、入力インタフェース９３０は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）と接続されるポートであってもよい。
　出力インタフェース９４０は、ディスプレイといった出力機器のケーブルが接続されるポートである。出力インタフェース９４０は、具体的には、ＵＳＢ端子またはＨＤＭＩ（登録商標）（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）端子である。ディスプレイは、具体的には、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）である。画像処理装置１００は、出力インタフェース９４０を介して処理結果をディスプレイに表示する処理結果出力インタフェースである。
　画像処理プログラムは、プロセッサ９１０に読み込まれ、プロセッサ９１０によって実行される。メモリ９２１には、画像処理プログラムだけでなく、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）も記憶されている。プロセッサ９１０は、ＯＳを実行しながら、画像処理プログラムを実行する。画像処理プログラムおよびＯＳは、補助記憶装置に記憶されていてもよい。補助記憶装置に記憶されている画像処理プログラムおよびＯＳは、メモリ９２１にロードされ、プロセッサ９１０によって実行される。なお、画像処理プログラムの一部または全部がＯＳに組み込まれていてもよい。
　画像処理装置１００は、プロセッサ９１０を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、画像処理プログラムの実行を分担する。それぞれのプロセッサは、プロセッサ９１０と同じように、画像処理プログラムを実行する装置である。
　画像処理プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ９２１、補助記憶装置９２２、または、プロセッサ９１０内のレジスタあるいはキャッシュメモリに記憶される。
　画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の各部の「部」を「処理」、「手順」あるいは「工程」に読み替えてもよい。また画像取得処理と検出処理と第１算出処理と第２算出処理と加減算処理の「処理」を「プログラム」、「プログラムプロダクト」または「プログラムを記録したコンピュータ読取可能な記憶媒体」に読み替えてもよい。
　画像処理プログラムは、上記の各部の「部」を「処理」、「手順」あるいは「工程」に読み替えた各処理、各手順あるいは各工程を、コンピュータに実行させる。また、画像処理方法は、画像処理装置１００が画像処理プログラムを実行することにより行われる方法である。
　画像処理プログラムは、コンピュータ読取可能な記録媒体に格納されて提供されてもよい。また、画像処理プログラムは、プログラムプロダクトとして提供されてもよい。
＊＊＊機能の説明＊＊＊
　撮像装置２００は、扉を含む領域を撮影する。撮像装置２００は、扉を含む領域を撮影した時系列順の画像を撮影画像３０１として画像取得部１１０に出力する。本実施の形態では、撮像装置２００は、エレベータの内側から、扉を含む領域を撮影する。
　画像取得部１１０は、扉を有する構造物において扉を含む領域を撮影した時系列順の画像を撮影画像３０１として取得する。
　扉領域が検出されていない時点では、画像取得部１１０は、撮像装置２００から取得した撮影画像３０１を検出部１２０に出力する。また、扉領域が検出済みの場合は、画像取得部１１０は、撮像装置２００から取得した撮影画像３０１を第１算出部１４０に出力する。
　検出部１２０は、扉が開閉する状態を含む撮影画像３０１に基づいて、扉の領域を扉領域Ｒｔとして検出する。検出部１２０は、扉領域Ｒｔを記憶部１３０に記憶する。
　図２は、本実施の形態における扉の開閉を示す撮影画像３０１の一例を示す模式図である。
　検出部１２０は、扉が閉じた扉閉状態の画像を起点とし、扉が開いていく状態、扉が開いた扉開状態、および扉が閉じていく状態を捉えた時系列順の画像を連続で取得する。そして、検出部１２０は、時系列順に隣接するフレーム間で動きベクトルを算出する。検出部１２０は、一様に同じ方向に動きベクトルが発生した領域を画像中の扉領域Ｒｔとして検出する。
　図３は、本実施の形態における扉領域Ｒｔの画像の一例を示す模式図である。図３において、斜線で示している部分が検出部１２０により検出された扉領域Ｒｔである。
　記憶部１３０は、検出部１２０から出力された画像中の扉領域Ｒｔを記憶しておき、第１算出部１４０に出力する。また、検出部１２０は、扉領域Ｒｔが検出済みか否かを画像取得部１１０に出力する。
　第１算出部１４０は、画像取得部１１０から時系列順に取得される画像に対し、記憶部１３０から入力される扉領域Ｒｔ部分の動きベクトルを算出し、第２算出部１５０に出力する。扉領域Ｒｔ部分の動きベクトルは扉領域動き情報Ｖｔの例である。
　第２算出部１５０は、第１算出部１４０から取得される扉領域Ｒｔ部分の時系列の動きベクトルから扉を通過する移動物体の面積を通過物体面積Ｍｂとして算出する。第２算出部１５０は、通過物体面積Ｍｂを動きの方向、すなわち扉領域動き情報Ｖｔとともに加減算部１６０に出力する。
　図４は、本実施の形態に係る扉領域Ｒｔを人３１が通過する画像の一例を示す模式図である。
　図５は、本実施の形態に係る扉領域Ｒｔを人３１および物３２が通過する画像の一例を示す模式図である。ここでは、物３２は台車である。
　なお、移動物体３０とは、エレベータかごといった構造物に出入りする人３１あるいは物３２である。
　図４および図５に示すように、画像に映る移動物体３０の面積が大きいほど動きベクトルの発生する面積は多くなる。
　加減算部１６０は、第２算出部１５０から取得される面積と動きの方向に応じて、現在エレベータかご内に存在する人３１および物３２の面積を出力する。扉領域Ｒｔの検出直後は、エレベータかごは空の状態である。よって、加減算部１６０は、最初に扉領域Ｒｔを通過する動きベクトルの方向を「入る」方向、逆方向に通過する動きベクトルを「出る」方向と定義する。そして、加減算部１６０は、現在のエレベータかごに存在する人３１および物３２の面積を占有面積Ｍａとして算出する。
＊＊＊動作の説明＊＊＊
　図６を用いて、本実施の形態に係る画像処理装置１００の動作について説明する。
　ステップＳ１０１において、画像取得部１１０は、撮像装置２００から、エレベータかごの扉が閉じた扉閉状態から時系列順に撮影画像３０１を取得する。画像取得部１１０は、撮影画像３０１を検出部１２０に出力する。
　ステップＳ１０２において、検出部１２０は、扉が開閉する状態を含む撮影画像３０１に基づいて、扉の領域を扉領域Ｒｔとして検出する。具体的には、検出部１２０は、扉が開閉する状態を含む撮影画像３０１において、一様に同じ方向に動く動き情報が発生した領域を扉領域Ｒｔとして検出する。具体的には、検出部１２０は、時系列順に隣接するフレーム間で動きベクトルを動き情報として算出する。検出部１２０は、隣接するフレーム間で一様に同じ方向に動きベクトルが発生している領域を扉領域Ｒｔとして検出する。動きベクトルは動き情報の例である。検出部１２０は、扉領域Ｒｔを記憶部１３０に記憶する。
　ステップＳ１０３において、検出部１２０は、扉領域Ｒｔが検出済みか否かを判定する。検出部１２０は、扉の開閉を繰り返し、所定の時間Ｔの間、扉領域Ｒｔが拡大しなかった場合、扉領域検出済みとする。扉領域が検出済みでない場合は、処理はステップＳ１０１に戻る。扉領域検出済みの場合は、処理はステップＳ１０４に進む。
　ステップＳ１０４において、第１算出部１４０は、撮影画像３０１に基づいて、扉領域Ｒｔにおける動きベクトルを扉領域動き情報Ｖｔとして算出する。具体的には、第１算出部１４０は、記憶部１３０から扉領域Ｒｔを取得する。第１算出部１４０は、画像取得部１１０から時系列順に取得される画像に対し、時系列順に隣接するフレーム間で、扉領域Ｒｔを通過する動きベクトルを算出する。扉領域Ｒｔを通過する動きベクトルは、扉領域動き情報Ｖｔの例である。
　ステップＳ１０５において、第２算出部１５０は、撮影画像３０１と扉領域動き情報Ｖｔを用いて、前記扉領域を通過する移動物体の面積を通過物体面積Ｍｂとして算出する。第２算出部１５０は、第１算出部１４０により算出された動きベクトルの方向別に、扉領域Ｒｔを通過する移動物体の面積を通過物体面積Ｍｂとして算出する。例えば、画像処理装置１００には扉の寸法が予め登録されているものとする。第２算出部１５０は、撮影画像３０１において、扉の寸法から求められる扉の面積に対する移動物体部分の割合を算出することにより、通過物体面積Ｍｂを算出する。
　ステップＳ１０６において、加減算部１６０は、扉領域動き情報Ｖｔと通過物体面積Ｍｂを用いて、構造物に対する移動物体３０の占有面積Ｍａを算出する。加減算部１６０は、扉領域動き情報Ｖｔを用いて、扉から構造物に入る方向と扉から出る方向とを設定する。加減算部１６０は、移動物体が入る方向に動くときに通過物体面積Ｍｂを占有面積Ｍａに加算する。また、加減算部１６０は、移動物体が扉から出る方向に動くときに通過物体面積Ｍｂを占有面積Ｍａから減算する。これにより、加減算部１６０は、占有面積Ｍａを算出する。このようにして、加減算部１６０は、第２算出部１５０により算出された通過物体面積Ｍｂを、扉領域動き情報Ｖｔの方向に応じて加減算することにより、現在のエレベータかごに存在する移動物体３０の占有面積Ｍａを算出する。
＊＊＊他の構成＊＊＊
＜変形例１＞
　本実施の形態では、構造物の例をエレベータかごとして説明した。構造物は、列車、コンテナ、あるいはバスといった、移動物体が扉から出入り可能な構造物であれば本実施の形態を適用することができる。また、物の例としては、台車、車いす、あるいはキャスター付きワゴンといった比較的軽く、かつ、占有面積が大きい物体を想定している。
＜変形例２＞
　本実施の形態では、撮像装置がエレベータの内側から扉領域を含む画像を撮影しているが、扉領域を含む画像が撮影されていればエレベータの外側から撮影するようにしてもよい。
＜変形例３＞
　画像処理装置１００は、通信装置を備えていてもよい。通信装置は、レシーバとトランスミッタを有する。通信装置は、無線で、ＬＡＮ、インターネット、あるいは電話回線といった通信網に接続している。通信装置は、具体的には、通信チップまたはＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）である。画像処理装置１００は、通信装置を介して、構造物内の画像を取得してもよい。あるいは、画像処理装置１００は、通信装置を介して、処理結果を外部の表示装置に表示してもよい。
＜変形例４＞
　本実施の形態では、画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の機能がソフトウェアで実現される。変形例として、画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の機能がハードウェアで実現されてもよい。
　図７は、本実施の形態の変形例に係る画像処理装置１００の構成を示す図である。
　画像処理装置１００は、電子回路９０９、メモリ９２１、補助記憶装置９２２、入力インタフェース９３０、および出力インタフェース９４０を備える。
　電子回路９０９は、画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の機能を実現する専用の電子回路である。
　電子回路９０９は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、または、ＦＰＧＡである。ＧＡは、Ｇａｔｅ　Ａｒｒａｙの略語である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔの略語である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙの略語である。
　画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の機能は、１つの電子回路で実現されてもよいし、複数の電子回路に分散して実現されてもよい。
　別の変形例として、画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の一部の機能が電子回路で実現され、残りの機能がソフトウェアで実現されてもよい。
　プロセッサと電子回路の各々は、プロセッシングサーキットリとも呼ばれる。つまり、画像処理装置１００において、画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の機能は、プロセッシングサーキットリにより実現される。
＊＊＊本実施の形態の効果の説明＊＊＊
　本実施の形態に係る画像処理装置１００では、画像取得部は、扉領域の検出有無にしたがって、時系列画像を検出部または第１算出部に出力する。また、検出部は、扉開閉時の時系列画像から扉領域を検出する。検出部は、撮影装置から時系列に取得される映像のうち、扉領域が開閉する映像から開閉する扉の動き情報を算出し、動きが多く発生する領域を扉領域として検出する。記憶部は、検出部で検出した扉領域を記憶する。第１算出部は、時系列画像から記憶部に記憶された扉領域における動きベクトルを算出する。第２算出部は、動きベクトルから扉領域を通過する移動物体の面積を通過物体面積として算出する。そして、加減算部は、通過物体面積とその動きベクトルとから、エレベータかご内の移動物体の占有面積を加減算する。よって、本実施の形態に係る画像処理装置１００によれば、現在のエレベータかご内に存在する移動物体の占有面積を算出することができる。
　以上のように、本実施の形態に係る画像処理装置１００よれば、扉を有する構造物において、軽量かつ占有面積が大きい物体と複数の人が乗車している際の占有面積を推定できる。よって、本実施の形態に係る画像処理装置１００よれば、重量だけでは推定することができなかった占有面積を用いて、構造物への乗車制御を行うことができる。
　実施の形態２．
　本実施の形態では、主に、実施の形態１と異なる点について説明する。なお、実施の形態１と同様の構成には同一の符号を付し、その説明を省略する場合がある。
　実施の形態１では、検出部１２０において、扉開閉時の動きベクトルから扉領域を検出するように構成した。本実施の形態では、扉が閉じた状態と開閉している状態で画像を比較し、扉領域を検出する形態について説明する。
　本実施の形態に係る画像処理装置１００の構成は、図１および図７と同様である。
　検出部１２０は、扉が開閉する状態を含む撮影画像３０１において、扉が閉まっている扉閉状態の画像を背景画像３１１とする。図２に示す扉閉状態の撮影画像３０１が背景画像３１１の例である。そして、検出部１２０は、背景画像３１１との差分が最も大きい領域を扉領域Ｒｔとして検出する。このように、検出部１２０は、画像取得部１１０から時系列順に取得した画像から扉領域Ｒｔを検出し、記憶部１３０に記憶する。
　図８を用いて、本実施の形態に係る画像処理装置１００の動作について説明する。
　図８は、本実施の形態における画像処理装置１００の処理を示すフローチャートである。図８において、実施の形態１の図６と同じ処理については、同一のステップ符号を付して示し、その説明は省略する。
　ステップＳ２０２において、検出部１２０は、扉が閉じた扉閉状態の画像を背景画像３１１とする。検出部１２０は、扉が開いていく状態、扉が開いた扉開状態、および扉が閉じていく状態を捉えた時系列順の画像を連続で取得する。そして、検出部１２０は、各画像と背景画像３１１との差分を算出し、差分が大きく発生した領域を画像中の扉領域Ｒｔとして検出する。
　本実施の形態に係る画像処理装置１００では、検出部は、撮影装置から時系列に取得される映像のうち、扉領域が閉じている映像と扉領域が開閉している映像から差分を算出する。そして、検出部は、差分が大きい領域を扉領域として検出する。よって、本実施の形態に係る画像処理装置１００によれば、検出部１２０において、扉領域が閉じた状態を背景画像とし、開閉している状態と画像を比較することで、より詳細に扉領域を検出することができる。
　実施の形態３．
　本実施の形態では、主に、実施の形態１および２と異なる点について説明する。なお、実施の形態１および２と同様の構成には同一の符号を付し、その説明を省略する場合がある。
　本実施の形態では、外部センサ２０１から入力されるリセット情報２０２によって、エレベータかご内の面積をリセットする形態について説明する。
　図９を用いて、本実施の形態に係る画像処理装置１００ａの構成を説明する。
　図９において、実施の形態１の図１と異なる点は、入力インタフェース９３０ａが外部センサ２０１に接続されている点である。入力インタフェース９３０ａには、外部センサ２０１のセンサ情報が入力される。入力インタフェース９３０ａは、センサ入力インタフェースである。
　また、加減算部１６０は、実施の形態１と同様に、第２算出部１５０から出力される通過物体面積Ｍｂと動きの方向に応じて、現在エレベータかごに存在する人３１および物３２の面積を占有面積Ｍａとして出力する。扉領域検出直後は、エレベータかごが空の状態であり、最初に扉領域を通過する動きベクトルの方向が「入る」方向、逆方向に通過する動きベクトルが「出る」方向と定義される。加減算部１６０は、動きベクトルの面積と動きベクトルの方向とに基づいて、現在のエレベータかごに存在する面積を算出する。また、加減算部１６０は、外部センサ２０１からリセット情報２０２が入力された場合、現在の面積をリセットする。具体的には、加減算部１６０は、構造物の内部が空になったことを表すリセット情報２０２を受け取ると、占有面積Ｍａを初期化する。
　図１０を用いて、本実施の形態に係る画像処理装置１００ａの動作について説明する。
　図１０は、本実施の形態における画像処理装置１００ａの処理を示すフローチャートである。図１０において、実施の形態１の図６と同じ処理については、同一のステップ符号を付して示し、その説明は省略する。
　ステップＳ３０７において、加減算部１６０ａは、占有面積の算出後、外部センサ２０１からリセット情報２０２の入力の有無を判定する。リセット情報２０２の入力があった場合、処理はステップＳ３０８に進む。リセット情報２０２の入力がなければ、処理はステップＳ１０５に戻る。
　ステップＳ３０８において、加減算部１６０ａは、占有面積Ｍａをリセットして、ステップＳ１０４に戻る。
　以上のように、本実施の形態に係る画像処理装置１００ａでは、加減算部が、外部センサから出力されるリセット情報により占有面積をリセットする。よって、本実施の形態に係る画像処理装置１００ａによれば、外部センサから入力されるリセット情報によって、エレベータかごの面積をリセットすることで、加減算部により蓄積されている占有面積の誤差を低減することができる。
　以上の実施の形態１から３では、画像処理装置の各部を独立した機能ブロックとして説明した。しかし、画像処理装置の構成は、上述した実施の形態のような構成でなくてもよい。画像処理装置の機能ブロックは、上述した実施の形態で説明した機能を実現することができれば、どのような構成でもよい。また、画像処理装置は、１つの装置でなく、複数の装置から構成されたシステムでもよい。
　また、実施の形態１から３のうち、複数の部分を組み合わせて実施しても構わない。あるいは、これらの実施の形態のうち、１つの部分を実施しても構わない。その他、これら実施の形態を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
　すなわち、実施の形態１から３では、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　なお、上述した実施の形態は、本質的に好ましい例示であって、本発明の範囲、本発明の適用物の範囲、および本発明の用途の範囲を制限することを意図するものではない。上述した実施の形態は、必要に応じて種々の変更が可能である。
　３０　移動物体、３１　人、３２　物、１００，１００ａ　画像処理装置、１１０　画像取得部、１２０　検出部、１３０　記憶部、１４０　第１算出部、１５０　第２算出部、１６０，１６０ａ　加減算部、２００　撮像装置、２０１　外部センサ、２０２　リセット情報、３０１　撮影画像、３１１　背景画像、９０９　電子回路、９１０　プロセッサ、９２１　メモリ、９２２　補助記憶装置、９３０，９３０ａ　入力インタフェース、９４０　出力インタフェース、Ｒｔ　扉領域、Ｍａ　占有面積、Ｍｂ　通過物体面積、Ｖｔ　扉領域動き情報。

Claims (8)

  1. 　扉を有する構造物において前記扉を含む領域を撮影した時系列順の画像を撮影画像として取得する画像取得部と、
    　前記扉が開閉する状態を含む前記撮影画像に基づいて、前記扉の領域を扉領域として検出する検出部と、
    　前記撮影画像に基づいて、前記扉領域における動き情報を扉領域動き情報として算出する第１算出部と、
    　前記撮影画像と前記扉領域動き情報を用いて、前記扉領域を通過する移動物体の面積を通過物体面積として算出する第２算出部と、
    　前記扉領域動き情報と前記通過物体面積とを用いて、前記構造物に対する前記移動物体の占有面積を算出する加減算部と
    を備えた画像処理装置。
  2. 　前記検出部は、
    　前記扉が開閉する状態を含む前記撮影画像において、一様に同じ方向に動く動き情報が発生した領域を前記扉領域として検出する請求項１に記載の画像処理装置。
  3. 　前記検出部は、
    　前記扉が開閉する状態を含む前記撮影画像において、前記扉が閉まっている扉閉状態の画像を背景画像とし、前記背景画像との差分が最も大きい領域を前記扉領域として検出する請求項１に記載の画像処理装置。
  4. 　前記加減算部は、
    　前記扉領域動き情報を用いて、前記扉から前記構造物に入る方向と前記扉から出る方向とを設定し、前記移動物体が入る方向に動くときに前記通過物体面積を加算し、前記移動物体が出る方向に動くときに前記通過物体面積を減算することにより前記占有面積を算出する請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記加減算部は、
    　前記構造物の内部が空になったことを表すリセット情報を受け取ると、前記占有面積を初期化する請求項４に記載の画像処理装置。
  6. 　前記移動物体は、人あるいは物である請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　画像取得部が、扉を有する構造物において前記扉を含む領域を撮影した時系列順の画像を撮影画像として取得し、
    　検出部が、前記扉が開閉する状態を含む前記撮影画像に基づいて、前記扉の領域を扉領域として検出し、
    　第１算出部が、前記撮影画像に基づいて、前記扉領域における動き情報を扉領域動き情報として算出し、
    　第２算出部が、前記撮影画像と前記扉領域動き情報を用いて、前記扉領域を通過する移動物体の面積を通過物体面積として算出し、
    　加減算部が、前記扉領域動き情報と前記通過物体面積とを用いて、前記構造物に対する前記移動物体の占有面積を算出する画像処理方法。
  8. 　扉を有する構造物において前記扉を含む領域を撮影した時系列順の画像を撮影画像として取得する画像取得処理と、
    　前記扉が開閉する状態を含む前記撮影画像に基づいて、前記扉の領域を扉領域として検出する検出処理と、
    　前記撮影画像に基づいて、前記扉領域における動き情報を扉領域動き情報として算出する第１算出処理と、
    　前記撮影画像と前記扉領域動き情報を用いて、前記扉領域を通過する移動物体の面積を通過物体面積として算出する第２算出処理と、
    　前記扉領域動き情報と前記通過物体面積とを用いて、前記構造物に対する前記移動物体の占有面積を算出する加減算処理と
    をコンピュータに実行させる画像処理プログラム。
PCT/JP2018/010173 2018-03-15 2018-03-15 画像処理装置、画像処理方法および画像処理プログラム WO2019176039A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/010173 WO2019176039A1 (ja) 2018-03-15 2018-03-15 画像処理装置、画像処理方法および画像処理プログラム
JP2019542646A JP6602521B1 (ja) 2018-03-15 2018-03-15 画像処理装置、画像処理方法および画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/010173 WO2019176039A1 (ja) 2018-03-15 2018-03-15 画像処理装置、画像処理方法および画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2019176039A1 true WO2019176039A1 (ja) 2019-09-19

Family

ID=67908236

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010173 WO2019176039A1 (ja) 2018-03-15 2018-03-15 画像処理装置、画像処理方法および画像処理プログラム

Country Status (2)

Country Link
JP (1) JP6602521B1 (ja)
WO (1) WO2019176039A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024047606A1 (en) * 2022-09-02 2024-03-07 Hack Partners Limited System and method for managing incoming users of an escalator

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014144826A (ja) * 2013-01-28 2014-08-14 Hitachi Ltd エレベータ監視装置及びエレベータ監視方法
WO2016139203A1 (en) * 2015-03-04 2016-09-09 Thyssenkrupp Elevator Ag Multi camera load estimation
JP2016169072A (ja) * 2015-03-12 2016-09-23 三菱電機株式会社 エレベータの警報装置およびエレベータの警報報知方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014144826A (ja) * 2013-01-28 2014-08-14 Hitachi Ltd エレベータ監視装置及びエレベータ監視方法
WO2016139203A1 (en) * 2015-03-04 2016-09-09 Thyssenkrupp Elevator Ag Multi camera load estimation
JP2016169072A (ja) * 2015-03-12 2016-09-23 三菱電機株式会社 エレベータの警報装置およびエレベータの警報報知方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024047606A1 (en) * 2022-09-02 2024-03-07 Hack Partners Limited System and method for managing incoming users of an escalator

Also Published As

Publication number Publication date
JP6602521B1 (ja) 2019-11-06
JPWO2019176039A1 (ja) 2020-04-16

Similar Documents

Publication Publication Date Title
US10110913B2 (en) Motion estimation using hybrid video imaging system
US11450114B2 (en) Information processing apparatus, information processing method, and computer-readable storage medium, for estimating state of objects
JP6561830B2 (ja) 情報処理システム、情報処理方法及びプログラム
US8472669B2 (en) Object localization using tracked object trajectories
US8558903B2 (en) Accelerometer / gyro-facilitated video stabilization
US20150146006A1 (en) Display control apparatus and display control method
US20150332440A1 (en) Image processing apparatus, image processing method, and storage medium
CN105989581A (zh) 图像稳定设备及方法
JP2016085487A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP6414066B2 (ja) 画像処理システム、画像処理方法及びプログラム
US10713797B2 (en) Image processing including superimposed first and second mask images
US20170228876A1 (en) Image processing system for detecting stationary state of moving object from image, image processing method, and recording medium
US20150154455A1 (en) Face recognition with parallel detection and tracking, and/or grouped feature motion shift tracking
JP6263281B2 (ja) 占有数推定のためのシステムおよび方法
US20210201501A1 (en) Motion-based object detection method, object detection apparatus and electronic device
US20230044673A1 (en) Detection device and control method of the same
JP6602521B1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10755107B2 (en) Information processing apparatus, information processing method, and recording medium
WO2020188972A1 (ja) 事故検出装置、及び、事故検出方法
US11195298B2 (en) Information processing apparatus, system, method for controlling information processing apparatus, and non-transitory computer readable storage medium
EP3540685B1 (en) Image-processing apparatus to reduce staircase artifacts from an image signal
US9466094B1 (en) Method to improve video quality under low light conditions
JP2021182299A (ja) 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
US20240257498A1 (en) Electronic apparatus for classifying object region and background region and operating method of the electronic apparatus
JP6452923B1 (ja) 振動検知装置、振動検知方法および振動検知プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019542646

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18909417

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18909417

Country of ref document: EP

Kind code of ref document: A1