WO2022201282A1 - 判定装置、判定方法、判定システム及びプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

判定装置、判定方法、判定システム及びプログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2022201282A1
WO2022201282A1 PCT/JP2021/011852 JP2021011852W WO2022201282A1 WO 2022201282 A1 WO2022201282 A1 WO 2022201282A1 JP 2021011852 W JP2021011852 W JP 2021011852W WO 2022201282 A1 WO2022201282 A1 WO 2022201282A1
Authority
WO
WIPO (PCT)
Prior art keywords
determination
person
reference area
feature
determination device
Prior art date
Application number
PCT/JP2021/011852
Other languages
English (en)
French (fr)
Inventor
康史 平川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023508199A priority Critical patent/JPWO2022201282A5/ja
Priority to PCT/JP2021/011852 priority patent/WO2022201282A1/ja
Priority to US18/267,612 priority patent/US20240046508A1/en
Publication of WO2022201282A1 publication Critical patent/WO2022201282A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a determination device, a determination method, a determination system, and a non-transitory computer-readable medium storing a program.
  • Patent Document 1 A posture estimating device is disclosed (Patent Document 1).
  • Patent Document 2 A heavy equipment proximity monitoring system that performs a monitoring operation is disclosed (Patent Document 2).
  • Patent Document 3 a video processing device having display control means for displaying a trajectory indicating changes in the position of an object in a video on a display unit is disclosed.
  • a suitable technique for determining whether a specific part of a person is intruding into a predetermined area is desired. There is also a demand to grasp the action history of a person who is determined to have entered a predetermined area.
  • the present disclosure has been made in view of such problems, and aims to provide a determination device, determination method, determination system, and program for suitably determining intrusion detection.
  • a determination device has an image data acquisition unit, a joint point estimation unit, a characteristic element setting unit, an intrusion determination unit, and an output unit.
  • the image data acquisition unit acquires image data of a predetermined space captured by the imaging device.
  • the joint point estimation unit estimates the joint points of the person included in the image data.
  • the characteristic element setting unit sets characteristic elements of the person based on the joint points.
  • the intrusion determination unit determines whether or not the person has entered a preset reference area based on the feature element.
  • the output unit outputs information about the determination result of the determination performed by the intrusion determination unit.
  • a computer executes the following method in a determination method according to an embodiment of the present disclosure.
  • the computer acquires image data of a predetermined space captured by the imaging device.
  • the computer estimates joint points of the person included in the image data.
  • the computer sets characteristic elements of the person based on the joint points.
  • the computer determines whether or not the person has entered a preset reference area based on the characteristic elements.
  • the computer outputs information about the result of the determination.
  • a program causes a computer to execute the following steps.
  • the computer acquires image data of a predetermined space captured by the imaging device.
  • the computer estimates joint points of the person included in the image data.
  • the computer sets characteristic elements of the person based on the joint points.
  • the computer determines whether or not the person has entered a preset reference area based on the characteristic elements.
  • the computer outputs information about the result of the determination.
  • FIG. 1 is a block diagram showing the configuration of a determination device according to Embodiment 1;
  • FIG. 4 is a flow chart showing a determination method according to the first embodiment;
  • FIG. 10 is a block diagram showing the configuration of a determination system according to a second embodiment;
  • FIG. 2 is a block diagram showing the configuration of a determination device according to a second embodiment;
  • FIG. 9 is a flow chart showing a determination method according to the second embodiment; It is a figure which shows the 1st example of the image which a determination apparatus processes.
  • FIG. 10 is a diagram showing a second example of an image processed by the determination device; It is a figure which shows the 1st example of intrusion determination.
  • FIG. 10 is a diagram showing a second example of intrusion determination;
  • FIG. 10 is a diagram showing a second example of intrusion determination;
  • FIG. 12 is a diagram showing a third example of intrusion determination;
  • FIG. 12 is a diagram showing a fourth example of intrusion determination;
  • FIG. 12 is a diagram showing a fifth example of intrusion determination;
  • FIG. 11 is a diagram showing an example of an image processed by the determination device according to the third embodiment;
  • FIG. 11 is a diagram showing an example of an image processed by a determination device according to a fourth embodiment;
  • FIG. It is a block diagram which illustrates the hardware constitutions of a computer.
  • FIG. 1 is a block diagram of the determination device 10 according to the first embodiment.
  • a determination device 10 shown in FIG. 1 is used by being communicably connected to a camera (photographing device) installed in a predetermined facility or outdoors.
  • the determination device 10 has an intrusion detection function that determines whether or not a person has entered a predetermined reference area set in image data, and outputs the determination result.
  • the determination device has an image data acquisition unit 111, a joint point estimation unit 112, a characteristic element setting unit 113, an intrusion determination unit 114, and an output unit 115 as main components.
  • the image data acquisition unit 111 acquires image data of a predetermined space captured by the imaging device.
  • the number of cameras connected to the image data acquisition unit 111 may be one or plural.
  • the camera to which the image data acquisition unit 111 is connected may be fixed in order to photograph a predetermined angle of view, or may be of a movable type capable of panning, tilting, or zooming.
  • the image data acquisition unit 111 appropriately supplies the image data acquired from the camera to each component.
  • the joint point estimation unit 112 receives image data from the image data acquisition unit 111 and estimates the joint points of the person included in the received image data. Specifically, the joint point estimation unit 112 identifies, for example, an image of a person (person image) included in the received image data. For example, the joint point estimating unit 112 searches for an area having a feature amount that matches the feature amount of the person image by, for example, performing convolution processing on the image data. The joint point estimating unit 112 identifies an area that matches the feature amount of the human image as the human image.
  • the joint point estimation unit 112 estimates the joint points of the person from the person image. Joint points are, for example, wrists, elbows, shoulders, necks, hip joints, knees, and the like.
  • the joint point estimating unit 112 may estimate the joint points from one human image, or may estimate the joint points from image data relating to a plurality of images taken at different times.
  • the joint point estimation unit 112 supplies information about the estimated joint points to the characteristic element setting unit 113 .
  • the feature element setting unit 113 uses the estimated joint points to set the feature elements of the person.
  • a feature element of a person is a specific joint point or an element related to a joint point set for intrusion detection.
  • the specified human image includes a plurality of joint points. Which joint point among these multiple joint points is set as a feature element may be set in advance or may be set individually. In the case of individual setting, the characteristic elements may be set by the user using the determination device 10, or may be automatically set according to predetermined conditions set in advance. After setting the characteristic elements, the characteristic element setting unit 113 supplies the intrusion determination unit 114 with information about the set characteristic elements.
  • the intrusion determination unit 114 receives information about the feature elements from the feature element setting unit 113, and determines whether or not the person corresponding to the feature elements has entered the reference area.
  • a reference area is a specific area for performing intrusion detection, and is an area set in advance in image data.
  • the intrusion determination unit 114 determines whether or not the person corresponding to the characteristic element has entered the reference area, and then supplies information regarding the determination result to the output unit 115 . It should be noted that in the following description, the information regarding the determination result may be simply referred to as the determination result.
  • the output unit 115 receives from the intrusion determination unit 114 information about the determination result of the determination performed by the intrusion determination unit 114, and outputs the received information.
  • the determination result output by the output unit 115 is output in a manner that allows the user using the determination device to recognize the determination result. More specifically, for example, the determination result may be output by sound, light, or image.
  • the determination result may also be transmitted to any other device communicably connected to the determination device 10 .
  • FIG. 2 is a flow chart showing a determination method according to the first embodiment.
  • the flowchart shown in FIG. 2 is started, for example, by activating the determination device 10 .
  • the flow chart shown in FIG. 2 may be initiated by receiving image data from an imager.
  • the image data acquisition unit 111 acquires image data of a predetermined space captured by the imaging device (step S11).
  • the image data acquisition unit 111 supplies the acquired image data to at least the joint point estimation unit 112 .
  • the joint point estimation unit 112 estimates the joint points of the person included in the received image data (step S12).
  • the joint point estimation unit 112 supplies information on the estimated joint points to the feature element setting unit 113 .
  • the joint point estimation unit 112 estimates the joint points for each human image. That is, the joint point estimation unit 112 generates information corresponding to a plurality of human images, and supplies the information to the feature element setting unit 113 .
  • the feature element setting unit 113 uses the information received from the joint point estimation unit 112 to set feature elements from the joint points of the human image (step S13). After setting the characteristic elements, the characteristic element setting unit 113 supplies information about the characteristic elements to the intrusion determination unit 114 . Note that when a plurality of person images are specified in the image data, the feature element setting unit 113 sets feature elements corresponding to each person image.
  • the intrusion determination unit 114 uses the set feature elements to determine whether or not the person corresponding to the feature elements has entered a preset reference area (step S14).
  • the intrusion determination unit 114 may determine whether or not any of the human images intrudes into the reference area when a plurality of human images are specified in the image data. Further, when a plurality of person images are specified in the image data, the intrusion determination unit 114 may perform intrusion detection determination corresponding to each person image.
  • the output unit 115 outputs information about the determination result (step S15).
  • the determination device 10 ends the series of processes.
  • the determination device 10 has a processor and a storage device (not shown).
  • the storage device of the determination device 10 includes, for example, a storage device including non-volatile memory such as flash memory and SSD (Solid State Drive).
  • the storage device of the determination device 10 stores a computer program (hereinafter simply referred to as a program) for executing the image processing method described above.
  • the processor also loads a computer program from a storage device into a buffer memory such as a DRAM (Dynamic Random Access Memory) and executes the program.
  • a DRAM Dynamic Random Access Memory
  • Each configuration of the determination device 10 may be realized by dedicated hardware. Also, part or all of each component may be implemented by a general-purpose or dedicated circuit, processor, etc., or a combination thereof. These may be composed of a single chip, or may be composed of multiple chips connected via a bus. A part or all of each component of each device may be implemented by a combination of the above-described circuits and the like and programs. Moreover, CPU (Central Processing Unit), GPU (Graphics Processing Unit), FPGA (field-programmable gate array), etc. can be used as a processor. It should be noted that the configuration descriptions described herein may also be applied to other devices or systems described below in the present disclosure.
  • the plurality of information processing devices, circuits, etc. may be centrally arranged or distributed. may be placed.
  • the information processing device, circuits, and the like may be implemented as a form in which each is connected via a communication network, such as a client-server system, a cloud computing system, or the like.
  • the functions of the determination device 10 may be provided in a SaaS (Software as a Service) format.
  • the determination device 10 identifies a person image from image data, and performs mask processing when the identified person image is included in a mask area. Therefore, according to Embodiment 1, it is possible to provide a determination device, a determination method, and a program for suitably determining intrusion detection.
  • FIG. 3 is a block diagram showing the configuration of a determination system according to a second embodiment;
  • a determination system 1 shown in FIG. 3 includes a determination device 20 and a camera 300 .
  • the determination device 20 and the camera 300 are communicably connected via a network N1.
  • the camera 300 is installed in the space 900, captures the scenery of the space 900, generates image data, and supplies the generated image data to the determination device 20 via the network N1.
  • a person P1 and a person P2 may exist in a space 900 photographed by the camera 300 .
  • a predetermined reference area is set in advance in this space 900 .
  • the determination device 20 connected to the camera 300 determines whether or not the person P1 or the person P2 has entered the reference area.
  • FIG. 4 is a block diagram showing the configuration of the determination device 20 according to the second embodiment.
  • a determination device 20 shown in FIG. 4 differs from the determination device 10 according to the first embodiment in that it has a display 116 and a storage unit 120 .
  • the display 116 is a display device including, for example, organic electroluminescence and liquid crystal panels.
  • the display 116 receives the determination result as image data from the output unit 115 and displays the received determination result.
  • the display regarding the determination result may include an image captured by the camera 300, for example. Further, the display regarding the determination result may be an image captured by the camera 300 on which the joint points, characteristic elements, and reference regions are superimposed.
  • the storage unit 120 is a storage device including non-volatile memory such as flash memory, SSD (Solid State Drive) or EPROM (Erasable Programmable Read Only Memory).
  • the storage unit 120 stores information about reference regions, for example.
  • the storage unit 120 supplies the stored information on the reference area to the intrusion determination unit 114 .
  • the output unit 115 in this embodiment outputs information including an alert as a determination result when it is determined that the characteristic element related to the specified person has entered the reference area. Output unit 115 provides such alerts to display 116 .
  • FIG. 5 is a flow chart showing a determination method according to the second embodiment.
  • the flowchart shown in FIG. 5 differs from the flowchart shown in FIG. 2 in the process after step S13.
  • the intrusion determination unit 114 determines whether or not the set feature element intrudes into the reference area (step S21). If it is not determined that such a feature element intrudes into the reference area (step S21: NO), the determination device 20 proceeds to step S23. On the other hand, if it is determined that the characteristic element intrudes into the reference area (step S21: YES), the determination device 20 proceeds to step S22.
  • step S22 the output unit 115 outputs an alert according to the determination result (step S22).
  • the output unit 115 supplies a signal for displaying on the display 116 that an intrusion has been detected.
  • the output unit 115 may output the alert continuously for a predetermined period.
  • the determination device 20 proceeds to step S23.
  • step S23 the determination device 20 determines whether or not to end the series of processes (step S23).
  • the case of ending the series of processes is, for example, the case of stopping the determination device 20 by the user's operation, or the case of stopping the supply of image data from the camera 300 .
  • step S23: YES the determination device 20 ends the process.
  • step S23: NO the determination device 20 returns to step S11 and continues the process.
  • FIG. 6 is a diagram showing a first example of an image processed by the determination device.
  • An image 201 is shown in FIG.
  • Image 201 is an example of an image displayed on display 116 .
  • the image 201 is a landscape of the space 900 photographed by the camera 300, and includes a first person image 210 of the person P1, a second person image 220 of the person P2, and a predetermined object image 230.
  • a reference area 240 is set in the object image 230 .
  • the reference area 240 is indicated by a thick two-dot chain line trapezoid.
  • the reason why the reference area 240 is indicated by a trapezoid is that the reference area 240 is set by a rectangle parallel to the horizontal plane of the space 900 . In this way, the reference area 240 is set to pseudo-correspond to a predetermined height and predetermined shape in the space 900 .
  • the determination device 20 determines whether or not a person has entered the reference area 240 .
  • FIG. 7 is a diagram showing a second example of an image processed by the determination device.
  • the joint point estimating unit 112 analyzes, for example, the image 201 by convolution processing to determine whether a human image of a predetermined size exists.
  • the origin of the image 201 is, for example, the upper left corner of the image, the horizontal direction from left to right is the X axis, and the vertical direction from top to bottom is the Y axis.
  • the joint point estimating unit 112 performs image analysis processing in the X plus direction from the origin, and when the processing is completed up to the right end, moves the Y axis in the plus direction, and again performs analysis processing in the X plus direction from the left end. conduct.
  • the joint point estimation unit 112 can change the size of the rectangle used for analysis according to the depth of the image 201 . That is, the joint point estimating unit 112 specifies the human image with a relatively smaller size toward the upper side of the image 201, that is, toward the back of the space, and uses a relatively larger size toward the lower side of the image 201, that is, toward the front side of the space to identify the human image. identification. Through such processing, the joint point estimation unit 112 can efficiently identify the human image.
  • FIG. 7 shows a rectangle F10 and a rectangle F20.
  • Rectangle F10 is used when identifying first person image 210 .
  • the joint point estimation unit 112 identifies the first person image 210 by calculating the feature amount of the first person image 210 included in the rectangle F10. Similarly, the joint point estimation unit 112 identifies the second person image 220 by calculating the feature amount of the rectangle F20.
  • the joint point estimation unit 112 estimates the joint points of the specified human image.
  • the joint point estimating unit 112 estimates joint points related to the human image from the specified feature amount of the human image.
  • the joint point estimation unit 112 may have a learning model learned by machine learning, for example, in order to estimate the posture of a person in a person image. That is, in this case, for example, the joint point estimation unit 112 estimates the posture of the person included in the rectangle F10 shown in FIG. 7 using the learning model, and estimates the joint points from the estimated posture of the person.
  • a plurality of joint points 211 are superimposed on the first person image 210 .
  • a plurality of connection lines 212 connecting joint points are also superimposed on the first person image 210 .
  • a plurality of joint points 221 are superimposed on the second person image 220 .
  • a plurality of connection lines 222 connecting joint points are also superimposed on the second person image 220 .
  • FIG. 8 is a diagram showing a first example of intrusion determination.
  • FIG. 8 shows the reference area 240, the first person image 210, the joint points 211 of the first person image 210, and the connecting lines 212 that connect the joint points 211 extracted from FIG.
  • characteristic elements 213 are indicated by black rectangles at the positions of the joint points 211 corresponding to the left and right hand portions.
  • the example of FIG. 8 shows a state in which the characteristic element setting unit 113 sets the point located at the end (that is, the end point) of the joint points 211 of the first person image 210 as the characteristic element 213 .
  • the feature element setting unit 113 sets the joint points of the hands, which are the end points of the joint points, as the feature elements.
  • the feature element setting unit 113 may set the person's head or the tip of the foot as the end point of the joint point instead of the joint point of the hand.
  • one of the two set feature elements 213 intrudes inside the reference area 240 .
  • the intrusion determination unit 114 determines that the feature element 213 is intruding inside the reference area 240 .
  • one of the joint points is set as a characteristic element, and when the set characteristic element intrudes into the reference region 240, the intrusion determination unit 114 detects the person P1 in the first person image 210. is intruding into the reference area 240 .
  • the determination device 20 according to the present embodiment can suitably detect that the tip of the body enters the reference region.
  • connection line 212 that connects two joint points 211 from the image data corresponding to the person, and then one connection line 212 connects the multiple joint points 211.
  • a joint point 211 is recognized as an end point and set as a characteristic element 213 here.
  • FIG. 9 is a diagram showing a second example of intrusion determination.
  • the characteristic element setting unit 113 according to the example of FIG. 9 sets a plurality of adjacent joint points including the end points described above as characteristic elements.
  • the characteristic element setting unit 113 may set a plurality of adjacent joint points corresponding to arms or legs of a person as characteristic elements.
  • the intrusion determination unit 114 determines whether or not all of the adjacent feature elements intrude into the reference region.
  • the feature element setting unit 113 sets two features, the hand and the elbow, as feature elements 214 .
  • the feature element 214 corresponding to one of the two arms exists inside the reference area 240 .
  • the intrusion determination unit 114 determines that the first person image 210 has entered the reference area 240 .
  • FIG. 10 is a diagram showing a third example of intrusion determination.
  • the feature element setting unit 113 according to the example of FIG. 10 identifies a circumscribing rectangle that contacts the outside of the person, and sets joint points that contact this circumscribing rectangle as feature elements.
  • a circumscribing rectangle F11 is set around the joint point 211 on the first person image 210 .
  • the characteristic element setting unit 113 sets, as characteristic elements 215, joint points that contact the circumference of the circumscribed rectangle F11.
  • the intrusion determination unit 114 determines that the first person image 210 has entered the reference area 240 .
  • the determination device 20 can set the joint points located on the outer edge of the human image as the feature elements.
  • FIG. 11 is a diagram showing a fourth example of intrusion determination.
  • the feature element setting unit 113 according to the example of FIG. 11 also sets, as feature elements, the joint points that contact the circumscribing rectangle that contacts the outside of the person, as in the example of FIG. 10 .
  • a circumscribing rectangle F12 is set around the joint point 211 on the first person image 210 .
  • the first human image 210 shown in FIG. 11 has the arm positioned on the left side of the drawing bent at the elbow and protruding outward. Therefore, the joint point of the elbow is in contact with the circumscribed rectangle F12. Therefore, the characteristic element setting unit 113 sets the joint point that is in contact with the left side of the circumscribing rectangle F12 as the characteristic element 215 . Further, in FIG. 11, the feature element 215 in contact with the left side of the circumscribing rectangle F12 exists inside the reference area 240 . Therefore, the intrusion determination unit 114 determines that the first person image 210 has entered the reference area 240 .
  • FIG. 12 is a diagram showing a fifth example of intrusion determination.
  • the feature element setting unit 113 sets a connection line connecting two joint points as the feature element based on image data corresponding to a person.
  • the intrusion determination unit 114 determines whether or not at least part of the connection line set as the feature element intrudes into the reference area.
  • the characteristic element setting unit 113 sets the connection line connecting the hand and the elbow as the characteristic element 216.
  • the feature element 216 is indicated by a bold white line.
  • a portion of feature element 216 overlaps reference region 240 . Therefore, the intrusion determination unit 114 determines that the first person image 210 has entered the reference area 240 .
  • the mode of intrusion detection in the second embodiment is not limited to the above example.
  • the characteristic element setting unit 113 may set three or more adjacent joint points as characteristic elements. Therefore, the feature element setting unit 113 may set, for example, all the joint points 211 on the first person image 210 as feature elements.
  • the characteristic element setting unit 113 can set various characteristic elements using the joint points of the person image. According to Embodiment 2, it is possible to provide a determination device, a determination method, a determination system, and a program for suitably determining intrusion detection.
  • the determination device according to the third embodiment differs from the determination device described above in the method of intrusion detection. More specifically, the determination device according to the third embodiment differs from the determination device 20 according to the second embodiment in the processing performed by the characteristic element setting unit 113 and the intrusion determination unit 114 .
  • the feature element setting unit 113 in the present embodiment sets the first feature element and the second feature element from a plurality of joint points of the person. Further, in this case, the intrusion determination unit 114 determines whether the first characteristic element has intruded into the preset first reference area, and also determines whether the second characteristic element has intruded into the preset second reference area. determine whether there is Furthermore, the output unit 115 outputs the determination result when the first feature element enters the first reference area and the second feature element enters the second reference area.
  • FIG. 13 is a diagram showing an example of an image processed by the determination device 20 according to the third embodiment.
  • the feature element setting unit 113 sets the joint points of the hands of the first person image 210 as the first feature elements 217 .
  • the characteristic element setting unit 113 also sets the central portion (white circle) of the line segment connecting the joint points of both feet of the first person image 210 as the second characteristic element 218 .
  • the feature element setting unit 113 sets the joint points of the hands of the second person image 220 as the first feature elements 227 .
  • the characteristic element setting unit 113 sets the central portion (white circle) of the line segment connecting the joint points of both legs of the second person image 220 as the second characteristic element 228 .
  • a first reference area 241 and a second reference area 242 are set.
  • the first reference area 241 is a predetermined area including the object image 230, like the reference area 240 shown in FIG.
  • the second reference area 242 is set on the floor on the right side of the reference area 240 .
  • a first characteristic element 217 of the first person image 210 and a first characteristic element 227 of the second person image 220 are present in the first reference area 241 . Also, the second feature element 218 of the first person image 210 exists in the second reference area 242 . A second feature element 228 of the second person image 220 exists outside the second reference area 242 .
  • the intrusion determination unit 114 converts the first person image 210 in which the first characteristic element 217 exists in the first reference area 241 and the second characteristic element 218 exists in the second reference area 242 to the 1 reference area 241 is determined.
  • the second person image 220 although the first feature element 227 exists in the first reference region 241, the second feature element 228 does not exist in the second reference region 242. It is not determined that the two-person image 220 has entered the first reference area 241 .
  • the determination device 20 is not limited to the functions or configurations described above.
  • the determination device 20 determines that when the period during which the second characteristic element 218 exists in the second reference area 242 is longer than a preset period (eg, 3 seconds, 10 seconds, 15 seconds, etc.) , it may be determined that the first person image 210 is intruding.
  • the second characteristic element 218 may be the joint points of both feet themselves, or may be set to either one of the two feet instead of the point set between the two feet described above.
  • the height of the second reference area 242 may correspond to the waist height of the person image instead of the floor surface, or may correspond to the head position. In this case, the second characteristic element can be set at a portion corresponding to the height of the set second reference area.
  • the output unit 115 may output the determination result when, for example, the first feature element 217 enters the first reference region 241 after the second feature element 218 enters the second reference region 242. .
  • the determination device 20 can suitably determine intrusion detection while tracking the order of actions of a person.
  • Embodiment 3 it is possible to provide a determination device, a determination method, a determination system, and a program for suitably determining intrusion detection.
  • FIG. 14 is a diagram showing an example of an image processed by the determination device 20 according to the fourth embodiment.
  • the determination device 20 sets a third reference area 243 in addition to the first reference area 241 and the second reference area 242 .
  • the third reference area 243 is set at a distance equivalent to several meters from the second reference area 242 at the same height as the floor surface as the second reference area 242 is.
  • the determination device 20 tracks the trajectory of the person in the image 204 .
  • the intrusion determination unit 114 determines whether or not the second characteristic element has passed through a preset third reference area. In this case, the output unit 115 enters the second reference region 242 after the second feature element 218 passes through the third reference region 243, and the first feature element 217 enters the first reference region 241. output the judgment result.
  • FIG. 14 shows the trajectory 219 of the second feature element 218 set in the first person image 210 .
  • a trajectory 219 is a superimposed representation of the positions at which the second characteristic element 218 existed during a period from the time when the image 204 was captured to a time before a predetermined period of time.
  • the second feature 218 of the first person image 210 intrudes into the second reference area 242 after passing through the third reference area 243 .
  • the first feature element 217 set at hand enters the first reference area 241 while the second feature element 218 at the feet is present in the second reference area 242.
  • the intrusion determination unit 114 of the determination device 20 determines that the first person image 210 has entered the first reference area 241 .
  • the determination device 20 described above may have a reference area setting unit that sets a reference area in a predetermined space. Thereby, a desired reference area can be set.
  • the reference area may be set in association with the position, size, shape, etc. of the object included in the image data. As a result, the determination device 20 can hold the predetermined reference area even when the camera zooms or pans, for example.
  • Embodiment 4 it is possible to provide a determination device, a determination method, a determination system, and a program for suitably determining intrusion detection while grasping the action trajectory of a person.
  • Non-transitory computer-readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic recording media (e.g., flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical discs), CD-ROM (Read Only Memory) CD-R, CD - R/W, including semiconductor memory (eg Mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), Flash ROM, RAM (Random Access Memory)).
  • the program may also be delivered to the computer by various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer-readable media can deliver the program to the computer via wired channels, such as wires and optical fibers, or wireless channels.
  • FIG. 15 is a block diagram illustrating the hardware configuration of a computer.
  • the determination device can implement the functions described above by a computer 500 including the hardware configuration shown in the figure.
  • the computer 500 may be a portable computer such as a smart phone or a tablet terminal, or may be a stationary computer such as a PC.
  • Computer 500 may be a dedicated computer designed to implement each device, or may be a general-purpose computer.
  • the computer 500 can implement desired functions by installing predetermined applications.
  • Computer 500 has bus 502 , processor 504 , memory 506 , storage device 508 , input/output interface (I/F) 510 and network interface (I/F) 512 .
  • the bus 502 is a data transmission path through which the processor 504, memory 506, storage device 508, input/output interface 510, and network interface 512 exchange data with each other.
  • the method of connecting the processors 504 and the like to each other is not limited to bus connection.
  • the processor 504 is various processors such as CPU, GPU or FPGA.
  • the memory 506 is a main memory implemented using a RAM (Random Access Memory) or the like.
  • the storage device 508 is an auxiliary storage device realized using a hard disk, SSD, memory card, ROM (Read Only Memory), or the like.
  • the storage device 508 stores programs for realizing desired functions.
  • the processor 504 reads this program into the memory 506 and executes it, thereby realizing each functional component of each device.
  • the input/output interface 510 is an interface for connecting the computer 500 and input/output devices.
  • the input/output interface 510 is connected to an input device such as a keyboard and an output device such as a display device.
  • a network interface 512 is an interface for connecting the computer 500 to a network.
  • (Appendix 2) The characteristic element setting means sets the endpoint of the joint point to the characteristic element.
  • the determination device according to appendix 1.
  • the characteristic element setting means sets the person's head, fingertips, or toes as the end points of the joint points.
  • the determination device according to appendix 2. (Appendix 4)
  • the feature element setting means sets a plurality of adjacent joint points including the end points to the feature elements,
  • the intrusion determination means determines whether or not all of the plurality of adjacent feature elements intrude into the reference area.
  • the determination device according to appendix 2 or 3. (Appendix 5)
  • the feature element setting means sets a plurality of adjacent joint points corresponding to the arms or legs of the person as the feature elements.
  • the feature element setting means specifies a circumscribing rectangle that contacts the outside of the person, and sets the joint points that contact the circumscribing rectangle as the feature element.
  • the determination device according to appendix 1.
  • the characteristic element setting means sets a connection line connecting two of the joint points based on the image data corresponding to the person, and sets the joint point connected by one of the connection lines as the characteristic element. do, The determination device according to appendix 1.
  • the feature element setting means sets a connection line connecting the two joint points to the feature element based on the image data corresponding to the person, The intrusion determination means determines whether at least a portion of the connection line set in the characteristic element intrudes into the reference area.
  • the determination device according to appendix 1.
  • the output means outputs the determination result when it is determined that the characteristic element has entered the reference area.
  • the determination device according to any one of Appendices 1 to 8.
  • the characteristic element setting means sets a first characteristic element and a second characteristic element based on the plurality of joint points of the person,
  • the intrusion determination means determines whether the first characteristic element intrudes into a preset first reference area and determines whether the second characteristic element intrudes into a preset second reference area. judge,
  • the determination device according to any one of Appendices 1 to 9.
  • the output means outputs the determination result when the first characteristic element intrudes into the first reference area and the second characteristic element intrudes into the second reference area.
  • the determination device according to appendix 10.
  • the intrusion determination means further determines whether the second characteristic element has passed through a preset third reference area, The output means, when the second characteristic element enters the second reference area after passing the third reference area and the first characteristic element enters the first reference area, the output the judgment result,
  • the determination device according to appendix 11.
  • the output means outputs the determination result when the first feature element intrudes into the first reference area after the second feature element invades the second reference area.
  • the determination device according to any one of Appendices 10 to 12.
  • Appendix 14 The determination device according to any one of Appendices 1 to 13; and a camera that supplies the image data generated by photographing a predetermined space to the determination device.
  • (Appendix 16) Acquiring image data of a predetermined space photographed by a photographing device, estimating joint points of a person included in the image data; setting characteristic elements of the person based on the joint points; determining whether or not the person has entered a preset reference area based on the feature element; outputting information about the determination result of the determination;
  • a non-transitory computer-readable medium storing an information control program that causes a computer to execute the determination method.

Abstract

判定装置（１０）は、画像データ取得部（１１１）、関節点推定部（１１２）、特徴要素設定部（１１３）、侵入判定部（１１４）および出力部（１１５）を有する。画像データ取得部（１１１）は、撮影装置が撮影した所定の空間の画像データを取得する。関節点推定部（１１２）は、画像データに含まれる人物の関節点を推定する。特徴要素設定部（１１３）は、関節点に基づいて人物の特徴要素を設定する。侵入判定部（１１４）は、特徴要素に基づいて人物が予め設定された参照領域に侵入しているか否かを判定する。出力部（１１５）は、侵入判定部が行った判定の判定結果に関する情報を出力する。

Description

判定装置、判定方法、判定システム及びプログラムが格納された非一時的なコンピュータ可読媒体
　本発明は判定装置、判定方法、判定システム及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
　撮影された画像に含まれる人物が所定の領域に侵入したことを検出するための技術が開発されている。
　例えば、撮影された画像に基づいて、検出された対象の特徴量を算出し、算出した特徴量から対象の姿勢を推定するためのモデルパラメータを切り替え、切り替え後のモデルパラメータを用いて姿勢を推定する姿勢推定装置が開示されている（特許文献１）。
　また、送電線の周囲に１重また多重の危険エリアを設定し、重機の一部が先の危険エリア内に侵入しているか否かを判定し、侵入している場合は、警報を発する接近監視動作を行う重機接近監視システムについて開示されている（特許文献２）。
　また、映像中の対象物の位置の変化を示す軌跡を表示部に表示させる表示制御手段を有する映像処理装置が開示されている（特許文献３）。
特開２０２０－１２３２３９号公報 特開平０７－０２８９８５号公報 国際公開第２０１８／１８００４０号公報
　人物の特定の部分が所定の領域に侵入しているか否かを判定する好適な技術が望まれている。また、所定の領域に侵入したと判定される人物の行動履歴を把握したいという要求も存在する。
　本開示はこのような課題を鑑みてなされたものであり、好適に侵入検知を判定する判定装置、判定方法、判定システムおよびプログラムを提供することを目的とする。
　本開示の１実施形態にかかる判定装置は、画像データ取得部、関節点推定部、特徴要素設定部、侵入判定部および出力部を有する。画像データ取得部は、撮影装置が撮影した所定の空間の画像データを取得する。関節点推定部は、画像データに含まれる人物の関節点を推定する。特徴要素設定部は、関節点に基づいて前記人物の特徴要素を設定する。侵入判定部は、特徴要素に基づいて前記人物が予め設定された参照領域に侵入しているか否かを判定する。出力部は、侵入判定部が行った判定の判定結果に関する情報を出力する。
　本開示の１実施形態にかかる判定方法は、以下の方法をコンピュータが実行する。コンピュータは、撮影装置が撮影した所定の空間の画像データを取得する。コンピュータは、前記画像データに含まれる人物の関節点を推定する。コンピュータは、前記関節点に基づいて前記人物の特徴要素を設定する。コンピュータは、前記特徴要素に基づいて前記人物が予め設定された参照領域に侵入しているか否かを判定する。コンピュータは、前記判定にかかる判定結果に関する情報を出力する。
　本開示の１実施形態にかかるプログラムは、コンピュータに、以下のステップを実行させるものである。コンピュータは、撮影装置が撮影した所定の空間の画像データを取得する。コンピュータは、前記画像データに含まれる人物の関節点を推定する。コンピュータは、前記関節点に基づいて前記人物の特徴要素を設定する。コンピュータは、前記特徴要素に基づいて前記人物が予め設定された参照領域に侵入しているか否かを判定する。コンピュータは、前記判定にかかる判定結果に関する情報を出力する。
　本開示によれば、好適に侵入検知を判定する判定装置、判定方法、判定システムおよびプログラムを提供することができる。
実施形態１にかかる判定装置の構成を示すブロック図である。 実施形態１にかかる判定方法を示すフローチャートである。 実施形態２にかかる判定システムの構成を示すブロック図である。 実施形態２にかかる判定装置の構成を示すブロック図である。 実施形態２にかかる判定方法を示すフローチャートである。 判定装置が処理する画像の第１例を示す図である。 判定装置が処理する画像の第２例を示す図である。 侵入判定の第１例を示す図である。 侵入判定の第２例を示す図である。 侵入判定の第３例を示す図である。 侵入判定の第４例を示す図である。 侵入判定の第５例を示す図である。 実施形態３にかかる判定装置が処理する画像の例を示す図である。 実施形態４にかかる判定装置が処理する画像の例を示す図である。 コンピュータのハードウェア構成を例示するブロック図である。
　以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
　＜実施の形態１＞
　以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる判定装置１０のブロック図である。図１に示す判定装置１０は、所定の施設内または屋外に設置されたカメラ（撮影装置）に通信可能に接続して使用される。判定装置１０は、画像データにおいて設定された所定の参照領域に人物が進入したか否かを判定し、その判定結果を出力する侵入検知機能を有している。判定装置は主な構成として、画像データ取得部１１１、関節点推定部１１２、特徴要素設定部１１３、侵入判定部１１４および出力部１１５を有している。
　画像データ取得部１１１は、撮影装置が撮影した所定の空間の画像データを取得する。画像データ取得部１１１が接続するカメラは１台でもよいし複数でもよい。また画像データ取得部１１１が接続するカメラは所定の画角を撮影するために固定されていてもよいし、パン、チルトまたはズームを行う可動式のものであってもよい。画像データ取得部１１１は、カメラから取得した画像データを、適宜各構成に供給する。
　関節点推定部１１２は、画像データ取得部１１１から画像データを受け取り、受け取った画像データに含まれる人物の関節点を推定する。具体的には、関節点推定部１１２は例えば、受け取った画像データに含まれる人物の画像（人物画像）を特定する。例えば関節点推定部１１２は、例えば画像データに対して畳み込み処理を行うことにより人物画像の特徴量と一致する特徴量を有する領域を検索する。関節点推定部１１２は人物画像の特徴量と一致する領域を人物画像と特定する。
　さらに関節点推定部１１２は、人物画像からこの人物の関節点を推定する。関節点とは例えば手首、肘、肩、首、股関節、膝などである。関節点推定部１１２は１つの人物画像から関節点を推定してもよいし、複数の異なる時刻に撮影された画像にかかる画像データから関節点を推定してもよい。関節点推定部１１２は推定した関節点に関する情報を、特徴要素設定部１１３に供給する。
　特徴要素設定部１１３は、関節点推定部１１２から関節点に関する情報を受け取ると、この推定された関節点を利用して人物の特徴要素を設定する。人物の特徴要素とは、侵入検知を行うために設定される特定の関節点または関節点に関連する要素である。特定された人物画像には複数の関節点が含まれる。これら複数の関節点の内のどの関節点を特徴要素として設定するかは、予め設定されていてもよいし、個別に設定されてもよい。個別に設定される場合には、判定装置１０を使用するユーザによりかかる特徴要素が設定されてもよいし、予め設定された所定の条件にしたがって自動的に設定されてもよい。特徴要素設定部１１３は、特徴要素を設定すると、設定した特徴要素に関する情報を侵入判定部１１４に供給する。
　侵入判定部１１４は、特徴要素設定部１１３から特徴要素に関する情報を受け取り、特徴要素にかかる人物が参照領域に侵入しているか否かを判定する。参照領域とは、侵入検知を行うための特定の領域であって、画像データにおいて予め設定された領域である。侵入判定部１１４は、特徴要素にかかる人物が参照領域に侵入しているか否かの判定を行うと、判定結果に関する情報を出力部１１５に供給する。なお、以降の説明において、判定の結果に関する情報を、単に判定結果と称する場合もある。
　出力部１１５は、侵入判定部１１４から侵入判定部１１４が行った判定の判定結果に関する情報受け取り、受け取った情報を出力する。出力部１１５が出力する判定結果は、判定装置を利用するユーザが判定結果を認識できる態様において出力される。より具体的には例えば判定結果は、音声、光または画像により出力されてもよい。また判定結果は、判定装置１０に通信可能に接続する任意の他の機器に対して送信されてもよい。
　次に、図２を参照して判定装置１０が実行する処理について説明する。図２は、実施形態１にかかる判定方法を示すフローチャートである。図２に示すフローチャートは、例えば判定装置１０を起動することにより開始される。あるいは図２に示すフローチャートは、撮影装置から画像データを受け取ることにより開始されてもよい。
　まず、画像データ取得部１１１は、撮影装置が撮影した所定の空間の画像データを取得する（ステップＳ１１）。画像データ取得部１１１は、取得した画像データを少なくとも関節点推定部１１２に供給する。
　次に、関節点推定部１１２は、受け取った画像データに含まれる人物の関節点を推定する（ステップＳ１２）。関節点推定部１１２は推定した関節点に関する情報を特徴要素設定部１１３に供給する。なお、関節点推定部１１２は、画像データに複数の人物画像を特定した場合には、それぞれの人物画像に対して関節点を推定する。すなわち関節点推定部１１２は、複数の人物画像に対応した情報を生成し、特徴要素設定部１１３に供給する。
　次に、特徴要素設定部１１３は、関節点推定部１１２から受け取った情報を利用して、人物画像の関節点から特徴要素を設定する（ステップＳ１３）。特徴要素設定部１１３は、特徴要素を設定すると、特徴要素に関する情報を侵入判定部１１４に供給する。なお、特徴要素設定部１１３は、画像データに複数の人物画像が特定されている場合には、それぞれの人物画像に対応した特徴要素を設定する。
　次に、侵入判定部１１４は、設定された特徴要素を用いて、特徴要素にかかる人物が予め設定された参照領域に侵入しているか否かを判定する（ステップＳ１４）。侵入判定部１１４は、画像データに複数の人物画像が特定されている場合には、いずれかの人物画像が参照領域に侵入しているか否かを判定してもよい。また侵入判定部１１４は、画像データに複数の人物画像が特定されている場合には、それぞれの人物画像に対応した侵入検出の判定を行ってもよい。
　次に、出力部１１５は、判定にかかる判定結果に関する情報を出力する（ステップＳ１５）。出力部１１５が判定結果を出力すると、判定装置１０は一連の処理を終了する。
　以上、実施の形態１にかかる判定装置について説明した。尚、判定装置１０は、図示しない構成としてプロセッサ及び記憶装置を有するものである。判定装置１０が有する記憶装置は、例えばフラッシュメモリやＳＳＤ（Solid State Drive）などの不揮発性メモリを含む記憶装置を含む。この場合に、判定装置１０が有する記憶装置は、上述の画像処理方法を実行するためのコンピュータプログラム（以降、単にプログラムとも称する）を記憶している。またプロセッサは、記憶装置からコンピュータプログラムをＤＲＡＭ（Dynamic Random Access Memory）等のバッファメモリへ読み込ませ、当該プログラムを実行する。
　判定装置１０が有する各構成は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。なお、ここに説明した構成に関する説明は、本開示において以下に説明するその他の装置またはシステムにおいても、適用され得る。
　また、判定装置１０の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、判定装置１０の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。
　以上、実施の形態１について説明した。実施の形態１にかかる判定装置１０は、画像データから人物画像を特定し、特定した人物画像がマスク領域に含まれる場合にマスク処理を行う。よって、実施の形態１によれば、好適に侵入検知を判定する判定装置、判定方法およびプログラムを提供することができる。
　＜実施の形態２＞
　次に、実施の形態２について説明する。図３は、実施形態２にかかる判定システムの構成を示すブロック図である。図３に示す判定システム１は、判定装置２０およびカメラ３００を含む。判定装置２０とカメラ３００とは、ネットワークＮ１を介して通信可能に接続している。
　カメラ３００は、空間９００に設置されており、空間９００の風景を撮影して画像データを生成し、生成した画像データを、ネットワークＮ１を介して判定装置２０に供給する。カメラ３００が撮影する空間９００には、例えば人物Ｐ１、人物Ｐ２が存在しうる。またこの空間９００には、所定の参照領域が予め設定されている。判定システム１において、カメラ３００に接続している判定装置２０は、参照領域に人物Ｐ１または人物Ｐ２が侵入しているか否かを判定する。
　次に、図４を参照して本実施の形態に係る判定装置について説明する。図４は、実施形態２にかかる判定装置２０の構成を示すブロック図である。図４に示す判定装置２０は、ディスプレイ１１６および記憶部１２０を有する点が、実施の形態１にかかる判定装置１０と異なる。
　ディスプレイ１１６は、例えば有機エレクトロルミネッセンスや液晶パネルを含む表示装置である。ディスプレイ１１６は、出力部１１５から判定結果を画像データとして受け取り、受け取った判定結果を表示する。判定結果に関する表示は、例えばカメラ３００が撮影した画像を含んでも良い。また判定結果に関する表示は、カメラ３００が撮影した画像に、関節点、特徴要素および参照領域が重畳されたものであってもよい。
　記憶部１２０は例えばフラッシュメモリ、ＳＳＤ（Solid State Drive）またはＥＰＲＯＭ（Erasable Programmable Read Only Memory）等の不揮発性メモリを含む記憶装置である。記憶部１２０は例えば参照領域に関する情報を記憶している。記憶部１２０は、記憶している参照領域に関する情報を、侵入判定部１１４に供給する。
　本実施形態における出力部１１５は、特定した人物にかかる特徴要素が参照領域に侵入したと判定された場合に、判定結果としてアラートを含む情報を出力する。出力部１１５は、かかるアラートを、ディスプレイ１１６に供給する。
　次に、本実施の形態に係る判定装置が実行する処理について説明する。図５は、実施形態２にかかる判定方法を示すフローチャートである。図５に示すフローチャートは、ステップＳ１３の後の処理が、図２に示すフローチャートと異なる。
　ステップＳ１３の後、侵入判定部１１４は、設定された特徴要素が参照領域に侵入しているか否かを判定する（ステップＳ２１）。かかる特徴要素が参照領域に侵入していると判定しない場合（ステップＳ２１：ＮＯ）、判定装置２０はステップＳ２３に進む。一方、かかる特徴要素が参照領域に侵入していると判定する場合（ステップＳ２１：ＹＥＳ）、判定装置２０はステップＳ２２に進む。
　ステップＳ２２において、出力部１１５は判定結果に応じてアラートを出力する（ステップＳ２２）。この場合、出力部１１５は、ディスプレイ１１６に侵入を検知したことを示す表示をするための信号を供給する。出力部１１５は、アラートを所定の期間継続して出力してもよい。出力部１１５がアラートを出力すると、判定装置２０はステップＳ２３に進む。
　ステップＳ２３において、判定装置２０は、一連の処理を終了するか否かを判定する（ステップＳ２３）。一連の処理を終了する場合とは例えばユーザの操作により判定装置２０を停止する場合や、カメラ３００からの画像データの供給が停止された場合などである。一連の処理を終了すると判定する場合（ステップＳ２３：ＹＥＳ）、判定装置２０は処理を終了する。一方、一連の処理を終了すると判定しない場合（ステップＳ２３：ＮＯ）、判定装置２０はステップＳ１１に戻り、処理を続ける。
　次に、判定装置２０が処理する画像の具体例を説明する。図６は、判定装置が処理する画像の第１例を示す図である。図６には、画像２０１が示されている。画像２０１は、ディスプレイ１１６に表示される画像の例である。画像２０１は、カメラ３００により撮影された空間９００の風景であって、人物Ｐ１にかかる第１人物画像２１０、人物Ｐ２にかかる第２人物画像２２０および所定の物体画像２３０が含まれている。また物体画像２３０には、参照領域２４０が設定されている。
　図６において、参照領域２４０は、太い二点鎖線の台形により示されている。ここで参照領域２４０が台形により示されているのは、参照領域２４０が空間９００の水平面に対して平行な矩形により設定されているからである。このように、参照領域２４０は、空間９００における所定の高さおよび所定の形状に擬似的に対応するように設定される。上述の状況において、判定装置２０は、人物が参照領域２４０に侵入しているか否かを判定する。
　次に、図７を参照して、判定装置２０が推定する関節点について説明する。図７は、判定装置が処理する画像の第２例を示す図である。
　関節点推定部１１２が人物画像を特定する際に、関節点推定部１１２は、例えば画像２０１を、畳み込み処理により所定の大きさの人物画像が存在するか否かを解析する。画像２０１は、例えば画像の左上が原点であり、左から右に向かう横方向がＸ軸であり、上から下に向かう縦方向がＹ軸である。この場合、例えば関節点推定部１１２は、原点からＸプラス方向に画像の解析処理を行い、右端まで処理が終わると、Ｙ軸をプラス方向に移動させ、再び左端からＸプラス方向に解析処理を行う。
　このとき関節点推定部１１２は、画像２０１の奥行きに応じて、解析する際の矩形の大きさを変化させ得る。すなわち関節点推定部１１２は、画像２０１の上側すなわち空間の奥側ほど比較的に小さいサイズにより人物画像の特定を行い、画像２０１の下側すなわち空間の手前側ほど比較的に大きいサイズにより人物画像の特定を行う。このような処理により、関節点推定部１１２は、効率よく人物画像を特定できる。
　図７には、矩形Ｆ１０および矩形Ｆ２０が示されている。矩形Ｆ１０は、第１人物画像２１０を特定する際に用いられたものである。関節点推定部１１２は、矩形Ｆ１０に含まれる第１人物画像２１０の特徴量を算出して第１人物画像２１０を特定する。同様に、関節点推定部１１２は、矩形Ｆ２０の特徴量を算出して第２人物画像２２０を特定する。
　関節点推定部１１２は、人物画像を特定すると、特定した人物画像の関節点を推定する。関節点推定部１１２は例えば、特定した人物画像の特徴量から人物画像にかかる関節点を推定する。また関節点推定部１１２は例えば人物画像にかかる人物の姿勢を推定するために、機械学習により学習させた学習モデルを有していてもよい。すなわちこの場合、関節点推定部１１２は例えば、学習モデルを用いて、図７に示す矩形Ｆ１０に含まれる人物の姿勢を推定するとともに、推定された人物の姿勢から関節点を推定する。
　図７において、第１人物画像２１０には、複数の関節点２１１が重畳されている。また第１人物画像２１０には、関節点同士を繋ぐ複数の接続線２１２も重畳されている。同様に、第２人物画像２２０には、複数の関節点２２１が重畳されている。また第２人物画像２２０には、関節点同士を繋ぐ複数の接続線２２２も重畳されている。
　（侵入判定の第１例）
　次に、判定装置２０が設定する特徴要素と参照領域の関係により行われる侵入判定の例について説明する。図８は、侵入判定の第１例を示す図である。図８は、図７から参照領域２４０、第１人物画像２１０、および第１人物画像２１０の関節点２１１および関節点２１１を繋ぐ接続線２１２を抽出して示したものである。
　また図８に示す第１人物画像２１０において、左右の手の部分に対応する関節点２１１の位置には、特徴要素２１３が黒い四角形により示されている。すなわち図８の例は、特徴要素設定部１１３が、第１人物画像２１０の関節点２１１のうち、端に位置する点（つまり端点）を特徴要素２１３として設定した状態を示している。図８に示した具体例では、特徴要素設定部１１３は、関節点の端点である手先の関節点を特徴要素に設定している。なお、特徴要素設定部１１３は、手先の関節点に代えて、人物の頭または足先を関節点の端点として設定してもよい。
　さらに図８は、設定した２つの特徴要素２１３の内の１つが参照領域２４０の内側に侵入している。この場合、侵入判定部１１４は、特徴要素２１３が参照領域２４０の内側に侵入していると判定する。このように、関節点の内の１点を特徴要素として設定し、設定した特徴要素が参照領域２４０に侵入している場合には、侵入判定部１１４は、第１人物画像２１０にかかる人物Ｐ１が参照領域２４０に侵入していると判定する。このような構成により、本実施の形態にかかる判定装置２０は、身体の先端部が参照領域に侵入することを好適に検知できる。
　なお、上述の端点は、以下のように定義されてもよい。すなわち、特徴要素設定部１１３は、人物に対応する画像データから２つの関節点２１１を接続する接続線２１２を設定し、次に、複数存在する関節点２１１から１本の接続線２１２が接続する関節点２１１を、端点として認識し、ここに特徴要素２１３に設定する。
　（侵入判定の第２例）
　次に、図９に示す例について説明する。図９は、侵入判定の第２例を示す図である。図９の例にかかる特徴要素設定部１１３は、上述した端点を含む複数の隣接する関節点を特徴要素としてそれぞれ設定する。特徴要素設定部１１３は、人物の腕または脚に対応する複数の隣接する関節点を、特徴要素として設定するものであってもよい。この場合、侵入判定部１１４は、隣接する複数の特徴要素が全て参照領域に侵入しているか否かを判定する。
　図９に示す例の場合、特徴要素設定部１１３は、手先と肘の２か所を特徴要素２１４として設定している。また図９の例では、両腕の内の一方の腕に相当する特徴要素２１４が参照領域２４０の内側に存在している。この場合、侵入判定部１１４は、第１人物画像２１０が参照領域２４０に侵入していると判定する。
　（侵入判定の第３例）
　次に、図１０に示す例について説明する。図１０は、侵入判定の第３例を示す図である。図１０の例にかかる特徴要素設定部１１３は、人物の外側に接する外接矩形を特定し、この外接矩形に接する関節点を、特徴要素に設定する。
　図１０に示す例の場合、第１人物画像２１０にかかる関節点２１１の周囲に外接矩形Ｆ１１が設定されている。特徴要素設定部１１３はこの外接矩形Ｆ１１の周囲に接する関節点を、特徴要素２１５として設定している。また図１０の例では、設定された複数の特徴要素２１５のうち、外接矩形Ｆ１１の左側の辺に接している特徴要素２１５が参照領域２４０の内側に存在している。よって、侵入判定部１１４は、第１人物画像２１０が参照領域２４０に侵入していると判定する。このような構成により、判定装置２０は、人物画像における外縁部に位置する関節点を特徴要素として設定できる。
　（侵入判定の第４例）
　次に、図１１に示す例について説明する。図１１は、侵入判定の第４例を示す図である。図１１の例にかかる特徴要素設定部１１３も、図１０の例と同様に、人物の外側に接する外接矩形に接する関節点を、特徴要素に設定する。
　図１１に示す例の場合、第１人物画像２１０にかかる関節点２１１の周囲には、外接矩形Ｆ１２が設定されている。図１１にかかる第１人物画像２１０は、図の左側に位置する腕の肘を曲げて自身の外側へ突き出している。そのため、肘の関節点が外接矩形Ｆ１２に接している。したがって、特徴要素設定部１１３は外接矩形Ｆ１２の左側の辺に接している関節点を特徴要素２１５として設定している。また図１１において、外接矩形Ｆ１２の左側の辺に接している特徴要素２１５が参照領域２４０の内側に存在している。よって、侵入判定部１１４は、第１人物画像２１０が参照領域２４０に侵入していると判定する。
　（侵入判定の第５例）
　次に、図１２に示す例について説明する。図１２は、侵入判定の第５例を示す図である。図１２に示す例において、特徴要素設定部１１３は、人物に対応する画像データに基づいて２つの関節点を接続する接続線を前記特徴要素に設定する。この場合に、侵入判定部１１４は、特徴要素に設定された接続線の少なくとも一部が参照領域に侵入しているか否かを判定する。
　図１２に示す例の場合、特徴要素設定部１１３は、手先と肘を繋ぐ接続線を特徴要素２１６として設定している。図１２は、特徴要素２１６が白抜きの太線により示されている。また図１２において、特徴要素２１６の一部は、参照領域２４０と重なっている。よって、侵入判定部１１４は、第１人物画像２１０が参照領域２４０に侵入していると判定する。
　以上、実施の形態２について説明した。なお、実施の形態２における侵入検知の態様は、上述の例に限られない。例えば図９に示す侵入検知の第２例の場合において、特徴要素設定部１１３は、３点以上の隣接する関節点を特徴要素として設定してもよい。よって特徴要素設定部１１３は、例えば第１人物画像２１０にかかる全ての関節点２１１を特徴要素と設定してもよい。特徴要素設定部１１３は、人物画像にかかる関節点を利用して、種々の特徴要素を設定できる。実施の形態２によれば、好適に侵入検知を判定する判定装置、判定方法、判定システムおよびプログラムを提供することができる。
　＜実施の形態３＞
　次に、実施の形態３について説明する。実施の形態３にかかる判定装置は、侵入検知の手法が上述の判定装置と異なる。より具体的には、実施の形態３にかかる判定装置は、特徴要素設定部１１３および侵入判定部１１４が行う処理が実施の形態２にかかる判定装置２０と異なる。
　本実施の形態における特徴要素設定部１１３は、人物における複数の関節点から第１特徴要素および第２特徴要素を設定する。またこの場合、侵入判定部１１４は、第１特徴要素が予め設定された第１参照領域に侵入しているかを判定すると共に、第２特徴要素が予め設定された第２参照領域に侵入しているかを判定する。さらに出力部１１５は、第１特徴要素が第１参照領域に侵入し、且つ、第２特徴要素が第２参照領域に侵入した場合に、判定結果を出力する。
　図１３を参照して本実施の形態における侵入検知の処理を具体例と共に説明する。図１３は、実施形態３にかかる判定装置２０が処理する画像の例を示す図である。図１３に示す画像２０３において、特徴要素設定部１１３は、第１人物画像２１０の手先の関節点を第１特徴要素２１７として設定している。また特徴要素設定部１１３は、第１人物画像２１０の両足の関節点を結ぶ線分の中央部（白丸）を第２特徴要素２１８として設定している。同様に、特徴要素設定部１１３は、第２人物画像２２０の手先の関節点を第１特徴要素２２７として設定している。また特徴要素設定部１１３は、第２人物画像２２０の両足の関節点を結ぶ線分の中央部（白丸）を第２特徴要素２２８として設定している。
　また、図１３の例では、第１参照領域２４１と第２参照領域２４２とが設定されている。第１参照領域２４１は、図６に示す参照領域２４０と同様に、物体画像２３０を含む所定の領域である。第２参照領域２４２は、参照領域２４０の右側の床面に設定されている。
　第１参照領域２４１には、第１人物画像２１０の第１特徴要素２１７と、第２人物画像２２０の第１特徴要素２２７とが存在している。また第２参照領域２４２には、第１人物画像２１０の第２特徴要素２１８が存在している。第２人物画像２２０の第２特徴要素２２８は、第２参照領域２４２の外に存在している。
　上述の状況において、侵入判定部１１４は、第１参照領域２４１に第１特徴要素２１７が存在し、且つ、第２参照領域２４２に第２特徴要素２１８が存在する第１人物画像２１０を、第１参照領域２４１に侵入していると判定する。一方、第２人物画像２２０は、第１特徴要素２２７が第１参照領域２４１に存在するものの、第２特徴要素２２８が第２参照領域２４２に存在していないため、侵入判定部１１４は、第２人物画像２２０が第１参照領域２４１に侵入していると判定しない。
　以上、実施の形態３について説明したが、実施の形態３にかかる判定装置２０は、上述の機能または構成に限られない。例えば第１参照領域２４１および第２参照領域２４２は、それぞれ２つ以上存在していてもよい。また判定装置２０は、上述の条件に加えて、第２参照領域２４２に第２特徴要素２１８が存在する期間が予め設定された期間（例えば３秒、１０秒、１５秒など）より長い場合に、第１人物画像２１０が侵入していると判定してもよい。第２特徴要素２１８は、上述した両足の間に設定される点に代えて、両足の関節点そのものであってもよいし、両足の内のいずれか一方という設定でもよい。また第２参照領域２４２の高さは、床面に代えて人物画像の腰の高さに対応してもよいし、頭の位置に対応してもよい。この場合、第２特徴要素は、設定されている第２参照領域の高さに対応する部分に設定され得る。
　出力部１１５は、例えば第２特徴要素２１８が第２参照領域２４２に侵入した後に、第１特徴要素２１７が第１参照領域２４１に侵入した場合に、判定結果を出力するものであってもよい。このような構成により、判定装置２０は、人物の動作順を追跡しつつ、好適に侵入検知を判定できる。
　以上、実施の形態３によれば、好適に侵入検知を判定する判定装置、判定方法、判定システムおよびプログラムを提供することができる。
　＜実施の形態４＞
　次に、実施の形態４について説明する。実施の形態４は、参照領域に関する処理が、実施の形態３にかかる判定装置２０と異なる。図１４は、実施形態４にかかる判定装置２０が処理する画像の例を示す図である。図１４に示す画像２０４において、判定装置２０は、第１参照領域２４１、第２参照領域２４２に加えて、第３参照領域２４３を設定する。第３参照領域２４３は、第２参照領域２４２と同じく床面と同じ高さにおいて、第２参照領域２４２から数メートルに相当する距離の場所に設定されている。
　また本実施の形態にかかる判定装置２０は、画像２０４内における人物の軌跡を追跡する。侵入判定部１１４は、第２特徴要素が予め設定された第３参照領域を通過したか否かを判定する。この場合に、出力部１１５は、第２特徴要素２１８が第３参照領域２４３を通過した後に、第２参照領域２４２に侵入し、且つ、第１特徴要素２１７が第１参照領域２４１に侵入した場合に、判定結果を出力する。
　図１４には、第１人物画像２１０に設定されている第２特徴要素２１８の軌跡２１９が示されている。軌跡２１９は、画像２０４が撮影された時点から所定の期間さかのぼった時点までの期間において第２特徴要素２１８が存在していた位置を重畳して示したものである。図１４によれば、第１人物画像２１０の第２特徴要素２１８は、第３参照領域２４３を通過した後に、第２参照領域２４２に侵入している。また第１人物画像２１０は、足元の第２特徴要素２１８が第２参照領域２４２に存在している状態のまま、手元に設定された第１特徴要素２１７が第１参照領域２４１に侵入している。よって、判定装置２０の侵入判定部１１４は、第１人物画像２１０が第１参照領域２４１に侵入していると判定する。
　以上、実施の形態４について説明した。上述の判定装置２０は、所定の空間における参照領域を設定する参照領域設定部を有してもよい。これにより、所望の参照領域を設定できる。参照領域は、画像データに含まれる物体の位置、大きさ、形状等に紐づけて設定されてもよい。これにより、判定装置２０は、例えばカメラがズームやパンなどを行っても、所定の参照領域を保持できる。
　以上、実施の形態４によれば、人物の行動軌跡を把握しつつ、好適に侵入検知を判定する判定装置、判定方法、判定システムおよびプログラムを提供することができる。
　なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　＜ハードウェア構成の例＞
　以下、本開示における判定装置の各機能構成がハードウェアとソフトウェアとの組み合わせで実現される場合について説明する。
　図１５は、コンピュータのハードウェア構成を例示するブロック図である。本開示における判定装置は、図に示すハードウェア構成を含むコンピュータ５００により上述の機能を実現できる。コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータであってもよいし、ＰＣなどの据え置き型のコンピュータであってもよい。コンピュータ５００は、各装置を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。コンピュータ５００は、所定のアプリケーションをインストールされることにより、所望の機能を実現できる。
　コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース（Ｉ／Ｆ）５１０およびネットワークインタフェース（Ｉ／Ｆ）５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ５０４は、ＣＰＵ、ＧＰＵまたはＦＰＧＡなどの種々のプロセッサである。メモリ５０６は、ＲＡＭ（Random Access Memory）などを用いて実現される主記憶装置である。
　ストレージデバイス５０８は、ハードディスク、ＳＳＤ、メモリカード、又はＲＯＭ（Read Only Memory）などを用いて実現される補助記憶装置である。ストレージデバイス５０８は、所望の機能を実現するためのプログラムが格納されている。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、各装置の各機能構成部を実現する。
　入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
　ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
　撮影装置が撮影した所定の空間の画像データを取得する画像データ取得手段と、
　前記画像データに含まれる人物の関節点を推定する関節点推定手段と、
　前記関節点に基づいて前記人物の特徴要素を設定する特徴要素設定手段と、
　前記特徴要素に基づいて前記人物が予め設定された参照領域に侵入しているか否かを判定する侵入判定手段と、
　前記侵入判定手段が行った判定の判定結果に関する情報を出力する出力手段と、を備える
判定装置。
（付記２）
　前記特徴要素設定手段は、前記関節点の端点を前記特徴要素に設定する、
付記１に記載の判定装置。
（付記３）
　前記特徴要素設定手段は、前記人物の頭、手先または足先を前記関節点の前記端点として設定する、
付記２に記載の判定装置。
（付記４）
　前記特徴要素設定手段は、前記端点を含む複数の隣接する前記関節点を前記特徴要素にそれぞれ設定し、
　前記侵入判定手段は、複数の隣接する前記特徴要素が全て前記参照領域に侵入しているか否かを判定する、
付記２または３に記載の判定装置。
（付記５）
　前記特徴要素設定手段は、前記人物の腕または脚に対応する複数の隣接する前記関節点を、前記特徴要素として設定する、
付記１に記載の判定装置。
（付記６）
　前記特徴要素設定手段は、前記人物の外側に接する外接矩形を特定し、前記外接矩形に接する前記関節点を、前記特徴要素に設定する、
付記１に記載の判定装置。
（付記７）
　前記特徴要素設定手段は、前記人物に対応する前記画像データに基づいて２つの前記関節点を接続する接続線を設定し、一の前記接続線が接続する前記関節点を、前記特徴要素に設定する、
付記１に記載の判定装置。
（付記８）
　前記特徴要素設定手段は、前記人物に対応する前記画像データに基づいて２つの前記関節点を接続する接続線を前記特徴要素に設定し、
　前記侵入判定手段は、前記特徴要素に設定された前記接続線の少なくとも一部が前記参照領域に侵入しているか否かを判定する、
付記１に記載の判定装置。
（付記９）
　前記出力手段は、前記特徴要素が前記参照領域に侵入したと判定された場合に、前記判定結果を出力する、
付記１～８のいずれか一項に記載の判定装置。
（付記１０）
　前記特徴要素設定手段は、前記人物における複数の前記関節点に基づいて第１特徴要素および第２特徴要素を設定し、
　前記侵入判定手段は、前記第１特徴要素が予め設定された第１参照領域に侵入しているかを判定すると共に、前記第２特徴要素が予め設定された第２参照領域に侵入しているかを判定する、
付記１～９のいずれか一項に記載の判定装置。
（付記１１）
　前記出力手段は、前記第１特徴要素が前記第１参照領域に侵入し、且つ、前記第２特徴要素が前記第２参照領域に侵入した場合に、前記判定結果を出力する、
付記１０に記載の判定装置。
（付記１２）
　前記侵入判定手段は、前記第２特徴要素が予め設定された第３参照領域を通過したか否かをさらに判定し、
　前記出力手段は、前記第２特徴要素が前記第３参照領域を通過した後に、前記第２参照領域に侵入し、且つ、前記第１特徴要素が前記第１参照領域に侵入した場合に、前記判定結果を出力する、
付記１１に記載の判定装置。
（付記１３）
　前記出力手段は、前記第２特徴要素が前記第２参照領域に侵入した後に、前記第１特徴要素が前記第１参照領域に侵入した場合に、前記判定結果を出力する、
付記１０～１２のいずれか一項に記載の判定装置。
（付記１４）
　付記１～１３のいずれか一項に記載の判定装置と、
　所定の空間を撮影して生成した前記画像データを前記判定装置に供給するカメラと、を備える
判定システム。
（付記１５）
　コンピュータが、
　撮影装置が撮影した所定の空間の画像データを取得し、
　前記画像データに含まれる人物の関節点を推定し、
　前記関節点に基づいて前記人物の特徴要素を設定し、
　前記特徴要素に基づいて前記人物が予め設定された参照領域に侵入しているか否かを判定し、
　前記判定にかかる判定結果に関する情報を出力する、
判定方法。
（付記１６）
　撮影装置が撮影した所定の空間の画像データを取得し、
　前記画像データに含まれる人物の関節点を推定し、
　前記関節点に基づいて前記人物の特徴要素を設定し、
　前記特徴要素に基づいて前記人物が予め設定された参照領域に侵入しているか否かを判定し、
　前記判定にかかる判定結果に関する情報を出力する、
判定方法
を、コンピュータに実行させる情報制御プログラムが格納された非一時的なコンピュータ可読媒体。
　１　判定システム
　１０　判定装置
　２０　判定装置
　１１１　画像データ取得部
　１１２　関節点推定部
　１１３　特徴要素設定部
　１１４　侵入判定部
　１１５　出力部
　１１６　ディスプレイ
　１１７　スピーカ
　１２０　記憶部
　２０１　画像
　２１０　第１人物画像
　２２０　第２人物画像
　２３０　物体画像
　２４０　参照領域
　３００　カメラ
　９００　空間
　Ｎ１　ネットワーク

Claims (16)

  1. 　撮影装置が撮影した所定の空間の画像データを取得する画像データ取得手段と、
    　前記画像データに含まれる人物の関節点を推定する関節点推定手段と、
    　前記関節点に基づいて前記人物の特徴要素を設定する特徴要素設定手段と、
    　前記特徴要素に基づいて前記人物が予め設定された参照領域に侵入しているか否かを判定する侵入判定手段と、
    　前記侵入判定手段が行った判定の判定結果に関する情報を出力する出力手段と、を備える
    判定装置。
  2. 　前記特徴要素設定手段は、前記関節点の端点を前記特徴要素に設定する、
    請求項１に記載の判定装置。
  3. 　前記特徴要素設定手段は、前記人物の頭、手先または足先を前記関節点の前記端点として設定する、
    請求項２に記載の判定装置。
  4. 　前記特徴要素設定手段は、前記端点を含む複数の隣接する前記関節点を前記特徴要素にそれぞれ設定し、
    　前記侵入判定手段は、複数の隣接する前記特徴要素が全て前記参照領域に侵入しているか否かを判定する、
    請求項２または３に記載の判定装置。
  5. 　前記特徴要素設定手段は、前記人物の腕または脚に対応する複数の隣接する前記関節点を、前記特徴要素として設定する、
    請求項１に記載の判定装置。
  6. 　前記特徴要素設定手段は、前記人物の外側に接する外接矩形を特定し、前記外接矩形に接する前記関節点を、前記特徴要素に設定する、
    請求項１に記載の判定装置。
  7. 　前記特徴要素設定手段は、前記人物に対応する前記画像データに基づいて２つの前記関節点を接続する接続線を設定し、一の前記接続線が接続する前記関節点を、前記特徴要素に設定する、
    請求項１に記載の判定装置。
  8. 　前記特徴要素設定手段は、前記人物に対応する前記画像データに基づいて２つの前記関節点を接続する接続線を前記特徴要素に設定し、
    　前記侵入判定手段は、前記特徴要素に設定された前記接続線の少なくとも一部が前記参照領域に侵入しているか否かを判定する、
    請求項１に記載の判定装置。
  9. 　前記出力手段は、前記特徴要素が前記参照領域に侵入したと判定された場合に、前記判定結果を出力する、
    請求項１～８のいずれか一項に記載の判定装置。
  10. 　前記特徴要素設定手段は、前記人物における複数の前記関節点に基づいて第１特徴要素および第２特徴要素を設定し、
    　前記侵入判定手段は、前記第１特徴要素が予め設定された第１参照領域に侵入しているかを判定すると共に、前記第２特徴要素が予め設定された第２参照領域に侵入しているかを判定する、
    請求項１～９のいずれか一項に記載の判定装置。
  11. 　前記出力手段は、前記第１特徴要素が前記第１参照領域に侵入し、且つ、前記第２特徴要素が前記第２参照領域に侵入した場合に、前記判定結果を出力する、
    請求項１０に記載の判定装置。
  12. 　前記侵入判定手段は、前記第２特徴要素が予め設定された第３参照領域を通過したか否かをさらに判定し、
    　前記出力手段は、前記第２特徴要素が前記第３参照領域を通過した後に、前記第２参照領域に侵入し、且つ、前記第１特徴要素が前記第１参照領域に侵入した場合に、前記判定結果を出力する、
    請求項１１に記載の判定装置。
  13. 　前記出力手段は、前記第２特徴要素が前記第２参照領域に侵入した後に、前記第１特徴要素が前記第１参照領域に侵入した場合に、前記判定結果を出力する、
    請求項１０～１２のいずれか一項に記載の判定装置。
  14. 　請求項１～１３のいずれか一項に記載の判定装置と、
    　所定の空間を撮影して生成した前記画像データを前記判定装置に供給するカメラと、を備える
    判定システム。
  15. 　コンピュータが、
    　撮影装置が撮影した所定の空間の画像データを取得し、
    　前記画像データに含まれる人物の関節点を推定し、
    　前記関節点に基づいて前記人物の特徴要素を設定し、
    　前記特徴要素に基づいて前記人物が予め設定された参照領域に侵入しているか否かを判定し、
    　前記判定にかかる判定結果に関する情報を出力する、
    判定方法。
  16. 　撮影装置が撮影した所定の空間の画像データを取得し、
    　前記画像データに含まれる人物の関節点を推定し、
    　前記関節点に基づいて前記人物の特徴要素を設定し、
    　前記特徴要素に基づいて前記人物が予め設定された参照領域に侵入しているか否かを判定し、
    　前記判定にかかる判定結果に関する情報を出力する、
    判定方法
    を、コンピュータに実行させる情報制御プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2021/011852 2021-03-23 2021-03-23 判定装置、判定方法、判定システム及びプログラムが格納された非一時的なコンピュータ可読媒体 WO2022201282A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023508199A JPWO2022201282A5 (ja) 2021-03-23 判定装置、判定方法、及びプログラム
PCT/JP2021/011852 WO2022201282A1 (ja) 2021-03-23 2021-03-23 判定装置、判定方法、判定システム及びプログラムが格納された非一時的なコンピュータ可読媒体
US18/267,612 US20240046508A1 (en) 2021-03-23 2021-03-23 Determination apparatus, determination method, determination system, and non-transitory computer-readable medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/011852 WO2022201282A1 (ja) 2021-03-23 2021-03-23 判定装置、判定方法、判定システム及びプログラムが格納された非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2022201282A1 true WO2022201282A1 (ja) 2022-09-29

Family

ID=83396416

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/011852 WO2022201282A1 (ja) 2021-03-23 2021-03-23 判定装置、判定方法、判定システム及びプログラムが格納された非一時的なコンピュータ可読媒体

Country Status (2)

Country Link
US (1) US20240046508A1 (ja)
WO (1) WO2022201282A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006094100A (ja) * 2004-09-24 2006-04-06 Matsushita Electric Ind Co Ltd 映像切替装置、画像処理装置、映像記録装置、画像処理システムおよび映像記録システム
JP2017069748A (ja) * 2015-09-30 2017-04-06 グローリー株式会社 監視カメラシステム及び監視方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006094100A (ja) * 2004-09-24 2006-04-06 Matsushita Electric Ind Co Ltd 映像切替装置、画像処理装置、映像記録装置、画像処理システムおよび映像記録システム
JP2017069748A (ja) * 2015-09-30 2017-04-06 グローリー株式会社 監視カメラシステム及び監視方法

Also Published As

Publication number Publication date
JPWO2022201282A1 (ja) 2022-09-29
US20240046508A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
CN110210302B (zh) 多目标跟踪方法、装置、计算机设备及存储介质
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
US20170104915A1 (en) Display control apparatus, display control method, and storage medium
CN110853076A (zh) 一种目标跟踪方法、装置、设备及存储介质
JP6939111B2 (ja) 画像認識装置および画像認識方法
US10750127B2 (en) Monitoring system, monitoring method, and monitoring program
JP2015142181A (ja) 制御装置、制御方法
JP2008009849A (ja) 人物追跡装置
US20230351757A1 (en) Information processing apparatus, control method, and program
US11120838B2 (en) Information processing apparatus, control method, and program
CN110199316B (zh) 相机和相机的图像处理方法
JP6803525B2 (ja) 顔検出装置およびこれを備えた顔検出システムならびに顔検出方法
JP6593922B2 (ja) 画像監視システム
JP2011053005A (ja) 監視システム
WO2022201282A1 (ja) 判定装置、判定方法、判定システム及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7214437B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6939065B2 (ja) 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法
JP2021026599A (ja) 画像処理システム
US10489921B2 (en) Behavior analysis apparatus and behavior analysis method
WO2019013105A1 (ja) 見守り支援システム及びその制御方法
WO2022130849A1 (ja) 画像処理装置、画像処理方法および非一時的なコンピュータ可読媒体
JP2021056899A (ja) 画像処理装置、画像処理方法およびプログラム
JP2014142696A (ja) 解析処理制御システム
WO2022239291A1 (ja) 物体検知装置及び方法
JP6954416B2 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21932892

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18267612

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2023508199

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21932892

Country of ref document: EP

Kind code of ref document: A1