WO2020075283A1 - 異常者予知システム、異常者予知方法、およびプログラム - Google Patents

異常者予知システム、異常者予知方法、およびプログラム Download PDF

Info

Publication number
WO2020075283A1
WO2020075283A1 PCT/JP2018/038010 JP2018038010W WO2020075283A1 WO 2020075283 A1 WO2020075283 A1 WO 2020075283A1 JP 2018038010 W JP2018038010 W JP 2018038010W WO 2020075283 A1 WO2020075283 A1 WO 2020075283A1
Authority
WO
WIPO (PCT)
Prior art keywords
abnormal
person
abnormal person
prediction
behavior pattern
Prior art date
Application number
PCT/JP2018/038010
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2018/038010 priority Critical patent/WO2020075283A1/ja
Priority to JP2020549916A priority patent/JP7009021B2/ja
Publication of WO2020075283A1 publication Critical patent/WO2020075283A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an abnormal person prediction system, an abnormal person prediction method, and a program capable of predicting an abnormal person in a specific area such as a facility.
  • a suspicious individual detection system has been proposed that is capable of monitoring a wide range and detecting all intrusions by multiple suspicious individuals (Patent Document 1).
  • supervised learning is a well-known method of machine learning for artificial intelligence to perform image analysis.
  • Patent Document 1 it is necessary to prepare the database in advance because it is compared with the database that registers the characteristics of humans who enter and leave the monitored area. Also, although it is effective when only specific people enter and leave the monitored area, there is a problem that it cannot be used in areas where an unspecified number of people enter and exit, such as inside the Shinkansen trains and commercial facilities. .
  • the inventor of the present invention is relatively easy to prepare a normal behavior pattern for learning, and if either the normal behavior pattern or the abnormal behavior pattern is stored, it is suspicious. We focused on the fact that we can predict people with disabilities and abnormal people.
  • An abnormal person prediction system and an abnormal person prediction method capable of predicting an abnormal person in a specific area such as a facility by storing either a normal behavior pattern or an abnormal behavior pattern , And to provide the program.
  • the present invention provides the following solutions.
  • the invention according to the first feature is An abnormal person prediction system for predicting whether a person to be monitored in a predetermined area is an abnormal person, Camera means provided in the predetermined area for photographing the person to be monitored, An action pattern storage means for storing a normal action pattern or an abnormal action pattern, An abnormal person prediction means for predicting an abnormal person based on the behavior pattern, An abnormal person prediction system is provided.
  • an abnormal person prediction system for predicting whether a monitoring target person in a predetermined area is an abnormal person
  • a camera means provided in the predetermined area for photographing the monitoring target person.
  • an action pattern storage unit that stores a normal action pattern or an abnormal action pattern
  • an abnormal person prediction unit that predicts an abnormal person based on the action pattern.
  • the invention according to the first feature is in the category of the abnormal person prediction system, but the abnormal person prediction method and the program have the same actions and effects.
  • the invention according to the second feature is the abnormal person prediction system according to the invention according to the first feature
  • the action pattern is an action pattern in which the monitoring target person performs a predetermined action a predetermined number of times
  • the abnormal person prediction means provides an abnormal person prediction system that predicts an abnormal person based on the behavior pattern.
  • the action pattern is an action pattern in which the monitoring target person performs a predetermined action a predetermined number of times.
  • the abnormal person prediction means predicts an abnormal person based on the behavior pattern.
  • An invention according to a third feature is an abnormal person prediction system which is the invention according to the first feature or the second feature,
  • the action pattern is an action pattern in which the monitoring target person is in a predetermined place for a predetermined time,
  • the abnormal person prediction means provides an abnormal person prediction system that predicts an abnormal person based on the behavior pattern.
  • the behavior pattern is that the monitoring target person is at a predetermined place for a predetermined time. It is an action pattern, and the abnormal person prediction means predicts an abnormal person based on the action pattern.
  • An invention according to a fourth feature is an abnormal person prediction system that is the invention according to any one of the first to third features,
  • the abnormal person prediction means provides an abnormal person prediction system for predicting an abnormal person based on the behavior pattern, as well as the luggage, clothes, and clothing owned by the monitored person.
  • the abnormal person prediction means adds the behavior pattern to the monitoring target. Predicts an abnormal person based on his / her belongings, clothes, and clothing.
  • An invention according to a fifth feature is an abnormal person prediction system which is the invention according to any one of the first to fourth features, The monitoring target person predicted by the abnormal person prediction means, based on the data whether or not as a result abnormal person, Provided is an abnormal person prediction system further including abnormal person learning means for learning prediction of an abnormal person.
  • the monitoring target person predicted by the abnormal person prediction means is eventually An abnormal person learning means for learning the prediction of the abnormal person based on the data of whether the person is an abnormal person is further provided.
  • An invention according to a sixth feature is an abnormal person prediction system that is the invention according to any one of the first to fifth features,
  • the action pattern storage means stores a normal action pattern or an abnormal action pattern for each type of the predetermined area,
  • the abnormal person prediction means provides an abnormal person prediction system for predicting an abnormal person based on an action pattern that matches the type of the predetermined region.
  • the action pattern storage means is configured to operate normally for each type of the predetermined area.
  • the behavior pattern or the abnormal behavior pattern is stored, and the abnormal person prediction unit predicts the abnormal person based on the behavior pattern matched to the type of the predetermined area.
  • the invention according to the seventh feature is An abnormal person prediction system that predicts whether the monitored person in a predetermined area is an abnormal person, A step of being provided in the predetermined area and photographing the person to be monitored; Storing a normal behavior pattern or an abnormal behavior pattern, Predicting an abnormal person based on the behavior pattern, A method of predicting an abnormal person is provided.
  • the invention according to the eighth feature is An abnormal person prediction system that predicts whether the monitored person in a predetermined area is an abnormal person, A step of photographing the monitoring target provided in the predetermined area, Storing a normal behavior pattern or an abnormal behavior pattern, Predicting an abnormal person based on the behavior pattern, Provide a program to execute.
  • an abnormal person prediction system capable of predicting an abnormal person in a specific area such as a facility, an abnormal person It becomes possible to provide a prediction method and a program.
  • FIG. 1 is a schematic diagram of a preferred embodiment of the present invention.
  • FIG. 2 is a diagram showing a relationship between functional blocks of the camera 100 and the computer 200 and respective functions.
  • FIG. 3 is a flowchart of the abnormal person prediction process.
  • FIG. 4 is a diagram showing the relationship between the functional blocks of the camera 100 and the computer 200 and the respective functions when performing learning for abnormal persons.
  • FIG. 5 is a flowchart of the abnormal person prediction process when learning the abnormal person.
  • FIG. 6 is a detailed flowchart of the abnormal person prediction.
  • FIG. 7 is an example of a screen of the abnormal person prediction system when the type of the predetermined area is the Shinkansen.
  • FIG. 8 is an example of a screen of the abnormal person prediction system when the predetermined area is an office.
  • FIG. 9 is an example of the configuration of a database of normal behavior patterns.
  • FIG. 10 is an example of the configuration of a database of normal behavior patterns.
  • FIG. 1 is a schematic diagram of a preferred embodiment of the present invention. The outline of the present invention will be described with reference to FIG.
  • the abnormal person prediction system includes a camera 100, a computer 200, and a communication network 300.
  • the number of cameras 100 is not limited to one, and may be plural.
  • the computer 200 is not limited to an existing device, but may be a virtual device.
  • the camera 100 includes a camera unit 10, a control unit 110, a communication unit 120, and a storage unit 130.
  • the computer 200 also includes a control unit 210, a communication unit 220, a storage unit 230, and an input / output unit 240, as shown in FIG.
  • the control unit 210 realizes the abnormal person prediction module 211 in cooperation with the communication unit 220, the storage unit 230, and the input / output unit 240.
  • the storage unit 230 realizes the action pattern storage module 231 in cooperation with the control unit 210, the communication unit 220, and the input / output unit 240.
  • the communication network 300 may be a public communication network such as the Internet or a dedicated communication network, and enables communication between the camera 100 and the computer 200.
  • the camera 100 is an image pickup apparatus including an image pickup device such as an image pickup element and a lens, which is capable of data communication with the computer 200, and takes an image of a predetermined area to be monitored.
  • an imaging device having necessary functions such as a digital camera, a digital video, a camera mounted on a drone, a wearable device camera, a WEB camera, an in-vehicle camera, and a 360-degree camera You can The captured image may be stored in the storage unit 130.
  • the computer 200 is a computing device capable of data communication with the camera 100.
  • a desktop computer is shown as an example, but a mobile phone, a personal digital assistant, a tablet terminal, a personal computer, an electric appliance, a wearable terminal, or the like may be used.
  • the device is not limited to an existing device, but may be a virtual device.
  • the behavior pattern storage module 231 stores a normal behavior pattern or an abnormal behavior pattern in the storage unit 230 of the computer 200 (step S01).
  • the action pattern is, for example, that a person to be monitored performs a predetermined action a predetermined number of times or stays in a predetermined place for a predetermined time.
  • the behavior pattern also includes the belongings and clothes that the person to be monitored owns, such as wearing clothes such as hats, sunglasses, and masks.
  • These action patterns may be acquired from another computer or a storage medium, or may be created by the computer 200 by extracting the action patterns based on the image captured by the camera 100. This step S01 can be omitted when a sufficient action pattern is already stored.
  • FIG. 9 and 10 show an example of the configuration of a database of normal behavior patterns.
  • the items are separately shown in FIG. 9 and FIG. 10.
  • all the items of action, predetermined place, and appearance in FIG. 9 and FIG. 10 are held for each type of predetermined region.
  • the configuration may be adopted, or only one of the items may be held for each type of the predetermined area.
  • the predetermined area is a place to be monitored, and by preparing a normal behavior pattern or an abnormal behavior pattern for each type, it is possible to more appropriately predict an abnormal person.
  • the types of predetermined areas are the Shinkansen (free seat), the Shinkansen (reserved seat), the station (home), the station (gate), the office (desk work), the office (sales / planning), the office. (Development), office (meeting room), office (entrance), office (elevator), hospital (hospital room), hospital (entrance), nursing facility (living room), nursing facility (entrance).
  • a normal behavior pattern or an abnormal behavior pattern suitable for the type of predetermined area As a result, the accuracy of the abnormal person prediction can be improved.
  • FIGS. 9 and 10 show an example of a normal behavior pattern, a normal behavior pattern in which there is no abnormal person photographed by the camera 100 according to the items such as behavior, predetermined location, and appearance prepared in advance.
  • a normal behavior pattern may be extracted by analyzing the image of the case. By deviating from the case where the normal behavior pattern is deviated, it is possible to deal with the problem that it is difficult to create an abnormal behavior pattern because the sample image of the suspicious person is few. .
  • the images with abnormal persons can be sufficiently prepared, the images may be analyzed to extract the abnormal behavior patterns.
  • the abnormal person prediction module 211 of the computer 200 acquires an image of a predetermined area to be monitored from the camera 100 (step S02). Although only one camera 100 is illustrated in FIG. 1, when there are a plurality of cameras 100, images are acquired from each. The image acquisition process is continuously performed while the abnormal person prediction system is being executed.
  • the abnormal person prediction module 211 analyzes the acquired image and predicts the abnormal person (step S03).
  • the abnormal person prediction module 211 detects a person from the acquired image, and tracks and monitors each detected person. That is, when the person X is detected at a certain time, it is assumed that the person X is the same person and the action patterns are continuously compared until the person X disappears from the predetermined area.
  • the type of the predetermined area is the Shinkansen (unreserved seat)
  • a case of predicting an abnormal person by comparing with the normal behavior patterns of FIGS. 9 and 10 will be described.
  • the normal behavior pattern is that the number of times you leave the seat is no more than two times an hour, and whether you stay in the prescribed area during the one-way boarding time of the Shinkansen Sit down, phone time is within 5 minutes.
  • the stay time at another place is, for example, within 5 minutes for the deck, within 5 minutes for the toilet, and in the washroom. Within 5 minutes.
  • the number of luggage is 3 or less, the size of each luggage is 80 cm or less, the clothes are seasonal, special treatment is applied to sunglasses, hats and masks, and the body color is more than 2 colors. ,.
  • the * mark in FIG. 10 indicates that special processing related to other items is required.
  • the special processing for sunglasses, a hat, and a mask in FIG. 10 is determined to be normal when not all are “present”.
  • step S03 for example, when the number of times of standing up is three times within one hour, it is predicted as an abnormal person. Or, if the person moves to the bathroom for more than 5 minutes, wears sunglasses, a hat, and a mask in clothes, or has only one color of clothes, etc., it is also predicted as an abnormal person.
  • the abnormal person prediction module 211 of the computer 200 warns the abnormal person based on the abnormal person prediction result in step S03 (step S04).
  • a warning method here, it may be output to the input / output unit 240 of the computer 200 or may be output to the input / output unit of another terminal or the like (not shown) designated by the user.
  • FIG. 7 is an example of a screen of the abnormal person prediction system when the type of the predetermined area is the Shinkansen.
  • This screen may be displayed on the input / output unit 240 of the computer 200 or may be displayed on the input / output unit of another terminal (not shown) used by the user.
  • a monitoring place is displayed as a display 702
  • an acquired image is displayed as a display 703
  • a prediction history is displayed as a display 704
  • information of the predicted abnormal person is displayed as a display 705.
  • Information on the predicted abnormal person is displayed as a balloon 708 in the screen of the display 703.
  • the balloon 708 may allow the system to set what percentage or more of the probability of an abnormal person is displayed.
  • a warning sound may be output together.
  • the display and output method by the balloon 708 does not limit the invention of the present application, and it suffices to confirm which person the abnormal person prediction is, and the content thereof.
  • the behavior history that causes a problem of the person for example, the time of leaving the seat and the length thereof may be displayed.
  • the type of the monitoring place applied for detecting the abnormal person may be displayed in the monitoring place of the display 702 in addition to the specific name and address of the monitoring destination.
  • “Shinkansen (reserved seat)” is applied as the type of monitoring place.
  • the type of the monitoring place may be switchable by the user on the screen 701.
  • a switching button 706 is prepared on the screen 701 of the abnormal person prediction system so that the camera 100 is installed and monitored in another vehicle, a deck, a toilet, a washroom, etc.
  • the screen display of the display 703 may be switchable.
  • the history of what kind of behavior the person A, who was predicted to have a 65% chance of being an abnormal person here, within the range that can be monitored by another camera 100 can be checked in cooperation with each other. Good.
  • a notification button 707 may be provided on the screen 701 of the abnormal person prediction system so that the abnormal person can be notified to the conductor or crew of the Shinkansen, the Shinkansen general command room, or the like.
  • the present invention by storing either a normal behavior pattern or an abnormal behavior pattern, it is possible to predict an abnormal person in a specific area such as a facility. It is possible to provide a system, an abnormal person prediction method, and a program.
  • FIG. 2 is a diagram showing a relationship between functional blocks of the camera 100 and the computer 200 and respective functions.
  • the camera 100 includes a camera unit 10, a control unit 110, a communication unit 120, and a storage unit 130.
  • the computer 200 also includes a control unit 210, a communication unit 220, a storage unit 230, and an input / output unit 240.
  • the control unit 210 realizes the abnormal person prediction module 211 in cooperation with the communication unit 220, the storage unit 230, and the input / output unit 240.
  • the storage unit 230 realizes the action pattern storage module 231 in cooperation with the control unit 210, the communication unit 220, and the input / output unit 240.
  • the communication network 300 may be a public communication network such as the Internet or a dedicated communication network, and enables communication between the camera 100 and the computer 200.
  • the camera 100 is an image pickup apparatus including an image pickup device such as an image pickup element and a lens, which is capable of data communication with the computer 200, and takes an image of a predetermined area to be monitored.
  • an imaging device having necessary functions such as a digital camera, a digital video, a camera mounted on a drone, a wearable device camera, a WEB camera, an in-vehicle camera, and a 360-degree camera You can The captured image may be stored in the storage unit 130.
  • the camera 100 includes a lens, an image sensor, various buttons, an imaging device such as a flash, and the like as the camera unit 10, and captures a captured image such as a moving image or a still image. Further, the image obtained by picking up is assumed to be a precise image having an amount of information necessary for image analysis.
  • the control unit 110 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • a device for enabling communication with other devices for example, a device supporting WiFi (Wireless Fidelity) compliant with IEEE802.11 or the IMT-2000 standard such as third generation and fourth generation mobile communication systems. It is equipped with a compliant wireless device. It may be a wired LAN connection.
  • WiFi Wireless Fidelity
  • the storage unit 130 includes a data storage unit such as a hard disk or a semiconductor memory, and stores necessary data such as captured images.
  • a data storage unit such as a hard disk or a semiconductor memory
  • necessary data such as captured images.
  • the purpose of image analysis, the image capturing environment, and the like may be stored together.
  • the computer 200 is a computing device capable of data communication with the camera 100.
  • a desktop computer is shown as an example, but a mobile phone, a personal digital assistant, a tablet terminal, a personal computer, an electric appliance, a wearable terminal, or the like may be used.
  • the device is not limited to an existing device, but may be a virtual device.
  • the control unit 210 includes a CPU, a RAM, a ROM and the like.
  • the control unit 210 realizes the abnormal person prediction module 211 in cooperation with the communication unit 220, the storage unit 230, and the input / output unit 240.
  • a device for enabling communication with other devices for example, a WiFi compatible device compliant with IEEE 802.11 or a wireless device compliant with IMT-2000 standard such as third generation and fourth generation mobile communication systems. And so on. It may be a wired LAN connection. Further, it is assumed that communication is performed with another terminal (not shown) used by the user through the communication unit 220 as needed.
  • the storage unit 230 is provided with a data storage unit such as a hard disk or a semiconductor memory, and stores a captured image and data necessary for processing a normal behavior pattern or an abnormal behavior pattern.
  • the storage unit 230 cooperates with the control unit 210, the communication unit 220, and the input / output unit 240 to realize the action pattern storage module 231.
  • the input / output unit 240 has the functions necessary to use the abnormal person prediction system.
  • a liquid crystal display that realizes a touch panel function, a keyboard, a mouse, a pen tablet, hardware buttons on the device, a microphone for performing voice recognition, and the like can be provided.
  • a liquid crystal display, a display of a PC, a display such as projection on a projector, and a form of audio output can be considered.
  • the function of the present invention is not particularly limited depending on the input / output method. Further, it is assumed that the input / output can be performed also from an input / output unit of another terminal (not shown) used by the user as needed.
  • FIG. 3 is a flowchart of the abnormal person prediction process. The processing executed by each module described above will be described along with this processing.
  • the action pattern storage module 231 of the computer 200 stores a normal action pattern or an abnormal action pattern in the storage unit 230 of the computer 200 (step S301).
  • the action pattern is, for example, that a person to be monitored performs a predetermined action a predetermined number of times or stays in a predetermined place for a predetermined time.
  • the behavior pattern also includes the belongings and clothes that the person to be monitored owns, such as wearing clothes such as hats, sunglasses, and masks.
  • the action pattern may be acquired from another computer or a storage medium, or may be created by the computer 200 by extracting the action pattern based on the image captured by the camera 100. This step S301 can be omitted if a sufficient action pattern is already stored.
  • FIG. 9 and 10 show an example of the configuration of a database of normal behavior patterns.
  • the items are separately shown in FIG. 9 and FIG. 10.
  • all the items of action, predetermined place, and appearance in FIG. 9 and FIG. 10 are held for each type of predetermined region.
  • the configuration may be adopted, or only one of the items may be held for each type of the predetermined area.
  • the predetermined area is a place to be monitored, and by preparing a normal behavior pattern or an abnormal behavior pattern for each type, it is possible to more appropriately predict an abnormal person.
  • the types of predetermined areas are the Shinkansen (free seat), the Shinkansen (reserved seat), the station (home), the station (gate), the office (desk work), the office (sales / planning), the office. (Development), office (meeting room), office (entrance), office (elevator), hospital (hospital room), hospital (entrance), nursing facility (living room), nursing facility (entrance).
  • a normal behavior pattern or an abnormal behavior pattern suitable for the type of predetermined area As a result, the accuracy of the abnormal person prediction can be improved.
  • FIGS. 9 and 10 show an example of a normal behavior pattern, a normal behavior pattern in which there is no abnormal person photographed by the camera 100 according to the items such as behavior, predetermined location, and appearance prepared in advance.
  • a normal behavior pattern may be extracted by analyzing the image of the case. By deviating from the case where the normal behavior pattern is deviated, it is possible to deal with the problem that it is difficult to create an abnormal behavior pattern because the sample image of the suspicious person is few. .
  • the images with abnormal persons can be sufficiently prepared, the images may be analyzed to extract the abnormal behavior patterns.
  • the abnormal person prediction module 211 of the computer 200 makes an image transmission request to the camera 100 in a predetermined area to be monitored (step S302). Although only one camera 100 is illustrated in FIG. 2, when there are a plurality of cameras 100, images are acquired from each.
  • the image transmission request in step S302 may be made once when the abnormal person prediction system is executed, and thereafter, the image may be continuously acquired until an instruction to end is made.
  • the camera 100 Upon receiving the image transmission request from the computer 200, the camera 100 transmits the image of the predetermined area captured by the camera unit 10 to the computer 200 via the communication unit 120 (step S303).
  • the abnormal person prediction module 211 of the computer 200 acquires an image from the camera 100 (step S304).
  • the image transmission process by the camera 100 in step S303 and the image acquisition process by the computer 200 in step S304 are continuously performed while the abnormal person prediction system is being executed.
  • the abnormal person prediction module 211 analyzes the acquired image and predicts the abnormal person (step S305). Details of the abnormal person prediction will be described with reference to FIG.
  • FIG. 6 is a detailed flowchart of the abnormal person prediction.
  • the abnormal person prediction module 211 detects a person from the acquired image (step S601).
  • the number of persons to be detected is not limited to one person, but may be plural persons or zero persons.
  • the abnormal person prediction module 211 tracks the detected person (step S602). Specifically, tracking is to consider continuity with the next acquired image. It is determined whether or not the person is the same in consecutive acquired images, and if the person is the same, the behavior of the person is accumulated as a history. By doing so, it is possible to determine the number of times to leave the seat, the stay time, the telephone time, and the like in the action pattern shown in FIG. Further, even when the appearance of the same person changes, the person can be predicted as an abnormal person. That is, when the person X is detected at a certain time, it is assumed that the person X is the same person and the action patterns are continuously compared until the person X disappears from the predetermined area.
  • the abnormal person prediction module 211 determines whether to use a normal behavior pattern or an abnormal behavior pattern (step S603). As a determination method here, if there is only a normal behavior pattern or an abnormal behavior pattern in the storage unit 230, the existing behavior pattern is used. If both normal and abnormal behavior patterns exist, you may decide to use the one that has a behavior pattern suitable for the type of the predetermined area to be monitored, or if you have stored the behavior pattern. It is possible to use the one with a large amount of data which is the basis of the above, or the one selected by the user.
  • the abnormal person prediction module 211 determines whether or not the behavior of the focused person is within the range of the normal behavior pattern (step S604). If it is within the range of the normal behavior pattern, the process returns to step S601 to continue the process. If it is outside the range of the normal behavior pattern, the process proceeds to the next step S606.
  • the abnormal person prediction module 211 determines whether the behavior of the person of interest is within the abnormal behavior pattern range (step S605). If it is within the range of the abnormal behavior pattern, the process proceeds to the next step S606. If it is outside the range of the abnormal behavior pattern, the process returns to step S601 to continue the process.
  • the abnormal person prediction module 211 predicts the person of interest as an abnormal person based on the determination result in step S604 or step S605 (step S606).
  • the probability of being an abnormal person may be calculated according to how much the person of interest deviates from a normal behavior pattern or how much an abnormal behavior pattern corresponds. The probability may be determined from the number of items deviating from the normal behavior pattern or the number of items corresponding to the abnormal behavior pattern. Furthermore, if the number of times or the time of the action pattern greatly deviates from the default value, the probability of being an abnormal person may be calculated as a higher probability.
  • the above is the detailed flow of abnormal person prediction.
  • the abnormal person prediction module 211 of the computer 200 warns the abnormal person based on the abnormal person prediction result in step 305 (step S306).
  • a warning method here, it may be output to the input / output unit 240 of the computer 200 or may be output to the input / output unit of another terminal or the like (not shown) designated by the user.
  • FIG. 8 is an example of a screen of the abnormal person prediction system when the predetermined area is an office. This screen may be displayed on the input / output unit 240 of the computer 200 or may be displayed on the input / output unit of another terminal (not shown) used by the user.
  • a monitor place is displayed as a display 802
  • an acquired image is displayed as a display 803
  • a prediction history is displayed as a display 804
  • information of the predicted abnormal person is displayed as a display 805.
  • Information on the predicted abnormal person is displayed as a balloon 808 in the screen of the display 703.
  • “possibility of abnormal person: 85%, sunglasses: yes, clothes: out of the range of office worker” may be an abnormal person.
  • the example shows the gender and the main reason.
  • the balloon 808 may allow the system to set what percentage or more of the possibility of an abnormal person is displayed.
  • the display and output method by the balloon 808 does not limit the invention of the present application, and it suffices to confirm to which person the abnormal person prediction is performed and the content thereof.
  • the action history that causes the problem of the person for example, the time and length of appearance in a predetermined monitoring target area may be displayed.
  • the type of the monitoring place applied for detecting the abnormal person may be displayed. In FIG. 8, “office (desk work)” is applied as the type of monitoring place.
  • the type of the monitoring place may be switchable by the user on the screen 801.
  • a tracking button 806 may be provided on the screen 801 of the abnormal person prediction system so that the selected abnormal person can be tracked and monitored by the camera 100.
  • a notification button 807 is prepared on the screen 801 of the abnormal person prediction system, and the person in charge of the office of security office, the security company, the office X that is the monitoring place, the person designated as the target of the notification, and the entire office X are provided. For example, it may be possible to report an abnormal person.
  • the position and seat of the abnormal person, the possibility and reason of the abnormal person, the gender and appearance characteristics of the abnormal person, the image acquired from the camera 100, etc. may be notified together.
  • the report button 807 is selected from the display on the screen 801, the guard room, the security company, the person in charge of the office X that is the monitoring place, the person designated as the target of the report, the entire office X, etc.
  • the notification may be performed without displaying the screen 801 in step S306.
  • the present invention by storing either a normal behavior pattern or an abnormal behavior pattern, it is possible to predict an abnormal person in a specific area such as a facility. It is possible to provide a system, an abnormal person prediction method, and a program.
  • FIG. 4 is a diagram showing the relationship between the functional blocks of the camera 100 and the computer 200 and the respective functions when performing learning for abnormal persons.
  • the control unit 210 of the computer 200 cooperates with the communication unit 220, the storage unit 230, and the input / output unit 240 to realize the abnormal person learning module 212.
  • FIG. 5 is a flowchart of the abnormal person prediction process when learning the abnormal person. The processing executed by each module described above will be described along with this processing. Since the processing of steps S501 to S506 in FIG. 5 corresponds to the processing of steps S301 to S306 in FIG. 3, step S507 and subsequent steps will be described. Note that the process of step S501 can be omitted, as in step S301, when a sufficient action pattern is already stored.
  • the abnormal person learning module 212 of the computer 200 receives the feedback data for the abnormal person warning in step S506 (step S507).
  • the screen 701 of FIG. 7 or the screen 801 of FIG. 8 may be provided with an interface for the user to send the feedback data.
  • the abnormal person learning module 212 learns using the abnormal person prediction in step S505 and the feedback data in step S507 (step S508). For example, in the example of FIG. 7, if the answer to the question “Is this person required caution as an abnormal person?” For the balloon 708 is “No”, the number of times leaving the seat is not so important. It is possible. Further, in the example of FIG. 8, if the answer to the question “Is this person required caution as an abnormal person?” To the balloon 808 is “Yes”, a person whose clothes are outside the range of the office worker, or It is possible to learn that a person wearing sunglasses should be more likely to be an abnormal person.
  • the abnormal person learning module 212 updates the behavior pattern database if necessary according to the learning result of step S508 (step S509). For example, in the example of FIG. 7 described above, as the answer to the question “Is this person needed caution as an abnormal person?” Was “No”, the learning result that the number of times of leaving the seat is not so important 9 is accumulated, the normal behavior pattern database of the Shinkansen (designated seat) in FIG. 9 is updated by increasing the number of seats from 3 times / 1 hour.
  • an abnormal person prediction system by receiving feedback data for predicting an abnormal person and performing learning, an abnormal person prediction system, an abnormal person predicting method, and a program that enable more accurate abnormal person prediction according to the type of a predetermined region Can be provided.
  • an abnormal person prediction system capable of highly accurately predicting an abnormal person in a specific area such as a facility by storing either a normal behavior pattern or an abnormal behavior pattern It is possible to provide an abnormal person prediction method and a program.
  • the above-described means and functions are realized by a computer (including a CPU, an information processing device, various terminals) reading and executing a predetermined program.
  • the program may be, for example, provided from a computer via a network (SaaS: software as a service), a flexible disk, a CD (CD-ROM, etc.), a DVD (DVD-ROM, DVD). -RAM or the like), compact memory, or the like, and is provided in a form recorded in a computer-readable recording medium.
  • the computer reads the program from the recording medium, transfers the program to an internal storage device or an external storage device, stores the program, and executes the program.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】　不特定多数の人間が出入りする領域において、不審者や異常者の十分な学習用のサンプル画像が存在しない場合にも、所定の領域内の異常者を予知することが可能な異常者予知システム、異常者予知方法、およびプログラムを提供する。 【解決手段】　所定領域内の監視対象者が異常者であるかを予知する異常者予知システムに、所定領域内に設けられ、監視対象者を撮影するカメラ１００と、正常な行動パターン又は異常な行動パターンを記憶する行動パターン記憶モジュール２３１と、行動パターンに基づいて、異常者を予知する異常者予知モジュール２１１と、を備える。

Description

異常者予知システム、異常者予知方法、およびプログラム
　本発明は、施設等の特定の領域内の異常者を予知することが可能な異常者予知システム、異常者予知方法、およびプログラムに関する。
　広い範囲を監視して、複数の不審者が侵入しても、すべて検知可能な不審者検知システムが提案されている（特許文献１）。
特開平４－２６４５２２
　また、人工知能が画像解析を行うための機械学習の手法として、教師あり学習（Ｓｕｐｅｒｖｉｓｅｄ　Ｌｅａｒｎｉｎｇ）はよく知られる手法である。
　しかしながら、特許文献１の手法では、監視対象エリアに出入りする人間の特徴を登録するデータベースとの照合を行うため、データベースの事前準備が必要であるという手間がかかる。また、監視対象エリアに特定の人間しか出入りしない場合には有効であるが、新幹線の車内や商業用施設等、不特定多数の人間が出入りするエリアでは、利用することができないという問題があった。
　また、画像解析のために教師あり学習を行う場合、大量の画像を用意して学習を行わねばならず、不審者や異常者の検知を行う場合には、その学習のための十分な不審者や異常者のサンプル画像を準備することが難しい。
　この課題に対して、本発明者は、正常な行動パターンを学習のために準備することは比較的容易であり、正常な行動パターン又は異常な行動パターンの何れかを記憶しておけば、不審者や異常者を予知できるという点に着目した。
　本発明は、正常な行動パターン又は異常な行動パターンの何れかを記憶しておくことで、施設等の特定の領域内の異常者を予知することが可能な異常者予知システム、異常者予知方法、およびプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、
　所定領域内の監視対象者が異常者であるかを予知する異常者予知システムであって、
　前記所定領域内に設けられ、前記監視対象者を撮影するカメラ手段と、
　正常な行動パターン又は異常な行動パターンを記憶する行動パターン記憶手段と、
　前記行動パターンに基づいて、異常者を予知する異常者予知手段と、
　を備える異常者予知システムを提供する。
　第１の特徴に係る発明によれば、所定領域内の監視対象者が異常者であるかを予知する異常者予知システムにおいて、前記所定領域内に設けられ、前記監視対象者を撮影するカメラ手段と、正常な行動パターン又は異常な行動パターンを記憶する行動パターン記憶手段と、前記行動パターンに基づいて、異常者を予知する異常者予知手段と、を備える。
　第１の特徴に係る発明は、異常者予知システムのカテゴリであるが、異常者予知方法、およびプログラムであっても同様の作用、効果を奏する。
　第２の特徴に係る発明は、第１の特徴に係る発明である異常者予知システムであって、
　前記行動パターンとは、前記監視対象者が、所定の行動を所定回数行う行動パターンであって、
　前記異常者予知手段が、当該行動パターンに基づいて、異常者を予知する異常者予知システムを提供する。
　第２の特徴に係る発明によれば、第１の特徴に係る発明である異常者予知システムにおいて、前記行動パターンとは、前記監視対象者が、所定の行動を所定回数行う行動パターンであって、前記異常者予知手段が、当該行動パターンに基づいて、異常者を予知する。
　第３の特徴に係る発明は、第１の特徴又は第２の特徴に係る発明である異常者予知システムであって、
　前記行動パターンとは、前記監視対象者が、所定の場所に所定時間いる行動パターンであって、
　前記異常者予知手段が、当該行動パターンに基づいて、異常者を予知する異常者予知システムを提供する。
　第３の特徴に係る発明によれば、第１の特徴又は第２の特徴に係る発明である異常者予知システムにおいて、前記行動パターンとは、前記監視対象者が、所定の場所に所定時間いる行動パターンであって、前記異常者予知手段が、当該行動パターンに基づいて、異常者を予知する。
　第４の特徴に係る発明は、第１の特徴から第３の特徴の何れかに係る発明である異常者予知システムであって、
　前記異常者予知手段が、当該行動パターンに加え、前記監視対象者が所有する荷物、服装、着用物に基づいて、異常者を予知する異常者予知システムを提供する。
　第４の特徴に係る発明によれば、第１の特徴から第３の特徴の何れかに係る発明である異常者予知システムにおいて、前記異常者予知手段が、当該行動パターンに加え、前記監視対象者が所有する荷物、服装、着用物に基づいて、異常者を予知する。
　第５の特徴に係る発明は、第１の特徴から第４の特徴のいずれかに係る発明である異常者予知システムであって、
　前記異常者予知手段により予知した監視対象者が、結果的に異常者であったか否かのデータに基づき、
　異常者の予知を学習する異常者学習手段をさらに備えた異常者予知システムを提供する。
　第５の特徴に係る発明によれば、第１の特徴から第４の特徴のいずれかに係る発明である異常者予知システムにおいて、前記異常者予知手段により予知した監視対象者が、結果的に異常者であったか否かのデータに基づき、異常者の予知を学習する異常者学習手段をさらに備える。
　第６の特徴に係る発明は、第１の特徴から第５の特徴のいずれかに係る発明である異常者予知システムであって、
　前記行動パターン記憶手段は、前記所定領域の種類毎に正常な行動パターン又は異常な行動パターンを記憶し、
　前記異常者予知手段が、当該所定領域の種類に合わせた行動パターンに基づいて、異常者を予知する異常者予知システムを提供する。
　第６の特徴に係る発明によれば、第１の特徴から第５の特徴のいずれかに係る発明である異常者予知システムにおいて、前記行動パターン記憶手段は、前記所定領域の種類毎に正常な行動パターン又は異常な行動パターンを記憶し、前記異常者予知手段が、当該所定領域の種類に合わせた行動パターンに基づいて、異常者を予知する。
　第７の特徴に係る発明は、
　所定領域内の監視対象者が異常者であるかを予知する異常者予知システムに、
　前記所定領域内に設けられ、前記監視対象者を撮影するステップと、
　正常な行動パターン又は異常な行動パターンを記憶するステップと、
　前記行動パターンに基づいて、異常者を予知するステップと、
　を備える異常者予知方法を提供する。
　第８の特徴に係る発明は、
　所定領域内の監視対象者が異常者であるかを予知する異常者予知システムに、
　前記所定領域内に設けられ、前記監視対象者を撮影するステップ、
　正常な行動パターン又は異常な行動パターンを記憶するステップ、
　前記行動パターンに基づいて、異常者を予知するステップ、
　を実行させるためのプログラムを提供する。
　本発明によれば、正常な行動パターン又は異常な行動パターンの何れかを記憶しておくことで、施設等の特定の領域内の異常者を予知することが可能な異常者予知システム、異常者予知方法、およびプログラムを提供することが可能となる。
図１は、本発明の好適な実施形態の概要図である。 図２は、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。 図３は、異常者予知処理のフローチャート図である。 図４は、異常者学習を行う場合の、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。 図５は、異常者学習を行う場合の、異常者予知処理のフローチャート図である。 図６は、異常者予知の詳細なフローチャート図である。 図７は、所定領域の種類が新幹線であるときの異常者予知システムの画面の一例である。 図８は、所定領域がオフィスであるときの異常者予知システムの画面の一例である。 図９は、正常な行動パターンのデータベースの構成の一例である。 図１０は、正常な行動パターンのデータベースの構成の一例である。
　以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［異常者予知システムの概要］
　図１は、本発明の好適な実施形態の概要図である。この図１に基づいて、本発明の概要を説明する。異常者予知システムは、カメラ１００、コンピュータ２００、通信網３００から構成される。
　なお、図１において、カメラ１００の数は１つに限らず複数であってもよい。また、コンピュータ２００は、実在する装置に限らず、仮想的な装置であってもよい。
　カメラ１００は、図２に示すように、カメラ部１０、制御部１１０、通信部１２０、記憶部１３０から構成される。また、コンピュータ２００は、同じく図２に示すように、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０から構成される。制御部２１０は通信部２２０、記憶部２３０、入出力部２４０と協働して異常者予知モジュール２１１を実現する。また、記憶部２３０は、制御部２１０、通信部２２０、入出力部２４０と協働して、行動パターン記憶モジュール２３１を実現する。通信網３００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００間の通信を可能とする。
　カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備える撮像装置であり、監視を行いたい所定領域の画像を撮影する。ここでは、例として防犯カメラを図示しているが、デジタルカメラ、デジタルビデオ、ドローンに搭載したカメラ、ウェアラブルデバイスのカメラ、ＷＥＢカメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。また、記憶部１３０に撮像画像を保存可能としてもよい。
　コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、電化製品や、ウェアラブル端末等であってよい。また、実在する装置に限らず、仮想的な装置であってもよい。
　図１の異常者予知システムにおいて、まず、行動パターン記憶モジュール２３１は、コンピュータ２００の記憶部２３０に、正常な行動パターン又は異常な行動パターンを記憶する（ステップＳ０１）。本発明において行動パターンとは、例えば、監視の対象となる人物が、所定の行動を所定の回数行うことや所定の場所に所定の時間いることである。また、行動パターンには、監視の対象となる人物の、所有する荷物や服装、帽子やサングラスやマスクといった着用物も含めるものとする。これらの行動パターンは、他のコンピュータや記憶媒体から取得してもよいし、カメラ１００で撮影した画像を基に行動パターンを抽出してコンピュータ２００で作成してもよい。このステップＳ０１は、既に十分な行動パターンが記憶されている場合には、省略可能である。
　図９と図１０は、正常な行動パターンのデータベースの構成の一例である。ここでは、図面の都合上、図９と図１０に分けて記載しているが、図９と図１０の、行動、所定の場所、外見のすべての項目を、所定領域の種類毎に保持する構成としてもよいし、どれか一つの項目のみを、所定領域の種類毎に保持する構成としてもよい。所定領域とは、監視を行いたい場所のことであり、その種類毎に正常な行動パターン又は異常な行動パターンを用意することで、より適切に異常者を予知することができるようになる。図９と図１０の例では、所定領域の種類として、新幹線（自由席）、新幹線（指定席）、駅（ホーム）、駅（改札）、オフィス（デスクワーク）、オフィス（営業・企画）、オフィス（開発）、オフィス（会議室）、オフィス（エントランス）、オフィス（エレベーター）、病院（病室）、病院（エントランス）、介護施設（居室）、介護施設（エントランス）、を記載している。このように、同じ新幹線でも自由席と指定席を分けたり、駅でもホームと改札を分けたりすることで、所定領域の種類にあわせて相応しい正常な行動パターン又は異常な行動パターンを記憶させることが可能となり、結果として異常者予知の精度を向上させることができる。また、図９と図１０では、正常な行動パターンの例を示しているが、予め準備した、行動、所定の場所、外見、といった項目にあわせて、カメラ１００で撮影した異常者がいない正常な場合の画像を解析して、正常な行動パターンを抽出してもよい。この、正常な行動パターンを逸脱した場合を逸脱した場合を、異常であるとみなすことで、不審者のサンプル画像が少なく、異常な行動パターンを作成しづらいという問題に対応することが可能となる。異常な行動パターンのデータベースを作成する場合には、異常者のいる画像が十分に用意できる場合には、その画像を解析して、異常な行動パターンを抽出してもよい。
　図１に戻り、コンピュータ２００の異常者予知モジュール２１１は、カメラ１００から監視を行いたい所定領域の画像を取得する（ステップＳ０２）。図１では、カメラ１００は１台のみ図示しているが、カメラ１００が複数台ある場合には、それぞれから画像を取得する。画像の取得処理は、異常者予知システムの実行中は、継続して行うものとする。
　次に、異常者予知モジュール２１１は、取得した画像を解析し、異常者の予知を行う（ステップＳ０３）。異常者予知モジュール２１１は、取得した画像から人物を検出し、検出した人物それぞれを追跡して監視する。つまり、ある時点で人物Ｘを検出したら、その人物Ｘが所定領域からいなくなるまで、同一人物とみなして連続して行動パターンを比較するものとする。ここでは、所定領域の種類が新幹線（自由席）の例で、図９と図１０の正常な行動パターンと比較して異常者を予知する場合について説明する。所定領域の種類が新幹線（自由席）である場合、正常な行動パターンは、席を立つ回数が一時間に２回以内、所定領域内の滞在時間が新幹線の片道乗車時間内、姿勢が立つか座る、電話時間が５分以内、である。また、監視中の所定領域から別の場所へ移動した場合にも続けて監視が可能である場合、別の場所への滞在時間は、例えばデッキが５分以内、トイレが５分以内、洗面所が５分以内、である。また、外見については、荷物の数が３つ以内、荷物の大きさがそれぞれ８０センチ以内、服装は季節感あり、サングラス、帽子、マスク、については特別処理、全身の色は２色以上の服装、である。図１０の※マークは他の項目と関連する特別処理が必要なことを示すものとする。図１０におけるサングラス、帽子、マスク、についての特別処理は、全てが「あり」にはならない場合が正常であると判断するものとする。ステップＳ０３で、例えば席を立つ回数が１時間以内に３回となった場合には、異常者として予知する。又は、トイレに移動して５分を超えた場合、服装でサングラスと帽子とマスクのすべてを身につけている場合、服装の色が一色のみの場合、等も、同じく異常者として予知する。
　図１に戻り、最後にコンピュータ２００の異常者予知モジュール２１１は、ステップＳ０３での異常者予知結果をもとに、異常者を警告する（ステップＳ０４）。ここでの警告方法としては、コンピュータ２００の入出力部２４０に出力してもよいし、ユーザが指定した別の端末等（非図示）の入出力部に出力してもよい。
　図７は、所定領域の種類が新幹線であるときの異常者予知システムの画面の一例である。この画面は、コンピュータ２００の入出力部２４０に表示してもよいし、ユーザの使用する別の端末（非図示）の入出力部に表示してもよい。異常者予知システムの画面７０１には、表示７０２として監視場所、表示７０３として取得した画像、表示７０４として予知履歴、表示７０５として予知した異常者の情報を表示する。表示７０３の画面内には、予知した異常者の情報を吹き出し７０８として表示する。図９と図１０に示した正常な行動パターンと比較して、図７では、「異常者の可能性：６５％、席を１２回立っています」として、異常者である可能性とその主な理由を表示する例を示している。吹き出し７０８は、異常者の可能性が何パーセント以上の時に表示するかを、システムで設定可能としてよい。また、異常者である可能性が高いほど、吹き出しの色や形状、文字の色や太さやサイズ等を目立ちやすくする等、重要度が分かりやすいよう表示することが望ましい。また、吹き出し７０８の表示だけでなく、あわせて警告音を出力してもよい。吹き出し７０８による表示や出力方法は、本願発明を限定するものではなく、どの人物に対する異常者予知であるのかと、その内容が確認できればよいものとする。表示７０５の予知した異常者の情報部分や、吹き出し７０８を選択することで、当該人物の問題となる行動履歴、例えば離席した時間やその長さを表示してもよい。また、表示７０２の監視場所には、具体的な監視先の名称や住所のほかにも、異常者検知のために適用している監視場所の種類を表示してもよい。図７では、「新幹線（指定席）」を監視場所の種類として適用している。ここでは、表示のみであるが、監視場所の種類を、画面７０１上でユーザが切り替え可能としてもよい。更に、異常者予知システムの画面７０１には、切替ボタン７０６を用意して、例えば同じ新幹線の車内の、別の車両や、デッキ、トイレ、洗面所、等にもカメラ１００が設置されて監視が可能となっている場合、表示７０３の画面表示を切り替え可能としてもよい。また、ここでの異常者の可能性６５％と予知された人物Ａが、他のカメラ１００で監視可能な範囲では、どのような行動をとっていたのかの履歴を、連携して確認可能としてもよい。また、異常者予知システムの画面７０１には、通報ボタン７０７を用意して、当該新幹線の車掌や乗務員、又は新幹線総合指令室等に、異常者の通報を可能としてもよい。通報の際には、異常者の位置や座席、異常者である可能性とその理由、異常者の性別や外見上の特徴、カメラ１００から取得した画像等を、併せて通知してもよいものとする。
　このように、本発明によれば、正常な行動パターン又は異常な行動パターンの何れかを記憶しておくことで、施設等の特定の領域内の異常者を予知することが可能な異常者予知システム、異常者予知方法、およびプログラムを提供することが可能となる。
　［各機能の説明］
　図２は、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。カメラ１００は、カメラ部１０、制御部１１０、通信部１２０、記憶部１３０から構成される。また、コンピュータ２００は、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０から構成される。制御部２１０は通信部２２０、記憶部２３０、入出力部２４０と協働して異常者予知モジュール２１１を実現する。また、記憶部２３０は、制御部２１０、通信部２２０、入出力部２４０と協働して、行動パターン記憶モジュール２３１を実現する。通信網３００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００間の通信を可能とする。
　カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備える撮像装置であり、監視を行いたい所定領域の画像を撮影する。ここでは、例として防犯カメラを図示しているが、デジタルカメラ、デジタルビデオ、ドローンに搭載したカメラ、ウェアラブルデバイスのカメラ、ＷＥＢカメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。また、記憶部１３０に撮像画像を保存可能としてもよい。
　カメラ１００は、カメラ部１０として、レンズ、撮像素子、各種ボタン、フラッシュ等の撮像デバイス等を備え、動画や静止画等の撮像画像として撮像する。また、撮像して得られる画像は、画像解析に必要なだけの情報量を持った精密な画像であるものする。
　制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備える。
　通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ－２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。
　記憶部１３０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像画像等の必要なデータ等を記憶する。画像解析の目的やと画像の撮影環境等も、あわせて記憶してもよい。
　コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、電化製品や、ウェアラブル端末等であってよい。また、実在する装置に限らず、仮想的な装置であってもよい。
　制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。制御部２１０は通信部２２０、記憶部２３０、入出力部２４０と協働して異常者予知モジュール２１１を実現する。
　通信部２２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ－２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。また、この通信部２２０を介して、必要に応じてユーザの使用する別の端末（非図示）との通信を行うものとする。
　記憶部２３０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像画像や、正常な行動パターン又は異常な行動パターン等の処理に必要なデータを記憶する。記憶部２３０は、制御部２１０、通信部２２０、入出力部２４０と協働して、行動パターン記憶モジュール２３１を実現する。
　入出力部２４０は、異常者予知システムを利用するために必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。また、出力を実現するための例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の表示と音声出力等の形態が考えられる。入出力方法により、本発明は特に機能を限定されるものではない。また、入出力は、必要に応じてユーザの使用する別の端末（非図示）の入出力部からも行えるものとする。
　［異常者予知処理］
　図３は、異常者予知処理のフローチャート図である。上述した各モジュールが実行する処理について、本処理にあわせて説明する。
　コンピュータ２００の行動パターン記憶モジュール２３１は、コンピュータ２００の記憶部２３０に、正常な行動パターン又は異常な行動パターンを記憶する（ステップＳ３０１）。本発明において行動パターンとは、例えば、監視の対象となる人物が、所定の行動を所定の回数行うことや所定の場所に所定の時間いることである。また、行動パターンには、監視の対象となる人物の、所有する荷物や服装、帽子やサングラスやマスクといった着用物も含めるものとする。行動パターンは、他のコンピュータや記憶媒体から取得してもよいし、カメラ１００で撮影した画像を基に行動パターンを抽出してコンピュータ２００で作成してもよい。このステップＳ３０１は、既に十分な行動パターンが記憶されている場合には、省略可能である。
　図９と図１０は、正常な行動パターンのデータベースの構成の一例である。ここでは、図面の都合上、図９と図１０に分けて記載しているが、図９と図１０の、行動、所定の場所、外見のすべての項目を、所定領域の種類毎に保持する構成としてもよいし、どれか一つの項目のみを、所定領域の種類毎に保持する構成としてもよい。所定領域とは、監視を行いたい場所のことであり、その種類毎に正常な行動パターン又は異常な行動パターンを用意することで、より適切に異常者を予知することができるようになる。図９と図１０の例では、所定領域の種類として、新幹線（自由席）、新幹線（指定席）、駅（ホーム）、駅（改札）、オフィス（デスクワーク）、オフィス（営業・企画）、オフィス（開発）、オフィス（会議室）、オフィス（エントランス）、オフィス（エレベーター）、病院（病室）、病院（エントランス）、介護施設（居室）、介護施設（エントランス）、を記載している。このように、同じ新幹線でも自由席と指定席を分けたり、駅でもホームと改札を分けたりすることで、所定領域の種類にあわせて相応しい正常な行動パターン又は異常な行動パターンを記憶させることが可能となり、結果として異常者予知の精度を向上させることができる。また、図９と図１０では、正常な行動パターンの例を示しているが、予め準備した、行動、所定の場所、外見、といった項目にあわせて、カメラ１００で撮影した異常者がいない正常な場合の画像を解析して、正常な行動パターンを抽出してもよい。この、正常な行動パターンを逸脱した場合を逸脱した場合を、異常であるとみなすことで、不審者のサンプル画像が少なく、異常な行動パターンを作成しづらいという問題に対応することが可能となる。異常な行動パターンのデータベースを作成する場合には、異常者のいる画像が十分に用意できる場合には、その画像を解析して、異常な行動パターンを抽出してもよい。
　図３に戻り、コンピュータ２００の異常者予知モジュール２１１は、監視を行いたい所定領域のカメラ１００に対して、画像送信要求を行う（ステップＳ３０２）。図２では、カメラ１００は１台のみ図示しているが、カメラ１００が複数台ある場合には、それぞれから画像を取得する。ステップＳ３０２の画像の送信要求は、異常者予知システムの実行時に一度行うと、それ以降は終了の指示があるまで、継続して画像を取得することとしてもよい。
　コンピュータ２００からの画像送信要求を受けたカメラ１００は、カメラ部１０で撮像した所定領域の画像を、通信部１２０を介してコンピュータ２００に送信する（ステップＳ３０３）。
　コンピュータ２００の異常者予知モジュール２１１は、カメラ１００から画像を取得する（ステップＳ３０４）。ステップＳ３０３のカメラ１００による画像送信処理と、ステップＳ３０４のコンピュータ２００の画像取得処理は、異常者予知システムの実行中は、継続して行うものとする。
　次に、異常者予知モジュール２１１は、取得した画像を解析し、異常者の予知を行う（ステップＳ３０５）。異常者予知の詳細について、図６を用いて説明する。
　図６は、異常者予知の詳細なフローチャート図である。まず、異常者予知モジュール２１１は、取得した画像から、人物を検出する（ステップＳ６０１）。検出する人物は、一人であるとは限らず、複数であるかも知れないし、ゼロであるかも知れない。
　次に、異常者予知モジュール２１１は、検出した人物を追跡する（ステップＳ６０２）。具体的に、追跡するとは、次に取得した画像との連続性を考慮することである。連続した取得画像において、同一人物であるかどうかの判定を行い、同一人物であれば、その人物の行動を履歴として蓄積する。そうすることで、図９に示す行動パターンの、席を立つ回数や、滞在時間、電話時間、等を判定することが可能である。また、同一人物であるのに外見が変化したとき等にも、異常者であるとして予知することが可能となる。つまり、ある時点で人物Ｘを検出したら、その人物Ｘが所定領域からいなくなるまで、同一人物とみなして連続して行動パターンを比較するものとする。
　次に、異常者予知モジュール２１１は、正常な行動パターンを使用するか、異常な行動パターンを使用するかの判断を行う（ステップＳ６０３）。ここでの判断方法としては、記憶部２３０に正常な行動パターンか、異常な行動パターンのどちらかしか存在しない場合には、存在する行動パターンを使用するものとする。正常な行動パターンと異常な行動パターンの両方が存在する場合には、監視を行う所定領域の種類に適した行動パターンがある方を使用することにしてもよいし、行動パターンを記憶させた場合に基となったデータの量が多い方を使用することにしてもよいし、ユーザが選択した方を使用することにしてもよい。
　正常な行動パターンを使用することにした場合、異常者予知モジュール２１１は、着目している人物の行動が、正常な行動パターンの範囲内であるかどうかを判定する（ステップＳ６０４）。正常な行動パターンの範囲内である場合には、ステップＳ６０１に戻って、処理を継続する。正常な行動パターンの範囲外である場合には、次のステップＳ６０６へと進む。
　異常な行動パターンを使用することにした場合、異常者予知モジュール２１１は、着目している人物の行動が、異常な行動パターンの範囲内であるかどうかを判定する（ステップＳ６０５）。異常な行動パターンの範囲内である場合には、次のステップＳ６０６へと進む。異常な行動パターンの範囲外である場合には、ステップＳ６０１に戻って、処理を継続する。
　次に、異常者予知モジュール２１１は、ステップＳ６０４又はステップＳ６０５での判定結果に基づき、着目している人物を異常者として予知する（ステップＳ６０６）。この際、着目する人物がどの程度正常な行動パターンから外れているか、又は、どの程度異常な行動パターンに該当しているかに応じて、異常者である確率を算出してもよい。確率は、正常な行動パターンから外れている項目数、又は、異常な行動パターンに該当している項目数から判定してよい。さらに、行動パターンの回数や時間が、既定の値から大きく外れる場合には、異常者である確率をより高確率であると算出するようにしてもよい。以上が、異常者予知の詳細なフローである。
　図３に戻り、最後にコンピュータ２００の異常者予知モジュール２１１は、ステップ３０５での異常者予知結果をもとに、異常者を警告する（ステップＳ３０６）。ここでの警告方法としては、コンピュータ２００の入出力部２４０に出力してもよいし、ユーザが指定した別の端末等（非図示）の入出力部に出力してもよい。
　図８は、所定領域がオフィスであるときの異常者予知システムの画面の一例である。この画面は、コンピュータ２００の入出力部２４０に表示してもよいし、ユーザの使用する別の端末（非図示）の入出力部に表示してもよい。異常者予知システムの画面８０１には、表示８０２として監視場所、表示８０３として取得した画像、表示８０４として予知履歴、表示８０５として予知した異常者の情報を表示する。表示７０３の画面内には、予知した異常者の情報を吹き出し８０８として表示する。図９と図１０に示した正常な行動パターンと比較して、図８では、「異常者の可能性：８５％、サングラス：あり、服装：会社員の範囲外」として、異常者である可能性とその主な理由を表示する例を示している。吹き出し８０８は、異常者の可能性が何パーセント以上の時に表示するかを、システムで設定可能としてよい。また、異常者である可能性が高いほど、吹き出しの色や形状、文字の色や太さやサイズ等を目立ちやすくする等、重要度が分かりやすいよう表示することが望ましい。例えば、前述した図７の吹き出し７０８の異常者の可能性が６５％であったのに対して、図８の吹き出し８０８の異常者の可能性がより高い８５％であるため、より注意をひく形状としている。また、吹き出し８０８の表示だけでなく、あわせて警告音を出力してもよい。吹き出し８０８による表示や出力方法は、本願発明を限定するものではなく、どの人物に対する異常者予知であるのかと、その内容が確認できればよいものとする。表示８０５の予知した異常者の情報部分や、吹き出し８０８を選択することで、当該人物の問題となる行動履歴、例えば所定の監視対象領域に現れた時間やその長さを表示してもよい。また、表示８０２の監視場所には、具体的な監視先の名称や住所のほかにも、異常者検知のために適用している監視場所の種類を表示してもよい。図８では、「オフィス（デスクワーク）」を監視場所の種類として適用している。ここでは、表示のみであるが、監視場所の種類を、画面８０１上でユーザが切り替え可能としてもよい。更に、異常者予知システムの画面８０１には、追跡ボタン８０６を用意して、選択した異常者について、カメラ１００を追従して監視するようにしてもよい。また、ここでの異常者の可能性８５％と予知された人物Ｂが、他のカメラ１００で監視可能な範囲では、どのような行動をとっていたのかの履歴を、連携して確認可能としてもよい。また、異常者予知システムの画面８０１には、通報ボタン８０７を用意して、警備員室や、警備会社、監視場所であるオフィスＸの責任者、通報の対象として指定された人物、オフィスＸ全体等に、異常者の通報を可能としてもよい。通報の際には、異常者の位置や座席、異常者である可能性とその理由、異常者の性別や外見上の特徴、カメラ１００から取得した画像等を、併せて通知してもよいものとする。ここでは、画面８０１での表示から、通報ボタン８０７を選択した場合に、警備員室や、警備会社、監視場所であるオフィスＸの責任者、通報の対象として指定された人物、オフィスＸ全体等に、異常者の通報を行う例を記載したが、ステップＳ３０６で、画面８０１の表示なしで通報を行ってもよい。
　このように、本発明によれば、正常な行動パターン又は異常な行動パターンの何れかを記憶しておくことで、施設等の特定の領域内の異常者を予知することが可能な異常者予知システム、異常者予知方法、およびプログラムを提供することが可能となる。
　［異常者学習処理］
　図４は、異常者学習を行う場合の、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。図２の構成に加え、コンピュータ２００の制御部２１０は、通信部２２０、記憶部２３０、入出力部２４０と協働して異常者学習モジュール２１２を実現する。図５は、異常者学習を行う場合の、異常者予知処理のフローチャート図である。上述した各モジュールが実行する処理について、本処理にあわせて説明する。図５のステップＳ５０１からステップＳ５０６の処理は、図３のステップＳ３０１からステップＳ３０６の処理に相当するため、ステップＳ５０７以降について説明する。なお、ステップＳ５０１の処理は、ステップＳ３０１と同じく、既に十分な行動パターンが記憶されている場合には、省略可能であるものとする。
　コンピュータ２００の異常者学習モジュール２１２は、ステップＳ５０６での異常者警告に対するフィードバックデータを受け取る（ステップＳ５０７）。フィードバックデータを受け取るための方法として、例えば、図７の画面７０１や図８の画面８０１に、ユーザがフィードバックデータを送信するためのインターフェースを設けてもよい。異常者の可能性が表示された人物について「この人物は異常者として警戒が必要でしたか？」という問いを表示して、「はい」又は「いいえ」の回答を得ることで、フィードバックデータの受け取りが可能になる。
　次に、異常者学習モジュール２１２は、ステップＳ５０５での異常者予知とステップＳ５０７のフィードバックデータを用いて学習する（ステップＳ５０８）。例えば、図７の例で、吹き出し７０８に対する「この人物は異常者として警戒が必要でしたか？」という問いの回答が「いいえ」であれば、離席回数はさほど重要ではないというように学習可能である。また、図８の例で、吹き出し８０８に対する「この人物は異常者として警戒が必要でしたか？」という問いの回答が「はい」であれば、服装が会社員の範囲外である人物、又は、サングラスをかけた人物に対して、異常者である可能性をもっと高くしたほうがよいというように学習が可能である。
　最後に、異常者学習モジュール２１２は、ステップＳ５０８の学習結果に応じて、必要であれば行動パターンのデータベースを更新する（ステップＳ５０９）。例えば、前述の図７の例で、「この人物は異常者として警戒が必要でしたか？」という問いに対する回答が「いいえ」であったように、離席回数はさほど重要ではないという学習結果が蓄積された場合には、図９の新幹線（指定席）の正常な行動パターンのデータベースで、席をたつ回数が３回／１時間から、回数を増やして更新する。
　このように、異常者予知に対するフィードバックデータを受け取って学習を行うことで、所定領域の種類に応じて、より精度を高めた異常者予知が可能な異常者予知システム、異常者予知方法、およびプログラムを提供することが可能となる。
　本発明によれば、正常な行動パターン又は異常な行動パターンの何れかを記憶しておくことで、施設等の特定の領域内の異常者を高精度に予知することが可能な異常者予知システム、異常者予知方法、およびプログラムを提供することが可能となる。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態であってもよいし、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭ等）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ等）、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
１００　カメラ、２００　コンピュータ、３００　通信網

Claims (8)

  1. 　所定領域内の監視対象者が異常者であるかを予知する異常者予知システムであって、
    　前記所定領域内に設けられ、前記監視対象者を撮影するカメラ手段と、
    　正常な行動パターン又は異常な行動パターンを記憶する行動パターン記憶手段と、
    　前記行動パターンに基づいて、異常者を予知する異常者予知手段と、
    　を備える異常者予知システム。
  2. 　前記行動パターンとは、前記監視対象者が、所定の行動を所定回数行う行動パターンであって、
    　前記異常者予知手段が、当該行動パターンに基づいて、異常者を予知する請求項１に記載の異常者予知システム。
  3. 　前記行動パターンとは、前記監視対象者が、所定の場所に所定時間いる行動パターンであって、
    　前記異常者予知手段が、当該行動パターンに基づいて、異常者を予知する請求項１又は請求項２に記載の異常者予知システム。
  4. 　前記異常者予知手段が、当該行動パターンに加え、前記監視対象者が所有する荷物、服装、着用物に基づいて、異常者を予知する請求項１から請求項３の何れか一項に記載の異常者予知システム。
  5. 　前記異常者予知手段により予知した監視対象者が、結果的に異常者であったか否かのデータに基づき、
    　異常者の予知を学習する異常者学習手段をさらに備えた、請求項１から請求項４の何れか一項に記載の異常者予知システム。
  6. 　前記行動パターン記憶手段は、前記所定領域の種類毎に正常な行動パターン又は異常な行動パターンを記憶し、
    　前記異常者予知手段が、当該所定領域の種類に合わせた行動パターンに基づいて、異常者を予知する請求項１から請求項５の何れか一項に記載の異常者予知システム。
  7. 　所定領域内の監視対象者が異常者であるかを予知する異常者予知システムに、
    　前記所定領域内に設けられ、前記監視対象者を撮影するステップと、
    　正常な行動パターン又は異常な行動パターンを記憶するステップと、
    　前記行動パターンに基づいて、異常者を予知するステップと、
    　を備える異常者予知方法。
  8. 　所定領域内の監視対象者が異常者であるかを予知する異常者予知システムに、
    　前記所定領域内に設けられ、前記監視対象者を撮影するステップ、
    　正常な行動パターン又は異常な行動パターンを記憶するステップ、
    　前記行動パターンに基づいて、異常者を予知するステップ、
    　を実行させるためのプログラム。
PCT/JP2018/038010 2018-10-11 2018-10-11 異常者予知システム、異常者予知方法、およびプログラム WO2020075283A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/038010 WO2020075283A1 (ja) 2018-10-11 2018-10-11 異常者予知システム、異常者予知方法、およびプログラム
JP2020549916A JP7009021B2 (ja) 2018-10-11 2018-10-11 異常者予知システム、異常者予知方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/038010 WO2020075283A1 (ja) 2018-10-11 2018-10-11 異常者予知システム、異常者予知方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2020075283A1 true WO2020075283A1 (ja) 2020-04-16

Family

ID=70164645

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038010 WO2020075283A1 (ja) 2018-10-11 2018-10-11 異常者予知システム、異常者予知方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP7009021B2 (ja)
WO (1) WO2020075283A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008206071A (ja) * 2007-02-22 2008-09-04 Mitsubishi Electric Corp カメラ異常検知装置
JP2010238186A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 監視装置及び監視方法
JP2010272958A (ja) * 2009-05-19 2010-12-02 Duse Technologies Co Ltd 監視装置、監視システム、および監視プログラム
JP2015088816A (ja) * 2013-10-29 2015-05-07 セコム株式会社 画像監視システム
JP6195331B1 (ja) * 2017-04-28 2017-09-13 株式会社 テクノミライ デジタルスマートセキュリティシステム、方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5358851B2 (ja) * 2009-11-12 2013-12-04 将文 萩原 不審行動検知方法および不審行動検知装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008206071A (ja) * 2007-02-22 2008-09-04 Mitsubishi Electric Corp カメラ異常検知装置
JP2010238186A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 監視装置及び監視方法
JP2010272958A (ja) * 2009-05-19 2010-12-02 Duse Technologies Co Ltd 監視装置、監視システム、および監視プログラム
JP2015088816A (ja) * 2013-10-29 2015-05-07 セコム株式会社 画像監視システム
JP6195331B1 (ja) * 2017-04-28 2017-09-13 株式会社 テクノミライ デジタルスマートセキュリティシステム、方法及びプログラム

Also Published As

Publication number Publication date
JP7009021B2 (ja) 2022-01-25
JPWO2020075283A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
US11120559B2 (en) Computer vision based monitoring system and method
US20180273346A1 (en) Risk-aware management of elevator operations
JP7405200B2 (ja) 人物検出システム
JP2021086605A (ja) イベントの防止及び予測のためのシステム及び方法、コンピュータ実施方法、プログラム、及びプロセッサ
US20230162497A1 (en) Distinguishing real from virtual objects in immersive reality
JP2018201176A (ja) アラート出力制御プログラム、アラート出力制御方法およびアラート出力制御装置
EP3616095A1 (en) Computer vision based monitoring system and method
JP2019175108A (ja) 感情情報管理サーバ装置、感情情報管理方法、プログラム、端末装置及び情報通信システム
EP3779857A1 (en) Information processing device and information processing method
Corbett et al. Bystandar: Protecting bystander visual data in augmented reality systems
JP2020052856A (ja) 救援支援サーバ、救援支援システム及びプログラム
JP2016143302A (ja) 情報通知装置、方法、およびプログラム
KR102157324B1 (ko) 비콘을 이용한 재난 안전 스마트 안내 서비스 제공 시스템 및 그 방법
WO2020075283A1 (ja) 異常者予知システム、異常者予知方法、およびプログラム
US20200349948A1 (en) Information processing device, information processing method, and program
WO2019150954A1 (ja) 情報処理装置
Alam Ai-fairness towards activity recognition of older adults
JP2020052748A (ja) サーバ装置、情報処理方法、プログラム、端末装置及び情報通信システム
JP6793383B1 (ja) 行動体特定システム
Aravindan et al. A Smart Assistive System for Visually Impaired to Inform Acquaintance Using Image Processing (ML) Supported by IoT
Nitta et al. Privacy-aware remote monitoring system by skeleton recognition
WO2019199035A1 (ko) 시선 추적 시스템 및 방법
Ismail et al. Multimodal indoor tracking of a single elder in an AAL environment
US20240038403A1 (en) Image display apparatus, image display system, image display method, and non-transitory computer readable medium
JP2020149449A (ja) 支援管理装置、及び、支援管理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18936859

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2020549916

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18936859

Country of ref document: EP

Kind code of ref document: A1