WO2020245965A1 - 異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラム - Google Patents

異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラム Download PDF

Info

Publication number
WO2020245965A1
WO2020245965A1 PCT/JP2019/022472 JP2019022472W WO2020245965A1 WO 2020245965 A1 WO2020245965 A1 WO 2020245965A1 JP 2019022472 W JP2019022472 W JP 2019022472W WO 2020245965 A1 WO2020245965 A1 WO 2020245965A1
Authority
WO
WIPO (PCT)
Prior art keywords
abnormal behavior
article
detection device
behavior detection
articles
Prior art date
Application number
PCT/JP2019/022472
Other languages
English (en)
French (fr)
Inventor
雅志 神谷
聡司 峯澤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2019/022472 priority Critical patent/WO2020245965A1/ja
Priority to JP2021524588A priority patent/JP7270730B2/ja
Publication of WO2020245965A1 publication Critical patent/WO2020245965A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Definitions

  • the present invention relates to an abnormal behavior detection device, an article storage, an abnormal behavior detection method, and an abnormal behavior detection program.
  • Patent Document 1 the system proposed in Patent Document 1 is supposed to detect wandering, which is a symptom at a stage where dementia has progressed considerably, and is caused by "forgetfulness", which is a symptom at an early stage of dementia. It is not possible to detect abnormal behavior.
  • the present invention has been made to solve the above-mentioned problems, and an abnormal behavior detection device, an article storage, an abnormal behavior detection method, and an abnormal behavior that enable early detection of abnormal behavior of a subject.
  • the purpose is to provide a detection program.
  • the abnormal behavior detection device includes one or more articles housed in the storage room based on an image obtained by an image pickup device that images the inside of the storage room of the article storage.
  • the article storage is based on the result of comparison between the classification unit classified into the above groups, the management unit that acquires the number of articles belonging to each of the one or more groups, and the number and a predetermined threshold value. It is characterized by having a determination unit for determining whether or not the behavior of the subject who uses the warehouse includes abnormal behavior.
  • one or more articles housed in the storage room are captured based on an image obtained by an imaging device that images the inside of the storage room of the article storage.
  • the article storage is based on the results of a step of classifying into one or more groups, a step of acquiring the number of articles belonging to each of the one or more groups, and a comparison between the number and a predetermined threshold. It is characterized by having a step of determining whether or not the behavior of the subject who uses the above includes abnormal behavior.
  • FIG. 5 is a functional block diagram schematically showing a configuration of an abnormal behavior detection device according to the first embodiment. It is a figure which shows the example of the warehousing / delivery situation information of the article storage which concerns on Embodiment 1. FIG. It is a figure which shows the example of the hardware composition of the abnormal behavior detection device which concerns on Embodiment 1. FIG. It is a flowchart which shows the example of the operation of the abnormal behavior detection apparatus which concerns on Embodiment 1. FIG. It is a flowchart which shows other example of operation of the abnormal behavior detection apparatus which concerns on Embodiment 1. FIG. FIG. FIG.
  • FIG. 5 is a functional block diagram schematically showing a configuration of an abnormal behavior detection device according to a modified example of the first embodiment. It is a figure which shows the example of the warehousing / delivery situation information of the article storage which concerns on Embodiment 2 of this invention. It is a figure which shows the example of the time-series change of the warehousing / delivery situation of the article storage which concerns on Embodiment 3 of this invention. It is a functional block diagram which shows schematic structure of the abnormal behavior detection apparatus which concerns on Embodiment 4 of this invention.
  • abnormal behavior detection device the article storage having the abnormal behavior detection device, the abnormal behavior detection method, and the abnormal behavior detection program according to the embodiment of the present invention will be described below with reference to the drawings.
  • the following embodiments are merely examples, and various modifications can be made within the scope of the present invention.
  • FIG. 1 is a schematic view showing the configuration of an article storage having the abnormal behavior detection device 1 according to the first embodiment.
  • the article storage is a refrigerator 100 that stores articles such as food while cooling them.
  • FIG. 1 shows a state in which the door 101 of the refrigerator 100 is opened.
  • FIG. 1 shows a state in which beer, jam, butter, yogurt, and eggs are stored inside (that is, inside) the storage chamber 102 of the refrigerator 100. Beer, jam, butter, yogurt and eggs are specific examples of goods.
  • “A”, “B”, “C”, “D”, “E”, “F”, and “G” are trade names.
  • "A beer” indicates the article "beer” of the trade name "A”.
  • the article storage is not limited to the refrigerator as long as it is a storage used by the target person who is the target of detecting abnormal behavior.
  • the article storage may be, for example, a storage for storing food at room temperature.
  • an imaging device 110 capable of imaging the inside of the refrigerator is provided. Further, the imaging device 110 may be installed so that when the door 101 is opened, a person who has opened the door 101 can be imaged.
  • the image pickup device 110 takes an image of the inside of the refrigerator when the door 101 is closed.
  • the image pickup device 110 may be provided at a position other than the inside of the door 101. Further, the number of image pickup devices 110 is not limited to one, and may be two or more.
  • the abnormal behavior detection device 1 and the image pickup device 110 are connected so as to be able to communicate with each other by wire or wirelessly.
  • the abnormal behavior detection device 1 and the image pickup device 110 may be communicably connected via a router, a server, a network, or the like.
  • the classification unit 11 acquires a plurality of images from the plurality of image pickup devices 110.
  • the classification unit 11 may acquire one composite image formed by performing a process of combining a plurality of images in the vertical direction, the horizontal direction, or both of these directions.
  • the classification unit 11 may obtain one composite image formed by performing image processing on a plurality of images and performing a process of combining the plurality of image-processed images.
  • the image pickup device 110 is, for example, a camera having an optical lens, an optical filter, an image sensor, and the like.
  • the image pickup apparatus 110 may have a processor that controls the image sensor.
  • the image (that is, image data) output from the image pickup apparatus 110 may be either a color image or a monochrome image.
  • the color image may use any of the RGB method, the YCbCr method, the HSV method, and the like as the color expression method.
  • the refrigerator 100 is provided with an open / close detector 111 that detects the opening / closing of the door 101.
  • the abnormal behavior detection device 1 may determine the presence or absence of abnormal behavior by using the opening / closing signal of the door 101 detected by the opening / closing detector 111.
  • FIG. 2 is a functional block diagram schematically showing the configuration of the abnormal behavior detection device 1 according to the first embodiment.
  • the abnormal behavior detection device 1 is a device capable of implementing the abnormal behavior detection method according to the first embodiment.
  • the abnormal behavior detection device 1 has a classification unit 11, a management unit 12, a determination unit 13, and a database unit 14, which is a storage unit that stores a database.
  • the management unit 12 has a storage unit 15 and a time acquisition unit 16 for acquiring time information.
  • the database unit 14 may be provided in another device outside the abnormal behavior detection device 1. Further, the storage unit 15 and the time acquisition unit 16 may be provided in another device outside the management unit 12 or outside the abnormal behavior detection device 1.
  • the sorting unit 11 detects one or more articles housed in the refrigerator based on an image obtained by an image pickup device 110 that images the inside of the refrigerator 100 as an article storage, and the detected articles. Are classified into one or more groups H1 to Hm. Groups H1 to Hm mean m groups. m is an integer of 1 or more. "Classifying into one or more groups” means classifying into one or more categories.
  • the classification unit 11 classifies the articles into groups H1 to Hm, for example, based on the attributes of the articles stored in the refrigerator. Specifically, the classification unit 11 detects articles included in the image acquired by the image pickup apparatus 110, and classifies the articles into groups H1 to Hm based on the types of the detected articles. In the example of FIG. 1, five types of articles, beer, jam, butter, yogurt, and eggs, are stored in the refrigerator. For example, when classifying articles based on attributes, the classification unit 11 classifies articles into five groups H1 to H5 of beer, jam, butter, yogurt, and eggs.
  • the classification unit 11 detects the article included in the image acquired by the image pickup apparatus 110, detects the product name of the detected article, and based on the product name of the article stored in the refrigerator, the article May be classified into groups H1 to Hm.
  • the classification unit 11 classifies the articles stored in the refrigerator into seven groups H1 to H7 corresponding to the product names A to G.
  • the classification unit 11 can detect an article contained in an image, for example, by using a sliding window method or by using machine learning such as deep learning.
  • the sliding window method is a method of searching for an article by sliding a sliding window, which is a rectangular area having a predetermined window size (wc, hc), over the entire area of an image.
  • wc indicates the number of pixels in the horizontal direction (that is, the horizontal direction) of the sliding window
  • hc indicates the number of pixels in the vertical direction (that is, the vertical direction).
  • the plurality of window sizes (wc, hc) used are as follows.
  • the classification unit 11 calculates the feature amount for each sliding window, calculates the similarity between the calculated feature amount and the reference feature amount which is the feature amount of the article to be detected calculated in advance, and uses this similarity as the feature amount. Detect articles based on.
  • the reference feature amount is information stored in advance in the database unit 14.
  • the database unit 14 may be provided in an external storage device capable of communicating with the abnormal behavior detection device 1, a server on the network, and the like. “Detecting an article” includes, for example, specifying an attribute of an article or specifying a product name of an article. A method for detecting an article using a sliding window is disclosed in, for example, Non-Patent Document 1 described above.
  • the classification unit 11 using this detection method calculates the feature amount in the image based on the brightness, the color, the first derivative of the luminance, the second derivative of the luminance, etc. for each sliding window which is a rectangular region in the image.
  • the distance Dist of the feature amount calculated from the two rectangular regions is obtained. Since the distance Dist is a value indicating the distance of the feature amount calculated from the two rectangular regions, the reciprocal of the distance Dist indicates the similarity R of the feature amount calculated from the two rectangular regions. Therefore, the similarity R is calculated by, for example, the following equation (1).
  • R 1 / Dist (1)
  • the classification unit 11 obtains the feature amount for each rectangular region Recct which is a sliding window.
  • c 0, ..., K (k is a positive integer).
  • the classification unit 11 obtains the similarity R p of the reference feature amount is a feature amount of the article to be detected which is calculated in advance and these characteristic amounts.
  • the threshold value D R is larger than the article of similarity R p is degree of similarity, i.e., detects the article having a feature amount satisfying the formula (2) below, as an article contained in the rectangular area Rectc. R p> D R (2)
  • the threshold value D R of similarity is greater than 0. This process is for ensuring robustness against noise.
  • the classification unit 11 outputs the article name of the detected article.
  • the management unit 12 acquires the number of articles J1 to Jm belonging to each of the groups H1 to Hm acquired by the classification unit 11.
  • the management unit 12 stores the warehousing / delivery status information including the acquired numbers J1 to Jm in the storage unit 15.
  • the storage unit 15 may be provided outside the management unit 12.
  • the storage unit 15 may be provided outside the abnormal behavior detection device 1.
  • the storage unit 15 may be provided in a server that is communicably connected to the communication device of the abnormal behavior detection device 1 (for example, shown in FIG. 4 described later) via a network.
  • the determination unit 13 determines whether the behavior of the subject using the refrigerator 100 includes abnormal behavior based on the result of comparison between the number of articles J1 to Jm acquired by the management unit 12 and the predetermined threshold value TH_CNT. Judge whether or not.
  • the predetermined threshold value TH_CNT may be defined as, for example, the threshold values TH_CNT1 to TH_CNTm for each of the plurality of groups H1 to Hm.
  • the determination unit 13 determines that the behavior of the subject includes abnormal behavior, for example, when the number of articles J1 to Jm exceeds a predetermined threshold value TH_CNT. Further, when the number of articles J1 to Jm is equal to or less than the predetermined threshold value TH_CNT, the determination unit 13 determines that the behavior of the subject does not include the abnormal behavior. Alternatively, when the number of articles J1 to Jm exceeds the predetermined threshold value TH_CNT exceeds the predetermined reference number (also referred to as “first reference number”) TH_REPEAT, the determination unit 13 determines. It may be determined that the behavior of the subject includes abnormal behavior.
  • FIG. 3 is a diagram showing an example of the warehousing / delivery status information f1 of the refrigerator 100 according to the first embodiment.
  • the management unit 12 stores the warehousing / delivery status information f1 indicating the warehousing / delivery status of the goods for each group H1 to Hm of the classified goods.
  • the management unit 12 stores the information f1a that identifies the articles housed in the refrigerator and the number information f1b of each article as the warehousing / delivery status information f1.
  • the information f1a that identifies the article housed in the refrigerator indicates the name of the classified group. For example, the number of articles "A beer" whose product name is "A" and whose article name is "beer” is two. The number of articles "B jam” whose product name is "B” and whose article name is "jam” is seven.
  • the determination unit 13 determines that the behavior of the subject includes an abnormal behavior, and the behavior of the subject. Outputs information indicating that is containing abnormal behavior. For example, the determination unit 13 can notify the target person or a predetermined related party (for example, the target person's family) of information indicating that the target person's behavior includes abnormal behavior. ..
  • FIG. 4 is a diagram showing an example of the hardware configuration of the abnormal behavior detection device 1 according to the first embodiment.
  • the abnormal behavior detection device 1 shown in FIG. 4 uses a memory 92 as a storage device for storing a program as software and a processor 91 as an information processing unit for executing a program stored in the memory 92 (for example,). , By computer).
  • the program is installed, for example, via a network or from a recording medium on which information is recorded.
  • the program stored in the memory 92 includes the abnormal behavior detection program according to the first embodiment.
  • the abnormal behavior detection device 1 has a storage 93 which is a storage device.
  • the abnormal behavior detection device 1 in FIG. 2 corresponds to a processor 91 that executes a program. A part of the abnormal behavior detection device 1 shown in FIG. 2 may be realized by the memory 92 shown in FIG. 4 and the processor 91 that executes the program.
  • FIG. 5 is a flowchart showing an example of the operation of the abnormal behavior detection device 1.
  • the classification unit 11 determines whether or not the execution condition of the process for determining the presence or absence of abnormal behavior is satisfied (step S10). When it is set to determine the presence or absence of abnormal behavior at regular time intervals, the classification unit 11 satisfies the execution condition when a predetermined time has elapsed from the previous process. Judge that there is. Further, when the door 101 is set to determine the presence or absence of abnormal behavior when the door 101 is closed, the classification unit 11 receives an execution condition when the closing signal of the door 101 is received from the open / close detector 111. Is satisfied.
  • the classification unit 11 acquires an image from the image pickup device 110 that images the inside of the refrigerator (step S11).
  • the classification unit 11 detects the article based on the acquired image, and outputs the names of the groups H1 to Hm to which the detected article belongs to the management unit 12 (step 12).
  • the names of groups H1 to Hm are, for example, "D butter”, "E egg”, and the like.
  • the management unit 12 acquires the names of the groups H1 to Hm to which the articles belong from the classification unit 11, calculates the number of the same articles J1 to Jm belonging to the same group, and generates the warehousing / delivery status information f1 including these. Store (step S13).
  • the determination unit 13 acquires the warehousing / delivery status information f1 from the management unit 12 and determines whether or not the behavior of the target person includes an abnormal behavior. When the determination unit 13 determines that the behavior of the target person includes an abnormal behavior, the determination unit 13 outputs information indicating that the behavior of the target person includes the abnormal behavior.
  • the determination unit 13 acquires the warehousing / delivery status information f1 shown in FIG. 3 from the management unit 12 and sets four as the threshold value TH_CNT, the determination unit 13 has seven “B jams” as shown in FIG. Since it is in the warehousing state, it is determined that the behavior of the target person includes abnormal behavior (step S14), and information indicating that the behavior of the target person includes abnormal behavior is output (step S15). ..
  • the abnormal behavior detection device 1 As described above, if the abnormal behavior detection device 1 is used, the abnormal behavior of the subject can be detected at an early stage before being examined by a specialist, and the behavior of the subject becomes abnormal to the subject or related persons. Can be informed that it contains. As a result, countermeasures can be taken at an early stage.
  • the determination unit 13 can set different threshold values TH_CNT1 to TH_CNTm for each group H1 to Hm as the threshold value TH_CNT. For example, the determination unit 13 can set the threshold value TH_CNT to 4 packs for "F egg” and 6 threshold values TH_CNT for "A beer". By doing so, it is possible to set the threshold values TH_CNT1 to TH_CNTm suitable for each group H1 to Hm.
  • FIG. 6 is a flowchart showing another example of the operation of the abnormal behavior detection device according to the first embodiment.
  • the same processing as that shown in FIG. 5 is given the same reference numerals as those shown in FIG.
  • the operation of FIG. 6 differs from the operation of FIG. 5 in that it includes step S14a.
  • the determination unit 13 determines whether or not the number of times K of the number of articles J1 to Jm belonging to the groups H1 to Hm exceeds the threshold value TH_CNT (or TH_CNT1 to TH_CNTm) exceeds the reference number of times TH_REPEAT. To do.
  • the number of times K may be the total value of the number of times K1 to Km.
  • the number of times K may be the number of times K1 to Km in which the number of articles J1 to Jm exceeds the threshold value TH_CNT (or TH_CNT1 to TH_CNTm) in any of the groups H1 to Hm.
  • the determination unit 13 determines that the behavior of the subject includes an abnormal behavior when the number of times K in which the number of articles J1 to Jm exceeds the threshold value TH_CNT (or TH_CNT1 to TH_CNTm) exceeds the reference number of times TH_REPEAT.
  • the determination unit 13 outputs information indicating that the behavior of the subject includes an abnormal behavior. If the detection operation shown in FIG. 6 is adopted, the accuracy of the determination can be improved.
  • a notification unit 17 for transmitting the detection result determined by the determination unit 13 to a pre-registered e-mail address or a pre-associated application via a wireless or wired network can be further provided. By doing so, it is possible to inform related persons such as family members that the behavior of the subject includes abnormal behavior.
  • FIG. 7 is a functional block diagram schematically showing the configuration of the abnormal behavior detection device 2 according to the first modification of the first embodiment.
  • components that are the same as or correspond to the components shown in FIG. 2 are designated by the same reference numerals as those shown in FIG.
  • the abnormal behavior detection device 2 shown in FIG. 7 differs from the abnormal behavior detection device 1 shown in FIG. 2 in that the notification unit 17 is provided.
  • the determination unit 13 determines whether or not the behavior of the target person includes abnormal behavior, and when it is determined that the behavior of the target person includes abnormal behavior, outputs a signal indicating that to the notification unit 17. To do.
  • the notification unit 17 acquires a signal from the determination unit 13 indicating that the behavior of the target person includes an abnormal behavior, and transmits information indicating this to a pre-registered destination. For example, the notification unit 17 transmits notification information including information indicating that the behavior of the target person includes abnormal behavior to the e-mail address or the application associated in advance.
  • the notification information transmitted is, for example, an e-mail message. This message may merely notify that the subject's behavior includes abnormal behavior, but may also include the time when the abnormal behavior occurs and the outline of the detected abnormal behavior.
  • the abnormal behavior detection device of the second modification has the same configuration as that of FIGS. 1 to 7.
  • the classification unit 11 acquires information about an article purchased at a store or via the Internet by, for example, a communication device 94 (shown in FIG. 4), and an image captured by the image pickup device 110.
  • the articles housed in the refrigerator are classified into one or more groups H1 to Hm based on the above.
  • the management unit 12 sets the threshold value TH_CNT (that is, any one of TH_CNT1 to TH_CNTm) for the group to which the most recently purchased article belongs to a small value.
  • the management unit 12 sets the threshold value TH_CNT (that is, any of TH_CNT1 to TH_CNTm) for the group to which the egg belongs to, for example, 4 packs, which is a normal value.
  • the management unit 12 sets the threshold value TH_CNT (that is, any of TH_CNT1 to TH_CNTm) for the group to which the egg belongs to 2 packs, which is smaller than the normal threshold value of 4 packs. Then, the management unit 12 increases the threshold value TH_CNT (that is, any one of TH_CNT1 to TH_CNTm) as the date and time elapses. In this way, by changing the threshold value TH_CNT using the purchase history of the article, the accuracy of detecting abnormal behavior can be improved.
  • Embodiment 2 Since the abnormal behavior detection device 1 according to the first embodiment does not use the position information of the article housed in the refrigerator, a situation may occur in which the movement of the article in the refrigerator is determined to be the receipt of the article.
  • the abnormal behavior detection device according to the second embodiment detects and stores the position information of the article stored in the refrigerator, and by using this, the movement of the article in the refrigerator is stored in the article. Can not be determined. Except for this point, the abnormal behavior detection device according to the second embodiment is the same as the abnormal behavior detection device 1 according to the first embodiment. Therefore, in the second embodiment, FIGS. 1 to 7 are also referred to.
  • FIG. 8 is a diagram showing an example of the warehousing / delivery status information f2 of the article storage 100 according to the second embodiment.
  • the classification unit 11 detects the article included in the image and outputs the area information of the detected article and the name of the article.
  • the area information of the article includes the coordinates (xc, yc) of the left end position of the rectangular area Reccc of the article detected in the image and the size (wc, hc) of the rectangular area Reccc.
  • the management unit 12 stores the warehousing / delivery status information f2, which indicates the warehousing / delivery status of the goods for each article. For example, as shown in FIG. 8, the management unit 12 stores the article name f2a of each article, the area information f2b of the article, and the warehousing time information f2c of the article as the warehousing / delivery status information f2.
  • the warehousing time stored by the management unit 12 as the warehousing / delivery status information f2 may be a time input by the target person using an operation unit such as a button provided on another device.
  • the abnormal behavior detection device 1 is a computer connected to a refrigerator
  • the time is set by an RTC (real time clock) composed of a clock built in the computer or an integrated circuit in which the function is implemented. May be obtained from.
  • the determination unit 13 repeatedly purchases articles belonging to the same group H1 to Hm during a predetermined time, and as a result, the number of articles belonging to the groups H1 to Hm J1 to Jm is a predetermined threshold value. When the increase is larger, it is determined that the subject's behavior includes abnormal behavior, and information indicating that is output.
  • the classification unit 11 classifies one or more articles into one or more groups H1 to Hm from the acquired image, and the area information f2b of the detected articles and the information indicating the classified groups H1 to Hm (for example, " "A beer", “B jam", etc.) f2a and the warehousing time information f2c are output to the management unit 12.
  • the management unit 12 generates and stores the warehousing / delivery status information f2 including the area information f2b of the article, the information f2a indicating the classified groups H1 to Hm, and the warehousing time information f2c from the classification unit 11.
  • the classification unit 11 acquires an image from the image pickup device 110, detects an article, and classifies the detected article into one or more groups H1 to Hm.
  • the management unit 12 determines whether or not the article included in the newly acquired image is the same as the article included in the images acquired so far.
  • the management unit 12 refers to the area information f2b of the article included in the warehousing / delivery status information f2 for the images acquired up to the previous time and the information f2a indicating the groups H1 to Hm to which the article belongs, and these are detected this time. Check whether it matches the one based on the warehousing / delivery status information f2. The management unit 12 can determine whether or not the article included in the newly acquired image is the same as the article included in the images acquired so far. If they match, the management unit 12 determines that it is not the warehousing of a new article, and does not add the warehousing time information f2c to the warehousing / delivery status information f2. Further, if they do not match, the management unit 12 determines that the goods are warehousing, and adds the warehousing time information f2c and the like to the warehousing / delivery status information f2.
  • the management unit 12 refers to the area information f2b of the article included in the warehousing / delivery status information f2 stored in the management unit 12 and the information f2a indicating the groups H1 to Hm to which the article belongs, and the article detected this time. It is examined whether or not the area information f2b of the above matches the information f2a indicating the groups H1 to Hm to which the article belongs. Even if the area information f2b does not completely match, the management unit 12 sets the article as long as the difference between the area information f2b and the position of the area information of the article detected this time is within a predetermined allowable range. Judge that it is not a new item.
  • the management unit 12 does not add the information about the article determined not to be a new article to the warehousing / delivery status information f2.
  • the management unit 12 provides an allowable range of ⁇ 5 pxel in the x direction or the y direction with respect to the coordinates (xc, yc) at the left end position of the rectangular area in the area information of the article, and at the same time, the area information of the article.
  • a tolerance of ⁇ 5% may be provided for each of the width and height of the rectangular size of.
  • the management unit 12 can determine that the article is not a new article, that is, a slight movement of the article, even if there is a difference within the permissible range. By doing so, the management unit 12 avoids erroneously determining an article that has moved slightly when opening / closing the door or when trying to pick up another article as a newly detected article. it can.
  • the management unit 12 may update the area information f2b of the article in the warehousing / delivery status information f2. By doing so, the management unit 12 can update the area information f2b to the position on the image where the article currently exists.
  • the determination unit 13 acquires the warehousing / delivery status information f2 from the management unit 12 and determines whether or not the behavior of the target person includes an abnormal behavior. When it is determined that the behavior of the target person includes an abnormal behavior, the determination unit 13 outputs information indicating that the behavior of the target person includes the abnormal behavior.
  • the determination unit 13 acquires the warehousing / delivery status information f2 from the management unit 12, and repeatedly purchases articles belonging to the same group H1 to Hm within a predetermined time, and as a result, the number J1 to When Jm is increased, it is determined that the behavior of the subject includes abnormal behavior.
  • the number J1 to Jm increases, for example, when there is an increase exceeding a predetermined threshold value, as in the case of the first embodiment.
  • the abnormal behavior of the subject can be detected at an early stage before being examined by a specialist, and the subject or a related person can be notified of the subject. Can inform that the behavior of is including abnormal behavior. As a result, countermeasures can be taken at an early stage.
  • the determination unit 13 determines in advance as a threshold value for determining whether the behavior of the target person includes the abnormal behavior.
  • the number of times also referred to as the "second reference number of times"
  • TH_REPEAT2 is further provided, and the same group of goods are repeatedly purchased within a predetermined time, and as a result, the number of times the number J1 to Jm increases is the number of times.
  • the predetermined reference number of times TH_REPEAT2 is exceeded, it can be determined that the behavior is abnormal. By doing so, it is possible to detect when abnormal behavior due to a disease or the like occurs repeatedly.
  • Embodiment 3 The abnormal behavior detection device according to the first and second embodiments determines that a new article has been received when the article stored in the refrigerator is temporarily taken out and returned to the original position in a short time. .. For example, when the jam stored in the refrigerator is taken out and the jam is returned to the refrigerator after a few minutes.
  • the abnormal behavior detection device according to the third embodiment can not determine that the operation of temporarily taking out the article housed in the refrigerator and returning it is the receipt of a new article. Except for this point, the abnormal behavior detection device according to the third embodiment is the same as the abnormal behavior detection device according to the first and second embodiments. Therefore, in the second embodiment, FIGS. 1 to 7 are also referred to.
  • the management unit 12 stores the warehousing / delivery status information indicating the warehousing / delivery status of the goods for each article. For example, the management unit 12 stores the article name of each article, the area information of the article, the warehousing time of the article, and the warehousing time of the article as warehousing / delivery status information.
  • the management unit 12 determines that the article has been delivered and stores the delivery time. That is, the management unit 12 sets the warehousing time without deleting the information from the warehousing / delivery status information for the goods that are already included in the warehousing / delivery status information and could not be detected by the newly acquired image. Add and memorize.
  • the management unit 12 retains the information about the goods whose delivery time is stored in the receipt / delivery status information only for a preset period.
  • the management unit 12 deletes both the warehousing information and the warehousing information related to the article when the set period has passed, counting from the warehousing time.
  • the management unit 12 continues to store the information.
  • the management unit 12 When the management unit 12 tries to store the warehousing / delivery status information exceeding a preset threshold value in the memory area for storing the warehousing / delivery status information, the management unit 12 deletes the oldest warehousing / delivery status information in order. May be set to.
  • the determination unit 13 When the determination unit 13 repeatedly purchases the same articles of the same group H1 to Hm during a predetermined time, and as a result, the number of articles J1 to Jm belonging to the groups H1 to Hm increases. It is determined that the behavior of the subject includes abnormal behavior, and information indicating that is output. However, in the determination unit 13, after the number J1 to Jm decreases during the predetermined time, the number J1 to Jm increases by the same number as the decreased number, or such a situation occurs. If it occurs repeatedly, it is not determined that the number J1 to Jm is increasing.
  • the warehousing at time t2 and the warehousing at time t3 occur in a short period of 3 minutes.
  • time t3 does not correspond to an increase in the number of articles J1 to Jm due to additional purchase. Therefore, in the determination unit 13, after the number J1 to Jm decreases during a predetermined time (also referred to as “second time”), the number J1 to Jm increases by the same number as the decreased number.
  • the abnormal behavior of the subject can be detected at an early stage before being examined by a specialist, and the subject or a related person can be notified of the subject. Can inform that the behavior of is including abnormal behavior. As a result, countermeasures can be taken at an early stage.
  • the accuracy of the determination can be improved.
  • FIG. 10 is a functional block diagram schematically showing the configuration of the abnormal behavior detection device 4 according to the fourth embodiment.
  • components that are the same as or correspond to the components shown in FIG. 2 are designated by the same reference numerals as those shown in FIG.
  • the abnormal behavior detection device 4 according to the fourth embodiment is different from the abnormal behavior detection device 4 according to the first, second, and third embodiments in that it has a person recognition unit 18.
  • the person recognition unit 18 detects a person from the image captured by the image pickup device, identifies which individual the person is, and outputs the identified result to the management unit 12a.
  • a method of recognizing a person a method of identifying from the similarity of feature amounts of images, which is generally used, can be used.
  • the management unit 12a further stores information that can identify the person who has received the goods in the warehousing / delivery status information.
  • the determination unit 13 acquires the warehousing / delivery status information from the management unit 12a, and the same person repeatedly purchases the same group of goods from the warehousing time and the person information of each goods within a predetermined time, and as a result.
  • the number J1 to Jm increases, it is determined that the behavior of the subject includes abnormal behavior.
  • the abnormal behavior detection device 4 As described above, if the abnormal behavior detection device 4 according to the fourth embodiment is used, the abnormal behavior of the subject can be detected at an early stage before being examined by a specialist, and the subject or a related person can be targeted. It is possible to inform that the behavior of a person includes abnormal behavior. As a result, countermeasures can be taken at an early stage.
  • the refrigerator 100 is used by a plurality of people, it is possible to detect that the behavior of the subject includes abnormal behavior. As a result, the accuracy of determination can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Alarm Systems (AREA)

Abstract

異常行動検知装置（１）は、物品保管庫（１００）の収容室（１０２）の内部を撮像する撮像装置（１１０）によって得られた画像に基づいて収容室（１０２）内に収容されている１個以上の物品を１つ以上のグループ（Ｈ１～Ｈｍ）に分類する分類部（１１）と、１つ以上のグループ（Ｈ１～Ｈｍ）の各々に属する物品の個数（Ｊ１～Ｊｍ）を取得する管理部（１２）と、個数（Ｊ１～Ｊｍ）と予め定められた閾値（ＴＨ＿ＣＮＴ）との比較の結果に基づいて、物品保管庫（１００）を使用する対象者の行動が異常行動を含んでいるか否かを判定する判定部（１３）とを有する。

Description

異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラム
　本発明は、異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラムに関する。
　予め定められた時間の間に対象者が移動した距離と、その間に対象者によって使用された家電製品の使用頻度とに基づいて、対象者が疾患を持っているか否かを判定するシステムの提案がある。例えば、特許文献１を参照。
特開２００３－１５３８６８号公報
Ｏｎｃｅｌ　Ｔｕｚｅｌ、　Ｆａｔｉｈ　Ｐｏｒｉｋｌｉ、　Ｐｅｔｅｒ　Ｍｅｅｒ著、「Ｒｅｇｉｏｎ　Ｃｏｖａｒｉａｎｃｅ：　Ａ　Ｆａｓｔ　Ｄｅｓｃｒｉｐｔｏｒ　ｆｏｒ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」、　Ｅｕｒｏｐｅａｎ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　（ＥＣＣＶ）、　２００６年５月１日
　しかしながら、特許文献１で提案されるシステムは、認知症がかなり進行した段階での症状である徘徊を検知することを想定しており、認知症の初期段階の症状である「もの忘れ」に起因する異常行動を発見することはできない。
　本発明は、上述の課題を解決するためになされたものであり、対象者の異常行動を早期に発見することを可能にする異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラムを提供することを目的とする。
　本発明の一態様に係る異常行動検知装置は、物品保管庫の収容室の内部を撮像する撮像装置によって得られた画像に基づいて前記収容室内に収容されている１個以上の物品を１つ以上のグループに分類する分類部と、前記１つ以上のグループの各々に属する物品の個数を取得する管理部と、前記個数と予め定められた閾値との比較の結果に基づいて、前記物品保管庫を使用する対象者の行動が異常行動を含んでいるか否かを判定する判定部と、を有することを特徴とする。
　本発明の他の態様に係る異常行動検知方法は、物品保管庫の収容室の内部を撮像する撮像装置によって得られた画像に基づいて前記収容室内に収容されている１個以上の物品を１つ以上のグループに分類するステップと、前記１つ以上のグループの各々に属する物品の個数を取得するステップと、前記個数と予め定められた閾値との比較の結果に基づいて、前記物品保管庫を使用する対象者の行動が異常行動を含んでいるか否かを判定するステップとを有することを特徴とする。
　本発明によれば、物品保管庫を使用する対象者の異常行動を早期に発見することができる。
本発明の実施の形態１に係る異常行動検知装置を有する物品保管庫としての冷蔵庫を示す概略図である。 実施の形態１に係る異常行動検知装置の構成を概略的に示す機能ブロック図である。 実施の形態１に係る物品保管庫の入出庫状況情報の例を示す図である。 実施の形態１に係る異常行動検知装置のハードウェア構成の例を示す図である。 実施の形態１に係る異常行動検知装置の動作の例を示すフローチャートである。 実施の形態１に係る異常行動検知装置の動作の他の例を示すフローチャートである。 実施の形態１の変形例に係る異常行動検知装置の構成を概略的に示す機能ブロック図である。 本発明の実施の形態２に係る物品保管庫の入出庫状況情報の例を示す図である。 本発明の実施の形態３に係る物品保管庫の入出庫状況の時系列的な変化の例を示す図である。 本発明の実施の形態４に係る異常行動検知装置の構成を概略的に示す機能ブロック図である。
　以下に、本発明の実施の形態に係る異常行動検知装置、異常行動検知装置を有する物品保管庫、異常行動検知方法、及び異常行動検知プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
実施の形態１．
　図１は、実施の形態１に係る異常行動検知装置１を有する物品保管庫の構成を示す概略図である。実施の形態１において、物品保管庫は、食品などの物品を冷やしながら保管する冷蔵庫１００である。図１は、冷蔵庫１００の扉１０１を開けた状態を示している。図１は、冷蔵庫１００の収容室１０２の内部（すなわち、庫内）にビール、ジャム、バター、ヨーグルト、卵が収容されている状態を示している。ビール、ジャム、バター、ヨーグルト、卵は、物品の具体例である。また、図１において、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、「Ｆ」、「Ｇ」は、商品名である。例えば、「Ａビール」は、商品名「Ａ」の物品「ビール」を示す。「Ｂジャム」は、商品名「Ｂ」の物品「ジャム」を示す。なお、物品保管庫は、異常行動の検知の対象となる人である対象者が使用する保管庫であれば、冷蔵庫に限定されない。物品保管庫は、例えば、常温で食品を収容する保管庫であってもよい。
　冷蔵庫１００の扉１０１の内側には、庫内を撮像することができる撮像装置１１０が備えられている。また、撮像装置１１０は、扉１０１を開けたときに、扉１０１を開けた人を撮像できるように設置されてもよい。撮像装置１１０は、扉１０１が閉じられた状態のときに、庫内を撮像する。撮像装置１１０は、扉１０１の内側以外の位置に備えられてもよい。また、撮像装置１１０の台数は、１台に限定されず、２台以上であってもよい。異常行動検知装置１と撮像装置１１０とは、有線又は無線で通信可能に接続されている。異常行動検知装置１と撮像装置１１０とは、ルーター、サーバー、ネットワーク、などを経由して通信可能に接続されてもよい。複数台の撮像装置１１０が異常行動検知装置１に接続される場合には、分類部１１は、複数の撮像装置１１０から複数枚の画像を取得する。或いは、分類部１１は、複数枚の画像を、縦方向、又は、横方向、又はこれらの両方向に結合する処理を行うことで形成された１枚の合成画像を取得してもよい。或いは、分類部１１は、複数枚の画像に画像処理を施し、画像処理された複数枚の画像を結合する処理を行うことで形成された１枚の合成画像を取得してもよい。
　撮像装置１１０は、例えば、光学レンズ、光学フィルタ、イメージセンサ、などを有するカメラである。撮像装置１１０は、イメージセンサを制御するプロセッサを有してもよい。撮像装置１１０から出力される画像（すなわち、画像データ）は、カラー画像又はモノクロ画像のいずれであってもよい。カラー画像は、色表現方式として、ＲＧＢ方式、ＹＣｂＣｒ方式、ＨＳＶ方式、などのうちのいずれの方式を用いたものであってもよい。
　また、冷蔵庫１００は、扉１０１の開閉を検知する開閉検知器１１１を備えている。異常行動検知装置１は、開閉検知器１１１が検知する扉１０１の開閉信号を利用して異常行動の有無を判定してもよい。
　図２は、実施の形態１に係る異常行動検知装置１の構成を概略的に示す機能ブロック図である。異常行動検知装置１は、実施の形態１に係る異常行動検知方法を実施することができる装置である。図２に示されるように、異常行動検知装置１は、分類部１１と、管理部１２と、判定部１３と、データベースを記憶した記憶部であるデータベース部１４とを有している。管理部１２は、記憶部１５と、時刻情報を取得する時刻取得部１６とを有している。データベース部１４は、異常行動検知装置１の外部の他の装置に備えられてもよい。また、記憶部１５及び時刻取得部１６は、管理部１２の外部、又は異常行動検知装置１の外部の他の装置に備えられてもよい。
　分類部１１は、物品保管庫としての冷蔵庫１００の庫内を撮像する撮像装置１１０によって得られた画像に基づいて、庫内に収容されている１個以上の物品を検出し、検出された物品を１つ以上のグループＨ１～Ｈｍに分類する。グループＨ１～Ｈｍは、ｍ個のグループを意味する。ｍは１以上の整数である。「１つ以上のグループに分類する」とは、１つ以上のカテゴリに分類することを意味する。
　分類部１１は、例えば、庫内に収容されている物品の属性に基づいて、物品をグループＨ１～Ｈｍに分類する。具体的に言えば、分類部１１は、撮像装置１１０で取得された画像に含まれる物品を検出し、検出された物品の種類に基づいて、物品をグループＨ１～Ｈｍに分類する。図１の例では、庫内には、ビール、ジャム、バター、ヨーグルト、卵の５種類の物品が収容されている。例えば、分類部１１は、属性に基づいて物品を分類する場合には、ビール、ジャム、バター、ヨーグルト、卵の５つのグループＨ１～Ｈ５に物品を分類する。
　また、分類部１１は、撮像装置１１０で取得された画像に含まれる物品を検出し、検出された物品の商品名を検出し、庫内に収容されている物品の商品名に基づいて、物品をグループＨ１～Ｈｍに分類してもよい。図１の例では、庫内には、「Ａビール」、「Ｂジャム」、「Ｃジャム」、「Ｄバター」、「Ｅヨーグルト」、「Ｆ卵」、「Ｇ卵」の７種類の商品が収容されている。例えば、分類部１１は、庫内に収容されている物品を商品名Ａ～Ｇに対応する７つのグループＨ１～Ｈ７に分類する。
　分類部１１は、例えば、スライディングウィンドウ方式を用いることによって、又はディープラーニングなどによる機械学習を用いることによって、画像に含まれる物品を検出することができる。
　スライディングウィンドウ方式は、予め定められたウィンドウサイズ（ｗｃ，ｈｃ）の矩形領域であるスライディングウィンドウを、画像の全域に渡りスライドさせて物品を探索する方式である。ここで、ｗｃは、スライディングウィンドウの水平方向（すなわち、横方向）の画素数を示し、ｈｃは、垂直方向（すなわち、縦方向）の画素数を示す。スライディングウィンドウ方式では、複数のウィンドウサイズ（ｗｃ，ｈｃ）のスライディングウィンドウを用いることが望ましい。例えば、使用される複数のウィンドウサイズ（ｗｃ，ｈｃ）は、以下のとおりである。
（ｗｃ，ｈｃ）＝（１６，１６）、（３２，３２）、（４８，４８）、（６４，６４）
複数のウィンドウサイズを使用する理由は、庫内に収容されている物品は、扉１０１に近い手前の位置に配置される状態又は扉１０１から遠い奥の位置に配置される状態、などのように様々な状態で収容されており、撮像装置１１０と物品との位置関係に応じて画像中の物品の大きさが異なるからである。
　分類部１１は、スライディングウィンドウ毎に特徴量を算出し、算出された特徴量と事前に算出された検出対象の物品の特徴量である基準特徴量との類似度を計算し、この類似度に基づいて物品を検出する。基準特徴量は、データベース部１４に予め格納された情報である。このデータベース部１４は、異常行動検知装置１と通信可能な外部の記憶装置、ネットワーク上のサーバー、などに備えられてもよい。「物品を検出する」とは、例えば、物品の属性を特定すること、又は物品の商品名を特定すること、を含む。スライディングウィンドウを用いた物品の検出方法は、例えば、上述した非特許文献１に開示されている。この検出方法を用いる分類部１１は、画像中の矩形領域であるスライディングウィンドウ毎に、輝度、色、輝度の一次微分、輝度の二次微分、などに基づいて特徴量を算出し、画像中の２つの矩形領域から算出された特徴量の距離Ｄｉｓｔを求める。距離Ｄｉｓｔは、２つの矩形領域から算出された特徴量の遠さを示す値であるから、距離Ｄｉｓｔの逆数は２つの矩形領域から算出された特徴量の類似度Ｒを示す。したがって、類似度Ｒは、例えば、下記の式（１）で算出される。
　Ｒ＝１／Ｄｉｓｔ　　　　　（１）
　言い換えれば、分類部１１は、スライディングウィンドウである矩形領域Ｒｅｃｔｃ毎に特徴量を求める。ここで、ｃ＝０，…，ｋ（ｋは正の整数）である。スライディングウィンドウ方式では、特徴量が求められる矩形領域として、複数の矩形領域Ｒｅｃｔ０～Ｒｅｃｔｋが用いられる。そして、分類部１１は、これらの特徴量と事前に算出された検出対象の物品の特徴量である基準特徴量との類似度Ｒｐを求める。分類部１１は、類似度Ｒｐが類似度の閾値ＤＲより大きい物品、すなわち、下記の式（２）を満たす特徴量を持つ物品を、矩形領域Ｒｅｃｔｃに含まれる物品として検出する。
　Ｒｐ＞ＤＲ　　　　　　　　（２）
ここで、類似度の閾値ＤＲは、０よりも大きい値である。この処理は、ノイズに対する頑健性を担保するためのものである。最終的に、分類部１１は、検出された物品の物品名を出力する。
　管理部１２は、分類部１１によって取得されたグループＨ１～Ｈｍの各々に属する物品の個数Ｊ１～Ｊｍを取得する。管理部１２は、取得した個数Ｊ１～Ｊｍを含む入出庫状況情報を記憶部１５に格納する。なお、記憶部１５は、管理部１２の外部に備えられてもよい。記憶部１５は、異常行動検知装置１の外部に備えられてもよい。記憶部１５は、異常行動検知装置１の通信装置（例えば、後述の図４に示される）とネットワークを介して通信可能に接続されるサーバーに備えられてもよい。
　判定部１３は、管理部１２によって取得された物品の個数Ｊ１～Ｊｍと予め定められた閾値ＴＨ＿ＣＮＴとの比較の結果に基づいて、冷蔵庫１００を使用する対象者の行動が異常行動を含んでいるか否かを判定する。予め定められた閾値ＴＨ＿ＣＮＴは、例えば、複数のグループＨ１～Ｈｍの各々について閾値ＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍとして定められてもよい。
　判定部１３は、例えば、物品の個数Ｊ１～Ｊｍが予め定められた閾値ＴＨ＿ＣＮＴを超えた場合に、対象者の行動が異常行動を含んでいると判定する。また、判定部１３は、物品の個数Ｊ１～Ｊｍが予め定められた閾値ＴＨ＿ＣＮＴ以下である場合、対象者の行動が異常行動を含んでいないと判定する。或いは、判定部１３は、物品の個数Ｊ１～Ｊｍが予め定められた閾値ＴＨ＿ＣＮＴを超えた回数が予め定められた基準回数（「第１の基準回数」ともいう。）ＴＨ＿ＲＥＰＥＡＴを超えた場合に、対象者の行動が異常行動を含んでいると判定してもよい。
　図３は、実施の形態１に係る冷蔵庫１００の入出庫状況情報ｆ１の例を示す図である。管理部１２は、図３に示されるように、分類された物品のグループＨ１～Ｈｍ毎に物品の入出庫状況を示す入出庫状況情報ｆ１を記憶する。例えば、管理部１２は、庫内に収容されている物品を特定する情報ｆ１ａと、各物品の個数情報ｆ１ｂとを入出庫状況情報ｆ１として記憶する。図３に示される例では、庫内に収容されている物品を特定する情報ｆ１ａは、分類されたグループの名称を示す。例えば、商品名が「Ａ」であり物品名が「ビール」である物品「Ａビール」の個数は、２個である。また、商品名が「Ｂ」であり物品名が「ジャム」である物品「Ｂジャム」の個数は、７個である。
　判定部１３は、庫内に収容されている物品の個数Ｊ１～Ｊｍが予め定められた閾値ＴＨ＿ＣＮＴを超えた場合に、対象者の行動が異常行動を含んでいると判定し、対象者の行動が異常行動を含んでいることを示す情報を出力する。例えば、判定部１３は、対象者の行動が異常行動を含んでいることを示す情報を、対象者本人、又は予め定められた関係者（例えば、対象者の家族）、などに知らせることができる。
　図４は、実施の形態１に係る異常行動検知装置１のハードウェア構成の例を示す図である。図４に示される異常行動検知装置１は、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ９２と、メモリ９２に格納されたプログラムを実行する情報処理部としてのプロセッサ９１とを用いて（例えば、コンピュータにより）実現することができる。プログラムは、例えば、ネットワークを経由して又は情報を記録する記録媒体からインストールされる。メモリ９２に格納されたプログラムは、実施の形態１に係る異常行動検知プログラムを含む。また、異常行動検知装置１は、記憶装置であるストレージ９３を有している。図２における異常行動検知装置１は、プログラムを実行するプロセッサ９１に対応する。なお、図２に示される異常行動検知装置１の一部を、図４に示されるメモリ９２と、プログラムを実行するプロセッサ９１とによって実現してもよい。
　次に、異常行動検知装置１が、対象者の行動が異常行動を含んでいるか否かを判定するための処理を説明する。図５は、異常行動検知装置１の動作の例を示すフローチャートである。
　まず、分類部１１は、異常行動の有無を判定する処理の実行条件が満たされているか否かを判定する（ステップＳ１０）。一定の時間間隔で異常行動の有無を判定するように設定されている場合には、分類部１１は、前回の処理から予め定められた時間が経過している場合に、実行条件が満たされていると判定する。また、扉１０１が閉じられたときに異常行動の有無を判定するように設定されている場合には、分類部１１は、開閉検知器１１１から扉１０１の閉信号を受信した場合に、実行条件が満たされていると判定する。
　実行条件が満たされている場合、分類部１１は、庫内を撮像する撮像装置１１０から画像を取得する（ステップＳ１１）。分類部１１は、取得した画像に基づいて物品を検出し、検出された物品が属するグループＨ１～Ｈｍの名称を管理部１２に出力する（ステップ１２）。図１及び図３に示される例では、グループＨ１～Ｈｍの名称は、例えば、「Ｄバター」、「Ｅ卵」、などである。
　管理部１２は、分類部１１から物品が属するグループＨ１～Ｈｍの名称を取得し、同じグループに属する同一の物品の個数Ｊ１～Ｊｍを算出し、これらを含む入出庫状況情報ｆ１を生成して記憶する（ステップＳ１３）。
　判定部１３は、管理部１２から入出庫状況情報ｆ１を取得し、対象者の行動が異常行動を含んでいるか否かを判定する。判定部１３は、対象者の行動が異常行動を含んでいると判定した場合には、対象者の行動が異常行動を含んでいることを示す情報を出力する。
　例えば、判定部１３は、管理部１２から図３に示される入出庫状況情報ｆ１を取得し、閾値ＴＨ＿ＣＮＴとして４個を設定した場合、図３に示されるように、「Ｂジャム」が７個入庫している状態であるため、対象者の行動が異常行動を含んでいると判定し（ステップＳ１４）、対象者の行動が異常行動を含んでいることを示す情報を出力する（ステップＳ１５）。
　以上に説明したように、異常行動検知装置１を用いれば、専門医による診察を受ける前に、早期に対象者の異常行動を発見し、対象者又は関係者などに、対象者の行動が異常行動を含んでいることを知らせることができる。その結果、早期に対策を講じることができる。
　また、実施の形態１においては、判定部１３は、閾値ＴＨ＿ＣＮＴとして、グループＨ１～Ｈｍ毎に異なる閾値ＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍを設定することができる。例えば、判定部１３は、「Ｆ卵」に関しては閾値ＴＨ＿ＣＮＴを４パックに設定し、「Ａビール」に関しては閾値ＴＨ＿ＣＮＴを６本に設定することができる。このようにすることで、グループＨ１～Ｈｍ毎に適した閾値ＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍを設定することができる。
　図６は、実施の形態１に係る異常行動検知装置の動作の他の例を示すフローチャートである。図６において、図５に示される処理と同じ処理には、図５に示される符号と同じ符号が付される。図６の動作は、ステップＳ１４ａを有する点において、図５の動作と異なる。図６のステップＳ１４ａにおいて、判定部１３は、グループＨ１～Ｈｍに属する物品の個数Ｊ１～Ｊｍが閾値ＴＨ＿ＣＮＴ（又はＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍ）を超えた回数Ｋが、基準回数ＴＨ＿ＲＥＰＥＡＴを超えたか否かを判定する。物品の個数Ｊ１～Ｊｍが閾値ＴＨ＿ＣＮＴ（又はＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍ）を超えたそれぞれの回数をＫ１～Ｋｍで表現した場合、回数Ｋは、回数Ｋ１～Ｋｍの合計値であってもよい。或いは、回数Ｋは、グループＨ１～Ｈｍのいずれかにおいて、物品の個数Ｊ１～Ｊｍが閾値ＴＨ＿ＣＮＴ（又はＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍ）を超えた回数Ｋ１～Ｋｍであってもよい。
　判定部１３は、物品の個数Ｊ１～Ｊｍが閾値ＴＨ＿ＣＮＴ（又はＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍ）を超えた回数Ｋが基準回数ＴＨ＿ＲＥＰＥＡＴを超えた場合に、対象者の行動が異常行動を含んでいると判定する。判定部１３は、対象者の行動が異常行動を含んでいることを示す情報を出力する。図６に示される検知動作を採用すれば、判定の精度を向上させることができる。
実施の形態１の変形例１．
　判定部１３によって判定された検知結果について、予め登録されたメールアドレス又は予め関連付けられたアプリケーションに、無線又は有線のネットワーク経由で送信する通知部１７をさらに備えることができる。このようにすることで、対象者の行動が異常行動を含んでいることを家族等の関係者に知らせることができる。
　図７は、実施の形態１の変形例１に係る異常行動検知装置２の構成を概略的に示す機能ブロック図である。図７において、図２に示される構成要素と同一又は対応する構成要素には、図２における符号と同じ符号が付される。図７に示される異常行動検知装置２は、通知部１７を備えている点において、図２に示される異常行動検知装置１と相違する。
　判定部１３は、対象者の行動が異常行動を含んでいるか否かを判定し、対象者の行動が異常行動を含んでいると判定した場合に、そのことを示す信号を通知部１７に出力する。通知部１７は、判定部１３から対象者の行動が異常行動を含んでいることを示す信号を取得し、予め登録された宛先に、このことを示す情報を送信する。例えば、通知部１７は、メールアドレス又は予め関連付けられたアプリケーションに、対象者の行動が異常行動を含んでいることを示す情報を含む通知情報を送信する。送信される通知情報は、例えば、電子メールのメッセージである。このメッセージは、対象者の行動が異常行動を含むことを通知するだけのものでもよいが、異常行動の発生時刻、検知した異常行動の概要を含むものであってもよい。
実施の形態１の変形例２．
　変形例２の異常行動検知装置は、図１～図７と同様の構成を有する。変形例２の異常行動検知装置では、分類部１１は、店舗において又はインターネットによって購入した物品に関する情報を、例えば、通信装置９４（図４に示される）によって取得し、撮像装置１１０で撮像した画像に基づいて庫内に収容されている物品を１つ以上のグループＨ１～Ｈｍに分類する。また、管理部１２は、直近に購入した物品が属するグループについての閾値ＴＨ＿ＣＮＴ（すなわち、ＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍのいずれか）を小さい値に設定する。
　例えば、直近ではない時点である１週間前に２パックの「卵」を購入した場合には、１週間後の本日に、対象者が追加で２パックの「卵」を購入する行動は、正常な行動であると考えられる。したがって、管理部１２は、卵が属するグループについての閾値ＴＨ＿ＣＮＴ（すなわち、ＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍのいずれか）を、例えば、通常の値である４パックに設定する。
　しかし、直近の時点である１日前に３パックの「卵」を購入した場合には、１日後である本日に、対象者が追加で３パックの「卵」を購入する必要はない、又はこの行動は正常な行動ではないと考えられる。したがって、管理部１２は、卵が属するグループについての閾値ＴＨ＿ＣＮＴ（すなわち、ＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍのいずれか）を、通常の閾値である４パックより小さい値である２パックに設定する。そして、管理部１２は、日時が経過するにつれて、閾値ＴＨ＿ＣＮＴ（すなわち、ＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍのいずれか）を増加させる。このように、物品の購入履歴を利用して閾値ＴＨ＿ＣＮＴを変更することで、異常行動の検出の精度を向上させることができる。
実施の形態２．
　実施の形態１に係る異常行動検知装置１は、庫内に収容されている物品の位置情報を利用していないため、庫内における物品の移動を物品の入庫と判定する状況が発生し得る。これに対し、実施の形態２に係る異常行動検知装置は、庫内に収容されている物品の位置情報を検出し記憶し、これを利用することによって、庫内における物品の移動を物品の入庫と判定しないことができる。この点以外に関しては、実施の形態２に係る異常行動検知装置は、実施の形態１に係る異常行動検知装置１と同じである。したがって、実施の形態２においては、図１から図７をも参照する。
　図８は、実施の形態２に係る物品保管庫１００の入出庫状況情報ｆ２の例を示す図である。実施の形態２において、分類部１１は、画像に含まれる物品を検出し、検出した物品の領域情報と物品の名称を出力する。物品の領域情報は、画像において検出した物品の矩形領域Ｒｅｃｔｃの左端位置の座標（ｘｃ，ｙｃ）と矩形領域Ｒｅｃｔｃのサイズ（ｗｃ，ｈｃ）とを含む。
　管理部１２は、物品毎に物品の入出庫状況を示す、入出庫状況情報ｆ２を記憶する。例えば、管理部１２は、図８に示されるように、各物品の物品名ｆ２ａと物品の領域情報ｆ２ｂと物品の入庫時刻情報ｆ２ｃとを入出庫状況情報ｆ２として記憶する。
　管理部１２が入出庫状況情報ｆ２として記憶する入庫時刻は、他の装置に具備されるボタンなどの操作部を利用して、対象者が入力する時刻であってもよい。また、異常行動検知装置１が冷蔵庫に接続されたコンピュータである場合には、時刻は、コンピュータに内蔵される時計、又はその機能が実装されている集積回路で構成されるＲＴＣ（ｒｅａｌ　ｔｉｍｅ　ｃｌｏｃｋ）から取得されてもよい。
　判定部１３は、予め定められた時間の間に、同じグループＨ１～Ｈｍに属する物品が繰り返し購入されており、その結果としてグループＨ１～Ｈｍに属する物品の個数Ｊ１～Ｊｍが予め定められた閾値より大きく増加している場合に、対象者の行動が異常行動を含んでいると判定し、それを示す情報を出力する。
　次に、異常行動検知装置１が、対象者の行動が異常行動を含んでいるか否かを判定するための処理を説明する。分類部１１は、取得した画像から１つ以上の物品を１つ以上のグループＨ１～Ｈｍに分類し、検出した物品の領域情報ｆ２ｂと、分類されたグループＨ１～Ｈｍを示す情報（例えば、「Ａビール」、「Ｂジャム」など）ｆ２ａと、入庫時刻情報ｆ２ｃとを管理部１２に出力する。管理部１２は、分類部１１から物品の領域情報ｆ２ｂと、分類されたグループＨ１～Ｈｍを示す情報ｆ２ａと、入庫時刻情報ｆ２ｃとからなる入出庫状況情報ｆ２を生成して記憶する。
　次に、分類部１１は、撮像装置１１０から画像を取得して物品を検出し、検出された物品を１つ以上のグループＨ１～Ｈｍに分類する。管理部１２は、新たに取得した画像に含まれる物品が、前回までに取得した画像に含まれる物品と同一であるかどうかを判定する。
　管理部１２は、前回までに取得した画像についての入出庫状況情報ｆ２に含まれる物品の領域情報ｆ２ｂと物品が属するグループＨ１～Ｈｍを示す情報ｆ２ａとを参照し、それらが、今回検出された入出庫状況情報ｆ２に基づくものと一致しているかどうかを調べる。管理部１２は、新たに取得した画像に含まれる物品が、前回までに取得した画像に含まれる物品と同一であるかどうかを判定することができる。管理部１２は、一致している場合は、新規の物品の入庫ではないと判定し、入出庫状況情報ｆ２に入庫時刻情報ｆ２ｃを追加しない。また、管理部１２は、一致していない場合は、新規の物品の入庫であると判定して、入出庫状況情報ｆ２に入庫時刻情報ｆ２ｃなどを追加する。
　また、管理部１２は、管理部１２が記憶する入出庫状況情報ｆ２に含まれる物品の領域情報ｆ２ｂと物品が属するグループＨ１～Ｈｍを示す情報ｆ２ａとを参照し、それが今回検出された物品の領域情報ｆ２ｂと物品が属するグループＨ１～Ｈｍを示す情報ｆ２ａと一致しているかどうかを調べる。管理部１２は、領域情報ｆ２ｂが完全に一致しない場合であっても、領域情報ｆ２ｂの今回検出された物品の領域情報の位置との差が予め定められた許容範囲内であれば、物品を新規の物品ではないと判定する。そして、管理部１２は、入出庫状況情報ｆ２に、新規物品ではないと判定された物品についての情報を追加しない。例えば、管理部１２は、物品の領域情報のうち、矩形領域の左端位置の座標（ｘｃ，ｙｃ）に対して、ｘ方向又はｙ方向に±５ｐｉｘｅｌの許容範囲を設け、同時に、物品の領域情報の矩形サイズの幅と高さのそれぞれに対して、±５％の許容範囲を設けてもよい。この場合、管理部１２は、許容範囲内での差が存在しても、新規の物品ではない、すなわち、物品の僅かな移動であると判定することができる。このようにすることで、管理部１２は、扉の開閉時又は、他の物品を手に取ろうとした際に多少動いてしまった物品を、新規に検出された物品と誤判定することを回避できる。
　管理部１２が新規の物品ではないと判断した場合に、管理部１２は、入出庫状況情報ｆ２のうちの物品の領域情報ｆ２ｂを更新してもよい。このようにすることで、管理部１２は、その物品が現在存在する画像上の位置に、領域情報ｆ２ｂを更新することができる。
　判定部１３は、管理部１２から入出庫状況情報ｆ２を取得し、対象者の行動が異常行動を含んでいるかどうかを判定する。対象者の行動が異常行動を含んでいると判定した場合には、判定部１３は、対象者の行動が異常行動を含んでいることを示す情報を出力する。
　例えば、判定部１３は、管理部１２から入出庫状況情報ｆ２を取得し、予め定められた時間の間に、繰り返し同じグループＨ１～Ｈｍに属する物品が購入されており、その結果として個数Ｊ１～Ｊｍが増加している場合に、対象者の行動が異常行動を含んでいると判定する。個数Ｊ１～Ｊｍが増加している場合は、実施の形態１の場合と同様に、例えば、予め定められた閾値を超える増加があった場合である。
　以上に説明したように、実施の形態２に係る異常行動検知装置を用いれば、専門医による診察を受ける前に、早期に対象者の異常行動を発見し、対象者又は関係者などに、対象者の行動が異常行動を含んでいることを知らせることができる。その結果、早期に対策を講じることができる。
　また、実施の形態２に係る異常行動検知装置は、実施の形態１の場合と同様に、判定部１３が、対象者の行動が異常行動を含んでいるかを判定する閾値として予め定められた基準回数（「第２の基準回数」ともいう。）ＴＨ＿ＲＥＰＥＡＴ２をさらに設け、予め定められた時間の間に、繰り返し同じグループの物品が購入されており、その結果として個数Ｊ１～Ｊｍが増加した回数が予め定められた基準回数ＴＨ＿ＲＥＰＥＡＴ２を超えた場合に、異常行動であると判定することができる。このようにすることで、疾患等による異常行動が繰り返し発生した場合に検知することができる。
実施の形態３．
　実施の形態１及び２に係る異常行動検知装置は、庫内に収容されている物品を一時的に取り出し、短時間で元の位置に戻した場合に、新規の物品の入庫であると判定する。例えば、庫内に収容されているジャムを取り出し、数分後にジャムを庫内に戻した場合である。これに対し、実施の形態３に係る異常行動検知装置は、庫内に収容されている物品を一時的に取り出して、戻す動作を、新規物品の入庫と判定しないことができる。この点以外に関しては、実施の形態３に係る異常行動検知装置は、実施の形態１及び２に係る異常行動検知装置と同じである。したがって、実施の形態２においては、図１から図７をも参照する。
　管理部１２は、物品毎に物品の入出庫状況を示す、入出庫状況情報を記憶する。例えば、管理部１２は、各物品の物品名と物品の領域情報と物品の入庫時刻と物品の出庫時刻とを入出庫状況情報として記憶する。
　管理部１２は、前回取得した画像において検出できた物品が、新たに取得した画像において検出できなかった場合に、当該物品が出庫されたと判断し、出庫の時刻を記憶する。すなわち、管理部１２は、既に入出庫状況情報に含まれている情報であって、新たに取得した画像で検出できなかった物品に関して、入出庫状況情報から情報を削除せずに、出庫時刻を追加して記憶する。
　管理部１２は、入出庫状況情報において出庫時刻が記憶されている物品についての情報は、予め設定された期間の間だけ保持する。管理部１２は、出庫時刻から起算して、その設定期間を過ぎた場合には、当該物品に関する入庫情報及び出庫情報の両方を削除する。
　管理部１２は、入出庫状況情報において、出庫を表す情報が記憶されておらず、入庫を表す情報のみが記憶されている場合には、当該情報を記憶し続ける。
　管理部１２は、入出庫状況情報を記憶するためのメモリ領域に対して、予め設定された閾値を超える入出庫状況情報を記憶しようとした場合に、最も古い入出庫状況情報から順に消去するように設定してもよい。
　判定部１３は、予め定められた時間の間に、繰り返し同じグループＨ１～Ｈｍの物品が購入されており、その結果として、グループＨ１～Ｈｍに属する物品の個数Ｊ１～Ｊｍが増加している場合に、対象者の行動が異常行動を含んでいると判定し、それを示す情報を出力する。ただし、判定部１３は、予め定められた時間の間に、個数Ｊ１～Ｊｍが減少した後、減少した数と同数だけ個数Ｊ１～Ｊｍが増加する状況が発生した場合、又はこのような状況が繰り返し発生した場合、個数Ｊ１～Ｊｍが増加していると判定しない。
　例えば、図９に概略的に示した時系列での入出庫の状況では、時刻ｔ２における出庫と時刻ｔ３における入庫とは３分間という短時間の間に発生している。このように、短時間で出庫と入庫が順に発生する状況としては、例えば、朝食に「Ｂジャム」を使用するために冷蔵庫１００から取り出して、使用後に冷蔵庫１００に戻した状況が考えられる。つまり、時刻ｔ３は買い増しによる物品の個数Ｊ１～Ｊｍの増加には該当しない。このため、判定部１３は、予め定められた時間（「第２の時間」ともいう。）の間に、個数Ｊ１～Ｊｍが減少した後、減少した数と同数だけ個数Ｊ１～Ｊｍが増加する状況が発生した場合、又はこのような状況が繰り返し発生した場合、個数Ｊ１～Ｊｍが増加していると判定しない。
　以上に説明したように、実施の形態３に係る異常行動検知装置を用いれば、専門医による診察を受ける前に、早期に対象者の異常行動を発見し、対象者又は関係者などに、対象者の行動が異常行動を含んでいることを知らせることができる。その結果、早期に対策を講じることができる。
　さらに、一部を消費するために冷蔵庫１００から物品を取り出して、その後、元に戻した状況を、異常行動の有無の判定に用いないため、判定の精度を向上させることができる。
実施の形態４．
　図１０は、実施の形態４に係る異常行動検知装置４の構成を概略的に示す機能ブロック図である。図１０において、図２に示される構成要素と同一又は対応する構成要素には、図２における符号と同じ符号が付される。実施の形態４に係る異常行動検知装置４は、人物認識部１８を有する点において、実施の形態１、２及び３に係る異常行動検知装置４と異なる。
　人物認識部１８は、撮像装置で撮像された画像から人物を検出するとともに、何れの個人であるかを識別し、識別した結果を管理部１２ａに出力する。人物認識の方法は、一般に利用されている画像の特徴量の類似度から識別する方法等が利用できる。
　管理部１２ａは、物品を入庫した人物を特定できる情報を入出庫状況情報にさらに記憶する。
　判定部１３は、管理部１２ａから入出庫状況情報を取得し、各物品の入庫時刻と人物情報から、予め定められた時間の間に、同一人物によって繰り返し同じグループの物品が購入され、その結果として個数Ｊ１～Ｊｍが増加している場合に、対象者の行動が異常行動を含んでいると判定する。
　以上に説明したように、実施の形態４に係る異常行動検知装置４を用いれば、専門医による診察を受ける前に、早期に対象者の異常行動を発見し、対象者又は関係者などに、対象者の行動が異常行動を含んでいることを知らせることができる。その結果、早期に対策を講じることができる。
　さらに、冷蔵庫１００が複数の人によって使用される場合であっても、対象者の行動が異常行動を含んでいることを検知することができる。その結果、判定の精度を向上させることができる。
変形例．
　実施の形態１から４に係る異常行動検知装置の各構成を適宜組み合わせることが可能である。
　１、２、４　異常行動検知装置、　１１　分類部、　１２、１２ａ　管理部、　１３　判定部、　１４　データベース部、　１５　記憶部、　１６　時刻取得部、　１７　通知部、　１８　人物認識部、　９１　プロセッサ、　９２　メモリ、　９３　ストレージ、　９４　通信装置、　１００　冷蔵庫、　１０１　扉、　１０２　収容室、　１１０　撮像装置、　１１１　開閉検知器。

Claims (15)

  1. 　物品保管庫の収容室の内部を撮像する撮像装置によって得られた画像に基づいて前記収容室内に収容されている１個以上の物品を１つ以上のグループに分類する分類部と、
    　前記１つ以上のグループの各々に属する物品の個数を取得する管理部と、
    　前記個数と予め定められた閾値との比較の結果に基づいて、前記物品保管庫を使用する対象者の行動が異常行動を含んでいるか否かを判定する判定部と、
    　を有することを特徴とする異常行動検知装置。
  2. 　前記分類部は、前記１個以上の物品の各々の属性に基づいて前記１個以上の物品を前記１つ以上のグループに分類することを特徴とする請求項１に記載の異常行動検知装置。
  3. 　前記分類部は、前記１個以上の物品の各々の商品名に基づいて前記１個以上の物品を前記１つ以上のグループに分類することを特徴とする請求項１に記載の異常行動検知装置。
  4. 　前記予め定められた閾値は、前記１つ以上のグループの各々について定められたことを特徴とする請求項１から３のいずれか１項に記載の異常行動検知装置。
  5. 　前記判定部は、前記個数が前記予め定められた閾値を超えた場合に、前記対象者の行動が異常行動を含んでいると判定することを特徴とする請求項１から４のいずれか１項に記載の異常行動検知装置。
  6. 　前記判定部は、前記個数が前記予め定められた閾値を超えた回数が予め定められた第１の基準回数を超えた場合に、前記対象者の行動が異常行動を含んでいると判定することを特徴とする請求項１から４のいずれか１項に記載の異常行動検知装置。
  7. 　時刻情報を取得する時刻取得部をさらに有し、
    　前記管理部は、前記物品保管庫内に物品が入庫された時刻である入庫時刻を取得し、
    　前記判定部は、前記入庫時刻から予め定められた第１の時間の間に、入庫された前記物品である第１の物品と同じグループである第１のグループに属する物品である第２の物品がさらに入庫され、前記物品保管庫内に収容されている前記第１のグループに属する物品の個数が増加した場合に、前記対象者の行動が異常行動を含んでいると判定する
    　ことを特徴とする請求項１から５のいずれか１項に記載の異常行動検知装置。
  8. 　時刻情報を取得する時刻取得部をさらに有し、
    　前記管理部は、前記物品保管庫内に物品が入庫された時刻である入庫時刻を取得し、
    　前記判定部は、前記入庫時刻から予め定められた第１の時間の間に、入庫された前記物品である第１の物品と同じグループである第１のグループに属する物品である第２の物品がさらに入庫され、前記物品保管庫内に収容されている前記第１のグループに属する物品の個数が増加する状況が発生した回数が、予め定められた第２の基準回数を超えた場合に、前記対象者の行動が異常行動を含んでいると判定する
    　ことを特徴とする請求項１から５のいずれか１項に記載の異常行動検知装置。
  9. 　時刻情報を取得する時刻取得部をさらに有し、
    　前記管理部は、前記物品保管庫内に物品が出庫された時刻である出庫時刻を取得し、
    　前記判定部は、前記出庫時刻から予め定められた第２の時間の間に、出庫された前記物品である第３の物品と同じグループである第２のグループに属する物品である第４の物品が、前記第３の物品と同数だけ入庫された状況の場合に、前記個数が増加していると判定しない
    　ことを特徴とする請求項１から８のいずれか１項に記載の異常行動検知装置。
  10. 　前記対象者を識別して前記対象者を示す人物情報を出力する人物認識部をさらに備え、
    　前記判定部は、前記管理部によって記憶された各物品の入庫時刻と前記人物情報とから、予め定められた時間の間に、同一人物によって繰り返し同じグループに属する物品が購入され、同じグループに属する物品の個数が増加した場合に、対象者の行動が異常行動であると判定する
    　ことを特徴とする請求項１から９のいずれか１項に記載の異常行動検知装置。
  11. 　前記判定部によって判定された結果を、予め登録された宛先に送信する通知部をさらに有することを特徴とする請求項１から１０のいずれか１項に記載の異常行動検知装置。
  12. 　前記分類部は、店舗において又はインターネットによって購入した物品のグループに関する情報から、前記撮像装置で撮像された画像から前記収容室内に収容されている物品のグループを検出する際に、直近に購入した物品ほど検出の際に利用する前記閾値を下げることを特徴とする請求項１から１１のいずれか１項に記載の異常行動検知装置。
  13. 　請求項１から１２のいずれか１項に記載の異常行動検知装置を有することを特徴とする物品保管庫。
  14. 　物品保管庫の収容室の内部を撮像する撮像装置によって得られた画像に基づいて前記収容室内に収容されている１個以上の物品を１つ以上のグループに分類するステップと、
    　前記１つ以上のグループの各々に属する物品の個数を取得するステップと、
    　前記個数と予め定められた閾値との比較の結果に基づいて、前記物品保管庫を使用する対象者の行動が異常行動を含んでいるか否かを判定するステップと、
    　を有することを特徴とする異常行動検知方法。
  15. 　物品保管庫の収容室の内部を撮像する撮像装置によって得られた画像に基づいて前記収容室内に収容されている１個以上の物品を１つ以上のグループに分類する処理と、
    　前記１つ以上のグループの各々に属する物品の個数を取得する処理と、
    　前記個数と予め定められた閾値との比較の結果に基づいて、前記物品保管庫を使用する対象者の行動が異常行動を含んでいるか否かを判定する処理と、
    　をコンピュータに実行させることを特徴とする異常行動検知プログラム。
PCT/JP2019/022472 2019-06-06 2019-06-06 異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラム WO2020245965A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/022472 WO2020245965A1 (ja) 2019-06-06 2019-06-06 異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラム
JP2021524588A JP7270730B2 (ja) 2019-06-06 2019-06-06 異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/022472 WO2020245965A1 (ja) 2019-06-06 2019-06-06 異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラム

Publications (1)

Publication Number Publication Date
WO2020245965A1 true WO2020245965A1 (ja) 2020-12-10

Family

ID=73653069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022472 WO2020245965A1 (ja) 2019-06-06 2019-06-06 異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラム

Country Status (2)

Country Link
JP (1) JP7270730B2 (ja)
WO (1) WO2020245965A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021670A (ja) * 2015-07-13 2017-01-26 株式会社デジジャパン 食材管理システム
WO2018020541A1 (ja) * 2016-07-25 2018-02-01 三菱電機株式会社 冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム
JP2018190319A (ja) * 2017-05-11 2018-11-29 パナソニックＩｐマネジメント株式会社 高齢者見守りシステム、管理装置、および購入通知方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021670A (ja) * 2015-07-13 2017-01-26 株式会社デジジャパン 食材管理システム
WO2018020541A1 (ja) * 2016-07-25 2018-02-01 三菱電機株式会社 冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム
JP2018190319A (ja) * 2017-05-11 2018-11-29 パナソニックＩｐマネジメント株式会社 高齢者見守りシステム、管理装置、および購入通知方法

Also Published As

Publication number Publication date
JP7270730B2 (ja) 2023-05-10
JPWO2020245965A1 (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
JP7168052B2 (ja) 監視システム及び監視方法
US10614514B2 (en) Computer vision system and method for automatic checkout
US20160188982A1 (en) Attribute-based alert ranking for alert adjudication
US10217010B2 (en) Information processing apparatus for registration of facial features in a collation database and control method of the same
US9471832B2 (en) Human activity determination from video
JP5077164B2 (ja) 追跡装置及び追跡方法
KR101592889B1 (ko) 트래킹, 인덱싱 및 서치를 위한 물체 매칭 방법 및 장치
WO2019107157A1 (ja) 棚割情報生成装置及び棚割情報生成プログラム
TW201947495A (zh) 儲物裝置中人機互動方法、裝置、儲物裝置以及儲存媒體
Batool et al. [Retracted] An IoT and Machine Learning‐Based Model to Monitor Perishable Food towards Improving Food Safety and Quality
US11680712B2 (en) Method and system for sensor maintenance
WO2017058587A1 (en) Image auditing method and system
US11288506B2 (en) Refrigerator appliances and methods for tracking stored items
Lee et al. Data labeling research for deep learning based fire detection system
WO2020245965A1 (ja) 異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラム
WO2021091481A1 (en) System for object identification and content quantity estimation through use of thermal and visible spectrum images
WO2023160022A1 (zh) 包裹分拣行为的识别方法及其装置
JP2011180684A (ja) 移動物体追跡装置
KR102469015B1 (ko) 서로 다른 파장 범위를 갖는 복수의 카메라를 이용한 상품 식별 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR20180090724A (ko) 냉장고 제어 방법 및 냉장고 제어 장치
JP2007148894A (ja) 防犯装置、防犯システムおよび防犯プログラム
Bostanci et al. A neuro fuzzy embedded agent approach towards the development of an intelligent refrigerator
JP2021111201A (ja) 顔認証システムおよび顔認証方法
KR102476498B1 (ko) 인공지능 기반의 복합 인식을 통한 상품 식별 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102283896B1 (ko) 딥러닝 기반의 증가적 상품 정보 획득 시스템 및 그 획득 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19931833

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021524588

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19931833

Country of ref document: EP

Kind code of ref document: A1