WO2022176424A1 - 作業種類識別装置、制御方法、及び非一時的なコンピュータ可読媒体 - Google Patents

作業種類識別装置、制御方法、及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2022176424A1
WO2022176424A1 PCT/JP2022/000264 JP2022000264W WO2022176424A1 WO 2022176424 A1 WO2022176424 A1 WO 2022176424A1 JP 2022000264 W JP2022000264 W JP 2022000264W WO 2022176424 A1 WO2022176424 A1 WO 2022176424A1
Authority
WO
WIPO (PCT)
Prior art keywords
type
wiping
target
work
temperature
Prior art date
Application number
PCT/JP2022/000264
Other languages
English (en)
French (fr)
Inventor
正太 佐藤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023500607A priority Critical patent/JPWO2022176424A5/ja
Priority to US18/275,994 priority patent/US20240100210A1/en
Publication of WO2022176424A1 publication Critical patent/WO2022176424A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
    • A61L2/24—Apparatus using programmed or automatic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
    • A61L2/16—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor using chemical substances
    • A61L2/18—Liquid substances or solutions comprising solids or dissolved gases
    • B08B1/143—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B3/00—Cleaning by methods involving the use or presence of liquid or steam
    • B08B3/04—Cleaning involving contact with liquid
    • B08B3/08—Cleaning involving contact with liquid the liquid having chemical or dissolving effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2202/00—Aspects relating to methods or apparatus for disinfecting or sterilising materials or objects
    • A61L2202/10—Apparatus features
    • A61L2202/14—Means for controlling sterilisation processes, data processing, presentation and storage means, e.g. sensors, controllers, programs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2202/00—Aspects relating to methods or apparatus for disinfecting or sterilising materials or objects
    • A61L2202/10—Apparatus features
    • A61L2202/17—Combination with washing or cleaning means

Definitions

  • This disclosure relates to techniques for analyzing work.
  • Patent Literature 1 discloses a technique for detecting the existence of a place to be cleaned by detecting that a plate or cup is left on a table or that a chair is not in use.
  • Wiping is one of the sterilization and cleaning tasks.
  • Patent Literature 1 does not mention the wiping work.
  • the present invention has been made in view of this problem, and one of its purposes is to provide a new technique for analyzing wiping work.
  • the work type identification device of the present disclosure includes acquisition means for acquiring a temperature data string representing temporal changes in temperature of a target region of a target object on which wiping work is performed; identification means for identifying the type of wiping work performed on the target area based on the change in temperature of the target area over time.
  • the control method of the present disclosure is executed by a computer.
  • the control method includes an acquisition step of acquiring a temperature data string representing temporal changes in temperature of a target region of a target object on which wiping work is performed; and identifying the type of wiping operation performed on the target area based on the change in temperature over time.
  • the computer-readable medium of the present disclosure stores a program that causes a computer to execute the control method of the present disclosure.
  • FIG. 4 is a diagram illustrating an overview of the operation of the work type identification device of Embodiment 1;
  • FIG. 2 is a block diagram illustrating the functional configuration of the work type identification device of Embodiment 1;
  • FIG. It is a block diagram which illustrates the hardware constitutions of the computer which implement
  • 4 is a flowchart illustrating the flow of processing executed by the work type identification device of Embodiment 1;
  • FIG. 4 is a diagram illustrating the relationship between temperature data strings and partial data strings; It is a figure which illustrates the screen output by a work type identification device.
  • predetermined information such as predetermined values and threshold values is stored in advance in a storage device or the like that can be accessed from a device that uses the information.
  • FIG. 1 is a diagram illustrating an overview of the operation of the work type identification device 2000 of the first embodiment.
  • FIG. 1 is a diagram for facilitating understanding of the outline of the work type identification device 2000, and the operation of the work type identification device 2000 is not limited to that shown in FIG.
  • the work type identification device 2000 determines the type of wiping work performed on the target area 12 of the target object 10 .
  • the target object 10 is any object to be wiped, such as a wall, table, or floor.
  • a region of interest 12 is a region on the surface of the target object 10 .
  • the target region 12 may be the entire surface region of the target object 10 or a partial region of the surface of the target object 10 . In the latter case, for example, the surface of the target object 10 is divided into a plurality of regions according to a predetermined criterion, and each of the plurality of regions is treated as the target region 12 .
  • the table is the target object 10 and the top of the table is divided into 12 target areas 12 .
  • a plurality of types of wiping operations can be performed on the target area 12 .
  • Types of wiping operations include alcohol wiping, wet wiping, and dry wiping.
  • Alcohol wiping is wiping work performed using alcohol.
  • alcohol wiping is a task of spraying a disinfectant containing alcohol onto the target area 12 and wiping the target area 12 with a cloth or the like.
  • Wet wiping is wiping work performed using water.
  • the wet wiping is a work of spraying water on the target region 12 and wiping the target region 12 with a cloth or the like, or a work of wiping the target region 12 with a cloth wetted with water.
  • a wiping operation using a disinfectant with a lower alcohol content than the standard may be classified as wet wiping instead of alcohol wiping.
  • Dry wiping is the act of wiping the target area 12 with a dry cloth.
  • the work type identification device 2000 identifies which type of wiping work has been performed on the target area 12 among the three types of wiping work described above. In addition, for example, any two of these three types of wiping operations may be treated as wiping operations that may be performed on the target region 12 . In this case, for example, the work type identification device 2000 identifies whether the wiping work performed on the target region 12 is alcohol wiping or wet wiping, or identifies whether the wiping work performed on the target region 12 is alcohol wiping or water wiping. Identify whether it is wet wiping or dry wiping.
  • the work type identification device 2000 identifies the type of wiping work performed on the target area 12 based on the change in the temperature of the target area 12 over time. For example, it is considered that there is a difference in temperature change over time between the target region 12 sprayed with alcohol and the target region 12 sprayed with water. Therefore, the type of wiping work is identified based on such a difference in temperature change over time of the target area 12 .
  • the work type identification device 2000 acquires the temperature data string 40 representing the temperature change over time of the target area 12 .
  • the temperature data string 40 is time-series data indicating temperature data 42 indicating the temperature of the target region 12 at specific points in time for each of a plurality of points in time.
  • Temperature data 42 is obtained by measuring the temperature of target area 12 with temperature sensor 30 .
  • the temperature sensor 30 is a thermal camera that can obtain the temperature distribution of an object within the angle of view.
  • a thermal camera is implemented by, for example, an infrared camera.
  • the temperature sensor 30 periodically repeats measurement of the temperature of the target area 12 .
  • temperature data 42 that can specify the temperature of the target region 12 is obtained for each of a plurality of points in time.
  • the temperature data 42 may indicate an absolute temperature at a specific point in time, or may indicate a difference from the previously measured temperature.
  • a temperature data column 40 indicates a plurality of temperature data 42 thus obtained in chronological order.
  • the work type identification device 2000 identifies the type of wiping work performed on the target area 12 based on the temperature change over time of the target area 12 represented by the temperature data string 40 . A specific method for specifying it will be described later.
  • the temperature data string 40 representing the temporal change in the temperature of the target area 12 of the target object 10 to be wiped is acquired. Then, using the temperature data string 40, the type of wiping work performed on the target area 12 is identified. By doing so, the type of wiping work performed on the target area 12 can be easily grasped.
  • the work type identification device 2000 of this embodiment will be described in more detail below.
  • FIG. 2 is a block diagram illustrating the functional configuration of the work type identification device 2000 of the first embodiment.
  • the work type identification device 2000 has an acquisition unit 2020 and an identification unit 2040 .
  • the acquisition unit 2020 acquires the temperature data string 40 representing the temperature change over time in the target region 12 of the target object 10 .
  • the identification unit 2040 identifies the type of wiping work performed on the target area 12 based on the temporal change in the temperature of the target area 12 represented by the temperature data string 40 .
  • Each functional configuration unit of the work type identification device 2000 may be realized by hardware (eg, hardwired electronic circuit, etc.) that implements each functional configuration unit, or may be realized by a combination of hardware and software (eg, : a combination of an electronic circuit and a program that controls it, etc.).
  • hardware e.g, hardwired electronic circuit, etc.
  • software e.g, : a combination of an electronic circuit and a program that controls it, etc.
  • FIG. 3 is a block diagram illustrating the hardware configuration of the computer 500 that implements the work type identification device 2000.
  • Computer 500 is any computer.
  • the computer 500 is a stationary computer such as a PC (Personal Computer) or a server machine.
  • the computer 500 is a portable computer such as a smart phone or a tablet terminal.
  • the computer 500 may be a dedicated computer designed to implement the work type identification device 2000, or may be a general-purpose computer.
  • the computer 500 realizes each function of the work type identification device 2000.
  • the application is composed of a program for realizing each functional component of the work type identification device 2000 .
  • the acquisition method of the above program is arbitrary.
  • the program can be acquired from a storage medium (DVD disc, USB memory, etc.) in which the program is stored.
  • the program can be obtained by downloading the program from a server device that manages the storage device in which the program is stored.
  • Computer 500 has bus 502 , processor 504 , memory 506 , storage device 508 , input/output interface 510 and network interface 512 .
  • the bus 502 is a data transmission path through which the processor 504, memory 506, storage device 508, input/output interface 510, and network interface 512 exchange data with each other.
  • the method of connecting the processors 504 and the like to each other is not limited to bus connection.
  • the processor 504 is various processors such as a CPU (Central Processing Unit), GPU (Graphics Processing Unit), or FPGA (Field-Programmable Gate Array).
  • the memory 506 is a main memory implemented using a RAM (Random Access Memory) or the like.
  • the storage device 508 is an auxiliary storage device implemented using a hard disk, SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.
  • the input/output interface 510 is an interface for connecting the computer 500 and input/output devices.
  • the input/output interface 510 is connected to an input device such as a keyboard and an output device such as a display device.
  • a network interface 512 is an interface for connecting the computer 500 to a network.
  • This network may be a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the computer 500 is communicably connected to the temperature sensor 30 via a network.
  • the computer 500 only needs to be able to acquire the temperature data string 40 generated by the temperature sensor 30 in some way, and does not have to be communicatively connected to the temperature sensor 30 .
  • the storage device 508 stores a program that implements each functional component of the work type identification device 2000 (a program that implements the application described above).
  • the processor 504 reads this program into the memory 506 and executes it, thereby realizing each functional component of the work type identification device 2000 .
  • the work type identification device 2000 may be realized by one computer 500 or may be realized by a plurality of computers 500. In the latter case, the configuration of each computer 500 need not be the same, and can be different.
  • FIG. 4 is a flowchart illustrating the flow of processing executed by the work type identification device 2000 of the first embodiment.
  • the acquisition unit 2020 acquires the temperature data string 40 (S102).
  • the identification unit 2040 identifies the type of wiping work performed on the target area 12 using the temperature data string 40 (S104).
  • the temperature data string 40 is time series data of the temperature data 42 .
  • Temperature data 42 indicates the temperature of target area 12 at a particular point in time. Temperature data 42 is generated by temperature sensor 30 .
  • the temperature sensor 30 may measure the temperature of each of the multiple areas.
  • a thermal camera produces a thermal image that represents the temperature distribution of objects within its angle of view.
  • Each pixel in the thermal image represents the temperature of the area on the object that corresponds to that pixel.
  • one target area 12 may span multiple pixels of the thermal image.
  • the temperature of the target area 12 is identified using the temperature represented by any one or more of the pixels corresponding to the target area 12 .
  • the temperature of the region of interest 12 is specified as a statistic (such as mean, median, mode, minimum, or maximum) of the temperatures represented by the pixels corresponding to that region of interest 12 .
  • one pixel hereinafter referred to as representative pixel
  • the temperature represented by the representative pixel corresponding to the target area 12 is treated as the temperature of that target area 12 .
  • the correspondence between the pixels on the thermal image and the target area 12 is determined in advance.
  • the acquisition unit 2020 acquires the temperature data string 40 (S102). There are various methods for the acquisition unit 2020 to acquire the temperature data string 40 . For example, assume that the temperature sensor 30 performs temperature measurement to generate temperature data 42 and stores the temperature data 42 in the storage unit. In this case, the acquisition unit 2020 acquires the temperature data 42 newly stored in the storage unit by repeatedly accessing the storage unit. By acquiring a plurality of temperature data 42 generated by the temperature sensor 30 in this manner, the temperature data string 40 can be acquired. However, the acquisition unit 2020 may acquire the temperature data string 40 in one access by collectively acquiring a plurality of temperature data 42 stored in the storage unit.
  • the temperature sensor 30 may be configured to transmit the temperature data 42 to the work type identification device 2000.
  • the acquiring unit 2020 can acquire the temperature data string 40 composed of the plurality of acquired temperature data 42 .
  • the temperature sensor 30 may transmit the temperature data string 40 to the work type identification device 2000 at once by collectively transmitting a plurality of temperature data 42 to the work type identification device 2000 .
  • the temperature sensor 30 is the above-described thermal camera or the like, the temperature can be measured for each of a plurality of areas.
  • the acquisition unit 2020 extracts data representing the temperature of the target region 12 from data generated by the temperature sensor 30 .
  • the acquisition unit 2020 acquires the temperature data 42 using pixels corresponding to the target region 12 in the image shown in the thermal image.
  • the acquisition unit 2020 acquires the temperature value represented by the image as the temperature data 42 .
  • the acquisition unit 2020 obtains the statistical values of the temperature represented by the plurality of pixels and the temperature represented by the representative pixels, as described above. values are obtained as temperature data 42 .
  • the acquisition unit 2020 selects the corresponding target region 12 for each target region 12.
  • Temperature data 42 for each target region 12 is obtained by extracting the pixels of the thermal image. However, it is not necessary to measure the temperature of all areas to be treated as the target area 12 with one temperature sensor 30, and a plurality of temperature sensors 30 may be used.
  • the identifying unit 2040 uses the temperature data string 40 to identify the type of wiping work performed on the target area 12 (S104). For example, the identification unit 2040 extracts a plurality of partial data strings each having a predetermined length from the temperature data string 40, and for each partial data string, performs the processing on the target region 12 at the time corresponding to the partial data string. Identify the type of mopping work. Adjacent partial data strings may partially overlap each other.
  • FIG. 5 is a diagram illustrating the relationship between the temperature data string 40 and the partial data string 50.
  • a partial data string 50 represents temperature changes for w seconds.
  • the extraction start position of the partial data string 50 is slid by a width of s seconds. That is, the i-th partial data string 50 is composed of the temperature data 42 from time s*(i-1) to time s*(i-1)+w among the temperature data 42 included in the temperature data string 40. It is time-series data that is The point in time here is a relative point in time, with the point of time of measurement of the first temperature data 42 included in the temperature data string 40 being zero.
  • the identification unit 2040 may identify the type of wiping work performed during the period represented by the entire temperature data string 40 without extracting the partial data string 50 from the temperature data string 40 . For example, it is detected that a wiping operation has been performed on the target area 12, and the temperature data string 40 for a period of a predetermined length (for example, w in FIG. 5) from the start of the wiping operation or a time close thereto Acquired by the acquisition unit 2020 . In this case, the entire temperature data string 40 becomes time-series data having the same length as the partial data string 50 in FIG.
  • the fact that the target area 12 has been wiped can be detected using, for example, video data obtained from a video camera that captures the target area 12 .
  • Temperature data string 40 is used instead of partial data string 50 in the case of identifying the type of wiping operation performed during the period represented by temperature data string 40 as a whole.
  • a feature amount is determined in advance for each type of wiping work with respect to the time-series temperature data of the area where the wiping work of that type has been performed. That is, a correspondence of "type of wiping work, feature amount of time-series data of temperature of wiped area" is created in advance. For example, with alcohol wiping and water wiping, it is thought that the temperature drops at the beginning of wiping and then rises. On the other hand, dry wiping does not seem to change the temperature much. Also, since alcohol evaporates faster than water, the temperature change in the case of alcohol wiping is thought to be faster than the temperature change in the case of wet wiping.
  • the identification unit 2040 extracts the feature amount from the partial data string 50 and calculates the degree of similarity between the extracted feature amount and the feature amount predetermined for each type of wiping work. Then, the identification unit 2040 identifies the type of wiping work corresponding to the feature amount having the highest degree of similarity with the feature amount extracted from the partial data string 50 as the type of wiping work performed on the target area 12. do.
  • the temperature data column 40 also includes temperature data for a period in which no wiping operation is performed.
  • the identifying unit 2040 identifies the type of wiping work for a plurality of partial data strings 50 obtained from the temperature data string 40, so that each partial data string 50 corresponds to: 1) the period in which the wiping work was performed; 2) If the partial data string 50 corresponds to the period during which the wiping work was performed, what kind of wiping work is the type of the wiping work? .
  • the feature value of the temperature time-series data in the wiped area may be determined for each type of target object 10 .
  • the feature amount is determined for each type of target object 10, such as a table, chair, flooring, and wall.
  • the feature amount may be determined for each material of the target object 10, such as wood or concrete.
  • the identifying unit 2040 identifies the type and material (hereinafter referred to as type) of the target object 10, and uses feature amounts associated with the identified type and material.
  • the type of the target object 10 may be specified by the user of the work type identification device 2000, or may be automatically identified by the work type identification device 2000. In the latter case, for example, the work type identification device 2000 identifies the type of the target object 10 by analyzing an image obtained by imaging the target object 10 using a video camera (still camera or video camera). do. By using an image, an existing technique can be used as a technique for identifying the type of an object included in the image. Further, the process of specifying the type of the target object 10 may be performed by a computer other than the work type identification device 2000. FIG. In this case, the work type identification device 2000 acquires information indicating the type of the target object 10 and the like from this computer.
  • each target region 12 when a plurality of target regions 12 are set for one object, the type and material of each target region 12 may differ.
  • the types of the target region 12 include a tabletop and a support. Therefore, the type and the like may be determined for each target region 12 instead of for each target object 10 .
  • ⁇ Method 2 Use of discriminative model>>
  • a learned discrimination model hereinafter referred to as work type discrimination model
  • the work type identification model is learned in advance so as to output a label indicating the type of wiping work in response to input of temperature time series data.
  • Any type of model that can handle time-series data such as RNN (Recurrent Neural Network), can be used as the work type identification model.
  • the learning of the work type identification model is performed using multiple training data that have time-series data of the temperature of the area as input data and labels that represent the types of wiping work as correct labels.
  • training data such as "input data: time-series data of temperature in areas where wiping work is not performed, correct label: no wiping work"
  • the work type identification model is able to identify the areas where wiping work is not performed. You may be able to identify that.
  • the identification unit 2040 acquires a label representing the type of wiping work from the work type identification model by inputting the temperature data string 40 into the work type identification model. The identification unit 2040 then identifies the type of wiping work indicated by the acquired label as the type of wiping work performed on the target region 12 . Note that when a label indicating that no wiping work has been performed is output, the identification unit 2040 identifies that the target area 12 has not been wiped.
  • the type of the target object 10 and the target area 12 may be taken into consideration, as in the case of using the feature amount.
  • a work type identification model is prepared for each type of target object 10 and target area 12 .
  • training data is prepared for each type of target object 10 and target region 12, and each work type identification model is learned.
  • the identification unit 2040 identifies a work type identification model corresponding to the type of the target object 10 or the target area 12 whose temperature change is represented by the partial data string 50, and identifies the work type identification model for the partial data. Enter column 50.
  • data indicating the types of the target object 10 and the target area 12 may be included in the input data of the work type identification model.
  • the input data includes data indicating the types of the target object 10 and the target region 12 during learning.
  • a discriminative model is trained.
  • the work type identification device 2000 is used to monitor whether tables are being wiped with alcohol in stores such as restaurants and food courts where eating and drinking is performed. Therefore, each table is treated as the target object 10 . Also, the table is divided into a plurality of areas, and each area is treated as a target area 12 . Then, for each table, the type of wiping work is specified for all target areas 12 included in the table. Each table is determined to have been wiped with alcohol when the type of wipe performed is identified as alcohol wipe for all target areas 12 included in the table. In addition to the table, chairs, floors, and the like may also be treated as objects of the wiping operation.
  • FIG. 6 is a diagram illustrating a screen output by the work type identification device 2000.
  • the screen in FIG. 6 is called a browsing screen 100.
  • FIG. In the work type identification device 2000 a functional configuration unit that outputs the browsing screen 100 and a notification to be described later is called an output unit (not shown).
  • the browsing screen 100 shows a display (hereinafter referred to as a state display) indicating whether or not each table 60 should be wiped with alcohol.
  • the dot-patterned state display 70 indicates a state in which alcohol wiping is not necessary (a state in which alcohol wiping has already been performed).
  • the hatched state display 80 indicates a state in which alcohol wiping is required. Either one of the state display 70 and the state display 80 may not be displayed.
  • the images such as the table 60 displayed on the viewing screen 100 may be images obtained by imaging the actual store, or may be images simulating the store such as a floor plan of the store. There may be. In the former case, an image obtained from a video camera capturing the store in real time may be used, or an image of the store captured by a video camera in the past may be used.
  • the work type identification device 2000 sets the state of all the tables 60 to a state requiring alcohol wiping before the store opens. Therefore, status display 80 is displayed for all tables 60 .
  • the work type identification device 2000 After that, while the store is open, the work type identification device 2000 repeatedly determines whether or not each table 60 has been wiped with alcohol. Specifically, when it is identified that alcohol wiping has been performed on any of the target areas 12 included in the table 60, the work type identification device 2000 determines that the table 60 has been wiped with alcohol. judge. Then, the work type identification device 2000 displays a state display 70 superimposed on the table 60 indicating that alcohol wiping is not necessary. In addition, the work type identification device 2000 records the time when alcohol wiping was performed for each table 60 .
  • alcohol wiping is specified as the type of wiping work for only some, but not all, of the target regions 12 included in the table 60 .
  • This is considered to be a situation in which a part of the table 60 is not wiped with alcohol.
  • the clerk in charge of wiping the table 60 believes that the alcohol wiping has been correctly completed. Therefore, it is preferable that the store clerk can grasp that alcohol wiping was not properly performed.
  • the work type identification device 2000 may change the status display of such a table 60 to display that an incomplete wiping work has been performed.
  • the clerk can not only know whether or not each table 60 needs to be wiped with alcohol, but also can know that he or another clerk has performed an incomplete wiping operation.
  • the situation in which an incomplete wiping operation is performed includes not only the situation in which alcohol wiping is performed only on a part of the target area 12 included in the table 60 as described above, but also the situation in which the entire table 60 is wiped dry. and a situation in which wet wiping was performed may be included.
  • the work type identification device 2000 repeatedly determines whether or not a predetermined reset condition is satisfied for each table 60 .
  • the reset condition is a condition that is satisfied when the state of the table 60 is a state requiring alcohol wiping.
  • the work type identification device 2000 changes the display of the table 60 for which the reset condition is satisfied to the status display 80 .
  • the reset condition is the condition that "table 60 has been used". This is because when the table 60 is used by a customer or the like, the table 60 needs to be wiped with alcohol before the next customer uses the table 60 .
  • the state display 80 is superimposed on the table 60-5 because the reset condition is satisfied. Also, the label "used" is displayed to indicate that the reset condition has been applied.
  • the use of the table 60 can be detected, for example, by analyzing the image captured by a video camera installed to monitor the inside of the store.
  • the table 60 is used in situations such as 1) an object is placed on the table 60, 2) a person sits on a chair provided together with the table 60, or 3) the table 60 or the chair moves. situation.
  • the reset condition is that "a predetermined amount of time has passed since the table 60 was wiped with alcohol last time".
  • the table 60 can be periodically wiped with alcohol.
  • the state display 80 is superimposed on the table 60-4 because the reset condition is satisfied.
  • a label "predetermined time elapsed" indicating that the reset condition has been applied is displayed. It should be noted that the time at which alcohol wiping was performed last time is recorded by the work type identification device 2000 as described above.
  • multiple reset conditions may be used.
  • the status display of the table 60 may be changed, or only when all the reset conditions for the table 60 are satisfied, the The state display of the table 60 may be changed.
  • the browsing screen 100 can be displayed on any display device.
  • a display device on which the browsing screen 100 is displayed is provided at a position where customers and clerks can browse. By doing so, the customer can easily grasp the table that has been properly wiped with alcohol, so that the customer can use the store with peace of mind. Also, a store clerk who performs wiping work at a store can easily grasp the table to be wiped with alcohol by viewing this display device.
  • the browsing screen 100 may be provided as a screen of an application or website that can be used on a mobile terminal or the like.
  • the customer or store clerk can view the viewing screen 100 using their own mobile terminal or the like.
  • the work type identification device 2000 provides a notification that the table 60 can be grasped on the clerk's mobile terminal, the cash register terminal, or in the backyard of the store. You can send it to a PC etc. By doing so, the store clerk can easily grasp that there is a table 60 to be wiped with alcohol and which table 60 should be wiped with alcohol.
  • a display that enables the user to grasp the target area 12 determined not to have been wiped or the target area 12 determined to have been wiped with something other than alcohol may be displayed.
  • the state display 80 instead of displaying the state display 80 so as to cover the entire table 60 as in the example of FIG.
  • the state display 80 is displayed so as to do so.
  • display using the temperature data string 40 may be performed together with the display of the state display 70 or the state display 80, or instead of the display of the state display 70 or the state display 80.
  • a thermal camera is used as the temperature sensor 30
  • a thermal image generated by the thermal camera is displayed on the viewing screen 100 .
  • a thermal image obtained from the thermal camera is superimposed and displayed on the table 60 corresponding to the thermal camera.
  • Non-transitory computer readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic recording media (e.g., floppy disks, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical discs), CD-ROMs, CD-Rs, CD-Rs /W, including semiconductor memory (e.g. mask ROM, PROM (programmable ROM), EPROM (erasable PROM), flash ROM, RAM).
  • the program may also be provided to the computer on various types of transitory computer readable medium. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer-readable media can deliver the program to the computer via wired channels, such as wires and optical fibers, or wireless channels.
  • Appendix 1 Acquisition means for acquiring a temperature data string representing temporal change in temperature of a target area of a target object to be wiped; and identification means for identifying the type of wiping work performed on the target area based on the temporal change in the temperature of the target area indicated by the temperature data string.
  • Appendix 2 The work type identification device according to appendix 1, wherein the types of wiping work include at least two of wiping work performed using alcohol, wet wiping, and dry wiping.
  • the storage unit stores in advance a feature amount of time-series data representing temporal changes in the temperature of the area where the type of wiping work is performed,
  • the identification means extracts a feature amount from the time-series data included in the obtained temperature data string, and a degree of similarity between the extracted feature amount and the feature amount stored in the storage unit for each type of wiping work. 3.
  • the work type identification device according to appendix 1 or 2 wherein the type of wiping work performed on the target area is identified based on.
  • Appendix 4 3.
  • the identification means is a model trained to output data representing the type of wiping work performed on an area of the object in response to input of data representing a time change in temperature of the area of the object; 3.
  • the work type identification device according to appendix 1 or 2 wherein the type of wiping work performed on the target area is identified by inputting time-series data included in the acquired temperature data string into the model.
  • the model is provided for each type or material of the target object or the target region, or The work type identification device according to appendix 5, wherein the data input to the model includes data representing the type or material of the target object or target region.
  • the acquisition means acquires the temperature data string for each of the plurality of target objects,
  • the identifying means identifies, for each of the plurality of target objects, a type of wiping work performed on the target area of the target object; 7.
  • a control method implemented by a computer comprising: an acquiring step of acquiring a temperature data string representing temporal changes in temperature of a target area of a target object to be wiped; and a identifying step of identifying the type of wiping operation performed on the target area based on the change in temperature of the target area over time indicated by the temperature data string.
  • Appendix 9 9. The control method according to appendix 8, wherein the types of wiping operations include at least two of wiping operations performed using alcohol, wet wiping, and dry wiping.
  • the storage unit stores in advance a feature amount of time-series data representing temporal changes in the temperature of the area where the type of wiping work is performed, In the identification step, a feature amount is extracted from the time-series data included in the acquired temperature data string, and a degree of similarity between the extracted feature amount and the feature amount stored in the storage unit for each type of wiping work. 10.
  • the control method according to appendix 10 wherein the feature amount stored in the storage unit is determined for each type or material of the target object or target region.
  • the computer has a model trained to output data representing the type of wiping operation performed on an area of the object in response to input of data representing changes in temperature of the area of the object over time. death, 10.
  • the model is provided for each type or material of the target object or the target region, or 13.
  • the control method according to appendix 12, wherein the data input to the model includes data representing the type or material of the target object or target region.
  • Appendix 14 obtaining the temperature data string for each of the plurality of target objects in the obtaining step; In the identification step, for each of the plurality of target objects, the type of wiping work performed on the target area of the target object is specified; 14.
  • Appendix 15 an acquiring step of acquiring a temperature data string representing temporal changes in temperature of a target area of a target object to be wiped; a program for causing a computer to execute an identifying step of identifying the type of wiping work performed on the target area based on the temporal change in the temperature of the target area indicated by the temperature data string; non-transitory computer-readable medium.
  • Appendix 16 16. The computer-readable medium of Clause 15, wherein the types of wiping include at least two of alcoholic wiping, wet wiping, and dry wiping.
  • the storage unit stores in advance a feature amount of time-series data representing temporal changes in the temperature of the area where the type of wiping work is performed, In the identification step, a feature amount is extracted from the time-series data included in the acquired temperature data string, and a degree of similarity between the extracted feature amount and the feature amount stored in the storage unit for each type of wiping work. 17.
  • the computer-readable medium of Clause 15 or 16 wherein the type of wiping operation performed on the target area is determined based on.
  • Appendix 18 18. The computer-readable medium according to appendix 17, wherein the feature quantity stored in the storage unit is determined for each type or material of the target object or target region.
  • Appendix 19 including a model trained to output data representing the type of wiping performed on an area of the object in response to input of data representing changes in temperature over time of an area of the object; 17.
  • computer readable medium (Appendix 20)
  • the model is provided for each type or material of the target object or the target region, or 20.
  • the computer-readable medium of Clause 19, wherein data input to the model includes data representing a type or material of the target object or target region.
  • Appendix 21 obtaining the temperature data string for each of the plurality of target objects in the obtaining step; In the identification step, for each of the plurality of target objects, the type of wiping work performed on the target area of the target object is specified; 21.

Abstract

作業種類識別装置（２０００）は、拭き作業が行われる対象物体（１０）の対象領域（１２）について、その対象領域（１２）の温度の時間変化を表す温度データ列（４０）を取得する。作業種類識別装置（２０００）は、温度データ列（４０）によって示されている対象領域（１２）の温度の時間変化に基づいて、対象領域（１２）に対して行われた拭き作業の種類を特定する。

Description

作業種類識別装置、制御方法、及び非一時的なコンピュータ可読媒体
　本開示は、作業に関する解析を行う技術に関する。
　様々な施設において、除菌作業や清掃作業などが行われている。そして、このような作業をサポートするシステムが開発されている。例えば特許文献１は、テーブル上にプレートやコップなどが残っていることや、椅子が使用されていないことなどを検出することで、清掃すべき場所の存在を検出する技術を開示している。
特表２０１２－５２８３７３号公報
　除菌や清掃の作業の一つとして、拭き作業がある。しかしながら、特許文献１では、拭き作業については言及されていない。本発明はこの課題に鑑みてなされたものであり、その目的の一つは、拭き作業に関する解析を行う新たな技術を提供することである。
　本開示の作業種類識別装置は、拭き作業が行われる対象物体の対象領域について、その対象領域の温度の時間変化を表す温度データ列を取得する取得手段と、前記温度データ列によって示されている前記対象領域の温度の時間変化に基づいて、前記対象領域に対して行われた拭き作業の種類を特定する識別手段と、を有する。
　本開示の制御方法は、コンピュータによって実行される。当該制御方法は、拭き作業が行われる対象物体の対象領域について、その対象領域の温度の時間変化を表す温度データ列を取得する取得ステップと、前記温度データ列によって示されている前記対象領域の温度の時間変化に基づいて、前記対象領域に対して行われた拭き作業の種類を特定する識別ステップと、を有する。
　本開示のコンピュータ可読媒体は、本開示の制御方法をコンピュータに実行させるプログラムを格納している。
　本開示によれば、拭き作業に関する解析を行う新たな技術が提供される。
実施形態１の作業種類識別装置の動作の概要を例示する図である。 実施形態１の作業種類識別装置の機能構成を例示するブロック図である。 作業種類識別装置を実現するコンピュータのハードウエア構成を例示するブロック図である。 実施形態１の作業種類識別装置によって実行される処理の流れを例示するフローチャートである。 温度データ列と部分データ列の関係を例示する図である。 作業種類識別装置によって出力される画面を例示する図である。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、特に説明しない限り、所定値や閾値などといった予め定められている情報は、その情報を利用する装置からアクセス可能な記憶装置などに予め格納されている。
　図１は、実施形態１の作業種類識別装置２０００の動作の概要を例示する図である。ここで、図１は、作業種類識別装置２０００の概要の理解を容易にするための図であり、作業種類識別装置２０００の動作は、図１に示したものに限定されない。
　作業種類識別装置２０００は、対象物体１０の対象領域１２に対して行われた拭き作業の種類を判定する。対象物体１０は、壁、テーブル、又は床などのように、拭き作業の対象となる任意の物体である。対象領域１２は、対象物体１０の表面上の領域である。対象領域１２は、対象物体１０の表面の領域全体であってもよいし、対象物体１０の表面の一部の領域であってもよい。後者の場合、例えば、対象物体１０の表面が所定の基準で複数の領域に分割され、当該複数の領域それぞれが対象領域１２として扱われる。図１の例では、テーブルが対象物体１０であり、テーブルの天板が１２個の対象領域１２に分割されている。
　対象領域１２に対しては、複数種類の拭き作業が行われうる。拭き作業の種類としては、アルコール拭き、水拭き、及び乾拭きなどが考えられる。アルコール拭きは、アルコールを利用して行われる拭き作業である。例えばアルコール拭きは、アルコールを含む消毒剤を対象領域１２に吹き付け、布などで対象領域１２を拭く作業である。水拭きは、水を利用して行われる拭き作業である。例えば水拭きは、水を対象領域１２に吹き付け、布などで対象領域１２を拭く作業や、水で濡らした布などで対象領域１２を拭く作業である。なお、アルコールの含有率が基準より少ない消毒剤を利用した拭き作業は、アルコール拭きではなく水拭きに分類されてもよい。乾拭きは、乾いた布で対象領域１２を拭く作業である。
　例えば作業種類識別装置２０００は、対象領域１２に対し、前述した３種類の拭き作業のうち、どの種類の拭き作業が行われたのかを特定する。その他にも例えば、対象領域１２に対して行われる可能性がある拭き作業として、これら３種類の拭き作業のうちのいずれか２つが扱われてもよい。この場合、例えば作業種類識別装置２０００は、対象領域１２に対して行われた拭き作業がアルコール拭きと水拭きのどちらであるのかを特定したり、対象領域１２に対して行われた拭き作業が水拭きと乾拭きのどちらであるのかを特定したりする。
　作業種類識別装置２０００は、対象領域１２の温度の時間変化に基づいて、対象領域１２に対して行われた拭き作業の種類を特定する。例えば、アルコールを吹き付けた対象領域１２と水を吹き付けた対象領域１２では、その温度の時間変化に違いがあると考えられる。そこで、このような対象領域１２の温度の時間変化の違いに基づいて、拭き作業の種類の特定が行われる。
　上述した特定を行うため、作業種類識別装置２０００は、対象領域１２の温度の時間変化を表す温度データ列４０を取得する。温度データ列４０は、特定の時点における対象領域１２の温度を示す温度データ４２を、複数の時点それぞれについて示す時系列データである。温度データ４２は、対象領域１２の温度を温度センサ３０で計測することによって得られる。例えば温度センサ３０は、画角内の物体における温度の分布を得ることができるサーマルカメラである。サーマルカメラは、例えば、赤外線カメラなどで実現される。
　例えば温度センサ３０は、対象領域１２の温度の測定を定期的に繰り返す。その結果、複数の時点それぞれについて、対象領域１２の温度を特定可能な温度データ４２が得られる。なお、温度データ４２は、特定の時点における絶対的な温度を示してもよいし、前回測定された温度との差分を示してもよい。温度データ列４０は、このようにして得られた複数の温度データ４２を時系列で示す。
　作業種類識別装置２０００は、温度データ列４０で表される対象領域１２の温度の時間変化に基づいて、対象領域１２に対して行われた拭き作業の種類を特定する。その具体的な特定の方法については後述する。
＜作用効果の一例＞
　本実施形態の作業種類識別装置２０００によれば、拭き作業の対象である対象物体１０の対象領域１２について、その温度の時間変化を表す温度データ列４０が取得される。そして、温度データ列４０を利用して、対象領域１２に対して行われた拭き作業の種類が特定される。このようにすることで、対象領域１２に対して行われた拭き作業の種類を容易に把握することができる。
　ここで、どの種類の拭き作業が行われたかを把握する別の方法として、人手によるチェックや作業者による自己申告によって把握する方法が考えられる。しかしながらこれらの方法では、チェックや申告に手間がかかる。また、作業者がアルコール拭きをするつもりで誤って水拭きをした場合などのように、作業に誤りが生じたことを把握することが難しい。この点、作業種類識別装置２０００によれば、コンピュータによって自動的に拭き作業の種類が特定されるため、人手でチェックや申告を行う場合のように余分な手間がかからない。また、作業者が誤った拭き作業を行った場合に、それを検出することができる。
　以下、本実施形態の作業種類識別装置２０００について、より詳細に説明する。
＜機能構成の例＞
　図２は、実施形態１の作業種類識別装置２０００の機能構成を例示するブロック図である。作業種類識別装置２０００は、取得部２０２０及び識別部２０４０を有する。取得部２０２０は、対象物体１０の対象領域１２における温度の時間変化を表す温度データ列４０を取得する。識別部２０４０は、温度データ列４０によって表される対象領域１２の温度の時間変化に基づいて、対象領域１２に対して行われた拭き作業の種類を特定する。
＜ハードウエア構成の例＞
　作業種類識別装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、作業種類識別装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
　図３は、作業種類識別装置２０００を実現するコンピュータ５００のハードウエア構成を例示するブロック図である。コンピュータ５００は、任意のコンピュータである。例えばコンピュータ５００は、PC（Personal Computer）やサーバマシンなどといった、据え置き型のコンピュータである。その他にも例えば、コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータである。コンピュータ５００は、作業種類識別装置２０００を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。
　例えば、コンピュータ５００に対して所定のアプリケーションをインストールすることにより、コンピュータ５００で、作業種類識別装置２０００の各機能が実現される。上記アプリケーションは、作業種類識別装置２０００の各機能構成部を実現するためのプログラムで構成される。なお、上記プログラムの取得方法は任意である。例えば、当該プログラムが格納されている記憶媒体（DVD ディスクや USB メモリなど）から、当該プログラムを取得することができる。その他にも例えば、当該プログラムが格納されている記憶装置を管理しているサーバ装置から、当該プログラムをダウンロードすることにより、当該プログラムを取得することができる。
　コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ５０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ５０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス５０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。
　入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
　ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。例えばコンピュータ５００は、ネットワークを介して温度センサ３０と通信可能に接続されている。ただし、コンピュータ５００は、温度センサ３０によって生成された温度データ列４０を何らかの方法で取得できればよく、温度センサ３０と通信可能に接続されていなくてもよい。
　ストレージデバイス５０８は、作業種類識別装置２０００の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、作業種類識別装置２０００の各機能構成部を実現する。
　作業種類識別装置２０００は、１つのコンピュータ５００で実現されてもよいし、複数のコンピュータ５００で実現されてもよい。後者の場合において、各コンピュータ５００の構成は同一である必要はなく、それぞれ異なるものとすることができる。
＜処理の流れ＞
　図４は、実施形態１の作業種類識別装置２０００によって実行される処理の流れを例示するフローチャートである。取得部２０２０は、温度データ列４０を取得する（Ｓ１０２）。識別部２０４０は、温度データ列４０を用いて、対象領域１２に対して行われた拭き作業の種類を特定する（Ｓ１０４）。
＜温度データ列４０について＞
　前述したように、温度データ列４０は、温度データ４２の時系列データである。温度データ４２は、特定の時点における対象領域１２の温度を示す。温度データ４２は、温度センサ３０によって生成される。
　ここで、温度センサ３０は、複数の領域それぞれについて温度の測定を行ってもよい。例えばサーマルカメラは、その画角に含まれる物体の温度分布を表す熱画像を生成する。熱画像の各画素は、その画素に対応する物体上の領域の温度を表す。
　ここで、１つの対象領域１２が熱画像の複数の画素にまたがる場合もありうる。この場合、対象領域１２の温度は、その対象領域１２に対応する複数の画素のいずれか１つ以上によって表されている温度を利用して特定される。例えば対象領域１２の温度は、その対象領域１２に対応する複数の画素によって表される温度の統計値（平均値、中央値、最頻値、最小値、又は最大値など）として特定される。その他にも例えば、対象領域１２に対応する複数の画像のうち、対象領域１２の温度を表すものとして利用する１つの画素（以下、代表画素）を予め定めておく。この場合、対象領域１２に対応する代表画素によって表されている温度が、その対象領域１２の温度として扱われる。なお、熱画像上の画素と対象領域１２との対応付けは、予め定めておく。
＜温度データ列４０の取得：Ｓ１０２＞
　取得部２０２０は温度データ列４０を取得する（Ｓ１０２）。取得部２０２０が温度データ列４０を取得する方法は様々である。例えば温度センサ３０が、温度の測定を行って温度データ４２を生成し、その温度データ４２を記憶部に格納するとする。この場合、取得部２０２０は、上記記憶部に対して繰り返しアクセスすることで、上記記憶部に新たに格納された温度データ４２を取得する。このように温度センサ３０によって生成された温度データ４２を複数取得することにより、温度データ列４０を取得することができる。ただし、取得部２０２０は、記憶部に格納された複数の温度データ４２をまとめて取得することにより、一度のアクセスで温度データ列４０を取得してもよい。
　その他にも例えば、温度センサ３０が、作業種類識別装置２０００に対して温度データ４２を送信するように構成されていてもよい。この場合、取得部２０２０は、取得した複数の温度データ４２で構成される温度データ列４０を得ることができる。なお、温度センサ３０は、複数の温度データ４２をまとめて作業種類識別装置２０００に対して送信することにより、温度データ列４０を作業種類識別装置２０００に対して一度に送信してもよい。
　ここで、温度センサ３０が前述したサーマルカメラなどである場合、複数の領域それぞれについて温度を測定しうる。この場合、例えば取得部２０２０は、温度センサ３０によって生成されたデータから、対象領域１２の温度を表すデータを抽出する。例えば前述したように、サーマルカメラによって熱画像が生成される場合、取得部２０２０は、当該熱画像に示される画像のうち、対象領域１２に対応する画素を利用して、温度データ４２を取得する。例えば対象領域１２が熱画像の１つの画素に対応する場合、取得部２０２０は、その画像によって表される温度の値を、温度データ４２として取得する。その他にも例えば、対象領域１２が熱画像の複数の画素にまたがる場合、取得部２０２０は、前述したように、それら複数の画素によって表される温度の統計値や代表画素によって表される温度の値を、温度データ４２として取得する。
　なお、対象領域１２として扱うべき領域が複数ある場合（複数の対象領域１２それぞれについて拭き作業の種類の特定が行われる場合）、取得部２０２０は、対象領域１２ごとに、その対象領域１２に対応する熱画像の画素を抽出することで、各対象領域１２についての温度データ４２を取得する。ただし、対象領域１２として扱うべき全ての領域の温度を１つの温度センサ３０で測定する必要はなく、複数の温度センサ３０が利用されてもよい。
＜拭き作業の種類の特定：Ｓ１０４＞
　識別部２０４０は、温度データ列４０を利用して、対象領域１２に対して行われた拭き作業の種類を特定する（Ｓ１０４）。例えば識別部２０４０は、温度データ列４０から、所定の長さごとの複数の部分データ列を抽出し、部分データ列ごとに、その部分データ列に対応する時間に対象領域１２に対して行われた拭き作業の種類を特定する。なお、隣接する部分データ列はその一部が互いに重複していてもよい。
　図５は、温度データ列４０と部分データ列５０の関係を例示する図である。図５において、部分データ列５０は w 秒間の温度変化を表す。また、部分データ列５０の抽出の開始位置は、s 秒の幅でスライドされている。すなわち、ｉ番目の部分データ列５０は、温度データ列４０に含まれる温度データ４２のうち、時点 s*(i-1) から時点 s*(i-1)+w までの温度データ４２によって構成される時系列データである。なお、ここでいう時点は、温度データ列４０に含まれる最初の温度データ４２の測定時点を０とする相対時点である。
　ただし、識別部２０４０は、温度データ列４０から部分データ列５０を抽出せず、温度データ列４０全体によって表される期間に行われた拭き作業の種類を特定してもよい。例えば、対象領域１２に対して拭き作業が行われたことを検出し、当該拭き作業の開始時点又はそれに近い時点から所定の長さ（例えば図５における w）の期間の温度データ列４０が、取得部２０２０によって取得されるようにする。この場合、温度データ列４０全体が、図５における部分データ列５０と同様の長さの時系列データとなる。対象領域１２に対して拭き作業が行われたことは、例えば、対象領域１２を撮像する映像カメラから得られるビデオデータを利用して検出することができる。
　以下、拭き作業の種類を特定する方法について具体例をいくつか例示する。以下では、説明を簡単にするため、部分データ列５０を利用して拭き作業の種類を特定するケースについて説明する。温度データ列４０全体によって表される期間に行われた拭き作業の種類を特定するケースでは、部分データ列５０の代わりに温度データ列４０が利用される。
＜＜方法１：特徴量の比較＞＞
　この方法では、拭き作業の種類ごとに予め、その種類の拭き作業が行われた領域の温度の時系列データについて特徴量を定めておく。すなわち、「拭き作業の種類、拭かれた領域の温度の時系列データの特徴量」という対応付けを予め作成しておく。例えば、アルコール拭きと水拭きでは、拭き始めに温度が低下し、その後に温度が上昇していくと考えられる。一方、乾拭きでは、温度があまり変化しないと考えられる。また、アルコールは水と比較して早く蒸発するため、アルコール拭きの場合の温度変化は、水拭きの場合の温度変化よりも早いと考えられる。言い換えれば、アルコール拭きされた領域の方が、水拭きされた領域よりも早く常温に戻ると考えられる。このように、拭かれた領域における温度の時間変化の特徴は、拭き作業の種類によって異なると考えられる。よって、拭き作業の種類ごとに、温度の時系列データの特徴量を定めることができる。
　識別部２０４０は、部分データ列５０から特徴量を抽出し、抽出した特徴量と、各種類の拭き作業について予め定められている特徴量との類似度を算出する。そして、識別部２０４０は、部分データ列５０から抽出された特徴量との類似度が最も高い特徴量に対応する拭き作業の種類を、対象領域１２に対して行われた拭き作業の種類として特定する。
　識別部２０４０は、算出した類似度のうち、最も高い類似度が閾値以下である場合（言い換えれば、いずれの種類の拭き作業に対応する特徴量も、部分データ列５０から得られた特徴量との類似度が低い場合）、拭き作業が行われていないと判定してもよい。例えば、温度センサ３０を利用して対象領域１２の温度を常に測定している場合、拭き作業が行われていない期間についての温度のデータも温度データ列４０に含まれることになる。そこで、識別部２０４０は、温度データ列４０から得られる複数の部分データ列５０について拭き作業の種類の特定を行うことにより、各部分データ列５０について、１）拭き作業が行われた期間に対応する部分データ列５０であるか否か、２）拭き作業が行われた期間に対応する部分データ列５０であれば、その拭き作業の種類は何か、という２つのことを特定することができる。
　拭かれた領域における温度の時系列データの特徴量は、対象物体１０の種類ごとに定められていてもよい。例えば特徴量は、テーブル、椅子、フローリング、及び壁などといった対象物体１０の種類ごとに定められる。その他にも例えば、特徴量は、木やコンクリートなどのように、対象物体１０の材質ごとに定められてもよい。対象物体１０の種類ごとに特徴量を定める場合、「物体の種類、拭き作業の種類、拭かれた領域の温度の時系列データの特徴量」という対応付けを予め定めておく。また、対象物体１０の材質ごとに特徴量を定める場合、「物体の材質、拭き作業の種類、拭かれた領域の温度の時系列データの特徴量」という対応付けを予め定めておく。識別部２０４０は、対象物体１０の種類や材質（以下、種類等）を特定し、特定した種類や材質に対応づけられている特徴量を利用する。
　対象物体１０の種類等は、作業種類識別装置２０００のユーザによって指定されてもよいし、作業種類識別装置２０００によって自動で特定されてもよい。後者の場合、例えば作業種類識別装置２０００は、映像カメラ（スチルカメラやビデオカメラ）を用いて対象物体１０を撮像することで得られた画像を解析することで、対象物体１０の種類等を特定する。なお、画像を利用することで、画像に含まれる物体の種類等を識別する技術には、既存の技術を利用することができる。また、対象物体１０の種類等を特定する処理は、作業種類識別装置２０００以外のコンピュータによって行われてもよい。この場合、作業種類識別装置２０００は、このコンピュータから、対象物体１０の種類等を示す情報を取得する。
　なお、１つの物体に複数の対象領域１２が設定されている場合、対象領域１２ごとに種類や材質などが異なる可能性もある。例えば対象物体１０がテーブルである場合、対象領域１２の種類としては、天板や支柱などがある。そのため、種類等は、対象物体１０ごとではなく、対象領域１２ごとに定められてもよい。
＜＜方法２：識別モデルの利用＞＞
　この方法では、学習済みの識別モデル（以下、作業種類識別モデル）が利用される。作業種類識別モデルは、温度の時系列データが入力されたことに応じ、拭き作業の種類を示すラベルを出力するように、予め学習されている。作業種類識別モデルには、RNN（Recurrent Neural Network）など、時系列データを扱うことができる任意の種類のモデルを利用することができる。
　作業種類識別モデルの学習は、領域の温度の時系列データを入力データとして持ち、拭き作業の種類を表すラベルを正解のラベルとして持つ訓練データを複数利用して行われる。なお、「入力データ：拭き作業が行われていない領域の温度の時系列データ、正解ラベル：拭き作業なし」といった訓練データも利用することにより、作業種類識別モデルが、拭き作業が行われていないことを識別できるようにしてもよい。
　識別部２０４０は、温度データ列４０を作業種類識別モデルに入力することで、作業種類識別モデルから、拭き作業の種類を表すラベルを取得する。そして、識別部２０４０は、取得したラベルで表される拭き作業の種類を、対象領域１２に対して行われた拭き作業の種類として特定する。なお、拭き作業が行われていないことを表すラベルが出力された場合、識別部２０４０は、対象領域１２に対して拭き作業が行われていないことを特定する。
　特徴量を利用するケースと同様に、作業種類識別モデルを利用するケースでも、対象物体１０や対象領域１２の種類等が考慮されてもよい。例えば、対象物体１０や対象領域１２の種類等ごとに、作業種類識別モデルを用意しておく。この場合、対象物体１０や対象領域１２の種類等ごとに訓練データを用意し、各作業種類識別モデルの学習が行われる。識別部２０４０は、部分データ列５０によってその温度変化が表されている対象物体１０や対象領域１２の種類等に対応する作業種類識別モデルを特定し、その作業種類識別モデルに対して、部分データ列５０を入力する。
　その他にも例えば、対象物体１０や対象領域１２の種類等を示すデータを、作業種類識別モデルの入力データに含めるようにしてもよい。この場合、学習の際にも、入力データに対象物体１０や対象領域１２の種類等を示すデータが含まれることとなるため、これらを考慮して拭き作業の種類を識別するように、作業種類識別モデルの学習が行われる。
＜作業種類識別装置２０００の利用シーンの例＞
　以下、作業種類識別装置２０００の理解をより容易にするために、作業種類識別装置２０００の利用シーンの具体例を説明する。なお、以下で説明するのはあくまで利用シーンの例であり、作業種類識別装置２０００の利用シーンは以下で説明する例に限定されない。
　例えば作業種類識別装置２０００は、レストランやフードコートなどといった飲食が行われる店舗において、テーブルに対してアルコール拭きが行われているかどうかを監視するために利用される。そこで、各テーブルが対象物体１０として扱われる。また、テーブルを複数の領域に分割し、各領域が対象領域１２として扱われる。そして、各テーブルについて、そのテーブルに含まれる全ての対象領域１２について、拭き作業の種類の特定が行われる。各テーブルは、そのテーブルに含まれる全ての対象領域１２について、行われた拭き作業の種類がアルコール拭きであると特定された場合に、アルコール拭きが行われたと判定される。なお、テーブルだけでなく、椅子や床などがさらに拭き作業の対象として扱われてもよい。
　図６は、作業種類識別装置２０００によって出力される画面を例示する図である。図６の画面を、閲覧画面１００と呼ぶ。なお、作業種類識別装置２０００において、閲覧画面１００の出力や、後述する通知の出力を行う機能構成部を、出力部と呼ぶ（図示せず）。閲覧画面１００は、各テーブル６０について、アルコール拭きを行うべき状態であるか否かを表す表示（以下、状態表示）を示す。ドット柄の状態表示７０は、アルコール拭きを行う必要がない状態（アルコール拭きが既に行われた状態）を表す。一方、斜線柄の状態表示８０は、アルコール拭きを行う必要がある状態を表す。なお、状態表示７０と状態表示８０のいずれか一方については、表示しないようにしてもよい。
　ここで、閲覧画面１００に表示されているテーブル６０などの画像は、実際の店舗を撮像することで得られた画像であってもよいし、店舗の見取り図などのように店舗を模した画像であってもよい。前者の場合、リアルタイムで店舗を撮影している映像カメラから得られる画像が利用されてもよいし、過去に映像カメラによって撮像された店舗の画像が利用されてもよい。
　例えば作業種類識別装置２０００は、店舗の開店前に、全てのテーブル６０の状態を、アルコール拭きを行う必要がある状態に設定する。そのため、全てのテーブル６０について、状態表示８０が表示される。
　その後、作業種類識別装置２０００は、店舗が開いている間、各テーブル６０について、アルコール拭きが行われたか否かの判定を繰り返し行う。具体的には、作業種類識別装置２０００は、テーブル６０に含まれる全ての対象領域１２いずれについても、アルコール拭きが行われたことが特定されたら、そのテーブル６０に対してアルコール拭きが行われたと判定する。そして、作業種類識別装置２０００は、そのテーブル６０に重畳するように、アルコール拭きを行う必要がないことを表す状態表示７０を表示させる。また、作業種類識別装置２０００は、テーブル６０ごとに、アルコール拭きが行われた時刻を記録しておく。
　ここで、テーブル６０に含まれる対象領域１２のうち、全てではなく一部の対象領域１２についてのみ、拭き作業の種類としてアルコール拭きが特定されたとする。これは、テーブル６０の一部については、アルコール拭きが行われていない状況であると考えられる。このような状況の場合、テーブル６０の拭き作業を担当する店員は、アルコール拭きを正しく完了したと思い込んでいる蓋然性が高い。そのため、アルコール拭きが正しく行えていなかったことを店員が把握できるようにすることが好ましい。
　そこで例えば、作業種類識別装置２０００は、このようなテーブル６０についての状態表示を、不完全な拭き作業が行われたことを表す表示に変更してもよい。こうすることで、店員は、各テーブル６０についてアルコール拭きが必要か否かを把握できるだけでなく、自身や他の店員によって不完全な拭き作業が行われたことを把握することができるようになる。なお、不完全な拭き作業が行われた状況には、前述したようにテーブル６０に含まれる一部の対象領域１２のみアルコール拭きが行われた状況だけでなく、テーブル６０の全体に対して乾拭きや水拭きが行われた状況が含まれてもよい。
　さらに作業種類識別装置２０００は、店舗が開いている間、各テーブル６０について、所定のリセット条件が満たされているか否かを繰り返し判定する。リセット条件は、テーブル６０の状態が、アルコール拭きを行う必要がある状態である場合に満たされる条件である。作業種類識別装置２０００は、リセット条件が満たされたテーブル６０については、その表示を状態表示８０に変更する。
　例えばリセット条件は、「テーブル６０が使用された」という条件である。顧客などによってテーブル６０が使用された場合、次の顧客がそのテーブル６０を使用する前に、そのテーブル６０に対してアルコール拭きを行う必要があるためである。例えば図６の例において、テーブル６０－５は、このリセット条件が満たされたことにより、状態表示８０が重畳されている。また、当該リセット条件が適用されたことを表す「使用済み」というラベルが表示されている。
　テーブル６０が使用されたことは、例えば、店舗内を監視するために設けられている映像カメラの映像を解析することで検出することができる。例えば、１）テーブル６０に物が置かれた、２）テーブル６０とセットで設けられている椅子に人が座った、３）テーブル６０や椅子が動いたなどといった状況が、テーブル６０が使用された状況として扱われる。
　その他にも例えば、リセット条件は、「テーブル６０に対して前回アルコール拭きが行われた時刻から所定の時間が経過した」という条件である。このようなリセット条件を利用することで、テーブル６０に対して定期的にアルコール拭きが行われるようにすることができる。例えば図６の例において、テーブル６０－４は、このリセット条件が満たされたことにより、状態表示８０が重畳されている。また、当該リセット条件が適用されたことを表す「所定時間経過」というラベルが表示されている。なお、前回アルコール拭きが行われた時刻は、前述したように、作業種類識別装置２０００によって記録されている。
　ここで、複数のリセット条件が利用されてもよい。この場合、テーブル６０について複数のリセット条件のいずれか１つが満たされたら、そのテーブル６０の状態表示を変更するようにしてもよいし、テーブル６０について全てのリセット条件が満たされた場合のみ、そのテーブル６０の状態表示を変更するようにしてもよい。
　閲覧画面１００は、任意のディスプレイ装置に表示することができる。例えば、店舗において、顧客や店員が閲覧できる位置に、閲覧画面１００が表示されるディスプレイ装置を設けておく。このようすることで、顧客は、アルコール拭きが正しく行われているテーブルを容易に把握することができるため、安心して店舗を利用することができる。また、店舗で拭き作業を行う店員も、このディスプレイ装置を閲覧することで、アルコール拭きを行うべきテーブルを容易に把握することができる。
　その他にも例えば、閲覧画面１００は、携帯端末などで利用可能なアプリケーションやウェブサイトの画面として提供されてもよい。この場合、顧客や店員は、自身が利用する携帯端末などで、閲覧画面１００を閲覧することができる。
　また、アルコール拭きが必要な状態のテーブル６０がある場合、作業種類識別装置２０００は、そのテーブル６０を把握可能な通知を、店員の携帯端末、レジ端末、又は店舗のバックヤードに設けられている PC などに送信してもよい。このようにすることで、店員は、アルコール拭きをすべきテーブル６０があること、及びどのテーブル６０についてアルコール拭きをすべきかを、容易に把握することができる。
　閲覧画面１００において、拭き作業が行われていないと判定された対象領域１２、又はアルコール拭き以外の拭き作業が行われたと判定された対象領域１２を把握可能な表示が行われてもよい。例えば、図６の例のように、テーブル６０全体を覆うように状態表示８０を表示する代わりに、作業種類識別装置２０００は、拭き作業が行われていないと判定された対象領域１２のみに重畳するように、状態表示８０を表示させる。
　また、閲覧画面１００では、状態表示７０や状態表示８０の表示と共に、又は、状態表示７０や状態表示８０の表示に代えて、温度データ列４０を用いた表示が行われてもよい。例えば温度センサ３０としてサーマルカメラが利用される場合、サーマルカメラによって生成された熱画像を、閲覧画面１００上に表示する。例えばテーブル６０ごとに１つのサーマルカメラが利用される場合、サーマルカメラから得られる熱画像を、そのサーマルカメラに対応するテーブル６０に重畳して表示させる。このような表示を用いることにより、閲覧画面１００を閲覧することで、各テーブル６０の温度の状態を視認することができる。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　なお、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、CD-ROM、CD-R、CD-R/W、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　拭き作業が行われる対象物体の対象領域について、その対象領域の温度の時間変化を表す温度データ列を取得する取得手段と、
　前記温度データ列によって示されている前記対象領域の温度の時間変化に基づいて、前記対象領域に対して行われた拭き作業の種類を特定する識別手段と、を有する作業種類識別装置。
　（付記２）
　拭き作業の種類には、アルコールを利用して行われた拭き作業、水拭き、及び乾拭きのうちの少なくとも２つが含まれる、付記１に記載の作業種類識別装置。
　（付記３）
　各種類の拭き作業について、その種類の拭き作業が行われた領域の温度の時間変化を表す時系列データの特徴量が予め記憶部に格納されており、
　前記識別手段は、前記取得した温度データ列に含まれる時系列データから特徴量を抽出し、前記抽出した特徴量と各種類の拭き作業について前記記憶部に格納されている特徴量との類似度合いに基づいて、前記対象領域に対して行われた拭き作業の種類を特定する、付記１又は２に記載の作業種類識別装置。
　（付記４）
　前記記憶部に格納されている特徴量は、前記対象物体又は前記対象領域の種類又は材質ごとに定められている、付記３に記載の作業種類識別装置。
　（付記５）
　前記識別手段は、
　　物体の領域の温度の時間変化を表すデータが入力されたことに応じて、その領域に対して行われた拭き作業の種類を表すデータを出力するように学習されたモデルを有し、
　　前記取得した温度データ列に含まれる時系列データを前記モデルに入力することで、前記対象領域に対して行われた拭き作業の種類を特定する、付記１又は２に記載の作業種類識別装置。
　（付記６）
　前記モデルは、前記対象物体又は前記対象領域の種類又は材質ごとに設けられているか、又は、
　前記モデルに対して入力されるデータには、前記対象物体又は前記対象領域の種類又は材質を表すデータが含まれる、付記５に記載の作業種類識別装置。
　（付記７）
　前記取得手段は、複数の前記対象物体それぞれについて、前記温度データ列を取得し、
　前記識別手段は、複数の前記対象物体それぞれについて、その対象物体の前記対象領域に対して行われた拭き作業の種類を特定し、
　各前記対象物体に対して特定の種類の拭き作業が行われたか否かを把握可能な表示を、前記対象物体を表す画像と共に出力する出力手段を有する、付記１から６いずれか一項に記載の作業種類識別装置。
　（付記８）
　コンピュータによって実行される制御方法であって、
　拭き作業が行われる対象物体の対象領域について、その対象領域の温度の時間変化を表す温度データ列を取得する取得ステップと、
　前記温度データ列によって示されている前記対象領域の温度の時間変化に基づいて、前記対象領域に対して行われた拭き作業の種類を特定する識別ステップと、を有する制御方法。
　（付記９）
　拭き作業の種類には、アルコールを利用して行われた拭き作業、水拭き、及び乾拭きのうちの少なくとも２つが含まれる、付記８に記載の制御方法。
　（付記１０）
　各種類の拭き作業について、その種類の拭き作業が行われた領域の温度の時間変化を表す時系列データの特徴量が予め記憶部に格納されており、
　前記識別ステップにおいて、前記取得した温度データ列に含まれる時系列データから特徴量を抽出し、前記抽出した特徴量と各種類の拭き作業について前記記憶部に格納されている特徴量との類似度合いに基づいて、前記対象領域に対して行われた拭き作業の種類を特定する、付記８又は９に記載の制御方法。
　（付記１１）
　前記記憶部に格納されている特徴量は、前記対象物体又は前記対象領域の種類又は材質ごとに定められている、付記１０に記載の制御方法。
　（付記１２）
　前記コンピュータは、物体の領域の温度の時間変化を表すデータが入力されたことに応じて、その領域に対して行われた拭き作業の種類を表すデータを出力するように学習されたモデルを有し、
　前記識別ステップにおいて、前記取得した温度データ列に含まれる時系列データを前記モデルに入力することで、前記対象領域に対して行われた拭き作業の種類を特定する、付記８又は９に記載の制御方法。
　（付記１３）
　前記モデルは、前記対象物体又は前記対象領域の種類又は材質ごとに設けられているか、又は、
　前記モデルに対して入力されるデータには、前記対象物体又は前記対象領域の種類又は材質を表すデータが含まれる、付記１２に記載の制御方法。
　（付記１４）
　前記取得ステップにおいて、複数の前記対象物体それぞれについて、前記温度データ列を取得し、
　前記識別ステップにおいて、複数の前記対象物体それぞれについて、その対象物体の前記対象領域に対して行われた拭き作業の種類を特定し、
　各前記対象物体に対して特定の種類の拭き作業が行われたか否かを把握可能な表示を、前記対象物体を表す画像と共に出力する出力ステップを有する、付記８から１３いずれか一項に記載の制御方法。
　（付記１５）
　拭き作業が行われる対象物体の対象領域について、その対象領域の温度の時間変化を表す温度データ列を取得する取得ステップと、
　前記温度データ列によって示されている前記対象領域の温度の時間変化に基づいて、前記対象領域に対して行われた拭き作業の種類を特定する識別ステップと、をコンピュータに実行させるプログラムが格納されている非一時的なコンピュータ可読媒体。
　（付記１６）
　拭き作業の種類には、アルコールを利用して行われた拭き作業、水拭き、及び乾拭きのうちの少なくとも２つが含まれる、付記１５に記載のコンピュータ可読媒体。
　（付記１７）
　各種類の拭き作業について、その種類の拭き作業が行われた領域の温度の時間変化を表す時系列データの特徴量が予め記憶部に格納されており、
　前記識別ステップにおいて、前記取得した温度データ列に含まれる時系列データから特徴量を抽出し、前記抽出した特徴量と各種類の拭き作業について前記記憶部に格納されている特徴量との類似度合いに基づいて、前記対象領域に対して行われた拭き作業の種類を特定する、付記１５又は１６に記載のコンピュータ可読媒体。
　（付記１８）
　前記記憶部に格納されている特徴量は、前記対象物体又は前記対象領域の種類又は材質ごとに定められている、付記１７に記載のコンピュータ可読媒体。
　（付記１９）
　物体の領域の温度の時間変化を表すデータが入力されたことに応じて、その領域に対して行われた拭き作業の種類を表すデータを出力するように学習されたモデルが含まれており、
　前記識別ステップにおいて、前記取得した温度データ列に含まれる時系列データを前記モデルに入力することで、前記対象領域に対して行われた拭き作業の種類を特定する、付記１５又は１６に記載のコンピュータ可読媒体。
　（付記２０）
　前記モデルは、前記対象物体又は前記対象領域の種類又は材質ごとに設けられているか、又は、
　前記モデルに対して入力されるデータには、前記対象物体又は前記対象領域の種類又は材質を表すデータが含まれる、付記１９に記載のコンピュータ可読媒体。
　（付記２１）
　前記取得ステップにおいて、複数の前記対象物体それぞれについて、前記温度データ列を取得し、
　前記識別ステップにおいて、複数の前記対象物体それぞれについて、その対象物体の前記対象領域に対して行われた拭き作業の種類を特定し、
　各前記対象物体に対して特定の種類の拭き作業が行われたか否かを把握可能な表示を、前記対象物体を表す画像と共に出力する出力ステップを有する、付記１５から２０いずれか一項に記載のコンピュータ可読媒体。
　この出願は、２０２１年２月１６日に出願された日本出願特願２０２１－０２２８５４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０　　　　　　対象物体
１２　　　　　　対象領域
３０　　　　　　温度センサ
４０　　　　　　温度データ列
４２　　　　　　温度データ
５０　　　　　　部分データ列
６０　　　　　　テーブル
７０　　　　　　状態表示
８０　　　　　　状態表示
１００　　　　　　閲覧画面
５００　　　　　　コンピュータ
５０２　　　　　　バス
５０４　　　　　　プロセッサ
５０６　　　　　　メモリ
５０８　　　　　　ストレージデバイス
５１０　　　　　　入出力インタフェース
５１２　　　　　　ネットワークインタフェース
２０００　　　　　作業種類識別装置
２０２０　　　　　取得部
２０４０　　　　　識別部

Claims (21)

  1. 　拭き作業が行われる対象物体の対象領域について、その対象領域の温度の時間変化を表す温度データ列を取得する取得手段と、
    　前記温度データ列によって示されている前記対象領域の温度の時間変化に基づいて、前記対象領域に対して行われた拭き作業の種類を特定する識別手段と、を有する作業種類識別装置。
  2. 　拭き作業の種類には、アルコールを利用して行われた拭き作業、水拭き、及び乾拭きのうちの少なくとも２つが含まれる、請求項１に記載の作業種類識別装置。
  3. 　各種類の拭き作業について、その種類の拭き作業が行われた領域の温度の時間変化を表す時系列データの特徴量が予め記憶部に格納されており、
    　前記識別手段は、前記取得した温度データ列に含まれる時系列データから特徴量を抽出し、前記抽出した特徴量と各種類の拭き作業について前記記憶部に格納されている特徴量との類似度合いに基づいて、前記対象領域に対して行われた拭き作業の種類を特定する、請求項１又は２に記載の作業種類識別装置。
  4. 　前記記憶部に格納されている特徴量は、前記対象物体又は前記対象領域の種類又は材質ごとに定められている、請求項３に記載の作業種類識別装置。
  5. 　前記識別手段は、
    　　物体の領域の温度の時間変化を表すデータが入力されたことに応じて、その領域に対して行われた拭き作業の種類を表すデータを出力するように学習されたモデルを有し、
    　　前記取得した温度データ列に含まれる時系列データを前記モデルに入力することで、前記対象領域に対して行われた拭き作業の種類を特定する、請求項１又は２に記載の作業種類識別装置。
  6. 　前記モデルは、前記対象物体又は前記対象領域の種類又は材質ごとに設けられているか、又は、
    　前記モデルに対して入力されるデータには、前記対象物体又は前記対象領域の種類又は材質を表すデータが含まれる、請求項５に記載の作業種類識別装置。
  7. 　前記取得手段は、複数の前記対象物体それぞれについて、前記温度データ列を取得し、
    　前記識別手段は、複数の前記対象物体それぞれについて、その対象物体の前記対象領域に対して行われた拭き作業の種類を特定し、
    　各前記対象物体に対して特定の種類の拭き作業が行われたか否かを把握可能な表示を、前記対象物体を表す画像と共に出力する出力手段を有する、請求項１から６いずれか一項に記載の作業種類識別装置。
  8. 　コンピュータによって実行される制御方法であって、
    　拭き作業が行われる対象物体の対象領域について、その対象領域の温度の時間変化を表す温度データ列を取得する取得ステップと、
    　前記温度データ列によって示されている前記対象領域の温度の時間変化に基づいて、前記対象領域に対して行われた拭き作業の種類を特定する識別ステップと、を有する制御方法。
  9. 　拭き作業の種類には、アルコールを利用して行われた拭き作業、水拭き、及び乾拭きのうちの少なくとも２つが含まれる、請求項８に記載の制御方法。
  10. 　各種類の拭き作業について、その種類の拭き作業が行われた領域の温度の時間変化を表す時系列データの特徴量が予め記憶部に格納されており、
    　前記識別ステップにおいて、前記取得した温度データ列に含まれる時系列データから特徴量を抽出し、前記抽出した特徴量と各種類の拭き作業について前記記憶部に格納されている特徴量との類似度合いに基づいて、前記対象領域に対して行われた拭き作業の種類を特定する、請求項８又は９に記載の制御方法。
  11. 　前記記憶部に格納されている特徴量は、前記対象物体又は前記対象領域の種類又は材質ごとに定められている、請求項１０に記載の制御方法。
  12. 　前記コンピュータは、物体の領域の温度の時間変化を表すデータが入力されたことに応じて、その領域に対して行われた拭き作業の種類を表すデータを出力するように学習されたモデルを有し、
    　前記識別ステップにおいて、前記取得した温度データ列に含まれる時系列データを前記モデルに入力することで、前記対象領域に対して行われた拭き作業の種類を特定する、請求項８又は９に記載の制御方法。
  13. 　前記モデルは、前記対象物体又は前記対象領域の種類又は材質ごとに設けられているか、又は、
    　前記モデルに対して入力されるデータには、前記対象物体又は前記対象領域の種類又は材質を表すデータが含まれる、請求項１２に記載の制御方法。
  14. 　前記取得ステップにおいて、複数の前記対象物体それぞれについて、前記温度データ列を取得し、
    　前記識別ステップにおいて、複数の前記対象物体それぞれについて、その対象物体の前記対象領域に対して行われた拭き作業の種類を特定し、
    　各前記対象物体に対して特定の種類の拭き作業が行われたか否かを把握可能な表示を、前記対象物体を表す画像と共に出力する出力ステップを有する、請求項８から１３いずれか一項に記載の制御方法。
  15. 　拭き作業が行われる対象物体の対象領域について、その対象領域の温度の時間変化を表す温度データ列を取得する取得ステップと、
    　前記温度データ列によって示されている前記対象領域の温度の時間変化に基づいて、前記対象領域に対して行われた拭き作業の種類を特定する識別ステップと、をコンピュータに実行させるプログラムが格納されている非一時的なコンピュータ可読媒体。
  16. 　拭き作業の種類には、アルコールを利用して行われた拭き作業、水拭き、及び乾拭きのうちの少なくとも２つが含まれる、請求項１５に記載のコンピュータ可読媒体。
  17. 　各種類の拭き作業について、その種類の拭き作業が行われた領域の温度の時間変化を表す時系列データの特徴量が予め記憶部に格納されており、
    　前記識別ステップにおいて、前記取得した温度データ列に含まれる時系列データから特徴量を抽出し、前記抽出した特徴量と各種類の拭き作業について前記記憶部に格納されている特徴量との類似度合いに基づいて、前記対象領域に対して行われた拭き作業の種類を特定する、請求項１５又は１６に記載のコンピュータ可読媒体。
  18. 　前記記憶部に格納されている特徴量は、前記対象物体又は前記対象領域の種類又は材質ごとに定められている、請求項１７に記載のコンピュータ可読媒体。
  19. 　物体の領域の温度の時間変化を表すデータが入力されたことに応じて、その領域に対して行われた拭き作業の種類を表すデータを出力するように学習されたモデルが含まれており、
    　前記識別ステップにおいて、前記取得した温度データ列に含まれる時系列データを前記モデルに入力することで、前記対象領域に対して行われた拭き作業の種類を特定する、請求項１５又は１６に記載のコンピュータ可読媒体。
  20. 　前記モデルは、前記対象物体又は前記対象領域の種類又は材質ごとに設けられているか、又は、
    　前記モデルに対して入力されるデータには、前記対象物体又は前記対象領域の種類又は材質を表すデータが含まれる、請求項１９に記載のコンピュータ可読媒体。
  21. 　前記取得ステップにおいて、複数の前記対象物体それぞれについて、前記温度データ列を取得し、
    　前記識別ステップにおいて、複数の前記対象物体それぞれについて、その対象物体の前記対象領域に対して行われた拭き作業の種類を特定し、
    　各前記対象物体に対して特定の種類の拭き作業が行われたか否かを把握可能な表示を、前記対象物体を表す画像と共に出力する出力ステップを有する、請求項１５から２０いずれか一項に記載のコンピュータ可読媒体。
PCT/JP2022/000264 2021-02-16 2022-01-06 作業種類識別装置、制御方法、及び非一時的なコンピュータ可読媒体 WO2022176424A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023500607A JPWO2022176424A5 (ja) 2022-01-06 作業種類識別装置、制御方法、及びプログラム
US18/275,994 US20240100210A1 (en) 2021-02-16 2022-01-06 Work type identification apparatus, control method, and non-transitory computer readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-022854 2021-02-16
JP2021022854 2021-02-16

Publications (1)

Publication Number Publication Date
WO2022176424A1 true WO2022176424A1 (ja) 2022-08-25

Family

ID=82930690

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000264 WO2022176424A1 (ja) 2021-02-16 2022-01-06 作業種類識別装置、制御方法、及び非一時的なコンピュータ可読媒体

Country Status (2)

Country Link
US (1) US20240100210A1 (ja)
WO (1) WO2022176424A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011105001A1 (de) * 2011-06-22 2012-08-23 Daimler Ag Verfahren zum Betreiben einer Scheibenwischanlage eines Fahrzeugs und Scheibenwischanlage
CN109099359A (zh) * 2018-06-29 2018-12-28 东莞市闻誉实业有限公司 自清洁灯具及其使用方法
US20190365170A1 (en) * 2016-12-21 2019-12-05 Service-Konzepte MM AG Autonomous domestic appliance and seating or reclining furniture as well as domestic appliance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011105001A1 (de) * 2011-06-22 2012-08-23 Daimler Ag Verfahren zum Betreiben einer Scheibenwischanlage eines Fahrzeugs und Scheibenwischanlage
US20190365170A1 (en) * 2016-12-21 2019-12-05 Service-Konzepte MM AG Autonomous domestic appliance and seating or reclining furniture as well as domestic appliance
CN109099359A (zh) * 2018-06-29 2018-12-28 东莞市闻誉实业有限公司 自清洁灯具及其使用方法

Also Published As

Publication number Publication date
US20240100210A1 (en) 2024-03-28
JPWO2022176424A1 (ja) 2022-08-25

Similar Documents

Publication Publication Date Title
US9613518B2 (en) Methods and systems for monitoring hand washing
JP5632512B1 (ja) 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置
US20170330208A1 (en) Customer service monitoring device, customer service monitoring system, and customer service monitoring method
TWI778030B (zh) 店鋪裝置、店鋪管理方法及程式
JP5728871B2 (ja) 移動管理システム、情報処理装置、移動管理方法、プログラム
JP6648508B2 (ja) 購買行動分析プログラム、購買行動分析方法、及び購買行動分析装置
JP5879616B1 (ja) 活動状況分析システム、活動状況分析装置、活動状況分析方法、活動状況分析プログラムおよびそのプログラムを格納する記憶媒体
JP6145850B2 (ja) 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
US10186005B2 (en) Facility utilization measurement apparatus, facility utilization measurement system, and facility utilization measurement method
US20230000302A1 (en) Cleaning area estimation device and method for estimating cleaning area
KR101577751B1 (ko) 정보 관리를 위한 장치 및 방법
CN111310733A (zh) 基于监控视频的人员进出检测方法、装置和设备
TW201246111A (en) Information processing device, method and program
JP6565639B2 (ja) 情報表示プログラム、情報表示方法、及び情報表示装置
WO2022176424A1 (ja) 作業種類識別装置、制御方法、及び非一時的なコンピュータ可読媒体
JP7081310B2 (ja) 行動分析装置、行動分析システム、行動分析方法、プログラムおよび記録媒体
JP6847881B2 (ja) 空席情報提供システム、サーバ、空席情報提供方法およびプログラム
RU2756780C1 (ru) Система и способ формирования отчетов на основании анализа местоположения и взаимодействия сотрудников и посетителей
CN109636268B (zh) 一种货品监控系统、方法、装置、电子设备和存储设备
JP2023054824A (ja) 食品廃棄時期管理装置、食品廃棄時期管理システム、および食品廃棄時期管理方法
US20220192561A1 (en) Information processing system, information processing method, and information processing apparatus
US20230168119A1 (en) Footfall detection method and apparatus
JP7010030B2 (ja) 店内監視装置、店内監視方法、および店内監視プログラム
JP7329967B2 (ja) 画像処理装置、システム、画像処理装置の制御方法、及び、プログラム
JP2017102564A (ja) 表示制御プログラム、表示制御方法、及び表示制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22755750

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18275994

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023500607

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22755750

Country of ref document: EP

Kind code of ref document: A1