WO2023080219A1 - プログラム、作業着、システム及び方法 - Google Patents

プログラム、作業着、システム及び方法 Download PDF

Info

Publication number
WO2023080219A1
WO2023080219A1 PCT/JP2022/041256 JP2022041256W WO2023080219A1 WO 2023080219 A1 WO2023080219 A1 WO 2023080219A1 JP 2022041256 W JP2022041256 W JP 2022041256W WO 2023080219 A1 WO2023080219 A1 WO 2023080219A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
identification information
identification
dimensional barcode
imaging
Prior art date
Application number
PCT/JP2022/041256
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Publication of WO2023080219A1 publication Critical patent/WO2023080219A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/077—Constructional details, e.g. mounting of circuits in the carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms

Definitions

  • the present disclosure relates to programs, work clothes, systems and methods.
  • a technology (optical expression motion capture) exists. Also, for the same purpose as optical motion capture, there is a technology that measures the three-dimensional shape and position of the human body using a LiDAR (Light Detection and Ranging) scanner.
  • LiDAR Light Detection and Ranging
  • Patent Document 1 As technologies related to the above-described technologies, there are technologies disclosed in Patent Document 1 and Patent Document 2, for example.
  • US Pat. No. 6,200,020 the present disclosure relates to a method, computer program product, and computer system for commanding a robot to prepare a food dish by replacing the movements and actions of a human chef; 1 has the step of monitoring a human chef, which is carried out in a standardized robotic kitchen and prepares the same dish in terms of standard and quality as the dish prepared by the human chef to a robot or automated system in the robotic kitchen. Observing, monitoring, recording, and interpreting human chef motions and actions using sensors and computers to develop robot executable command sets that are robust to fluctuations and changes in the environment that can be adjusted to Techniques involving steps are disclosed.
  • Patent Document 2 based on the signal emitted by the signal transmitter previously worn by the staff in the medical field, the position of this signal transmitter is measured and the staff wearing the signal transmitter is identified. and calculating the position of the signal transmitter on the image based on the measured position of the signal transmitter, and identifying the staff wearing the signal transmitter in correspondence with the calculated position.
  • a technique for superimposing and displaying information to be displayed on the image is disclosed.
  • the present disclosure has been made to solve the above problems, and its object is to provide a program, work clothes, system and method that can monitor the behavior of medical staff with good accuracy and at low cost. That's what it is.
  • a program for operating a computer having a processor in a behavior analysis system having a computer and an imaging device instructs the processor to receive imaging information from an imaging device that has captured an image of a predetermined area including a worker wearing work clothes having at least one identification marker including a two-dimensional bar code attached at a predetermined location; a step of identifying a two-dimensional barcode contained in the imaging information, determining a specific part of the worker corresponding to the identified two-dimensional barcode; and the step of calculating .
  • FIG. 10 shows a surgical gown;
  • FIG. 10 is a diagram showing an identification marker;
  • It is a figure which shows the data structure of a database.
  • It is a figure which shows the data structure of a database.
  • It is a figure which shows the data structure of a database.
  • It is a figure which shows the data structure of a database.
  • It is a flowchart which shows an example of the processing flow in a system.
  • FIG. 4 is a schematic diagram showing another example of a screen displayed on the monitor device;
  • FIG. 10 is a schematic diagram showing yet another example of a screen displayed on the monitor device;
  • a "processor” is one or more processors.
  • the at least one processor is typically a microprocessor such as a CPU (Central Processing Unit), but may be another type of processor such as a GPU (Graphics Processing Unit).
  • At least one processor may be single-core or multi-core.
  • At least one processor may be a broadly defined processor such as a hardware circuit that performs part or all of the processing (for example, FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit)).
  • FPGA Field-Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the expression "xxx table” may be used to describe information that produces an output for an input. It may be a learning model such as a generated neural network. Therefore, the “xxx table” can be called “xxx information”.
  • each table is an example, and one table may be divided into two or more tables, or all or part of two or more tables may be one table. good.
  • processing may be described using the term “program” as the subject.
  • the subject of processing may be a processor (or a device, such as a controller, having that processor).
  • the program may be installed on a device such as a computer, or may be, for example, on a program distribution server or computer-readable (eg, non-temporary) recording medium. Also, in the following description, two or more programs may be implemented as one program, and one program may be implemented as two or more programs.
  • identification numbers are used as identification information of various objects, but identification information of types other than identification numbers (for example, identifiers containing alphabetic characters and symbols) may be adopted.
  • control lines and information lines indicate those that are considered necessary for the explanation, and not all the control lines and information lines are necessarily shown on the product. All configurations may be interconnected.
  • FIG. 1 is a diagram showing the overall configuration of a behavior analysis system 1 according to the present disclosure.
  • a behavior analysis system 1 of the present disclosure is a system for analyzing the behavior of medical workers including doctors in, for example, an operating room of a hospital.
  • the behavior of the worker targeted by the behavior analysis system 1 of the present disclosure is not limited to the behavior of medical staff.
  • the present invention can be suitably applied to a system for analyzing the behavior of workers who need to analyze and reproduce behavior such as the behavior of workers in factories and the behavior of carriers in shipping companies.
  • a plurality of imaging devices 31 are installed at predetermined locations (the ceiling of the operating room 30 in FIG. 1) in a working room such as the operating room 30 where medical workers work.
  • the installation position, imaging direction, angle of view, and the like of the imaging device 31 are set so that a predetermined imaging region (preferably, the entire operating room 30) in the operating room 30 can be imaged.
  • the imaging device 31 is positioned so that a medical worker 32 working in the operating room 30 works within the imaging area of a plurality of imaging devices 31 (preferably three or more imaging devices 31).
  • an imaging direction and an angle of view are set.
  • a medical worker 32 who works in the operating room 30 wears work clothes typified by the operating clothes 33 .
  • a plurality of identification markers 34 including two-dimensional barcodes are provided on the outer surface of the surgical gown 33 .
  • identification information representing a specific part of the medical worker 32, such as the head, elbow, etc. is embedded.
  • the two-dimensional barcode of at least one identification marker 34 includes personal identification information for identifying the medical worker 32, such as the medical worker 32 The name, affiliation, etc. of the person are embedded.
  • the imaging device 31 images the inside of the operating room 30 including the medical staff 32 working in the operating room 30 .
  • Imaging information (imaging data) acquired by the imaging device 31 as a result of imaging operation by the imaging device 31 is sent to the behavior analysis device 10 via the edge server 20 and the network 80 .
  • the behavior analysis device 10 Upon receiving the imaging information from the imaging device 31, the behavior analysis device 10 identifies the two-dimensional barcode included in the identification marker 34 from this imaging information, and extracts the identification information included in this two-dimensional barcode. Next, the behavior analysis device 10 determines the specific part of the medical staff 32 linked to this identification information, and the positional information of this specific part in the operating room 30 (preferably, the 3 provided in the operating room 30). coordinate values in a dimensional coordinate space), and based on this position information, the trajectory of the movement of each part of the body of the medical worker 32 is specified. Then, the behavior analysis device 10 outputs the trajectory of each part of the body of the medical worker 32 as the behavior information of the medical worker 32 .
  • the behavior analysis device 10 may be provided in the same building as the building having the operating room 30 in which the imaging device 31 is installed, or may be provided outside the building.
  • FIG. 2 is a block diagram showing an example of the overall configuration of the behavior analysis system 1.
  • the behavior analysis system 1 shown in FIG. 2 includes, for example, a behavior analysis device 10, an edge server 20, an imaging device 31, and a monitor device 21.
  • the behavior analysis device 10, the edge server 20, and the monitor device 21 are connected for communication via a network 80, for example.
  • FIG. 2 shows an example in which the behavior analysis system 1 includes four imaging devices 31, the number of imaging devices 31 included in the behavior analysis system 1 is not limited to four.
  • a single behavior analysis device 10 may be an aggregate of a plurality of devices. How to distribute a plurality of functions required for realizing the behavior analysis device 10 according to this embodiment to one or more pieces of hardware depends on the processing capacity of each piece of hardware and/or the behavior analysis device 10. It can be determined as appropriate in view of the specifications and the like.
  • the behavior analysis device 10 analyzes imaging information acquired from the imaging device 31 .
  • the behavior analysis device 10 analyzes the imaging information acquired from the imaging device 31 to calculate positional information for each specific part of the medical staff 32 working in the operating room 30 for each predetermined time period. , the trajectory of each part of the body of the medical worker 32 is specified, and this trajectory is output as behavior information.
  • the behavior analysis device 10 is implemented by a computer connected to the network 80, for example. As shown in FIG. 1 , behavior analysis device 10 includes communication IF 12 , input/output IF 13 , memory 15 , storage 16 , and processor 19 .
  • the communication IF 12 is an interface for inputting and outputting signals so that the behavior analysis device 10 communicates with devices within the system 1 such as the monitor device 21, for example.
  • the input/output IF 13 functions as an interface with an input device for receiving input operations from the user and an output device for presenting information to the user.
  • the memory 15 is for temporarily storing programs, data processed by the programs, etc., and is, for example, a volatile memory such as a DRAM.
  • the storage 16 is for storing data, such as flash memory and HDD.
  • the processor 19 is hardware for executing an instruction set described in a program, and is composed of arithmetic units, registers, peripheral circuits, and the like.
  • the edge server 20 receives information transmitted from the imaging device 31 and transmits the received information to the behavior analysis device 10 .
  • the edge server 20 also transmits information acquired from the behavior analysis device 10 to the imaging device 31 .
  • Information acquired from the behavior analysis device 10 includes, for example, information for updating settings of the imaging device 31 .
  • the imaging device 31 is a device for receiving light with a light receiving element and outputting it as image data.
  • the imaging device 31 is, for example, a camera capable of capturing an image with a predetermined angle of view.
  • the imaging device 31 may be, for example, a camera capable of capturing a wide range of 360-degree images.
  • the imaging device 31 is realized by, for example, a super-wide-angle lens, a camera with a fish-eye lens, or the like.
  • the imaging device 31 is, for example, a camera installed in a room such as a working room such as an operating room 30 inside a building such as a hospital, and images an imaging area in the working room.
  • the imaging device 31 is installed on the ceiling of an office, a shared office, a gym, a hospital, a rehabilitation facility, a nursing facility, an educational facility, a childcare facility, or the like.
  • the imaging region is one room in the facility described above, or a predetermined region in one room.
  • a plurality of imaging devices 31 are installed. When a plurality of imaging devices 31 are installed, for example, the imaging regions of one imaging device 31 are installed so as to overlap each other. 31 can be imaged.
  • the imaging device 31 outputs the acquired imaging information (imaging data) to the edge server 20 .
  • the imaging device 31 may be a camera attached to another device.
  • the imaging device 31 may be, as other devices, a camera included in an air conditioner installed in a room such as a work room inside a building, a camera attached to a drone, or the like.
  • the imaging area may be the outdoors of a building, or the imaging area may change according to the movement of the imaging device 31 .
  • the monitor device 21 is a device for presenting information to the user, and includes a display, speakers, and the like.
  • the monitor device 21 is installed in a room such as a building where the imaging device 31 is installed.
  • FIG. 3 is a diagram showing an example of a functional configuration of the behavior analysis device 10. As shown in FIG. As shown in FIG. 3 , the behavior analysis device 10 functions as a communication section 101 , a storage section 102 and a control section 103 .
  • the communication unit 101 performs processing for the behavior analysis device 10 to communicate with an external device.
  • the storage unit 102 has, for example, an identification information database (DB) 1021, a position information DB 1022, an individual identification information DB 1023, a trajectory DB 1024, and the like.
  • DB identification information database
  • the identification information DB 1021 is a database that describes the relationship between the identification information embedded in the two-dimensional barcode and the specific parts of the worker (medical worker 32) linked to this identification information. Details will be described later.
  • the position information DB 1022 is a database for chronologically managing identification information and whether or not this identification information is positioned at the coordinates of the three-dimensional coordinate space defined in the work room (operating room 30). Details will be described later.
  • the personal identification information DB 1023 is a database that describes the relationship between the personal identification information embedded in the two-dimensional barcode and the personal information of the medical staff 32 linked to this personal identification information. Details will be described later.
  • the trajectory DB 1024 stores whether a specific part of a specific medical worker 32, which is specified by personal identification information and identification information, was located at the coordinates of a three-dimensional coordinate space defined in the work room (operating room 30), That is, it is a database for managing the trajectories of specific parts in time series.
  • the control unit 103 is implemented by the processor 19 reading a program stored in the storage unit 102 and executing instructions included in the program.
  • the control unit 103 operates according to programs to perform a reception control module 1031, a transmission control module 1032, an image data acquisition module 1033, an identification information extraction module 1034, a specific site determination module 1035, a position information calculation module 1036, and a trajectory calculation module 1037. , and the function shown as the behavior information calculation module 1038 .
  • the reception control module 1031 controls the process by which the behavior analysis device 10 receives signals from an external device according to the communication protocol.
  • the transmission control module 1032 controls the process of transmitting a signal from the behavior analysis device 10 to an external device according to the communication protocol.
  • the image data acquisition module 1033 acquires imaging information (imaging data) output from the imaging device 31 directly or via the edge server 20, and temporarily stores it in the storage unit 202 as image data. At this time, if the imaging device 31 is a camera with an ultra-wide-angle lens or the like, the image data acquisition module 1033 performs so-called ortho correction for correcting lens distortion on the image data acquired from the imaging device 31 .
  • the identification information extraction module 1034 analyzes the image data created by the image data acquisition module 1033 and detects the identification marker 34 included in this image data. Next, the identification information extraction module 1034 reads the content of the two-dimensional barcode included in the detected identification marker 34 and extracts identification information from this two-dimensional barcode. In addition, the identification information extraction module 1034 extracts the personal identification information if the two-dimensional barcode contains the personal identification information. These operations by the identification information extraction module 1034 do not have to be (or may be) performed each time image data is acquired, but considering the need to perform the trajectory specifying operation by the trajectory calculation module 1037 described later in real time as much as possible, It is preferable to perform it every (for example, every 1 second).
  • the detection method of the identification marker 34 by the identification information extraction module 1034 can be arbitrarily selected from well-known detection methods.
  • the two-dimensional bar code is a so-called QR code (registered trademark) defined in ISO/IEC 18004, the QR code has a pattern in which the same frequency component ratio is obtained in scanning lines that cross the center at all angles. are arranged at least two, usually three, of the four vertices of a substantially square area that constitutes the QR code (see: Japanese Patent No. 2867904, Japanese Patent No. 2938338 Such).
  • the identification information extraction module 1034 extracts a plurality of one-dimensional scanning data obtained by scanning the image data in a specific direction (for example, the horizontal direction of the image data) from the image data, and extracts the scanning data using a predetermined threshold value.
  • the binarized scanning data is searched for a signal string having a frequency component ratio unique to the clipped symbol. Then, when a pair of signal strings can be retrieved, the identification information extraction module 1034 determines that a QR code exists between these signal strings, and outputs image data of an area corresponding to the QR code as extracted image data.
  • the identification information extraction module 1034 may detect the identification marker 34 using a trained model.
  • a trained model is a model generated by having a machine learning model perform machine learning according to a model learning program.
  • a trained model is, for example, a synthetic function with parameters that is a combination of multiple functions that performs a predetermined inference based on input data.
  • a parameterized composite function is defined by a combination of multiple adjustable functions and parameters.
  • a trained model according to this embodiment may be any parameterized composite function that satisfies the above requirements.
  • the parameterized combination function can be, for example, a linear relationship between each layer using a weight matrix, a nonlinear relationship using an activation function in each layer (or linear relationship), and a combination of biases.
  • Weighting matrices and biases are called parameters of the multilayered network.
  • a parameterized composite function changes its form as a function depending on how the parameters are chosen. In a multi-layered network, by appropriately setting the constituent parameters, it is possible to define a function capable of outputting favorable results from the output layer.
  • a deep neural network which is a multilayered neural network targeted for deep learning
  • a convolution neural network CNN
  • CNN convolution neural network
  • a trained model is a model that has been trained so that when image data is input, it outputs predetermined information based on the input image data.
  • the trained models are, for example, different trained models trained with different learning data according to the information to be output.
  • the trained model when image data is input, the trained model is trained to extract an image of a predetermined area containing the target.
  • the trained model is trained using, for example, an image including a two-dimensional barcode as input data and the position of the two-dimensional barcode in the image as correct output data.
  • the trained model may be trained using a predetermined region including a target other than the two-dimensional barcode as the correct output data.
  • the trained model when image data is input, the trained model is trained to output information that estimates the target.
  • the trained model is trained using, for example, an image that can identify a target as input data, and information designating the target specified from the image as correct output data.
  • the identification information extraction module 1034 may detect the two-dimensional barcode using an object detection technique using so-called deep learning.
  • Object detection algorithms include Region Based Convolutional Neural Networks (R-CNN) (including Fast R-CNN, Faster R-CNN), YOLO (You Only Look Once), SSD (Single Shot Multibox Detector), etc.
  • the identification information extraction module 1034 outputs an image of a predetermined area including the two-dimensional barcode as extracted image data.
  • the extracted image data is, for example, data representing the position of an area in the image data, and is represented by, for example, pixel position information.
  • the identification information extraction module 1034 reads the content (code) of the two-dimensional barcode included in the extracted image data, and extracts identification information from the read content.
  • a method for reading the contents of a two-dimensional bar code may be based on the method disclosed in the above-mentioned patent publication, for example, in the case of a QR code.
  • the identification information extraction module 1034 extracts the personal identification information when the content read from the two-dimensional barcode contains the personal identification information.
  • the method for extracting personal identification information is the same as the method for extracting identification information described above. Details of the identification information and the personal identification information will be described later.
  • the specific part determination module 1035 is based on the identification information extracted by the identification information extraction module 1034 and the correspondence between the identification information and the specific part stored in the identification information DB 1021, and the medical worker indicated by the two-dimensional barcode. 32 specific parts are determined. Considering the need to perform the trajectory specifying operation by the trajectory calculation module 1037, which will be described later, in real time as much as possible, the operation of the specific part determination module 1035 is also preferably performed at predetermined intervals (for example, every second).
  • the position information calculation module 1036 calculates the position information of the specific part of the medical staff 32 based on the imaging position in the image data of the specific part of the medical staff 32 determined by the specific part determination module 1035 . At this time, the positional information calculation module 1036 calculates the positional information of the specific part of the medical staff 32 every predetermined time (for example, every second). This is to take into account the need to perform the trajectory specifying operation by the trajectory calculation module 1037, which will be described later, in real time as much as possible. Then, the position information calculation module 1036 writes the result of the calculated position information of the specific part to the position information DB 1022 .
  • the positional information of the specific part can be obtained from the imaging positions in the image data obtained from the plurality of imaging devices 31 because the positional information and the imaging area of the imaging devices 31 in the operating room 30 are predetermined.
  • the image data is data consisting of a plurality of pixels spread two-dimensionally
  • the identification information of the two-dimensional barcode linked to the specific site is included in any of the pixels. Therefore, by using the positional information of the imaging device 31 in the operating room 30 and the imaging area, the two-dimensional position of the pixel (the two-dimensional coordinate value of the pixel) can be projected onto the three-dimensional coordinate space where the operating room 30 is located. , the three-dimensional position (three-dimensional coordinate value) in the operating room 30 where the identification information exists can be obtained.
  • the same identification information is captured by a plurality of imaging devices 31, and the plurality of image data obtained from the plurality of imaging devices 31 is referred to. By doing so, it is possible to obtain the identification information and further the three-dimensional position (three-dimensional coordinate values) of the specific part of the medical staff 32 within the operating room 30 .
  • the trajectory calculation module 1037 identifies the trajectory of each part of the body of the medical staff 32 in the operating room 30 based on the positional information of the specific parts calculated by the positional information calculation module 1036 at predetermined time intervals. Preferably, the trajectory calculation module 1037 identifies a trajectory of a specific part of the medical worker 32 within the operating room 30 . The trajectory calculation module 1037 then writes information about the specified trajectory to the trajectory DB 1024 .
  • the positional information of the specific site for each predetermined time calculated by the positional information calculation module 1036 is a point group of three-dimensional coordinate values in the operating room 30, so the trajectory calculation module 1037 connects this point group ( or through the neighborhood).
  • a trajectory specifying method can be arbitrarily selected from well-known methods, but the simplest method is a method of specifying a trajectory consisting of a polygonal line, that is, connecting a point group in time series. Another method is to apply polynomial approximation to a point group using a curve fitting method and specify the result of this polynomial approximation as a trajectory.
  • One method of such curve fitting is the method of least squares.
  • the behavior information calculation module 1038 outputs behavior information of the medical staff 32 based on the trajectory of each part of the medical staff 32 specified by the trajectory calculation module 1037 .
  • the behavior information referred to here is, for example, the trajectory of the specific site specified by the trajectory calculation module 1037 collected in units of one medical worker 32 and regarded as the behavior of this medical worker 32 .
  • the behavior information calculation module 1038 may generate a skeletal model of the medical worker 32 based on the position information of the specific part, and output the movement of the skeleton that constitutes this skeletal model as behavior information.
  • the skeletal model used here does not have to be as detailed as the actual human body skeletal model, and may be as simple as a model comprising the spine, arms, and legs.
  • the behavior information calculation module 1038 outputs behavior information based on the skeletal model
  • the behavior information may be output in consideration of the relationship between the specific part and the skeletal model.
  • the identification marker 34 attached to 33 may have certain limitations. As an example, there are few common surgical gowns 33 of the type that cover the entire arm in consideration of securing workability and easiness of disinfection work. Therefore, it is difficult to attach the identification marker 34 to the surgical gown 33 near the fingers. Similarly, considering the imaging range of the imaging device 31, it is also difficult to attach the identification marker 34 to the foot of the medical worker 32.
  • the medical staff 32 performs various tasks in the operating room 30, and there may be a large number of devices such as beds and medical equipment in the operating room 30. Even if the marker 34 is attached, there is no guarantee that the imaging device 31 can reliably image the feet of the medical staff 32 or various devices. Therefore, the identification marker 34 attached to the surgical gown 33 may have certain limitations. On the other hand, it is preferable to increase the number of identification markers 34 attached to the surgical gown 33 in order to obtain the behavior information of the medical staff 32 as accurately as possible. Therefore, the behavior information calculation module 1038 considers the relationship between the specific part and the skeletal model, based on the skeletal model. Behavior information can also be calculated for a nearby location or a location close to the tip of the foot.
  • the behavior information calculation module 1038 refers to the personal identification information DB 1023 based on the personal identification information extracted by the identification information extraction module 1034, and refers to the identification information related to the same personal identification information.
  • the site trajectories are summarized as being the trajectory of a specific site for one healthcare worker 32 .
  • the trajectories of specific parts that match one skeletal model can be summarized as the trajectories of specific parts of one medical worker 32 .
  • FIGS. 6 to 9 are diagrams showing the data structure of the database stored in the behavior analysis device 10.
  • FIG. It should be noted that FIGS. 6 to 9 are examples and do not exclude data that are not shown.
  • FIG. 6 is a diagram showing the data structure of the identification information DB 1021.
  • each record of the identification information DB 1021 includes, for example, the item "identification information ID" and the item "specific part".
  • Information stored in the identification information DB 1021 is information registered in advance by an administrator or the like of the behavior analysis system 1 . Information stored in the identification information DB 1021 can be changed or updated as appropriate.
  • identification information ID indicates the identification information embedded in the two-dimensional barcode included in the identification marker 34.
  • specific part indicates the name of the specific part of the medical worker associated with the identification information ID. In the example shown in FIG. 6, the specific parts are “head”, “shoulders”, and “elbows”. The specific part may be set so that left and right can be grasped, such as “left shoulder”, “right shoulder”, “left elbow”, and “right elbow”.
  • FIG. 7 is a diagram showing the data structure of the location information DB 1022.
  • each record of the position information DB 1022 includes, for example, an item “identification information ID”, an item “detection time”, an item “X coordinate”, an item “Y coordinate”, and an item “Z coordinates”.
  • the item “detection time”, the item “X coordinate”, the item “Y coordinate”, and the item “Z coordinate” are information registered by the location information calculation module 1036. be.
  • Information stored in the position information DB 1022 can be changed or updated as appropriate.
  • the item “identification ID” indicates the identification information embedded in the two-dimensional barcode included in the identification marker 34.
  • the item “detection time” indicates information about the time when the position information (items “X coordinate” to “Z coordinate”) was detected.
  • the items “X coordinate” to “Z coordinate” respectively indicate three-dimensional coordinate values in the operating room 30, which are positional information of the detected specific site.
  • FIG. 8 is a diagram showing the data structure of the personal identification information DB 1023.
  • each record of the personal identification information DB 1023 includes, for example, the item “personal identification information ID” and the item “personal information”.
  • Information stored in the individual identification information DB 1023 is information registered in advance by the administrator of the behavior analysis system 1 or the like. Information stored in the personal identification information DB 1023 can be changed or updated as appropriate.
  • the item “personal identification information ID” indicates the personal identification information embedded in the two-dimensional barcode included in the identification marker 34.
  • the item “personal information” indicates the personal information of the medical staff 32 (here, the name of the medical staff 32) linked to the personal identification information ID.
  • FIG. 9 is a diagram showing the data structure of the trajectory DB 1024.
  • each of the records in the trajectory DB 1024 includes, for example, the item “trajectory ID”, the item “personal identification information ID”, the item “identification information ID”, the item “X coordinate”, and the item “ Y coordinate” and the item “Z coordinate”.
  • Information stored in the trajectory DB 1024 is information registered by the trajectory calculation module 1037 based on the position information DB 1022 . Information stored in the trajectory DB 1024 can be changed or updated as appropriate.
  • the item “trajectory ID” indicates information for specifying the trajectory of each part of the body of the medical worker 32 specified by the trajectory calculation module 1037.
  • the item “personal identification information ID” indicates personal identification information embedded in the two-dimensional barcode included in the identification marker 34 .
  • the item “identification information ID” indicates identification information embedded in the two-dimensional barcode included in the identification marker 34 .
  • the item “detection time” indicates information about the time when the position information (items “X coordinate” to "Z coordinate”) was detected.
  • the items “X coordinate” to “Z coordinate” respectively indicate three-dimensional coordinate values in the operating room 30, which are positional information of the detected specific site.
  • the trajectory specified by the item "trajectory ID” is linked to a specific (in other words, single) item “personal identification information ID” and item “identification information ID”, and furthermore, the item "X coordinate” which is position information.
  • ⁇ are linked to multiple sets of "Z coordinates”.
  • a plurality of sets of items “X coordinate” to “Z coordinate”, which are position information, correspond to the trajectory of the medical worker 32 at a specific site.
  • FIG. 4 is a plan view showing an example of a surgical gown 33 used in the behavior analysis system 1 of this embodiment.
  • the surgical gown 33 shown in FIG. 4 includes an upper garment 33a called a scrub worn by the medical staff 32 on the upper body, slacks 33b worn by the medical staff 32 on the lower body, and a hat 33c worn on the head by the medical staff 32.
  • the surgical gown 33 shown in FIG. 4 is an example.
  • the scrub 33a shown in FIG. 4 is a short-sleeve type, but it may be a three-quarter sleeve type or a long-sleeve type.
  • the length of the scrub 33a is not limited to the example shown in FIG.
  • An identification marker 34 is attached to the outer surface of the surgical gown 33 at a position corresponding to a specific part of the medical staff 32 .
  • identification markers 34 are attached to the chest, arm (more precisely, the upper arm near the elbow), knees, and top of the head of the medical worker 32 .
  • the location (specific site) where the identification marker 34 is provided and the number of the identification marker 34 are arbitrary, and can be appropriately determined based on the content and accuracy of the behavior of the medical staff 32 to be analyzed by the behavior analysis device 10. good.
  • the method of attaching the identification marker 34 to the outer surface of the surgical gown 33 is also arbitrary.
  • a hook-and-loop fastener is provided on the back surface of the two-dimensional barcode included in the identification marker 34 or on a region corresponding to a specific portion of the outer surface of the surgical gown 33, and the two-dimensional barcode is attached to the surgical gown 33 by the hook-and-loop fastener. It may be provided detachably. Alternatively, a cloth on which a two-dimensional bar code is printed may be sewn onto the surgical gown 33 . At least, it is preferable that the two-dimensional bar code in which the personal identification information is embedded is detachably attached to the surgical gown 33 .
  • a two-dimensional barcode in which at least personal identification information is embedded detachably to the surgical gown 33 even when a certain surgical gown 33 is successively worn by a plurality of medical personnel 32, medical personnel can 32 can attach a two-dimensional bar code in which own personal identification information is embedded to surgical gown 33 when worn.
  • a certain surgical gown 33 can be used by a plurality of medical workers 32, and the surgical gown 33 can be used rationally.
  • the surgical gown 33 is washed and cleaned for each operation such as surgery, and the two-dimensional bar code in which the personal identification information is embedded is attached when it is clean. Also, it is preferable to wash and clean the detachable two-dimensional barcode as appropriate.
  • FIG. 5 is a diagram showing an example of the identification marker 34 used in the behavior analysis system 1 of this embodiment.
  • the identification marker 34 shown in FIG. 5 is provided with two two-dimensional barcodes (QR codes in the example shown in FIG. 5) 35a and 35b.
  • One of the two-dimensional barcodes 35a is embedded with identification information representing a specific part of the medical staff 32 and personal identification information of the medical staff 32 .
  • the two-dimensional bar code 35a is received detachably from the identification marker 34.
  • identification information representing a specific part of the medical worker 32 is embedded.
  • the number of two-dimensional barcodes 35a and 35b included in the identification marker 34 is also arbitrary.
  • the identification information extraction module 1034 can extract the identification information from the imaged data. Identification information can be reliably extracted.
  • one identification marker 34 may be provided with a plurality of two-dimensional barcodes 35a in which identification information representing a specific part of the medical staff 32 and personal identification information of the medical staff 32 are embedded.
  • a two-dimensional barcode 35a in which identification information representing a specific part of the medical staff 32 and personal identification information of the medical staff 32 are embedded is one of the identification markers 34 provided on the surgical gown 33.
  • another identification marker 34 may be provided with only a two-dimensional barcode 35b in which identification information representing a specific part of the medical worker 32 is embedded.
  • one identification marker 34 is provided with a plurality of types of two-dimensional barcodes 35a and 35b, but a plurality of the same type of two-dimensional barcodes 35a (or 35b) may be provided. If a plurality of two-dimensional barcodes 35a (or 35b) of the same type are provided on the identification marker 34, even if the imaging device 31 can only image a part of the identification marker 34, the plurality of two-dimensional barcodes 35a and 35b can be captured. If any one of the two-dimensional barcodes 35a and 35b can be captured, the identification information extraction module 1034 can reliably extract the identification information from the captured data.
  • FIG. 10 is a flowchart showing an example of the operation of the behavior analysis device 10.
  • FIG. FIG. 10 is a flow chart showing an example of an operation for obtaining behavior information of the medical staff 32 based on imaging data captured by the imaging device 31 .
  • the image capturing device 31 captures images of the inside of the operating room 30 as a monitoring target area, for example, at a frame rate at which a series of motions can be recognized as a moving image.
  • a frame rate at which a series of movements can be recognized as a moving image is, for example, about 30 fps.
  • the imaging device 31 transmits imaging data to the behavior analysis device 10 via the edge server 20 . Note that the imaging device 31 may directly transmit the image data to the behavior analysis device 10 .
  • step S ⁇ b>11 the control unit 103 performs processing for acquiring imaging data captured by the imaging device 31 . Specifically, for example, the control unit 103 acquires imaging data using the image data acquisition module 1033, performs predetermined image processing if necessary, and acquires image data. The image data acquired by the image data acquisition module 1033 is stored in the storage unit 102 or the like. Control unit 103 outputs the image data to identification information extraction module 1034 .
  • step S12 the control unit 103 analyzes the image data, detects the identification marker 34 included in the image data, and further identifies the two-dimensional barcode included in the identification marker 34. Specifically, for example, the control unit 103 analyzes the image data using the identification information extraction module 1034 and detects the identification marker 34 included in the image data. The identification information extraction module 1034 then identifies the two-dimensional barcode included in the detected identification marker 34 .
  • step S13 the control unit 103 extracts identification information from the two-dimensional barcode detected in step S12. Specifically, for example, the control unit 103 uses the identification information extraction module 1034 to read the content (code) of the two-dimensional barcode extracted in step S12, and extracts the identification information from the read content.
  • the identification information acquired by the identification information extraction module 1034 is stored in the storage unit 102 or the like.
  • step S14 if the two-dimensional barcode detected in step S12 contains personal identification information, the control unit 103 extracts the personal identification information from this two-dimensional barcode. Specifically, for example, the control unit 103 uses the identification information extraction module 1034 to read the content (code) of the two-dimensional barcode extracted in step S12, and if the read content contains personal identification information, this Extract personally identifiable information.
  • the personal identification information acquired by the identification information extraction module 1034 is stored in the storage unit 102 or the like.
  • step S15 the control unit 103 determines the specific part of the medical worker 32 indicated by the two-dimensional barcode based on the identification information extracted in step S13. Specifically, for example, the control unit 103 causes the specific part determination module 1035 to determine the identification information extracted in step S13 based on the correspondence between the identification information and the specific part stored in the identification information database 1021. A specific part of the medical worker 32 indicated by the two-dimensional barcode is determined. The specific part determined by the specific part determination module 1035 is stored in the storage unit 102 or the like.
  • step S16 the control unit 103 calculates the position information of the specific part determined in step S15. Specifically, for example, the control unit 103 causes the position information calculation module 1036 to specify the medical staff 32 based on the imaging position in the image data of the specific part of the medical staff 32 determined in step S15. Calculate the position information of the part.
  • the position information of the specific part calculated by the position information calculation module 1036 is stored in the storage unit 102 or the like.
  • step S17 the control unit 103 identifies the trajectory of each part of the body of the medical staff 32 in the operating room 30 based on the position information of the specific parts of the medical staff 32 calculated in step S16. Specifically, for example, the control unit 103 uses the trajectory calculation module 1037 to determine each part of the body of the medical staff 32 in the operating room 30 based on the position information of the specific part of the medical staff 32 calculated in step S16. Calculate the trajectory. Preferably, the trajectory calculation module 1037 calculates the trajectory of the specific part of the medical staff 32 within the operating room 30 .
  • step S18 the control unit 103 outputs the behavior information of the medical worker 32 based on the trajectory of each body part of the medical worker 32 identified in step S17.
  • the control unit 103 uses the behavior information calculation module 1038 to output the behavior information of the medical staff 32 based on the trajectory of each body part of the medical staff 32 identified in step S17.
  • the behavior information calculation module 1038 summarizes the trajectories of the specific parts related to the same personal identification information as the trajectory of each part of the body, and calculates the behavior information for each of the 32 medical workers. to output
  • control unit 103 outputs the behavior information of the medical staff 32 to the output device. Specifically, for example, the control unit 103 causes the behavior information calculation module 1038 to present the behavior information to the behavior analysis device 10 or the monitor device 21 .
  • FIG. 11 is a schematic diagram showing an example of a screen displayed on the monitor device 21.
  • the behavior information calculation module 1038 outputs the behavior information of the medical staff 32, and the skeleton of the medical staff 32 based on the position information of the specific part of the medical staff 32 calculated by the position information calculation module 1036.
  • a model 1100 is output to the monitor device 21 .
  • FIG. 12 is a schematic diagram showing another example of the screen displayed on the monitor device 21.
  • the behavior information calculation module 1038 outputs the skeletal model 1100 of the medical worker 32 at a plurality of measurement times to the monitor device 21 based on the position information of the specific part of the medical worker 32 calculated by the position information calculation module 1036. are doing.
  • a dotted line 1101 indicates a portion where the skeletal model 1100 has changed due to a change in position information of a specific part of the medical worker 32 with time.
  • FIG. 13 is a schematic diagram showing still another example of the screen displayed on the monitor device 21.
  • the behavior information calculation module 1038 displays the behavior information of the medical staff 32 by superimposing the trajectory 1102 of the specific part of the medical staff 32 calculated by the trajectory calculation module 1037 on the skeleton model 1100. Behavior information is output to the monitor device 21 .
  • the screen examples shown in FIGS. 11 to 13 are merely examples, and the behavior information and the like are not limited to these screen examples. ⁇ 6 Effect of Embodiment>
  • the position information of the specific part of the medical staff 32 is calculated based on the two-dimensional barcode of the identification marker 34 attached to the surgical gown 33.
  • the trajectory of each part of the body of the medical staff 32 is calculated, and this trajectory is output as the behavior information of the medical staff 32. Therefore, the monitoring and analysis of the medical staff 32 can be performed with high accuracy. It can be realized at low cost.
  • each of the above configurations, functions, processing units, processing means, and the like may be realized by hardware, for example, by designing a part or all of them using an integrated circuit.
  • the present invention can also be implemented by software program code that implements the functions of the embodiments.
  • a computer is provided with a storage medium recording the program code, and a processor included in the computer reads the program code stored in the storage medium.
  • the program code itself read from the storage medium implements the functions of the above-described embodiments, and the program code itself and the storage medium storing it constitute the present invention.
  • Storage media for supplying such program codes include, for example, flexible disks, CD-ROMs, DVD-ROMs, hard disks, SSDs, optical disks, magneto-optical disks, CD-Rs, magnetic tapes, and non-volatile memory cards. , ROM, etc. are used.
  • program code that implements the functions described in this embodiment can be implemented in a wide range of programs or script languages, such as assembler, C/C++, perl, Shell, PHP, and Java (registered trademark).
  • the program code of the software that implements the functions of the embodiment can be stored in storage means such as a hard disk or memory of a computer, or in a storage medium such as a CD-RW or CD-R.
  • a processor provided in the computer may read and execute the program code stored in the storage means or the storage medium.
  • a program for operating a computer (10) comprising a coprocessor (19) and a memory (15), the program causing the processor (19) to place two-dimensional barcodes (35a, 35b) at predetermined locations a step (S11) of receiving imaging information from an imaging device (31) imaging a predetermined area including a worker (32) wearing work clothes (33) to which at least one identification marker (34) including at least one identification marker (34) is attached; Based on the information, the two-dimensional barcodes (35a, 35b) included in the imaging information are identified, and the worker (32) corresponding to the predetermined location is identified based on the identified two-dimensional barcodes (35a, 35b).
  • Appendix 2 A step (S17) of specifying the trajectory (1102) of each part of the body of the worker (32) based on the position information, and a step (S18) of outputting the trajectory (1102) as behavior information of the worker (32) are further performed.
  • the program according to appendix 1 or 2 wherein identification information is embedded in the two-dimensional barcodes (35a, 35b), and this identification information is linked in advance with a specific part of a specific worker (32).
  • Appendix 4) 3.
  • a plurality of identification markers (34) are attached to the work clothes (33), and at least one of the two-dimensional barcodes (35a, 35b) included in these identification markers (34) has ), the behavior analysis system according to any one of Appendices 1 to 6, which includes personal identification information that can identify ).
  • Identification markers (34) including two-dimensional barcodes (35a, 35b) embedded with identification information uniquely indicating body parts including the shoulders and elbows of the wearer (32) are located at positions corresponding to the body parts. work clothes (33) respectively attached to the .
  • (Appendix 12) A plurality of identification markers (34) are attached to the work clothes (33), and at least one of the two-dimensional barcodes (35a, 35b) included in these identification markers (34) has (33) according to any of the appendices 8 to 11, containing personally identifiable information that can identify ).
  • (Appendix 13) Workwear (33) according to Appendix 12, wherein the identification marker (34) having two-dimensional barcodes (35a, 35b) containing personal identification information is detachable from the workwear (33).
  • (Appendix 14) A system (1) having an information processing device (10) and an imaging device (31), wherein the information processing device (10) has a processor (19), and the processor (19) has a two-dimensional bar at a predetermined location.
  • Imaging information is received from an imaging device (31) imaging a predetermined area including a worker (32) wearing work clothes (33) to which at least one identification marker (34) including codes (35a, 35b) is attached.
  • Step (S11) based on the imaging information, identify the two-dimensional barcodes (35a, 35b) included in the imaging information, and the operator (32) corresponding to the identified two-dimensional barcodes (35a, 35b) and a step (S16) of calculating positional information for each determined specific part at predetermined time intervals.
  • (Appendix 15) A computer-implemented method comprising a processor (19) and a memory (15), wherein the processor (19) determines at least an identification marker (34) comprising a two-dimensional bar code (35a, 35b) at a predetermined location.
  • 1 behavior analysis system 10 behavior analysis device, 15 memory, 16 storage, 19 processor, 20 edge server, 21 monitor device, 30 operating room, 31 imaging device, 32 medical personnel, 33 surgical gown, 34 identification marker, 35a, 35b two-dimensional barcode 102 storage unit 103 control unit 202 storage unit 1021 identification information database (DB) 1022 position information DB 1023 personal identification information DB 1024 trajectory DB 1031 reception control module 1032 transmission control module , 1033 image data acquisition module, 1034 identification information extraction module, 1035 specific part determination module, 1036 position information calculation module, 1037 trajectory calculation module, 1038 behavior information calculation module, 1100 skeleton model, 1101 dotted line, 1102 trajectory
  • DB identification information database
  • 1023 personal identification information DB
  • 1024 trajectory DB 1031 reception control module
  • 1032 transmission control module 1033 image data acquisition module
  • 1034 identification information extraction module 1035 specific part determination module
  • 1036 position information calculation module 1037 trajectory calculation module
  • 1038 behavior information calculation module 1100 skeleton model, 1101 dotted line, 1102

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • Strategic Management (AREA)
  • Electromagnetism (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Computer Hardware Design (AREA)
  • Marketing (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】医療従事者の挙動を精度良好、かつ低コストに監視可能にする。 【解決手段】挙動解析装置１０と撮像装置３１とを有する挙動解析システム１において、プロセッサを備える挙動解析装置１０を動作させるためのプログラムであって、プログラムは、プロセッサに、所定箇所に二次元バーコードを含む識別マーカ３４が少なくとも一つ付された手術着３３を着用した医療従事者３２を含む所定領域を撮像した撮像装置３１から撮像情報を受け入れるステップと、撮像情報に基づいて、この撮像情報に含まれる二次元バーコードを特定し、特定した二次元バーコードに対応する医療従事者３２の特定部位を判定するステップと、判定した特定部位それぞれにおける、所定時間毎の位置情報を算出するステップとを実行させる。

Description

プログラム、作業着、システム及び方法
　本開示は、プログラム、作業着、システム及び方法に関する。
　人体の各所に、赤外線を反射する素材が表面に設けられたマーカを貼り付けた上で、当該人物を赤外線カメラで撮影することで、非常に高い精度で人体各所の位置をトラッキングする技術（光学式モーションキャプチャ）が存在する。また、光学式モーションキャプチャと同様の目的で、LiDAR（Light Detection and Ranging）スキャナにより人体の三次元形状、位置を計測する技術が存在する。
　これらの技術を用いることで、人や機器等の動きや位置を精度良く３次元で把握することが可能である。特に、医療分野では、これらの技術を利用し、熟練した医師や看護師の挙動を観測・再現して、これを他の者の学習教材や、手術支援ロボットなど各種医療機器の設定に用いる等のニーズが高まっている。
　上述した技術に関連する技術として、例えば特許文献１、特許文献２に開示された技術がある。
　特許文献１は、本開示は、人間シェフの動き及び動作を置き換えることによって食品料理を調製するようにロボットに命令するための方法、コンピュータプログラム製品、及びコンピュータシステムに関するものであって、この特許文献１には、人間シェフを監視する段階を有し、この段階は、標準化ロボットキッチン内で実施され、かつロボットキッチン内のロボット又は自動化システムに人間シェフによって調製される料理と規格及び品質に関して同じ料理を調製させることができる環境内の変動及び変化に対してロバストなロボット実行可能コマンドセットを開発するためにセンサとコンピュータとを用いて人間シェフのモーション及び動作を注視、監視、記録、及び解釈する段階を伴う技術が開示されている。
　また、特許文献２には、医療現場内のスタッフに予め装着させておいた信号発信体が発信する信号に基づき、この信号発信体の位置を計測すると共にその信号発信体を装着したスタッフを識別し、前記計測された前記信号発信体の位置に基づき、前記信号発信体の映像上での位置を計算し、前記計算された位置に対応させて前記信号発信体が装着された前記スタッフを識別する情報を前記映像に重ね合わせて表示させる技術が開示されている。
特表２０１７－５０６１６９号公報 特開２００８－２６９２３８号公報
　ところが、モーションキャプチャのための赤外線カメラや、LiDARスキャナは高価であり、また、全体のシステム構成としても複雑化しやすいため、導入のハードルは高いものであった。
　そこで、本開示は、上記課題を解決すべくなされたものであって、その目的は、医療従事者の挙動を精度良好、かつ低コストに監視可能なプログラム、作業着、システム及び方法を提供することにある。
　コンピュータと撮像装置とを有する挙動解析システムにおいて、プロセッサを備える前記コンピュータを動作させるためのプログラムである。プログラムはプロセッサに、所定箇所に二次元バーコードを含む識別マーカが少なくとも一つ付された作業着を着用した作業者を含む所定領域を撮像した撮像装置から撮像情報を受け入れるステップと、撮像情報に基づいて、この撮像情報に含まれる二次元バーコードを特定し、特定した二次元バーコードに対応する作業者の特定部位を判定するステップと、判定した特定部位それぞれにおける、所定時間毎の位置情報を算出するステップとを実行させる。
　本開示によれば、医療従事者の挙動を、精度良好、かつ低コストに監視可能なプログラム、作業着、システム及び方法を実現することができる。
システムの概要を説明するための図である。 システムの全体の構成を示す図である。 装置の機能的な構成を示す図である。 手術着を示す図である。 識別マーカを示す図である。 データベースのデータ構造を示す図である。 データベースのデータ構造を示す図である。 データベースのデータ構造を示す図である。 データベースのデータ構造を示す図である。 システムにおける処理流れの一例を示すフローチャートである。 モニター装置で表示される画面の一例を表す模式図である。 モニター装置で表示される画面の別の一例を表す模式図である。 モニター装置で表示される画面のまた別の一例を表す模式図である。
　以下、本開示の実施形態について図面を参照して説明する。実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。なお、以下の実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各図は模式図であり、必ずしも厳密に図示されたものではない。
　また、以下の説明において、「プロセッサ」は、１以上のプロセッサである。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサであるが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサでもよい。少なくとも１つのプロセッサは、シングルコアでもよいしマルチコアでもよい。
　また、少なくとも１つのプロセッサは、処理の一部又は全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサでもよい。
　また、以下の説明において、「ｘｘｘテーブル」といった表現により、入力に対して出力が得られる情報を説明することがあるが、この情報は、どのような構造のデータでもよいし、入力に対する出力を発生するニューラルネットワークのような学習モデルでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。
　また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。
　また、以下の説明において、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶部及び／又はインタフェース部などを用いながら行うため、処理の主語が、プロセッサ（或いは、そのプロセッサを有するコントローラのようなデバイス）とされてもよい。
　プログラムは、計算機のような装置にインストールされてもよいし、例えば、プログラム配布サーバ又は計算機が読み取り可能な（例えば非一時的な）記録媒体にあってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
　また、以下の説明において、種々の対象の識別情報として、識別番号が使用されるが、識別番号以外の種類の識別情報（例えば、英字や符号を含んだ識別子）が採用されてもよい。
　また、以下の説明において、同種の要素を区別しないで説明する場合には、参照符号（又は、参照符号のうちの共通符号）を使用し、同種の要素を区別して説明する場合は、要素の識別番号（又は参照符号）を使用することがある。
　また、以下の説明において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
　＜０　挙動解析システム１の概要＞
　図１は、本開示に係る挙動解析システム１の全体の構成を示す図である。本開示の挙動解析システム１は、例えば病院の手術室等における医師を含めた医療従事者の挙動を解析するためのシステムである。当然、本開示の挙動解析システム１が対象とする作業者の挙動は医療従事者の挙動に限定されない。一例として、工場内の作業者の挙動、運送会社の運送者の挙動など、挙動を解析、再現するニーズがある作業者の挙動を解析するシステムに好適に適用可能である。
　本開示の挙動解析システム１では、医療従事者が作業を行う手術室３０等の作業室の所定箇所（図１では手術室３０の天井）に複数の撮像装置３１を設置する。撮像装置３１は手術室３０内の所定の撮像領域（好ましくは手術室３０全体）が撮像可能となるように、その設置位置及び撮像方向、画角等が設定されている。少なくとも、撮像装置３１は、手術室３０内で作業を行う医療従事者３２が複数の撮像装置３１（好ましくは３台以上の撮像装置３１）の撮像領域内で作業を行うように、その設置位置及び撮像方向、画角が設定されている。
　手術室３０内で作業を行う医療従事者３２は、手術着３３に代表される作業着を着用している。この手術着３３の外面には、二次元バーコードを含む識別マーカ３４が複数設けられている。個々の識別マーカ３４の二次元バーコードには、医療従事者３２の特定部位、一例として頭、肘等を表す識別情報が埋め込まれている。さらに、手術着３３に付された複数の識別マーカ３４のうち、少なくとも一つの識別マーカ３４の二次元バーコードには、医療従事者３２を特定するための個人特定情報、一例として医療従事者３２の氏名、所属等が埋め込まれている。
　撮像装置３１は、手術室３０内で作業を行う医療従事者３２を含む手術室３０内を撮像する。撮像装置３１による撮像動作の結果撮像装置３１が取得する撮像情報（撮像データ）は、エッジサーバ２０及びネットワーク８０を経由して挙動解析装置１０に送出される。
　撮像装置３１からの撮像情報を受信した挙動解析装置１０は、この撮像情報から、識別マーカ３４に含まれる二次元バーコードを特定し、この二次元バーコードに含まれる識別情報を抽出する。次に、挙動解析装置１０は、この識別情報に紐付けられた医療従事者３２の特定部位を判定し、この特定部位の手術室３０内における位置情報（好ましくは手術室３０に設けられた３次元座標空間における座標値）を算出し、この位置情報に基づいて、医療従事者３２の身体各部の動作の軌跡を特定する。そして、挙動解析装置１０は、医療従事者３２の身体各部の軌跡を、この医療従事者３２の挙動情報として出力する。
　なお、挙動解析装置１０は、撮像装置３１が設置された手術室３０を有する建物と同一の建物内に設けられてもよいし、建物外に設けられてもよい。
　＜１　システム全体の構成図＞
　図２は、挙動解析システム１の全体構成の例を示すブロック図である。図２に示す挙動解析システム１は、例えば、挙動解析装置１０、エッジサーバ２０、撮像装置３１、およびモニター装置２１を含む。挙動解析装置１０、エッジサーバ２０、およびモニター装置２１は、例えば、ネットワーク８０を介して通信接続する。
　図２において、挙動解析システム１が撮像装置３１を４台含む例を示しているが、挙動解析システム１に含まれる撮像装置３１の数は、４台に限定されない。
　本実施形態において、複数の装置の集合体を１つの挙動解析装置１０としてもよい。１つまたは複数のハードウェアに対して本実施形態に係る挙動解析装置１０を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力および／または挙動解析装置１０に求められる仕様等に鑑みて適宜決定することができる。
　挙動解析装置１０は、撮像装置３１から取得した撮像情報を解析する。挙動解析装置１０は、撮像装置３１から取得した撮像情報を解析することで、手術室３０内において作業を行う医療従事者３２の特定部位毎の所定時間毎の位置情報を算出し、この位置情報に基づいて医療従事者３２の身体各部の軌跡を特定してこの軌跡を挙動情報として出力する。
　挙動解析装置１０は、例えば、ネットワーク８０に接続されたコンピュータにより実現される。図１に示すように、挙動解析装置１０は、通信ＩＦ１２と、入出力ＩＦ１３と、メモリ１５と、ストレージ１６と、プロセッサ１９とを備える。
　通信ＩＦ１２は、挙動解析装置１０が、例えば、モニター装置２１等のシステム１内の装置と通信するため、信号を入出力するためのインタフェースである。
　入出力ＩＦ１３は、ユーザからの入力操作を受け付けるための入力装置、および、ユーザに対して情報を提示するための出力装置とのインタフェースとして機能する。
　メモリ１５は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ等の揮発性のメモリである。
　ストレージ１６は、データを保存するためのものであり、例えばフラッシュメモリ、ＨＤＤである。
　プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
　エッジサーバ２０は、撮像装置３１から送信される情報を受信し、受信した情報を、挙動解析装置１０に送信する。また、エッジサーバ２０は、挙動解析装置１０から取得した情報を撮像装置３１へ送信する。挙動解析装置１０から取得する情報には、例えば、撮像装置３１の設定を更新するための情報等が含まれる。
　撮像装置３１は、受光素子により光を受光し、画像データとして出力するためのデバイスである。撮像装置３１は、例えば、所定の画角で映像を撮影可能なカメラである。撮像装置３１は、例えば、全周３６０度の広範囲映像を撮影可能なカメラであってもよい。撮像装置３１は、例えば、超広角レンズ、または魚眼レンズ付きカメラ等により実現される。
　撮像装置３１は、例えば、病院等の建物の内部にある手術室３０等の作業室等の室内に設置されたカメラであって、作業室内の撮像領域を撮像する。具体的には、例えば、撮像装置３１は、オフィス、シェアオフィス、スポーツジム、病院、リハビリ施設、介護施設、教育施設、または託児施設等の天井に設置されている。例えば、撮像領域は、上述した施設の一室、又は一室のうちの所定の領域である。撮像装置３１は複数台設置される。撮像装置３１が複数台設置される場合、例えば、１台の撮像装置３１の撮像領域が互いに重複するように設置され、これにより、作業室内で作業を行う医療従事者３２を複数台の撮像装置３１により撮像することができる。撮像装置３１は、取得した撮像情報（撮像データ）をエッジサーバ２０へ出力する。
　撮像装置３１は、他の装置に取り付けられたカメラであってもよい。具体的に、例えば、撮像装置３１は、他の装置として、建物等の内部にある作業室等の室内に設置された空調装置に含まれるカメラ、ドローンに取り付けられたカメラ等であってもよい。なお、撮像領域は建物の屋外であってもよいし、撮像装置３１の動きに合わせて撮像領域が変化してもよい。
　モニター装置２１は、ユーザに対して情報を提示するための装置であって、ディスプレイ、スピーカー等を備える。例えば、モニター装置２１は、撮像装置３１が設置された建物等の室内に設置される。
　＜１．２　挙動解析装置１０の機能的な構成＞
　図３は、挙動解析装置１０の機能的な構成の例を示す図である。図３に示すように、挙動解析装置１０は、通信部１０１と、記憶部１０２と、制御部１０３としての機能を発揮する。
　通信部１０１は、挙動解析装置１０が外部の装置と通信するための処理を行う。
　記憶部１０２は、例えば、識別情報データベース（ＤＢ）１０２１と、位置情報ＤＢ１０２２と、個人特定情報ＤＢ１０２３と、軌跡ＤＢ１０２４等とを有する。
　識別情報ＤＢ１０２１は、二次元バーコードに埋め込まれた識別情報と、この識別情報に紐付けられた作業者（医療従事者３２）の特定部位との関係を記述したデータベースである。詳細は後述する。
　位置情報ＤＢ１０２２は、識別情報と、この識別情報が作業室（手術室３０）内に定められた３次元座標空間の座標に位置したかを時系列で管理するためのデータベースである。詳細は後述する。
　個人特定情報ＤＢ１０２３は、二次元バーコードに埋め込まれた個人特定情報と、この個人特定情報が紐付けられた医療従事者３２の個人情報との関係を記述したデータベースである。詳細は後述する。
　軌跡ＤＢ１０２４は、個人特定情報と識別情報とで特定される、特定の医療従事者３２の特定部位が、作業室（手術室３０）内に定められた３次元座標空間の座標に位置したか、すなわち特定部位の軌跡を時系列で管理するためのデータベースである。
　制御部１０３は、プロセッサ１９が記憶部１０２に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１０３は、プログラムに従って動作することにより、受信制御モジュール１０３１、送信制御モジュール１０３２、画像データ取得モジュール１０３３、識別情報抽出モジュール１０３４、特定部位判定モジュール１０３５、位置情報算出モジュール１０３６、軌跡算出モジュール１０３７、および、挙動情報算出モジュール１０３８として示す機能を発揮する。
　受信制御モジュール１０３１は、挙動解析装置１０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
　送信制御モジュール１０３２は、挙動解析装置１０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。
　画像データ取得モジュール１０３３は、撮像装置３１から出力される撮像情報（撮像データ）を、直接またはエッジサーバ２０を介して取得し、画像データとして記憶部２０２に一時的に保管する。この際、撮像装置３１が超広角レンズ付きカメラ等である場合、画像データ取得モジュール１０３３は、撮像装置３１から取得した画像データに対し、レンズ歪みを補正する、いわゆるオルソ補正を施す。
　識別情報抽出モジュール１０３４は、画像データ取得モジュール１０３３が作成した画像データを解析し、この画像データ中に含まれる識別マーカ３４を検出する。次いで、識別情報抽出モジュール１０３４は、検出した識別マーカ３４に含まれる二次元バーコードの内容を読み取り、この二次元バーコードから識別情報を抽出する。加えて、識別情報抽出モジュール１０３４は、二次元バーコードに個人特定情報が含まれる場合、この個人特定情報を抽出する。識別情報抽出モジュール１０３４によるこれら動作は、画像データ取得毎に行う必要はない（行ってもよい）が、後述する軌跡算出モジュール１０３７による軌跡特定動作をできるだけリアルタイムに行う必要性を考慮すると、所定時間毎（例えば１秒毎）に行うことが好ましい。
　識別情報抽出モジュール１０３４による識別マーカ３４の検出手法は、周知の検出方法から任意に選択可能である。
　一例として、二次元バーコードがISO/IEC 18004に定められる、いわゆるＱＲコード（登録商標）であれば、このＱＲコードには、中心をあらゆる角度で横切る走査線において同じ周波数成分比が得られるパターンからなる切り出しシンボルが、ＱＲコードを構成する略正方形状の領域の４つの頂点の内、少なくとも２箇所、通常は３箇所に配置されている（参照：特許第２８６７９０４号公報、特許第２９３８３３８号公報など）。
　そこで、識別情報抽出モジュール１０３４は、画像データを特定の一方向（例えば画像データの水平方向）に走査した一次元の走査データをこの画像データから複数個取り出し、走査データを所定の閾値を用いて二値化し、二値化した走査データの中から、切り出しシンボルに特有の周波数成分比を有する信号列を検索する。そして、信号列が一対検索できたら、識別情報抽出モジュール１０３４は、これら信号列の間にＱＲコードが存在すると判定して、ＱＲコードに対応する領域の画像データを抽出画像データとして出力する。
　あるいは、識別情報抽出モジュール１０３４は、学習済みモデルを用いて識別マーカ３４を検出してもよい。
　学習済みモデルは、モデル学習プログラムに従い、機械学習モデルに機械学習を行わせることで生成されるモデルである。学習済みモデルは、例えば、入力されるデータに基づき、所定の推論を実施する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数およびパラメータの組合せにより定義される。本実施形態に係る学習済みモデルは、上記の要請を満たす如何なるパラメータ付き合成関数であってもよい。
　例えば、学習済みモデルが順伝播型の多層化ネットワークを用いて生成される場合、パラメータ付き合成関数は、例えば、重み行列を用いた各層間の線形関係、各層における活性化関数を用いた非線形関係（または線形関係）、およびバイアスの組み合わせとして定義される。重み付行列、およびバイアスは、多層化ネットワークのパラメータと呼ばれる。パラメータ付き合成関数は、パラメータをどのように選ぶかで、関数としての形を変える。多層化ネットワークでは、構成するパラメータを適切に設定することで、出力層から好ましい結果を出力することが可能な関数を定義することができる。
　本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）が用いられ得る。ＤＮＮとしては、例えば、画像を対象とする畳み込みニューラルネットワーク（Convolution Neural Network：ＣＮＮ）を用いてもよい。
　学習済みモデルは、画像データが入力されると、入力された画像データに基づき、所定の情報を出力するように学習されたモデルである。学習済みモデルは、例えば、出力する情報に応じ、それぞれ別々の学習用データによりトレーニングされた別々の学習済みモデルである。
　例えば、学習済みモデルは、画像データが入力されると、対象を含む所定の領域の画像を抽出するように学習される。具体的には、本実施形態では、学習済みモデルは、例えば、二次元バーコードを含む画像を入力データとし、当該画像内の二次元バーコードの位置を正解出力データとして学習されている。つまり、対象としての二次元バーコードを含む画像が入力されると、その内容が含まれる画像内の位置を特定し、対象を含む所定の領域の画像を抽出画像データとして出力するように学習されている。なお、学習済みモデルは、対象として二次元バーコード以外の対象を含む所定の領域を正解出力データとして学習されてもよい。
　また、例えば、学習済みモデルは、画像データが入力されると、対象を推定した情報を出力するように学習される。具体的には、本実施形態では、学習済みモデルは、例えば、対象を特定可能な画像を入力データとし、当該画像から特定される対象を指定する情報を正解出力データとして学習されている。
　この際、識別情報抽出モジュール１０３４は、いわゆる深層学習を用いた物体検出技術を用いて二次元バーコードを検出してもよい。物体検出のアルゴリズムとしては、領域ベースの畳み込みニューラルネットワーク (Region Based Convolutional Neural Networks,：Ｒ－ＣＮＮ)（含むＦａｓｔ　Ｒ－ＣＮＮ、Ｆａｓｔｅｒ　Ｒ－ＣＮＮ）、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multibox Detector）などが挙げられる。
　識別情報抽出モジュール１０３４は、二次元バーコードを含む所定の領域の画像を抽出画像データとして出力する。抽出画像データは、例えば、画像データにおける領域の位置を表すデータであり、例えば、ピクセルの位置情報等により表される。
　次に、識別情報抽出モジュール１０３４は、抽出画像データに含まれる二次元バーコードの内容（コード）を読み取り、読み取った内容から識別情報を抽出する。二次元バーコードの内容を読み取る手法は、例えばＱＲコードであれば上述した特許公報に開示された手法に基づけば良い。さらに、識別情報抽出モジュール１０３４は、二次元バーコードから読み取った内容に個人特定情報が含まれている場合、この個人特定情報を抽出する。個人特定情報の抽出手法は、上述した識別情報の抽出手法と同様である。識別情報及び個人特定情報の詳細については後述する。
　特定部位判定モジュール１０３５は、識別情報抽出モジュール１０３４が抽出した識別情報と、識別情報ＤＢ１０２１に格納されている識別情報と特定部位との対応付けとに基づいて、二次元バーコードが示す医療従事者３２の特定部位を判定する。特定部位判定モジュール１０３５の動作も、後述する軌跡算出モジュール１０３７による軌跡特定動作をできるだけリアルタイムに行う必要性を考慮すると、所定時間毎（例えば１秒毎）に行うことが好ましい。
　位置情報算出モジュール１０３６は、特定部位判定モジュール１０３５により判定された医療従事者３２の特定部位の画像データ内における撮像位置に基づいて、医療従事者３２の特定部位の位置情報を算出する。この際、位置情報算出モジュール１０３６は、所定時間毎（例えば１秒毎）に医療従事者３２の特定部位の位置情報を算出する。これは、後述する軌跡算出モジュール１０３７による軌跡特定動作をできるだけリアルタイムに行う必要性を考慮するためである。そして、位置情報算出モジュール１０３６は、算出した特定部位の位置情報の結果を位置情報ＤＢ１０２２に書き込む。
　特定部位の位置情報は、撮像装置３１の手術室３０内での位置情報及び撮像領域が予め定められているので、複数の撮像装置３１から得られる画像データ中の撮像位置から求めることができる。一例として、画像データが２次元的に広がりを持つ複数の画素からなるデータであれば、特定部位に紐付けられた二次元バーコードの識別情報はいずれかの画素に含まれる。従って、撮像装置３１の手術室３０内での位置情報及び撮像領域を用いれば、この画素の２次元位置（画素の２次元座標値）を手術室３０がある３次元座標空間に射像することで、識別情報が存在する手術室３０内の３次元位置（３次元座標値）を求めることができる。この場合、画像データが１つのみであると３次元位置が一意に定まらないので、同一の識別情報を複数の撮像装置３１で撮像し、複数の撮像装置３１から得られる複数の画像データを参照することで、識別情報、さらには医療従事者３２の特定部位の手術室３０内における３次元位置（３次元座標値）を求めることができる。
　軌跡算出モジュール１０３７は、位置情報算出モジュール１０３６が算出した所定時間毎の特定部位の位置情報に基づき、手術室３０内における医療従事者３２の身体各部の軌跡を特定する。好ましくは、軌跡算出モジュール１０３７は、手術室３０内における医療従事者３２の特定部位の軌跡を特定する。そして、軌跡算出モジュール１０３７は、特定した軌跡に関する情報を軌跡ＤＢ１０２４に書き込む。
　一例として、位置情報算出モジュール１０３６が算出した所定時間毎の特定部位の位置情報は、手術室３０内における３次元座標値の点群であるから、軌跡算出モジュール１０３７は、この点群を結ぶ（あるいは近傍を通る）軌跡を特定する。軌跡特定手法は周知のものから任意に選択可能であるが、一番単純な手法は、点群を時系列的に連結した、つまり折れ線からなる軌跡を特定する手法である。他に、点群を曲線当てはめ（カーブフィッティング）の手法を用いて多項式近似を行い、この多項式近似の結果を軌跡として特定する手法が挙げられる。このような曲線当てはめの手法としては、最小二乗法によるものがある。
　挙動情報算出モジュール１０３８は、軌跡算出モジュール１０３７により特定された医療従事者３２の身体各部の軌跡に基づいて、医療従事者３２の挙動情報を出力する。ここにいう挙動情報とは、一例として、軌跡算出モジュール１０３７により特定された特定部位の軌跡を一人の医療従事者３２単位でまとめ、この医療従事者３２の挙動としたものである。
　この際、挙動情報算出モジュール１０３８は、特定部位の位置情報に基づいて医療従事者３２の骨格モデルを生成し、この骨格モデルを構成する骨格の動きを挙動情報として出力してもよい。ここにいく骨格モデルとは実際の人体の骨格モデルほど詳細なものである必要はなく、背骨、腕、足を構成するモデルといった単純なものであってもよい。
　さらに、挙動情報算出モジュール１０３８が骨格モデルに基づいて挙動情報を出力する際、特定部位と骨格モデルとの関係を考慮して挙動情報を出力してもよい。具体的には、医療従事者３２の手術着３３に付される識別マーカ３４の数を多くすると、医療従事者３２の手術室３０内での動作に影響を及ぼす可能性があるため、手術着３３に付される識別マーカ３４には一定の制限がありうる。一例として、一般的な手術着３３は、作業性の確保及び消毒作業の容易性を考慮して、腕を全て覆うタイプのものは少ない。従って、手指に近い箇所の手術着３３に識別マーカ３４を付すことは難しい。同様に、撮像装置３１による撮像範囲を考慮すると、医療従事者３２の足先に識別マーカ３４を付すことも難しい。医療従事者３２は手術室３０内で様々な作業を行っており、また、ベッド、医療機器等数多くの装置が手術室３０内に存在しうることから、仮に医療従事者３２の足先に識別マーカ３４を付しても、医療従事者３２や各種装置により医療従事者３２の足先を撮像装置３１が確実に撮像できる保証はない。このため、手術着３３に付される識別マーカ３４には一定の制限がありうる。一方で、医療従事者３２の挙動情報をできるだけ正確に行うには、手術着３３に付される識別マーカ３４の数を多くすることが好ましい。そこで、挙動情報算出モジュール１０３８は、特定部位と骨格モデルとの関係を考慮して、この骨格モデルに基づいて、特定部位の位置情報の算出が困難な特定部位（上述の例であれば手指に近い箇所や足先に近い箇所）についても挙動情報を算出することができる。
　医療従事者３２単位でまとめる際に、挙動情報算出モジュール１０３８は、識別情報抽出モジュール１０３４が抽出した個人特定情報に基づいて、個人特定情報ＤＢ１０２３を参照して、同一の個人特定情報に関連する特定部位の軌跡を、一人の医療従事者３２の特定部位の軌跡であるとしてまとめる。
　なお、後述するように、識別マーカ３４に含まれる二次元バーコードの全てに個人特定情報が含まれているとは限らないので、挙動情報算出モジュール１０３８は、特定部位の軌跡を骨格モデルにあてはめ、一つの骨格モデルに合致する特定部位の軌跡は一人の医療従事者３２の特定部位の軌跡であるとしてまとめることができる。
　＜２　データ構造＞
　図６～図９は、挙動解析装置１０が記憶するデータベースのデータ構造を示す図である。なお、図６～図９は一例であり、記載されていないデータを除外するものではない。
　図６は、識別情報ＤＢ１０２１のデータ構造を示す図である。図６に示すように、識別情報ＤＢ１０２１のレコードの各々は、例えば、項目「識別情報ＩＤ」と、項目「特定部位」とを含む。識別情報ＤＢ１０２１に記憶された情報は、挙動解析システム１の管理者等によってあらかじめ登録された情報である。識別情報ＤＢ１０２１が記憶する情報は、適宜変更・更新することが可能である。
　項目「識別情報ＩＤ」は、識別マーカ３４に含まれる二次元バーコードに埋め込まれた識別情報を示す。項目「特定部位」は、識別情報ＩＤに紐付けられた医療従事者の特定部位の名称を示す。図６に示す例では、特定部位が「頭」、「肩」、「肘」である場合が示されている。特定部位は、「左肩」、「右肩」、「左肘」、「右肘」のように、左右が把握可能に設定されていてもよい。
　図７は、位置情報ＤＢ１０２２のデータ構造を示す図である。図７に示すように、位置情報ＤＢ１０２２のレコードの各々は、例えば、項目「識別情報ＩＤ」と、項目「検出時間」と、項目「Ｘ座標」と、項目「Ｙ座標」と、項目「Ｚ座標」とを含む。位置情報ＤＢ１０２２に記憶された情報のうち、項目「検出時間」と、項目「Ｘ座標」と、項目「Ｙ座標」と、項目「Ｚ座標」とは位置情報算出モジュール１０３６により登録される情報である。位置情報ＤＢ１０２２が記憶する情報は、適宜変更・更新することが可能である。
　項目「識別ＩＤ」は、識別マーカ３４に含まれる二次元バーコードに埋め込まれた識別情報を示す。項目「検出時間」は、位置情報（項目「Ｘ座標」～「Ｚ座標」）が検出された時刻に関する情報を示す。項目「Ｘ座標」～「Ｚ座標」はそれぞれ、検出された特定部位の位置情報である手術室３０内の３次元座標値を示す。
　図８は、個人特定情報ＤＢ１０２３のデータ構造を示す図である。図８に示すように、個人特定情報ＤＢ１０２３のレコードの各々は、例えば、項目「個人特定情報ＩＤ」と、項目「個人情報」とを含む。個人特定情報ＤＢ１０２３に記憶された情報は、挙動解析システム１の管理者等によってあらかじめ登録された情報である。個人特定情報ＤＢ１０２３が記憶する情報は、適宜変更・更新することが可能である。
　項目「個人特定情報ＩＤ」は、識別マーカ３４に含まれる二次元バーコードに埋め込まれた個人特定情報を示す。項目「個人情報」は、個人特定情報ＩＤに紐付けられた医療従事者３２の個人情報（ここでは医療従事者３２の氏名）を示す。
　図９は、軌跡ＤＢ１０２４のデータ構造を示す図である。図９に示すように、軌跡ＤＢ１０２４のレコードの各々は、例えば、項目「軌跡ＩＤ」と、項目「個人特定情報ＩＤ」と、項目「識別情報ＩＤ」と、項目「Ｘ座標」と、項目「Ｙ座標」と、項目「Ｚ座標」とを含む。軌跡ＤＢ１０２４に記憶された情報は、位置情報ＤＢ１０２２に基づいて軌跡算出モジュール１０３７により登録される情報である。軌跡ＤＢ１０２４が記憶する情報は、適宜変更・更新することが可能である。
　項目「軌跡ＩＤ」は、軌跡算出モジュール１０３７により特定された医療従事者３２の身体各部の軌跡を特定するための情報を示す。項目「個人特定情報ＩＤ」は、識別マーカ３４に含まれる二次元バーコードに埋め込まれた個人特定情報を示す。項目「識別情報ＩＤ」は、識別マーカ３４に含まれる二次元バーコードに埋め込まれた識別情報を示す。項目「検出時間」は、位置情報（項目「Ｘ座標」～「Ｚ座標」）が検出された時刻に関する情報を示す。項目「Ｘ座標」～「Ｚ座標」はそれぞれ、検出された特定部位の位置情報である手術室３０内の３次元座標値を示す。項目「軌跡ＩＤ」で特定される軌跡は特定の（言い換えれば単一の）項目「個人特定情報ＩＤ」及び項目「識別情報ＩＤ」に紐付けられ、さらに、位置情報である項目「Ｘ座標」～「Ｚ座標」の複数の組に紐付けられている。これら位置情報である項目「Ｘ座標」～「Ｚ座標」の複数の組が医療従事者３２の特定部位の軌跡に相当する。
　＜３　手術着３３の構成＞
　図４は、本実施形態の挙動解析システム１で用いられる手術着３３の一例を示す平面図である。
　図４に示す手術着３３は、医療従事者３２が上半身に着用するスクラブと呼ばれる上衣３３ａと、医療従事者３２が下半身に着用するスラックス３３ｂと、医療従事者３２が頭に着用する帽子３３ｃとを有する。なお、図４に示す手術着３３は一例である。一例として、図４に示すスクラブ３３ａは半袖タイプであるが、７分袖、長袖タイプであってもよい。また、スクラブ３３ａの丈も図４に示す例に限定されない。
　手術着３３の外面には、医療従事者３２の特定部位に対応する位置に識別マーカ３４が付着されている。図４に示す例では、医療従事者３２の胸、腕（正確には肘に近い箇所の上腕）、膝、及び頭頂に識別マーカ３４が付されている。当然、識別マーカ３４を設ける箇所（特定部位）、及び識別マーカ３４の個数は任意であり、挙動解析装置１０により解析すべき医療従事者３２の挙動の内容及び精度に基づいて適宜決定されれば良い。
　識別マーカ３４を手術着３３の外面に付着させる手法も任意である。一例として、識別マーカ３４に含まれる二次元バーコードの裏面、あるいは手術着３３の外面の特定部位に対応する領域に面ファスナーを設け、この面ファスナーにより二次元バーコードを手術着３３に対して着脱自在に設けてもよい。また、二次元バーコードが印刷等された布を手術着３３に縫い付けてもよい。少なくとも、個人特定情報が埋め込まれた二次元バーコードについては手術着３３に対して着脱自在に設けることが好ましい。
　少なくとも個人特定情報が埋め込まれた二次元バーコードを手術着３３に対して着脱自在に設けることで、ある手術着３３を複数の医療従事者３２が順次着用する場合であっても、医療従事者３２は自身の個人特定情報が埋め込まれた二次元バーコードを着用時に手術着３３に貼り付けることができる。これにより、ある手術着３３を複数の医療従事者３２が利用することができ、合理的な手術着３３の運用が可能となる。当然、手術等の作業毎に手術着３３は洗濯、クリーニングされており、清潔な段階で個人特定情報が埋め込まれた二次元バーコードを貼り付けることになる。また、着脱自在な二次元バーコードについても適宜洗濯、クリーニングすることが好ましい。
　図５は、本実施形態の挙動解析システム１で用いられる識別マーカ３４の一例を示す図である。
　図５に示す識別マーカ３４には、２つの二次元バーコード（図５に示す例ではＱＲコード）３５ａ、３５ｂが設けられている。一方の二次元バーコード３５ａには、医療従事者３２の特定部位を表す識別情報と、医療従事者３２の個人特定情報とが埋め込まれている。この二次元バーコード３５ａについては、識別マーカ３４に対して着脱自在にも受けられている。もう一方の二次元バーコード３５ｂには、医療従事者３２の特定部位を表す識別情報が埋め込まれている。識別マーカ３４に含まれる二次元バーコード３５ａ、３５ｂの個数も任意である。
　また、識別情報及び個人特定情報のうち、少なくとも識別情報については一つの二次元バーコードに複数個埋め込まれている。一つの二次元バーコードに複数個の識別情報を埋め込むことにより、仮に撮像装置３１により二次元バーコードの一部しか撮像できなかった場合であっても、この撮像データから識別情報抽出モジュール１０３４が確実に識別情報を抽出することができる。
　当然、一つの識別マーカ３４に、医療従事者３２の特定部位を表す識別情報と、医療従事者３２の個人特定情報とが埋め込まれた二次元バーコード３５ａを複数個設けてもよい。また、医療従事者３２の特定部位を表す識別情報と、医療従事者３２の個人特定情報とが埋め込まれた二次元バーコード３５ａが、手術着３３に設けられた識別マーカ３４のいずれか一つに設けられていれば、他の識別マーカ３４については、医療従事者３２の特定部位を表す識別情報が埋め込まれた二次元バーコード３５ｂのみ設けられていてもよい。
　さらに、図５では１つの識別マーカ３４に複数種類の二次元バーコード３５ａ、３５ｂが設けられているが、同一種類の二次元バーコード３５ａ（または３５ｂ）が複数設けられていてもよい。同一種類の二次元バーコード３５ａ（または３５ｂ）を識別マーカ３４に複数設けると、仮に撮像装置３１により識別マーカ３４の一部しか撮像できなかった場合でも、複数の二次元バーコード３５ａ、３５ｂのうちいずれか１つの二次元バーコード３５ａ、３５ｂが撮像できていれば、この撮像データから識別情報抽出モジュール１０３４が確実に識別情報を抽出することができる。
　＜４　動作例＞
　以下、挙動解析装置１０の動作の一例について説明する。
　図１０は、挙動解析装置１０の動作の一例を表すフローチャートである。図１０は、撮像装置３１で撮像された撮像データに基づき、医療従事者３２の挙動情報を得る際の動作の例を表すフローチャートである。
　まず、撮像装置３１は、例えば、動画として一連の動きを認識可能な程度のフレームレートで監視対象エリアとしての手術室３０内を撮像している。動画として一連の動きを認識可能程度のフレームレートとは、例えば、３０ｆｐｓ程度である。撮像装置３１は、撮像データを、エッジサーバ２０を介して挙動解析装置１０へ送信する。なお、撮像装置３１は、画像データを、挙動解析装置１０へ直接送信してもよい。
　ステップＳ１１において、制御部１０３は、撮像装置３１により撮影された撮像データを取得する処理を行う。具体的には、例えば、制御部１０３は、画像データ取得モジュール１０３３により撮像データを取得し、必要な場合は所定の画像処理を行って画像データを取得する。画像データ取得モジュール１０３３により取得された画像データは、記憶部１０２等において記憶される。制御部１０３は、画像データを識別情報抽出モジュール１０３４へ出力する。
　ステップＳ１２において、制御部１０３は、画像データを解析し、画像データ中に含まれる識別マーカ３４を検出し、さらにこの識別マーカ３４に含まれる二次元バーコードを特定する。具体的には、例えば、制御部１０３は、識別情報抽出モジュール１０３４により画像データを解析し、画像データ中に含まれる識別マーカ３４を検出する。次いで、識別情報抽出モジュール１０３４は、検出した識別マーカ３４に含まれる二次元バーコードを特定する。
　ステップＳ１３において、制御部１０３は、ステップＳ１２で検出した二次元バーコードから識別情報を抽出する。具体的には、例えば制御部１０３は、識別情報抽出モジュール１０３４により、ステップＳ１２で抽出した二次元バーコードの内容（コード）を読み取り、読み取った内容から識別情報を抽出する。識別情報抽出モジュール１０３４により取得された識別情報は、記憶部１０２等において記憶される。
　ステップＳ１４において、制御部１０３は、ステップＳ１２で検出した二次元バーコードに個人特定情報が含まれている場合は、この二次元バーコードから個人特定情報を抽出する。具体的には、例えば制御部１０３は、識別情報抽出モジュール１０３４により、ステップＳ１２で抽出した二次元バーコードの内容（コード）を読み取り、読み取った内容に個人特定情報が含まれている場合、この個人特定情報を抽出する。識別情報抽出モジュール１０３４により取得された個人特定情報は、記憶部１０２等において記憶される。
　ステップＳ１５において、制御部１０３は、ステップＳ１３において抽出した識別情報に基づいて、二次元バーコードが示す医療従事者３２の特定部位を判定する。具体的には、例えば、制御部１０３は、特定部位判定モジュール１０３５により、ステップＳ１３において抽出した識別情報と、識別情報データベース１０２１に格納されている識別情報と特定部位との対応付けに基づいて、二次元バーコードが示す医療従事者３２の特定部位を判定する。特定部位判定モジュール１０３５により判定された特定部位は、記憶部１０２等において記憶される。
　ステップＳ１６において、制御部１０３は、ステップＳ１５において判定された特定部位の位置情報を算出する。具体的には、例えば、制御部１０３は、位置情報算出モジュール１０３６により、ステップＳ１５において判定された医療従事者３２の特定部位の、画像データ内における撮像位置に基づいて、医療従事者３２の特定部位の位置情報を算出する。位置情報算出モジュール１０３６により算出された特定部位の位置情報は、記憶部１０２等において記憶される。
　ステップＳ１７において、制御部１０３は、ステップＳ１６において算出された医療従事者３２の特定部位の位置情報に基づいて手術室３０内における医療従事者３２の身体各部の軌跡を特定する。具体的には、例えば、制御部１０３は、軌跡算出モジュール１０３７により、ステップＳ１６において算出した医療従事者３２の特定部位の位置情報に基づいて、手術室３０内における医療従事者３２の身体各部の軌跡を算出する。好ましくは、軌跡算出モジュール１０３７は、手術室３０内における医療従事者３２の特定部位の軌跡を算出する。
　ステップＳ１８において、制御部１０３は、ステップＳ１７において特定された医療従事者３２の身体各部の軌跡に基づいて、医療従事者３２の挙動情報を出力する。具体的には、例えば、制御部１０３は、挙動情報算出モジュール１０３８により、ステップＳ１７において特定された医療従事者３２の身体各部の軌跡に基づいて、医療従事者３２の挙動情報を出力する。この際、挙動情報算出モジュール１０３８は、ステップＳ１４において抽出した個人特定情報に基づいて、同一の個人特定情報に関連する特定部位の軌跡を身体各部の軌跡としてまとめ、医療従事者３２単位の挙動情報を出力する。
　さらに、制御部１０３は、医療従事者３２の挙動情報を出力装置に出力する。具体的には、例えば、制御部１０３は、挙動情報算出モジュール１０３８により、挙動情報を挙動解析装置１０、又はモニター装置２１に提示させる。
　＜５　画面例＞
　以下、挙動解析装置１０（含むモニター装置２１）から出力される画面の一例を、図１１～図１３を参照して説明する。
　図１１は、モニター装置２１で表示される画面の一例を表す模式図である。ここでは、挙動情報算出モジュール１０３８は、医療従事者３２の挙動情報を出力する前提として、位置情報算出モジュール１０３６が算出した医療従事者３２の特定部位の位置情報に基づく、医療従事者３２の骨格モデル１１００をモニター装置２１に出力している。
　図１２は、モニター装置２１で表示される画面の別の一例を表す模式図である。ここでは、挙動情報算出モジュール１０３８は、位置情報算出モジュール１０３６が算出した医療従事者３２の特定部位の位置情報に基づく、複数の測定時間における医療従事者３２の骨格モデル１１００をモニター装置２１に出力している。時間変動に伴い、医療従事者３２の特定部位の位置情報が異なることによる骨格モデル１１００が変動した箇所を点線１１０１で示す。
　図１３は、モニター装置２１で表示される画面のまた別の一例を表す模式図である。ここでは、挙動情報算出モジュール１０３８は、医療従事者３２の挙動情報を、軌跡算出モジュール１０３７により算出された医療従事者３２の特定部位の軌跡１１０２を骨格モデル１１００に重畳して表示することで、挙動情報をモニター装置２１に出力している。
　なお、図１１～図１３に示す画面例はあくまでも一例であり、挙動情報等はこれら画面例のものに限定されない。
　＜６　実施形態の効果＞
　以上詳細に説明したように、本実施形態の挙動解析システム１によれば、手術着３３に付された識別マーカ３４の二次元バーコードに基づいて医療従事者３２の特定部位の位置情報を算出し、この位置情報に基づいて医療従事者３２の身体各部の軌跡を算出し、この軌跡を医療従事者３２の挙動情報として出力しているので、医療従事者３２の監視、解析を精度良くかつ低コストで実現することができる。
　＜７　付記＞
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
　また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。
　さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
　以上の各実施形態で説明した事項を以下に付記する。
　（付記１）
　コプロセッサ（１９）と、メモリ（１５）とを備えるコンピュータ（１０）を動作させるためのプログラムであって、プログラムは、プロセッサ（１９）に、所定箇所に二次元バーコード（３５ａ，３５ｂ）を含む識別マーカ（３４）が少なくとも一つ付された作業着（３３）を着用した作業者（３２）を含む所定領域を撮像した撮像装置（３１）から撮像情報を受け入れるステップ（Ｓ１１）と、撮像情報に基づいて、この撮像情報に含まれる二次元バーコード（３５ａ，３５ｂ）を特定し、特定した二次元バーコード（３５ａ，３５ｂ）に基づいて所定箇所に対応する作業者（３２）の特定部位を判定するステップ（Ｓ１５）と、判定した特定部位それぞれにおける、所定時間毎の位置情報を算出するステップ（Ｓ１６）とを実行させるプログラム。
　（付記２）
　位置情報に基づいて作業者（３２）の身体各部の軌跡（１１０２）を特定するステップ（Ｓ１７）と、軌跡（１１０２）を作業者（３２）の挙動情報として出力するステップ（Ｓ１８）とをさらに実行させる付記１に記載のプログラム。
　（付記３）
　二次元バーコード（３５ａ，３５ｂ）には識別情報が埋め込まれ、この識別情報は、特定の作業者（３２）の特定部位と予め紐付けされている付記１または２に記載のプログラム。
　（付記４）
　識別情報は二次元バーコード（３５ａ，３５ｂ）に複数個埋め込まれている付記３に記載のプログラム。
　（付記５）
　算出するステップにおいて、二次元バーコード（３５ａ，３５ｂ）から識別情報を抽出し、抽出した識別情報から作業者（３２）の特定部位を判定し、その位置情報を算定する付記３または４に記載の挙動解析システム。
　（付記６）
　識別マーカ（３４）には複数の二次元バーコード（３５ａ、３５ｂ）が設けられている付記１～５のいずれかに記載のプログラム。
　（付記７）
　作業着（３３）には複数の識別マーカ（３４）が付されており、これら識別マーカ（３４）に含まれる二次元バーコード（３５ａ，３５ｂ）のうち少なくとも一つには、作業者（３２）を特定可能な個人特定情報が含まれている付記１～６のいずれかに記載の挙動解析システム。
　（付記８）
　着用者（３２）の肩、及び肘を含む体の部位を一意に示す識別情報が埋め込まれた二次元バーコード（３５ａ，３５ｂ）を含む識別マーカ（３４）が、体の部位と対応する位置にそれぞれ付される作業着（３３）。
　（付記９）
　識別情報は、この識別情報が埋め込まれた二次元バーコード（３５ａ，３５ｂ）に複数個埋め込まれている付記８に記載の作業着（３３）。
　（付記１０）
　識別情報は、情報処理装置（１０）において二次元バーコード（３５ａ，３５ｂ）から抽出され、抽出された識別情報により着用者（３２）の部位が判定され、部位の位置情報が算出されることで着用者（３２）の身体各部の軌跡（１１０２）が特定される付記８または９に記載の作業着（３３）。
　（付記１１）
　識別マーカ（３４）には複数の二次元バーコード（３５ａ、３５ｂ）が設けられている付記８～１０のいずれかに記載の作業着。
　（付記１２）
　作業着（３３）には複数の識別マーカ（３４）が付されており、これら識別マーカ（３４）に含まれる二次元バーコード（３５ａ，３５ｂ）のうち少なくとも一つには、着用者（３２）を特定可能な個人特定情報が含まれている付記８～１１のいずれかに記載の作業着（３３）。
　（付記１３）
　個人特定情報が含まれた二次元バーコード（３５ａ，３５ｂ）を有する識別マーカ（３４）は作業着（３３）から着脱自在である付記１２に記載の作業着（３３）。
　（付記１４）
　情報処理装置（１０）と撮像装置（３１）とを有するシステム（１）であって、情報処理装置（１０）はプロセッサ（１９）を有し、プロセッサ（１９）は、所定箇所に二次元バーコード（３５ａ，３５ｂ）を含む識別マーカ（３４）が少なくとも一つ付された作業着（３３）を着用した作業者（３２）を含む所定領域を撮像した撮像装置（３１）から撮像情報を受け入れるステップ（Ｓ１１）と、撮像情報に基づいて、この撮像情報に含まれる二次元バーコード（３５ａ，３５ｂ）を特定し、特定した二次元バーコード（３５ａ，３５ｂ）に対応する作業者（３２）の特定部位を判定するステップ（Ｓ１５）と、判定した特定部位それぞれにおける、所定時間毎の位置情報を算出するステップ（Ｓ１６）とを実行するシステム。
　（付記１５）
　プロセッサ（１９）と、メモリ（１５）とを備えるコンピュータにより実行される方法であって、プロセッサ（１９）が、所定箇所に二次元バーコード（３５ａ，３５ｂ）を含む識別マーカ（３４）が少なくとも一つ付された作業着（３３）を着用した作業者（３２）を含む所定領域を撮像した撮像装置（３１）から撮像情報を受け入れるステップ（Ｓ１１）と、撮像情報に基づいて、この撮像情報に含まれる二次元バーコード（３５ａ，３５ｂ）を特定し、特定した二次元バーコード（３５ａ，３５ｂ）に基づいて所定箇所に対応する作業者（３２）の特定部位を判定するステップ（Ｓ１５）と、判定した特定部位それぞれにおける、所定時間毎の位置情報を算出するステップ（Ｓ１６）とを実行する方法。
　１　挙動解析システム、　１０　挙動解析装置、　１５　メモリ、　１６　ストレージ、　１９　プロセッサ、　２０　エッジサーバ、　２１　モニター装置、　３０　手術室、　３１　撮像装置、　３２　医療従事者、　３３　手術着、　３４　識別マーカ、　３５ａ，３５ｂ　二次元バーコード、　１０２　記憶部、　１０３　制御部、　２０２　記憶部、　１０２１　識別情報データベース（ＤＢ）、　１０２２　位置情報ＤＢ、　１０２３　個人特定情報ＤＢ、　１０２４　軌跡ＤＢ、　１０３１　受信制御モジュール、　１０３２　送信制御モジュール、　１０３３　画像データ取得モジュール、　１０３４　識別情報抽出モジュール、　１０３５　特定部位判定モジュール、　１０３６　位置情報算出モジュール、　１０３７　軌跡算出モジュール、　１０３８　挙動情報算出モジュール、　１１００　骨格モデル、　１１０１　点線、　１１０２　軌跡

 

Claims (15)

  1. 　プロセッサと、メモリとを備えるコンピュータを動作させるためのプログラムであって、
    　前記プログラムは、前記プロセッサに、
    　所定箇所に二次元バーコードを含む識別マーカが少なくとも一つ付された作業着を着用した作業者を含む所定領域を撮像した撮像装置から撮像情報を受け入れるステップと、
    　前記撮像情報に基づいて、この撮像情報に含まれる前記二次元バーコードを特定し、特定した前記二次元バーコードに基づいて前記所定箇所に対応する前記作業者の特定部位を判定するステップと、
    　判定した前記特定部位それぞれにおける、所定時間毎の位置情報を算出するステップと
    を実行させるプログラム。
  2. 　前記位置情報に基づいて前記作業者の身体各部の軌跡を特定するステップと、
    　前記軌跡を前記作業者の挙動情報として出力するステップと
    をさらに実行させる請求項１に記載のプログラム。
  3. 　前記二次元バーコードには識別情報が埋め込まれ、この識別情報は、特定の前記作業者の前記特定部位と予め紐付けされている請求項１または２に記載のプログラム。
  4. 　前記識別情報は前記二次元バーコードに複数個埋め込まれている請求項３に記載のプログラム。
  5. 　前記算出するステップにおいて、前記二次元バーコードから前記識別情報を抽出し、抽出した前記識別情報から前記作業者の前記特定部位を判定し、その位置情報を算定する請求項３または４に記載のプログラム。
  6. 　前記識別マーカには複数の前記二次元バーコードが設けられている請求項１～５のいずれかに記載のプログラム。
  7. 　前記作業着には複数の前記識別マーカが付されており、これら識別マーカに含まれる前記二次元バーコードのうち少なくとも一つには、前記作業者を特定可能な個人特定情報が含まれている請求項１～６のいずれかに記載のプログラム。
  8. 　着用者の肩、及び肘を含む体の部位を一意に示す識別情報が埋め込まれた二次元バーコードを含む識別マーカが、前記体の前記部位と対応する位置にそれぞれ付される作業着。
  9. 　前記識別情報は、この識別情報が埋め込まれた前記二次元バーコードに複数個埋め込まれている請求項８に記載の作業着。
  10. 　前記識別情報は、情報処理装置において前記二次元バーコードから抽出され、前記抽出された前記識別情報により前記着用者の前記部位が判定され、前記部位の位置情報が算出されることで前記着用者の身体各部の軌跡が特定される請求項８または９に記載の作業着。
  11. 　前記識別マーカには複数の前記二次元バーコードが設けられている請求項８～１０のいずれかに記載の作業着。
  12. 　前記作業着には複数の前記識別マーカが付されており、これら識別マーカに含まれる前記二次元バーコードのうち少なくとも一つには、前記着用者を特定可能な個人特定情報が含まれている請求項８～１１のいずれかに記載の作業着。
  13. 　前記個人特定情報が含まれた前記二次元バーコードを有する前記識別マーカは前記作業着から着脱自在である請求項１２に記載の作業着。
  14. 　情報処理装置と撮像装置とを有するシステムであって、
    　前記情報処理装置はプロセッサを有し、
    　前記プロセッサは、
    　所定箇所に二次元バーコードを含む識別マーカが少なくとも一つ付された作業着を着用した作業者を含む所定領域を撮像した前記撮像装置から撮像情報を受け入れるステップと、
    　前記撮像情報に基づいて、この撮像情報に含まれる前記二次元バーコードを特定し、特定した前記二次元バーコードに対応する前記作業者の特定部位を判定するステップと、
    　判定した前記特定部位それぞれにおける、所定時間毎の位置情報を算出するステップと
    を実行するシステム。
  15. 　プロセッサと、メモリとを備えるコンピュータにより実行される方法であって、
    　前記プロセッサが、
    　所定箇所に二次元バーコードを含む識別マーカが少なくとも一つ付された作業着を着用した作業者を含む所定領域を撮像した撮像装置から撮像情報を受け入れるステップと、
    　前記撮像情報に基づいて、この撮像情報に含まれる前記二次元バーコードを特定し、特定した前記二次元バーコードに基づいて前記所定箇所に対応する前記作業者の特定部位を判定するステップと、
    　判定した前記特定部位それぞれにおける、所定時間毎の位置情報を算出するステップと
    を実行する方法。
     
     

     
PCT/JP2022/041256 2021-11-04 2022-11-04 プログラム、作業着、システム及び方法 WO2023080219A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-180564 2021-11-04
JP2021180564A JP7080389B1 (ja) 2021-11-04 2021-11-04 プログラム、作業着、システム及び方法

Publications (1)

Publication Number Publication Date
WO2023080219A1 true WO2023080219A1 (ja) 2023-05-11

Family

ID=81852658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/041256 WO2023080219A1 (ja) 2021-11-04 2022-11-04 プログラム、作業着、システム及び方法

Country Status (2)

Country Link
JP (2) JP7080389B1 (ja)
WO (1) WO2023080219A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007090448A (ja) * 2005-09-27 2007-04-12 Honda Motor Co Ltd 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット
JP2008225913A (ja) * 2007-03-13 2008-09-25 Fujitsu Ltd 作業支援システム、作業支援装置および作業支援方法
JP2012084110A (ja) * 2010-09-14 2012-04-26 Gear Nouve Co Ltd 工事現場の労務管理システム及びサーバ
JP2012103806A (ja) * 2010-11-08 2012-05-31 Japan Research Institute Ltd 承認システム及び承認方法
KR20130001891U (ko) * 2011-09-11 2013-03-20 박규호 큐알 코드가 결합된 아이티 의류
JP2014053821A (ja) * 2012-09-07 2014-03-20 Sogo Keibi Hosho Co Ltd 警備システム及び警備方法
JP2019139343A (ja) * 2018-02-07 2019-08-22 グンゼ株式会社 無線タグ複合体、衣類及び見守りキット
JP2019141262A (ja) * 2018-02-19 2019-08-29 国立大学法人 筑波大学 武道動作解析方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000021945A (ja) 1998-06-30 2000-01-21 Nec Corp 半導体集積回路のコンタクト抵抗測定方法及び回路

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007090448A (ja) * 2005-09-27 2007-04-12 Honda Motor Co Ltd 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット
JP2008225913A (ja) * 2007-03-13 2008-09-25 Fujitsu Ltd 作業支援システム、作業支援装置および作業支援方法
JP2012084110A (ja) * 2010-09-14 2012-04-26 Gear Nouve Co Ltd 工事現場の労務管理システム及びサーバ
JP2012103806A (ja) * 2010-11-08 2012-05-31 Japan Research Institute Ltd 承認システム及び承認方法
KR20130001891U (ko) * 2011-09-11 2013-03-20 박규호 큐알 코드가 결합된 아이티 의류
JP2014053821A (ja) * 2012-09-07 2014-03-20 Sogo Keibi Hosho Co Ltd 警備システム及び警備方法
JP2019139343A (ja) * 2018-02-07 2019-08-22 グンゼ株式会社 無線タグ複合体、衣類及び見守りキット
JP2019141262A (ja) * 2018-02-19 2019-08-29 国立大学法人 筑波大学 武道動作解析方法

Also Published As

Publication number Publication date
JP2023070013A (ja) 2023-05-18
JP2023069022A (ja) 2023-05-18
JP7080389B1 (ja) 2022-06-03

Similar Documents

Publication Publication Date Title
Plantard et al. Validation of an ergonomic assessment method using Kinect data in real workplace conditions
Yu et al. Joint-level vision-based ergonomic assessment tool for construction workers
US10314536B2 (en) Method and system for delivering biomechanical feedback to human and object motion
Regazzoni et al. RGB cams vs RGB-D sensors: Low cost motion capture technologies performances and limitations
CN109567954A (zh) 图像引导程序的工作流程辅助系统及方法
Diego-Mas et al. Using Kinect™ sensor in observational methods for assessing postures at work
EP3593226B1 (en) Medical augmented reality navigation
Ray et al. Real-time construction worker posture analysis for ergonomics training
Humadi et al. In-field instrumented ergonomic risk assessment: Inertial measurement units versus Kinect V2
Jun et al. Automatized modeling of a human engineering simulation using Kinect
WO2018087853A1 (ja) 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム
US20150130841A1 (en) Methods and computing devices to measure musculoskeletal movement deficiencies
CN115315729A (zh) 用于促进远程呈现或交互的方法和系统
Wu et al. Monitoring the respiratory behavior of multiple cows based on computer vision and deep learning
Altieri et al. A low cost motion analysis system based on RGB cameras to support ergonomic risk assessment in real workplaces
Manghisi et al. A virtual reality approach for assisting sustainable human-centered ergonomic design: the ErgoVR tool
WO2023080219A1 (ja) プログラム、作業着、システム及び方法
JP7125872B2 (ja) 作業支援装置、および、作業支援方法
Diego-Mas et al. Using RGB-D sensors and evolutionary algorithms for the optimization of workstation layouts
WO2016140129A1 (ja) 動作評価装置、動作評価方法、及びコンピュータ読み取り可能な記録媒体
CN113196283A (zh) 使用射频信号的姿态估计
Tarabini et al. Real-time monitoring of the posture at the workplace using low cost sensors
JP6940139B2 (ja) 身体特性分析装置、身体特性分析方法、及びプログラム
US20120280910A1 (en) Control system and method for controlling a plurality of computer devices
EP4181080A1 (en) Monitoring an entity in a medical facility

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22890039

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE