WO2019039448A1 - 動作判定プログラム、動作判定装置、動作判定用画像生成プログラム、動作判定用画像生成装置 - Google Patents

動作判定プログラム、動作判定装置、動作判定用画像生成プログラム、動作判定用画像生成装置 Download PDF

Info

Publication number
WO2019039448A1
WO2019039448A1 PCT/JP2018/030753 JP2018030753W WO2019039448A1 WO 2019039448 A1 WO2019039448 A1 WO 2019039448A1 JP 2018030753 W JP2018030753 W JP 2018030753W WO 2019039448 A1 WO2019039448 A1 WO 2019039448A1
Authority
WO
WIPO (PCT)
Prior art keywords
rgb data
unit
appearance frequency
component
wearable device
Prior art date
Application number
PCT/JP2018/030753
Other languages
English (en)
French (fr)
Inventor
渡嘉敷　守
寛 大澤
Original Assignee
ミライアプリ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ミライアプリ株式会社 filed Critical ミライアプリ株式会社
Publication of WO2019039448A1 publication Critical patent/WO2019039448A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to an operation determination program, an operation determination apparatus, an operation determination image generation program, and an operation determination image generation apparatus for determining an operation of a wearable device wearer.
  • each individual wears a wearable device including an acceleration sensor, and the waveform of an acceleration signal acquired from each acceleration sensor is analyzed to determine the operation of each individual.
  • a method of analyzing such a waveform there are a method of waveform mapping which is determined by how much the waveforms match, and a method of frequency decomposition which is determined by how much frequency components included in the waveforms are matched.
  • the movement indicated by each individual varies, and even the operation including repetition of the same work does not necessarily indicate the same change in the acceleration value.
  • the value and direction of acceleration shown while passing a fixed time interval largely differ depending on the change in speed, the order of performing work, and the like.
  • the movement to bring the bar code reader close to the bar code has different acceleration waveforms each time even if the same person repeatedly performs it. It does not show similar waveforms that can be identified as Furthermore, when an abnormal movement unrelated to the original work, such as scratching the head in the middle of the work, is inserted, it is impossible to remove a portion corresponding to the abnormal movement from the waveform and extract a common element.
  • the present invention provides an operation determination program, an operation determination apparatus, an operation determination image generation program, and an operation determination image generation apparatus capable of generating information capable of accurately determining an operation of a wearable device wearer from an acceleration signal. It is in.
  • the operation determination program of the present invention is characterized in that, in a computer, based on acceleration signals in three axial directions of X, Y and Z from a wearable device, An appearance frequency generation process of generating appearance frequencies of at least two components among the XY component, the YZ component, and the ZX component, and an appearance frequency of at least two components generated by the appearance frequency generation process RGB data generation processing for generating RGB data having values of at least two colors; labeling processing for applying a label for specifying the action of the wearer of the wearable device to the RGB data at the predetermined time interval; The wearable corresponding to the RGB data based on a plurality of RGB data with a common label attached A determination processing device of the wearer's operation, is executed.
  • quantization processing for generating acceleration values in the X, Y, and Z axis directions per unit time based on sampling values obtained by sampling the acceleration signal at a predetermined rate in the computer.
  • An appearance frequency generation process of generating the appearance frequency of the two components may be executed.
  • the computer may execute setting processing for setting the predetermined time interval.
  • the setting process may set the predetermined time interval based on a detection signal detected by an external detection device.
  • the setting process may hierarchically set a plurality of the predetermined time intervals having different lengths.
  • the value of one of the RGB color signals may be a value based on a detection signal detected by an external detection device.
  • the present invention can also be grasped as an operation determination device that realizes the functions of the above-described respective processes. Further, the present invention is an image generation program for operation determination that causes a computer to execute the appearance frequency generation process and the RGB data generation process, and an operation determination image generation apparatus having the appearance frequency generation unit and the RGB data generation unit. It can also be captured.
  • this embodiment A mode for carrying out the present invention (hereinafter, referred to as “this embodiment”) will be specifically described with reference to the drawings.
  • the present embodiment is applied to an operation determination system that determines the operation of the wearer of the wearable device based on the acceleration signal.
  • the action refers to the state of the wearer indicated by the movement of the wearer. Even when movement is stopped and movement is stopped, the movement can be identified because there is movement corresponding to movement and movement before and after that, and movement detected by the acceleration signal can be specified, Included in the action. That is, not only work and exercise but also stop, rest, rest, sleep, posture, tone, work efficiency, concentration, fatigue, skill, etc. are included in the operation. In other words, the operation referred to in the present embodiment includes the concept of the state of the wearer, and the operation may be read as the state or the operation determination may be read as the state determination. Wearing may be any state as long as it can follow the movement of the wearer to the extent that the movement of the wearer can be identified. For this reason, not only when directly in contact with the wearer but also with clothes or members may be interposed between the wearer and the wearer.
  • Determining an action means indicating whether or not the action is a specific action. This includes the case of indicating the probability of being a specific operation. It also includes the case where the probability exceeds a threshold to indicate that it is a specific operation.
  • the operation determination system S includes wearable devices D1 to Dn (hereinafter, simply referred to as wearable device D), an operation determination device M, and an access point P.
  • the wearable device D is an information communication terminal capable of transmitting and receiving information mutually via the network N or with the operation determination apparatus M.
  • the wearable device D includes a main unit U and a mounting unit B to be mounted on a human body.
  • a watch-type information communication terminal is used as the wearable device D.
  • the main unit U incorporates a computer provided with a processing unit described later in a thin housing.
  • the mounting portion B is a band wound around an arm and stopped as shown in FIG.
  • the operation determination device M is a device capable of transmitting and receiving information with the wearable device D via the network N.
  • Information from each wearable device D is collected in the motion determination device M, and based on this, the motion of the wearer is determined.
  • the information from the wearable device D also includes information input from an external device. For example, as shown in FIG. 1 and FIG. 2, the read signal from the bar code reader R connected to the wearable device D by short distance power saving radio such as Blueto Meetingth (registered trademark) is also the information from the wearable device D include.
  • the access point P is a relay device that relays communication between the network N, the wearable device D, and the management device M1.
  • the access point P is also a transmitter that transmits location information.
  • the access point P is typically a WiFi wireless LAN access point.
  • identification information and position information on the installation place are registered, and in the transmitted beacon, the identification information and information on the installation place are included.
  • the installed facility is divided into a plurality of areas, and the access point P installed in each area is given different position information for each area.
  • the wearable device D, the operation determination device M, and the access point P are mainly configured by a computer controlled by a program.
  • the computer is configured of a processor such as a CPU, a storage medium such as a memory, and the like, but the implementation of hardware and programs can be variously changed.
  • the operation determination device M can be configured by a server device. Various settings, arithmetic expressions, parameters, and the like necessary for the processing of each unit described later are stored in advance in a built-in or removable storage medium. A storage unit to be described later can be configured as part of the storage area of such a storage medium.
  • the present invention can also be understood as a computer program for executing each function, and a computer readable storage medium storing such a program.
  • the wearable device D is a device in which the subject of the operation is attached to a part of the body. As shown in FIG. 3, the wearable device D includes a communication unit 1, a current position determination unit 2, an information input unit 3, an information conversion unit 4, an information output unit 5, and a notification information output unit 6.
  • the communication unit 1 is a processing unit that transmits and receives information to and from the outside.
  • the communication unit 1 can transmit and receive information to and from the operation determination apparatus M and another wearable device D via the network N.
  • the network N may have many-to-one, many-to-many, or one-to-one relationship.
  • the communication unit 1 has a connection function between the management device M1, the management server M2, and the wearable device D by a wireless LAN such as WiFi, WiFi Direct, or the like.
  • the communication unit 1 receives the position information included in the beacon transmitted by the access point P. This reception process is called beacon scan, and the timing at which beacon scan is performed is called scan timing.
  • the communication unit 1 also receives information from an external input device such as a barcode reader R.
  • the current position determination unit 2 is a processing unit that determines the position where the wearable device D exists, that is, the position of the staff based on the position information from the access point P received by the communication unit 1.
  • the current position determination unit 2 includes a signal detection unit 21 and a position determination unit 22.
  • the signal detection unit 21 is a processing unit that detects position information included in the beacon received from the access point P.
  • the position information is, for example, information for identifying a predetermined area in which each access point P is installed.
  • the position determination unit 22 is a processing unit that determines the position of the wearable device D based on the position information. That is, the position determination unit 22 determines the position of the holder wearing the wearable device D. Note that various methods can be applied to the detection of the position based on the position information of the access point P. When beacons from access points P in a plurality of areas are received, other information such as radio wave strength may be added to the determination.
  • the information input unit 3 is a processing unit that inputs information on the wearer of the wearable device D.
  • the information input unit 3 includes an acceleration sensor 31, a geomagnetic sensor 32, a touch sensor 33, a pulse sensor 34, a temperature sensor 35, an air pressure sensor 36, a gyro sensor 37, a camera 38, and a microphone 39.
  • the acceleration sensor 31 is a sensor that senses inclination and vibration and converts it into an electrical signal according to the degree of inclination and vibration.
  • the acceleration sensor 31 is a sensor capable of detecting accelerations in three axial directions orthogonal to each other in the X-axis direction, the Y-axis direction, and the Z-axis direction.
  • the geomagnetic sensor 32 is a sensor that senses the magnitude and direction of the magnetic field and converts it into an electrical signal according to the direction.
  • the touch sensor 33 is a sensor that senses a touch on the surface.
  • the touch sensor 33 is a means for inputting information through contact with the holder.
  • the touch sensor 33 is, for example, a touch panel configured in a display unit 62 described later, and enables an input operation such as tap and slide.
  • a tap is to touch the surface briefly with a finger, and a slide is to move the surface while touching it with a finger.
  • the tap only indicates an operation in which the surface touching time is short and the slide indicates an operation in which the surface touching time is long for convenience, and may be another name such as flick or swipe.
  • the pulse sensor 34 is a sensor that contacts the holder and detects the pulse of the holder.
  • the pulse sensor 34 is also a means for inputting information through contact with the holder.
  • a sensor that detects a pulse by irradiation and reflection of ultraviolet light can be used.
  • the temperature sensor 35 is a sensor that contacts the holder and converts it into an electrical signal corresponding to the temperature of the holder.
  • the temperature sensor 35 is also a means for contacting the holder and inputting information.
  • the atmospheric pressure sensor 36 is a sensor that detects an atmospheric pressure.
  • an air pressure sensor using a piezoelectric element can be applied.
  • the gyro sensor 37 is a sensor that detects angular velocity in the directions of three axes of X, Y, and Z.
  • the camera 38 is a device that picks up a still image or a moving image and inputs it as image data or moving image data.
  • the microphone 39 is an input device that converts ambient sound into an electrical signal.
  • the information conversion unit 4 is a processing unit that converts the information input by the information input unit 3 into a format suitable for the processing of the operation determination apparatus M.
  • Information is converted by detecting information such as acceleration, vibration, direction, pulse, body temperature, angular velocity, etc. of signals from the acceleration sensor 31, geomagnetic sensor 32, pulse sensor 34, temperature sensor 35, pressure sensor 36, and gyro sensor 37. Includes conversion to parameters according to. Also, conversion of information includes conversion of a signal input from the touch sensor 33 into a pulse signal.
  • the conversion of information includes processing of converting the posture of the holder, the degree of opening and closing of the eyelid, the parameter indicating the expression, and the like based on the image data captured by the camera 38 and the moving image data. Furthermore, the conversion of information includes a process of converting a signal input by the microphone 39 into a parameter indicating the magnitude of sound.
  • the information conversion unit 4 does not have to convert all the information input from the information input unit 3.
  • the information input from the information input unit 3 may be output as it is to the information output unit 5, and the communication unit 1 may transmit this to the operation determination device M.
  • the operation determination apparatus M includes an information conversion unit that converts the information as described above.
  • the information output unit 5 is a processing unit that outputs information from the information input unit 3 together with identification information and position information of each wearable device D and causes the communication unit 1 to transmit the information. Based on the information output from the information output unit 5, the administrator using the operation determination apparatus M that has received the information can grasp the operation, position, and other conditions of the owner of each wearable device D.
  • the notification information output unit 6 is a processing unit that outputs the notification information received from the operation determination device M in a mode that can be determined by the user.
  • the notification information output unit 6 includes a vibration unit 61 and a display unit 62.
  • the vibrating unit 61 is means for transmitting notification information to the holder through contact with the holder.
  • the vibration unit 61 can use, for example, a vibrator that generates vibration using a motor as a drive source.
  • the vibration unit 61 can output not only continuous vibration but also intermittent vibration corresponding to the pulse signal according to the notification information.
  • the display unit 62 is a display that displays an image visually determined by the user, such as a still image, a moving image, and a text, for example.
  • the display unit 62 can display a screen interface for input by the touch sensor 33 described above.
  • the wearable device D includes a storage unit that stores information necessary for the process of each unit described above.
  • the information stored in the storage unit includes information input, processed, and output in each of the above-described units.
  • the operation determination apparatus M is an apparatus that determines the operation of the wearer of each wearable device D based on the information from each wearable device D as described above. As shown in FIG. 4, the operation determination apparatus M includes a communication unit 71, an input unit 72, an acceleration value generation unit 73, an image generation unit 74, a label application unit 75, a determination unit 76, a notification information generation unit 77, and a display unit 78. Have.
  • the communication unit 71 is a processing unit that transmits and receives information to and from each wearable device D via the network N.
  • the communication unit 71 functions as a reception unit that receives information and position information from the wearable device D, and a transmission unit that transmits information to be notified to the wearable device D.
  • the input unit 72 is a processing unit that inputs various types of information necessary for the operation determination apparatus M.
  • the input unit 72 includes a touch panel, a keyboard, a mouse, and the like.
  • the touch panel also includes one configured in a display unit 78 described later.
  • the acceleration value generation unit 73 is a processing unit that generates acceleration values in the X, Y, and Z axis directions based on an acceleration signal from the acceleration sensor 31 of each wearable device D.
  • the acceleration signal is continuously received from each wearable device D via the communication unit 71.
  • This acceleration signal has a waveform that frequently changes in a short time in the X-axis direction, the Y-axis direction, and the Z-axis direction, as shown in FIG.
  • the acceleration value generation unit 73 includes a sampling unit 731 and a quantization unit 732.
  • the sampling unit 731 is a processing unit that obtains a sampling value by sampling an acceleration signal at a predetermined rate.
  • the quantization unit 732 is a processing unit that generates acceleration values in the X, Y, and Z axis directions per unit time based on the sampling values obtained by the sampling unit 731. For example, the measurement value per unit time is determined by averaging the sampling values at 2 Hz. That is, the sampling values obtained in 0.5 seconds are added and divided by the number. This gives two measurements per second.
  • the measurement value is, for example, in the range of -12 to 12 [m / s 2 ] as shown in FIG.
  • the image generation unit 74 is a processing unit that generates an image for operation determination.
  • the image generation unit 74 can also be grasped as an operation determination image generation apparatus and an operation determination image generation program.
  • the image generation unit 74 includes an appearance frequency generation unit 741, an RGB data generation unit 742, and a time interval setting unit 743.
  • the appearance frequency generation unit 741 is a processing unit that generates the appearance frequency of the XY component, the YZ component, and the ZX component at predetermined time intervals based on the acceleration value.
  • the appearance frequency is the number of times each component appears in the coordinates.
  • the appearance frequency generation unit 741 includes a count unit 741a and a map generation unit 741b.
  • the counting unit 741a is a processing unit that counts the number of times each component appears in the coordinates. For example, in the case of the acceleration value (15, 28, 15), the counting unit 741a performs the XY component once for the coordinates (15, 28), the YZ component once for the coordinates (28, 15), and the ZY component It counts as having appeared once in 15, 15).
  • the map generation unit 741 b is a processing unit that maps the appearance frequency counted by the counting unit 741 a on predetermined coordinates. For example, assuming that the predetermined time interval is 10 seconds, the appearance frequency is counted 20 times in 10 seconds, and the number of appearances is calculated for each of the XY component, YZ component and ZX component on 32 ⁇ 32 coordinates as shown in FIG. Create a recorded map.
  • a map of 32 ⁇ 32 coordinates with X as the horizontal axis and Y as the vertical axis a map of 32 ⁇ 32 coordinates with Y as the horizontal axis and Z as the vertical axis, Z as the horizontal axis and X as the vertical axis
  • the number of appearances is recorded for each coordinate of the 32 ⁇ 32 coordinate map.
  • the RGB data generation unit 742 is a processing unit that generates RGB data in which the appearance frequency of the XY component, YZ component, and ZX component recorded by the appearance frequency generation unit 741 is a value of three colors among RGB color signals. is there.
  • the RGB data generation unit 742 first normalizes the appearance frequency at each coordinate of the XY component map, the YZ component map, and the ZY component map to a value of 0 to 255 indicating the luminance of each color of R, G, and B. Do.
  • three RGB image data in which the values of R, G, and B for one pixel are determined are generated.
  • the RGB data generation unit 742 generates RGB image data in which three image data are combined into one sheet.
  • the time interval setting unit 743 is a processing unit that sets a predetermined time interval.
  • the predetermined time interval is a time interval at which the appearance frequency is generated by the appearance frequency generation unit 741 to generate one piece of RGB data. Since the contents of the acceleration signal differ according to the setting of this time interval, the meaning indicated by the generated RGB data differs.
  • the setting of the time interval includes the following aspects.
  • the time interval can be set based on information obtained from the outside or the inside of the wearable device D and the operation determination apparatus M. This is a setting of a relatively rough time interval and a setting of a rough time interval.
  • the time zone in which the operation determination is performed is set in advance, and the time obtained from the clock of the wearable device D or the clock of the operation determination device M is set in advance.
  • the end of the set time zone may be taken as the end of the time interval.
  • the time at which the position change occurs based on the position of the wearable device D wearer determined by the current position determination unit 22 of the wearable device D It may be a point in time of interval separation, that is, a start point or an end point. Also, if it is possible to determine the posture of the owner wearing wearable device D from the radio wave intensity etc. when receiving beacons from access points P in a plurality of areas, the time at which the change in posture is It may be a separation of intervals.
  • a case where the acceleration signal from the acceleration sensor 31 exceeds a threshold set in advance or is equal to or lower than the threshold may be used as a time interval delimiter.
  • the wearer is walking and the change in the number of steps within the predetermined time exceeds the threshold.
  • the time interval may be separated if the threshold value or less. Further, in the case of moving in a place where the height difference is large, the time interval may be divided if the pressure signal from the pressure sensor 36 exceeds a preset threshold value or is equal to or less than the threshold value.
  • information indicating the state of the wearer during sleep such as the time zone, the posture estimated by the acceleration sensor 31, and the heart rate from the pulse sensor 34, is set in advance; Whether the information conforms to the information may be used as a time interval separator. For example, in addition to sleep, time intervals related to life such as mobility, desk work, and meals can be set in this manner.
  • the timing when information is input to the wearable device D from the outside may be used as a time interval separator. For example, as shown in FIG. 9 and FIG. 10, “stock out” to take out the goods from the box, “inspection” to check whether the two barcodes attached to the goods are read and agree, store the goods in the box
  • “stock out” to take out the goods from the box “inspection” to check whether the two barcodes attached to the goods are read and agree, store the goods in the box
  • the timing of the second input to the wearable device D may be the end of the inspection operation, and may be the packing operation thereafter.
  • the input of the information which delimits a time interval is not limited to a specific mode.
  • the timing of the input of information from the touch sensor 33 may be a division of time intervals, or the timing of the input of information from a server via a network, a cloud or the like may be a division of time intervals.
  • RGB data can also be used to set such time intervals.
  • RGB data representing a specific operation is set in advance with RGB data having a low degree of quantization, that is, a low resolution.
  • the RGB data generated based on the received acceleration signal is set as the similar low resolution RGB data.
  • the preset RGB data and the generated RGB data are compared, that is, the difference between R, G, and B data is taken, and when the difference is equal to or less than a preset threshold value, the preset RGB data is obtained. It can be determined that there has been an operation corresponding to the data. When it is larger than the threshold value, it can be determined that the operation does not correspond to the preset RGB data.
  • the point at which it is determined that the operation does not correspond to the preset RGB data can be used as a time interval delimiter. In this case, since the resolution is low and the comparison is simply taking differences, it can be used for setting rough time intervals although it is not necessarily accurate.
  • the setting of the time interval as described above may be part of the total time of the operation in order to determine a specific operation included in a part of the entire operation.
  • the setting of a time interval may be made to generate RGB data only for the inspection that is a part of the operation of the bar code inspection.
  • time intervals having different lengths hierarchically as shown in FIG.
  • the acceleration value and the appearance frequency can be obtained at different time intervals based on the common sampling value, and one piece of RGB data can be generated for each time interval.
  • the optimal time interval depends on the characteristics of the operation, the purpose of the determination, the accuracy of the required determination, etc. For example, if an operation can be decomposed into a combination of A, B, C, D, E motion sets, it is preferable that RGB data be obtained at each of A to E at time interval T4. Such a time interval is not necessarily determined by the type of operation, and individual differences also occur.
  • the data is subjected to extraction processing and determination processing to be described later, and a time interval at which the accuracy does not fall below the threshold is selected.
  • FIG. 11 is an example of layering such as a time interval T2 of 300 seconds, a time interval T3 of 60 seconds, and a time interval T4 of 10 seconds with respect to setting of the time interval T1 of 30 minutes.
  • ? Indicates that the time interval corresponds to RGB data whose accuracy does not exceed the threshold.
  • time interval suitable for determination it is possible to obtain a time interval suitable for determination by examining determination using the RGB data obtained at each time interval and examining which time interval is suitable for the determination.
  • T1, T2, T3 and T4 may have high accuracy because the number of RGB data is large.
  • the time interval of each layer is not fixed, and is adjusted by changing it if the accuracy is not improved.
  • the start and the end of the time interval T1 are adjusted according to the determination using the RGB data obtained at the time interval T4 so that the determination of A to E can be performed with an accuracy not falling below the threshold.
  • RGB data is lowered and the difference value between the generated RGB data is calculated similarly to the setting of the basic time interval above. Then, clustering is performed using the difference as a distance to divide the data into RGB data used for operation determination and RGB data not used for operation determination. That is, as shown in FIG. 13, a plurality of pixels are put together to obtain an average value of each of the values of R, G, and B. Then, the values of R, G, and B of all the pixels in the group are taken as the calculated average value. This generates RGB data of coarser resolution than the original RGB data.
  • RGB data be RGB data used for operation determination as data whose feature is easy to determine.
  • the label applying unit 75 is a processing unit that applies a label representing the operation of the wearer of the wearable device D to RGB data at a time interval corresponding to this.
  • the label is identification information for identifying an operation.
  • the label to be attached is information such as 1, 2, 3, A, B, C, etc. which can not be grasped by human at first glance.
  • Labels are prepared in a plurality of stages corresponding to the time intervals of the plurality of layers described above.
  • the RGB data generated in the time interval of the layer of T1 is labeled with the result for identifying the operation of the upper concept.
  • the operation of the lower concept included in the operation of the upper concept that is, the label of the operation element for specifying the operation element is given.
  • the label does not have to be fixed, and can be adjusted by changing it if the accuracy does not improve or if it matches the operation corresponding to another label.
  • the determination unit 76 is a processing unit that determines the operation of the wearer of the wearable device corresponding to the RGB data based on a plurality of RGB data to which a common label is attached. The determination of the operation is performed based on the common feature of the plurality of RGB data.
  • a deep learning tool using a convolutional neural network can be used as the determination unit 76. With regard to the temporal continuity of changes in acceleration, RGB data will be represented as spatial continuity, so it is compatible with convolution processing.
  • the determination unit 76 includes an extraction unit 761 and an identification unit 762.
  • the extraction unit 761 is a processing unit that extracts a common feature of RGB data to which a common label is given.
  • a feature is a converted image obtained by converting a partial image of each RGB data, and is hereinafter referred to as a feature amount.
  • Such extraction of the feature amount is performed, for example, by using a filter of a predetermined size to extract the shade of each pixel of the partial image and determine the respective pixel value of the converted image. It can be performed by repeating processing such as pooling which is regarded as identical even if it is shifted.
  • the identification unit 762 is a processing unit that identifies whether RGB data is RGB data corresponding to a label. This identification corresponds, for example, to a label from a final total bonding layer through a plurality of total bonding layers starting from a total bonding layer in which features obtained from a plurality of RGB data are connected as nodes (neurons). This is done by outputting the probability that the data is RGB data and the probability that it is not.
  • the probability of being RGB data corresponding to a label is the accuracy, and the certain probability and the certain probability are 100% in total.
  • the output of each total bonding layer is the result of operation of the predetermined parameters assigned to each total bonding layer and the output of the previous total bonding layer.
  • the notification information generation unit 77 is a processing unit that generates notification information to be transmitted to the wearable device D from the operation determination apparatus M.
  • the notification information is information notified to the wearer of the wearable device D, and includes the accuracy of determination, a label, and instruction information.
  • the accuracy of the determination and the label allow the wearer of the wearable device D to determine whether the correct determination has been made for his or her action.
  • the instruction information is information for prompting the wearer of the wearable device D to perform a desired action so as to be in a desired state. The generation and transmission of such notification information can be instructed by the input from the input unit 72.
  • the display unit 78 is a processing unit that displays various types of information necessary for the operation determination apparatus M.
  • the display unit 78 includes, for example, an acceleration signal received by the communication unit 71, an acceleration value generated by the acceleration value generation unit 73, an appearance frequency and a map thereof generated by the appearance frequency generation unit 741, and RGB generated by the RGB data generation unit 742.
  • the data, the time interval set by the time interval setting unit 743, the label provided by the labeling unit 75, the determination result by the determination unit 76, the determination accuracy, and the like are displayed.
  • the display unit 78 can also display a screen interface for input by the input unit 72. An administrator who refers to the determination result displayed on the display unit 78 and the determination accuracy and the like can use the input unit 72 to make adjustments by changing the time interval and the label.
  • the operation determination apparatus M also has a storage unit that stores information necessary for the processing of each of the above-described units.
  • the information stored in the storage unit includes an acceleration signal, acceleration data, appearance frequency, appearance frequency map, RGB data, labels, a table of labels and names, determination results, determination accuracy, and the like. Further, the information stored in the storage unit includes information set in advance, various settings such as a threshold value, and the like.
  • the communication unit 71 receives an acceleration signal from each wearable device D, and is input to the acceleration value generation unit 73 (step 101).
  • the sampling unit 731 of the acceleration value generation unit 73 obtains a sampling value obtained by sampling the inputted acceleration signal, and the quantization unit 732 converts the sampling value into respective acceleration values in the X, Y, and Z axis directions (step 102).
  • the counting unit 741a of the appearance frequency generating unit 741 counts the appearance frequencies of the XY component, the YZ component, and the ZY component at predetermined time intervals, and the map generating unit 741b appears on each coordinate of the XY component, the YZ component, and the ZY component.
  • a map in which the number of times is recorded is created (step 103).
  • the RGB data generation unit 742 normalizes the appearance frequency at each coordinate of the map of the XY component, the map of the YZ component, and the map of the ZY component to a value indicating the luminance of each color of R, G, and B.
  • the R, G, and B values of the pixels are determined as the determined three RGB image data, and the three image data are further combined into one to generate RGB data (step 104).
  • RGB data is accumulated in the storage unit by collecting a large number. For example, about 100 to 10000 sheets are collected.
  • the labeling unit 75 labels the RGB data collected in this manner for each hierarchy of time intervals (step 201). Labeling is performed, for example, after classification according to the input from the input unit 72.
  • the RGB data thus labeled is called learning data.
  • the extraction unit 761 of the determination unit 76 extracts a common feature amount of RGB data to which a common label is added (step 202), and whether the identification unit 762 corresponds to a label or not
  • the identification result of is output with accuracy (step 203). This process is performed on all learning data (step 204). If all the learning data are identified (YES in step 204), and if the accuracy is less than the preset threshold (NO in step 204), it is determined that the adjustment is necessary, such as time intervals (see FIG. 12). ) (Step 206).
  • This adjustment also includes operations such as relabeling, excluding the RGB data whose accuracy is less than or equal to the threshold value from the determination targets.
  • the time interval setting unit 743 and the determination unit 76 autonomously change the time interval by a preset increment or decrement, exclude the RGB data whose accuracy is less than the threshold value, etc. from the learning data. You may carry out by instruction input from the input part 72. It is conceivable that the autonomous labeling by the labeling unit 75 is performed on the labels of the motion elements.
  • the upper RGB data having a long time interval and the lower RGB data having a short time interval are compared with each other, and the lowermost RGB data is used as much as possible. It is also good. In addition, it is not necessary to select only time intervals with high accuracy. If the time interval is too short and divided, it may be excluded, and a time interval having a certain length may be the minimum time interval.
  • step 202 recognition based on learning data is performed (steps 202, 203, 204), and when the accuracy exceeds a threshold (YES in step 205), learning is terminated.
  • RGB data capable of determining the operation at normal time includes RGB data capable of determining the detailed operating element, and among the RGB data capable of determining the operating element, determination of the operation according to the purpose Contains RGB data that can be That is, RGB data that can recognize normal operation includes RGB data that is not a target of the operation determination. Furthermore, in addition to the RGB data that can determine the normal operation, there are RGB data that can determine the abnormal operation as described above.
  • the notification information may be output to the wearable device D.
  • the notification information generation unit 77 generates the information when it is determined from the RGB data that the operation of the worker is "fatigue", or when the label indicating the degree of fatigue becomes a label to be "fatigue”.
  • Send instruction information As instruction information, information for prompting a user to take a break of a plurality of time patterns, a meal, another work, or a change in arrangement is set in advance. As a result of transmitting the instruction information, when the operation determination apparatus M determines the operation of the worker, it is possible to determine whether or not the target state has been reached based on the instruction information.
  • notification information that is effective for improving the state of the worker can be determined, which can be used to improve the state.
  • the wearable device D wearer is a marathon runner, based on the RGB data taken at the time of practice and the result of the motion determination based on this, a guide of pace distribution, a guide of the correct form, etc. is used as instruction information Send. This can realize a coaching environment that leads to better results. This is valid for all sports and work.
  • the operation determination program allows the computer to determine the XY component, YZ component, and ZX of the acceleration signal at predetermined time intervals based on the acceleration signals in the three axial directions of X, Y, Z from the wearable device D.
  • appearance frequency generation processing for generating the appearance frequency of at least two components, and RGB data in which the appearance frequency of at least two components generated by the appearance frequency processing is a value of at least two colors among RGB color signals
  • RGB data generation process for generating an RGB data
  • a labeling process for adding a label for specifying the operation of the wearer of the wearable device D to the RGB data at predetermined time intervals
  • the motion determination apparatus is based on the acceleration signals in the three axial directions of X, Y and Z from the wearable device D, among the XY component, YZ component and ZX component of the acceleration signal at predetermined time intervals,
  • An appearance frequency generation unit 741 that generates appearance frequencies of at least two components, and RGB data in which appearance frequencies of at least two components generated by the appearance frequency generation unit 741 are values of at least two colors among RGB color signals
  • a determination unit 76 that determines whether or not the operation corresponds to the label based on the feature of the RGB data.
  • the image generation program for operation determination of the present embodiment causes the computer to execute the appearance frequency generation processing and the RGB data generation processing described above.
  • the operation determination image generation apparatus according to the present embodiment includes the appearance frequency generation unit 741 and the RGB data generation unit 742 described above.
  • the influence of instability in the time axis direction can be suppressed by using the appearance frequency of the acceleration component at predetermined time intervals.
  • waveform analysis since the comparison is performed while maintaining the aspect of the change in the time axis direction of the waveform and the frequency component, it is considered that the order of the work changes and there are individual differences in the speed and movement of the work. , It is very difficult to determine the same action. This is the same because even when waveforms are mapped, the aspect of change in the time axis direction is included.
  • the appearance frequency is likely to be the same, so it can be determined as the same operation. Also, for example, even if there are individual differences in the speed of work and the size of movement, the appearance frequency is likely to indicate the same mode, and thus can be determined as the same movement.
  • the appearance frequency as RGB data
  • image data for recognition by a convolutional neural network there is a method of recognizing an operation using image data obtained by imaging an operation target.
  • image data for recognition by a convolutional neural network there is a method of recognizing an operation using image data obtained by imaging an operation target.
  • the necessary image data becomes enormous and the processing load increases.
  • waveform analysis or more changes in the order of work, individual differences in work speed and movement magnitude occur, so the accuracy of recognition does not improve, or the image data required for improvement is enormous. Become. That is, it can be said that it is technical common sense that there is a problem not only using an acceleration signal but also using image data for recognizing motion.
  • the inventor of the present invention intensively studied, and contrary to the above-mentioned technical common sense, although the acceleration signal is used to determine the movement, it is not a simple acceleration signal but its XY component, YZ component, It came to focus on the appearance frequency of the ZX component. Then, by generating RGB data in which simple numerical information such as appearance frequency is used as the value of each pixel instead of mapping the acceleration signal or the like, an increase in the amount of data along the time axis can be suppressed and accurate. Found out that it is possible to realize That is, in addition to recalling the use of the appearance frequency that has not been focused on in the past, the idea has been reached to convert it into RGB data.
  • the RGB data generated in this way has more areas for becoming zero because the appearance frequency is zero as compared with captured image data and the like, the RGB data becomes a substantially compressed file. Since the data size is reduced, the storage capacity for data storage can be reduced, and the transfer speed can be increased. In addition, it is possible to reduce the amount of calculation required for the convergence of learning. Moreover, since the RGB data is visualized, a certain degree of pattern can be recognized even by human eyes. Such an advantage can not be obtained at all only by imaging an acceleration value as it is or numerically calculating an acceleration value as it is.
  • the operation determination program is a quantization process that causes the computer to generate acceleration values in the X, Y, and Z axis directions per unit time based on sampling values obtained by sampling the acceleration signal at a predetermined rate. And an appearance frequency generation process of generating the appearance frequency of at least the two components based on the acceleration value.
  • the operation determination apparatus includes: a quantization unit 732 that generates acceleration values in the X, Y, and Z axis directions per unit time based on sampling values obtained by sampling the acceleration signal at a predetermined rate; And an appearance frequency generation unit 741 that generates the appearance frequency of the two components based on the value.
  • the acceleration signal is smoothed by quantization, a minute high frequency component is cut, and it is possible to suppress the influence of the movement error, the wearing displacement of the wearable device D, and the like. Furthermore, since the data is quantized, the data is simplified and the amount of calculation in the arithmetic processing is suppressed.
  • the operation determination program of the present embodiment causes the computer to execute setting processing for setting a predetermined time interval. Therefore, by adjusting the time interval according to the determination result of the operation, accurate determination becomes possible.
  • the operation determination program sets a predetermined time interval based on a detection signal detected by an external detection device. Therefore, for example, as in the case of a bar code inspection, it is easy to match the break of the operation and the break of the time interval, and accurate determination can be realized.
  • the operation determination program according to the present embodiment hierarchically sets a plurality of predetermined time intervals having different lengths. Therefore, by trying determinations at various time intervals, it is possible to set an optimal time interval for accurate motion determination.
  • the present invention is not limited to the above embodiment.
  • (1) When converting the appearance frequency into RGB data, there is a problem of timing of division of the time interval. For example, when the assembly process is A, B and C, the timing of the separation of one operation is the other such that the last operation of B and C overlap C from the middle of A to the middle of B It may not match the timing of the break. In this case, if the timing of the time interval division matches in each layer, the difference between the timing of the operation separation and the timing of the time interval division is constant even if the hierarchy of time intervals for acquiring RGB data is changed. Because it does not change, there is a possibility that the accuracy will not improve.
  • the time intervals for converting into RGB data may be overlapped. That is, in the hierarchically set time intervals, the division of the upper layer time interval does not have to match the division of the lower layer time interval. By shifting the time intervals, it is possible to overlap the time intervals of the upper and lower layers. As in the case of adjustment by changing the time interval, the judgment accuracy is checked while finding the appropriate deviation while changing the amount of overlap, that is, the amount of deviation.
  • the RGB data whose division of the time interval and the division of operation coincide may occur, or RGB data which does not include measurement data of different operations may occur.
  • the possibilities can be increased.
  • the appearance frequency may be that feature can be extracted by assigning three components of XY component, YZ component, and ZY component to any of R, G, and B, respectively. Get higher.
  • the appearance frequency used for conversion to RGB data is at least two of the XY component, the YZ component, and the ZY component, the operation can be determined.
  • two components such as the XY component and the YZ component may be used as two values of R and G, and the other value of B may be another value related to the operation. That is, the value of one of the RGB color signals may be set as a parameter value of a type different from the frequency of appearance.
  • the amount of change in the values of Z and X of the acceleration value may be used, or the value of the angular velocity from the gyro sensor 37 may be used.
  • the determination accuracy is enhanced.
  • the wearer may be a moving object. Other than human beings, moving bodies such as animals and cars, robots and the like may be used. However, the present invention has the advantage of being able to determine motion from complex and diverse motions of humans. Wearing to the body by the wearing portion may be performed as long as an acceleration signal capable of specifying an operation can be obtained. In addition to arms, they may be worn at any position on the body, such as fingers, head, neck, chest, waist, legs, etc. For this reason, the mounting portion may also be an adhesive tape, a double-sided adhesive sheet, a surface fastener, or the like in addition to a band, a belt, a cord, glasses, an earplug, etc. Clothing, hats, supporters, accessories, footwear, etc. may be used as the mounting portion. The main unit does not have to touch the skin directly. That is, the contact for transmitting information may be direct to the skin or may be indirect, in which a part of the mounting portion is interposed.
  • Reference Signs List 1 communication unit 2 current position determination unit 21 signal detection unit 22 position determination unit 3 information input unit 31 acceleration sensor 32 geomagnetic sensor 33 touch sensor 34 pulse sensor 35 temperature sensor 36 atmospheric pressure sensor 37 gyro sensor 38 camera 39 microphone 4 information conversion unit 5 Information output unit 6 Notification information output unit 61 Vibration unit 62 Display unit 71 Communication unit 72 Input unit 73 Acceleration value generation unit 74 Image generation unit 741 Appearance frequency generation unit 741a Count unit 741b Map generation unit 742 RGB data generation unit 743 Time interval setting Unit 75 Labeling unit 76 Determination unit 761 Extraction unit 762 Identification unit 77 Notification information generation unit 78 Display unit D Wearable device P Access point R Bar code reader M Operation determination device N Network S Operation determination system

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ウェアラブルデバイスの装着者の動作を、加速度信号から正確に判定可能な情報を生成する。ウェアラブルデバイスＤからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成部７４１と、出現頻度生成部７４１により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成部７４２と、ウェアラブルデバイスＤの装着者の動作を表すラベルを、これに相当する時間におけるＲＧＢデータに付与するラベル付与部７５と、共通のラベルが付された複数のＲＧＢデータの特徴に基づいて、ＲＧＢデータがラベルに相当する動作か否かを判定する判定部７６と、を有する。

Description

動作判定プログラム、動作判定装置、動作判定用画像生成プログラム、動作判定用画像生成装置
　本発明は、ウェアラブルデバイスの装着者の動作を判定するための動作判定プログラム、動作判定装置、動作判定用画像生成プログラム、動作判定用画像生成装置に関する。
　従来から、個人や集団の行動を目的の状態にする等のために、各個人の動作を自動的に判定することが求められている。例えば、加速度センサを備えたウェアラブルデバイスを、各個人が装着し、それぞれの加速度センサから取得される加速度信号の波形を解析して、各個人の動作を判定する技術が提案されている。このような波形の解析の手法としては、波形がどの程度一致するかにより判定する波形マッピング、波形に含まれる周波数成分がどの程度一致するかにより判定する周波数分解などの手法などがある。
特開２００６－２０９４６８号公報
　しかしながら、共通の動作であっても、各個人が示す動きについてはばらつきがあり、同じ作業の繰り返しを含む動作であっても、同じ加速度値の変化を示すわけではない。特に、一定の時間間隔を経過する間に示す加速度の値及び方向は、速さの変化、作業を行う順番などによって大きく異なる。
　例えば、バーコードをセンサ（以下、バーコードリーダと呼ぶ）で読み取る動作において、バーコードリーダをバーコードに近づける動きは、同じ人間が繰り返し行っても、その都度異なった加速度の波形となり、同じ作業として特定できるほどの類似した波形を示すことはない。さらに、作業の途中で頭を掻くなど、本来の作業とは関係のない異常な動きが入った場合、波形から異常な動きに対応する部分を除去して共通の要素を抽出することはできない。
　本発明は、ウェアラブルデバイスの装着者の動作を、加速度信号から正確に判定可能な情報を生成できる動作判定プログラム、動作判定装置、動作判定用画像生成プログラム、動作判定用画像生成装置を提供することにある。
　以上のような目的を達成するために、本発明の動作判定プログラムは、コンピュータに、ウェアラブルデバイスからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における前記加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成処理と、前記出現頻度生成処理により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成処理と、前記所定時間間隔における前記ＲＧＢデータに、前記ウェアラブルデバイスの装着者の動作を特定するためのラベルを付与するラベル付与処理と、共通のラベルが付された複数のＲＧＢデータに基づいて、前記ＲＧＢデータに対応する前記ウェアラブルデバイスの装着者の動作を判定する判定処理と、を実行させる。
　前記コンピュータに、前記加速度信号を所定のレートでサンプリングしたサンプリング値に基づいて、単位時間当たりのＸ、Ｙ、Ｚ軸方向の加速度値を生成する量子化処理と、前記加速度値に基づいて、少なくとも前記２成分の出現頻度を生成する出現頻度生成処理と、を実行させてもよい。
　前記コンピュータに、前記所定時間間隔を設定する設定処理を実行させてもよい。前記設定処理は、外部の検出装置により検出された検出信号に基づいて、前記所定時間間隔を設定してもよい。前記設定処理は、長さの異なる複数の前記所定時間間隔を、階層的に設定してもよい。前記ＲＧＢの色信号のうちの１色の値を、外部の検出装置により検出された検出信号に基づく値としてもよい。
　本発明は、上記の各処理の機能を実現する動作判定装置として捉えることもできる。また、本発明は、コンピュータに、上記の出現頻度生成処理及びＲＧＢデータ生成処理を実行させる動作判定用画像生成プログラム、上記の出現頻度生成部及びＲＧＢデータ生成部を有する動作判定用画像生成装置として捉えることもできる。
　以上のような本発明によれば、ウェアラブルデバイスの装着者の動作を、加速度信号から正確に判定可能な情報を生成できる。
実施形態における動作判定システムを示す全体構成図 バーコード検品に使用するウェアラブルデバイスとバーコードリーダを示す説明図 実施形態におけるウェアラブルデバイスを示すブロック図 実施形態における動作判定装置を示すブロック図 加速度信号の波形を示すグラフ 加速度値の方向と範囲を示す説明図 出現頻度マップを示す説明図 ＲＧＢデータを示す説明図 バーコード検品をする装着者を示す説明図 バーコード検品の時間間隔を示す説明図 多層の時間間隔を示す説明図 時間間隔の調整を示す説明図 ＲＧＢデータの解像度の変換を示す説明図 ラベル付与の態様を示す説明図 実施形態における動作判定用画像生成処理を示すフローチャート 実施形態における学習処理を示すフローチャート 実施形態における判定処理を示すフローチャート ＲＧＢデータの分類例を示す説明図 時間間隔の区切りをずらした例を示す説明図
［構成］
［概要］
　本発明を実施するための形態（以下「本実施形態」と呼ぶ）について、図面を参照して具体的に説明する。なお、本実施形態は、ウェアラブルデバイスの装着者の動作を、加速度信号に基づいて判定する動作判定システムに適用される。
　動作とは、装着者の動きによって示される装着者の状態をいう。移動を停止した状態、動きを静止した状態であっても、その前後に移動や動きに相当する動作があることと、加速度信号により検出される動きは存在することから、状態を特定できるため、動作に含まれる。つまり、作業、運動のみならず、停止、静止、休憩、睡眠、姿勢、調子、作業効率、集中度合、疲労度、熟練度等も動作に含まれる。つまり、本実施形態でいう動作には、装着者の状態の概念も含まれ、動作を状態と読み替えることも、動作判定を状態判定と読み替えることもできる。装着とは、装着者の動作を特定できる程度に、装着者の動きに追従できる状態であればよい。このため、装着者に直接接している場合のみならず、装着者との間に衣服や部材が介在していてもよい。
　動作を判定するとは、特定の動作であるか否かを示すことをいう。これは、特定の動作である確率を示す場合も含む。また、確率がしきい値を超えた場合に、特定の動作であることを示す場合も含む。
　図１に示すように、動作判定システムＳは、ウェアラブルデバイスＤ１～Ｄｎ（以下、単にウェアラブルデバイスＤとする）、動作判定装置Ｍ、アクセスポイントＰを有する。ウェアラブルデバイスＤは、ネットワークＮを介して相互に又は動作判定装置Ｍとの間で、情報を送受信可能な情報通信端末である。ウェアラブルデバイスＤは、本体ユニットＵと、人体に装着する装着部Ｂを有する。ウェアラブルデバイスＤとしては、例えば、腕時計型の情報通信端末を用いる。この場合、本体ユニットＵは、薄型の筐体内に、後述する処理部を備えたコンピュータを内蔵している。装着部Ｂは、図２に示すように、腕に巻いて止めるバンドである。
　動作判定装置Ｍは、ネットワークＮを介して、ウェアラブルデバイスＤと情報の送受信が可能な装置である。動作判定装置Ｍには、各ウェアラブルデバイスＤからの情報が収集され、これに基づいて、装着者の動作を判定する。なお、ウェアラブルデバイスＤからの情報には、外部の装置から入力された情報も含まれる。例えば、図１及び図２に示すように、ウェアラブルデバイスＤに、Ｂｌｕｅｔооｔｈ（登録商標）のような近距離省電力無線で接続されたバーコードリーダＲからの読み取り信号も、ウェアラブルデバイスＤからの情報に含まれる。
　アクセスポイントＰは、ネットワークＮとウェアラブルデバイスＤ、管理デバイスＭ１との通信の中継を行う中継装置である。このアクセスポイントＰは、位置情報を発信する発信装置でもある。アクセスポイントＰは、典型的には、ＷｉＦｉの無線ＬＡＮアクセスポイントである。各アクセスポイントＰには、識別情報、設置場所に関する位置情報が登録され、発信されるビーコンには、識別情報及び設置場所に関する情報が含まれる。例えば、設置された施設が、複数のエリアに区分され、各エリアに設置されたアクセスポイントＰに、エリア毎に異なる位置情報が付与されている。
　ウェアラブルデバイスＤ、動作判定装置Ｍ、アクセスポイントＰは、主としてプログラムで制御されるコンピュータにより構成される。コンピュータは、ＣＰＵ等のプロセッサ、メモリ等の記憶媒体などにより構成されるが、ハードウェアやプログラムの実現態様は各種変更可能である。
　動作判定装置Ｍは、サーバ装置により構成できる。後述する各部の処理に必要な各種の設定、演算式、パラメータ等は、あらかじめ内蔵の若しくはリムーバブルな記憶媒体が記憶している。後述する記憶部は、このような記憶媒体の記憶領域の一部として構成できる。
　以下の説明では、各機能をブロックで図示した機能ブロック図を用いる。なお、本発明は、各機能を実行させるコンピュータプログラム、そのようなプログラムを記録したコンピュータ読取可能な記憶媒体としても把握できる。
［ウェアラブルデバイス］
　ウェアラブルデバイスＤは、上記のように、動作の主体が身体の一部に装着する装置である。このウェアラブルデバイスＤは、図３に示すように、通信部１、現在位置判定部２、情報入力部３、情報変換部４、情報出力部５、通知情報出力部６を有する。
（通信部）
　通信部１は、外部との情報の送受信を行う処理部である。通信部１は、ネットワークＮを介して、動作判定装置Ｍ及び他のウェアラブルデバイスＤとの間で情報を送受信できる。ネットワークＮは、多対１、多対多、１対１のいずれの関係でもよい。たとえば、通信部１は、ＷｉＦｉ等の無線ＬＡＮ、ＷｉＦｉ　Ｄｉｒｅｃｔ等によって、管理デバイスＭ１、管理サーバＭ２、ウェアラブルデバイスＤ相互間の接続機能を有する。通信部１は、アクセスポイントＰが発信するビーコンに含まれる位置情報を受信する。この受信処理を、ビーコンスキャンと呼び、ビーコンスキャンを行うタイミングをスキャンタイミングと呼ぶ。なお、上記のように、通信部１は、バーコードリーダＲなどの外部の入力装置からの情報も受信する。
（現在位置判定部）
　現在位置判定部２は、通信部１が受信したアクセスポイントＰからの位置情報に基づいて、ウェアラブルデバイスＤが存在する位置、つまりスタッフの位置を判定する処理部である。現在位置判定部２は、信号検出部２１、位置判定部２２を有する。
　信号検出部２１は、アクセスポイントＰから受信したビーコンに含まれる位置情報を検出する処理部である。この位置情報は、例えば、各アクセスポイントＰが設置された所定のエリアを識別する情報である。位置判定部２２は、位置情報に基づいて、ウェアラブルデバイスＤの位置を判定する処理部である。つまり、位置判定部２２は、ウェアラブルデバイスＤを装着している所持者の位置を判定する。なお、アクセスポイントＰの位置情報による位置の検出には、種々の手法が適用可能である。複数のエリアのアクセスポイントＰからのビーコンを受信した場合には、電波強度等、他の情報を加味して判定してもよい。
（情報入力部）
　情報入力部３は、ウェアラブルデバイスＤの装着者の情報を入力する処理部である。情報入力部３は、加速度センサ３１、地磁気センサ３２、タッチセンサ３３、脈拍センサ３４、温度センサ３５、気圧センサ３６、ジャイロセンサ３７、カメラ３８、マイク３９を有する。
　加速度センサ３１は、傾き及び振動を感知して、傾きや振動の程度に応じた電気信号に変換するセンサである。加速度センサ３１は、互いに直交するＸ軸方向、Ｙ軸方向、Ｚ軸方向の３軸方向の加速度を検出できるセンサである。地磁気センサ３２は、磁場の大きさや方向を感知して、方向に応じた電気信号に変換するセンサである。
　タッチセンサ３３は、表面への接触を感知するセンサである。このタッチセンサ３３は、所持者との接触を介して情報を入力する手段である。タッチセンサ３３は、例えば、後述する表示部６２に構成されたタッチパネルであり、タップ、スライド等の入力操作を可能とする。タップは、指で表面を短くタッチすることであり、スライドは表面を指で触れながら移動させることである。但し、タップは表面に触れている時間が短い操作、スライドは表面に触れている時間が長い操作を便宜的に示したに過ぎず、フリック、スワイプ等の他の呼び名であってもよい。
　脈拍センサ３４は、所持者に接触し、所持者の脈拍を検出するセンサである。この脈拍センサ３４も、所持者との接触を介して情報を入力する手段である。脈拍センサ３４としては、例えば、紫外線の照射と反射により脈拍を検出するセンサを用いることができる。
　温度センサ３５は、所持者に接触して、所持者の体温に応じた電気信号に変換するセンサである。この温度センサ３５も、所持者に接触して、情報を入力する手段である。気圧センサ３６は、大気圧を検出するセンサである。例えば、圧電素子を用いた気圧センサを適用することができる。ジャイロセンサー３７は、Ｘ、Ｙ、Ｚの３軸方向の角速度を検出するセンサである。
　カメラ３８は、静止画若しくは動画を撮像して、画像データ、動画データとして入力する装置である。マイク３９は、周囲の音声を電気信号に変換する入力装置である。
（情報変換部、情報出力部）
　情報変換部４は、情報入力部３により入力された情報を、動作判定装置Ｍの処理に適した形式に変換する処理部である。情報の変換は、加速度センサ３１、地磁気センサ３２、脈拍センサ３４、温度センサ３５、気圧センサ３６、ジャイロセンサ３７からの信号の、加速度、振動、方向、脈拍、体温、角速度等のそれぞれの検出情報に応じたパラメータへの変換を含む。また、情報の変換は、タッチセンサ３３から入力された信号のパルス信号への変換を含む。
　また、情報の変換は、カメラ３８により撮像された画像データ、動画データに基いて、所持者の姿勢、瞼の開閉度合い、表情等を示すパラメータへ変換する処理を含む。さらに、情報の変換は、マイク３９により入力された信号を、音の大きさを示すパラメータへ変換する処理を含む。
　なお、情報変換部４は、情報入力部３から入力された情報を、全て変換する必要はない。例えば、情報入力部３から入力された情報をそのまま情報出力部５に出力し、これを通信部１が動作判定装置Ｍに送信してもよい。この場合、動作判定装置Ｍが、上記のような情報の変換を行う情報変換部を有する。
　情報出力部５は、情報入力部３からの情報を、各ウェアラブルデバイスＤの識別情報及び位置情報とともに出力し、通信部１に送信させる処理部である。この情報出力部５が出力する情報により、これを受信した動作判定装置Ｍを使用する管理者が、各ウェアラブルデバイスＤの所持者の動作、位置、その他の状況を把握できる。
（通知情報出力部）
　通知情報出力部６は、動作判定装置Ｍから受信した通知情報を、ユーザが判定可能な態様で出力する処理部である。通知情報出力部６は、振動部６１、表示部６２を有する。振動部６１は、所持者との接触を介して、通知情報を所持者に伝達する手段である。振動部６１は、例えば、モータを駆動源として、振動を発生させるバイブレータを用いることができる。振動部６１は、通知情報に応じて、連続した振動に限らず、パルス信号に応じた間欠した振動を出力することができる。
　表示部６２は、例えば、静止画、動画、テキストのように、ユーザが視覚的に判定する画像を表示するディスプレイである。表示部６２は、上記のタッチセンサ３３による入力のための画面インタフェースを表示することができる。
　なお、ウェアラブルデバイスＤは、図示はしないが、上記の各部の処理に必要な情報を記憶する記憶部を有する。記憶部が記憶する情報としては、上記の各部において入力、処理、出力される情報等を含む。
［動作判定装置］
　動作判定装置Ｍは、上記のように、各ウェアラブルデバイスＤからの情報に基づいて、各ウェアラブルデバイスＤの装着者の動作を判定する装置である。動作判定装置Ｍは、図４に示すように、通信部７１、入力部７２、加速度値生成部７３、画像生成部７４、ラベル付与部７５、判定部７６、通知情報生成部７７、表示部７８を有する。
［通信部］
　通信部７１は、ネットワークＮを介して、各ウェアラブルデバイスＤとの間で情報を送受信する処理部である。この通信部７１は、ウェアラブルデバイスＤからの情報及び位置情報を受信する受信部、ウェアラブルデバイスＤへ通知する情報を送信する送信部として機能する。
［入力部］
　入力部７２は、動作判定装置Ｍに必要な各種の情報を入力する処理部である。入力部７２としては、タッチパネル、キーボード、マウス等を含む。タッチパネルは、後述する表示部７８に構成されたものも含む。
［加速度値生成部］
　加速度値生成部７３は、各ウェアラブルデバイスＤの加速度センサ３１からの加速度信号に基づいて、Ｘ、Ｙ、Ｚ軸方向の加速度値を生成する処理部である。加速度信号は、各ウェアラブルデバイスＤから、通信部７１を介して継続的に受信される。この加速度信号は、図５に示すように、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向に短時間に頻繁に変化する波形となる。加速度値生成部７３は、サンプリング部７３１、量子化部７３２を有する。サンプリング部７３１は、加速度信号を所定のレートでサンプリングすることによりサンプリング値を求める処理部である。
　量子化部７３２は、サンプリング部７３１が求めたサンプリング値に基づいて、単位時間当たりのＸ、Ｙ、Ｚ軸方向のそれぞれの加速度値を生成する処理部である。例えば、２Ｈｚでサンプリング値を平均化することにより、単位時間当たりの計測値を求める。つまり、０．５秒間で得られたサンプリング値を加算して回数で割る。これにより毎秒２回の計測値が得られる。計測値は、例えば、図６に示すように、－１２～１２［ｍ／ｓ２］の範囲とする。量子化部７３２は、計測値－１２～１２を３２ステップ（０～３１）の加速度値に変換する。つまり、計測値をａとすると、加速度値は、（ａ＋１２）／０．７５の整数値から、１を引いた値とする。０．７５は、（１２＋１２）／３２である。計測値ａ＝０の場合には、中央の値である１５になる。Ｘ、Ｙ、Ｚ軸方向の計測値が（０，９．８，０）の場合、加速度値は（１５，２８，１５）となる。
［画像生成部］
　画像生成部７４は、動作判定用の画像を生成する処理部である。この画像生成部７４は、動作判定用画像生成装置、動作判定用画像生成プログラムとして捉えることもできる。画像生成部７４は、出現頻度生成部７４１、ＲＧＢデータ生成部７４２、時間間隔設定部７４３を有する。
（出現頻度生成部）
　出現頻度生成部７４１は、加速度値に基づいて、所定時間間隔におけるＸＹ成分、ＹＺ成分、ＺＸ成分の出現頻度を生成する処理部である。出現頻度は、各成分が座標に出現した回数である。出現頻度生成部７４１は、カウント部７４１ａ、マップ生成部７４１ｂを有する。カウント部７４１ａは、各成分が座標に出現した回数をカウントする処理部である。カウント部７４１ａは、例えば、加速度値（１５，２８，１５）の場合、ＸＹ成分は座標（１５，２８）に１回、ＹＺ成分は座標（２８，１５）に１回、ＺＹ成分は座標（１５，１５）に１回、それぞれ出現したとカウントする。
　マップ生成部７４１ｂは、カウント部７４１ａによりカウントされた出現頻度を、所定の座標上にマッピングする処理部である。例えば、所定時間間隔を１０秒間とすると、１０秒間に２０回、出現頻度がカウントされ、図７に示すような３２×３２の座標上に、ＸＹ成分、ＹＺ成分、ＺＸ成分毎に出現回数が記録されたマップを作成する。つまり、Ｘを横軸、Ｙを縦軸とする３２×３２の座標のマップ、Ｙを横軸、Ｚを縦軸とする３２×３２の座標のマップ、Ｚを横軸、Ｘを縦軸とする３２×３２の座標のマップの各座標毎に、出現回数を記録する。
（ＲＧＢデータ生成部）
　ＲＧＢデータ生成部７４２は、出現頻度生成部７４１により記録されたＸＹ成分、ＹＺ成分、ＺＸ成分の出現頻度を、ＲＧＢの色信号のうちの３色の値としたＲＧＢデータを生成する処理部である。ＲＧＢデータ生成部７４２は、まず、ＸＹ成分のマップ、ＹＺ成分のマップ、ＺＹ成分のマップの各座標における出現頻度を、Ｒ、Ｇ、Ｂの各色の輝度を示す０～２５５の値に正規化する。これにより、図８に示すように、１つの画素（ピクセル）についてのＲ、Ｇ、Ｂの値が決まった３つのＲＧＢの画像データが生成される。さらに、ＲＧＢデータ生成部７４２は、３つの画像データを１枚にまとめたＲＧＢの画像データを生成する。
（時間間隔設定部）
　時間間隔設定部７４３は、所定の時間間隔を設定する処理部である。所定の時間間隔は、１枚のＲＧＢデータを生成するために、出現頻度生成部７４１により出現頻度が生成される時間間隔である。この時間間隔の設定により、加速度信号の内容が異なってくるので、生成されるＲＧＢデータが示す意味が異なってくる。時間間隔の設定には、以下のような態様が含まれる。
(1)基本的な時間間隔の設定
　ウェアラブルデバイスＤ、動作判定装置Ｍの外部又は内部から得られる情報に基づいて、時間間隔を設定することができる。これは、比較的大まかな時間間隔の設定、概略的な時間間隔の設定となる。例えば、あらかじめ動作判定を行う時間帯を設定しておき、ウェアラブルデバイスＤの時計又は動作判定装置Ｍの時計から得られる時間があらかじめ設定された時間帯の開始時点を、時間間隔の開始時点、あらかじめ設定された時間帯の終了時点を、時間間隔の終了時点としてもよい。
　工場などで、作業台毎に、異なる作業を行う場合には、ウェアラブルデバイスＤの現在位置判定部２２が判定したウェアラブルデバイスＤの装着者の位置に基づいて、位置の変化があった時点を時間間隔の区切りの時点、つまり開始時点又は終了時点としてもよい。また、複数のエリアのアクセスポイントＰからのビーコンを受信した場合の電波強度等から、ウェアラブルデバイスＤを装着している所持者の姿勢を判定できる場合には、姿勢の変化があった時点を時間間隔の区切りとしてもよい。
　加速度センサ３１からの加速度信号が、あらかじめ設定したしきい値を超えた又はしきい値以下の場合を、時間間隔の区切りとしてもよい。また、加速度センサ３１からの加速度信号に基づいて情報変換部４が演算した歩数を受信できる場合に、装着者が徒歩で移動していて、所定時間内の歩数の変化がしきい値を超えた又はしきい値以下の場合を時間間隔の区切りとしてもよい。また、高低差の大きな場所を移動する場合には、気圧センサ３６からの気圧信号が、あらかじめ設定したしきい値を超えた又はしきい値以下の場合を、時間間隔の区切りとしてもよい。
　睡眠中の動作を対象とする場合には、時間帯、加速度センサ３１により推測された姿勢、脈拍センサ３４からの心拍数等の睡眠時の装着者の状態を示す情報をあらかじめ設定しておき、その情報に適合するか否かを時間間隔の区切りとしてもよい。例えば、睡眠の他、移動、デスクワーク、食事などの生活に関する時間間隔の区切りも、この手法で設定できる。
　ウェアラブルデバイスＤに外部から情報が入力されたタイミングを、時間間隔の区切りとしてもよい。例えば、図９及び図１０に示すように、箱から商品を取り出す「品出し」、商品に付された２つのバーコードを読み取って一致するかどうかを検査する「検品」、商品を箱に収容する「梱包」を行うバーコード検品の場合、バーコードリーダＲによる読み取り前を品出し作業、バーコードリーダＲによる読み取りデータが、１回目にウェアラブルデバイスＤに入力されたタイミングを検品作業の開始、２回目にウェアラブルデバイスＤに入力されたタイミングを検品作業の終了、その後を梱包作業とすることができる。
　時間間隔の区切りとなる情報の入力は、特定の態様には限定されない。例えば、タッチセンサ３３からの情報の入力のタイミングを、時間間隔の区切りとしてもよいし、ネットワークを介したサーバ、クラウド等からの情報の入力のタイミングを、時間間隔の区切りとしてもよい。
　なお、このような時間間隔の設定に、ＲＧＢデータを用いることもできる。上記のようなＲＧＢデータのうち、特定の動作を示すＲＧＢデータを、量子化を粗く、つまり解像度を低くしたＲＧＢデータをあらかじめ設定しておく。そして、受信した加速度信号に基づいて生成されたＲＧＢデータを同様の低解像度のＲＧＢデータとする。あらかじめ設定されたＲＧＢデータと生成されたＲＧＢデータとを比較して、つまりＲ、Ｇ、Ｂデータの差分をとり、その差分があらかじめ設定されたしきい値以下の場合に、あらかじめ設定されたＲＧＢデータに対応する動作があったと判定できる。しきい値よりも大きい場合に、あらかじめ設定されたＲＧＢデータに対応する動作ではないと判定できる。
　このため、あらかじめ設定されたＲＧＢデータに対応する動作があったと判定できた時点、あらかじめ設定されたＲＧＢデータに対応する動作ではないと判定できた時点を時間間隔の区切りとすることができる。この場合、低解像度であり、単純に差分をとる比較であるため、必ずしも正確な動作判定ではないが、大まかな時間間隔の設定には使用することができる。
　なお、上記のような時間間隔の設定は、全体の動作の一部に含まれる特定の動作を判定するために、動作の全体時間の一部の時間とすることもできる。例えば、バーコードリーダによる読み取りのタイミングによって、バーコード検品の動作の一部である検品のみについてＲＧＢデータを生成する時間間隔の設定であってもよい。
(2)階層的な時間間隔の設定
　上記のように、基本的な時間間隔の設定を細分化した時間間隔、又は一定の比較的長い時間間隔を短く細分化した一定の時間間隔を設定してもよい。この場合、定期的な繰り返し作業や、同様の作業が複数回行われるような動作の場合には、時間間隔を比較的長く設定することで、動作の特徴を抽出し易くなる。但し、時間間隔を長く設定する場合、特徴を包含するための適切な開始、終了のタイミングの調整が難しい。一方、細かい作業に分割できる動作や、詳細を分析する必要のある動作の場合、時間間隔を比較的短く設定するとよい。但し、時間間隔を短く設定すると、ＲＧＢデータの特徴が安定しない、特徴が包含されないといった可能性があるので、判定の精度が落ちるおそれがある。
　このような相反する要請を満たすため、図１１に示すように、長さの異なる時間間隔を階層的に設定することが好ましい。共通のサンプリング値に基づいて、異なる時間間隔で加速度値、出現頻度を求めて、それぞれの時間間隔につき１枚ずつのＲＧＢデータを生成することができる。
　最適な時間間隔は、動作の特徴、判定の目的、必要な判定の精度等によって異なる。例えば、ある動作がＡ、Ｂ、Ｃ、Ｄ、Ｅという動きのセットの組み合わせに分解できる場合、時間間隔Ｔ４でＡ～Ｅのそれぞれにおいて、ＲＧＢデータが得られることが好ましい。このような時間間隔は、動作の種類で決まるとは限らず、個人差も生じる。
　最適な時間間隔を求める方法としては、例えば、図１１に示すように、比較的長い時間間隔Ｔ１を、Ｔ２→Ｔ３→Ｔ４という順序で分割しながら、それぞれの時間間隔Ｔ１～Ｔ４で生成したＲＧＢデータに対して、後述する抽出処理、判定処理を行い、精度がしきい値を下回らない時間間隔を選択する。図１１は、３０分の時間間隔Ｔ１の設定に対して、３００秒の時間間隔Ｔ２、６０秒の時間間隔Ｔ３、１０秒の時間間隔Ｔ４のように、階層化した例である。なお、図中、？は、精度がしきい値を超えないＲＧＢデータに対応する時間間隔であることを示す。
　各時間間隔で得られたＲＧＢデータを用いた判定を試行して、どの時間間隔が判定に適しているのかを調べることによって、判定に適した時間間隔を得ることができる。例えば、Ｔ１と比較して、Ｔ２、Ｔ３、Ｔ４はＲＧＢデータ数が多くなることから、精度が高くなる可能性がある。但し、図１２に示すように、各階層の時間間隔は、固定的なものではなく、精度が向上しない場合等に変更することにより調整する。例えば、時間間隔Ｔ４で得られたＲＧＢデータを用いた判定で、しきい値を下回らない精度でＡ～Ｅの判定ができるように、これに合わせて時間間隔Ｔ１の開始と終了を調整する。
　動作の細分化、つまりある上位概念の動作に、複数の下位概念の動作が含まれる場合に動作を分解する例を挙げると、以下のようなものがある。これらの動作は、調子や集中度合、熟練度などによって更に分類することもできる。
・検品作業（商品出し、検品、梱包）
・ホテルの部屋の清掃（掃除機掛け、拭き掃除、シーツ交換）
・テニス（サーブ、レシーブ、移動、打ち返し）
・マラソン（スタート、チェックポイント、中盤、終盤）
　ただし、これらの動作の切り替えは、Ａ＝商品出し、Ｂ＝検品、Ｃ＝梱包のように、時間間隔と一致するとは限らない。各動作を分解できる、つまり各動作毎の時間より短い時間間隔の組み合わせに、各動作が対応する関係になることもある。例えば、商品出し→Ａ＋Ｂ＋α、検品→Ｃ－β、梱包→Ｄ＋Ｅ－γという関係になることもある。ここで、α、β、γはそれぞれ異なる時間長であるとする。また、図１１において、動作を特定できない時間間隔が生じていたように、目的とする動作以外の動きや、目的とする２つの動作の境界が、一つのＲＧＢデータに含まれてしまうことによって、動作の判定が難しくなる場合がある。
　精度がしきい値を超えないＲＧＢデータが多く出現する場合には、上記の基本的な時間間隔の設定と同様に、ＲＧＢデータの解像度を下げて、生成されたＲＧＢデータ同士の差分値を算出し、差分を距離としてクラスタリングを行うことにより、動作判定に使用するＲＧＢデータと、動作判定に使用しないＲＧＢデータとに分ける。つまり、図１３に示すように、複数のピクセルをまとめてＲ、Ｇ、Ｂの値のそれぞれの平均値を求める。そして、そのまとまりのすべてのピクセルのＲ、Ｇ、Ｂの値を、求めた平均値とする。これにより、当初のＲＧＢデータよりも粗い解像度のＲＧＢデータを生成する。そして、生成されたＲＧＢデータの差分値を算出し、差分値がしきい値以下のＲＧＢデータと、差分値がしきい値を超えるＲＧＢデータとを分類して、差分値がしきい値以下のＲＧＢデータを、特徴を判定しやすいデータとして、動作判定に用いるＲＧＢデータとする。
［ラベル付与部］
　ラベル付与部７５は、ウェアラブルデバイスＤの装着者の動作を表すラベルを、これに相当する時間間隔におけるＲＧＢデータに付与する処理部である。ラベルは、動作を特定するための識別情報である。付与されるラベルは、図１４に示すように、１、２、３、Ａ、Ｂ、Ｃ等の、一見して人間が意味内容を把握できない情報である。表示部７８に表示させたり、通知情報とするために、各ラベルに対応する動作の意味を人間が理解できるようにする場合には、各ラベルに動作の名称等を関連付けたテーブルを用意しておけばよい。この名称は、入力部７２から入力することができる。
　ラベルは、上記の複数の層の時間間隔に対応して、複数の段階で用意されるものとする。例えば、Ｔ１の層の時間間隔で生成されるＲＧＢデータには、上位概念の動作を特定するための成果のラベルを付与する。Ｔ４の層の時間間隔で生成されるＲＧＢデータには、成果のラベルとともに、上位概念の動作に含まれる下位概念の動作、つまり動作要素を特定するための動作要素のラベルを付与する。なお、ラベルは、固定的なものとする必要はなく、精度が向上しない場合、別のラベルに対応する動作に合致している場合等に、変更することにより調整できる。
［判定部］
　判定部７６は、共通のラベルが付与された複数のＲＧＢデータに基づいて、前記ＲＧＢデータに対応する前記ウェアラブルデバイスの装着者の動作を判定する処理部である。動作の判定は、複数のＲＧＢデータの共通の特徴に基づいて行う。この判定部７６としては、例えば、畳み込みニューラルネットワークを用いたディープラーニングツールを用いることができる。加速度の変化の時間的連続性に関して、ＲＧＢデータは空間的な連続性として表すことになるため、畳み込み処理との相性がよい。
　判定部７６は、抽出部７６１、識別部７６２を有する。抽出部７６１は、共通のラベルが付与されたＲＧＢデータの共通の特徴を抽出する処理部である。特徴は、各ＲＧＢデータの部分画像を変換して得られる変換画像であり、以下、特徴量と呼ぶ。このような特徴量の抽出は、例えば、所定の大きさのフィルタによって、部分画像の各画素の濃淡を抽出して、変換画像の各画素値を決定していく畳み込みフィルタ、座標上の位置がずれていても同一とみなすプーリング等の処理を繰り返すことによって行うことができる。
　識別部７６２は、ＲＧＢデータを、ラベルに相当するＲＧＢデータか否かを識別する処理部である。この識別は、例えば、複数のＲＧＢデータから得られた特徴量をノード（ニューロン）として結合した全結合層から開始して、複数の全結合層を経て、最終の全結合層からラベルに相当するＲＧＢデータである確率、ない確率を出力することによって行う。ラベルに相当するＲＧＢデータである確率が精度であり、ある確率とない確率は、合計で１００％となる。各全結合層の出力は、各全結合層に割り当てられた所定のパラメータと前の全結合層との出力との演算結果である。
　上記の処理過程で、ゼロ未満の出力値をゼロに置き換えることによって、抽出された特徴量をより強調させることや、処理量を低減させることができる。また、全結合層同士の接続を一部切断することにより、学習データのみに最適化されてしまう過学習を防ぐこともできる。
［通知情報生成部］
　通知情報生成部７７は、動作判定装置Ｍから、ウェアラブルデバイスＤに送信する通知情報を生成する処理部である。通知情報は、ウェアラブルデバイスＤの装着者に通知する情報であり、判定の精度、ラベル、指示情報を含む。判定の精度、ラベルによって、ウェアラブルデバイスＤの装着者は、自らの動作に対して正しい判定がなされているかどうかを判定することができる。指示情報は、ウェアラブルデバイスＤの装着者に、目的の状態となるように、所望の行動を促す情報である。このような通知情報の生成及び送信は、入力部７２からの入力により指示することができる。
［表示部］
　表示部７８は、動作判定装置Ｍに必要な各種の情報を表示する処理部である。表示部７８は、例えば、通信部７１が受信した加速度信号、加速度値生成部７３が生成した加速度値、出現頻度生成部７４１が生成した出現頻度及びそのマップ、ＲＧＢデータ生成部７４２が生成したＲＧＢデータ、時間間隔設定部７４３が設定した時間間隔、ラベル付与部７５が付与するラベル、判定部７６による判定結果及び判定精度等を表示する。また、表示部７８は、入力部７２による入力のための画面インタフェースを表示することができる。表示部７８に表示された判定結果、判定精度等を参照した管理者は、入力部７２を用いて、時間間隔、ラベルの変更を行うことによる調整ができる。
　なお、図示はしないが、動作判定装置Ｍも、上記の各部の処理に必要な情報を記憶する記憶部を有する。記憶部が記憶する情報としては、加速度信号、加速度データ、出現頻度、出現頻度マップ、ＲＧＢデータ、ラベル、ラベルと名称のテーブル、判定結果、判定精度等が含まれる。また、記憶部が記憶する情報は、あらかじめ設定される情報、しきい値等の各種の設定等を含む。
［処理手順］
　以上のような本実施形態の処理の一例を、上記の図面に加えて、図１５～図１７のフローチャートを参照して説明する。なお、以下のような手順による処理方法も、本発明の一態様である。
（動作判定用画像の生成）
　まず、動作判定用のＲＧＢ画像の生成処理の手順を、図１５のフローチャートを参照して説明する。各ウェアラブルデバイスＤからの加速度信号は、通信部７１が受信し、加速度値生成部７３に入力される（ステップ１０１）。加速度値生成部７３のサンプリング部７３１は、入力された加速度信号をサンプリングしたサンプリング値を求め、量子化部７３２は、サンプリング値をＸ、Ｙ、Ｚ軸方向のそれぞれの加速度値に変換する（ステップ１０２）。
　出現頻度生成部７４１のカウント部７４１ａは、所定時間間隔におけるＸＹ成分、ＹＺ成分、ＺＹ成分の出現頻度をカウントし、マップ生成部７４１ｂが、ＸＹ成分、ＹＺ成分、ＺＹ成分の各座標上に出現回数が記録されたマップを作成する（ステップ１０３）。
　ＲＧＢデータ生成部７４２は、ＸＹ成分のマップ、ＹＺ成分のマップ、ＺＹ成分のマップの各座標における出現頻度を、Ｒ、Ｇ、Ｂの各色の輝度を示す値に正規化することにより、１つの画素についてのＲ、Ｇ、Ｂの値を決めた３つのＲＧＢの画像データとし、さらに３つの画像データを１枚にまとめたＲＧＢデータを生成する（ステップ１０４）。
（学習）
　次に、以上のように生成されたＲＧＢデータに基づいて、動作判定を学習する処理の手順を、図１６のフローチャートを参照して説明する。ＲＧＢデータは、多数収集することにより記憶部に蓄積する。例えば、１００～１００００枚程度収集する。このように収集したＲＧＢデータに対して、ラベル付与部７５が、時間間隔の階層毎に、ラベルを付与する（ステップ２０１）。ラベルの付与は、例えば、入力部７２からの入力に応じて分類した上で行う。このようにラベルが付与されたＲＧＢデータを、学習データと呼ぶ。
　判定部７６の抽出部７６１は、学習データに基づいて、共通のラベルが付与されたＲＧＢデータの共通の特徴量を抽出し（ステップ２０２）、識別部７６２がラベルに相当するＲＧＢデータか否かの識別結果を精度によって出力する（ステップ２０３）。この処理を、全ての学習データについて行う（ステップ２０４）。全ての学習データについて識別を行って（ステップ２０４のＹＥＳ）、精度があらかじめ設定されたしきい値以下の場合には（ステップ２０４のＮＯ）、調整が必要であるとして時間間隔等（図１２参照）の調整を行う（ステップ２０６）。
　この調整には、ラベルを付け変える、精度がしきい値以下のＲＧＢデータを判定の対象から排除する等の作業も含まれる。調整は、あらかじめ設定された増分又は減分だけ時間間隔を変化させる、精度がしきい値以下のＲＧＢデータを学習データから排除する等を、時間間隔設定部７４３及び判定部７６が自律的に行ってもよいし、入力部７２からの指示入力によって行ってもよい。ラベル付与部７５による自律的なラベル付与は、動作要素のラベルについて行うことが考えられる。
　例えば、リアルタイム性を重視して、時間間隔の階層構造のうち、時間間隔が長い上位のＲＧＢデータと、時間間隔が短い下位のＲＧＢデータの精度を比較して、できるだけ下位のＲＧＢデータを用いてもよい。また、時間間隔は精度が高いものだけを選択すべきとは限らない。分割しすぎて時間間隔が短いものは排除して、ある程度の長さを有する時間間隔を最小の時間間隔としてもよい。
　このような調整後、学習データによる認識を行い（ステップ２０２、２０３、２０４）、精度がしきい値を超えた場合には（ステップ２０５のＹＥＳ）、学習を終了する。
（動作判定）
　以上のような学習後、ウェアラブルデバイスＤからの加速度信号に基づいて、ラベルに相当する動作か否かを判定する判定処理を、図１７のフローチャートを参照して説明する。まず、入力された加速度信号に基づいて、加速度値、出現頻度、ＲＧＢデータを生成する処理は、上記のステップ１０１～１０４と同様である（ステップ３０１～３０４）。そして、生成されたＲＧＢデータがラベルに対応する動作か否かが、判定部７５によって判定される（ステップ３０５）。この判定結果も、精度で出力される。このように新たに判定されたＲＧＢデータについても、しきい値を超える精度である場合には、ラベルを追加して、学習データに含める。新たに追加されたＲＧＢデータに基づく学習は、実際の判定処理とは別の時間に行うとよい。
　なお、本来的な動作とは関係のない又は必要のない異常な動作が含まれている場合にも、ラベル付けして識別できるようにすることが好ましい。例えば、物を落として拾う、躓く、中断したなどの発生頻度の低い動きについては、ミスをチェックしたいので、その動作にラベルを付けて、異常検知に使うことができる。
　以上のことから、ＲＧＢデータは、図１８に示すように分類できる。まず、正常時の動作を判定可能なＲＧＢデータの中に、細かい動作要素の判定が可能なＲＧＢデータが含まれ、動作要素の判定が可能なＲＧＢデータの中に、目的に応じた動作の判定が可能なＲＧＢデータが含まれる。つまり、正常時の動作を認識可能なＲＧＢデータには、動作の判定の対象とならないＲＧＢデータも含まれる。さらに、正常時の動作を判定可能なＲＧＢデータ以外に、上記のように、異常時の動作を判定可能なＲＧＢデータがある。
　以上のように、動作が判定された場合に、ウェアラブルデバイスＤに対して、通知情報を出力してもよい。例えば、ＲＧＢデータから、作業者の動作が「疲労」であると判定された場合、又は疲労度を示すラベルが「疲労」とすべきラベルとなった場合に、通知情報生成部７７が生成した指示情報を送信する。指示情報としては、複数種の時間パターンの休憩、食事、別の作業、配置変えを促す情報をあらかじめ設定しておく。これらの指示情報を送信した結果、作業者の動作を動作判定装置Ｍにより判定すると、指示情報によって目的の状態となったか否かを判定できる。例えば、疲労であると判定されなくなった、又は疲労度を示すラベルが「疲労」とすべきラベルでなくなった等により、作業者の状態が改善されたことがわかる。これを複数回行うことにより、作業者の状態の改善に有効な通知情報を判定できる。つまり、目的に対して効果のある通知情報を決定することができ、状態改善に役立てることができる。
　また、ウェアラブルデバイスＤの装着者が、マラソンランナーである場合に、練習時に取ったＲＧＢデータとこれに基づく動作判定の結果に基づいて、ペース配分のガイドや正しいフォームのガイドなどを、指示情報として送信する。これにより、より良い成果に繋がるコーチング環境を実現できる。これは、あらゆるスポーツや作業に有効となる。
［作用効果］
（１）本実施形態の動作判定プログラムは、コンピュータに、ウェアラブルデバイスＤからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成処理と、出現頻度処理により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成処理と、所定時間間隔におけるＲＧＢデータに、ウェアラブルデバイスＤの装着者の動作を特定するためのラベルを付与するラベル付与処理と、共通のラベルが付された複数のＲＧＢデータに基づいて、ＲＧＢデータに対応するウェアラブルデバイスＤの装着者の動作を判定する判定処理と、を実行させる。
　また、本実施形態の動作判定装置は、ウェアラブルデバイスＤからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成部７４１と、出現頻度生成部７４１により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成部７４２と、ウェアラブルデバイスＤの装着者の動作を表すラベルを、これに相当する時間におけるＲＧＢデータに付与するラベル付与部７５と、共通のラベルが付された複数のＲＧＢデータの特徴に基づいて、ＲＧＢデータがラベルに相当する動作か否かを判定する判定部７６と、を有する。
　また、本実施形態の動作判定用画像生成プログラムは、コンピュータに、上記の出現頻度生成処理、ＲＧＢデータ生成処理を実行させる。また、本実施形態の動作判定用画像生成装置は、上記の出現頻度生成部７４１、ＲＧＢデータ生成部７４２を有する。
　このように、本実施形態では、所定時間間隔の加速度成分の出現頻度を用いることで、時間軸方向の不安定さの影響を抑えることができる。波形解析の場合、波形や周波数成分の時間軸方向の変化の態様を維持した状態での照合となるので、作業の順番が変化したり、作業の速度や動きの大きさに個人差があると、同一動作の判定が非常に難しい。これは、波形を写像等した場合にも、時間軸方向の変化の態様が含まれることになるので同様である。しかし、本実施形態では、例えば、所定の時間間隔内において、同じ動作に含まれる作業を異なる順番で行っても、出現頻度は同様となる可能性が高いので、同一の動作として判定できる。また、例えば、作業の速度や動きの大きさに個人差があっても、出現頻度は同様の態様を示す可能性が高いので、同一の動作として判定できる。
　また、本実施形態では、出現頻度をＲＧＢデータとすることで、画像データによる判定に適したデータを生成できる。但し、畳み込みニューラルネットワークによる認識のための画像データとしては、動作対象を撮像した画像データを用いて動作を認識する方法がある。しかし、撮像した画像データから動作を認識する場合には、動作の時間軸に沿って撮像した大量の画像データを用いる必要があるため、必要な画像データが膨大となり、処理負担が増大する。また、波形解析と同様にあるいはそれ以上に、作業の順番の変化、作業の速度や動きの大きさの個人差が生じるため、認識の精度が向上しないか、向上に必要な画像データが膨大となる。つまり、動作の認識のためには、加速度信号を用いるばかりでなく、画像データを用いることも問題があることが技術常識であったといえる。
　これに対して、本発明の発明者は、鋭意検討した結果、上記の技術常識に反して、動作の判定のために加速度信号を用いるが、単なる加速度信号ではなく、そのＸＹ成分、ＹＺ成分、ＺＸ成分の出現頻度に着目するに至った。そして、加速度信号を写像等するのではなく、出現頻度という単純な数値化した情報を各画素の値としたＲＧＢデータを生成することにより、時間軸に沿ったデータ量の増大を抑えて、正確な判定が実現できることを見出した。つまり、従来、着目されていなかった出現頻度を用いることを想起した上に、さらに、それを敢えてＲＧＢデータ化するという発想に至ったのである。
　このように生成されたＲＧＢデータは、撮像した画像データ等と比較して、出現頻度がゼロであるためにゼロとなる領域が多くなるので、ＲＧＢデータは実質的な圧縮ファイルとなる。データサイズが軽減されるので、データ蓄積のための記憶容量が少なくて済み、転送速度も高速となる。また、学習の収束に要する計算量も抑えることができる。しかも、ＲＧＢデータは視覚化されるので、人間が見ても、ある程度のパターンが認識できる。このような利点は、仮に加速度値をそのまま画像化したり、加速度値を演算した数値をそのまま画像化しただけでは到底得られない。
（２）本実施形態の動作判定プログラムは、コンピュータに、加速度信号を所定のレートでサンプリングしたサンプリング値に基づいて、単位時間当たりのＸ、Ｙ、Ｚ軸方向の加速度値を生成する量子化処理と、加速度値に基づいて、少なくとも前記２成分の出現頻度を生成する出現頻度生成処理と、を実行させる。
　また、本実施形態の動作判定装置は、加速度信号を所定のレートでサンプリングしたサンプリング値に基づいて、単位時間当たりのＸ、Ｙ、Ｚ軸方向の加速度値を生成する量子化部７３２と、加速度値に基づいて、前記２成分の出現頻度を生成する出現頻度生成部７４１と、を有する。
　このため、加速度信号を量子化することにより平滑化されるため、微細な高周波成分がカットされ、動きの誤差や、ウェアラブルデバイスＤの装着ずれなどの影響も抑えることができる。さらに、量子化されているため、データが単純化され、演算処理の際の計算量が抑えられる。
（３）本実施形態の動作判定プログラムは、コンピュータに、所定時間間隔を設定する設定処理を実行させる。このため、動作の判定結果に応じて時間間隔を調整することにより、正確な判定が可能となる。
（４）本実施形態の動作判定プログラムは、外部の検出装置により検出された検出信号に基づいて、所定時間間隔を設定する。このため、例えば、バーコード検品のように、動作の区切りと時間間隔の区切りを一致させることが容易となり、正確な判定を実現できる。
（５）本実施形態の動作判定プログラムは、長さの異なる複数の所定時間間隔を、階層的に設定する。このため、多様な時間間隔で判定を試すことにより、正確な動作判定のために最適な時間間隔を設定することができる。
［変形例］
　本発明は上記の態様に限定されるものではない。
（１）出現頻度をＲＧＢデータに変換する際に、時間間隔の区切りのタイミングの問題がある。例えば、組み立て作業の工程が、Ａ、Ｂ、Ｃである場合に、Ａの途中からＢの途中、Ｂの最後の動作とＣが重なるというように、一方の動作の区切りのタイミングが他方の動作の区切りのタイミングと一致しない場合がある。この場合、時間間隔の区切りのタイミングが、各階層で一致しているとＲＧＢデータを取得する時間間隔の階層を変えても、動作の区切りのタイミングと時間間隔の区切りのタイミングの相違が一定で変わらないため、精度が上がらない可能性がある。
　これに対処するために、図１９に示すように、ＲＧＢデータに変換する時間間隔を、オーバーラップさせてもよい。つまり、階層的に設定された時間間隔は、上位層の時間間隔の区切りと下位層の時間間隔の区切りとが一致している必要はない。時間間隔の区切りをずらすことにより、上位層と下位層の時間間隔をオーバーラップさせることができる。時間間隔の変更による調整の場合と同様に、オーバーラップの加減、つまりずれの量を変更しながら、判定精度を確認し、適切なずれ量を見つける。
　これにより、各層の区切りを共通のタイミングとした場合に比べて、時間間隔の区切りと動作の区切りとが一致するＲＧＢデータが生じる可能性や、異なる動作の計測データが含まれないＲＧＢデータが生じる可能性を高めることができる。
　また、オーバーラップによって、多様なＲＧＢデータを得ることができるので、精度の高いＲＧＢデータを生じる可能性が高くなり、ディープラーニング等による判定の精度を高めることができる。また、時間間隔を短くする場合と同様に、状況の変化を早期に判定することができる。
（２）学習する際のデータとしては、出現頻度は、ＸＹ成分、ＹＺ成分、ＺＹ成分の３成分が、それぞれＲ、Ｇ、Ｂのいずれかに割り当てられることによって、特徴が抽出できる可能性が高くなる。しかし、ＲＧＢデータへの変換に用いられる出現頻度は、ＸＹ成分、ＹＺ成分、ＺＹ成分のうち、少なくとも２成分であれば、動作の判定はできる。このため、ＸＹ成分、ＹＺ成分のように２成分を、Ｒ、Ｇの２つの値として、他の１つであるＢの値は、動作に関連する別の値としてもよい。つまり、ＲＧＢの色信号のうちの１色の値を、出現頻度とは異なる種類のパラメータ値としてもよい。例えば、加速度値のＺとＸの値の変化量としたり、ジャイロセンサ３７からの角速度の値としてもよい。これにより、出現頻度とは異なる種類のパラメータ値が顕著な特徴を示す動作の場合に、判定精度が高まることになる。
（３）装着者としては、動く物体であればよい。人間の他、動物、車等の移動体、ロボット等であってもよい。但し、本発明は、人間の複雑で多様な動きから動作を判定できるという利点がある。装着部による体への装着は、動作を特定できる加速度信号が得られる程度に装着できればよい。腕の他、手指、頭部、首、胸、腰、足等、体のどの位置に装着してもよい。このため、装着部も、バンド、ベルト、紐、メガネ、耳栓等の他、粘着テープ、両面粘着シート、面ファスナー等でもよい。衣類、帽子類、サポーター、アクセサリー、履物等を装着部としてもよい。本体ユニットが直接肌に触れなくてもよい。つまり、情報の伝達のための接触は、肌に対して直接的なものであっても、装着部の一部が介在する間接的なものであってもよい。
１　通信部
２　現在位置判定部
２１　信号検出部
２２　位置判定部
３　情報入力部
３１　加速度センサ
３２　地磁気センサ
３３　タッチセンサ
３４　脈拍センサ
３５　温度センサ
３６　気圧センサ
３７　ジャイロセンサ
３８　カメラ
３９　マイク
４　情報変換部
５　情報出力部
６　通知情報出力部
６１　振動部
６２　表示部
７１　通信部
７２　入力部
７３　加速度値生成部
７４　画像生成部
７４１　出現頻度生成部
７４１ａ　カウント部
７４１ｂ　マップ生成部
７４２　ＲＧＢデータ生成部
７４３　時間間隔設定部
７５　ラベル付与部
７６　判定部
７６１　抽出部
７６２　識別部
７７　通知情報生成部
７８　表示部
Ｄ　ウェアラブルデバイス
Ｐ　アクセスポイント
Ｒ　バーコードリーダ
Ｍ　動作判定装置
Ｎ　ネットワーク
Ｓ　動作判定システム
 

Claims (10)

  1. 　コンピュータに、
    　ウェアラブルデバイスからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における前記加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成処理と、
    　前記出現頻度生成処理により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成処理と、
    　前記所定時間間隔における前記ＲＧＢデータに、前記ウェアラブルデバイスの装着者の動作を特定するためのラベルを付与するラベル付与処理と、
    　共通のラベルが付された複数のＲＧＢデータに基づいて、前記ＲＧＢデータに対応する前記ウェアラブルデバイスの装着者の動作を判定する判定処理と、
    　を実行させることを特徴とする動作判定プログラム。
  2. 　前記コンピュータに、
    　前記加速度信号を所定のレートでサンプリングしたサンプリング値に基づいて、単位時間当たりのＸ、Ｙ、Ｚ軸方向の加速度値を生成する量子化処理と、
    　前記加速度値に基づいて、少なくとも前記２成分の出現頻度を生成する出現頻度生成処理と、
    　を実行させることを特徴とする請求項１記載の動作判定プログラム。
  3. 　前記コンピュータに、前記所定時間間隔を設定する設定処理を実行させることを特徴とする請求項１又は請求項２記載の動作判定プログラム。
  4. 　前記設定処理は、外部の検出装置により検出された検出信号に基づいて、前記所定時間間隔を設定することを特徴とする請求項３記載の動作判定プログラム。
  5. 　前記設定処理は、長さの異なる複数の前記所定時間間隔を、階層的に設定することを特徴とする請求項３又は請求項４記載の動作判定プログラム。
  6. 　前記ＲＧＢの色信号のうちの１色の値を、前記出現頻度とは異なるパラメータ値とすることを特徴とする請求項１乃至５のいずれかに記載の動作判定プログラム。
  7. 　ウェアラブルデバイスからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における前記加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成部と、
    　前記出現頻度生成部により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成部と、
    　前記ウェアラブルデバイスの装着者の動作を表すラベルを、これに相当する時間における前記ＲＧＢデータに付与するラベル付与部と、
    　共通のラベルが付された複数のＲＧＢデータの特徴に基づいて、各ＲＧＢデータが前記ラベルに相当する動作か否かを判定する判定部と、
    　を有することを特徴とする動作判定装置。
  8. 　前記加速度信号を所定のレートでサンプリングしたサンプリング値に基づいて、単位時間当たりのＸ、Ｙ、Ｚ軸方向の加速度を数値化する量子化部と、
    　前記加速度値に基づいて、前記２成分の出現頻度を演算する演算部と、
    　を有することを特徴とする請求項７記載の動作判定装置。
  9. 　コンピュータに、
    　ウェアラブルデバイスからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における前記加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成処理と、
    　前記出現頻度生成部により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成処理と、
    　を実行させることを特徴とする動作判定用画像生成プログラム。
  10. 　ウェアラブルデバイスからのＸ、Ｙ、Ｚの３軸方向の加速度信号に基づいて、所定時間間隔における前記加速度信号のＸＹ成分、ＹＺ成分及びＺＸ成分のうち、少なくとも２成分の出現頻度を生成する出現頻度生成部と、
    　前記出現頻度生成部により生成された少なくとも２成分の出現頻度を、ＲＧＢの色信号のうちの少なくとも２色の値としたＲＧＢデータを生成するＲＧＢデータ生成部と、
    　を有することを特徴とする動作判定用画像生成装置。
PCT/JP2018/030753 2017-08-21 2018-08-21 動作判定プログラム、動作判定装置、動作判定用画像生成プログラム、動作判定用画像生成装置 WO2019039448A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017158935A JP6330093B1 (ja) 2017-08-21 2017-08-21 動作判定プログラム、動作判定装置、動作判定用画像生成プログラム、動作判定用画像生成装置
JP2017-158935 2017-08-21

Publications (1)

Publication Number Publication Date
WO2019039448A1 true WO2019039448A1 (ja) 2019-02-28

Family

ID=62186730

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/030753 WO2019039448A1 (ja) 2017-08-21 2018-08-21 動作判定プログラム、動作判定装置、動作判定用画像生成プログラム、動作判定用画像生成装置

Country Status (2)

Country Link
JP (1) JP6330093B1 (ja)
WO (1) WO2019039448A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105109A (zh) * 2018-10-25 2020-05-05 玳能本股份有限公司 操作检测装置、操作检测方法及操作检测系统
JP7070594B2 (ja) 2020-03-10 2022-05-18 カシオ計算機株式会社 リスト端末、作業時間管理装置、プログラム及び作業時間管理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2688037A1 (en) * 2012-07-18 2014-01-22 Samsung Electronics Co., Ltd Method and apparatus for data processing using graphic processing unit
JP2015123217A (ja) * 2013-12-26 2015-07-06 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 移動運動状態表示装置、方法及びシステム並びにプログラム
JP2015123216A (ja) * 2013-12-26 2015-07-06 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 移動運動状態表示装置、方法及びシステム並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2688037A1 (en) * 2012-07-18 2014-01-22 Samsung Electronics Co., Ltd Method and apparatus for data processing using graphic processing unit
JP2015123217A (ja) * 2013-12-26 2015-07-06 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 移動運動状態表示装置、方法及びシステム並びにプログラム
JP2015123216A (ja) * 2013-12-26 2015-07-06 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 移動運動状態表示装置、方法及びシステム並びにプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HARAKI, TSUKASA ET AL.: "A proposal of reducing power consumption using an acceleration sensor in tag annotation system for moving object", PROCEEDINGS OF FOURTH FORUM ON DATA ENGINEERING AND INFORMATION MANAGEMENT, 13 July 2012 (2012-07-13) *
MAEKAWA, TAKUYA ET AL.: "Daily activity sensing technologies using wearable devices and their applications to animal behaviour recognition", JOURNAL OF THE ROBOTICS SOCIETY OF JAPAN, vol. 35, no. 2, March 2017 (2017-03-01), pages 105 - 109, XP055578762, ISSN: 0289-1824, DOI: 10.7210/jrsj.35.105 *

Also Published As

Publication number Publication date
JP6330093B1 (ja) 2018-05-23
JP2019036257A (ja) 2019-03-07

Similar Documents

Publication Publication Date Title
Amendola et al. Movement detection of human body segments: Passive radio-frequency identification and machine-learning technologies
US11030564B2 (en) Motion analysis apparatus, motion analysis method, and computer program product
Gupta et al. A continuous hand gestures recognition technique for human-machine interaction using accelerometer and gyroscope sensors
US9299248B2 (en) Method and apparatus for analyzing capacitive EMG and IMU sensor signals for gesture control
US10768196B2 (en) Determine wearing position of a wearable device
TW201806370A (zh) 提供即時訊號分段和基準點對準架構的系統與方法
Pham et al. e-Shoes: Smart shoes for unobtrusive human activity recognition
US20200273200A1 (en) Camera localization based on skeletal tracking
US20210020295A1 (en) Physical function independence support device of physical function and method therefor
Maekawa et al. WristSense: wrist-worn sensor device with camera for daily activity recognition
WO2019039448A1 (ja) 動作判定プログラム、動作判定装置、動作判定用画像生成プログラム、動作判定用画像生成装置
JP2009134590A (ja) 行動識別システム、行動識別方法、最適センサ集合決定方法および最適パラメータ決定方法。
Perumal et al. IoT based activity recognition among smart home residents
JP4719826B2 (ja) 作業認識装置
JP2012000211A (ja) 行動内容可視化装置および行動内容解析装置
Hafeez et al. Multi-fusion sensors for action recognition based on discriminative motion cues and random forest
CN114818788A (zh) 基于毫米波感知的追踪目标状态识别方法和装置
Zhang et al. Robotic control of dynamic and static gesture recognition
Adaskevicius Method for recognition of the physical activity of human being using a wearable accelerometer
Low et al. ActSen-AI-enabled real-time IoT-Based ergonomic risk assessment system
CN111166340B (zh) 基于自适应加速度信号分割的人体姿势实时识别方法
WO2013035161A1 (ja) センサ端末
US10143406B2 (en) Feature-quantity extracting apparatus
Baranwal et al. Abnormal motion detection in real time using video surveillance and body sensors
Zhu et al. RFMonitor: Monitoring smoking behavior of minors using COTS RFID devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18847305

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18847305

Country of ref document: EP

Kind code of ref document: A1