WO2023210035A1 - 情報処理システム、情報処理装置及び情報処理方法 - Google Patents

情報処理システム、情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2023210035A1
WO2023210035A1 PCT/JP2022/030137 JP2022030137W WO2023210035A1 WO 2023210035 A1 WO2023210035 A1 WO 2023210035A1 JP 2022030137 W JP2022030137 W JP 2022030137W WO 2023210035 A1 WO2023210035 A1 WO 2023210035A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
person
server system
assisted
data
Prior art date
Application number
PCT/JP2022/030137
Other languages
English (en)
French (fr)
Inventor
隆史 石川
侑規 中村
Original Assignee
パラマウントベッド株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パラマウントベッド株式会社 filed Critical パラマウントベッド株式会社
Publication of WO2023210035A1 publication Critical patent/WO2023210035A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G12/00Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop

Definitions

  • the present invention relates to an information processing system, an information processing device, an information processing method, and the like.
  • This application claims priority based on Japanese Patent Application No. 2022-071410 filed in Japan on April 25, 2022, the contents of which are incorporated herein.
  • Patent Document 1 discloses a method of arranging a sensor in a living space and generating provided information regarding the state of a resident living in the living space based on a temporal change in detection information acquired by the sensor. .
  • an information processing system Provides an information processing system, an information processing device, an information processing method, etc. that appropriately supports assistance of a person being assisted by a caregiver.
  • One aspect of the present disclosure provides for a data link layer of communication between a device including an application that executes processing corresponding to tacit knowledge of an expert and the device to include a MAC (Media Access Control) header, a frame body, and a trailer.
  • a server system that transmits a data frame including a first area that stores ability information representing the activity ability of the person being cared for; and scene information that specifies a scene of assistance for the person being cared for. a fixed-length area that includes a second area that stores device type information that specifies the type of a concomitant device that is used with the device;
  • the device is related to an information processing system that determines whether the application is active or inactive based on at least one of the capability information, the scene information, and the device type information.
  • Another aspect of the present disclosure is a data frame including a MAC (Media Access Control) header, a frame body, and a trailer in a data link layer of communication with a device including an application that executes processing corresponding to tacit knowledge of an expert. and a communication processing unit that controls the communication unit.
  • the frame body includes a fixed-length area that includes a second area that stores scene information that specifies a scene, and a third area that stores device type information that specifies the type of a combined device used with the device.
  • the present invention relates to an information processing apparatus that transmits the data frame to the device as information for determining whether the application is active or inactive.
  • Still another aspect of the present disclosure provides a data link layer of communication between a device including an application that executes processing corresponding to tacit knowledge of an expert and the device, a MAC (Media Access Control) header, a frame body, and a frame body.
  • an information processing method in an information processing system including a server system that transmits a data frame including a trailer, the first area storing ability information representing the activity ability of a person being assisted; A fixed-length area that includes a second area that stores scene information to specify, and a third area that stores device type information that specifies the type of a combined device used with the device, the data included in the frame body.
  • the present invention relates to an information processing method for transmitting a frame from the server system to the device, and determining whether the application is active or inactive based on at least one of the capability information, the scene information, and the device type information.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system.
  • FIG. 3 is a diagram illustrating an example of the relationship between devices and tacit knowledge.
  • 1 is a diagram illustrating a configuration example of a server system.
  • FIG. 2 is a diagram showing an example of the configuration of a device.
  • FIG. 3 is a diagram illustrating an example of the relationship between the ability of a person being assisted and an assumed risk.
  • FIG. 2 is a sequence diagram illustrating processing of the information processing system.
  • FIG. 2 is a sequence diagram illustrating processing of the information processing system.
  • FIG. 3 is a diagram showing a specific example of a device related to fall risk.
  • FIG. 3 is a diagram showing a specific example of a device related to fall risk.
  • FIG. 3 is a diagram showing a specific example of a device related to fall risk.
  • FIG. 3 is a diagram showing a specific example of a device related to fall risk.
  • FIG. 3 is a diagram showing a specific example of a device related to fall risk.
  • FIG. 3 is a diagram showing a specific example of a device related to aspiration risk.
  • FIG. 3 is a diagram showing a specific example of a device related to pressure ulcer risk.
  • FIG. 3 is a diagram showing a specific example of a device related to pressure ulcer risk. This is an example of a screen used for bed position adjustment. This is an example of a screen used for bed position adjustment. This is an example of a screen used for end-of-life care.
  • FIG. 3 is a diagram illustrating an example of an operation mode of a device according to its capabilities.
  • FIG. 2 is a sequence diagram illustrating processing of the information processing system.
  • 3 is a flowchart illustrating an operation mode determination process in a device.
  • 3 is a flowchart illustrating an operation mode determination process in a device.
  • FIG. 3 is a diagram illustrating an example of cooperation between the swallowing choking detection device and other devices.
  • 3 is a flowchart illustrating an operation mode determination process in a device.
  • FIG. 3 is a diagram showing a specific example of a controlled device.
  • FIG. 3 is a diagram showing a specific example of a controlled device.
  • FIG. 1 is a diagram illustrating an example configuration of an information processing system when performing serverless communication.
  • FIG. 2 is a diagram illustrating a configuration example of a communication processing unit and a communication unit.
  • FIG. 6 is a diagram showing an example of the relationship between data type ID and contents. It is a figure showing an example of composition of a frame body.
  • FIG. 6 is a diagram showing an example of the relationship between data type ID and contents.
  • FIG. 3 is a diagram showing an example of parameters according to access categories.
  • FIG. 3 is a diagram illustrating an example of allocation of access categories.
  • It is a diagram showing an example of the configuration of an information processing system for home care. This is an example of a screen displayed on a caregiver's terminal device. This is an example of a screen displayed on a caregiver's terminal device.
  • FIG. 1 is a configuration example of an information processing system 10 according to this embodiment.
  • the information processing system 10 according to the present embodiment is capable of digitizing the "intuition” and “tacit knowledge" of work performed by a caregiver in, for example, a medical facility or a nursing care facility. This system provides instructions to caregivers so that they can provide appropriate assistance regardless of skill level.
  • the assistant here may be a care worker at a nursing care facility, or a nurse or assistant nurse at a medical facility such as a hospital. That is, the assistance in this embodiment includes various actions to support the person being assisted, and may include nursing care or medical acts such as injections. Further, the assisted person here is a person who receives assistance from a caregiver, and may be a resident of a nursing care facility or a patient admitted to or visiting a hospital.
  • the assistance in this embodiment may be provided at home.
  • the person being assisted in this embodiment may be a care recipient who receives home care, or a patient who receives home medical care.
  • the caregiver may be a family member of the care recipient or the patient, or may be a visiting helper.
  • the information processing system 10 shown in FIG. 1 includes a server system 100, a device 200, and a gateway 300.
  • the configuration of the information processing system 10 is not limited to that shown in FIG. 1, and various modifications such as omitting a part or adding other configurations are possible.
  • the devices 200 include a tablet-type terminal device such as a smartphone, a seat sensor 440 placed on a wheelchair 630 (described later with reference to FIG. 10), and a detection device 430 placed on a bed 610 (described later with reference to FIG. 9). (described later), the number and types of devices 200 are not limited thereto.
  • the information processing system 10 may include various devices 200 that will be described later using FIGS. 8 to 14.
  • the information processing system 10 may include devices other than the device 200 shown in FIGS. 8 to 14. Note that hereinafter, when there is no need to distinguish the plurality of devices 200 from each other, they will simply be referred to as devices 200. Further, modifications such as omission or addition of configurations are possible in the same manner as in FIGS. 3 and 4, which will be described later.
  • the information processing device of this embodiment corresponds to, for example, the server system 100.
  • the method of this embodiment is not limited to this, and the processing of the information processing device may be executed by distributed processing using the server system 100 and other devices.
  • the information processing apparatus of this embodiment may include a server system 100 and a device 200. An example in which the information processing device is the server system 100 will be described below.
  • the server system 100 is connected to the device 200 via a network, for example.
  • the server system 100 is connected to a gateway 300 via a public communication network such as the Internet, and the gateway 300 is connected to a device 200 using a LAN (Local Area Network) or the like.
  • the gateway 300 may be an access point (AP) that performs communication in accordance with the IEEE802.11 standard
  • the device 200 may be a station (STA) that performs communication in accordance with the IEEE802.11 standard.
  • AP access point
  • STA station
  • the server system 100 may be one server or may include multiple servers.
  • server system 100 may include a database server and an application server.
  • the database server stores various data that will be described later using FIG.
  • the application server performs processing that will be described later using FIGS. 6 to 7 and the like.
  • the plurality of servers here may be physical servers or virtual servers.
  • the virtual server may be provided in one physical server, or may be distributed and arranged in a plurality of physical servers.
  • the specific configuration of the server system 100 in this embodiment can be modified in various ways.
  • the device 200 includes, for example, various sensors, and performs processing based on data sensed by the sensors (hereinafter referred to as sensing data).
  • sensing data data sensed by the sensors
  • the above-described digitization of the tacit knowledge of the expert may be performed by the vendor of the device 200, for example.
  • the above tacit knowledge is digitized by creating an application that collects sensing data corresponding to the posture of the person being cared for detected by the seat sensor 440 and determines forward and lateral deviations based on the sensing data. It is possible to do so.
  • a vendor provides the seat sensor 440 and the application described above. As a result, a person who is not an expert (for example, a new employee) can utilize the same frontal and lateral deviation judgments as an expert.
  • the number of tacit knowledge that is digitized in one device 200 is not limited to one.
  • the tacit knowledge that is digitized using the seat sensor 440 is not limited to the determination of front and side slippage, but also includes the determination of the possibility of falling, and the combination of both front and side slippage determination and fall possibility. But that's fine.
  • the forward and lateral displacement determination corresponds to determining whether the posture of the person being assisted is good or bad, and the determination of the possibility of falling corresponds to determining whether the person has slipped off the seat surface.
  • each device 200 can execute a process corresponding to one or more tacit knowledges, and may switch whether or not to execute a process corresponding to each tacit knowledge.
  • a vendor may implement tacit knowledge as application software (hereinafter also simply referred to as an application) and register it in the server system 100.
  • Each device 200 executes a process corresponding to tacit knowledge by downloading and installing a potentially executable application among the registered applications.
  • FIG. 2 is a diagram showing an example of the relationship between the device 200 and tacit knowledge (application).
  • five devices 200a to 200e are illustrated as devices 200 connected to the server system 100.
  • two tacit knowledges, tacit knowledge 1 and tacit knowledge 2 are associated with the device 200a.
  • applications for tacit knowledge 1 and tacit knowledge 2 have been installed on the device 200a.
  • the device 200a may be, for example, a device related to fall risk, which will be described later.
  • the device 200a is the seat sensor 440
  • the tacit knowledge 1 may be tacit knowledge regarding front slippage/lateral slippage determination
  • the tacit knowledge 2 may be tacit knowledge regarding fall possibility determination.
  • the processing results corresponding to tacit knowledge 1 and tacit knowledge 2 are transmitted to the server system 100, for example.
  • the device 200b and the device 200c are, for example, devices related to aspiration risk, which will be described later, and each is associated with a plurality of tacit knowledge for dealing with the aspiration risk and the like.
  • the device 200d and the device 200e are, for example, devices related to pressure ulcer risk, which will be described later, and each is associated with a plurality of tacit knowledge for dealing with pressure ulcer risks and the like. In this way, it is possible to digitize a variety of tacit knowledge using various devices. Note that although two tacit knowledges are illustrated here for one device 200, the number of tacit knowledges that can be associated with one device 200 is not limited to this.
  • the method of this embodiment it is possible to switch the tacit knowledge to be used depending on the situation. For example, it is not necessary to use all of the tacit knowledge 1 to tacit knowledge 10 shown in FIG. 2, and use/non-use can be switched as necessary. Switching of tacit knowledge may be realized by switching the device 200 to be used. For example, when the target is a person being assisted who has a high risk of falling but a low risk of aspiration and pressure ulcers, the device 200a is used and the devices 200b-200e are not used. In this way, at least one of tacit knowledge 1 and tacit knowledge 2 is used and the other tacit knowledge is not used, making it possible to appropriately use tacit knowledge that is highly necessary for the care recipient.
  • the tacit knowledge to be used can be switched by using the device 200b or the device 200c. Also, when dealing with the risk of aspiration, the case may be switched between a case where only the device 200b is used, a case where only the device 200c is used, a case where both the devices 200b and 200c are used, etc. In this way, for example, when the risk of aspiration is high, necessary tacit knowledge among tacit knowledge 3 to tacit knowledge 6 in FIG. 2 can be used. The same applies when the risk of pressure ulcers increases, and by using the device 200d or the device 200e, it is possible to switch the tacit knowledge to be used. It is also possible to switch to stop using the device 200a when the risk of falling falls.
  • switching of tacit knowledge may be realized by switching the tacit knowledge used within the device 200 while maintaining the device 200 used. For example, in the device 200a, a case where only tacit knowledge 1 is used, a case where only tacit knowledge 2 is used, a case where both tacit knowledge 1 and tacit knowledge 2 are used, etc. may be switched. This processing can be realized, for example, by controlling activation/deactivation of the application corresponding to each tacit knowledge.
  • the switching of tacit knowledge may also be performed using the assistance recipient's ability information.
  • the ability information here is information representing the activity ability of the person being assisted, and is information obtained as a result of, for example, the device 200 performing processing using some kind of tacit knowledge.
  • the ability information may be information related to the level of fall risk, aspiration risk, and pressure ulcer risk, for example. Details of the ability information will be described later.
  • processing may be performed to switch the tacit knowledge used within the same device 200.
  • active/inactive states of an application corresponding to tacit knowledge 1 and an application corresponding to tacit knowledge 2 may be switched.
  • the processing result may affect other devices 200.
  • the tacit knowledge used in the device 200b is switched based on the processing result of the tacit knowledge 1 in the device 200a. For example, a state in which the device 200b is not used may be switched to a state in which the device 200b is used.
  • tacit knowledge 3 and tacit knowledge 4 associated with device 200b may be switched between active and inactive individually.
  • the switching of tacit knowledge is not limited to being based on ability information, but may be performed based on the assistance scene of the person to be assisted, the situation in which multiple devices 200 are used together, and the like. Details of the information used for switching tacit knowledge and the process of switching tacit knowledge will be described later.
  • processing corresponding to one tacit knowledge may be executed based on sensing data acquired using multiple devices 200.
  • processing corresponding to tacit knowledge 1 may be executed based on the sensing data acquired by the device 200a and the sensing data acquired by the device 200b.
  • the types of sensing data used for processing can be increased, so it is possible to improve processing accuracy.
  • the processing corresponding to tacit knowledge 1 may be performed by the device 200a, the device 200b, or may be realized by distributed processing between the device 200a and the device 200b.
  • the processing corresponding to tacit knowledge is not limited to that executed by the device 200 that acquires sensing data.
  • a process corresponding to tacit knowledge 1 may be executed in the device 200, which is different from both the device 200a and the device 200b, based on the sensing data acquired by the device 200a and the sensing data acquired by the device 200b.
  • the device 200 which is a smartphone, may execute processing corresponding to tacit knowledge based on sensing data acquired by the seat sensor 440 and sensing data acquired by the detection device 430.
  • tacit knowledge is digitized by the vendor of the device 200
  • the present invention is not limited to this.
  • a caregiver who uses the device 200 is not prevented from digitizing his/her own tacit knowledge.
  • the caregiver may create an application corresponding to tacit knowledge and register the application in the server system 100. In this way, it becomes possible to promote the digitization and use of tacit knowledge.
  • FIG. 3 is a block diagram showing a detailed configuration example of the server system 100.
  • the server system 100 includes, for example, a processing section 110, a storage section 120, and a communication section 130.
  • the processing unit 110 of this embodiment is configured by the following hardware.
  • the hardware can include at least one of a circuit that processes digital signals and a circuit that processes analog signals.
  • the hardware can be configured by one or more circuit devices mounted on a circuit board or one or more circuit elements.
  • the one or more circuit devices are, for example, an IC (Integrated Circuit), an FPGA (Field-Programmable Gate Array), or the like.
  • the one or more circuit elements are, for example, resistors, capacitors, etc.
  • the processing unit 110 may be realized by the following processor.
  • the server system 100 of this embodiment includes a memory that stores information and a processor that operates based on the information stored in the memory.
  • the information includes, for example, programs and various data.
  • the memory may be the storage unit 120 or another memory.
  • a processor includes hardware.
  • Various types of processors can be used as the processor, such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and a DSP (Digital Signal Processor).
  • the memory may be a semiconductor memory such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), or flash memory, or may be a register, or may be a hard disk drive (HDD), etc.
  • the storage device may be a magnetic storage device, or an optical storage device such as an optical disk device.
  • the memory stores computer-readable instructions, and when the processor executes the instructions, the functions of the processing unit 110 are realized as processing.
  • the instructions here may be instructions of an instruction set that constitutes a program, or instructions that instruct a hardware circuit of a processor to operate.
  • the processing unit 110 includes, for example, a capability information acquisition unit 111, a scene information acquisition unit 112, a device type information acquisition unit 113, and a communication processing unit 114.
  • the ability information acquisition unit 111 performs processing to acquire ability information representing the activity ability of the person being assisted.
  • the capability information acquisition unit 111 acquires sensing data from the device 200.
  • the sensing data here may be log data for a predetermined period, for example.
  • the ability information acquisition unit 111 determines time-series changes in the condition of the person being assisted based on the log data, and estimates ability information based on the changes.
  • the ability information here may be index information regarding daily activities (ADL: Activities of Daily Living).
  • ADL Activities of Daily Living
  • the ability information acquisition unit 111 of the present embodiment determines which of the nine stages the person being assisted belongs to based on the sensing data.
  • the capability information acquisition unit 111 may execute a process of acquiring capability information from the device 200 or the like via the communication unit 130.
  • the scene information acquisition unit 112 determines the scene in which the person being assisted is assisted.
  • the scene information here may be information specifying the type of assistance to be performed, such as eating assistance, excretion assistance, movement/transfer assistance, etc.
  • the scene information may be information regarding the caregivers, such as the number of caregivers who assist the person being helped, their skill level, and the like.
  • the scene information may be information regarding the person being assisted, such as attributes of the person being assisted.
  • the scene information acquisition unit 112 performs processing to obtain scene information based on user input, a caregiver's schedule, and the like.
  • the device type information acquisition unit 113 is information that specifies the type of device 200 that operates together with the target device 200.
  • the device type here represents a rough classification such as a wheelchair, bed, etc., and may be information that does not distinguish between vendors.
  • the device type of a wheelchair of a first vendor and a wheelchair of a second vendor different from the first vendor may be the same.
  • the device type information acquisition unit 113 identifies another device 200 used by a person being assisted (or a caregiver who assists the person being assisted) who uses the target device 200, and identifies the type of the other device 200. Processing may also be performed to obtain information representing the device type information.
  • the communication processing unit 114 controls communication using the communication unit 130.
  • the communication processing unit 114 executes processing for creating data to be transmitted, such as a MAC frame in the data link layer.
  • the communication processing unit 114 may perform processing such as interpreting the frame structure of the data received by the communication unit 130, extracting necessary data, and outputting the extracted data to an upper layer such as an application.
  • the storage unit 120 is a work area of the processing unit 110 and stores various information.
  • the storage unit 120 can be realized by various types of memory, and the memory may be a semiconductor memory such as SRAM, DRAM, ROM, or flash memory, a register, or a magnetic storage device. It may also be an optical storage device.
  • the storage unit 120 may store user information 121, device information 122, and application information 123.
  • tacit knowledge is registered in the server system 100 as an application.
  • Each user who uses tacit knowledge may register the device 200 in the system, and then download and use the necessary application to the device 200.
  • the user information 121 includes information such as a user ID and user name that uniquely identifies the user of the information processing system 10, and a device ID that is information that uniquely identifies the device 200 used by the user.
  • the device information 122 is information regarding the device 200, and includes a device ID, a device type ID representing the type of the device 200, a vendor, an application ID of an installed application, and the like.
  • the application ID is information that uniquely identifies an application.
  • the application information 123 is information regarding the application, and includes an application ID, an application name, a creator, and the like. Further, the application information may include information that specifies specific processing contents of the application. The information specifying the processing content may be a program source code or an executable file. Further, when the application corresponds to a learned model, information on the structure of the learned model may be included. For example, when the trained model is a neural network (hereinafter referred to as NN), the structure of the trained model includes the number of layers of the NN, the number of nodes included in each layer, connection relationships between nodes, weights, activation functions, etc. including.
  • NN neural network
  • the user information 121 By using the user information 121, it becomes possible to appropriately manage users who use the information processing system 10. Further, by referring to the device information 122, it becomes possible to confirm details of the device 200 used by each user. Furthermore, by referring to the application information 123, it becomes possible to check the details of each application registered in the server system 100.
  • the communication unit 130 is an interface for communicating via a network, and includes, for example, an antenna, an RF (radio frequency) circuit, and a baseband circuit when the server system 100 performs wireless communication.
  • the server system 100 may perform wired communication, and in that case, the communication unit 130 may include a communication interface such as an Ethernet connector, a control circuit for the communication interface, and the like.
  • the communication unit 130 operates under the control of the communication processing unit 114.
  • the communication unit 130 may include a communication control processor different from the communication processing unit 114.
  • the communication unit 130 may perform communication according to a method defined by IEEE802.11 or IEEE802.3, for example. However, the specific communication method can be modified in various ways.
  • FIG. 4 is a block diagram showing a detailed configuration example of the device 200.
  • the device 200 includes, for example, a processing section 210, a storage section 220, a communication section 230, a display section 240, and an operation section 250. Note that, as will be described later using FIGS. 8 to 14, various types of devices 200 can be used in the method of this embodiment.
  • the configuration of each device 200 is not limited to that shown in FIG. 4, and modifications such as omitting some configurations or adding other configurations are possible.
  • the device 200 may include various sensors depending on the device 200, such as a motion sensor such as an acceleration sensor or a gyro sensor, an image sensor, a pressure sensor, or a GPS (Global Positioning System) sensor.
  • the processing unit 210 is configured by hardware that includes at least one of a circuit that processes digital signals and a circuit that processes analog signals. Further, the processing unit 210 may be realized by a processor. As the processor, various types of processors such as a CPU, GPU, DSP, etc. can be used. The functions of the processing unit 210 are realized as processing by the processor executing instructions stored in the memory of the device 200.
  • the storage unit 220 is a work area of the processing unit 210, and is realized by various memories such as SRAM, DRAM, and ROM.
  • the communication unit 230 is an interface for communicating via a network, and includes, for example, an antenna, an RF circuit, and a baseband circuit.
  • the communication unit 230 communicates with the server system 100 via a network, for example.
  • the communication unit 230 may perform wireless communication based on the IEEE802.11 standard, for example, with the gateway 300 and communicate with the server system 100 via the gateway 300.
  • the display unit 240 is an interface that displays various information, and may be a liquid crystal display, an organic EL display, or another type of display.
  • the operation unit 250 is an interface that accepts user operations.
  • the operation unit 250 may be a button or the like provided on the device 200. Further, the display section 240 and the operation section 250 may be a touch panel configured as one unit.
  • the device 200 may include configurations not shown in FIG. 4, such as a light emitting section, a vibration section, a sound input section, a sound output section, etc.
  • the light emitting unit is, for example, an LED (light emitting diode), and provides notification by emitting light.
  • the vibration unit is, for example, a motor, and provides notification by vibration.
  • the sound input section is, for example, a microphone.
  • the sound output section is, for example, a speaker, and provides sound notification.
  • the information processing system 10 of this embodiment includes a server system 100 and a device 200, as shown in FIG. Device 200 may then operate in any of a plurality of operating modes.
  • the operation mode in this embodiment may be determined by a combination of tacit knowledge (applications) to be used.
  • the device 200 can install a plurality of applications corresponding to different tacit knowledge, and switches active/inactive for each of the plurality of applications. In this way, it becomes possible to appropriately switch the tacit knowledge to be used depending on the situation.
  • the server system 100 may obtain ability information representing the activity ability of the care recipient based on sensing data transmitted from the device.
  • the server system 100 then transmits the obtained capability information to the device 200.
  • Device 200 determines which of the plurality of operation modes to operate in based on the received capability information. Since the assistance to be performed changes in accordance with changes in the ability information of the person to be cared for, the desired operation of the device 200 may change. However, according to the method of the present embodiment, the operation mode is changed in accordance with the ability information. It becomes possible to switch appropriately.
  • the device 200 can appropriately switch between active and inactive applications (use/non-use of tacit knowledge) according to capability information. Processing based on the ability information will be described below.
  • FIG. 5 is a diagram showing an example of the relationship between the ability information of the person being assisted and the assumed risks.
  • the person being assisted has a sufficiently high level of ability, it is possible to carry out daily activities without assistance from others, so the risks in daily life are not high.
  • the standing motion refers to the motion of standing up or sitting down. In this case, it becomes difficult to maintain balance when starting to move, including standing up, increasing the risk of the person being assisted falling.
  • the starting motion refers to a motion that starts moving from a state of small movement (in a narrow sense, a stationary state).
  • the person receiving assistance is able to maintain a sitting position for a long time, stand up and walk using a walker, etc., and eat meals freely to some extent.
  • the person's ability further deteriorates, it becomes difficult for the person being assisted to walk, for example, and mobility assistance using a wheelchair or the like is required.
  • the state where the risk of falling is high when starting to move is similar to the above example, but the ability to maintain a sitting position is further reduced, so it is necessary to consider the risk of falling. For example, even if a person being assisted at this stage is sitting on a bed or wheelchair, there is a possibility that the person being helped may lose balance and fall off the mattress of the bed or the seat of the wheelchair.
  • the person receiving care may not be able to eat properly.
  • swallowing ability is reduced, increasing the risk of aspiration.
  • Aspiration risk represents, for example, an increased possibility of aspiration pneumonia occurring.
  • the person being assisted is considered to be able to move their body, so the risk of falling and the high risk of falling described above are maintained, and it is also necessary to consider the risk of aspiration pneumonia.
  • the person being assisted may become bedridden and require assistance in most daily activities.
  • the risk of falling is high because there is a possibility of changing diapers in bed or moving around in a wheelchair.
  • the patient continues to eat orally, so the risk of aspiration pneumonia is high.
  • patients spend much more time in bed and are less able to turn over voluntarily, increasing the risk of pressure ulcers.
  • the person being assisted is not expected to start moving on their own, so the risk of falling when the person starts moving is low.
  • the operation mode of the device 200 can be set according to the capability information, it is possible to execute processing according to the change in capability. For example, when providing assistance to around 10 people being cared for as a unit in a nursing care facility, etc., it is conceivable that people being cared for with different abilities coexist within the unit. There is no need to manually set the necessary assistance for each person being assisted. That is, even when the caregiver is in charge of a plurality of caregivers, it is possible to set an appropriate operation mode without increasing the burden on the caregiver.
  • a situation may be considered in which the risk of falling is low because the patient is able to walk, but the risk of aspiration is high due to decreased swallowing ability. That is, the four stages described above are not limited to changing in the order described above, and more complex combinations may be considered.
  • FIG. 6 is a sequence diagram illustrating the operations of the server system 100 and the device 200, and is a diagram illustrating preprocessing performed before the device 200 executes processing corresponding to tacit knowledge.
  • step S101 the server system 100 performs a process of accepting application registration in advance.
  • each application corresponds to tacit knowledge and is created by the vendor of the device 200 or the like.
  • the creator of the application can view the vendor screen (not shown) displayed on the display section of the terminal device. is used to register the application in the server system 100.
  • the processing unit 110 of the server system 100 stores information regarding the registered application in the storage unit 120 as application information 123.
  • vendor applications 1 to 3 which are applications created by vendors, are registered.
  • a registration request for the device 200 is sent to the server system 100 based on the operation of the user using the device 200.
  • the user here may be a caregiver who uses tacit knowledge, or may be a manager of a nursing care facility.
  • a user executes the process of step S102 when introducing a new device 200 into his or her environment.
  • the user uses a user screen (not shown) to connect the device 200 to the server system. 100.
  • the registration request includes, for example, a user ID that identifies the user, and information such as the vendor and model number of the device 200.
  • the processing unit 110 of the server system 100 executes processing based on the registration request. For example, the processing unit 110 assigns a device ID that uniquely identifies the device 200 to the target device 200, and transmits the device ID to the device 200. Furthermore, the processing unit 110 may execute a process of associating the logged-in user with the device 200 that has made the registration request. For example, the device ID of the device 200 that has made the registration request may be added to the user information 121 of the logged-in user. Further, the processing unit 110 may store the device ID of the device 200 that has received a registration request, the device type ID of the device 200, etc. in association with each other in the device information 122. The device type ID can be specified based on information such as the vendor and model number included in the registration request, for example. Through the above process, the newly introduced device 200 is registered in the information processing system 10.
  • step S104 an application to be used by the device 200 is selected based on the operation of the user using the device 200. For example, when a registered device 200 accesses the server system 100, the server system 100 may send back a list screen of applications that can be used on the device 200. The user performs a user operation to select an application to use from among the displayed applications.
  • a list of applications including vendor apps 1 to 3 registered in the process shown in step S101 is displayed, and the user performs a selection operation of vendor apps 1 to 3.
  • step S105 the server system 100 permits downloading of the selected application, and the device 200 downloads the selected application.
  • the server system 100 may also perform a process of associating a device 200 with an application downloaded to the device 200.
  • the processing unit 110 executes a process of adding application IDs corresponding to vendor applications 1 to 3 to the device information 122 regarding the device 200.
  • the device 200 executes a process of installing the downloaded vendor applications 1 to 3.
  • This allows device 200 to operate in any of a plurality of operating modes.
  • the device 200 may switch each of vendor apps 1 to 3 between active and inactive.
  • a state in which all of vendor applications 1 to 3 are inactive is also considered to be one operating mode.
  • the relationship between applications and operation modes is not limited to this. For example, multiple applications may operate exclusively.
  • the device 200 is in a mode in which all vendor apps are inactive, a mode in which only vendor app 1 is active, a mode in which only vendor app 2 is active, and a mode in which only vendor app 3 is active. It may be possible to set four operating modes.
  • FIG. 7 is a sequence diagram illustrating the operations of the server system 100 and the device 200, and is a diagram illustrating an example in which the operation mode of the device 200 changes based on the ability information of the person being assisted.
  • step S201 the server system 100 performs a process of transmitting data including capability information to the device 200.
  • FIG. 7 shows an example in which data with an ADL index value of 2 is transmitted.
  • the device 200 controls the activation/deactivation of the installed vendor application based on the acquired capability information.
  • the storage unit 220 of the device 200 may store information that associates capability information with operation modes.
  • the processing unit 210 of the device 200 performs processing to determine the operating mode based on this information and the capability information acquired from the server system 100.
  • the storage unit 220 may store table data that associates ADL index values with active/inactive states of each application.
  • the processing unit 210 determines whether each application is active or inactive by extracting records that match the received ADL index value from the table data.
  • an operation mode is set in which among vendor applications 1 to 3, vendor applications 1 and 2 are active and vendor application 3 is inactive.
  • the process of determining the operation mode based on the capability information is not limited to the above example, and various modifications are possible.
  • the device 200 executes the process according to vendor application 1 and the process according to vendor application 2. Specifically, the processing unit 210 of the device 200 acquires sensing data using a sensor, uses the sensing data as input, and obtains a processing result by executing processing specified by an application. In step S203, the device 200 transmits the processing result to the server system 100.
  • the processing result here corresponds to the result of judgment executed using the tacit knowledge of an expert.
  • the information transmitted to the server system 100 here is not limited to the processing results, but may also include information such as sensing data logs.
  • the server system 100 executes control based on the processing results received from the device 200.
  • the processing unit 110 may perform a process of identifying a device to be controlled and transmitting a control signal to operate the device to be controlled.
  • the controlled device here may be a reclining wheelchair 510, which will be described later using FIG. 23, or a care bed 520, which will be described later using FIG. 24.
  • the control signal in this case may be a signal instructing to change the angle of the back surface of the reclining wheelchair 510 or the bottom angle of the care bed 520.
  • the control signal may be a signal that instructs a device to be controlled to perform notification.
  • the controlled device is a device that includes a notification section such as a display section or a light emitting section, and the control signal is a signal that instructs the controlled device to perform notification using image display, light emission, or the like.
  • the process of determining the controlled device and the control content based on the processing results of the device 200 may be performed by the processing unit 110 of the server system 100 or the processing unit 210 of the device 200.
  • information identifying the device to be controlled and the content of control may be transmitted in step S203.
  • the device 200 or the server system 100 may only specify the device to be controlled, and the specific control content may be determined by the device to be controlled.
  • steps S203 and S204 processing for transmitting the processing results is executed.
  • various modifications can be made to the device to be controlled, the control signal, etc.
  • the device to be controlled may be the device 200.
  • the server system 100 may perform a process of storing a log of sensing data transmitted from the device 200 in the storage unit 120.
  • the server system 100 executes a process of updating the ability information of the person being assisted.
  • the ability information acquisition unit 111 may obtain ability information based on the log of the sensing data.
  • the storage unit 120 of the server system 100 may store information that associates sensing data with capability information.
  • the processing unit 110 executes processing to obtain capability information based on the information and sensing data transmitted from the device 200.
  • the information that associates the sensing data with the ability information may be a learned model.
  • the training data for generating the learned model is, for example, based on the sensing data related to the person being assisted, which is determined by someone with specialized knowledge (such as a doctor or a skilled caregiver). This is data in which ability information of the person being assisted is given as correct data.
  • the correct answer data may be an index value representing an ability, or may be a set of information representing the presence or absence and level of individual abilities (such as the ability to maintain a sitting position and swallowing ability, which will be described later).
  • the processing unit 110 obtains ability information by inputting sensing data to the trained model.
  • the information stored in the storage unit 120 may be reference data that is sensing data whose correspondence with ability information is known.
  • the processing unit 110 may determine the degree of similarity between the acquired sensing data and the reference data, and obtain the ability information based on the degree of similarity.
  • the reference data here may be, for example, sensing data acquired for a highly capable person being assisted.
  • the processing unit 110 may use current capability information for processing. For example, the processing unit 110 may determine the amount of change in the ability information based on the sensing data, and determine the updated ability information based on the amount of change and the current ability information. A specific example of the process for obtaining ability information will be described later. Further, in the process of step S205, information other than the sensing data may be used, such as a report input by an assistant or a medical examination result by a doctor or the like.
  • step S206 the server system 100 performs a process of transmitting data including the updated capability information to the device 200.
  • FIG. 7 shows an example in which data with an ADL index value of 3 is transmitted.
  • step S207 the device 200 controls the activation/deactivation of the installed vendor application based on the acquired capability information. For example, as described above, the device 200 determines whether each vendor application is active or inactive based on the table data. In the example of FIG. 7, vendor apps 1 and 2 remain active, and vendor app 3 is changed from inactive to active. As a result, from step S207 onward, the device 200 shifts to a state in which it operates in an operation mode in which all of the vendor applications 1 to 3 are active. The operations after step S207 are the same as, for example, steps S203-S206.
  • the method of this embodiment is not limited to being applied to the information processing system 10 including the server system 100 and the device 200, but may be applied to an information processing apparatus.
  • the information processing device here is the server system 100 in a narrow sense.
  • the information processing device operates in one of a plurality of operation modes, and includes a communication unit (corresponding to the communication unit 130 in FIG. 3) that communicates with the device 200 used for assisting the person being cared for, and a It includes a processing unit (corresponding to the processing unit 110 in FIG. 3, or in a narrow sense, the ability information acquisition unit 111) that performs a process of obtaining ability information representing the activity ability of the person being assisted based on sensing data.
  • the processing unit of the information processing apparatus then performs a process of transmitting capability information to the device 200 via the communication unit as information for determining in which of the plurality of operation modes the device 200 operates. In this way, it becomes possible to estimate the transition of the assistance recipient's ability information based on the information collected from the device 200, and to operate the device 200 according to the ability information.
  • part or all of the processing performed by the information processing system of this embodiment may be realized by a program.
  • the processing performed by the information processing system includes, for example, at least one of the processing performed by the processing unit 110 of the server system 100 and the processing performed by the processing unit 210 of the device 200.
  • part or all of the processing performed by the information processing apparatus of this embodiment may be realized by a program.
  • the program according to the present embodiment can be stored, for example, in a non-transitory information storage device (information storage medium) that is a computer-readable medium.
  • the information storage device can be realized by, for example, an optical disk, a memory card, an HDD, or a semiconductor memory.
  • the semiconductor memory is, for example, a ROM.
  • the processing unit 110 and the like perform various processes of this embodiment based on programs stored in the information storage device. That is, the information storage device stores a program for causing a computer to function as the processing unit 110 or the like.
  • a computer is a device that includes an input device, a processing section, a storage section, and an output section.
  • the program according to this embodiment is a program for causing a computer to execute each step described above using FIGS. 6, 7, etc.
  • the method of the present embodiment is an information processing system that operates in one of a plurality of operation modes and includes a device 200 that is used to assist a person being assisted, and a server system 100 that is connected to the device 200 via a network. It can be applied to the information processing method in the system 10.
  • the information processing method includes the step of obtaining ability information representing the activity ability of the person being assisted based on the sensing data acquired by the device 200, and the device 200 selecting one of a plurality of operation modes based on the obtained ability information. and determining which one to operate.
  • FIGS. 8 and 9 are examples of a device 200 used for determining the risk of falling when a person starts moving.
  • FIG. 8 is a diagram showing an example of an imaging device 410 that images a person being assisted, and an example of an output image IM1 of the imaging device 410.
  • the imaging device 410 includes an image sensor that outputs a captured image as sensing data.
  • the imaging device 410 may be placed in a place where a large number of people work together, such as a living room or a hall of a nursing care facility. In the example of FIG. 8, the imaging device 410 is placed on top of the television device.
  • the processing unit 210 of the imaging device 410 may perform a process of detecting the start of movement of a person based on the captured image.
  • the processing unit 210 operates according to an application installed in the imaging device 410, for example, to acquire a captured image as input data, perform processing to detect a person from the captured image, and detect whether or not the detected person has started moving. Execute the process to determine.
  • the imaging device 410 performs face recognition processing to recognize a person's face based on a captured image.
  • the storage unit 220 of the imaging device 410 may store a face image of a person to be detected, and the processing unit 210 may perform face recognition processing based on matching processing using the face image as a template.
  • various techniques are known for face recognition processing, and these can be widely applied in this embodiment. For example, when a state in which the movement of the detected face area remains below a given threshold continues for a certain period of time, the imaging device 410 sets the position of the face area in that state as the reference position.
  • the imaging device 410 may set a detection area at a position a predetermined distance away from the reference position, and determine that movement has started when the face area reaches the detection area. For example, when a stand-up motion is performed, the position of the face is assumed to move relatively upward, so the detection area is an area set at a position a predetermined distance above the reference position. It's okay. In this case, the start of movement is detected when the position of the face area on the image moves upward by a predetermined distance or more with respect to the reference position.
  • the detection area here is, for example, a line-shaped area, but an area of other shapes may be set.
  • the imaging device 410 can identify the target person being assisted by face recognition processing. Therefore, the imaging device 410 detects the start of movement for a person being assisted whose ability expressed by the ability information is below a predetermined threshold (corresponding to being unable to get up and move around), and detects the start of movement for a person being assisted whose ability is higher than the threshold. Detection may be omitted.
  • the process of detecting the onset of movement is not limited to the above method.
  • the imaging device 410 may perform skeleton tracking processing based on the captured image.
  • Image-based skeleton tracking methods include “Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields” (https://arxiv.org/pdf/1611.08050.pdf), OpenPose disclosed by Zhe Cao et al. Various techniques are known, and they can be widely applied in this embodiment.
  • OpenPose discloses a method for tracking the skeletons of multiple people captured in an image and displaying the results.
  • the image sensor outputs a captured image including three people being assisted, and the imaging device 410 determines whether or not each of the three people being assisted has started to move.
  • the imaging device 410 may determine whether the person is in a standing posture based on skeleton tracking. For example, if the imaging device 410 determines that the person is leaning forward with his or her hands on his or her knees or the seat of a chair while sitting, the imaging device 410 determines that the person is in a standing position, and notifies the caregiver of the risk of falling. For example, if the imaging device 410 detects that the distance between the hand position and the knee position is less than a predetermined value, or that the shoulder position has moved downward by more than a predetermined value, etc. from the skeleton tracking results, the imaging device 410 detects that the person being assisted It may be determined that the user is in a standing position.
  • the imaging device 410 divides the processing target data into windows of several seconds, and detects that a posture change such as standing up occurs when a specific position such as the head or neck moves by a predetermined threshold or more within each window. You may judge.
  • the body part targeted for movement detection may be other than the head and neck.
  • the moving direction may be vertical, horizontal, or diagonal.
  • the threshold value used for detection may be changed depending on the region to be detected.
  • the imaging device 410 determines a region that includes feature points detected by skeletal tracking of a person being assisted in a stationary state, and if a predetermined number or more of feature points deviate from the region, the imaging device 410 may It may be determined that there has been a movement.
  • various modifications can be made to the method of motion detection processing using the imaging device 410.
  • IM1 in FIG. 8 is an example of an output image of the imaging device 410.
  • the imaging device 410 may display a certain display object in a superimposed manner on the captured image.
  • an object including a "! mark is displayed in association with the person being assisted whose movement has been detected. In this way, it becomes possible to notify the caregiver of the person being assisted whose movement has been detected in an easy-to-understand manner.
  • the imaging device 410 transmits the output image IM1 to the server system 100.
  • the server system 100 outputs the output image IM1 to a smartphone or the like used by the caregiver.
  • the output of the imaging device 410 may be information that identifies the person being assisted whose movement has been detected (for example, the ID of the person being assisted), and various modifications can be made to the specific aspect.
  • information for stopping the movement of the person being assisted may be output.
  • the imaging device 410 may identify a person being helped who has started moving, and may output audio data, video data, etc. of the person's family. Particularly in the case of dementia patients, they are slow to respond to calls, but they often remember the faces and voices of family members, so it is effective in stopping their movements. By stopping the movements of the person being assisted in this manner, it is possible to buy time until the assistance person intervenes. Note that an example of outputting family audio data and video data will be described later in connection with device control based on scene information.
  • FIG. 9 is a diagram illustrating an example of the bedside sensor 420 and detection device 430 arranged at the bottom of the bed 610.
  • the bedside sensor 420 and the detection device 430 are, for example, a sheet-like or plate-like device 200 provided between the bottom of the bed 610 and the mattress 620, as shown in FIG. Note that although both the bedside sensor 420 and the detection device 430 are illustrated in FIG. 9, only one of them may be used. Further, as will be explained below, since the bedside sensor 420 and the detection device 430 have a pressure sensor in common, the bedside sensor 420 may also serve as the detection device 430, or the detection device 430 may serve as the bedside sensor 420. May also serve as In addition, various modifications can be made to the specific aspects.
  • the bedside sensor 420 includes a pressure sensor that outputs a pressure value as sensing data, and is placed on the bottom side of the bottom that is used by a caregiver to go up and down the bed.
  • the caregiver climbs up and down using the front side of the bed 610.
  • a fall prevention fence may be placed on the front side of the bed 610, and the bedside sensor 420 may be placed at a position where the fence is not provided. In this way, the user who goes up and down the bed 610 temporarily sits on the bedside sensor 420.
  • the processing unit 210 of the bedside sensor 420 operates according to an application installed in the bedside sensor 420, for example, to acquire a pressure value as input data, and determines the movement of the care recipient on the bed 610 from the pressure value. Execute the process to determine.
  • the person to be assisted gets up from the bed 610, the person to be assisted shifts from a lying position on the bed to a sitting position at the bedside (hereinafter referred to as edge sitting position), Furthermore, it is assumed that the user will perform a standing motion by applying force to the knees or the bottom surface.
  • the pressure value detected by the bedside sensor 420 increases in the order of lying position, sitting position, and standing up position.
  • the bedside sensor 420 may determine that a start of movement has been detected when a change from an edge sitting position to a standing motion is detected based on a process of comparing the pressure value and a given threshold value.
  • the bedside sensor 420 may detect a change from a lying position to an edge sitting position based on a comparison process between a pressure value and a given threshold value. It may be determined that it has been detected.
  • the processing unit 210 determines that a rising operation has been performed when the pressure value increases to a first threshold value or more and then decreases to a second threshold value or less, which is smaller than the first threshold value, based on the time-series change in the pressure value. You may judge. In addition, various modifications can be made to the specific processing contents of the motion start determination.
  • the bedside sensor 420 transmits information indicating this to the server system 100.
  • the server system 100 transmits the information to, for example, a smartphone used by the caregiver, and the notification process is executed on the smartphone or the like. In this way, it becomes possible to notify the caregiver of the person being assisted whose movement has been detected in an easy-to-understand manner.
  • the detection device 430 shown in FIG. 9 is a device 200 that senses information regarding the sleep of the person being assisted.
  • Detection device 430 includes a pressure sensor that outputs a pressure value.
  • the detection device 430 detects the user's body vibrations (body movements, vibrations) via the mattress 620. Based on the body vibration detected by the detection device 430, information regarding breathing rate, heart rate, amount of activity, posture, wakefulness/sleep, and leaving/staying in bed is obtained.
  • the detection device 430 may also determine non-REM sleep and REM sleep, and determine the depth of sleep.
  • the periodicity of body movements may be analyzed and the respiratory rate and heart rate may be calculated from the peak frequency.
  • the analysis of periodicity is, for example, Fourier transform.
  • Respiration rate is the number of breaths per unit time.
  • Heart rate is the number of heartbeats per unit time. The unit time is, for example, one minute.
  • body vibrations may be detected per sampling unit time, and the number of detected body vibrations may be calculated as the amount of activity. Furthermore, when the user leaves the bed, the detected pressure value is reduced compared to when the user is in bed, so it is possible to determine whether the user is out of bed or in bed based on the pressure value and its chronological changes.
  • the processing unit 210 of the detection device 430 may determine that the start of movement has been detected when the person being assisted moves from being in bed to leaving bed, based on the determination result of leaving/staying in bed.
  • the detection device 430 transmits information to that effect to the server system 100.
  • the server system 100 transmits the information to, for example, a smartphone used by the caregiver, and the notification process is executed on the smartphone or the like. In this way, it becomes possible to notify the caregiver of the person being assisted whose movement has been detected in an easy-to-understand manner.
  • each device 200 shown in FIGS. 8 and 9 is set to operation mode 0, which is inactive, when the ability of the person being assisted represented by the ability information is above a predetermined value, and when the ability is less than a predetermined value.
  • the active mode 1 is set.
  • the fact that the ability is less than a predetermined value means that the person is unable to get up and move. In this way, the above-described movement start determination operation can be performed in an appropriate situation. As a result, when there is a person being assisted who has a high risk of falling, the risk of falling of the person being assisted can be appropriately reduced.
  • the capability information acquisition unit 111 of the server system 100 may perform a process of updating capability information based on sensing data. For example, the ability information acquisition unit 111 determines a change in the state of residence based on sensing data.
  • the ability information acquisition unit 111 may determine how to rise based on sensing data.
  • the user puts his hands on the bottom surface etc. from the edge sitting position, puts his weight on his feet, and stretches his back muscles while straightening his knees.
  • the center of gravity will be relatively biased to the rear, resulting in a situation where the body collapses toward the bottom surface.
  • the center of gravity will shift to the front and there is a risk of falling forward.
  • you sit too shallowly on the edge your buttocks may fall off the bottom surface.
  • the ability information acquisition unit 111 determines whether the body movement of the care recipient when standing up is appropriate, based on the log of skeleton tracking by the imaging device 410 and the log of pressure values from the bedside sensor 420 and the detection device 430. may be determined. For example, the closer the movement when standing up is to the normal state, the higher the ability is determined, and the more the deviation of the center of gravity or the position of the buttocks in the extreme sitting position, etc. deviates from the normal state, the lower the ability is determined.
  • the ability information acquisition unit 111 may obtain the ability information based on the number of stand-up movements performed within a predetermined period. For example, the more times the person rises, the higher the ability is determined, and the fewer times the person stands up, the lower the ability is determined.
  • the ability information acquisition unit 111 may obtain ability information based on the elapsed time from sitting up to standing up.
  • the lying position, sitting position, and standing position can be determined based on the positional relationship of feature points of skeletal tracking and time-series changes in pressure values. For example, the shorter the elapsed time from sitting to standing up, the higher the ability is determined, and the longer the elapsed time, the lower the ability is determined.
  • the ability information acquisition unit 111 may obtain ability information based on the amount of activity on the bed 610.
  • the amount of activity is detected, for example, by the detection device 430 as described above.
  • the amount of activity may be determined based on the results of skeletal tracking or the output of the bedside sensor 420. For example, the higher the amount of activity, the higher the ability is determined, and the lower the amount of activity, the lower the ability.
  • the determination of ability information may be performed using any one of the above methods, or two or more may be used in combination. Further, as described above, the ability information may be obtained based on a combination of sensing data and data other than sensing data. According to the method of this embodiment, it is possible to reduce the risk of falling for a person being assisted who is unable to get up and move, and to appropriately determine a change in the ability information of the person being assisted.
  • FIG. 10 is a diagram showing a seat sensor 440, which is a device 200 placed on the seat of a wheelchair 630, for example.
  • the seat sensor 440 includes a pressure sensor that outputs a pressure value, and based on the pressure value, determines whether the posture (hereinafter also referred to as sitting posture) of the person being assisted while sitting on the wheelchair 630 is normal, forward shifted, or It is determined which of a plurality of postures including lateral displacement and the like.
  • Forward shift refers to a state in which the user's center of gravity is shifted further forward than usual
  • lateral shift refers to a state in which the user's center of gravity is shifted to either the left or right than usual.
  • the seat sensor 440 may be a sensor device placed on a normal chair, or may be a sensor device that determines the posture of a user sitting on a bed or the like. Further, the seat surface sensor 440 may perform a fall possibility determination to determine whether there is a possibility that the person being assisted will fall from the seat surface.
  • pressure sensors Se1 to Se4 are arranged on the back side of the cushion 441 arranged on the seat surface of the wheelchair 630.
  • Pressure sensor Se1 is a sensor placed in the front
  • pressure sensor Se2 is a sensor placed in the rear
  • pressure sensor Se3 is a sensor placed on the right
  • pressure sensor Se4 is placed on the left. It is a sensor.
  • the front, rear, left, and right directions here refer to directions seen from the person being assisted while the person being assisted is sitting on the wheelchair 630.
  • pressure sensors Se1 to Se4 are connected to a control box 442.
  • the control box 442 includes a processor that controls the pressure sensors Se1 to Se4 and a memory that serves as a work area for the processor.
  • a processor corresponds to the processing section 210
  • a memory corresponds to the storage section 220.
  • the processor detects pressure values by operating pressure sensors Se1 to Se4.
  • the person receiving assistance sitting in the wheelchair 630 may feel pain in the buttocks and may shift the position of the buttocks. For example, a state in which the buttocks shift further forward than usual is called anterior shift, and a state in which the buttocks shift from side to side is called lateral shift. In addition, forward and lateral shifts may occur at the same time, causing the center of gravity to shift diagonally.
  • the pressure sensor disposed on the cushion 441 as shown in FIG. 10 changes in the position of the buttocks can be appropriately detected, making it possible to accurately detect forward displacement and lateral displacement.
  • the initial state is the timing when the user first transfers to the wheelchair 630 and assumes a normal posture.
  • the person being assisted sits deeply on the seat of the wheelchair 630, so it is assumed that the value of the rear pressure sensor Se2 is relatively large.
  • the processor of the control box 442 may determine that a forward shift has occurred when the value of the pressure sensor Se1 increases by a predetermined value or more compared to the initial state.
  • the value of the pressure sensor Se1 exceeds a certain threshold, it is determined that the person being assisted is in the wheelchair 630, and it is determined that the forward shift has occurred only by a change in the value of the pressure sensor Se2 without comparing it with the pressure sensor Se1. You may judge. Further, instead of using the value of the pressure sensor Se1 alone, processing may be performed using the relationship between the values of the pressure sensor Se2 and the pressure sensor Se1. For example, the difference between the voltage values output from the pressure sensor Se2 and the pressure sensor Se1 may be used, the ratio of the voltage values may be used, or the rate of change of the difference or ratio with respect to the initial state may be used. good.
  • the processor determines that a shift to the left has occurred when the value of the pressure sensor Se4 increases by a predetermined value or more compared to the initial state, and determines that a shift to the right occurs when the value of the pressure sensor Se3 increases by a predetermined value or more compared to the initial state. It may be determined that a shift has occurred. Alternatively, the processor may determine rightward shift and leftward shift using the relationship between the values of pressure sensor Se4 and pressure sensor Se3.
  • the difference between the voltage values that are the outputs of pressure sensor Se4 and pressure sensor Se3 may be used, the ratio of the voltage values may be used, or the difference or ratio with respect to the initial state may be used. A rate of change may also be used.
  • the seat sensor 440 transmits information to that effect to the server system 100.
  • the server system 100 transmits the information to, for example, a smartphone used by the caregiver, and the notification process is executed on the smartphone or the like.
  • the control box 442 may include a light emitting section or the like, and the light emitting section may be used to notify the caregiver. In this way, changes in the sitting posture of the wheelchair 630 or the like can be clearly notified to the caregiver, thereby making it possible to prevent the caregiver from falling.
  • FIG. 11 is a diagram showing a terminal device 450, which is the device 200 used to support adjustment of the wheelchair position.
  • the wheelchair position is information regarding the position and posture of the person being assisted in the wheelchair 630.
  • the wheelchair position may represent the above-mentioned sitting posture, or may represent information including the arrangement of cushions and the like.
  • a terminal device 450 that has a camera and is fixed at a height such that at least the upper body of the person being assisted sitting in the wheelchair 630 can be imaged by the camera may be used. good.
  • the terminal device 450 may be able to image a wider range of the person being assisted, for example, may image up to the knees or may image the entire body.
  • the terminal device 450 is placed, for example, at a predetermined position in a nursing care facility, and the caregiver transfers the person being assisted to the wheelchair 630, moves the person to the front of the terminal device 450, and then adjusts the wheelchair position.
  • the terminal device 450 includes a display unit and displays the comparison result between the image captured by the camera and the teacher data.
  • the teacher data here is, for example, image data obtained by capturing an image of the person being assisted while the person being assisted is sitting in the wheelchair 630 in an appropriate posture by a highly skilled caregiver.
  • the teacher data is registered in advance using the terminal device 450 or the like.
  • teacher data may be registered in the storage unit 120 of the server system 100.
  • the teacher data is not limited to the image data itself representing an appropriate posture, but may be data to which additional information is added.
  • the additional information here may be information indicating points that a highly skilled caregiver considers important.
  • the teacher data may be the result of skeleton tracking.
  • the terminal device 450 may output an image in which the transparently processed teacher data is displayed superimposed on the actual captured image. Furthermore, the terminal device 450 may determine whether the position of the person being assisted in the wheelchair 630 is appropriate based on a comparison process between the teacher data and the actual captured image, and may output the determination result. Furthermore, if the position of the person being assisted is not appropriate, points to be corrected may be presented. The point to be corrected is, for example, a portion where the difference between the teacher data and the actual captured image is greater than a predetermined value.
  • each device 200 shown in FIGS. 10 and 11 is set to operation mode 0, which is inactive, when the ability of the person being assisted expressed by the ability information is above a predetermined value, and when the ability is less than a predetermined value.
  • the active mode 1 is set.
  • the ability less than a predetermined value means that the person is unable to walk.
  • the position determination for the wheelchair 630 and the like described above can be performed in an appropriate situation.
  • the risk of the person being assisted falling may be appropriately reduced.
  • each device 200 shown in FIGS. 8 to 9 may operate in operation mode 1 in a state where the device cannot get up but can walk, and may operate in operation mode 2, which is different from operation mode 1, in a state where it cannot walk.
  • the processing unit 210 of the detection device 430 detects the onset of movement based on the determination result of leaving/staying in bed in operation mode 1, and detects the onset of wakefulness/sleep in operation mode 2. The start of movement may be detected based on the determination result.
  • the processing unit 210 determines that there is a possibility of movement when the sleeping state shifts to the awake state. In this way, in operation mode 2, the start of movement can be detected at an earlier stage than in operation mode 1, so that it is possible to further reduce the risk of falling.
  • the capability information acquisition unit 111 of the server system 100 may perform a process of updating capability information based on sensing data. For example, the ability information acquisition unit 111 determines a change in sitting ability, which is the ability to maintain a sitting position, based on sensing data.
  • the ability information acquisition unit 111 may determine the number of forward shifts and lateral shifts based on sensing data. For example, it is determined that the lower the number of forward and sideward shifts, the higher the ability to maintain a sitting position, and the lower the number of times, the lower the ability to maintain a sitting position.
  • the ability information acquisition unit 111 may obtain the ability to maintain a sitting position based on the time during which a posture can be maintained (hereinafter referred to as posture holding time).
  • the posture holding time is, for example, the length of a period whose starting point is the timing at which a given reference posture is reached and whose end point is the timing at which the assisted person's posture changes by a predetermined amount or more with respect to the reference posture.
  • the posture holding time may be, for example, the time from when the caregiver uses the terminal device 450 to correct the posture of the person to be cared for until the seat sensor 440 determines that the person has shifted forward or shifted laterally.
  • the ability information acquisition unit 111 determines the ability to maintain a sitting position based on the number of times of pressure relief, the frequency, the degree of decrease in the value, the direction of pressure relief (which value of the pressure sensors Se1 to Se4 has decreased), etc. It may be estimated.
  • the determination of ability information may be performed using any one of the above methods, or two or more may be used in combination. Further, as described above, the ability information may be obtained based on a combination of sensing data and data other than sensing data. According to the method of this embodiment, it is possible to reduce the risk of falling of a person being helped who is unable to walk, and to appropriately determine a change in the ability information of the person being helped.
  • FIG. 12 is an example of a device 200 used for determining the risk of aspiration during meals.
  • FIG. 12 is a diagram illustrating a swallowing discomfort detection device 460, which is a device 200 used in a meal situation.
  • the swallowing awkwardness detection device 460 uses a throat microphone 461 that is worn around the neck of the person being assisted, and a terminal device 462 that has a camera. Note that in place of the terminal device 462, another device having a camera may be used.
  • the throat microphone 461 outputs audio data caused by swallowing, coughing, etc. of the care recipient.
  • the camera of the terminal device 462 outputs a captured image of the person being assisted while eating.
  • the terminal device 462 is, for example, a smartphone placed on the table where the care recipient is eating.
  • the throat microphone 461 is connected to a terminal device 462 using Bluetooth (registered trademark) or the like, and the terminal device 462 is connected to the server system 100 via the gateway 300.
  • both the throat microphone 461 and the terminal device 462 may be connectable to the gateway 300, and various modifications can be made to the specific connection mode.
  • a processor included in the swallowing discomfort detection device 460 acquires audio data from the throat microphone 461 and a captured image captured using a camera.
  • the processor here corresponds to the processing unit 210, and may be a processor included in the terminal device 462, for example.
  • the processor determines the mussiness and swallowing of the care recipient.
  • a device that detects swallowing using a microphone worn around the neck is described, for example, in U.S. Patent Application No. 16/276,768 entitled “Swallowing action measurement device and swallowing action support system” filed on February 15, 2019. ing. This patent application is incorporated herein by reference in its entirety.
  • the processor can detect the number of times the patient has a choking, the time of the choking (time of occurrence, duration, etc.), and whether or not the patient has swallowed.
  • the camera of the terminal device 462 can detect the mouth, eyes, and chopsticks, spoons, etc. of the person being helped by capturing an image of the person being helped from the front, as shown in FIG. 12, for example. Note that there are various known methods for detecting these facial parts and objects based on image processing, and in this embodiment, a wide variety of known methods can be applied.
  • the processor can determine whether or not the person being assisted's mouth is open, whether food is coming out of the person's mouth, and whether or not the person is chewing the meal, based on the image captured by the camera. Furthermore, the processor can determine whether or not the care recipient's eyes are open based on the image captured by the camera. Furthermore, the processor can determine whether chopsticks, spoons, etc. are near the tableware, whether the person being assisted is holding them, and whether food has been spilled on the basis of the image captured by the camera.
  • the situation regarding swallowing and stiffness of the person being assisted is estimated based on this information.
  • the processor may perform processing based on the detection results of choking and swallowing, and the results of determining whether the person being assisted has opened or closed their mouth.
  • the processor may determine whether or not the choking occurs frequently based on the number of times the choking occurs or the time, and output the determination result. For example, the processor may determine that the clutter occurs frequently when the number of clutters per unit time exceeds a threshold value. In this way, it is possible to automatically determine the situation regarding the mouse.
  • the processor may also calculate the swallowing time from when the person being assisted opens their mouth to when they swallow, based on the swallowing detection result and the opening/closing determination result of the assisted person's mouth. In this way, for example, even if you find that the number of times you swallow has decreased, you can find out whether the act of putting food in your mouth is not being performed, or whether you are not swallowing even after putting food in your mouth. , can judge specific situations. For example, the processor starts counting up the timer when the mouth changes from a closed state to an open state based on the captured image of the terminal device 462, and starts counting up the timer when swallowing is detected by the throat microphone 461. You may stop. The time at stop represents the swallowing time. In this way, it is possible to accurately determine whether the situation is such that there is a high risk of aspiration during meals and the caregiver should take some action, and therefore it becomes possible to appropriately utilize the tacit knowledge of the expert.
  • the swallowing awkwardness detection device 460 may output the swallowing time to the server system 100 as a processing result.
  • the processor may also determine the pace of the meal based on swallow time.
  • the processor may also determine whether or not the swallowing time is long based on changes in the swallowing time during one meal (for example, the amount of increase or ratio to the initial swallowing time).
  • the processor may obtain the average swallowing time for each of a plurality of meals for the same person being assisted, and determine whether the swallowing time has become longer based on a change in the average swallowing time.
  • the mouth opening/closing determination result based on the captured image of the terminal device 462 it is possible to determine whether the situation is such that the mouth does not open even if the caregiver brings a spoon or the like close to the mouth. In this way, if the person being assisted is reluctant to open their mouth and the swallowing time becomes long, it can be assumed that food is left in the mouth and congestion has occurred. Furthermore, by using the captured image to determine whether the food is coming out of the mouth and whether the person is chewing the food, it is possible to determine whether the person being assisted is unable to chew the food. For example, if the number of times you chew is normal, but it takes a long time to swallow, it is assumed that you are unable to chew the food enough. Furthermore, if it is determined using the captured image that the eyes are closed, it can be determined whether the person being assisted is in a sleepy state.
  • each of these determinations may be implemented as an application corresponding to tacit knowledge.
  • the swallowing choking detection device 460 detects choking and swallowing, an application that calculates swallowing time, an application that detects the frequent occurrence of choking, an application that detects dangerous choking, and an application that determines whether the user is about to become sleepy. It may include an application, an application that determines whether the food is being played with, and the like.
  • the activation/inactivation of each application is controlled based on capability information and the like.
  • execution/non-execution of the various processes described above may be flexibly settable.
  • the swallowing awkwardness detection device 460 When it is determined that the swallowing awkwardness detection device 460 is in a predetermined situation, it transmits information indicating this to the server system 100.
  • the server system 100 may cause a terminal device used by the caregiver to execute notification processing based on the information.
  • the server system 100 outputs information indicating appropriate actions according to the dietary situation detected by the swallowing choking detection device 460 to a device used by the caregiver, and the device presents the action based on the information. It's okay.
  • the presentation to the caregiver may be, for example, by outputting audio to a headset, by displaying on a display unit of a smartphone, or by using another method.
  • each device 200 may operate, for example, in operation mode 2 described above. Further, each device 200 may operate in operation mode 3 in which movement can be detected at an earlier stage than in operation mode 2.
  • each device 200 operates in operation mode 1 in the same way as when the target is a person being assisted who is unable to walk. Further, each device 200 may operate in a mode different from that for a person being assisted who is unable to walk.
  • the person to be assisted who is unable to walk when targeting a person to be assisted who is unable to walk, it operates in an operation mode that only performs front slip and lateral slip determination, and when targeting a person being assisted who has difficulty eating, in addition to forward and lateral slip determination, the possibility of falling is determined. It may operate in an operational mode in which it can execute.
  • the capability information acquisition unit 111 of the server system 100 may perform a process of updating capability information based on sensing data. For example, the ability information acquisition unit 111 determines changes in swallowing ability based on sensing data.
  • the ability information acquisition unit 111 may determine that the shorter the swallowing time from when the care recipient opens his or her mouth until swallowing, the higher the swallowing ability, and the longer the swallowing time, the lower the swallowing ability. For example, the ability information acquisition unit 111 determines that the swallowing ability has decreased when the average swallowing time of the most recent care recipient is longer than the past average swallowing time of the care recipient by more than a threshold value, and the average swallowing time is longer than the threshold value. When the average swallowing time does not become longer, it may be determined that the swallowing ability has not decreased (maintained), and when the average swallowing time becomes shorter, it may be determined that the swallowing ability has recovered.
  • the ability information acquisition unit 111 may also obtain ability information based on a combination of swallowing ability and ability to maintain a sitting position. For example, the ability information acquisition unit 111 may obtain ability information based on the usage time and frequency of use of the wheelchair 630. For example, since a cared person whose ability to maintain a sitting position has decreased may shift to eating in bed, being able to use the wheelchair 630 indicates a high ability to maintain a sitting position. For example, the more frequently a wheelchair is used, the higher the ability is determined, and the lower the frequency of wheelchair use, the lower the ability is determined.
  • the swallowing awkwardness detection device 460 may be able to execute various applications that perform different processes. For example, the swallowing awkwardness detection device 460 may first activate an application that detects awkwardness and swallowing and calculates swallowing time, and the ability information acquisition unit 111 may obtain ability information based on the output of the application. Then, when the ability information changes, other applications such as an application that detects frequent occurrence of bugs are changed from inactive to active. In this way, it is possible to appropriately control the processing content to be executed by the swallowing awkwardness detection device 460 based on the ability information. Furthermore, when the number of active applications increases, the ability information acquisition unit 111 may obtain the swallowing ability based on more sensing data by combining the outputs of each application.
  • FIG. 13 is a diagram illustrating a bed position detection device 470, which is a device 200 placed around the bed 610.
  • the bed position detection device 470 includes a first terminal device 471 fixed to the footboard side of the bed 610, a second terminal device 472 fixed to the side rail of the bed 610, and a second terminal device 472 fixed to the side rail of the bed 610.
  • the display 473 is not limited to being fixed to the bed 610, and may be placed at another position where the helper who adjusts the bed position can view it naturally.
  • the display 473 may be fixed to a wall, or may be fixed to a stand that stands on the floor or the like.
  • the display 473 can be omitted. Furthermore, either the first terminal device 471 or the second terminal device 472 may be omitted. For example, an example will be described below in which the first terminal device 471 is used to adjust the bed position and the second terminal device 472 is used to change diapers, but the present invention is not limited to this.
  • the first terminal device 471 and the second terminal device 472 are, for example, devices such as smartphones with cameras.
  • the first terminal device 471 directly transmits the captured image to the server system 100.
  • the second terminal device 472 transmits the captured image of the camera to the server system 100 directly or via the first terminal device 471.
  • the display 473 receives the image transmitted from the server system 100 directly or via another device such as the first terminal device 471, and displays the received image.
  • the first terminal device 471 and the second terminal device 472 may have a depth sensor instead of or in addition to the camera. That is, these devices may output depth images.
  • a registration process of teacher data and a position adjustment process using the teacher data may be executed.
  • the teacher data is, for example, information registered by a skilled assistant.
  • the unskilled caregiver selects teacher data and adjusts the bed position so that the teacher data and the actual condition of the person being cared for are close to each other.
  • the first terminal device 471 acquires a captured image of the person to be adjusted lying on the bed (including the state of the cushion, etc.), and the display 473 displays the captured image and the teacher data. Display an image representing the comparison results. In this way, regardless of the level of skill of the assistant, it becomes possible to have the assistant perform the same position adjustment as an expert.
  • an expert places the person to be assisted lying on the bed 610 in a position suitable for measures against bedsores, and then uses the first terminal device 471 to take an image of the person to be assisted.
  • the expert selects the registration button after confirming that the bed position is appropriate.
  • the still image displayed when the registration button was operated is transmitted to the server system 100 as teacher data.
  • additional information may be added, as in the example of the wheelchair position described above.
  • the caregiver actually adjusts the bed position
  • first the first terminal device 471 is activated and image capturing is started.
  • a caregiver activates the first terminal device 471 by voice, and the display 473 displays a moving image captured by the first terminal device 471.
  • the bed position detection device 470 may accept a selection process of teacher data by an assistant.
  • the processing unit 110 determines teacher data based on the user's operation, and performs control to display the teacher data on the display 473.
  • the processing unit 110 may perform a process of automatically selecting teacher data based on a similarity determination between the attributes of the care recipient whose bed position is to be adjusted and the attributes of the person being imaged in the teacher data.
  • the attributes here include information such as the age, gender, height, weight, past medical history, and medication history of the person being assisted.
  • the bed position detection device 470 may automatically select the teacher data based on a comparison process of the attributes of the person being assisted whose bed position is to be adjusted and additional information included in the teacher data. good. For example, it is assumed that the additional information of the teacher data includes a text such as "For a person being assisted who has a tendency of XX, it is recommended to adjust the left shoulder so that it becomes YY.” In this case, if the assisted person to be adjusted falls under XX, the teacher data is more likely to be selected. For example, a caregiver who adjusts the bed position may input information identifying the person to be assisted into the first terminal device 471, and the bed position detection device 470 may specify the attributes of the person to be assisted based on the information.
  • the bed position detection device 470 may output an image in which transparently processed teacher data is superimposed on a real-time captured image captured by the first terminal device 471, for example. At this time, the additional information of the teacher data may be displayed in a recognizable manner. For example, if it is detected that the caregiver has uttered "Tell me the points" using the microphone of the headset, the bed position detection device 470 transmits the text to the voice from the headset via the server system 100, for example. You can also output it as
  • the bed position detection device 470 may determine either OK or NG based on the degree of similarity between the image captured during position adjustment and the teacher data, and output the determination result.
  • the determination result is displayed on the display 473 directly or via the server system 100.
  • the bed position detection device 470 may perform a process of displaying specific points determined to be NG.
  • the server system 100 or the bed position detection device 470 may perform a process of comparing the image captured by the first terminal device 471 and the teacher data, and highlighting a portion where the difference is determined to be large.
  • the bed position detection device 470 may also be used to assist in changing diapers. It was found that experts place importance on the following points as tacit knowledge in diaper changing. A. Are you in a lateral position?B. Is the diaper in the correct position?C. D. Are there pads coming out of the diaper? Was the diaper placed properly?
  • the processing unit 210 of the bed position detection device 470 determines whether the above points A to D are satisfied, and transmits the determination result to the server system 100.
  • the processing unit 210 here corresponds to, for example, the processor of the second terminal device 472. This makes it possible to appropriately change diapers regardless of the skill level of the assistant.
  • the second terminal device 472 performs skeletal tracking processing on each image constituting a moving image of the person being assisted using a camera, and displays an image in which the skeletal tracking results are superimposed on the original image as the processing result. Output.
  • the processing results may be displayed on the display 473, for example. In this way, the caregiver can check the display 473 in a natural posture while changing the diaper of the person being helped.
  • the second terminal device 472 may include a lighting section.
  • a depth sensor or the like may be used instead of a camera.
  • the depth sensor may be a sensor using a ToF (Time of Flight) method, a sensor using structured illumination, or a sensor using another method.
  • ToF Time of Flight
  • each image includes the person being assisted and the skeletal tracking results of the person being assisted.
  • the person being assisted is stable in a lateral position, and the camera of the second terminal device 472 is in a state where the person being assisted is imaged straight from the back side.
  • the difference between the front and back direction of the person being assisted and the optical axis direction of the camera is small.
  • a large number of points to be detected for skeleton tracking are detected as shown in FIG. 15A.
  • the posture in FIG. 15B is less stable than in FIG. 15A, and is in a state where it is likely to fall on its back. Since the camera of the second terminal device 472 images the person being assisted from diagonally backward, the number of points detected by skeleton tracking is reduced. For example, a point corresponding to the waist is not detected because it is hidden by a diaper or the like.
  • the second terminal device 472 may determine whether or not the patient is in the lateral position shown in A above based on the result of skeleton tracking. For example, the second terminal device 472 may determine that the patient is in the lateral recumbent position when a point corresponding to a specific region such as the waist is detected by skeleton tracking. However, the presence or absence of detection of a point other than the waist, the relationship between a plurality of points, etc. may be used to determine the lateral position, and the specific method is not limited to this.
  • the bed position detection device 470 continuously detects the diaper area in the image by performing object tracking processing based on the moving image captured by the camera of the second terminal device 472. Since object tracking is well known, detailed explanation will be omitted.
  • the diaper region ReD is detected in FIGS. 15A and 15B.
  • the bed position detection device 470 may determine whether the position of the diaper shown in B above is appropriate, for example, based on the relationship between the skeleton tracking result and the diaper region ReD detected by object tracking. For example, considering the position where the diaper is worn, it is determined whether the position of the waist detected by skeleton tracking and the diaper area ReD have a predetermined positional relationship. For example, the processing unit 210 may determine that the position of the diaper is appropriate when a straight line including two points corresponding to the pelvis passes through the diaper region ReD. Alternatively, the results of skeletal tracking and the detection results of the diaper region ReD may be extracted as feature amounts from teacher data by an expert, and machine learning may be performed using the feature amounts as input data.
  • the learned model is a model that outputs the probability that the position of the diaper is appropriate, for example, when the results of skeleton tracking and the detection results of the diaper region ReD are received.
  • the bed position detection device 470 may determine whether or not the pad is protruding from the diaper shown in C above based on the length of the diaper region ReD in the horizontal direction. Usually, the pad fits inside the diaper, so the length of the diaper region ReD on the image corresponds to the length of the diaper body. Note that the assumed size of the diaper area ReD can be estimated based on the type and size of the diaper, the optical characteristics of the camera of the second terminal device 472, and the like. On the other hand, if the pad protrudes, the length of the diaper area ReD on the image increases by that much. Therefore, if the length of the diaper region ReD detected from the image is greater than the expected length by a predetermined threshold value or more, the bed position detection device 470 determines that the diaper is out of the pad and is inappropriate.
  • the bed position detection device 470 may also determine whether the diaper shown in D above is properly worn by detecting the tape that secures the diaper in place.
  • the tape is a member of a different color from the diaper body.
  • the diaper body is white and the tape is blue.
  • the processing unit 210 detects the tape area in the image based on the color, and determines the diaper based on the relationship between the tape area and the diaper area ReD, or the relationship between the tape area and the position of the waist etc. detected by skeleton tracking. It can be determined whether the device is properly attached. Note that when multiple diapers of different manufacturers and types are used, the bed position detection device 470 acquires information that identifies the diapers, and determines whether the diapers are properly fitted based on the identified diaper type, etc. It's okay.
  • the bed position detection device 470 determines OK or NG for each of the above A to D, and transmits the determination results to the server system 100.
  • the server system 100 transmits the determination result to the display 473 or the like.
  • the bed position detection device 470 may highlight a portion that has a large deviation from the correct data.
  • the caregiver may place the patient in a side-lying position to make it easier to place the diaper, or raise the patient's legs to put on the diaper. Therefore, when the diaper change is completed, the person being assisted may not be in a position suitable for lying down on the bed. Therefore, when it is detected that the diaper change has been completed, the bed position detection device 470 may automatically execute the process for adjusting the bed position described above. For example, the first terminal device 471 starts capturing an image of the person being assisted, and the display 473 superimposes teacher data that has been subjected to transparency processing on the real-time captured image being captured by the first terminal device 471. Display.
  • the specific device 200 is not limited to this.
  • FIG. 14 is a diagram illustrating a glasses-type device 480 such as AR (Augmented Reality) glasses or MR (Mixed Reality) glasses, which is another example of the device 200 used for bed position adjustment support and diaper change support.
  • Glasses-type device 480 includes, for example, a camera that images an area corresponding to the user's field of view.
  • part or all of the lens portion serves as a display, and displays information about the outside world by transmitting light from the outside world or by displaying an image corresponding to the user's field of view captured by a camera. It is possible to allow the user to visually check the situation.
  • the glasses-type device 480 uses a display to additionally display some information on the user's field of view.
  • the glasses-type device 480 may perform a process of supporting bed position adjustment by displaying the captured image and the teacher data in a superimposed manner as described above. Further, the glasses-type device 480 may perform processing to support diaper changing by making a determination regarding the diaper area ReD. Further, when the diaper change is completed, the bed position adjustment may be started, which is also the case when the glasses-type device 480 is used. For example, when the completion of diaper adjustment is detected, correct data regarding bed position adjustment may be transparently displayed on the display section of glasses-type device 480.
  • the glasses-type device 480 may perform a process of automatically detecting the presence or absence and range of a pressure ulcer based on a captured image of the care recipient's skin. In this way, it becomes possible to determine whether or not a bedsore has actually occurred, and if so, the state thereof.
  • a learned model is generated by machine learning based on training data in which an image of a person being assisted is associated with correct data for specifying a pressure ulcer area assigned by an expert such as a doctor.
  • the glasses-type device 480 determines bedsores by performing processing based on the learned model.
  • Mattresses and pillows that can detect pressure and automatically change body positions are also known. Pressure detection is performed using a pressure sensor like the bedside sensor 420 and the detection device 430. Further, the mattress or pillow here may be one that encourages the care recipient to turn over by adjusting the height (thickness) of each part using air or the like. Further, the device 200 that performs pressure detection and the device 200 that prompts automatic body position change may be different. For example, when the detection device 430 determines that the same posture continues based on the pressure value, it transmits information indicating this to the server system 100. The server system 100 may prompt the person being assisted to change their body position by controlling the mattress or pillow based on the information. Even in this manner, it is possible to reduce the risk of bedsores in the bedridden person being cared for.
  • the method of controlling these mattresses and pillows is not limited to one method.
  • ability information ADL, etc.
  • ability information may be determined in detail even within the same bedridden patient, and the way to prompt a change in body position may be changed depending on the level of the ability information.
  • the level of the ability information For example, in the case of a person being assisted whose ability has decreased significantly, it is difficult to maintain posture, so there may be cases where the person's posture changes excessively when asked to change his or her body position. Therefore, mattresses and pillows have a plurality of operation modes that differ in the frequency of prompting a change in body position, the amount of air when prompting a change in body position, etc., and the operation mode may be controlled depending on the level of ability information. .
  • mattresses operate in a mode that improves sleeping conditions (e.g. suppresses snoring by encouraging the person to lie on their side) while the person being assisted is in a high capacity, and operates in a mode that reduces the risk of bedsores when the person being cared for becomes bedridden.
  • Operation mode control may be performed in accordance with the ability information, including states other than bedridden.
  • the device 200 on which the application corresponding to the tacit knowledge operates may be, for example, a terminal device such as a smartphone.
  • the processing unit 210 of the device 200 inputs, as input data, the intake amount or intake ratio for each type of meal (for example, it may be a main dish/side dish, or it may be for each ingredient such as meat or fish), and water intake.
  • Five types of information are acquired: intake timing, disease information, and body weight (or BMI).
  • intake timing intake timing, disease information, and body weight (or BMI).
  • BMI body weight
  • these input data may be input by an assistant.
  • some input data may be automatically acquired by the device 200 by using an automatic meal amount recording device.
  • the processing unit 210 Based on the input data, the processing unit 210 outputs output data indicating whether end-of-life care should be started after a predetermined period of time and whether it is time to change the content of care after starting end-of-life care. For example, machine learning may be performed on input data based on training data to which correct answer data by an expert is added. In this case, the processing unit 210 obtains output data by inputting input data to the trained model. Further, other machine learning methods such as SVM may be used, or methods other than machine learning may be used.
  • End-of-life care here refers to assistance for a person being cared for who is likely to die in the near future.
  • End-of-life care differs from regular assistance in that it focuses on alleviating physical pain and mental pain, and supporting a dignified life for the person being cared for.
  • the appropriate assistance for the patient may change as the condition of the person being cared for changes over time. That is, by presenting the timing to start end-of-life care and the timing to change the content of assistance during end-of-life care, it becomes possible to provide appropriate assistance to the person to be cared for until the end of life.
  • skilled caregivers have tacit knowledge to estimate the timing and content of end-of-life care based on various aspects such as dietary intake, and by digitizing this tacit knowledge, other caregivers can This also makes it possible to provide appropriate end-of-life care.
  • the processing unit 210 of the device 200 starts determination based on the input data when the ability represented by the ability information has decreased to a state representing bedridden, and outputs an analysis result screen representing the determination result to the server system 100.
  • the analysis result screen may be displayed on the display unit 240 of the device 200.
  • FIG. 16 is a diagram showing an example of the analysis result screen.
  • the analysis result screen may include time-series changes in feature amounts determined based on input data and a determination result as to whether end-of-life care should be started after a predetermined period of time.
  • the feature amount here may be information determined to be important among the input information, such as a moving average of meal amounts, or may be information calculated based on the above five input information.
  • the features may be the output of a given hidden layer or output layer.
  • the input data includes actual measured values of main dish intake, water content, and BMI up to February 13, 2020.
  • the processing unit 210 may estimate changes in main dish intake, water content, and BMI after February 14, 2020 based on the learned model.
  • the analysis screen may include graphs representing time-series changes in actual measured values and estimated values for these three items. Note that FIG. 16 illustrates a graph of the moving average of these values over 7 days. In this way, it becomes possible for the caregiver to easily grasp the changes in important items in end-of-life care. Note that, as described above, the input data may include other items, and the information displayed on the analysis result screen is not limited to the example shown in FIG. 16.
  • the analysis result screen may also display the period during which end-of-life care may be performed.
  • the text "There is a possibility of end-of-life care from 2020-03-14" is displayed, and the corresponding period in the graph can be identified using a different background color from other periods. will be displayed. In this way, the timing and period during which end-of-life care is estimated to be necessary are clearly indicated, making it possible to appropriately present information regarding end-of-life care to the user.
  • each device 200 shown in FIGS. 8 to 9 may be set to operation mode 0, which is inactive.
  • the seat sensor 440 may determine that there is a risk of bedsores when a state in which there is little change in pressure value has elapsed for a predetermined period of time or more.
  • the terminal device 450 shown in FIG. 11 may operate in an operation mode that presents positions for suppressing pressure ulcers to a caregiver.
  • the swallowing discomfort detection device 460 shown in FIG. 12 operates also when the target is a bedridden person being cared for.
  • the swallowing discomfort detection device 460 may operate in the same operation mode when targeting a person to be assisted who is not bedridden but has difficulty eating, and when targeting a person to be assisted who is bedridden.
  • the swallowing discomfort detection device 460 operates in an operation mode that can further reduce the risk of aspiration when the target is a bedridden person being cared for, compared to when the target is a person being cared for who is not bedridden but has difficulty eating. It may work.
  • the swallowing awkwardness detection device 460 may make it easier to detect the risk of aspiration by lowering the threshold value used for comparison with the swallowing time.
  • the swallowing discomfort detection device 460 may perform an operation to reduce the risk of aspiration by adding a determination regarding the food form.
  • the swallowing discomfort detection device 460 can detect errors by adding judgment regarding the presence or absence of dangerous discomfort, in addition to the usual processing such as detection of discomfort and swallowing time calculation. Actions may be taken to reduce the risk of swallowing.
  • the swallowing awkwardness detection device 460 may add a process for determining whether the swallowing disorder occurs frequently, or may add a process for determining whether the person being assisted looks sleepy.
  • the terminal device 462 of the swallowing choking detection device 460 may take images of the meal before and after the meal, and automatically record the meal amount based on the difference between the images. That is, when the swallowing disorder detection device 460 is intended for a bedridden person being cared for, the swallowing disorder detection device 460 may operate in an operation mode that includes automatic recording of the amount of food eaten. Further, as the device 200 that automatically records the amount of food eaten, a device different from the swallowing choking detection device 460 may be used.
  • the capability information acquisition unit 111 of the server system 100 may perform a process of updating capability information based on sensing data. For example, the ability information acquisition unit 111 performs an evaluation regarding pressure ulcers based on sensing data, and determines a change in ability based on the evaluation result.
  • the ability information acquisition unit 111 determines the degree of dispersion of pressure values using the detection device 430 and the like, and if pressure is applied to a fixed place for a predetermined time or more, it is determined that a change in posture that suppresses pressure ulcers has not been achieved. , the ability is determined to be low.
  • the ability information acquisition unit 111 also determines the number of times the positioning adjustment is judged to be NG and the number of times the diaper position is inappropriate based on the information from the bed position detection device 470, and acquires the ability information based on these times. You can ask for it. For example, the fewer times the diaper is determined to be NG, or the fewer times the diaper is inappropriately positioned, the higher the ability is determined, and the greater the number, the lower the ability is determined.
  • the ability information acquisition unit 111 may update the ability information based on the presence or absence of a pressure ulcer output from the glasses-type device 480 such as MR glasses. For example, if a person does not have a pressure ulcer, their ability is judged to be higher than if they have a pressure ulcer.
  • each device 200 switches its operation mode between at least operation mode 0, which is inactive, and operation mode 1, which is active, depending on the capability information. Further, as described above, the operation mode when active is not limited to one, and a plurality of operation modes with different processing contents may be set.
  • FIG. 17 is an example of the operation mode of each device 200.
  • the imaging device 410 that detects the risk of falling operates in operation mode 1 for a care recipient who cannot get up, and in operation mode 2 for a care recipient who cannot walk or cannot eat well. For a bedridden person being cared for, it operates in operation mode 0, which is inactive.
  • motion mode 1 is a mode in which it is determined that a person has started to move when an edge sitting position is detected
  • motion mode 2 is a mode in which it is determined that a person has started to move when arousal is detected. Good too.
  • operation mode 2 the start of movement is detected at an earlier stage than in operation mode 1, so that the risk of falling can be further reduced.
  • the seat sensor 440 that detects the risk of falling operates in inactive operation mode 0 for a person being assisted who cannot get up, operates in operation mode 1 for a person being assisted who cannot walk, and operates in operation mode 1 for a person being assisted who is unable to walk.
  • the system operates in operation mode 2 for a patient who is bedridden, and operates in operation mode 3 for a bedridden person.
  • operation mode 1 is a mode in which only forward and lateral displacement is performed
  • operation mode 2 is a mode in which a fall possibility judgment is added
  • operation mode 3 is a mode in which a pressure ulcer judgment in a wheelchair is added. good.
  • the judgment target is added as the ability decreases, it is possible to appropriately respond to the increase in risk that accompanies the change in ability.
  • the swallowing awkwardness detection device 460 that detects the risk of aspiration operates in operation mode 0, which is inactive, for a care recipient who cannot get up or walk, and operates in operation mode 1, which is inactive, for a care recipient who cannot eat well. For a bedridden person being cared for, the system operates in operation mode 2.
  • operation mode 1 may be a mode in which determination is made based on swallowing time
  • operation mode 2 may be a mode in which options such as food form are added in addition to operation mode 1.
  • judgment target is added as the ability decreases, it is possible to appropriately respond to the increase in risk that accompanies the change in ability.
  • the bed position detection device 470 that detects the risk of pressure ulcers operates in operation mode 0, which is inactive, for a person being assisted who cannot get up, a person being assisted who cannot walk, and a person being assisted who cannot eat well, and a device 470 that detects the risk of pressure ulcers.
  • the user operates in operation mode 1.
  • FIG. 17 shows an example of the relationship among the device 200, capability information, and operation mode, and the method of this embodiment is not limited to this.
  • the first device of the devices 200 is set to an operation mode in which the functions to be used increase as the ability value decreases in a range where the ability value represented by the ability information is equal to or higher than a predetermined threshold, and the ability value is set to a predetermined value. In the range below the threshold value, an operation mode may be set in which fewer functions are used than in the range above the predetermined threshold value.
  • some of the devices of this embodiment operate in the direction of increasing functions to compensate for a certain degree of decline in performance, but when a decline in performance beyond a certain level is observed, they shift to the direction of reducing functions. It's okay. In this way, it becomes possible to reduce the processing load by appropriately considering the necessity of each tacit knowledge according to the ability and deactivating applications corresponding to tacit knowledge that is less necessary.
  • the first device here may be the device 200 used to determine the risk of falling when the person being assisted starts moving.
  • the first device is at least one of the imaging device 410 shown in FIG. 8, the bedside sensor 420 shown in FIG. 9, and the detection device 430 shown in FIG.
  • the operation mode of these devices 200 changes in the direction of adding processing content.
  • an operation mode corresponding to inactivity is set. In this way, it is possible to prevent devices whose necessity has decreased from continuing to operate.
  • the detection device 430 may be used for end-of-life determination in "bedridden” patients, and it is not necessary for all of the devices 200 used to determine the risk of falling when starting to move to reduce their functions in a state where the ability value is low.
  • Device Control Based on Scene Information and Device Type Information Furthermore, in the method of this embodiment, information other than capability information may be used to set the operation mode of the device 200.
  • the scene information and device type information will be explained below.
  • FIG. 18 is a sequence diagram illustrating the operations of the server system 100 and the device 200, in which the operation mode of the device 200 changes based on the ability information of the person being assisted, the scene information, and the device type information. It is a figure explaining an example to do.
  • step S301 the server system 100 performs a process of transmitting data including capability information, scene information, and device type information to the device 200.
  • data including capability information, scene information, and device type information
  • scene information may be omitted.
  • FIG. 18 shows an example in which data is transmitted in which the ADL index value is 2, the scene ID that specifies the scene is 0, and the device type ID that specifies the device type is xx.
  • the device 200 controls the activation/deactivation of the installed vendor application based on the acquired capability information, scene information, and device type information.
  • the storage unit 220 of the device 200 may store table data that associates ADL index values, scene IDs, device type IDs, and active/inactive status of each application.
  • the processing unit 210 of the device 200 determines whether each application is active or inactive by extracting records that match the received data from the table data.
  • each device 200 may store an algorithm for determining an operation mode based on capability information, scene information, and device type information.
  • FIG. 18 shows an example in which an operation mode is set in which among vendor applications 1 to 3, vendor applications 1 and 2 are active and vendor application 3 is inactive.
  • the device 200 executes the process according to vendor application 1 and the process according to vendor application 2.
  • the device 200 transmits the processing result to the server system 100.
  • the processing result here corresponds to the result of judgment executed using the tacit knowledge of an expert. Further, the processing results here may include a log of sensing data detected by the device 200, etc.
  • step S304 the server system 100 executes control based on the processing results received from the device 200.
  • the processing unit 110 may perform a process of identifying a device to be controlled and transmitting a control signal to operate the device to be controlled.
  • step S305 the server system 100 executes processing to update the assistance recipient's ability information, scene information, and device type information.
  • the ability information update process is as described above.
  • the scene information acquisition unit 112 obtains scene information based on at least one of a log of sensing data acquired from the device 200, information regarding the person being assisted such as attributes, and information regarding the caregiver such as a schedule.
  • the device type information acquisition unit 113 also acquires information representing the type of other devices 200 used together with the target device 200 as device type information. A specific example of processing will be described later.
  • step S306 the server system 100 performs a process of transmitting data including updated capability information, scene information, and device type information to the device 200.
  • FIG. 18 shows an example in which the scene ID is changed from 0 to 1.
  • step S307 the device 200 controls the activation/deactivation of the installed vendor application based on the acquired data. For example, as described above, the device 200 determines whether each vendor application is active or inactive based on the table data. In the example of FIG. 18, vendor apps 1 and 2 remain active, and vendor app 3 is changed from inactive to active. As a result, from step S307 onward, the device 200 shifts to a state in which it operates in an operation mode in which all of vendor applications 1 to 3 are active.
  • the operations after step S307 are similar to steps S303-S306, for example.
  • the server system 100 may obtain scene information that specifies a scene in which the care recipient is being assisted, and may transmit the obtained scene information to the device.
  • the device 200 determines which of the plurality of operation modes to operate in based on the capability information and the scene information.
  • the storage unit 220 of the device 200 stores information that associates ability information, scene information, and operation modes.
  • the processing unit 210 determines the operation mode based on this information and the ability information and scene information acquired from the server system 100.
  • the information that associates the ability information and the scene information with the operation mode may be, for example, table data that associates the values of the ability information, the values of the scene information, and the active/inactive states of each application.
  • the information that associates the capability information and scene information with the operation mode may be an algorithm that determines whether each application is active or inactive based on the capability information and scene information. In this way, it becomes possible to operate the appropriate device 200 according to the assistance scene, in other words, it becomes possible to execute assistance using appropriate tacit knowledge.
  • the scene information acquisition unit 112 may obtain, as scene information, information regarding a caregiver who provides assistance to the person being helped.
  • the scene information may be information regarding the number of caregivers who can assist the person being helped, or may be information regarding years of service, skill level, qualifications held, and the like. An example using the number of caregivers will be described below.
  • the device 200 determines the operation mode depending on the number of caregivers.
  • the device 200 here may be, for example, the imaging device 410 described above using FIG. 8.
  • the imaging device 410 described above using FIG. 8.
  • Intervention means, for example, moving close to the person being helped who is about to start moving and supporting the person to start moving, such as supporting the person's body as necessary. In this case, the need for the imaging device 410 to become active is relatively low.
  • FIG. 19 is a flowchart illustrating the operation mode determination process in the imaging device 410.
  • the processing unit 210 of the imaging device 410 performs processing to identify the target person being assisted. For example, the processing unit 210 identifies the person being assisted by performing face recognition processing based on the captured image.
  • step S402 the processing unit 210 acquires the ability information of the person being assisted.
  • the processing unit 210 specifies the capability information by receiving data shown in steps S301 and S306 in FIG. 18 from the server system 100.
  • step S403 the processing unit 210 determines, based on the ability information, whether the ability of the person being cared for has decreased to the point where he or she is unable to get up. If the ability has not decreased (step S403: No), the risk of falling is low, so in step S404, the processing unit 210 sets the operation mode of the imaging device 410 to mode 0, which corresponds to inactive.
  • the ability information in this embodiment is not limited to the ADL index value, but may include more detailed information, such as information representing the above-mentioned method of standing up, information representing the ability to maintain a sitting position, swallowing ability, walking ability, etc. Good too.
  • various sensing data can be used when determining the ability to maintain a sitting position, etc., and various modifications can be made to the algorithm when determining the ability to maintain a sitting position, etc. from the sensing data.
  • processing using detailed ability information that has a large amount of data compared to the index value of ADL is performed. May be executed. In this case, since the processing load of step S403 becomes large, the processing may be executed in the server system 100.
  • step S405 the processing unit 210 specifies the number of persons to be assisted based on the scene information.
  • the scene information acquisition unit 112 of the server system 100 may determine the number of caregivers based on the captured image, or may determine the number of caregivers based on the assistance schedule (for example, work list) at a nursing facility or the like. It's okay.
  • information representing the number of caregivers in the target space may be obtained by attaching an RFID (radio frequency identifier) tag or the like to the caregiver and providing a reading device at the entrance/exit of the target space.
  • the processing unit 210 of the device 200 executes the process shown in step S405 by acquiring this information from the server system 100.
  • step S406 the processing unit 210 makes a determination based on the scene information. Specifically, the processing unit 210 determines whether the number of assistants is equal to or less than a predetermined threshold. If the number of people is greater than the predetermined threshold (step S406: No), the process moves to step S404 because there are enough people to deal with the risk of falling, and the processing unit 210 deactivates the operation mode of the imaging device 410. Set the corresponding mode to 0.
  • step S407 the processing unit 210 sets the operation mode of the imaging device 410 to mode 1 corresponding to active.
  • steps S405 and S406 are performed by the processing unit 210 in FIG. 19, the present invention is not limited to this.
  • the server system 100 may perform steps S405 and S406, and the processing unit 210 may receive only the results. Then, it may be determined whether to proceed to step S404 or step S407.
  • the scene information is not limited to information regarding the caregiver.
  • the scene information acquisition unit 112 of the server system 100 may obtain information regarding the person being assisted as the scene information.
  • the scene information may be attribute information representing attributes of the person being assisted.
  • the attribute information includes the care recipient's age, height, weight, gender, past medical history, medication history, and the like.
  • the scene information acquisition unit 112 obtains information indicating whether the person being assisted has dementia as scene information.
  • dementia In order to reduce the risk of falling when starting to move, it is important for a caregiver to stop the movement by calling out to them, but patients with dementia may not respond even when a caregiver calls out to them. However, even dementia patients often remember the voices of people with whom they have close relationships, such as family members, and there is evidence that there is a high probability that they will respond to calls from family members.
  • the imaging device 410 may have an operation mode in which audio data in which a family member's voice is recorded or video data in which the family member calls attention is stored, and the audio data or video data is output using a speaker (not shown). good.
  • the processing unit 210 of the imaging device 410 determines active/inactive based on ability information and scene information indicating the number of caregivers, as shown in FIG.
  • the processing unit 210 determines whether the person being assisted identified in step S401 is a dementia patient.
  • the imaging device 410 operates in an operation mode in which it outputs audio data of a family member, etc.
  • the imaging device 410 may perform a process of outputting one piece of audio data that is randomly selected from among a plurality of pieces of audio data that are stored in association with the target person being assisted. In this way, it is possible to increase the variety of calls made by family members, etc., so that it is possible to effectively stop the person being assisted from starting to move.
  • the scene information in this embodiment may be information representing the type of assistance, such as eating assistance, excretion assistance, movement/transfer assistance, etc.
  • the scene information acquisition unit 112 may acquire scene information representing the type of assistance based on user input by the assistant.
  • the scene information acquisition unit 112 may also obtain the type of assistance being performed based on the relationship between the assistance schedule at a nursing care facility or the like and the current time.
  • the scene information acquisition unit 112 may obtain the type of assistance by estimating the location of the person being assisted in a nursing care facility or the like.
  • the scene information acquisition unit 112 determines that if the person to be assisted is in the cafeteria, eating assistance is being provided, and if the person being assisted is in the toilet, assistance in excretion or assistance to prevent falls is being provided.
  • the position determination may be performed using human sensors placed at various locations in the facility.
  • access points APs
  • STA station device
  • the seat sensor 440 shown in FIG. 10 is capable of determining frontal and lateral displacement and determining the possibility of falling, as described above.
  • a table or the like is placed in front of the person to be assisted to eat, as shown in FIG. 12, so the table provides support and there is a low possibility that the person will fall. Therefore, by inactivating the seat sensor 440 to determine the possibility of falling during meals, less necessary processing can be omitted.
  • FIG. 20 is a flowchart illustrating the operation mode determination process in the seat sensor 440.
  • the processing unit 210 of the seat sensor 440 performs processing to identify the target person being assisted.
  • the processing unit 210 may identify the person to be assisted based on the assistance schedule or the like, or may identify the person to be assisted based on user input.
  • step S502 the processing unit 210 acquires the ability information of the person being assisted.
  • the processing unit 210 specifies the capability information by receiving data shown in steps S301 and S306 in FIG. 18 from the server system 100.
  • step S503 the processing unit 210 determines whether the assistance recipient's ability has decreased to the point where he or she is unable to walk, based on the ability information. If the performance has not decreased (step S503: No), there is little need for determination using the seat sensor 440, so in step S504, the processing unit 210 sets the operation mode of the seat sensor 440 to inactive. Set to mode 0. Further, similar to the example described above in step S403, a process may be performed in step S503 that takes into consideration even more detailed information regarding the ability information. Therefore, the process in step S503 may be executed in the server system 100.
  • step S505 acquires information representing the type of assistance as scene information in step S505.
  • the process in step S505 may be performed based on user input or may be performed based on some sensing data.
  • step S506 the processing unit 210 makes a determination based on the scene information. Specifically, the processing unit 210 determines whether the type of assistance is meal assistance. In the case of meal assistance (step S506: Yes), forward slippage/lateral slippage determination is useful, but determination of fall possibility is less necessary. Therefore, in step S507, the processing unit 210 sets the operation mode of the seat sensor 440 to a mode in which forward and lateral deviation determinations are made, and the possibility of falling is not determined.
  • step S508 the processing unit 210 sets the operation mode of the seat sensor 440 to a mode that executes both forward and lateral displacement determination and fall possibility determination. Further, in step S508, the processing unit 210 may set the operation mode of the seat sensor 440 to a mode in which the front slippage/lateral slippage determination is not performed, and the fall possibility determination is performed.
  • the imaging device 410 and the seat sensor 440 perform processing based on scene information.
  • the operation mode of the other device 200 may be determined based on scene information.
  • the server system 100 (device type information acquisition unit 113) also obtains device type information that specifies the type of device used in conjunction with the device 200 to assist the same person being cared for. It's okay.
  • the server system 100 transmits device type information to the device 200.
  • the device 200 determines which of the plurality of operation modes it will operate in based on the capability information and device type information.
  • the storage unit 220 of the device 200 stores information that associates capability information, device type information, and operation modes.
  • the processing unit 210 determines the operation mode based on this information, and the capability information and device type information acquired from the server system 100.
  • the information that associates the capability information and device type information with the operation mode may be, for example, table data that associates the values of the capability information, the values of the device type information, and the active/inactive status of each application. .
  • the information that associates the capability information and device type information with the operation mode may be an algorithm that determines whether each application is active or inactive based on the capability information and device type information.
  • FIG. 21 is a diagram illustrating an example of a device used in combination with the swallowing discomfort detection device 460 described above using FIG. 12.
  • the combined device here may be the device 200 according to this embodiment.
  • the swallowing difficulty detection device 460 is used during meals, meals may be performed using the wheelchair 630 or the bed 610.
  • the device used in combination with the swallowing discomfort detection device 460 may be the seat sensor 440 shown in FIG. 10.
  • the device type information acquisition unit 113 detects whether the swallowing discomfort detection device 460 and the seat sensor It may be determined that 440 is used in combination. Alternatively, when it is determined that the person being assisted is sitting in the wheelchair 630 based on the detection result from the seat sensor 440 or the sensing data log, the device type information acquisition unit 113 connects the swallowing awkwardness detection device 460 to the seat. It may be determined that the surface sensor 440 is also used. In this case, the person being assisted is considered to be eating using the wheelchair 630.
  • the device used in combination with the swallowing choking detection device 460 may be the detection device 430 shown in FIG. 9 .
  • the device type information acquisition unit 113 determines whether the swallowing discomfort detection device 460 and the detection device 430 are active and the detection results and sensing data logs from the detection device 430 have been acquired. It may be determined that they are used together.
  • the device type information acquisition unit 113 transmits the dysphagia detection device 460 and the detection device 430 when it is determined that the person being assisted is in bed based on the detection result from the detection device 430 or the sensing data log. It may be determined that these are used together. In this case, the person being assisted is considered to be eating using the bed 610.
  • FIG. 22 is a flowchart illustrating the operation mode determination process in the swallowing discomfort detection device 460.
  • the processing unit 210 of the swallowing awkwardness detection device 460 performs processing to identify the target person being assisted.
  • the processing unit 210 may identify the person being assisted based on face recognition processing on the captured image captured by the terminal device 462.
  • step S602 the swallowing difficulty detection device 460 acquires the ability information of the person being assisted.
  • the processing unit 210 specifies the capability information by receiving data shown in steps S301 and S306 in FIG. 18 from the server system 100.
  • step S603 the swallowing awkwardness detection device 460 determines whether the ability of the person being assisted has decreased to the point where he or she is unable to eat properly, based on the ability information. If the ability has not decreased (step S603: No), the need for determination using the swallowing awkwardness detection device 460 is low, so in step S604, the processing unit 210 deactivates the operation mode of the swallowing awkwardness detection device 460. Set to mode 0 corresponding to .
  • the swallowing awkwardness detection device 460 acquires information specifying the combined device from the device type information acquisition unit 113 in step S605. As can be seen from the above example, it is only necessary to determine whether the meal is taken on the bed 610 or on the wheelchair 630, so while the type of device used is important, it is also necessary to specify the vendor and model number. is low. Therefore, in step S605, the swallowing awkwardness detection device 460 acquires the device type ID of the combined device.
  • the swallowing awkwardness detection device 460 makes a determination based on the device type information. Specifically, the swallowing discomfort detection device 460 determines whether the meal is being eaten using the wheelchair 630. Specifically, as described above, the swallowing awkwardness detection device 460 may determine whether the combined device indicated by the device type information is the seat sensor 440 or the detection device 430. If the meal is being eaten using the wheelchair 630 (step S606: Yes), the person being cared for is in relatively good condition because it means that movement to a cafeteria or the like is possible. Therefore, in step S607, the processing unit 210 sets the operation mode of the swallowing awkwardness detection device 460 to a mode in which normal determination is performed using swallowing time and the like.
  • step S606 the processing unit 210 sets the operation mode of the swallowing awkwardness detection device 460 to a mode that can further reduce the risk of aspiration.
  • the swallowing stiffness detection device 460 may not only simply detect the presence or absence of a stiffness, but also perform a process of determining the content of the stiffness.
  • the swallowing choking detection device 460 may determine whether the choking is a dangerous choking that is likely to lead to aspiration.
  • the swallowing awkwardness detection device 460 may determine whether or not the person being assisted seems sleepy. The determination as to whether the person is sleepy may be made based on, for example, the image taken by the terminal device 462, the opening and closing of the eyes, the frequency of movement of the mouth and hands, and the like. Further, the detection device 430 may be used to determine whether the person is sleepy or not.
  • the present invention is not limited to this.
  • a normal wheelchair or a reclining wheelchair may be used as the wheelchair 630.
  • the flexibility of adjusting the back angle increases in the order of normal wheelchair, reclining wheelchair, and bed 610. Therefore, the operation mode of the swallowing difficulty detection device 460 may be controlled so that more detailed care can be performed in the order of normal wheelchair, reclining wheelchair, and bed 610.
  • the swallowing awkwardness detection device 460 may increase the number of applications set to be active in the above order.
  • the swallowing awkwardness detection device 460 is the device 200 whose operation mode is to be set, and the seat sensor 440 and the detection device 430 are used together.
  • the seat sensor 440 and the detection device 430 may be the device 200 for which the operation mode is set, and the swallowing awkwardness detection device 460 may be a combined device.
  • the operation mode may be changed by the plurality of devices 200 interlocking with each other.
  • the seat sensor 440 shown in FIG. 10 or the terminal device 450 used for adjusting the wheelchair position shown in FIG. 11 is useful for reducing the risk of falling.
  • both the seat sensor 440 and the terminal device 450 may be used together. In this case, in conjunction with the control of one device 200, the other device 200 may be controlled.
  • the seat sensor 440 first transitions to an operation mode corresponding to active, and the terminal device 450 transitions to an operation mode corresponding to inactive. may be maintained. In this way, first, forward and lateral displacement is determined, and the ability to maintain a sitting position is determined using log data.
  • the terminal device 450 shifts to an operation mode corresponding to active mode.
  • the device type information acquisition unit 113 transmits data indicating that the terminal device 450 is a combined device to the seat sensor 440.
  • the seat sensor 440 may be set to a different operation mode when the terminal device 450 is used in combination than when it is not used in combination.
  • the processing unit 210 of the seat sensor 440 may change the threshold value for determination.
  • the seat sensor 440 determines the standard based on the timing of position adjustment using the terminal device 450, etc. from an operation mode in which the standard (initial value) for determining frontal and lateral displacement is determined internally. It is also possible to switch to an operating mode in which Similarly, in other cases as well, based on information from one of the seat sensor 440 and the terminal device 450, control of the other may be changed.
  • the operation mode of the seat sensor 440 may be controlled based on information acquired by the terminal device 450.
  • the terminal device 450 allows the caregiver to input points to be noted when adjusting the posture of the person being assisted. For example, points such as being careful about the position of the right shoulder and placing a cushion under the right arm may be input, and the terminal device 450 can estimate the attributes of the person being assisted based on the points. In the above example, an attribute indicating that the person being assisted is slightly paralyzed in the right shoulder is required.
  • Seat sensor 440 may determine the operating mode based on this information. For example, the seat sensor 440 may store a plurality of applications that differ depending on the presence or absence of paralysis and the region where paralysis occurs, as applications for determining forward and lateral displacement.
  • the seat sensor 440 controls activation/inactivity of each application based on the attributes acquired from the terminal device 450.
  • the seat sensor 440 activates an application that performs front shift/lateral shift determination suitable for a person being assisted with right shoulder paralysis, and sets other applications that perform forward/lateral shift determination as inactive.
  • the seat sensor 440 that can use a plurality of tacit knowledges for determining forward and lateral deviations, it becomes possible to switch the tacit knowledges according to the attributes of the person being assisted.
  • the server system 100 of the present embodiment may acquire mode information that specifies the operation mode of the combined device, and may transmit device type information and mode information to the device 200.
  • the device 200 determines which of the plurality of operation modes it will operate in based on the capability information, device type information, and mode information.
  • the terminal device 450 recommends a cushion, etc. in addition to the normal process of determining the appropriateness of the wheelchair position. It is also possible to shift to an operation mode in which additional processing is executed. Alternatively, when the operation mode of the seat sensor 440 changes, a process may be performed to switch the teacher data determined to be correct in the terminal device 450. In addition, various modifications can be made to the specific operation mode cooperation method.
  • the device 200 related to the detection of the wheelchair position and the device 200 related to the adjustment support of the wheelchair position can be appropriately linked, making it possible to further reduce the risk of falling of the person being assisted.
  • the cooperation between the seat sensor 440 and the terminal device 450 has been described here, other devices 200 may also operate in cooperation.
  • capability information and scene information and the combination of capability information and device type information have been described above, the capability information, scene information, and device type information may be combined.
  • the type of assistance and the type of device 200 may be associated with each other.
  • the swallowing awkwardness detection device 460 shown in FIG. 12 is a device 200 specific to meal assistance, and when the swallowing awkwardness detection device 460 is in operation, there is a high probability that the assistance recipient is being helped with meals. .
  • some of the devices 200 are capable of associating device type information with the type of assistance.
  • the swallowing discomfort detection device 460 communicates with the server system 100 via the gateway 300 if it is in the active state, the scene information acquisition unit 112 detects swallowing discomfort based on the presence or absence of communication with the swallowing discomfort detection device 460.
  • the operational state of device 460 can be determined.
  • the scene information acquisition unit 112 of the server system 100 may obtain scene information representing the type of assistance based on the device type information acquired by the device type information acquisition unit 113, and may transmit the scene information to the device 200. .
  • the scene information acquisition unit 112 determines that the person is eating when the swallowing awkwardness detection device 460 is active, and determines that the person is not eating when the swallowing discomfort detection device 460 is inactive.
  • the server system 100 transmits the device type information acquired by the device type information acquisition unit 113 to the device 200, and the device 200 performs processing to determine the operation mode according to the type of assistance associated with the device 200. It's okay.
  • the device 200 may perform a process of selecting an operation mode suitable for meal assistance when the swallowing awkwardness detection device 460 is a combined device.
  • the operation mode setting according to the type of assistance may be executed as a process related to scene information or as a process related to device type information, and the specific implementation may be performed using various modified implementations. is possible.
  • the device 200 in this embodiment is not limited to the one described above.
  • the device 200 of this embodiment may be an MCI determination device that determines Mild Cognitive Impairment (MCI).
  • MCI Mild Cognitive Impairment
  • the MCI determination device performs a process of asking a person being assisted a question using audio or images, and receiving a response to the question.
  • the questions here may be those using MMSE (Mini-Mental State Examination) or the like, or may be questions using other methods.
  • the MCI determination device performs MCI determination based on the response of the person being assisted. Further, the MCI determination device may determine MCI based on information regarding the care recipient's sleep.
  • the device 200 in this embodiment may be an assistance recording device that automatically records assistance history.
  • the assistance recording device may be a device 200 that detects position information of at least one of a caregiver and a person being assisted.
  • the assistance recording device determines, for example, the time the target person is in the bed 610, the time in the toilet, the time in the bath, the time in the dining room, etc., and based on the determination results, determines what type of assistance and how much. Processing is performed to store the frequency and time of assistance as an assistance record.
  • the assistance recording device is useful, for example, in home care where assistance schedules and the like are not strictly set.
  • the device 200 of this embodiment may also include a reclining wheelchair 510 whose backrest angle can be adjusted as shown in FIG. 23, and a care bed 520 whose bottom surface angle can be adjusted as shown in FIG.
  • the reclining wheelchair 510 and the nursing care bed 520 are, for example, devices to be controlled as shown in FIGS. 7 and 18.
  • swallowing stiffness detection device 460 detects stiffness, the angle of the backrest or bottom is controlled to an angle suitable for swallowing by the person being assisted.
  • the reclining wheelchair 510 may be controlled based on the processing results of the seat sensor 440 and the terminal device 450.
  • the wheelchair 630 shown in FIGS. 10 and 11 may be a reclining wheelchair 510 that is a device to be controlled.
  • the care bed 520 may be controlled based on the processing results of the bedside sensor 420, the detection device 430, the bed position detection device 470, the glasses-type device 480, and the like.
  • the bed 610 shown in FIGS. 9, 13, and 14 may be a care bed 520 that is a device to be controlled.
  • the device 200 used in this embodiment can be modified in various ways in terms of shape, number and types of sensors, processing content, etc.
  • the server system 100 receives the processing result in the device 200. Further, as shown in step S304 in FIG. 18, the server system 100 transmits a control signal to the device to be controlled to perform control based on the processing result. Further, as shown in step S306 in FIG. 18, when the information that determines the operation mode is updated, the server system 100 also notifies the device 200 of the information.
  • At least one of the control of the controlled device based on the processing result in the device 200 and the notification of scene information, etc. May be executed serverless.
  • a specific information processing system 10 will be described below as an example.
  • FIG. 25 is a diagram illustrating a configuration example of the information processing system 10 when serverless control is executed.
  • the information processing system 10 of this embodiment includes an entry/exit control device 700 that detects entry/exit of a device 200 into a given space, and a gateway 300 that relays communication between the device 200 located in the space and the server system 100. May include. Further, similar to FIG. 1, the information processing system 10 includes a server system 100 and a device 200. In the example of FIG. 25, the devices 200 are illustrated as device 200-1, device 200-2, and device 200-3.
  • the gateway 300 is placed, for example, in a living room in a nursing care facility, etc., and is a device that is capable of transmitting and receiving radio waves with sufficient strength to at least the device 200 located in the living room.
  • the room entry/exit management device 700 shown in FIG. 25 is a device that is placed, for example, near the doorway of a living room and detects when the device 200 enters or leaves the room.
  • the room entry/exit control device 700 is a device that performs short-range wireless communication, such as BLE (Bluetooth Low Energy), and communicates with a Bluetooth-enabled device located at a predetermined distance or less.
  • BLE Bluetooth Low Energy
  • the entry/exit management device 700 may be placed in a living room, and may determine that the device 200 capable of BLE communication with the entry/exit management device 700 is located in the living room.
  • the room entry/exit management device 700 may make a more detailed determination.
  • a plurality of room entry/exit control devices 700 may be placed at different positions within the living room.
  • the plurality of room entry/exit control devices 700 each communicate with the device 200, and estimate the distance to the device 200 based on the radio field strength (for example, RSSI: Received Signal Strength Indicator) in the communication.
  • RSSI Received Signal Strength Indicator
  • the room entry/exit management device 700 may determine whether the device 200 is located in the living room based on the estimated position and known information such as the size and shape of the living room.
  • various modifications can be made to the specific determination of entry/exit.
  • the storage unit 220 of the device 200 stores information regarding the device 200.
  • the information regarding the device 200 includes at least a device ID that identifies the device 200. Further, the information regarding the device 200 may include part or all of the device information 122 described above using FIG. 3.
  • the room entry/exit management device 700 acquires information regarding the device 200 with which the device 200 communicates. In this way, the room entry/exit management device 700 can appropriately identify the device 200 that has entered the target space.
  • the storage unit 220 of the device 200 may store address information that the target device 200 uses for communication via the gateway 300.
  • the address information here may be, for example, an IP address, or other information that can specify an IP address (for example, a MAC address).
  • the room entry/exit management device 700 acquires address information of the device 200 with which the device 200 communicates.
  • the room entry/exit control device 700 is not limited to devices that use BLE, and other communication methods such as NFC (Near Field Communication) can be widely applied.
  • NFC Near Field Communication
  • the room entry/exit management device 700 has a memory (not shown), and the memory may store existing device information that is information that identifies existing devices located in the living room. In this way, it becomes possible to appropriately manage which devices 200 are located in the target living room.
  • device 200-1 and device 200-2 have already entered the living room.
  • the room entry/exit management apparatus 700 executes a process of adding the device ID of the device 200-1 to existing device information based on BLE communication with the device 200-1.
  • the room entry/exit management apparatus 700 executes a process of adding the device ID of the device 200-2 to existing device information.
  • the state that the device 200-1 and the device 200-2 are present in the living room is maintained as existing device information.
  • the room entry/exit management device 700 may perform a process of transmitting the existing device information it holds to the device 200 that has already entered the room. For example, the room entry/exit management device 700 transmits existing device information including the device IDs of the device 200-1 and the device 200-2 to the device 200-1. In this way, the device 200-1 can recognize that the device 200-2 exists in the living room in addition to the device 200-1 itself. Similarly, when the room entry/exit management apparatus 700 transmits existing device information to the device 200-2, the device 200-2 can recognize that the device 200-1 is present in the living room.
  • the existing device information may be information in which a device ID and address information are associated with each other.
  • the room entry/exit management device 700 transmits the device ID and address information of the device 200-1 and the device ID and address information of the device 200-2 to each device 200.
  • each device 200 can obtain not only information indicating the existence of another device 200 but also address information when communicating with the other device 200 via the gateway 300.
  • the entry/exit control device 700 detects that a new device has entered the space, it communicates with the new device to acquire address information of the new device used in communication via the gateway 300. Address information may be notified to devices 200 located within the space.
  • the room entry/exit management device 700 performs a process of adding the device ID and address information of the device 200-3 to existing device information by performing BLE communication with the device 200-3. Note that the device ID and address information are not limited to being acquired at the same time.
  • the device 200-3 waits for the connection with the gateway 300 to be established, and then The information may be transmitted to the room entry/exit management device 700.
  • the room entry/exit management device 700 After updating the existing device information as the device 200-3 enters the room, the room entry/exit management device 700 transmits the existing device information to the devices 200-1 to 200-3. Thereby, each device 200 located in the living room can identify other devices 200 in the living room and address information.
  • the room entry/exit management device 700 may switch the information to be transmitted between the existing devices (devices 200-1 and 200-2) and the new device (device 200-3) that has newly entered the room. For example, the room entry/exit management device 700 may transmit only the device ID and address information of the new device to the existing device, and may omit transmitting other records of existing device information. Furthermore, the room entry/exit management device 700 may transmit existing device information before updating to a new device. In this way, it is possible to omit the transmission of information that is less necessary, thereby reducing the communication load.
  • the room entry/exit management device 700 determines that the device 200 that is no longer able to perform BLE communication or whose estimated position is determined to be outside the room has left the target room. In this case, the room entry/exit management device 700 performs processing to delete the device ID and address information of the device 200 that left the room from the existing device information. The room entry/exit management device 700 also notifies existing devices of information indicating that the device 200 has left the room. For example, the room entry/exit management device 700 may transmit updated existing device information to each device 200. Furthermore, the room entry/exit management device 700 may transmit the device ID of the device 200 that left the room to each device 200, and instruct each device 200 to delete the corresponding record from the existing device information held by the device 200.
  • the entry/exit management device 700 is not limited to storing information on existing devices located in the target space, and may also store log data of entry/exit.
  • the log data is information in which, for example, entry time, exit time, device ID, etc. are associated with each other.
  • serverless communication will be explained.
  • the device 200-1 is operating in an active operation mode, and as a result of the processing, it is determined that the device 200-2 needs to be controlled.
  • the device 200-1 is the swallowing cramp detection device 460, and since a dangerous cramp has been detected, it is determined that the bottom angle of the device 200-2, which is the care bed 520, needs to be changed.
  • device 200-1 knows that device 200-2 is in the same living room, and its IP address is also known. Therefore, device 200-1 may transmit a control signal to device 200-2 without going through server system 100. Specifically, device 200-1 transmits a control signal to gateway 300 using a packet specifying the IP address of device 200-2. Gateway 300 determines that the destination of the packet is device 200-2, which is a device within the same network, based on the IP address. Therefore, the packet containing the control signal is transmitted to the device 200-2 without going through the server system 100, as shown as "packet 1" in FIG. Thereby, necessary control of the device 200 can be executed without going through the server system 100, so it is possible to reduce the load on the server system 100 and shorten the time required for control.
  • the scene information and device type information are not limited to those required by the processing unit 110 of the server system 100.
  • the device 200-1 is the imaging device 410 or the like, it is also possible to obtain the number of caregivers in the living room based on image processing of the captured image.
  • the device type information is information representing the type of another device 200 used together with a certain device 200. Therefore, the device type ID of device 200-1 may serve as device type information for device 200-2 and device 200-3 operating in the same room.
  • ability information such as ADL index may be required.
  • the sensing data log can be used to calculate the capability information
  • the device 200 that acquires the sensing data may calculate the capability information.
  • the server system 100 obtains capability information, scene information, and device type information, and data including these is transmitted to the device 200.
  • device 200-1 knows that device 200-2 is in the same living room, and its IP address is also known. Therefore, the device 200-1 transmits capability information, scene information, device type information, etc. to the device 200-2 without going through the server system 100. Specifically, it is similar to the control signal described above, and the device 200-1 uses a packet specifying the IP address of the device 200-2 to send capability information etc. to the device 200 without going through the server system 100. -2 can be sent. Thereby, the operation mode can be set according to the capability information etc.
  • a plurality of devices 200 located in a living room may each notify other devices 200 of the device type information of the device 200, thereby executing a process of specifying a combined device.
  • the device 200-1 may transmit log data related to control of a controlled device (for example, the device 200-2) to the server system 100.
  • the log data is data indicating when and to what degree the device 200-1, which is the swallowing discomfort detection device 460, changes the back angle of the device 200-2, which is the care bed 520.
  • the timing of the notification and the details of the capability information etc. that are the notification contents become log data.
  • the device 200-1 may use packet 1 to transmit a control signal, capability information, scene information, device type information, etc., and use packet 2 to transmit log data.
  • the log data here is data representing the history of communication using packet 1, as described above.
  • packet 1 is a packet transmitted and received within the network to which device 200-1 belongs.
  • Packet 2 is a packet sent beyond gateway 300 forming the network to which device 200-1 belongs.
  • Packet 2 may be a packet that specifies the IP address of server system 100 in a narrow sense. By switching packets in accordance with the content of the data to be transmitted in this manner, it is possible to reduce the communication load on the server system 100.
  • the device 200 either transmits the operation result to the server system 100 (step S203 in FIG. 7, etc.) or communicates with the device 200 without going through the server system 100 based on the operation result. may select whether to transmit information for controlling the controlled device to a different controlled device (packet 1 in FIG. 25). In this way, it is possible to flexibly change whether processing is performed under the initiative of the server system 100 or serverless processing.
  • the device 200 may control the controlled device without going through the server system 100 if the address information of the controlled device is acquired based on information from the entry/exit management device 700. . In this way, it becomes possible to appropriately determine whether or not to perform serverless processing after considering the specific communication situation.
  • the server system 100 may refer to a packet transmitted from the device 200 to determine through which gateway 300 the packet is transmitted. If there are multiple devices 200 connected to the same gateway 300, the server system 100 may determine that the multiple devices 200 are located close to each other.
  • the server system 100 transmits, to each device 200, address information of other devices 200 that are determined to be close to the device 200.
  • the server system 100 obtains information that associates the identification information and address information of a plurality of devices 200 connected to the same gateway 300, and periodically transmits the information to the plurality of devices 200.
  • each device 200 can specify the address information of other nearby devices 200, so serverless communication can be realized.
  • the wireless communication method here may be, for example, a communication method based on IEEE802.11.
  • the server system 100 may perform communication using a wired communication method or may perform communication using a wireless communication method.
  • the wired communication method here may be, for example, a communication method based on IEEE802.3.
  • each of the server system 100, device 200, and gateway 300 uses a communication method compliant with IEEE802.11.
  • FIG. 26 is a diagram showing a configuration example of the communication processing section 114 and the communication section 130 of the server system 100.
  • the communication processing section 114 includes an upper layer processing section 1141, a MAC layer processing section 1142, and a physical layer processing section 1143.
  • Communication unit 130 includes a transmitting/receiving circuit 131 and an antenna array 132.
  • the configurations of the communication processing unit 114 and the communication unit 130 are not limited to those shown in FIG. 26, and various modifications such as omitting some configurations or adding other configurations are possible.
  • the upper layer processing unit 1141 performs processing in a layer higher than the MAC layer.
  • the upper layer here may be TCP/IP (Transmission Control Protocol/Internet Protocol), UDP/IP (User Datagram Protocol/Internet Protocol), or an application layer. good.
  • TCP/IP Transmission Control Protocol/Internet Protocol
  • UDP/IP User Datagram Protocol/Internet Protocol
  • an application layer good.
  • the process of obtaining the above-mentioned capability information, scene information, and device type information is executed by software running on the server system 100, and the application layer here may correspond to the software.
  • the upper layer processing section 1141 is connected to the MAC layer processing section 1142.
  • the MAC layer processing unit 1142 performs transmission processing and reception processing in the MAC layer.
  • the MAC layer processing section 1142 is connected to the physical layer processing section 1143.
  • the physical layer processing unit 1143 performs processing on the physical layer.
  • Physical layer processing section 1143 is connected to antenna array 132 via transmission/reception circuit 131.
  • the transmitting/receiving circuit 131 includes circuits such as a digital/analog conversion circuit (hereinafter referred to as a D/A conversion circuit) and an RF circuit, and converts the digital signal from the physical layer processing unit 1143 into an analog signal, and converts the digital signal from the physical layer processing unit 1143 into an analog signal. Output to.
  • the transmitting/receiving circuit 131 also includes an analog/digital conversion circuit (hereinafter referred to as an A/D conversion circuit), converts the signal received by the antenna array 132 into a digital signal, and transmits the converted digital signal to the physical layer processing unit 1143. Output to.
  • the physical layer processing unit 1143 may include an A/D conversion circuit or a D/A conversion circuit.
  • the antenna array 132 includes a plurality of antennas that transmit radio waves based on analog signals output from the transmitting/receiving circuit and output analog signals based on received radio waves.
  • each section shown in FIG. 26 operates as follows.
  • the antenna array 132 receives radio waves in a predetermined frequency band, and outputs an analog signal corresponding to the radio waves to the transmitting/receiving circuit 131.
  • the transmitting/receiving circuit 131 converts the analog signal received by the antenna array 132 into a baseband signal.
  • the transmitting/receiving circuit 131 also performs A/D conversion of the baseband signal and outputs the converted digital signal to the physical layer processing section 1143.
  • the physical layer processing unit 1143 performs processing such as demodulation and error correction of the received signal.
  • the physical layer processing unit 1143 also removes the physical header, which is a header corresponding to the physical layer, and outputs the payload portion to the MAC layer processing unit 1142.
  • the MAC layer processing unit 1142 processes the received payload portion as a MAC frame.
  • the MAC frame may be an MPDU (MAC protocol data unit) in IEEE802.11.
  • the MAC layer processing unit 1142 passes the frame body, which is a portion of the MAC frame excluding the MAC header, which is a header in the MAC layer, and the trailer, to the upper layer processing unit 1141.
  • the upper layer processing unit 1141 outputs data corresponding to the frame body received from the MAC layer processing unit 1142 to software or the like.
  • the upper layer processing unit 1141 creates data corresponding to a frame body by adding a header and the like in the upper layer to the data, and outputs it to the MAC layer processing unit 1142.
  • the MAC layer processing unit 1142 creates a MAC frame by adding a MAC header and a trailer to the received data.
  • the MAC layer processing unit 1142 outputs the created MAC frame to the physical layer processing unit 1143.
  • the physical layer processing unit 1143 creates a physical packet by adding a physical header and the like to the received data.
  • the physical layer processing unit 1143 outputs the created physical packet to the transmission/reception circuit 131.
  • the transmitting/receiving circuit 131 generates an analog signal by performing A/D conversion, modulation, etc. of the data received from the physical layer processing unit 1143.
  • the transmitting/receiving circuit outputs the analog signal to the antenna array 132.
  • Antenna array 132 sends out radio waves corresponding to the received analog signal.
  • the MAC layer processing unit 1142 may use a data frame, a control frame, or a management frame as the above-mentioned MAC frame.
  • a data frame is a frame used when transmitting and receiving data between terminals when a communication link is established between the terminals. For example, as described above, when software running on the server system 100 creates data including capability information and the like and transmits the data to the device 200, a data frame is used.
  • a management frame is a frame used to manage communication links between terminals.
  • management frames are defined in IEEE802.11, and these can be widely applied to this embodiment.
  • a control frame is a frame used to control transmission and reception of management frames and data frames.
  • the control frame includes various frames such as an RTS (Request to Send) frame, a CTS (Clear to Send) frame, and an ACK (Acknowledgement) frame. These frames are defined within the IEEE802.11 standard, so a detailed explanation will be omitted.
  • the configuration related to communication of the server system 100 has been illustrated above, a similar configuration may be used for the device 200 and the gateway 300. Further, as described above, the server system 100 may communicate using a wired communication method, and in that case, it is possible to replace some of the above contents with contents compliant with IEEE802.3.
  • the configuration of the MAC frame may be made common regardless of the device 200 that is the communication target.
  • the device 200 in this embodiment and the application that operates on the device 200 may be created by a device vendor. Therefore, devices 200 created by various vendors may be registered in the information processing system 10. In this regard, by standardizing the data frame configuration, it becomes possible to unify communication control regardless of vendor. Note that the structure of a data frame, in a narrow sense, is the bit allocation in the frame body.
  • FIG. 27 is an example of the format of the MAC frame. Note that although the format example shown in FIG. 27 can also be applied to management frames and control frames, the following explanation will be given using a data frame as an example. As shown in FIG. 27, a MAC frame includes a MAC header, a frame body, and a trailer.
  • the MAC header includes fields of Frame Control, Duration ID, Address 1, Address 2, Address 3, Sequence Control, Address 4, QoS Control, and HT Control. Moreover, some of these may be omitted.
  • Frame Control includes a type field for determining whether the target MAC frame is a data frame, a management frame, or a control frame.
  • Frame Control may also include a subtype field that specifies more detailed types.
  • Duration/ID stores information representing the scheduled period for using radio waves. The scheduled time for using radio waves may be rephrased as the time required for frame transmission. Duration/ID is used for RTS/CTS, etc.
  • Address 1 to Address 4 store information representing the addresses of the receiving and transmitting devices. For example, Address 1 corresponds to the destination address, and Address 2 corresponds to the source address. Address 3 and Address 4 store data depending on the frame usage.
  • Sequence Control corresponds to the sequence number of the data to be transmitted.
  • QoS Control stores information used for QoS control.
  • QoS control refers to control that performs transmission in consideration of the priority of frames.
  • HT Control is a field used in a management frame, for example.
  • FCS Framework Check Sequence
  • FCS is information used to detect errors in frames, and is, for example, a checksum code.
  • FSC is, for example, CRC (Cyclic Redundancy Code).
  • the information processing system 10 includes the server system 100 and the device 200 as described above using FIG.
  • Device 200 includes an application that executes processing corresponding to the tacit knowledge of an expert.
  • the server system 100 transmits a data frame including a MAC (Media Access Control) header, a frame body, and a trailer in the data link layer of communication with the device 200.
  • the server system 100 is used together with a first area that stores ability information representing the activity ability of the person being assisted, a second area that stores scene information that specifies a scene of assistance for the person being assisted, and the device 200.
  • a fixed-length area including a third area for storing device type information that specifies the type of device used together transmits the data frame included in the frame body.
  • the device 200 determines whether the application is active or inactive based on at least one of the capability information, scene information, and device type information.
  • the configuration of data frames can be unified regardless of the vendor.
  • the first to third areas may be placed at the beginning of the frame body excluding the header and the like in the upper layer.
  • the device 200 may transmit the operation result of the application to the server system 100 when the application is set to be active.
  • the operation result here is an output of an application, and represents an execution result of a process corresponding to tacit knowledge.
  • the operation result includes an event that may occur during assistance, a judgment result regarding either the person being assisted or the person being assisted.
  • the operation result may be the result of determining whether some event occurred during the assistance, or the result of determining whether the condition of the person being assisted is normal. , it may be a judgment result as to whether or not assistance by an assistant is the correct answer. In this way, it becomes possible to aggregate information representing operation results in the server system 100.
  • processing via the server system 100 is not essential, and serverless processing may be performed as described above using FIG. 25.
  • FIGS. 28A and 28B are diagrams illustrating an example of bit allocation in the frame body of a data frame transmitted by the server system 100.
  • the frame body may include fields of User ADL, scene flag, device type ID, data type ID, instruction length, and contents.
  • User ADL is a field that stores ability information of the person being assisted, and corresponds to the first area described above.
  • the ability information is numerical data representing which stage the ability of the person being assisted belongs to when the level of ability is divided into a predetermined number of levels. For example, if there are eight or fewer stages, User ADL is a 3-bit field. If there are nine or more stages, User ADL may be a 4-bit or more field. Since the required number of bits is known depending on the definition of capability information, User ADL may be a fixed length field. User ADL may include an ID that identifies the person being assisted. Furthermore, as described above in step S403 and the like in FIG.
  • the ability information of this embodiment is not limited to the index value of ADL, but includes information indicating how to stand up, ability to maintain a sitting position, swallowing ability, walking ability, etc. It may be detailed information. Therefore, User ADL may be a field having a number of bits that can express each of these abilities.
  • the Scene flag is a field that stores scene information, and corresponds to the second area described above.
  • the scene information may include a bit indicating whether the number of caregivers is greater than or equal to a predetermined number. When the bit has a first value (eg, 0), it indicates that the number of caregivers is greater than or equal to a predetermined value, and when it has a second value (eg, 1), it indicates that the number of caregivers is less than a predetermined value.
  • the scene information may also include a bit that specifies the type of assistance. For example, when identifying four types of assistance, including eating assistance, excretion assistance, movement/transfer assistance, and others, the scene information includes two bits as bits that specify the type of assistance.
  • the scene information is not limited to these, and other information may be used. Therefore, various modifications can be made to the specific number of bits and meaning of the Scene flag.
  • the Scene flag may be a fixed-length field.
  • the device type ID is a field that stores device type information, and corresponds to the third area described above.
  • the device type information may be different information for each device 200 described above using FIGS. 8 to 14.
  • the same device type ID may be assigned to the imaging device 410 in FIG. 8 and the bedside sensor 420 in FIG. 9 .
  • the device type ID may be assigned based on the type of sensor that the device 200 has. Since the number of target device type IDs is known, the device type ID may be a fixed length field.
  • the server system 100 may obtain the control type and control content of the control target device based on the operation result of the device 200. Then, the server system 100 stores a fourth area of a fixed length for storing the control type and a control content in a portion of the frame body that is rearward of the area including the first area, the second area, and the third area. However, a data frame including a fifth area having a different length depending on the control type may be transmitted to the controlled device.
  • the control type represents the type of control to be executed, and the control content represents information that specifically specifies the content of the control to be executed. In this way, it becomes possible to use a common data frame for both notification of capability information and the like and control of the controlled device.
  • the first to third areas which are fixed-length fields, are placed relatively at the front, and the fifth area, which is a variable-length field, is placed relatively at the back, so that the data structure on the front side is can be fixed including the number of bits.
  • the data frame interpretation process at the device 200 becomes easier.
  • data type ID, instruction length, and contents shown in FIG. 28A are fields used to transmit a control signal to a controlled device.
  • the data type ID is a field that stores information representing the type of instruction output to the controlled device, and corresponds to the fourth area.
  • the instructions here may include four types: "notification (alarm)", “movement/conveyance”, “control”, and "recommendation, etc.”.
  • the data type ID is a 2-bit fixed length field that can identify four instructions.
  • “Notification” is information used when notifying a controlled device of a processing result in the device 200.
  • “notification” may be an instruction used when a device to be controlled reports a fall risk when a fall risk is detected in a device that determines a fall risk.
  • “Move/Transport” is an instruction to move a movable controlled device such as a reclining wheelchair 510 or a walker.
  • the movement/transportation instruction may be used to control a walker or the like to be moved nearby so that the target person being assisted can be caught when a fall risk is detected.
  • Control broadly includes controls other than “movement/transport” for operating the controlled device, and includes changing the angle of the back of the reclining wheelchair 510, changing the bottom angle of the care bed 520, and the like.
  • “Recommendations, etc.” includes, for example, recommendations for purchasing products used to improve the quality of assistance. For example, when the bed position detection device 470 determines that the use of a cushion is recommended, the recommendation may represent an instruction to output that fact to a controlled device such as a terminal device of a caregiver. Further, “recommendations, etc.” may include news distribution, etc. For example, “recommendation etc.” may be used to introduce popular devices 200.
  • FIG. 28B is a diagram illustrating a specific example of contents depending on the value of data type ID.
  • data type ID 0 represents the above-mentioned "notification”, and contents in this case include an alarm contents field.
  • alarm contents is a variable length field that stores information representing specific alarm contents.
  • the alarm contents may include information that specifies the notification mode (display, light emission, vibration, sound output), or may include information that specifies the specific notification content (text, emission color, vibration pattern, sound). .
  • the current location is information specifying the current location of the target device 200.
  • the destination is information that specifies the target position of the target device 200.
  • the current position and target position may be expressed in any way, but for example, they may be fixed-length fields representing two-dimensional or three-dimensional coordinate values.
  • the controlled part stores information that specifies the controlled part of the target device 200.
  • the care bed 520 shown in FIG. 24 includes a plurality of bottoms, each of which is movable.
  • the controlled part may store information that identifies any one of the plurality of bottoms.
  • “how to control” stores information that specifies the specific control method for the control area.
  • how to control may be information indicating in which direction and how many times the bottom specified by the controlled part is to be driven.
  • controlled part and how to control may each be fixed length fields.
  • recommend contents is a variable length field that represents the contents of recommendations and news.
  • the recommended contents here may include information specifying the product to be recommended, or may include link information to a product sales site, a manufacturer's product introduction Web page, or the like.
  • the recommended contents may also include text representing the contents of the news, link information to a web page on which the news is displayed, and the like.
  • the frame body may include an instruction length field that stores the length of the contents field before the contents field. Since the maximum length of the contents field is considered to be known, the instruction length may be a fixed length field, for example.
  • data including control signals, capability information, etc. may be transmitted from the device 200 to other devices 200 without going through the server system 100.
  • the formats of the data transmitted from the server system 100 such as step S304 in FIG. 7 and the data transmitted from the device 200 (packet 1 in FIG. 25) are significantly different, the receiving device 200 It may be necessary to interpret the data obtained. Therefore, even when the device 200 is the transmission source, a frame structure similar to the frame structure shown in FIGS. 28A and 28B may be used.
  • a fixed length area including the second area and the third area is included in the frame body.
  • the included data frame may be transmitted to the controlled device.
  • the second area corresponds to scene information
  • the third area corresponds to device type information.
  • the data frame may include the first area corresponding to the capability information. In this way, it becomes possible to share at least the parts corresponding to the capability information, scene information, and device type information among the frame bodies of the data frames.
  • the first to third areas may be placed at the beginning of the frame body excluding the header and the like in the upper layer.
  • the device 200 may obtain the control type and control content of the control target device based on the operation result of the application on the device 200. Then, a data frame including the fourth area and the fifth area is transmitted to the controlled device without going through the server system 100 in a portion of the frame body that is rearward of the area including the second area and the third area. You may. As described above, the fourth area corresponds to the control type, and the fifth area corresponds to the control content. In this way, even when serverless control is performed, it is possible to standardize the configuration of data frames received by the devices 200.
  • FIGS. 29A and 29B are diagrams illustrating an example of the structure of a frame body when a device 200 transmits data including a control signal, capability information, etc. to another device 200.
  • the structure of the frame body is the same as the structure of the frame body when transmitted by the server system 100, except that the order of device type ID, scene flag, and user ADL is different. It is.
  • the device type ID field here may store, for example, device type information of the sending device 200.
  • the log data is as described above, and includes information such as the history of serverless control of the controlled device and the notification history of capability information.
  • the structure of the data frame can be made similar regardless of whether the server system 100 is the transmission source or the device 200 is the transmission source as shown in FIG. Become.
  • the device 200 that has received the data frame is able to determine the operation mode based on the same processing and operate in accordance with the control signal, regardless of the transmission source. Therefore, an increase in processing load can be suppressed even when both processing starting from the server system 100 and serverless processing are performed.
  • the order of each field in FIGS. 28A and 29A can be modified in various ways. Therefore, the structure of the data frame transmitted by the server system 100 and the structure of the data frame transmitted by the device 200 may be the same. Furthermore, in at least one of the structure of the data frame transmitted by the server system 100 and the data frame transmitted by the device 200, a portion of User ADL, device type ID, and scene flag may be omitted. For example, an example has been described above in which the device 200 outputs sensing data and the ability information acquisition unit 111 of the server system 100 calculates ability information based on the sensing data.
  • the User ADL may be omitted from the data frame transmitted by the device 200.
  • a User ADL field may be provided in the data frame transmitted by the device 200, and the value of the field may be set to a fixed value (for example, all 0).
  • the device 200 is not prevented from calculating ability information, and in this case, information such as an ADL index value is stored in the User ADL of the data frame transmitted by the device 200.
  • the data frame described above using FIGS. 29A and 29B may be used for data transmission from the device 200 to the server system 100.
  • the value of data type ID is set to 1
  • the device 200 creates a data frame in which information representing the notification content is stored in alarm contents of contents. is sent to the server system 100.
  • the device 200 can appropriately send the processing results to the server system 100 using the data frames shown in FIGS. 29A and 29B by changing the value of data type ID and the value of contents according to the processing results. can be sent to.
  • the method of this embodiment may be applied to an information processing device.
  • the information processing device corresponds to the server system 100, for example.
  • the information processing device transmits a data frame including a MAC (Media Access Control) header, a frame body, and a trailer in a data link layer of communication with a device 200 that includes an application that executes processing corresponding to the tacit knowledge of an expert.
  • the communication unit includes a communication unit (corresponding to the communication unit 130 in FIG. 3) that controls the communication unit, and a communication processing unit (corresponding to the communication processing unit 114 in FIG. 3) that controls the communication unit.
  • the communication unit includes a first area that stores ability information representing the activity ability of the person being assisted, a second area that stores scene information that specifies a scene of assistance for the person being assisted, and a type of device used in conjunction with the device.
  • a fixed-length area including a third area that stores device type information that specifies the device 200 transmits the data frame included in the frame body to the device 200 as information for determining whether the application is active or inactive. In this way, it becomes possible to standardize the data format when the server system 100 transmits capability information and the like to the device 200, regardless of the vendor of the device 200.
  • the method of the present embodiment uses a MAC (Media Access Control) header, frame body, and
  • the present invention can be applied to an information processing method in an information processing system 10 including a server system 100 that transmits a data frame including a trailer.
  • the information processing method includes a first area that stores ability information representing the activity ability of the person being assisted, a second area that stores scene information that specifies a scene of assistance for the person being assisted, and a combined device used together with the device 200.
  • IEEE802.11e uses a method called EDCA (Enhanced Distributed Channel Access) in which frames with high priority are transmitted preferentially.
  • EDCA Enhanced Distributed Channel Access
  • an EDCA parameter set element used in EDCA may be included in the frame body of a management frame of the MAC frame.
  • FIG. 30 is a diagram illustrating an example of a default EDCA parameter set element.
  • packets are classified into four access categories (hereinafter referred to as AC).
  • AC_VO corresponds to voice
  • AC_VI corresponds to video
  • AC_BE corresponds to best effort
  • AC_BK corresponds to background.
  • AC_VO has the highest priority
  • AC_VI, AC_BE, and AC_BK have lower priorities in this order.
  • each AC is associated with parameters such as CWmin, CWmax, and AIFSN.
  • CWmin and CWmax are parameters that determine the transmission waiting time, and represent the minimum and maximum values of a contention window (hereinafter referred to as CW).
  • the transmission waiting time is set to a value between CWmin and CWmax. The shorter the transmission waiting time, the easier the transmission, so the higher the priority, the smaller the values of CWmin and CWmax are set.
  • AIFSN Bitration Inter Frame Space Number
  • the AIFSN of AC_VO and AC_VI is 2
  • the AIFSN of AC_BE is 3
  • the AIFSN of AC_BK is 7.
  • each AC may be associated with a TXOP (Transmission Opportunity) limit.
  • TXOP represents the channel occupation time. For example, by setting a value other than 0 as TXOP limit in AC_VI and AC_VO with high priority, it becomes possible to occupy the channel for transmitting packets set in these ACs.
  • the information processing system 10 of this embodiment includes a large number of devices 200. Each device 200 then executes an operation according to the operation mode, and transmits the processing result to the server system 100 via the gateway 300.
  • the processing results here can be of various contents, such as "notification”, “movement/conveyance”, “control”, and “log” described above using FIG. 29B.
  • the device 200 of this embodiment may include products from various vendors, and the priority settings may vary depending on the vendor. For example, there is a possibility that only the communication of the device 200 of a specific vendor is given priority compared to the communication of the device 200 of other vendors. Therefore, in this embodiment, communication efficiency may be improved by setting priorities. For example, in the method of this embodiment, AC allocation is updated.
  • the server system 100 of the present embodiment may determine the priority based on device type information and transmit priority information specifying the priority to the device.
  • the priority information is, for example, information that associates device type information with priority, and more specifically, it is information that assigns AC to each device type.
  • the device 200 then transmits the data frame according to the priority identified based on the device type and priority information. In this way, priority can be set according to the device type, so communication in the information processing system 10 including various devices 200 can be made more efficient.
  • the server system 100 may determine the priority based on the device type information and the control type, and transmit priority information specifying the priority to the device 200.
  • the priority information is, for example, information in which ACs are assigned to each set of device type and control type.
  • the device 200 then transmits the data frame according to the type of device, the control type included in the data frame to be transmitted, and the priority specified based on the priority information.
  • the control type can be reflected in the priority level in addition to the device type
  • communication in the information processing system 10 can be made more efficient even when various devices 200 transmit various information.
  • both device type information and control type will be specifically described. However, in the following description, either the device type information or the control type may be omitted.
  • FIG. 31 is an example of a table representing AC allocation.
  • AC may be determined based on the device type and data type.
  • the device type here corresponds to the device type information described above, and is, for example, a device type ID.
  • the data type here corresponds to, for example, the data type ID described above using FIGS. 28A to 29B. That is, the data type may be information indicating which of "notification”, “movement/conveyance", “control”, and "log” is to be transmitted based on the processing result in the device 200.
  • the server system 100 performs a process of determining the relationship between device type, data type, and AC for each gateway 300 that communicates with the server system 100, and transmitting the determined information to each gateway 300.
  • the server system 100 can specify, based on information from the gateway 300, the number and types of devices 200 connected to the gateway 300, the types of data that each device 200 can transmit, and the like.
  • the data type "log” refers to the case where sensing data logs and logs of serverless communication are sent as described above, so the communication priority is low and the communication volume is reduced. Even if it is sent late at night, it is unlikely to cause problems.
  • "notification,” “movement/transportation,” and “control” are used to notify a caregiver of the occurrence of a risk or to suppress the influence of the risk that has occurred. Therefore, it is desirable that the time from when a risk is detected in the device 200 until data transmission is short. Therefore, the server system 100 sets a higher priority when the data type is "notification", “movement/conveyance", or “control” than when it is "log”. Furthermore, the server system 100 may set different priorities among “notification,” “movement/conveyance,” and “control.”
  • the server system 100 can set priorities according to device types for the various devices described above using FIGS. 8 to 14 and the like.
  • the server system 100 determines priorities according to device types and data types, and allocates ACs according to the priorities. It is known that if the proportion of packets allocated to ACs with high priority becomes excessively high, collisions are likely to occur, which impairs the effectiveness of using EDCA. Therefore, the server system 100 may change AC allocation according to the device type and data type for each gateway 300. For example, even if the device type and data type are the same, the first gateway may be assigned an AC_VI with a relatively low priority, and the second gateway may be assigned an AC_VO with a relatively high priority. Good too.
  • the priority of a packet assigned to AC_VO in a normal network is lowered to AC_VI.
  • the priority of a packet assigned to AC_VO in a normal network is lowered to AC_VI.
  • the gateway 300 and the device 200 connected to the gateway 300 communicate based on the AC allocation sent from the server system 100. Note that the communication here is not limited to data transmission from the device 200 to the gateway 300, but also includes data transmission from the gateway 300 to the device 200.
  • the server system 100 may also perform a process of adjusting parameters corresponding to each AC.
  • the parameters here include at least one of the above-mentioned CWmin, CWmax, AIFSN, and TXOP limit. In this way, it becomes possible to make more detailed adjustments in setting priorities.
  • the priority setting process in this embodiment is not limited to using the above-mentioned EDCA.
  • RTS/CTS is used as a collision avoidance technique in wireless communication.
  • an STA that wants to transmit data transmits an RTS frame to the AP, and the AP transmits a CTS frame to any one of the STAs that have transmitted the RTS frame and that is permitted to transmit. Since only the STA that has received the CTS frame can transmit data, data collisions can be suppressed.
  • the server system 100 may transmit information representing the priority order when transmitting a CTS frame to the gateway 300 as priority information. For example, the server system 100 sends information to the gateway 300 to determine the order in which CTS frames are transmitted, such as the order of the ADL of the target care recipient, the order of the urgency of the data based on the data type, or a combination thereof. Send to.
  • the gateway 300 determines priorities based on the list of devices 200 that have transmitted RTS frames and information from the server system 100, and selects CTS in order of priority. Send a frame.
  • Such a method also makes it possible to set appropriate priorities, so it is possible to prevent, for example, a specific vendor from having a high priority.
  • the gateway 300 may perform a process of presenting to the device 200 the fact that it is in a busy state and the expected completion time of the current communication. Then, when the device 200 transmits data indicating that waiting for transmission is not acceptable, an interrupt may be accepted using a suspend command, and the data transmission of the target device 200 may be permitted. When the data transmission is finished, the original data transmission is resumed by the resume command. In this way, particularly urgent data can be communicated preferentially after interrupting other data transmission. However, since this process interrupts data transmission that has already started, it is not preferable for it to be performed frequently or for the interruption time to be excessively long. Therefore, the data for which interruption by the suspend command is allowed may be limited to some data. For example, an interrupt may be permitted when the conditions that the amount of data to be transmitted is small and the time required for transmission are short are met.
  • the method of this embodiment may also be applied to home care, etc. performed in the home of the person being cared for.
  • FIG. 32 is a diagram showing an example of the configuration of the information processing system 10 used at home.
  • the information processing system 10 in FIG. 32 includes a server system 100, a third terminal device 810, a fourth terminal device 820, and human sensors 831 to 833.
  • the third terminal device 810, the fourth terminal device 820, and the human sensors 831 to 833 are placed in a home where home care is provided. Further, for home care, a bed 610, a wheelchair 630 (not shown), etc. may be used.
  • the third terminal device 810 is, for example, a mobile terminal device such as a smartphone or a tablet terminal device used by a family member who provides assistance to a person being assisted.
  • the fourth terminal device 820 is, for example, a mobile terminal device such as a smartphone or a tablet terminal device used by the person being assisted.
  • the human sensors 831 to 833 are sensors placed at predetermined positions in the home, and are sensors that detect human movement using, for example, infrared rays. Note that the human sensors 831 to 833 may be sound sensors that respond to sound or ultrasonic sensors that detect objects using ultrasonic waves, and various modifications can be made to the specific embodiment.
  • the human sensors 831 to 833 are connected to the third terminal device 810 using, for example, BLE.
  • the bed 610 is a bed used by a person being assisted, and may be a care bed 520 whose bottom angle, height, etc. can be adjusted.
  • an assistance recording device that is an example of the device 200 according to the present embodiment may include the third terminal device 810 and human sensors 831 to 833 in FIG. 32.
  • the assistance recording device identifies the location where the assistance was performed based on the detection results of the human sensors 831 to 833, and creates an assistance record based on the identified location.
  • the human sensors 831 to 833 may be placed at locations where specific assistance is performed.
  • the human sensor 831 is placed near the bed 610 used by the person being assisted.
  • the human sensor 832 is placed near the toilet.
  • the human sensor 833 is placed near the dining table where meals are served.
  • the human sensor may be placed in other locations within the home, such as a bathroom where bathing assistance is provided.
  • the caregiver is considered to be assisting the person to be assisted, such as adjusting the bed position or changing a diaper. Further, if the motion of the person is detected by the human sensor 832, it is considered that the caregiver is assisting the person with excretion in the toilet. Further, if the motion of the person is detected by the human sensor 833, it is considered that the caregiver is assisting the person being assisted with eating. Therefore, by determining the time when movement was detected in each case, it is possible to determine the assistance time. For example, by determining the total time during which motion was detected by the human sensor 831 in one day, the assistance time provided on the bed 610 during the day can be determined. Similarly, the human sensors 832 and 833 determine the time for excretion assistance in the toilet and the time for meal assistance. Further, more detailed information may be requested, such as when and where the assistance was provided.
  • the human sensors 831 to 833 detect a movement of a person, if it is a movement of a single caregiver or a single person being assisted, there is a possibility that the assistance is not being performed.
  • the determination is performed simply based on the presence or absence of motion detection, without distinguishing whether the detected motion is that of one person or multiple people. It's okay.
  • the presence or absence of assistance may be determined in more detail using a different method.
  • an RFID reader may be provided at each location.
  • the caregiver and the person being assisted carry IC tags, or the third terminal device 810 and the fourth terminal device 820 have built-in IC tags, so that the caregiver and the person being assisted are located near each RFID reader. can be determined.
  • the assistance recording device may determine that assistance is being provided when it is determined that both the caregiver and the person being assisted are present at a predetermined location.
  • cameras may be placed at various locations within the home. For example, it may be determined whether assistance is being provided at each location by performing face recognition processing based on images captured by each camera.
  • the assistance recording device may be linked with a meal amount measurement application, which will be described later. For example, since a photo is taken with a meal amount measuring app, assistance during the time that includes the timing when the photo was taken is determined to be meal assistance, and other times are determined to be bed assistance other than meals.
  • an assistance recording device By using an assistance recording device, it is possible to easily measure the time that a caregiver takes to provide assistance. Therefore, for example, if the caregiver's burden of assistance becomes excessive, it is possible to notify the caregiver himself or the care manager of this.
  • the third terminal device 810 may be installed on the third terminal device 810.
  • an application is known that uses an acceleration sensor and a microphone installed in a smartphone to determine a user's sleeping state.
  • the third terminal device 810 is placed at the bedside of the bed where the user sleeps, and determines the sleeping state based on vibrations during sleep. Further, the third terminal device 810 may make a determination regarding snoring or the like using a microphone. In this way, it becomes possible to easily make a determination regarding sleep without using a dedicated device such as the detection device 430.
  • an MCI determination application that performs the above-mentioned MCI determination may be installed on the third terminal device 810.
  • the third terminal device 810 may function as an MCI determination device.
  • the caregiver carries the third terminal device 810, which is his or her own smartphone, close to the person being assisted, and makes the MAC determination by having the person being assisted answer the call.
  • a meal amount measurement application may be installed on the third terminal device 810.
  • a meal amount measurement app is a method of estimating meal amount and calorie intake by comparing, for example, a photo of a meal before a meal with a photo of a meal after a meal.
  • publicly known methods disclosed in Japanese Patent Application Publication No. 2021-086313 and the like can be widely applied.
  • 33 to 35 are examples of screens displayed on the display unit of the third terminal device 810. These screens may be user screens that are displayed, for example, when the third terminal device 810 performs an operation of logging into the information processing system 10 of this embodiment using the caregiver's account.
  • the results of each of the above processes executed by the third terminal device 810 may be displayed on the user screen.
  • the third terminal device 810 executes each of the above processes and transmits the execution results to the server system 100.
  • the server system 100 generates a display screen based on the execution result and executes control to display the display screen on the display unit of the third terminal device 810.
  • FIG. 33 is an example of a home screen displayed when logging in, for example. As shown in FIG. 33, information indicating the condition of the caregiver, a notification, a contact button, and a photography button may be displayed on the home screen.
  • the information indicating the condition of the caregiver may include, for example, an icon indicating the sleeping condition of the caregiver and an icon indicating the care burden of the caregiver.
  • the sleeping state and the level of care burden are presented in an easy-to-understand manner using human facial expressions.
  • each piece of information may be expressed using numerical values or the like, and the specific display mode can be modified in various ways.
  • the third terminal device 810 determines the assistance time, which is the time during which assistance was provided, based on the processing using the human sensors 831 to 833, etc. described above, and compares the assistance time with a threshold value to obtain care. It may be determined to which of a plurality of stages the burden belongs. Further, the third terminal device 810 may evaluate the care burden based on chronological changes in assistance time.
  • the third terminal device 810 determines the sleep state using the acceleration sensor and microphone described above. For example, the third terminal device 810 may obtain the sleeping time per day as the sleeping state. The third terminal device 810 may determine which of a plurality of stages the sleep state belongs to by comparing the sleep time and a threshold value. Further, the third terminal device 810 may evaluate the sleep state based on a chronological change in sleep time.
  • recommendations for assistive devices may be displayed, for example.
  • text is displayed suggesting the use of a positioning pillow used to adjust the bed position.
  • the contact button is, for example, a button for making a call to the care manager.
  • the third terminal device 810 starts a telephone application and executes a process of making a call to the care manager's pre-registered telephone number.
  • a warning text such as "Please call your care manager or relative” may be displayed. In this way, the caregiver can be encouraged to receive support from others before the caregiver becomes seriously ill due to fatigue from the caregiver.
  • the shooting button is a button that triggers the activation of the above-mentioned meal amount measurement app.
  • the third terminal device 810 performs processing to launch a meal amount measurement application.
  • a camera app is started, and photos of food before and after meals are taken.
  • FIG. 34 is an example of a history screen that is displayed when a selection operation is performed on the history button that is displayed in association with the information indicating the condition of the caregiver shown in FIG. 33.
  • the history screen displays chronological changes in the caregiver's sleeping state and chronological changes in the caregiver's care burden.
  • the processing unit 110 of the server system 100 calculates the moving average of the sleeping hours per day over 7 days based on the information from the third terminal device 810, and displays the time-series changes in the moving average on the history screen. Perform the processing to do. Note that the unit of calculation of the moving average is not limited to seven days, and may be any other period. Further, chronological changes in the amount of sleep per day itself may be displayed.
  • the time-series change in care burden is information indicating, for example, a change in the average value of assistance hours per day. Similar to the example of the sleeping state, the average value of assistance time may be a moving average over 7 days, or may be information calculated using another period. Further, a chronological change in the assistance time itself per day may be displayed.
  • the sleeping time decreases over time, and the assistance time increases over time.
  • the history screen may include a share button for sharing information regarding the condition of the caregiver.
  • the share button When the share button is selected, information including time-series changes in average sleep time, time-series changes in average assistance time, etc. is sent to the contact information registered in advance.
  • the contact information here may be the care manager, the caregiver's family, or the like.
  • the destination for sharing information regarding the condition of the caregiver is not limited to pre-registered contacts.
  • link information to information regarding the condition of the caregiver may be displayed.
  • the link information here may be, for example, address information of a web page on which information regarding the condition of the caregiver is displayed.
  • the address information may be a URL (Uniform Resource Locator) or a two-dimensional barcode representing the URL.
  • FIG. 35 is an example of a list screen that is displayed when a selection operation is performed on the list button that is displayed in association with "Notice” in FIG. 33.
  • the list screen displays a list of information such as recommendations sent to the target caregiver in chronological order.
  • recommendations for positioning pillows and reclining wheelchairs are displayed.
  • Each recommendation includes the reason why the product is recommended, a product image, and detailed product information.
  • the detailed information on the product may include the product name, manufacturer, price, evaluation, product description, and the like.
  • vendor apps that can be used with the product or the device 200 according to the present embodiment may be presented.
  • the positioning application is an application that executes the same process as the first terminal device 471 of the bed position detection device 470 described above with reference to FIG. 13, for example.
  • a positioning app it becomes possible to assist caregivers in adjusting the bed position.
  • a diaper changing support application may be installed on the third terminal device 810.
  • the third terminal device 810 may perform the same process as the second terminal device 472 of the bed position detection device 470 described above using FIG. 13, for example.
  • a seat sensor 440 together with a reclining wheelchair 510.
  • the seat sensor 440 it is possible to present to the caregiver the results of the forward and lateral shift determination and the determination of the possibility of falling, thereby making it possible to assist the caregiver in adjusting the position of the reclining wheelchair 510.
  • the processing executed by the third terminal device 810 is not limited to the above.
  • the timing of a meal can be estimated based on a meal amount measurement application, and the timing of excretion assistance can be estimated based on processing by an assistance recording device. Therefore, the third terminal device 810 may perform a process of predicting fecal leakage based on the rhythm of eating and defecation.
  • the third terminal device 810 uses as input data the type and amount of laxative, the type of diaper, the amount of food, the amount of water intake, and the timing of food and water intake, and uses a learned model to determine whether there is fecal leakage after a predetermined time. Fecal leakage may be predicted based on the following. Further, the type of diaper, etc. may be recommended as a recommendation.
  • the fourth terminal device 820 may have a GPS sensor, and a monitoring application using the GPS sensor may be installed.
  • a GPS sensor may have a GPS sensor, and a monitoring application using the GPS sensor may be installed.
  • the fourth terminal device 820 may have an application installed thereon that determines the sleeping state, similarly to the third terminal device 810.
  • the fourth terminal device 820 determines the sleeping state of the person being assisted.
  • an MCI determination application that performs the above-described MCI determination may be installed.
  • the information processing system 10 used in home care may also collaborate with a system outside the home.
  • information acquired through home care may be transmitted to a terminal device such as a PC used by a care manager.
  • the processing results at the third terminal device 810 and the fourth terminal device 820 are transmitted to the server system 100, and the server system 100 transmits information based on the acquired processing results to the care manager's terminal device.
  • FIG. 36A to 36C are examples of screens displayed on the care manager's terminal device.
  • FIG. 36A is an example of a home screen, which has two tabs at the top: inside the facility and outside the facility.
  • the in-facility tab is a tab for displaying information regarding the care recipients who reside in a nursing care facility or the like among the care recipients in charge of the care manager. For example, when the in-facility tab is selected, processing may be performed to start up nursing care software that has been separately introduced by the target facility.
  • the out-of-facility tab is a tab for displaying information regarding a person being cared for at home and a caregiver who assists the person being cared for.
  • FIG. 36A illustrates a screen with the outside facility tab selected.
  • the screen shown in FIG. 36A includes an area that displays a list of users and an area that displays detailed information of the user selected in the area.
  • the user here represents the family of the person being cared for who performs home care.
  • four users A to D are displayed in a list, and user A is selected.
  • the plurality of users displayed here may be sorted in descending order of importance to the care manager.
  • the information is sorted in descending order of the degree of deterioration of the sleep state and the degree of deterioration of the care burden of the user who is the assistant. In this way, even if the care manager is in charge of a large number of users, it is possible to clearly indicate which users the care manager should pay attention to.
  • the sorting order is not limited to this, and users who have newly contacted may be placed at the top, or users who have introduced a new device 200 may be placed at the top, and the specific processing can be implemented in various ways. It is.
  • this information may include a graph representing a time-series change in the average value, an icon representing a stage, and the like.
  • a contact button with the user may be displayed in association with user A's sleep state and care burden.
  • a telephone button to call the user and an email button to send an email to the user are displayed.
  • the telephone call application is activated and a call is made to the user's pre-registered telephone number.
  • the e-mail button is selected, the e-mail application is started and an e-mail creation screen with the user's e-mail address filled in is displayed.
  • the method by which the care manager contacts the user is not limited to telephone or email, and a chat application or the like may also be used.
  • the screen in FIG. 36A may display a history of conversations between the care manager and the user.
  • the area where detailed information is displayed may display a data output button.
  • the data output button When the data output button is selected, data regarding the user's sleep state, care burden, etc. is output.
  • the data here may be a csv file or may be data in other formats.
  • FIG. 36B is an example of information displayed when the conversion button selection operation is performed.
  • information shown in FIG. 36B may be displayed instead of the average sleep time change graph shown in FIG. 36A.
  • FIG. 36B is a screen that displays changes in the awake state, sleeping state, and bed leaving state of the care recipient per day for a predetermined number of days. By displaying the screen shown in FIG. 36B, not only the average sleep time but also more detailed information regarding sleep can be presented. For example, it is possible to present information regarding the quality of sleep, such as the presence or absence of mid-awakening and the number of times, to the care manager.
  • the screen shown in FIG. 36B may be similar to the screen used to display sensing data of the detection device 430. In this way, even if the detection device 430 is not installed, it is possible to perform the same display as when the detection device 430 is installed.
  • the area for displaying detailed information may include information regarding the ability information of the person being assisted.
  • the estimation results of ADL changes are displayed based on the respective changes in meal amount, time for toilet assistance, time for bath assistance, and time in bed. For example, as shown in FIG. 36A, it may be displayed that the ability to maintain a sitting position has decreased based on a decrease in the amount of meals or an increase in the amount of time required for assistance at each location. In this way, even when providing home nursing care, it becomes possible to estimate changes in ability information and to notify the care manager or assistant of the changes.
  • sensing data it is possible to obtain data for determining the content of movement, ability to maintain a sitting position, swallowing ability, amount of activity in bed, etc., so it is possible to increase the accuracy of estimation of ability information.
  • sensing data it is possible to obtain data for determining the content of movement, ability to maintain a sitting position, swallowing ability, amount of activity in bed, etc., so it is possible to increase the accuracy of estimation of ability information.
  • sensing data it is not easy to introduce the same device 200 as in a nursing care facility. Therefore, the information that can be acquired is limited to information such as the amount of meals and assistance time, as described above.
  • the accuracy of estimating ability information in home care may be increased by associating information acquired in a nursing care facility with information acquired in home care.
  • the target person is a care recipient who usually provides home care but regularly uses day care.
  • the value of ability information estimated using the nursing care facility device 200 at the time of day care has high reliability as ability information at that timing.
  • ability information for a predetermined period before and after day care is considered to be equivalent to ability information at the time of day care.
  • a machine that uses as input data the amount of meals and assistance hours obtained during home care for a predetermined period before and after day care, and uses data as training data to which ability information estimated at day care has been added as accurate data to the input data. Learning may take place. In this way, it becomes possible to accurately estimate ability information based on information that can be obtained during home care.
  • ability information may be estimated based on content that overlaps between home care and day care.
  • each of the devices 200 described above with reference to FIGS. do.
  • the server system 100 may store table data in which one record is data in which a group of sensing data acquired from each device 200 is associated with capability information.
  • the server system 100 performs a process of extracting records with a high degree of similarity from the table data by comparing the sensing data acquired in home care with the sensing data group included in the table data. Good too. For example, since the sensing data group includes sensing data from the detection device 430, the degree of similarity is calculated based on a comparison process between the sensing data and the sensing data acquired in home nursing care. Then, the server system 100 outputs the ability information included in the records with a high degree of similarity as the ability information of the person being cared for at home. Even in this case, ability information can be estimated with high accuracy based on information that can be obtained during home care.
  • the home screen shown in FIG. 36A may display information regarding the user's reaction to the "notice" presented to the target user.
  • the notification here is, for example, the information shown in FIG. 35.
  • the screen shown in FIG. 36A displays whether or not the user has purchased the device 200 recommended to the user.
  • the user has an intention to purchase the positioning pillow and the accompanying recommended positioning app.
  • the care manager may perform the ordering process for the positioning pillow instead of the user.
  • various applications can be installed on one device 200, but since the user is not an assistance expert, it is difficult to know which application is suitable for assisting the person being assisted. It may not be easy to determine. Therefore, as shown in FIG. 36A, a care manager who has knowledge about assistance may decide which applications to install. Determining the application corresponds to determining the tacit knowledge to be used as described above. In the example of FIG. 36A, tacit knowledge suitable for suppressing the risk of pressure ulcers for a person being assisted with paralysis in the right arm is selected from among several candidates. Further, tacit knowledge may be created for each care facility, and the care manager may be able to select the facility where the tacit knowledge was created on the screen shown in FIG. 36A. For example, when the selected application is installed on the device 200 to be purchased, the product may be shipped with the target application preinstalled based on the selection operation of the manufacturer order button.
  • the device 200 to be purchased for example, a positioning pillow
  • the device 200 on which the application is installed for example, the third terminal device 810
  • information identifying the user and the application may be transmitted to the server system 100 using a selection operation of a manufacturer order button or the like as a trigger.
  • the server system 100 executes a process of transmitting the specified application to the device 200 used by the target user.
  • an appropriate application can be installed on the device 200 without the user himself/herself performing any procedures.
  • the screen of FIG. 36A may be used to change the application during use.
  • the device 200 and applications being used by the target user are displayed on the screen viewed by the care manager, and the application used by the care manager is changed depending on the situation of the person being assisted.
  • the application to be used may be selected from a pull-down menu.
  • the application is uninstalled or installed via the server system 100, for example.
  • FIG. 36C is an example of information that is additionally displayed on the screen of FIG. 36A.
  • the device 200 and applications used by the target user may be displayed on the screen displayed on the care manager's terminal device.
  • the user has installed the swallowing discomfort detection device 460 and is using the normal function as the swallowing discomfort application.
  • the normal function is a function of detecting swallowing and choking, and measuring swallowing time.
  • the care manager may be able to install additional functionality. For example, as shown in FIG. 36C, a function for detecting the presence or absence of a highly dangerous bug may be added. This allows the care manager to add optional functions.
  • the server system 100 may estimate ability information from sensing data acquired during home care, and determine the operation mode of the device 200 based on the ability information.
  • the present invention is not limited to this, and an operation for activating an application may be possible on a screen such as that shown in FIG. 36C. In this way, the care manager can manually change the operation mode depending on the situation. As a result, even in home care where there are few types of sensing data, the operating mode can be changed appropriately according to the situation.

Abstract

情報処理システムは、熟練者の暗黙知に対応する処理を実行するアプリケーションを含むデバイスと、デバイスとの通信のデータリンク層において、MAC(Media Access Control)ヘッダ、フレームボディ、及びトレイラを含むデータフレームを送信するサーバシステムと、を含み、サーバシステムは、能力情報を格納する第1領域、シーン情報を格納する第2領域、及び、デバイス種類情報を格納する第3領域を含む固定長の領域が、フレームボディに含まれる記データフレームを送信し、デバイスは、能力情報、シーン情報及びデバイス種類情報の少なくとも1つに基づいて、アプリケーションのアクティブまたは非アクティブを決定する。

Description

情報処理システム、情報処理装置及び情報処理方法
 本発明は、情報処理システム、情報処理装置及び情報処理方法等に関する。本願は、2022年4月25日に日本で出願された特願2022-071410号に基づき優先権を主張し、その内容をここに援用する。
 従来、介助者が被介助者の介助を行う場面において利用されるシステムが知られている。特許文献1には、居住空間にセンサを配置し、当該センサにより取得された検知情報の時間変化に基づいて、居住空間に居住する居住者の状態に関する提供情報を生成する手法が開示されている。
特開2021-18760号公報
 介助者による被介助者の介助を適切にサポートする情報処理システム、情報処理装置及び情報処理方法等を提供する。
 本開示の一態様は、熟練者の暗黙知に対応する処理を実行するアプリケーションを含むデバイスと、前記デバイスとの通信のデータリンク層において、MAC(Media Access Control)ヘッダ、フレームボディ、及びトレイラを含むデータフレームを送信するサーバシステムと、を含み、前記サーバシステムは、被介助者の活動能力を表す能力情報を格納する第1領域、前記被介助者に対する介助のシーンを特定するシーン情報を格納する第2領域、及び、前記デバイスとともに用いられる併用デバイスの種類を特定するデバイス種類情報を格納する第3領域を含む固定長の領域が、前記フレームボディに含まれる前記データフレームを送信し、前記デバイスは、前記能力情報、前記シーン情報及び前記デバイス種類情報の少なくとも1つに基づいて、前記アプリケーションのアクティブまたは非アクティブを決定する情報処理システムに関係する。
 本開示の他の態様は、熟練者の暗黙知に対応する処理を実行するアプリケーションを含むデバイスとの通信のデータリンク層において、MAC(Media Access Control)ヘッダ、フレームボディ、及びトレイラを含むデータフレームを送信する通信部と、前記通信部を制御する通信処理部と、を含み、前記通信部は、被介助者の活動能力を表す能力情報を格納する第1領域、前記被介助者に対する介助のシーンを特定するシーン情報を格納する第2領域、及び、前記デバイスとともに用いられる併用デバイスの種類を特定するデバイス種類情報を格納する第3領域を含む固定長の領域が、前記フレームボディに含まれる前記データフレームを、前記アプリケーションのアクティブまたは非アクティブを決定する情報として、前記デバイスに送信する情報処理装置に関係する。
 本開示のさらに他の態様は、熟練者の暗黙知に対応する処理を実行するアプリケーションを含むデバイスと、前記デバイスとの通信のデータリンク層において、MAC(Media Access Control)ヘッダ、フレームボディ、及びトレイラを含むデータフレームを送信するサーバシステムとを含む情報処理システムにおける情報処理方法であって、被介助者の活動能力を表す能力情報を格納する第1領域、前記被介助者に対する介助のシーンを特定するシーン情報を格納する第2領域、及び、前記デバイスとともに用いられる併用デバイスの種類を特定するデバイス種類情報を格納する第3領域を含む固定長の領域が、前記フレームボディに含まれる前記データフレームを、前記サーバシステムから前記デバイスに送信し、前記能力情報、前記シーン情報及び前記デバイス種類情報の少なくとも1つに基づいて、前記アプリケーションのアクティブまたは非アクティブを決定する情報処理方法に関係する。
情報処理システムの構成例を示す図である。 デバイスと暗黙知の関係例を示す図である。 サーバシステムの構成例を示す図である。 デバイスの構成例を示す図である。 被介助者の能力と、想定されるリスクの関係例を示す図である。 情報処理システムの処理を説明するシーケンス図である。 情報処理システムの処理を説明するシーケンス図である。 転倒リスクに関するデバイスの具体例を示す図である。 転倒リスクに関するデバイスの具体例を示す図である。 転落リスクに関するデバイスの具体例を示す図である。 転落リスクに関するデバイスの具体例を示す図である。 誤嚥リスクに関するデバイスの具体例を示す図である。 褥瘡リスクに関するデバイスの具体例を示す図である。 褥瘡リスクに関するデバイスの具体例を示す図である。 ベッドポジション調整に用いられる画面例である。 ベッドポジション調整に用いられる画面例である。 看取りケアに用いられる画面例である。 能力に応じたデバイスの動作モード例を示す図である。 情報処理システムの処理を説明するシーケンス図である。 デバイスにおける動作モードの決定処理を説明するフローチャートである。 デバイスにおける動作モードの決定処理を説明するフローチャートである。 嚥下ムセ検出装置と他のデバイスの連携例を説明する図である。 デバイスにおける動作モードの決定処理を説明するフローチャートである。 制御対象デバイスの具体例を示す図である。 制御対象デバイスの具体例を示す図である。 サーバレス通信を行う場合の情報処理システムの構成例を示す図である。 通信処理部及び通信部の構成例を示す図である。 MACフレームの構成例を示す図である。 フレームボディの構成例を示す図である。 data type IDとcontentsの関係例を示す図である。 フレームボディの構成例を示す図である。 data type IDとcontentsの関係例を示す図である。 アクセスカテゴリに応じたパラメータの例を示す図である。 アクセスカテゴリの割り付け例を説明する図である。 在宅介護における情報処理システムの構成例を示す図である。 介助者の端末装置に表示される画面例である。 介助者の端末装置に表示される画面例である。 介助者の端末装置に表示される画面例である。 ケアマネージャの端末装置に表示される画面例である。 ケアマネージャの端末装置に表示される画面例である。 ケアマネージャの端末装置に表示される画面例である。
 以下、本実施形態について図面を参照しつつ説明する。図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
1.システム構成例
 図1は、本実施形態に係る情報処理システム10の構成例である。本実施形態に係る情報処理システム10は、例えば医療施設や介護施設において、介助者の“勘”や“暗黙知”によって行われる作業について、当該“勘”や“暗黙知”をデジタル化することによって、熟練度によらず適切な介助を行えるように、介助者に指示を与えるものである。
 なお、ここでの介助者は、介護施設の介護職員であってもよいし、病院等の医療施設における看護師や准看護師であってもよい。即ち、本実施形態における介助とは、被介助者をサポートする種々の行動を含むものであり、介護を含んでもよいし、注射等の医療に関する行為を含んでもよい。またここでの被介助者は、介助者による介助を受ける者であり、介護施設の入居者であってもよいし、病院に入院や通院を行う患者であってもよい。
 また本実施形態における介助は、家庭において行われてもよい。例えば、本実施形態における被介助者は、在宅介護を受ける要介護者であってもよいし、在宅医療を受ける患者であってもよい。また介助者は、要介護者や患者等の家族であってもよいし、訪問ヘルパー等であってもよい。
 図1に示す情報処理システム10は、サーバシステム100、デバイス200、ゲートウェイ300を含む。ただし、情報処理システム10の構成は図1に限定されず、一部を省略する、他の構成を追加する等の種々の変形実施が可能である。例えば図1では、デバイス200としてスマートフォン等のタブレット型の端末装置、車椅子630に配置される座面センサ440(図10を用いて後述)、ベッド610に載置される検出装置430(図9を用いて後述)を例示しているが、デバイス200の数や種類はこれに限定されない。例えば情報処理システム10は、図8~図14を用いて後述する種々のデバイス200を含んでもよい。また情報処理システム10は、図8~図14に示すデバイス200以外のデバイスを含むことも妨げられない。なお以下では、複数のデバイス200を互いに区別する必要が無い場合、単にデバイス200と表記する。また、構成の省略や追加等の変形実施が可能である点は、後述する図3や図4等においても同様である。
 本実施形態の情報処理装置は、例えばサーバシステム100に対応する。ただし、本実施形態の手法はこれに限定されず、サーバシステム100と他の装置を用いた分散処理によって、情報処理装置の処理が実行されてもよい。例えば、本実施形態の情報処理装置は、サーバシステム100と、デバイス200を含んでもよい。以下、情報処理装置がサーバシステム100である例について説明する。
 サーバシステム100は、例えばネットワークを介してデバイス200と接続される。例えば、サーバシステム100はインターネット等の公衆通信網を介してゲートウェイ300と接続され、ゲートウェイ300はLAN(Local Area Network)等を用いてデバイス200と接続される。例えばゲートウェイ300は、IEEE802.11の規格に従った通信を行うアクセスポイント(AP)であり、デバイス200はIEEE802.11の規格に従った通信を行うステーション(STA)であってもよい。ただし、各機器の間の通信手法については種々の変形実施が可能である。
 サーバシステム100は、1つのサーバであってもよいし、複数のサーバを含んでもよい。例えばサーバシステム100は、データベースサーバとアプリケーションサーバを含んでもよい。データベースサーバは、図3を用いて後述する種々のデータを記憶する。アプリケーションサーバは、図6~図7等を用いて後述する処理を行う。なおここでの複数のサーバは、物理サーバであってもよいし仮想サーバであってもよい。また仮想サーバが用いられる場合、当該仮想サーバは1つの物理サーバに設けられてもよいし、複数の物理サーバに分散して配置されてもよい。以上のように、本実施形態におけるサーバシステム100の具体的な構成は種々の変形実施が可能である。
 デバイス200は、例えば種々のセンサを有し、当該センサによってセンシングされたデータ(以下、センシングデータと記載)に基づいて処理を行う。上述した熟練者の暗黙知のデジタル化は、例えばデバイス200のベンダによって実行されてもよい。例えば熟練者が車椅子での被介助者の姿勢に基づいて、前ずれ横ずれ判定を行う暗黙知を備えていたとする。この場合、座面センサ440によって検出される被介助者の姿勢に対応するセンシングデータを収集し、当該センシングデータに基づいて前ずれ横ずれ判定を行うアプリケーションを作成することによって、上記暗黙知をデジタル化することが可能である。例えばベンダは、座面センサ440及び上記アプリケーションを提供する。その結果として熟練者でない者(例えば新人職員)は熟練者と同等の前ずれ横ずれ判定等を活用できる。
 また1つのデバイス200においてデジタル化される暗黙知は1つに限定されない。例えば、座面センサ440を用いてデジタル化される暗黙知は、前ずれ横ずれ判定に限定されず、転落可能性の判定行うものや、前ずれ横ずれ判定と転落可能性の両方を組み合わせるものを含んでもよい。前ずれ横ずれ判定とは、被介助者の姿勢の良し悪しの判定に対応し、転落可能性の判定とは、座面からのずり落ちの判定に対応する。また前ずれ横ずれ判定においても、どの程度のずれを前ずれや横ずれと判定するかの判定基準、判定処理内容等が異なる複数の暗黙知が存在しうる。よって各デバイス200は、1又は複数の暗黙知に対応する処理を実行可能であって、各暗黙知に対応する処理を実行するか否かを切り替えてもよい。例えばベンダは暗黙知をアプリケーションソフトウェア(以下、単にアプリケーションとも表記する)として実装し、サーバシステム100に登録してもよい。各デバイス200は、登録されたアプリケーションのうち、実行可能性のあるアプリケーションをダウンロード、インストールすることによって、暗黙知に対応する処理を実行する。
 図2は、デバイス200と暗黙知(アプリケーション)の関係例を示す図である。図2ではサーバシステム100に接続されるデバイス200として、デバイス200a~200eの5つを例示している。図2の例では、デバイス200aに暗黙知1及び暗黙知2の2つの暗黙知が対応付けられる。例えばデバイス200aに暗黙知1及び暗黙知2のアプリケーションがインストール済みの状態である。デバイス200aは例えば後述する転倒リスクに関するデバイスであってもよい。具体的には、デバイス200aは座面センサ440であって、暗黙知1は前ずれ横ずれ判定に関する暗黙知であり、暗黙知2は転落可能性判定に関する暗黙知であってもよい。暗黙知1及び暗黙知2に対応する処理結果は、例えばサーバシステム100に送信される。
 デバイス200b及びデバイス200cは、例えば後述する誤嚥リスクに関するデバイスであり、それぞれが誤嚥リスク等に対処するための複数の暗黙知と対応付けられる。デバイス200d及びデバイス200eは、例えば後述する褥瘡リスクに関するデバイスであり、それぞれが褥瘡リスク等に対処するための複数の暗黙知と対応付けられる。このようにすれば、種々のデバイスを用いて多様な暗黙知をデジタル化することが可能である。なおここでは1つのデバイス200につき2つの暗黙知を例示しているが、1つのデバイス200と対応付けられる暗黙知の数はこれに限定されない。
 本実施形態の手法では、状況に応じて使用する暗黙知を切り替えることが可能である。例えば、図2に示した暗黙知1~暗黙知10はその全てを使用する必要はなく、必要に応じて使用/不使用が切り替えられる。暗黙知の切り替えは、使用するデバイス200を切り替えることによって実現されてもよい。例えば転倒リスクが高いが、誤嚥リスク及び褥瘡リスクが低い被介助者を対象とする場合、デバイス200aが使用され、デバイス200b-200eは使用されない。このようにすれば、暗黙知1及び暗黙知2の少なくとも一方が使用され、他の暗黙知が使用されないため、被介助者にとって必要性の高い暗黙知を適切に使用することが可能になる。また被介助者の誤嚥リスクが高まった場合にはデバイス200bやデバイス200cを使用することによって、使用する暗黙知の切り替えが可能である。また誤嚥リスクに対処する場合にも、デバイス200bのみを使用するケース、デバイス200cのみを使用するケース、デバイス200bと200cの両方を使用するケース等が切り替えられてもよい。このようにすれば、例えば誤嚥リスクが高い場合に、図2の暗黙知3~暗黙知6のうち、必要な暗黙知を使用できる。褥瘡リスクが高まった場合も同様であり、デバイス200dやデバイス200eを使用することによって、使用する暗黙知の切り替えが可能である。また転倒リスクが低下した場合にデバイス200aの使用を停止する等の切り替えも可能である。
 また暗黙知の切り替えは、使用するデバイス200を維持しつつ、当該デバイス200内で使用する暗黙知を切り替えることによって実現されてもよい。例えばデバイス200aにおいて、暗黙知1のみを使用するケース、暗黙知2のみを使用するケース、暗黙知1と暗黙知2の両方を使用するケース等を切り替えてもよい。この処理は、例えば各暗黙知に対応するアプリケーションのアクティブ/非アクティブを制御することによって実現できる。
 そして暗黙知の切り替えは、被介助者の能力情報を用いて実行されてもよい。ここでの能力情報は、被介助者の活動能力を表す情報であって、例えばデバイス200が何らかの暗黙知を用いた処理を行った結果として求められる情報である。能力情報は、例えば転倒リスク、誤嚥リスク、褥瘡リスクの高低に関連する情報であってもよい。能力情報の詳細については後述する。
 例えば、あるデバイス200において暗黙知の処理結果が求められた場合に、同じデバイス200の中で使用する暗黙知を切り替える処理が行われてもよい。例えば図2のデバイス200aでの暗黙知1の処理結果に基づいて、暗黙知1に対応するアプリケーションと暗黙知2に対応するアプリケーションのアクティブ/非アクティブが切り替えられてもよい。
 また、あるデバイス200において暗黙知の処理結果が求められた場合に、当該処理結果が他のデバイス200に影響を与えてもよい。例えばデバイス200aでの暗黙知1の処理結果に基づいて、デバイス200bで使用する暗黙知が切り替えられる。例えば、デバイス200bが使用されていない状態から、デバイス200bが使用される状態への切り替えが行われてもよい。あるいは、デバイス200bに対応付けられた暗黙知3及び暗黙知4について、個別にアクティブ/非アクティブが切り替えられてもよい。
 また暗黙知の切り替えは、能力情報に基づくものに限定されず、被介助者の介助シーンや、複数のデバイス200の併用状況等に基づいて実行されてもよい。暗黙知の切り替えに用いられる情報、及び、暗黙知を切り替える処理の詳細については後述する。
 なお、デバイス200と暗黙知の対応関係は柔軟に変更することが可能である。例えば、複数のデバイス200を用いて取得されたセンシングデータに基づいて、1つの暗黙知に対応する処理が実行されてもよい。例えばデバイス200aで取得されたセンシングデータ、及び、デバイス200bで取得されたセンシングデータに基づいて、暗黙知1に対応する処理が実行されてもよい。このようにすれば、処理に用いるセンシングデータの種類を増やせるため、処理精度の向上等が可能である。上記の例において、暗黙知1に対応する処理は、デバイス200aで行われてもよいし、デバイス200bで行われてもよいし、デバイス200aとデバイス200bの分散処理により実現されてもよい。さらに言えば、暗黙知に対応する処理は、センシングデータを取得するデバイス200で実行されるものに限定されない。例えばデバイス200aで取得されたセンシングデータ、及び、デバイス200bで取得されたセンシングデータに基づいて、デバイス200aとデバイス200bの何れとも異なるデバイス200において、暗黙知1に対応する処理が実行されてもよい。例えば図1において、座面センサ440で取得されたセンシングデータや検出装置430で取得されたセンシングデータに基づいて、スマートフォンであるデバイス200が暗黙知に対応する処理を実行してもよい。
 なお、以上ではデバイス200のベンダによって暗黙知がデジタル化される例を説明したがこれには限定されない。例えば、デバイス200を利用する介助者が、自身の暗黙知をデジタル化することも妨げられない。例えば当該介助者は、暗黙知に対応するアプリケーションを作成し、当該アプリケーションをサーバシステム100に登録してもよい。このようにすれば、暗黙知のデジタル化、及び利用を促進することが可能になる。
 図3は、サーバシステム100の詳細な構成例を示すブロック図である。サーバシステム100は、例えば処理部110と、記憶部120と、通信部130を含む。
 本実施形態の処理部110は、下記のハードウェアによって構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された1又は複数の回路装置や、1又は複数の回路素子によって構成できる。1又は複数の回路装置は例えばIC(Integrated Circuit)、FPGA(field-programmable gate array)等である。1又は複数の回路素子は例えば抵抗、キャパシター等である。
 また処理部110は、下記のプロセッサによって実現されてもよい。本実施形態のサーバシステム100は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。メモリは、記憶部120であってもよいし、他のメモリであってもよい。プロセッサは、ハードウェアを含む。プロセッサは、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。メモリは、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリなどの半導体メモリであってもよいし、レジスタであってもよいし、ハードディスク装置(HDD:Hard Disk Drive)等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、処理部110の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
 処理部110は、例えば能力情報取得部111、シーン情報取得部112、デバイス種類情報取得部113、通信処理部114を含む。
 能力情報取得部111は、被介助者の活動能力を表す能力情報を取得する処理を行う。例えば、能力情報取得部111は、デバイス200からセンシングデータを取得する。ここでのセンシングデータは、例えば所定期間におけるログデータであってもよい。能力情報取得部111は、ログデータに基づいて、被介助者の状態の時系列的な変化を求め、当該変化に基づいて能力情報を推定する。ここでの能力情報は、日常的な動作(ADL:Activities of Daily Living)に関する指標情報であってもよい。例えばバーセル指数等、ADLを評価する手法は種々知られており、本実施形態ではそれらを広く適用可能である。また能力情報は、“Frailty and the potential kidney transplant recipient: time for a more holistic assessment?”, Henry H.L. Wu等に、Clinical Frailty Scaleとして開示されている9段階の指標が用いられてもよい。例えば本実施形態の能力情報取得部111は、センシングデータに基づいて被介助者が当該9段階のうちの何れの段階に属するかを判定する。
 なお、能力情報はデバイス200等において求められてもよい。能力情報取得部111は、通信部130を介して、当該デバイス200等から能力情報を取得する処理を実行してもよい。
 シーン情報取得部112は、被介助者の介助が行われるシーンを判定する。ここでのシーン情報とは、食事介助、排泄介助、移動・移乗介助等、実行される介助の種類を特定する情報であってもよい。またシーン情報は、被介助者の介助を実行する介助者の数や熟練度等、介助者に関する情報であってもよい。またシーン情報は、被介助者の属性等、被介助者に関する情報であってもよい。例えばシーン情報取得部112は、ユーザ入力や介助者のスケジュール等に基づいてシーン情報を求める処理を行う。
 デバイス種類情報取得部113は、対象となるデバイス200とともに動作するデバイス200の種類を特定する情報である。ここでのデバイス種類とは、車椅子、ベッド等の大まかな分類を表すものであって、ベンダを区別しない情報であってもよい。例えば第1ベンダの車椅子と、第1ベンダと異なる第2ベンダの車椅子のデバイス種類が同一であってもよい。例えばデバイス種類情報取得部113は、対象となるデバイス200を使用する被介助者(あるいは当該被介助者を介助する介助者)が使用する他のデバイス200を特定し、当該他のデバイス200の種類を表す情報をデバイス種類情報として取得する処理を行ってもよい。
 通信処理部114は、通信部130を用いた通信を制御する。例えば通信処理部114は、データリンク層におけるMACフレーム等、送信対象となるデータを作成する処理を実行する。また通信処理部114は、通信部130が受信したデータに対して、フレーム構造の解釈等を行い、必要なデータを抽出し、アプリケーション等の上位層に出力する処理を行ってもよい。
 記憶部120は、処理部110のワーク領域であって、種々の情報を記憶する。記憶部120は、種々のメモリによって実現が可能であり、メモリは、SRAM、DRAM、ROM、フラッシュメモリなどの半導体メモリであってもよいし、レジスタであってもよいし、磁気記憶装置であってもよいし、光学式記憶装置であってもよい。
 記憶部120は、ユーザ情報121、デバイス情報122、アプリケーション情報123を記憶してもよい。
 本実施形態の手法では、例えば暗黙知はアプリケーションとしてサーバシステム100に登録されている。そして暗黙知を利用する各ユーザは、デバイス200をシステムに登録した上で、必要なアプリケーションを当該デバイス200にダウンロードして利用してもよい。
 ユーザ情報121は、情報処理システム10のユーザを一意に特定するユーザIDやユーザ名等の情報、当該ユーザによって利用されているデバイス200を一意に特定する情報であるデバイスID等を含む。
 デバイス情報122は、デバイス200に関する情報であって、デバイスID、デバイス200の種類を表すデバイス種類ID、ベンダ、インストール済のアプリケーションのアプリケーションID等を含む。アプリケーションIDは、アプリケーションを一意に特定する情報である。
 アプリケーション情報123は、アプリケーションに関する情報であり、アプリケーションID、アプリケーション名、作成者等を含む。またアプリケーション情報は、アプリケーションの具体的な処理内容を特定する情報を含んでもよい。処理内容を特定する情報は、プログラムのソースコードであってもよいし、実行ファイルであってもよい。またアプリケーションが学習済モデルに対応する場合、当該学習済モデルの構造の情報を含んでもよい。例えば学習済モデルがニューラルネットワーク(以下NNと記載)である場合、学習済モデルの構造とは、NNの層の数、各層に含まれるノード数、ノード間の接続関係、重み、活性化関数等を含む。
 ユーザ情報121を用いることによって、情報処理システム10を利用するユーザを適切に管理することが可能になる。またデバイス情報122を参照することによって、各ユーザが使用するデバイス200の詳細を確認することが可能になる。さらに、アプリケーション情報123を参照することによって、サーバシステム100に登録された各アプリケーションの詳細を確認することが可能になる。
 通信部130は、ネットワークを介した通信を行うためのインターフェイスであり、サーバシステム100が無線通信を行う場合、例えばアンテナ、RF(radio frequency)回路、及びベースバンド回路を含む。ただしサーバシステム100は有線通信を行ってもよく、その場合の通信部130は、イーサネットコネクタ等の通信インターフェイス及び、当該通信インターフェイスの制御回路等を含んでもよい。通信部130は、通信処理部114による制御に従って動作する。ただし通信部130が、通信処理部114とは異なる通信制御用のプロセッサを含むことも妨げられない。通信部130は、例えばIEEE802.11やIEEE802.3に規定された方式に従った通信を行ってもよい。ただし具体的な通信方式は種々の変形実施が可能である。
 図4は、デバイス200の詳細な構成例を示すブロック図である。デバイス200は、例えば処理部210と、記憶部220と、通信部230と、表示部240と、操作部250を含む。なお図8~図14を用いて後述するように、本実施形態の手法では種々の態様のデバイス200を用いることが可能である。各デバイス200の構成は図4に限定されず、一部の構成を省略する、他の構成を追加する等の変形実施が可能である。例えばデバイス200は、加速度センサやジャイロセンサ等のモーションセンサ、撮像センサ、圧力センサ、GPS(Global Positioning System)センサ等、デバイス200に応じた種々のセンサを有してもよい。
 処理部210は、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むハードウェアによって構成される。また処理部210は、プロセッサによって実現されてもよい。プロセッサは、CPU、GPU、DSP等、各種のプロセッサを用いることが可能である。デバイス200のメモリに格納された命令をプロセッサが実行することによって、処理部210の機能が処理として実現される。
 記憶部220は、処理部210のワーク領域であって、SRAM、DRAM、ROM等の種々のメモリによって実現される。
 通信部230は、ネットワークを介した通信を行うためのインターフェイスであり、例えばアンテナ、RF回路、及びベースバンド回路を含む。通信部230は、例えばネットワークを介して、サーバシステム100との通信を行う。通信部230は、例えばIEEE802.11の規格に準拠した無線通信をゲートウェイ300との間で実行し、当該ゲートウェイ300を介してサーバシステム100との通信を行ってもよい。
 表示部240は、種々の情報を表示するインターフェイスであり、液晶ディスプレイであってもよいし、有機ELディスプレイであってもよいし、他の方式のディスプレイであってもよい。操作部250は、ユーザ操作を受け付けるインターフェイスである。操作部250は、デバイス200に設けられるボタン等であってもよい。また表示部240と操作部250は、一体として構成されるタッチパネルであってもよい。
 またデバイス200は、発光部、振動部、音入力部、音出力部等、図4には不図示の構成を含んでもよい。発光部は例えばLED(light emitting diode)であり、発光による報知を行う。振動部は例えばモータであり、振動による報知を行う。音入力部は例えばマイクである。音出力部は例えばスピーカであり、音による報知を行う。
2.能力情報に基づくデバイス制御
 本実施形態の情報処理システム10は、図1に示したようにサーバシステム100とデバイス200を含む。そしてデバイス200は、複数の動作モードの何れかで動作してもよい。本実施形態における動作モードとは、使用する暗黙知(アプリケーション)の組み合わせによって決定されるものであってもよい。例えば上述したように、デバイス200は、異なる暗黙知に対応する複数のアプリケーションをインストール可能であり、当該複数のアプリケーションのそれぞれについて、アクティブ/非アクティブを切り替える。このようにすれば、状況に応じて利用する暗黙知を適切に切り替えることが可能になる。
 特にサーバシステム100(能力情報取得部111)は、デバイスから送信されたセンシングデータに基づいて、被介助者の活動能力を表す能力情報を求めてもよい。そしてサーバシステム100は、求めた能力情報をデバイス200に送信する。デバイス200は、受信した能力情報に基づいて、複数の動作モードのうちのいずれで動作するかを決定する。被介助者の能力情報の変化に合わせて実施すべき介助が変化するため、デバイス200の望ましい動作が変化する可能性があるところ、本実施形態の手法によれば、能力情報に合わせて動作モードを適切に切り替えることが可能になる。例えば、デバイス200は能力情報に応じてアプリケーションのアクティブ/非アクティブ(暗黙知の使用/不使用)を適切に切り替えることが可能である。以下、能力情報に基づく処理について説明する。
2.1 概要
 図5は、被介助者の能力情報と、想定されるリスクの関係例を示す図である。例えば被介助者の能力が十分高い場合、日常的な動作を他者の介助なしに実行することが可能であるため、日常におけるリスクは高くない。しかし能力の低下が始まると、例えば被介助者はまず起居動作を行うことが難しくなる。起居動作とは、立ち上がる動作や座る動作を表す。この場合、起居動作を含めた動き出し動作の際にバランスをとることが難しくなるため、被介助者の転倒リスクが増大する。動き出し動作とは、動きが小さい状態(狭義には静止した状態)から動き始める動作を表す。一方で、この段階では動き出し以外の日常的な動作には支障が少ないことが想定される。例えば被介助者は、座位状態を長時間保持すること、立ち上がった後に歩行器等を用いて歩行すること、食事をある程度自由にとること、等が可能である。
 さらに能力が低下すると、例えば被介助者は歩行を行うことが困難になり、車椅子等を用いた移動介助が必要となる。この場合、動き出しにおける転倒リスクが高い状態は上述の例と同様であるが、さらに座位状態を保持する能力も低下するため、転落リスクを考慮する必要も生じる。例えばこの段階の被介助者は、ベッドや車椅子に座っている状態でもバランスを崩してベッドのマットレスや車椅子の座面から転落する可能性がある。
 さらに能力が低下すると、例えば被介助者は食事をうまく取ることができなくなる。例えば、嚥下能力が低下するため、誤嚥リスクが高くなる。誤嚥リスクとは、例えば誤嚥性肺炎が発生する可能性が高くなることを表す。この段階では、被介助者は体を動かすことが可能であると考えられるため、上述の転倒リスク及び転落リスクが高い状態は維持され、さらに誤嚥性肺炎リスクを考慮する必要が生じる。
 さらに能力が低下すると、例えば被介助者は日常的な動作の大部分において介助が必要となる寝たきりの状態に移行する。この場合も、ベッドでのオムツ交換や、車椅子等での移動の可能性があるため、転落リスクは高い。また胃瘻等の特別の事情がなければ経口での食事が継続されるため、誤嚥性肺炎リスクも高い。さらに、ベッドにいる時間が非常に長く、自発的な寝返りも容易でなくなるため、褥瘡リスクも高くなる。一方で、寝たきりの場合には被介助者が自ら動き出すことは想定されないため、動き出し時の転倒リスクは低くなる。
 図5に示したように、被介助者の能力に応じて、想定されるリスクが異なるため、介助者が行うべき介助も変化する。そのため、デバイス200を用いてデジタル化された暗黙知を利用する場合、用いるべき暗黙知も能力に応じて変化する。その点、本実施形態では能力情報に応じてデバイス200の動作モードを設定できるため、能力変化に応じた処理を実行可能である。例えば、介護施設等において10人程度の被介助者をユニットとして介助を行う場合、当該ユニット内に能力の異なる被介助者が混在することも考えられるが、本実施形態の手法によれば介助者が被介助者毎に必要な介助を手動で設定する必要が無い。即ち、複数の被介助者を担当する場合であっても、介助者の負担を増大させることなく、適切な動作モードを設定することが可能である。
 なお図5では上から下に向かって能力が低下する場合を例に説明を行ったが、能力変化の方向はこれに限定されない。例えば疾病の治癒や寛解、リハビリの実施等により能力が回復することもある。本実施形態の手法は能力に応じて動作モードを設定するものであるため、能力が回復する場合にも柔軟に対応可能である。また図5では、「起居できない」、「歩行できない」、「食事がうまくできない」、「寝たきり」の4段階を例示したが、能力情報によって表される能力の段階はこれに限定されず、一部の段階が省略されてもよいし、他の段階が追加されてもよい。また歩行はできるため転倒リスクは低いものの、嚥下能力が低下したため誤嚥リスクが高くなっているといった状態が考慮されてもよい。即ち上記4つの段階は、上述の順に変化していくものに限定されず、より複雑な組み合わせが考慮されてもよい。
 図6は、サーバシステム100及びデバイス200の動作を説明するシーケンス図であって、デバイス200が暗黙知に対応する処理を実行する前に実行される前処理を説明する図である。
 まずステップS101において、サーバシステム100は、予めアプリケーションの登録を受け付ける処理を行う。例えば、上述したようにアプリケーションはそれぞれが暗黙知に対応し、デバイス200のベンダ等によって作成される。アプリケーションの作成者は、例えば任意の端末装置(PCやスマートフォン等)を用いて本実施形態の情報処理システム10にログインを行った後、当該端末装置の表示部に表示される不図示のベンダ画面を用いて、アプリケーションをサーバシステム100に登録する処理を行う。サーバシステム100の処理部110は、登録されたアプリケーションに関する情報を、アプリケーション情報123として記憶部120に記憶する。ここでは、ベンダによって作成されたアプリケーションであるベンダアプリ1~ベンダアプリ3が登録されている例を示している。
 ステップS102において、デバイス200を使用するユーザの操作に基づいて、デバイス200の登録リクエストをサーバシステム100に送信する。ここでのユーザは、暗黙知を利用する介助者であってもよいし、介護施設の管理者等であってもよい。例えばユーザは、新たなデバイス200を自身の環境に導入する際にステップS102の処理を実行する。例えばユーザは、デバイス200の操作部、または、デバイス200と接続される端末装置の操作部を用いて情報処理システム10にログインを行った後、不図示のユーザ画面を用いてデバイス200をサーバシステム100に登録する処理を行う。登録リクエストは、例えばユーザを特定するユーザIDと、デバイス200のベンダや型番等の情報を含む。
 ステップS103において、サーバシステム100の処理部110は、登録リクエストに基づく処理を実行する。例えば処理部110は、対象のデバイス200に対して、デバイス200を一意に特定するデバイスIDを付与し、当該デバイスIDをデバイス200に送信する。また処理部110は、ログインユーザと、登録リクエストのあったデバイス200を対応付ける処理を実行してもよい。例えばログインユーザのユーザ情報121に、登録リクエストのあったデバイス200のデバイスIDを追加する処理を行ってもよい。また処理部110は、デバイス情報122に、登録リクエストのあったデバイス200のデバイスIDと、当該デバイス200のデバイス種類ID等を対応付けて記憶してもよい。デバイス種類IDは、例えば登録リクエストに含まれるベンダや型番等の情報に基づいて特定可能である。以上の処理によって、新たに導入されるデバイス200が情報処理システム10に登録される。
 次にステップS104において、デバイス200を使用するユーザの操作に基づいて、デバイス200が使用するアプリケーションを選択する。例えば、登録済みのデバイス200がサーバシステム100にアクセスした場合、サーバシステム100は、当該デバイス200において使用可能なアプリケーション一覧画面を返信してもよい。ユーザは、一覧表示されたアプリケーションの中から、使用するアプリケーションを選択するユーザ操作を行う。ここでは、ステップS101に示す処理で登録されていたベンダアプリ1~ベンダアプリ3を含むアプリケーションが一覧表示されており、ユーザはベンダアプリ1~ベンダアプリ3の選択操作を行った例を考える。
 ステップS105において、サーバシステム100は、選択されたアプリケーションのダウンロードを許可し、デバイス200は選択されたアプリケーションのダウンロードを実行する。またサーバシステム100は、デバイス200と、当該デバイス200にダウンロードされたアプリケーションを対応付ける処理を行ってもよい。例えば処理部110は、デバイス200に関するデバイス情報122に、ベンダアプリ1~ベンダアプリ3に対応するアプリケーションIDを追加する処理を実行する。
 ステップS106において、デバイス200は、ダウンロードしたベンダアプリ1~ベンダアプリ3をインストールする処理を実行する。これにより、デバイス200は、複数の動作モードの何れかで動作することが可能になる。例えば、デバイス200は、ベンダアプリ1~ベンダアプリ3のそれぞれについて、アクティブ/非アクティブを切り替えてもよい。この場合、デバイス200は、2=8通りの動作モードを選択可能である。なお本実施形態では、ベンダアプリ1~ベンダアプリ3の全てが非アクティブである状態も1つの動作モードと考える。また、アプリケーションと動作モードの関係はこれに限定されない。例えば複数のアプリケーションは排他的に動作するものであってもよい。上記の例であれば、デバイス200は、全てのベンダアプリが非アクティブであるモード、ベンダアプリ1のみがアクティブであるモード、ベンダアプリ2のみがアクティブであるモード、及び、ベンダアプリ3のみがアクティブであるモードの4つの動作モードを設定可能であってもよい。
 図7は、サーバシステム100及びデバイス200の動作を説明するシーケンス図であって、被介助者の能力情報に基づいて、デバイス200の動作モードが変化する例を説明する図である。
 まずステップS201において、サーバシステム100は、デバイス200に対して能力情報を含むデータを送信する処理を行う。図7では、ADLの指標値が2であるデータが送信された例を示している。
 ステップS202において、デバイス200は、取得した能力情報に基づいて、インストール済のベンダアプリのアクティブ/非アクティブを制御する。例えばデバイス200の記憶部220は、能力情報と、動作モードを対応付けた情報を記憶してもよい。デバイス200の処理部210は、当該情報と、サーバシステム100から取得した能力情報とに基づいて、動作モードを求める処理を行う。例えば記憶部220は、ADLの指標値と、各アプリケーションのアクティブ/非アクティブとを対応付けたテーブルデータを記憶してもよい。処理部210は、当該テーブルデータのうち、受信したADLの指標値に合致するレコードを抽出することによって、各アプリケーションのアクティブ/非アクティブを決定する。ここでは、ベンダアプリ1~ベンダアプリ3のうち、ベンダアプリ1及び2がアクティブとなり、ベンダアプリ3が非アクティブとなる動作モードが設定される。ただし、能力情報に基づいて動作モードを決定する処理は上記の例に限定されず、種々の変形実施が可能である。
 ステップS202の処理後、デバイス200は、ベンダアプリ1に従った処理、及びベンダアプリ2に従った処理を実行する。具体的にはデバイス200の処理部210は、センサを用いてセンシングデータを取得し、当該センシングデータを入力として、アプリケーションに規定された処理を実行することによって処理結果を求める。ステップS203において、デバイス200は、処理結果をサーバシステム100に送信する。ここでの処理結果とは、熟練者の暗黙知を用いて実行された判断の結果に相当する。またここでサーバシステム100に送信される情報は、処理結果に限定されず、センシングデータのログ等の情報を含んでもよい。
 ステップS204において、サーバシステム100は、デバイス200から受信した処理結果に基づく制御を実行する。例えば、処理部110は、制御対象デバイスを特定し、当該制御対象デバイスを動作させる制御信号を送信する処理を行ってもよい。ここでの制御対象デバイスは、図23を用いて後述するリクライニング車椅子510や図24を用いて後述する介護ベッド520であってもよい。この場合の制御信号とは、リクライニング車椅子510の背面部の角度や介護ベッド520のボトム角度の変更を指示する信号であってもよい。また制御信号とは、制御対象デバイスに対して報知の実行を指示する信号であってもよい。例えば、制御対象デバイスは表示部や発光部等の報知部を含むデバイスであって、制御信号は、画像の表示や発光等を用いた報知の実行を制御対象デバイスに指示する信号である。
 また、デバイス200での処理結果に基づいて制御対象デバイスや制御内容を決定する処理は、サーバシステム100の処理部110が行ってもよいし、デバイス200の処理部210が行ってもよい。後者の場合、ステップS203において、処理結果に加えて、制御対象デバイスや制御内容を特定する情報が送信されてもよい。またデバイス200やサーバシステム100は制御対象デバイスの特定のみを行い、具体的な制御内容の決定は制御対象デバイスにおいて実行されてもよい。この場合、ステップS203及びS204では、それぞれ処理結果を送信する処理が実行される。その他、制御対象デバイス及び制御信号等については種々の変形実施が可能である。例えば制御対象デバイスがデバイス200であってもよい。またステップS204において、サーバシステム100は、デバイス200から送信されたセンシングデータのログを記憶部120に記憶する処理を行ってもよい。
 またステップS205において、サーバシステム100は、被介助者の能力情報を更新する処理を実行する。例えば能力情報取得部111は、上記センシングデータのログに基づいて、能力情報を求めてもよい。例えばサーバシステム100の記憶部120は、センシングデータと能力情報を対応付ける情報を記憶してもよい。処理部110は、当該情報と、デバイス200から送信されたセンシングデータとに基づいて、能力情報を求める処理を実行する。ここで、センシングデータと能力情報を対応付ける情報とは、学習済モデルであってもよい。ここでの学習済モデルを生成するための訓練データは、例えば、被介助者に関連するセンシングデータに対して、専門的な知識を有するもの(例えば医師や熟練の介助者等)が判断した当該被介助者の能力情報が正解データとして付与されたデータである。正解データは、上述したように、能力を表す指標値であってもよいし、個別の能力(後述する座位保持能力、嚥下能力等)の有無や高低を表す情報の集合であってもよい。処理部110は、学習済モデルにセンシングデータを入力することによって能力情報を求める。あるいは記憶部120が記憶する情報は、能力情報との対応関係が既知のセンシングデータである基準データであってもよい。処理部110は、取得されたセンシングデータと当該基準データの類似度を判定し、当該類似度に基づいて能力情報を求めてもよい。ここでの基準データは、例えば能力の高い被介助者を対象として取得されたセンシングデータであってもよい。この場合、基準データとの類似度が高い場合、能力値が高いと判定され、類似度が低い場合能力値が低いと判定される。また基準データは、能力の低い被介助者を対象として取得されたセンシングデータ等、他の情報であってもよい。また処理部110は、現在の能力情報を処理に用いてもよい。例えば処理部110は、センシングデータに基づいて能力情報の変化量を求め、当該変化量と現在の能力情報とに基づいて、更新後の能力情報を求めてもよい。能力情報を求める処理の具体例については後述する。またステップS205の処理において、介助者が入力するレポートや、医師等による診察結果等、センシングデータ以外の情報が用いられてもよい。
 ステップS206において、サーバシステム100は、デバイス200に対して、更新後の能力情報を含むデータを送信する処理を行う。図7では、ADLの指標値が3であるデータが送信された例を示している。
 ステップS207において、デバイス200は、取得した能力情報に基づいて、インストール済のベンダアプリのアクティブ/非アクティブを制御する。例えばデバイス200は上述したように、テーブルデータに基づいて各ベンダアプリのアクティブ/非アクティブを決定する。図7の例では、ベンダアプリ1及び2はアクティブな状態が維持され、且つ、ベンダアプリ3が非アクティブからアクティブに変更される。これにより、ステップS207以降では、デバイス200は、ベンダアプリ1~ベンダアプリ3の全てがアクティブとなる動作モードによって動作する状態に移行する。ステップS207以降の動作は、例えばステップS203-S206と同様である。
 なお本実施形態の手法は、サーバシステム100とデバイス200を含む情報処理システム10に適用されるものに限定されず、情報処理装置に適用されてもよい。ここでの情報処理装置とは、狭義にはサーバシステム100である。情報処理装置は、複数の動作モードの何れかで動作し、被介助者の介助に用いられるデバイス200と通信を行う通信部(図3の通信部130に対応)と、デバイス200から送信されたセンシングデータに基づいて、被介助者の活動能力を表す能力情報を求める処理を行う処理部(図3の処理部110、狭義には能力情報取得部111に対応)と、を含む。そして情報処理装置の処理部は、デバイス200が複数の動作モードのうちのいずれで動作するかを決定する情報として、能力情報を、通信部を介してデバイス200に送信する処理を行う。このようにすれば、デバイス200から収集した情報に基づいて被介助者の能力情報の推移を推定するとともに、当該能力情報に応じてデバイス200を動作させることが可能になる。
 また、本実施形態の情報処理システムが行う処理の一部又は全部は、プログラムによって実現されてもよい。情報処理システムが行う処理とは、例えばサーバシステム100の処理部110が行う処理及びデバイス200の処理部210が行う処理の少なくとも一方を含むである。同様に、本実施形態の情報処理装置が行う処理の一部又は全部は、プログラムによって実現されてもよい。
 本実施形態に係るプログラムは、例えばコンピュータによって読み取り可能な媒体である非一時的な情報記憶装置(情報記憶媒体)に格納できる。情報記憶装置は、例えば光ディスク、メモリーカード、HDD、或いは半導体メモリなどによって実現できる。半導体メモリは例えばROMである。処理部110等は、情報記憶装置に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶装置は、処理部110等としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。具体的には本実施形態に係るプログラムは、図6、図7等を用いて上述した各ステップを、コンピュータに実行させるためのプログラムである。
 また本実施形態の手法は、複数の動作モードの何れかで動作し、被介助者の介助に用いられるデバイス200と、デバイス200とネットワークを介して接続されるサーバシステム100と、を含む情報処理システム10における情報処理方法に適用できる。情報処理方法は、デバイス200によって取得されたセンシングデータに基づいて、被介助者の活動能力を表す能力情報を求めるステップと、求めた能力情報に基づいて、デバイス200が複数の動作モードのうちのいずれで動作するかを決定するステップと、を含む。
 以下では、図5に示した各段階を例に、具体的なデバイス200や、当該デバイス200において実行される処理について説明する。
2.2 起居できない
<デバイス及び動作の例:転倒リスク判定>
 まず起居動作が難しくなった状態において、動き出し時の転倒リスクに対応するためのデバイス200について説明する。図8~図9は、動き出し時の転倒リスク判定に用いられるデバイス200の例である。
 図8は、被介助者を撮像する撮像装置410の例、及び撮像装置410の出力画像IM1の例を示す図である。撮像装置410は、図4に示した各構成に加えて、センシングデータとして撮像画像を出力するイメージセンサを有する。撮像装置410は、介護施設のリビングやホール等、多人数がまとまって活動する場所に配置されてもよい。図8の例では、撮像装置410はテレビジョン装置の上部に配置される。
 撮像装置410の処理部210は、撮像画像に基づいて人物の動き出しを検知する処理を行ってもよい。処理部210は、例えば撮像装置410にインストールされるアプリケーションに従って動作することによって、撮像画像を入力データとして取得し、当該撮像画像から人物を検出する処理、及び、検出された人物の動き出しの有無を判定する処理を実行する。
 例えば撮像装置410は、撮像画像に基づいて人物の顔を認識する顔認識処理を行う。例えば撮像装置410の記憶部220は、検出対象となる人物の顔画像を記憶しており、処理部210は、当該顔画像をテンプレートとするマッチング処理に基づいて顔認識処理を行ってもよい。また顔認識処理は種々の手法が知られており、本実施形態ではそれらを広く適用可能である。例えば撮像装置410は、検出された顔領域の動きが所与の閾値以下の状態が一定時間継続した場合に、当該状態での顔領域の位置を基準位置に設定する。そして撮像装置410は、当該基準位置から所定距離離れた位置に検出領域を設定し、顔領域が当該検出領域に到達した場合に、動き出しがあったと判定してもよい。例えば、立ち上がり動作が行われた場合、顔の位置は相対的に上方に移動することが想定されるため、上記検出領域は基準位置に比べて所定距離だけ上方の位置に設定される領域であってもよい。この場合、顔領域の画像上での位置が基準位置に対して所定距離以上、上方向に移動した場合に、動き出しが検出される。なお、ここでの検出領域は、例えばライン状の領域であるが他の形状の領域が設定されてもよい。
 また撮像装置410は、顔認識処理によって対象の被介助者を特定できる。よって撮像装置410は、能力情報によって表される能力が所定閾値以下(起居動作ができないことに対応)である被介助者については動き出し検知を行い、能力が当該閾値より高い被介助者については動き出し検知を省略してもよい。
 また動き出しの検出処理は上記の手法に限定されない。例えば撮像装置410は、撮像画像に基づいて骨格トラッキング処理を行ってもよい。なお画像に基づく骨格トラッキングの手法としては、“Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields” (https://arxiv.org/pdf/1611.08050.pdf), Zhe Cao他に開示されたOpenPose等、種々の手法が知られており、本実施形態ではそれらを広く適用できる。
 またOpenPoseでは、画像中に撮像された複数の人物のそれぞれについて骨格トラッキングを行い、その結果を表示する手法が開示されている。図8の例であれば、イメージセンサは3人の被介助者を含む撮像画像を出力し、撮像装置410は、3人の被介助者のそれぞれを対象として動き出しの有無を判定する。
 例えば、能力が低下することで起居が難しくなっている被介助者は、立ち上がる姿勢を取るだけでも転倒する可能性がある。よって撮像装置410は、骨格トラッキングによって立ち上がる姿勢を取っているかを判定してもよい。例えば撮像装置410は、座っている状態から手を膝や椅子の座面等について前屈みになったと判定した場合に、立ち上がる姿勢であると判定し、転倒リスクを介助者に通知する。例えば撮像装置410は、骨格トラッキング結果から手の位置と膝の位置の間の距離が所定以下であること、肩の位置が所定以上下方に移動したこと等を検出した場合に、被介助者が立ち上がる姿勢を取っていると判定してもよい。
 あるいは、撮像装置410は、処理対象データを数秒単位のウィンドウで区分し、各ウィンドウ内において頭や首等の特定の位置が、所定閾値以上移動した場合に立ち上がり等の姿勢変化が起こっていると判定してもよい。なお移動検出の対象となる部位は頭や首以外であってもよい。また移動方向は縦でも横でも斜めでもよい。また検出対象の部位に応じて、検出に用いる閾値が変更されてもよい。あるいは、撮像装置410は、静止状態の被介助者を対象とする骨格トラッキングによって検出された特徴点を内包する領域を求め、所定数以上の特徴点が当該領域から外れた場合に、立ち上がり等の動き出し動作があったと判定してもよい。その他、撮像装置410を用いた動き出し検出処理の手法については種々の変形実施が可能である。
 図8のIM1は、撮像装置410の出力画像の例である。撮像装置410は、撮像画像上に何らかの表示オブジェクトを重畳表示してもよい。図8の例では、動き出しが検知された被介助者に対応付けて、「!」マークを含むオブジェクトが表示される。このようにすれば、動き出しが検知された被介助者を分かりやすく介助者に通知することが可能になる。例えば、図7のステップS203において、撮像装置410は出力画像IM1をサーバシステム100に送信する。サーバシステム100は、ステップS204において、介助者が使用するスマートフォン等に出力画像IM1を出力する。ただし、撮像装置410の出力は、動き出しが検知された被介助者を特定する情報(例えば被介助者のID)であってもよく、具体的な態様は種々の変形実施が可能である。例えばここでは動き出しが検知された被介助者を通知する例を示したが、被介助者の動きを停止させるための情報が出力されてもよい。例えば撮像装置410は、動き出した被介助者を特定し、当該被介助者の家族等の音声データ、動画データ等を出力してもよい。特に認知症の患者の場合、呼びかけへの応答が鈍くなるが、家族等の顔や声は覚えているケースが多く、動きの停止に有効である。このように被介助者の動きを停止させることによって、介助者が介入するまでの時間を稼ぐことが可能である。なお、家族の音声データや動画データを出力する例については、シーン情報に基づくデバイス制御に関連して後述する。
 図9は、ベッド610のボトムに配置されるベッドサイドセンサ420及び検出装置430の例を説明する図である。ベッドサイドセンサ420及び検出装置430は、例えば図9に示すように、ベッド610のボトムとマットレス620の間に設けられるシート状またはプレート状のデバイス200である。なお図9ではベッドサイドセンサ420と検出装置430の両方を図示したが、何れか一方のみが用いられてもよい。また、以下で説明するようにベッドサイドセンサ420と検出装置430は圧力センサを有する点で共通するため、ベッドサイドセンサ420が検出装置430を兼ねてもよいし、検出装置430がベッドサイドセンサ420を兼ねてもよい。その他、具体的な態様については種々の変形実施が可能である。
 ベッドサイドセンサ420は、センシングデータとして圧力値を出力する圧力センサを含み、ボトムのうち、介助者がベッドの上り下りに用いる側に配置される。図9の例では、介助者の上り下りはベッド610の手前側を用いて行われる。この際、図9に示すように、ベッド610の手前側には転落防止用の柵が配置され、ベッドサイドセンサ420は当該柵が設けられない位置に配置されてもよい。このようにすれば、ベッド610の上り下りを行うユーザは、一旦、ベッドサイドセンサ420上に座る動作を行う。
 ベッドサイドセンサ420の処理部210は、例えばベッドサイドセンサ420にインストールされるアプリケーションに従って動作することによって、圧力値を入力データとして取得し、当該圧力値からベッド610上での被介助者の動きを判定する処理を実行する。
 例えば被介助者がベッド610から立ち上がる際には、被介助者は、ベッド上で臥位を取っている状態から、ベッドサイドで座位を取った状態(以下、端座位と表記)に移行し、さらに膝やボトム面に手をついて力を加えることで立ち上がり動作を実行することが想定される。ベッドサイドセンサ420が検出する圧力値は、臥位、端座位、立ち上がり動作の順で大きくなる。例えばベッドサイドセンサ420は、圧力値と所与の閾値の比較処理に基づいて、端座位から立ち上がり動作への変化を検出した場合に動き出しが検出されたと判定してもよい。あるいは、立ち上がり動作をより速い段階で検出するという観点から、ベッドサイドセンサ420は、圧力値と所与の閾値の比較処理に基づいて、臥位から端座位への変化を検出した場合に動き出しが検出されたと判定してもよい。
 あるいは、立ち上がり動作が継続されると、被介助者の臀部がボトム面から浮き上がるため、圧力センサから出力される圧力値は大きく減少する。よって処理部210は、圧力値の時系列変化に基づいて、圧力値が第1閾値以上に増加した後、第1閾値よりも小さい第2閾値以下に減少した場合に、立ち上がり動作が行われたと判定してもよい。その他、動き出し判定の具体的な処理内容については種々の変形実施が可能である。
 被介助者の動き出しが検出された場合、ベッドサイドセンサ420は、その旨を表す情報をサーバシステム100に送信する。サーバシステム100は、例えば介助者が使用するスマートフォン等に当該情報を送信し、スマートフォン等において報知処理が実行される。このようにすれば、動き出しが検出された被介助者を分かりやすく介助者に通知することが可能になる。
 また図9に示す検出装置430は、被介助者の睡眠に関する情報をセンシングするデバイス200である。検出装置430は、圧力値を出力する圧力センサを含む。
 検出装置430は、ユーザが就床すると、マットレス620を介してユーザの体振動(体動、振動)を検知する。検出装置430が検知した体振動に基づいて、呼吸数、心拍数、活動量、姿勢、覚醒/睡眠、離床/在床に関する情報が求められる。また検出装置430は、ノンレム睡眠とレム睡眠の判定や、睡眠の深さの判定を行ってもよい。例えば体動の周期性を分析し、ピーク周波数から呼吸数、心拍数が算出されてもよい。周期性の分析は、例えばフーリエ変換等である。呼吸数は、単位時間あたりの呼吸の回数である。心拍数は、単位時間あたりの心拍の回数である。単位時間は、例えば1分である。また、サンプリング単位時間当たりに体振動を検出し、検出された体振動の回数が活動量として算出されてもよい。またユーザの離床時には、在床時に比べて検出される圧力値が減少するため、圧力値やその時系列的な変化に基づいて離床/在床の判定が可能である。
 例えば検出装置430の処理部210は、離床/在床の判定結果に基づいて、被介助者が在床から離床へと移行した場合に、動き出しが検出されたと判定してもよい。
 被介助者の動き出しが検出された場合、検出装置430は、その旨を表す情報をサーバシステム100に送信する。サーバシステム100は、例えば介助者が使用するスマートフォン等に当該情報を送信し、スマートフォン等において報知処理が実行される。このようにすれば、動き出しが検出された被介助者を分かりやすく介助者に通知することが可能になる。
 例えば図8~図9に示した各デバイス200は、能力情報によって表される被介助者の能力が所定以上である場合には非アクティブである動作モード0に設定され、能力が所定未満である場合にはアクティブである動作モード1に設定される。能力が所定未満とは、ここでは起居動作ができないことを表す。このようにすれば、上述した動き出しの判定動作を適切な状況で実行できる。結果として、転倒リスクが高い被介助者が存在する場合に、当該被介助者の転倒リスクを適切に低減できる。
<能力情報の更新>
 また図7のステップS205に示したように、サーバシステム100の能力情報取得部111は、センシングデータに基づいて能力情報を更新する処理を行ってもよい。例えば能力情報取得部111は、センシングデータに基づいて起居に関する状態の変化を判定する。
 例えば能力情報取得部111は、センシングデータに基づいて立ち上がりの仕方を判定してもよい。立ち上がり時には、上述したように端座位からボトム面等に手をつき、さらに足に体重をかけ、膝を伸ばしながら背筋を伸ばす動作が実行される。この際、足への体重移動が十分でない場合、重心が相対的に後ろに偏ってしまい、ボトム面に倒れ込む状態になってしまう。また足への体重移動が過剰である場合、重心が前に偏るため、前方へ転倒するおそれがある。また端座位での座り方が浅すぎれば、臀部がボトム面から転落する可能性もある。
 よって能力情報取得部111は、撮像装置410による骨格トラッキングのログ、ベッドサイドセンサ420や検出装置430からの圧力値のログに基づいて、立ち上がり時の被介助者の体の動きが適切であるかを判定してもよい。例えば立ち上がり時の動きが正常状態に近いほど能力が高いと判定され、重心の偏りや端座位における臀部の位置等が正常状態に対してずれるほど能力が低いと判定される。
 また能力情報取得部111は、所定期間内に実行された立ち上がり動作の回数に基づいて、能力情報を求めてもよい。例えば立ち上がり回数が多いほど能力が高いと判定され、回数が少ないほど能力が低いと判定される。
 また能力情報取得部111は、端座位となってから立ち上がるまでの経過時間に基づいて、能力情報を求めてもよい。臥位、端座位、立位は骨格トラッキングの特徴点の位置関係や、圧力値の時系列変化によって判定できる。例えば端座位となってから立ち上がるまでの経過時間が短いほど能力が高いと判定され、経過時間が長いほど能力が低いと判定される。
 また能力情報取得部111は、ベッド610での活動量に基づいて能力情報を求めてもよい。活動量は、例えば上述したように検出装置430によって検出される。また骨格トラッキングの結果やベッドサイドセンサ420の出力に基づいて活動量が求められてもよい。例えば活動量が多いほど能力が高いと判定され、活動量が少ないほど能力が低いと判定される。
 本実施形態の手法では、能力情報の判定は上記のうちの何れか1つを用いて実行されてもよいし、2以上が組み合わされてもよい。また上述したように、センシングデータと、センシングデータ以外のデータの組み合わせに基づいて能力情報が求められてもよい。本実施形態の手法によれば、起居動作ができない被介助者の転倒リスクを軽減するとともに、当該被介助者の能力情報の変化を適切に判定することが可能になる。
2.3 歩行ができない
<デバイス及び動作の例:転落リスク>
 次に歩行が難しくなった状態において、車椅子630等からの転落リスクに対応するために動作するデバイス200について説明する。図10~図11は、転落リスク判定に用いられるデバイス200の例である。
 図10は、例えば車椅子630の座面に配置されるデバイス200である座面センサ440を示す図である。座面センサ440は圧力値を出力する圧力センサを含み、当該圧力値に基づいて、被介助者が車椅子630に座った際の姿勢(以下、座姿勢とも記載する)が、正常、前ずれ、横ずれ等を含む複数の姿勢の何れであるかを判定する。前ずれとは、ユーザの重心が通常よりも前方にずれた状態を表し、横ずれとは、ユーザの重心が通常よりも左右の何れか一方にずれた状態を表す。前ずれと横ずれのいずれも、ずり落ちのリスクが相対的に高い状態に対応する。なお、座面センサ440は、通常の椅子に配置されるセンサデバイスであってもよいし、ベッド等に座っているユーザの姿勢を判定するセンサデバイスであってもよい。また座面センサ440は、被介助者が座面から転落する可能性の有無を判定する転落可能性の判定を行ってもよい。
 図10の例では、車椅子630の座面に配置されるクッション441の裏面側に4つの圧力センサSe1~Se4が配置される。圧力センサSe1は前方に配置されるセンサであり、圧力センサSe2は後方に配置されるセンサであり、圧力センサSe3は右方に配置されるセンサであり、圧力センサSe4は左方に配置されるセンサである。なおここでの前後左右は、車椅子630に被介助者が座った状態において、当該被介助者から見た方向を表す。
 図10に示すように、圧力センサSe1~Se4は、制御ボックス442に接続される。制御ボックス442は、内部に圧力センサSe1~Se4を制御するプロセッサと、プロセッサのワーク領域となるメモリを含む。例えばプロセッサは処理部210に対応し、メモリは記憶部220に対応する。プロセッサは、圧力センサSe1~Se4を動作させることによって圧力値を検出する。
 車椅子630に座っている被介助者は、臀部に痛みを感じ、臀部の位置をずらす可能性がある。例えば、臀部が通常よりも前にずれた状態が前ずれであり、左右にずれた状態が横ずれである。また、前ずれと横ずれが同時に発生し、重心が斜めにずれることもある。図10に示すようにクッション441に配置した圧力センサを用いることによって、臀部の位置の変化を適切に検出できるため、前ずれや横ずれを精度よく検出することが可能になる。
 例えば、まず車椅子630に移乗して正常な姿勢を取ったタイミングを初期状態とする。初期状態では、被介助者は車椅子630の座面に深く座るため、後方の圧力センサSe2の値が相対的に大きいことが想定される。一方、前ずれが起こると、臀部の位置が前方に移動するため、前方の圧力センサSe1の値が大きくなる。例えば制御ボックス442のプロセッサは、圧力センサSe1の値が初期状態に比べて所定以上増加した場合に、前ずれが発生したと判定してもよい。圧力センサSe1の値がある閾値を超えると被介助者が車椅子630に乗っていると判定され、圧力センサSe1との比較をせずに圧力センサSe2の値の変化だけで前ずれが発生したと判定してもよい。また圧力センサSe1の値を単体で用いるのではなく、圧力センサSe2と圧力センサSe1の値の関係を用いて処理が行われてもよい。例えば圧力センサSe2と圧力センサSe1の出力である電圧値の差が用いられてもよいし、電圧値の比率が用いられてもよいし、差や比率の初期状態に対する変化割合が用いられてもよい。
 同様に横ずれが起こると、臀部の位置が左右何れかの方向に移動するため、左ずれであれば圧力センサSe4の値が大きくなり、右ずれであれば圧力センサSe3の値が大きくなる。よってプロセッサは、圧力センサSe4の値が初期状態に比べて所定以上増加した場合に、左ずれが発生したと判定し、圧力センサSe3の値が初期状態に比べて所定以上増加した場合に、右ずれが発生したと判定してもよい。あるいは、プロセッサは、圧力センサSe4と圧力センサSe3の値の関係を用いて右ずれ及び左ずれを判定してもよい。前ずれの例と同様に、圧力センサSe4と圧力センサSe3の出力である電圧値の差が用いられてもよいし、電圧値の比率が用いられてもよいし、差や比率の初期状態に対する変化割合が用いられてもよい。
 前ずれや横ずれ等が検出された場合、座面センサ440は、その旨を表す情報をサーバシステム100に送信する。サーバシステム100は、例えば介助者が使用するスマートフォン等に当該情報を送信し、スマートフォン等において報知処理が実行される。また制御ボックス442が発光部等を含み、当該発光部を用いて介助者への報知が行われてもよい。このようにすれば、車椅子630等における座姿勢の変化を分かりやすく介助者に通知できるため、被介助者の転落を抑制することが可能になる。
 図11は、車椅子ポジションの調整支援に用いられるデバイス200である端末装置450を示す図である。車椅子ポジションとは、車椅子630における被介助者の位置、姿勢に関する情報である。車椅子ポジションは、上述した座姿勢を表してもよいし、クッション等の配置等を含む情報を表してもよい。図11に示すように、車椅子ポジションの調整では、カメラを有し、当該カメラによって車椅子630に座った被介助者の少なくとも上半身を撮像可能な高さに固定された端末装置450が用いられてもよい。なお、端末装置450は、被介助者のより広い範囲を撮像可能であってもよく、例えば膝までを撮像してもよいし、全身を撮像してもよい。端末装置450は、例えば介護施設の所定位置に配置され、介助者は被介助者を車椅子630に移乗させた上で、端末装置450の正面まで移動させた後、車椅子ポジションの調整を行う。
 端末装置450は、表示部を含み、カメラによって撮像された画像と、教師データの比較結果を表示する。ここでの教師データとは、例えば熟練度の高い介助者が、被介助者を適切な姿勢で車椅子630に座らせた状態で、当該被介助者を撮像した画像データである。例えば教師データは、端末装置450等を用いて事前に登録される。また、サーバシステム100の記憶部120に教師データが登録されてもよい。また教師データは、適切な姿勢を表す画像データそのものに限定されず、付加情報が付加されたデータであってもよい。ここでの付加情報とは、熟練度の高い介助者が重要と考えるポイントを示す情報であってもよい。また教師データは、骨格トラッキングの結果であってもよい。
 端末装置450(処理部210)は、実際の撮像画像に対して、透過処理が行われた教師データを重畳表示する画像を出力してもよい。また端末装置450は、教師データと実際の撮像画像の比較処理に基づいて、車椅子630における被介助者のポジションが適切であるか否かを判定し、判定結果を出力してもよい。また被介助者のポジションが適切でない場合、修正すべき点を提示してもよい。修正すべき点とは、例えば教師データと実際の撮像画像の差が所定以上の部位である。
 例えば図10~図11に示した各デバイス200は、能力情報によって表される被介助者の能力が所定以上である場合には非アクティブである動作モード0に設定され、能力が所定未満である場合にはアクティブである動作モード1に設定される。能力が所定未満とは、ここでは歩行ができないことを表す。このようにすれば、上述した車椅子630等におけるポジション判定を適切な状況で実行できる。結果として、車椅子630やベッド610からの転落リスクが高い被介助者が存在する場合に、当該被介助者の転落リスクを適切に低減できる。
<転倒リスクに関するデバイスの動作>
 また図5に示したように、歩行ができない被介助者であっても、寝たきりではないため、立ち上がり等の動き出し動作を行う可能性があるため、転倒リスクは高い。歩行ができない被介助者を対象とする場合にも、図8~図9に示した各デバイス200による動き出し検出は継続されることが望ましい。
 その際、起居できないが歩行ができる状態と、歩行ができない状態では、後者の方がより能力が低く、転倒リスクが高い場合がある。よって図8~図9に示した各デバイス200は、起居できないが歩行ができる状態では動作モード1で動作し、歩行ができない状態では動作モード1とは異なる動作モード2で動作してもよい。例えば、デバイス200として検出装置430が用いられる場合に、検出装置430の処理部210は、動作モード1では離床/在床の判定結果に基づいて動き出しを検出し、動作モード2では覚醒/睡眠の判定結果に基づいて動き出しを検出してもよい。例えば動作モード2において、処理部210は、睡眠状態から覚醒状態に移行した場合に、動き出しの可能性有りと判定する。このようにすれば、動作モード2では、動作モード1に比べて早い段階で動き出しを検出できるため、より転倒リスクを軽減することが可能になる。
<能力情報の更新>
 また図7のステップS205に示したように、サーバシステム100の能力情報取得部111は、センシングデータに基づいて能力情報を更新する処理を行ってもよい。例えば能力情報取得部111は、センシングデータに基づいて座位状態を維持する能力である座位保持能力の変化を判定する。
 例えば能力情報取得部111は、センシングデータに基づいて前ずれや横ずれの回数を判定してもよい。例えば前ずれや横ずれの回数が少ないほど座位保持能力が高いと判定され、回数が少ないほど座位保持能力が低いと判定される。
 また能力情報取得部111は、姿勢を保持できる時間(以下、姿勢保持時間と表記する)に基づいて座位保持能力を求めてもよい。姿勢保持時間とは、例えば所与の基準姿勢となったタイミングを始点とし、被介助者の姿勢が当該基準姿勢に対して所定以上変化したタイミングを終点とする期間の長さである。姿勢保持時間は、例えば端末装置450を用いて介助者が被介助者の姿勢を修正してから、座面センサ440によって前ずれや横ずれと判定されるまでの時間であってもよい。例えば姿勢保持時間が長いほど座位保持能力が高いと判定され、姿勢保持時間が短いほど座位保持能力が低いと判定される。また座位保持能力が高ければ同じような姿勢を維持できるため、各圧力センサに対して同程度の圧力がかかった状態が継続される。一方、座位保持能力が下がってくると、前ずれや横ずれとは判定されなかったとしても、頻繁に体が傾いたり姿勢を直したりする。結果として、圧力値が減少するタイミング(圧力の抜け)が生じやすい。よって能力情報取得部111は、このような圧力の抜けの回数、頻度、値の減少度合い、抜けの方向(圧力センサSe1~Se4の何れの値が減少したか)等に基づいて座位保持能力を推定してもよい。
 本実施形態の手法では、能力情報の判定は上記のうちの何れか1つを用いて実行されてもよいし、2以上が組み合わされてもよい。また上述したように、センシングデータと、センシングデータ以外のデータの組み合わせに基づいて能力情報が求められてもよい。本実施形態の手法によれば、歩行ができない被介助者の転落リスクを軽減するとともに、当該被介助者の能力情報の変化を適切に判定することが可能になる。
2.4 食事がうまくできない
<デバイス及び動作の例:誤嚥リスク>
 次に食事がうまくできなくなった状態において、誤嚥リスク(狭義には誤嚥性肺炎リスク)に対応するために動作状態となるデバイス200について説明する。図12は、食事における誤嚥リスク判定に用いられるデバイス200の例である。
 図12は、食事の場面において利用されるデバイス200である嚥下ムセ検出装置460を例示する図である。図12に示すように、嚥下ムセ検出装置460は、被介助者の首回りに装着されるスロートマイク461と、カメラを有する端末装置462が用いられる。なお端末装置462に代えて、カメラを有する他の装置が用いられてもよい。スロートマイク461は、被介助者の嚥下や咳込み等による音声データを出力する。端末装置462のカメラは、被介助者の食事の様子を撮像した撮像画像を出力する。端末装置462は、例えば被介助者の食事をする卓上に置かれるスマートフォン等である。スロートマイク461は、Bluetooth(登録商標)等を用いて端末装置462に接続され、端末装置462はゲートウェイ300を介してサーバシステム100に接続される。ただし、スロートマイク461と端末装置462の両方がゲートウェイ300に接続可能であってもよく、具体的な接続態様は種々の変形実施が可能である。
 例えば嚥下ムセ検出装置460に含まれるプロセッサは、スロートマイク461からの音声データと、カメラを用いて撮像した撮像画像を取得する。ここでのプロセッサは処理部210に対応し、例えば端末装置462に含まれるプロセッサであってもよい。
 プロセッサは、スロートマイク461の音声データに基づいて、被介助者のムセと、嚥下を判定する。首回りに装着したマイクを用いて嚥下を検出するデバイスは、例えば“Swallowing action measurement device and swallowing action support system”という2019年2月15日に出願された米国特許出願第16/276768号に記載されている。この特許出願は、その全体が本願明細書において参照により援用されている。プロセッサは、音声データに基づいて、ムセの回数、ムセの時間(発生時刻、継続時間等)、嚥下をしたか否かを検出できる。
 また端末装置462のカメラは、例えば図12に示すように被介助者を正面方向から撮像することによって、被介助者の口、目、及び被介助者が使用する箸やスプーン等を検出できる。なお画像処理に基づいてこれらの顔のパーツや物体を検出する手法は種々知られており、本実施形態では公知の手法を広く適用可能である。
 例えばプロセッサは、カメラの撮像画像に基づいて、被介助者の口が開いているか否か、口から食事が出ているか否か、食事を噛んでいるか否かを判定できる。またプロセッサは、カメラの撮像画像に基づいて、被介助者の目が開いているか否かを判定できる。またプロセッサは、カメラの撮像画像に基づいて、箸やスプーン等が食器の近くにあるか否か、被介助者が持てているか否か、食事をこぼしているか否かを判定できる。
 本実施形態の手法では、これらの情報に基づいて、被介助者の嚥下やムセに関する状況を推定する。例えばプロセッサは、ムセ及び嚥下の検出結果、及び、被介助者の口の開閉判定結果に基づいて、処理を行ってもよい。
 例えばプロセッサは、ムセの回数や時間に基づいて、ムセが頻発しているか否かを判定し、判定結果を出力してもよい。例えばプロセッサは、単位時間あたりのムセの回数が閾値を超えた場合に、ムセが頻発したと判定してもよい。このようにすれば、ムセに関する状況を自動的に判定できる。
 またプロセッサは、嚥下の検出結果、及び、被介助者の口の開閉判定結果に基づいて、被介助者が口を開けてから嚥下するまでの嚥下時間を求めてもよい。このようにすれば、例えば嚥下の回数が減っていることが分かったとしても、食事を口に入れる動作自体が行われていないのか、食事を口に入れたのに嚥下が行われないのか等、具体的な状況を判定できる。例えばプロセッサは、端末装置462の撮像画像に基づいて口が閉じた状態から開いた状態に移行したときにタイマーのカウントアップを開始し、スロートマイク461によって嚥下が検出された場合にタイマーの計測を停止してもよい。停止時のタイムが、嚥下時間を表す。このようにすれば、食事において誤嚥リスクが高く、介助者が何らかのアクションを実行すべき状況であるかを精度よく判定できるため、熟練者の暗黙知を適切に利用することが可能になる。
 例えば、嚥下ムセ検出装置460は、嚥下時間を処理結果としてサーバシステム100に出力してもよい。またプロセッサは嚥下時間に基づいて食事のペースを判定してもよい。またプロセッサは、1回の食事の中での嚥下時間の変化(例えば最初の方の嚥下時間に対する増加量や比率等)に基づいて、嚥下時間が長いか否かを判定してもよい。あるいはプロセッサは、同じ被介助者について、複数回の食事のそれぞれでの平均嚥下時間等を求め、当該平均嚥下時間の変化に基づいて嚥下時間が長くなったか否かを判定してもよい。
 また端末装置462の撮像画像による口の開閉判定結果を用いることによって、介助者がスプーン等を近づけても開口しなくなった状況であるかを判定できる。このように、被介助者が開口を渋る状況において、嚥下時間が長くなった場合、口内に食べ物が残るため込みが発生した状況であると推定できる。また撮像画像を用いて口から食事が出ているか否か、食事を噛んでいるか口の認識結果を用いることによって、被介助者が食べ物を噛み切れなくなった状況であるかを判定できる。例えば噛む回数は通常通りであるのに、嚥下時間が長い場合、噛み切れなくなった状況であると推定される。また撮像画像を用いて目が閉じていると判定された場合、被介助者が眠そうになった状況であるかを判定できる。
 また撮像画像を用いて箸やスプーン等の認識処理を行うことによって、食べ物で遊んでいる、器が持てない、食事をこぼしている等の状況であるか否かが判定されてもよい。
 以上のように、嚥下ムセ検出装置460を用いることによって、食事における種々の状況を判定できる。本実施形態の入力データの嚥下ムセ検出装置460では、これらの判定のそれぞれが、暗黙知に対応するアプリケーションとして実現されてもよい。例えば嚥下ムセ検出装置460は、ムセと嚥下の検出、及び、嚥下時間の算出を行うアプリケーション、ムセの頻発を検出するアプリケーション、危険なムセを検出するアプリケーション、眠そうになった状況かを判定するアプリケーション、食べ物で遊んでいるかを判定するアプリケーション、等を含んでもよい。そして本実施形態では、能力情報等に基づいて、各アプリケーションのアクティブ/非アクティブが制御される。換言すれば、上述した各種の処理は、実行/非実行が柔軟に設定可能であってもよい。そして嚥下ムセ検出装置460は、所定の状況であると判定された場合に、その旨を表す情報をサーバシステム100に送信する。サーバシステム100は、例えば当該情報に基づいて、介助者が使用する端末装置に報知処理を実行させてもよい。またサーバシステム100は、嚥下ムセ検出装置460によって検出された食事状況に応じた適切なアクションを示す情報を、介助者が使用する機器に出力し、当該機器が当該情報に基づいてアクションを提示してもよい。介助者への提示は、例えばヘッドセットへの音声の出力であってもよいし、スマートフォン等の表示部での表示であってもよいし、他の手法を用いた提示であってもよい。
<転倒リスクに関するデバイスの動作>
 また図5に示したように、食事が難しい被介助者であっても、立ち上がり等の動き出し動作を行う可能性があるため、転倒リスクは高い。よって食事が難しい被介助者を対象とする場合にも、図8~図9に示した各デバイス200による動き出し検出は継続されることが望ましい。各デバイス200は、例えば上述した動作モード2で動作してもよい。また各デバイス200は、動作モード2よりも早い段階で動き出し検知が可能な動作モード3で動作してもよい。
<転落リスクに関するデバイスの動作>
 また食事が難しい被介助者であっても、車椅子630等を用いることが考えられるため、転落リスクが高い。よって食事が難しい被介助者を対象とする場合にも、図10~図11に示した各デバイス200による車椅子ポジションに関する処理は継続されることが望ましい。例えば各デバイス200は、歩行ができない被介助者を対象とする場合と同様に動作モード1によって動作する。また各デバイス200は、歩行ができない被介助者を対象とする場合とは異なるモードで動作してもよい。例えば歩行ができない被介助者を対象とする場合、前ずれ横ずれ判定のみを行う動作モードで動作し、食事が難しい被介助者を対象とする場合、前ずれ横ずれ判定に加えて転落可能性の判定を実行可能な動作モードで動作してもよい。
<能力情報の更新>
 また図7のステップS205に示したように、サーバシステム100の能力情報取得部111は、センシングデータに基づいて能力情報を更新する処理を行ってもよい。例えば能力情報取得部111は、センシングデータに基づいて嚥下能力の変化を判定する。
 例えば能力情報取得部111は、被介助者が口を開けてから嚥下するまでの嚥下時間が短いほど嚥下能力が高いと判定し、嚥下時間が長いほど嚥下能力が低いと判定してもよい。例えば能力情報取得部111は、直近の被介助者の平均嚥下時間が過去の被介助者の平均嚥下時間より閾値以上長くなったとき、嚥下能力が低下したと判定し、平均嚥下時間が閾値より長くならなかったとき、嚥下能力が低下していない(維持された)と判定し、平均嚥下時間が短くなったときに、嚥下能力が回復したと判定してもよい。また食形態を変更する前後で、平均嚥下時間の変化が閾値以下であれば、嚥下能力が回復したと判定してもよい。また能力情報取得部111は、嚥下能力と座位保持能力の組み合わせに基づいて、能力情報を求めてもよい。例えば能力情報取得部111は、車椅子630の使用時間や使用頻度に基づいて能力情報を求めてもよい。例えば、座位保持能力が低下した被介助者はベッドでの食事に移行する場合があるため、車椅子630を使用できることは座位保持能力が高いことを表す。例えば車椅子の使用頻度が高いほど能力が高いと判定され、使用頻度が低いほど能力が低いと判定される。また、上述したように、嚥下ムセ検出装置460は、異なる処理を実行する種々のアプリケーションを実行可能であってもよい。例えば嚥下ムセ検出装置460は、まずムセと嚥下の検出、及び、嚥下時間の算出を行うアプリケーションをアクティブにし、能力情報取得部111は当該アプリケーションの出力に基づいて能力情報を求めてもよい。そして能力情報が変化した場合に、ムセの頻発を検出するアプリケーション等の他のアプリケーションが非アクティブからアクティブに変更される。このようにすれば、能力情報に基づいて、嚥下ムセ検出装置460で実行する処理内容を適切に制御できる。またアクティブであるアプリケーションの数が増えた場合、能力情報取得部111は各アプリケーションの出力を組み合わせることによって、より多くのセンシングデータに基づいて嚥下能力を求めてもよい。
2.5 寝たきり
<デバイス及び動作の例:褥瘡リスク>
 次にさらに能力が低下し、被介助者が寝たきりになった状態において、褥瘡リスクに対応するために動作するデバイス200について説明する。図13~図14は、褥瘡リスク判定に用いられるデバイス200の例である。
 図13は、ベッド610の周辺に配置されるデバイス200であるベッドポジション検出装置470を例示する図である。図13に示すように、ベッドポジション検出装置470は、ベッド610のフットボード側に固定される第1端末装置471と、ベッド610のサイドレールに固定される第2端末装置472と、第2端末装置472の反対側に固定されるディスプレイ473を含む。なおディスプレイ473は、ベッド610に固定されるものには限定されず、ベッドポジション調整を行う介助者が自然に閲覧可能な他の位置に配置されてもよい。例えばディスプレイ473は壁面に固定されてもよいし、床面に自立するスタンド等に固定されてもよい。なおディスプレイ473は省略が可能である。また、第1端末装置471と第2端末装置472は何れか一方が省略されてもよい。例えば以下では、第1端末装置471がベッドポジションの調整に用いられ、第2端末装置472がオムツ交換に用いられる例を説明するがこれには限定されない。
 第1端末装置471及び第2端末装置472は、例えばカメラを有するスマートフォン等の装置である。第1端末装置471は直接サーバシステム100に撮像画像を送信する。第2端末装置472は、直接、又は、第1端末装置471を介して、サーバシステム100にカメラの撮像画像を送信する。ディスプレイ473は、サーバシステム100から送信された画像を直接、または第1端末装置471等の他の装置を介して受信し、受信した画像を表示する。なお、第1端末装置471及び第2端末装置472は、カメラに代えて、あるいはカメラに加えて、深度センサを有してもよい。即ち、これらのデバイスは、デプス画像を出力してもよい。
 例えば、ベッドポジション調整では、教師データの登録処理と、当該教師データを用いたポジション調整処理が実行されてもよい。教師データは、例えば熟練の介助者によって登録される情報である。非熟練者である介助者は、ベッドポジションを調整する際に、教師データを選択し、当該教師データと、実際の被介助者の状態が近くなるように、ベッドポジションを調整する。例えば第1端末装置471は、調整対象の被介助者がベッドに横になった状態(クッション等の状態も含む)を撮像した撮像画像を取得し、ディスプレイ473は、当該撮像画像と教師データの比較結果を表す画像を表示する。このようにすれば、介助者の熟練度によらず、熟練者と同様のポジション調整を行わせることが可能になる。例えば熟練者は、被介助者をベッド610に横たわらせ、褥瘡対策等に好適なポジションとした上で、第1端末装置471を用いて対象の被介助者を撮像する。熟練者は、適切なベッドポジションとなっていることを確認した上で、登録ボタンを選択する。これにより、登録ボタンが操作された際に表示されていた静止画像が、教師データとしてサーバシステム100に送信される。このようにすれば、熟練者が好ましいと考えるポジションを教師データとして登録することが可能になる。この際、付加情報が付加されてもよい点は、上述した車椅子ポジションの例と同様である。
 また実際に介助者がベッドポジションの調整を行う際には、まず第1端末装置471を起動し画像の撮像を開始する。例えば介助者が音声で第1端末装置471を音声起動させ、ディスプレイ473は、第1端末装置471が撮像している動画像を表示する。またベッドポジション検出装置470は、介助者による教師データの選択処理を受け付けてもよい。処理部110は、ユーザ操作に基づいて教師データを決定し、当該教師データをディスプレイ473に表示させる制御を行う。
 あるいはベッドポジションの調整対象である被介助者の属性と、教師データに撮像された被介助者の属性の類似度判定に基づいて、処理部110が教師データを自動的に選択する処理を行ってもよい。ここでの属性は、被介助者の年齢、性別、身長、体重、既往歴、投薬履歴等の情報を含む。
 あるいは、ベッドポジション検出装置470は、ベッドポジションの調整対象である被介助者の属性と、教師データに含まれる付加情報の比較処理に基づいて、教師データを自動的に選択する処理を行ってもよい。例えば教師データの付加情報として「XXという傾向が見られる被介助者は、左肩がYYとなるように調整するとよい」といったテキストが含まれるとする。この場合、調整対象の被介助者がXXに該当する場合、当該教師データが選択されやすくなる。例えばベッドポジション調整を行う介助者は、第1端末装置471に被介助者を特定する情報を入力し、ベッドポジション検出装置470は当該情報に基づいて被介助者の属性を特定してもよい。
 ベッドポジション検出装置470は、例えば第1端末装置471によって撮像されているリアルタイムの撮像画像に対して、透過処理が施された教師データを重畳して表示する画像を出力してもよい。この際、教師データの付加情報が認識可能な態様で表示されてもよい。例えば介助者がヘッドセットのマイク等を用いて「ポイントを教えて」と発話したことが検出された場合、ベッドポジション検出装置470は例えばサーバシステム100を介して、当該テキストを当該ヘッドセットから音声として出力してもよい。
 ベッドポジション検出装置470は、例えばポジション調整中に撮像されている画像と、教師データの類似度合いに基づいてOK,NGの何れかを判定し、判定結果を出力してもよい。判定結果は、直接またはサーバシステム100を介してディスプレイ473に表示される。またベッドポジション検出装置470は、NGと判定された具体的な点を表示する処理を行ってもよい。例えばサーバシステム100またはベッドポジション検出装置470は、第1端末装置471で撮像された画像と教師データを比較し、差分が大きいと判定された箇所を強調表示する処理を行ってもよい。
 このようにすれば、被介助者のベッドポジションと、理想的なベッドポジションを比較して提示することや、理想的なベッドポジションを実現するための情報を提示することが可能になる。
 またベッドポジション検出装置470は、オムツ交換の支援に用いられてもよい。オムツ交換における暗黙知として、熟練者は以下の点を重視していることが分かった。
A.側臥位になっているか
B.オムツの位置が適切か
C.オムツからパットがでていないか
D.オムツが適切に装着されたか
 よってベッドポジション検出装置470の処理部210は、上記のA~Dのポイントが満たされているか否かを判定し、判定結果をサーバシステム100に送信する。ここでの処理部210は、例えば第2端末装置472のプロセッサに対応する。これにより、介助者の熟練度によらず、適切にオムツ交換を実行させることが可能になる。
 例えば第2端末装置472は、カメラを用いて被介助者を撮像した動画像を構成する各画像に対して骨格トラッキング処理を行い、元画像に骨格トラッキング結果が重畳表示された画像を処理結果として出力する。処理結果は、例えばディスプレイ473に表示されてもよい。このようにすれば、介助者は被介助者のオムツ交換を行いつつ、自然な姿勢でディスプレイ473を確認することが可能になる。
 なお、夜間にオムツ交換が行われる場合を考慮し、第2端末装置472は照明部を含んでもよい。また被介助者のプライバシーを考慮し、カメラではなく深度センサ等が用いられてもよい。深度センサは、ToF(Time of Flight)方式を用いたセンサであってもよいし、構造化照明を用いたセンサであってもよいし、他の方式のセンサであってもよい。
 図15A及び図15Bは、オムツ交換を行う場合において、ディスプレイ473に表示される画像の例である。上述したように、各画像には被介助者と、被介助者の骨格トラッキング結果が含まれる。
 図15Aの状態では、被介助者は側臥位で安定しており、第2端末装置472のカメラは被介助者を背面側からまっすぐ撮像した状態となる。例えば、図15Aでは、被介助者の体の前後方向と、カメラの光軸方向の差が小さい。結果として、図15Aに示すように骨格トラッキングの検出対象となる点が多数検出される。
 一方、図15Bは図15Aに比べて姿勢が安定しておらず、仰向けに倒れそうな状態となっている。第2端末装置472のカメラは斜め後方から被介助者を撮像した状態となるため、骨格トラッキングで検出される点の数が減少する。例えば腰に対応する点がオムツ等に隠れることで検出されない。
 よって第2端末装置472は、骨格トラッキングの結果に基づいて上記Aに示した側臥位になっているか否かを判定してもよい。例えば第2端末装置472は、腰等の特定の部位に対応する点が骨格トラッキングによって検出された場合に、側臥位になっていると判定してもよい。ただし、側臥位の判定に腰以外の点の検出有無や、複数の点の間の関係等が用いられてもよく、具体的な手法はこれに限定されない。
 またベッドポジション検出装置470は、第2端末装置472のカメラが撮像した動画像に基づいてオブジェクトトラッキング処理を行うことによって、継続的に画像中のオムツの領域を検出する。オブジェクトトラッキングについては公知であるため、詳細な説明は省略する。例えば図15A及び図15Bではオムツ領域ReDが検出されている。
 ベッドポジション検出装置470は、例えば骨格トラッキングの結果と、オブジェクトトラッキングにより検出されたオムツ領域ReDとの関係に基づいて、上記Bに示したオムツの位置が適切か否かを判定してもよい。例えばオムツが装着される位置を考慮し、骨格トラッキングによって検出された腰の位置と、オムツ領域ReDが所定の位置関係にあるかを判定する。例えば処理部210は、骨盤に対応する2点を含む直線がオムツ領域ReDを通過する場合に、オムツの位置が適切であると判定してもよい。あるいは、熟練者による教師データから骨格トラッキングの結果とオムツ領域ReDの検出結果を特徴量として抽出し、当該特徴量を入力データとする機械学習が行われてもよい。学習済モデルは、例えば骨格トラッキングの結果とオムツ領域ReDの検出結果を受け付けた場合に、オムツの位置が適切である確からしさを出力するモデルである。
 またベッドポジション検出装置470は、オムツ領域ReDの水平方向での長さに基づいて、上記Cに示したオムツからパットがでていないかを判定してもよい。通常、パットはオムツの内部に収まるものであるため、画像上でのオムツ領域ReDの長さは、オムツ本体の長さに対応する長さとなる。なお想定されるオムツ領域ReDのサイズは、オムツの種類及びサイズと、第2端末装置472のカメラの光学特性等に基づいて推定できる。一方、パットがはみ出している場合、その分だけ画像上でのオムツ領域ReDの長さが長くなる。よって、ベッドポジション検出装置470は、画像から検出されたオムツ領域ReDの長さが、想定される長さよりも所定閾値以上大きい場合、オムツがパットから出ており不適切であると判定する。
 またベッドポジション検出装置470は、オムツを装着した状態で固定するテープを検出することによって、上記Dに示したオムツが適切に装着されたかを判定してもよい。通常、テープはオムツ本体とは異なる色の部材が用いられる。一例としては、オムツ本体が白色であり、テープが青色である。またオムツを適切に装着するために、テープをどのように固定すべきであるかはオムツの構造から既知である。よって処理部210は、色に基づいて画像中のテープ領域を検出し、当該テープ領域とオムツ領域ReDの関係、あるいはテープ領域と骨格トラッキングで検出された腰等の位置の関係に基づいて、オムツが適切に装着されたかを判定できる。なお、メーカや種類の異なる複数のオムツが用いられる場合、ベッドポジション検出装置470はオムツを特定する情報を取得し、特定されたオムツの種類等に基づいてオムツが適切に装着されたかを判定してもよい。
 例えばベッドポジション検出装置470は、上記A~DのそれぞれについてOK,NGを判定し、判定結果をサーバシステム100に送信する。サーバシステム100は、判定結果をディスプレイ473等に送信する。またベッドポジション検出装置470は、NGである場合、正解データとの乖離が大きい部分を強調表示してもよい。
 以上のようにすれば、褥瘡リスクを低減するポジションを取らせることだけでなく、オムツ交換における暗黙知を適切に利用して、介助者に適切にオムツ交換を実行させることが可能になる。なお、オムツ交換の作業において被介助者の体を動かす必要がある。例えば、オムツを配置しやすいように一旦側臥位にする、オムツをはかせるために足を上げる等の作業が介助者によって行われる。そのため、オムツ交換完了時には、被介助者がベッドで横になる際に適した姿勢になっていない可能性もある。よってベッドポジション検出装置470は、オムツ交換が完了したことが検出された場合、自動的に上述したベッドポジションを調整するための処理を実行してもよい。例えば第1端末装置471は、被介助者の撮像を開始し、ディスプレイ473は、第1端末装置471によって撮像されているリアルタイムの撮像画像に対して、透過処理が施された教師データを重畳して表示する。
 また以上ではベッドポジション調整支援やオムツ交換支援にスマートフォン等の第1端末装置471や第2端末装置472を用いる例を説明したが、具体的なデバイス200はこれに限定されない。
 図14は、ベッドポジション調整支援やオムツ交換支援に用いられるデバイス200の他の例であるAR(Augmented Reality)グラスやMR(Mixed Reality)グラス等のメガネ型デバイス480を例示する図である。メガネ型デバイス480は例えばユーザの視界に対応する領域を撮像するカメラを有する。メガネ型デバイス480は、レンズ部分の一部または全部がディスプレイとなっており、外界からの光を透過することによって、あるいはカメラによって撮像されたユーザ視界に相当する画像を表示することによって、外界の状況をユーザに視認させることが可能である。さらにメガネ型デバイス480は、ディスプレイを用いることによって、ユーザの視界上に何らかの情報を付加表示する。
 メガネ型デバイス480を用いる場合であっても、ベッド610上のユーザを撮像した画像を取得できる点は同様である。よってメガネ型デバイス480は、上述したように撮像画像と教師データを重畳表示することによってベッドポジション調整を支援する処理を行ってもよい。またメガネ型デバイス480は、オムツ領域ReDに関する判定を行うことによって、オムツ交換を支援する処理を行ってもよい。またオムツ交換が完了した場合に、ベッドポジション調整が開始されてもよい点は、メガネ型デバイス480を用いる場合も同様である。例えばオムツ調整の完了が検出された場合に、ベッドポジション調整に係る正解データが、メガネ型デバイス480の表示部に透過表示されてもよい。
 またメガネ型デバイス480は、被介助者の皮膚を撮像した撮像画像に基づいて、褥瘡の有無や範囲を自動的に検出する処理を行ってもよい。このようにすれば、褥瘡が実際に発生しているか否か、また、発生している場合にはその状態を判定することが可能になる。例えば、被介助者を撮像した画像と、医師等の専門家によって付与された褥瘡領域を特定する正解データとを対応付けた訓練データに基づく機械学習によって、学習済モデルが生成される。メガネ型デバイス480は、当該学習済モデルに基づく処理を行うことによって褥瘡の判定を行う。
 また圧力検知及び自動体位変更が可能なマットレスや枕も知られている。圧力検知については、ベッドサイドセンサ420や検出装置430と同様に圧力センサを用いて行われる。またここでのマットレスや枕は、エアー等を用いて部分毎に高さ(厚み)を調整することによって、被介助者に寝返りを促すものであってもよい。また圧力検知を行うデバイス200と、自動体位変更を促すデバイス200は異なってもよい。例えば検出装置430は圧力値に基づいて同じ姿勢が継続していると判定した場合に、その旨を表す情報をサーバシステム100に送信する。サーバシステム100は、当該情報に基づいて、マットレスや枕を制御することによって、被介助者に体位変更を促してもよい。このようにしても、寝たきりである被介助者の褥瘡リスクを低減することが可能である。また、これらのマットレスや枕の制御手法は1通りに限定されない。例えば同じ寝たきりの中でも細かく能力情報(ADL等)が判定され、当該能力情報の高低に応じて体位変更の促し方が変化してもよい。例えば能力が極端に下がっている被介助者の場合、姿勢の維持等も難しいため、体位変更を促した際に過剰に姿勢が変化してしまうケースも考えられる。よってマットレスや枕は、体位変更を促す頻度や、体位変更を促す際のエアーの量等が異なる複数の動作モードを有しており、能力情報の高低に応じて動作モードが制御されてもよい。またマットレス等は、能力が高い間は睡眠状況の改善(例えば側臥位を促すことによるいびき抑制等)を行うモードで動作し、被介助者が寝たきりになった場合に褥瘡リスクを低減するモードで動作してもよく、寝たきり以外の状態も含めて、能力情報に応じた動作モード制御が実行されてもよい。
 また寝たきりの被介助者を対象とする場合、看取りケアに関する暗黙知が用いられてもよい。当該暗黙知に対応するアプリケーションが動作するデバイス200は、例えばスマートフォン等の端末装置であってもよい。例えばデバイス200の処理部210は、入力データとして、各食事における種類(例えば主菜・副菜としてもよいし、肉類、魚類等材料ごとでもよい)毎の摂取量または摂取割合、水分の摂取量、摂取のタイミング、疾病に関する情報、体重(またはBMI)の5種類の情報を取得する。これらの入力データは、介助者が入力するものであってもよい。あるいは食事量の自動記録デバイスが用いられることによって、一部の入力データがデバイス200によって自動的に取得されてもよい。
 処理部210は、当該入力データに基づいて、看取りケアを所定期間後に開始すべきか否か、看取りケア開始後にケアの内容を変更するタイミングか否か、を示す出力データを出力する。例えば入力データに対して、熟練者による正解データが付与された訓練データに基づいて、機械学習が行われてもよい。この場合、処理部210は学習済モデルに入力データを入力することによって出力データを求める。またSVM等の他の機械学習手法が用いられてもよいし、機械学習以外の手法が用いられてもよい。
 ここでの看取りケアとは、近い将来に死亡する可能性が高いと考えられる被介助者に対する介助を表す。看取りケアでは、身体的苦痛や精神的苦痛の緩和、対象の被介助者にとって尊厳のある生活の支援等が重視される点で、通常の介助とは異なる。また看取りケアを行っている中でも、時間の経過とともに被介助者の状態が変化することによって、対象の患者に適した介助が変化していく可能性もある。即ち、看取りケアの開始タイミングや、看取りケアの中での介助内容の変更タイミングを提示することによって、被介助者に対して最期まで適切な介助を行うことが可能になる。例えば、熟練の介助者は食事量等の種々の観点から、看取りケアが必要となるタイミングやケア内容を推定する暗黙知を備えており、当該暗黙知をデジタル化することによって、他の介助者も適切な看取りケアが可能になる。
 デバイス200の処理部210は、能力情報によって表される能力が寝たきりを表す状態まで低下した場合に、上記入力データに基づく判定を開始し、判定結果を表す分析結果画面をサーバシステム100に出力する。なお分析結果画面は、デバイス200の表示部240に表示されてもよい。
 図16は、分析結果画面の例を示す図である。分析結果画面は、入力データに基づいて求められる特徴量の時系列変化と、看取りケアを所定期間後に開始すべきか否かの判定結果を含んでもよい。ここでの特徴量は、食事量の移動平均等、入力情報のうち重要と判定された情報であってもよいし、上記5つの入力情報に基づいて演算される情報であってもよい。例えば、NNが用いられる場合、特徴量は所与の中間層または出力層の出力であってもよい。例えば、入力データは2020年2月13日までの主菜の摂取量、水分量、BMIの実測値を含む。処理部210は、学習済モデルに基づいて、2020年2月14日以降の主菜の摂取量、水分量、BMIの推移を推定してもよい。分析画面は、この3つの項目についての実測値及び推定値の時系列変化を表すグラフを含んでもよい。なお、図16では、これらの値の7日間での移動平均のグラフを例示している。このようにすれば、看取りケアにおいて重要な項目の推移を介助者に容易に把握させることが可能になる。なお、上述したように、入力データは他の項目を含んでもよく、分析結果画面に表示される情報は図16の例に限定されない。
 また分析結果画面は、看取りケアが行われる可能性のある期間を表示してもよい。図16の例では、「2020-03-14から看取りケアの可能性があります」というテキストが表示されるとともに、グラフにおける対応する期間が、それ以外の期間とは異なる背景色を用いて識別可能に表示される。このようにすれば、看取りケアが必要と推定されるタイミング、期間が明示されるため、看取りケアに関する情報を適切にユーザに提示することが可能になる。
<転倒リスクに関するデバイスの動作>
 また図5に示したように、寝たきりである介助者は自発的に立ち上がり等の動き出し動作を行う蓋然性が低いため、転倒リスクは想定的に低くなる。よって寝たきりの被介助者を対象とする場合、図8~図9に示した各デバイス200は非アクティブである動作モード0に設定されてもよい。
<転落リスクに関するデバイスの動作>
 一方で、寝たきりの被介助者であっても、車椅子630等を用いることが考えられるため、転落リスクが高い。よって寝たきりの被介助者を対象とする場合にも、図10~図11に示した各デバイス200による転落リスクに関する処理は継続されることが望ましい。この際、被介助者は自発的な姿勢変更が難しいため、褥瘡リスクの高くなる。よって図10に示した座面センサ440は、前ずれ横ずれ判定や転落判定に加えて、車椅子630での褥瘡リスクの高低を判定する動作モード3で動作してもよい。例えば座面センサ440は、圧力値の変化が少ない状態が所定時間以上経過した場合に、褥瘡リスク有りと判定してもよい。同様に、図11に示した端末装置450は、褥瘡を抑制するためのポジションを介助者に提示する動作モードで動作してもよい。
<誤嚥リスクに関するデバイスの動作>
 また寝たきりの被介助者であっても経口での食事を継続する場合がある。よって図12に示した嚥下ムセ検出装置460は、寝たきりの被介助者を対象とする場合にも動作を行う。なお嚥下ムセ検出装置460は、寝たきりではないが食事が難しい被介助者を対象とする場合と、寝たきりの被介助者を対象とする場合とで同じ動作モードで動作してもよい。また嚥下ムセ検出装置460は、寝たきりではないが食事が難しい被介助者を対象とする場合に比べて、寝たきりの被介助者を対象とする場合には、より誤嚥リスクを低減できる動作モードで動作してもよい。例えば、嚥下ムセ検出装置460は、嚥下時間との比較に用いる閾値を下げることによって、より誤嚥リスクが検出されやすくしてもよい。あるいは嚥下ムセ検出装置460は、寝たきりの被介助者を対象とする場合、食形態に関する判定を追加することによって、誤嚥リスクを低減する動作を行ってもよい。あるいは、嚥下ムセ検出装置460は、寝たきりの被介助者を対象とする場合、通常のムセ検出や嚥下時間の算出等の処理に加えて、危険なムセの有無に関する判定を追加することによって、誤嚥リスクを低減する動作を行ってもよい。また嚥下ムセ検出装置460は、ムセが頻発しているかを判定する処理を追加してもよいし、被介助者が眠そうにしているか否かを判定する処理を追加してもよい。
 また上記の看取りケアにおいて上述したように、寝たきりの被介助者を対象とする場合、食事量の自動記録が行われてもよい。例えば嚥下ムセ検出装置460の端末装置462は食事の前後において食事の画像を撮像し、その差分に基づいて食事量を自動記録してもよい。即ち、嚥下ムセ検出装置460は、寝たきりの被介助者を対象とする場合、食事量の自動記録を含む動作モードで動作してもよい。また食事量を自動記録するデバイス200として、嚥下ムセ検出装置460とは異なるデバイスが用いられてもよい。
<能力情報の更新>
 また図7のステップS205に示したように、サーバシステム100の能力情報取得部111は、センシングデータに基づいて能力情報を更新する処理を行ってもよい。例えば能力情報取得部111は、センシングデータに基づいて褥瘡に関する評価を行い、評価結果に基づいて能力の変化を判定する。
 例えば能力情報取得部111は、検出装置430等を用いて圧力値の分散度合いを判定し、決まったところに所定時間以上圧力が加わっている場合、褥瘡を抑制する姿勢変化を実現できておらず、能力が低いと判定する。
 また能力情報取得部111は、ベッドポジション検出装置470からの情報に基づいてポジショニング調整中のNGと判定された回数、オムツの位置が適切でない回数を判定し、これらの回数に基づいて能力情報を求めてもよい。例えば、NGと判定された回数が少ないほど、またはオムツの位置が適切でない回数が少ないほど能力が高く判定され、回数が多いほど能力が低く判定される。
 また能力情報取得部111は、MRグラス等のメガネ型デバイス480から出力される褥瘡の有無に基づいて能力情報を更新してもよい。例えば、褥瘡がない場合、褥瘡がある場合に比べて能力が高く判定される。
2.6 まとめ
 以上、図8~図14等を用いてデバイス200の具体例、及び動作例を説明した。上述したように、各デバイス200は、能力情報に応じて少なくとも非アクティブである動作モード0と、アクティブである動作モード1の間で動作モードを切り替える。また上述したように、アクティブである場合の動作モードも1つに限定されず、処理内容が異なる複数の動作モードが設定されてもよい。
 図17は、各デバイス200の動作モードの一例である。図17に示すように、転倒リスクを検出する撮像装置410は、起居できない被介助者については動作モード1で動作し、歩行できない被介助者及び食事がうまくできない被介助者については動作モード2で動作し、寝たきりの被介助者については非アクティブである動作モード0で動作する。
 例えば動作モード1とは、端座位が検出された場合に動き出しがあったと判定されるモードであり、動作モード2とは、覚醒が検出された場合に動き出しがあったと判定されるモードであってもよい。動作モード2は、動作モード1に比べて早い段階で動き出しが検出されるため、より転倒リスクを低減できる。
 また転落リスクを検出する座面センサ440は、起居できない被介助者については非アクティブである動作モード0で動作し、歩行できない被介助者については動作モード1で動作し、食事がうまくできない被介助者については動作モード2で動作し、寝たきりの被介助者については動作モード3で動作する。
 例えば動作モード1は前ずれ横ずれのみを行うモードであり、動作モード2は転落可能性の判定が追加されるモードであり、動作モード3は車椅子での褥瘡判定が追加されるモードであってもよい。この例では、能力の低下とともに判定対象が追加されるため、能力変化に伴うリスクの増大に適切に対応できる。
 また誤嚥リスクを検出する嚥下ムセ検出装置460は、起居できない被介助者及び歩行できない被介助者については非アクティブである動作モード0で動作し、食事がうまくできない被介助者については動作モード1で動作し、寝たきりの被介助者については動作モード2で動作する。
 例えば動作モード1は嚥下時間に基づく判定を行うモードであり、動作モード2は動作モード1に加えて食形態等のオプションが追加されるモードであってもよい。この例では、能力の低下とともに判定対象が追加されるため、能力変化に伴うリスクの増大に適切に対応できる。
 また褥瘡リスクを検出するベッドポジション検出装置470は、起居できない被介助者、歩行できない被介助者、及び食事がうまくできない被介助者については非アクティブである動作モード0で動作し、寝たきりの被介助者については動作モード1で動作する。
 以上のように、本実施形態の手法によれば、能力と各種リスクの関係を考慮した上で、必要性の高い場面で適切にリスク有無の判定や、当該リスクを低減するための処理を行うことが可能になる。なお図17はデバイス200、能力情報、動作モードの関係の一例を示すものであり、本実施形態の手法はこれに限定されない。
 能力情報に基づいてデバイス200の動作モードを設定する場合、被介助者の能力が下がるほど、それを補うためにデバイス200の機能が追加されることが想定される。ただし、デバイス200のうちの第1デバイスは、能力情報によって表される能力値が所定閾値以上の範囲において、能力値の低下に伴って使用する機能が増える動作モードに設定され、能力値が所定閾値未満の範囲において、所定閾値以上の範囲に比べて使用する機能が少ない動作モードに設定されてもよい。即ち、本実施形態のデバイスの一部は、ある程度の能力低下についてはそれを補うために機能を増やす方向で動作するが、一定以上の能力低下が見られた場合、機能を減らす方向にシフトしてもよい。このようにすれば、能力に応じた各暗黙知の要否を適切に考慮し、必要性の低い暗黙知に対応するアプリケーションを非アクティブとすることによって処理負荷を低減することが可能になる。
 ここでの第1デバイスは、被介助者の動き出しにおける転倒リスクの判定に用いられるデバイス200であってもよい。例えば第1デバイスは、図8に示した撮像装置410、図9に示したベッドサイドセンサ420、図9に示した検出装置430のうちの少なくとも1つである。図17の例であれば、「起居できない」、「歩行できない」、「食事がうまくできない」の範囲内では、これらのデバイス200の動作モードは処理内容を追加する方向で変化するのに対して、より能力が低い「寝たきり」では非アクティブに対応する動作モードが設定される。このようにすれば、必要性が低下したデバイスの動作が継続することを抑制できる。なお検出装置430は「寝たきり」における看取り判定に用いられてもよく、動き出しにおける転倒リスクの判定に用いられるデバイス200の全てが、能力値の低い状態で機能を減らす必要は無い。
3.シーン情報、デバイス種類情報に基づくデバイス制御
 また本実施形態の手法では、デバイス200の動作モードの設定に能力情報以外の情報が用いられてもよい。以下、シーン情報及びデバイス種類情報について説明する。
3.1 概要
 図18は、サーバシステム100及びデバイス200の動作を説明するシーケンス図であって、被介助者の能力情報、シーン情報、及びデバイス種類情報に基づいて、デバイス200の動作モードが変化する例を説明する図である。
 まずステップS301において、サーバシステム100は、デバイス200に対して能力情報、シーン情報、デバイス種類情報を含むデータを送信する処理を行う。なおシーン情報とデバイス種類情報の一方が省略されてもよい。図18では、ADLの指標値が2であり、シーンを特定するシーンIDが0であり、デバイス種類を特定するデバイス種類IDがxxであるデータが送信された例を示している。
 ステップS302において、デバイス200は、取得した能力情報、シーン情報、デバイス種類情報に基づいて、インストール済のベンダアプリのアクティブ/非アクティブを制御する。例えばデバイス200の記憶部220は、ADLの指標値、シーンID、デバイス種類IDと、各アプリケーションのアクティブ/非アクティブとを対応付けたテーブルデータを記憶してもよい。デバイス200の処理部210は、当該テーブルデータのうち、受信したデータに合致するレコードを抽出することによって、各アプリケーションのアクティブ/非アクティブを決定する。また図19、図20、図22を用いて後述するように、各デバイス200は、能力情報、シーン情報及びデバイス種類情報に基づいて動作モードを決定するアルゴリズムを記憶してもよい。図18では、ベンダアプリ1~ベンダアプリ3のうち、ベンダアプリ1及び2がアクティブとなり、ベンダアプリ3が非アクティブとなる動作モードが設定される例を示している。
 ステップS302の処理後、デバイス200は、ベンダアプリ1に従った処理、及びベンダアプリ2に従った処理を実行する。ステップS303において、デバイス200は、処理結果をサーバシステム100に送信する。ここでの処理結果とは、熟練者の暗黙知を用いて実行された判断の結果に相当する。またここでの処理結果は、デバイス200が検出したセンシングデータのログ等を含んでもよい。
 ステップS304において、サーバシステム100は、デバイス200から受信した処理結果に基づく制御を実行する。例えば、処理部110は、制御対象デバイスを特定し、当該制御対象デバイスを動作させる制御信号を送信する処理を行ってもよい。
 またステップS305において、サーバシステム100は、被介助者の能力情報、シーン情報、デバイス種類情報を更新する処理を実行する。能力情報の更新処理については上述したとおりである。またシーン情報取得部112は、デバイス200から取得したセンシングデータのログ、属性等の被介助者に関する情報、スケジュール等の介助者に関する情報の少なくとも1つに基づいて、シーン情報を求める。またデバイス種類情報取得部113は、対象のデバイス200とともに用いられる他のデバイス200の種類を表す情報をデバイス種類情報として取得する。具体的な処理の例については後述する。
 ステップS306において、サーバシステム100は、デバイス200に対して、更新後の能力情報、シーン情報、デバイス種類情報を含むデータを送信する処理を行う。図18では、シーンIDが0から1に変更された例を示している。
 ステップS307において、デバイス200は、取得したデータに基づいて、インストール済のベンダアプリのアクティブ/非アクティブを制御する。例えばデバイス200は上述したように、テーブルデータに基づいて各ベンダアプリのアクティブ/非アクティブを決定する。図18の例では、ベンダアプリ1及び2はアクティブな状態が維持され、且つ、ベンダアプリ3が非アクティブからアクティブに変更される。これにより、ステップS307以降では、デバイス200は、ベンダアプリ1~ベンダアプリ3の全てがアクティブとなる動作モードによって動作する状態に移行する。ステップS307以降の動作は、例えばステップS303-S306と同様である。
 以下では、シーン情報に基づく動作モードの設定例、及び、デバイス種類情報を用いた動作モードの設定例についてそれぞれ説明する。
3.2 シーン情報に基づく処理の具体例
 サーバシステム100は、被介助者の介助のシーンを特定するシーン情報を求め、求めたシーン情報をデバイスに送信してもよい。そしてデバイス200は、能力情報及びシーン情報に基づいて、複数の動作モードのうちのいずれで動作するかを決定する。例えばデバイス200の記憶部220は、能力情報及びシーン情報と、動作モードとを対応付けた情報を記憶する。処理部210は、当該情報と、サーバシステム100から取得した能力情報及びシーン情報とに基づいて、動作モードを求める。能力情報及びシーン情報と、動作モードとを対応付けた情報は、例えば、能力情報の値、シーン情報の値、及び各アプリケーションのアクティブ/非アクティブを対応付けたテーブルデータであってもよい。あるいは、能力情報及びシーン情報と、動作モードとを対応付けた情報は、能力情報及びシーン情報に基づいて、各アプリケーションのアクティブ/非アクティブを求めるアルゴリズムであってもよい。このようにすれば、介助シーンに応じて適切なデバイス200を動作させること、換言すれば、適切な暗黙知を使用した介助を実行させることが可能になる。
 例えばシーン情報取得部112は、被介助者の介助を実行する介助者に関する情報をシーン情報として求めてもよい。具体的には、シーン情報は、被介助者の介助を実行可能な介助者の人数に関する情報であってもよいし、勤務年数、熟練度、保有資格等に関する情報であってもよい。以下、介助者の人数を用いる例について説明する。この場合、デバイス200は、介助者の人数に応じて動作モードを決定する。
 ここでのデバイス200は、例えば図8を用いて上述した撮像装置410であってもよい。例えば被介助者がまとまって活動を行うリビング等に一定数以上の介助者が存在する場合、介助者同士でフォローすることが可能であるため、被介助者の動き出しを介助者が目視で判断することや、転倒リスク有りと介助者が判断した場合に、適切に介入を行うことが可能である。ここでの介入とは、例えば動き出そうとしている被介助者の近くまで移動し、必要に応じて体を支える等、動き出しをサポートすることを表す。この場合、撮像装置410がアクティブとなる必要性が相対的に低い。
 一方で、対象空間に位置する介助者の数が少ない場合、一人の介助者が実行すべきタスクが多くなるため、被介助者の動きを詳細に観察することが難しく、適切なタイミングでの介入が難しいおそれがある。この場合、撮像装置410がアクティブとなる必要性が相対的に高くなる。
 以上を鑑みれば、能力情報に加えてシーン情報を用いて撮像装置410の動作モードを決定することによって、撮像装置410を適切に動作させることが可能になる。
 図19は、撮像装置410における動作モードの決定処理を説明するフローチャートである。まずステップS401において、撮像装置410の処理部210は、対象となる被介助者を特定する処理を行う。例えば処理部210は、撮像画像に基づく顔認識処理を行うことによって、被介助者を特定する。
 ステップS402において、処理部210は、被介助者の能力情報を取得する。例えば処理部210は、図18のステップS301やS306に示すデータをサーバシステム100から受信することによって、能力情報を特定する。
 ステップS403において、処理部210は、能力情報に基づいて、被介助者の能力が起居できない状態まで低下しているか否かを判定する。能力が低下していない場合(ステップS403:No)、転倒リスクは低いため、ステップS404において、処理部210は、撮像装置410の動作モードを非アクティブに対応するモード0に設定する。なお、本実施形態における能力情報は、ADLの指標値に限定されず、より詳細な情報、例えば上述した立ち上がりの仕方を表す情報、座位保持能力、嚥下能力、歩行能力等を表す情報であってもよい。さらに言えば、座位保持能力等を求める際に種々のセンシングデータを用いることが可能であるし、当該センシングデータから座位保持能力等を求める際のアルゴリズムにも種々の変形実施が可能である。ステップS403に示した被介助者の能力が起居できない状態まで低下しているか否かの判定においては、上記の通り、ADLの指標値に比べてデータ量の多い詳細な能力情報を用いた処理が実行されてもよい。この場合、ステップS403の処理負荷が大きくなるため、当該処理はサーバシステム100において実行されてもよい。
 被介助者の能力が起居できない状態まで低下している場合(ステップS403:Yes)、ステップS405において処理部210はシーン情報に基づいて、介助者の人数を特定するする。例えばサーバシステム100のシーン情報取得部112は、撮像画像に基づいて介助者の人数を判定してもよいし、介護施設等における介助スケジュール(例えば勤務表)に基づいて介助者の人数を判定してもよい。あるいは、介助者にRFID(radio frequency identifier)タグ等を装着するとともに、対象空間の出入り口等に読取り装置を設けることによって、対象空間内の介助者数を表す情報が求められてもよい。デバイス200の処理部210は、これらの情報をサーバシステム100から取得することによってステップS405に示す処理を実行する。
 ステップS406において、処理部210は、シーン情報に基づく判定を行う。具体的には、処理部210は介助者の人数が所定閾値以下であるかを判定する。人数が所定閾値よりも多い場合(ステップS406:No)、転倒リスクに対応可能な人員が確保されているため、ステップS404に移行し、処理部210は、撮像装置410の動作モードを非アクティブに対応するモード0に設定する。
 人数が所定閾値以下である場合(ステップS406:Yes)、介助者が不十分であり転倒リスク抑制のためにはデバイス200のサポートが重要となる。よってステップS407において、処理部210は、撮像装置410の動作モードをアクティブに対応するモード1に設定する。なお、図19ではステップS405,S406を処理部210が行う形態で説明したが、これに限定されることなく例えばサーバシステム100がステップS405,S406を実施し、その結果のみを処理部210が受領してステップS404に遷移するか、ステップS407に遷移するかを判定してもよい。
 またシーン情報は、介助者に関する情報に限定されない。例えば、サーバシステム100のシーン情報取得部112は、被介助者に関する情報をシーン情報として求めてもよい。具体的には、シーン情報は、被介助者の属性を表す属性情報であってもよい。属性情報には、被介助者の年齢、身長、体重、性別、既往歴、服用履歴等が含まれる。例えばシーン情報取得部112は、被介助者が認知症であるか否かを表す情報をシーン情報として求める。
 動き出し時の転倒リスク軽減のためには、介助者が呼びかけを行うことによって一旦動作を停止させることが重要であるが、認知症患者は介助者が呼びかけても反応しない場合がある。しかし認知症患者であっても、家族等の親しい関係にある人物の声は覚えているケースが多く、家族による呼びかけには反応する蓋然性が高いという知見がある。
 よって撮像装置410は、家族の声を録音した音声データまたは家族が注意喚起をする動画データを記憶し、不図示のスピーカを用いて当該音声データまたは動画データを出力する動作モードを有してもよい。例えば撮像装置410の処理部210は、図19に示したように能力情報、及び介助者の人数であるシーン情報に基づいて、アクティブ/非アクティブを判定する。そして処理部210は、撮像装置410がアクティブに設定された場合、ステップS401で特定された被介助者が認知症患者であるかを判定する。撮像装置410は、被介助者が認知症患者である場合は、家族の音声データ等を出力する動作モードで動作し、認知症患者でない場合は音声データ等を出力しない動作モードで動作する。このようにすれば、被介助者の属性に合わせた動作モードを設定することが可能になる。なお、1人の被介助者に対して、家族等の音声データは複数用意されてもよい。例えば、家族等による呼びかけが1通りのみであると、被介助者は当該呼びかけを覚えてしまい反応が鈍くなる可能性がある。よって撮像装置410は、対象の被介助者に対応付けて記憶された複数の音声データのうち、ランダムに選択された1つを出力する処理を行ってもよい。このようにすれば、家族等による呼びかけのバリエーションを増やすことができるため、効果的に被介助者の動き出しを停止させることが可能になる。
 また本実施形態におけるシーン情報とは、食事介助、排泄介助、移動・移乗介助等、介助の種類を表す情報であってもよい。例えばシーン情報取得部112は、介助者によるユーザ入力に基づいて、介助の種類を表すシーン情報を取得してもよい。またシーン情報取得部112は、介護施設等における介助スケジュールと、現在時刻との関係に基づいて、実行されている介助の種類を求めてもよい。あるいはシーン情報取得部112は、介護施設等における被介助者の位置を推定することによって、介助の種類を求めてもよい。例えばシーン情報取得部112は、被介助者が食堂にいれば食事介助が行われており、トイレにいれば排泄介助や転倒防止のための介助が行われていると判定する。位置判定は、施設の各所に配置された人感センサ等を用いて行われてもよい。あるいは施設の各所にアクセスポイント(AP)を配置し、介助者が携帯するステーション機器(STA)がいずれのAPに接続したかに応じて位置判定が行われてもよい。
 例えば図10に示した座面センサ440は、上述したように、前ずれ横ずれ判定と、転落可能性の判定を実行可能である。しかし、車椅子630に座って食事を行う場合、図12に示すように被介助者の前には食事を並べるテーブル等が配置されるため、当該テーブルが支えとなり転落が発生する可能性が低い。よって座面センサ440は食事中には転落可能性の判定を非アクティブとすることによって、必要性の低い処理を省略できる。
 図20は、座面センサ440における動作モードの決定処理を説明するフローチャートである。まずステップS501において、座面センサ440の処理部210は、対象となる被介助者を特定する処理を行う。例えば処理部210は、介助スケジュール等に基づいて被介助者を特定してもよいし、ユーザ入力に基づいて被介助者を特定してもよい。
 ステップS502において、処理部210は、被介助者の能力情報を取得する。例えば処理部210は、図18のステップS301やS306に示すデータをサーバシステム100から受信することによって、能力情報を特定する。
 ステップS503において、処理部210は、能力情報に基づいて、被介助者の能力が歩行できない状態まで低下しているか否かを判定する。能力が低下していない場合(ステップS503:No)、座面センサ440を用いた判定の必要性は低いため、ステップS504において、処理部210は、座面センサ440の動作モードを非アクティブに対応するモード0に設定する。またステップS403において上述した例と同様に、ステップS503では能力情報について、より詳細な情報まで考慮した処理が実行されてもよい。そのため、ステップS503の処理は、サーバシステム100において実行されてもよい。
 被介助者の能力が歩行できない状態まで低下している場合(ステップS503でYes)、ステップS505において処理部210はシーン情報として、介助の種類を表す情報を取得する。上述したように、ステップS505の処理は、ユーザ入力に基づいて行われてもよいし、何らかのセンシングデータに基づいて行われてもよい。
 ステップS506において、処理部210は、シーン情報に基づく判定を行う。具体的には、処理部210は介助種類が食事介助であるかを判定する。食事介助である場合(ステップS506:Yes)、前ずれ横ずれ判定は有用であるが、転落可能性の判定は必要性が低い。よってステップS507において、処理部210は、座面センサ440の動作モードを、前ずれ横ずれ判定を行い、且つ、転落可能性の判定を行わないモードに設定する。
 介助種類が食事介助でない場合(ステップS506:No)、被介助者の前にテーブルがあるとは限らず、車椅子630からの転落リスクが高い。よってステップS508において、処理部210は、座面センサ440の動作モードを、前ずれ横ずれ判定と、転落可能性の判定の両方を実行するモードに設定する。またステップS508において、処理部210は、座面センサ440の動作モードを、前ずれ横ずれ判定を実行せず、且つ、転落可能性の判定を実行するモードに設定してもよい。
 なお、以上では撮像装置410及び座面センサ440について、シーン情報に基づく処理を行う例を説明した。ただし、他のデバイス200の動作モードがシーン情報に基づいて決定されてもよい点は言うまでもない。
3.3 デバイス種類情報に基づく処理の具体例
 またサーバシステム100(デバイス種類情報取得部113)は、デバイス200と同じ被介助者の介助に用いられる併用デバイスの種類を特定するデバイス種類情報を求めてもよい。サーバシステム100は、デバイス種類情報をデバイス200に送信する。デバイス200は、能力情報及びデバイス種類情報に基づいて、複数の動作モードのうちのいずれで動作するかを決定する。例えばデバイス200の記憶部220は、能力情報及びデバイス種類情報と、動作モードとを対応付けた情報を記憶する。処理部210は、当該情報と、サーバシステム100から取得した能力情報及びデバイス種類情報とに基づいて、動作モードを求める。能力情報及びデバイス種類情報と、動作モードとを対応付けた情報は、例えば、能力情報の値、デバイス種類情報の値、及び各アプリケーションのアクティブ/非アクティブを対応付けたテーブルデータであってもよい。あるいは、能力情報及びデバイス種類情報と、動作モードとを対応付けた情報は、能力情報及びデバイス種類情報に基づいて、各アプリケーションのアクティブ/非アクティブを求めるアルゴリズムであってもよい。
 図21は、図12を用いて上述した嚥下ムセ検出装置460と併用デバイスの例を説明する図である。ここでの併用デバイスは、具体的には本実施形態に係るデバイス200であってもよい。嚥下ムセ検出装置460は食事中に用いられるが、食事は車椅子630を用いて行われてもよいし、ベッド610を用いて行われてもよい。
 例えば、嚥下ムセ検出装置460の併用デバイスは、図10に示した座面センサ440であってもよい。デバイス種類情報取得部113は、嚥下ムセ検出装置460がアクティブであり、且つ、座面センサ440からの検出結果やセンシングデータのログが取得されている場合に、嚥下ムセ検出装置460と座面センサ440が併用されていると判定してもよい。あるいはデバイス種類情報取得部113は、座面センサ440からの検出結果やセンシングデータのログに基づいて、被介助者が車椅子630に座っていると判定された場合に、嚥下ムセ検出装置460と座面センサ440が併用されていると判定してもよい。この場合、被介助者は車椅子630を用いて食事を行っていると考えられる。
 同様に、嚥下ムセ検出装置460の併用デバイスは、図9に示した検出装置430であってもよい。デバイス種類情報取得部113は、嚥下ムセ検出装置460がアクティブであり、且つ、検出装置430からの検出結果やセンシングデータのログが取得されている場合に、嚥下ムセ検出装置460と検出装置430が併用されていると判定してもよい。あるいはデバイス種類情報取得部113は、検出装置430からの検出結果やセンシングデータのログに基づいて、被介助者が在床状態であると判定された場合に、嚥下ムセ検出装置460と検出装置430が併用されていると判定してもよい。この場合、被介助者はベッド610を用いて食事を行っていると考えられる。
 図22は、嚥下ムセ検出装置460における動作モードの決定処理を説明するフローチャートである。まずステップS601において、嚥下ムセ検出装置460の処理部210は、対象となる被介助者を特定する処理を行う。例えば処理部210は、端末装置462が撮像した撮像画像に対する顔認識処理に基づいて被介助者を特定してもよい。
 ステップS602において、嚥下ムセ検出装置460は、被介助者の能力情報を取得する。例えば処理部210は、図18のステップS301やS306に示すデータをサーバシステム100から受信することによって、能力情報を特定する。
 ステップS603において、嚥下ムセ検出装置460は、能力情報に基づいて、被介助者の能力が、食事がうまくできない状態まで低下しているか否かを判定する。能力が低下していない場合(ステップS603:No)、嚥下ムセ検出装置460を用いた判定の必要性は低いため、ステップS604において、処理部210は、嚥下ムセ検出装置460の動作モードを非アクティブに対応するモード0に設定する。
 食事がうまくできない状態まで被介助者の能力が低下している場合(ステップS603でYes)、ステップS605において嚥下ムセ検出装置460はデバイス種類情報取得部113から併用デバイスを特定する情報を取得する。なお、上述した例からもわかるように、ここではベッド610での食事か車椅子630での食事かを判定できればよいため、併用デバイスの種類が重要である一方で、ベンダや型番まで特定する必要性は低い。よってステップS605において嚥下ムセ検出装置460は、併用デバイスのデバイス種類IDを取得する。
 ステップS606において、嚥下ムセ検出装置460は、デバイス種類情報に基づく判定を行う。具体的には、嚥下ムセ検出装置460は食事が車椅子630を用いて行われているかを判定する。具体的には上述したように、嚥下ムセ検出装置460は、デバイス種類情報によって表される併用デバイスが、座面センサ440であるか検出装置430であるかを判定してもよい。食事が車椅子630を用いて行われている場合(ステップS606:Yes)、食堂等までの移動が可能であることになるため、被介助者の状態が相対的によい。よってステップS607において、処理部210は嚥下ムセ検出装置460の動作モードを、嚥下時間等を用いた通常の判定を行うモードに設定する。
 一方、食事がベッド610を用いて行われている場合(ステップS606:No)、被介助者は移動が容易でない、あるいはベッド610のように柔軟な背角度設定が可能な機器がなければ食事が難しい状態であると推定される。よってステップS608において、処理部210は嚥下ムセ検出装置460の動作モードを、より誤嚥リスクを低減可能なモードに設定する。例えば嚥下ムセ検出装置460は、単にムセの有無を検出するだけでなく、ムセの内容を判定する処理を行ってもよい。例えば嚥下ムセ検出装置460は、ムセが誤嚥につながりやすい危険なムセであるか否かを判定してもよい。また、嚥下ムセ検出装置460は、被介助者が眠そうにしているか否かの判定を行ってもよい。眠そうか否かの判定は、例えば端末装置462の撮像する撮像画像に基づいて、目の開閉、口や手の動く頻度等に基づいて行われてもよい。また眠そうか否かの判定が、検出装置430を用いて実行されてもよい。
 なお以上では、車椅子630とベッド610の2通りの併用デバイスを例示したがこれには限定されない。例えば車椅子630として、通常の車椅子とリクライニング車椅子とが用いられてもよい。この場合、背角度調整の柔軟性は、通常の車椅子、リクライニング車椅子、ベッド610の順で高くなる。よって嚥下ムセ検出装置460は、通常の車椅子、リクライニング車椅子、ベッド610の順でより手厚い介護が実行できるように、動作モードが制御されてもよい。例えば嚥下ムセ検出装置460は、上記の順で、アクティブに設定するアプリケーションの数を増やしてもよい。
 また以上では、嚥下ムセ検出装置460が動作モードの設定対象となるデバイス200であり、座面センサ440や検出装置430が併用デバイスである例について説明した。ただし、座面センサ440や検出装置430が動作モードの設定対象となるデバイス200であり、嚥下ムセ検出装置460が併用デバイスとなってもよい。換言すれば、本実施形態の手法では、複数のデバイス200が併用される場合に、当該複数のデバイス200が相互に連動することによって動作モードが変更されてもよい。例えば、図10に示した座面センサ440と、図11に示した車椅子ポジションの調整に用いられる端末装置450は、いずれか一方を用いることでも転落リスクの低減に有用である。ただし、座面センサ440及び端末装置450は両方が併用されてもよい。そしてこの場合、一方のデバイス200の制御に連動して、他方のデバイス200の制御が行われてもよい。
 例えば、能力情報に基づいて被介助者が歩行できない状態に移行したと判定された場合、まず座面センサ440がアクティブに対応する動作モードに移行し、端末装置450は非アクティブに対応する動作モードを維持してもよい。このようにすれば、まずは前ズレ横ズレ判定が行われるとともに、ログデータを用いて座位保持能力が求められる。
 そして、座位保持能力が所定以下に低下したと判定された場合、端末装置450はアクティブに対応する動作モードに移行する。これにより、デバイス種類情報取得部113は、座面センサ440に対して、端末装置450が併用デバイスである旨のデータを送信する。そして座面センサ440は、端末装置450が併用される場合、併用されない場合とは異なる動作モードに設定されてもよい。例えば座面センサ440の処理部210は、判定における閾値を変更してもよい。あるいは、座面センサ440は、前ズレ横ズレ判定等における基準(初期値)を内部で決定する動作モードから、端末装置450を用いたポジション調整が行われたタイミング等に基づいて当該基準を決定する動作モードへ切り替わってもよい。またこれ以外の場合にも同様に、座面センサ440と端末装置450の一方の情報に基づいて、他方の制御が変更されてもよい。
 あるいは、座面センサ440は、端末装置450において取得された情報に基づいて、動作モードが制御されてもよい。例えば端末装置450では、介助者が被介助者の姿勢を調整する際に気をつけるべきポイントを入力できる。例えば、右肩の位置を注意する、右腕の下にクッションを入れる等のポイントが入力されることがあり、端末装置450では、当該ポイントに基づいて、被介助者の属性を推定できる。上記の例であれば、被介助者が右肩麻痺気味であるという属性が求められる。座面センサ440は、これらの情報に基づいて動作モードを決定してもよい。例えば座面センサ440は、前ずれ横ずれ判定を行うアプリケーションとして、麻痺の有無や麻痺が生じている部位に応じて異なる複数のアプリケーションを記憶してもよい。そして座面センサ440は、端末装置450から取得された属性に基づいて、各アプリケーションのアクティブ/非アクティブを制御する。上記の例であれば、座面センサ440は、右肩麻痺の被介助者に適した前ずれ横ずれ判定を行うアプリケーションをアクティブとし、他の前ずれ横ずれ判定を行うアプリケーションを非アクティブに設定する。このようにすれば、前ずれ横ずれ判定の暗黙知を複数使用可能な座面センサ440において、被介助者の属性に合わせて暗黙知を切り替えることが可能になる。
 また本実施形態のサーバシステム100は、併用デバイスの動作モードを特定するモード情報を取得し、デバイス種類情報及びモード情報をデバイス200に送信してもよい。デバイス200は、能力情報、デバイス種類情報及びモード情報に基づいて、複数の動作モードのうちのいずれで動作するかを決定する。
 例えば座面センサ440において、前ずれ横ずれ判定に加えて転落可能性の判定を行う動作モードに移行した場合、端末装置450では車椅子ポジションの適否を判定する通常処理に加えて、クッション等をレコメンドする追加処理を実行する動作モードに移行してもよい。あるいは、座面センサ440での動作モードが変化した場合に、端末装置450において正解と判定する教師データを切り替える処理が実行されてもよい。その他、具体的な動作モードの連携手法については種々の変形実施が可能である。
 このようにすれば、単純なアクティブ/非アクティブに限定されず、より詳細な動作モードを用いて、複数のデバイス200を連動させることが可能になる。上記の例であれば、車椅子ポジションの検出に係るデバイス200と、車椅子ポジションの調整支援に係るデバイス200を適切に連携させられるため、被介助者の転落リスク等をより低減することが可能になる。なおここでは座面センサ440と端末装置450の連携について説明したが、他のデバイス200が連携して動作することも妨げられない。
 また以上では能力情報とシーン情報の組み合わせ、及び能力情報とデバイス種類情報の組み合わせについて説明したが、能力情報、シーン情報及びデバイス種類情報の3つが組み合わされてもよい。
 また本実施形態の手法では、介助の種類とデバイス200の種類とが対応付けられてもよい。例えば、図12に示した嚥下ムセ検出装置460は、食事介助に特有のデバイス200であり、嚥下ムセ検出装置460が動作中である場合、被介助者の食事介助が行われている蓋然性が高い。このように、デバイス200の中にはデバイス種類情報と介助の種類の対応付けが可能なデバイスが存在する。例えば、嚥下ムセ検出装置460は、アクティブ状態であればゲートウェイ300を介してサーバシステム100と通信するため、シーン情報取得部112は、嚥下ムセ検出装置460との通信有無に基づいて、嚥下ムセ検出装置460の動作状態を判定できる。
 例えばサーバシステム100のシーン情報取得部112は、デバイス種類情報取得部113が取得したデバイス種類情報に基づいて、介助の種類を表すシーン情報を求め、当該シーン情報をデバイス200に送信してもよい。例えばシーン情報取得部112は、嚥下ムセ検出装置460がアクティブである場合に食事中と判定し、非アクティブである場合に食事中でないと判定する。あるいはサーバシステム100は、デバイス種類情報取得部113が取得したデバイス種類情報をデバイス200に送信し、デバイス200において、当該デバイス200に対応付けられた介助種類に応じて動作モードを決定する処理を行ってもよい。例えばデバイス200は、嚥下ムセ検出装置460が併用デバイスである場合に、食事介助に適した動作モードを選択する処理を行ってもよい。以上のように、介助の種類に合わせた動作モード設定は、シーン情報に関する処理として実行されてもよいし、デバイス種類情報に関する処理として実行されてもよく、具体的な実施態様は種々の変形実施が可能である。
4.デバイスの他の例
 また本実施形態におけるデバイス200は、上述したものに限定されない。例えば本実施形態のデバイス200は、軽度認知障害(MCI:Mild Cognitive Impairment)の判定を行うMCI判定デバイスであってもよい。例えばMCI判定デバイスは、音声や画像を用いて被介助者に対して質問を行い、当該質問に対する応答を受け付ける処理を行う。ここでの質問は、MMSE(Mini-Mental State Examination)等を用いたものであってもよいし、他の方式の質問であってもよい。MCI判定デバイスは、被介助者の応答に基づいてMCI判定を行う。またMCI判定デバイスは、被介助者の睡眠に関する情報等に基づいてMCIの判定を行ってもよい。
 また本実施形態におけるデバイス200は、介助の履歴を自動で記録する介助記録デバイスであってもよい。例えば介助記録デバイスは、介助者及び被介助者の少なくとも一方の位置情報を検出するデバイス200であってもよい。介助記録デバイスは、例えば対象の人物がベッド610にいる時間、トイレにいる時間、風呂にいる時間、食堂にいる時間等を判定し、判定結果に基づいてどのような種類の介助がどの程度の頻度、時間で行われたかを介助記録として記憶する処理を行う。介助記録デバイスは、例えば介助スケジュール等が厳密に設定されていない在宅介護等に有用である。
 また本実施形態のデバイス200は、図23に示す背もたれの角度調整が可能なリクライニング車椅子510や、図24に示すボトム面の角度調整が可能な介護ベッド520を含んでもよい。リクライニング車椅子510及び介護ベッド520は、例えば図7や図18に示した制御対象デバイスである。例えば、嚥下ムセ検出装置460によってムセが検出された場合に、被介助者の嚥下に適した角度に背もたれやボトムの角度が制御される。
 また、座面センサ440や端末装置450の処理結果に基づいてリクライニング車椅子510が制御されてもよい。例えば、図10や図11に示した車椅子630は、制御対象デバイスであるリクライニング車椅子510であってもよい。同様に、ベッドサイドセンサ420、検出装置430、ベッドポジション検出装置470、メガネ型デバイス480等の処理結果に基づいて介護ベッド520が制御されてもよい。例えば、図9、図13、図14に示したベッド610は制御対象デバイスである介護ベッド520であってもよい。
 その他、本実施形態で用いられるデバイス200は、形状、センサの数や種類、処理内容等に関して種々の変形実施が可能である。
5.デバイス間通信
 以上の説明では、例えば図18のステップS303に示したように、サーバシステム100が、デバイス200における処理結果を受信する。また図18のステップS304に示したように、サーバシステム100が当該処理結果に基づく制御を行わせるための制御信号を制御対象デバイスに送信する。また図18のステップS306に示したように、動作モードを決定する情報が更新された場合、当該情報のデバイス200への通知もサーバシステム100が実行する。
 ただし、サーバシステム100における処理負荷が過剰に増大することを抑制する観点から、本実施形態では、デバイス200における処理結果に基づく制御対象デバイスの制御、及び、シーン情報等の通知の少なくとも一方が、サーバレスで実行されてもよい。以下、具体的な情報処理システム10を例示しつつ説明する。
 図25は、サーバレスでの制御が実行される場合の情報処理システム10の構成例を示す図である。本実施形態の情報処理システム10は、所与の空間へのデバイス200の出入りを検出する入退室管理装置700と、空間内に位置するデバイス200とサーバシステム100との通信を中継するゲートウェイ300を含んでもよい。また図1と同様に、情報処理システム10は、サーバシステム100、デバイス200を含む。図25の例では、デバイス200としてデバイス200-1、デバイス200-2、デバイス200-3を例示している。
 図25に示すように、ゲートウェイ300は例えば介護施設等における居室に配置され、少なくとも当該居室内に位置するデバイス200との間で十分な強度での電波の送受信が可能な機器である。
 また図25に示す入退室管理装置700は、例えば居室の出入り口の近傍に配置され、デバイス200の入室または退室を検出する装置である。入退室管理装置700は、例えばBLE(Bluetooth Low Energy)等の近距離無線通信を行う機器であり、所定距離以下の位置にあるBluetooth対応機器との通信を行う。例えば入退室管理装置700は、居室内に配置され、当該入退室管理装置700とBLE通信が可能なデバイス200が当該居室内に位置すると判定してもよい。
 あるいは、入退室管理装置700はより詳細な判定を行ってもよい。例えば、入退室管理装置700は、居室内の異なる位置に複数配置されてもよい。そして複数の入退室管理装置700が、それぞれデバイス200と通信を行い、当該通信における電波強度(例えばRSSI:Received Signal Strength Indicator)に基づいてデバイス200との距離を推定する。このようにすれば、位置が既知である複数の点それぞれからの距離が求められるため、デバイス200の位置を推定できる。入退室管理装置700は、推定された位置と、既知の情報である居室の広さ、形状等に基づいて、デバイス200が居室内に位置するか否かを判定してもよい。その他、入退室の具体的な判定は種々の変形実施が可能である。
 デバイス200の記憶部220は、当該デバイス200に関する情報を記憶する。デバイス200に関する情報は、少なくともデバイス200を特定するデバイスIDを含む。またデバイス200に関する情報は、図3を用いて上述したデバイス情報122の一部または全部を含んでもよい。入退室管理装置700は、デバイス200とのBLE通信において、通信対象であるデバイス200に関する情報を取得する。このようにすれば、入退室管理装置700は、対象の空間に入室しているデバイス200を適切に特定できる。
 またデバイス200の記憶部220は、対象のデバイス200がゲートウェイ300を介した通信に用いるアドレス情報を記憶してもよい。ここでのアドレス情報は、例えばIPアドレスであってもよいし、IPアドレスを特定可能な他の情報(例えばMACアドレス)であってもよい。入退室管理装置700は、デバイス200とのBLE通信において、通信対象であるデバイス200のアドレス情報を取得する。
 また入退室管理装置700はBLEを用いる機器に限定されず、NFC(Near Field Communication)等の他の通信方式等を広く適用可能である。
 入退室管理装置700は、不図示のメモリを有し、当該メモリは居室内に位置する既存デバイスを特定する情報である既存デバイス情報を記憶してもよい。このようにすれば、対象の居室内にどのようなデバイス200が位置しているかを適切に管理することが可能になる。図25の例では、居室内には既にデバイス200-1及びデバイス200-2が入室済である。例えば入退室管理装置700は、デバイス200-1が入室した際に、デバイス200-1とのBLE通信に基づいて、当該デバイス200-1のデバイスIDを既存デバイス情報に追加する処理を実行する。同様に、入退室管理装置700は、デバイス200-2が入室した際に、デバイス200-2のデバイスIDを既存デバイス情報に追加する処理を実行する。これにより、居室内にデバイス200-1及びデバイス200-2が存在しているという状態が既存デバイス情報として保持される。
 入退室管理装置700は、保持している既存デバイス情報を、入室済のデバイス200に対して送信する処理を行ってもよい。例えば入退室管理装置700は、デバイス200-1に対して、デバイス200-1及びデバイス200-2のデバイスIDを含む既存デバイス情報を送信する。このようにすれば、デバイス200-1は、居室内にデバイス200-1自身に加えて、デバイス200-2が存在していることを認識できる。同様に、入退室管理装置700がデバイス200-2に対して既存デバイス情報を送信することによって、デバイス200-2は、居室内にデバイス200-1が存在していることを認識できる。
 また既存デバイス情報は、デバイスIDとアドレス情報とが対応付けられた情報であってもよい。例えば入退室管理装置700は、各デバイス200に対して、デバイス200-1のデバイスID及びアドレス情報と、デバイス200-2のデバイスID及びアドレス情報を送信する。このようにすれば、各デバイス200は、他のデバイス200が存在することを表す情報に加えて、当該他のデバイス200とゲートウェイ300を介して通信を行う際のアドレス情報も取得できる。
 図25の例のように、新たにデバイス200-3が居室に入室する場合も同様である。入退室管理装置700は、空間に新規デバイスが入ったことを検出した場合に、新規デバイスと通信を行うことによって、ゲートウェイ300を介した通信で用いられる新規デバイスのアドレス情報を取得し、取得したアドレス情報を空間内に位置するデバイス200に通知してもよい。例えば入退室管理装置700は、デバイス200-3とBLE通信を行うことによって、デバイス200-3のデバイスID及びアドレス情報を既存デバイス情報に追加する処理を行う。なお、デバイスIDとアドレス情報は同時に取得されるものに限定されない。例えば入室直後にはデバイス200-3とゲートウェイ300の接続が完了しておらず、動的なIPアドレスが割り振られていない場合、デバイス200-3はゲートウェイ300との接続確立を待ってから、アドレス情報を入退室管理装置700に送信してもよい。
 入退室管理装置700はデバイス200-3の入室に伴う既存デバイス情報の更新後に、当該既存デバイス情報をデバイス200-1~デバイス200-3に送信する。これにより、居室内に位置する各デバイス200は、当該居室内の他のデバイス200、及びアドレス情報を特定できる。
 なお入退室管理装置700は、既存デバイス(デバイス200-1及びデバイス200-2)と、新しく入室した新規デバイス(デバイス200-3)とで、送信する情報を切り替えてもよい。例えば入退室管理装置700は、既存デバイスに対しては、新規デバイスのデバイスID及びアドレス情報のみを送信し、既存デバイス情報の他のレコードの送信を省略してもよい。また入退室管理装置700は、新規デバイスに対しては更新前の既存デバイス情報を送信してもよい。このようにすれば、必要性の低い情報の送信を省略できるため、通信負荷の軽減が可能である。
 またいずれかのデバイス200が退室する場合も同様である。例えば入退室管理装置700は、BLE通信が行えなくなったデバイス200、あるいは推定された位置が居室外と判定されたデバイス200は、対象の居室から退室したと判定する。この場合、入退室管理装置700は、退室したデバイス200のデバイスID及びアドレス情報を既存デバイス情報から削除する処理を行う。また入退室管理装置700は、デバイス200の退室が発生したことを表す情報を既存デバイスに通知する。例えば入退室管理装置700は、更新後の既存デバイス情報を各デバイス200に送信してもよい。また入退室管理装置700は、退室したデバイス200のデバイスID等を各デバイス200に送信し、各デバイス200が保持する既存デバイス情報から該当するレコードを削除することを指示してもよい。
 また入退室管理装置700は、対象空間に位置する既存デバイス情報を記憶するものに限定されず、入退室のログデータを記憶してもよい。ログデータは、例えば入室時刻、退室時刻、デバイスID等が対応付けられた情報である。
 次にサーバレスでの通信について説明する。例えば、デバイス200-1がアクティブである動作モードで動作しており、その処理結果として、デバイス200-2の制御が必要であると判定したとする。例えば、デバイス200-1は嚥下ムセ検出装置460であり、危険なムセが検出されたため、介護ベッド520であるデバイス200-2のボトム角度の変更が必要であると判定する。
 図7や図18を用いて上述した例では、サーバシステム100を経由した処理が行われた。ただし図25の例においては、上述したように、デバイス200-1は、デバイス200-2が同じ居室内にあることが分かっており、そのIPアドレスも既知である。よってデバイス200-1は、サーバシステム100を介さずにデバイス200-2に制御信号を送信してもよい。具体的には、デバイス200-1は、デバイス200-2のIPアドレスを指定したパケットを用いて制御信号をゲートウェイ300に送信する。ゲートウェイ300は、IPアドレスに基づく判定によって、パケットの送信先が同じネットワーク内の機器であるデバイス200-2であると判定する。よって制御信号を含むパケットは、図25に「パケット1」として示したように、サーバシステム100を介することなくデバイス200-2に送信される。これにより、サーバシステム100を介さずに必要なデバイス200の制御を実行できるため、サーバシステム100の負荷を軽減することや、制御に要する時間を短縮することが可能になる。
 また、シーン情報やデバイス種類情報は、サーバシステム100の処理部110において求められるものに限定されない。例えばシーン情報として介助者の人数を用いる場合、デバイス200-1が撮像装置410等であれば、撮像画像に対する画像処理に基づいて居室内の介助者数を求めることも可能である。またデバイス種類情報は、あるデバイス200とともに用いられる他のデバイス200の種類を表す情報である。よって、デバイス200-1のデバイス種類IDは、同じ居室内で動作するデバイス200-2やデバイス200-3にとってのデバイス種類情報となる可能性がある。
 また本実施形態のデバイス200において、ADL指数等の能力情報が求められることも妨げられない。例えば上述したように、能力情報の算出にはセンシングデータのログを用いることが可能であるため、当該センシングデータを取得するデバイス200が能力情報を算出してもよい。
 図7や図18を用いて上述した例では、サーバシステム100において能力情報、シーン情報、デバイス種類情報が求められ、これらを含むデータがデバイス200に送信された。ただし図25の例においては、デバイス200-1は、デバイス200-2が同じ居室内にあることが分かっており、そのIPアドレスも既知である。よってデバイス200-1は、サーバシステム100を介さずにデバイス200-2に能力情報、シーン情報、デバイス種類情報等を送信する。具体的には、上述した制御信号と同様であり、デバイス200-1は、デバイス200-2のIPアドレスを指定したパケットを用いることによって、サーバシステム100を介することなく、能力情報等をデバイス200-2に送信できる。これにより、サーバシステム100を介さずに能力情報等に応じた動作モードの設定を行えるため、サーバシステム100の負荷を軽減することや、制御に要する時間を短縮することが可能になる。例えば、居室内に位置する複数のデバイス200は、それぞれがデバイス200自身のデバイス種類情報を他のデバイス200に通知し合うことによって、併用デバイスを特定する処理を実行してもよい。
 またデバイス200-1は、制御対象デバイス(例えばデバイス200-2)に対する制御に関するログデータを、サーバシステム100に送信してもよい。上述の例であれば、嚥下ムセ検出装置460であるデバイス200-1が、介護ベッド520であるデバイス200-2の背角度をいつ、どの程度変更したかを表すデータ等がログデータとなる。同様に、能力情報等をデバイス200-2に通知した場合、通知したタイミングや、通知内容である能力情報等の詳細がログデータとなる。これらのログデータをサーバシステム100に送信することによって、サーバレスでの通信が行われた場合にも、その内容をサーバシステム100と共有することが可能になる。
 例えばデバイス200-1は、図25に示すように、パケット1を用いて制御信号、能力情報、シーン情報、デバイス種類情報等を送信し、パケット2を用いてログデータを送信してもよい。ここでのログデータとは、上述したようにパケット1を用いた通信の履歴を表すデータである。またパケット1は、デバイス200-1が属するネットワーク内で送受信されるパケットである。パケット2は、デバイス200-1が属するネットワークを形成するゲートウェイ300を超えて送信されるパケットである。パケット2は、狭義にはサーバシステム100のIPアドレスを指定するパケットであってもよい。このように送信対象となるデータの内容に合わせてパケットを切り替えることによって、サーバシステム100の通信負荷を軽減することが可能になる。
 なお、以上ではデバイス200-1から他のデバイス200に対してサーバレスでのデータ送信を行う例を示したが、デバイス200-2等の他のデバイス200がデータの送信元となってもよい。
 以上のように、本実施形態に係るデバイス200は、動作結果をサーバシステム100に送信するか(図7のステップS203等)、動作結果に基づいて、サーバシステム100を介さずに、デバイス200とは異なる制御対象デバイスに、制御対象デバイスを制御する情報を送信するか(図25のパケット1)、を選択してもよい。このようにすれば、サーバシステム100主導で処理を行うか、サーバレスでの処理を行うかを柔軟に変更できる。
 具体的にはデバイス200は、入退室管理装置700からの情報に基づいて制御対象デバイスのアドレス情報が取得されている場合に、サーバシステム100を介さずに、制御対象デバイスを制御してもよい。このようにすれば、具体的な通信状況を考慮した上で、サーバレスでの処理を行うか否かを適切に決定することが可能になる。
 なお以上では入退室管理装置700を用いてサーバレス通信を行う例を説明したが、本実施形態の手法はこれに限定されない。例えばサーバシステム100は、デバイス200から送信されるパケットを参照することによって、当該パケットがいずれのゲートウェイ300を介して送信されたデータであるかを判定してもよい。そしてサーバシステム100は、同じゲートウェイ300に接続する複数のデバイス200が存在する場合に、当該複数のデバイス200は、近い距離にあると判定してもよい。
 そしてサーバシステム100は、各デバイス200に対して、当該デバイス200からの距離が近いと判定された他のデバイス200のアドレス情報を送信する。例えば、サーバシステム100は、同一のゲートウェイ300に接続される複数のデバイス200の識別情報及びアドレス情報を対応付けた情報を求め、当該情報を上記複数のデバイス200に定期的に送信する。このような手法であっても、各デバイス200は近くにある他のデバイス200のアドレス情報を特定できるため、サーバレス通信を実現できる。
6.通信の詳細例
6.1 概要
 図1に示した情報処理システム10のうち、少なくとも1つのデバイス200と、ゲートウェイ300との間では、無線通信方式を用いた通信が行われる。ここでの無線通信方式は、例えばIEEE802.11に準拠した通信方式であってもよい。またサーバシステム100は、有線通信方式を用いた通信を行ってもよいし、無線通信方式を用いた通信を行ってもよい。ここでの有線通信方式は、例えばIEEE802.3に準拠した通信方式であってもよい。以下、説明を簡略化するため、サーバシステム100、デバイス200、ゲートウェイ300のそれぞれがIEEE802.11に準拠した通信方式を用いる例について説明する。
 図26は、サーバシステム100の通信処理部114及び通信部130の構成例を示す図である。図26に示すように、通信処理部114は、上位層処理部1141、MAC層処理部1142、物理層処理部1143を含む。通信部130は、送受信回路131と、アンテナアレイ132を含む。ただし、通信処理部114及び通信部130の構成は図26に限定されず、一部の構成を省略する、他の構成を追加する等の種々の変形実施が可能である。
 上位層処理部1141は、MAC層よりも上位層における処理を行う。ここでの上位層とは、TCP/IP(Transmission Control Protocol/Internet Protocol)であってもよいし、UDP/IP(User Datagram Protocol/Internet Protocol)であってもよいし、アプリケーション層であってもよい。例えば、上述した能力情報、シーン情報、デバイス種類情報を求める処理は、サーバシステム100上で動作するソフトウェアによって実行されるものであって、ここでのアプリケーション層とは当該ソフトウェアに対応してもよい。上位層処理部1141は、MAC層処理部1142と接続される。
 MAC層処理部1142は、MAC層における送信処理、受信処理を行う。MAC層処理部1142は、物理層処理部1143と接続される。
 物理層処理部1143は、物理層における処理を行う。物理層処理部1143は、送受信回路131を介してアンテナアレイ132と接続される。
 送受信回路131は、デジタル/アナログ変換回路(以下、D/A変換回路と記載)、RF回路等の回路を含み、物理層処理部1143からのデジタル信号をアナログ信号に変換して、アンテナアレイ132に出力する。また送受信回路131は、アナログ/デジタル変換回路(以下、A/D変換回路と記載)を含み、アンテナアレイ132が受信した信号をデジタル信号に変換し、変換後のデジタル信号を物理層処理部1143に出力する。なお、物理層処理部1143がA/D変換回路やD/A変換回路を有することも妨げられない。
 アンテナアレイ132は、送受信回路から出力されたアナログ信号に基づく電波の送信、及び、受信電波に基づくアナログ信号の出力を行う複数のアンテナを含む。
 例えばデータ受信時には、図26に示す各部は以下のように動作する。まずアンテナアレイ132は、所定の周波数帯域における電波を受信し、当該電波に対応するアナログ信号を送受信回路131に出力する。送受信回路131は、アンテナアレイ132が受信したアナログ信号をベースバンド信号に変換する。また送受信回路131は、ベースバンド信号のA/D変換を行い、変換後のデジタル信号を物理層処理部1143に出力する。
 物理層処理部1143は、受信した信号の復調や誤り訂正等の処理を行う。また物理層処理部1143は、物理層に対応するヘッダである物理ヘッダを取り除き、ペイロード部分をMAC層処理部1142に出力する。
 MAC層処理部1142は、受信したペイロード部分をMACフレームとして処理する。MACフレームとは、IEEE802.11におけるMPDU(MAC Protocol data unit)であってもよい。MAC層処理部1142は、MACフレームのうち、MAC層におけるヘッダであるMACヘッダ、及びトレイラを除いた部分であるフレームボディを上位層処理部1141に受け渡す。
 上位層処理部1141は、MAC層処理部1142から受信したフレームボディに相当するデータを、ソフトウェア等に出力する。
 またデータ送信時には、この逆に相当する処理が実行される。まずサーバシステム100上で動作するソフトウェアによって、送信対象となるデータが生成され、当該データが上位層処理部1141に出力される。
 上位層処理部1141は、当該データに対して上位層におけるヘッダ等を付与することによって、フレームボディに相当するデータを作成し、MAC層処理部1142に出力する。
 MAC層処理部1142は、受信したデータに対して、MACヘッダ及びトレイラを付与することによって、MACフレームを作成する。MAC層処理部1142は、作成したMACフレームを物理層処理部1143に出力する。
 物理層処理部1143は、受信したデータに対して、物理ヘッダ等を付与することによって物理パケットを作成する。物理層処理部1143は、作成した物理パケットを送受信回路131に出力する。
 送受信回路131は、物理層処理部1143から受信したデータのA/D変換、及び、変調等を行うことによって、アナログ信号を生成する。送受信回路は、当該アナログ信号をアンテナアレイ132に出力する。アンテナアレイ132は、受信したアナログ信号に対応する電波を送出する。
 MAC層処理部1142は、上述したMACフレームとして、データフレーム、制御フレーム、管理フレームを用いてもよい。データフレームとは、端末間での通信リンクが確立している状態において、当該端末間でのデータを送受信する際に用いられるフレームである。例えば上記のように、サーバシステム100上で動作するソフトウェアが能力情報等を含むデータを作成し、当該データをデバイス200に送信する場合には、データフレームが用いられる。
 また管理フレームとは、端末間での通信リンクを管理するために用いられるフレームである。なお管理フレームを用いて送受信される情報についてはIEEE802.11において種々定義されており、本実施形態でもそれらを広く適用可能である。制御フレームとは、管理フレーム及びデータフレームの送受信制御に用いられるフレームである。制御フレームにはRTS(Request to Send)フレーム、CTS(Clear to Send)フレーム、ACK(Acknowledgement)フレーム等、種々のフレームが含まれる。これらのフレームについては、IEEE802.11の規格内において定義されているため詳細な説明は省略する。
 また以上ではサーバシステム100の通信に関する構成を例示したが、デバイス200及びゲートウェイ300についても同様の構成が用いられてもよい。また上述したように、サーバシステム100は有線通信方式を用いた通信を行ってもよく、その場合、上記の内容の一部をIEEE802.3に準拠した内容に置き換えること等が可能である。
6.2 フレーム構成
 本実施形態の手法では、MACフレーム(データフレーム)の構成は、通信対象であるデバイス200によらずに共通化されてもよい。図7等を用いて上述したように、本実施形態におけるデバイス200や、デバイス200で動作するアプリケーションは、デバイスベンダによって作成されてもよい。そのため、種々のベンダが作成したデバイス200が情報処理システム10に登録される場合もある。その点、データフレームの構成を共通化することによって、ベンダによらず通信制御を統一することが可能になる。なおデータフレームの構成とは、狭義にはフレームボディにおけるビット割り付けである。
 図27は、MACフレームのフォーマット例である。なお、図27に示すフォーマット例は管理フレームや制御フレームにも適用可能であるが、以下ではデータフレームを例に説明を行う。図27に示すように、MACフレームは、MACヘッダ、フレームボディ、トレイラを含む。
 MACヘッダは、Frame Control, Duration ID, Address 1, Address 2, Address 3, Sequence Control, Address 4, QoS Control, HT Controlの各フィールドを含む。またこれらのうちの一部が省略されてもよい。
 Frame Controlは、対象のMACフレームがデータフレームか、管理フレームか、制御フレームかの判別するためのタイプフィールドを含む。またFrame Controlはより細かい種別を特定するサブタイプフィールドを含んでもよい。Duration/IDには電波を使用する予定期間を表す情報が格納される。電波を使用する予定時間とは、フレーム送信に必要な時間と言い換えてもよい。Duration/IDはRTS/CTS等に用いられる。
 Address 1~Address 4は、受信先や送信元の機器のアドレスを表す情報を格納する。例えばAddress 1は、受信先アドレスに対応し、Address 2は送信元アドレスに対応する。Address 3, Address 4には、フレーム用途に応じたデータが格納される。
 Sequence Controlは、送信するデータのシーケンス番号に対応する。QoS ControlはQoS制御に用いられる情報を格納する。QoS制御とは、フレームの優先度を考慮して送信を行う制御を表す。HT Controlは例えば管理フレームにおいて用いられるフィールドである。
 フレームボディの構成については、図28A、図28Bを用いて後述する。またトレイラは例えばFCS(Frame Check Sequence)である。FCSは、フレームの誤り検出に用いられる情報であり、例えばチェックサム符号である。FSCは、例えばCRC(Cyclic Redundancy Code)である。
 本実施形態に係る情報処理システム10は、図1を用いて上述したようにサーバシステム100と、デバイス200を含む。デバイス200は、熟練者の暗黙知に対応する処理を実行するアプリケーションを含む。サーバシステム100は、図27に示すように、デバイス200との通信のデータリンク層において、MAC(Media Access Control)ヘッダ、フレームボディ、及びトレイラを含むデータフレームを送信する。ここでサーバシステム100は、被介助者の活動能力を表す能力情報を格納する第1領域、被介助者に対する介助のシーンを特定するシーン情報を格納する第2領域、及び、デバイス200とともに用いられる併用デバイスの種類を特定するデバイス種類情報を格納する第3領域を含む固定長の領域が、フレームボディに含まれるデータフレームを送信する。そしてデバイス200は、上述したように、能力情報、シーン情報及びデバイス種類情報の少なくとも1つに基づいて、アプリケーションのアクティブまたは非アクティブを決定する。
 このようにすれば、サーバシステム100が能力情報等をデバイス200に送信する際のデータフォーマットを統一することが可能になる。例えば、本実施形態の情報処理システム10に種々のベンダのデバイス200が登録される場合であっても、ベンダによらずにデータフレームの構成を統一できる。特に、第1~第3領域を固定長とすることによって、データフレームを受信したデバイス200における当該データフレームの解釈が容易になるため、通信に関する処理負荷の軽減が可能である。例えば第1~第3領域は、フレームボディのうち、上位層におけるヘッダ等を除いた先頭部分に配置されてもよい。
 なお図7のステップS203に示したように、デバイス200は、アプリケーションがアクティブに設定された場合に、アプリケーションの動作結果をサーバシステム100に送信してもよい。ここでの動作結果とは、アプリケーションの出力であって、暗黙知に対応する処理の実行結果を表す。例えば動作結果とは、介助において発生しうる事象、被介助者、介助者の何れかに関する判断結果を含む。具体的には、動作結果は、介助において何らかの事象が発生したか否かの判断結果であってもよいし、被介助者の状態が正常であるか否かの判断結果であってもよいし、介助者による介助が正解か否かの判断結果であってもよい。このようにすれば、動作結果を表す情報をサーバシステム100に集約することが可能になる。ただしサーバシステム100を介した処理は必須ではなく、図25を用いて上述したようにサーバレスでの処理が実行されてもよい。
 図28A及び図28Bは、サーバシステム100が送信するデータフレームのフレームボディのビット割り付け例を説明する図である。図28Aに示すように、フレームボディは、User ADL, scene flag, device type ID, data type ID, Instruction length, contentsの各フィールドを含んでもよい。
 User ADLは、被介助者の能力情報を格納するフィールドであり、上述した第1領域に対応する。例えば能力情報は、能力の程度を所定数の段階に区分した場合に、被介助者の能力がいずれの段階に属するかを表す数値データである。例えば段階が8個以下であればUser ADLは3ビットのフィールドである。また段階が9個以上である場合には、User ADLは4ビットかそれ以上のフィールドであってもよい。能力情報の定義に応じて必要なビット数は既知であるため、User ADLは固定長のフィールドであってもよい。User ADLに被介助者を特定するIDを含んでもよい。また図19のステップS403等においても上述したように、本実施形態の能力情報は、ADLの指標値に限定されず、立ち上がりの仕方を表す情報、座位保持能力、嚥下能力、歩行能力等のより詳細な情報であってもよい。よってUser ADLは、これらの各能力を表現可能なビット数を有するフィールドであってもよい。
 Scene flagは、シーン情報を格納するフィールドであり、上述した第2領域に対応する。例えばシーン情報は、介助者の数が所定以上であるか否かを表すビットを含んでもよい。当該ビットが第1の値(例えば0)である場合に介助者の数が所定以上であり、第2の値(例えば1)の場合に所定未満であることを表す。またシーン情報は、介助の種類を特定するビットを含んでもよい。例えば介助の種類として、食事介助、排泄介助、移動・移乗介助、その他の4種類を識別する場合、シーン情報は介助の種類を特定するビットとして2ビットを含む。例えば、当該2ビットが00である場合は食事介助を表し、01である場合は排泄介助を表し、10である場合は移動・移乗介助を表し、11である場合はその他を表す。またシーン情報はこれらに限定されず、他の情報が用いられてもよい。そのため、Scene flagの具体的なビット数や意味についても種々の変形実施が可能である。ただし、どのようなシーン情報を用いるかは既知であり、当該シーン情報の表現に必要なビット数も既知であるため、Scene flagは固定長のフィールドであってもよい。
 device type IDは、デバイス種類情報を格納するフィールドであり、上述した第3領域に対応する。デバイス種類情報は、図8~図14を用いて上述したデバイス200毎に異なる情報であってもよい。あるいは、転倒リスクに対応するデバイス200であれば、図8の撮像装置410と図9のベッドサイドセンサ420に同じデバイス種類IDが割り振られてもよい。あるいはデバイス200が有するセンサ種類等に基づいてデバイス種類IDが割り振られてもよい。対象とするデバイス種類IDの数は既知であるため、device type IDは固定長のフィールドであってもよい。
 またサーバシステム100は、デバイス200での動作結果に基づいて、制御対象デバイスに対する制御の制御種別、及び、制御内容を求めてもよい。そしてサーバシステム100は、フレームボディのうち、第1領域、第2領域及び第3領域を含む領域よりも後方の部分に、制御種別を格納する固定長の第4領域、及び、制御内容を格納し、制御種別に応じて長さの異なる第5領域が含まれるデータフレームを、制御対象デバイスに送信してもよい。制御種別とは、実行される制御の種類を表し、制御内容とは、実行される制御の内容を具体的に特定する情報を表す。このようにすれば、能力情報等の通知と、制御対象デバイスの制御の両方に共通のデータフレームを用いることが可能になる。この際、固定長のフィールドである第1~第3領域が相対的に前方に配置され、可変長のフィールドである第5領域が相対的に後方に配置されることによって、前方側のデータ構造をビット数まで含めて固定化できる。結果として、デバイス200でのデータフレームの解釈処理が容易になる。
 例えば図28Aに示すdata type ID, Instruction length, contentsは、制御対象デバイスへの制御信号の送信に用いられるフィールドである。data type IDは、制御対象デバイスに対して出力される指示の種類を表す情報を格納するフィールドであり、上記第4領域に対応する。ここでの指示は、「報知(アラーム)」、「移動/搬送」、「制御」、「レコメンド等」の4つを含んでもよい。この場合、data type IDは4つの指示を識別可能な2ビットの固定長のフィールドである。
 「報知」とは、デバイス200における処理結果を制御対象デバイスで報知する際に用いられる情報である。例えば「報知」は、転倒リスクを判定するデバイスにおいて転倒リスクが検出された場合に、その旨を制御対象デバイスで報知する際に用いられる指示であってもよい。「移動/搬送」とは、リクライニング車椅子510や歩行器等、移動可能な制御対象デバイスを移動させる指示である。例えば移動/搬送の指示は、転倒リスクが検出された場合に、対象の被介助者が捕まれるように歩行器等を近くに移動させる制御に用いられてもよい。「制御」とは、制御対象デバイスを動作させる「移動/搬送」以外の制御を広く含み、リクライニング車椅子510の背面部の角度変更や、介護ベッド520のボトム角度の変更等を含む。「レコメンド等」は、例えば介助の質向上のために用いられる製品の購入等のレコメンドを含む。例えばレコメンドは、ベッドポジション検出装置470においてクッションの使用を推奨するという判定が行われた場合に、その旨を介助者の端末装置等である制御対象デバイスに出力する指示を表してもよい。また「レコメンド等」には、ニュース配信等が含まれてもよい。例えば、「レコメンド等」は、人気のデバイス200の紹介に用いられてもよい。
 contentsは、具体的な指示の内容を特定する情報を格納するフィールドであり、上記第5領域に対応する。図28Bは、data type IDの値に応じたcontentsの具体例を説明する図である。例えばdata type ID = 0は上述した「報知」を表し、この場合のcontentsは、alarm contentsフィールドを含む。alarm contents は具体的な報知内容を表す情報を格納する可変長のフィールドである。alarm contentsは、報知態様(表示、発光、振動、音出力)を特定する情報を含んでもよいし、具体的な報知内容(テキスト、発光色、振動パターン、音声)を特定する情報を含んでもよい。
 data type ID = 1は上述した「移動/搬送」を表し、この場合のcontentsは、current location, destinationの各フィールドを含む。current locationは、対象のデバイス200の現在位置を特定する情報である。destinationは、対象のデバイス200の目標位置を特定する情報である。現在位置や目標位置をどのように表現するかは任意であるが、例えば2次元や3次元の座標値を表す固定長のフィールドである。
 data type ID = 2は上述した「制御」を表し、この場合のcontentsは、controlled part, how to controlの各フィールドを含む。controlled partは、対象のデバイス200の制御対象箇所を特定する情報を格納する。例えば図24に示した介護ベッド520の場合、それぞれが可動する複数のボトムを含む。controlled partは、当該複数のボトムの何れかを特定する情報を格納してもよい。how to controlは、制御対処箇所の具体的な制御手法を特定する情報を格納する。介護ベッド520の例であれば、how to control は、controlled partによって特定されたボトムをどの方向に何度だけ駆動するかを表す情報であってもよい。controlled part及びhow to controlは、それぞれが固定長のフィールドであってもよい。なお、ここでの「制御」は複数の制御対象箇所に対する指示を含んでもよい。よってdata type ID = 2の場合のcontentsは、controlled part及びhow to controlの組を、制御対象箇所の数だけ繰り返す構成であってもよい。
 data type ID = 3は上述した「レコメンド等」を表し、この場合のcontentsは、recommend contentsフィールドを含む。recommend contentsは、レコメンドやニュースの内容を表す可変長のフィールドである。ここでのrecommend contentsは、レコメンドする製品を特定する情報を含んでもよいし、製品の販売サイト、メーカの製品紹介Webページ等へのリンク情報を含んでもよい。またrecommend contentsは、ニュースの内容を表すテキストや、ニュースが表示されるWebページ等へのリンク情報を含んでもよい。
 なお以上のように、フレームボディ中のcontentsフィールドは、data type IDや具体的な指示内容に応じて長さが異なる。よって図28Aに示すように、フレームボディはcontentsフィールドの前に、当該contentsフィールドの長さを格納するinstruction lengthフィールドを含んでもよい。contentsフィールドの最大長は既知であると考えられるため、instruction lengthは例えば固定長のフィールドであってもよい。
 また図25を用いて上述したように、本実施形態ではデバイス200から他のデバイス200に対して、サーバシステム100を介さずに制御信号や能力情報等を含むデータが送信されてもよい。ただし、サーバシステム100から送信されるデータ(図7のステップS304等)と、デバイス200から送信されるデータ(図25のパケット1)のフォーマットが大きく異なる場合、受信するデバイス200において送信元に応じたデータの解釈処理が必要となる可能性がある。よってデバイス200が送信元となる場合にも、図28A、図28Bに示したフレーム構成に準じたフレーム構成が用いられてもよい。
 例えばデバイス200は、サーバシステム100を介さずに、制御対象デバイスを制御する場合、制御対象デバイスとの通信のデータリンク層において、第2領域及び第3領域を含む固定長の領域がフレームボディに含まれるデータフレームを、制御対象デバイスに送信してもよい。上述したように、第2領域はシーン情報に対応し、第3領域はデバイス種類情報に対応する。またデータフレームは、能力情報に対応する第1領域を含むことも妨げられない。このようにすれば、データフレームのフレームボディのうち、少なくとも能力情報、シーン情報、デバイス種類情報に対応する部分を共通化することが可能になる。例えば第1~第3領域は、フレームボディのうち、上位層におけるヘッダ等を除いた先頭部分に配置されてもよい。
 またデバイス200は、当該デバイス200でのアプリケーションの動作結果に基づいて、制御対象デバイスに対する制御の制御種別、及び、制御内容を求めてもよい。そしてフレームボディのうち、第2領域及び第3領域を含む領域よりも後方の部分に、第4領域、及び、第5領域を含むデータフレームを、サーバシステム100を介さずに制御対象デバイスに送信してもよい。上述したように、第4領域は制御種別に対応し、第5領域は制御内容に対応する。このようにすれば、サーバレスでの制御が行われる場合についても、デバイス200が受信するデータフレームの構成を共通化することが可能になる。
 図29A、図29Bは、デバイス200が他のデバイス200に対して、制御信号や能力情報等を含むデータを送信する際のフレームボディの構成例を示す図である。図29Aと図28Aを比較すれば分かるように、フレームボディの構成は、device type ID, scene flag, User ADLの順序が異なる点を除いてサーバシステム100が送信する際のフレームボディの構成と同様である。ここでのdevice type IDフィールドは、例えば送信元のデバイス200のデバイス種類情報を格納してもよい。また図29Bはdata type IDの値に応じたcontentsの具体例を説明する図である。デバイス200が送信元となるため、data type ID =3の場合にレコメンド等に代えてログデータが送信される点を除き、contentsの内容も図28Bと同様である。ログデータについては上述したとおりであり、サーバレスでの制御対象デバイスの制御が行われた際の履歴や、能力情報等の通知履歴等の情報を含む。
 このようにすれば、サーバシステム100が送信元となる場合と、図25に示したようにデバイス200が送信元となる場合のいずれであっても、データフレームの構成を類似させることが可能になる。結果として、データフレームを受信したデバイス200では、送信元によらずに同様の処理に基づいて動作モードの決定や、制御信号に応じた動作が可能になる。そのため、サーバシステム100を起点とした処理とサーバレスでの処理の両方が行われる場合にも処理負荷増大を抑制できる。
 なお、図28A及び図29Aにおける各フィールドの順序、特に、User ADL, device type ID, scene flagの順序は種々の変形実施が可能である。よってサーバシステム100が送信するデータフレームの構成と、デバイス200が送信するデータフレームの構成が同じであることも妨げられない。またサーバシステム100が送信するデータフレームの構成と、デバイス200が送信するデータフレームの少なくとも一方において、User ADL, device type ID, scene flagの一部が省略されてもよい。例えば以上では、デバイス200はセンシングデータを出力し、サーバシステム100の能力情報取得部111が当該センシングデータに基づいて能力情報を算出する例を説明した。この場合、デバイス200では能力情報が算出されないため、デバイス200が送信するデータフレームからUser ADLが省略されてもよい。あるいは、デバイス200が送信するデータフレームにUser ADLフィールドを設けた上で、当該フィールドの値が固定値(例えば全て0)に設定されてもよい。またデバイス200が能力情報を算出することも妨げられず、この場合、デバイス200が送信するデータフレームのUser ADLにはADLの指標値等の情報が格納される。
 また図29A及び図29Bを用いて上述したデータフレームは、デバイス200からサーバシステム100へのデータ送信に用いられてもよい。例えば、デバイス200は、処理結果として報知が必要であると判定した場合、data type IDの値が1に設定され、且つ、contentsのうちのalarm contentsに報知内容を表す情報が格納されたデータフレームをサーバシステム100に送信する。これ以外にもデバイス200は、処理結果に応じてdata type IDの値や、contentsの値を変更することによって、図29A及び図29Bに示したデータフレームを用いて適切に処理結果をサーバシステム100に送信できる。またdata type ID = 3の場合にcontentsに格納されるログデータは、サーバレス通信のログに限定されず、センシングデータのログを含んでもよい。即ち、センシングデータのログをサーバシステム100に送信する際に、図29A及び図29Bに示したデータフレームが用いられてもよい。
 また本実施形態の手法は、情報処理装置に適用されてもよい。情報処理装置は、例えばサーバシステム100に対応する。情報処理装置は、熟練者の暗黙知に対応する処理を実行するアプリケーションを含むデバイス200との通信のデータリンク層において、MAC(Media Access Control)ヘッダ、フレームボディ、及びトレイラを含むデータフレームを送信する通信部(図3の通信部130に対応)と、通信部を制御する通信処理部(図3の通信処理部114に対応)と、を含む。通信部は、被介助者の活動能力を表す能力情報を格納する第1領域、被介助者に対する介助のシーンを特定するシーン情報を格納する第2領域、及び、デバイスとともに用いられる併用デバイスの種類を特定するデバイス種類情報を格納する第3領域を含む固定長の領域が、フレームボディに含まれるデータフレームを、アプリケーションのアクティブまたは非アクティブを決定する情報として、デバイス200に送信する。このようにすれば、サーバシステム100が能力情報等をデバイス200に送信する際のデータフォーマットを、デバイス200のベンダ等によらず、統一することが可能になる。
 また本実施形態の手法は、熟練者の暗黙知に対応する処理を実行するアプリケーションを含むデバイス200と、デバイス200との通信のデータリンク層において、MAC(Media Access Control)ヘッダ、フレームボディ、及びトレイラを含むデータフレームを送信するサーバシステム100とを含む情報処理システム10における情報処理方法に適用できる。情報処理方法は、被介助者の活動能力を表す能力情報を格納する第1領域、被介助者に対する介助のシーンを特定するシーン情報を格納する第2領域、及び、デバイス200とともに用いられる併用デバイスの種類を特定するデバイス種類情報を格納する第3領域を含む固定長の領域が、フレームボディに含まれるデータフレームを、サーバシステム100からデバイス200に送信するステップと、能力情報、シーン情報及びデバイス種類情報の少なくとも1つに基づいて、アプリケーションのアクティブまたは非アクティブを決定するステップと、を含む。
6.3 優先度
 また種々の通信方式において、通信の優先度を設定する手法が知られている。例えばIEEE802.11では、IEEE802.11eにおいてQoSを実現する方式が規格化されている。具体的には、IEEE802.11eでは優先度の高いフレームを優先して送信するEDCA(Enhanced Distributed Channel Access)という方式が用いられる。
 例えばMACフレームのうちの管理フレームのフレームボディに、EDCAにおいて用いられるEDCAパラメータセットエレメントが含まれてもよい。図30は、デフォルトのEDCAパラメータセットエレメントの例を示す図である。EDCAでは、パケットを4つのアクセスカテゴリ(以下、ACと記載)に分類する。デフォルトでのアクセスカテゴリは、AC_VO、AC_VI、AC_BE、AC_BKの4つである。AC_VOはボイスに対応し、AC_VIはビデオに対応し、AC_BEはベストエフォートに対応し、AC_BKはバックグラウンドに対応する。AC_VOが最も優先度が高く、AC_VI、AC_BE、AC_BKの順に優先度が低くなる。
 また各ACには、CWmin, CWmax, AIFSN等のパラメータが対応付けられる。CWmin及びCWmaxは、送信待ち時間を決めるパラメータであり、コンテンションウィンドウ(Contension Window, 以下CWと記載)の最小値と最大値を表す。送信待ち時間はCWminとCWmaxの間の値に設定される。送信待ち時間が短いほど送信しやすくなるため、優先度が高いほどCWminやCWmaxの値は小さく設定される。
 例えば優先度の低いAC_BE及びAC_BKについて、CWminがaCWminに設定され、CWmaxがaCWmaxに設定される場合に、優先度の高いAC_VIでは、CWminが(aCWmin+1)/2 - 1に設定され、CWmaxがaCWminに設定されるため上記2つのACに比べてCWmin及びCWmaxの値が小さくなる。また優先度の最も高いAC_VOでは、CWminがAC_VIに比べてさらに短い(aCWmin+1)/4 - 1に設定され、CWmaxがAC_VIに比べてさらに短い(aCWmin+1)/2 - 1に設定される。
 またAIFSN(Arbitration Inter Frame Space Number)はフレームの送信間隔を表すパラメータであり、この値が小さいほどキューの優先度が高くなる。図30の例では、AC_VO及びAC_VIのAIFSNが2であり、AC_BEのAIFSNが3であり、AC_BKのAIFSNが7である。
 またACに対応付けられるパラメータは上記に限定されない。例えば図30には不図示であるが、各ACにはTXOP(Transmission Opportunity) limitが対応付けられてもよい。TXOPは、チャネルの占有時間を表す。例えば優先度の高いAC_VIやAC_VOにおいて、TXOP limitとして0でない値を設定することによって、これらのACに設定されたパケットの送信にチャネルを占有させることが可能になる。
 本実施形態の情報処理システム10は、多数のデバイス200を含むことが想定される。そして各デバイス200は、動作モードに応じた動作を実行し、ゲートウェイ300を介して処理結果をサーバシステム100に送信する。ここでの処理結果は、図29Bを用いて上述した「報知」、「移動/搬送」、「制御」、「ログ」等、種々の内容が考えられる。
 本実施形態のデバイス200には種々のベンダの製品が含まれる可能性があり、優先度の設定がベンダに応じてばらつく可能性もある。例えば、特定のベンダのデバイス200の通信のみが、他のベンダのデバイス200の通信に比べて優先されてしまう可能性もある。よって本実施形態では、優先度の設定を行うことによって通信の効率化を図ってもよい。例えば本実施形態の手法では、ACの割り付けを更新する。
 本実施形態のサーバシステム100は、デバイス種類情報に基づいて優先度を求め、優先度を特定する優先度情報をデバイスに送信してもよい。優先度情報とは、例えばデバイス種類情報と優先度を対応付けた情報であり、より具体的にはデバイス種類毎にACを割り付けた情報である。そしてデバイス200は、デバイスの種類及び優先度情報に基づいて特定された優先度に応じて、データフレームを送信する。このようにすれば、デバイス種類に応じた優先度を設定できるため、種々のデバイス200を含む情報処理システム10における通信を効率化できる。
 さらにサーバシステム100は、デバイス種類情報及び制御種別に基づいて優先度を求め、優先度を特定する優先度情報をデバイス200に送信してもよい。優先度情報は、例えばデバイス種類及び制御種別の組毎にACを割り付けた情報である。そしてデバイス200は、デバイスの種類、送信対象であるデータフレームに含まれる制御種別、及び、優先度情報に基づいて特定された優先度に応じて、データフレームを送信する。このようにすれば、デバイス種類に加えて制御種別を優先度に反映できるため、種々のデバイス200が種々の情報を送信する場合にも、情報処理システム10における通信を効率化できる。以下、デバイス種類情報と制御種別の両方を用いる例について具体的に説明する。ただし以下の説明において、デバイス種類情報と制御種別の何れか一方が省略されてもよい。
 図31は、ACの割り付けを表す表の例である。本実施形態の手法では、デバイス種類及びデータ種類に基づいて、ACが決定されてもよい。ここでのデバイス種類(Device type)は、上述したデバイス種類情報に対応し、例えばデバイス種類IDである。またここでのデータ種類(Data type)とは、例えば図28A~図29Bを用いて上述したdata type IDに対応する。即ちデータ種類とは、デバイス200での処理結果に基づいて、「報知」、「移動/搬送」、「制御」、「ログ」のいずれが送信されるかを表す情報であってもよい。
 例えばサーバシステム100は、当該サーバシステム100と通信を行うゲートウェイ300ごとに、デバイス種類、データ種類及びACの関係を求め、求めた情報を各ゲートウェイ300に送信する処理を行う。例えばサーバシステム100は、ゲートウェイ300からの情報に基づいて、当該ゲートウェイ300に接続するデバイス200の数、種類、各デバイス200が送信しうるデータ種類等を特定できる。
 例えばデータ種類の「ログ」とは、上述したようにセンシングデータのログや、サーバレスでの通信を行った場合のログを送信するケースを表すため、通信の優先度は低く、通信量が低下する深夜等に送信されても問題となりにくい。一方で、「報知」、「移動/搬送」、「制御」は、リスクの発生を介助者に知らせるため、あるいは発生したリスクによる影響を抑制するために使用される。そのため、デバイス200においてリスクが検出されてからデータ送信までの時間は短いことが望ましい。よってサーバシステム100は、データ種類が「報知」、「移動/搬送」、「制御」の何れかである場合、「ログ」である場合に比べて優先度を高く設定する。またサーバシステム100は、「報知」、「移動/搬送」、「制御」の中で優先度を異ならせてもよい。
 また嚥下ムセ検出装置460による出力は誤嚥リスクの発生に対応するため、速やかに対応しなかった場合の深刻度が大きくなる可能性がある。一方で、ベッドポジション検出装置470によって検出される褥瘡リスクは、比較的長い期間での介助を想定した際に重要度が高いものであるため、褥瘡リスクがある旨の報知等が遅れて実行されたとしても深刻度は相対的に小さい。よってサーバシステム100は、データ種類が同じ「報知」であったとしても、デバイス種類が嚥下ムセ検出装置460に対応する種類の場合、ベッドポジション検出装置470に対応する種類に比べて優先度を高くしてもよい。その他、サーバシステム100は、図8~図14等を用いて上述した種々のデバイスについて、デバイス種類に応じた優先度を設定できる。
 例えばサーバシステム100は、デバイス種類及びデータ種類に応じた優先度を求め、当該優先度に応じてACを割り当てる。なお、優先度の高いACに割り当てられるパケットの割合が過剰に高くなった場合、衝突が発生しやすくなるためEDCAを用いる効果が損なわれることが知られている。よってサーバシステム100は、ゲートウェイ300毎にデバイス種類及びデータ種類に応じたAC割り当てを変更してもよい。例えば同じデバイス種類、同じデータ種類であっても、第1ゲートウェイでは優先度が相対的に低いAC_VIが割り当てられ、第2ゲートウェイでは優先度が相対的に高いAC_VOが割り当てられるといったケースが発生してもよい。例えば第1ゲートウェイによって構成されるネットワークにおいて、嚥下ムセ検出装置460等の深刻度の高いリスクを検出するデバイス200が多い場合、通常のネットワークではAC_VOに割り当てられるパケットの優先度が、AC_VIに引き下げられる場合等が考えられる。
 ゲートウェイ300及び当該ゲートウェイ300に接続されるデバイス200は、サーバシステム100から送信されたAC割り付けに基づいて、通信を行う。なおここでの通信は、デバイス200からゲートウェイ300へのデータ送信に限定されず、ゲートウェイ300からデバイス200へのデータ送信も含む。
 またサーバシステム100は、デバイス種類とデータ種類に基づいてACの割り付けを決定する処理に加えて、各ACに対応するパラメータを調整する処理を行ってもよい。ここでのパラメータは、上述したCWmin, CWmax, AIFSN, TXOP limitの少なくとも1つを含む。このようにすれば、優先度の設定においてより細かい調整を行うことが可能になる。
 また本実施形態における優先度の設定処理は、上述したEDCAを用いたものに限定されない。例えば、無線通信における衝突回避の手法としてRTS/CTSが用いられる。これはデータ送信を行いたいSTAが、APに対してRTSフレームを送信し、APはRTSフレームを送信したSTAのうち、送信を許可するいずれか1つのSTAにCTSフレームを送信するものである。データ送信はCTSフレームを受信したSTAのみが可能となるため、データ衝突を抑制できる。
 本実施形態の手法では、サーバシステム100は、CTSフレームを送信する際の優先順位を表す情報を、優先度情報としてゲートウェイ300に送信してもよい。例えばサーバシステム100は、対象の被介助者のADLが低い順や、データ種類に基づくデータの緊急性の高い順、あるいはこれらの組み合わせ等、CTSフレームの送信順を決定するための情報をゲートウェイ300に送信する。ゲートウェイ300は、RTS/CTSに基づいて衝突回避を行う場合、RTSフレームを送信したデバイス200のリストと、サーバシステム100からの情報に基づいて優先順位を決定し、優先順位の高い方から順にCTSフレームを送信する。このような手法によっても、適切な優先度設定が可能になるため、例えば特定のベンダのみの優先度が高くなること等を抑制できる。
 またゲートウェイ300は、RTSフレームを受信した場合に、ビジー状態であることと、現在行っている通信の完了見込み時間をデバイス200に提示する処理を行ってもよい。その上で、デバイス200から送信待ちを許容できない旨のデータが送信された場合に、suspend commandによって割り込みを受け付け、対象のデバイス200のデータ送信を許可してもよい。当該データ送信が終了した場合に、resume commandによって元のデータ送信が再開される。このようにすれば、特に緊急性が高いデータについては他のデータ送信を中断した上で優先的に通信を行うことが可能になる。ただしこの処理は既に開始されているデータ送信を中断するものであるため、頻繁に行われることや、中断時間が過剰に長くなることは好ましくない。よってsuspend commandによる割り込みを許容するデータは一部のデータに限定されてもよい。例えば、送信データ量が少なく、送信に要する時間が短いという条件が満たされる場合に、割り込みが許可されてもよい。
7.在宅介護への応用
 また本実施形態の手法は、被介助者の家庭において行われる在宅介護等に適用されてもよい。
7.1 家庭で用いられるシステムの例
 図32は、在宅における情報処理システム10の構成例を示す図である。図32の情報処理システム10は、サーバシステム100、第3端末装置810、第4端末装置820、人感センサ831~833を含む。例えば情報処理システム10のうち、第3端末装置810、第4端末装置820、人感センサ831~833が、在宅介護が行われる家庭内に配置される。また在宅介護では、ベッド610や、不図示の車椅子630等が用いられてもよい。
 第3端末装置810は、例えば被介助者の介助を行う家族によって用いられるスマートフォンやタブレット端末装置の携帯端末装置である。第4端末装置820は、例えば被介助者によって用いられるスマートフォンやタブレット端末装置の携帯端末装置である。
 人感センサ831~833は、家庭内の所定位置に配置されるセンサであり、例えば赤外線を用いて人の動きを検出するセンサである。なお人感センサ831~833は、音に反応する音感センサや、超音波を使って物を感知する超音波センサであってもよく、具体的な態様は種々の変形実施が可能である。人感センサ831~833は、例えばBLEを用いて第3端末装置810と接続される。
 ベッド610は、被介助者によって使用されるベッドであり、ボトム角度や高さ等を調整可能な介護ベッド520であってもよい。
 例えば本実施形態に係るデバイス200の一例である介助記録デバイスは、図32における第3端末装置810、人感センサ831~833を含んでもよい。介助記録デバイスは、人感センサ831~833の検出結果に基づいて、介助が実行された場所を特定し、特定された場所に基づいて介助記録を作成する。
 例えば人感センサ831~833は、それぞれ特定の介助が実行される場所に配置されてもよい。例えば人感センサ831は、被介助者が使用するベッド610の近傍に配置される。人感センサ832は、トイレの近傍に配置される。人感センサ833は、食事を行うダイニングテーブルの近傍に配置される。また人感センサは、入浴介助が行われる浴室等、家庭内の他の場所に配置されてもよい。
 例えば人感センサ831によって人の動きが検出された場合、介助者は被介助者のベッドポジション調整やオムツ交換等の介助を行っていると考えられる。また人感センサ832によって人の動きが検出された場合、介助者はトイレでの排泄介助等を行っていると考えられる。また人感センサ833によって人の動きが検出された場合、介助者は被介助者の食事介助を行っていると考えられる。よってそれぞれにおいて動きが検出された時間を求めることによって、介助時間を求めることが可能である。例えば、1日のうち、人感センサ831で動きが検出された合計時間を求めることで、当該1日で行われたベッド610での介助時間が求められる。同様に、人感センサ832、833によって、トイレでの排泄介助の時間、食事介助の時間が求められる。また何時から何時までにどの場所で介助が行われたか等、より詳細な情報が求められてもよい。
 なお、人感センサ831~833が人の動きを検出したとしても、それが介助者単体または被介助者単体の動きである場合、介助は実行されていない可能性がある。本実施形態では、簡易的な判定を行うという観点から、検出された動きが一人のものであるか複数人のものであるかを区別せず、単純に動き検出の有無に基づく判定が実行されてもよい。あるいは、異なる手法により、介助の有無がより詳細に判定されてもよい。例えば、人感センサ831~833に変えて、各場所にRFIDリーダが設けられてもよい。そして介助者及び被介助者がICタグを携帯する、または、第3端末装置810及び第4端末装置820にICタグを内蔵することによって、各RFIDリーダの近傍に介助者及び被介助者がいるかを判定できる。介助記録デバイスは、所定の場所に介助者と被介助者の両方が存在すると判定された場合に、介助が行われていると判定してもよい。また人感センサ831~833にかえて家庭内の各場所にカメラが配置されてもよい。例えば各カメラの撮像画像に基づく顔認識処理が行われることによって、各場所で介助が実行されているか否かが判定されてもよい。
 また食事がベッドで行われる場合、食事介助が行われることになるが、人の動き、有無だけでは、食事介助とベッドポジション調整等の他の介助との区別が容易でない可能性がある。この場合、介助記録デバイスは、後述する食事量計測アプリと連動してもよい。例えば食事量計測アプリでは写真が撮影されるため、写真が撮影されたタイミングを含む時間の介助は食事介助と判定され、それ以外の時間は食事以外のベッド介助と判定される。
 介助記録デバイスを用いることによって、介助者が介助に要している時間を容易に測定できる。よって例えば介助者の介助負担が過剰になっている場合に、それを介助者自身やケアマネージャに通知すること等が可能になる。
 また第3端末装置810には、他のアプリケーションがインストールされてもよい。例えば、スマートフォンに搭載される加速度センサやマイクを用いて、ユーザの睡眠状態を判定するアプリケーションが知られている。例えば第3端末装置810はユーザが就寝するベッドの枕元等に配置され、就寝中の振動に基づいて睡眠状態を判定する。また第3端末装置810は、マイクを用いていびき等に関する判定を行ってもよい。このようにすれば、検出装置430等の専用の機器を用いずに、容易に睡眠に関する判定を行うことが可能になる。
 また第3端末装置810には、上述したMCI判定を行うMCI判定アプリがインストールされてもよい。換言すれば、第3端末装置810は、MCI判定デバイスとして機能してもよい。例えば介助者は自身のスマートフォンである第3端末装置810を被介助者の近傍まで携帯し、被介助者に受け答えを行わせることによってMAC判定を行う。
 また第3端末装置810には食事量計測アプリがインストールされてもよい。食事量計測アプリとは、例えば食前の料理の写真と、食後の料理の写真とを比較することによって、食事量や摂取カロリーを推定する手法である。写真に基づいて食事量を推定する手法については、特開2021-086313号公報等に開示された公知の手法等を広く適用可能である。
 図33~図35は、第3端末装置810の表示部に表示される画面の例である。これらの画面は、例えば第3端末装置810において、介助者のアカウントを用いて本実施形態の情報処理システム10にログインする操作が行われた場合に表示されるユーザ画面であってもよい。ユーザ画面には、第3端末装置810において実行される上記の各処理を実行した結果が表示されてもよい。例えば第3端末装置810は、上記の各処理を実行し、実行結果をサーバシステム100に送信する。サーバシステム100は、実行結果に基づいて表示画面を生成し、当該表示画面を第3端末装置810の表示部に表示する制御を実行する。
 図33は、例えばログイン時に表示されるホーム画面の例である。図33に示すように、ホーム画面には、介助者の状態を示す情報、お知らせ、連絡ボタン、撮影ボタンが表示されてもよい。
 介助者の状態を示す情報とは、例えば介助者の睡眠状態を示すアイコンと、介助者のケア負担を示すアイコンを含んでもよい。図33の例では、睡眠状態やケア負担の程度が人の表情を用いてわかりやすく提示される。ただし、各情報は数値等を用いて表現されてもよく、具体的な表示態様は種々の変形実施が可能である。
 例えば第3端末装置810は、上述した人感センサ831~833等を用いた処理に基づいて介助が行われた時間である介助時間を求め、当該介助時間と閾値とを比較することによって、ケア負担が複数の段階のいずれに属するかを判定してもよい。また第3端末装置810は、介助時間の時系列的な変化に基づいて、ケア負担を評価してもよい。
 また第3端末装置810は、上述した加速度センサやマイクを用いて睡眠状態を判定する。例えば第3端末装置810は、睡眠状態として1日あたりの睡眠時間を求めてもよい。第3端末装置810は、睡眠時間と閾値とを比較することによって、睡眠状態が複数の段階のいずれに属するかを判定してもよい。また第3端末装置810は、睡眠時間の時系列的な変化に基づいて、睡眠状態を評価してもよい。
 また図33の画面のお知らせの欄には、例えば介助用具のレコメンドが表示されてもよい。図33の例であれば、ベッドポジションの調整に利用されるポジショニングピローの使用を提案するテキストが表示されている。
 また連絡ボタンとは、例えばケアマネージャへの電話を行うためのボタンである。例えば連絡ボタンの選択操作が行われた場合、第3端末装置810は電話アプリケーションを起動し、予め登録されたケアマネージャの電話番号宛に発信を行う処理を実行する。このように、ケアマネージャと連絡を取りやすい態様とすることによって、介助者の負担が増大している場合に、適切な対応を促すことが可能になる。例えば図33の上部に示したように、睡眠状態やケア負担が悪化している場合「担当ケアマネージャか親族に電話してください」といった警告のテキストを表示してもよい。このようにすれば、介助者が介助疲れにより深刻な不調をきたす前に、他者のサポートを受けることを促せる。
 撮影ボタンは、上述した食事量計測アプリを起動するトリガーとなるボタンである。例えば撮影ボタンの選択操作が行われた場合、第3端末装置810は食事量計測アプリを立ち上げる処理を行う。食事量計測アプリではカメラアプリが起動され、食前及び食後の料理の撮影が行われる。
 図34は、図33の介助者の状態を示す情報に対応付けて表示される履歴ボタンの選択操作が行われた場合に表示される履歴画面の例である。履歴画面には、介助者の睡眠状態の時系列変化、及び、介助者のケア負担の時系列変化が表示される。例えばサーバシステム100の処理部110は、第3端末装置810からの情報に基づいて、1日あたりの睡眠時間の7日間での移動平均を求め、当該移動平均の時系列変化を履歴画面に表示する処理を行う。なお移動平均の算出単位は7日間に限定されず、他の期間であってもよい。また1日あたりの睡眠時間そのものの時系列変化が表示されてもよい。
 またケア負担の時系列変化とは、例えば1日あたりの介助時間の平均値の変化を示す情報である。睡眠状態の例と同様に、介助時間の平均値とは7日間での移動平均であってもよいし、他の期間を用いて算出される情報であってもよい。また1日あたりの介助時間そのものの時系列変化が表示されてもよい。
 図34の例では、睡眠時間が時間経過とともに減少し、且つ、介助時間が時間経過とともに増加している。図34に示す画面を表示することによって、介助者の状態が悪化していることをわかりやすく提示できる。また図34に示すように、履歴画面は介助者の状態に関する情報を共有するための共有ボタンを含んでもよい。共有ボタンの選択操作が行われた場合、平均睡眠時間の時系列変化や平均介助時間の時系列変化等を含む情報が、予め登録された連絡先に送信される。ここでの連絡先は、ケアマネージャであってもよいし、介助者の家族等であってもよい。また介助者の状態に関する情報の共有先は、予め登録された連絡先に限定されない。例えば共有ボタンを選択する操作が行われた場合に、介助者の状態に関する情報へのリンク情報が表示されてもよい。ここでのリンク情報は、例えば介助者の状態に関する情報が表示されるWebページのアドレス情報であってもよい。アドレス情報は、URL(Uniform Resource Locator)であってもよいし、当該URLを表す二次元バーコードであってもよい。例えば、介助者が体調不良によって病院で診察を受ける際に、リンク情報を介して医師に介助者の状態に関する情報を共有することによって、体調不良の原因を診断する上での判断材料を医師に提供することが可能である。
 図35は、図33の「お知らせ」に対応付けて表示される一覧ボタンの選択操作が行われた場合に表示される一覧画面の例である。一覧画面には、対象の介助者に対して送信されたレコメンド等の情報が時系列順に一覧表示される。図35の例では、ポジショニングピローのレコメンド、及び、リクライニング車椅子のレコメンドが表示される。各レコメンドは、その商品がレコメンドされる理由、商品画像、商品の詳細情報を含む。商品の詳細情報は、商品名、メーカ、価格、評価、商品説明等を含んでもよい。
 またレコメンドでは、商品とともに利用可能なベンダアプリや本実施形態に係るデバイス200が提示されてもよい。図35の例では、ポジショニングピローとともに、ポジショニングアプリの導入を提案している。ポジショニングアプリとは、例えば図13を用いて上述したベッドポジション検出装置470の第1端末装置471と同様の処理を実行するアプリケーションである。ポジショニングアプリを導入することによって、介助者によるベッドポジション調整を支援することが可能になる。同様に、第3端末装置810には、オムツ交換支援アプリがインストールされてもよい。例えば第3端末装置810は、例えば図13を用いて上述したベッドポジション検出装置470の第2端末装置472と同様の処理を実行してもよい。
 また図35に示す例では、リクライニング車椅子510とともに、座面センサ440の導入が提案されている。座面センサ440を導入することによって、介助者に対して前ずれ横ずれ判定の結果、転落可能性の判定結果を提示できるため、リクライニング車椅子510でのポジション調整を支援することが可能になる。
 また第3端末装置810において実行される処理は上記に限定されない。例えば、食事量計測アプリに基づいて食事のタイミングが推定でき、また、介助記録デバイスでの処理に基づいて、排泄介助が行われたタイミングを推定できる。よって、第3端末装置810は、食事と排泄のリズムに基づいて便漏れを予測する処理を行ってもよい。例えば第3端末装置810は、下剤の種類・量、おむつの種類、食事量、水分摂取量、食事や水分の摂取タイミングを入力データとし、所定時間後の便漏れの有無を判定する学習済モデル等に基づいて、便漏れを予測してもよい。またレコメンドとして、オムツの種類等をレコメンドしてもよい。
 また介助者が使用する第4端末装置820においても、種々の処理が実行される。例えば、第4端末装置820はGPSセンサを有し、当該GPSセンサを用いた見守りアプリケーションがインストールされてもよい。従来、徘徊抑制等を目的に高齢者や認知症患者の位置を追跡する手法が知られており、本実施形態ではそれらを広く適用可能である。
 また第4端末装置820は、第3端末装置810と同様に睡眠状態を判定するアプリケーションがインストールされてもよい。第4端末装置820は、被介助者の睡眠状態を判定する。また第4端末装置820には、第3端末装置810と同様に、上述したMCI判定を行うMCI判定アプリがインストールされてもよい。
7.2 介護施設等との連携
 また以上では在宅介護で用いられる情報処理システム10を例示したが、当該システムは、家庭外のシステムと連携してもよい。例えば在宅介護で取得された情報はケアマネージャの使用するPC等の端末装置に送信されてもよい。例えば第3端末装置810や第4端末装置820での処理結果はサーバシステム100に送信され、サーバシステム100は、取得した処理結果に基づく情報をケアマネージャの端末装置に送信する。
 図36A~図36Cは、ケアマネージャの端末装置に表示される画面例である。図36Aはホーム画面の例であり、上部に施設内及び施設外の2つのタブを有する。施設内タブは、ケアマネージャが担当する被介助者のうち、介護施設等に入居する被介助者に関する情報を表示するためのタブである。例えば施設内タブが選択された場合、別途対象の施設が導入している介護ソフトを起動する処理が行われてもよい。施設外タブとは、在宅介護を行っている被介助者、及び、当該被介助者を介助する介助者に関する情報を表示するためのタブである。図36Aでは、施設外タブが選択された状態の画面を例示している。
 図36Aに示す画面は、ユーザを一覧表示する領域と、当該領域で選択されたユーザの詳細情報を表示する領域を含む。ここでのユーザは、在宅介護を実行する被介助者の家族を表す。図36AではユーザA~ユーザDの4名がリスト表示されており、そのうちのユーザAが選択状態となっている。なおここで表示される複数のユーザは、ケアマネージャにとっての重要度が高い順にソートされてもよい。例えば、介助者であるユーザの睡眠状態の悪化度合い、ケア負担の悪化度合いが大きい順にソートされる。このようにすれば、ケアマネージャが多数のユーザを担当する場合であっても、どのユーザがケアマネージャにとって注意すべきユーザであるかをわかりやすく提示できる。なおソート順はこれに限定されず、新しく連絡があったユーザを上位にしてもよいし、新たなデバイス200を導入したユーザを上位にしてもよく、具体的な処理は種々の変形実施が可能である。
 詳細情報を表示する領域には、介助者であるユーザの睡眠状態、ケア負担、被介助者の睡眠状態が表示される。これらの情報は、例えば図34と同様に、平均値の時系列変化を表すグラフや、段階を示すアイコン等を含んでもよい。
 またユーザAの睡眠状態及びケア負担と対応付けて、ユーザとの連絡ボタンが表示されてもよい。図36Aでは、ユーザに電話する電話ボタン、及び、ユーザにメールを送信するメールボタンが表示される。電話ボタンの選択操作が行われた場合、通話アプリが起動され、予め登録されたユーザの電話番号への発信が行われる。メールボタンの選択操作が行われた場合、メールアプリが起動され、ユーザのメールアドレスが記入済のメール作成画面が表示される。またケアマネージャがユーザと連絡を取る手法は電話やメールに限定されず、チャットアプリ等が用いられてもよい。例えば図36Aの画面には、ケアマネージャとユーザの間でのトーク履歴が表示されてもよい。
 また図36Aに示すように、詳細情報を表示する領域は、データ出力ボタンを表示してもよい。データ出力ボタンの選択操作が行われた場合、ユーザの睡眠状態、ケア負担等に関するデータが出力される。ここでのデータは、csvファイルであってもよいし、他の形式のデータであってもよい。
 また被介助者の睡眠状態と対応付けて変換ボタンが表示されてもよい。図36Bは、変換ボタンの選択操作が行われた場合に、表示される情報の例である。例えば変換ボタンが選択された場合、図36Aに示した平均睡眠時間の変化グラフに変えて、図36Bに示す情報が表示されてもよい。図36Bは、被介助者の一日あたりの覚醒状態、睡眠状態、離床状態の変化を、所定日数分まとめて表示する画面である。図36Bに示す画面を表示することによって、平均睡眠時間だけでなく、睡眠に関するより詳細な情報を提示できる。例えば中途覚醒の有無や回数等、睡眠の質に関する情報をケアマネージャに提示することが可能である。
 例えば図36Bに示す画面は、検出装置430のセンシングデータの表示に用いられる画面と同様であってもよい。このようにすれば、検出装置430を導入していない場合であっても、検出装置430を導入した場合と同様の表示を行うことが可能になる。
 また図36Aに示すように、詳細情報を表示する領域は、被介助者の能力情報に関する情報を含んでもよい。図36Aの例では、食事量、トイレ介助の時間、風呂介助の時間、在床時間のそれぞれの変化に基づいて、ADL変化の推定結果が表示されている。例えば図36Aに示すように、食事量の減少や、各場所での介助時間の増大に基づいて、座位保持能力が低下している旨が表示されてもよい。このようにすれば、在宅介護を行う場合にも、能力情報の変化を推定することや、当該変化をケアマネージャや介助者に通知することが可能になる。
 なお、介護施設等においては、図8~図14等を用いて上述した種々のデバイス200を導入することが比較的容易であり、センシングデータとして種々のデータを取得できる。例えばセンシングデータとして、動き出し動作の内容、座位保持能力、嚥下能力、ベッドでの活動量等を求めるためのデータを取得できるため、能力情報の推定精度を高くすることが可能である。一方、在宅介護では介護施設と同等のデバイス200を導入することは容易でない。そのため、取得できる情報は、上述したように食事量や介助時間等の限られた情報となる。
 よって本実施形態では、介護施設において取得される情報と、在宅介護で取得される情報を対応付けることによって、在宅介護における能力情報の推定精度を高くしてもよい。例えば普段は在宅介護を行っているが、定期的にデイケアを利用する被介助者が対象であるとする。デイケア時に介護施設のデバイス200を用いて推定された能力情報の値は、当該タイミングにおける能力情報として信頼度が高い。また能力情報は疾病の発症や事故等の要因がなければ短時間で急激に変化するとは考えにくいため、デイケアの前後所定期間における能力情報は、デイケア時の能力情報と同等と考えられる。例えばデイケアの前後所定期間の在宅介護で取得された食事量や介助時間を入力データとし、当該入力データに対してデイケア時に推定された能力情報が正確データとして付与されたデータを訓練データとする機械学習が行われてもよい。このようにすれば、在宅介護時に取得可能な情報に基づいて、精度よく能力情報を推定することが可能になる。
 また在宅介護とデイケアとで重複する内容に基づいて、能力情報が推定されてもよい。例えば介護施設には図8~図14を用いて上述した各デバイス200が導入されており、サーバシステム100の能力情報取得部111は、各デバイス200からのセンシングデータに基づいて能力情報を求めるとする。例えば、サーバシステム100は、各デバイス200から取得されるセンシングデータ群と、能力情報とを対応付けたデータを1レコードとするテーブルデータを記憶してもよい。
 また在宅介護においては、図8~図14の全てのデバイス200を導入することは容易でないかもしれないが、一部のデバイス200が導入される可能性はある。例えば、検出装置430が家庭にも導入され、被介助者の睡眠や活動量等に対応するセンシングデータが求められている。この場合、サーバシステム100は、在宅介護で取得されたセンシングデータと、上記テーブルデータに含まれるセンシングデータ群とを比較することによって、上記テーブルデータから類似度の高いレコードを抽出する処理を行ってもよい。例えばセンシングデータ群の中には検出装置430のセンシングデータも含まれるため、当該センシングデータと在宅介護で取得されたセンシングデータの比較処理に基づいて類似度が算出される。そしてサーバシステム100は、類似度の高いレコードに含まれる能力情報を、在宅介護を受ける被介助者の能力情報として出力する。このようにしても、在宅介護時に取得可能な情報に基づいて、精度よく能力情報を推定することが可能になる。
 図36Aに戻って説明を続ける。図36Aに示すホーム画面は、対象のユーザに対して提示された「お知らせ」に対する当該ユーザの反応に関する情報を表示してもよい。ここでのお知らせとは、例えば図35に示した情報である。
 例えば図36Aに示す画面には、ユーザに対してレコメンドされたデバイス200について、当該ユーザが購入したか否かが表示される。図36Aの例では、ポジショニングピロー、及び付随してレコメンドされたポジショニングアプリについて、ユーザに購入の意思がある。例えば図36Aに示したメーカ発注ボタンの選択操作が行われることによって、ユーザに変わってケアマネージャがポジショニングピローの発注処理を行ってもよい。
 なお、上述したように、1つのデバイス200には種々のアプリケーション(ベンダアプリ)をインストール可能であるが、ユーザは介助の専門家ではないため、いずれのアプリケーションが被介助者の介助に適しているかを判定することが容易でない可能性もある。よって図36Aに示すように、介助に関する知識を有するケアマネージャが、インストールするアプリケーションを決定してもよい。アプリケーションの決定とは、上述してきたように使用する暗黙知を決定することに対応する。図36Aの例では、いくつかの候補の中から、右腕に麻痺を有する被介助者を対象として褥瘡リスクを抑制する際に適した暗黙知が選択されている。また、暗黙知は介護施設毎に作成されてもよく、ケアマネージャは、図36Aに示した画面において、暗黙知を作成した施設を選択可能であってもよい。例えば、選択されたアプリケーションが購入対象のデバイス200にインストールされる場合、メーカ発注ボタンの選択操作に基づいて、対象のアプリケーションがプリインストールされた状態で商品が発送されてもよい。
 また購入するデバイス200(例えばポジショニングピロー)と、アプリケーションがインストールされるデバイス200(例えば第3端末装置810)とが異なる場合も考えられる。この場合、メーカ発注ボタンの選択操作等をトリガーとして、ユーザ及びアプリケーションを特定する情報がサーバシステム100に送信されてもよい。サーバシステム100は、対象ユーザの使用するデバイス200に対して、指定されたアプリケーションを送信する処理を実行する。このようにすれば、ユーザ本人が手続きを行わなくとも、デバイス200に適切なアプリケーションをインストールできる。なお、ここではデバイス購入時のアプリケーション選択について例示したが、使用途中でのアプリケーション変更等に図36Aの画面が用いられてもよい。例えば、ケアマネージャの閲覧する画面には対象ユーザが使用中のデバイス200やアプリケーションが表示されており、被介助者等の状況に合わせて、ケアマネージャが使用するアプリケーションを変更する。例えば図36Aの例のように、プルダウンメニューから使用するアプリケーション(暗黙知)を選択してもよい。この場合も同様に、例えばサーバシステム100を介して、アプリケーションのアンインストールやインストールが実行される。
 図36Cは、図36Aの画面に追加表示される情報の例である。図36Cに示すように、ケアマネージャの端末装置に表示される画面には、対象のユーザが使用しているデバイス200やアプリケーションが表示されてもよい。図36Cの例では、ユーザは嚥下ムセ検出装置460を導入しており、嚥下ムセアプリとして通常の機能を使用中である。通常の機能とは、嚥下及びムセの検出、及び嚥下時間の測定を行う機能である。これに対して、ケアマネージャは追加機能のインストールを実行可能であってもよい。例えば、図36Cに示すように、危険度の高いムセの有無を検出する機能を追加してもよい。このようにすれば、ケアマネージャがオプション機能の追加を行うことが可能になる。
 上述したように、本実施形態の手法では能力情報等に基づいて、各デバイス200の動作モードを切り替え可能であり、具体的には各アプリケーションのアクティブ/非アクティブを変更できる。よって在宅介護においても、アクティブ/非アクティブの判定は自動で行われてもよい。例えばサーバシステム100は、在宅介護で取得されるセンシングデータから能力情報を推定し、当該能力情報に基づいてデバイス200の動作モードを決定してもよい。ただしこれに限定されず、図36C等の画面において、アプリケーションのアクティベート操作が可能であってもよい。このようにすれば、状況に応じた動作モード変更を、ケアマネージャが手動で行うことが可能になる。結果として、センシングデータの種類が少ない在宅介護においても、状況に合わせて動作モードを適切に変更することがかのうになる。
 なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。またサーバシステム、デバイス、情報処理システム等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

Claims (14)

  1.  熟練者の暗黙知に対応する処理を実行するアプリケーションを含むデバイスと、
     前記デバイスとの通信のデータリンク層において、MAC(Media Access Control)ヘッダ、フレームボディ、及びトレイラを含むデータフレームを送信するサーバシステムと、
     を含み、
     前記サーバシステムは、
     被介助者の活動能力を表す能力情報を格納する第1領域、前記被介助者に対する介助のシーンを特定するシーン情報を格納する第2領域、及び、前記デバイスとともに用いられる併用デバイスの種類を特定するデバイス種類情報を格納する第3領域を含む固定長の領域が、前記フレームボディに含まれる前記データフレームを送信し、
     前記デバイスは、
     前記能力情報、前記シーン情報及び前記デバイス種類情報の少なくとも1つに基づいて、前記アプリケーションのアクティブまたは非アクティブを決定する情報処理システム。
  2.  請求項1において、
     前記デバイスは、
     前記アプリケーションがアクティブに設定された場合に、前記アプリケーションの動作結果を前記サーバシステムに送信する情報処理システム。
  3.  請求項2において、
     前記サーバシステムは、
     前記動作結果に基づいて、制御対象デバイスに対する制御の制御種別、及び、制御内容を求め、
     前記フレームボディのうち、前記第1領域、前記第2領域及び前記第3領域を含む領域よりも後方の部分に、前記制御種別を格納する固定長の第4領域、及び、前記制御内容を格納し、前記制御種別に応じて長さの異なる第5領域が含まれる前記データフレームを、前記制御対象デバイスに送信する情報処理システム。
  4.  請求項3において、
     前記デバイスは、
     前記動作結果を前記サーバシステムに送信するか、
     前記動作結果に基づいて、前記サーバシステムを介さずに、前記制御対象デバイスに、前記制御対象デバイスを制御する情報を送信するか、
     を選択する情報処理システム。
  5.  請求項4において、
     前記デバイスは、
     前記サーバシステムを介さずに、前記制御対象デバイスを制御する場合、前記制御対象デバイスとの通信の前記データリンク層において、前記第2領域及び前記第3領域を含む固定長の領域が前記フレームボディに含まれる前記データフレームを、前記制御対象デバイスに送信する情報処理システム。
  6.  請求項5において、
     前記デバイスは、
     前記動作結果に基づいて、前記制御対象デバイスに対する制御の前記制御種別、及び、前記制御内容を求め、
     前記フレームボディのうち、前記第2領域及び前記第3領域を含む領域よりも後方の部分に、前記第4領域、及び、前記第5領域を含む前記データフレームを、前記サーバシステムを介さずに前記制御対象デバイスに送信する情報処理システム。
  7.  請求項5または6において、
     前記デバイスは、
     前記制御対象デバイスに対する前記制御に関するログデータを、前記サーバシステムに送信する情報処理システム。
  8.  請求項4乃至6の何れか一項において、
     所与の空間への前記デバイスの出入りを検出する入退室管理装置と、
     前記空間内に位置する前記デバイスと、前記サーバシステムとの通信を中継するゲートウェイと、
     をさらに含み、
     前記入退室管理装置は、
     前記空間に新規デバイスが入ったことを検出した場合に、前記新規デバイスと通信を行うことによって、前記ゲートウェイを介した通信で用いられる前記新規デバイスのアドレス情報を取得し、取得した前記アドレス情報を前記空間内に位置する前記デバイスに通知する情報処理システム。
  9.  請求項8において、
     前記デバイスは、
     前記入退室管理装置からの情報に基づいて前記制御対象デバイスの前記アドレス情報が取得されている場合に、前記サーバシステムを介さずに、前記制御対象デバイスを制御する情報処理システム。
  10.  請求項4乃至6の何れか一項において、
     前記デバイスは、
     前記デバイスから所定距離内に位置する他のデバイスのアドレス情報を、前記サーバシステムから取得し、
     前記制御対象デバイスの前記アドレス情報が取得されている場合に、前記サーバシステムを介さずに、前記制御対象デバイスを制御する情報処理システム。
  11.  請求項1乃至6の何れか一項において、
     前記サーバシステムは、
     前記デバイス種類情報に基づいて優先度を求め、前記優先度を特定する優先度情報を前記デバイスに送信し、
     前記デバイスは、
     前記デバイスの種類及び前記優先度情報に基づいて特定された前記優先度に応じて、前記データフレームを送信する情報処理システム。
  12.  請求項3において、
     前記サーバシステムは、
     前記デバイス種類情報及び前記制御種別に基づいて優先度を求め、前記優先度を特定する優先度情報を前記デバイスに送信し、
     前記デバイスは、
     前記デバイスの種類、送信対象である前記データフレームに含まれる前記制御種別、及び、前記優先度情報に基づいて特定された前記優先度に応じて、前記データフレームを送信する情報処理システム。
  13.  熟練者の暗黙知に対応する処理を実行するアプリケーションを含むデバイスとの通信のデータリンク層において、MAC(Media Access Control)ヘッダ、フレームボディ、及びトレイラを含むデータフレームを送信する通信部と、
     前記通信部を制御する通信処理部と、
     を含み、
     前記通信部は、
     被介助者の活動能力を表す能力情報を格納する第1領域、前記被介助者に対する介助のシーンを特定するシーン情報を格納する第2領域、及び、前記デバイスとともに用いられる併用デバイスの種類を特定するデバイス種類情報を格納する第3領域を含む固定長の領域が、前記フレームボディに含まれる前記データフレームを、前記アプリケーションのアクティブまたは非アクティブを決定する情報として、前記デバイスに送信する情報処理装置。
  14.  熟練者の暗黙知に対応する処理を実行するアプリケーションを含むデバイスと、前記デバイスとの通信のデータリンク層において、MAC(Media Access Control)ヘッダ、フレームボディ、及びトレイラを含むデータフレームを送信するサーバシステムとを含む情報処理システムにおける情報処理方法であって、
     被介助者の活動能力を表す能力情報を格納する第1領域、前記被介助者に対する介助のシーンを特定するシーン情報を格納する第2領域、及び、前記デバイスとともに用いられる併用デバイスの種類を特定するデバイス種類情報を格納する第3領域を含む固定長の領域が、前記フレームボディに含まれる前記データフレームを、前記サーバシステムから前記デバイスに送信し、
     前記能力情報、前記シーン情報及び前記デバイス種類情報の少なくとも1つに基づいて、前記アプリケーションのアクティブまたは非アクティブを決定する、
     情報処理方法。
PCT/JP2022/030137 2022-04-25 2022-08-05 情報処理システム、情報処理装置及び情報処理方法 WO2023210035A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-071410 2022-04-25
JP2022071410A JP2023161203A (ja) 2022-04-25 2022-04-25 情報処理システム、情報処理装置及び情報処理方法

Publications (1)

Publication Number Publication Date
WO2023210035A1 true WO2023210035A1 (ja) 2023-11-02

Family

ID=88518269

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/030137 WO2023210035A1 (ja) 2022-04-25 2022-08-05 情報処理システム、情報処理装置及び情報処理方法

Country Status (2)

Country Link
JP (1) JP2023161203A (ja)
WO (1) WO2023210035A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006106607A1 (ja) * 2005-04-04 2006-10-12 Mitsuba Corporation 在宅介護機器モニタシステム
US20170046620A1 (en) * 2015-08-11 2017-02-16 Hill-Rom Services, Inc. Method and Apparatus for Decision Support

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006106607A1 (ja) * 2005-04-04 2006-10-12 Mitsuba Corporation 在宅介護機器モニタシステム
US20170046620A1 (en) * 2015-08-11 2017-02-16 Hill-Rom Services, Inc. Method and Apparatus for Decision Support

Also Published As

Publication number Publication date
JP2023161203A (ja) 2023-11-07

Similar Documents

Publication Publication Date Title
JP6704076B2 (ja) 医療施設の複数のソースからのデータに基づく患者リスク評価
JP2022539236A (ja) 介護者支援システム
EP3504649B1 (en) Device, system and method for patient monitoring to predict and prevent bed falls
WO2017213136A1 (ja) 生体監視装置及び生体監視方法
JP2023109751A (ja) システム
JP2011028583A (ja) 監視支援装置、システム及び監視支援方法
WO2023210035A1 (ja) 情報処理システム、情報処理装置及び情報処理方法
US20220122724A1 (en) Caregiver assistance system
WO2020075675A1 (ja) ケアシステムの管理方法および管理装置、ならびにプログラム
JP7396390B2 (ja) 被監視者監視システムの中央処理装置および中央処理方法
JP7354633B2 (ja) 制御装置、制御プログラム、および制御方法
WO2017183528A1 (ja) 被監視者監視装置、該方法および該システム
WO2023105835A1 (ja) 情報処理装置及び情報処理方法
JP2023161202A (ja) 情報処理システム、情報処理装置及び情報処理方法
WO2022036624A1 (zh) 监控方法、装置、电子设备以及存储介质
JPWO2018016392A1 (ja) 姿勢検出装置及び姿勢検出方法
US20230317273A1 (en) Information processing device and information processing method
US20240037991A1 (en) Information processing system and an information processing method
JP2023172460A (ja) 情報処理装置及び情報処理方法
JP2021068396A (ja) 生体情報管理システム
JP2020102045A (ja) 情報処理装置
WO2020171109A1 (ja) 介護施設用の介護支援システム
JP2020052808A (ja) 見守り装置、見守りシステム、見守りプログラム、および見守り方法
JP2021197072A (ja) 制御プログラム、演算装置、制御システム、および制御方法
JP2024021234A (ja) 情報処理システム及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22940306

Country of ref document: EP

Kind code of ref document: A1