WO2016186160A1 - 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
WO2016186160A1
WO2016186160A1 PCT/JP2016/064852 JP2016064852W WO2016186160A1 WO 2016186160 A1 WO2016186160 A1 WO 2016186160A1 JP 2016064852 W JP2016064852 W JP 2016064852W WO 2016186160 A1 WO2016186160 A1 WO 2016186160A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation value
image processing
recording
notification
unit
Prior art date
Application number
PCT/JP2016/064852
Other languages
English (en)
French (fr)
Inventor
堀田 伸一
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to CN201680028343.6A priority Critical patent/CN107533764A/zh
Priority to JP2017519393A priority patent/JP6708980B2/ja
Publication of WO2016186160A1 publication Critical patent/WO2016186160A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an image processing technique, and more particularly, to an image processing technique capable of determining a person's action.
  • This image processing technique is applied to, for example, an image processing apparatus that watches the operation of a cared person who needs care for an elderly person or the like.
  • Patent Document 1 discloses a safety nursing system capable of notifying a nurse corresponding to the condition of each patient.
  • Patent Document 2 knows the degree of seriousness, urgency, risk, etc. when a caregiver is notified of an abnormality of a cared person or a situation requiring care.
  • a care support system that can be used is disclosed.
  • the sensitivity (hereinafter, also referred to as “recording level”) at which the dangerous action is recorded is required to be different from the sensitivity (hereinafter, also referred to as “notification level”) at which the dangerous action is notified. It has been. For example, if an operation that has not been made to fall, such as a cared person hit, is reported, the burden on the caregiver increases. In order to reduce such a burden, it is important to suppress notification of operations that are not so dangerous. On the other hand, in order to identify a dangerous place that causes a fall or the like, it is important to record without omission even an operation that does not cause the fall, such as a care receiver hit.
  • the safety nursing system disclosed in Patent Document 1 sets correspondence between a plurality of types of predetermined actions and a plurality of alarm levels according to the condition of each patient.
  • the safety nursing system When detecting the predetermined motion of the patient, the safety nursing system notifies that the patient has performed the predetermined motion at an alarm level associated with the detected predetermined motion. That is, the safety nursing system sets an alarm level for each type of operation, and does not set different alarm levels for the same operation. Further, the safety nursing system does not record a predetermined action of the patient.
  • the care support system disclosed in Patent Literature 2 includes a step of setting a detection level of a predetermined care recipient's predetermined behavior, and a step of detecting the predetermined behavior of the care receiver based on the detection level and notifying the caregiver Prepare.
  • the caregiver can select a notification method according to the characteristics of the care recipient.
  • the care support system does not record a predetermined operation of the care recipient.
  • the present disclosure has been made in order to solve the above-described problems, and an object in one aspect thereof is to provide an image processing system capable of realizing both notification and recording of the same operation according to usage. That is.
  • An object in another aspect is to provide an image processing apparatus capable of realizing both notification and recording for the same operation in accordance with the application.
  • Still another object of the present invention is to provide an image processing method capable of realizing both notification and recording for the same operation in accordance with the application.
  • Still another object of the present invention is to provide an image processing program capable of realizing both notification and recording for the same operation according to usage.
  • an image processing system for detecting a specific motion in a person to be monitored uses an acquisition unit for acquiring motion data indicating the motion of the person, and indicates the degree of motion of the person using the motion data
  • the recording unit determines whether or not the first determination condition is satisfied by comparing the evaluation value with a first threshold value.
  • the notification unit determines whether or not the second determination condition is satisfied by comparing the evaluation value with a second threshold value different from the first threshold value.
  • the number of determination conditions for the evaluation value in the first determination condition is different from the number of determination conditions for the evaluation value in the second determination condition.
  • the number of determination conditions for the evaluation value in the second determination condition is larger than the number of determination conditions for the evaluation value in the first determination condition.
  • an image processing system for detecting a specific motion in a person to be monitored uses an acquisition unit for acquiring motion data indicating the motion of the person and the motion data to determine the degree of motion of the person.
  • an image processing apparatus for detecting a specific motion in a person to be monitored uses an acquisition unit for acquiring motion data indicating the motion of the person, and the degree of motion of the person using the motion data
  • an image processing method for detecting a specific motion in a person to be monitored includes a step of acquiring motion data indicating the motion of the person, and an evaluation indicating the degree of motion of the person using the motion data A step of calculating a value, a step of recording operation data when the evaluation value satisfies the first determination condition, and a case where the evaluation value satisfies a second determination condition different from the first determination condition. And notifying that the operation has been detected.
  • an image processing program for detecting a specific motion in a person to be monitored obtains motion data indicating the motion of the person in a computer, and the degree of motion of the person using the motion data
  • the step of recording the operation data when the evaluation value satisfies the first determination condition, and when the evaluation value satisfies the second determination condition different from the first determination condition And a step of notifying that a specific operation has been detected.
  • FIG. 1 is a diagram illustrating an example of the configuration of an image processing system 300.
  • the image processing system 300 is used, for example, to watch over the care receiver 10 who is a person to be monitored.
  • the image processing system 300 includes a camera 50, an image processing device 100, and a mobile terminal 200.
  • the camera 50 and the image processing apparatus 100 are connected to each other via a network.
  • the image processing apparatus 100 and the mobile terminal 200 are connected to each other via a network.
  • the camera 50 is installed in, for example, a medical facility, a nursing facility, a home, or the like.
  • FIG. 1 shows a state where the camera 50 is photographing the care receiver 10 and the bed 20 from the ceiling.
  • the camera 50 may be attached to the ceiling or to the side wall.
  • the image processing apparatus 100 determines the operation of the care receiver 10 based on a time-series image (video) obtained from the camera 50.
  • the operation of the care recipient 10 that can be discriminated by the image processing apparatus 100 includes at least one of a fall, a fall from the bed 20, a wake-up, and a floor entry.
  • the image processing apparatus 100 When the image processing apparatus 100 detects an operation to be notified, the image processing apparatus 100 records an image (video) showing the operation and transmits information indicating the type of the operation to the mobile terminal 200.
  • the recording of the operation it is important to record even the crawl operation without omission so that the dangerous place where the fall or the like is likely to occur can be identified.
  • the operation notification if the notification is frequently performed, the burden on the caregiver increases. For example, when the cared person has not fallen, such as when the cared person has nodded, the caregiver is informed of this, increasing the burden on the carer. Therefore, it is preferable that the sensitivity (that is, the recording level) at which the care receiver's target motion is recorded is different from the sensitivity at which the care receiver's target motion is notified (that is, the notification level).
  • the recording level and the notification level are individually set in the image processing system 300 according to the present embodiment.
  • the image processing system 300 can implement recording and notification of the same operation according to the application.
  • the portable terminal 200 When the portable terminal 200 receives information indicating the type of operation to be notified from the image processing apparatus 100, the portable terminal 200 notifies the caregiver 11 of the information. As an example of the notification method, the mobile terminal 200 displays information indicating the type of operation as a message or outputs it as sound. Thereby, when the image processing apparatus 100 detects an operation such as the fall of the care receiver 10, the care worker 11 can quickly rush to the care receiver 10.
  • FIG. 1 illustrates an example in which the image processing system 300 includes one camera 50, the image processing system 300 may include a plurality of cameras 50.
  • 1 shows an example in which the image processing system 300 includes one image processing apparatus 100, the image processing system 300 may include a plurality of image processing apparatuses 100.
  • the camera 50 and the image processing apparatus 100 are configured as separate apparatuses in FIG. 1, the camera 50 and the image processing apparatus 100 may be configured integrally.
  • FIG. 1 shows an example in which the image processing system 300 includes a plurality of mobile terminals 200, but the image processing system 300 may be configured by one mobile terminal 200.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the image processing system 300.
  • the image processing system 300 includes an acquisition unit 52, a detection unit 110, a recording unit 120, and a notification unit 122.
  • Detection unit 110 includes a calculation unit 112, a recording determination unit 114, and a notification determination unit 116. Below, these structures are demonstrated in order.
  • the acquisition unit 52 acquires operation data indicating the operation of the care recipient.
  • the acquisition unit 52 is, for example, a network camera.
  • the acquisition unit 52 acquires an image obtained by photographing a person to be monitored as operation data.
  • the image may be a still image or a moving image.
  • the acquisition unit 52 holds images for the past several seconds and sequentially outputs them to the detection unit 110.
  • the acquisition unit 52 is not limited to a camera as long as it is an apparatus that can acquire operation data indicating temporal changes in the operation amount of the care recipient.
  • the acquisition unit 52 may be a pressure-sensitive mat placed under a bed, a distance image sensor in a TOF (Time Of Flight) format, an acceleration sensor, a microwave sensor, or the like.
  • the pressure sensitive mat outputs a pressure value as operation data.
  • the distance image sensor outputs a distance image as operation data.
  • the acceleration sensor outputs acceleration as operation data.
  • the microwave sensor outputs the distance to the care recipient as operation data.
  • the acquisition unit 52 does not need to be configured by one sensor, and may be configured by a plurality of sensors.
  • the calculation unit 112 calculates an evaluation value indicating the degree of movement of the care recipient using the motion data.
  • the evaluation value may be indicated by a one-dimensional value or a multi-dimensional value.
  • the calculation unit 112 calculates an optical flow between time-series images, and uses the maximum value of the optical flow or the size of the optical flow occurrence range as an evaluation value.
  • the optical flow is a vector representing the movement of the care recipient. Details of the evaluation value calculation method using the optical flow will be described later.
  • the calculation unit 112 outputs the calculated evaluation value to the recording determination unit 114 and the notification determination unit 116.
  • the evaluation value may be calculated by other methods.
  • the calculation unit 112 generates a difference image by subtracting time-series images.
  • the calculation unit 112 calculates the size of a range having a pixel value greater than or equal to a predetermined value in the difference image, and uses the size of the range as an evaluation value.
  • the calculation unit 112 specifies positions of human parts such as the head, arms, and legs in the image, and then estimates the care receiver's posture from the positions of the parts.
  • the calculation unit 112 calculates the similarity between the estimated posture and the predetermined action of the care recipient as an evaluation value.
  • the recording determination unit 114 determines whether to record the image used in the operation determination process based on the evaluation value calculated by the calculation unit 112. Details of the recording determination unit 114 will be described later. When the recording determination unit 114 determines to record an image, the recording determination unit 114 outputs a command for recording the image to the recording unit 120.
  • the notification determination unit 116 determines whether a predetermined operation (hereinafter also referred to as “target operation”) of the care recipient is detected based on the evaluation value calculated by the calculation unit 112. Details of the notification determination unit 116 will be described later. When the notification determination unit 116 determines that the target motion has been detected, the notification determination unit 116 outputs a command for notifying that the target motion has been detected to the notification unit 122.
  • target operation a predetermined operation
  • Recording unit 120 When the recording unit 120 receives a recording command from the recording determination unit 114, the recording unit 120 acquires an image of the past certain time in which the operation to be recorded is reflected from the acquisition unit 52, and records the image.
  • the recording unit 120 is configured as a server connected to a network camera via a network.
  • the server communicates with the network camera based on the reception of the recording command from the recording determination unit 114, acquires images from a few seconds before the target motion is detected until the target motion is detected, Remember.
  • the recording unit 120 is configured as an HDD (Hard Disk Drive) directly connected to the network camera.
  • the HDD stores images from a few seconds before the target motion is detected until the target motion is detected based on the reception of the recording command from the recording determination unit 114.
  • the recording unit 120 transmits an image recorded in the HDD at regular intervals to the server.
  • the image recording method is not limited to the above example.
  • the image recording method is arbitrary as long as the caregiver can confirm what kind of motion data is used to detect the target motion.
  • reporting part 122 is integrated as an application in a caregiver's portable terminal, for example.
  • the application is for informing the caregiver of the target action, and is installed in advance on the caregiver's mobile terminal.
  • the application receives a notification command from the notification determination unit 116, the application notifies that the target action has been detected by means set in itself (for example, notification sound, vibrator, etc.), and the screen of the mobile terminal The detection result is displayed above.
  • the notification method is not limited to the above-described method.
  • the notification method is arbitrary as long as it can recognize that the target action of the caregiver is detected.
  • the notification unit 122 may be configured as a speaker that emits an alarm sound, or may be configured as a lamp that notifies the operation of the care receiver by lighting.
  • FIG. 3 is a diagram showing images 32A to 32C showing how the cared person 10 stands up and falls. More specifically, the image 32 ⁇ / b> A shows the care recipient 10 sitting on the bed 20. The image 32B shows a situation where the care receiver 10 is about to stand up from the bed 20. The image 32C shows a situation where the care receiver 10 is falling.
  • the calculation unit 112 calculates an optical flow from temporally continuous images 32A and 32B.
  • the optical flow represents a motion of an object in an image as a vector.
  • the image 32B shows an optical flow 33AB calculated from temporally continuous images 32A and 32B.
  • the image 32C shows an optical flow 33BC calculated from temporally continuous images 32B and 32C.
  • the optical flow 33BC is larger than the optical flow 33AB.
  • the optical flow is generated in a wider range than at the normal time. Therefore, the generation range of the optical flow 33BC becomes larger than the generation range of the optical flow 33AB.
  • the recording determination unit 114 and the notification determination unit 116 detect the fall of the care recipient by paying attention to the difference in the optical flow between the fall of the care recipient 10 and the normal time.
  • the motion of the care recipient 10 will be described as an example of the motion to be detected, but the motion to be detected is not limited to the motion.
  • the motions to be detected include motions that fall from the bed 20 during sleep, motions that are rampant on the bed 20 for reasons such as pain, and other motions that cause danger to the care recipient 10.
  • the calculation unit 112 calculates an optical flow from the time-series image, and calculates an evaluation value indicating the possibility that the care receiver has fallen based on the optical flow.
  • the evaluation value includes the maximum value of the optical flow and the size of the generation range of the optical flow.
  • the maximum value of the optical flow represents the magnitude of movement of the care recipient.
  • the size of the optical flow generation range represents a range in which movement is generated in the cared person in the image.
  • the maximum value of the optical flow in the i-th image (frame) of the moving image is also referred to as the maximum value Vi
  • the size of the optical flow generation range in the i-th image (frame) of the moving image is defined as the generation range Si. Also called.
  • the recording determination unit 114 determines that the care receiver has fallen and records the operation data.
  • the recording determination unit 114 determines whether or not the recording condition is satisfied by comparing the evaluation value with a threshold value Tha as shown in the following formula (1). More specifically, the recording condition is satisfied when the maximum value Vi becomes larger than the threshold value Tha.
  • the notification determination unit 116 determines that the cared person has fallen and detects the fall of the cared person. Inform you. As an example, the notification determination unit 116 determines whether or not the notification condition is satisfied by comparing the optical flow maximum value Vi with a threshold Thb, as shown in the following equation (2). More specifically, the notification condition is satisfied when the maximum value Vi becomes larger than the threshold value Thb.
  • Example 1-2 In the specific example 1-1, the example in which the maximum value Vi of the optical flow is used as an index for detecting the fall of the care recipient has been described. On the other hand, in Example 1-2, an example in which the optical flow generation range Si is used as the index will be described.
  • the recording determination unit 114 determines whether the recording condition is satisfied by comparing the generation range Si with the threshold Thp. In the specific example 1-2, as shown in the following formula (3), the recording condition is satisfied when the generation range Si becomes larger than the threshold Thp.
  • the notification determination unit 116 determines whether the notification condition is satisfied by comparing the generation range Si with a threshold Thq. In the specific example 1-2, as shown in the following formula (4), the notification condition is satisfied when the generation range Si becomes larger than the threshold value Thq.
  • the notification condition is a condition that is more difficult to satisfy than the recording condition.
  • the image processing system 300 sets the threshold value Thb (see Expression (2)) to be larger than the threshold value Tha (see Expression (1)), thereby making the notification condition stricter than the recording condition.
  • the image processing system 300 sets the threshold value Thq (see formula (4)) to be larger than the threshold value Thp (see formula (3)), thereby making the notification condition stricter than the recording condition.
  • the image processing system 300 can record an operation that has not fallen down, such as a care recipient, and can notify only the operation that needs to be rushed to the care recipient.
  • the image processing system 300 can record without leaking information for identifying a dangerous place where a fall or the like is likely to occur, and can further reduce the burden on the caregiver.
  • the image processing system 300 compares the same evaluation value with different threshold values, thereby changing the recording level and the notification level.
  • the image processing system 300 changes the recording level and the notification level by changing the number of determination conditions. That is, in the specific example 2-1, the number of determination conditions for the evaluation value under the recording condition is different from the number of determination conditions for the evaluation value under the notification condition.
  • the recording determination unit 114 determines whether the recording condition is satisfied by comparing the maximum value Vi of the optical flow with the threshold Thv. For example, as shown in the following equation (5), the recording condition is satisfied when the maximum value Vi becomes larger than the threshold value Thv.
  • the notification determination unit 116 compares the optical flow maximum value Vi with the threshold value Thv and compares the optical flow occurrence range Si with the threshold value Ths. Then, it is determined whether or not the notification condition is satisfied. More specifically, as shown in the following formulas (6) and (7), when the maximum value Vi is larger than the threshold value Thv and the generation range Si is larger than the threshold value Ths, notification is performed. The condition is met.
  • the image processing system 300 makes the number of determination conditions different so that the recording level at which the target action of the care recipient is recorded and the notification level at which the target action of the care receiver is notified are different. Is possible.
  • the number of determination conditions in the recording conditions and the number of determination conditions in the notification conditions are not limited to the example of specific example 2-1. These determination condition numbers are arbitrary. Hereinafter, as specific example 2-2, another example in which the number of determination conditions is different will be described.
  • the recording determination unit 114 determines whether the recording condition is satisfied by comparing the maximum value Vi of the optical flow with the threshold Thv. More specifically, as shown in the following equation (8), the recording condition is satisfied when the maximum value Vi becomes larger than the threshold value Thv.
  • the notification determining unit 116 determines whether or not the notification condition is satisfied by comparing the maximum value Vi of the optical flow in the past N frames with the threshold Thv. As an example, as shown in the following formula (9), the notification condition is satisfied when all of the maximum values Vi in the past N frames exceed the threshold Thv.
  • the image processing system 300 makes the number of determination conditions in the recording condition different from the number of determination conditions in the notification condition, so that the recording level at which the care receiver's target action is recorded and the care receiver's target action are recorded. It is possible to make the notification level different from the notification level.
  • the number of determination conditions for the evaluation value in the notification condition is set to be larger than the number of determination conditions for the evaluation value in the recording condition.
  • the notification condition is less likely to be satisfied than the recording condition.
  • the image processing system 300 can record an operation that has not been overturned, such as a caregiver who has struck, and can notify only the operation that needs to be rushed to the caregiver.
  • FIG. 4 is a flowchart showing a part of processing executed by the image processing system 300.
  • a CPU Central Processing Unit
  • CPU 202 see FIG. 5 of the portable terminal 200 execute an image processing program according to the present embodiment. Is realized.
  • the CPU 102 executes each process illustrated in FIG. 4 will be described, but each process may be executed by the CPU 202. Or CPU102,202 may perform each process in cooperation. In other aspects, some or all of the processing may be performed by circuit elements or other hardware.
  • step S10 the CPU 102 acquires operation data from the acquisition unit 52 (see FIG. 2).
  • the acquisition unit 52 is a camera 50 (see FIG. 1), and the operation data is an image.
  • step S12 the CPU 102 calculates an evaluation value indicating the degree of movement of the person using the operation data as the above-described calculation unit 112 (see FIG. 2).
  • the evaluation value includes a maximum value of an optical flow calculated from a time-series image, a range where the optical flow is generated, and the like.
  • step S20 the CPU 102 determines whether the calculated evaluation value satisfies the recording condition as the above-described recording determination unit 114 (see FIG. 2). For example, the CPU 102 determines that the recording condition is satisfied when the evaluation value exceeds a threshold value. When CPU 102 determines that the evaluation value satisfies the recording condition (YES in step S20), CPU 102 switches control to step S22. If not (NO in step S20), CPU 102 switches control to step S30.
  • step S22 the CPU 102 records the operation data as the above-described recording unit 120 (see FIG. 2).
  • the recorded operation data is, for example, an image from a few seconds before the target motion is detected until the target motion is detected.
  • step S30 the CPU 102 determines whether the calculated evaluation value satisfies the notification condition as the above-described notification determination unit 116 (see FIG. 2). For example, the CPU 102 determines that the notification condition is satisfied when the evaluation value exceeds a threshold value. When CPU 102 determines that the evaluation value satisfies the notification condition (YES in step S30), CPU 102 switches control to step S32. If not (NO in step S30), CPU 102 ends the image processing according to the present embodiment.
  • step S32 the CPU 102 notifies the caregiver that the target action of the care receiver has been detected as the above-described notification unit 122 (see FIG. 2).
  • FIG. 5 is a block diagram illustrating a main hardware configuration of the image processing system 300.
  • the image processing system 300 includes an image processing apparatus 100 and a mobile terminal 200.
  • the image processing apparatus 100 and the mobile terminal 200 are connected to each other via a network.
  • the hardware configuration of the image processing apparatus 100 and the hardware configuration of the mobile terminal 200 will be described in order.
  • the image processing apparatus 100 includes a ROM (Read Only Memory) 101, a CPU 102, a RAM (Random Access Memory) 103, a network I / F (interface) 104, and a camera I / F 105. And the storage device 106.
  • ROM 101 stores an operating system, an image processing program 107 according to the present embodiment, and the like.
  • the CPU 102 controls the operation of the image processing apparatus 100 by executing various programs such as an operating system and the image processing program 107.
  • the RAM 103 functions as a working memory and temporarily stores various data necessary for executing the image processing program 107.
  • the network I / F 104 is connected to a communication device such as an antenna or a NIC (Network Interface Card).
  • the image processing apparatus 100 transmits / receives data to / from other communication terminals via the communication device.
  • Other communication terminals include, for example, the mobile terminal 200 and other terminals.
  • the image processing apparatus 100 may be configured to download the image processing program 107 via a network.
  • the camera I / F 105 is an interface for connecting the camera 50 to the image processing apparatus 100 in a wired or wireless manner.
  • the image processing apparatus 100 acquires an image from the camera 50 via the camera I / F 105.
  • the camera 50 is, for example, a network camera or other imaging device capable of photographing a subject.
  • the camera 50 may be configured integrally with the image processing apparatus 100, or may be configured separately from the image processing apparatus 100 as shown in FIG.
  • the storage device 106 is, for example, a storage medium such as a hard disk or an external storage device.
  • the storage device 106 stores an image processing program 107 for realizing various types of processing according to the present embodiment, an image in which an operation of a detection target of a care receiver is shown, and the like.
  • the image processing program 107 may be provided by being incorporated in a part of an arbitrary program, not as a single program. In this case, processing according to the present embodiment is realized in cooperation with an arbitrary program. Even such a program that does not include some modules does not depart from the spirit of the image processing apparatus 100 according to the present embodiment. Furthermore, part or all of the functions provided by the image processing program 107 according to the present embodiment may be realized by dedicated hardware. Furthermore, the image processing apparatus 100 may be configured in the form of a so-called cloud service in which at least one server realizes processing according to the present embodiment.
  • the portable terminal 200 is, for example, a smartphone, a tablet terminal, or other terminals that can be carried by a care recipient.
  • the mobile terminal 200 includes a ROM 201, a CPU 202, a RAM 203, a network I / F 204, a display 205, and a storage device 206.
  • the ROM 201 stores an operating system, a control program executed by the mobile terminal 200, and the like.
  • the CPU 202 controls the operation of the mobile terminal 200 by executing various programs such as an operating system and a control program for the mobile terminal 200.
  • the RAM 203 functions as a working memory and temporarily stores various data necessary for program execution.
  • the network I / F 204 is connected to a communication device such as an antenna or a NIC (Network Interface Card).
  • the portable terminal 200 transmits / receives data to / from other communication terminals via the communication device.
  • Other communication terminals include, for example, the image processing apparatus 100 and other terminals.
  • the display 205 is, for example, a liquid crystal display, an organic EL (Electro Luminescence) display, or other display devices.
  • the display 205 may be configured as a touch panel.
  • the display 205 displays that the operation has been detected when the operation to be notified of the care recipient is detected.
  • the display 205 displays, for example, the type of operation of the care recipient as a message, or displays an image prompting a warning.
  • the storage device 206 includes a storage medium such as eMMC (Embedded MultiMediaCard).
  • the eMMC includes a NAND flash memory and a control circuit.
  • Storage device 206 stores programs and the like for realizing various processes according to the present embodiment.
  • image processing system 300 according to the present embodiment, different determination conditions (that is, recording conditions and notification conditions) are set for the same evaluation value indicating the movement of the care recipient. Thereby, the image processing system 300 can make the recording level in which the care receiver's target motion is recorded different from the notification level in which the care receiver's target motion is notified. As a result, the care recipient can change the recording level and the notification level according to the application.
  • different determination conditions that is, recording conditions and notification conditions
  • the recording determination process and the notification determination process can be simplified. Thereby, the cost of the image processing system 300 can be reduced.
  • the notification condition is a condition that is more difficult to satisfy than the recording condition. Therefore, the image processing system 300 can record an operation that has not been overturned, such as a caregiver who has struck, and can notify only the operation that needs to be rushed to the caregiver. As a result, the image processing system 300 can record without leaking information for identifying a dangerous place where a fall or the like is likely to occur, and can further reduce the burden on the caregiver.
  • the image processing system 300 sets different determination conditions (that is, a recording condition and a notification condition) for the same evaluation value indicating the degree of movement of the care recipient, so that the target action can be performed.
  • the recording level and the notification level of the target action were different.
  • the image processing system 300 according to the second embodiment calculates a new evaluation value as the evaluation value for recording or the evaluation value for notification from the evaluation value indicating the degree of movement of the care recipient.
  • the image processing system 300 varies the recording level and the notification level by using the evaluation value as it is and the new evaluation value as a reference.
  • FIG. 6 is a block diagram showing an example of a functional configuration of the image processing system 300 according to the second embodiment.
  • the image processing system 300 includes an acquisition unit 52, a detection unit 110, a recording unit 120, and a notification unit 122.
  • the detection unit 110 includes a first calculation unit 112A, a second calculation unit 112B, a recording determination unit 114A, and a notification determination unit 116A. Since acquisition unit 52, recording unit 120, and notification unit 122 are as described in FIG. 2, description of their functional configurations will not be repeated.
  • the first calculation unit 112A acquires motion data from the acquisition unit 52, and uses the motion data to indicate a first evaluation value (hereinafter, also referred to as “recording evaluation value”) indicating the degree of movement of the care recipient. Is calculated. Details of the evaluation value for recording will be described later.
  • the first calculation unit 112A outputs the evaluation value for recording to the second calculation unit 112B and the recording determination unit 114A.
  • the second calculation unit 112B calculates a second evaluation value (hereinafter, also referred to as “notification evaluation value”) indicating the degree of movement of the care recipient using the evaluation value for recording. Details of the evaluation value for notification will be described later.
  • the second calculation unit 112B outputs the evaluation value for notification to the notification determination unit 116A.
  • the recording determination unit 114A determines whether or not to record the image used for the operation determination process based on the evaluation value for recording. Details of the recording determination unit 114A will be described later. If the recording determination unit 114A determines to record an image, the recording determination unit 114A outputs a command for recording the image to the recording unit 120.
  • the notification determination unit 116A determines whether or not a specific operation of the care recipient is detected based on the evaluation value for notification. Details of the notification determination unit 116A will be described later. When the notification determination unit 116A determines that a specific operation has been detected, the notification determination unit 116A outputs a command for notifying that the specific operation has been detected to the notification unit 122.
  • the recording evaluation value may be calculated from the notification evaluation value. That is, a new evaluation value may be calculated from at least one of the recording evaluation value and the notification evaluation value.
  • the image processing system 300 calculates the recording evaluation value and the notification evaluation value, and uses the recording evaluation value and the notification evaluation value as a reference, so that the recording level for the operation to be notified is determined. And different notification levels.
  • the first calculation unit 112A calculates an evaluation value for recording indicating the degree of movement of the care recipient using the motion data.
  • the first calculation unit 112A sets the optical flow occurrence range Si calculated from the time-series images as the recording evaluation value.
  • the second calculation unit 112B calculates a notification evaluation value using the calculated recording evaluation value.
  • the second calculation unit 112B calculates the average value of the optical flow occurrence range Si in the past N frames as the notification evaluation value.
  • the recording determination unit 114A determines whether or not the recording evaluation value satisfies the recording condition. When the recording condition is satisfied, the recording determination unit 114A records the operation data used for determining the operation of the care recipient. As an example, the recording determination unit 114A determines whether the recording condition is satisfied by comparing the generation range Si with a threshold Ths. For example, as shown in the following formula (10), the recording condition is satisfied when the generation range Si becomes larger than the threshold value Ths.
  • the notification determination unit 116A calculates the notification evaluation value using the generation range Si that is the recording evaluation value. As an example, as shown in the following formula (11), the notification determination unit 116A calculates the average value of the generation range Si in the past N frames as the notification evaluation value. The notification determination unit 116A determines whether or not the notification condition is satisfied by comparing the notification evaluation value with the threshold Ths. For example, as shown in the following formula (12), when the notification evaluation value exceeds the threshold Ths, the notification condition is satisfied.
  • the recording determination unit 114A determines whether the recording condition is satisfied by comparing the optical flow occurrence range Si with the threshold Ths. More specifically, as shown in the following formula (13), the recording condition is satisfied when the generation range Si is larger than the threshold value Ths.
  • the notification determination unit 116A calculates the notification evaluation value P by multiplying the generation range Si, which is the recording evaluation value, by the optical flow maximum value Vi, as shown in the following equation (14). . Thereafter, the notification determining unit 116A determines whether or not the notification condition is satisfied by comparing the notification evaluation value P with the threshold Thp. As an example, the notification condition is satisfied when the notification evaluation value P becomes larger than the threshold Thp as shown in the following equation (15).
  • FIG. 7 is a flowchart representing a part of processing executed by image processing system 300 according to the second embodiment.
  • Each process illustrated in FIG. 7 is realized by the CPU 102 (see FIG. 5) of the image processing apparatus 100 and the CPU 202 (see FIG. 5) of the portable terminal 200 executing the image processing program according to the present embodiment.
  • the CPU 102 executes each process illustrated in FIG. 7 will be described, but each process may be executed by the CPU 202.
  • CPU102,202 may perform each process in cooperation.
  • some or all of the processing may be performed by circuit elements or other hardware.
  • step S10 the CPU 102 acquires operation data from the acquisition unit 52 (see FIG. 6).
  • the acquisition unit 52 is a camera 50 (see FIG. 1), and the operation data is an image.
  • step S12A the CPU 102 calculates an evaluation value for recording indicating the degree of movement of the person using the operation data as the above-described first calculation unit 112A (see FIG. 6).
  • the recording evaluation value includes a maximum value of the optical flow, a range where the optical flow is generated, and the like.
  • step S12B the CPU 102 calculates a notification evaluation value indicating the degree of movement of the person using the recording evaluation value as the above-described second calculation unit 112B (see FIG. 6).
  • the evaluation value for notification includes a result of multiplying the maximum value of the optical flow by the size of the optical flow generation range.
  • step S20A the CPU 102 determines whether or not the recording evaluation value satisfies the recording condition as the above-described recording determination unit 114A (see FIG. 6). For example, the CPU 102 determines that the recording condition is satisfied when the recording evaluation value exceeds a predetermined threshold. When CPU 102 determines that the recording evaluation value satisfies the recording condition (YES in step S20A), CPU 102 switches control to step S22. If not (NO in step S20A), CPU 102 switches control to step S30A.
  • step S22 the CPU 102 records operation data as the above-described recording unit 120 (see FIG. 6).
  • the recorded operation data is, for example, an image from a few seconds before the target motion is detected until the target motion is detected.
  • step S30A the CPU 102 determines whether the notification evaluation value satisfies the notification condition as the notification determination unit 116A (see FIG. 6). For example, the CPU 102 determines that the notification condition is satisfied when the notification evaluation value exceeds a predetermined threshold. When CPU 102 determines that the evaluation value for notification satisfies the notification condition (YES in step S30A), CPU 102 switches control to step S32. If not (NO in step S30A), CPU 102 ends the image processing according to the present embodiment.
  • step S32 the CPU 102 notifies the caregiver that the target action has been detected as the above-described notification unit 122 (see FIG. 6).
  • the image processing system 300 is based on the evaluation value indicating the degree of movement of the care recipient and the new evaluation value calculated from the evaluation value.
  • the recording level and notification level for the caregiver's target motion are varied.
  • the image processing system 300 can change the recording level at which the care receiver's target action is recorded and the notification level at which the care receiver's target action is notified depending on the application.
  • the evaluation value for recording and the evaluation value for notification are determined under the same determination condition. That is, the recording condition and the notification condition are the same.
  • the image processing system 300 compares the recording evaluation value and the notification evaluation value with a common threshold value Ths, thereby obtaining the recording evaluation value and the notification.
  • the evaluation value is determined under the same determination condition.
  • the image processing system 300 can simplify the setting of the recording condition and the notification condition.
  • the acquisition unit 52 may be configured with a plurality of sensors.
  • the acquisition unit 52 includes a network camera and a pressure sensor.
  • the image processing system 300 according to the third embodiment includes an evaluation value calculated based on a moving image output by a network camera and an evaluation value calculated based on a pressure distribution output by a pressure sensor. In combination, recording determination and notification determination are performed. Below, the specific example at the time of using these evaluation values together is demonstrated.
  • the first calculation unit 112A calculates an evaluation value indicating the degree of movement of the care receiver from the moving image output by the network camera.
  • the recording determination unit 114A determines that the target action is occurring in the care recipient when the evaluation value satisfies the recording condition. In this case, the recording unit 120 (see FIG. 6) stores the moving image used for the operation determination process.
  • the second calculator 112B calculates an evaluation value indicating the degree of movement of the care recipient from the pressure distribution output by the pressure sensor.
  • the evaluation value includes the maximum value of the pressure in the pressure distribution and the size of a range where a pressure value equal to or greater than a predetermined value occurs.
  • the notification determination unit 116A determines that the target action is occurring in the care receiver when the evaluation value satisfies the notification condition. For example, the notification determination unit 116A determines that the notification condition is satisfied when the evaluation value exceeds a predetermined threshold. In this case, the notification unit 122 (see FIG. 6) notifies the caregiver that the target action of the care receiver has been detected.
  • the recording determination unit 114A determines that the target action is occurring in the care recipient when one of the evaluation value calculated from the moving image and the evaluation value calculated from the pressure distribution exceeds a predetermined threshold. To do. In this case, the recording unit 120 stores the moving image used for the operation determination process.
  • the notification determination unit 116A determines that the target action is occurring in the care recipient when both the evaluation value calculated from the moving image and the evaluation value calculated from the pressure distribution exceed a predetermined threshold. In this case, the notification unit 122 notifies the caregiver that the target action of the care receiver has been detected.
  • the recording determination unit 114A uses an identifier that has been machine-learned using an evaluation value calculated from a moving image and an evaluation value calculated from a pressure distribution so that undetected movements of the care recipient are reduced. The recording judgment is performed.
  • the notification determination unit 116 ⁇ / b> A uses an identifier that has been machine-learned so as to reduce false detection of a care receiver's motion using an evaluation value calculated from a moving image and an evaluation value calculated from a pressure distribution. The notification determination is performed.
  • image processing system 300 performs recording determination and notification determination using not only an image but also a pressure distribution from a pressure sensor. As a result, the image processing system 300 can more accurately determine the operation of the care recipient.

Abstract

同一の動作に対する報知と記録とのそれぞれを用途に合わせて実現できる画像処理システムを提供する。監視対象の人物における特定の動作を検出する画像処理システム(300)は、人物の動作を示す動作データを取得するための取得部(52)と、動作データを用いて、人物の動きの度合いを示す評価値を算出するための算出部(112)と、評価値が第1判定条件を満たした場合に、動作データを記録するための記録部(120)と、評価値が第1判定条件とは異なる第2判定条件を満たした場合に、特定の動作を検出したことを報知するための報知部(122)とを備える。

Description

画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
 本開示は、画像処理技術に関し、特に、人物の動作を判別することが可能な画像処理技術に関する。
 画像から人物の動作を判別するための画像処理技術がある。この画像処理技術は、たとえば、高齢者等の介護を要する被介護者の動作を見守る画像処理装置に応用されている。
 このような画像処理装置に関し、特開2012-71004号公報(特許文献1)は、患者ごとの容態に対応した看護者への通知を行なうことが可能な安全看護システムを開示している。特開2001-307257号公報(特許文献2)は、介護者が被介護者の異常や介護の必要な状況の報知を受けた場合に、その深刻さ、緊急性、危険性等の程度を知ることができる介護支援システムを開示している。
特開2012-71004号公報 特開2001-307257号公報
 ところで、被介護者に転倒等の危険な動作が生じた場合に、そのことを介護者に報知するだけでなく、被介護者に危険動作が生じたときの画像(映像)を記録することが望まれている。このとき、危険動作の記録が実行される感度(以下、「記録レベル」ともいう。)は、危険動作の報知が実行される感度(以下、「報知レベル」ともいう。)と異なることが求められている。たとえば、被介護者が躓いた等、転倒まではしていない動作が報知されると、介護者の負担が増えてしまう。このような負担を減らすためには、それほど危険ではない動作の報知を抑えることが重要である。一方で、転倒等の原因となる危険個所を特定するためには、被介護者が躓いた等、転倒まではしていない動作であっても漏れなく記録することが重要である。
 特許文献1に開示される安全看護システムは、患者ごとの容態に応じて、複数種類の所定動作と複数の警報レベルとの対応関係を設定する。当該安全看護システムは、患者の所定動作を検出した場合に、検出された所定動作に対応付けられている警報レベルで、患者が所定動作を行なったことを報知する。すなわち、当該安全看護システムは、動作の種類別の警報レベルを設定するものであり、同一の動作について異なる警報レベルを設定するものではない。また、当該安全看護システムは、患者の所定動作の記録を行なうものでもない。
 特許文献2に開示される介護支援システムは、被介護者の所定の行動の検知レベルを設定するステップと、検知レベルに基づいて被介護者の所定の行動を検知し、介護者に報知するステップと備える。介護者は被介護者の特性に応じた報知方法を選択することができる。当該介護支援システムは、被介護者の所定動作の記録を行なうものではない。
 本開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、同一の動作に対する報知と記録とのそれぞれを用途に合わせて実現できる画像処理システムを提供することである。他の局面における目的は、同一の動作に対する報知と記録とのそれぞれを用途に合わせて実現できる画像処理装置を提供することである。さらに他の局面における目的は、同一の動作に対する報知と記録とのそれぞれを用途に合わせて実現できる画像処理方法を提供することである。さらに他の局面における目的は、同一の動作に対する報知と記録とのそれぞれを用途に合わせて実現できる画像処理プログラムを提供することである。
 ある局面に従うと、監視対象の人物における特定の動作を検出する画像処理システムは、人物の動作を示す動作データを取得するための取得部と、動作データを用いて、人物の動きの度合いを示す評価値を算出するための算出部と、評価値が第1判定条件を満たした場合に、動作データを記録するための記録部と、評価値が第1判定条件とは異なる第2判定条件を満たした場合に、特定の動作を検出したことを報知するための報知部とを備える。
 好ましくは、記録部は、評価値を第1閾値と比較することで第1判定条件が満たされたか否かを判定する。報知部は、評価値を第1閾値とは異なる第2閾値と比較することで第2判定条件が満たされたか否かを判定する。
 好ましくは、第1判定条件における評価値に対する判定条件数と、第2判定条件における評価値に対する判定条件数とは異なる。
 好ましくは、第2判定条件における評価値に対する判定条件数は、第1判定条件における評価値に対する判定条件数よりも多い。
 好ましくは、第2判定条件は、第1判定条件よりも満たされにくい条件である。
 他の局面に従うと、監視対象の人物における特定の動作を検出する画像処理システムは、人物の動作を示す動作データを取得するための取得部と、動作データを用いて、人物の動きの度合いを示す第1評価値を算出するための第1算出部と、第1評価値を用いて、人物の動きの度合いを示す第2評価値を算出するための第2算出部と、第1評価値および第2評価値の一方が第1判定条件を満たした場合に、動作データを記録するための記録部と、第1評価値および第2評価値の他方が第2判定条件を満たした場合に、特定の動作を検出したことを報知するための報知部とを備える。
 さらに他の局面に従うと、監視対象の人物における特定の動作を検出する画像処理装置は、人物の動作を示す動作データを取得するための取得部と、動作データを用いて、人物の動きの度合いを示す評価値を算出するための算出部と、評価値が第1判定条件を満たした場合に、動作データを記録するための記録部と、評価値が第1判定条件とは異なる第2判定条件を満たした場合に、特定の動作を検出したことを報知するための報知部とを備える。
 さらに他の局面に従うと、監視対象の人物における特定の動作を検出する画像処理方法は、人物の動作を示す動作データを取得するステップと、動作データを用いて、人物の動きの度合いを示す評価値を算出するステップと、評価値が第1判定条件を満たした場合に、動作データを記録するステップと、評価値が第1判定条件とは異なる第2判定条件を満たした場合に、特定の動作を検出したことを報知するステップとを備える。
 さらに他の局面に従うと、監視対象の人物における特定の動作を検出する画像処理プログラムは、コンピュータに、人物の動作を示す動作データを取得するステップと、動作データを用いて、人物の動きの度合いを示す評価値を算出するステップと、評価値が第1判定条件を満たした場合に、動作データを記録するステップと、評価値が第1判定条件とは異なる第2判定条件を満たした場合に、特定の動作を検出したことを報知するステップとを実行させる。
 ある局面において、同一の動作に対する報知と記録とのそれぞれを用途に合わせて実現できる。
 本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。
第1の実施の形態に従う画像処理システムの構成の一例を示す図である。 第1の実施の形態に従う画像処理システムの機能構成の一例を示すブロック図である。 被介護者が立ち上がってから転倒するまでの様子を表わす画像を示す図である。 第1の実施の形態に従う画像処理システムが実行する処理の一部を表わすフローチャートである。 第1の実施の形態に従う画像処理システムの主要なハードウェア構成を示すブロック図である。 第2の実施の形態に従う画像処理システムの機能構成の一例を示すブロック図である。 第2の実施の形態に従う画像処理システムが実行する処理の一部を表わすフローチャートである。
 以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。
 <第1の実施の形態>
 [画像処理システム300の構成]
 図1を参照して、画像処理システム300の構成について説明する。図1は、画像処理システム300の構成の一例を示す図である。
 画像処理システム300は、たとえば、監視対象の人物である被介護者10を見守るために用いられる。図1に示されるように、画像処理システム300は、カメラ50と、画像処理装置100と、携帯端末200とを含む。カメラ50および画像処理装置100は、ネットワークを介して互いに接続されている。画像処理装置100および携帯端末200は、ネットワークを介して互いに接続されている。
 カメラ50は、たとえば、医療施設、介護施設、宅内等に設置される。図1には、カメラ50が被介護者10およびベッド20を天井から撮影している様子が示されている。カメラ50は、天井に取り付けられてもよいし、側壁に取り付けられてもよい。画像処理装置100は、カメラ50から得られた時系列の画像(映像)に基づいて被介護者10の動作を判別する。一例として、画像処理装置100が判別可能な被介護者10の動作は、転倒、ベッド20からの転落、起床、および入床の少なくとも1つを含む。
 画像処理装置100は、報知対象の動作を検出すると、当該動作が写っている画像(映像)を記録するとともに、当該動作の種類を示す情報を携帯端末200に送信する。動作の記録においては、転倒等が生じやすい危険個所が特定され得るように、躓く動作等であっても漏れなく記録することが重要である。一方で、動作の報知においては、報知が頻繁に行われると介護者の負担が増加する。たとえば、被介護者が躓いた等、被介護者が転倒していない場合には、そのことが介護者に報知されることで介護者の負担が増加する。そのため、被介護者の対象動作が記録される感度(すなわち、記録レベル)と、被介護者の対象動作が報知される感度(すなわち、報知レベル)とは、異なる方が好ましい。
 そこで、本実施の形態に従う画像処理システム300には、記録レベルと報知レベルとが個別に設定される。これにより、画像処理システム300は、同一の動作についての記録と報知とのそれぞれを用途に合わせて実現できる。
 携帯端末200は、報知対象の動作の種類を示す情報を画像処理装置100から受信すると、当該情報を介護者11に報知する。報知方法の一例として、携帯端末200は、動作の種類を示す情報をメッセージとして表示したり、音声として出力したりする。これにより、画像処理装置100が被介護者10の転倒等の動作を検出した場合に、介護者11は、被介護者10の元に素早く駆け付けることができる。
 なお、図1には、画像処理システム300が1つのカメラ50を備えている例が示されているが、画像処理システム300は、複数のカメラ50を備えてもよい。また、図1には、画像処理システム300が1つの画像処理装置100を備えている例が示されているが、画像処理システム300は、複数の画像処理装置100を備えてもよい。さらに、図1には、カメラ50と画像処理装置100とが別個の装置として構成されているが、カメラ50と画像処理装置100とは一体的に構成されてもよい。さらに、図1には、画像処理システム300が複数の携帯端末200を備えている例が示されているが、画像処理システム300は、1つの携帯端末200で構成されてもよい。
 [画像処理システム300の処理]
 図2を参照して、画像処理システム300が実行する処理について説明する。図2は、画像処理システム300の機能構成の一例を示すブロック図である。図2に示されるように、画像処理システム300は、取得部52と、検出部110と、記録部120と、報知部122とを備える。検出部110は、算出部112と、記録判定部114と、報知判定部116とを含む。以下では、これらの構成について順に説明する。
  (取得部52)
 取得部52は、被介護者の動作を示す動作データを取得する。取得部52は、たとえば、ネットワークカメラである。取得部52は、監視対象の人物を撮影して得られる画像を動作データとして取得する。画像は、静止画像であってもよいし、動画像であってもよい。取得部52は、過去数秒分の画像を保持し、検出部110に順次出力する。
 なお、取得部52は、被介護者の動作量の時間的な変化を示す動作データを取得することが可能な装置であれば、カメラに限定されない。たとえば、取得部52は、ベッドの下に配置された感圧マット、TOF(Time Of Flight)形式の距離画像センサ、加速度センサ、マイクロ波センサ等であってもよい。感圧マットは、圧力値を動作データとして出力する。距離画像センサは、距離画像を動作データとして出力する。加速度センサは、加速度を動作データとして出力する。マイクロ波センサは、被介護者までの距離を動作データとして出力する。取得部52は、1つのセンサで構成される必要はなく、複数のセンサで構成されてもよい。
  (算出部112)
 算出部112は、動作データを用いて、被介護者の動きの度合いを示す評価値を算出する。評価値は、一次元の値で示されてもよいし、複数次元の値で示されてもよい。一例として、算出部112は、時系列の画像間でのオプティカルフローを算出し、オプティカルフローの最大値や、オプティカルフローの発生範囲の大きさを評価値とする。オプティカルフローとは、被介護者の動きをベクトルで表したものである。オプティカルフローを用いた評価値の算出方法の詳細については後述する。算出部112は、記録判定部114および報知判定部116に算出した評価値を出力する。
 なお、評価値は、他の方法で算出されてもよい。ある局面において、算出部112は、時系列の画像を差分して差分画像を生成する。算出部112は、差分画像内において所定値以上の画素値を有する範囲の大きさを算出し、当該範囲の大きさを評価値とする。他の局面において、算出部112は、頭、腕、脚等の人体の部位の位置を画像内で特定した上で、各部位の位置から被介護者の姿勢を推定する。算出部112は、推定した姿勢と、被介護者の所定動作との類似度を評価値として算出する。
  (記録判定部114)
 記録判定部114は、算出部112によって算出された評価値に基づいて、動作判定処理に用いられた画像を記録するか否かを判定する。記録判定部114の詳細については後述する。記録判定部114は、画像を記録すると判定した場合に、画像を記録するための命令を記録部120に出力する。
  (報知判定部116)
 報知判定部116は、算出部112によって算出された評価値に基づいて、被介護者の所定動作(以下、「対象動作」ともいう。)が検出されたか否かを判定する。報知判定部116の詳細については後述する。報知判定部116は、対象動作が検出されたと判定した場合に、当該対象動作が検出されたことを報知するための命令を報知部122に出力する。
  (記録部120)
 記録部120は、記録判定部114から記録命令を受けた場合に、記録対象の動作が写っている過去一定時間の画像を取得部52から取得し、当該画像を記録する。
 ある局面において、記録部120は、ネットワークを介してネットワークカメラと接続されているサーバーとして構成される。当該サーバーは、記録判定部114から記録命令を受け付けたことに基づいてネットワークカメラと通信するとともに、対象動作が検出される数秒前から対象動作が検出されるまでの画像を取得し、当該画像を記憶する。
 他の局面において、記録部120は、ネットワークカメラと直接接続されているHDD(Hard Disk Drive)として構成される。HDDは、記録判定部114から記録命令を受け付けたことに基づいて、対象動作が検出される数秒前から対象動作が検出されるまでの画像を記憶する。記録部120は、一定時間ごとにHDDに記録された画像をサーバーに送信する。
 なお、画像の記録方法は、上述の例に限定されない。画像の記録方法は、どのような動作データを基に対象動作が検出されたかを介護者が確認できれば任意である。
  (報知部122)
 報知部122は、報知判定部116から報知命令を受けた場合に、対象動作が検出されたことを介護者に報知する。報知部122は、たとえば、介護者の携帯端末にアプリケーションとして組み込まれる。当該アプリケーションは、対象動作を介護者に報知するためのものであり、介護者の携帯端末に予めインストールされている。当該アプリケーションは、報知判定部116から報知命令を受けた場合に、自身に設定されている手段(たとえば、通知音やバイブレータ等)で対象動作が検出されたことを報知するとともに、携帯端末の画面上に検出結果を表示する。
 なお、報知方法は、上述の方法に限定されない。介護者の対象動作が検出されたことを認識できる方法であれば、報知方法は任意である。たとえば、報知部122は、アラーム音を発するスピーカとして構成されてもよいし、被介護者の動作を点灯で報知するランプとして構成されてもよい。
 [具体例]
 図3を参照して、図2に示される算出部112、記録判定部114、および報知判定部116についてさらに詳細に説明する。図3は、被介護者10が立ち上がってから転倒するまでの様子を表わす画像32A~32Cを示す図である。より具体的には、画像32Aには、被介護者10がベッド20に座っている様子が示されている。画像32Bには、被介護者10がベッド20から立ち上がろうとしている様子が示されている。画像32Cには、被介護者10が転倒している様子が示されている。
 算出部112は、時間的に連続する画像32A,32Bからオプティカルフローを算出する。オプティカルフローは、画像中の物体の動きをベクトルで表したものである。画像32Bには、時間的に連続する画像32A,32Bから算出されたオプティカルフロー33ABが示されている。画像32Cには、時間的に連続する画像32B,32Cから算出されたオプティカルフロー33BCが示されている。
 被介護者が転倒した場合には、通常時(歩行時等)と比べて速い動作が生じる。そのため、オプティカルフロー33BCは、オプティカルフロー33ABよりも大きくなる。また、被介護者は、転倒時には、直立に近い状態から床に転んだ状態になるため、通常時と比べてより広範囲にオプティカルフローが発生する。そのため、オプティカルフロー33BCの発生範囲は、オプティカルフロー33ABの発生範囲よりも大きくなる。記録判定部114および報知判定部116は、被介護者10の転倒時と通常時とのオプティカルフローの違いに着目して、被介護者の転倒を検出する。
 なお、以下では、検出対象の動作として被介護者10の転倒を例に挙げて説明を行なうが、検出対象の動作は、転倒に限定されない。他にも、検出対象の動作は、就寝中にベッド20から転落する動作、痛み等の理由によりベッド20上で暴れている動作、被介護者10に危険が生じているその他の動作を含む。
  (具体例1-1)
 算出部112は、時系列の画像からオプティカルフローを算出し、当該オプティカルフローに基づいて被介護者が転倒した可能性を示す評価値を算出する。一例として、当該評価値は、オプティカルフローの最大値や、オプティカルフローの発生範囲の大きさを含む。オプティカルフローの最大値は、被介護者の動きの大きさを表わす。オプティカルフローの発生範囲の大きさは、画像内で被介護者に動きが発生している範囲を表わす。
 以下では、動画像のi番目の画像(フレーム)におけるオプティカルフローの最大値を最大値Viともいい、動画像のi番目の画像(フレーム)でのオプティカルフローの発生範囲の大きさを発生範囲Siともいう。
 記録判定部114は、評価値が第1判定条件(以下、「記録条件」ともいう。)を満たした場合に、被介護者が転倒していると判定し、動作データを記録する。一例として、記録判定部114は、以下の式(1)に示されるように、評価値を閾値Thaと比較することで記録条件が満たされたか否かを判定する。より具体的には、最大値Viが閾値Thaよりも大きくなった場合に、記録条件が満たされる。
 Vi>Tha・・・(1)
 報知判定部116は、評価値が第2判定条件(以下、「報知条件」ともいう。)を満たした場合に、被介護者が転倒していると判定し、被介護者の転倒を検出したことを報知する。一例として、報知判定部116は、以下の式(2)に示されるように、オプティカルフローの最大値Viを閾値Thbと比較することで報知条件が満たされたか否かを判定する。より具体的には、最大値Viが閾値Thbよりも大きくなった場合に、報知条件が満たされる。
 Vi>Thb・・・(2)
  (具体例1-2)
 具体例1-1では、被介護者の転倒を検出するための指標としてオプティカルフローの最大値Viを用いる例を説明した。これに対して、具体例1-2では、当該指標としてオプティカルフローの発生範囲Siを用いる例を説明する。
 記録判定部114は、発生範囲Siを閾値Thpと比較することで記録条件が満たされたか否かを判定する。具体例1-2においては、以下の式(3)に示されるように、発生範囲Siが閾値Thpよりも大きくなった場合に、記録条件が満たされる。
 Si>Thp・・・(3)
 報知判定部116は、発生範囲Siを閾値Thqと比較することで報知条件が満たされたか否かを判定する。具体例1-2においては、以下の式(4)に示されるように、発生範囲Siが閾値Thqよりも大きくなった場合に、報知条件が満たされる。
 Si>Thq・・・(4)
  (具体例1-1,1-2の効果)
 このように、同一の評価値に対して異なる判定条件が設定されることで、被介護者の対象動作が記録される記録レベルと、被介護者の対象動作が報知される報知レベルとを異ならせることが可能になる。
 好ましくは、報知条件は、記録条件よりも満たされにくい条件である。一例として、画像処理システム300は、上記閾値Thb(式(2)参照)を上記閾値Tha(式(1)参照)よりも大きく設定することで、報知条件を記録条件よりも厳しくする。あるいは、画像処理システム300は、上記閾値Thq(式(4)参照)を上記閾値Thp(式(3)参照)よりも大きく設定することで、報知条件を記録条件よりも厳しくする。
 これにより、画像処理システム300は、被介護者が躓いた等、転倒まではしていない動作を記録できるとともに、被介護者の元に駆け付けることが必要な動作のみを介護者に報知できる。その結果、画像処理システム300は、転倒等が生じやすい危険個所を特定するための情報を漏らさずに記録でき、さらには、介護者の負担を減らすことができる。
  (具体例2-1)
 具体例1-1,1-2では、画像処理システム300は、同一の評価値を異なる閾値で比較することにより、記録レベルおよび報知レベルを異ならせていた。これに対して、具体例2-1では、画像処理システム300は、判定条件数を異ならせることで、記録レベルおよび報知レベルを異ならせる。すなわち、具体例2-1においては、記録条件における評価値に対する判定条件数と、報知条件における評価値に対する判定条件数とは互いに異なる。
 より具体的には、記録判定部114は、オプティカルフローの最大値Viを閾値Thvと比較することで、記録条件が満たされたか否かを判定する。たとえば、以下の式(5)に示されるように、最大値Viが閾値Thvよりも大きくなった場合に、記録条件が満たされる。
 Vi>Thv・・・(5)
 報知判定部116は、以下の式(6),(7)に示されるように、オプティカルフローの最大値Viを閾値Thvと比較することと、オプティカルフローの発生範囲Siを閾値Thsと比較することとで、報知条件が満たされたか否かを判定する。より具体的には、以下の式(6),(7)に示されるように、最大値Viが閾値Thvよりも大きくなり、かつ、発生範囲Siが閾値Thsよりも大きくなった場合に、報知条件が満たされる。
 Vi>Thv・・・(6)
 Si>Ths・・・(7)
 このように、画像処理システム300は、判定条件数を異ならせることで、被介護者の対象動作が記録される記録レベルと、被介護者の対象動作が報知される報知レベルとを異ならせることが可能になる。
  (具体例2-2)
 記録条件における判定条件数と報知条件における判定条件数とは、具体例2-1の例に限定されない。これらの判定条件数は、任意である。以下では、具体例2-2として、これらの判定条件数が異なる他の例について説明する。
 記録判定部114は、オプティカルフローの最大値Viを閾値Thvと比較することで、記録条件が満たされたか否かを判定する。より具体的には、以下の式(8)に示されるように、最大値Viが閾値Thvよりも大きくなった場合に、記録条件が満たされる。
 Vi>Thv・・・(8)
 報知判定部116は、過去Nフレームにおけるオプティカルフローの最大値Viを閾値Thvと比較することで、報知条件が満たされたか否かを判定する。一例として、以下の式(9)に示されるように、過去Nフレームにおける最大値Viの全てが閾値Thvを超えた場合に、報知条件が満たされる。
Figure JPOXMLDOC01-appb-M000001
  (具体例2-1,2-2の効果)
 このように、画像処理システム300は、記録条件における判定条件数と報知条件における判定条件数とを異ならせることで、被介護者の対象動作が記録される記録レベルと、被介護者の対象動作が報知される報知レベルとを異ならせることが可能になる。
 好ましくは、報知条件における評価値に対する判定条件数は、記録条件における評価値に対する判定条件数よりも多くなるように設定される。これにより、報知条件は、記録条件よりも満たされにくくなる。その結果、画像処理システム300は、被介護者が躓いた等、転倒まではしていない動作を記録できるとともに、被介護者の元に駆け付けることが必要な動作のみを介護者に報知できる。
 [画像処理システム300の制御構造]
 図4を参照して、画像処理システム300の制御構造について説明する。図4は、画像処理システム300が実行する処理の一部を表わすフローチャートである。図4に示される各処理は、画像処理装置100のCPU(Central Processing Unit)102(図5参照)や、携帯端末200のCPU202(図5参照)が本実施の形態に従う画像処理プログラムを実行することにより実現される。以下では、CPU102が図4に示される各処理を実行する例について説明するが、各処理は、CPU202によって実行されてもよい。あるいは、CPU102,202は、協働して各処理を実行してもよい。他の局面において、処理の一部または全部が、回路素子その他のハードウェアによって実行されてもよい。
 ステップS10において、CPU102は、取得部52(図2参照)から動作データを取得する。一例として、取得部52はカメラ50(図1参照)であり、動作データは画像である。
 ステップS12において、CPU102は、上述の算出部112(図2参照)として、動作データを用いて、人物の動きの度合いを示す評価値を算出する。一例として、当該評価値は、時系列の画像から算出されるオプティカルフローの最大値、当該オプティカルフローが発生している範囲等を含む。
 ステップS20において、CPU102は、上述の記録判定部114(図2参照)として、算出された評価値が記録条件を満たしたか否かを判定する。たとえば、CPU102は、評価値が閾値を超えた場合に、記録条件が満たされたと判定する。CPU102は、評価値が記録条件を満たしたと判定した場合(ステップS20においてYES)、制御をステップS22に切り替える。そうでない場合には(ステップS20においてNO)、CPU102は、制御をステップS30に切り替える。
 ステップS22において、CPU102は、上述の記録部120(図2参照)として、動作データを記録する。記録される動作データは、たとえば、対象動作が検出される数秒前から対象動作が検出されるまでの画像である。
 ステップS30において、CPU102は、上述の報知判定部116(図2参照)として、算出された評価値が報知条件を満たしたか否かを判定する。たとえば、CPU102は、評価値が閾値を超えた場合に、報知条件が満たされたと判定する。CPU102は、評価値が報知条件を満たしたと判定した場合(ステップS30においてYES)、制御をステップS32に切り替える。そうでない場合には(ステップS30においてNO)、CPU102は、本実施の形態に従う画像処理を終了する。
 ステップS32において、CPU102は、上述の報知部122(図2参照)として、被介護者の対象動作が検出されたことを介護者に報知する。
 [画像処理システム300のハードウェア構成]
 図5を参照して、画像処理システム300のハードウェア構成の一例について説明する。図5は、画像処理システム300の主要なハードウェア構成を示すブロック図である。図5に示されるように、画像処理システム300は、画像処理装置100と、携帯端末200とを含む。画像処理装置100および携帯端末200は、ネットワークを介して互いに接続されている。以下では、画像処理装置100のハードウェア構成と、携帯端末200のハードウェア構成とについて順に説明する。
  (画像処理装置100のハードウェア構成)
 図5に示されるように、画像処理装置100は、ROM(Read Only Memory)101と、CPU102と、RAM(Random Access Memory)103と、ネットワークI/F(インタフェース)104と、カメラI/F105と、記憶装置106とを含む。
 ROM101は、オペレーティングシステム、本実施の形態に従う画像処理プログラム107等を格納する。CPU102は、オペレーティングシステムや画像処理プログラム107等の各種プログラムを実行することで、画像処理装置100の動作を制御する。RAM103は、ワーキングメモリとして機能し、画像処理プログラム107の実行に必要な各種データを一時的に格納する。
 ネットワークI/F104には、アンテナやNIC(Network Interface Card)等の通信機器が接続される。画像処理装置100は、当該通信機器を介して、他の通信端末との間でデータを送受信する。他の通信端末は、たとえば、携帯端末200、その他の端末等を含む。画像処理装置100は、ネットワークを介して画像処理プログラム107をダウンロードできるように構成されてもよい。
 カメラI/F105は、カメラ50を有線または無線で画像処理装置100と接続するためのインタフェースである。画像処理装置100は、カメラI/F105を介してカメラ50から画像を取得する。カメラ50は、たとえば、ネットワークカメラまたは被写体を撮影することが可能なその他の撮像装置である。カメラ50は、画像処理装置100と一体的に構成されてもよいし、図5に示されるように、画像処理装置100と別個に構成されてもよい。
 記憶装置106は、たとえば、ハードディスクや外付けの記憶装置等の記憶媒体である。一例として、記憶装置106は、本実施の形態に従う各種の処理を実現するための画像処理プログラム107、被介護者の検出対象の動作が写っている画像等を格納する。
 なお、画像処理プログラム107は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う処理が実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従う画像処理装置100の趣旨を逸脱するものではない。さらに、本実施の形態に従う画像処理プログラム107によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。さらに、少なくとも1つのサーバーが本実施の形態に従う処理を実現する、所謂クラウドサービスのような形態で画像処理装置100が構成されてもよい。
  (携帯端末200のハードウェア構成)
 引き続き図5を参照して、携帯端末200のハードウェア構成について説明する。携帯端末200は、たとえば、スマートフォン、タブレット端末、被介護者が携帯することが可能なその他の端末である。図5に示されるように、携帯端末200は、ROM201と、CPU202と、RAM203と、ネットワークI/F204と、ディスプレイ205と、記憶装置206とを含む。
 ROM201は、オペレーティングシステム、携帯端末200で実行される制御プログラム等を格納する。CPU202は、オペレーティングシステムや携帯端末200の制御プログラム等の各種プログラムを実行することで、携帯端末200の動作を制御する。RAM203は、ワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。
 ネットワークI/F204には、アンテナやNIC(Network Interface Card)等の通信機器が接続される。携帯端末200は、当該通信機器を介して、他の通信端末との間でデータを送受信する。他の通信端末は、たとえば、画像処理装置100、その他の端末等を含む。
 ディスプレイ205は、たとえば、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、またはその他の表示機器等である。ディスプレイ205は、タッチパネルとして構成されてもよい。ディスプレイ205は、被介護者の報知対象の動作が検出された場合に、当該動作が検出されたこと表示する。ディスプレイ205は、報知方法として、たとえば、被介護者の動作の種類をメッセージとして表示したり、警告を促す画像を表示したりする。
 記憶装置206は、たとえば、eMMC(Embedded MultiMediaCard)等の記憶媒体を含む。eMMCは、NANDフラッシュメモリと、制御回路とを含む。記憶装置206は、本実施の形態に従う各種の処理を実現するためのプログラム等を格納する。
 [小括]
 以上のようにして、本実施の形態に従う画像処理システム300は、被介護者の動きを示す同一の評価値に対して、異なる判定条件(すなわち、記録条件および報知条件)が設定される。これにより、画像処理システム300は、被介護者の対象動作が記録される記録レベルと、被介護者の対象動作が報知される報知レベルとを異ならせることができる。その結果、被介護者は、記録レベルと報知レベルとを用途に合わせて変えることができる。
 また、対象動作を記録するか否かを判定する記録判定と、対象動作を報知するか否かを判定する報知判定とで同一の評価値が用いられることで、記録判定処理と報知判定処理との実装が簡素化され得る。これにより、画像処理システム300のコストを下げることができる。
 さらに、報知条件は、記録条件よりも満たされにくい条件である。そのため、画像処理システム300は、被介護者が躓いた等、転倒まではしていない動作を記録できるとともに、被介護者の元に駆け付けることが必要な動作のみを介護者に報知できる。これにより、画像処理システム300は、転倒等が生じやすい危険個所を特定するための情報を漏らさずに記録でき、さらには、介護者の負担を減らすことができる。
 <第2の実施の形態>
 [概要]
 第1の実施の形態に従う画像処理システム300は、被介護者の動きの度合いを示す同一の評価値に対して異なる判定条件(すなわち、記録条件および報知条件)を設定することで、対象動作の記録レベルと対象動作の報知レベルとを異ならせていた。これに対して、第2の実施の形態に従う画像処理システム300は、被介護者の動きの度合いを示す評価値から新たな評価値を記録用評価値または報知用評価値として算出する。画像処理システム300は、そのままの評価値と新たな評価値とを基準にすることで記録レベルおよび報知レベルを異ならせる。
 [機能構成]
 図6を参照して、第2の実施の形態に従う画像処理システム300の処理について説明する。図6は、第2の実施の形態に従う画像処理システム300の機能構成の一例を示すブロック図である。図6に示されるように、画像処理システム300は、取得部52と、検出部110と、記録部120と、報知部122とを備える。検出部110は、第1算出部112Aと、第2算出部112Bと、記録判定部114Aと、報知判定部116Aとを含む。取得部52、記録部120、および報知部122については、図2において説明した通りであるので、それらの機能構成の説明については繰り返さない。
 第1算出部112Aは、取得部52から動作データを取得し、当該動作データを用いて、被介護者の動きの度合いを示す第1評価値(以下、「記録用評価値」ともいう。)を算出する。記録用評価値の詳細については後述する。第1算出部112Aは、第2算出部112Bおよび記録判定部114Aに記録用評価値を出力する。
 第2算出部112Bは、記録用評価値を用いて、被介護者の動きの度合いを示す第2評価値(以下、「報知用評価値」ともいう。)を算出する。報知用評価値の詳細については後述する。第2算出部112Bは、報知判定部116Aに報知用評価値を出力する。
 記録判定部114Aは、記録用評価値に基づいて、動作判定処理に用いられた画像を記録するか否かを判定する。記録判定部114Aの詳細については後述する。記録判定部114Aは、画像を記録すると判定した場合に、画像を記録するための命令を記録部120に出力する。
 報知判定部116Aは、報知用評価値に基づいて、被介護者の特定の動作が検出されたか否かを判定する。報知判定部116Aの詳細については後述する。報知判定部116Aは、特定の動作が検出されたと判定した場合に、当該特定の動作が検出されたことを報知するための命令を報知部122に出力する。
 なお、図6では、報知用評価値が記録用評価値から算出される例について説明を行なったが、記録用評価値が報知用評価値から算出されてもよい。すなわち、記録用評価値および報知用評価値の少なくとも一方から新たな評価値が算出されてもよい。
 [具体例]
 以下では、図6に示される第1算出部112A、第2算出部112B、記録判定部114A、および報知判定部116Aについてさらに詳細に説明する。
  (具体例3-1)
 具体例3-1では、画像処理システム300は、記録用評価値と報知用評価値とを算出し、記録用評価値および報知用評価値を基準にすることで、報知対象の動作に対する記録レベルおよび報知レベルを異ならせる。
 より具体的には、第1算出部112Aは、動作データを用いて、被介護者の動きの度合いを示す記録用評価値を算出する。一例として、第1算出部112Aは、時系列の画像から算出されるオプティカルフローの発生範囲Siを記録用評価値とする。
 第2算出部112Bは、算出された記録用評価値を用いて報知用評価値を算出する。第2算出部112Bは、過去Nフレームにおけるオプティカルフローの発生範囲Siの平均値を報知用評価値として算出する。
 記録判定部114Aは、記録用評価値が記録条件を満たしたか否かを判定し、当該記録条件が満たされた場合に、被介護者の動作判定に用いられた動作データを記録する。一例として、記録判定部114Aは、発生範囲Siを閾値Thsと比較することで、記録条件が満たされたか否かを判定する。たとえば、以下の式(10)に示されるように、発生範囲Siが閾値Thsよりも大きくなった場合に、記録条件が満たされる。
 Si>Ths・・・(10)
 報知判定部116Aは、記録用評価値である発生範囲Siを用いて報知用評価値を算出する。一例として、以下の式(11)に示されるように、報知判定部116Aは、過去Nフレームにおける発生範囲Siの平均値を報知用評価値として算出する。報知判定部116Aは、報知用評価値を閾値Thsと比較することで、報知条件が満たされたか否かを判定する。たとえば、以下の式(12)に示されるように、報知用評価値が閾値Thsを超えた場合に、報知条件が満たされる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
  (具体例3-2)
 記録用評価値および報知用評価値に基づいて、報知対象の動作に対する記録レベルおよび報知レベルを異ならせる他の具体例について説明する。
 記録判定部114Aは、オプティカルフローの発生範囲Siを閾値Thsと比較することで、記録条件が満たされたか否かを判定する。より具体的には、以下の式(13)に示されるように、発生範囲Siが閾値Thsよりも大きくなった場合に、記録条件が満たされる。
 Si>Ths・・・(13)
 報知判定部116Aは、以下の式(14)に示されるように、記録用評価値である発生範囲Siと、オプティカルフローの最大値Viとを掛け合わせた結果を報知用評価値Pとして算出する。その後、報知判定部116Aは、報知用評価値Pを閾値Thpと比較することで、報知条件が満たされたか否かを判定する。一例として、以下の式(15)に示されるように、報知用評価値Pが閾値Thpよりも大きくなった場合に、報知条件が満たされる。
 P=Si・Vi・・・(14)
 P>Thp・・・(15)
 [画像処理システム300の制御構造]
 図7を参照して、第2の実施の形態に従う画像処理システム300の制御構造について説明する。図7は、第2の実施の形態に従う画像処理システム300が実行する処理の一部を表わすフローチャートである。図7に示される各処理は、画像処理装置100のCPU102(図5参照)や、携帯端末200のCPU202(図5参照)が本実施の形態に従う画像処理プログラムを実行することにより実現される。以下では、CPU102が図7に示される各処理を実行する例について説明するが、各処理は、CPU202によって実行されてもよい。あるいは、CPU102,202は、協働して各処理を実行してもよい。他の局面において、処理の一部または全部が、回路素子その他のハードウェアによって実行されてもよい。
 ステップS10において、CPU102は、取得部52(図6参照)から動作データを取得する。一例として、取得部52はカメラ50(図1参照)であり、動作データは画像である。
 ステップS12Aにおいて、CPU102は、上述の第1算出部112A(図6参照)として、動作データを用いて、人物の動きの度合いを示す記録用評価値を算出する。一例として、記録用評価値は、オプティカルフローの最大値、オプティカルフローが発生している範囲等を含む。
 ステップS12Bにおいて、CPU102は、上述の第2算出部112B(図6参照)として、記録用評価値を用いて、人物の動きの度合いを示す報知用評価値を算出する。一例として、報知用評価値は、オプティカルフローの最大値と、オプティカルフローの発生範囲の大きさとを掛け合わせた結果等を含む。
 ステップS20Aにおいて、CPU102は、上述の記録判定部114A(図6参照)として、記録用評価値が記録条件を満たしたか否かを判定する。たとえば、CPU102は、記録用評価値が所定閾値を超えた場合に、記録条件が満たされたと判定する。CPU102は、記録用評価値が記録条件を満たしたと判定した場合(ステップS20AにおいてYES)、制御をステップS22に切り替える。そうでない場合には(ステップS20AにおいてNO)、CPU102は、制御をステップS30Aに切り替える。
 ステップS22において、CPU102は、上述の記録部120(図6参照)として、動作データを記録する。記録される動作データは、たとえば、対象動作が検出される数秒前から対象動作が検出されるまでの画像である。
 ステップS30Aにおいて、CPU102は、上述の報知判定部116A(図6参照)として、報知用評価値が報知条件を満たしたか否かを判定する。たとえば、CPU102は、報知用評価値が所定閾値を超えた場合に、報知条件が満たされたと判定する。CPU102は、報知用評価値が報知条件を満たしたと判定した場合(ステップS30AにおいてYES)、制御をステップS32に切り替える。そうでない場合には(ステップS30AにおいてNO)、CPU102は、本実施の形態に従う画像処理を終了する。
 ステップS32において、CPU102は、上述の報知部122(図6参照)として、対象動作が検出されたことを介護者に報知する。
 [小括]
 以上のようにして、本実施の形態に従う画像処理システム300は、被介護者の動きの度合いを示す評価値と、当該評価値から算出された新たな評価値とを基準にすることで、被介護者の対象動作に対する記録レベルおよび報知レベルを異ならせる。これにより、画像処理システム300は、被介護者の対象動作が記録される記録レベルと、被介護者の対象動作が報知される報知レベルとを用途に応じて異ならせることが可能になる。
 好ましくは、記録用評価値と報知用評価値とを同じ判定条件で判定する。すなわち、記録条件と報知条件とは同じである。たとえば、上記式(10),(12)に示されるように、画像処理システム300は、記録用評価値と報知用評価値とを共通の閾値Thsで比較することにより、記録用評価値と報知用評価値とを同じ判定条件で判定する。これにより、画像処理システム300は、記録条件と報知条件との設定を簡素化することが可能になる。
 <第3の実施の形態>
 上述では、取得部52(図2参照)がネットワークカメラとして構成されている例について説明を行なったが、取得部52は、複数のセンサで構成されてもよい。たとえば、取得部52は、ネットワークカメラと感圧センサとで構成される。第3の実施の形態に従う画像処理システム300は、ネットワークカメラによって出力される動画像に基づいて算出される評価値と、感圧センサによって出力される圧力分布に基づいて算出される評価値とを併用して、記録判定および報知判定を行なう。以下では、これらの評価値を併用した場合の具体例について説明する。
 [具体例]
  (具体例4-1)
 第1算出部112A(図6参照)は、ネットワークカメラによって出力される動画像から被介護者の動きの度合いを示す評価値を算出する。記録判定部114A(図6参照)は、当該評価値が記録条件を満たした場合に、被介護者に対象動作が生じていると判定する。この場合、記録部120(図6参照)は、動作判定処理に用いられた動画像を記憶する。
 第2算出部112B(図6参照)は、感圧センサによって出力される圧力分布から被介護者の動きの度合いを示す評価値を算出する。一例として、当該評価値は、圧力分布における圧力の最大値や、所定値以上の圧力値が生じている部分の範囲の大きさを含む。報知判定部116A(図6参照)は、当該評価値が報知条件を満たした場合に、被介護者に対象動作が生じていると判定する。たとえば、報知判定部116Aは、当該評価値が所定閾値を超えた場合に、報知条件が満たされたと判定する。この場合、報知部122(図6参照)は、被介護者の対象動作が検出されたことを介護者に報知する。
  (具体例4-2)
 記録判定部114Aは、動画像から算出される評価値と、圧力分布から算出される評価値とのいずれか一方が所定閾値を超えた場合に、被介護者に対象動作が生じていると判定する。この場合、記録部120は、動作判定処理に用いられた動画像を記憶する。
 報知判定部116Aは、動画像から算出される評価値と、圧力分布から算出される評価値との両方が所定閾値を超えた場合に、被介護者に対象動作が生じていると判定する。この場合、報知部122は、被介護者の対象動作が検出されたことを介護者に報知する。
 (具体例4-3)
 記録判定部114Aは、動画像から算出される評価値と、圧力分布から算出される評価値とを用いて、被介護者の動作の未検出が少なくなるように機械学習した識別器を用いて、記録判定を行なう。
 報知判定部116Aは、動画像から算出される評価値と、圧力分布から算出される評価値とを用いて、被介護者の動作の誤検出が少なくなるように機械学習した識別器を用いて、報知判定を行なう。
 [小括]
 以上のようにして、本実施の形態に従う画像処理システム300は、画像だけでなく、感圧センサからの圧力分布を用いて、記録判定および報知判定を行なう。これにより、画像処理システム300は、被介護者の動作をより正確に判定することができる。
 今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
 10 被介護者、11 介護者、20 ベッド、32A~32C 画像、33AB,33BC オプティカルフロー、50 カメラ、52 取得部、100 画像処理装置、101,201 ROM、102,202 CPU、103,203 RAM、104,204 ネットワークI/F、105 カメラI/F、106,206 記憶装置、107 画像処理プログラム、110 検出部、112 算出部、112A 第1算出部、112B 第2算出部、114,114A 記録判定部、116,116A 報知判定部、120 記録部、122 報知部、200 携帯端末、205 ディスプレイ、300 画像処理システム。

Claims (9)

  1.  監視対象の人物における特定の動作を検出する画像処理システムであって、
     前記人物の動作を示す動作データを取得するための取得部と、
     前記動作データを用いて、前記人物の動きの度合いを示す評価値を算出するための算出部と、
     前記評価値が第1判定条件を満たした場合に、前記動作データを記録するための記録部と、
     前記評価値が前記第1判定条件とは異なる第2判定条件を満たした場合に、前記特定の動作を検出したことを報知するための報知部とを備える、画像処理システム。
  2.  前記記録部は、前記評価値を第1閾値と比較することで前記第1判定条件が満たされたか否かを判定し、
     前記報知部は、前記評価値を前記第1閾値とは異なる第2閾値と比較することで前記第2判定条件が満たされたか否かを判定する、請求項1に記載の画像処理システム。
  3.  前記第1判定条件における前記評価値に対する判定条件数と、前記第2判定条件における前記評価値に対する判定条件数とは異なる、請求項1または2に記載の画像処理システム。
  4.  前記第2判定条件における前記評価値に対する判定条件数は、前記第1判定条件における前記評価値に対する判定条件数よりも多い、請求項3に記載の画像処理システム。
  5.  前記第2判定条件は、前記第1判定条件よりも満たされにくい条件である、請求項1~4のいずれか1項に記載の画像処理システム。
  6.  監視対象の人物における特定の動作を検出する画像処理システムであって、
     前記人物の動作を示す動作データを取得するための取得部と、
     前記動作データを用いて、前記人物の動きの度合いを示す第1評価値を算出するための第1算出部と、
     前記第1評価値を用いて、前記人物の動きの度合いを示す第2評価値を算出するための第2算出部と、
     前記第1評価値および前記第2評価値の一方が第1判定条件を満たした場合に、前記動作データを記録するための記録部と、
     前記第1評価値および前記第2評価値の他方が第2判定条件を満たした場合に、前記特定の動作を検出したことを報知するための報知部とを備える、画像処理システム。
  7.  監視対象の人物における特定の動作を検出する画像処理装置であって、
     前記人物の動作を示す動作データを取得するための取得部と、
     前記動作データを用いて、前記人物の動きの度合いを示す評価値を算出するための算出部と、
     前記評価値が第1判定条件を満たした場合に、前記動作データを記録するための記録部と、
     前記評価値が前記第1判定条件とは異なる第2判定条件を満たした場合に、前記特定の動作を検出したことを報知するための報知部とを備える、画像処理装置。
  8.  監視対象の人物における特定の動作を検出する画像処理方法であって、
     前記人物の動作を示す動作データを取得するステップと、
     前記動作データを用いて、前記人物の動きの度合いを示す評価値を算出するステップと、
     前記評価値が第1判定条件を満たした場合に、前記動作データを記録するステップと、
     前記評価値が前記第1判定条件とは異なる第2判定条件を満たした場合に、前記特定の動作を検出したことを報知するステップとを備える、画像処理方法。
  9.  監視対象の人物における特定の動作を検出する画像処理プログラムであって、
     前記画像処理プログラムは、コンピュータに、
      前記人物の動作を示す動作データを取得するステップと、
      前記動作データを用いて、前記人物の動きの度合いを示す評価値を算出するステップと、
      前記評価値が第1判定条件を満たした場合に、前記動作データを記録するステップと、
      前記評価値が前記第1判定条件とは異なる第2判定条件を満たした場合に、前記特定の動作を検出したことを報知するステップとを実行させる、画像処理プログラム。
PCT/JP2016/064852 2015-05-21 2016-05-19 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム WO2016186160A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201680028343.6A CN107533764A (zh) 2015-05-21 2016-05-19 图像处理系统、图像处理装置、图像处理方法以及图像处理程序
JP2017519393A JP6708980B2 (ja) 2015-05-21 2016-05-19 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-103583 2015-05-21
JP2015103583 2015-05-21

Publications (1)

Publication Number Publication Date
WO2016186160A1 true WO2016186160A1 (ja) 2016-11-24

Family

ID=57320283

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/064852 WO2016186160A1 (ja) 2015-05-21 2016-05-19 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム

Country Status (3)

Country Link
JP (1) JP6708980B2 (ja)
CN (1) CN107533764A (ja)
WO (1) WO2016186160A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018106437A (ja) * 2016-12-27 2018-07-05 積水化学工業株式会社 行動評価装置、行動評価方法
JP2019153094A (ja) * 2018-03-02 2019-09-12 Necライティング株式会社 照明装置、生体移動検出システム、生体移動検出方法、プログラム、および記録媒体
JP2019153095A (ja) * 2018-03-02 2019-09-12 Necライティング株式会社 照明装置、生体移動検出システム、生体移動検出方法、プログラム、および記録媒体
JP2019176423A (ja) * 2018-03-29 2019-10-10 キヤノン株式会社 情報処理装置および方法およびコンピュータプログラム、並びに監視システム
WO2020145380A1 (ja) * 2019-01-11 2020-07-16 株式会社サンクレエ 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151719B (zh) * 2018-09-28 2021-08-17 北京小米移动软件有限公司 安全引导方法、装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006522959A (ja) * 2002-11-21 2006-10-05 セキュマネジメント ビー.ヴイ. 転倒防止および検出用の方法および装置
JP2007006427A (ja) * 2005-05-27 2007-01-11 Hitachi Ltd 映像監視装置
JP2007124526A (ja) * 2005-10-31 2007-05-17 Hitachi Ltd 画像監視記録装置及び画像監視記録システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110569B2 (en) * 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
CN103581852B (zh) * 2013-09-30 2018-03-06 吴家宝 人体摔倒检测的方法、装置及移动终端系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006522959A (ja) * 2002-11-21 2006-10-05 セキュマネジメント ビー.ヴイ. 転倒防止および検出用の方法および装置
JP2007006427A (ja) * 2005-05-27 2007-01-11 Hitachi Ltd 映像監視装置
JP2007124526A (ja) * 2005-10-31 2007-05-17 Hitachi Ltd 画像監視記録装置及び画像監視記録システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018106437A (ja) * 2016-12-27 2018-07-05 積水化学工業株式会社 行動評価装置、行動評価方法
JP2019153094A (ja) * 2018-03-02 2019-09-12 Necライティング株式会社 照明装置、生体移動検出システム、生体移動検出方法、プログラム、および記録媒体
JP2019153095A (ja) * 2018-03-02 2019-09-12 Necライティング株式会社 照明装置、生体移動検出システム、生体移動検出方法、プログラム、および記録媒体
JP7028442B2 (ja) 2018-03-02 2022-03-02 株式会社ホタルクス 照明装置、生体移動検出システム、生体移動検出方法、プログラム、および記録媒体
JP2019176423A (ja) * 2018-03-29 2019-10-10 キヤノン株式会社 情報処理装置および方法およびコンピュータプログラム、並びに監視システム
JP7170411B2 (ja) 2018-03-29 2022-11-14 キヤノン株式会社 情報処理装置および方法およびコンピュータプログラム、並びに監視システム
WO2020145380A1 (ja) * 2019-01-11 2020-07-16 株式会社サンクレエ 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
JP7403132B2 (ja) 2019-01-11 2023-12-22 株式会社サンクレエ 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法

Also Published As

Publication number Publication date
JPWO2016186160A1 (ja) 2018-03-15
JP6708980B2 (ja) 2020-06-10
CN107533764A (zh) 2018-01-02

Similar Documents

Publication Publication Date Title
WO2016186160A1 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JP6137425B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
US8508372B2 (en) Method and system for fall detection
WO2017061371A1 (ja) 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム
JP2009279076A (ja) 監視システム
JPWO2015133195A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2006228024A (ja) 転倒管理サーバ、プログラム、及び履物
WO2016199495A1 (ja) 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
JP6417670B2 (ja) 監視装置、監視システム、監視方法、監視プログラム、および監視プログラムを記録したコンピュータ読み取り可能な記録媒体
JPWO2016181837A1 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JPWO2018047795A1 (ja) 見守りシステム、見守り装置、見守り方法、および見守りプログラム
JP6589994B2 (ja) 行動検知装置、行動検知方法及び行動検知プログラム
WO2020145380A1 (ja) 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
US20180322334A1 (en) Person Monitoring Device And Method, And Person Monitoring System
JP7090327B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6222405B2 (ja) 動作検出システム、動作検出装置、動作検出方法、および動作検出プログラム
GB2525903A (en) A device for determining unconciousness of a subject and a device for detecting a fall by a subject
JP4901674B2 (ja) 滞在状況監視システム、滞在状況監視サーバ及び滞在状況監視方法
JP2013164684A (ja) 支援装置およびプログラム
JP6119364B2 (ja) 通知プログラム、通知方法および通知装置
WO2018030024A1 (ja) 見守りシステム、見守り装置、見守り方法、および見守りプログラム
CN112287821A (zh) 照护对象行为监测方法、装置、计算机设备和存储介质
KR101996163B1 (ko) 활동량 산출 시스템, 활동량 산출 장치, 활동량 산출 방법 및 컴퓨터 판독 가능한 기록 매체
AU2015299180B2 (en) A system for identifying a change in walking speed of a person.
JP2023000589A (ja) 情報処理システム、情報処理装置、制御方法、および制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796553

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017519393

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16796553

Country of ref document: EP

Kind code of ref document: A1