WO2019009377A1 - 見守り支援システム及びその制御方法 - Google Patents

見守り支援システム及びその制御方法 Download PDF

Info

Publication number
WO2019009377A1
WO2019009377A1 PCT/JP2018/025595 JP2018025595W WO2019009377A1 WO 2019009377 A1 WO2019009377 A1 WO 2019009377A1 JP 2018025595 W JP2018025595 W JP 2018025595W WO 2019009377 A1 WO2019009377 A1 WO 2019009377A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
unit
detection
installation height
Prior art date
Application number
PCT/JP2018/025595
Other languages
English (en)
French (fr)
Inventor
田中　清明
立舟 張
純平 松永
信二 高橋
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2019009377A1 publication Critical patent/WO2019009377A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a technique for supporting watching of a subject on a bed.
  • Patent Document 1 In order to prevent a fall accident from a bed and the like, a system that supports watching and listening of patients in hospitals and nursing facilities is known.
  • the head of a patient is detected from an image captured by a camera installed obliquely above the bed, and it is determined that the head moves up when the head exceeds a boundary set on the bed, and a nurse A system has been proposed to provide notification etc.
  • the installation height of the camera depends on the floor plan of the room to be photographed and the person installing the camera.
  • the composition of the image to be taken, distortion of the subject in the image, the size of the subject in the image, and the like depend on the installation height of the camera. Therefore, in the conventional method, depending on the installation height of the camera (imaging device), the detection accuracy of the subject person and the state thereof may be significantly reduced.
  • the present invention has been made in view of the above-described circumstances, and an object of the present invention is to provide a technology capable of accurately detecting an object person and its state regardless of the installation height of the imaging device.
  • a detection unit for detecting the object person or its state from the image is the installation height related to the acquired information.
  • Adopt a method of switching accordingly.
  • a first aspect of the present invention is a watching support system that supports watching of a subject on a bed, and an image acquiring unit that acquires an image captured by an imaging device, and installation of the imaging device
  • a watching support system in which a detection unit corresponding to an installation height of information acquired by the information acquisition unit among the plurality of detection units performs detection.
  • a plurality of detection units respectively suitable for a plurality of installation heights of the imaging device are prepared as detection units for detecting a target person or the like from an image. And a suitable detection part is used to the installation height related to the acquired information. As a result, the target person or the like can be detected accurately regardless of the installation height of the imaging device.
  • the information acquisition unit may acquire the information only when the watching support system is started for the first time. Since it is extremely rare that the installation height automatically (naturally) changes after the installation height of the imaging device is determined, even if the configuration is such that information is acquired only at the first activation of the watching support system, High precision detection can be maintained. Furthermore, the frequency of acquiring information can be reduced, and the processing load of the watching support system can be reduced.
  • the information regarding the installation height of the imaging device may be information according to a user operation.
  • the detection accuracy of the object person or the like may decrease due to a detection error, an erroneous detection, or the like. If the information corresponding to the user operation is used, such a decrease in detection accuracy can be suppressed.
  • the information on the installation height of the imaging device may be a ratio of the width to the length of the bed in the image.
  • the ratio is substantially determined in accordance with the installation height of the imaging device, so that even if the ratio is used, it is possible to detect the subject and the like with high accuracy.
  • the detection unit selected by may perform detection.
  • the present invention can be understood as a watching support system having at least a part of the above configuration or function.
  • the present invention also provides a watching support method or a watching support system control method including at least a part of the above-described processing, a program for causing a computer to execute these methods, or non-temporarily such a program. It can also be regarded as a recorded computer readable recording medium.
  • the present invention it is possible to accurately detect the target person and the state thereof regardless of the installation height of the imaging device.
  • FIG. 1 is a block diagram schematically showing a hardware configuration and a functional configuration of a watching support system.
  • FIG. 2 is a view showing an installation example of the imaging device.
  • 3A to 3C are examples of captured images.
  • FIGS. 4A and 4B are examples of monitoring areas set for an image.
  • FIG. 5 is a flowchart of the state monitoring process.
  • FIG. 6 is an example of a relation model.
  • FIG. 7 shows an example of the correspondence between the installation height and the margin width.
  • the present invention relates to a technique for supporting watching of a subject on a bed.
  • This technology can be applied to a system that automatically detects the getting-up and getting-up behavior of patients and care recipients in hospitals and nursing facilities, etc., and performs necessary notification when a dangerous state occurs.
  • This system can be preferably used, for example, for watching and supporting elderly people, patients with dementia, children and the like.
  • FIG. 1 is a block diagram schematically showing a hardware configuration and a functional configuration of the watching support system 1
  • FIG. 2 is a diagram showing an installation example of an imaging device.
  • the watching support system 1 includes an imaging device 10 and an information processing device 11 as main hardware configurations.
  • the imaging device 10 and the information processing device 11 are connected by wire or wirelessly. Although only one imaging device 10 is shown in FIG. 1, a plurality of imaging devices 10 may be connected to the information processing device 11.
  • the imaging device 10 is a device for capturing a subject on a bed and capturing image data.
  • a monochrome or color visible light camera, an infrared camera, a three-dimensional camera or the like can be used.
  • the imaging device 10 configured by the infrared LED illumination 100 and the near infrared camera 101 is adopted in order to enable watching of the target person even at night (even when the room is dark).
  • the imaging device 10 is installed to look over the entire bed 20 from the top of the bed 20 to the foot.
  • the imaging device 10 captures an image at a predetermined time interval (for example, 30 fps), and the image data is sequentially captured by the information processing device 11.
  • a predetermined time interval for example, 30 fps
  • the information processing apparatus 11 has a function of analyzing image data taken in from the imaging apparatus 10 in real time, automatically detecting wakeup behavior and leaving behavior of the subject 21 on the bed 20, and notifying when necessary. It is.
  • the information processing apparatus 11 includes an image acquisition unit 110, an information acquisition unit 111, a plurality of detection units 112, a selection unit 113, an output unit 114, and a storage unit 115 as specific functional modules.
  • the information processing apparatus 11 includes a CPU (processor), memory, storage (HDD, SSD, etc.), input device (keyboard, mouse, touch panel, etc.), output device (display, speaker, etc.), communication interface, etc.
  • a CPU processor
  • memory storage
  • HDD hard disk drive
  • storage HDD, SSD, etc.
  • input device keyboard, mouse, touch panel, etc.
  • output device display, speaker, etc.
  • communication interface etc.
  • Each module of the information processing apparatus 11 described above is realized by the CPU executing a program stored in the storage or the memory.
  • the configuration of the information processing apparatus 11 is not limited to this example.
  • distributed computing may be performed by a plurality of computers, a part of the module may be executed by a cloud server, or a part of the module may be configured by a circuit such as an ASIC or an FPGA. It is also good.
  • the image acquisition unit 110 is a module for acquiring an image captured by the imaging device 10.
  • the image data input from the image acquisition unit 110 is temporarily stored in a memory or a storage, and is provided to the processing of the information acquisition unit 111 and the detection unit 112.
  • the information acquisition unit 111 is a module for information acquisition processing for acquiring height information regarding the height (installation height) where the imaging device 10 is installed. Details of the information acquisition process will be described later.
  • Each of the plurality of detection units 112 is a module for detecting the state or behavior of the target person 21 from the image acquired by the image acquisition unit 110.
  • the plurality of detection units 112 correspond to the plurality of installation heights of the imaging device 10, respectively.
  • each of the plurality of detection units 112 is generated based on the result of learning using a plurality of images captured at the corresponding installation height.
  • the plurality of detection units 112 may or may not be a plurality of detection engines.
  • a plurality of dictionaries respectively corresponding to a plurality of installation heights may be prepared in advance as a dictionary used by the detection engine. An algorithm, parameters and threshold values are described in the dictionary.
  • the parameters described in the dictionary may include, for example, the coordinates of the four corners of the bed 20 in the captured image. That is, a plurality of coordinates corresponding to a plurality of installation heights may be prepared in advance as the coordinates of the bed 20 (coordinates of the four corners).
  • Each of the plurality of detection units 112 is a combination of a detection engine and a dictionary, and the detection engines may be common among the plurality of detection units 112 and the dictionaries may be different from each other. Further, the number of installation heights assumed is not particularly limited, and the number of detection units 112 is also not particularly limited.
  • the selection unit 113 is a module for selection processing of selecting the detection unit 112 corresponding to the installation height of the height information acquired by the information acquisition unit 111 among the plurality of detection units 112.
  • the selection unit 113 selects a detection engine corresponding to the installation height of the height information acquired by the information acquisition unit 111.
  • the detection engine is common among the plurality of detection units 112 and the dictionaries are different from each other, the selection unit 113 selects the dictionary corresponding to the installation height of the height information acquired by the information acquisition unit 111. .
  • the detection unit 112 selected by the selection unit 113 among the plurality of detection units 112 analyzes the image acquired by the image acquisition unit 110. Thereby, the detection unit 112 selected by the selection unit 113 determines the action of the target person 21 from the image.
  • the output unit 114 is a module for performing necessary notification based on the determination result of the detection unit 112 selected by the selection unit 113. For example, the output unit 114 determines whether or not notification is necessary (for example, notifies only in the case of a dangerous state), content of the notification (for example, content of the message), notification means (for example, for example). Voice, mail, buzzer, warning light, notification destination (eg, nurse, doctor, carer), frequency of notification, etc. can be switched.
  • the storage unit 115 is a module for storing various data used by the watching support system 1 for processing.
  • the storage unit 115 stores, for example, setting information of a monitoring area, parameters used in preprocessing, parameters used in score stabilization processing, time series data of scores, parameters used in action determination processing, and the like. These processes and data will be described later.
  • each of the plurality of detection units 112 includes a region setting unit 120, a preprocessing unit 121, a regression unit 122, a score stabilization unit 123, and a determination unit 124. Note that among the plurality of detection units 112, a part of the region setting unit 120, the preprocessing unit 121, the regressor 122, the score stabilization unit 123, and the determination unit 124 may be shared.
  • the area setting unit 120 is a module for area setting processing for setting a monitoring area for an image captured by the imaging device 10.
  • the monitoring area is a range (in other words, an image range used as an input of the regressor 122) to be a target of state monitoring processing described later in the field of view of the imaging device 10. Details of the area setting process will be described later.
  • the preprocessing unit 121 is a module for performing necessary preprocessing on an image (hereinafter referred to as an “original image”) input from the image acquisition unit 110 in the state monitoring process. For example, the preprocessing unit 121 performs processing of clipping an image in the monitoring area from the original image (hereinafter, the clipped image is referred to as “monitoring area image”). In addition, the preprocessing unit 121 may perform processing such as resizing (reduction), affine transformation, and luminance correction on the monitoring area image. Resizing (reduction) has the effect of shortening the calculation time of the regressor 122.
  • Affine transformation normalizes the input image to the regression unit 122 by performing necessary distortion correction such as, for example, deforming a bed reflected in a trapezoidal shape in an image into a rectangular shape, and has an effect of improving the determination accuracy of action. I can expect it.
  • the luminance correction can be expected to have an effect of improving the determination accuracy by, for example, reducing the influence of the illumination environment.
  • the regressor 122 is a module for outputting a score indicating the state of the subject 21 (for example, bedtime state, wakeup state, leaving state) shown in the monitoring area image when the monitoring area image is given. .
  • the regressor 122 is a machine learning model of a relation model between the features of the input image and the human state so as to output an image showing the bed and the person and output a score indicating the state of the person relative to the bed. . It is assumed that the training of the regressor 122 is performed in advance (before shipment or operation of the system) by the learning device 12 using a large number of training images.
  • any model such as a neural network, a random forest, a support vector machine, etc. may be used.
  • a convolutional neural network (CNN) suitable for image recognition is used.
  • the score stabilization unit 123 is a module for suppressing rapid change and flicker of the score output from the regressor 122.
  • the score stabilization unit 123 calculates an average of the current score obtained from the image of the current frame and the past score obtained from the images of the immediately preceding two frames, and outputs the average as a stabilization score. This process is equivalent to applying a temporal low-pass filter to the time series data of the score. If the stabilization of the score is not necessary, the score stabilization unit 123 may be omitted.
  • the determination unit 124 is a module for determining the action of the subject based on the score obtained by the regressor 122. Specifically, the determination unit 124 determines what kind of behavior (for example, wake-up action, leaving-behind action) of the subject based on temporal change in the score (that is, transition of the “subject's state” indicated by the score). Etc.) are estimated.
  • FIGS. 3A to 3C show examples of the image acquired by the image acquisition unit 110.
  • the image in FIG. 3C is an installation height H It is an image photographed at 200 cm.
  • the composition of the image, the distortion of the subject in the image, the size of the subject in the image, and the like depend on the installation height H.
  • the information acquisition process is performed only at the first activation of the present system.
  • the coordinates of the four corners (points P1 to P4) of the bed 20 in the image are designated by the user.
  • the information acquisition unit 111 calculates the width W and length L of the bed in the image based on the designated points P1 to P4, and the ratio of the width W to the length L (bed aspect ratio R) is height Calculated as information.
  • the width W and the length L are, for example, values at the center of gravity of the bed 20 in the image. Since the bed aspect ratio R substantially depends on the installation height H, the bed aspect ratio R can be used instead of the installation height H.
  • the information acquisition process is not limited to the above process.
  • the installation height H itself may be designated by the user and used as height information.
  • the information corresponding to the user operation is acquired as height information in the above process, the present invention is not limited to this.
  • height information may be acquired by automatically detecting the bed aspect ratio R and the installation height H by image analysis or the like.
  • the accuracy (reliability) of the height information may be reduced due to a detection error or an erroneous detection.
  • the detection unit 112 corresponding to the obtained height information is selected and used. Therefore, if the accuracy of the obtained height information is low, the target person may not be detected with high accuracy.
  • the use of the information corresponding to the user's operation can suppress the reduction in accuracy.
  • the timing and frequency of the information acquisition process are not particularly limited. However, since it is extremely rare that the installation height H automatically (naturally) changes after the installation height H is determined, even if the information acquisition process is performed only at the first activation of this system, the target person's It is possible to maintain high precision detection of state and behavior. Furthermore, the frequency of acquiring height information can be reduced, and the processing load of the present system can be reduced.
  • selection process An example of the selection process of the present system will be described with reference to FIGS. 3A to 3C.
  • the unit 112 is selected. As a result, it is possible to accurately detect the state or action of the subject regardless of the installation height.
  • the setting of the monitoring area may be performed manually or automatically.
  • the area setting unit 120 may provide a user interface for causing the user to input the area of the bed 20 in the image or the monitoring area itself.
  • the area setting unit 120 may detect the bed 20 from the image by object recognition processing, and set the monitoring area so as to include the detected area of the bed 20.
  • the area setting process is performed, for example, when the monitoring area needs to be updated along with the movement of the bed 20 or the imaging device 10 when the monitoring area is not set (for example, when the system is installed).
  • the area setting unit 120 may determine the area of the bed 20 from the points P1 to P4 specified in the information acquisition process. If the coordinates of the points P1 to P4 are described in the dictionary of the detection unit 112, they may be used.
  • FIG. 4A is an example of the monitoring area set for the original image.
  • a monitoring area 30 is set by adding a margin of a predetermined width to the left side, the right side, and the upper side (foot side) of the area of the bed 20.
  • the width of the margin is set so that the whole body of the person (see FIG. 4B) rising on the bed 20 falls within the monitoring area 30.
  • the information acquisition unit 111 acquires height information (bed aspect ratio R) (step S51).
  • the selection unit 113 selects the detection unit 112 according to the height information (step S52).
  • the process of step S51 and the process of step S52 are performed only at the first activation of the present system. That is, in the state monitoring process after the first activation, the process of step S51 and the process of step S52 are omitted.
  • the image acquisition unit 110 captures an image of one frame from the imaging device 10 (step S53).
  • the acquired original image is temporarily stored in the storage unit 115.
  • the processing in steps S54 to S57 is performed by the detection unit 112 selected in step S52.
  • the preprocessing unit 121 clips the monitoring area image from the original image, and executes resizing, affine transformation, luminance correction, and the like as necessary (step S54).
  • the regressor 122 inputs the monitoring region image and outputs the corresponding score (step S55).
  • the score stabilization unit 123 stabilizes the score obtained in step S55 (step S56), and delivers the obtained score to the determination unit 124.
  • the determination unit 124 determines the action of the target person 21 based on the temporal change of the score after the stabilization process (step S57).
  • step S57 If it is determined in step S57 that the target person 21 has been "wake up” or “getting up”, the output unit 114 performs a necessary notification (step S58). Steps S53 to S58 are executed for each frame until the system ends (step S59).
  • a plurality of detection units respectively suitable for a plurality of installation heights are prepared as a detection unit for detecting a state or action of a target person from an image. Ru. Then, a detection unit suitable for the installation height related to the acquired height information is used. As a result, it is possible to accurately detect the state or behavior of the subject regardless of the installation height of the imaging device.
  • the detection unit 112 detects the human body of the target person 21 or a part thereof (head, face, upper body, etc.) from the image It is also possible to detect and determine the state or behavior of the subject based on the detected position of the human body or a part thereof. Any method may be used as a method of detecting a human body or a part thereof from an image. For example, it is possible to preferably use an object detection algorithm using a classical Haar-like feature or a classifier using HoG feature or a recent Faster R-CNN.
  • the plurality of detection units 112 can be variously modified.
  • the feature amount of the captured image depends on the installation height H. Therefore, in the regressor 122, the score corresponding to the predetermined state of the subject 21 depends on the installation height H. Therefore, a plurality of regressors respectively corresponding to the plurality of installation heights H may be prepared in advance. Then, depending on the acquired height information, any one of a plurality of regressors may be selected and used.
  • the plurality of regressors are machine-learned using, for example, training images captured at different installation heights H. As shown in FIG. 6, the correspondence (relational model) between the feature amount of the image and the score is different among the plurality of regressors. Thereby, the desired score can be obtained regardless of the installation height H.
  • FIG. 6 shows the relational model as a two-dimensional linear model, the actual feature amount space is multidimensional, and the relational model is non-linear.
  • the degree of distortion of the bed 20 and the subject 21 in the image depends on the installation height H. Therefore, the degree of distortion of the image after distortion correction depends on the installation height H when distortion correction (such as the strength of distortion correction) performed by the preprocessing unit 121 is constant. Therefore, a plurality of distortion corrections (for example, the strength of the distortion correction) corresponding to the plurality of installation heights H may be predetermined. Then, one of the plurality of distortion corrections may be selected and executed according to the acquired height information. Thus, regardless of the installation height H, an image with a desired degree of distortion can be obtained as an image after distortion correction.
  • distortion correction such as the strength of distortion correction
  • the margin width used when the area setting unit 120 sets the monitoring area is constant.
  • the size of the bed 20 in the image is smaller as the installation height H is higher. Therefore, as the installation height H is higher, the ratio of the margin to the entire monitoring area is increased, and the possibility that objects other than the bed 20 and the target person 21 may be captured in the monitoring area image is increased. Therefore, a plurality of margin widths respectively corresponding to the plurality of installation heights H may be determined in advance. Specifically, as shown in FIG. 7, the smaller the installation height H, the smaller the margin width may be set in advance. Then, any of the plurality of margin widths may be selected and used according to the acquired height information.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)

Abstract

ベッド上の対象者の見守りを支援する見守り支援システムが、撮像装置により撮影された画像を取得する画像取得部と、前記撮像装置の設置高さに関する情報を取得する情報取得部と、前記画像から前記対象者または前記対象者の状態を検出するための、前記撮像装置の複数の設置高さにそれぞれ対応する複数の検出部と、を有し、前記複数の検出部のうちの、前記情報取得部により取得された情報の設置高さに対応する検出部が検出を行う。

Description

見守り支援システム及びその制御方法
　本発明は、ベッド上の対象者の見守りを支援するための技術に関する。
　ベッドからの転落事故などを未然に防ぐため、病院や介護施設などにおける患者の見守りを支援するシステムが知られている。特許文献１には、ベッドの斜め上方に設置したカメラで撮影した画像から患者の頭部を検出し、ベッド上に設定した境界線を頭部が超えたことをもって起床動作と判定し、看護師等へ通知を行うシステムが提案されている。
特開２０１２－０７１００４号公報
　上述のように、画像から対象者を検出し、その検出結果を見守り支援に役立てるという試みは、従来からなされている。しかしながら、カメラの設置高さは、撮影対象である部屋の間取りやカメラの設置者などに依存する。そして、撮影される画像の構図、画像における被写体の歪み、画像における被写体のサイズなどは、カメラの設置高さに依存する。そのため、従来の方法では、カメラ（撮像装置）の設置高さに依存して対象者やその状態の検出精度が著しく低下することがある。
　本発明は、上記実情に鑑みなされたものであって、撮像装置の設置高さに依らず対象者やその状態を精度良く検出することができる技術を提供することを目的とする。
　上記目的を達成するために、本発明では、撮像装置の設置高さに関する情報を取得し、画像から対象者またはその状態を検出するための検出部を、取得した情報に関連した設置高さに応じて切り替える、という方法を採用する。
　具体的には、本発明の第一態様は、ベッド上の対象者の見守りを支援する見守り支援システムであって、撮像装置により撮影された画像を取得する画像取得部と、前記撮像装置の設置高さに関する情報を取得する情報取得部と、前記画像から前記対象者または前記対象者の状態を検出するための、前記撮像装置の複数の設置高さにそれぞれ対応する複数の検出部と、を有し、前記複数の検出部のうちの、前記情報取得部により取得された情報の設置高さに対応する検出部が検出を行うことを特徴とする見守り支援システムを提供する。
　この構成によれば、画像から対象者等を検出するための検出部として、撮像装置の複数の設置高さに対してそれぞれ好適な複数の検出部が用意される。そして、取得した情報に関連した設置高さに対して好適な検出部が使用される。それにより、撮像装置の設置高さに依らず対象者等を精度良く検出することができる。
　前記情報取得部は、前記見守り支援システムの初回起動時にのみ前記情報を取得するとよい。撮像装置の設置高さの確定後に設置高さが自動で（自然に）変わることは極めて稀であるため、見守り支援システムの初回起動時にのみ情報を取得する構成であっても、対象者等の高精度な検出を維持することができる。さらに、情報の取得頻度を減らすことができ、見守り支援システムの処理負荷を低減することができる。
　前記撮像装置の設置高さに関する情報は、ユーザ操作に応じた情報であるとよい。画像解析等によって設置高さを自動検出する構成の場合には、検出誤差や誤検出などにより、対象者等の検出精度が低下することがある。ユーザ操作に応じた情報を用いれば、このような検出精度の低下を抑制することができる。
　前記撮像装置の設置高さに関する情報は、前記画像における前記ベッドの幅と長さの比率であってもよい。上記比率は撮像装置の設置高さに応じて略決まるため、当該比率を用いても、対象者等を精度良く検出することができる。
　前記複数の検出部の中から、前記情報取得部により取得された情報の設置高さに対応する検出部を選択する選択部、をさらに有し、前記複数の検出部のうちの、前記選択部により選択された検出部が検出を行ってもよい。
　なお、本発明は、上記構成ないし機能の少なくとも一部を有する見守り支援システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、見守り支援方法又は見守り支援システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、撮像装置の設置高さに依らず対象者やその状態を精度良く検出することができる。
図１は見守り支援システムのハードウェア構成および機能構成を模式的に示すブロック図である。 図２は撮像装置の設置例を示す図である。 図３Ａ～３Ｃは撮影された画像の例である。 図４Ａ，４Ｂは画像に対し設定された監視領域の例である。 図５は状態監視処理のフローチャートである。 図６は関係モデルの例である。 図７は設置高さとマージン幅の対応関係の例である。
　本発明は、ベッド上の対象者の見守りを支援するための技術に関する。この技術は、病院や介護施設などにおいて、患者や要介護者などの離床・起床行動を自動で検知し、危険な状態が発生した場合などに必要な通知を行うシステムに適用することができる。このシステムは、例えば、高齢者、認知症患者、子供などの見守り支援に好ましく利用することができる。
　以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
　（システム構成）
　図１と図２を参照して、本発明の実施形態に係る見守り支援システムの構成を説明する。図１は、見守り支援システム１のハードウェア構成および機能構成を模式的に示すブロック図であり、図２は、撮像装置の設置例を示す図である。
　見守り支援システム１は、主なハードウェア構成として、撮像装置１０と情報処理装置１１を有している。撮像装置１０と情報処理装置１１の間は有線又は無線により接続されている。図１では、１つの撮像装置１０のみ示しているが、複数台の撮像装置１０を情報処理装置１１に接続してもよい。
　撮像装置１０は、ベッド上の対象者を撮影して画像データを取り込むためのデバイスである。撮像装置１０としては、モノクロ又はカラーの可視光カメラ、赤外線カメラ、三次元カメラなどを用いることができる。本実施形態では、夜間でも（部屋内が暗い場合でも）対象者の見守りを可能とするため、赤外線ＬＥＤ照明１００と近赤外線カメラ１０１で構成される撮像装置１０を採用する。撮像装置１０は、図２に示すように、ベッド２０の頭側上方から足側に向かって、ベッド２０の全体を俯瞰するように設置される。撮像装置１０は所定の時間間隔（例えば、３０ｆｐｓ）で撮影を行い、その画像データは情報処理装置１１に順次取り込まれる。
　情報処理装置１１は、撮像装置１０から取り込まれる画像データをリアルタイムに分析し、ベッド２０上の対象者２１の起床行動や離床行動を自動で検知し、必要な場合に通知を行う機能を備える装置である。情報処理装置１１は、具体的な機能モジュールとして、画像取得部１１０、情報取得部１１１、複数の検出部１１２、選択部１１３、出力部１１４、記憶部１１５を有している。
　本実施形態の情報処理装置１１は、ＣＰＵ（プロセッサ）、メモリ、ストレージ（ＨＤＤ、ＳＳＤなど）、入力デバイス（キーボード、マウス、タッチパネルなど）、出力デバイス（ディスプレイ、スピーカなど）、通信インタフェースなどを具備する汎用のコンピュータにより構成され、上述した情報処理装置１１の各モジュールは、ストレージ又はメモリに格納されたプログラムをＣＰＵが実行することにより実現される。ただし、情報処理装置１１の構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記モジュールの一部をクラウドサーバにより実行してもよいし、上記モジュールの一部をＡＳＩＣやＦＰＧＡのような回路で構成してもよい。
　画像取得部１１０は、撮像装置１０により撮影された画像を取得するためのモジュールである。画像取得部１１０より入力された画像データは一時的にメモリ又はストレージに記憶され、情報取得部１１１や検出部１１２の処理に供される。
　情報取得部１１１は、撮像装置１０が設置されている高さ（設置高さ）に関する高さ情報を取得する情報取得処理のためのモジュールである。情報取得処理の詳細は後述する。
　複数の検出部１１２のそれぞれは、画像取得部１１０により取得された画像から対象者２１の状態や行動を検出するためのモジュールである。複数の検出部１１２は、撮像装置１０の複数の設置高さにそれぞれ対応する。例えば、複数の検出部１１２のそれぞれは、対応する設置高さで撮影された複数の画像を用いた学習の結果に基づいて生成される。なお、複数の検出部１１２は、複数の検出エンジンであってもよいし、そうでなくてもよい。例えば、検出エンジンで使用される辞書として、複数の設置高さにそれぞれ対応する複数の辞書が予め用意されてもよい。辞書には、アルゴリズムやパラメータや閾値が記述される。辞書に記述されるパラメータは、例えば、撮影された画像におけるベッド２０の四隅の座標を含んでいてもよい。すなわち、ベッド２０の座標（四隅の座標）として、複数の設置高さにそれぞれ対応する複数の座標が予め用意されてもよい。そして、複数の検出部１１２のそれぞれは検出エンジンと辞書の組み合わせであり、複数の検出部１１２の間で、検出エンジンが共通し、辞書が互いに異なってもよい。また、想定される設置高さの数は特に限定されないし、検出部１１２の数も特に限定されない。
　選択部１１３は、複数の検出部１１２の中から、情報取得部１１１により取得された高さ情報の設置高さに対応する検出部１１２を選択する選択処理のためのモジュールである。複数の検出部１１２が複数の検出エンジンである場合には、選択部１１３は、情報取得部１１１により取得された高さ情報の設置高さに対応する検出エンジンを選択する。複数の検出部１１２の間で、検出エンジンが共通し、辞書が互いに異なる場合には、選択部１１３は、情報取得部１１１により取得された高さ情報の設置高さに対応する辞書を選択する。
　複数の検出部１１２のうちの、選択部１１３により選択された検出部１１２は、画像取得部１１０により取得された画像を分析する。それにより、選択部１１３により選択された検出部１１２は、画像から対象者２１の行動を判定する。
　出力部１１４は、選択部１１３により選択された検出部１１２の判定結果に基づいて、必要な通知を行うためのモジュールである。例えば、出力部１１４は、対象者２１の状態や行動に応じて、通知の要否（例えば、危険な状態の場合のみ通知を行う）、通知の内容（例えばメッセージの内容）、通知手段（例えば音声、メール、ブザー、警告灯）、通知先（例えば看護師、医師、介護者）、通知の頻度などを切り替えることができる。
　記憶部１１５は、見守り支援システム１が処理に用いる各種のデータを記憶するためのモジュールである。記憶部１１５には、例えば、監視領域の設定情報、前処理で用いるパラメータ、スコア安定化処理で用いるパラメータ、スコアの時系列データ、行動判定処理で用いるパラメータなどが記憶される。これらの処理やデータについては後述する。
　本実施形態では、複数の検出部１１２のそれぞれは、領域設定部１２０、前処理部１２１、回帰器１２２、スコア安定化部１２３、判定部１２４を有している。なお、複数の検出部１１２の間で、領域設定部１２０、前処理部１２１、回帰器１２２、スコア安定化部１２３、判定部１２４の一部が共通していてもよい。
　領域設定部１２０は、撮像装置１０により撮影される画像に対し監視領域を設定する領域設定処理のためのモジュールである。監視領域は、撮像装置１０の視野のうち後述の状態監視処理の対象となる範囲（言い換えると、回帰器１２２の入力として用いられる画像範囲）である。領域設定処理の詳細は後述する。
　前処理部１２１は、状態監視処理において、画像取得部１１０より入力された画像（以後「オリジナル画像」と呼ぶ）に対し必要な前処理を施すためのモジュールである。例えば、前処理部１２１は、オリジナル画像から監視領域内の画像をクリップする処理を行う（クリップされた画像を以後「監視領域画像」と呼ぶ）。また、前処理部１２１は、監視領域画像に対して、リサイズ（縮小）、アフィン変換、輝度補正などの処理を施してもよい。リサイズ（縮小）は、回帰器１２２の演算時間を短縮する効果がある。リサイズには既存のどのような手法を用いてもよいが、演算コストと品質のバランスがよいバイリニア法が好ましい。アフィン変換は、例えば、画像において台形状に写るベッドを長方形状に変形するなど、必要な歪み補正を行うことで、回帰器１２２への入力画像を規格化し、行動の判定精度を向上する効果が期待できる。輝度補正は、例えば、照明環境の影響を低減することで、判定精度を向上する効果が期待できる。なお、オリジナル画像をそのまま回帰器１２２に入力する場合には、前処理部１２１は省略してもよい。
　回帰器１２２は、監視領域画像が与えられたときに、当該監視領域画像に写る対象者２１の状態（例えば、就床状態、起床状態、離床状態）を示すスコアを出力するためのモジュールである。回帰器１２２は、ベッドと人が写る画像を入力とし、ベッドに対する人の状態を示すスコアを出力するように、入力画像の特徴と人の状態との関係モデルを機械学習により構築したものである。回帰器１２２のトレーニングは、多数のトレーニング用画像を用いて、学習装置１２によって事前に（システムの出荷前ないし稼働前に）行われているものとする。なお、回帰器１２２の学習モデルとしては、ニューラルネットワーク、ランダムフォレスト、サポートベクターマシンなど、どのようなモデルを用いてもよい。本実施形態では、画像認識に好適な畳み込みニューラルネットワーク（ＣＮＮ）を用いる。
　スコア安定化部１２３は、回帰器１２２から出力されるスコアの急激な変化やばたつきを抑制するためのモジュールである。スコア安定化部１２３は、例えば、現在のフレームの画像から得られた現在スコアと、直前の２フレームの画像からそれぞれ得られた過去スコアの平均を計算し、安定化スコアとして出力する。この処理は、スコアの時系列データに時間的なローパスフィルタをかけることと等価である。なお、スコアの安定化が不要であれば、スコア安定化部１２３は省略してもよい。
　判定部１２４は、回帰器１２２により得られたスコアに基づいて、対象者の行動を判定するためのモジュールである。具体的には、判定部１２４は、スコアの時間的な変化（つまり、スコアが示す「対象者の状態」の遷移）に基づいて、対象者がどのような行動（例えば、起床行動、離床行動など）をとったのかを推定する。
　（情報取得処理）
　図３Ａ～３Ｃを参照して本システムの情報取得処理の一例を説明する。図３Ａ～３Ｃは、画像取得部１１０により取得された画像の例を示す。図３Ａの画像は、設置高さＨ＝１５０ｃｍで撮影された画像であり、図３Ｂの画像は、設置高さＨ＝１７０ｃｍで撮影された画像であり、図３Ｃの画像は、設置高さＨ＝２００ｃｍで撮影された画像である。図３Ａ～３Ｃに示すように、画像の構図、画像における被写体の歪み、画像における被写体のサイズなどは設置高さＨに依存する。
　本実施形態では、情報取得処理は、本システムの初回起動時にのみ行われる。情報取得処理では、ユーザによって、画像におけるベッド２０の四隅（点Ｐ１～Ｐ４）の座標が指定される。そして、情報取得部１１１は、指定された点Ｐ１～Ｐ４に基づいて、画像におけるベッドの幅Ｗと長さＬを算出し、幅Ｗと長さＬの比率（ベッドアスペクト比Ｒ）を高さ情報として算出する。幅Ｗと長さＬは、例えば、画像におけるベッド２０の重心位置での値である。ベッドアスペクト比Ｒは設置高さＨに応じて略決まるため、設置高さＨの代わりにベッドアスペクト比Ｒを用いることができる。図３Ａでは、ベッドアスペクト比Ｒ＝Ｗ／Ｌ＝１．７が算出されており、図３Ｂでは、ベッドアスペクト比Ｒ＝１．８が算出されており、図３Ｃでは、ベッドアスペクト比Ｒ＝２．０が算出されている。
　なお、情報取得処理は上記処理に限られない。例えば、設置高さＨそのものが、ユーザによって指定され、高さ情報として使用されてもよい。上記処理では、ユーザ操作に応じた情報が高さ情報として取得されるが、これに限られない。例えば、画像解析等によってベッドアスペクト比Ｒや設置高さＨを自動検出することにより、高さ情報が取得されてもよい。しかしながら、そのような構成の場合には、検出誤差や誤検出などにより、高さ情報の精度（信頼度）が低下することがある。本実施形態では、得られた高さ情報に応じた検出部１１２が選択されて使用される。そのため、得られた高さ情報の精度が低いと、対象者を精度良く検出できないことがある。ユーザ操作に応じた情報を用いれば、これらの精度低下を抑制することができる。
　また、情報取得処理のタイミングや頻度も特に限定されない。但し、設置高さＨの確定後に設置高さＨが自動で（自然に）変わることは極めて稀であるため、本システムの初回起動時にのみ情報取得処理を行う構成であっても、対象者の状態や行動の高精度な検出を維持することができる。さらに、高さ情報の取得頻度を減らすことができ、本システムの処理負荷を低減することができる。
　（選択処理）
　図３Ａ～３Ｃを参照して本システムの選択処理の一例を説明する。ここでは、複数の検出部１１２が、３つの設置高さＨ＝１５０ｃｍ，１７０ｃｍ，２００ｃｍにそれぞれ対応する３つの検出部１１２であるとする。
　上述したように、図３Ａの画像は、設置高さＨ＝１５０ｃｍで撮影された画像である。図３Ａのようにベッドアスペクト比Ｒ＝１．７が得られた場合には、選択部１１３は、ベッドアスペクト比Ｒ＝１．７に応じて、設置高さＨ＝１５０ｃｍに対応する検出部１１２を選択する。図３Ｂの画像は、設置高さＨ＝１７０ｃｍで撮影された画像である。図３Ｂのようにベッドアスペクト比Ｒ＝１．８が得られた場合には、選択部１１３は、ベッドアスペクト比Ｒ＝１．８に応じて、設置高さＨ＝１７０ｃｍに対応する検出部１１２を選択する。図３Ｃの画像は、設置高さＨ＝２００ｃｍで撮影された画像である。図３Ａの例のようにベッドアスペクト比Ｒ＝２．０が得られた場合には、選択部１１３は、ベッドアスペクト比Ｒ＝２．０に応じて、設置高さＨ＝２００ｃｍに対応する検出部１１２を選択する。これにより、設置高さに依らず対象者の状態や行動を精度良く検出することができる。
　（監視領域の設定）
　撮像装置１０の画角内にはベッド２０や対象者２１以外にさまざまな物が写り込んでいる。対象者２１の状態や行動を検知するにあたっては、ベッド２０と対象者２１以外の物はノイズとして作用する可能性があるため、出来る限り除外することが好ましい。また、回帰器１２２に入力する画像については、画像サイズ（幅、高さ）および画像内のベッドの位置・範囲・大きさなどが規格化されているほうが、行動の判定精度の向上が図りやすい。そこで、本実施形態では、ベッド２０を基準にした所定の範囲を監視領域に設定し、後述する状態監視処理では監視領域内の画像をクリッピングして回帰器１２２の入力画像とする。
　監視領域の設定は、手動で行ってもよいし自動で行ってもよい。手動設定の場合、領域設定部１２０は、画像内のベッド２０の領域ないし監視領域そのものをユーザに入力させるためのユーザインタフェースを提供するとよい。自動設定の場合、領域設定部１２０は、物体認識処理により画像からベッド２０を検出し、検出したベッド２０の領域を包含するように監視領域を設定するとよい。なお、領域設定処理は、監視領域が未設定の場合（例えば、システムの設置時など）、ベッド２０や撮像装置１０の移動に伴い監視領域を更新する必要がある場合などに実行される。領域設定部１２０は、情報取得処理で指定された点Ｐ１～Ｐ４からベッド２０の領域を判断してもよい。検出部１１２の辞書に点Ｐ１～Ｐ４の座標が記述されている場合には、それを使用してもよい。
　図４Ａは、オリジナル画像に対し設定された監視領域の例である。本実施形態では、ベッド２０の領域の左側・右側・上側（足側）にそれぞれ所定幅のマージンを付加した範囲を、監視領域３０に設定する。マージンの幅は、ベッド２０上で起き上がっている人（図４Ｂ参照）の全身が監視領域３０内に入るように設定される。
　（状態監視処理）
　図５を参照して本システムの状態監視処理の一例を説明する。図５の処理フローは、本システムの初回起動時からの状態監視処理を示す。
　まず、情報取得部１１１が、高さ情報（ベッドアスペクト比Ｒ）を取得する（ステップＳ５１）。次に選択部１１３が、高さ情報に応じた検出部１１２を選択する（ステップＳ５２）。なお、ステップＳ５１の処理とステップＳ５２の処理とは、本システムの初回起動時にのみ行われる。即ち、初回起動時以降の状態監視処理において、ステップＳ５１の処理とステップＳ５２の処理とは省略される。
　次に画像取得部１１０が、撮像装置１０から１フレームの画像を取り込む（ステップＳ５３）。取得されたオリジナル画像は記憶部１１５に一時的に記憶される。次に、ステップＳ５２で選択された検出部１１２により、ステップＳ５４～Ｓ５７の処理が行われる。具体的には、前処理部１２１が、オリジナル画像から監視領域画像をクリップし、必要に応じてリサイズ、アフィン変換、輝度補正などを実行する（ステップＳ５４）。回帰器１２２が、監視領域画像を入力し、対応するスコアを出力する（ステップＳ５５）。スコア安定化部１２３が、ステップＳ５５で得られたスコアの安定化処理を行い（ステップＳ５６）、得られたスコアを判定部１２４に引き渡す。そして、判定部１２４が、安定化処理後のスコアの時間的な変化に基づいて、対象者２１の行動を判定する（ステップＳ５７）。
　ステップＳ５７において、対象者２１が「起床」又は「離床」したと判定されたら、出力部１１４が必要な通知を行う（ステップＳ５８）。ステップＳ５３～Ｓ５８は、システムが終了するまでフレーム毎に実行される（ステップＳ５９）。
　以上述べたように、本実施形態のシステムによれば、画像から対象者の状態や行動を検出するための検出部として、複数の設置高さに対してそれぞれ好適な複数の検出部が用意される。そして、取得した高さ情報に関連した設置高さに対して好適な検出部が使用される。それにより、撮像装置の設置高さに依らず対象者の状態や行動を精度良く検出することができる。
　＜その他＞
　本実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
　例えば、検出部１１２によって対象者２１の状態や行動が画像から検出される例を説明したが、検出部１１２によって対象者２１の人体又はその一部（頭部、顔、上半身など）を画像から検出し、人体又はその一部の検出位置に基づいて対象者の状態や行動を判定してもよい。画像から人体やその一部を検出する方法としてはいかなる方法を用いてもよい。例えば、古典的なＨａａｒ－ｌｉｋｅ特徴量やＨｏＧ特徴量を用いた識別器による手法や近年のＦａｓｔｅｒ　Ｒ－ＣＮＮによる手法を用いた物体検出アルゴリズムを好ましく用いることができる。
　また、複数の検出部１１２は種々の変形が可能である。撮影された画像の特徴量は設置高さＨに依存する。そのため、回帰器１２２では、対象者２１の所定の状態に対応するスコアは設置高さＨに依存する。そこで、複数の設置高さＨにそれぞれ対応する複数の回帰器が予め用意されてもよい。そして、取得された高さ情報に応じて、複数の回帰器のいずれかが選択されて使用されてもよい。複数の回帰器は、例えば、互いに異なる設置高さＨで撮影されたトレーニング用画像を用いて機械学習されたものである。図６に示すように、複数の回帰器の間では、画像の特徴量とスコアとの対応関係（関係モデル）が互いに異なる。それにより、設置高さＨに依らず、所望のスコアを得ることができる。なお、図６では、関係モデルを２次元の線型モデルで示しているが、実際の特徴量空間は多次元であり、関係モデルは非線型となる。
　また、図３Ａ～３Ｃに示すように、画像におけるベッド２０や対象者２１の歪み度合いは設置高さＨに依存する。そのため、前処理部１２１で行われる歪み補正（歪み補正の強度など）が一定である場合には、歪み補正後の画像の歪み度合いは設置高さＨに依存する。そこで、複数の設置高さＨにそれぞれ対応する複数の歪み補正（歪み補正の強度など）が予め定められてもよい。そして、取得された高さ情報に応じて、複数の歪み補正のいずれかが選択されて実行されてもよい。それにより、設置高さＨに依らず、歪み補正後の画像として、所望の歪み度合いの画像を得ることができる。
　ここで、領域設定部１２０が監視領域を設定する際に使用するマージン幅が一定である場合を考える。図３Ａ～３Ｃに示すように、画像におけるベッド２０のサイズは設置高さＨが高いほど小さい。そのため、設置高さＨが高いほど、監視領域全体に対するマージンの割合が増し、監視領域画像にベッド２０や対象者２１以外の物が写り込む可能性が増す。そこで、複数の設置高さＨにそれぞれ対応する複数のマージン幅が予め定められてもよい。具体的には、図７に示すように、設置高さＨが高いほど小さいマージン幅が予め定められてもよい。そして、取得された高さ情報に応じて、複数のマージン幅のいずれかが選択されて使用されてもよい。それにより、設置高さＨに依らず、ベッド２０や対象者２１以外の物が写り込んでいない監視領域画像を高精度に得ることができる。マージン幅を一定として、マージンの少なくとも一部が監視領域画像から除去されるように、設置高さＨが高いほど大きい領域を監視領域画像から除去する構成でも、同様の効果が得られる。
　１：見守り支援システム
　１０：撮像装置、１１：情報処理装置、１２：学習装置
　１００：照明、１０１：近赤外線カメラ、１１０：画像取得部、１１１：情報取得部、１１２：検出部、１１３：選択部、１１４：出力部、１１５：記憶部
　１２０：領域設定部、１２１：前処理部、１２２：回帰器、１２３：スコア安定化部、１２４：判定部
　２０：ベッド、２１：対象者
　３０：監視領域

Claims (7)

  1. 　ベッド上の対象者の見守りを支援する見守り支援システムであって、
    　撮像装置により撮影された画像を取得する画像取得部と、
    　前記撮像装置の設置高さに関する情報を取得する情報取得部と、
    　前記画像から前記対象者または前記対象者の状態を検出するための、前記撮像装置の複数の設置高さにそれぞれ対応する複数の検出部と、
    を有し、
    　前記複数の検出部のうちの、前記情報取得部により取得された情報の設置高さに対応する検出部が検出を行う
    ことを特徴とする見守り支援システム。
  2. 　前記情報取得部は、前記見守り支援システムの初回起動時にのみ前記情報を取得する
    ことを特徴とする請求項１に記載の見守り支援システム。
  3. 　前記撮像装置の設置高さに関する情報は、ユーザ操作に応じた情報である
    ことを特徴とする請求項１または２に記載の見守り支援システム。
  4. 　前記撮像装置の設置高さに関する情報は、前記画像における前記ベッドの幅と長さの比率である
    ことを特徴とする請求項１～３のいずれか１項に記載の見守り支援システム。
  5. 　前記複数の検出部の中から、前記情報取得部により取得された情報の設置高さに対応する検出部を選択する選択部、をさらに有し、
    　前記複数の検出部のうちの、前記選択部により選択された検出部が検出を行う
    ことを特徴とする請求項１～４のいずれか１項に記載の見守り支援システム。
  6. 　ベッド上の対象者の見守りを支援する見守り支援システムの制御方法であって、
    　撮像装置により撮影された画像を取得するステップと、
    　前記撮像装置の設置高さに関する情報を取得するステップと、
    　前記画像から前記対象者を検出するための、前記撮像装置の複数の設置高さにそれぞれ対応する複数の検出部のうちの、取得された前記情報の設置高さに対応する検出部を用いて、前記画像から前記対象者または前記対象者の状態を検出するステップと、
    を有することを特徴とする見守り支援システムの制御方法。
  7. 　請求項６に記載の見守り支援システムの制御方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2018/025595 2017-07-06 2018-07-05 見守り支援システム及びその制御方法 WO2019009377A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-132365 2017-07-06
JP2017132365A JP6729510B2 (ja) 2017-07-06 2017-07-06 見守り支援システム及びその制御方法

Publications (1)

Publication Number Publication Date
WO2019009377A1 true WO2019009377A1 (ja) 2019-01-10

Family

ID=64951015

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/025595 WO2019009377A1 (ja) 2017-07-06 2018-07-05 見守り支援システム及びその制御方法

Country Status (2)

Country Link
JP (1) JP6729510B2 (ja)
WO (1) WO2019009377A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020203015A1 (ja) * 2019-04-02 2020-10-08 公立大学法人横浜市立大学 重症化推定システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI739203B (zh) * 2019-11-08 2021-09-11 大猩猩科技股份有限公司 一種評估影像有效分析區域之方法與系統
WO2023042310A1 (ja) * 2021-09-15 2023-03-23 三菱電機株式会社 見守りシステム及び見守り方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014174627A (ja) * 2013-03-06 2014-09-22 Nk Works Co Ltd 情報処理装置、情報処理方法、及び、プログラム
JP2014182409A (ja) * 2013-03-15 2014-09-29 Nk Works Co Ltd 監視装置
WO2016199495A1 (ja) * 2015-06-11 2016-12-15 コニカミノルタ株式会社 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014174627A (ja) * 2013-03-06 2014-09-22 Nk Works Co Ltd 情報処理装置、情報処理方法、及び、プログラム
JP2014182409A (ja) * 2013-03-15 2014-09-29 Nk Works Co Ltd 監視装置
WO2016199495A1 (ja) * 2015-06-11 2016-12-15 コニカミノルタ株式会社 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020203015A1 (ja) * 2019-04-02 2020-10-08 公立大学法人横浜市立大学 重症化推定システム

Also Published As

Publication number Publication date
JP2019016120A (ja) 2019-01-31
JP6729510B2 (ja) 2020-07-22

Similar Documents

Publication Publication Date Title
US10786183B2 (en) Monitoring assistance system, control method thereof, and program
JP6137425B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JP6822328B2 (ja) 見守り支援システム及びその制御方法
WO2019009377A1 (ja) 見守り支援システム及びその制御方法
WO2019013257A1 (ja) 見守り支援システム及びその制御方法、プログラム
JPWO2013005815A1 (ja) 物体検出装置、物体検出方法及びプログラム
JPWO2018078857A1 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
WO2020145380A1 (ja) 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
JP2020027405A (ja) 物体検出プログラム、および物体検出装置
JP6245027B2 (ja) 監視方法、監視装置および監視プログラム
JP6822326B2 (ja) 見守り支援システム及びその制御方法
US10762761B2 (en) Monitoring assistance system, control method thereof, and program
JP6870514B2 (ja) 見守り支援システム及びその制御方法
WO2020008726A1 (ja) 対象物体検出プログラム、および対象物体検出装置
JP2022095994A (ja) 画像処理システム、画像処理プログラム、および画像処理方法
US20230412919A1 (en) Device and method for controlling a camera
WO2021033453A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP6729512B2 (ja) 見守り支援システム及びその制御方法
JP6635074B2 (ja) 見守り支援システム及びその制御方法
US20220054046A1 (en) Assessing patient out-of-bed and out-of-chair activities using embedded infrared thermal cameras
WO2020008995A1 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置
JP2000123171A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18828438

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18828438

Country of ref document: EP

Kind code of ref document: A1