JP6729510B2 - 見守り支援システム及びその制御方法 - Google Patents
見守り支援システム及びその制御方法 Download PDFInfo
- Publication number
- JP6729510B2 JP6729510B2 JP2017132365A JP2017132365A JP6729510B2 JP 6729510 B2 JP6729510 B2 JP 6729510B2 JP 2017132365 A JP2017132365 A JP 2017132365A JP 2017132365 A JP2017132365 A JP 2017132365A JP 6729510 B2 JP6729510 B2 JP 6729510B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- installation height
- imaging device
- support system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000012544 monitoring process Methods 0.000 title claims description 39
- 238000009434 installation Methods 0.000 claims description 77
- 238000001514 detection method Methods 0.000 claims description 73
- 238000003384 imaging method Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 description 22
- 238000012545 processing Methods 0.000 description 18
- 230000006399 behavior Effects 0.000 description 12
- 238000012937 correction Methods 0.000 description 11
- 238000007781 pre-processing Methods 0.000 description 11
- 230000010365 information processing Effects 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 230000000087 stabilizing effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
でき、見守り支援システムの処理負荷を低減することができる。
図1と図2を参照して、本発明の実施形態に係る見守り支援システムの構成を説明する。図1は、見守り支援システム1のハードウェア構成および機能構成を模式的に示すブロ
ック図であり、図2は、撮像装置の設置例を示す図である。
で、検出エンジンが共通し、辞書が互いに異なってもよい。また、想定される設置高さの数は特に限定されないし、検出部112の数も特に限定されない。
1の状態(例えば、就床状態、起床状態、離床状態)を示すスコアを出力するためのモジュールである。回帰器122は、ベッドと人が写る画像を入力とし、ベッドに対する人の状態を示すスコアを出力するように、入力画像の特徴と人の状態との関係モデルを機械学習により構築したものである。回帰器122のトレーニングは、多数のトレーニング用画像を用いて、学習装置12によって事前に(システムの出荷前ないし稼働前に)行われているものとする。なお、回帰器122の学習モデルとしては、ニューラルネットワーク、ランダムフォレスト、サポートベクターマシンなど、どのようなモデルを用いてもよい。本実施形態では、画像認識に好適な畳み込みニューラルネットワーク(CNN)を用いる。
図3A〜3Cを参照して本システムの情報取得処理の一例を説明する。図3A〜3Cは、画像取得部110により取得された画像の例を示す。図3Aの画像は、設置高さH=150cmで撮影された画像であり、図3Bの画像は、設置高さH=170cmで撮影された画像であり、図3Cの画像は、設置高さH=200cmで撮影された画像である。図3A〜3Cに示すように、画像の構図、画像における被写体の歪み、画像における被写体のサイズなどは設置高さHに依存する。
図3A〜3Cを参照して本システムの選択処理の一例を説明する。ここでは、複数の検出部112が、3つの設置高さH=150cm,170cm,200cmにそれぞれ対応する3つの検出部112であるとする。
撮像装置10の画角内にはベッド20や対象者21以外にさまざまな物が写り込んでいる。対象者21の状態や行動を検知するにあたっては、ベッド20と対象者21以外の物はノイズとして作用する可能性があるため、出来る限り除外することが好ましい。また、回帰器122に入力する画像については、画像サイズ(幅、高さ)および画像内のベッドの位置・範囲・大きさなどが規格化されているほうが、行動の判定精度の向上が図りやすい。そこで、本実施形態では、ベッド20を基準にした所定の範囲を監視領域に設定し、後述する状態監視処理では監視領域内の画像をクリッピングして回帰器122の入力画像とする。
図5を参照して本システムの状態監視処理の一例を説明する。図5の処理フローは、本
システムの初回起動時からの状態監視処理を示す。
本実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
では、関係モデルを2次元の線型モデルで示しているが、実際の特徴量空間は多次元であり、関係モデルは非線型となる。
10:撮像装置、11:情報処理装置、12:学習装置
100:照明、101:近赤外線カメラ、110:画像取得部、111:情報取得部、112:検出部、113:選択部、114:出力部、115:記憶部
120:領域設定部、121:前処理部、122:回帰器、123:スコア安定化部、124:判定部
20:ベッド、21:対象者
30:監視領域
Claims (7)
- ベッド上の対象者の見守りを支援する見守り支援システムであって、
撮像装置により撮影された画像を取得する画像取得部と、
前記撮像装置の設置高さに関する情報を取得する情報取得部と、
前記画像から前記対象者または前記対象者の状態を検出するための、前記撮像装置の複数の設置高さにそれぞれ対応する複数の検出部と、
を有し、
前記複数の検出部のうちの、前記情報取得部により取得された情報の設置高さに対応する検出部が検出を行う
ことを特徴とする見守り支援システム。 - 前記情報取得部は、前記見守り支援システムの初回起動時にのみ前記情報を取得する
ことを特徴とする請求項1に記載の見守り支援システム。 - 前記撮像装置の設置高さに関する情報は、ユーザ操作に応じた情報である
ことを特徴とする請求項1または2に記載の見守り支援システム。 - 前記撮像装置の設置高さに関する情報は、前記画像における前記ベッドの幅と長さの比率である
ことを特徴とする請求項1〜3のいずれか1項に記載の見守り支援システム。 - 前記複数の検出部の中から、前記情報取得部により取得された情報の設置高さに対応する検出部を選択する選択部、をさらに有し、
前記複数の検出部のうちの、前記選択部により選択された検出部が検出を行う
ことを特徴とする請求項1〜4のいずれか1項に記載の見守り支援システム。 - ベッド上の対象者の見守りを支援する見守り支援システムの制御方法であって、
撮像装置により撮影された画像を取得するステップと、
前記撮像装置の設置高さに関する情報を取得するステップと、
前記画像から前記対象者を検出するための、前記撮像装置の複数の設置高さにそれぞれ対応する複数の検出部のうちの、取得された前記情報の設置高さに対応する検出部を用いて、前記画像から前記対象者または前記対象者の状態を検出するステップと、
を有することを特徴とする見守り支援システムの制御方法。 - 請求項6に記載の見守り支援システムの制御方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017132365A JP6729510B2 (ja) | 2017-07-06 | 2017-07-06 | 見守り支援システム及びその制御方法 |
PCT/JP2018/025595 WO2019009377A1 (ja) | 2017-07-06 | 2018-07-05 | 見守り支援システム及びその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017132365A JP6729510B2 (ja) | 2017-07-06 | 2017-07-06 | 見守り支援システム及びその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019016120A JP2019016120A (ja) | 2019-01-31 |
JP6729510B2 true JP6729510B2 (ja) | 2020-07-22 |
Family
ID=64951015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017132365A Active JP6729510B2 (ja) | 2017-07-06 | 2017-07-06 | 見守り支援システム及びその制御方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6729510B2 (ja) |
WO (1) | WO2019009377A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020203015A1 (ja) * | 2019-04-02 | 2020-10-08 | 公立大学法人横浜市立大学 | 重症化推定システム |
TWI739203B (zh) * | 2019-11-08 | 2021-09-11 | 大猩猩科技股份有限公司 | 一種評估影像有效分析區域之方法與系統 |
WO2023042310A1 (ja) * | 2021-09-15 | 2023-03-23 | 三菱電機株式会社 | 見守りシステム及び見守り方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6171415B2 (ja) * | 2013-03-06 | 2017-08-02 | ノーリツプレシジョン株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP6182917B2 (ja) * | 2013-03-15 | 2017-08-23 | ノーリツプレシジョン株式会社 | 監視装置 |
JP6115692B1 (ja) * | 2015-06-11 | 2017-04-19 | コニカミノルタ株式会社 | 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置 |
-
2017
- 2017-07-06 JP JP2017132365A patent/JP6729510B2/ja active Active
-
2018
- 2018-07-05 WO PCT/JP2018/025595 patent/WO2019009377A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2019016120A (ja) | 2019-01-31 |
WO2019009377A1 (ja) | 2019-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10786183B2 (en) | Monitoring assistance system, control method thereof, and program | |
JP6137425B2 (ja) | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム | |
JP6822328B2 (ja) | 見守り支援システム及びその制御方法 | |
JP6729510B2 (ja) | 見守り支援システム及びその制御方法 | |
WO2019013257A1 (ja) | 見守り支援システム及びその制御方法、プログラム | |
WO2020145380A1 (ja) | 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法 | |
JP6822326B2 (ja) | 見守り支援システム及びその制御方法 | |
US10762761B2 (en) | Monitoring assistance system, control method thereof, and program | |
JP7314939B2 (ja) | 画像認識プログラム、画像認識装置、学習プログラム、および学習装置 | |
JP6870514B2 (ja) | 見守り支援システム及びその制御方法 | |
WO2020008726A1 (ja) | 対象物体検出プログラム、および対象物体検出装置 | |
US20230412919A1 (en) | Device and method for controlling a camera | |
JP2022095994A (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP6729512B2 (ja) | 見守り支援システム及びその制御方法 | |
JP6635074B2 (ja) | 見守り支援システム及びその制御方法 | |
US20220054046A1 (en) | Assessing patient out-of-bed and out-of-chair activities using embedded infrared thermal cameras | |
JP2020190850A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2000123171A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6729510 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |