JP6520831B2 - 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体 - Google Patents
表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体 Download PDFInfo
- Publication number
- JP6520831B2 JP6520831B2 JP2016113457A JP2016113457A JP6520831B2 JP 6520831 B2 JP6520831 B2 JP 6520831B2 JP 2016113457 A JP2016113457 A JP 2016113457A JP 2016113457 A JP2016113457 A JP 2016113457A JP 6520831 B2 JP6520831 B2 JP 6520831B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- posture
- display control
- image data
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000003860 storage Methods 0.000 claims description 27
- 230000005484 gravity Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 6
- 241001125840 Coryphaenidae Species 0.000 claims 1
- 230000036544 posture Effects 0.000 description 248
- 230000007704 transition Effects 0.000 description 27
- 238000003384 imaging method Methods 0.000 description 18
- 238000007689 inspection Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 11
- 230000000474 nursing effect Effects 0.000 description 8
- 230000004397 blinking Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 230000007774 longterm Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008673 vomiting Effects 0.000 description 3
- 241001000171 Chira Species 0.000 description 2
- 206010047700 Vomiting Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 206010011985 Decubitus ulcer Diseases 0.000 description 1
- 101000800116 Homo sapiens Thy-1 membrane glycoprotein Proteins 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 102100033523 Thy-1 membrane glycoprotein Human genes 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 210000004916 vomit Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0469—Presence detectors to detect unsafe condition, e.g. infrared sensor, microphone
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/0415—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting absence of activity per se
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6889—Rooms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/744—Displaying an avatar, e.g. an animated cartoon character
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G12/00—Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
Description
例えば、特許文献1には、人体の姿勢の遷移モデルを表す情報と遷移モデルの各姿勢での画像データの検査領域を表す検査情報とを参照して算出される画像データの検査領域での統計量に基づいて、姿勢推定を行う姿勢推定装置について開示されている。
しかしながら、上記従来の姿勢推定装置では、以下に示すような問題点を有している。
すなわち、上記公報に開示された姿勢推定装置では、要介護者等の人体の姿勢を少ないデータ処理量で推定することができるものの、要介護者が介護を必要としている状態であるか否かを正確に認識することは難しい。
ここで、見守り表示制御の対象となる室内の人体は、例えば、高齢者や身体障害者等のように日常生活に介護を必要とする要介護者だけでなく、健常者やペット(動物)等も含まれる。
また、画像データを用いた姿勢推定は、例えば、人体の姿勢の遷移モデルを用いて画像データの検査領域における統計量を算出し、この統計量に基づいて1時点前の人体の姿勢から現時点の人体の姿勢を推定する公知の手法を用いればよい(特許文献1参照)。
また、制御部によって表示制御される表示装置としては、例えば、介護施設や病院等で使用される際には、介護者や看護師が常駐する集中管理室のモニタ、あるいは介護者や看護師が携帯する携帯端末等を用いることができる。
よって、例えば、表示装置における表示を見た介護者等は、表示装置に表示された要介護者等の姿勢を簡易的に示す第1ダミー画像を見て、要介護者が介護を必要としている状態であるか否かを、効果的かつ高精度に認識することができる。
ここでは、複数の第1ダミー画像を保存する記憶部を、装置内に設けている。
これにより、制御部は、装置内の記憶部に保存された複数の第1ダミー画像の中から、姿勢推定部において推定された姿勢に対応する第1ダミー画像を取り出して、画像データに重ねて表示させることができる。
ここでは、画像データ上にダミー画像を重ねる際には、画像データにおいて検出される人体の頭部あるいは顔の位置を基準にして、第1ダミー画像の頭部あるいは顔の位置を重ねて表示させる。
これにより、頭部あるいは顔の部分を基準にして、人体の姿勢に合わせて選択された第1ダミー画像を画像データに重ねて表示させることができる。
ここでは、画像取得部において連続的に取得された動画等の画像データを用いて、画像データ中の人体付近の画像のチラつきが大きいか小さいかによって、画像データに含まれる人(要介護者)が介護を必要としているか否かを判定する。
ここで、介護を必要としているか否かの判定は、例えば、座位の要介護者について、連続的に取得された画像データの人体付近の画像のチラつきがほとんど見られない状態で所定時間以上経過している等で判定することができる。
これにより、動画等の連続的に取得された画像データにおける画像のチラつきを参照することで、要介護者の姿勢に基づく判定よりも正確に、要介護者が介護を必要としているか否かを判定することができる。
ここでは、画像センサとして赤外線センサを用いた場合において、上述した連続的に取得された画像データ中の画像のチラつきに基づく判定を行う際には、赤外線センサによって取得された熱画像中の熱重心の位置の揺らぎに応じて、判定を行う。
逆に、熱重心の位置の変化が所定の閾値よりも大きい場合には、例えば、要介護者が着替えをしている、携帯端末を操作している等、介護を必要としていない状態であると判定することができる。
ここでは、画像センサとして赤外線センサを用いた場合において、上述した連続的に取得された画像データ中の熱源の拡大を検出して、判定を行う。
これにより、例えば、要介護者が嘔吐した状態にあることを、赤外線センサによって連続的に取得された熱画像を用いて介護者に認識させることができる。
これにより、例えば、要介護者が個室で居住している場合において、要介護者以外に別の人が室内にいるか否かを推定することができる。
あるいは、例えば、要介護者が複数人居住している部屋の場合には、居住人数よりも多い人が居るか否かを推定することができる。
ここでは、例えば、要介護者が個室で居住している場合において、要介護者以外に別の人が室内にいると推定された場合には、要介護者とともに、その家族、友人、介護者が室内に居ることが想定される。
このため、要介護者を介護できる人が居ると推定されるため、この場合には、見守り表示制御の対象外とすることができる。
ここでは、姿勢推定部における推定の結果、例えば、室内のベッド以外の位置において、要介護者が臥位の状態と推定される場合には、介護を必要としていると判断し、緊急時であることが分かるように、第1ダミー画像の色を通常時とは別の色に変化させる。
これにより、表示装置における表示を見た介護者等は、緊急時であるか否かを、容易に認識することができる。
これにより、表示装置における表示を見た介護者等は、緊急時であるか否かを、容易に認識することができる。
ここでは、画像データ上に姿勢推定によって選択された第1ダミー画像を重ねて表示する際に、例えば、介護を必要としている状態と判定された場合には、画像データとともに緊急メッセージを表示装置に表示させる。
これにより、画像情報とともに文字情報によって、介護者等へ緊急時であることを認識させることができる。
これにより、姿勢推定に用いられる画像データとして、検出方向が異なる複数の画像データを用いることができるため、要介護者等の人体の姿勢をより正確に推定することができる。
ここでは、姿勢推定部において推定される人体の姿勢のうち、立位姿勢、座位姿勢、背臥位姿勢、側臥位姿勢、腹臥位姿勢、中腰位姿勢の少なくとも1つに対応する第1ダミー画像を用いる。
これにより、例えば、要介護者等の姿勢を細分化した状態で推定して、それに対応する第1ダミー画像を画像データに重ねて表示することができる。
これにより、例えば、室内に設置されたベッド、布団、タンス、テーブル、椅子、簡易トイレ等の位置に第2ダミー画像を重ねて表示することで、室内に居る介護者がどの位置で何をしているのかを推定しやすくすることができる。
ここでは、上述した表示制御装置と、室内に設置された画像センサとを含む表示制御システムを構成する。
ここでは、上述した表示制御装置、画像センサ、表示装置を含む表示制御システムを構成する。
これにより、上述のように、例えば、介護者等は、表示装置に表示された要介護者等の姿勢を示す第1ダミー画像を表示装置で確認して、要介護者が介護を必要としている状態であるか否かを、効果的かつ高精度に認識することが可能なシステムを構築することができる。
ここでは、制御部において表示制御される表示装置として、例えば、介護者が使用する集中管理室に設置されたホスト端末、あるいは介護者が所有している携帯端末を用いる。
ここでは、室内に設置される画像センサとして、室内を上方・側方からそれぞれ検出する2つの画像センサを用いる。
これにより、姿勢推定に用いられる画像データとして、検出方向が異なる2種類の画像データを用いることができるため、要介護者等の人体の姿勢をより正確に推定することができる。
ここでは、室内に設置される画像センサとして、赤外線アレイカメラ、距離センサのいずれかを用いる。
また、画像センサによって検出される要介護者や介護者等の個人を識別することが困難になるため、要介護者や介護者等のプライバシーの問題も解消することができる。
ここでは、例えば、要介護者の状態を確認するために、室内に設置された画像センサから取得された画像データを用いて室内に居る人(要介護者等)の姿勢を推定し、その姿勢を簡易的に示す第1ダミー画像を、画像データ上に重ねて表示させる。
ここで、室内に設置された画像センサは、単数であってもよいし、複数であってもよい。そして、画像センサの設置場所としては、室内に居る要介護者等を検出可能な位置、例えば、天井や壁面等が考えられる。また、画像センサとしては、監視カメラ等の撮像装置を用いてもよいし、赤外線センサ、距離センサ等を用いてもよい。
第1ダミー画像は、推定される人の姿勢に対応する人の形を簡易的に示す画像であって、例えば、立位、座位、臥位等、複数の姿勢に対応する複数種類の画像が用意される。そして、各第1ダミー画像は、各姿勢に関連付けされた状態で、装置内の記憶手段に保存されていてもよいし、外部装置(サーバ、クラウド等)に保存されていてもよい。
これにより、制御ステップでは、姿勢推定ステップにおいて推定された姿勢に対応する第1ダミー画像を、画像取得ステップにおいて取得された画像データに重ねて表示するように、表示装置を制御することができる。
よって、例えば、表示装置における表示を見た介護者等は、表示装置に表示された要介護者等の姿勢を簡易的に示す第1ダミー画像を見て、要介護者が介護を必要としている状態であるか否かを、効果的かつ高精度に認識することができる。
ここで、室内に設置された画像センサは、単数であってもよいし、複数であってもよい。そして、画像センサの設置場所としては、室内に居る要介護者等を検出可能な位置、例えば、天井や壁面等が考えられる。また、画像センサとしては、監視カメラ等の撮像装置を用いてもよいし、赤外線センサ、距離センサ等を用いてもよい。
第1ダミー画像は、推定される人の姿勢に対応する人の形を簡易的に示す画像であって、例えば、立位、座位、臥位等、複数の姿勢に対応する複数種類の画像が用意される。そして、各第1ダミー画像は、各姿勢に関連付けされた状態で、装置内の記憶手段に保存されていてもよいし、外部装置(サーバ、クラウド等)に保存されていてもよい。
これにより、制御ステップでは、姿勢推定ステップにおいて推定された姿勢に対応する第1ダミー画像を、画像取得ステップにおいて取得された画像データに重ねて表示するように、表示装置を制御することができる。
よって、例えば、表示装置における表示を見た介護者等は、表示装置に表示された要介護者等の姿勢を簡易的に示す第1ダミー画像を見て、要介護者が介護を必要としている状態であるか否かを、効果的かつ高精度に認識することができる。
ここで、室内に設置された画像センサは、単数であってもよいし、複数であってもよい。そして、画像センサの設置場所としては、室内に居る要介護者等を検出可能な位置、例えば、天井や壁面等が考えられる。また、画像センサとしては、監視カメラ等の撮像装置を用いてもよいし、赤外線センサ、距離センサ等を用いてもよい。
第1ダミー画像は、推定される人の姿勢に対応する人の形を簡易的に示す画像であって、例えば、立位、座位、臥位等、複数の姿勢に対応する複数種類の画像が用意される。そして、各第1ダミー画像は、各姿勢に関連付けされた状態で、装置内の記憶手段に保存されていてもよいし、外部装置(サーバ、クラウド等)に保存されていてもよい。
これにより、制御ステップでは、姿勢推定ステップにおいて推定された姿勢に対応する第1ダミー画像を、画像取得ステップにおいて取得された画像データに重ねて表示するように、表示装置を制御することができる。
1.表示制御システム20の構成
本実施形態に係る表示制御システム20は、例えば、介護施設や病院等のように、日常生活において介護を必要とする要介護者を監視しつつ、要介護者の状態を介護者へ正確に認識させるためのシステムである。そして、表示制御システム20は、図1に示すように、表示制御装置10と、赤外線アレイセンサ21a,21bと、表示装置22とを備えている。
室内30には、ベッド31、車椅子32等の室内設備が設置されており、要介護者P1の居住空間が形成されている。なお、室内の座標系X−Y−Zは、図2に示す通りである。
ここで、本実施形態の表示制御装置10では、室内30の要介護者P1の見守りをするために、赤外線画像G1(図12参照)を用いている。これにより、例えば、監視カメラ画像を用いて見守りを行う場合と比較して、要介護者P1のプライバシーを保護しながら見守りを行うことができる。
赤外線アレイセンサ21a,21bは、図2に示すように、室内30の天井30aに取り付けられており、室内30に居る要介護者P1を上方から撮像する。
赤外線アレイセンサ21b(第2画像センサ)は、図2に示すように、室内30の壁面30bに取り付けられており、室内30にいる要介護者P1を側方から撮像する。
なお、赤外線アレイセンサ21bは、図3(b)に示すように、壁面30bではなく、棚33等の室内設備に埋め込まれるように設置されていてもよい。
なお、赤外線アレイセンサ21a,21bにおいて撮像された赤外線画像データは、画素値が高いほど撮像領域の温度が高く、画素値が低いほど撮像領域の温度が低いという特徴を有している。つまり、人体が存在する領域は温度が高いため、人体を撮像した領域の画素の値は高くなる。よって、赤外線画像データから、画素値が高い領域を見つけることによって、人体が存在する領域(温度が高い領域)を特定することができる。
ホストコンピュータ22aは、例えば、介護施設における介護者の詰所等に設置される。これにより、介護者は、複数の要介護者P1の様子を遠隔で確認することができる。
これにより、介護者が別の要介護者P1の部屋に居るときや移動中であっても、携帯端末22bに画像を送信することで、緊急時には要介護者P1の元へすぐに駆けつけることができる。
本実施形態の表示制御装置10は、図1に示すように、画像取得部11と、姿勢推定部12と、制御部13と、記憶部14と、判定部15と、人数推定部16と、を備えている。
画像取得部11は、2つの赤外線アレイセンサ21a,21bによって撮像された赤外線画像データを、赤外線アレイセンサ21a,21bから取得する。
なお、姿勢推定部12による姿勢推定については、遷移モデルを用いた公知の方法(特許文献1参照)を用いて行われる(後段にて説明)。そして、姿勢推定部12において推定される要介護者P1の姿勢としては、例えば、立位姿勢、座位姿勢、背臥位姿勢、側臥位姿勢、腹臥位姿勢、中腰位姿勢等が含まれる。
ここで、ダミー画像D1とは、姿勢推定された要介護者P1の姿・形を簡易的に示す画像であって、複数種類の姿勢に対応する画像が用意されている。本実施形態では、要介護者P1を上方、側方から撮像した画像に重ね合わせるために、それぞれの方向に応じたダミー画像D1が用意されている。
記憶部14は、画像取得部11において取得された赤外線画像データを保存するとともに、姿勢推定部12において推定された要介護者P1の複数種類の姿勢に対応する複数のダミー画像D1を関連付けて保存する。
なお、記憶部14に保存される要介護者P1の姿勢に対応するダミー画像D1としては、例えば、立位姿勢、座位姿勢、背臥位姿勢、側臥位姿勢、腹臥位姿勢、中腰位姿勢等に対応する画像が含まれる。
例えば、立位姿勢に対して、上方から撮像した赤外線画像G1に重ねるためのダミー画像D1、側方から撮像した赤外線画像G1に重ねるためのダミー画像D1が設けられていればよい。その他の姿勢についても同様に、上方からの赤外線画像G1、側方からの赤外線画像G1に対応するダミー画像D1が、記憶部14に保存されている。
具体的には、判定部15は、例えば、連続して取得された複数の赤外線画像G1(動画像)を参照して、画像中のチラつきの変化、熱源の拡大等を検出して、介護の緊急度を判定する。
反対に、要介護者P1の姿勢が座位姿勢であって、画像取得部11において連続的に取得された複数の画像中のチラつきの変化が大きい場合には、要介護者P1が座位姿勢のまま着替え、あるいは携帯端末の操作等の動作をしていると推測される。
また、姿勢推定部12において推定された要介護者P1の姿勢が臥位姿勢であって、画像取得部11において連続的に取得された複数の画像中の熱源が拡大した場合には、要介護者P1が嘔吐している可能性が高い(図21(b)参照)。
ここで、警告表示の例としては、表示装置22において、ダミー画像D1の点滅表示、色を変化させて表示、文字情報を併用した警告等が考えられる。色を変化させる場合には、例えば、ダミー画像D1の通常の表示色から赤色へ変化させればよい。また、文字情報を併用した警告表示としては、例えば、「要介護者が介護を必要としています!」等の文字表示を併用すればよい。また、ビープ音等の警告音を表示と併用してもよい。
具体的には、人数推定部16は、赤外線画像G1に含まれる人間の頭部と推定される高温部分を検出して、その数を計数することで、室内30に居る人の数を推定する。
なお、人数推定部16において推定された室内30の人数は、制御部13に送信される。制御部13は、人数推定部16において推定された室内30の人数が2人以上である場合には、表示装置22の表示制御を実施しない。
よって、本実施形態の表示制御装置10では、室内30に要介護者P1以外の人がいる場合、つまり、人数推定部16における推定が2人以上である場合には、表示装置22に対する表示制御を実施しない。
3−1.姿勢推定
本実施形態の表示制御装置10では、上述したように、画像取得部11が、2つの赤外線アレイセンサ21a,21bによってそれぞれ撮像された赤外線画像データをする。そして、姿勢推定部12が、画像取得部11において取得された上方から室内30を撮像した赤外線画像G1と側方から室内30を撮像した赤外線画像G1とを用いて、要介護者P1の姿勢を推定する。
すなわち、姿勢推定部12は、人体の姿勢の遷移モデルにおける各姿勢での赤外線画像データ(上方および側方)の検査領域を表わす領域情報と、各姿勢に遷移したかを判定するための基準値を表わす基準値情報とを含む検査情報を用いて姿勢推定を行う。
なお、遷移モデル情報および検査情報は、現時点の人体の姿勢を推定するために用いられる。
領域RV1は、赤外線画像データの全領域、つまり0≦X≦15、0≦Y≦15の範囲の領域である。
領域RV3は、ベッド31に対応する領域、つまり3≦X≦6、3≦Y≦10の範囲の領域である。
図7および図8は、赤外線アレイセンサ21bによって壁面30b(側方)から撮像された赤外線画像データおよびその検査領域を説明するための図である。赤外線画像データは、X方向に16画素、Z方向に16画素から構成される。
領域RH2の鉛直方向(Z方向)の範囲は、全範囲である。領域RH2の水平方向(X方向)の範囲は、ベッド31に対応する範囲(11≦X≦15)に隣接する位置から所定の幅(3画素)の範囲である。したがって、領域RH2は、8≦X≦10、0≦Z≦15の範囲の領域である。
領域RH4の鉛直方向(Z方向)の範囲は、ベッド31に対応する範囲の上方の境界に隣接する位置から所定の幅(3画素)の範囲である。領域RH4の水平方向(X方向)の範囲は、ベッド31に対応する範囲と同じ範囲である。したがって、領域RH4は、11≦X≦15、7≦Z≦9の範囲の領域である。
領域RH6の水平方向の範囲は、全範囲からベッド31に対応する範囲を除く範囲である。領域RH6の鉛直方向の範囲は、所定の位置(Z=12)から上方に向かって所定の幅(3画素)の範囲である。したがって、領域RH6は、0≦X≦10、10≦Z≦12の範囲の領域である。
監視対象者である要介護者P1が、室内30に不在(A)を初期状態とする。
姿勢(B)の次の姿勢は、ベッド31横で立位(C)、転倒(X)、室内に不在(A)、または元の姿勢(B)のいずれかである。
姿勢(C)の次の姿勢は、ベッド31上で臥位(D)、ベッド31上で座位(E)、ベッド31端で座位(F)、転倒(X)、室内に滞在(B)、または元の姿勢(C)のいずれかである。
姿勢(E)の次の姿勢は、ベッド31上で臥位(D)、ベッド31端で座位(F)、ベッド31横で立位(C)、ベッド31上から転落(第1パターン)(Y1)、または元の姿勢(E)のいずれかである。
室内30に不在(A)へ遷移したかどうかを判定するためには、赤外線アレイセンサ21a,21bによって、上方から撮像された赤外線画像データの領域RV1の統計量と、側方から撮像された赤外線画像データの領域RH1の統計量との和が算出される。この統計量の和が、基準値THA以上のときに、姿勢(A)に遷移したと判定される。
室内30に滞在(B)へ遷移したかどうかを判定するためには、赤外線アレイセンサ21a,21bによって、上方から撮像された赤外線画像データの領域RV1の統計量と、側方から撮像された赤外線画像データの領域RH1の統計量との和が算出される。この統計量の和が、基準値THB以上のときに、姿勢(B)に遷移したと判定される。
ベッド31上で臥位(D)へ遷移したかどうかを判定するためには、赤外線アレイセンサ21a,21bによって、上方から撮像された赤外線画像データの領域RV3の統計量と、側方から設蔵された赤外線画像データの領域RH4の統計量との和が算出される。この統計量の和が、基準値THD以上のときに、姿勢(D)に遷移したと判定される。
ベッド31端で座位(F)へ遷移したかどうかを判定するためには、赤外線アレイセンサ21a,21bによって、上方から撮像された赤外線画像データの領域RV3の統計量と、側方から撮像された赤外線画像データの領域RH2の統計量との和が算出される。この統計量の和が、基準値THF以上のときに、姿勢(F)に遷移したと判定される。
ここで、ベッド31から転落(第1パターン)(Y1)へ遷移したかどうかを判定するために、赤外線アレイセンサ21a,21bによって、上方から撮像された赤外線画像データの領域RV2の統計量と、側方から撮像された赤外線画像データの領域RH6の統計量との和が算出される。この統計量の和が、基準値THY1以上のときに、姿勢(Y1)に遷移したと判定される。
また、ベッド31から転落(第2パターン)(Y2)へ遷移したかどうかを判定するために、赤外線アレイセンサ21a,21bによって、上方から撮像された赤外線画像データの領域RV2の統計量と、側方から撮像された赤外線画像データの領域RH6の統計量との和が算出される。この統計量の和が、基準値THY2以上のときに、姿勢(Y2)に遷移したと判定される。
なお、この判定に領域RH6が用いられる理由は、ベッド31から転落(第1パターン)と同じである。
本実施形態の表示制御装置10では、上述した姿勢推定の結果、推定された要介護者P1の姿勢に基づいて、記憶部14に保存された各姿勢に対応するダミー画像D1を赤外線画像G1に重ねて表示するように、表示装置22を制御する。
より詳細には、赤外線画像G1において、頭部、顔の部分は、人体における高い位置にあることが多く、かつ常時露出していることが多いため温度が高い部分として表される。よって、赤外線画像G1における頭部、顔の部分と推定される位置を基準にして、ダミー画像D1の頭部、顔の部分を重ねるように位置合わせを行い、表示装置22に表示させる。
本実施形態の表示制御装置10は、図13に示すフローチャートに従って、表示制御を実施する。
すなわち、ステップS11では、画像取得部11が、2つの赤外線アレイセンサ21a,21bを用いて室内30を上方および側方から撮像した赤外線画像G1を取得する。
次に、ステップS13では、人数推定部16において推定された室内30に居る人の数が1人であるか否かを判定する。ここで、1人である場合には、ステップS14へ進む。一方、2人以上である場合には、室内30に要介護者P1以外の人が居て介護可能な状態と判断して、表示制御処理を終了する。
次に、ステップS15では、制御部13が、ステップS14において推定された要介護者P1の姿勢(例えば、立位等)に対応するダミー画像D1を、記憶部14から読み出す。
これにより、介護者は、表示装置22に表示される要介護者P1の姿勢を認識するとともに、異常の有無を容易に判断することができる。
本実施形態の表示制御装置10では、図13のフローチャートのステップS14における姿勢推定について、図14に示すフローチャートに従って実施する。
すなわち、ステップS11において、2つの赤外線アレイセンサ21a,21bから赤外線画像G1を取得した後、ステップS21では、赤外線画像G1中の要介護者P1の姿勢が転倒・転落であるか否かを判定する。ここで、転倒・転落であると判定された場合には、ステップS22へ進む。一方、転倒・転落ではないと判定された場合には、転倒・転落以外の姿勢であるため、ステップS23へ進む。
次に、ステップS23では、赤外線画像G1中の要介護者P1がベッドサイドにいるか否かを判定する。ここで、要介護者P1がベッドサイドに居ると判定された場合には、ステップS24へ進む。一方、要介護者P1がベッドサイドには居ないと判定された場合には、ステップS25へ進む。
次に、ステップS25では、赤外線画像G1中の要介護者P1がベッド上にいるか否かを判定する。ここで、要介護者P1がベッド上に居ると判定された場合には、ステップS26へ進む。一方、要介護者P1がベッド上には居ないと判定された場合には、ステップS29へ進む。
次に、ステップS27では、姿勢推定部12が、ステップS26における判定の結果、要介護者P1はベッド上で座位姿勢であると判定する。
次に、ステップS29では、要介護者P1がベッドサイド、ベッド上のいずれにも居ないために、赤外線画像G1内の測定領域内に居るか否かを判定する。ここで、要介護者P1が測定領域内にいると判定された場合には、ステップS30へ進む。一方、要介護者P1が測定領域外にいると判定された場合には、ステップS31へ進む。
次に、ステップS31では、再び、要介護者P1がベッド上に居ないかを確認する。ここで、要介護者P1がベッド上にいると判定されると、ステップS33へ進む。一方、ベッド上に居ないと判定されると、ステップS32へ進む。
次に、ステップS33では、ステップS32において、要介護者P1がベッド上に居ると判定されているため、例えば、布団をかけた状態の臥位姿勢であると判定される。
4−1.立位姿勢
図15(a)および図15(b)に示すように、要介護者P1が立位位姿勢である場合には、要介護者P1が立っている状態を示すダミー画像D1が赤外線画像G1に重ねて表示される。
一方、図15(b)に示すように、側方から室内30を撮像した赤外線アレイセンサ21bから取得された赤外線画像G1上では、要介護者P1を横から撮像しているため、要介護者P1の全身を表示するダミー画像D1が使用される。
これにより、介護者は、室内30におけるどの位置に要介護者P1が居るのかをベッド31等の室内設備の位置を参照しながら認識することができる。
図16(a)および図16(b)に示すように、要介護者P1が座位姿勢である場合には、要介護者P1が車椅子や椅子に座っている状態を示すダミー画像D1が赤外線画像G1に重ねて表示される。
具体的には、図16(a)に示すように、上方から室内30を撮像した赤外線アレイセンサ21aから取得された赤外線画像G1上では、要介護者P1を頭上から撮像しているため、頭部や肩の部分に加えて足の部分が平面視で表示されるダミー画像D1が使用される。
一方、図16(b)に示すように、側方から室内30を撮像した赤外線アレイセンサ21bから取得された赤外線画像G1上では、要介護者P1を横から撮像しているため、要介護者P1が身体を屈曲させた姿勢を表示するダミー画像D1が使用される。
図17(a)および図17(b)に示すように、要介護者P1がベッド31上で寝ている臥位姿勢である場合には、要介護者P1がベッド31上で寝ている状態を示すダミー画像D1が赤外線画像G1に重ねて表示される。
具体的には、図17(a)に示すように、上方から室内30を撮像した赤外線アレイセンサ21aから取得された赤外線画像G1上では、寝ている要介護者P1を上方から撮像しているため、要介護者P1の全身が表示されるダミー画像D1が使用される。
一方、図17(b)に示すように、側方から室内30を撮像した赤外線アレイセンサ21bから取得された赤外線画像G1上では、要介護者P1を横から撮像しているため、要介護者P1がベッド31上で寝ている臥位姿勢を表示するダミー画像D1が使用される。
なお、図17(a)と同様に、ベッド31上で寝ている要介護者P1が布団をかけている場合には、図17(b)に示すように、赤外線画像G1上では布団をかけた部分は温度が低い部分として表示され、頭部だけが温度が高い部分として表示される。
図18(a)および図18(b)に示すように、要介護者P1がベッド31上で寝ている臥位姿勢であって、布団(ダミー画像D3)をめくっている場合には、要介護者P1がベッド31上で寝ている状態を示すダミー画像D1が赤外線画像G1に重ねて表示される。
なお、ベッド31上で寝ている要介護者P1が布団(ダミー画像D3)を下半身にかけている場合には、図18(a)に示すように、赤外線画像G1上では布団をかけた部分は温度が低い部分として表示され、上半身だけが温度が高い部分として表示される。
なお、図18(a)と同様に、ベッド31上で寝ている要介護者P1が下半身に布団をかけている場合には、図18(b)に示すように、赤外線画像G1上では布団をかけた部分は温度が低い部分として表示され、上半身だけが温度が高い部分として表示される。
図19(a)および図19(b)に示すように、要介護者P1がベッド31の横で転倒した臥位姿勢である場合には、要介護者P1がベッド31(ダミー画像D2)横で倒れている状態を示すダミー画像D1が赤外線画像G1に重ねて表示される。
具体的には、図19(a)に示すように、上方から室内30を撮像した赤外線アレイセンサ21aから取得された赤外線画像G1上では、ベッド31の横で倒れている要介護者P1を上方から撮像しているため、要介護者P1の全身が表示されるダミー画像D1が使用される。
一方、図19(b)に示すように、側方から室内30を撮像した赤外線アレイセンサ21bから取得された赤外線画像G1上では、要介護者P1を横から撮像しているため、要介護者P1がベッド31の下で寝ている臥位姿勢を表示するダミー画像D1が使用される。
これにより、介護者は、図19(a)および図19(b)に示す赤外線画像G1を確認して、すぐに緊急で介護が必要な状態であると認識することができる。
図20(a)および図20(b)に示すように、要介護者P1がベッド31の横で座位姿勢である場合には、要介護者P1がベッド31(ダミー画像D2)横で転倒してぐったりしている状態を示すダミー画像D1が赤外線画像G1に重ねて表示される。
具体的には、図20(a)に示すように、上方から室内30を撮像した赤外線アレイセンサ21aから取得された赤外線画像G1上では、ベッド31の横で座り込んでいる要介護者P1を上方から撮像しているため、要介護者P1の頭部、肩、足の部分が平面視で表示されるダミー画像D1が使用される。
一方、図20(b)に示すように、側方から室内30を撮像した赤外線アレイセンサ21bから取得された赤外線画像G1上では、要介護者P1を横から撮像しているため、要介護者P1がベッド31の横でぐったりして座り込んでいる座位姿勢を表示するダミー画像D1が使用される。
これにより、介護者は、図20(a)および図20(b)に示す赤外線画像G1を確認して、すぐに緊急で介護が必要な状態であると認識することができる。
なお、ベッド31の横で座位姿勢にある要介護者P1の緊急度は、連続的に取得された赤外線画像G1を確認して、動きが確認されるか否かで判断してもよい。
図21(a)に示すように、要介護者P1が臥位姿勢であって、連続的に取得された赤外線画像においてチラつきが小さい場合には、要介護者P1が寝ている可能性が高い。
また、図22(a)に示すように、要介護者P1が臥位姿勢であって、連続的に取得された赤外線画像において、要介護者P1の上半身付近にチラつきが大きいチラつき領域G1aが検出された場合には、要介護者P1が起き上がろうとしている動作をしている可能性が高い。
この場合には、要介護者P1が起き上がる補助をする必要があるため、判定部15は、介護を必要としている状態であると判定する。
すなわち、判定部15は、連続的に取得された赤外線画像中の画像のチラつきに基づく判定を行う際には、画像中の熱重心の位置の揺らぎに応じて、判定を行う。
具体的には、例えば、赤外線画像G1中の室温よりも所定値以上温度が高い領域を切り取って、切り取った領域内の画素のXY方向における位置の平均値を取って熱重心の位置を求める。そして、この熱重心の位置が、所定の閾値よりも移動するか否か(揺らぎ)に応じて、介護を必要としている緊急度合いとして判定すればよい。
逆に、熱重心の位置の変化が所定の閾値よりも大きい場合には、例えば、要介護者が着替えをしている、携帯端末を操作している等、介護を必要としていない状態であると判定することができる。
この結果、介護者は、表示装置22に表示された要介護者P1の画像を見て、介護を必要としているか否かを的確に判断することができる。
図21(b)に示すように、要介護者P1が臥位姿勢であって、連続的に取得された赤外線画像において頭部付近の熱源が拡大する熱源拡大領域G1bが検出された場合には、要介護者P1が寝ている状態で嘔吐した可能性が高い。
制御部13は、姿勢推定部12における姿勢推定の結果および判定部15における介護緊急度の判定結果を踏まえて、図21(b)に示すように、ダミー画像D1の色を変化させる、あるいは点滅させる等の表示制御を行う。
これにより、介護者は、表示装置22に表示された画面を確認して、要介護者P1が臥位姿勢であって、緊急で介護が必要な状態であることを容易に認識することができる。
図23に示すように、要介護者P1が車椅子のダミー画像(第2ダミー画像)D4に座位した姿勢であって、連続的に取得された赤外線画像において、車椅子32を示すダミー画像D4上の要介護者P1の上半身付近にチラつきが大きいチラつき領域G1aが検出された場合には、要介護者P1が着替え動作をしている可能性が高い。
反対に、要介護者P1が車椅子32に座位した姿勢であって、連続的に取得された赤外線画像において、要介護者P1の上半身付近に所定時間以上チラつきがほとんどない場合には、要介護者P1が車椅子に座った状態でぐったりしているおそれがある。
この場合には、制御部13は、姿勢推定部12における姿勢推定の結果および判定部15における介護緊急度の判定結果を踏まえて、ダミー画像D1の色を変化させる、あるいは点滅させる等の表示制御を行う。
これにより、介護者は、要介護者P1が車椅子上で静止している状態が長いことを認識して、要介護者P1の部屋へ駆けつけることができる。
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
上記実施形態では、上述した表示制御方法を実施する表示制御装置10およびこれを備えた表示制御システム20として、本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、上述した表示制御方法として、本発明を実現してもよい。
あるいは、上述した表示制御方法をコンピュータに実行させる表示制御プログラムとして、本発明を実現してもよい。さらには、この表示制御プログラムを格納した記録媒体として、本発明を実現してもよい。
いずれの実現手段によっても、上記と同様の効果を得ることができる。
上記実施形態では、図1に示すように、要介護者P1の各姿勢に対応するダミー画像D1を保存する記憶部14を備えた表示制御装置10を例として挙げて説明した。しかし、本発明はこれに限定されるものではない。
すなわち、本発明の表示制御装置は、外部の記憶手段(クラウド空間、サーバ装置等)からダミー画像を読み出して使用する構成であれば、装置内に記憶部を持たない構成であってもよい。
上記実施形態では、表示装置22に対して、赤外線画像G1上にダミー画像D1を重ね合わせて表示させる例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図25(a)および図25(b)に示すように、「○○○号室 XXさん 異常発生」等の文字情報を、画像情報と併せて表示させてもよい。
この場合には、介護者に対して、介護の緊急度合いをより分かりやすく表示することができる。
なお、これらの文字情報は、要介護者の介護の緊急度を判定する判定部における判定結果に対応する複数の文字情報が予め記憶部14等へ保存されていればよい。
上記実施形態では、第1・第2画像センサとして、図2に示すように、赤外線アレイセンサ21a,21bを天井と側面とに設けた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、画像センサを天井だけ、あるいは側面だけに設けた構成であってもよいし、人体を斜めから撮像する画像センサを用いてもよい。
ただし、人体の姿勢を正確に判定するためには、上記実施形態のように、天井と側面とにそれぞれ画像センサを設けた構成とすることが好ましい。
上記実施形態では、画像取得部11に画像を送信する画像センサとして、温度分布を検知する赤外線アレイセンサ21a,21bを用いた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、画像センサとしては、監視カメラ、距離センサ等の他の画像センサを用いることもできる。
上記実施形態では、複数の要介護者P1の介護を行う介護施設等における見守りに、本発明の表示制御装置10および表示制御システム20を適用した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
あるいは、一人暮らしの高齢者の見守りに、本発明を適用してもよい。
この場合には、高齢者と離れて暮らす子供の携帯端末を表示装置として用いることで、遠隔地から見守りを行うことができる。
11 画像取得部
12 姿勢推定部
13 制御部
14 記憶部
15 判定部
16 人数推定部
20 表示制御システム
21a 赤外線アレイセンサ(第1画像センサ)(天井)
21b 赤外線アレイセンサ(第2画像センサ)(側方)
22 表示装置
22a ホストコンピュータ(表示装置)
22b 携帯端末(表示装置)
30 室内
30a 天井
30b 壁面
31 ベッド
32 車椅子
33 棚
110 表示制御装置
114 クラウド空間
120 表示制御システム
G1 赤外線画像(画像)
G1a チラつき領域
G1b 熱源拡大領域
D1 ダミー画像(要介護者)(第1ダミー画像)
D2 ダミー画像(ベッド)(第2ダミー画像)
D3 ダミー画像(布団)(第2ダミー画像)
D4 ダミー画像(車椅子)(第2ダミー画像)
P1 要介護者(人体)
Claims (20)
- 室内に設置された画像センサによって検出された画像データを取得する画像取得部と、
前記画像取得部において取得された前記画像データに基づいて、前記室内に居る人体の姿勢を推定する姿勢推定部と、
前記姿勢推定部において推定された前記人体の姿勢を簡易的に示す第1ダミー画像が、前記画像データ上に重ねて表示されるように、表示装置を制御する制御部と、
を備え、
前記制御部は、前記画像データに含まれる前記人体の頭部あるいは顔の位置を基準にして、前記第1ダミー画像の頭部あるいは顔の部分を重ねて表示させる、
表示制御装置。 - 前記人体の姿勢ごとに対応付けされた状態で複数の前記第1ダミー画像を保存する記憶部を、さらに備えている、
請求項1に記載の表示制御装置。 - 前記画像取得部において連続的に取得された複数の前記画像データを参照して、前記画像データ中の前記人体付近の画像のチラつきに応じて、介護者に対して要介護者が介護を必要としているか否かを示す介護の緊急度を判定する判定部を、さらに備え、
前記制御部は、前記判定部において判定された介護の緊急度に基づいて、前記表示装置に警告表示をさせる、
請求項1または2に記載の表示制御装置。 - 前記画像センサは、熱画像を取得する赤外線センサであって、
前記判定部は、前記赤外線センサにおいて連続的に取得された前記熱画像中の前記人体付近の領域における熱重心の位置の揺らぎの程度に応じて判定を行う、
請求項3に記載の表示制御装置。 - 前記画像センサは、熱画像を取得する赤外線センサであって、
前記判定部は、前記赤外線センサにおいて連続的に取得された前記熱画像中の前記人体付近の領域における熱源の拡大を検出して判定を行う、
請求項3に記載の表示制御装置。 - 前記画像取得部において取得された前記画像データに含まれ、監視対象となっている室内に居る人の数を推定する人数推定部を、さらに備え、
前記制御部は、前記人数推定部における推定の結果、前記画像データ中の人数が1人であると判定した場合に、前記表示装置の表示制御を行う、
請求項1から5のいずれか1項に記載の表示制御装置。 - 前記制御部は、前記姿勢推定部における推定結果に応じて、前記表示装置において前記第1ダミー画像の色を変化させる、
請求項1から6のいずれか1項に記載の表示制御装置。 - 前記制御部は、前記姿勢推定部における推定結果に応じて、前記表示装置において前記第1ダミー画像を点滅表示させる、
請求項1から7のいずれか1項に記載の表示制御装置。 - 前記制御部は、前記姿勢推定部における推定結果に応じて、前記画像データ上に前記第1ダミー画像を重ねた表示とともに、緊急メッセージを前記表示装置に表示させる、
請求項1から8のいずれか1項に記載の表示制御装置。 - 前記姿勢推定部は、前記室内に居る人体を異なる方向から検出する複数の前記画像センサにおける検出結果を用いて、前記姿勢を推定する、
請求項1から9のいずれか1項に記載の表示制御装置。 - 前記制御部は、前記人体の立位姿勢、座位姿勢、背臥位姿勢、側臥位姿勢、腹臥位姿勢、中腰位姿勢の少なくとも1つに対応する前記第1ダミー画像を前記画像データに重ねて前記表示装置に表示させる、
請求項1から10のいずれか1項に記載の表示制御装置。 - 前記制御部は、前記室内に設置された家具、室内設備に対応する第2ダミー画像を、前記画像データ中の前記家具、前記室内設備の位置に重ねるように表示させる、
請求項1から11のいずれか1項に記載の表示制御装置。 - 請求項1から12のいずれか1項に記載の表示制御装置と、
前記画像取得部に対して前記画像データを供給する画像センサと、
を備えた表示制御システム。 - 前記表示制御装置の前記制御部によって表示制御される表示装置を、さらに備えている、
請求項13に記載の表示制御システム。 - 前記表示装置には、前記室内に居る人の介護を行う介護者が使用するホスト端末の表示装置、あるいは前記介護者が所有する携帯端末が含まれる、
請求項14に記載の表示制御システム。 - 前記画像センサは、前記人体を、前記室内における上方から検出する第1画像センサと、側方から検出する第2画像センサとを含む、
請求項13から15のいずれか1項に記載の表示制御システム。 - 前記画像センサは、赤外線アレイセンサ、距離センサのいずれかである、
請求項13から16のいずれか1項に記載の表示制御システム。 - 室内に設置された画像センサによって検出された画像データを取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記画像データに基づいて、前記室内に居る人体の姿勢を推定する姿勢推定ステップと、
前記姿勢推定ステップにおいて推定された前記人体の姿勢を簡易的に示す第1ダミー画像が、前記画像データ上に重ねて表示されるとともに、前記画像データに含まれる前記人体の頭部あるいは顔の位置を基準にして、前記第1ダミー画像の頭部あるいは顔の部分を重ねて表示させるように、表示装置を制御する制御ステップと、
を備えた表示制御方法。 - 室内に設置された画像センサによって検出された画像データを取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記画像データに基づいて、前記室内に居る人体の姿勢を推定する姿勢推定ステップと、
前記姿勢推定ステップにおいて推定された前記人体の姿勢を簡易的に示す第1ダミー画像が、前記画像データ上に重ねて表示されるとともに、前記画像データに含まれる前記人体の頭部あるいは顔の位置を基準にして、前記第1ダミー画像の頭部あるいは顔の部分を重ねて表示させるように、表示装置を制御する制御ステップと、
を備えた表示制御方法をコンピュータに実行させる表示制御プログラム。 - 室内に設置された画像センサによって検出された画像データを取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記画像データに基づいて、前記室内に居る人体の姿勢を推定する姿勢推定ステップと、
前記姿勢推定ステップにおいて推定された前記人体の姿勢を簡易的に示す第1ダミー画像が、前記画像データ上に重ねて表示されるとともに、前記画像データに含まれる前記人体の頭部あるいは顔の位置を基準にして、前記第1ダミー画像の頭部あるいは顔の部分を重ねて表示させるように、表示装置を制御する制御ステップと、
を備えた表示制御方法をコンピュータに実行させる表示制御プログラムを記憶した記録媒体。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016113457A JP6520831B2 (ja) | 2016-06-07 | 2016-06-07 | 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体 |
EP17809874.5A EP3468180B1 (en) | 2016-06-07 | 2017-02-21 | Display control device, display control system, display control method, display control program, and recording medium |
CN201780002917.7A CN107925748B (zh) | 2016-06-07 | 2017-02-21 | 显示控制装置、显示控制系统、显示控制方法、记录介质 |
US15/755,596 US10973441B2 (en) | 2016-06-07 | 2017-02-21 | Display control device, display control system, display control method, display control program, and recording medium |
KR1020187005409A KR101999934B1 (ko) | 2016-06-07 | 2017-02-21 | 표시 제어 장치, 표시 제어 시스템, 표시 제어 방법, 표시 제어 프로그램, 기록 매체 |
PCT/JP2017/006350 WO2017212690A1 (ja) | 2016-06-07 | 2017-02-21 | 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016113457A JP6520831B2 (ja) | 2016-06-07 | 2016-06-07 | 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017220779A JP2017220779A (ja) | 2017-12-14 |
JP6520831B2 true JP6520831B2 (ja) | 2019-05-29 |
Family
ID=60578449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016113457A Active JP6520831B2 (ja) | 2016-06-07 | 2016-06-07 | 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10973441B2 (ja) |
EP (1) | EP3468180B1 (ja) |
JP (1) | JP6520831B2 (ja) |
KR (1) | KR101999934B1 (ja) |
CN (1) | CN107925748B (ja) |
WO (1) | WO2017212690A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7210872B2 (ja) * | 2017-07-19 | 2023-01-24 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置及び画像処理プログラム |
US10553099B2 (en) * | 2017-08-07 | 2020-02-04 | Ricoh Company, Ltd. | Information providing apparatus and information providing system |
JP7340771B2 (ja) * | 2018-05-28 | 2023-09-08 | パナソニックIpマネジメント株式会社 | 生体検知装置、生体検知方法、記録媒体、およびプログラム |
JP2019219903A (ja) * | 2018-06-20 | 2019-12-26 | 株式会社三陽電設 | トイレ使用状態監視装置 |
JP7199086B2 (ja) * | 2018-10-10 | 2023-01-05 | ファミリーイナダ株式会社 | 防犯システム及びこの防犯システムを備えたマッサージ機 |
JP7289664B2 (ja) * | 2019-02-04 | 2023-06-12 | 旭化成ホームズ株式会社 | 位置特定システム、携帯端末、位置特定システムの利用方法、位置特定方法およびプログラム |
CN110123272A (zh) * | 2019-04-24 | 2019-08-16 | 佛山市宝瑞通光电科技有限公司 | 基于人体感知的人员监测方法及装置 |
CN113034849A (zh) * | 2019-12-25 | 2021-06-25 | 海信集团有限公司 | 婴儿看护设备、看护方法及存储介质 |
US20210334983A1 (en) * | 2020-04-27 | 2021-10-28 | Industrial Technology Research Institute | Image monitoring apparatus and method |
JP6797344B1 (ja) * | 2020-07-10 | 2020-12-09 | 三菱電機株式会社 | 学習装置、活用装置、プログラム、学習方法及び活用方法 |
JP7142955B2 (ja) * | 2020-07-15 | 2022-09-28 | アルスデザインアソシエイツ株式会社 | 監視システム、監視方法、及びプログラム |
US20230230379A1 (en) * | 2022-01-19 | 2023-07-20 | Target Brands, Inc. | Safety compliance system and method |
Family Cites Families (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5455287A (en) | 1977-10-11 | 1979-05-02 | Toshiba Corp | Assembly tool for fuel assembly |
US6400374B2 (en) * | 1996-09-18 | 2002-06-04 | Eyematic Interfaces, Inc. | Video superposition system and method |
JP2000251078A (ja) * | 1998-12-22 | 2000-09-14 | Atr Media Integration & Communications Res Lab | 人物の3次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置 |
US6486473B2 (en) * | 2000-03-02 | 2002-11-26 | Mine Safety Applicances Company | Thermal imaging camera |
JP3918530B2 (ja) * | 2001-11-28 | 2007-05-23 | カシオ計算機株式会社 | 画像出力装置、画像出力処理プログラム、及び画像出力方法 |
US8675059B2 (en) * | 2010-07-29 | 2014-03-18 | Careview Communications, Inc. | System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients |
JP4581512B2 (ja) * | 2004-07-02 | 2010-11-17 | オムロン株式会社 | 3次元画像処理装置、光軸調整方法、光軸調整支援方法 |
US20080136916A1 (en) * | 2005-01-26 | 2008-06-12 | Robin Quincey Wolff | Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system |
JP2006259930A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 表示装置およびその制御方法、表示装置を備えた電子機器、表示装置制御プログラム、ならびに該プログラムを記録した記録媒体 |
JP2007153035A (ja) * | 2005-12-01 | 2007-06-21 | Auto Network Gijutsu Kenkyusho:Kk | 乗員着座判定システム |
US20080244978A1 (en) * | 2007-04-05 | 2008-10-09 | Rahmi Soyugenc | Motorized security revolving door |
US8374438B1 (en) * | 2007-10-04 | 2013-02-12 | Redshift Systems Corporation | Visual template-based thermal inspection system |
AU2009281762A1 (en) * | 2008-08-15 | 2010-02-18 | Brown University | Method and apparatus for estimating body shape |
EP2348980A4 (en) * | 2008-10-13 | 2012-06-20 | George Papaioannou | DYNAMIC BIPLANARY X-RAY STEREOPHOTOGRAMMETRY ANALYSIS |
TWI388205B (zh) * | 2008-12-19 | 2013-03-01 | Ind Tech Res Inst | 目標追蹤之方法與裝置 |
JP2010237873A (ja) * | 2009-03-30 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | 姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラム |
US8339583B2 (en) * | 2009-07-17 | 2012-12-25 | The Boeing Company | Visual detection of clear air turbulence |
US8121472B2 (en) * | 2009-09-10 | 2012-02-21 | Babak Forutanpour | Signal measurements employed to affect photographic parameters |
JP5648840B2 (ja) | 2009-09-17 | 2015-01-07 | 清水建設株式会社 | ベッド上及び室内の見守りシステム |
US8520901B2 (en) * | 2010-06-11 | 2013-08-27 | Namco Bandai Games Inc. | Image generation system, image generation method, and information storage medium |
JP5771778B2 (ja) * | 2010-06-30 | 2015-09-02 | パナソニックIpマネジメント株式会社 | 監視装置、プログラム |
JP2012065263A (ja) * | 2010-09-17 | 2012-03-29 | Olympus Imaging Corp | 撮影機器 |
WO2012077286A1 (ja) * | 2010-12-09 | 2012-06-14 | パナソニック株式会社 | 物体検出装置および物体検出方法 |
US9412161B2 (en) * | 2011-01-25 | 2016-08-09 | Novartis Ag | Systems and methods for medical use of motion imaging and capture |
WO2012115878A1 (en) * | 2011-02-22 | 2012-08-30 | Flir Systems, Inc. | Infrared sensor systems and methods |
US9259289B2 (en) * | 2011-05-13 | 2016-02-16 | Intuitive Surgical Operations, Inc. | Estimation of a position and orientation of a frame used in controlling movement of a tool |
KR20130042844A (ko) | 2011-10-19 | 2013-04-29 | 인하대학교 산학협력단 | 자세 보정 시스템 |
JP5877053B2 (ja) | 2011-12-14 | 2016-03-02 | パナソニック株式会社 | 姿勢推定装置および姿勢推定方法 |
DE102012201591A1 (de) | 2012-02-03 | 2013-08-08 | Robert Bosch Gmbh | Auswertevorrichtung für ein Überwachungssystem sowie Überwachungssystem mit der Auswertevorrichtung |
US9510799B2 (en) * | 2012-06-11 | 2016-12-06 | Konica Minolta, Inc. | Medical imaging system and medical image processing apparatus |
CN102855470B (zh) * | 2012-07-31 | 2015-04-08 | 中国科学院自动化研究所 | 基于深度图像的人体姿态估计方法 |
JP6167563B2 (ja) * | 2013-02-28 | 2017-07-26 | ノーリツプレシジョン株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
US20140287395A1 (en) * | 2013-03-25 | 2014-09-25 | Vcom3D, Inc. | Method and system for medical skills training |
JP6141079B2 (ja) * | 2013-04-08 | 2017-06-07 | キヤノン株式会社 | 画像処理システム、画像処理装置、それらの制御方法、及びプログラム |
US20160217326A1 (en) * | 2013-07-03 | 2016-07-28 | Nec Corporation | Fall detection device, fall detection method, fall detection camera and computer program |
US20150123966A1 (en) * | 2013-10-03 | 2015-05-07 | Compedia - Software And Hardware Development Limited | Interactive augmented virtual reality and perceptual computing platform |
JP6351285B2 (ja) * | 2014-02-13 | 2018-07-04 | キヤノン株式会社 | 画像形成装置、及び画像形成装置の制御方法 |
CN104850219A (zh) * | 2014-02-19 | 2015-08-19 | 北京三星通信技术研究有限公司 | 估计附着物体的人体姿势的设备和方法 |
US9779508B2 (en) * | 2014-03-26 | 2017-10-03 | Microsoft Technology Licensing, Llc | Real-time three-dimensional reconstruction of a scene from a single camera |
JP6312512B2 (ja) | 2014-04-23 | 2018-04-18 | 博司 佐久田 | 遠隔見守りシステム |
WO2015174228A1 (ja) * | 2014-05-13 | 2015-11-19 | オムロン株式会社 | 姿勢推定装置、姿勢推定システム、姿勢推定方法、姿勢推定プログラム、および姿勢推定プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2016103237A (ja) * | 2014-11-28 | 2016-06-02 | クラリオン株式会社 | 見守りシステム |
CN105865636B (zh) * | 2015-02-06 | 2022-01-11 | 松下知识产权经营株式会社 | 红外线检测装置 |
US10076840B2 (en) * | 2015-04-03 | 2018-09-18 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
JP2016202252A (ja) * | 2015-04-15 | 2016-12-08 | キヤノン株式会社 | 放射線撮影システム、放射線撮影システムの制御方法およびプログラム |
JP6508626B2 (ja) * | 2015-06-16 | 2019-05-08 | オリンパス株式会社 | 撮像装置、処理プログラム、撮像方法 |
US20190206036A1 (en) * | 2017-12-20 | 2019-07-04 | Al Analysis, Inc. | Method and system that use super flicker to facilitate image comparison |
-
2016
- 2016-06-07 JP JP2016113457A patent/JP6520831B2/ja active Active
-
2017
- 2017-02-21 US US15/755,596 patent/US10973441B2/en active Active
- 2017-02-21 CN CN201780002917.7A patent/CN107925748B/zh active Active
- 2017-02-21 WO PCT/JP2017/006350 patent/WO2017212690A1/ja unknown
- 2017-02-21 EP EP17809874.5A patent/EP3468180B1/en active Active
- 2017-02-21 KR KR1020187005409A patent/KR101999934B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
CN107925748B (zh) | 2020-04-28 |
JP2017220779A (ja) | 2017-12-14 |
EP3468180A1 (en) | 2019-04-10 |
EP3468180B1 (en) | 2020-06-24 |
KR101999934B1 (ko) | 2019-07-12 |
KR20180033270A (ko) | 2018-04-02 |
EP3468180A4 (en) | 2019-10-09 |
US20200221977A1 (en) | 2020-07-16 |
CN107925748A (zh) | 2018-04-17 |
WO2017212690A1 (ja) | 2017-12-14 |
US10973441B2 (en) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6520831B2 (ja) | 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体 | |
US10904492B2 (en) | Video monitoring system | |
US20150281659A1 (en) | Image transmission or recording triggered by bed event | |
JP5858940B2 (ja) | 離床監視システム | |
JP6806145B2 (ja) | 被監視者監視システムおよび被監視者監視方法 | |
JP6852733B2 (ja) | 生体監視装置及び生体監視方法 | |
KR101712191B1 (ko) | 환자 낙상예방 모니터링 장치 | |
JP7120238B2 (ja) | 発報制御システム、検知ユニット、ケアサポートシステムおよび発報制御方法 | |
JP6904336B2 (ja) | 被監視者監視システムおよび被監視者監視方法 | |
JP2020113016A (ja) | 見守りシステム、見守り方法及びプログラム。 | |
JP7183788B2 (ja) | 行動判定装置及び行動判定方法 | |
EP3466336A1 (en) | Breathing abnormality detection device and breathing abnormality detection method | |
WO2020145130A1 (ja) | 見守りシステム、見守り方法及びプログラム。 | |
JP6611871B1 (ja) | 監視装置 | |
JP6908028B2 (ja) | 被監視者監視装置、該方法、該システムおよびプログラム | |
JP7259540B2 (ja) | 判定装置、判定装置の制御プログラム、および判定方法 | |
JP7268604B2 (ja) | 被監視者監視支援装置、被監視者監視支援システム、被監視者監視支援方法、および、被監視者監視支援プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6520831 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |