JP6520831B2 - 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体 - Google Patents

表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体 Download PDF

Info

Publication number
JP6520831B2
JP6520831B2 JP2016113457A JP2016113457A JP6520831B2 JP 6520831 B2 JP6520831 B2 JP 6520831B2 JP 2016113457 A JP2016113457 A JP 2016113457A JP 2016113457 A JP2016113457 A JP 2016113457A JP 6520831 B2 JP6520831 B2 JP 6520831B2
Authority
JP
Japan
Prior art keywords
image
posture
display control
image data
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016113457A
Other languages
English (en)
Other versions
JP2017220779A (ja
Inventor
田中 純一
純一 田中
正利 大場
正利 大場
冨実二 相田
冨実二 相田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2016113457A priority Critical patent/JP6520831B2/ja
Priority to EP17809874.5A priority patent/EP3468180B1/en
Priority to CN201780002917.7A priority patent/CN107925748B/zh
Priority to US15/755,596 priority patent/US10973441B2/en
Priority to KR1020187005409A priority patent/KR101999934B1/ko
Priority to PCT/JP2017/006350 priority patent/WO2017212690A1/ja
Publication of JP2017220779A publication Critical patent/JP2017220779A/ja
Application granted granted Critical
Publication of JP6520831B2 publication Critical patent/JP6520831B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0469Presence detectors to detect unsafe condition, e.g. infrared sensor, microphone
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0415Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting absence of activity per se
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176Recognition of faces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6889Rooms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744Displaying an avatar, e.g. an animated cartoon character
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G12/00Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0446Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0476Cameras to detect unsafe condition, e.g. video cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19686Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19691Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound

Description

本発明は、例えば、室内に設けられた画像センサにおける検出結果を用いて要介護者が介護を必要としている状況を、表示装置に表示させる表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体に関する。
近年、高齢者等の介護を必要とする人(要介護者)の室内における挙動を監視して、介護が必要な状況であるか否かを表示する装置が用いられている。
例えば、特許文献1には、人体の姿勢の遷移モデルを表す情報と遷移モデルの各姿勢での画像データの検査領域を表す検査情報とを参照して算出される画像データの検査領域での統計量に基づいて、姿勢推定を行う姿勢推定装置について開示されている。
この姿勢推定装置によれば、画像処理を用いる従来の装置よりも少ないデータ処理量で人体の姿勢を推定することができる。
しかしながら、上記従来の姿勢推定装置では、以下に示すような問題点を有している。
すなわち、上記公報に開示された姿勢推定装置では、要介護者等の人体の姿勢を少ないデータ処理量で推定することができるものの、要介護者が介護を必要としている状態であるか否かを正確に認識することは難しい。
特開2015−231517号公報
本発明の課題は、例えば、要介護者が介護を必要としている状況を、効果的に介護者に認識させることが可能な表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体を提供することにある。
第1の発明に係る表示制御装置は、画像取得部と、姿勢推定部と、制御部と、を備えている。画像取得部は、室内に設置された画像センサによって検出された画像データを取得する。姿勢推定部は、画像取得部において取得された画像データに基づいて、室内に居る人体の姿勢を推定する。制御部は、姿勢推定部において推定された人体の姿勢を簡易的に示す第1ダミー画像が、画像データ上に重ねて表示されるように、表示装置を制御する。
ここでは、例えば、要介護者の状態を確認する見守りを実施するために、室内に設置された画像センサから取得された画像データを用いて室内に居る人(要介護者等)の姿勢を推定し、その姿勢を簡易的に示す第1ダミー画像を、画像データ上に重ねて表示させる。
ここで、見守り表示制御の対象となる室内の人体は、例えば、高齢者や身体障害者等のように日常生活に介護を必要とする要介護者だけでなく、健常者やペット(動物)等も含まれる。
そして、室内に設置された画像センサは、単数であってもよいし、複数であってもよい。そして、画像センサの設置場所としては、室内に居る要介護者等を検出可能な位置、例えば、天井や壁面等が考えられる。また、画像センサとしては、監視カメラ等の撮像装置を用いてもよいし、赤外線センサ、距離センサ等を用いてもよい。
また、画像データを用いた姿勢推定は、例えば、人体の姿勢の遷移モデルを用いて画像データの検査領域における統計量を算出し、この統計量に基づいて1時点前の人体の姿勢から現時点の人体の姿勢を推定する公知の手法を用いればよい(特許文献1参照)。
第1ダミー画像は、推定される人の姿勢に対応する人の形を簡易的に示す画像であって、例えば、立位、座位、臥位等、複数の姿勢に対応する複数種類の画像が用意される。そして、各第1ダミー画像は、各姿勢に関連付けされた状態で、装置内の記憶手段に保存されていてもよいし、外部装置(サーバ、クラウド等)に保存されていてもよい。
また、制御部によって表示制御される表示装置としては、例えば、介護施設や病院等で使用される際には、介護者や看護師が常駐する集中管理室のモニタ、あるいは介護者や看護師が携帯する携帯端末等を用いることができる。
これにより、制御部では、姿勢推定部において推定された姿勢に対応する第1ダミー画像を、画像取得部において取得された画像データに重ねて表示するように、表示装置を制御することができる。
よって、例えば、表示装置における表示を見た介護者等は、表示装置に表示された要介護者等の姿勢を簡易的に示す第1ダミー画像を見て、要介護者が介護を必要としている状態であるか否かを、効果的かつ高精度に認識することができる。
第2の発明に係る表示制御装置は、第1の発明に係る表示制御装置であって、人体の姿勢ごとに対応付けされた状態で複数の第1ダミー画像を保存する記憶部を、さらに備えている。
ここでは、複数の第1ダミー画像を保存する記憶部を、装置内に設けている。
これにより、制御部は、装置内の記憶部に保存された複数の第1ダミー画像の中から、姿勢推定部において推定された姿勢に対応する第1ダミー画像を取り出して、画像データに重ねて表示させることができる。
第3の発明に係る表示制御装置は、第1または第2の発明に係る表示制御装置であって、制御部は、画像データに含まれる人体の頭部あるいは顔の位置を基準にして、第1ダミー画像の頭部あるいは顔の部分を重ねて表示させる。
ここでは、画像データ上にダミー画像を重ねる際には、画像データにおいて検出される人体の頭部あるいは顔の位置を基準にして、第1ダミー画像の頭部あるいは顔の位置を重ねて表示させる。
ここで、画像データ中における頭部あるいは顔の検出は、例えば、カメラ画像であれば目の位置、赤外線画像であれば温度が高い位置、等を検出して設定することができる。
これにより、頭部あるいは顔の部分を基準にして、人体の姿勢に合わせて選択された第1ダミー画像を画像データに重ねて表示させることができる。
第4の発明に係る表示制御装置は、第1から第3の発明のいずれか1つに係る表示制御装置であって、画像取得部において連続的に取得された複数の画像データを参照して、画像データ中の人体付近の画像のチラつきに応じて、介護の緊急度を判定する判定部を、さらに備えている。
ここでは、画像取得部において連続的に取得された動画等の画像データを用いて、画像データ中の人体付近の画像のチラつきが大きいか小さいかによって、画像データに含まれる人(要介護者)が介護を必要としているか否かを判定する。
ここで、介護を必要としているか否かの判定は、例えば、座位の要介護者について、連続的に取得された画像データの人体付近の画像のチラつきがほとんど見られない状態で所定時間以上経過している等で判定することができる。
逆に、例えば、座位の要介護者について、連続的に取得された画像データの人体付近の画像のチラつきが見られる場合には、要介護者が着替えをしている、携帯端末を操作している等、介護を必要としていない状態であると判定することができる。
これにより、動画等の連続的に取得された画像データにおける画像のチラつきを参照することで、要介護者の姿勢に基づく判定よりも正確に、要介護者が介護を必要としているか否かを判定することができる。
第5の発明に係る表示制御装置は、第4の発明に係る表示制御装置であって、画像センサは、熱画像を取得する赤外線センサである。判定部は、赤外線センサにおいて連続的に取得された熱画像中の人体付近の領域における熱重心の位置の揺らぎの程度に応じて判定を行う。
ここでは、画像センサとして赤外線センサを用いた場合において、上述した連続的に取得された画像データ中の画像のチラつきに基づく判定を行う際には、赤外線センサによって取得された熱画像中の熱重心の位置の揺らぎに応じて、判定を行う。
これにより、画像センサとして赤外線センサを用いた場合でも、熱画像の特性を生かして、例えば、熱重心の位置の変化が所定の閾値よりも小さい場合に、介護を必要としている状態と判定することができる。
逆に、熱重心の位置の変化が所定の閾値よりも大きい場合には、例えば、要介護者が着替えをしている、携帯端末を操作している等、介護を必要としていない状態であると判定することができる。
第6の発明に係る表示制御装置は、第4の発明に係る表示制御装置であって、画像センサは、熱画像を取得する赤外線センサである。判定部は、赤外線センサにおいて連続的に取得された熱画像中の人体付近の領域における熱源の拡大を検出して判定を行う。
ここでは、画像センサとして赤外線センサを用いた場合において、上述した連続的に取得された画像データ中の熱源の拡大を検出して、判定を行う。
これにより、例えば、要介護者が嘔吐した状態にあることを、赤外線センサによって連続的に取得された熱画像を用いて介護者に認識させることができる。
第7の発明に係る表示制御装置は、第1から第6の発明のいずれか1つに係る表示制御装置であって、画像取得部において取得された画像データに含まれる人の数を推定する人数推定部を、さらに備えている。
ここでは、人数推定部によって、画像センサによって検出される室内に居る人の数を推定する。
これにより、例えば、要介護者が個室で居住している場合において、要介護者以外に別の人が室内にいるか否かを推定することができる。
あるいは、例えば、要介護者が複数人居住している部屋の場合には、居住人数よりも多い人が居るか否かを推定することができる。
第8の発明に係る表示制御装置は、第7の発明に係る表示制御装置であって、制御部は、人数推定部における推定の結果、画像データ中の人数が1人であると判定した場合に、表示制御を行う。
ここでは、例えば、要介護者が個室で居住している場合において、要介護者以外に別の人が室内にいると推定された場合には、要介護者とともに、その家族、友人、介護者が室内に居ることが想定される。
このため、要介護者を介護できる人が居ると推定されるため、この場合には、見守り表示制御の対象外とすることができる。
第9の発明に係る表示制御装置は、第1から第8の発明のいずれか1つに係る表示制御装置であって、制御部は、姿勢推定部における推定結果に応じて、表示装置において第1ダミー画像の色を変化させる。
ここでは、姿勢推定部における推定の結果、例えば、室内のベッド以外の位置において、要介護者が臥位の状態と推定される場合には、介護を必要としていると判断し、緊急時であることが分かるように、第1ダミー画像の色を通常時とは別の色に変化させる。
ここで、第1ダミー画像の色としては、例えば、通常時は白黒表示とし、介護を必要とするような緊急時には赤色、黄色等に変化させることが好ましい。
これにより、表示装置における表示を見た介護者等は、緊急時であるか否かを、容易に認識することができる。
第10の発明に係る表示制御装置は、第1から第9の発明のいずれか1つに係る表示制御装置であって、制御部は、姿勢推定部における推定結果に応じて、表示装置において第1ダミー画像を点滅表示させる。
ここでは、姿勢推定部における推定の結果、例えば、室内のベッド以外の位置において、要介護者が臥位の状態と推定される場合には、介護を必要としていると判断し、緊急時であることが分かるように、第1ダミー画像を点滅表示させる。
これにより、表示装置における表示を見た介護者等は、緊急時であるか否かを、容易に認識することができる。
第11の発明に係る表示制御装置は、第1から第10の発明のいずれか1つに係る表示制御装置であって、制御部は、姿勢推定部における推定結果に応じて、画像データ上に第1ダミー画像を重ねた表示とともに、緊急メッセージを表示装置に表示させる。
ここでは、画像データ上に姿勢推定によって選択された第1ダミー画像を重ねて表示する際に、例えば、介護を必要としている状態と判定された場合には、画像データとともに緊急メッセージを表示装置に表示させる。
これにより、画像情報とともに文字情報によって、介護者等へ緊急時であることを認識させることができる。
第12の発明に係る表示制御装置は、第1から第11の発明のいずれか1つに係る表示制御装置であって、姿勢推定部は、室内に居る人体を異なる方向から検出する複数の画像センサにおける検出結果を用いて、姿勢を推定する。
ここでは、室内に設置される画像センサとして、室内を異なる方向(例えば、上方・側方等)からそれぞれ検出する複数の画像センサを用いる。
これにより、姿勢推定に用いられる画像データとして、検出方向が異なる複数の画像データを用いることができるため、要介護者等の人体の姿勢をより正確に推定することができる。
第13の発明に係る表示制御装置は、第1から第12の発明のいずれか1つに係る表示制御装置であって、制御部は、人体の立位姿勢、座位姿勢、背臥位姿勢、側臥位姿勢、腹臥位姿勢、中腰位姿勢の少なくとも1つに対応する第1ダミー画像を画像データに重ねて表示装置に表示させる。
ここでは、姿勢推定部において推定される人体の姿勢のうち、立位姿勢、座位姿勢、背臥位姿勢、側臥位姿勢、腹臥位姿勢、中腰位姿勢の少なくとも1つに対応する第1ダミー画像を用いる。
これにより、例えば、要介護者等の姿勢を細分化した状態で推定して、それに対応する第1ダミー画像を画像データに重ねて表示することができる。
第14の発明に係る表示制御装置は、第1から第13の発明のいずれか1つに係る表示制御装置であって、制御部は、室内に設置された家具、室内設備に対応する第2ダミー画像を、画像データ中の家具、室内設備の位置に重ねるように表示させる。
ここでは、人体の姿勢ごとに対応する複数の第1ダミー画像に加えて、室内に設置された家具や設備に対応する第2ダミー画像を用いて、画像データに重ねて表示装置に表示させる。
これにより、例えば、室内に設置されたベッド、布団、タンス、テーブル、椅子、簡易トイレ等の位置に第2ダミー画像を重ねて表示することで、室内に居る介護者がどの位置で何をしているのかを推定しやすくすることができる。
第15の発明に係る表示制御システムは、第1から第14の発明のいずれか1つに係る表示制御装置と、画像取得部に対して画像データを供給する画像センサと、を備えている。
ここでは、上述した表示制御装置と、室内に設置された画像センサとを含む表示制御システムを構成する。
これにより、上述のように、例えば、介護者等は、表示装置に表示された要介護者等の姿勢を示す第1ダミー画像を見て、要介護者が介護を必要としている状態であるか否かを、効果的かつ高精度に認識することが可能なシステムを構築することができる。
第16の発明に係る表示制御システムは、第15の発明に係る表示制御システムであって、表示制御装置の制御部によって表示制御される表示装置を、さらに備えている。
ここでは、上述した表示制御装置、画像センサ、表示装置を含む表示制御システムを構成する。
これにより、上述のように、例えば、介護者等は、表示装置に表示された要介護者等の姿勢を示す第1ダミー画像を表示装置で確認して、要介護者が介護を必要としている状態であるか否かを、効果的かつ高精度に認識することが可能なシステムを構築することができる。
第17の発明に係る表示制御システムは、第16の発明に係る表示制御システムであって、表示装置には、室内に居る人の介護を行う介護者が使用するホスト端末の表示装置、あるいは介護者が所有する携帯端末が含まれる。
ここでは、制御部において表示制御される表示装置として、例えば、介護者が使用する集中管理室に設置されたホスト端末、あるいは介護者が所有している携帯端末を用いる。
これにより、例えば、介護者等は、室内に居る要介護者が介護を必要としている状態であるか否かを、第1ダミー画像が重ねられた画像データを、ホスト端末や携帯端末等で見ることで、容易に認識することができる。
第18の発明に係る表示制御システムは、第15から第17の発明のいずれか1つに係る表示制御システムであって、画像センサは、人体を、室内における上方から検出する第1画像センサと、側方から検出する第2画像センサとを含む。
ここでは、室内に設置される画像センサとして、室内を上方・側方からそれぞれ検出する2つの画像センサを用いる。
これにより、姿勢推定に用いられる画像データとして、検出方向が異なる2種類の画像データを用いることができるため、要介護者等の人体の姿勢をより正確に推定することができる。
第19の発明に係る表示制御システムは、第15から第18の発明のいずれか1つに係る表示制御システムであって、画像センサは、赤外線アレイセンサ、距離センサのいずれかである。
ここでは、室内に設置される画像センサとして、赤外線アレイカメラ、距離センサのいずれかを用いる。
これにより、画像センサとして監視カメラ等の撮像装置を用いる場合と比較して、姿勢推定や第1ダミー画像を重ねる際の処理負担を軽減することができる。
また、画像センサによって検出される要介護者や介護者等の個人を識別することが困難になるため、要介護者や介護者等のプライバシーの問題も解消することができる。
第20の発明に係る表示制御方法は、画像取得ステップと、姿勢推定ステップと、制御ステップと、を備えている。画像取得ステップは、室内に設置された画像センサによって検出された画像データを取得する。姿勢推定ステップは、画像取得ステップにおいて取得された画像データに基づいて、室内に居る人体の姿勢を推定する。制御ステップは、姿勢推定ステップにおいて推定された人体の姿勢を簡易的に示す第1ダミー画像が、画像データ上に重ねて表示されるように、表示装置を制御する。
ここでは、例えば、要介護者の状態を確認するために、室内に設置された画像センサから取得された画像データを用いて室内に居る人(要介護者等)の姿勢を推定し、その姿勢を簡易的に示す第1ダミー画像を、画像データ上に重ねて表示させる。
ここで、室内に設置された画像センサは、単数であってもよいし、複数であってもよい。そして、画像センサの設置場所としては、室内に居る要介護者等を検出可能な位置、例えば、天井や壁面等が考えられる。また、画像センサとしては、監視カメラ等の撮像装置を用いてもよいし、赤外線センサ、距離センサ等を用いてもよい。
また、画像データを用いた姿勢推定は、例えば、人体の姿勢の遷移モデルを用いて画像データの検査領域における統計量を算出し、この統計量に基づいて1時点前の人体の姿勢から現時点の人体の姿勢を推定する公知の手法を用いればよい(特許文献1参照)。
第1ダミー画像は、推定される人の姿勢に対応する人の形を簡易的に示す画像であって、例えば、立位、座位、臥位等、複数の姿勢に対応する複数種類の画像が用意される。そして、各第1ダミー画像は、各姿勢に関連付けされた状態で、装置内の記憶手段に保存されていてもよいし、外部装置(サーバ、クラウド等)に保存されていてもよい。
また、制御ステップにおいて表示制御される表示装置としては、例えば、介護施設や病院等で使用される際には、介護者や看護師が常駐する集中管理室のモニタ、あるいは介護者や看護師が携帯する携帯端末等を用いることができる。
これにより、制御ステップでは、姿勢推定ステップにおいて推定された姿勢に対応する第1ダミー画像を、画像取得ステップにおいて取得された画像データに重ねて表示するように、表示装置を制御することができる。
よって、例えば、表示装置における表示を見た介護者等は、表示装置に表示された要介護者等の姿勢を簡易的に示す第1ダミー画像を見て、要介護者が介護を必要としている状態であるか否かを、効果的かつ高精度に認識することができる。
第21の発明に係る表示制御プログラムは、画像取得ステップと、姿勢推定ステップと、制御ステップと、を備えた表示制御方法をコンピュータに実行させる。画像取得ステップは、室内に設置された画像センサによって検出された画像データを取得する。姿勢推定ステップは、画像取得ステップにおいて取得された画像データに基づいて、室内に居る人体の姿勢を推定する。制御ステップは、姿勢推定ステップにおいて推定された人体の姿勢を簡易的に示す第1ダミー画像が、画像データ上に重ねて表示されるように、表示装置を制御する。
ここでは、上記表示制御方法をコンピュータに実行させる表示制御プログラムであって、例えば、要介護者の状態を確認するために、室内に設置された画像センサから取得された画像データを用いて室内に居る人(要介護者等)の姿勢を推定し、その姿勢を簡易的に示す第1ダミー画像を、画像データ上に重ねて表示させる。
ここで、室内に設置された画像センサは、単数であってもよいし、複数であってもよい。そして、画像センサの設置場所としては、室内に居る要介護者等を検出可能な位置、例えば、天井や壁面等が考えられる。また、画像センサとしては、監視カメラ等の撮像装置を用いてもよいし、赤外線センサ、距離センサ等を用いてもよい。
また、画像データを用いた姿勢推定は、例えば、人体の姿勢の遷移モデルを用いて画像データの検査領域における統計量を算出し、この統計量に基づいて1時点前の人体の姿勢から現時点の人体の姿勢を推定する公知の手法を用いればよい(特許文献1参照)。
第1ダミー画像は、推定される人の姿勢に対応する人の形を簡易的に示す画像であって、例えば、立位、座位、臥位等、複数の姿勢に対応する複数種類の画像が用意される。そして、各第1ダミー画像は、各姿勢に関連付けされた状態で、装置内の記憶手段に保存されていてもよいし、外部装置(サーバ、クラウド等)に保存されていてもよい。
また、制御ステップにおいて表示制御される表示装置としては、例えば、介護施設や病院等で使用される際には、介護者や看護師が常駐する集中管理室のモニタ、あるいは介護者や看護師が携帯する携帯端末等を用いることができる。
これにより、制御ステップでは、姿勢推定ステップにおいて推定された姿勢に対応する第1ダミー画像を、画像取得ステップにおいて取得された画像データに重ねて表示するように、表示装置を制御することができる。
よって、例えば、表示装置における表示を見た介護者等は、表示装置に表示された要介護者等の姿勢を簡易的に示す第1ダミー画像を見て、要介護者が介護を必要としている状態であるか否かを、効果的かつ高精度に認識することができる。
第22の発明に係る記録媒体は、画像取得ステップと、姿勢推定ステップと、制御ステップと、を備えた表示制御方法をコンピュータに実行させる表示制御プログラムを記憶している。画像取得ステップは、室内に設置された画像センサによって検出された画像データを取得する。姿勢推定ステップは、画像取得ステップにおいて取得された画像データに基づいて、室内に居る人体の姿勢を推定する。制御ステップは、姿勢推定ステップにおいて推定された人体の姿勢を簡易的に示す第1ダミー画像が、画像データ上に重ねて表示されるように、表示装置を制御する。
ここでは、上記表示制御方法をコンピュータに実行させる表示制御プログラムを保存した記録媒体であって、例えば、要介護者の状態を確認するために、室内に設置された画像センサから取得された画像データを用いて室内に居る人(要介護者等)の姿勢を推定し、その姿勢を簡易的に示す第1ダミー画像を、画像データ上に重ねて表示させる。
ここで、室内に設置された画像センサは、単数であってもよいし、複数であってもよい。そして、画像センサの設置場所としては、室内に居る要介護者等を検出可能な位置、例えば、天井や壁面等が考えられる。また、画像センサとしては、監視カメラ等の撮像装置を用いてもよいし、赤外線センサ、距離センサ等を用いてもよい。
また、画像データを用いた姿勢推定は、例えば、人体の姿勢の遷移モデルを用いて画像データの検査領域における統計量を算出し、この統計量に基づいて1時点前の人体の姿勢から現時点の人体の姿勢を推定する公知の手法を用いればよい(特許文献1参照)。
第1ダミー画像は、推定される人の姿勢に対応する人の形を簡易的に示す画像であって、例えば、立位、座位、臥位等、複数の姿勢に対応する複数種類の画像が用意される。そして、各第1ダミー画像は、各姿勢に関連付けされた状態で、装置内の記憶手段に保存されていてもよいし、外部装置(サーバ、クラウド等)に保存されていてもよい。
また、制御ステップにおいて表示制御される表示装置としては、例えば、介護施設や病院等で使用される際には、介護者や看護師が常駐する集中管理室のモニタ、あるいは介護者や看護師が携帯する携帯端末等を用いることができる。
これにより、制御ステップでは、姿勢推定ステップにおいて推定された姿勢に対応する第1ダミー画像を、画像取得ステップにおいて取得された画像データに重ねて表示するように、表示装置を制御することができる。
よって、例えば、表示装置における表示を見た介護者等は、表示装置に表示された要介護者等の姿勢を簡易的に示す第1ダミー画像を見て、要介護者が介護を必要としている状態であるか否かを、効果的かつ高精度に認識することができる。
本発明に係る表示制御装置によれば、例えば、要介護者が介護を必要としている状況を、効果的に介護者に認識させることができる。
本発明の一実施形態に係る表示制御装置を含む表示制御システムの構成を示すブロック図。 図1の表示制御システムによって表示装置に表示される画像が取得される室内の構成を示す斜視図。 (a)は、図2に示す室内の天井に取り付けられた赤外線アレイセンサを示す図。(b)は、図2に示す室内の棚に取り付けられた赤外線アレイセンサを示す図。 (a)および(b)は、図1の表示制御システムを構成する表示装置の一例(ホストコンピュータ、携帯端末)を示す図。 図1の表示制御装置を構成する姿勢推定部による姿勢推定に用いられる第1画像データおよびその検査領域を説明するための図。 図1の表示制御装置を構成する姿勢推定部による姿勢推定に用いられる第2画像データおよびその検査領域を説明するための図。 図1の表示制御装置を構成する姿勢推定部による姿勢推定に用いられる第1・第2画像データの検査領域を説明するための図。 図1の表示制御装置を構成する姿勢推定部による姿勢推定に用いられる第1・第2画像データの検査領域を説明するための図。 図1の表示制御装置を構成する姿勢推定部によって推定される姿勢の遷移モデルを示す図。 図9の遷移モデル情報を示す図。 図9の遷移モデルにおける各姿勢に対する第1・第2画像データの検査領域を示す領域情報および各姿勢に遷移したかを判定するための基準値を表す基準値情報を示す図。 図1の表示制御システムを構成する表示装置に表示される画像を示す図。 図1の表示制御装置による表示制御の流れを示すフローチャート。 図1の表示制御装置による姿勢推定の流れを示すフローチャート。 (a),(b)は、図2に示す室内に設置された2つの赤外線アレイセンサ(天井、側方)を用いて撮像された立位画像を示す図。 (a),(b)は、図2に示す室内に設置された2つの赤外線アレイセンサ(天井、側方)を用いて撮像された座位画像を示す図。 (a),(b)は、図2に示す室内に設置された2つの赤外線アレイセンサ(天井、側方)を用いて撮像された臥位画像(布団あり)を示す図。 (a),(b)は、図2に示す室内に設置された2つの赤外線アレイセンサ(天井、側方)を用いて撮像された臥位画像(布団めくり)を示す図。 (a),(b)は、図2に示す室内に設置された2つの赤外線アレイセンサ(天井、側方)を用いて撮像された転倒臥位画像(異常発生)を示す図。 (a),(b)は、図2に示す室内に設置された2つの赤外線アレイセンサ(天井、側方)を用いて撮像された転倒座位画像(異常発生)を示す図。 (a)は、図2に示す室内の天井に設置された赤外線アレイセンサを用いて撮像された臥位画像(チラつきなし)を示す図。(b)は、図2に示す室内の天井に設置された赤外線アレイセンサを用いて撮像された臥位画像(頭部付近の熱源拡大)を示す図。 (a)は、図2に示す室内の天井に設置された赤外線アレイセンサを用いて撮像された臥位画像(激しいチラつきあり)を示す図。(b)は、図2に示す室内の天井に設置された赤外線アレイセンサを用いて撮像された臥位画像(布団めくり、激しいチラつきあり)を示す図。 図2に示す室内の側壁に設置された赤外線アレイセンサを用いて撮像された座位画像(激しいチラつきあり)を示す図。 本発明の他の実施形態に係る表示制御装置およびこれを備えた表示制御システムの構成を示すブロック図。 (a),(b)は、本発明のさらに他の実施形態に係る表示制御装置によって表示制御される表示装置の転倒臥位画像(異常発生)と文字情報とを組み合わせた表示を示す図。
本発明の一実施形態に係る表示制御装置10およびこれを備えた表示制御システム20について、図1〜図23を用いて説明すれば以下の通りである。
1.表示制御システム20の構成
本実施形態に係る表示制御システム20は、例えば、介護施設や病院等のように、日常生活において介護を必要とする要介護者を監視しつつ、要介護者の状態を介護者へ正確に認識させるためのシステムである。そして、表示制御システム20は、図1に示すように、表示制御装置10と、赤外線アレイセンサ21a,21bと、表示装置22とを備えている。
ここで、本実施形態の表示制御システム20では、室内30に居る要介護者(人体)P1の見守りを行うために、図2に示すように、室内30の上方および側方から要介護者P1を撮像可能な2つの赤外線アレイセンサ21a,21bを用いている。
室内30には、ベッド31、車椅子32等の室内設備が設置されており、要介護者P1の居住空間が形成されている。なお、室内の座標系X−Y−Zは、図2に示す通りである。
表示制御装置10は、赤外線アレイセンサ21a,21bによって撮像された赤外線画像G1(図12参照)を用いて、室内30に居る要介護者P1が介護を必要とする状態であるか否かを判定し、表示装置22に表示させる。なお、表示制御装置10の詳細な構成については、後段にて詳述する。
ここで、本実施形態の表示制御装置10では、室内30の要介護者P1の見守りをするために、赤外線画像G1(図12参照)を用いている。これにより、例えば、監視カメラ画像を用いて見守りを行う場合と比較して、要介護者P1のプライバシーを保護しながら見守りを行うことができる。
なお、赤外線センサ21a,21bは、撮影した赤外線画像G1における人の顔の部分が2〜6画素になるように設計されている。これにより、画像中の顔の部分を用いた個人認証技術等でも個人を特定できないようにすることで、要介護者P1のプライバシーを保護しつつ、見守りを行うことができる。
赤外線アレイセンサ21a,21bは、図2に示すように、室内30の天井30aに取り付けられており、室内30に居る要介護者P1を上方から撮像する。
なお、赤外線アレイセンサ(第1画像センサ)21aは、図3(a)に示すように、室内30の天井30aに対して直接固定されている。
赤外線アレイセンサ21b(第2画像センサ)は、図2に示すように、室内30の壁面30bに取り付けられており、室内30にいる要介護者P1を側方から撮像する。
なお、赤外線アレイセンサ21bは、図3(b)に示すように、壁面30bではなく、棚33等の室内設備に埋め込まれるように設置されていてもよい。
赤外線アレイセンサ21a,21bにおいて取得された赤外線画像データは、表示制御装置10の画像取得部11に送信される。
なお、赤外線アレイセンサ21a,21bにおいて撮像された赤外線画像データは、画素値が高いほど撮像領域の温度が高く、画素値が低いほど撮像領域の温度が低いという特徴を有している。つまり、人体が存在する領域は温度が高いため、人体を撮像した領域の画素の値は高くなる。よって、赤外線画像データから、画素値が高い領域を見つけることによって、人体が存在する領域(温度が高い領域)を特定することができる。
表示装置22は、例えば、介護施設内に設置されたホストコンピュータ22a(図4(a)参照)のモニタ、携帯端末22b(図4(b)参照)等であって、要介護者P1を撮像した赤外線画像G1(図12参照)を表示する。そして、表示装置22は、表示制御装置10によって表示制御される。
ホストコンピュータ22aは、例えば、介護施設における介護者の詰所等に設置される。これにより、介護者は、複数の要介護者P1の様子を遠隔で確認することができる。
なお、携帯端末22bには、介護者が所有する携帯電話、スマートフォン、タブレット端末等が含まれる。
これにより、介護者が別の要介護者P1の部屋に居るときや移動中であっても、携帯端末22bに画像を送信することで、緊急時には要介護者P1の元へすぐに駆けつけることができる。
2.表示制御装置10の構成
本実施形態の表示制御装置10は、図1に示すように、画像取得部11と、姿勢推定部12と、制御部13と、記憶部14と、判定部15と、人数推定部16と、を備えている。
画像取得部11は、2つの赤外線アレイセンサ21a,21bによって撮像された赤外線画像データを、赤外線アレイセンサ21a,21bから取得する。
姿勢推定部12は、画像取得部11において取得された赤外線画像データを用いて、室内30に居る要介護者P1の姿勢を推定する。
なお、姿勢推定部12による姿勢推定については、遷移モデルを用いた公知の方法(特許文献1参照)を用いて行われる(後段にて説明)。そして、姿勢推定部12において推定される要介護者P1の姿勢としては、例えば、立位姿勢、座位姿勢、背臥位姿勢、側臥位姿勢、腹臥位姿勢、中腰位姿勢等が含まれる。
制御部13は、姿勢推定部12において推定された要介護者P1の姿勢に基づいて、記憶部14に保存された各姿勢に対応するダミー画像(第1ダミー画像)D1(図12参照)を選択する。そして、選択されたダミー画像D1を赤外線画像G1に重ねた状態で、表示装置22に表示させる。
ここで、ダミー画像D1とは、姿勢推定された要介護者P1の姿・形を簡易的に示す画像であって、複数種類の姿勢に対応する画像が用意されている。本実施形態では、要介護者P1を上方、側方から撮像した画像に重ね合わせるために、それぞれの方向に応じたダミー画像D1が用意されている。
なお、制御部13による表示装置22の表示制御については、後段にて詳述する。
記憶部14は、画像取得部11において取得された赤外線画像データを保存するとともに、姿勢推定部12において推定された要介護者P1の複数種類の姿勢に対応する複数のダミー画像D1を関連付けて保存する。
なお、記憶部14に保存される要介護者P1の姿勢に対応するダミー画像D1としては、例えば、立位姿勢、座位姿勢、背臥位姿勢、側臥位姿勢、腹臥位姿勢、中腰位姿勢等に対応する画像が含まれる。
これらのダミー画像D1は、室内30を上方から撮像した赤外線画像G1、側方から撮像した赤外線画像G1のそれぞれの姿勢に対応する種類だけ記憶部14に保存されている。
例えば、立位姿勢に対して、上方から撮像した赤外線画像G1に重ねるためのダミー画像D1、側方から撮像した赤外線画像G1に重ねるためのダミー画像D1が設けられていればよい。その他の姿勢についても同様に、上方からの赤外線画像G1、側方からの赤外線画像G1に対応するダミー画像D1が、記憶部14に保存されている。
判定部15は、画像取得部11において取得された赤外線画像データに基づいて、室内30に居る要介護者P1の介護緊急度を判定する。
具体的には、判定部15は、例えば、連続して取得された複数の赤外線画像G1(動画像)を参照して、画像中のチラつきの変化、熱源の拡大等を検出して、介護の緊急度を判定する。
例えば、姿勢推定部12において推定された要介護者P1の姿勢が座位姿勢であって、画像取得部11において連続的に取得された複数の画像中のチラつきの変化が小さい場合には、要介護者P1が座位姿勢のままぐったりしているおそれがある。
反対に、要介護者P1の姿勢が座位姿勢であって、画像取得部11において連続的に取得された複数の画像中のチラつきの変化が大きい場合には、要介護者P1が座位姿勢のまま着替え、あるいは携帯端末の操作等の動作をしていると推測される。
よって、連続的に取得された複数の赤外線画像G1において同じ姿勢のまま長時間チラつきほとんどない場合には、判定部15は、介護の緊急度が高いと判定し、制御部13は、表示装置22に警告表示をさせる。
また、姿勢推定部12において推定された要介護者P1の姿勢が臥位姿勢であって、画像取得部11において連続的に取得された複数の画像中の熱源が拡大した場合には、要介護者P1が嘔吐している可能性が高い(図21(b)参照)。
よって、この場合には、判定部15は、介護の緊急度が高いと判定し、制御部13は、表示装置22に警告表示をさせる。
ここで、警告表示の例としては、表示装置22において、ダミー画像D1の点滅表示、色を変化させて表示、文字情報を併用した警告等が考えられる。色を変化させる場合には、例えば、ダミー画像D1の通常の表示色から赤色へ変化させればよい。また、文字情報を併用した警告表示としては、例えば、「要介護者が介護を必要としています!」等の文字表示を併用すればよい。また、ビープ音等の警告音を表示と併用してもよい。
人数推定部16は、画像取得部11において取得された赤外線画像データを用いて、室内30に居る人の人数を推定する。
具体的には、人数推定部16は、赤外線画像G1に含まれる人間の頭部と推定される高温部分を検出して、その数を計数することで、室内30に居る人の数を推定する。
なお、人数推定部16において推定された室内30の人数は、制御部13に送信される。制御部13は、人数推定部16において推定された室内30の人数が2人以上である場合には、表示装置22の表示制御を実施しない。
すなわち、本実施形態の表示制御装置10では、例えば、室内30に居住する要介護者P1の人数が通常1人の場合には、要介護者P1以外の人(例えば、介護者や近親者、友人等)が室内30に居る場合には、見守りの監視をする必要性が低いと想定される。
よって、本実施形態の表示制御装置10では、室内30に要介護者P1以外の人がいる場合、つまり、人数推定部16における推定が2人以上である場合には、表示装置22に対する表示制御を実施しない。
3.表示制御の内容
3−1.姿勢推定
本実施形態の表示制御装置10では、上述したように、画像取得部11が、2つの赤外線アレイセンサ21a,21bによってそれぞれ撮像された赤外線画像データをする。そして、姿勢推定部12が、画像取得部11において取得された上方から室内30を撮像した赤外線画像G1と側方から室内30を撮像した赤外線画像G1とを用いて、要介護者P1の姿勢を推定する。
姿勢推定部12における要介護者P1の姿勢の推定は、以下のような手順で行われる。
すなわち、姿勢推定部12は、人体の姿勢の遷移モデルにおける各姿勢での赤外線画像データ(上方および側方)の検査領域を表わす領域情報と、各姿勢に遷移したかを判定するための基準値を表わす基準値情報とを含む検査情報を用いて姿勢推定を行う。
なお、遷移モデル情報および検査情報は、現時点の人体の姿勢を推定するために用いられる。
図5および図6は、赤外線アレイセンサ21aによって天井30a(上方)から撮像された赤外線画像データおよびその検査領域を説明するための図である。赤外線画像データは、X方向に16画素、Y方向に16画素から構成される。
領域RV1は、赤外線画像データの全領域、つまり0≦X≦15、0≦Y≦15の範囲の領域である。
領域RV2は、ベッド31(図2参照)に対応する領域の長手方向の境界に隣接する位置から所定の幅(3画素)の領域、つまり7≦X≦9、3≦Y≦10の範囲の領域である。
領域RV3は、ベッド31に対応する領域、つまり3≦X≦6、3≦Y≦10の範囲の領域である。
領域RV4は、領域RV3を除く領域であって、4つの領域から構成される。第1の領域は、0≦X≦2、0≦Y≦15の範囲の領域である。第2の領域は、7≦X≦15、0≦Y≦15の範囲の領域である。第3の領域は、3≦X≦6、0≦Y≦2の範囲の領域である。第4の領域は、3≦X≦6、11≦Y≦15の範囲の領域である。
図7および図8は、赤外線アレイセンサ21bによって壁面30b(側方)から撮像された赤外線画像データおよびその検査領域を説明するための図である。赤外線画像データは、X方向に16画素、Z方向に16画素から構成される。
領域RH1は、第2の画像データの全領域、つまり0≦X≦15、0≦Z≦15の範囲の領域である。
領域RH2の鉛直方向(Z方向)の範囲は、全範囲である。領域RH2の水平方向(X方向)の範囲は、ベッド31に対応する範囲(11≦X≦15)に隣接する位置から所定の幅(3画素)の範囲である。したがって、領域RH2は、8≦X≦10、0≦Z≦15の範囲の領域である。
領域RH3の鉛直方向(Z方向)の範囲は、ベッド31に対応する範囲の上方の境界に隣接する位置から所定の幅(5画素)の範囲である。領域RH3の水平方向(X方向)の範囲は、ベッド31に対応する範囲と同じ範囲である。したがって、領域RH3は、11≦X≦15、5≦Z≦9の範囲の領域である。
領域RH4の鉛直方向(Z方向)の範囲は、ベッド31に対応する範囲の上方の境界に隣接する位置から所定の幅(3画素)の範囲である。領域RH4の水平方向(X方向)の範囲は、ベッド31に対応する範囲と同じ範囲である。したがって、領域RH4は、11≦X≦15、7≦Z≦9の範囲の領域である。
領域RH5の水平方向の範囲は、全範囲からベッド31に対応する範囲を除く範囲である。領域RH5の鉛直方向の範囲は、最も低い位置(Z=15)から上方に向かって所定の幅(6画素)の範囲である。したがって、領域RH5は、0≦X≦10、10≦Z≦15の範囲の領域である。
領域RH6の水平方向の範囲は、全範囲からベッド31に対応する範囲を除く範囲である。領域RH6の鉛直方向の範囲は、所定の位置(Z=12)から上方に向かって所定の幅(3画素)の範囲である。したがって、領域RH6は、0≦X≦10、10≦Z≦12の範囲の領域である。
図9は、要介護者(人体)P1の姿勢の遷移モデルを表わす図である。図10は、遷移モデル情報を表わす図である。
監視対象者である要介護者P1が、室内30に不在(A)を初期状態とする。
姿勢(A)の次の姿勢は、室内に滞在(B)、または元の姿勢(A)のいずれかである。
姿勢(B)の次の姿勢は、ベッド31横で立位(C)、転倒(X)、室内に不在(A)、または元の姿勢(B)のいずれかである。
姿勢(C)の次の姿勢は、ベッド31上で臥位(D)、ベッド31上で座位(E)、ベッド31端で座位(F)、転倒(X)、室内に滞在(B)、または元の姿勢(C)のいずれかである。
姿勢(D)の次の姿勢は、ベッド31上で座位(E)、ベッド31端で座位(F)、ベッド31横で立位(C)、ベッド31上から転落(第1パターン)(Y1)、または元の姿勢(D)のいずれかである。
姿勢(E)の次の姿勢は、ベッド31上で臥位(D)、ベッド31端で座位(F)、ベッド31横で立位(C)、ベッド31上から転落(第1パターン)(Y1)、または元の姿勢(E)のいずれかである。
姿勢(F)の次の姿勢は、ベッド31上で臥位(D)、ベッド31上で座位(E)、ベッド31横で立位(C)、ベッド31上から転落(第2パターン)(Y2)、または元の姿勢(F)のいずれかである。
図11は、遷移モデルにおける各姿勢での赤外線画像データの検査領域と赤外線画像データの検査領域を表わす領域情報と、各姿勢に遷移したかを判定するための基準値を表わす基準値情報とを表わす図である。
室内30に不在(A)へ遷移したかどうかを判定するためには、赤外線アレイセンサ21a,21bによって、上方から撮像された赤外線画像データの領域RV1の統計量と、側方から撮像された赤外線画像データの領域RH1の統計量との和が算出される。この統計量の和が、基準値THA以上のときに、姿勢(A)に遷移したと判定される。
室内30に滞在(B)へ遷移したかどうかを判定するためには、赤外線アレイセンサ21a,21bによって、上方から撮像された赤外線画像データの領域RV1の統計量と、側方から撮像された赤外線画像データの領域RH1の統計量との和が算出される。この統計量の和が、基準値THB以上のときに、姿勢(B)に遷移したと判定される。
ベッド31横で立位(C)へ遷移したかどうかを判定するためには、赤外線アレイセンサ21a,21bによって、上方から撮像された赤外線画像データの領域RV2の統計量と、側方から撮像された赤外線画像データの領域RH2の統計量との和が算出される。この統計量の和が、基準値THC以上のときに、姿勢(C)に遷移したと判定される。
ベッド31上で臥位(D)へ遷移したかどうかを判定するためには、赤外線アレイセンサ21a,21bによって、上方から撮像された赤外線画像データの領域RV3の統計量と、側方から設蔵された赤外線画像データの領域RH4の統計量との和が算出される。この統計量の和が、基準値THD以上のときに、姿勢(D)に遷移したと判定される。
ベッド31上で座位(E)へ遷移したかどうかを判定するためには、赤外線アレイセンサ21a,21bによって、上方から撮像された赤外線画像データの領域RV3の統計量と、側方から撮像された赤外線画像データの領域RH3の統計量との和が算出される。この統計量の和が、基準値THE以上のときに、姿勢(E)に遷移したと判定される。
ベッド31端で座位(F)へ遷移したかどうかを判定するためには、赤外線アレイセンサ21a,21bによって、上方から撮像された赤外線画像データの領域RV3の統計量と、側方から撮像された赤外線画像データの領域RH2の統計量との和が算出される。この統計量の和が、基準値THF以上のときに、姿勢(F)に遷移したと判定される。
転倒(X)へ遷移したかどうかを判定するためには、赤外線アレイセンサ21a,21bによって、上方から撮像された赤外線画像データの領域RV4の統計量と、側方から撮像された赤外線画像データの領域RH5の統計量との和が算出される。この統計量の和が、基準値THX以上のときに、姿勢(X)に遷移したと判定される。
ここで、ベッド31から転落(第1パターン)(Y1)へ遷移したかどうかを判定するために、赤外線アレイセンサ21a,21bによって、上方から撮像された赤外線画像データの領域RV2の統計量と、側方から撮像された赤外線画像データの領域RH6の統計量との和が算出される。この統計量の和が、基準値THY1以上のときに、姿勢(Y1)に遷移したと判定される。
なお、この判定に領域RH6が用いられる理由は、赤外線アレイセンサ21bが設置されている箇所と、要介護者P1がベッド31から転落する箇所との距離が短いため、側方から撮像された赤外線画像データでは、転落した要介護者P1を撮像した部分が、最も低いライン(Y=15)よりも高い位置にくるからである。
また、ベッド31から転落(第2パターン)(Y2)へ遷移したかどうかを判定するために、赤外線アレイセンサ21a,21bによって、上方から撮像された赤外線画像データの領域RV2の統計量と、側方から撮像された赤外線画像データの領域RH6の統計量との和が算出される。この統計量の和が、基準値THY2以上のときに、姿勢(Y2)に遷移したと判定される。
なお、この判定に領域RH6が用いられる理由は、ベッド31から転落(第1パターン)と同じである。
3−2.表示制御
本実施形態の表示制御装置10では、上述した姿勢推定の結果、推定された要介護者P1の姿勢に基づいて、記憶部14に保存された各姿勢に対応するダミー画像D1を赤外線画像G1に重ねて表示するように、表示装置22を制御する。
すなわち、記憶部14には、姿勢推定部12において推定された要介護者P1の姿勢に対応する複数のダミー画像D1が保存されている。よって、制御部13は、姿勢推定部12における姿勢推定の結果を踏まえて、図12に示すように、赤外線画像G1中の要介護者P1の姿勢応じた適切なダミー画像D1を記憶部14から読み出し、赤外線画像G1上に重ねて表示させる。
ここで、赤外線画像G1上に、推定された姿勢に対応するダミー画像D1を重ねて表示する際には、要介護者P1の頭部の位置を基準にして重ねられる。
より詳細には、赤外線画像G1において、頭部、顔の部分は、人体における高い位置にあることが多く、かつ常時露出していることが多いため温度が高い部分として表される。よって、赤外線画像G1における頭部、顔の部分と推定される位置を基準にして、ダミー画像D1の頭部、顔の部分を重ねるように位置合わせを行い、表示装置22に表示させる。
3−3.表示制御の流れ
本実施形態の表示制御装置10は、図13に示すフローチャートに従って、表示制御を実施する。
すなわち、ステップS11では、画像取得部11が、2つの赤外線アレイセンサ21a,21bを用いて室内30を上方および側方から撮像した赤外線画像G1を取得する。
次に、ステップS12では、人数推定部16が、取得された赤外線画像G1を用いて、室内30に居る人の数を推定する。
次に、ステップS13では、人数推定部16において推定された室内30に居る人の数が1人であるか否かを判定する。ここで、1人である場合には、ステップS14へ進む。一方、2人以上である場合には、室内30に要介護者P1以外の人が居て介護可能な状態と判断して、表示制御処理を終了する。
次に、ステップS14では、姿勢推定部12が、ステップS13において室内30に1人でいると判定された要介護者P1の姿勢を推定する。
次に、ステップS15では、制御部13が、ステップS14において推定された要介護者P1の姿勢(例えば、立位等)に対応するダミー画像D1を、記憶部14から読み出す。
次に、ステップS16では、制御部13が、記憶部14から読み出したダミー画像D1を、赤外線画像G1に含まれる要介護者P1の頭部あるいは顔の部分を基準にして、重ねて表示する。
これにより、介護者は、表示装置22に表示される要介護者P1の姿勢を認識するとともに、異常の有無を容易に判断することができる。
3−4.姿勢推定の流れ
本実施形態の表示制御装置10では、図13のフローチャートのステップS14における姿勢推定について、図14に示すフローチャートに従って実施する。
すなわち、ステップS11において、2つの赤外線アレイセンサ21a,21bから赤外線画像G1を取得した後、ステップS21では、赤外線画像G1中の要介護者P1の姿勢が転倒・転落であるか否かを判定する。ここで、転倒・転落であると判定された場合には、ステップS22へ進む。一方、転倒・転落ではないと判定された場合には、転倒・転落以外の姿勢であるため、ステップS23へ進む。
次に、ステップS22では、姿勢推定部12が、ステップS21における判定の結果、要介護者P1が転倒・転落姿勢であると判定する。
次に、ステップS23では、赤外線画像G1中の要介護者P1がベッドサイドにいるか否かを判定する。ここで、要介護者P1がベッドサイドに居ると判定された場合には、ステップS24へ進む。一方、要介護者P1がベッドサイドには居ないと判定された場合には、ステップS25へ進む。
次に、ステップS24では、姿勢推定部12が、ステップS23における判定の結果、ベッドサイドに居ると判定する。
次に、ステップS25では、赤外線画像G1中の要介護者P1がベッド上にいるか否かを判定する。ここで、要介護者P1がベッド上に居ると判定された場合には、ステップS26へ進む。一方、要介護者P1がベッド上には居ないと判定された場合には、ステップS29へ進む。
次に、ステップS26では、赤外線画像G1中の要介護者P1がベッド上で座位姿勢であるか否かを判定する。ここで、要介護者P1がベッド上で座位姿勢であると判定された場合には、ステップS27へ進む。一方、要介護者P1がベッド上で座位姿勢ではないと判定された場合には、ステップS28へ進む。
次に、ステップS27では、姿勢推定部12が、ステップS26における判定の結果、要介護者P1はベッド上で座位姿勢であると判定する。
次に、ステップS28では、姿勢推定部12が、ステップS26における判定の結果、要介護者P1はベッド上で臥位姿勢であると判定する。
次に、ステップS29では、要介護者P1がベッドサイド、ベッド上のいずれにも居ないために、赤外線画像G1内の測定領域内に居るか否かを判定する。ここで、要介護者P1が測定領域内にいると判定された場合には、ステップS30へ進む。一方、要介護者P1が測定領域外にいると判定された場合には、ステップS31へ進む。
次に、ステップS30では、要介護者P1が、ベッドサイド、ベッド上以外の室内30の位置で移動中であると判定する。
次に、ステップS31では、再び、要介護者P1がベッド上に居ないかを確認する。ここで、要介護者P1がベッド上にいると判定されると、ステップS33へ進む。一方、ベッド上に居ないと判定されると、ステップS32へ進む。
次に、ステップS32では、赤外線画像G1を用いて判定した結果、要介護者P1が、転倒・転落しておらず、ベッドサイド、ベッド上、測定領域内にも居ないため、測定領域外に居ると判定される。
次に、ステップS33では、ステップS32において、要介護者P1がベッド上に居ると判定されているため、例えば、布団をかけた状態の臥位姿勢であると判定される。
4.各姿勢に対するダミー画像の表示例
4−1.立位姿勢
図15(a)および図15(b)に示すように、要介護者P1が立位位姿勢である場合には、要介護者P1が立っている状態を示すダミー画像D1が赤外線画像G1に重ねて表示される。
具体的には、図15(a)に示すように、上方から室内30を撮像した赤外線アレイセンサ21aから取得された赤外線画像G1上では、要介護者P1を頭上から撮像しているため、頭部や肩の部分が平面視で表示されるダミー画像D1が使用される。
一方、図15(b)に示すように、側方から室内30を撮像した赤外線アレイセンサ21bから取得された赤外線画像G1上では、要介護者P1を横から撮像しているため、要介護者P1の全身を表示するダミー画像D1が使用される。
なお、図15(a)および図15(b)に示す赤外線画像G1上には、室内設備としてのベッド31を示すダミー画像(第2ダミー画像)D2が表示されている。
これにより、介護者は、室内30におけるどの位置に要介護者P1が居るのかをベッド31等の室内設備の位置を参照しながら認識することができる。
4−2.座位姿勢
図16(a)および図16(b)に示すように、要介護者P1が座位姿勢である場合には、要介護者P1が車椅子や椅子に座っている状態を示すダミー画像D1が赤外線画像G1に重ねて表示される。
具体的には、図16(a)に示すように、上方から室内30を撮像した赤外線アレイセンサ21aから取得された赤外線画像G1上では、要介護者P1を頭上から撮像しているため、頭部や肩の部分に加えて足の部分が平面視で表示されるダミー画像D1が使用される。
一方、図16(b)に示すように、側方から室内30を撮像した赤外線アレイセンサ21bから取得された赤外線画像G1上では、要介護者P1を横から撮像しているため、要介護者P1が身体を屈曲させた姿勢を表示するダミー画像D1が使用される。
4−3.臥位姿勢(布団あり)
図17(a)および図17(b)に示すように、要介護者P1がベッド31上で寝ている臥位姿勢である場合には、要介護者P1がベッド31上で寝ている状態を示すダミー画像D1が赤外線画像G1に重ねて表示される。
具体的には、図17(a)に示すように、上方から室内30を撮像した赤外線アレイセンサ21aから取得された赤外線画像G1上では、寝ている要介護者P1を上方から撮像しているため、要介護者P1の全身が表示されるダミー画像D1が使用される。
なお、ベッド31上で寝ている要介護者P1が布団(ダミー画像D3)をかけている場合には、図17(a)に示すように、赤外線画像G1上では布団をかけた部分は温度が低い部分として表示され、頭部だけが温度が高い部分として表示される。
一方、図17(b)に示すように、側方から室内30を撮像した赤外線アレイセンサ21bから取得された赤外線画像G1上では、要介護者P1を横から撮像しているため、要介護者P1がベッド31上で寝ている臥位姿勢を表示するダミー画像D1が使用される。
なお、図17(a)と同様に、ベッド31上で寝ている要介護者P1が布団をかけている場合には、図17(b)に示すように、赤外線画像G1上では布団をかけた部分は温度が低い部分として表示され、頭部だけが温度が高い部分として表示される。
4−4.臥位姿勢(布団めくり)
図18(a)および図18(b)に示すように、要介護者P1がベッド31上で寝ている臥位姿勢であって、布団(ダミー画像D3)をめくっている場合には、要介護者P1がベッド31上で寝ている状態を示すダミー画像D1が赤外線画像G1に重ねて表示される。
具体的には、図18(a)に示すように、上方から室内30を撮像した赤外線アレイセンサ21aから取得された赤外線画像G1上では、寝ている要介護者P1を上方から撮像しているため、要介護者P1の上半身が表示されるダミー画像D1が使用される。
なお、ベッド31上で寝ている要介護者P1が布団(ダミー画像D3)を下半身にかけている場合には、図18(a)に示すように、赤外線画像G1上では布団をかけた部分は温度が低い部分として表示され、上半身だけが温度が高い部分として表示される。
一方、図18(b)に示すように、側方から室内30を撮像した赤外線アレイセンサ21bから取得された赤外線画像G1上では、要介護者P1を横から撮像しているため、要介護者P1がベッド31上で寝ている臥位姿勢を表示するダミー画像D1が使用される。
なお、図18(a)と同様に、ベッド31上で寝ている要介護者P1が下半身に布団をかけている場合には、図18(b)に示すように、赤外線画像G1上では布団をかけた部分は温度が低い部分として表示され、上半身だけが温度が高い部分として表示される。
4−5.臥位姿勢(転倒)
図19(a)および図19(b)に示すように、要介護者P1がベッド31の横で転倒した臥位姿勢である場合には、要介護者P1がベッド31(ダミー画像D2)横で倒れている状態を示すダミー画像D1が赤外線画像G1に重ねて表示される。
具体的には、図19(a)に示すように、上方から室内30を撮像した赤外線アレイセンサ21aから取得された赤外線画像G1上では、ベッド31の横で倒れている要介護者P1を上方から撮像しているため、要介護者P1の全身が表示されるダミー画像D1が使用される。
なお、この場合には、要介護者P1がベッド31を示すダミー画像D2とは異なる位置で寝ており、転倒していると想定されるため、ダミー画像D1は、例えば、通常色とは異なる赤色、黄色等に色を変えて、あるいは点滅表示される。
一方、図19(b)に示すように、側方から室内30を撮像した赤外線アレイセンサ21bから取得された赤外線画像G1上では、要介護者P1を横から撮像しているため、要介護者P1がベッド31の下で寝ている臥位姿勢を表示するダミー画像D1が使用される。
なお、図19(a)と同様に、要介護者P1がベッド31の下で寝ている場合には、転倒していると想定されるため、ダミー画像D1は、例えば、通常色とは異なる赤色、黄色等に色を変えて、あるいは点滅表示される。
これにより、介護者は、図19(a)および図19(b)に示す赤外線画像G1を確認して、すぐに緊急で介護が必要な状態であると認識することができる。
4−6.座位姿勢(転倒)
図20(a)および図20(b)に示すように、要介護者P1がベッド31の横で座位姿勢である場合には、要介護者P1がベッド31(ダミー画像D2)横で転倒してぐったりしている状態を示すダミー画像D1が赤外線画像G1に重ねて表示される。
具体的には、図20(a)に示すように、上方から室内30を撮像した赤外線アレイセンサ21aから取得された赤外線画像G1上では、ベッド31の横で座り込んでいる要介護者P1を上方から撮像しているため、要介護者P1の頭部、肩、足の部分が平面視で表示されるダミー画像D1が使用される。
なお、この場合には、要介護者P1がベッド31を示すダミー画像D2の横で転倒して座り込んでいると想定されるため、ダミー画像D1は、例えば、通常色とは異なる赤色、黄色等に色を変えて、あるいは点滅表示される。
一方、図20(b)に示すように、側方から室内30を撮像した赤外線アレイセンサ21bから取得された赤外線画像G1上では、要介護者P1を横から撮像しているため、要介護者P1がベッド31の横でぐったりして座り込んでいる座位姿勢を表示するダミー画像D1が使用される。
なお、図20(a)と同様に、要介護者P1がベッド31の横で座り込んでいる場合には、転倒してぐったりしていると想定されるため、ダミー画像D1は、例えば、通常色とは異なる赤色、黄色等に色を変えて、あるいは点滅表示される。
これにより、介護者は、図20(a)および図20(b)に示す赤外線画像G1を確認して、すぐに緊急で介護が必要な状態であると認識することができる。
なお、ベッド31の横で座位姿勢にある要介護者P1の緊急度は、連続的に取得された赤外線画像G1を確認して、動きが確認されるか否かで判断してもよい。
4−7.臥位姿勢(チラつきあり)
図21(a)に示すように、要介護者P1が臥位姿勢であって、連続的に取得された赤外線画像においてチラつきが小さい場合には、要介護者P1が寝ている可能性が高い。
よって、この場合には、判定部15は、要介護者P1が介護を必要としている状態ではないと判定する。
また、図22(a)に示すように、要介護者P1が臥位姿勢であって、連続的に取得された赤外線画像において、要介護者P1の上半身付近にチラつきが大きいチラつき領域G1aが検出された場合には、要介護者P1が起き上がろうとしている動作をしている可能性が高い。
さらに、図22(b)に示すように、要介護者P1が臥位姿勢であって、連続的に取得された赤外線画像において、布団をめくった状態で要介護者P1の上半身付近にチラつきが大きいチラつき領域G1aが検出された場合には、要介護者P1が起き上がろうとしている動作をしている可能性が高い。
この場合には、要介護者P1が起き上がる補助をする必要があるため、判定部15は、介護を必要としている状態であると判定する。
ここで、赤外線画像G1中の画素のチラつきを用いた判定は、以下のようにして実施される。
すなわち、判定部15は、連続的に取得された赤外線画像中の画像のチラつきに基づく判定を行う際には、画像中の熱重心の位置の揺らぎに応じて、判定を行う。
具体的には、例えば、赤外線画像G1中の室温よりも所定値以上温度が高い領域を切り取って、切り取った領域内の画素のXY方向における位置の平均値を取って熱重心の位置を求める。そして、この熱重心の位置が、所定の閾値よりも移動するか否か(揺らぎ)に応じて、介護を必要としている緊急度合いとして判定すればよい。
これにより、画像センサとして赤外線センサを用いた場合でも、赤外線画像(熱画像)の特性を生かして、例えば、熱重心の位置の変化が所定の閾値よりも小さい場合に、要介護者P1が介護を必要としている状態と判定することができる。
逆に、熱重心の位置の変化が所定の閾値よりも大きい場合には、例えば、要介護者が着替えをしている、携帯端末を操作している等、介護を必要としていない状態であると判定することができる。
この結果、介護者は、表示装置22に表示された要介護者P1の画像を見て、介護を必要としているか否かを的確に判断することができる。
4−8.臥位姿勢(熱源拡大)
図21(b)に示すように、要介護者P1が臥位姿勢であって、連続的に取得された赤外線画像において頭部付近の熱源が拡大する熱源拡大領域G1bが検出された場合には、要介護者P1が寝ている状態で嘔吐した可能性が高い。
よって、この場合には、判定部15は、要介護者P1が緊急の介護を必要としている状態であると判定する。
制御部13は、姿勢推定部12における姿勢推定の結果および判定部15における介護緊急度の判定結果を踏まえて、図21(b)に示すように、ダミー画像D1の色を変化させる、あるいは点滅させる等の表示制御を行う。
これにより、介護者は、表示装置22に表示された画面を確認して、要介護者P1が臥位姿勢であって、緊急で介護が必要な状態であることを容易に認識することができる。
4−9.座位姿勢(チラつきあり)
図23に示すように、要介護者P1が車椅子のダミー画像(第2ダミー画像)D4に座位した姿勢であって、連続的に取得された赤外線画像において、車椅子32を示すダミー画像D4上の要介護者P1の上半身付近にチラつきが大きいチラつき領域G1aが検出された場合には、要介護者P1が着替え動作をしている可能性が高い。
よって、この場合には、判定部15は、要介護者P1が介護を必要としている状態ではないと判定する。
反対に、要介護者P1が車椅子32に座位した姿勢であって、連続的に取得された赤外線画像において、要介護者P1の上半身付近に所定時間以上チラつきがほとんどない場合には、要介護者P1が車椅子に座った状態でぐったりしているおそれがある。
よって、この場合には、判定部15は、要介護者P1が介護を必要としている状態であると判定する。
この場合には、制御部13は、姿勢推定部12における姿勢推定の結果および判定部15における介護緊急度の判定結果を踏まえて、ダミー画像D1の色を変化させる、あるいは点滅させる等の表示制御を行う。
これにより、介護者は、要介護者P1が車椅子上で静止している状態が長いことを認識して、要介護者P1の部屋へ駆けつけることができる。
[他の実施形態]
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
(A)
上記実施形態では、上述した表示制御方法を実施する表示制御装置10およびこれを備えた表示制御システム20として、本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、上述した表示制御方法として、本発明を実現してもよい。
あるいは、上述した表示制御方法をコンピュータに実行させる表示制御プログラムとして、本発明を実現してもよい。さらには、この表示制御プログラムを格納した記録媒体として、本発明を実現してもよい。
いずれの実現手段によっても、上記と同様の効果を得ることができる。
(B)
上記実施形態では、図1に示すように、要介護者P1の各姿勢に対応するダミー画像D1を保存する記憶部14を備えた表示制御装置10を例として挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、ダミー画像を保存する記憶手段として、図24に示すように、表示制御装置110および表示制御システム120の外部に設けられたクラウド空間114等を用いてもよい。
すなわち、本発明の表示制御装置は、外部の記憶手段(クラウド空間、サーバ装置等)からダミー画像を読み出して使用する構成であれば、装置内に記憶部を持たない構成であってもよい。
(C)
上記実施形態では、表示装置22に対して、赤外線画像G1上にダミー画像D1を重ね合わせて表示させる例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図25(a)および図25(b)に示すように、「○○○号室 XXさん 異常発生」等の文字情報を、画像情報と併せて表示させてもよい。
この場合には、介護者に対して、介護の緊急度合いをより分かりやすく表示することができる。
なお、これらの文字情報は、要介護者の介護の緊急度を判定する判定部における判定結果に対応する複数の文字情報が予め記憶部14等へ保存されていればよい。
(D)
上記実施形態では、第1・第2画像センサとして、図2に示すように、赤外線アレイセンサ21a,21bを天井と側面とに設けた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、画像センサを天井だけ、あるいは側面だけに設けた構成であってもよいし、人体を斜めから撮像する画像センサを用いてもよい。
ただし、人体の姿勢を正確に判定するためには、上記実施形態のように、天井と側面とにそれぞれ画像センサを設けた構成とすることが好ましい。
(E)
上記実施形態では、画像取得部11に画像を送信する画像センサとして、温度分布を検知する赤外線アレイセンサ21a,21bを用いた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、画像センサとしては、監視カメラ、距離センサ等の他の画像センサを用いることもできる。
(F)
上記実施形態では、複数の要介護者P1の介護を行う介護施設等における見守りに、本発明の表示制御装置10および表示制御システム20を適用した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、介護施設以外にも、高齢者や体の不自由な人が生活する病院等の施設に本発明を適用してもよい。
あるいは、一人暮らしの高齢者の見守りに、本発明を適用してもよい。
この場合には、高齢者と離れて暮らす子供の携帯端末を表示装置として用いることで、遠隔地から見守りを行うことができる。
本発明の表示制御装置は、例えば、要介護者が介護を必要としている状況を、効果的に介護者に認識させることができるという効果を奏することから、高齢者や子供、ペット等の見守りを行う各種装置に対して広く適用可能である。
10 表示制御装置
11 画像取得部
12 姿勢推定部
13 制御部
14 記憶部
15 判定部
16 人数推定部
20 表示制御システム
21a 赤外線アレイセンサ(第1画像センサ)(天井)
21b 赤外線アレイセンサ(第2画像センサ)(側方)
22 表示装置
22a ホストコンピュータ(表示装置)
22b 携帯端末(表示装置)
30 室内
30a 天井
30b 壁面
31 ベッド
32 車椅子
33 棚
110 表示制御装置
114 クラウド空間
120 表示制御システム
G1 赤外線画像(画像)
G1a チラつき領域
G1b 熱源拡大領域
D1 ダミー画像(要介護者)(第1ダミー画像)
D2 ダミー画像(ベッド)(第2ダミー画像)
D3 ダミー画像(布団)(第2ダミー画像)
D4 ダミー画像(車椅子)(第2ダミー画像)
P1 要介護者(人体)

Claims (20)

  1. 室内に設置された画像センサによって検出された画像データを取得する画像取得部と、
    前記画像取得部において取得された前記画像データに基づいて、前記室内に居る人体の姿勢を推定する姿勢推定部と、
    前記姿勢推定部において推定された前記人体の姿勢を簡易的に示す第1ダミー画像が、前記画像データ上に重ねて表示されるように、表示装置を制御する制御部と、
    を備え、
    前記制御部は、前記画像データに含まれる前記人体の頭部あるいは顔の位置を基準にして、前記第1ダミー画像の頭部あるいは顔の部分を重ねて表示させる、
    表示制御装置。
  2. 前記人体の姿勢ごとに対応付けされた状態で複数の前記第1ダミー画像を保存する記憶部を、さらに備えている、
    請求項1に記載の表示制御装置。
  3. 前記画像取得部において連続的に取得された複数の前記画像データを参照して、前記画像データ中の前記人体付近の画像のチラつきに応じて、介護者に対して要介護者が介護を必要としているか否かを示す介護の緊急度を判定する判定部を、さらに備え
    前記制御部は、前記判定部において判定された介護の緊急度に基づいて、前記表示装置に警告表示をさせる、
    請求項1または2に記載の表示制御装置。
  4. 前記画像センサは、熱画像を取得する赤外線センサであって、
    前記判定部は、前記赤外線センサにおいて連続的に取得された前記熱画像中の前記人体付近の領域における熱重心の位置の揺らぎの程度に応じて判定を行う、
    請求項3に記載の表示制御装置。
  5. 前記画像センサは、熱画像を取得する赤外線センサであって、
    前記判定部は、前記赤外線センサにおいて連続的に取得された前記熱画像中の前記人体付近の領域における熱源の拡大を検出して判定を行う、
    請求項3に記載の表示制御装置。
  6. 前記画像取得部において取得された前記画像データに含まれ、監視対象となっている室内に居る人の数を推定する人数推定部を、さらに備え、
    前記制御部は、前記人数推定部における推定の結果、前記画像データ中の人数が1人であると判定した場合に、前記表示装置の表示制御を行う、
    請求項1から5のいずれか1項に記載の表示制御装置。
  7. 前記制御部は、前記姿勢推定部における推定結果に応じて、前記表示装置において前記第1ダミー画像の色を変化させる、
    請求項1からのいずれか1項に記載の表示制御装置。
  8. 前記制御部は、前記姿勢推定部における推定結果に応じて、前記表示装置において前記第1ダミー画像を点滅表示させる、
    請求項1からのいずれか1項に記載の表示制御装置。
  9. 前記制御部は、前記姿勢推定部における推定結果に応じて、前記画像データ上に前記第1ダミー画像を重ねた表示とともに、緊急メッセージを前記表示装置に表示させる、
    請求項1からのいずれか1項に記載の表示制御装置。
  10. 前記姿勢推定部は、前記室内に居る人体を異なる方向から検出する複数の前記画像センサにおける検出結果を用いて、前記姿勢を推定する、
    請求項1からのいずれか1項に記載の表示制御装置。
  11. 前記制御部は、前記人体の立位姿勢、座位姿勢、背臥位姿勢、側臥位姿勢、腹臥位姿勢、中腰位姿勢の少なくとも1つに対応する前記第1ダミー画像を前記画像データに重ねて前記表示装置に表示させる、
    請求項1から1のいずれか1項に記載の表示制御装置。
  12. 前記制御部は、前記室内に設置された家具、室内設備に対応する第2ダミー画像を、前記画像データ中の前記家具、前記室内設備の位置に重ねるように表示させる、
    請求項1から1のいずれか1項に記載の表示制御装置。
  13. 請求項1から1のいずれか1項に記載の表示制御装置と、
    前記画像取得部に対して前記画像データを供給する画像センサと、
    を備えた表示制御システム。
  14. 前記表示制御装置の前記制御部によって表示制御される表示装置を、さらに備えている、
    請求項1に記載の表示制御システム。
  15. 前記表示装置には、前記室内に居る人の介護を行う介護者が使用するホスト端末の表示装置、あるいは前記介護者が所有する携帯端末が含まれる、
    請求項1に記載の表示制御システム。
  16. 前記画像センサは、前記人体を、前記室内における上方から検出する第1画像センサと、側方から検出する第2画像センサとを含む、
    請求項1から1のいずれか1項に記載の表示制御システム。
  17. 前記画像センサは、赤外線アレイセンサ、距離センサのいずれかである、
    請求項1から1のいずれか1項に記載の表示制御システム。
  18. 室内に設置された画像センサによって検出された画像データを取得する画像取得ステップと、
    前記画像取得ステップにおいて取得された前記画像データに基づいて、前記室内に居る人体の姿勢を推定する姿勢推定ステップと、
    前記姿勢推定ステップにおいて推定された前記人体の姿勢を簡易的に示す第1ダミー画像が、前記画像データ上に重ねて表示されるとともに、前記画像データに含まれる前記人体の頭部あるいは顔の位置を基準にして、前記第1ダミー画像の頭部あるいは顔の部分を重ねて表示させるように、表示装置を制御する制御ステップと、
    を備えた表示制御方法。
  19. 室内に設置された画像センサによって検出された画像データを取得する画像取得ステップと、
    前記画像取得ステップにおいて取得された前記画像データに基づいて、前記室内に居る人体の姿勢を推定する姿勢推定ステップと、
    前記姿勢推定ステップにおいて推定された前記人体の姿勢を簡易的に示す第1ダミー画像が、前記画像データ上に重ねて表示されるとともに、前記画像データに含まれる前記人体の頭部あるいは顔の位置を基準にして、前記第1ダミー画像の頭部あるいは顔の部分を重ねて表示させるように、表示装置を制御する制御ステップと、
    を備えた表示制御方法をコンピュータに実行させる表示制御プログラム。
  20. 室内に設置された画像センサによって検出された画像データを取得する画像取得ステップと、
    前記画像取得ステップにおいて取得された前記画像データに基づいて、前記室内に居る人体の姿勢を推定する姿勢推定ステップと、
    前記姿勢推定ステップにおいて推定された前記人体の姿勢を簡易的に示す第1ダミー画像が、前記画像データ上に重ねて表示されるとともに、前記画像データに含まれる前記人体の頭部あるいは顔の位置を基準にして、前記第1ダミー画像の頭部あるいは顔の部分を重ねて表示させるように、表示装置を制御する制御ステップと、
    を備えた表示制御方法をコンピュータに実行させる表示制御プログラムを記憶した記録媒体。
JP2016113457A 2016-06-07 2016-06-07 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体 Active JP6520831B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016113457A JP6520831B2 (ja) 2016-06-07 2016-06-07 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体
EP17809874.5A EP3468180B1 (en) 2016-06-07 2017-02-21 Display control device, display control system, display control method, display control program, and recording medium
CN201780002917.7A CN107925748B (zh) 2016-06-07 2017-02-21 显示控制装置、显示控制系统、显示控制方法、记录介质
US15/755,596 US10973441B2 (en) 2016-06-07 2017-02-21 Display control device, display control system, display control method, display control program, and recording medium
KR1020187005409A KR101999934B1 (ko) 2016-06-07 2017-02-21 표시 제어 장치, 표시 제어 시스템, 표시 제어 방법, 표시 제어 프로그램, 기록 매체
PCT/JP2017/006350 WO2017212690A1 (ja) 2016-06-07 2017-02-21 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016113457A JP6520831B2 (ja) 2016-06-07 2016-06-07 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体

Publications (2)

Publication Number Publication Date
JP2017220779A JP2017220779A (ja) 2017-12-14
JP6520831B2 true JP6520831B2 (ja) 2019-05-29

Family

ID=60578449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016113457A Active JP6520831B2 (ja) 2016-06-07 2016-06-07 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体

Country Status (6)

Country Link
US (1) US10973441B2 (ja)
EP (1) EP3468180B1 (ja)
JP (1) JP6520831B2 (ja)
KR (1) KR101999934B1 (ja)
CN (1) CN107925748B (ja)
WO (1) WO2017212690A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7210872B2 (ja) * 2017-07-19 2023-01-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
US10553099B2 (en) * 2017-08-07 2020-02-04 Ricoh Company, Ltd. Information providing apparatus and information providing system
JP7340771B2 (ja) * 2018-05-28 2023-09-08 パナソニックIpマネジメント株式会社 生体検知装置、生体検知方法、記録媒体、およびプログラム
JP2019219903A (ja) * 2018-06-20 2019-12-26 株式会社三陽電設 トイレ使用状態監視装置
JP7199086B2 (ja) * 2018-10-10 2023-01-05 ファミリーイナダ株式会社 防犯システム及びこの防犯システムを備えたマッサージ機
JP7289664B2 (ja) * 2019-02-04 2023-06-12 旭化成ホームズ株式会社 位置特定システム、携帯端末、位置特定システムの利用方法、位置特定方法およびプログラム
CN110123272A (zh) * 2019-04-24 2019-08-16 佛山市宝瑞通光电科技有限公司 基于人体感知的人员监测方法及装置
CN113034849A (zh) * 2019-12-25 2021-06-25 海信集团有限公司 婴儿看护设备、看护方法及存储介质
US20210334983A1 (en) * 2020-04-27 2021-10-28 Industrial Technology Research Institute Image monitoring apparatus and method
JP6797344B1 (ja) * 2020-07-10 2020-12-09 三菱電機株式会社 学習装置、活用装置、プログラム、学習方法及び活用方法
JP7142955B2 (ja) * 2020-07-15 2022-09-28 アルスデザインアソシエイツ株式会社 監視システム、監視方法、及びプログラム
US20230230379A1 (en) * 2022-01-19 2023-07-20 Target Brands, Inc. Safety compliance system and method

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5455287A (en) 1977-10-11 1979-05-02 Toshiba Corp Assembly tool for fuel assembly
US6400374B2 (en) * 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
JP2000251078A (ja) * 1998-12-22 2000-09-14 Atr Media Integration & Communications Res Lab 人物の3次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置
US6486473B2 (en) * 2000-03-02 2002-11-26 Mine Safety Applicances Company Thermal imaging camera
JP3918530B2 (ja) * 2001-11-28 2007-05-23 カシオ計算機株式会社 画像出力装置、画像出力処理プログラム、及び画像出力方法
US8675059B2 (en) * 2010-07-29 2014-03-18 Careview Communications, Inc. System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients
JP4581512B2 (ja) * 2004-07-02 2010-11-17 オムロン株式会社 3次元画像処理装置、光軸調整方法、光軸調整支援方法
US20080136916A1 (en) * 2005-01-26 2008-06-12 Robin Quincey Wolff Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system
JP2006259930A (ja) * 2005-03-15 2006-09-28 Omron Corp 表示装置およびその制御方法、表示装置を備えた電子機器、表示装置制御プログラム、ならびに該プログラムを記録した記録媒体
JP2007153035A (ja) * 2005-12-01 2007-06-21 Auto Network Gijutsu Kenkyusho:Kk 乗員着座判定システム
US20080244978A1 (en) * 2007-04-05 2008-10-09 Rahmi Soyugenc Motorized security revolving door
US8374438B1 (en) * 2007-10-04 2013-02-12 Redshift Systems Corporation Visual template-based thermal inspection system
AU2009281762A1 (en) * 2008-08-15 2010-02-18 Brown University Method and apparatus for estimating body shape
EP2348980A4 (en) * 2008-10-13 2012-06-20 George Papaioannou DYNAMIC BIPLANARY X-RAY STEREOPHOTOGRAMMETRY ANALYSIS
TWI388205B (zh) * 2008-12-19 2013-03-01 Ind Tech Res Inst 目標追蹤之方法與裝置
JP2010237873A (ja) * 2009-03-30 2010-10-21 Sogo Keibi Hosho Co Ltd 姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラム
US8339583B2 (en) * 2009-07-17 2012-12-25 The Boeing Company Visual detection of clear air turbulence
US8121472B2 (en) * 2009-09-10 2012-02-21 Babak Forutanpour Signal measurements employed to affect photographic parameters
JP5648840B2 (ja) 2009-09-17 2015-01-07 清水建設株式会社 ベッド上及び室内の見守りシステム
US8520901B2 (en) * 2010-06-11 2013-08-27 Namco Bandai Games Inc. Image generation system, image generation method, and information storage medium
JP5771778B2 (ja) * 2010-06-30 2015-09-02 パナソニックIpマネジメント株式会社 監視装置、プログラム
JP2012065263A (ja) * 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
WO2012077286A1 (ja) * 2010-12-09 2012-06-14 パナソニック株式会社 物体検出装置および物体検出方法
US9412161B2 (en) * 2011-01-25 2016-08-09 Novartis Ag Systems and methods for medical use of motion imaging and capture
WO2012115878A1 (en) * 2011-02-22 2012-08-30 Flir Systems, Inc. Infrared sensor systems and methods
US9259289B2 (en) * 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
KR20130042844A (ko) 2011-10-19 2013-04-29 인하대학교 산학협력단 자세 보정 시스템
JP5877053B2 (ja) 2011-12-14 2016-03-02 パナソニック株式会社 姿勢推定装置および姿勢推定方法
DE102012201591A1 (de) 2012-02-03 2013-08-08 Robert Bosch Gmbh Auswertevorrichtung für ein Überwachungssystem sowie Überwachungssystem mit der Auswertevorrichtung
US9510799B2 (en) * 2012-06-11 2016-12-06 Konica Minolta, Inc. Medical imaging system and medical image processing apparatus
CN102855470B (zh) * 2012-07-31 2015-04-08 中国科学院自动化研究所 基于深度图像的人体姿态估计方法
JP6167563B2 (ja) * 2013-02-28 2017-07-26 ノーリツプレシジョン株式会社 情報処理装置、情報処理方法、及び、プログラム
US20140287395A1 (en) * 2013-03-25 2014-09-25 Vcom3D, Inc. Method and system for medical skills training
JP6141079B2 (ja) * 2013-04-08 2017-06-07 キヤノン株式会社 画像処理システム、画像処理装置、それらの制御方法、及びプログラム
US20160217326A1 (en) * 2013-07-03 2016-07-28 Nec Corporation Fall detection device, fall detection method, fall detection camera and computer program
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
JP6351285B2 (ja) * 2014-02-13 2018-07-04 キヤノン株式会社 画像形成装置、及び画像形成装置の制御方法
CN104850219A (zh) * 2014-02-19 2015-08-19 北京三星通信技术研究有限公司 估计附着物体的人体姿势的设备和方法
US9779508B2 (en) * 2014-03-26 2017-10-03 Microsoft Technology Licensing, Llc Real-time three-dimensional reconstruction of a scene from a single camera
JP6312512B2 (ja) 2014-04-23 2018-04-18 博司 佐久田 遠隔見守りシステム
WO2015174228A1 (ja) * 2014-05-13 2015-11-19 オムロン株式会社 姿勢推定装置、姿勢推定システム、姿勢推定方法、姿勢推定プログラム、および姿勢推定プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2016103237A (ja) * 2014-11-28 2016-06-02 クラリオン株式会社 見守りシステム
CN105865636B (zh) * 2015-02-06 2022-01-11 松下知识产权经营株式会社 红外线检测装置
US10076840B2 (en) * 2015-04-03 2018-09-18 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
JP2016202252A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 放射線撮影システム、放射線撮影システムの制御方法およびプログラム
JP6508626B2 (ja) * 2015-06-16 2019-05-08 オリンパス株式会社 撮像装置、処理プログラム、撮像方法
US20190206036A1 (en) * 2017-12-20 2019-07-04 Al Analysis, Inc. Method and system that use super flicker to facilitate image comparison

Also Published As

Publication number Publication date
CN107925748B (zh) 2020-04-28
JP2017220779A (ja) 2017-12-14
EP3468180A1 (en) 2019-04-10
EP3468180B1 (en) 2020-06-24
KR101999934B1 (ko) 2019-07-12
KR20180033270A (ko) 2018-04-02
EP3468180A4 (en) 2019-10-09
US20200221977A1 (en) 2020-07-16
CN107925748A (zh) 2018-04-17
WO2017212690A1 (ja) 2017-12-14
US10973441B2 (en) 2021-04-13

Similar Documents

Publication Publication Date Title
JP6520831B2 (ja) 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体
US10904492B2 (en) Video monitoring system
US20150281659A1 (en) Image transmission or recording triggered by bed event
JP5858940B2 (ja) 離床監視システム
JP6806145B2 (ja) 被監視者監視システムおよび被監視者監視方法
JP6852733B2 (ja) 生体監視装置及び生体監視方法
KR101712191B1 (ko) 환자 낙상예방 모니터링 장치
JP7120238B2 (ja) 発報制御システム、検知ユニット、ケアサポートシステムおよび発報制御方法
JP6904336B2 (ja) 被監視者監視システムおよび被監視者監視方法
JP2020113016A (ja) 見守りシステム、見守り方法及びプログラム。
JP7183788B2 (ja) 行動判定装置及び行動判定方法
EP3466336A1 (en) Breathing abnormality detection device and breathing abnormality detection method
WO2020145130A1 (ja) 見守りシステム、見守り方法及びプログラム。
JP6611871B1 (ja) 監視装置
JP6908028B2 (ja) 被監視者監視装置、該方法、該システムおよびプログラム
JP7259540B2 (ja) 判定装置、判定装置の制御プログラム、および判定方法
JP7268604B2 (ja) 被監視者監視支援装置、被監視者監視支援システム、被監視者監視支援方法、および、被監視者監視支援プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190415

R150 Certificate of patent or registration of utility model

Ref document number: 6520831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250