JP7102510B2 - 危険状況を感知する方法及びそのシステム - Google Patents

危険状況を感知する方法及びそのシステム Download PDF

Info

Publication number
JP7102510B2
JP7102510B2 JP2020513299A JP2020513299A JP7102510B2 JP 7102510 B2 JP7102510 B2 JP 7102510B2 JP 2020513299 A JP2020513299 A JP 2020513299A JP 2020513299 A JP2020513299 A JP 2020513299A JP 7102510 B2 JP7102510 B2 JP 7102510B2
Authority
JP
Japan
Prior art keywords
image
fall accident
dvs
vision sensor
dynamic vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020513299A
Other languages
English (en)
Other versions
JP2020532806A (ja
Inventor
キム,ジュヨン
キム,ジュンホ
ヤン,ドジュン
イ,ヒョンウ
ハン,ジョンヒ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2020532806A publication Critical patent/JP2020532806A/ja
Application granted granted Critical
Publication of JP7102510B2 publication Critical patent/JP7102510B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1115Monitoring leaving of a patient support, e.g. a bed or a wheelchair
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • A61B5/1117Fall detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0476Cameras to detect unsafe condition, e.g. video cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Dentistry (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本発明は、動的ビジョンセンサ(DVS)(DVS:dynamic vision sensor)を利用し、危険状況(例えば、転倒事故)を感知する方法及びそのシステムに関する。
転倒事故は、倒れたり落ちたりして、負傷することであり、高齢者において主に発生するが、全ての年齢において発生しうる。特に、高齢者転倒事故の発生は、だんだんと増えており、深刻な損傷を伴ったり、転倒事故による合併症によって死亡したりもする。
高齢者転倒事故は、転倒事故による死亡以外にも、重症の損傷により、生きていく上での質が顕著に低下するという問題をもたらす。転倒事故で病院を訪れる高齢者の20~30%は、打撲傷、尻骨骨折、及び/または転倒事故による頭損傷で苦労する。転倒事故は、高齢者外傷の最大要因であり、高齢者層の増加と共に、持続的に増加するものと予想される。
転倒事故は、住居施設での発生が61.5%と最も多く、その次は、道路(20.0%)、商業施設(18.5%)の順序である。住居施設で発生する転倒事故のうち95%は、家庭で発生するが、家庭内での滑りやすい床や階段のような危険な環境的要因が25~45%を占める。特に、住居施設内転倒事故は、表面の水によって滑って発生する場合が20.6%であり、トイレで発生した転倒事故の74.3%が床の水と関連性がある。
従って、転倒事故有無を正確に感知し、転倒事故による危険度を正確に予測することができるシステムが必要である。
一実施形態は、動的ビジョンセンサ(DVS)(DVS:dynamic vision sensor)を介して獲得されたイメージを、複数の映像処理モデルを利用し、段階的に分析することにより、効率的に危険状況(例えば、転倒事故)を感知するシステムを提供する。
一実施形態は、動的ビジョンセンサ(DVS)及び振動器を利用し、正確に客体の危険状況(例えば、転倒事故)を感知し、客体の危険度を予測する危険状況感知方法及びそのシステムを提供する。
追加の様態は、部分的には、以下の開示で説明され、部分的には、開示から明白であったり、実施形態を実施することによって学習されたりもする。
一実施形態によれば、システムは、動的ビジョンセンサ(DVS)及び振動器を利用し、客体の危険状況(例えば、転倒事故)を感知し、客体の危険度を予測することができる。
以上のところ及び/または他の様態は、次の図面と共に、以下の実施形態の記載によってさらに明確になるであろう。
一実施形態による危険状況感知システムを図示した図面である。 一実施形態による転倒事故感知装置がブーティングされるとき、初期イメージを利用し、空間情報を獲得する方法を図示したフローチャートである。 一実施形態による、消失点分析を介して空間情報を獲得する動作を図示した図面である。 一実施形態による転倒事故感知装置が、設置ガイド情報を提供する動作を図示した図面である。 一実施形態による、転倒事故危険度マップを生成する方法を図示したフローチャートである。 一実施形態による転倒事故危険度マップを図示した図面である。 一実施形態による、転倒事故を感知する方法を図示したフローチャートである。 一実施形態による、外形モデルとモーションモデルとを利用し、転倒事故を感知する方法を図示したフローチャートである。 一実施形態による、客体の動き感知いかんによってイメージ獲得モードを調節する方法を図示したフローチャートである。 一実施形態による、客体の形状または大きさを補償する方法を図示したフローチャートである。 一実施形態によるDVSの設置角度を考慮し、客体の形状を補償する動作を図示した図面である。 一実施形態による消失点分析を介し、客体の大きさを補償する動作を図示した図面である。 一実施形態による、第2客体によって一部隠された第1客体の姿勢を推定する方法を図示したフローチャートである。 一実施形態による、閉塞(occlusion)が感知される場合、客体の姿勢を推定する動作を図示した図面である。 一実施形態による、転倒事故状態の危険度を決定する方法を図示したフローチャートである。 一実施形態による、危険度レベルを決定する動作を図示した図面である。 一実施形態による、ウェアラブルデバイスで測定される生体情報を利用し、転倒事故状態の危険度を分析するシステムを図示した図面である。 一実施形態による、私生活レベルにより、客体の鮮明度を調節する方法を図示したフローチャートである。 一実施形態による、私生活レベルにより、客体の鮮明度を調節する動作を図示した図面である。 一実施形態による、動物の危険状況を感知する動作を図示した図面である。 一実施形態による、危険状況を感知する方法を図示したフローチャートである。 一実施形態による、詳細イメージを利用し、危険状況を感知する方法を図示したフローチャートである。 一実施形態による、転倒事故感知装置の構成を図示したブロック構成図である。 一実施形態によるプロセッサのブロック構成図である。 一実施形態によるデータ学習部のブロック構成図である。 一実施形態によるデータ認識部のブロック構成図である。 一実施形態による、転倒事故感知装置及びサーバが互いに連動することにより、データを学習して認識する例示を示す図面である。
本開示の一実施形態は、動的ビジョンセンサ(DVS)(DVS:dynamic vision sensor)を利用し、動きが発生しうる第1客体を含む第1イメージを獲得する段階、前記第1イメージのうちから、既定義姿勢の前記第1客体を含む第2イメージを検出する段階、及び前記第2イメージを分析し、前記第1客体の状況が危険状況であるか否かということを決定する段階を含む危険状況感知方法を提供することができる。
前記第2イメージを検出する段階、及び前記第1客体の状況が危険状況であるか否かということを決定する段階は、学習ネットワークモデルによって遂行される危険状況感知方法を提供することができる。
前記第1イメージを検出する段階は、前記第1客体の動き発生が感知されることにより、前記学習ネットワークモデルを利用し、前記第1イメージに含まれた前記第1客体の姿勢と、前記既定義姿勢とを比較する段階、及び前記比較結果に基づき、前記第2イメージを検出する段階を含む危険状況感知方法を提供することができる。
前記危険状況感知方法は、前記第1客体の状況が危険状況であると決定されることにより、振動器でもって、前記動的ビジョンセンサ(DVS)を動かして生成された前記第1客体の周辺環境情報が含まれた第3イメージを獲得する段階、及び前記第3イメージを分析し、前記第1客体の危険度を決定する段階をさらに含む危険状況感知方法を提供することができる。
前記第1客体の危険度を決定する段階は、一定時間の間、前記第1客体の動きが臨界値より小さいと決定されることにより、前記第1客体の危険度レベルを上向き調整する段階を含む危険状況感知方法を提供することができる。
前記第1客体の状況が危険状況であるか否かということを決定する段階は、前記第2イメージ内の前記第1客体に対する複数のイメージを分析し、前記第1客体の第1動き変化に係わる情報を獲得する段階、及び前記第1客体の第1動き変化に係わる情報に基づき、前記第1客体の状態が転倒事故(fall)状態であるか否かということを決定する段階を含む危険状況感知方法を提供することができる。
前記第2イメージを検出する段階は、前記動的ビジョンセンサ(DVS)が設けられた角度及び位置のうち少なくとも一つを考慮し、前記第1イメージに含まれた前記第1客体の形状、または前記第1客体の大きさを補償する段階、及び前記形状または大きさが補償された前記第1客体の姿勢と、前記既定義姿勢とを比較する段階を含む危険状況感知方法を提供することができる。
前記第2イメージを検出する段階は、前記第1客体が、他の客体によって一部隠されたと判断されることにより、振動器でもって、前記動的ビジョンセンサ(DVS)を動かして生成された前記第1客体の周辺環境情報が含まれた第3イメージを獲得する段階、前記第3イメージに基づき、前記第3イメージ内の前記第1客体の一部を隠す第2客体を検出する段階、及び前記第2客体を考慮し、前記第2客体によって一部隠された前記第1客体の姿勢を推定する段階を含む危険状況感知方法を提供することができる。
前記第1イメージを獲得する段階は、前記動的ビジョンセンサ(DVS)が設けられた空間の私生活レベル(privacy level)により、前記第1イメージに含まれた前記第1客体の鮮明度を調節する段階を含む危険状況感知方法を提供することができる。
前記第1イメージを獲得する段階は、前記第1客体の動きが感知されることにより、高解像度モードで、前記第1イメージを獲得する段階、及び前記第1客体の動きが感知されないことにより、低解像度モードで、前記第1イメージを獲得する段階を含む危険状況感知方法を提供することができる。
本開示の一実施形態は、動的ビジョンセンサ(DVS)を利用し、動きが発生しうる第1客体を含む第1イメージを獲得する段階、前記第1イメージのうちから、既定義姿勢の前記第1客体を含む第2イメージを検出する段階、前記第2イメージが検出されることにより、振動器でもって、前記動的ビジョンセンサ(DVS)を動かして生成された前記第1客体の周辺環境情報が含まれた第3イメージを獲得する段階、及び前記第3イメージを分析し、前記第1客体の状況が危険状況であるか否かということを決定する段階を含む危険状況感知方法を提供することができる。
前記第2イメージを検出する段階、及び前記第1客体の状況が危険状況であるか否かということを決定する段階は、学習ネットワークモデルによって遂行される危険状況感知方法を提供することができる。
動きが発生しうる第1客体を含む第1イメージを獲得する動的ビジョンセンサ(DVS)、及び前記第1イメージのうちから、既定義姿勢の前記第1客体を含む第2イメージを検出し、前記第2イメージを分析し、前記第1客体の状況が危険状況であるか否かということを決定するプロセッサを含む危険状況感知装置を提供することができる。
前記プロセッサは、学習ネットワークモデルを利用し、前記第2イメージを検出し、前記学習ネットワークモデルを利用し、前記第1客体の状況が危険な状況であるか否かということを決定する危険状況感知装置を提供することができる。
前記危険状況感知装置は、前記動的ビジョンセンサ(DVS)を動かす振動器をさらに含み、前記プロセッサは、前記第1客体の状況が危険状況であると決定されることにより、前記動的ビジョンセンサ(DVS)を動かすように、前記振動器を制御し、前記動的ビジョンセンサ(DVS)を動かして生成された前記第1客体の周辺環境情報が含まれた第3イメージを獲得し、前記第3イメージを分析し、前記第1客体の危険度を決定する危険状況感知装置を提供することができる。
前記プロセッサは、一定時間の間、前記第1客体の動きが臨界値より小さいと決定されることにより、前記第1客体の危険度レベルを上向き調整する危険状況感知装置を提供することができる。
前記プロセッサは、前記動的ビジョンセンサ(DVS)が設けられた角度及び位置のうち少なくとも一つを考慮し、前記第1イメージに含まれた前記第1客体の形状、または前記第1客体の大きさを補償し、前記形状または大きさが補償された前記第1客体の姿勢と、前記既定義姿勢とを比較し、前記第2イメージを検出する危険状況感知装置を提供することができる。
前記危険状況感知装置は、前記動的ビジョンセンサ(DVS)を動かす振動器をさらに含み、前記プロセッサは、前記少なくとも1つのイメージに基づき、前記第1客体が、他の客体によって一部隠されたと判断されることにより、前記振動器でもって、前記動的ビジョンセンサ(DVS)を動かして生成された前記第1客体の周辺環境情報が含まれた第3イメージを獲得し、前記第3イメージに基づき、前記第1客体の一部を隠す第2客体を検出し、前記第2客体を考慮し、前記第2客体によって一部隠された前記第1客体の姿勢を推定する危険状況感知装置を提供することができる。
本開示の一実施形態は、動きが発生しうる第1客体を含む第1イメージを獲得する動的ビジョンセンサ(DVS)、前記動的ビジョンセンサ(DVS)を動かす振動器、及び前記第1イメージのうちから、既定義姿勢の前記第1客体を含む第2イメージを検出し、前記第2イメージを分析し、前記第2イメージが検出されることにより、前記振動器でもって、前記動的ビジョンセンサ(DVS)を動かして生成された前記第1客体の周辺環境情報が含まれた第3イメージを獲得し、前記第3イメージを分析し、前記第1客体の状況が危険状況であるか否かということを決定するプロセッサを含む危険状況感知装置を提供することができる。
本開示の一実施形態は、動的ビジョンセンサ(DVS)を利用し、動きが発生しうる第1客体を含む第1イメージを獲得する段階、前記第1イメージのうちから、既定義姿勢の前記第1客体を含む第2イメージを検出する段階、及び前記第2イメージを分析し、前記第1客体の状況が危険状況であるか否かということを決定する段階を、コンピュータをして遂行させる命令語を保存するコンピュータで読み取り可能な非一時的記録媒体を提供することができる。
本明細書で使用される用語について簡略に説明し、本発明の一実施形態について具体的に説明する。
本明細書で使用される用語は、本発明での機能を考慮しながら、可能な限り現在汎用一般的な用語を選択したが、それは、当分野の当業者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で詳細にその意味を記載する。従って、本明細書で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と、本発明の全般にわたる内容とを基に定義されなければならない。
明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書に記載された「…部」、「モジュール」というような用語は、少なくとも1つの機能や動作を処理する単位を意味し、それは、ハードウェアまたはソフトウェアによって具現されるか、あるいはハードウェアとソフトウェアとの結合によっても具現される。
本明細書において、「転倒事故」は、特定対象が落ちたり倒れたりして負傷する現象を意味する。
以下では、添付図面を参照し、実施形態について、本発明が属する技術分野で当業者であるならば、容易に実施することができるように詳細に説明する。しかし、本発明は、さまざまに異なる形態にも具現され、ここで説明する実施形態に限定されるものではない。そして、図面において、本発明について明確に説明するために、説明と関係ない部分は、省略し、明細書全体を通じて、類似部分については、類似図面符号を付した。
図1は、一実施形態による危険状況感知システムを図示した図面である。図1を参照すれば、一実施形態による危険状況感知システムは、危険状況感知装置を含んでもよい。危険状況とは、動き発生が可能な客体(例えば、ヒト(person)または動物)が危険な状況に置かれることを意味する。例えば、危険な状況は、客体が転倒事故を起こした状況、客体のいる空間に火災が発生した状況、洪水が発生した状況、山崩れが発生した状況、ガス漏れが発生した状況のように、多様でもあるが、以下では、説明の便宜上、危険な状況は、客体が転倒事故を起こした状況である場合を例として挙げて説明する。
一実施形態によれば、危険状況感知装置は、転倒事故感知装置1000を含んでもよい。転倒事故感知装置1000は、客体10に対する少なくとも1つのイメージ(フレーム)を獲得し、獲得した少なくとも1つのイメージ(フレーム)を利用し、客体10の転倒事故を感知する装置でもある。一実施形態によれば、客体10は、移動可能なヒト、動物などにもなるが、それらに限定されるものではない。一実施形態によれば、転倒事故感知システムは、ユーザの入力に基づき、感知対象を特定客体と指定することができる。例えば、該転倒事故感知システムは、転倒事故感知の対象として、動物は除き、ヒトだけに特定することができる。また、該転倒事故感知システムは、特定人をモニタリング対象として指定することもできる。例えば、宅内に、母、父、祖父、子供が共にいる場合、転倒事故感知の対象として、祖父が指定されもする。
一実施形態によれば、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100と振動器1200とを含んでもよい。
動的ビジョンセンサ(DVS)1100は、ヒトの虹彩が情報を受け入れる方式を採択したイメージセンサであり、動く客体に係わるイメージデータを獲得することができるセンサである。例えば、動的ビジョンセンサ(DVS)1100は、ピクセル単位において、動きによって局所的な変化があるときにのみ、イメージデータをプロセッサに伝送する。すなわち、動的ビジョンセンサ(DVS)1100は、動くイベントが発生するときにのみ、イメージデータをプロセッサに伝送することができる。従って、動的ビジョンセンサ(DVS)1100は、客体が止まっている場合、データ処理を行わず、客体が動く場合にのみ、動く客体を測定し、データをプロセッサに伝送することにより、一般的なイメージセンサがフレームをイメージプロセッサに続けて送って発生するデータの浪費を防ぐことができる。
動的ビジョンセンサ(DVS)1100は、一般的な視覚認識システムが、迅速な動きに脆弱であるという問題点を解決することができる。動的ビジョンセンサ(DVS)1100は、フレーム単位でデータを受けるのではなく、個々のピクセル基準(per-pixel basis)でデータを受けるために、ブラー(blur)現象を克服することができる。
また、動的ビジョンセンサ(DVS)1100は、マイクロ秒単位の解像度を有することができる。言い換えれば、動的ビジョンセンサ(DVS)1100は、1秒当たり数千フレームを撮る超高速カメラよりさらにすぐれた時間分解能を有することができる(例えば、超高速フレーム>1K FPS)。それだけではなく、動的ビジョンセンサ(DVS)1100は、電力消耗及びデータ保存要求条件も非常に減ったので、ダイナミックレンジ(センサが区分することができる明るさの範囲)も、画期的に広くなった。
一方、動的ビジョンセンサ(DVS)1100によって獲得されるイメージは、動く客体10の輪郭線ほどだけ表現されるので、モニタリングされる客体10の私生活(privacy)保護にも有用である。また、動的ビジョンセンサ(DVS)1100は、暗いところでも、少しの光さえあれば、客体10の動きを感知することができる。
一実施形態によれば、動的ビジョンセンサ(DVS)1100は、周期的にイメージを獲得することができ、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100で周期的に獲得されるイメージを利用し、客体10の転倒事故いかんをモニタリングすることができる。例えば、客体10が寝台から落ちる場合、動的ビジョンセンサ(DVS)1100は、客体10が寝台から落ちる動きを感知することができる。このとき、転倒事故感知装置1000は、複数のディープラーニングモデルを段階的に利用し、効率的に、客体10の転倒事故いかんを判断することができる。例えば、転倒事故感知装置1000は、最初から動画を分析するのではなく、静止映像(static image)に、転倒事故と係わる姿勢の客体10が含まれる場合にのみ、動画分析を行うことにより、計算リソース(computation resource)の消耗を減らすことができる。転倒事故感知装置1000が、効率的に客体10の転倒事故いかんを判断する動作については、図7及び図8Aを参照し、追って詳細に説明する。
振動器1200は、振動を発生させるための装置でもある。例えば、振動器1200は、振動信号を出力する振動モータでもある。
一実施形態によれば、振動器1200は、振動を発生させ、人為的に動的ビジョンセンサ(DVS)1100を動かすことができる。動的ビジョンセンサ(DVS)1100は、動き変化感知に有用なイメージセンサであるが、動きがない場合には、情報を得ることができない。従って、客体の動きがない場合にも、動的ビジョンセンサ(DVS)1100が、客体のイメージを得ることができるように、振動器1200は、動的ビジョンセンサ(DVS)1100を人為的に動かすことができる。
振動器1200は、動的ビジョンセンサ(DVS)1100に振動が伝達されるように、動的ビジョンセンサ(DVS)1100と近接して位置することができる。例えば、振動器1200は、動的ビジョンセンサ(DVS)1100に付着される。振動器1200は、動的ビジョンセンサ(DVS)1100と、1つのハウジング内に位置することもできる。
一実施形態によれば、振動器1200は、特定イベントが発生する場合、振動信号を出力することができる。例えば、振動器1200は、転倒事故感知装置1000がブーティングされるとき、閉塞(occlusion)が感知されるとき、または客体10の状態が転倒事故状態であると判断されるとき、振動信号を出力することができる。該閉塞は、動く客体10が、他の客体により、一部または全部が隠される現象を意味する。振動器1200が振動信号を出力する動作については、図2を参照し、追ってさらに詳細に説明する。
一実施形態によれば、該転倒事故感知システムは、サーバをさらに含んでもよい。その場合、該サーバは、転倒事故感知装置1000から、客体10の転倒事故感知情報を受信することができる。該サーバは、受信された転倒事故感知情報を検証したり、転倒事故感知情報により、警告メッセージを外部デバイスに伝送したりすることができる。
一実施形態によれば、転倒事故感知装置1000は、転倒事故いかんを確認するためのディープラーニングモデルを直接生成することもでき、サーバから受信することもできる。該ディープラーニングモデルは、指導学習(supervised learning)モデル、非指導学習(unsupervised learning)モデル、強化学習(reinforcement learning)モデルのうち一つでもあるが、それらに限定されるものではない。転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100で収集されたイメージをディープラーニングモデルに適用し、客体10の転倒事故いかんを判断することができる。一方、一実施形態よれば、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を介して収集されたイメージをサーバに伝送しながら、客体10の転倒事故いかんに係わる判断を、サーバに要請することもできる。説明の便宜上、該転倒事故感知システムがサーバを含まない場合をまず例として挙げて説明する。
以下においては、図2を参照し、転倒事故感知装置1000が設けられた初期、周辺の空間情報を獲得する動作について説明する。
図2は、一実施形態による転倒事故感知装置がブーティングされるとき、初期イメージを利用し、空間情報を獲得する方法を図示したフローチャートである。
段階S210において、動的ビジョンセンサ(DVS)1100が特定空間に設けられた後、転倒事故感知装置1000は、ブーティングされる。一実施形態によれば、動的ビジョンセンサ(DVS)1100は、家庭にも設けられ、事務室にも設けられ、病院にも設けられるが、それらに限定されるものではない。転倒事故感知装置1000は、野外にも設けられる。例えば、転倒事故感知装置1000は、転倒事故事故が頻繁に発生する山にも設けられる。
段階S220において、転倒事故感知装置1000は、ブーティング時、振動器1200を利用し、一定時間の間、振動を発生させることができる。このとき、振動器1200で発生する振動は、動的ビジョンセンサ(DVS)1100を動かすことができる。動的ビジョンセンサ(DVS)1100が動く場合、客体に相対的な動きが発生するので、客体が動いているか否かということに係わりなく、客体のイメージがキャプチャされる。
段階S230において、転倒事故感知装置1000は、動く動的ビジョンセンサ(DVS)1100を介して、初期イメージを獲得することができる。例えば、動的ビジョンセンサ(DVS)1100が居間に設けられた場合、動的ビジョンセンサ(DVS)1100は、居間の初期イメージを獲得することができる。このとき、動く動的ビジョンセンサ(DVS)1100は、居間において、動かないたんす、机、椅子などに係わるイメージも獲得することができる。一実施形態によれば、該初期イメージは、静止映像でもあり、動画でもある。
段階S240において、転倒事故感知装置1000は、該初期イメージを利用し、動的ビジョンセンサ(DVS)1100が設けられた空間(または、動的ビジョンセンサ(DVS)1100が認識する空間)を分析することができる。例えば、転倒事故感知装置1000は、初期イメージの消失点を利用し、動的ビジョンセンサ(DVS)1100が設けられた角度、位置、高さ、動的ビジョンセンサ(DVS)1100の認識範囲などを確認することができる。
図3の310を参照すれば、転倒事故感知装置1000は、消失点(vanishing point)分析を介し、動的ビジョンセンサ(DVS)1100が設けられた空間を分析することができる。三次元空間にある平行なラインの集合は、動的ビジョンセンサ(DVS)1100で得られた二次元空間に投影されるとき、イメージ上で収斂して出合う点が発生する。この点を、消失点(例えば、消失点1、消失点2)と言う。転倒事故感知装置1000は、消失点を分析した結果から、動的ビジョンセンサ(DVS)1100が設けられた相対的高さ(例えば、上中下)、相対的位置(例えば、左右)、特定客体からの相対的距離などを知ることができる。
例えば、図3の320を参照すれば、転倒事故感知装置1000は、動く動的ビジョンセンサ(DVS)1100を介して、動的ビジョンセンサ(DVS)1100が設けられた居間のイメージ300を獲得することができる。転倒事故感知装置1000は、居間のイメージ300上の平行なラインを利用し、消失点301を抽出することができる。消失点301に近い客体であればあるほど、動的ビジョンセンサ(DVS)1100から遠く離れた客体でもある。消失点301が居間のイメージ300の中心から若干上側に存在するので、動的ビジョンセンサ(DVS)1100は、実際居間空間上において、若干下側に設けられているということが分かる。
一実施形態によれば、転倒事故感知装置1000は、初期イメージに対する映像処理を行い、動的ビジョンセンサ(DVS)1100が設けられた空間上の客体の種類、位置、障害物の比率、床面の比率などの情報を獲得することもできる。
段階S250において、転倒事故感知装置1000は、初期イメージを利用して分析された空間情報に基づき、動的ビジョンセンサ(DVS)1100の設置が適するか否かということを判断することができる。
例えば、転倒事故感知装置1000は、初期イメージ内の床面比が臨界値(例えば、10%)以下である場合、転倒事故を感知し難いので、動的ビジョンセンサ(DVS)1100の設置が適するものではないと判断することができる。一方、転倒事故感知装置1000は、初期イメージ内の床面比が臨界値(例えば、10%)より大きい場合、動的ビジョンセンサ(DVS)1100の設置が適するものであると判断することができる。
また、転倒事故感知装置1000は、初期イメージ内において、動かない障害物が占める面積の比率が臨界値(例えば、70%)より大きい場合、動的ビジョンセンサ(DVS)1100の設置が適するものではないと判断することができる。転倒事故感知装置1000は、動く客体(例えば、ヒト)を障害物が隠す閉塞が発生する回数が臨界値より多い場合、動的ビジョンセンサ(DVS)1100の設置が適するものではないと判断することができる。一方、転倒事故感知装置1000は、動く客体(例えば、ヒト)を障害物が隠す閉塞が発生する回数が臨界値以下である場合、動的ビジョンセンサ(DVS)1100の設置が適するものであると判断することができる。
一実施形態によれば、転倒事故感知装置1000は、設置位置を点数化(例えば、90点、40点、良、不良)することもできる。
段階S260において、動的ビジョンセンサ(DVS)1100の設置が適するものであると判断された場合、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を介してイメージを獲得し、客体の転倒事故いかんをモニタリングすることができる。転倒事故感知装置1000が客体の転倒事故いかんを判断する方法については、図7を参照し、追って詳細に説明する。
段階S270において、動的ビジョンセンサ(DVS)1100の設置が適するものではないと判断された場合、転倒事故感知装置1000は、設置ガイド情報を提供することができる。一実施形態によれば、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100の設置が不適であるという情報、動的ビジョンセンサ(DVS)1100の再設置を要請する情報、または動的ビジョンセンサ(DVS)1100の設置位置をガイドする情報をユーザに提供することができる。
図4を参照し、転倒事故感知装置1000が設置ガイド情報を提供する動作についてさらに説明する。図4は、一実施形態による転倒事故感知装置が、設置ガイド情報を提供する動作を図示した図面である。
図4の400-1を参照すれば、転倒事故感知装置1000は、ブーティング時、振動器1200を利用し、動的ビジョンセンサ(DVS)1100を動かすことにより、動的ビジョンセンサ(DVS)1100が設けられた寝室の初期イメージ410を獲得することができる。寝室の初期イメージ410を分析した結果、床の比率(例えば、8%)が臨界値(例えば、10%)以下である場合、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100の設置が転倒事故感知に不適であると判断することができる。転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100の位置調整を誘導するメッセージ411(例えば、床の比率:8%、カメラの位置を調整してください)を出力することができる。
ユーザは、メッセージ411により、動的ビジョンセンサ(DVS)1100のポーズを調整することができる。例えば、ユーザは、動的ビジョンセンサ(DVS)1100が認識する床の比率が上昇するように、動的ビジョンセンサ(DVS)1100の設置角度、動的ビジョンセンサ(DVS)1100が眺める方向、または動的ビジョンセンサ(DVS)1100の設置位置を調整することができる。ユーザが動的ビジョンセンサ(DVS)1100の位置を調整した場合、転倒事故感知装置1000は、再ブーティングされる。
図4の400-2を参照すれば、転倒事故感知装置1000は、再ブーティング時、動的ビジョンセンサ(DVS)1100を動かし、動的ビジョンセンサ(DVS)1100が設けられた寝室の初期イメージ420をさらに獲得することができる。寝室の初期イメージ420を分析した結果、床の比率(例えば、35%)が臨界値(例えば、10%)より高い場合、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100の設置が転倒事故を感知するのに適するものであると判断することができる。転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100の設置が適するものであるというメッセージ421(例えば、床の比率:35%、カメラの位置が適しています)を出力することができる。
図5は、一実施形態による、転倒事故危険度マップを生成する方法を図示したフローチャートである。
段階S510において、転倒事故感知装置1000は、動く動的ビジョンセンサ(DVS)1100を介して、初期イメージを獲得することができる。例えば、転倒事故感知装置1000は、ブーティング時、振動器1200を利用し、振動信号を出力することにより、動的ビジョンセンサ(DVS)1100を動かすことができる。このとき、転倒事故感知装置1000は、動く動的ビジョンセンサ(DVS)1100を介して、動的ビジョンセンサ(DVS)1100が設けられた空間の初期イメージを獲得することができる。段階S510は、図2のS230に対応するので、具体的な説明は、省略する。
段階S520において、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を介して獲得された初期イメージを利用し、動的ビジョンセンサ(DVS)1100が設けられた空間に係わる空間情報を獲得することができる。例えば、転倒事故感知装置1000は、初期イメージの消失点を利用し、客体の相対的位置に係わる情報を獲得することができる。転倒事故感知装置1000は、初期イメージに対する映像処理を行い、動的ビジョンセンサ(DVS)1100が設けられた空間に存在する客体の種類、位置などの情報を獲得することもできる。例えば、転倒事故感知装置1000は、イメージに含まれた客体の外郭線を、既定義テンプレート(template)と比較し、客体の種類、客体の名称などを検出することができる。または、転倒事故感知装置1000は、ディープラーニングアルゴリズムを利用し、初期イメージに含まれた客体の種類、位置などの情報を獲得することもできる。
段階S530において、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100が設けられた空間に係わる空間情報により、転倒事故危険度マップを生成することができる。該転倒事故危険度マップは、転倒事故が発生する場合、相対的にさらに危険な地域と、あまり危険ではない地域とを示す地図でもある。
一実施形態によれば、転倒事故感知装置1000は、既定義転倒事故危険度加重値に係わる情報を利用し、転倒事故危険度マップを生成することができる。例えば、階段領域は、転倒事故危険度加重値が+2でもあり、カーペットが敷かれている床は、転倒事故危険度加重値が-1でもあり、テーブルエッジ部分は、転倒事故危険度加重値が+3でもあり、浴室床は、転倒事故危険度加重値が+1でもある。
一実施形態によれば、転倒事故感知装置1000は、転倒事故危険領域に対し、強調表示したり、特定色相で表示したり、あるいは転倒事故危険領域に特定マークまたはテキストを追加した転倒事故危険度マップを生成することができる。例えば、転倒事故感知装置1000は、階段領域、テーブルエッジ部分、浴室床領域を、特定色相(例えば、赤色)で表示した転倒事故危険度マップを生成することができる。図6を参照し、転倒事故危険度マップについてさらに説明する。
図6は、一実施形態による転倒事故危険度マップを図示した図面である。図6を参照すれば、転倒事故感知装置1000は、階段領域610の危険度レベルは、「danger」に指定し、居間床610の危険度レベルは、「normal」と指定した転倒事故危険度マップ600を生成することができる。
一実施形態によれば、転倒事故感知装置1000は、転倒事故発生時、転倒事故危険度マップ600を考慮し、転倒事故による危険度を迅速に決定することができる。例えば、転倒事故感知装置1000は、階段領域610で転倒事故が発生した場合、転倒事故危険度を2段階上向き調整することができる。
以下においては、転倒事故感知装置1000が動的ビジョンセンサ(DVS)1100を介して収集される少なくとも1つのイメージを利用し、客体の転倒事故を感知する方法について、図7を参照して詳細に説明する。
図7は、一実施形態による、転倒事故を感知する方法を図示したフローチャートである。
段階S710において、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を利用し、移動可能な第1客体を含む少なくとも1つのイメージを獲得することができる。一実施形態によれば、移動可能な第1客体は、モニタリング対象になるヒトでもある。第1客体が移動する場合、動的ビジョンセンサ(DVS)1100は、第1客体のイメージをキャプチャすることができる。第1客体のイメージには、第1客体の輪郭、エッジ及び/またはシルエットが含まれてもよい。
段階S720において、転倒事故感知装置1000は、少なくとも1つのイメージのうちから、既定義姿勢の第1客体を含む第1イメージを検出することができる。このとき、少なくとも1つのイメージそれぞれは、静止映像でもある。
一実施形態によれば、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を介して獲得される少なくとも1つのイメージを、一つずつ第1ディープラーニングモデルを利用して分析することができる。該第1ディープラーニングモデルは、静止映像を分析し、既定義姿勢の客体を含むイメージを検出するために学習されたモデルでもある。
既定義姿勢は、転倒事故と係わる姿勢でもある。一実施形態によれば、該既定義姿勢は、床(または、階段)に、特定身体一部(例えば、頭、背、胸、膝、かかと、手の平など)が接触した姿勢でもある。例えば、該既定義姿勢は、床に背中を付けて横になっている姿勢、床に腹を付けて伏せている姿勢、横になった姿勢、階段に寄り掛かった姿勢などでもあるが、それらに限定されるものではない。
例えば、祖父が寝台の外に出ようとして倒れた場合、転倒事故感知装置1000は、第1ディープラーニングモデルを利用し、イメージを一つずつ分析していて、床に横になっている姿勢の祖父が含まれたイメージを検出することができる。
一方、一実施形態によれば、転倒事故感知装置1000は、第1ディープラーニングモデルを利用し、静止映像を分析する前、静止映像に含まれた客体の形状または大きさを補償することができる。例えば、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100が設けられた角度及び位置のうち少なくとも一つを考慮し、少なくとも1つのイメージに含まれた第1客体の形状または大きさを補償し、形状または大きさが補償された第1客体の姿勢と、既定義姿勢とを比較することができる。転倒事故感知装置1000が、客体の形状または大きさを補償する動作については、図9を参照し、追って詳細に説明する。
一実施形態によれば、転倒事故感知装置1000は、第1ディープラーニングモデルを利用し、静止映像を分析する前、閉塞を補償することもできる。転倒事故感知装置1000が閉塞を補償する動作は、図12を参照し、追って詳細に説明する。
段階S730において、転倒事故感知装置1000は、既定義姿勢の第1客体を含む第1イメージが検出された場合、第1イメージを含む第1客体に係わる複数のイメージを分析し、第1客体の第1動き変化に係わる情報を獲得することができる。一実施形態によれば、複数のイメージは、動的ビジョンセンサ(DVS)1100を利用し、第1イメージより以前に獲得されたフレーム、及び第1イメージより以後に獲得されたフレームのうち少なくとも一つを含んでもよいが、それに限定されるものではない。
一実施形態によれば、転倒事故と係わる姿勢の第1客体を含む第1イメージが検出された場合、転倒事故感知装置1000は、第1客体の状態が転倒事故状態であるか否かということを正確に把握するために、一連のイメージ(例えば、一定期間累積されたフレーム)を分析し、第1客体の第1動き変化に係わる情報を獲得することができる。例えば、第1客体が寝台から落ちて床に横になっているイメージ(例えば、第nフレーム)が検出された場合、転倒事故感知装置1000は、一定期間累積されたイメージ(例えば、第(n-10)フレーム~第(n+10)フレーム)を分析し、第1客体が寝台から床まで落ちる動きの変化を検出することができる。また、転倒事故感知装置1000は、床に体が接触した後の第1客体の動き変化を検出することもできる。
段階S740において、転倒事故感知装置1000は、第1客体の第1動き変化に係わる情報に基づき、第1客体の状態が転倒事故状態であるか否かということを決定することができる。
一実施形態によれば、第1客体の第1動き変化と、既保存転倒事故を示す第2動き変化との類似度が臨界値(例えば、90%)より大きい場合、転倒事故感知装置1000は、第1客体の状態を転倒事故状態と決定することができる。一方、第1客体の第1動き変化と、既保存転倒事故を示す第2動き変化との類似度が臨界値(例えば、90%)以下である場合、転倒事故感知装置1000は、第1客体の状態を転倒事故状態ではないと決定することができる。
例えば、第1客体の動き変化が転倒事故による動きパターンと類似している場合(例えば、第1客体が寝台から床に落ちた後、それ以上動くことができない場合)、転倒事故感知装置1000は、第1客体の状態を転倒事故状態と決定することができる。しかし、第1客体の動き変化が転倒事故による動きパターンと異なる場合(例えば、第1客体が寝台から下るとき、滑りながら、床に尻と手の平とが接触したものの、直ちに起きて歩いて行った場合)、転倒事故感知装置1000は、第1客体の状態を転倒事故状態ではないと決定することができる。図8Aを参照し、転倒事故感知装置1000が、客体の転倒事故を感知する方法について、さらに詳細に説明する。
図8Aは、一実施形態による、外形モデル(appearance model)とモーションモデル(motion model)とを利用し、転倒事故を感知する方法を図示したフローチャートである。
段階S810において、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を介して、少なくとも1つのイメージを獲得することができる。このとき、少なくとも1つのイメージには、動きがある客体の輪郭が示されもし、動きがない客体の輪郭が示されもしない。例えば、第1客体が動き、第2客体、第3客体、第4客体は、動かない場合、第1客体の輪郭だけ少なくとも1つのイメージにも示される。
段階S820において、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を介して獲得された少なくとも1つのイメージを利用し、客体の動きを感知することができる。
例えば、寝台と化粧台とがある部屋にヒトがいない場合、動的ビジョンセンサ(DVS)1100を介して獲得された少なくとも1つのイメージには、何らの輪郭も示されない。しかし、寝台と化粧台とがある部屋にヒトが入って来ることになる場合、動的ビジョンセンサ(DVS)1100を介して獲得された少なくとも1つのイメージには、動くヒトの輪郭が示されることになる。従って、転倒事故感知装置1000は、少なくとも1つのイメージを分析することにより、客体(例えば、ヒト)の動きいかんを感知することができる。
客体(例えば、ヒト)の動きが感知されない場合、転倒事故が発生する可能性がないので、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を介して獲得されたイメージをそれ以上分析しない。もし客体(例えば、ヒト)の動きが感知される場合、転倒事故感知装置1000は、客体(例えば、ヒト)の動きが転倒事故と係わる動きであるか否かということを判断するために、段階S830を遂行することができる。
段階S830において、転倒事故感知装置1000は、客体の動きが感知される場合、動的ビジョンセンサ(DVS)1100を介して獲得される少なくとも1つのイメージを、外形モデルを利用し、一つずつ分析することができる。例えば、転倒事故感知装置1000は、外形モデルを利用し、転倒事故と係わる姿勢の客体を含むイメージ(例えば、床に横になっている姿勢のヒトを含むイメージ)を検出することができる。外形モデルは、静止映像を一つずつ分析し、静止映像に含まれた客体の形状(body shape)やポーズを検出し、検出された客体の形状やポーズが転倒事故と係わる姿勢と類似しているか否かということを判断するように学習されたモデルでもある。
例えば、祖父が動的ビジョンセンサ(DVS)1100が設けられた浴室に入る場合、動的ビジョンセンサ(DVS)1100は、祖父の動きを感知することができる。動的ビジョンセンサ(DVS)1100は、祖父の動きが感知された時点から撮影されたイメージフレームを順次に転倒事故感知装置1000のプロセッサに伝達し、該プロセッサは、外形モデルを利用し、順次に伝達されるイメージフレームを分析することができる。例えば、該プロセッサは、順次に伝達されるイメージフレームに含まれた祖父の姿勢を検出することができる。
もし祖父が浴室床で倒れている場合、転倒事故検出装置1000のプロセッサは、順次に伝達されるイメージフレームのうち、浴室床に背が接触した姿勢の祖父が含まれた第nフレーム801を検出することができる。
段階S840において、転倒事故感知装置1000のプロセッサは、順次に伝達されるイメージフレームで検出された客体の姿勢が、既定義姿勢(例えば、横になっている姿勢)と類似しているか否かということを判断することができる。
もし検出される客体の姿勢が既定義姿勢と類似していない場合、転倒事故感知装置1000は、段階S810に戻り、動的ビジョンセンサ(DVS)1100を介して、次のイメージフレームを獲得することができる。一方、検出された客体の姿勢が既定義姿勢と類似している場合、転倒事故感知装置1000は、客体の転倒事故いかんを正確に判断するために、段階S850を遂行することができる。
例えば、転倒事故感知装置1000のプロセッサは、以前第(n-3)フレーム804が入力される場合、第(n-3)フレーム804に含まれた客体の姿勢が横になっている姿勢ではないので、段階S810に戻り、動的ビジョンセンサ(DVS)1100を介して、第(n-2)フレーム803を獲得することができる。転倒事故感知装置1000のプロセッサは、第(n-2)フレーム803が入力された場合、第(n-2)フレーム803に含まれた客体の姿勢が横になっている姿勢ではないので、段階S810に戻り、動的ビジョンセンサ(DVS)1100を介して、第(n-1)フレーム802を獲得することができる。転倒事故感知装置1000のプロセッサは、第(n-1)フレーム802が入力された場合、第(n-1)フレーム802に含まれた客体の姿勢が横になっている姿勢ではないので、段階S810に戻り、動的ビジョンセンサ(DVS)1100を介して、第nフレーム801を獲得することができる。
転倒事故感知装置1000のプロセッサは、第nフレーム801が入力される場合、第nフレーム801に含まれた客体の姿勢が横になっている姿勢であるので、転倒事故いかんを正確に判断するために、段階S850に進むことができる。
段階S850において、転倒事故感知装置1000は、モーションモデルを利用し、動き変化を検出し、検出された動き変化が転倒事故を示す動き変化と類似しているか否かということを判断することができる。
一実施形態によれば、該モーションモデルは、複数のイメージ(例えば、動画)を分析して客体の動きパターンを検出し、検出された客体の動きパターンが転倒事故を示す動きパターンと類似しているか否かということを判断するように学習されたモデルでもある。
一実施形態によれば、転倒事故感知装置1000は、段階S830及び段階S840において、横になっている姿勢の客体が含まれた第nフレーム801が検出されたので、モーションモデルを利用し、第nフレーム801と係わる一連のイメージ(例えば、第(n-3)フレーム804、第(n-2)フレーム803、第(n-1)フレーム802、第nフレーム801)を分析することができる。
転倒事故感知装置1000は、一連のイメージ(例えば、第(n-3)フレーム804、第(n-2)フレーム803、第(n-1)フレーム802、第nフレーム801)を分析し、祖父が浴室床に立っていて(例えば、第(n-3)フレーム804)、滑りながら(例えば、第(n-2)フレーム803)、尻が床に接触した後(例えば、第(n-1)フレーム802)、背と頭とが浴室床に接触する(第nフレーム801)動きパターンを検出することができる。このとき、転倒事故感知装置1000は、検出された祖父の動きパターンが、既学習転倒事故を示す動きパターンと類似していると判断することができる。
段階S860において、転倒事故感知装置1000は、検出された動き変化が転倒事故を示す動き変化と類似していない場合、段階S810に戻り、動的ビジョンセンサ(DVS)1100を介して、次のイメージを獲得することができる。一方、転倒事故感知装置1000は、検出された動き変化が転倒事故を示す動き変化と類似している場合、客体の状態を転倒事故状態と決定することができる。
段階S870において、転倒事故感知装置1000は、客体の状態が転倒事故状態と決定された場合、転倒事故状態の危険度を分析することができる。
一実施形態によれば、転倒事故感知装置1000は、客体がいかなる姿勢に倒れたか、倒れた後、続けて動きがないか否かというような情報を利用し、転倒事故状態の危険度を分析することができる。一実施形態によれば、転倒事故感知装置1000は、客体が倒れた周辺環境情報(例えば、客体が倒れたところにいかなる物体があるか、床の材質がいかなるものであるかということ)を利用し、転倒事故状態の危険度を分析することができる。一実施形態によれば、転倒事故感知装置1000は、既生成転倒事故危険度マップ600を利用し、転倒事故状態の危険度を分析することもできる。転倒事故感知装置1000が転倒事故状態の危険度を分析する動作については、図14を参照し、追って詳細に説明する。
一般的に、モーションモデルは、何枚ものイメージを累積(例えば、N images stacking)させて処理するために、イメージ1枚を処理する外形モデルに比べ、N倍時間が長くかかる。ところで、一実施形態による転倒事故感知装置1000は、外形モデルにおいて、床に体を密着させた場面を認識したときだけ、モーションモデルを動作することになるので、転倒事故感知のための計算リソースを効率的に使うことができる。
図8Bは、一実施形態による客体の動き感知いかんにより、イメージ獲得モードを調節する方法を図示したフローチャートである。
段階S805において、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を利用し、初期イメージを獲得することができる。
一実施形態によれば、初期イメージは、システム設定値またはユーザ設定値により、解像度が変わりもする。例えば、該初期イメージは、高解像度イメージでもあり、低解像度イメージでもある。ここで、該高解像度イメージは、解像度が臨界値より高いイメージを意味し、該低解像度イメージは、解像度が臨界値より低いか、あるいはそれと同じイメージを意味する。
段階S815において、転倒事故感知装置1000は、初期イメージを利用し、客体の動きを感知することができる。
例えば、厨房にヒトがいない場合、動的ビジョンセンサ(DVS)1100を介して獲得された初期イメージには、輪郭線やエッジが全く示されない。しかし、厨房にヒトが入るような場合、動的ビジョンセンサ(DVS)1100を介して獲得された初期イメージには、動くヒトの輪郭線またはエッジが示されることになる。従って、転倒事故感知装置1000は、初期イメージを分析することにより、客体(例えば、ヒト)の動きいかんを感知することができる。
段階S825で、転倒事故感知装置1000は、客体の動きが感知されない場合、低解像度モードでイメージを獲得することができる。ここで、該低解像度モードとは、動的ビジョンセンサ(DVS)1100を利用し、解像度が臨界値以下である低解像度イメージを獲得するモードを意味する。
例えば、初期イメージ(nフレーム)において、 客体の輪郭線やエッジが検出されない場合、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を利用し、(n+1)フレームを低解像度モードで獲得することができる。また、(n+1)フレームにおいても、客体の輪郭線やエッジが検出されない場合、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を利用し、(n+2)フレームも、低解像度モードで獲得することができる。
客体の動きが感知されない場合、転倒事故が発生する可能性が希薄であるので、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を利用し、低解像度イメージを獲得することにより、コンピュータリソースを節約することができる。
段階S835において、転倒事故感知装置1000は、客体の動きが感知される場合、高解像度モードでイメージを獲得することができる。ここで、該高解像度モードとは、動的ビジョンセンサ(DVS)1100を利用し、解像度が臨界値より高い高解像度イメージを獲得するモードを意味する。一実施形態によれば、該高解像度モードは、最大解像度モード(full resolution mode)でもある。
例えば、初期イメージ(nフレーム)において、客体の輪郭線やエッジが検出される場合、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を利用し、(n+1)フレームを高解像度モードで獲得することができる。また、初期イメージ(nフレーム)においては、客体の輪郭線やエッジが検出されなかったが、低解像度モードで獲得されたイメージ((n+1)フレーム)において、客体の輪郭線やエッジが検出される場合、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を利用し、(n+2)フレームを高解像度モードで獲得することができる。
段階S845において、転倒事故感知装置1000は、高解像度イメージモードで獲得された高解像度イメージを、外形モデルを利用して分析することができる。例えば、転倒事故感知装置1000は、外形モデルを利用し、転倒事故と係わる姿勢の客体を含む高解像度イメージ(例えば、床に横になっている姿勢のヒトを含む第(n+5)フレーム)を検出することができる。その場合、転倒事故感知装置1000は、モーションモデルを利用し、第(n+5)フレームと係わる一連のイメージ(例えば、第nフレーム、第(n+1)フレーム、第(n+2)フレーム、(n+3)フレーム、(n+4)フレーム、(n+5)フレーム)を分析することができる。このとき、第nフレーム、第(n+1)フレーム、第(n+2)フレーム、(n+3)フレーム、(n+4)フレーム、(n+5)フレームは、いずれも高解像度モードで獲得された高解像度イメージでもある。
転倒事故感知装置1000は、分析結果に基づき、客体の動き変化を検出し、検出された動き変化が転倒事故を示す動き変化と類似しているか否かということを判断することができる。転倒事故感知装置1000は、検出された動き変化が転倒事故を示す動き変化と類似している場合、客体の状態を、転倒事故状態と決定することができる。客体の状態が転倒事故状態と決定された場合、転倒事故感知装置1000は、転倒事故状態の危険度を分析することができる。
段階S845は、図8Aの段階S830に対応するので、具体的な説明は、省略する。
図9は、一実施形態による、客体の形状または大きさを補償する方法を図示したフローチャートである。
段階S910において、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を利用し、移動可能な第1客体を含む少なくとも1つのイメージを獲得することができる。段階S910は、図7の段階S710に対応するので、具体的な説明は、省略する。
段階S920において、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100が設けられた角度及び位置のうち少なくとも一つを考慮し、少なくとも1つのイメージに含まれた第1客体の形状または大きさを補償することができる。
一実施形態によれば、図2で説明したように、転倒事故感知装置1000は、ブーティング時、初期イメージを分析し、第1動的ビジョンセンサ(DVS)が設けられた角度、位置などに係わる情報を獲得することができる。例えば、転倒事故感知装置1000は、初期イメージの消失点を分析し、第1動的ビジョンセンサ(DVS)が設けられた角度、位置、高さ、第1動的ビジョンセンサ(DVS)の認識範囲などを確認することができる。その場合、転倒事故感知装置1000は、外形モデルを生成するときに利用した第2動的ビジョンセンサ(DVS)の設置角度、位置または高さと、実際空間に設けられた第1動的ビジョンセンサ(DVS)の設置角度、位置または高さとを比較することができる。外形モデルを生成するときに利用した第2動的ビジョンセンサ(DVS)の設置角度、位置または高さと、実際空間に設けられた第1動的ビジョンセンサ(DVS)の設置角度、位置または高さとに多くの違いがある場合、データ認識の誤謬が大きくなってしまう。従って、転倒事故感知装置1000は、外形モデルを動作する前、第1動的ビジョンセンサ(DVS)を介して獲得されたイメージに含まれた客体の形状を補償することができる。図10を参照し、客体の形状が補償される例についてさらに説明する。
図10を参照すれば、外形モデルを生成するときに利用した第2動的ビジョンセンサ(DVS)1100-2は、三脚台上に置かれていたが、実際空間に設けられた第1動的ビジョンセンサ(DVS)1100-1は、天井にも位置する。その場合、転倒事故感知装置1000が、第1動的ビジョンセンサ(DVS)を利用して獲得したイメージをそのまま外形モデルに入力する場合、該外形モデルは、客体の姿勢が、既学習転倒事故姿勢と類似しているか否かということを正確に判断し難くなる。従って、転倒事故感知装置1000は、天井に設けられた第1動的ビジョンセンサ(DVS)1100-1を利用して獲得された第1イメージ1101に含まれたヒトの形状を、第2イメージ1102のような形状に補償することができる。
一実施形態によれば、転倒事故感知装置1000は、少なくとも1つのイメージの消失点を利用し、少なくとも1つのイメージに含まれた第1客体の大きさを補償することができる。例えば、図11を参照すれば、第1客体1001と第2客体1002とが実在的に同一サイズであるとしても、消失点に近いほど小さく示され、消失点から遠いほど大きくも示される。従って、転倒事故感知装置1000は、消失点に近い第1客体1101の大きさを大きく補償する(1101-1)。一方、転倒事故感知装置1000は、消失点から遠い第2客体1102の大きさを小さく補償する(1102-1)。
段階S930において、転倒事故感知装置1000は、形状または大きさが補償された第1客体の姿勢と、既定義姿勢とを比較することができる。該既定義姿勢は、転倒事故と係わる姿勢でもある。例えば、該既定義姿勢は、ヒトの身体一部(例えば、腹、背、脇腹、頭など)が地面に接触する姿勢(例えば、横になった姿勢、伏せた姿勢など)でもある。段階S930は、図8Aの段階S840に対応するので、具体的な説明は、省略する。
図12は、一実施形態による、第2客体によって一部隠された第1客体の姿勢を推定する方法を図示したフローチャートである。
段階S1210において、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を利用し、第1客体を含む少なくとも1つのイメージを獲得することができる。段階S1210は、図7の段階S710に対応するので、具体的な説明は、省略する。
段階S1220において、転倒事故感知装置1000は、少なくとも1つのイメージを利用し、閉塞発生を感知することができる。該閉塞は、動く客体(例えば、ヒト)が他の客体(例えば、障害物)により、一部または全部隠される現象を意味する。
例えば、少なくとも1つのイメージにおいて、ヒトの全体形状が検出されず、ヒトの一部形状(例えば、頭、上体など)が検出される場合、転倒事故感知装置1000は、閉塞が発生したと判断することができる。
段階S1230において、転倒事故感知装置1000は、閉塞が感知された場合、振動器を利用し、振動を発生させることができる。このとき、振動器1200で発生する振動は、動的ビジョンセンサ(DVS)1100を動かすことができる。
段階S1240において、転倒事故感知装置1000は、動く動的ビジョンセンサ(DVS)1100を利用して獲得されたイメージに基づき、第1客体の一部を隠す第2客体検出することができる。動的ビジョンセンサ(DVS)1100が動く場合、客体に相対的な動きが発生するので、客体が動いているか否かということに係わらず、客体のイメージがキャプチャされもする。従って、転倒事故感知装置1000は、第1客体(例えば、ヒト)を隠している動かない第2客体(例えば、書棚、ソファ-、寝台など)を確認することができる。
段階S1250において、転倒事故感知装置1000は、第2客体を考慮し、第2客体によって一部隠された第1客体の姿勢を推定することができる。
一実施形態によれば、転倒事故感知装置1000は、学習モデルを利用し、第1客体の全体形状のうち、第2客体によって隠された部分に係わる仮想データを生成することができる。転倒事故感知装置1000は、該仮想データを利用し、第1客体の姿勢を推定することができる。
段階S1260において、転倒事故感知装置1000は、推定された第1客体の姿勢と、既定義姿勢とを比較することができる。該既定義姿勢は、転倒事故と係わる姿勢でもある。例えば、該既定義姿勢は、ヒトの身体一部(例えば、腹、背、脇腹、頭など)が地面に接触する姿勢(例えば、横になった姿勢、伏せた姿勢など)でもあるが、それらに限定されるものではない。段階S1260は、図8Aの段階S840に対応するので、具体的な説明は、省略する。
以下においては、図13を参照し、転倒事故感知装置1000が閉塞を補償する動作についてさらに説明する。
図13は、一実施形態による閉塞が感知される場合、客体の姿勢を推定する動作を図示した図面である。図13においては、ヒト1301がたんす1302の後で倒れた場合を例として挙げて説明する。
図13の1300-1を参照すれば、ヒト1301が倒れる場合、動きが発生するので、動的ビジョンセンサ(DVS)1100は、ヒト1301を含むイメージ131を獲得することができる。このとき、動的ビジョンセンサ(DVS)1100は、たんす1302によって隠されていない上体部分の動きのみを感知することができ、たんす1302によって隠された下体部分の動きは、感知することができない。従って、イメージ131には、ヒト1301の下体は、示されず、ヒト1301の上体だけ示される。
一般的に、ヒトが倒れるとき、上体だけ動く場合はないので、転倒事故感知装置1000は、閉塞を感知することができる。すなわち、転倒事故感知装置1000は、ヒト1301の一部が障害物によって隠されたと判断することができる。
図13の1300-2を参照すれば、転倒事故感知装置1000は、振動器1200を利用し、振動信号を出力することにより、動的ビジョンセンサ(DVS)1100を動かる。動的ビジョンセンサ(DVS)1100が動く場合、動的ビジョンセンサ(DVS)1100は、たんす1302も検出することができる。従って、動く動的ビジョンセンサ(DVS)1100は、ヒト1301とたんす1302とを含むイメージ132を獲得することができる。
図13の1300-3を参照すれば、転倒事故感知装置1000は、たんす1302によって隠されるヒト1301の下体に係わる仮想データ1303を生成することができる。転倒事故感知装置1000は、仮想データ1303を利用し、イメージ133内のヒト1301の姿勢を推定し、推定された姿勢が転倒事故と係わる既定義姿勢であるか否かということを判断することができる。
図14は、一実施形態による転倒事故状態の危険度を決定する方法を図示したフローチャートである。
段階S1410において、転倒事故感知装置1000は、第1客体の状態が転倒事故状態であると判断された場合、振動器1200及び動的ビジョンセンサ(DVS)1100を利用し、周辺イメージを獲得することができる。一実施形態によれば、第1客体が転倒事故を起こしたと判断された場合、転倒事故感知装置1000は、振動器1200を利用し、動的ビジョンセンサ(DVS)1100を動かす。このとき、動く動的ビジョンセンサ(DVS)1100は、第1客体周辺の動かない客体(例えば、椅子、寝台、引き出し、洗面台など)を含む周辺イメージを獲得することができる。
段階S1420において、転倒事故感知装置1000は、周辺イメージを利用し、第1客体周辺の環境情報、第1客体の転倒事故形態(type)情報、または第1客体の動き情報を獲得することができる。
一実施形態によれば、第1客体周辺の環境情報は、第1客体が転倒事故を起こしたところ周辺の客体に係わる情報(例えば、ユーザが倒れたところに存在する危険な物体に係わる情報、ユーザと共に倒れた品物に係わる情報など)、第1客体が転倒事故を起こした床の材質に係わる情報、第1客体が転倒事故を起こした場所が水と関連ある場所であるか否かということに係わる情報などを含んでもよいが、それらに限定されるものではない。
一実施形態によれば、第1客体の転倒事故形態情報は、第1客体がいかなる姿勢に倒れたかということに係わる情報でもある。例えば、第1客体の転倒事故形態情報は、頭または顔が床に接触したか否かということに係わる情報、腕や足が折れたか否かということに係わる情報などを含んでもよいが、それらに限定されるものではない。
第1客体の動き情報は、第1客体の状態が転倒事故状態と決定された後の第1客体の動きに係わる情報でもある。例えば、第1客体の動き情報は、動き変化値、動き変化値が臨界値未満に維持される全て時間情報などを含んでもよいが、それらに限定されるものではない。
段階S1430において、転倒事故感知装置1000は、周辺イメージから獲得された情報を利用し、転倒事故状態の危険度を決定することができる。転倒事故状態の危険度は、転倒事故による客体の危険の程度を意味する。
一実施形態によれば、転倒事故感知装置1000は、第1客体周辺の環境情報を利用し、転倒事故状態の危険度を決定することができる。例えば、第1客体が転倒事故を起こしたところに突起(protrusion)がある場合、転倒事故感知装置1000は、転倒事故状態の危険度を高く決定するか、あるいは危険度レベルを上向き調整することができる。また、第1客体が転倒事故を起こしたところの床材質が水がある滑りやすい材質である場合、転倒事故感知装置1000は、転倒事故状態の危険度を高く決定したり、か危険度レベルを上向き調整したりすることができる。
一実施形態によれば、転倒事故感知装置1000は、第1客体周辺の環境情報を、既生成転倒事故危険度マップ600と比較し、転倒事故状態の危険度を決定することもできる。例えば、図6を参照すれば、既生成転倒事故危険度マップ600において、「danger」と指定された階段領域610において、第1客体が転倒事故を起こした場合、転倒事故感知装置1000は、転倒事故状態の危険度を高く決定することができる。
一実施形態によれば、転倒事故感知装置1000は、第1客体の転倒事故形態情報を利用し、転倒事故状態の危険度を決定することができる。例えば、第1客体が転倒事故を起こすとき、頭から床に接触した場合、転倒事故感知装置1000は、転倒事故状態の危険度を高く決定することができる。または、第1客体が転倒事故を起こすとき、足を捻った場合、転倒事故感知装置1000は、転倒事故状態の危険度を高く決定することができる。
一実施形態によれば、転倒事故感知装置1000は、第1客体の動き情報を利用し、転倒事故状態の危険度を決定することができる。一実施形態によれば、一定時間の間、第1客体の動きが臨界値より少ない場合、転倒事故感知装置1000は、転倒事故状態の危険度レベルを上向き調整することができる。例えば、第1客体が転倒事故と判断された後、5分以上動きがほとんどない場合、転倒事故感知装置1000は、転倒事故状態の危険度を3段階上向き調整することができる。
一実施形態によれば、転倒事故感知装置1000は、第1客体周辺の環境情報、第1客体の転倒事故形態情報、及び第1客体の動き情報のうち少なくとも2以上の情報を組み合わせ、転倒事故状態の危険度を決定することもできる。
一方、一実施形態によれば、転倒事故感知装置1000は、第1客体の個人的な情報(例えば、年齢、身体活動能力、疾患など)を考慮し、転倒事故状態の危険度を決定することもできる。例えば、第1客体が、10歳の健康な生徒である場合、転倒事故感知装置1000は、転倒事故状態の危険度加重値を「-3」に決定することができる。一方、第1客体の挙動がぎこちなく、高血圧を有する80歳の祖父である場合、転倒事故感知装置1000は、転倒事故状態の危険度加重値を「+5」と決定することができる。
段階S1440及び段階S1450において、転倒事故感知装置1000は、転倒事故状態の危険度が臨界値より高い場合、警告メッセージを外部デバイスに伝送することができる。
例えば、転倒事故感知装置1000は、第1客体が転倒事故を起こした状態であるという情報、第1客体の周辺環境情報、第1客体の動きが臨界値未満に維持された時間情報などを含む警告メッセージ(例えば、第1ユーザが階段で倒れた状態であり、2分間動くことができない)を、既設定外部デバイス(例えば、家族のデバイス、医療機関サーバ、緊急構造要請サーバなど)に伝送することができる。
以下においては、図15を参照し、転倒事故感知装置1000が転倒事故状態の危険度を決定する動作についてさらに説明する。
図15は、一実施形態による危険度レベルを決定する動作を図示した図面である。図15においては、第1ユーザが事務室で転倒事故を起こした場合を例として挙げて説明する。
図15の1500-1を参照すれば、転倒事故感知装置1000は、外形モデルとモーションモデルとを利用し、第1ユーザ1501が転倒事故を起こした状態であると判断することができる。このとき、転倒事故感知装置1000は、振動器1200を利用し、動的ビジョンセンサ(DVS)1100を動かすことができる。転倒事故感知装置1000は、動く動的ビジョンセンサ(DVS)1100を介して獲得された少なくとも1つの第1イメージ1510を分析することができる。転倒事故感知装置1000は、少なくとも1つの第1イメージ1510を分析した結果、第1ユーザ1501の動きがなく、第1ユーザ1501が転倒事故を起こした床の材質は、一般的な床材の材質であり、第1ユーザ1501が靴を履いており、第1ユーザ1501が机とは1m以上離れており、机と椅子1502は、倒れていないと判断することができる。転倒事故感知装置1000は、少なくとも1つのイメージ1510を分析した結果として獲得された情報を全体的に利用し、転倒事故状態の危険度レベルを「10」と決定することができる。
図15の1500-2を参照すれば、転倒事故感知装置1000は、外形モデルとモーションモデルとを利用し、第1ユーザ1501が転倒事故を起こした状態であると判断することができる。このとき、転倒事故感知装置1000は、振動器1200を利用し、動的ビジョンセンサ(DVS)1100を動かすことができる。転倒事故感知装置1000は、動く動的ビジョンセンサ(DVS)1100を介して獲得された少なくとも1つの第2イメージ1520を分析することができる。
第1イメージ1501に比べ、第2イメージ1520においては、椅子1502が倒れている。転倒事故感知装置1000は、第1ユーザ1501だけ倒れた場合に比べ、第1ユーザ1501と共に、椅子1502が倒れている場合、第1ユーザ1501の状態がさらに危険であると判断することができる。従って、転倒事故感知装置1000は、転倒事故状態の危険度レベルを「20」と決定することができる。
一方、一実施形態によれば、転倒事故感知装置1000は、転倒事故を起こした客体の生体情報をさらに考慮し、転倒事故状態の危険度を決定することもできる。転倒事故感知装置1000が客体の生体情報を考慮し、転倒事故状態の危険度を決定する動作につき、図16を参照して詳細に説明する。
図16は、一実施形態による、ウェアラブルデバイスで測定される生体情報を利用し、転倒事故状態の危険度を分析するシステムを図示した図面である。
転倒事故状態の危険度を分析するシステムは、転倒事故感知装置1000、サーバ2000及びウェアラブルデバイス3000を含んでもよいが、それらに限定されるものではない。転倒事故感知装置1000がウェアラブルデバイス3000と直接通信するとき、転倒事故状態の危険度を分析するシステムは、サーバ2000を含まない。
ウェアラブルデバイス3000は、アクセサリ型装置(例えば、時計、指輪、腕輪、アンクレット、ネックレス、めがね、コンタクトレンズ)、頭部装着装置(HMD:head-mounted-device)、織物または衣類との一体型装置(例:電子衣服)、身体付着型装置(例えば、スキンパッド(skin pad))または生体移植型装置(例:implantable circuit)のうち少なくとも一つを含んでもよいが、それらに限定されるものではない。
一実施形態によれば、転倒事故感知装置1000は、第1客体の状態が転倒事故状態であると判断された場合、第1客体が着用したウェアラブルデバイス3000で測定された第1客体の生体情報を獲得することができる。このとき、転倒事故感知装置1000は、ウェアラブルデバイス3000から直接生体情報を受信することもでき、サーバ2000を介して、生体情報を受信することもできる。
一実施形態によれば、転倒事故感知装置1000は、第1客体の生体情報を考慮し、転倒事故状態の危険度を決定することができる。例えば、心臓拍動数が臨界値未満であったり、血圧が臨界値以上であったり、呼吸数が臨界値未満であったり、体温が臨界範囲を外れたりする場合、あるいは現在時間が夜である場合、転倒事故感知装置1000は、転倒事故状態の危険度を高く決定することができる。
一実施形態によれば、サーバ2000は、転倒事故感知装置1000から、第1客体の状態が転倒事故状態であるという転倒事故情報を受信し、ウェアラブルデバイス3000から、第1客体の生体情報(例えば、血圧情報、血糖情報、心臓拍動数情報、体温情報など)を受信することができる。その場合、サーバ2000は、転倒事故情報及び生体情報を利用し、第1客体の転倒事故状態の危険度を決定することができる。転倒事故状態の危険度が臨界値より高い場合、サーバ2000は、外部デバイス(例えば、医療機関サーバ)に警告メッセージを送信することができる。一実施形態によれば、サーバ2000は、転倒事故状態の危険度に係わる情報を、転倒事故感知装置1000またはウェアラブルデバイス3000に伝送することもできる。
一実施形態によれば、ウェアラブルデバイス3000は、転倒事故感知装置1000またはサーバ2000から、第1客体の状態が転倒事故状態であるという転倒事故情報を受信することができる。このとき、ウェアラブルデバイス3000は、ウェアラブルデバイス3000で測定された第1客体の生体情報を利用し、第1客体の転倒事故状態の危険度を決定することができる。転倒事故状態の危険度が臨界値より高い場合、ウェアラブルデバイス3000は、外部デバイス(例えば、医療機関サーバ)に警告メッセージを送信することができる。また、一実施形態によれば、ウェアラブルデバイス3000は、転倒事故状態の危険度に係わる情報を、転倒事故感知装置1000またはサーバ2000に伝送することもできる。
図17は、一実施形態による、私生活レベルにより、客体の鮮明度を調節する方法を図示したフローチャートである。
段階S1710において、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を利用し、少なくとも1つのイメージを獲得することができる。段階S1710は、図7の段階S710に対応するので、具体的な説明は、省略する。
段階S1720において、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100が設けられた空間の私生活レベルに係わる情報を獲得することができる。
一実施形態によれば、転倒事故感知装置1000は、私生活レベルを動的ビジョンセンサ(DVS)1100が設けられるとき、ユーザから入力される。一実施形態によれば、転倒事故感知装置1000は、サーバ2000から既定義私生活レベルに係わる情報を獲得することもできる。
例えば、該私生活レベルは、浴室やトイレの場合、非常に高くも設定され、ドレスルームや寝室の場合、相対的に高くも設定され、居間や台所、階段の場合、相対的に低くも設定される。
段階S1730において、転倒事故感知装置1000は、私生活レベルにより、少なくとも1つのイメージに含まれた第1客体の鮮明度を調節することができる。例えば、少なくとも1つのイメージが獲得された空間の私生活レベルが高いほど、第1客体の鮮明度は、低くも調節される。一方、少なくとも1つのイメージが獲得された空間の私生活レベルが低いほど、第1客体の鮮明度は、高くも調節される。
図18を参照し、転倒事故感知装置1000が、第1客体の鮮明度を調節する動作についてさらに説明する。
図18は、一実施形態による、私生活レベルにより、客体の鮮明度を調節する動作を図示した図面である。
図18の1810を参照すれば、第1ユーザ1801は、台所で転倒事故を起こす。このとき、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を利用し、転倒事故を起こす第1ユーザ1801のイメージ1811を獲得することができる。転倒事故感知装置1000は、第1ユーザ1801が位置した台所の私生活レベルを確認し、確認された私生活レベルに対応する鮮明度で、第1ユーザ1801の輪郭線を表現することができる。例えば、台所の私生活レベルは、一般的なレベルである「1」であるので、転倒事故感知装置1000は、第1ユーザ1801の輪郭線を、一般的な鮮明度で表現することができる。
図18の1820を参照すれば、第2ユーザ1802は、トイレで転倒事故を起こす。このとき、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を利用し、転倒事故を起こす第2ユーザ1802のイメージ1812を獲得することができる。転倒事故感知装置1000は、第2ユーザ1802が位置したトイレの私生活レベルを確認し、確認された私生活レベルに対応する鮮明度で、第2ユーザ1802の輪郭線を表現することができる。例えば、トイレの私生活レベルは、非常に高いレベルである「3」であるので、転倒事故感知装置1000は、第2ユーザ1802の輪郭線を低い鮮明度で表現することができる。
一実施形態によれば、転倒事故感知装置1000は、ヒトの転倒事故以外、動物の危険状況を感知することもできる。以下においては、図19を参照し、転倒事故感知装置1000がペットの危険状況を感知する動作について詳細に説明する。
図19は、一実施形態による動物の危険状況を感知する動作を図示した図面である。図19の1910を参照すれば、ペット1911が椅子の上に上がっていて、椅子が倒れながら、転倒事故を起こす。その場合、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を利用し、転倒事故を起こすペット1911のイメージを獲得することができる。転倒事故感知装置1000は、外形モデルを利用し、床にペット1911が倒れているイメージを検出することができる。このとき、転倒事故感知装置1000は、モーションモデルを介して、ペット1911の一連のイメージを分析し、ペット1911が実際に転倒事故を起こしたか否かということを判断することができる。ペット1911が転倒事故を起こしたと判断される場合、転倒事故感知装置1000は、周辺環境情報、またはペット1911の転倒事故後の動きいかんに基づき、転倒事故状態の危険度を判断することもできる。転倒事故状態の危険度が臨界値より高い場合、転倒事故感知装置1000は、警告メッセージを外部デバイス(例えば、ペット主人のモバイルフォン)に伝送することができる。
図19の1920を参照すれば、ペット1912は、ゴミ箱にある食べ物や異物を誤って食べて窒息して倒れる。その場合、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100を利用し、倒れるペット1912のイメージを獲得することができる。転倒事故感知装置1000は、外形モデルを利用し、床にペット1912が倒れているイメージを検出することができる。このとき、転倒事故感知装置1000は、モーションモデルを介して、ペット1912の一連のイメージを分析し、ペット1912が危険な状態であるか否かということを判断することができる。一実施形態によれば、転倒事故感知装置1000は、振動器1200及び動的ビジョンセンサ(DVS)1100を利用し、周辺環境情報(例えば、ゴミ箱、寝台エッジなど)を獲得し、周辺環境情報を利用し、ペット1912の危険度を判断することもできる。
図20は、一実施形態による危険状況を感知する方法を図示したフローチャートである。
段階S2010において、危険状況感知装置は、動的ビジョンセンサ(DVS)1100を利用し、動きが発生しうる第1客体を含む少なくとも1つのイメージ獲得することができる。
一実施形態によれば、危険状況感知装置は、第1客体の動きが感知されない場合、低解像度モードでイメージを獲得し、第1客体の動きが感知される場合、高解像度モードでイメージを獲得することができる。
一実施形態によれば、動きが発生しうる第1客体は、モニタリング対象になるヒトまたは動物でもある。第1客体が動く場合、動的ビジョンセンサ(DVS)1100は、第1客体のイメージをキャプチャすることができる。このとき、第1客体のイメージには、第1客体の輪郭、エッジまたはシルエットが含まれてもよい。
一方、第1客体が動くとき、他の客体も共に動いた場合、第1イメージには、第1客体の輪郭だけではなく、他の客体の輪郭も示される。例えば、第1客体が車椅子に乗っていて、車椅子と共に倒れた場合、第1イメージには、第1客体の輪郭と車椅子との輪郭が共に示される。
段階S2020において、危険状況感知装置は、少なくとも1つのイメージのうちから、既定義姿勢の第1客体を含む第1イメージを検出することができる。一実施形態によれば、動的ビジョンセンサ(DVS)1100を介して獲得された少なくとも1つのイメージそれぞれは、静止映像でもある。
一実施形態によれば、危険状況感知装置は、動的ビジョンセンサ(DVS)1100を介して獲得される少なくとも1つのイメージを、一つずつ第1学習ネットワークモデルを利用して分析することができる。例えば、第1イメージを検出する動作は、第1学習ネットワークモデルによっても遂行される。第1学習ネットワークモデルは、静止映像を分析し、既定義姿勢の客体を含むイメージを検出するために学習されたモデルでもある。第1学習ネットワークモデルは、人工知能(AI:artificial intelligence)エンジンによっても駆動される。
一実施形態によれば、学習ネットワークモデル(AIモデルとも表現される)が動的ビジョンセンサ(DVS)1100を介して獲得された少なくとも1つのイメージ(以下、DVSイメージとする)を学習データとして使用する場合、RGBイメージデータを学習データとして使用するところに比べ、入力値に対する前処理(pre-processing)過程が不要であるために、学習ネットワークモデルが軽量化自在であるという長所がある。例えば、RGBイメージデータが、学習ネットワークモデル(AIモデル)に入力される入力値でもって使用される場合、2フレーム間の動き情報を抽出する前処理過程が必要である。すなわち、RGBイメージデータが危険状況判断に使用される場合、学習ネットワークモデル(AIモデル)に入力するためのデータを生成するために、前処理過程(例えば、動き情報抽出)が必要になる。しかし、DVSイメージが学習ネットワークモデル(AIモデル)に入力される入力値でもって使用される場合、DVSイメージには、動き情報が含まれているので、学習ネットワークモデル(AIモデル)入力前、動き情報を抽出する前処理過程が必要ではない。
既定義姿勢は、危険状況と係わる姿勢でもある。一実施形態によれば、該既定義姿勢は、床(または、階段)に、特定身体一部(例えば、頭、背、胸、膝、かかと、手の平など)が接触した姿勢でもある。例えば、既定義姿勢は、床に背中を付けて横になっている姿勢、床に腹を付けて伏している姿勢、横になった姿勢、階段に寄り掛かった姿勢などでもあるが、それらに限定されるものではない。例えば、該既定義姿勢は、防毒マスクを被った姿勢でもあり、消火器(fire extinguisher)を手にしている姿勢、非常ベルを押している姿勢でもある。
一方、一実施形態によれば、危険状況感知装置は、学習ネットワークモデルを利用し、静止映像を分析する前、静止映像に含まれた客体の形状または大きさを補償することができる。例えば、危険状況感知装置は、動的ビジョンセンサ(DVS)1100が設けられた角度及び位置のうち少なくとも一つを考慮し、少なくとも1つのイメージに含まれた第1客体の形状または大きさを補償し、形状または大きさが補償された第1客体の姿勢と、既定義姿勢とを比較することができる。
一実施形態によれば、危険状況感知装置は、少なくとも1つのイメージに基づき、第1客体が、他の客体によって一部隠されたと判断される場合、振動器1200で動的ビジョンセンサ(DVS)1100を動かすことにより、第1客体の周辺環境情報が含まれた少なくとも1つの詳細イメージを、動的ビジョンセンサ(DVS)1100から獲得することができる。該詳細イメージには、動きが発生しない周辺客体(例えば、椅子、机、寝台、たんす、流し台など)の輪郭が含まれてもよい。
一実施形態によれば、危険状況感知装置は、少なくとも1つの詳細イメージに基づき、第1客体の一部を隠す第2客体を検出することができる。該危険状況感知装置は、第2客体を考慮し、第2客体によって一部隠された第1客体の姿勢を推定することができる。このとき、該危険状況感知装置は、推定された第1客体の姿勢と、既定義姿勢とを比較することにより、第1イメージを検出することができる。
段階S2030において、該危険状況感知装置は、第1イメージを分析し、第1客体の状況が危険状況であるか否かということを決定することができる。
一実施形態によれば、第1客体の状況が危険状況であるか否かということを決定する動作は、第2学習ネットワークモデルによっても遂行される。一実施形態によれば、該第2学習ネットワークモデルは、第1イメージを検出する第1学習ネットワークモデルと同一AIエンジンの同一学習モデルでもある。または、該第2学習ネットワークモデルは、第1学習ネットワークモデルと同一AIエンジンの他の学習モデルでもある。または、該第2学習ネットワークモデルは、第1学習ネットワークモデルと異なるAIエンジンの学習モデルでもある。
一実施形態によれば、第1客体が松葉杖を利用して歩いていて倒れた場合、第1イメージには、第1客体のイメージだけではなく、松葉杖のイメージが含まれてもよい。その場合、該危険状況感知装置は、第1イメージを分析し、第1客体が松葉杖と共に倒れたと判断し、第1客体の状況が危険状況であると決定することができる。
一実施形態によれば、該危険状況感知装置は、第1イメージを含む第1客体に係わる複数のイメージを分析し、第1客体の第1動き変化に係わる情報を獲得することができる。該危険状況感知装置は、第1客体の第1動き変化に係わる情報に基づき、第1客体の状態が転倒事故状態であるか否かということを決定することができる。第1客体の状態が転倒事故状態であるか否かということを決定する動作については、図7で詳細に説明したので、ここでは具体的な説明を略する。
一実施形態によれば、該危険状況感知装置は、第1客体の状況が危険状況であると決定された場合、振動器1200で動的ビジョンセンサ(DVS)1100を動かすことにより、第1客体の周辺環境情報が含まれた少なくとも1つの詳細イメージを獲得することができる。その場合、該危険状況感知装置は、少なくとも1つの詳細イメージを分析し、第1客体の危険度を決定することができる。
例えば、該危険状況感知装置は、詳細イメージを分析した結果、第1客体周辺に階段が存在したり、机コーナーが存在したり、床が粗雑な材質であったりする場合、第1客体の危険度を高く決定することができる。また、該危険状況感知装置は、少なくとも1つの詳細イメージを分析した結果、一定時間の間、第1客体の動きが臨界値よりも少ない場合、第1客体の危険度レベルを上向き調整することができる。
図21は、一実施形態による詳細イメージを利用し、危険状況を感知する方法を図示したフローチャートである。
段階S2110において、該危険状況感知装置は、動的ビジョンセンサ(DVS)1100を利用し、動きが発生しうる第1客体を含む少なくとも1つのイメージ獲得することができる。段階S2110は、図20の段階S2010に対応するので、具体的な説明は、省略する。
段階S2120において、該危険状況感知装置は、少なくとも1つのイメージのうちから、既定義姿勢の第1客体を含む第1イメージを検出することができる。例えば、該危険状況感知装置は、床に倒れている状態の第1客体を含む第1イメージを検出することができる。一実施形態によれば、第1イメージを検出する動作は、第1学習ネットワークモデルによっても遂行される。段階S2120は、図20の段階S2020に対応するので、具体的な説明は、省略する。
段階S2130において、危険状況感知装置は、第1イメージが検出される場合、振動器1200で動的ビジョンセンサ(DVS)1100を動かすことにより、第1客体の周辺環境情報が含まれた少なくとも1つの詳細イメージを獲得することができる。例えば、第1客体が床に倒れた姿勢の第1イメージが検出される場合、危険状況感知装置は、振動器1200で動的ビジョンセンサ1100を動かし、第1客体周辺の客体に係わる情報が含まれた詳細イメージを獲得することができる。
一実施形態によれば、第1客体の周辺環境情報は、第1客体周辺の他の客体に係わる情報(例えば、第1客体周辺に他の客体が存在するか否かということに係わる情報、第1客体周辺に存在する他の客体の識別情報など)でもある。従って、少なくとも1つの詳細イメージは、第1客体の輪郭イメージ、及び第1客体の周辺に存在する他の客体の輪郭イメージを含んでもよい。もし第1客体周辺に他の客体が存在しない場合、詳細イメージには、第1客体の輪郭イメージのみ示す。
段階S2140において、該危険状況感知装置は、少なくとも1つの詳細イメージを分析し、第1客体の状況が危険状況であるか否かということを決定することができる。
一実施形態によれば、該危険状況感知装置は、第1客体が倒れた周辺環境情報(例えば、第1客体が倒れたところに、いかなる物体があるかということ、床の材質がいかなるものであるかということなど)を利用し、第1客体の状況が危険状況であるか否かということを決定することができる。例えば、該詳細イメージを分析した結果、第1客体が倒れたところが階段上であり、第1客体の頭が階段欄干にぶつかった状態でもある。その場合、該危険状況感知装置は、第1客体の状況が危険状況であると決定することができる。
一実施形態によれば、第1客体の状況が危険状況であるか否かということを決定する動作は、第2学習ネットワークモデルによっても遂行される。このとき、該第2学習ネットワークモデルは、第1イメージを検出する第1学習ネットワークモデルと同一AIエンジンの同一学習モデルでもある。または、該第2学習ネットワークモデルは、第1学習ネットワークモデルと同一AIエンジンの他の学習モデルでもある。または、該第2学習ネットワークモデルは、第1学習ネットワークモデルと異なるAIエンジンの学習モデルでもある。
一実施形態によれば、該危険状況感知装置は、既定義姿勢の第1客体(例えば、床に倒れた姿勢)を含むイメージが検出される場合、第1客体周辺の動かない事物に係わる情報を獲得するために、振動器を利用し、動的ビジョンセンサ(DVS)を動かすことができる。その場合、動く動的ビジョンセンサ(DVS)は、第1客体周辺の動かない事物の詳細イメージも感知することができるので、該危険状況感知装置は、第1客体周辺の詳細イメージを利用し、第1客体が危険状況であるか否かということをさらに正確で客観的に判断することができる。
図22は、一実施形態による転倒事故感知装置の構成を図示したブロック構成図である。図22に図示されているように、一実施形態による転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100、振動器1200、プロセッサ1300を含んでもよい。しかし、図示された構成要素がいずれも必須構成要素であるものではない。図示された構成要素より多くの構成要素によって転倒事故感知装置1000が具現されもし、それより少ない構成要素によっても、転倒事故感知装置1000が具現されもする。例えば、転倒事故感知装置1000は、振動器1200を除き、動的ビジョンセンサ(DVS)1100及びプロセッサ1300のみを含んでもよい。また、転倒事故感知装置1000は、動的ビジョンセンサ(DVS)1100、振動器1200、プロセッサ1300以外に、ユーザインターフェース1400、通信インターフェース1500、出力部1600、メモリ1700をさらに含んでもよい。
以下、前記構成要素について順に説明する。
動的ビジョンセンサ(DVS)1100は、ヒトの虹彩が情報を受け入れる方式を採択したイメージセンサであり、動く客体に係わるイメージデータを獲得することができるセンサである。例えば、動的ビジョンセンサ(DVS)1100は、ピクセル単位で、動きによって局所的な変化があるときにのみ、イメージデータをプロセッサ1300に伝送することになる。すなわち、動的ビジョンセンサ(DVS)1100は、動くイベントが発生するときにのみ、イメージデータをプロセッサ1300に伝送することができる。従って、動的ビジョンセンサ(DVS)1100は、客体が止まっている場合、データ処理を行わず、客体が動く場合にのみ、動く客体をキャプチャし、データをプロセッサ1300に伝送することができる。
振動器1200は、振動を発生させるための装置でもある。例えば、振動器1200は、振動信号を出力する振動モータでもある。一実施形態によれば、振動器1200は、振動を発生させ、人為的に、動的ビジョンセンサ(DVS)1100を動かすことができる。動的ビジョンセンサ(DVS)1100は、動き変化感知に有用なイメージセンサであるが、動きがない場合には、情報を得ることができない。従って、客体の動きがない場合にも、動的ビジョンセンサ(DVS)1100が、客体のイメージを得ることができるように、振動器1200は、動的ビジョンセンサ(DVS)1100を人為的に動かすことができる。
動的ビジョンセンサ(DVS)1100及び振動器1200は、図1で説明されたので、具体的な説明は、省略する。
プロセッサ1300は、一般的に、転倒事故感知装置1000の全般的な動作を制御することができる。例えば、プロセッサ1300は、メモリ1700に保存されたプログラムを実行することにより、動的ビジョンセンサ(DVS)1100、振動器1200、ユーザインターフェース1400、通信インターフェース1500、出力部1600を制御することができる。
一実施形態によれば、プロセッサ1300は、動的ビジョンセンサ(DVS)1100で獲得された少なくとも1つのイメージのうちから、既定義姿勢の第1客体を含む第1イメージを検出することができる。該既定義姿勢は、転倒事故と係わる姿勢でもある。例えば、該既定義姿勢は、身体の一部(例えば、背、腹、頭など)または全部が床に接触する姿勢でもある。例えば、プロセッサ1300は、第1客体の動きが感知される場合、少なくとも1つのイメージに含まれた第1客体の姿勢と、既定義姿勢とを比較し、該既定義姿勢の第1客体を含む第1イメージを検出することができる。
一実施形態によれば、プロセッサ1300は、動的ビジョンセンサ(DVS)1100が設けられた角度及び位置のうち少なくとも一つを考慮し、少なくとも1つのイメージに含まれた第1客体の形状または大きさを補償することができる。プロセッサ1300は、形状または大きさが補償された第1客体の姿勢と、既定義姿勢とを比較し、既定義姿勢の第1客体を含む第1イメージを検出することができる。
一実施形態によれば、プロセッサ1300は、少なくとも1つのイメージに基づき、第1客体が他の客体によって一部隠されたと判断される場合、動的ビジョンセンサ(DVS)1100を動かすように、振動器1200を制御することができる。プロセッサ1300は、動く動的ビジョンセンサ(DVS)1100を介して獲得された第5イメージに基づき、第1客体の一部を隠す第2客体を検出することができる。プロセッサ1300は、第2客体を考慮し、第2客体によって一部隠された第1客体の姿勢を推定することができる。プロセッサ1300は、推定された第1客体の姿勢と、既定義姿勢とを比較し、既定義姿勢の第1客体を含む第1イメージを検出することができる。
プロセッサ1300は、第1イメージを含む第1客体に係わる複数のイメージを分析し、第1客体の第1動き変化に係わる情報を獲得することができる。複数のイメージは、動的ビジョンセンサ(DVS)1100が第1イメージより以前に獲得した第2イメージ、及び第1イメージより以後に獲得した第3イメージのうちから、少なくとも一つを含んでもよい。
プロセッサ1300は、第1客体の第1動き変化に係わる情報に基づき、第1客体の状態が転倒事故状態であるか否かということを決定することができる。例えば、プロセッサ1300は、第1客体の第1動き変化と、既保存転倒事故を示す第2動き変化との類似度が臨界値より高い場合、第1客体の状態を転倒事故状態と決定することができる。
プロセッサ1300は、第1客体の状態が転倒事故状態と決定された場合、動的ビジョンセンサ(DVS)1100を動かすように、振動器1200を制御し、動く動的ビジョンセンサ(DVS)1100を介して獲得された第4イメージを利用し、転倒事故状態の危険度を決定することもできる。例えば、プロセッサ1300は、第4イメージを分析し、第1客体周辺の環境情報、または第1客体の転倒事故形態情報を獲得し、環境情報または転倒事故形態情報を利用し、転倒事故状態の危険度を決定することができる。一実施形態によれば、プロセッサ1300は、転倒事故状態の危険度が臨界値より高い場合、通信インターフェース1500を介して、警告メッセージを外部デバイスに伝送することができる。
プロセッサ1300は、第1客体の状態が転倒事故状態と決定された後、第1客体の動きを検出し、一定時間の間、第1客体の動きが臨界値より少ない場合、転倒事故状態の危険度レベルを上向き調整することができる。
プロセッサ1300は、メモリ1700に、既保存ディープラーニングモデルを利用したり、外部から受信されたディープラーニングモデルを利用したりし、客体の転倒事故を感知することができる。また、プロセッサ1300は、転倒事故を感知するためのディープラーニングモデルを直接生成することもできる。プロセッサ1300が直接ディープラーニングモデルを生成する動作については、図21ないし都24を参照し、追って詳細に説明する。
ユーザインターフェース1400は、ユーザが転倒事故感知装置1000を制御するためのデータを入力する手段を意味する。例えば、ユーザインターフェース1400には、キーパッド(key pad)、ドームスイッチ(dome switch)、タッチパッド(接触式静電容量方式、圧力式抵抗膜方式、赤外線感知方式、表面超音波伝導方式、積分式張力測定方式、ピエゾ効果方式など)、ジョグホイール、ジョグスイッチなどがあるが、それに限定されるものではない。
ユーザインターフェース1400は、動的ビジョンセンサ(DVS)1100が設けられた空間の私生活レベルを設定する入力を受信することができる。または、ユーザインターフェース1400は、動的ビジョンセンサ(DVS)1100を介して獲得されるイメージの鮮明度を設定する入力を受信することもできる。
通信インターフェース1500は、転倒事故感知装置1000及びサーバ2000、転倒事故感知装置1000及びウェアラブルデバイス3000、転倒事故感知装置1000及びモバイル端末の間の通信を行わせる1以上の構成要素を含んでもよい。例えば、通信インターフェース1500は、近距離通信部(short-range wireless communication unit)、移動通信部などを含んでもよい。
該近距離通信部は、ブルートゥース(登録商標(Bluetooth))通信部、BLE(Bluetooth low energy)通信部、近距離無線通信部(nearfield communication unit)、WLAN(wireless local area network)通信部、ジグビー(ZigBee)通信部、赤外線(IrDA;infrared data association)通信部、WFD(Wi-Fi direct)通信部、UWB(ultra wideband)通信部、Ant+通信部などを含んでもよいが、それらに限定されるものではない。
該移動通信部は、移動通信網上において、基地局、外部端末、サーバのうち少なくとも一つと無線信号を送受信する。ここで、該無線信号は、音声コール信号、画像通話コール信号、または文字/マルチメディアメッセージ送受信による多様な形態のデータを含んでもよい。このとき、該移動通信部は、LTE(long-term evolution)、LTE-A(LTE Advance)、CDMA(code division multiple access)、WCDMA(登録商標(wideband code division multiple access))、UMTS(universal mobiletelecom munications system)、WiBro(Wireless Broadband)、GSM(登録商標(Global System for Mobile Communications))のうち少なくとも一つを使用することができる。
出力部1600は、ビデオ信号、オーディオ信号または振動信号の出力のためのものであり、それには、ディスプレ以部、音響出力部、振動モータなどが含まれてもよい。
該ディスプレイ部は、転倒事故感知装置1000で処理される情報を表示することができる。例えば、該ディスプレイ部は、動的ビジョンセンサ(DVS)1100を介して獲得されるイメージ、プレビューイメージ、動画ファイルリスト、動画再生画面などを表示することができる。
該ディスプレイ部とタッチパッドとがレイヤ構造をなし、タッチスクリーンとして構成される場合、該ディスプレイ部は、出力装置以外に、入力装置としても使用される。該ディスプレイ部は、液晶ディスプレイ(liquid crystal display)、薄膜トランジスタ液晶ディスプレイ(thin film transistor-liquid crystal display)、有機発光ダイオード(organic light-emitting diode)、フレキシブルディスプレイ(flexible display)、三次元ディスプレイ(3D display)、電気泳動ディスプレイ(electrophoretic display)のうち少なくとも一つを含んでもよい。
該音響出力部は、通信インターフェース1500から受信されるか、あるいはメモリ1700に保存されたオーディオデータを出力する。また、該音響出力部は、転倒事故感知装置1000で遂行される機能(例えば、警告メッセージ生成)と係わる音響信号を出力する。該音響出力部には、スピーカ(speaker)、ブザー(buzzer)などが含まれてもよい。
メモリ1700は、プロセッサ1300の処理及び制御のためのプログラムを保存することもでき、入出力されるデータ(例えば、静止映像、動画など)を保存することもできる。
メモリ1700は、例えば、内蔵メモリまたは外装メモリを含んでもよい。該内蔵メモリは、例えば、揮発性メモリ(例:DRAM(dynamic random access memory)、SRAM(static random access memory)またはSDRAM(synchronous dynamic random access memory)など)、不揮発性メモリ(non-volatile memory)(例:OTPROM(one time programmable read-only memory)、PROM(programmable read-only memory)、EPROM(electrically programmable read only memory)、EEPROM(electrically erasable programmable read-only memory)、mask ROM、flash ROM、フラッシュメモリ(例:NAND flashまたはNOR flashなど)、ハードドライブまたはソリッドステートドライブ(SSD:solid state drive)のうち少なくとも一つを含んでもよい。
該外装メモリは、フラッシュドライブ(flash drive)、例えば、CF(compact flash)、SD(secure digital)、Micro-SD(micro secure digital)、Mini-SD(mini secure digital)、xD(extreme digital)、MMC(multi-media card)またはメモリスティック(memory stick)などを含んでもよい。該外装メモリは、多様なインターフェースを介して、転倒事故感知装置1000と、機能的及び/または物理的にも連結される。
また、転倒事故感知装置1000は、インターネット上において、メモリ1700の保存機能を遂行するウェブストレージ(web storage)を運用することもできる。
メモリ1700に保存されたプログラムは、その機能により、複数個のモジュールに分類することができるが、例えば、外形モデル1710、モーションモデル1720、補償モデル1730、転倒事故危険度マップ1740なども分類される。一実施形態によれば、メモリ1700は、転倒事故危険度マップ600を保存することもできる。
外形モデル1710は、静止映像を一つずつ分析し、静止映像に含まれた客体の形状(body shape)やポーズを検出し、検出された客体の形状やポーズが転倒事故と係わり、既定義姿勢と類似しているか否かということを判断するように学習されたモデルでもある。
モーションモデル1720は、複数のイメージ(例えば、動画)を分析し、客体の動きパターンを検出し、検出された客体の動きパターンが、転倒事故を示す動きパターンと類似しているか否かということを判断するように学習されたモデルでもある。一般的に、モーションモデル1720は、多数枚のイメージを累積(例えば、N images stacking)させて処理するために、イメージ1枚を処理する外形モデル1710に比べ、N倍時間が長くかかる。
補償モデル1730は、動的ビジョンセンサ(DVS)1100を介して獲得されたイメージに含まれた客体の大きさ、形状または閉塞などを補償するために学習されたモデルでもある。
転倒事故危険度マップ600は、転倒事故が発生する場合、危険にもなる領域を表示した地図でもある。
一方、以下においては、プロセッサ1300が転倒事故を感知するための学習モデルとして、外形モデル、モーションモデル1720、補償モデル1730などを生成する動作について、図23を参照して説明する。
図23は、一実施形態によるプロセッサ1300のブロック構成図である。図23を参照すれば、1以上の実施形態によるプロセッサ1300は、データ学習部1310及びデータ認識部1320を含んでもよい。
データ学習部1310は、危険状況(例えば、転倒事故状況)判断のための基準を学習することができる。データ学習部1310は、転倒事故状況を判断するために、いかなるデータを利用するか、データを利用し、状況をいかに判断するかということに係わる基準を学習することができる。データ学習部1310は、学習に利用されるデータ(例えば、イメージ)を獲得し、獲得されたデータを、後述するデータ認識モデルに適用することにより、転倒事故状況判断のための基準を学習することができる。
一実施形態によれば、データ学習部1310は、特定照度(例えば、一般照度または低照度)での客体(ヒトまたは動物)の日常行動または転倒事故行動を学習することができる。一実施形態によれば、データ学習部1310は、客体の身体特徴(例えば、年齢、性別など)による日常行動または転倒事故行動を学習することができる。例えば、データ学習部1310は、子供の転倒事故パターン、高齢者の転倒事故パターン、歩行器を使用中であるヒトの転倒事故パターン、松葉杖を使用中であるヒトの転倒事故パターン、物品運搬中の転倒事故パターンのような多様な状況での転倒事故パターンを学習することができる。
一実施形態によれば、データ学習部1310は、客体を認識するための基準を学習することもできる。例えば、データ学習部1310は、ヒトの特徴、ペットの特徴、家具の特徴、事物の特徴などを学習することができる。
一実施形態によれば、データ学習部1310は、場所を判断するための場所イメージを学習することができる。また、データ学習部1310は、場所イメージで検出された客体と場所との相関を学習することができる。例えば、データ学習部1310は、居間イメージで検出されたソファ-、テレビなどと、居間との相関を学習することができる。
一実施形態によれば、データ学習部1310は、第1客体が第2客体で隠される場合において、第1客体の隠されるところを補償するための映像を学習することができる。例えば、データ学習部1310は、ヒトが家具によって隠される場合を補償するための映像を学習することができる。また、一実施形態によれば、データ学習部1310は、カメラレンズによる歪曲を補償するために、歪曲データを学習することができる。
データ認識部1320は、データに基づいた転倒事故状況を判断することができる。データ認識部1320は、学習されたデータ認識モデルを利用し、検出されたデータから、転倒事故状況を認識することができる。データ認識部1320は、学習による既設定基準により、イメージデータを獲得し(例えば、動的ビジョンセンサ(DVS)1100からのイメージデータ獲得)、獲得されたイメージデータを入力値にし、データ認識モデルを利用することにより、イメージデータに基づいた転倒事故状況を判断することができる。また、獲得されたイメージデータを入力値にし、データ認識モデルによって出力された結果値は、データ認識モデル更新にも利用される。
データ学習部1310及びデータ認識部1320のうち少なくとも一つは、少なくとも1つのハードウェアチップ状に作製され、転倒事故感知装置1000にも搭載される。例えば、データ学習部1310及びデータ認識部1320のうち少なくとも一つは、人工知能(AI)のための専用ハードウェアチップ状にも作製され、あるいは既存の汎用プロセッサ(例:CPU(central processing unit)、AP(application processor)またはグラフィック専用プロセッサ(例:GPU(graphics processing unit))の一部に作製され、転倒事故感知装置1000にも搭載される。
データ学習部1310及びデータ認識部1320は、1つの転倒事故感知装置1000にも搭載され、または別個の転倒事故感知装置にもそれぞれ搭載される。例えば、データ学習部1310及びデータ認識部1320のうち一つは、転倒事故感知装置1000に含まれ、残り一つは、サーバ2000にも含まれる。また、データ学習部1310及びデータ認識部1320は、有線または無線を介し、データ学習部1310が構築したモデル情報を、データ認識部1320に提供することもでき、データ認識部1320に入力されたデータが、追加学習データとして、データ学習部1310にも提供される。
一方、データ学習部1310及びデータ認識部1320のうち少なくとも一つは、ソフトウェアモジュールとしても具現される。データ学習部1310及びデータ認識部1320のうち少なくとも一つがソフトウェアモジュール(または、インストラクション(instruction)含むプログラムモジュール)として具現される場合、該ソフトウェアモジュールは、コンピュータで読み取り可能な非一時的可読記録媒体(non-transitory computer readable media)にも保存される。また、その場合、少なくとも1つのソフトウェアモジュールは、OS(operating system)によっても提供され、所定のアプリケーションによっても提供される。または、少なくとも1つのソフトウェアモジュールのうち一部は、OSによって提供され、残り一部は、所定のアプリケーションによっても提供される。
図24は、一実施形態によるデータ学習部1310のブロック構成図である。
図24を参照すれば、一実施形態によるデータ学習部1310は、データ獲得部1310-1、前処理部1310-2、学習データ選択部1310-3、モデル学習部1310-4及びモデル評価部1310-5を含んでもよい。
データ獲得部1310-1は、転倒事故状況判断に必要なデータを獲得することができる。データ獲得部1310-1は、転倒事故状況判断のための学習のために必要なデータ(例えば、イメージ)を獲得することができる。一実施形態によれば、データ獲得部1310-1は、転倒事故状況判断に必要なデータを直接生成することもでき、外部装置またはサーバから、転倒事故状況判断に必要なデータを受信することもできる。
一実施形態によれば、転倒事故状況判断に必要なデータは、転倒事故と係わる既定義姿勢の客体を含むイメージデータ、転倒事故を示す動きパターンを含む動画データ、転倒事故の危険度を判断するための周辺環境に係わるコンテクスト情報などを含んでもよいが、それらに限定されるものではない。
一実施形態によれば、データ獲得部1310-1は、動的ビジョンセンサ(DVS)を介して、キャプチャされる静止映像または動画を入力される。該動画は、複数のイメージ(または、フレーム)によっても構成される。一例として、データ獲得部1310-1は、データ学習部1310を含む転倒事故感知装置1000の動的ビジョンセンサ(DVS)1100、またはデータ学習部1310を含む転倒事故感知装置1000と通信可能な外部の動的ビジョンセンサ(DVS)1100を介して、動画を入力される。
一実施形態によれば、データ獲得部1310-1は、映像データ、音声データ、テキストデータまたは生体信号データなどを獲得することができる。一例として、データ獲得部1310-1は、転倒事故感知装置1000の入力機器(例:マイクロフォン、カメラまたはセンサなど)を介して、データを入力されるまたは、データ獲得部1310-1は、転倒事故感知装置1000と通信する外部装置を介して、データを獲得することができる。
前処理部1310-2は、転倒事故状況判断のための学習に獲得されたデータが利用されるように、獲得されたデータを前処理することができる。前処理部1310-2は、後述するモデル学習部1310-4が、状況判断のための学習のために獲得されたデータを利用することができるように、獲得されたデータを既設定フォーマットに加工することができる。
例えば、前処理部1310-2は、入力された動画の少なくとも一部を構成する複数のイメージ(または、フレーム)それぞれに含まれた共通領域を基に、複数のイメージの少なくとも一部を重畳させ、1つの合成イメージを生成することができる。その場合、1つの動画から複数個の合成イメージが生成されもする。該共通領域は、複数のイメージそれぞれにおいて、同一であるか、あるいは類似した共通客体(例:物体、動植物またはヒトなど)を含んだ領域にもなる。または、該共通領域は、複数のイメージそれぞれにおいて、色、陰影、RGB値またはCMYK値などが同一であるか、あるいは類似した領域にもなる。
学習データ選択部1310-3は、前処理されたデータのうち、学習に必要なデータを選択することができる。選択されたデータは、モデル学習部1310-4にも提供される。学習データ選択部1310-3は、転倒事故状況判断のための既設定基準により、前処理されたデータのうち、学習に必要なデータを選択することができる。また、学習データ選択部1310-3は、後述するモデル学習部1310-4による学習により、既設定基準によってデータを選択することもできる。例えば、学習データ選択部1310-3は、転倒事故と係わる姿勢(例えば、ヒトの身体一部が地面に接触する姿勢(例:横になった姿勢、伏せた姿勢など))の客体を含むイメージデータを選択することができる。
モデル学習部1310-4は、学習データに基づき、転倒事故状況をいかに判断するかということに係わる基準を学習することができる。また、モデル学習部1310-4は、転倒事故状況判断のために、いかなる学習データを利用しなければならないかということに係わる基準を学習することもできる。
また、モデル学習部1310-4は、転倒事故状況判断に利用されるデータ認識モデルを、学習データを利用して学習させることができる。その場合、データ認識モデルは、あらかじめ構築されたモデルでもある。例えば、該データ認識モデルは、基本学習データ(例えば、サンプルイメージなど)を入力され、あらかじめ構築されたモデルでもある。
該データ認識モデルは、認識モデルの適用分野、学習の目的、または装置のコンピュータ性能などを考慮しても構築される。該データ認識モデルは、例えば、神経網(neural network)を基とするモデルでもある。例えば、DNN(deep neural network)、RNN(recurrent neural network)、BRDNN(bidirectional recurrent deep neural network)のようなモデルが、データ認識モデルとしても使用されるが、それらに限定されるものではない。
多様な実施形態によれば、モデル学習部1310-4は、あらかじめ構築されたデータ認識モデルが複数個が存在する場合、入力された学習データと、基本学習データとの関連性が大きいデータ認識モデルを、学習するデータ認識モデルに決定することができる。その場合、該基本学習データは、データのタイプ別にあらかじめ分類されており、該データ認識モデルは、データのタイプ別にあらかじめ構築されてもいる。例えば、該基本学習データは、学習データが生成された地域、学習データが生成された時間、学習データの大きさ、学習データのジャンル、学習データの生成者、学習データ内オブジェクトの種類のような多様な基準であらかじめ分類されている。
また、モデル学習部1310-4は、例えば、誤謬逆伝播法(error back-propagation)または傾斜下降法(gradient descent)を含む学習アルゴリズムなどを利用し、データ認識モデルを学習させることができる。
また、モデル学習部1310-4は、例えば、学習データを入力値にする指導学習(supervised learning)を介して、データ認識モデルを学習させることができる。また、モデル学習部1310-4は、例えば、何の指導なしに、状況判断のために必要なデータの種類を自ら学習することにより、状況判断のための基準を見い出す非指導学習(unsupervised learning)を介して、データ認識モデルを学習させることができる。また、モデル学習部1310-4は、例えば、学習による状況判断の結果が正しいか否かということに係わるフィードバックを利用する強化学習(reinforcement learning)を介して、データ認識モデルを学習させることができる。
また、データ認識モデルが学習されれば、モデル学習部1310-4は、学習されたデータ認識モデルを保存することができる。その場合、モデル学習部1310-4は、学習されたデータ認識モデルを、データ認識部1320を含む転倒事故感知装置1000のメモリ1700に保存することができる。または、モデル学習部1310-4は、学習されたデータ認識モデルを、後述するデータ認識部1320を含む転倒事故感知装置1000のメモリ1700に保存することができる。または、モデル学習部1310-4は、学習されたデータ認識モデルを、転倒事故感知装置1000と有線または無線のネットワークで連結されるサーバ2000のメモリに保存することもできる。
その場合、学習されたデータ認識モデルが保存されるメモリは、例えば、転倒事故感知装置1000の少なくとも1つの他の構成要素に係わる命令またはデータを、共に保存することもできる。また、該メモリは、ソフトウェア及び/またはプログラムを保存することもできる。該プログラムは、例えば、カーネル、ミドルウェア、アプリケーションプログラミングインターフェース(API)及び/またはアプリケーションプログラム(または、アプリケーション)などを含んでもよい。
モデル評価部1310-5は、データ認識モデルに評価データを入力し、評価データから出力される認識結果が所定基準を満足することができない場合、モデル学習部1310-4をして、再び学習させる。その場合、該評価データは、データ認識モデルを評価するための既設定データでもある。
例えば、モデル評価部1310-5は、評価データに係わる学習されたデータ認識モデルの認識結果のうち、認識結果が正確ではない評価データの個数または比率が、既設定臨界値を超える場合、所定基準を満足することができていない評価することができる。例えば、所定基準が比率2%に定義される場合、学習されたデータ認識モデルが総1,000個の評価データのうち20個を超す評価データについて、誤った認識結果を出力する場合、モデル評価部1310-5は、学習されたデータ認識モデルが適するものではないと評価することができる。
一方、学習されたデータ認識モデルが複数個が存在する場合、モデル評価部1310-5は、それぞれの学習された動画認識モデルについて、所定基準を満足するか否かということを評価し、所定基準を満足するモデルを最終データ認識モデルとして決定することができる。その場合、該所定基準を満足するモデルが複数個である場合、モデル評価部1310-5は、評価点数が高い順に、既設定のいずれか一つ、または所定の個数のモデルを、最終データ認識モデルとして決定することができる。
一方、データ学習部1310内のデータ獲得部1310-1、前処理部1310-2、学習データ選択部1310-3、モデル学習部1310-4及びモデル評価部1310-5のうち少なくとも一つは、少なくとも1つのハードウェアチップ状に作製され、転倒事故感知装置1000にも搭載される。例えば、データ獲得部1310-1、前処理部1310-2、学習データ選択部1310-3、モデル学習部1310-4及びモデル評価部1310-5のうち少なくとも一つは、人工知能(AI)のための専用ハードウェアチップ状にも作製され、または既存の汎用プロセッサ(例:CPUまたはAP(application processor))またはグラフィック専用プロセッサ(例:GPU)の一部にも作製され、転倒事故感知装置1000にも搭載される。
また、データ獲得部1310-1、前処理部1310-2、学習データ選択部1310-3、モデル学習部1310-4及びモデル評価部1310-5は、1つの転倒事故感知装置1000にも搭載され、または別個の転倒事故感知装置にもそれぞれ搭載される。例えば、データ獲得部1310-1、前処理部1310-2、学習データ選択部1310-3、モデル学習部1310-4及びモデル評価部1310-5のうち一部は、転倒事故感知装置1000に含まれ、残り一部は、サーバ2000に含まれてもよい。
また、データ獲得部1310-1、前処理部1310-2、学習データ選択部1310-3、モデル学習部1310-4及びモデル評価部1310-5のうち少なくとも一つは、ソフトウェアモジュールとしても具現される。データ獲得部1310-1、前処理部1310-2、学習データ選択部1310-3、モデル学習部1310-4及びモデル評価部1310-5のうち少なくとも一つがソフトウェアモジュール(または、インストラクションを含むプログラムモジュール)として具現される場合、該ソフトウェアモジュールは、コンピュータで読み取り可能な非一時的可読記録媒体にも保存される。また、その場合、少なくとも1つのソフトウェアモジュールは、OSによっても提供され、所定のアプリケーションによっても提供される。または、少なくとも1つのソフトウェアモジュールのうち一部は、OSによっても提供され、残り一部は、所定のアプリケーションによっても提供される。
図25は、一実施形態によるデータ認識部1320のブロック構成図である。図25を参照すれば、一実施形態によるデータ認識部1320は、データ獲得部1320-1、前処理部1320-2、認識データ選択部1320-3、認識結果提供部1320-4及びモデル更新部1320-5を含んでもよい。
データ獲得部1320-1は、転倒事故状況判断に必要なデータを獲得することができ、前処理部1320-2は、状況判断のために獲得されたデータが利用されるように、獲得されたデータを前処理することができる。前処理部1320-2は、後述する認識結果提供部1320-4が、状況判断のために獲得されたデータを利用することができるように、獲得されたデータを既設定フォーマットに加工することができる。
認識データ選択部1320-3は、前処理されたデータのうち、転倒事故状況判断に必要なデータを選択することができる。該選択されたデータは、認識結果提供部1320-4にも提供される。認識データ選択部1320-3は、転倒事故状況判断のための既設定基準により、前処理されたデータのうち一部または全部を選択することができる。また、認識データ選択部1320-3は、後述するモデル学習部1310-4による学習により、既設定基準によってデータを選択することもできる。
認識結果提供部1320-4は、選択されたデータをデータ認識モデルに適用し、状況を判断することができる。認識結果提供部1320-4は、データの認識目的による認識結果を提供することができる。認識結果提供部1320-4は、認識データ選択部1320-3によって選択されたデータを入力値として利用することにより、選択されたデータをデータ認識モデルに適用することができる。また、該認識結果は、データ認識モデルによっても決定される。
例えば、少なくとも1つのイメージの認識結果は、テキスト、音声、動画、イメージまたは命令語(例:アプリケーション実行命令語、モジュール機能実行命令語など)などとしても提供される。一例として、認識結果提供部1320-4は、少なくとも1つのイメージに含まれた客体の認識結果を提供することができる。該認識結果は、例えば、少なくとも1つのイメージに含まれた客体の姿勢情報、客体の周辺状態情報、動画に含まれた客体の動き変化情報などにもなる。認識結果提供部1320-4は、客体の状態情報として、「転倒事故状態」をテキスト、音声、イメージまたは命令語などとしても提供することができる。
モデル更新部1320-5は、認識結果提供部1320-4によって提供される認識結果に対する評価に基づき、データ認識モデルが更新されるようにする。例えば、モデル更新部1320-5は、認識結果提供部1320-4によって提供される認識結果をモデル学習部1310-4に提供することにより、モデル学習部1310-4がデータ認識モデルを更新するようにする。
一方、データ認識部1320内のデータ獲得部1320-1、前処理部1320-2、認識データ選択部1320-3、認識結果提供部1320-4及びモデル更新部1320-5のうち少なくとも一つは、少なくとも1つのハードウェアチップ状に作製され、転倒事故感知装置1000にも搭載される。例えば、データ獲得部1320-1、前処理部1320-2、認識データ選択部1320-3、認識結果提供部1320-4及びモデル更新部1320-5のうち少なくとも一つは、人工知能(AI)のための専用ハードウェアチップ状にも作製され、あるいは既存の汎用プロセッサ(例:CPUまたはAP(application processor))またはグラフィック専用プロセッサ(例:GPU)の一部に作製され、転倒事故感知装置1000にも搭載される。
また、データ獲得部1320-1、前処理部1320-2、認識データ選択部1320-3、認識結果提供部1320-4及びモデル更新部1320-5は、1つの転倒事故感知装置1000にも搭載され、あるいは別個の転倒事故感知装置にもそれぞれ搭載される。例えば、データ獲得部1320-1、前処理部1320-2、認識データ選択部1320-3、認識結果提供部1320-4及びモデル更新部1320-5のうち一部は、転倒事故感知装置1000に含まれ、残り一部は、サーバ2000に含まれてもよい。
また、データ獲得部1320-1、前処理部1320-2、認識データ選択部1320-3、認識結果提供部1320-4及びモデル更新部1320-5のうち少なくとも一つは、ソフトウェアモジュールとしても具現される。データ獲得部1320-1、前処理部1320-2、認識データ選択部1320-3、認識結果提供部1320-4及びモデル更新部1320-5のうち少なくとも一つがソフトウェアモジュール(または、インストラクションを含むプログラムモジュール)として具現される場合、ソフトウェアモジュールは、コンピュータで読み取り可能な非一時的可読記録媒体にも保存される。また、その場合、少なくとも1つのソフトウェアモジュールは、OSによっても提供され、所定のアプリケーションによっても提供される。または、少なくとも1つのソフトウェアモジュールのうち一部は、OSによっても提供され、残り一部は、所定のアプリケーションによっても提供される。
図26は、一実施形態による転倒事故感知装置1000及びサーバ2000が、互いに連動することにより、データを学習して認識する例示を示す図面である。図26を参照すれば、サーバ2000は、転倒事故状況判断のための基準を学習することができ、転倒事故感知装置1000は、サーバ2000による学習結果に基づき、転倒事故状況を判断することができる。
サーバ2000は、一実施形態によるデータ学習部2300)を含んでもよく、データ学習部2300は、データ獲得部2310、前処理部2320、学習データ選択部2330、モデル学習部2340及びモデル評価部2350を含んでもよい。
サーバ2000のモデル学習部2340は、図24に図示されたデータ学習部1310の機能を遂行することができる。サーバ2000のモデル学習部2340は、転倒事故状況を判断するために、いかなるデータを利用するか、データを利用し、転倒事故状況をいかに判断するかということに係わる基準を学習することができる。モデル学習部2340は、学習に利用されるデータを獲得し、獲得されたデータを、後述するデータ認識モデルに適用することにより、状況判断のための基準を学習することができる。
また、転倒事故感知装置1000の認識結果提供部1320-4は、認識データ選択部1320-3によって選択されたデータを、サーバ2000によって生成されたデータ認識モデルに適用し、状況を判断することができる。例えば、認識結果提供部1320-4は、認識データ選択部1320-3によって選択されたデータを、サーバ2000に伝送し、サーバ2000が、認識データ選択部1320-3によって選択されたデータを認識モデルに適用し、状況を判断することを要請することができる。また、認識結果提供部1320-4は、サーバ2000によって判断された状況に係わる情報を、サーバ2000から受信することができる。
または、転倒事故感知装置1000の認識結果提供部1320-4は、サーバ2000によって生成された認識モデルをサーバ2000から受信し、受信された認識モデルを利用し、転倒事故状況を判断することができる。その場合、転倒事故感知装置1000の認識結果提供部1320-4は、認識データ選択部1320-3によって選択されたデータを、サーバ2000から受信されたデータ認識モデルに適用し、転倒事故状況を判断することができる。
一実施形態による方法は、多様なコンピュータ手段を介しても遂行されるプログラム命令形態に具現され、コンピュータ可読媒体にも記録される。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを、単独または組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものでもあり、コンピュータソフトウェア当業者に公知されて使用可能なものでもある。該コンピュータ可読記録媒体の例には、ハードディスク、フロッピィーディスク 及び磁気テープのような磁気媒体(magnetic media):CD-ROM(compact disc read only memory)、DVD(digital versatile disc)のような光記録媒体(optical media);フロプティカルディスク(floptical disk)のような磁気・光媒体(magneto-optical media:及びROM、RAM、フラッシュメモリのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれる。該プログラム命令の例には、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行される高級言語コードを含む。
本実施形態は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能な命令語を含む記録媒体の形態にも具現される。該コンピュータ可読媒体は、コンピュータによってアクセスされる任意の可用媒体でもあり、揮発性及び不揮発性の媒体、分離型及び非分離の型媒体をいずれも含む。また、該コンピュータ可読媒体は、コンピュータ記録媒体及び通信媒体をいずれも含んでもよい。該コンピュータ記録媒体は、コンピュータ可読命令語、データ構造、プログラムモジュール、またはその他データのような情報保存のための任意の方法または技術によって具現された揮発性及び不揮発性、分離型及び非分離型の媒体をいずれも含む。該通信媒体は、典型的に、コンピュータ可読命令語、データ構造、プログラムモジュール、または搬送波のような変調されたデータ信号のその他データ、またはその他伝送メカニズムを含み、任意の情報伝達媒体を含む。また、本実施形態は、コンピュータによって実行されるコンピュータプログラムのようなコンピュータによって実行可能な命令語を含むコンピュータプログラムまたはコンピュータプログラム製品(computer program product)によっても具現される。
以上において、本発明の実施形態について詳細に説明したが、本発明の権利範囲は、それらに限定されるものではなく、特許請求の範囲で定義されている本発明の基本概念を利用した当業者の多くの変形及び改良形態も、本発明の権利範囲に属するものである。

Claims (18)

  1. 動的ビジョンセンサ(DVS)を利用し、動きが発生しうる第1客体を含む少なくとも1つの静止イメージを獲得する段階と、
    前記少なくとも1つの静止イメージを1つずつ外形モデルに入力する段階と、
    前記外形モデルを通じて前記少なくとも1つの静止イメージのうちから、既定義姿勢の前記第1客体を含む第1イメージが検出されることにより、前記第1イメージを含む複数のイメージをモーションモデルに入力する段階と、
    前記モーションモデルを通じて前記複数のイメージを分析した結果に基づいて前記第1客体の第1動き変化に係わる情報を獲得する段階と、
    前記第1客体の第1動き変化に係わる情報に基づいて、前記第1客体の状況が危険状況であるか否かということを決定する段階と、を含む危険状況感知方法。
  2. 前記第1イメージを検出する段階は、
    前記第1客体の動き発生が感知されることにより、前記外形モデルを利用し、前記少なくとも1つの静止イメージに含まれた前記第1客体の姿勢と、前記既定義姿勢とを比較する段階と、
    前記比較結果に基づき、前記第1イメージを検出する段階と、を含むことを特徴とする請求項1に記載の危険状況感知方法。
  3. 動的ビジョンセンサ(DVS)を用いて、動きが発生可能な第1客体を含む少なくとも1つのイメージを獲得する段階と、
    前記少なくとも1つのイメージのうち、既定義姿勢の前記第1客体を含む第1イメージを検出する段階と、
    前記第1イメージを分析し、前記第1客体の状況が危険状況であるか否かを決定する段階と、を含み、
    前記第1客体の状況が危険状況であると決定されることにより、振動器でもって、前記動的ビジョンセンサ(DVS)を動かして生成された前記第1客体の周辺環境情報が含まれた少なくとも1つの詳細イメージを獲得する段階と、
    前記少なくとも1つの詳細イメージを分析し、前記第1客体の危険度を決定する段階と、をさらに含むことを特徴とする危険状況感知方法。
  4. 前記第1客体の危険度を決定する段階は、
    一定時間の間、前記第1客体の動きが臨界値より少ないと決定されることにより、前記第1客体の危険度レベルを上向き調整する段階を含むことを特徴とする請求項2に記載の危険状況感知方法。
  5. 前記第1客体の状況が危険状況であるか否かということを決定する段階は、
    前記第1イメージ内の前記第1客体に係わる複数のイメージを分析し、前記第1客体の第1動き変化に係わる情報を獲得する段階と、
    前記第1客体の第1動き変化に係わる情報に基づき、前記第1客体の状態が転倒事故状態であるか否かということを決定する段階と、を含むことを特徴とする請求項1に記載の危険状況感知方法。
  6. 前記第1イメージを検出する段階は、
    前記動的ビジョンセンサ(DVS)が設けられた角度及び位置のうち少なくとも一つを考慮し、前記少なくとも1つの静止イメージに含まれた前記第1客体の形状、または前記第1客体の大きさを補償する段階と、
    前記形状または大きさが補償された前記第1客体の姿勢と、前記既定義姿勢とを比較する段階と、を含むことを特徴とする請求項1に記載の危険状況感知方法。
  7. 動的ビジョンセンサ(DVS)を用いて、動きが発生可能な第1客体を含む少なくとも1つのイメージを獲得する段階と、
    前記少なくとも1つのイメージのうち、既定義姿勢の前記第1客体を含む第1イメージを検出する段階と、
    前記第1イメージを分析し、前記第1客体の状況が危険状況であるか否かを決定する段階と、を含み、
    前記第1イメージを検出する段階は、
    前記第1客体が他の客体によって一部隠されたと判断されることにより、振動器でもって、前記動的ビジョンセンサ(DVS)を動かして生成された前記第1客体の周辺環境情報が含まれた少なくとも1つの詳細イメージを獲得する段階と、
    前記少なくとも1つの詳細イメージに基づき、前記少なくとも1つの詳細イメージ内の前記第1客体の一部を隠す第2客体を検出する段階と、
    前記第2客体を考慮し、前記第2客体によって一部隠された前記第1客体の姿勢を推定する段階と、を含むことを特徴とする危険状況感知方法。
  8. 前記少なくとも1つの静止イメージを獲得する段階は、
    前記動的ビジョンセンサ(DVS)が設けられた空間の私生活レベルにより、前記少なくとも1つの静止イメージに含まれた前記第1客体の鮮明度を調節する段階を含むことを特徴とする請求項1に記載の危険状況感知方法。
  9. 前記少なくとも1つの静止イメージを獲得する段階は、
    前記第1客体の動きが感知されることにより、高解像度モードで、前記少なくとも1つの静止イメージを獲得する段階と、
    前記第1客体の動きが感知されないことにより、低解像度モードで、前記少なくとも1つの静止イメージを獲得する段階と、を含むことを特徴とする請求項1に記載の危険状況感知方法。
  10. 動的ビジョンセンサ(DVS)を利用し、動きが発生しうる第1客体を含む少なくとも1つのイメージを獲得する段階と、
    前記少なくとも1つのイメージのうちから、既定義姿勢の前記第1客体を含む第1イメージを検出する段階と、
    前記第1イメージが検出されることにより、振動器でもって、前記動的ビジョンセンサ(DVS)を動かして生成された前記第1客体の周辺環境情報が含まれた少なくとも1つの詳細イメージを獲得する段階と、
    前記少なくとも1つの詳細イメージを分析し、前記第1客体の状況が危険状況であるか否かということを決定する段階と、を含む危険状況感知方法。
  11. 前記第1イメージを検出する段階、及び前記第1客体の状況が危険状況であるか否かということを決定する段階は、
    神経網モデルによって遂行されることを特徴とする請求項10に記載の危険状況感知方法。
  12. 動きが発生しうる第1客体を含む少なくとも1つの静止イメージを獲得する動的ビジョンセンサ(DVS)と、
    前記少なくとも1つの静止イメージを1つずつ外形モデルに入力し、
    前記外形モデルを通じて前記少なくとも1つの静止イメージのうちから、既定義姿勢の前記第1客体を含む第1イメージが検出されることにより、前記第1イメージを含む複数のイメージをモーションモデルに入力し、
    前記モーションモデルを通じて前記複数のイメージを分析した結果に基づいて前記第1客体の第1動き変化に係わる情報を獲得し、
    前記第1客体の第1動き変化に係わる情報に基づいて、前記第1客体の状況が危険状況であるか否かということを決定するプロセッサと、
    を含む危険状況感知装置。
  13. 動きが発生可能な第1客体を含む少なくとも1つのイメージを獲得する動的ビジョンセンサ(DVS)と、
    前記少なくとも1つのイメージのうち、既定義姿勢の前記第1客体を含む第1イメージを検出し、前記第1イメージを分析し、前記第1客体の状況が危険状況であるか否かを決定するプロセッサと、を含み、
    前記動的ビジョンセンサ(DVS)を動かす振動器をさらに含み、
    前記プロセッサは、
    前記第1客体の状況が危険状況であると決定されることにより、前記動的ビジョンセンサ(DVS)を動かすように、前記振動器を制御し、前記動的ビジョンセンサ(DVS)を動かして生成された前記第1客体の周辺環境情報が含まれた少なくとも1つの詳細イメージを獲得し、前記少なくとも1つの詳細イメージを分析し、前記第1客体の危険度を決定することを特徴とする危険状況感知装置。
  14. 前記プロセッサは、
    一定時間の間、前記第1客体の動きが臨界値より少ないと決定されることにより、前記第1客体の危険度レベルを上向き調整することを特徴とする請求項13に記載の危険状況感知装置。
  15. 前記プロセッサは、
    前記動的ビジョンセンサ(DVS)が設けられた角度及び位置のうち少なくとも一つを考慮し、前記少なくとも1つの静止イメージに含まれた前記第1客体の形状、または前記第1客体の大きさを補償し、前記形状または大きさが補償された前記第1客体の姿勢と、前記既定義姿勢とを比較し、前記第1イメージを検出することを特徴とする請求項12に記載の危険状況感知装置。
  16. 動きが発生可能な第1客体を含む少なくとも1つのイメージを獲得する動的ビジョンセンサ(DVS)と、
    前記少なくとも1つのイメージのうち、既定義姿勢の前記第1客体を含む第1イメージを検出し、前記第1イメージを分析し、前記第1客体の状況が危険状況であるか否かを決定するプロセッサと、を含み、
    前記動的ビジョンセンサ(DVS)を動かす振動器をさらに含み、
    前記プロセッサは、
    前記少なくとも1つのイメージに基づき、前記第1客体が他の客体によって一部隠されたと判断されることにより、前記振動器でもって、前記動的ビジョンセンサ(DVS)を動かして生成された前記第1客体の周辺環境情報が含まれた少なくとも1つの詳細イメージを獲得し、前記少なくとも1つの詳細イメージに基づき、前記第1客体の一部を隠す第2客体を検出し、前記第2客体を考慮し、前記第2客体によって一部隠された前記第1客体の姿勢を推定することを特徴とする危険状況感知装置。
  17. 動きが発生しうる第1客体を含む少なくとも1つのイメージを獲得する動的ビジョンセンサ(DVS)と、
    前記動的ビジョンセンサ(DVS)を動かす振動器と、
    前記少なくとも1つのイメージのうちから、既定義姿勢の前記第1客体を含む第1イメージを検出し、前記第1イメージが検出されることにより、前記振動器でもって、前記動的ビジョンセンサ(DVS)を動かして生成された前記第1客体の周辺環境情報が含まれた少なくとも1つの詳細イメージを獲得し、前記少なくとも1つの詳細イメージを分析し、前記第1客体の状況が危険状況であるか否かということを決定するプロセッサと、を含む危険状況感知装置。
  18. 動的ビジョンセンサ(DVS)を利用し、動きが発生しうる第1客体を含む少なくとも1つの静止イメージを獲得する段階と、
    前記少なくとも1つの静止イメージを1つずつ外形モデルに入力する段階と、
    前記外形モデルを通じて前記少なくとも1つの静止イメージのうちから、既定義姿勢の前記第1客体を含む第1イメージが検出されることにより、前記第1イメージを含む複数のイメージをモーションモデルに入力する段階と、
    前記モーションモデルを通じて前記複数のイメージを分析した結果に基づいて前記第1客体の第1動き変化に係わる情報を獲得する段階と、
    前記第1客体の第1動き変化に係わる情報に基づいて、前記第1客体の状況が危険状況であるか否かということを決定する段階とを、コンピュータをして遂行させる命令語を保存するコンピュータで読み取り可能な非一時的記録媒体。
JP2020513299A 2017-05-25 2018-06-20 危険状況を感知する方法及びそのシステム Active JP7102510B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762511013P 2017-05-25 2017-05-25
KR1020170113344A KR102013935B1 (ko) 2017-05-25 2017-09-05 위험 상황을 감지하는 방법 및 시스템
KR10-2017-0113344 2017-09-05
PCT/KR2018/006981 WO2019050136A1 (en) 2017-05-25 2018-06-20 METHOD AND SYSTEM FOR DETECTION OF A HAZARDOUS SITUATION

Publications (2)

Publication Number Publication Date
JP2020532806A JP2020532806A (ja) 2020-11-12
JP7102510B2 true JP7102510B2 (ja) 2022-07-19

Family

ID=64744306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020513299A Active JP7102510B2 (ja) 2017-05-25 2018-06-20 危険状況を感知する方法及びそのシステム

Country Status (7)

Country Link
US (1) US11080891B2 (ja)
EP (1) EP3622495B1 (ja)
JP (1) JP7102510B2 (ja)
KR (2) KR102013935B1 (ja)
CN (1) CN111052194B (ja)
AU (1) AU2018327869B2 (ja)
WO (1) WO2019050136A1 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3588458A1 (en) * 2018-06-29 2020-01-01 Koninklijke Philips N.V. A fall detection apparatus, a method of detecting a fall by a subject and a computer program product for implementing the method
KR102683294B1 (ko) * 2018-09-10 2024-07-10 삼성전자주식회사 객체를 인식하는 전자 장치 및 그 전자 장치를 제어하는 방법
TWI665609B (zh) * 2018-11-14 2019-07-11 財團法人工業技術研究院 住戶行為辨識系統與住戶行為辨識方法
US11179064B2 (en) * 2018-12-30 2021-11-23 Altum View Systems Inc. Method and system for privacy-preserving fall detection
CN109887238B (zh) * 2019-03-12 2021-09-24 朱利 一种基于视觉和人工智能的跌倒检测系统及检测报警方法
CN109829451B (zh) * 2019-03-22 2021-08-24 京东方科技集团股份有限公司 生物体动作识别方法、装置、服务器及存储介质
CN110020628B (zh) * 2019-04-10 2021-01-05 刘家祺 基于面部检测的坐姿检测方法、系统、设备及存储介质
US11113943B2 (en) * 2019-05-07 2021-09-07 Electronic Caregiver, Inc. Systems and methods for predictive environmental fall risk identification
JP7067672B2 (ja) * 2019-05-29 2022-05-16 コニカミノルタ株式会社 画像処理システム、画像処理プログラム、および画像処理方法
US20220358822A1 (en) * 2019-07-01 2022-11-10 Sekisui House, Ltd. Emergency responding method, safety confirmation system, management device, space section, and method for controlling management device
KR20210031269A (ko) * 2019-09-11 2021-03-19 삼성전자주식회사 영상 인식 모델을 학습하는 전자 장치 및 그 동작 방법
JP2021065617A (ja) * 2019-10-28 2021-04-30 コニカミノルタ株式会社 画像処理装置および画像処理プログラム
JP7407562B2 (ja) * 2019-11-05 2024-01-04 グローリー株式会社 危険行動予防装置、危険行動予防システム、危険行動予防方法及び危険行動予防プログラム
US11694304B2 (en) 2019-11-26 2023-07-04 Samsung Electronics Co., Ltd. Jointly learning visual motion and confidence from local patches in event cameras
US11394905B2 (en) 2019-12-13 2022-07-19 Sony Semiconductor Solutions Corporation Dynamic region of interest and frame rate for event based sensor and imaging camera
CN112166436B (zh) * 2019-12-24 2024-09-24 商汤国际私人有限公司 图像筛选方法及装置、电子设备
US11546035B2 (en) * 2020-01-07 2023-01-03 Wistron Neweb Corporation Event detection method and system thereof
JP7415603B2 (ja) * 2020-01-29 2024-01-17 積水ハウス株式会社 転落検知装置
US12050133B2 (en) * 2020-03-06 2024-07-30 Butlr Technologies, Inc. Pose detection using thermal data
KR102129771B1 (ko) * 2020-04-27 2020-07-03 (주)투비소프트 Cctv 카메라를 통해 촬영된 영상으로부터 영상 내 촬영 대상자의 행위 인식을 수행하는 cctv 관리 시스템 장치 및 그 동작 방법
TWI771672B (zh) * 2020-04-27 2022-07-21 財團法人工業技術研究院 影像監控裝置與方法
US12125137B2 (en) * 2020-05-13 2024-10-22 Electronic Caregiver, Inc. Room labeling drawing interface for activity tracking and detection
CN111685724B (zh) * 2020-06-09 2023-06-23 广东小天才科技有限公司 眼动检测方法、装置、设备及存储介质
CN111803769A (zh) * 2020-06-19 2020-10-23 周建 病人体位异常管理系统以及相应终端
US11587423B2 (en) * 2020-08-03 2023-02-21 Healthcare Integrated Technologies, Inc. Fall validation with privacy-aware monitoring
CN111899470B (zh) * 2020-08-26 2022-07-22 歌尔科技有限公司 人体跌倒检测方法、装置、设备及存储介质
KR102540768B1 (ko) * 2020-09-25 2023-06-07 금오공과대학교 산학협력단 라이더 센서 기반 사생활 공간에서의 위급상황 감지 시스템
USD980096S1 (en) * 2020-10-15 2023-03-07 Mettler-Toledo (Changzhou) Measurement Technology Ltd. Detection system using x-rays
WO2022108022A1 (ko) * 2020-11-23 2022-05-27 라온피플 주식회사 카메라 감시 시스템 및 방법
KR102476688B1 (ko) 2020-11-24 2022-12-09 재단법인 포항산업과학연구원 병실 관리 시스템 및 그 방법
KR102317290B1 (ko) * 2020-11-26 2021-10-26 웰트 주식회사 디지털 바이오 마커를 기반으로 한 진단 방법 및 이러한 방법을 수행하는 장치
KR102440530B1 (ko) * 2020-12-17 2022-09-06 (주)텔레필드 독거노인 응급 위험 상황 감지 시스템 및 이를 실행하는 방법
US12003894B1 (en) 2020-12-29 2024-06-04 Waymo Llc Systems, methods, and apparatus for event detection
KR102277967B1 (ko) * 2021-02-02 2021-07-16 (주)무지개반사 인공지능 기반 영유아 모니터링 서비스 제공 시스템
CN113065455B (zh) * 2021-03-30 2021-09-17 中国水利水电科学研究院 一种基于深度学习的滑坡风险巡检方法及系统
TWI799821B (zh) * 2021-03-30 2023-04-21 許維綸 危險預測預防系統
KR102346142B1 (ko) * 2021-04-16 2022-01-03 주식회사 테스트웍스 선택적 데이터 수집 시스템 및 그 동작 방법
CN113392723A (zh) * 2021-05-25 2021-09-14 珠海市亿点科技有限公司 基于人工智能的无人机迫降区域筛选方法、装置及设备
KR102369164B1 (ko) * 2021-06-22 2022-03-02 주식회사 시큐웍스 기계 학습을 이용한 화재 및 보안 감시를 위한 장치 및 방법
CN113531807B (zh) * 2021-06-29 2023-07-18 青岛海尔空调器有限总公司 用于控制空调的方法及装置、空调、存储介质
CN113660455B (zh) * 2021-07-08 2023-04-07 深圳宇晰科技有限公司 一种基于dvs数据的跌倒检测方法、系统、终端
KR102389285B1 (ko) * 2021-07-12 2022-04-22 주식회사 씨앤에이아이 기계학습을 기초로 낙상 사고를 감지하는 방법 및 그를 이용한 시스템
KR102608941B1 (ko) * 2021-11-12 2023-12-01 인빅 주식회사 인공지능을 이용한 환자의 이상 행동 탐지 시스템
KR102410286B1 (ko) * 2021-11-19 2022-06-22 주식회사 씨앤에이아이 딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치
KR20240115851A (ko) * 2021-11-30 2024-07-26 소니그룹주식회사 센서 디바이스 및 센서 디바이스를 동작시키기 위한 방법
CN114333238B (zh) * 2021-12-30 2024-06-25 广东省第二人民医院(广东省卫生应急医院) 一种基于5g的紧急救援通信系统
ES1300686Y (es) * 2022-11-18 2023-09-08 Domotik Mind S L Dispositivo de seguridad
KR102620852B1 (ko) * 2023-06-26 2024-01-03 주식회사 스튜디오프리윌 인공지능 기반 폴리 사운드 제공 장치 및 방법
CN117041502B (zh) * 2023-10-10 2023-12-08 湖南睿图智能科技有限公司 一种基于机器视觉的危险场景分析监测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012004907A1 (ja) 2010-07-06 2012-01-12 パナソニック株式会社 画像配信装置
WO2016053886A1 (en) 2014-09-30 2016-04-07 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
JP2016187176A (ja) 2015-03-27 2016-10-27 エヌ・ティ・ティ・コミュニケーションズ株式会社 監視システム、監視方法、解析装置及び解析プログラム
JP2017016589A (ja) 2015-07-06 2017-01-19 パラマウントベッド株式会社 対象者誘導装置、対象者誘導方法、プログラム及び対象者誘導システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110569B2 (en) * 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
US20050285941A1 (en) * 2004-06-28 2005-12-29 Haigh Karen Z Monitoring devices
DE102005056757A1 (de) * 2005-11-29 2007-05-31 Robert Bosch Gmbh Notfallüberwachungsvorrichtung für ältere oder behinderte Personen, Verfahren zur Detektion eines Notfalls sowie entsprechendes Computerprogramm
US20080043144A1 (en) * 2006-08-21 2008-02-21 International Business Machines Corporation Multimodal identification and tracking of speakers in video
US8027513B2 (en) * 2007-03-23 2011-09-27 Technion Research And Development Foundation Ltd. Bitmap tracker for visual tracking under very general conditions
KR100880901B1 (ko) 2007-05-17 2009-02-03 성경 이벤트 발생에 따른 최적의 영상 확보를 위한 저장방법 및이를 이용한 dvr 시스템
US9019381B2 (en) * 2008-05-09 2015-04-28 Intuvision Inc. Video tracking systems and methods employing cognitive vision
CN101695983B (zh) * 2009-10-23 2011-12-21 浙江工业大学 基于全方位计算机视觉的自动扶梯节能与安全监控系统
US8675920B2 (en) * 2011-04-04 2014-03-18 Alarm.Com Incorporated Fall detection and reporting technology
KR101765469B1 (ko) 2011-04-07 2017-08-23 연세대학교 산학협력단 영상 처리를 이용한 낙상 검출방법 및 이를 위한 영상 처리장치
CA2819853A1 (en) * 2012-06-28 2013-12-28 Frederik Hoffmann Passenger service unit with gesture control
KR102022970B1 (ko) 2013-04-30 2019-11-04 삼성전자주식회사 시각 센서에 기반하여 공간 정보를 감지하는 장치 및 방법
CA2914494A1 (en) * 2013-06-03 2014-12-11 Isaiah KACYVENSKI Motion sensor and analysis
KR101454548B1 (ko) * 2013-06-26 2014-10-27 주식회사 에스원 3차원 카메라를 이용한 감시 장치 및 이의 구동 방법
US20160217326A1 (en) 2013-07-03 2016-07-28 Nec Corporation Fall detection device, fall detection method, fall detection camera and computer program
KR101365237B1 (ko) * 2013-09-12 2014-02-19 주식회사 엘앤비기술 적응적으로 다중 해상도를 지원하는 감시 카메라 시스템
KR20150120124A (ko) 2014-04-17 2015-10-27 삼성전자주식회사 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치
KR20160037326A (ko) * 2014-09-26 2016-04-06 계명대학교 산학협력단 위험 상황을 알려주는 이동통신 단말기 및 그 동작 방법
CN104680525B (zh) * 2015-02-12 2017-05-10 南通大学 基于Kinect深度图像的人体摔倒自动检测方法
KR101666959B1 (ko) 2015-03-25 2016-10-18 ㈜베이다스 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US9959732B2 (en) 2015-10-20 2018-05-01 Micron Electronics LLC Method and system for fall detection
KR102530219B1 (ko) 2015-10-30 2023-05-09 삼성전자주식회사 동작 인식의 오류를 검출하는 방법 및 장치
KR101704471B1 (ko) 2015-12-08 2017-02-10 조선대학교산학협력단 낙상 검출 장치 및 그 방법
KR20180010042A (ko) * 2016-07-20 2018-01-30 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106991790A (zh) 2017-05-27 2017-07-28 重庆大学 基于多模特征分析的老人摔倒实时监测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012004907A1 (ja) 2010-07-06 2012-01-12 パナソニック株式会社 画像配信装置
WO2016053886A1 (en) 2014-09-30 2016-04-07 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
JP2016187176A (ja) 2015-03-27 2016-10-27 エヌ・ティ・ティ・コミュニケーションズ株式会社 監視システム、監視方法、解析装置及び解析プログラム
JP2017016589A (ja) 2015-07-06 2017-01-19 パラマウントベッド株式会社 対象者誘導装置、対象者誘導方法、プログラム及び対象者誘導システム

Also Published As

Publication number Publication date
US20180342081A1 (en) 2018-11-29
AU2018327869B2 (en) 2023-09-21
KR102013935B1 (ko) 2019-08-23
KR20190099185A (ko) 2019-08-26
AU2018327869A1 (en) 2020-01-16
EP3622495B1 (en) 2024-05-22
KR102224453B1 (ko) 2021-03-08
WO2019050136A1 (en) 2019-03-14
US11080891B2 (en) 2021-08-03
CN111052194B (zh) 2022-09-27
CN111052194A (zh) 2020-04-21
EP3622495A1 (en) 2020-03-18
EP3622495A4 (en) 2020-05-06
JP2020532806A (ja) 2020-11-12
KR20180129587A (ko) 2018-12-05

Similar Documents

Publication Publication Date Title
JP7102510B2 (ja) 危険状況を感知する方法及びそのシステム
US11298049B2 (en) Method and device for detecting dangerous situation
US11948401B2 (en) AI-based physical function assessment system
US10444854B2 (en) Multi media computing or entertainment system for responding to user presence and activity
CN109475294B (zh) 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台
Yu et al. An online one class support vector machine-based person-specific fall detection system for monitoring an elderly individual in a room environment
US10789458B2 (en) Human behavior recognition apparatus and method
CN114391163A (zh) 手势检测系统和方法
CN106793960A (zh) 确定用于心血管测量的时机和上下文
JP6713057B2 (ja) 移動体制御装置および移動体制御プログラム
US11966317B2 (en) Electronic device and method for controlling same
US20190294129A1 (en) Work support system and information processing method
JP2023521416A (ja) 環境健康監視および予測的評価を可能にする非接触型センサー駆動デバイス、システム、および方法
WO2017081829A1 (ja) 行動検知装置、行動検知方法及び行動検知プログラム
Killian et al. Fall prevention and detection in smart homes using monocular cameras and an interactive social robot
CN113497912A (zh) 通过语音和视频定位的自动取景
Patel et al. Sensors for Falls and Fall Detection Techniques: From the past to the future
Mastorakis Human fall detection methodologies: from machine learning using acted data to fall modelling using myoskeletal simulation
KR20230154380A (ko) 행동 및 발화 패턴 기반 감성 인식 결과에 의해 사용자의 감성 상태에 적합한 헬스케어 서비스를 제공하는 시스템 및 방법
US20230012053A1 (en) Information processing device and information processing method
JP2023047410A (ja) ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法
KR102551856B1 (ko) 딥러닝 기반의 예측 모델에 기반하여 보조 보행 장치를 이용하는 피보호자의 감정 상태를 예측하는 전자 장치 및 그 동작 방법
JP7215481B2 (ja) コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
Sharen et al. WISNet: A Deep Neural Network based Human Activity Recognition System
Khorrami Yaghoubi Unobtrusive Sensor Fusion Fall Detection Mat Designed For Elderly Individuals

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220706

R150 Certificate of patent or registration of utility model

Ref document number: 7102510

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150