JPWO2018124188A1 - 測定装置およびプログラム - Google Patents

測定装置およびプログラム Download PDF

Info

Publication number
JPWO2018124188A1
JPWO2018124188A1 JP2018529685A JP2018529685A JPWO2018124188A1 JP WO2018124188 A1 JPWO2018124188 A1 JP WO2018124188A1 JP 2018529685 A JP2018529685 A JP 2018529685A JP 2018529685 A JP2018529685 A JP 2018529685A JP WO2018124188 A1 JPWO2018124188 A1 JP WO2018124188A1
Authority
JP
Japan
Prior art keywords
marker
control unit
measurement
training
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018529685A
Other languages
English (en)
Other versions
JP6669358B2 (ja
Inventor
慎 玄正
慎 玄正
山田 裕
裕 山田
貴裕 小澤
貴裕 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coaido
Original Assignee
Coaido
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coaido filed Critical Coaido
Publication of JPWO2018124188A1 publication Critical patent/JPWO2018124188A1/ja
Application granted granted Critical
Publication of JP6669358B2 publication Critical patent/JP6669358B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H31/00Artificial respiration or heart stimulation, e.g. heart massage
    • A61H31/004Heart stimulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • G01B11/046Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving for measuring width
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/288Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for artificial respiration or heart massage
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10BELECTRONIC MEMORY DEVICES
    • H10B20/00Read-only memory [ROM] devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/12Driving means
    • A61H2201/1253Driving means driven by a human being, e.g. hand driven

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Medicinal Chemistry (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Pain & Pain Management (AREA)
  • Pulmonology (AREA)
  • Emergency Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

簡易な構成で測定すること。心肺蘇生において、臨床またはその訓練に用いる測定装置1であって、利用者の所定の位置に取り付けられたARマーカーのサイズを記憶する記憶部11と、測定時に移動するARマーカーを撮像する可視光カメラを備える撮像部12と、撮像された画像からARマーカーの位置を検出し、記憶部11に記憶されているARマーカーのサイズを用いてARマーカーの変位量を算出する制御部13と、制御部13の算出結果を出力する出力部と、を有する。

Description

本発明は測定装置およびプログラムに関する。
コンピュータを用いて救助訓練を管理する方法が知られている。例えば、複数の個人を潜在的な救助被訓練者として中央コンピュータサーバシステムを通じて登録することと、中央サーバシステムから遠隔にあるコンピューティング装置から、潜在的な救助被訓練者の中の人達の圧迫の速度および深さを示す情報を受信することと、他の救助被訓練者に対する第1救助被訓練者のCPR胸部圧迫の成果を反映する比較データを生成することとを含む。方法はまた、救助被訓練者のうちの1人以上による検討のために、ネットワークを通じて前記比較データを提供することが知られている。
また、心臓マッサージの施術者の手に固定される位置検出器に備える少なくとも3つのマーカーを撮像するビデオカメラと、ビデオカメラと接続されると共に、ビデオカメラによって撮像されるそれぞれのマーカーの各位置の変化に基づき位置検出器の位置を代表する測定点の移動を表示する本体機器2とを備え、測定点の位置を決定する測定点決定手段と、測定点の位置の変化を追跡する測定点追跡手段と、測定点の位置の変化をモニタに表示させる表示処理手段とを備える装置が知られている。
特開2016−028290号公報 特開2013−153847号公報
赤外線を用いてマーカーの位置を検出する場合、専用の機器を用意することになり、費用が高くなるという問題があった。
1つの側面では、本発明は、簡易な構成で測定することを目的とする。
上記目的を達成するために、開示の測定装置が提供される。この測定装置は、心肺蘇生において、臨床またはその訓練に用いる測定装置であり、利用者の所定の位置のマーカーのサイズを記憶する記憶部と、測定時に移動するマーカーを撮像する可視光カメラを備える撮像部と、撮像された画像からマーカーの位置を検出し、記憶部に記憶されているマーカーのサイズを用いてマーカーの変位量を算出する制御部と、制御部の算出結果を出力する出力部と、を有している。
1態様では、簡易な構成で測定することができる。
実施の形態の測定システムを示す図である。 訓練の一例を説明する図である。 実施の形態の測定装置のハードウェア構成を示す図である。 実施の形態の測定装置の機能を示すブロック図である。 ペットボトルの型の認識を説明する図である。 ペットボトルとARマーカーとの関係を説明する図である。 ディスプレイに表示された画面を説明する図である。 標識を説明する図である。 測定装置の処理を説明するフローチャートである。 測定結果の一例を説明する図である。 訓練結果の一例を説明する図である。
以下、実施の形態の測定システムを、図面を参照して詳細に説明する。
<実施の形態>
図1は、実施の形態の測定システムを示す図である。
実施の形態の測定システム100は、心肺蘇生法(CPR:CardioPulmonary Resuscitation)において、臨床またはその訓練を、測定装置1が備える可視光カメラを用いて実現するシステムである。
第1の実施の形態の測定システム100は、測定装置(コンピュータ)1と、リストバンド2と、ペットボトル3とを有している。
測定装置1は、撮像装置を備えており、例えばスマートフォンやタブレット端末等の携帯端末装置が好ましい。図1では、測定装置1はスタンド4により、横向きにされたペットボトル3の上部を撮像可能な位置に支持されている。
この測定装置1には、マーカーを検出するArUcoが搭載されている。ArUcoは、BSDライセンスで配布されているOpenCV(画像処理ライブラリ)をベースにした軽量なAR(Augmented Reality)ライブラリである。
この測定装置1を用いて測定を行う際には、訓練者は、手の動きを識別するリストバンド2を手首に装着する。リストバンド2には、正面にARマーカー2aが印刷されている。なお、図1では各ARマーカー2aが配置されている箇所を黒で塗りつぶして図示しているが、実際は吹き出しに示したように、1つ1つのARマーカー2aの模様はそれぞれ異なる。
このARマーカー2aは、識別手段の一例である。他のマーカーとしては、LED(Light Emitting Diode)など発光体を埋め込んだ腕輪や、深度カメラ等によるマーカーレスでの特徴点の識別などがある。
各ARマーカー2aは正方形をなしており、1つのARマーカー2aは、一例として15mm〜20mmの正方形である。このようなサイズのARマーカー2aを横一列に並べることにより、測定装置1が測定点を補完できる。すなわち、1つの大きなARマーカーを並べると検出精度は高まるが、測定装置1側で検出漏れがあったときの補完が難しい。ある程度のサイズのARマーカー2aを横一列に並べることにより、測定装置が1つのARマーカー2aの測定点を検出できなかった場合でも他のARマーカー2aの検出により、測定点を補完することができる。
また、図1ではARマーカー2aは横一列に並んでいるが、複数列であってもよい。
ペットボトル3は、心肺蘇生法の訓練の際、人体を代用する物である。ペットボトル3は、用意するペットボトル3の種類と水量を適切に調節することで、心臓蘇生法の訓練を行うに当たり、感触を人体に近似させることができる。用意するペットボトル3の種類については後に詳述する。
図2は、訓練の一例を説明する図である。
訓練の際には、訓練者は測定装置1に正対し、適切な圧力および深さ(後述)でペットボトル3を圧迫する動作を繰り返し実行する。
測定装置1は、前述した撮像装置を用いて、訓練者が装着したリストバンド2付近を撮像する。そして、測定装置1は、撮影した映像をリアルタイムに解析し、手の移動量や角度、動きのリズム等を測定することで、正しく訓練ができているか否かを判定する。
以下、開示の測定システムをより具体的に説明する。
図3は、実施の形態の測定装置のハードウェア構成を示す図である。
測定装置1は、CPU(Central Processing Unit)101によって装置全体が制御されている。
CPU101には、バス108を介してRAM(Random Access Memory)102と複数の周辺機器が接続されている。
RAM102は、携帯端末装置2の主記憶装置として使用される。RAM102には、CPU101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、CPU101による処理に使用する各種データが格納される。
バス108には、内蔵メモリ103、グラフィック処理装置104、入力インタフェース105、カメラモジュール106、および通信インタフェース107が接続されている。
内蔵メモリ103は、データの書き込みおよび読み出しを行う。内蔵メモリ103は、携帯端末装置2の二次記憶装置として使用される。内蔵メモリ103には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、内蔵メモリとしては、例えばフラッシュメモリ等の半導体記憶装置が挙げられる。
グラフィック処理装置104には、ディスプレイ104aが接続されている。グラフィック処理装置104は、CPU101からの命令に従って、画像をディスプレイ104aの画面に表示させる。ディスプレイ104aとしては、液晶表示装置等が挙げられる。また、ディスプレイ104aは、タッチパネル機能も備えている。
入力インタフェース105は、ディスプレイ104aおよび入力ボタン105に接続されている。入力インタフェース105は、入力ボタン105aやディスプレイ104aのタッチパネルから送られてくる信号をCPU101に送信する。
カメラモジュール106は、測定装置1の表面(ディスプレイ104a側)に可視光を透過するインカメラ106aを備え、裏面にリアカメラ106bを備えている。インカメラ106aまたはリアカメラ106bにて撮像された画像は、CPU101がユーザの操作に応じて内部メモリ103に記憶する。
通信インタフェース107は、ネットワーク50に接続されている。通信インタフェース107は、ネットワーク50を介して、他のコンピュータまたは通信機器との間でデータを送受信する。
以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。
図3に示すようなハードウェア構成の測定装置1内には、以下のような機能が設けられる。
図4は、実施の形態の測定装置の機能を示すブロック図である。
測定装置1は、記憶部11と、撮像部12と、制御部13とを有している。
記憶部11には、測定に用いる各種プログラムや、動画像等が記憶されている。また、記憶部11には、各ARマーカー2aのサイズが記憶される。
撮像部12は、インカメラ106aまたはリアカメラ106bを用いて画像を撮像する。
制御部13は、測定装置1全体を制御する。例えば、制御部13は、撮像部12が撮像したARマーカー2aの位置を検出し、記憶部11に記憶されているARマーカー2aのサイズを用いてARマーカー2aの変位量を算出する。
次に、測定方法を説明する。
(1)ペットボトルの型を認識(前準備)。
図5は、ペットボトルの型の認識を説明する図である。
心肺蘇生が施される人のモデルにどのペットボトルを用いるかは、ペットボトルの大きさや形状により異なる。訓練を開始するにあたり、倒れている人のモデルとなるペットボトルを特定するため、ペットボトルの型を認識する。
具体的には、訓練者はペットボトル3のラベルに付されているバーコードを測定装置1のリアカメラ106bで読み取る。バーコードはユニークなIDであり、ペットボトル3a、3b、3cの型(大きさ)を簡易に認識することができる。図5では大きさの異なるペットボトル3a、3b、3cを図示している。ペットボトル3aの容量は2Lであり、ペットボトル3bの容量は1Lであり、ペットボトル3cの容量は500mLである。バーコードを読み取ることにより、利用者は訓練対象のペットボトルの型を容易に認識し準備することができる。
(2)ARで横たわった人(倒れた人)を見せる(前準備)。
ペットボトル3がARマーカーになる。
図6は、ペットボトルとARマーカーとの関係を説明する図である。
測定装置1は、認識したペットボトルの形状に応じた体格、年齢のARを3Dで表示する。例えば撮像部12が、容量が2Lのペットボトル3aを撮像した場合、制御部13は、成人のAR5aをディスプレイ104aに表示する。また、制御部13は、成人に対するCPR、およびペットボトル3aに入れる水の量を動画等で案内する。CPRを案内することで、実際に心臓マッサージ用をする際に役立てることができる。撮像部12が、容量が1Lのペットボトル3bを撮像した場合、制御部13は、小児のAR5bをディスプレイ104aに表示する。また、制御部13は、小児に対するCPR、およびペットボトル3bに入れる水の量を動画等で案内する。撮像部12が、容量が500mLのペットボトル3cを撮像した場合、制御部13は、乳児のAR5cを表示する。また、制御部13は、乳児に対するCPRを動画等で案内する。なお、認識したペットボトルの形状に応じて体格、年齢以外にも性別の異なるARを3Dで表示するようにしてもよい。また、上記のペットボトルのサイズや形状に応じた区分けは一例であり、必ずしも500mLが乳児用のCPR訓練用と限るものではない。
次に、訓練者は、図1に示すようにスタンド4等で測定装置1を垂直に支持する。そして、測定装置1から2Lのペットボトル1本分程度離間した距離にペットボトル3を載置する。図1ではペットボトル3aを載置している。なお、ペットボトル3aが滑ることを抑制するため、ペットボトル3aの下に滑り止めのシート等を載置したり、ペットボトル3aに輪ゴムを巻き付けたりしてもよい。
訓練者は、腕にリストバンド2を装着する。そして、訓練者は測定装置1を起動してアプリケーションを起動すると、制御部13は、インカメラ106aでペットボトル3aを撮像する。
図7は、ディスプレイに表示された画面を説明する図である。
このとき制御部13は、訓練者に肘の角度を確認するガイド21をディスプレイ104aに表示する。ガイド21に訓練者の肘の角度が一致すると、制御部13は測定を開始する。なお、制御部13は測定を開始するボタンを別途ディスプレイ104aに表示してもよい。
測定を開始すると、制御部13は、訓練者がリズムを取りやすいように音楽を流すとともに、訓練が正確に行われているか否かを示す2つの標識をディスプレイ104aに表示する。なお、音楽の種類は特に限定されないが、例えば1分間に100回〜120回の圧迫が好ましいというガイドラインが存在する場合、そのガイドラインに沿ったリズムの音楽であるのが好ましい。
図8は、標識を説明する図である。
標識22は、制御部13のフィードバック量の判定に応じて色を変える。具体的には、制御部13がリコイルの量が10mm以下であると判断した場合、標識22は、青色に点灯する。これは、ペットボトル3aが圧迫されて凹んだ位置から元の位置に戻るように十分に圧迫を解除させたときリコイルの量が10mm以下になるため、訓練が上手くいっていることを示している。
他方、リコイルの量が10mmより大きいと判断した場合、標識22は、赤色に点灯する。これは、圧迫の解除が不十分である場合はリコイルの量が10mmより大きくなるため、訓練が上手くいっていないことを示している。
標識23は、圧迫の大きさの判定に応じて色を変える。具体的には、標識23は、ペットボトル3aを用いている(成人の)場合、圧迫量が50〜65mmの場合、青色に点灯する。圧迫量が50〜65mm以外の場合、赤色に点灯する。ペットボトル3bを用いている(小児の)場合、圧迫量がペットボトル3bの厚みの1/3の場合、青色に点灯する。それ以外の場合、赤色に点灯する。
制御部13は、標識22または標識23の一方または両方が赤色に点灯した場合は、圧迫を是正するアドバイスを音声等により訓練者に報知してもよい。例えば、標識22が赤色に点灯した場合は、「もっと引き上げて」等の音声を発生させる。標識23が赤色に点灯した場合は、「もっと強く」等の音声を発生させる。
これらの色によるフィードバックは一例であり、他の色や、画面やライトの点滅、音などを使用しても良い。
なお、測定中は、制御部13は訓練者を撮像するインカメラ106aの画像と標識22、23とを交互に表示するようにしてもよい。また、インカメラ106aの画像には測定中ガイド21を表示してもよいし、表示しなくてもよい。
また、制御部13は、ガイド21を用いて肘が曲がっているか否かを判断し、その判断結果に基づき音声を発生させてもよい。
具体的には、制御部13は、ARマーカー2aの傾きを検出する。そして、制御部13は、ARマーカー2aの傾きが所定値以上の場合、「肘が曲がっていませんか」等の音声を発生させる。また、他の例としては、ガイドに腕が重なっていたり、ガイドに重なる腕の面積が所定面積以上である場合等に「肘が曲がっていませんか」等の音声を発生させてもよい。
次に、測定装置1の処理を、フローチャートを用いて説明する。
図9は、測定装置の処理を説明するフローチャートである。
まず、制御部13は初期化を行う。制御部13は、最初の1フレームで初期化を実行し、測定者がアプリケーションを終了するまで測定を繰り返す。
[ステップS1] 制御部13は、インカメラ106aが撮像した画像から、静止画像を取得する。必ずしも等間隔で取得できるとは限らない。その後、ステップS2に遷移する。
[ステップS2] 制御部13は、ArUcoライブラリによって画像中の各ARマーカー2aを検出する。これにより各ARマーカー2aのマーカー識別子と、各ARマーカー2aそれぞれの4頂点の画像上の座標が得られる。その後、ステップS3に遷移する。
[ステップS3] 制御部13は、検出されたARマーカー2aそれぞれの頂点の座標(例えば左上頂点の座標)を各ARマーカー2aそれぞれの初期位置に設定する。その後、ステップS4に遷移する。
[ステップS4] 制御部13は、画像上でのおおよその各ARマーカー2aの大きさを算出する。具体的には制御部13は、各ARマーカー2aの4頂点のY座標についてs=max(左下頂点−左上頂点,右下頂点−右上頂点)で各ARマーカー2aの画像上での大きさを算出する。
[ステップS5] 制御部13は、ステップS1と同様に、インカメラ106aが撮像した画像から、静止画像を取得する。その後、ステップS6に遷移する。
[ステップS6] 制御部13は、ステップS2と同様に、ArUcoライブラリによって画像中のARマーカー2aを検出する。これにより各ARマーカー2aのマーカー識別子と、各ARマーカー2aそれぞれの4頂点の画像上の座標が得られる。なお、制御部13は、画像のARマーカー2aに対応する部位を拡大し、4頂点の画像上の座標を得る。その後、ステップS7に遷移する。
[ステップS7] 制御部13は、新たに検出したマーカーの位置(左上頂点)から初期位置を減算することで各ARマーカー2aそれぞれの変位量を算出する。制御部13は、画像上での各ARマーカー2aのサイズで割ることで、実際の変位量を算出する。その後、ステップS8に遷移する。
[ステップS8] 制御部13は、訓練者が測定を終了したか否かを判断する。訓練者が測定を終了した場合(ステップS8のYes)、図9の処理を終了する。訓練者が測定を終了しない場合(ステップS8のNo)、ステップS5に遷移する。
図10は、測定結果の一例を説明する図である。
図10は、制御部13が検出した複数のARマーカー2aのうち、1つのARマーカー2aの軌跡を示している。
縦軸は圧迫の深さ(手の移動距離)を示しており、横軸は時間を示している。グラフ内の点が、制御部13がARマーカー2aを検出した箇所を示している。
ArUcoライブラリでは、移動中のマーカーを検出することは困難である。画像上でマーカーがぼやけてしまうことが原因と考えられる。しかしながら、理論上、CPRでは死点の速度は0になるため、この死点においてマーカーを検出することができる。実際の検出結果では上死点P1は数フレームに亘って検出され、十分な精度が期待できる。下死点P2については、少なくとも1フレームが検出されている。
制御部13は、訓練者の測定結果を記憶部11に記憶する。
この測定結果を用いて、制御部13は、訓練結果(正しく訓練が実行されたか否か)を示す種々の指標を算出することができる。例えば、制御部13は、デューティーサイクル(圧迫減圧時間比)を算出することができる。なお、デューティーサイクルの理想は50:50である。
また、制御部13は、胸骨圧迫時間比(CCF:Chest Compression Fraction)を算出することができる。胸骨圧迫時間比の理想は61〜80%である。
これらの測定結果および算出結果を用いて、制御部13は、訓練結果を作成する。制御部13は、作成した訓練結果をCSV形式で出力したり、ディスプレイ104aに表示したりすることができる。
なお、図10では、1つのARマーカー2aの軌跡を示したが、制御部13は、複数のARマーカー2aの検出結果を統合して訓練結果を作成することができる。例えば、各ARマーカー2aの検出結果を踏まえてノイズを除去したり、死点を補完したりすることにより、訓練結果の作成精度を向上させることができる。
図11は、訓練結果の一例を説明する図である。図11では訓練結果がテーブル化されて記憶されている。
テーブルT1には、時間、対象、判定ロジック、深さ、リコイル、リズム、デューティーサイクル(圧迫減圧時間比)、CCF、各得点、総合得点の欄が設定されている。横方向に並べられた情報同士が互いに関連づけられている。
時間の欄には、訓練時間が設定される。
対象の欄には、訓練対象のモデル(成人、小児、乳児のいずれか)が設定される。
判定ロジックの欄には、対象物の種別に応じた判定ロジックが設定される。
深さの欄には、深さの判定結果(OKorNG)が設定される。
リコイルの欄には、リコイルの判定結果(OKorNG)が設定される。
リズムの欄には、リズムの判定結果(OKorNG)が設定される。
デューティーサイクルの欄には、デューティーサイクルの判定結果(OKorNG)が設定される。
CCFの欄には、CCFの判定結果(OKorNG)が設定される。
各得点の欄には、深さ、リコイル、リズム、デューティーサイクル、CCF各項目の成功率それぞれが、得点化されて設定される。
総合得点の欄には、各得点の合計が設定される。
また、複数の訓練者の配点を比較し、それぞれの順位を表示したり、ランキング形式(市町村単位、県単位、全国単位)で表示するようになっていてもよい。
なお、ガイド21を用いて肘が曲がっているか否かを判断した結果を訓練結果に反映するようにしてもよい。例えば、肘が曲がっていると判断した場合、配点を減点する。
なお、本実施の形態では訓練対象としてペットボトル3を用いた。しかし、当該訓練方法を人体の心肺蘇生時にも適用することもできる。すなわち、人形またはペットボトルを人体に置き換えても原理的に測定は可能である。これを訓練のみでなく臨床における正しい心肺蘇生を行う際に使用することができる。
以上述べたように、測定装置1によれば、可視光カメラを用いて取得したARマーカー2aのサイズを記憶部11に記憶しておき、マーカーの変位量を算出して訓練結果を取得するようにした。従って、簡単な装置構成で訓練を実行することができる。
また、制御部13は、ARマーカー2aを複数個設けてそれぞれの検出結果を用いてARマーカー2aの位置を補完するようにした。これにより、訓練結果の作成精度を向上させることができる。
また、制御部13は、ペットボトル3の特徴に応じて年齢や性別の異なるARをディスプレイ104aに表示するようにした。これにより、訓練者は、訓練対象を容易にイメージすることができる。
また、制御部13は、ガイド21を用いて肘が曲がっているか否かを判断し、その判断結果を訓練時や訓練結果に反映するようにした。これにより訓練を、より実践に役立てることができる。
また、制御部13は、インカメラ106aが撮像した画像のARマーカー2aに対応する部位を拡大し、ARマーカー2aの変位量を算出するようにした。これにより、処理速度を上げることができる。
なお、測定装置1が行った処理が、複数の装置によって分散処理されるようにしてもよい。例えば、1つの装置が、ARマーカー2aの変位量を算出し、他の装置が、その変位量を用いて訓練結果を出力するようにしてもよい。
また、各測定の項目および測定ロジックは、国際的な心肺蘇生のコンセンサスやガイドラインの更新に従い、アップデートを行う。
以上、本発明の測定装置およびプログラムを、図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物や工程が付加されていてもよい。
また、本発明は、前述した各実施の形態のうちの、任意の2以上の構成(特徴)を組み合わせたものであってもよい。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、測定装置1が有する機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリ等が挙げられる。磁気記憶装置には、ハードディスクドライブ、フレキシブルディスク(FD)、磁気テープ等が挙げられる。光ディスクには、DVD、DVD−RAM、CD−ROM/RW等が挙げられる。光磁気記録媒体には、MO(Magneto-Optical disk)等が挙げられる。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD、CD−ROM等の可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。
また、上記の処理機能の少なくとも一部を、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)等の電子回路で実現することもできる。
1 測定装置
2 リストバンド
2a ARマーカー
3、3a、3b、3c ペットボトル
4 スタンド
5a、5b、5c AR
11 記憶部
12 撮像部
13 制御部
21 ガイド
22、23 標識
100 測定システム

Claims (5)

  1. 心肺蘇生において、臨床またはその訓練に用いる測定装置であって、
    利用者の所定の位置のマーカーのサイズを記憶する記憶部と、
    測定時に移動する前記マーカーを撮像する可視光カメラを備える撮像部と、
    撮像された画像から前記マーカーの位置を検出し、前記記憶部に記憶されているマーカーのサイズを用いて前記マーカーの変位量を算出する制御部と、
    前記制御部の算出結果を出力する出力部と、
    を有することを特徴とする測定装置。
  2. 前記制御部は、訓練時にはペットボトルの特徴に応じて体格や年齢、性別の異なる対象を表示部に表示する請求項1に記載の測定装置。
  3. 前記制御部は、測定時に利用者の肘が曲がっているか否かを判断し、判断結果を出力する請求項1または2に記載の測定装置。
  4. 前記制御部は、前記可視光カメラが撮像した画像の前記マーカーに対応する部位を拡大し、前記マーカーの変位量を算出する請求項1ないし3のいずれかに記載の測定装置。
  5. 心肺蘇生において、臨床またはその訓練に用いるプログラムであって、
    コンピュータに、
    測定時に移動するマーカーを撮像する可視光カメラにより撮像された画像から前記マーカーの位置を検出し、
    記憶部に記憶されている訓練者の所定の位置のマーカーのサイズを用いて前記マーカーの変位量を算出し、
    算出結果を出力する、
    処理を実行させることを特徴とするプログラム。
JP2018529685A 2016-12-27 2017-12-27 測定装置およびプログラム Active JP6669358B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016254438 2016-12-27
JP2016254438 2016-12-27
PCT/JP2017/046936 WO2018124188A1 (ja) 2016-12-27 2017-12-27 測定装置およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018124188A1 true JPWO2018124188A1 (ja) 2018-12-27
JP6669358B2 JP6669358B2 (ja) 2020-03-18

Family

ID=62709344

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018529685A Active JP6669358B2 (ja) 2016-12-27 2017-12-27 測定装置およびプログラム

Country Status (4)

Country Link
US (1) US20190318645A1 (ja)
EP (1) EP3564929A4 (ja)
JP (1) JP6669358B2 (ja)
WO (1) WO2018124188A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021075090A1 (ja) 2019-10-17 2021-04-22 パナソニックIpマネジメント株式会社 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置
WO2021147022A1 (zh) * 2020-01-22 2021-07-29 焦旭 心肺复苏操作检测系统、标定装置、检测终端及检测方法
CN112292688A (zh) * 2020-06-02 2021-01-29 焦旭 运动检测方法和装置、电子设备以及计算机可读存储介质
CN118172303A (zh) * 2020-10-15 2024-06-11 浙江大学台州研究院 一种尺寸测量评分装置的调节测量方法
WO2024125792A1 (en) * 2022-12-15 2024-06-20 Robert Bosch Gmbh Plastic object, and device and method for determining a material type of the plastic object

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012248233A (ja) * 2006-11-01 2012-12-13 Sony Corp モーションピクチャにおけるセグメント追跡
JP2013153847A (ja) * 2012-01-27 2013-08-15 Kissei Comtec Co Ltd 心臓マッサージ支援装置および心臓マッサージ支援用コンピュータプログラム
WO2014042121A1 (ja) * 2012-09-12 2014-03-20 独立行政法人産業技術総合研究所 動作評価装置及びそのプログラム
US20150325148A1 (en) * 2013-07-16 2015-11-12 I.M.Lab Inc. Cardio pulmonary resuscitation (cpr) training simulation system and method for operating same
JP2016004354A (ja) * 2014-06-16 2016-01-12 株式会社システムディ 身体の姿勢の判定方法
JP3207704U (ja) * 2016-09-15 2016-11-24 Coaido株式会社 心臓マッサージトレーニング用シート

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011011633A2 (en) * 2009-07-22 2011-01-27 Atreo Medical, Inc. Optical techniques for the measurement of chest compression depth and other parameters during cpr
EP2499628A4 (en) 2009-11-13 2014-11-05 Zoll Medical Corp CPR TEST SYSTEM (CARDIORESPIRATORY RESUSCITATION)
EP3304525B1 (en) * 2015-05-28 2022-07-06 Koninklijke Philips N.V. Cardiopulmonary resuscitation guidance method, computer program product and system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012248233A (ja) * 2006-11-01 2012-12-13 Sony Corp モーションピクチャにおけるセグメント追跡
JP2013153847A (ja) * 2012-01-27 2013-08-15 Kissei Comtec Co Ltd 心臓マッサージ支援装置および心臓マッサージ支援用コンピュータプログラム
WO2014042121A1 (ja) * 2012-09-12 2014-03-20 独立行政法人産業技術総合研究所 動作評価装置及びそのプログラム
US20150325148A1 (en) * 2013-07-16 2015-11-12 I.M.Lab Inc. Cardio pulmonary resuscitation (cpr) training simulation system and method for operating same
JP2016004354A (ja) * 2014-06-16 2016-01-12 株式会社システムディ 身体の姿勢の判定方法
JP3207704U (ja) * 2016-09-15 2016-11-24 Coaido株式会社 心臓マッサージトレーニング用シート

Also Published As

Publication number Publication date
JP6669358B2 (ja) 2020-03-18
WO2018124188A1 (ja) 2018-07-05
US20190318645A1 (en) 2019-10-17
EP3564929A4 (en) 2020-01-22
EP3564929A1 (en) 2019-11-06

Similar Documents

Publication Publication Date Title
JP6669358B2 (ja) 測定装置およびプログラム
CN106448277B (zh) 基于交互式岩壁的模拟攀岩学习系统及方法
US8009866B2 (en) Exercise support device, exercise support method and recording medium
CN102222347B (zh) 使用波阵面编码来创建深度图像
US9495008B2 (en) Detecting a primary user of a device
TWI377055B (en) Interactive rehabilitation method and system for upper and lower extremities
US20170188930A1 (en) Animation-based autism spectrum disorder assessment
US20150004581A1 (en) Interactive physical therapy
KR101718427B1 (ko) 웨어러블 디바이스를 이용한 체감형 상호작용 암벽 기반 스크린 클라이밍 학습 시스템 및 방법
US20200179759A1 (en) Display method, information processing apparatus, and computer-readable recording medium
KR20140018253A (ko) 동작 영상화 및 캡처의 의료적 사용을 위한 시스템 및 방법
US11027195B2 (en) Information processing apparatus, information processing method, and program
CN102542566A (zh) 对传感器的位置进行定向
JP2007143748A (ja) 画像認識装置、フィットネス支援装置、フィットネス支援システム、フィットネス支援方法、制御プログラムおよび可読記録媒体
KR20220028654A (ko) 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법
WO2007069751A1 (ja) 記憶力テスト装置、判断力テスト装置、比較力テスト装置、コーディネーショントレーニング装置、及びワーキングメモリトレーニング装置
JP2012073299A (ja) 言語訓練装置
TW202209275A (zh) 健身運動的引導設備
JPH0956697A (ja) リハビリテーション支援装置
CN209895305U (zh) 手势交互系统
KR102125254B1 (ko) 사용자 인식 보행 동작 측정 시스템 및 이를 이용한 보행 동작 측정 방법
TWI470565B (zh) 非接觸式醫療導覽系統及其控制方法
TWI687904B (zh) 互動式訓練及檢測裝置
WO2019244409A1 (ja) 映像表示システム,映像表示方法,及びコンピュータプログラム
TWM640769U (zh) 防護衣穿脫人工智慧引導系統

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180611

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200219

R150 Certificate of patent or registration of utility model

Ref document number: 6669358

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250