JP2024091323A

JP2024091323A - Treatment audit system

Info

Publication number: JP2024091323A
Application number: JP2023136774A
Authority: JP
Inventors: 礼華西川; Reika Nishikawa; 佳之相川; Yoshiyuki Aikawa
Original assignee: SBC MEDICAL GROUP CO LTD
Current assignee: SBC MEDICAL GROUP CO LTD
Priority date: 2022-12-23
Filing date: 2023-08-25
Publication date: 2024-07-04

Abstract

PROBLEM TO BE SOLVED: To provide a treatment audit system for auditing whether or not beauty treatment is properly performed.

SOLUTION: A medical audit system for recording treatment in a beauty clinic and auditing whether or not the treatment is performed according to specific procedures, includes the functions of: generating a model relating to the respective procedures from an image obtained by photographing the treatment; analyzing a newly acquired moving image; and auditing whether or not the treatment in the moving image is performed according to the procedures. The medical audit system thus makes it possible to automatically audit whether or not the respective procedures of the treatment are appropriately performed, thereby efficiently performing quality control of the treatment, securing appropriateness of the surgery, and reducing the risk of medical errors.

SELECTED DRAWING: None

Description

本発明は、施術の監査システムに関する。 The present invention relates to a treatment audit system.

近年、美容医療のニーズが高まっており、様々な病院やクリニックが多種多様な美容医療を提供している。このようなニーズの高まりを受けて、美容医療を、より効率的に、より正確に、より安全に行うことへの重要性も高まってきている。 In recent years, the need for aesthetic medical treatment has increased, with many hospitals and clinics offering a wide variety of aesthetic medical treatments. In response to this growing need, there is also growing importance of providing aesthetic medical treatment more efficiently, accurately, and safely.

一般社団法人日本美容外科学会、「日本美容外科学会会報美容医療診療指針（令和3年度改訂版）」、２０２２年１０月１０日発行Japan Society of Aesthetic Plastic Surgery, "Japan Society of Aesthetic Plastic Surgery Newsletter Aesthetic Medical Practice Guidelines (Revised Edition for 2021)," published on October 10, 2022

本発明は、美容医療を、より効率的に、より正確に、より安全に行うことへのニーズに応えるために、美容医療が適切に行われているかどうかを評価する方法を提供する。 The present invention provides a method for evaluating whether cosmetic medical treatment is being performed appropriately, in order to meet the need for more efficient, more accurate, and safer cosmetic medical treatment.

本発明によれば、美容医療がより効率的に、より正確に、より安全に行われているか否かの評価方法、評価装置、評価システム、評価プログラム、分析方法、分析装置、分析システム、分析プログラム、医療事故防止方法、医療事故防止装置、医療事故防止システム、医療事故防止プログラム、医療安全確保方法、医療安全確保装置、医療安全確保システム、医療安全確保プログラムが得られる。 The present invention provides an evaluation method, evaluation device, evaluation system, evaluation program, analysis method, analysis device, analysis system, analysis program, medical accident prevention method, medical accident prevention device, medical accident prevention system, medical accident prevention program, medical safety assurance method, medical safety assurance device, medical safety assurance system, and medical safety assurance program for determining whether cosmetic medical care is being performed more efficiently, more accurately, and more safely.

本発明によれば施術の安全性と効率性を高めることができる。また、端末を利用して施術の支援及び安全性を確保することができる。 The present invention can improve the safety and efficiency of treatment. It can also use a terminal to provide support for treatment and ensure safety.

本発明の実施の形態は、美容医療がより効率的に、より正確に、より安全に行われているか否かの評価方法、評価装置、評価システム、評価プログラム、分析方法、分析装置、分析システム、分析プログラム、医療事故防止方法、医療事故防止装置、医療事故防止システム、医療事故防止プログラム、医療安全確保方法、医療安全確保装置、医療安全確保システム、医療安全確保プログラムとして活用が可能である。 Embodiments of the present invention can be used as an evaluation method, evaluation device, evaluation system, evaluation program, analysis method, analysis device, analysis system, analysis program, medical accident prevention method, medical accident prevention device, medical accident prevention system, medical accident prevention program, medical safety assurance method, medical safety assurance device, medical safety assurance system, and medical safety assurance program for determining whether cosmetic medical care is being performed more efficiently, more accurately, and more safely.

［技術１］
本発明は、美容クリニックにおける処置行為のマニュアル遵守監視システムである。具体的には、処置行為中の医療従事者の動作や使用する道具などの情報をリアルタイムに捉え、ＡＩを用いて処置がマニュアル通りに行われているかを判定する。適切な処置が行われなかった場合、システムは即座にアラートを発生させる。これにより、患者の安全性が向上し、医療ミスの可能性を低減することができる。 [Technology 1]
The present invention is a system for monitoring compliance with manuals for procedures in beauty clinics. Specifically, the system captures information on the actions of medical staff during procedures and the tools they use in real time, and uses AI to determine whether the procedures are being performed according to the manual. If proper procedures are not performed, the system immediately issues an alert. This improves patient safety and reduces the possibility of medical errors.

具体的には、本発明は、美容クリニックにおける処置行為のマニュアル遵守監視システムである。本発明が解決しようとする課題は、手術や診察中における人為的なミスやマニュアルからの逸脱による患者の安全性の低下である。具体的には、手続きの遵守が必要な美容クリニックにおける治療において、ヒューマンエラーやルーチンの非遵守が深刻な問題となる。本発明の具体的な内容は、医療従事者の動作や使用する道具などの情報をリアルタイムで捉え、人工知能（ＡＩ）を用いてそれらの行動がマニュアルに適合しているかを判定するシステムである。適切な行動が取られていない場合、即座にアラートが発せられ、適切な対応が可能となる。本発明の効果として、まず患者の安全性が大幅に向上する。マニュアルからの逸脱をリアルタイムで検知することで、医療ミスを未然に防ぐことが可能となる。また、発生したアラートに対する医療従事者の反応やその後の行動も記録されるため、後続の改善活動に資する情報を収集することが可能となる。さらに、本発明により医療従事者のトレーニングと能力向上が促進される。発生したアラートを元に、医療従事者がどのような状況でマニュアルから逸脱しがちであるか、またはどのような処置が難易度が高いかなど、具体的な改善点を明らかにすることができる。 Specifically, the present invention is a system for monitoring compliance with a manual for treatment procedures in a beauty clinic. The problem that the present invention aims to solve is the deterioration of patient safety due to human error during surgery or examination or deviation from the manual. Specifically, in treatment at a beauty clinic where compliance with procedures is required, human error and non-compliance with routines are serious problems. The specific content of the present invention is a system that captures information on the movements of medical personnel and the tools they use in real time and uses artificial intelligence (AI) to determine whether those actions conform to the manual. If appropriate actions are not taken, an alert is issued immediately, allowing appropriate responses. As an effect of the present invention, first of all, patient safety is significantly improved. By detecting deviations from the manual in real time, it is possible to prevent medical errors. In addition, the reaction of medical personnel to the generated alert and their subsequent actions are also recorded, making it possible to collect information that will contribute to subsequent improvement activities. Furthermore, the present invention promotes training and skill improvement of medical personnel. Based on the generated alert, it is possible to clarify specific points for improvement, such as in what situations medical personnel tend to deviate from the manual or what procedures are difficult.

本発明のシステムは以下の要素を含む。第一に、医療従事者の動作を捉えるためのセンサーデバイス、例えば高解像度カメラや動作センサーが用いられる。これにより、手術中の医師の動きや手術道具の操作等が詳細に記録される。第二に、使用する道具や薬品を特定するためのRFID（Radio Frequency Identification）タグやバーコードスキャナーが設置される。 The system of the present invention includes the following elements. First, sensor devices, such as high-resolution cameras and motion sensors, are used to capture the movements of medical staff. This allows detailed records of the doctor's movements during surgery and the operation of surgical tools. Second, RFID (Radio Frequency Identification) tags and barcode scanners are installed to identify the tools and medicines used.

動作センサーと高解像度カメラは、医療従事者の動作をリアルタイムでキャプチャし、そのデータがＡＩエンジンに送信される。例えば、医師が手術用の器具を手に取った瞬間、その手の動きが捉えられ、情報が生成される。また、手術中の具体的な動作パターン（例：切開の方向や深さ）もデータとして取り込まれる。 Motion sensors and high-resolution cameras capture medical staff's movements in real time, and the data is sent to the AI engine. For example, the moment a doctor picks up a surgical instrument, his or her hand movements are captured and information is generated. Specific movement patterns during surgery (e.g., the direction and depth of the incision) are also captured as data.

RFIDタグとバーコードスキャナーは、使用する器具や薬品の特定を行う際に利用される。例えば、注射器やスキャルペル、さらには薬品などに取り付けられたRFIDタグやバーコードをスキャンすることで、どの器具や薬品がいつ使用されたかを記録する。これにより、正しい器具や薬品が適切なタイミングで使用されているかが確認される。 RFID tags and barcode scanners are used to identify the instruments and medicines used. For example, RFID tags or barcodes attached to syringes, scalpels, and even medicines can be scanned to record which instruments or medicines were used and when. This ensures that the right instruments and medicines are used at the right time.

これらのデータは、ＡＩエンジンにリアルタイムで送信される。ＡＩエンジンは深層学習アルゴリズムを用いて、送信されたデータがマニュアルに即した行動であるかを判定する。この判定は、各種器具の使用タイミング、手術の手順、薬品の使用量とタイミングなど、多岐に渡る。 This data is sent to the AI engine in real time. The AI engine uses a deep learning algorithm to determine whether the data sent is in accordance with the manual. This determination covers a wide range of aspects, including the timing of use of various instruments, surgical procedures, and the amount and timing of drug use.

マニュアルに即していない行動が検出された場合、ＡＩエンジンはアラートを生成し、医療従事者に警告を発する。この警告はディスプレイ上に表示されるメッセージ、音声による通知、あるいは特定のデバイス（例：スマートウォッチ）の振動といった形で伝えられる。同時に、アラートの詳細な情報と、適切な対応方法も提供される。このように、本発明は具体的なセンサーデバイスとＡＩ技術を組み合わせることで、美容クリニックの医療行為のマニュアル遵守をリアルタイムで監視し、患者の安全性を向上させる。 If any behavior that does not comply with the manual is detected, the AI engine generates an alert and warns medical personnel. The alert can be conveyed in the form of a message displayed on the screen, a voice notification, or a vibration on a specific device (e.g., a smartwatch). At the same time, detailed information about the alert and appropriate responses are also provided. In this way, by combining specific sensor devices and AI technology, the present invention monitors compliance with medical procedure manuals at beauty clinics in real time, improving patient safety.

以下、本実施の形態による監査システムを詳細に説明する。
美容クリニックにおける施術が適切に行われるかを客観的に監査するためのシステムが存在しないという課題がある。特に、バストリフトアップ施術においては、安全に施術を行うための適切な手順が求められる。しかしながら、その手順は医療従事者の主観や経験に依存し、施術の品質がバラつきやすい。また、施術の記録が不十分であると、施術をどのように行ったのかが明確にならず、後日の問題発生時に対応が困難である。 The audit system according to this embodiment will now be described in detail.
There is an issue that there is no system to objectively audit whether treatments at beauty clinics are performed appropriately. In particular, breast lift treatments require appropriate procedures to perform the treatment safely. However, these procedures depend on the subjectivity and experience of medical professionals, and the quality of the treatment is likely to vary. Furthermore, if the treatment records are insufficient, it is not clear how the treatment was performed, making it difficult to respond when problems arise later.

本発明により、病院内の施術の行為を撮影した画像から施術の手順に関する学習モデルを生成し、新規に取得した動画を分析してその動画内の行為が手順通り行われているかどうかを監査することが可能となる。これにより、実施手順が適切に行われたか客観的に評価することが可能となり、施術の品質向上に寄与する。また、施術の記録が詳細に残るため、後日の問題発生時の対応に役立つ。 This invention makes it possible to generate a learning model of treatment procedures from images taken of treatment procedures in a hospital, analyze newly acquired videos, and audit whether the procedures in the videos were performed according to the procedures. This makes it possible to objectively evaluate whether the procedures were performed appropriately, contributing to improving the quality of treatment. In addition, detailed records of the treatment are kept, which is useful for dealing with problems that arise at a later date.

本発明は、以下のように実施することが可能である。
１．病院内の施術を撮影するカメラを設置する。
２．撮影された画像から、手順に関する学習モデルを機械学習により生成する。この際、手順はバストリフトアップの施術における安全評価手順などを参考にする。
３．新規に取得した動画を上記の学習モデルを用いて分析する。
４．分析結果に基づき、当該動画内の行為が手順通りに行われているかを監査する。具体的には、「ジェルの塗布量が適切であるか」「チップと肌の密着度が適切であるか」「照射パスが正しく行われているか」「照射禁止部位への照射がないか」といった手順に即した動作が適切に行われているかを監査する。 The present invention can be implemented as follows.
1. Install cameras to record procedures inside the hospital.
2. From the captured images, a learning model for the procedure is generated through machine learning, with reference to safety evaluation procedures for breast lift procedures.
3. Analyze newly acquired videos using the above learning model.
4. Based on the analysis results, we will audit whether the actions in the video were performed according to the procedure. Specifically, we will audit whether the actions were performed properly according to the procedure, such as "Is the amount of gel applied appropriate?", "Is the tip in contact with the skin appropriate?", "Is the irradiation path correct?", and "Is there any irradiation on prohibited areas?"

本発明は、美容クリニックにおける施術を記録して監査を行う医療監査システムであって、
施術を撮影した画像中における
・浮いてしまうと火傷のリスクがあるため、ジェルは薄めにつけ浮かないよう軽く押しあてる（カートリッジ中央の凹みを皮膚に密着させる）されている第１状況であるか否かを示す情報及び前記画像をトレーニングデータとして機械学習により作成された第１学習モデルと、
・ジェルは適宜足して照射面が浮かないように注意するされている第２状況であるか否かを示す情報及び前記画像をトレーニングデータとして機械学習により作成された第２学習モデルと、
・チップと肌の密着が難しい場合には、無理に照射しない。照射できない箇所があれば必ず記録に残すされている第３状況であるか否かを示す情報及び前記画像をトレーニングデータとして機械学習により作成された第３学習モデルと、
・下側（バスト側）から上側（鎖骨側）へ照射するされている第４状況であるか否かを示す情報及び前記画像をトレーニングデータとして機械学習により作成された第４学習モデルと、
・鎖骨、及び、乳房は照射禁止されている第５状況であるか否かを示す情報及び前記画像をトレーニングデータとして機械学習により作成された第５学習モデルと、
を記憶する学習モデル記憶部と、
前記施術のビデオ動画を取得する取得部と、
前記ビデオ動画を前記第１ないし第５学習モデルに与えて前記第１ないし第５状況であるか否かを判断することにより、前記施術が正しく実施されているかの監査を行う監査部と、
を備える医療監査システム。 The present invention provides a medical audit system for recording and auditing treatments at beauty clinics, comprising:
A first learning model created by machine learning using information indicating whether or not a first situation is occurring in an image of the treatment in which the gel is applied thinly and pressed lightly against the skin (the depression in the center of the cartridge is pressed against the skin) so that the gel does not float up due to the risk of burns if the gel floats up, and the image as training data;
- A second learning model created by machine learning using information indicating whether or not the second situation is occurring, in which gel is appropriately added and care is taken not to cause the irradiated surface to float, and the image as training data;
- When it is difficult to bring the tip into close contact with the skin, do not forcibly irradiate. If there is a part where irradiation is not possible, the information indicating whether or not it is a third situation and the image are used as training data to create a third learning model by machine learning;
A fourth learning model created by machine learning using information indicating whether or not a fourth situation is occurring in which irradiation is performed from the lower side (the bust side) to the upper side (the clavicle side) and the image as training data; and
A fifth learning model created by machine learning using information indicating whether or not the fifth situation is one in which irradiation of the clavicle and the breast is prohibited and the image as training data;
A learning model storage unit that stores the
An acquisition unit for acquiring a video of the treatment;
an auditing unit that audits whether the treatment is being performed correctly by providing the video to the first to fifth learning models and determining whether the video is in the first to fifth situations;
A medical audit system that includes:

本システムは、リアルタイムにビデオ動画を取得して、監査部はリアルタイムにビデオ動画を監査することとしてもよい。また、記施術が正しく実施されていないことが検出された場合に警報を発する警報部を更に備えていてもよい。 The system may acquire video footage in real time, and the auditing unit may audit the video footage in real time. The system may further include an alarm unit that issues an alarm when it is detected that the treatment is not being performed correctly.

以下、監査部による監査用モデルを説明する。監査用モデルは、主に深層学習の手法を用いる。本モデルは、動画像のフレームごとにフェイスバンドの施術工程を判定し、正しい施術工程が踏まれているかどうかを評価する。具体的には、畳み込みニューラルネットワーク（Convolutional Neural Network, CNN）を用いてフレームごとの画像特徴を抽出し、長短期記憶（Long Short-Term Memory, LSTM）を用いて時間的な連続性を判断する。 Below, we explain the audit model used by the Audit Department. The audit model mainly uses deep learning techniques. This model judges the face band application process for each frame of video and evaluates whether the correct application process has been followed. Specifically, it uses a Convolutional Neural Network (CNN) to extract image features for each frame, and Long Short-Term Memory (LSTM) to determine temporal continuity.

具体的には以下の手順によりモデルを生成する
データ収集：
正しく施術されたフェイスバンドの使用例と、不適切な施術例の動画データを収集する。可能であれば、各ステップごとにラベルを付けておくことが望ましい。
データ前処理：
動画をフレームごとに分割し、各フレームをラベルと共にデータセットとして整理する。
モデル訓練：
CNNを用いて各フレームの画像特徴を抽出し、LSTMを用いて時間的な連続性を学習させる。
モデル評価：
テストデータセットを用いてモデルの性能を評価する。具体的な評価指標としては、精度（Accuracy）、適合率（Precision）、再現率（Recall）、F1スコアなどが考えられる。
モデルの適用：
実際の医療現場の動画に対してモデルを適用し、施術が適切に行われているかを監査する。 Specifically, the model is generated by the following steps: Data collection:
Collect video data of correct and incorrect use of the faceband, preferably with labels for each step.
Data preprocessing:
Split the video into frames and organize each frame into a dataset along with its label.
Model training:
CNN is used to extract image features for each frame, and LSTM is used to learn temporal continuity.
Model evaluation:
The performance of the model is evaluated using a test dataset. Specific evaluation indicators include accuracy, precision, recall, and F1 score.
Applying the model:
The model will be applied to videos from actual medical settings to audit whether treatments are being performed properly.

［技術２］
発明は、医療従事者が処置を行う際にマニュアルをスムーズに参照できるＡＲ（拡張現実）デバイスである。このデバイスは、ヘッドセット型または眼鏡型で、医療従事者が手術を行う視野内に直接マニュアルの指示を表示する。これにより、従来の紙ベースや電子端末でのマニュアル参照に比べて、効率的かつ迅速にマニュアルを確認することが可能となる。 [Technology 2]
The invention is an AR (Augmented Reality) device that allows medical personnel to smoothly refer to manuals when performing procedures. This device is a headset or glasses type, and displays manual instructions directly within the field of view of the medical personnel performing surgery. This makes it possible to check the manual more efficiently and quickly than conventional paper-based or electronic manual references.

本発明が解決しようとする課題は、医療行為を行う際に必要なマニュアルの参照が困難であり、それがスムーズな診察や手術の実施を阻むことである。特に、一部の手続きは複雑であり、瞬時に適切なマニュアルを確認できなければ、その質や効率が低下する可能性がある。 The problem that this invention aims to solve is the difficulty of referring to the manuals required when performing medical procedures, which prevents smooth examinations and surgery. In particular, some procedures are complex, and if the appropriate manual cannot be instantly checked, the quality and efficiency of the procedures may decline.

本発明の具体的な内容は、ＡＩとＡＲ（Augmented Reality）技術を活用した、手続きごとに適切なマニュアルを提供するシステムである。医療従事者が手続きを開始すると、ＡＩはその手続きに対応するマニュアルをデータベースから選択し、ＡＲデバイス（例えば、ＡＲグラスやヘッドマウントディスプレイ）を通じてリアルタイムで表示する。その際、音声認識システムも使用され、医療従事者が音声で次の手順をリクエストすることも可能である。 The specific content of this invention is a system that utilizes AI and AR (Augmented Reality) technology to provide appropriate manuals for each procedure. When a medical professional starts a procedure, the AI selects the manual corresponding to that procedure from a database and displays it in real time through an AR device (e.g., AR glasses or a head-mounted display). At that time, a voice recognition system is also used, allowing the medical professional to request the next procedure by voice.

本発明の効果として、マニュアルの参照が大幅に容易になり、その結果、医療行為の質と効率が向上する。具体的には、ＡＲ技術を用いてリアルタイムでマニュアルを視覚的に提示することで、診察や手術がスムーズに行える。また、音声認識システムを用いることで、手が塞がっている状況でもマニュアルの参照や進行の指示が可能となる。 The effect of the present invention is that it becomes much easier to refer to the manual, thereby improving the quality and efficiency of medical procedures. Specifically, by using AR technology to visually present the manual in real time, examinations and surgeries can be carried out smoothly. In addition, by using a voice recognition system, it becomes possible to refer to the manual and give instructions on how to proceed even when one's hands are full.

さらに、本発明は教育やトレーニングにも活用できる。新たな医療従事者の教育や研修時に、本発明のシステムを使用することで、新しい手続きを学ぶ速度が向上する可能性がある。 Additionally, the invention can be used in education and training. When educating and training new medical personnel, using the system of the invention could potentially increase the speed at which they learn new procedures.

以上のように、本発明は美容クリニックにおける医療行為の質と効率の向上に対して重要な役割を果たす。 As described above, the present invention plays an important role in improving the quality and efficiency of medical procedures in beauty clinics.

［技術３］
本発明は、診察や手術の記録とマニュアル遵守の評価を統合したＡＩ監査システムである。このシステムは、診療の各ステージをビデオ録画し、その後ＡＩがマニュアルに対する遵守度を評価する。ＡＩの評価結果は、医療従事者のフィードバックとして利用され、より品質の高い医療サービスの提供に寄与する。 [Technology 3]
This invention is an AI audit system that integrates the recording of medical examinations and surgeries with the evaluation of compliance with the manual. This system records video of each stage of medical treatment, and then the AI evaluates the degree of compliance with the manual. The AI evaluation results are used as feedback for medical staff, contributing to the provision of higher quality medical services.

本発明が解決しようとする課題は、医療行為がマニュアルに従って行われているかを適切に評価し、その結果を長期的に記録し分析することの困難さである。この課題が解決できないと、医療行為の質向上や医療ミスの予防、さらには医療従事者の教育改善に対する洞察が得られない可能性がある。 The problem that this invention aims to solve is the difficulty of properly evaluating whether medical procedures are being performed in accordance with a manual and recording and analyzing the results over the long term. If this problem cannot be solved, it may be impossible to gain insight into improving the quality of medical procedures, preventing medical errors, and improving the education of medical professionals.

本発明の具体的な内容は、ＡＩとビデオ記録技術を活用した、医療行為の記録と評価システムである。ＡＩエンジンは高解像度ビデオフィードをリアルタイムで解析し、手術や診察の各ステップがマニュアルに従って実行されているかを評価する。この評価は自動的に行われ、詳細なレポートとして生成される。レポートは電子病歴システムに保存され、後から参照・分析することが可能である。 The specific content of this invention is a medical procedure recording and evaluation system that utilizes AI and video recording technology. The AI engine analyzes high-resolution video feeds in real time and evaluates whether each step of a procedure or examination is performed according to the manual. This evaluation is performed automatically and a detailed report is generated. The report is stored in an electronic medical history system and can be referenced and analyzed later.

また、本発明は手術や診察の過程を高解像度でビデオ記録し、ＡＩがその記録を自動的にタグ付けし、評価する。これにより、医療行為の進行中には見逃されがちな細かな詳細や異常も記録し、後から分析することが可能となる。 The invention also records high-resolution video of surgical or medical procedures, which are then automatically tagged and evaluated by AI. This allows for the recording of small details and abnormalities that may be overlooked during the medical procedure to be recorded and analysed later.

本発明の効果として、医療行為の品質保証と継続的改善が挙げられる。ＡＩによる自動評価と高解像度ビデオ記録により、診察や手術がマニュアル通りに行われているかを確認し、適宜フィードバックを行うことが可能となる。また、記録と評価結果は電子病歴システムに保存されるため、長期的な傾向分析やトレーニング材料としての活用も可能となる。 The benefits of this invention include quality assurance and continuous improvement of medical procedures. Automatic evaluation by AI and high-resolution video recording make it possible to check whether examinations and surgeries are being performed according to manuals and provide appropriate feedback. In addition, the records and evaluation results are stored in an electronic medical history system, making it possible to use them for long-term trend analysis and as training material.

以上のように、本発明は美容クリニックにおける医療行為の記録と評価の効率化、そして品質向上に対して重要な役割を果たす。 As described above, the present invention plays an important role in improving the efficiency and quality of recording and evaluation of medical procedures in beauty clinics.

［技術４］
本発明は、美容クリニックにおける医療行為をロボティクス技術により補完または代替するシステムである。このシステムは、マニュアルの情報をＡＩにインプットし、それに基づいてロボットが医療行為を実行する。例えば、注射や微細な手術、さらには化粧品の適用など、精度と一貫性が求められる処置に対して、ロボットが活用される。これにより、医療の質の均一化と、医療従事者の作業負荷の軽減が可能となる。 [Technology 4]
This invention is a system that uses robotics technology to complement or replace medical procedures in beauty clinics. This system inputs manual information into AI, and the robot performs the medical procedure based on that information. For example, robots are used for procedures that require precision and consistency, such as injections, delicate surgery, and even the application of cosmetics. This makes it possible to standardize the quality of medical care and reduce the workload of medical professionals.

本発明が解決しようとする課題は、人間の医療従事者による診察や手術には限界が存在し、特に高精度や微細な操作を要する場合、その質や一貫性を確保することが難しいことである。 The problem that this invention aims to solve is that there are limitations to the examinations and surgeries performed by human medical professionals, and it is difficult to ensure quality and consistency, especially when high precision and delicate operations are required.

本発明の具体的な内容は、マニュアルの情報をインプットし、指示された通りの医療行為を行うロボットアームと、その動作を制御するＡＩエンジンである。まず、マニュアルの情報（例：手術手順、手術器具の選択や使用方法など）がシステムにインプットされる。その後、ＡＩエンジンがその情報を解析し、ロボットアームに対する具体的な動作指令を生成する。ロボットアームは、ＡＩエンジンから受け取った指令に従って、マニュアル通りの医療行為を実施する。 The specific content of this invention is a robotic arm that inputs information from a manual and performs medical procedures as instructed, and an AI engine that controls its operation. First, information from the manual (e.g. surgical procedures, selection and use of surgical instruments, etc.) is input into the system. The AI engine then analyzes the information and generates specific operation instructions for the robotic arm. The robotic arm performs medical procedures as instructed in the manual according to the instructions received from the AI engine.

本発明の効果として、医療行為の質と一貫性の向上が挙げられる。特に、微細な操作を要する手術では、ロボットアームの精密な動作により、人間の医療従事者が実施するよりも高い精度と一貫性を達成できる。また、マニュアルに基づくロボットアームの動作は、ＡＩエンジンによって制御されるため、マニュアルの更新や変更があった場合でも、容易にそれに対応することが可能である。 The effects of the present invention include improved quality and consistency of medical procedures. In particular, in surgeries that require delicate manipulation, the precise movements of the robotic arm can achieve greater accuracy and consistency than human medical personnel. In addition, because the movements of the robotic arm, which are based on a manual, are controlled by an AI engine, it is easy to accommodate updates or changes to the manual.

さらに、本発明は医療従事者の労働負担の軽減にも貢献する。特に、長時間にわたる手術や連続した診察による医療従事者の疲労やストレスを軽減し、それによる医療ミスのリスクを減らすことができる。 Furthermore, the present invention contributes to reducing the workload of medical staff. In particular, it can reduce fatigue and stress caused by long surgeries and continuous examinations, thereby reducing the risk of medical errors.

以上のように、本発明は美容クリニックにおける医療行為の質と一貫性の向上、医療従事者の労働負担軽減に対して重要な役割を果たす。 As described above, the present invention plays an important role in improving the quality and consistency of medical procedures in beauty clinics and reducing the workload of medical staff.

上述した各機能（部）は、例えばサーバ装置に備えられたハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１～１６は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。 The above-mentioned functions (units) can be configured, for example, by hardware provided in a server device, a DSP (Digital Signal Processor), or software. For example, when configured by software, the above-mentioned function blocks 11 to 16 are actually configured with a computer's CPU, RAM, ROM, etc., and are realized by the operation of a program stored in a recording medium such as the RAM, ROM, hard disk, or semiconductor memory.

本発明は以下の４つの構成群を含み得る。 The present invention can include the following four configuration groups:

［技術１］
＜項目１＞
あらかじめ設定されたマニュアルに従って医療行為が適切に行われているかをモニタリングし、不適切な行為が検出された場合に警報を発するシステムであって、
美容クリニックにおける各種医療行為の標準マニュアルをデータベースに保存するステップ、
医療行為中に取得されるリアルタイムデータを分析し、データベースのマニュアルに従って行われているかを評価するステップ、
マニュアルからの逸脱が検出された場合、警報を発するステップを有するシステム。
＜項目２＞
項目２に記載のシステムにおいて、前記警報は視覚的および聴覚的な信号を組み合わせたものである
＜項目３＞
項目１または２に記載のシステムにおいて、前記リアルタイムデータの取得は、ヘッドマウントディスプレイによる映像データ、生体センサーによる生体情報、手術器具の操作情報を含む。
＜項目４＞
項目１～３のいずれか一項に記載のシステムにおいて、前記リアルタイムデータの分析は、ＡＩエンジンによって行われる。
＜項目５＞
項目１～４のいずれか一項に記載のシステムにおいて、マニュアルには各種美容治療や手術手順の詳細な手順が記載されている。
＜項目６＞
項目１～５のいずれか一項に記載のシステムにおいて、前記警報はマニュアルに適合しない行為が検出された時点で即時に発せられる。
＜項目７＞
項目１～６のいずれか一項に記載のシステムにおいて、前記警報の発出後、その内容がレビューのためのログとして保存される。
＜項目８＞
項目１～７のいずれか一項に記載のシステムにおいて、マニュアルに適合しない行為が続行された場合には、連続的な警報が発出される。
＜項目９＞
項目１～８のいずれか一項に記載のシステムにおいて、前記警報は、違反の種類とその重要性に応じて異なるレベルの警告を発する。
＜項目１０＞
項目１～９のいずれか一項に記載のシステムにおいて、前記マニュアルは定期的に更新され、システムは最新のマニュアルに基づいて評価を行う。 [Technology 1]
<Item 1>
A system that monitors whether medical procedures are being performed appropriately according to a pre-set manual and issues an alarm if inappropriate procedures are detected,
A step of storing a standard manual for various medical procedures in beauty clinics in a database;
A step of analyzing real-time data acquired during medical procedures and evaluating whether the procedures are being performed in accordance with a database manual;
The system has a step of issuing an alarm if a deviation from the manual is detected.
<Item 2>
In the system according to claim 2, the alarm is a combination of visual and audio signals.
In the system described in item 1 or 2, the acquisition of real-time data includes video data from a head-mounted display, bioinformation from a biosensor, and operation information of a surgical instrument.
<Item 4>
In the system described in any one of items 1 to 3, the analysis of the real-time data is performed by an AI engine.
<Item 5>
In the system described in any one of items 1 to 4, the manual describes detailed procedures for various cosmetic treatments and surgical procedures.
<Item 6>
In the system according to any one of items 1 to 5, the alarm is issued immediately when an action that does not conform to the manual is detected.
<Item 7>
In the system according to any one of items 1 to 6, after the alarm is issued, the contents of the alarm are stored as a log for review.
<Item 8>
In the system according to any one of items 1 to 7, if an action that does not conform to the manual continues, a continuous warning is issued.
<Item 9>
In the system according to any one of items 1 to 8, the alarm issues different levels of warning depending on the type of violation and its importance.
<Item 10>
In the system according to any one of items 1 to 9, the manual is updated periodically, and the system performs evaluation based on the latest manual.

［技術２］
＜項目１＞
医療従事者が医療行為をスムーズに実施できるよう、必要に応じてマニュアルを提示するシステムであって、
医療従事者の音声入力を解析し、該当するマニュアルのセクションを特定するステップ、
特定されたマニュアルのセクションを即座に提示するステップを有するシステム。
＜項目２＞
項目１に記載のシステムにおいて、前記音声入力解析は自然言語処理技術を用いて行われる。
＜項目３＞
項目１または２に記載のシステムにおいて、前記音声入力は医療従事者の話し言葉だけでなく、特定の音声コマンドも解析対象とする。
＜項目４＞
項目１～３のいずれか一項に記載のシステムにおいて、前記マニュアルのセクションは、ヘッドマウントディスプレイ、タブレット、スマートフォンなどのデバイス上で表示される。
＜項目５＞
項目１～４のいずれか一項に記載のシステムにおいて、特定されたマニュアルのセクションが表示される際には、必要な図示や関連情報も一緒に表示される。
＜項目６＞
項目１～５のいずれか一項に記載のシステムにおいて、マニュアルのセクションは医療従事者の音声コマンドに従いスクロールされる。
＜項目７＞
項目１～６のいずれか一項に記載のシステムにおいて、表示されたマニュアルのセクションに関連する過去の患者データや治療結果が参照できる。
＜項目８＞
項目１～７のいずれか一項に記載のシステムにおいて、マニュアルのセクションが表示される際には、そのセクションに適応する患者の具体的なケーススタディも提示される。
＜項目９＞
項目１～８のいずれか一項に記載のシステムにおいて、前記マニュアルは定期的に更新され、システムは最新のマニュアルに基づいて動作する。
＜項目１０＞
項目１～９のいずれか一項に記載のシステムにおいて、マニュアルのセクションが表示される際には、医療従事者が理解しやすいように、文書の要約や主要なポイントの強調表示が行われる。 [Technology 2]
<Item 1>
A system that presents manuals as needed to medical professionals so that they can smoothly perform medical procedures,
analyzing the healthcare professional's voice input and identifying an appropriate section of the manual;
The system includes the step of immediately presenting the identified section of the manual.
<Item 2>
In the system according to item 1, the voice input analysis is performed using natural language processing techniques.
<Item 3>
In the system according to item 1 or 2, the voice input is analyzed not only for the spoken words of the medical professional but also for specific voice commands.
<Item 4>
In the system described in any one of items 1 to 3, the sections of the manual are displayed on a device such as a head mounted display, a tablet, or a smartphone.
<Item 5>
In the system according to any one of items 1 to 4, when a specified section of a manual is displayed, necessary illustrations and related information are also displayed.
<Item 6>
In the system of any one of items 1 to 5, sections of the manual are scrolled in accordance with voice commands from a medical professional.
<Item 7>
In the system according to any one of items 1 to 6, past patient data and treatment results related to the section of the manual displayed can be referenced.
<Item 8>
In the system according to any one of items 1 to 7, when a section of the manual is displayed, a specific case study of a patient suitable for that section is also presented.
<Item 9>
In the system according to any one of items 1 to 8, the manual is periodically updated, and the system operates based on the latest manual.
<Item 10>
In the system according to any one of items 1 to 9, when a section of the manual is displayed, the document is summarized and the main points are highlighted to make it easier for medical personnel to understand.

［技術３］
＜項目１＞
美容クリニックにおける診察行為や手術行為の記録と評価を自動化するシステムであって、
医療行為の高解像度ビデオ記録を取得し、保存するステップ、
ＡＩエンジンがビデオ記録を解析し、行為がマニュアルに従って実施されているかを評価するステップ、
評価結果を電子病歴システムに保存するステップを有するシステム。
＜項目２＞
項目１に記載のシステムにおいて、前記リアルタイム映像と音声の記録は、ヘッドマウントディスプレイやボディカメラ等を利用して行われる。
＜項目３＞
項目１または２に記載のシステムにおいて、前記映像と音声の記録は、全ての医療行為を対象とする。
＜項目４＞
項目１～３のいずれか一項に記載のシステムにおいて、前記リアルタイム映像と音声データの解析は、ＡＩエンジンを利用して行われる。
＜項目５＞
項目１～４のいずれか一項に記載のシステムにおいて、前記解析結果は、特定のマニュアルと一致する行為が行われているかどうかを示す。
＜項目６＞
項目１～５のいずれか一項に記載のシステムにおいて、医療行為の完了後、記録されたデータは評価とレビューのためのログとして保存される。
＜項目７＞
項目１～６のいずれか一項に記載のシステムにおいて、前記評価とレビューは、医療従事者自身、同僚、または上級者によって行われる。
＜項目８＞
項目１～７のいずれか一項に記載のシステムにおいて、前記評価とレビューの結果は、改善のためのフィードバックやトレーニング材料として利用される。
＜項目９＞
項目１～８のいずれか一項に記載のシステムにおいて、前記マニュアルは定期的に更新され、システムは最新のマニュアルに基づいて評価を行う。
＜項目１０＞
項目１～９のいずれか一項に記載のシステムにおいて、前記ＡＩエンジンは深層学習を含む機械学習アルゴリズムを利用して映像と音声データの解析を行う。 [Technology 3]
<Item 1>
A system for automating the recording and evaluation of medical examinations and surgical procedures in a beauty clinic, comprising:
obtaining and storing a high resolution video recording of the medical procedure;
analyzing the video footage with an AI engine to evaluate whether the actions were performed according to the manual;
The system includes storing the results of the assessment in an electronic medical history system.
<Item 2>
In the system described in item 1, the real-time video and audio are recorded using a head-mounted display, a body camera, or the like.
<Item 3>
In the system described in item 1 or 2, the video and audio recording covers all medical procedures.
<Item 4>
In the system described in any one of items 1 to 3, the analysis of the real-time video and audio data is performed using an AI engine.
<Item 5>
In the system according to any one of items 1 to 4, the analysis result indicates whether an action consistent with a specific manual has been taken.
<Item 6>
In the system according to any one of items 1 to 5, after the medical procedure is completed, the recorded data is stored as a log for evaluation and review.
<Item 7>
In the system according to any one of items 1 to 6, the evaluation and review may be done by the medical practitioner himself, a colleague or a superior.
<Item 8>
In the system according to any one of items 1 to 7, the results of the evaluation and review are used as feedback for improvement or as training material.
<Item 9>
In the system according to any one of items 1 to 8, the manual is periodically updated, and the system performs evaluation based on the latest manual.
<Item 10>
In the system described in any one of items 1 to 9, the AI engine analyzes video and audio data using machine learning algorithms including deep learning.

［技術４］
マニュアルに従った医療行為をロボットアームにより行うシステムであって、
医療行為のマニュアル情報をシステムにインプットするステップ、
ＡＩエンジンがマニュアル情報を解析し、ロボットアームの動作指令を生成するステップ、
ロボットアームが生成された動作指令に従って医療行為を実施するステップを有するシステム。
＜項目２＞
項目１に記載のシステムにおいて、前記ロボットアームは、６自由度以上の動きを可能にする。
＜項目３＞
項目１または２に記載のシステムにおいて、前記ロボットアームは、具体的な治療手順を正確に再現するための、高精度な位置調整機能を有する。
＜項目４＞
項目１～３のいずれか一項に記載のシステムにおいて、前記ロボットアームは、患者の体の動きを検知し、それに応じて位置調整を行う。
＜項目５＞
項目１～４のいずれか一項に記載のシステムにおいて、前記ロボットアームは、治療中に生じる様々な状況に対応するための、リアルタイムのセンサーフィードバックを利用する。
＜項目６＞
項目１～５のいずれか一項に記載のシステムにおいて、前記ロボットアームは、繊細な医療行為を実行するための高度な制御アルゴリズムを有する。
＜項目７＞
項目１～６のいずれか一項に記載のシステムにおいて、前記ＡＩエンジンは深層学習を含む機械学習アルゴリズムを利用して、ロボットアームの制御を行う。
＜項目８＞
項目１～７のいずれか一項に記載のシステムにおいて、前記ロボットアームの操作は、遠隔操作が可能であり、専門の医療従事者がリアルタイムで監視・操作することができる。
＜項目９＞
項目１～８のいずれか一項に記載のシステムにおいて、前記マニュアルは定期的に更新され、システムは最新のマニュアルに基づいてロボットアームを制御する。
＜項目１０＞
項目１～９のいずれか一項に記載のシステムにおいて、前記ロボットアームの操作結果は、後のレビューやフィードバックのために記録・保存される。 [Technology 4]
A system for performing medical procedures according to a manual using a robot arm,
inputting medical procedure manual information into the system;
The AI engine analyzes the manual information and generates an operation command for the robot arm;
A system comprising a step in which a robotic arm performs a medical procedure according to the generated motion commands.
<Item 2>
In the system described in item 1, the robot arm is capable of movement with six or more degrees of freedom.
<Item 3>
In the system according to item 1 or 2, the robot arm has a high-precision position adjustment function for accurately reproducing a specific treatment procedure.
<Item 4>
In the system according to any one of items 1 to 3, the robot arm detects the movement of the patient's body and adjusts its position accordingly.
<Item 5>
In the system described in any one of items 1 to 4, the robot arm utilizes real-time sensor feedback to respond to various situations that arise during treatment.
<Item 6>
In the system described in any one of items 1 to 5, the robot arm has advanced control algorithms for performing delicate medical procedures.
<Item 7>
In the system described in any one of items 1 to 6, the AI engine uses machine learning algorithms including deep learning to control the robot arm.
<Item 8>
In the system described in any one of items 1 to 7, the robot arm can be remotely operated and can be monitored and operated in real time by a specialized medical professional.
<Item 9>
In the system according to any one of items 1 to 8, the manual is periodically updated, and the system controls the robot arm based on the latest manual.
<Item 10>
In the system described in any one of items 1 to 9, the operation results of the robot arm are recorded and stored for later review and feedback.

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。 The above-described embodiment is merely an example to facilitate understanding of the present invention, and is not intended to limit the present invention. The present invention can be modified and improved without departing from the spirit of the invention, and it goes without saying that the present invention includes equivalents.

Claims

A medical audit system for recording and auditing treatments at beauty clinics, comprising:
A first learning model created by machine learning using information indicating whether or not a first situation is occurring in an image of the treatment in which the gel is applied thinly and pressed lightly against the skin (the depression in the center of the cartridge is pressed against the skin) so that the gel does not float up due to the risk of burns if the gel floats up, and the image as training data;
- A second learning model created by machine learning using information indicating whether or not the second situation is occurring, in which gel is appropriately added and care is taken not to cause the irradiated surface to float, and the image as training data;
- When it is difficult to bring the tip into close contact with the skin, do not forcibly irradiate. If there is a part where irradiation is not possible, the information indicating whether or not it is a third situation and the image are used as training data to create a third learning model by machine learning;
A fourth learning model created by machine learning using information indicating whether or not a fourth situation is occurring in which irradiation is performed from the lower side (the bust side) to the upper side (the clavicle side) and the image as training data; and
A fifth learning model created by machine learning using information indicating whether or not the fifth situation is one in which irradiation of the clavicle and the breast is prohibited and the image as training data;
A learning model storage unit that stores the
An acquisition unit for acquiring a video of the treatment;
an auditing unit that audits whether the treatment is being performed correctly by providing the video to the first to fifth learning models and determining whether the video is in the first to fifth situations;
A medical audit system that includes:

2. The medical audit system of claim 1,
The learning model storage unit includes a first learning model created by machine learning using information and an image indicating whether or not the first situation in which epidural anesthesia is being performed as training data;
The learning model storage unit includes a second learning model created by machine learning using information and an image indicating whether or not a second situation in which epidural anesthesia is being performed as training data;
I remember,
an auditing unit that audits whether the treatment is being performed correctly by providing the captured image to the first to third learning models and determining whether the captured image is in the first to third situations;
A medical audit system that includes:

2. The audit system according to claim 1,
The acquisition unit acquires the video moving image in real time,
The auditing unit audits the video footage in real time;
The medical audit system further comprises an alarm unit that issues an alarm if it is detected that the treatment method is not being performed correctly.