JP2023550630A - 臨床記録データ生成方法及び装置 - Google Patents
臨床記録データ生成方法及び装置 Download PDFInfo
- Publication number
- JP2023550630A JP2023550630A JP2023530913A JP2023530913A JP2023550630A JP 2023550630 A JP2023550630 A JP 2023550630A JP 2023530913 A JP2023530913 A JP 2023530913A JP 2023530913 A JP2023530913 A JP 2023530913A JP 2023550630 A JP2023550630 A JP 2023550630A
- Authority
- JP
- Japan
- Prior art keywords
- information
- feature
- medical
- clinical
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000009471 action Effects 0.000 claims abstract description 9
- 230000003902 lesion Effects 0.000 claims description 59
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 6
- 238000001727 in vivo Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000011282 treatment Methods 0.000 description 32
- 238000001356 surgical procedure Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000000740 bleeding effect Effects 0.000 description 9
- 208000037062 Polyps Diseases 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000003749 cleanliness Effects 0.000 description 5
- 238000002052 colonoscopy Methods 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004321 preservation Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000002224 dissection Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000003608 fece Anatomy 0.000 description 3
- 230000000968 intestinal effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 210000004534 cecum Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000023597 hemostasis Effects 0.000 description 2
- 210000002429 large intestine Anatomy 0.000 description 2
- 230000000849 parathyroid Effects 0.000 description 2
- 238000002432 robotic surgery Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000008816 organ damage Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 210000002990 parathyroid gland Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 210000002416 recurrent laryngeal nerve Anatomy 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000003966 vascular damage Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Surgery (AREA)
- Urology & Nephrology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Closed-Circuit Television Systems (AREA)
- Endoscopes (AREA)
Abstract
本発明は、臨床記録データ生成装置で行われる臨床記録データ生成方法を開示する。臨床記録データ生成方法は、既に行われた医療行為が記録された医療データを入力してもらうステップ、複数の項目別に区分されて設けられた複数のレイヤのうち、前記医療データに関連する項目に該当するレイヤに前記医療データに含まれる情報を記録するステップ、及び前記複数のレイヤに基づいて臨床レポートを作成するステップを含む。
Description
本発明は、医療行為を記録するための臨床記録データ生成方法及び装置に関するものである。
本研究は、科学技術情報通信部（政府）の財源で情報通信企画評価院の支援を受けて行われた研究事業（情報通信放送革新人材養成（Ｒ＆Ｄ））の「医療ビッグデータ融合専門家人材養成のための非定型ビッグデータの定型化技術及び分析プラットフォームの開発（課題固有番号：１７１１１１６１４９、課題遂行機関名：ソウル大学産学協力団、研究期間：２０２０．０１．０１～２０２０．１２．３１）」と関連する。
検査、施術、手術などを含む医療行為を行った後、医療スタッフは医療行為を記録するための記録紙を作成する際、手作業でテキストベースの記録紙（レポート）作成をしなければならない。
従来の場合、内視鏡検査及び施術を行う過程で、施術者がペダルを踏んで主要場面（Ｓｃｅｎｅ）を保存し、看護師に指示して主要内容に関する情報及び時間を記録しており、再観測や追跡観察が必要な場合、テキスト(Ｔｅｘｔ)で作成された記録紙を確認し、病院情報システム（ｅ．ｇ． ＥＭＲ、ＰＡＣＳ）に保存されている映像を照会して再確認する方式を用いている。
腹腔鏡手術、ロボット手術の場合、手術終了後に病院情報システム（ｅ．ｇ． ＥＭＲ）にテキストで基本的な手術内容について簡単に記録紙を作成するため、その後の教育、研究、診療目的で再照会時、テキストのみからなる記録紙だけでは該当患者の手術に関する詳細な情報を特定するには困難がある。
また、検査、施術および手術などを含む医療行為過程で発見される病変や重要な臨床情報は、事後作成されるテキストベースの記録紙の内容では、医療スタッフ本人はもちろん他の医療スタッフに忠実に伝達されるには限界がある。
本発明の一実施例による解決しようとする課題は、検査、施術、及び手術などを含む映像データにおいて、臨床的または工学的に有意なフレーム（ｆｒａｍｅ）を検出し、検出されたフレームに関する情報を、時間ベースで可視化して表記することを含む。
また、検査、施術、および手術記録に関するマルチメディア（映像、ビデオ、信号）ベースの視覚レポートを提供することを含む。
本明細書に記載されていないまた他の目的は、以下の詳細な説明およびその効果から容易に推論できる範囲内でさらに考慮することができる。
上記課題を解決するために、本発明の一実施例による臨床記録データ生成装置で行われる臨床記録データ生成方法は、既に行われた医療行為の記録された医療データが入力されるステップ、複数の項目別に区分されて設けられた複数のレイヤのうち、前記医療データに関連する項目に対応するレイヤに前記医療データに含まれる情報を記録するステップ、及び前記複数のレイヤに基づいて臨床レポートを作成するステップを含む。
ここで、前記医療データに含まれる情報を記録するステップは、前記医療データを種類別に区分し、第１レイヤグループの複数のレイヤの項目のうち、データ種類に対応するレイヤにそれぞれ記録するステップ、前記医療データのうち映像データの少なくとも一部を複数の映像フレームに分割するステップと、前記複数の映像フレームそれぞれに対して特徴抽出アルゴリズムを実行し、前記医療行為の中で記録したい特徴情報を含む特徴フレームを抽出するステップと、前記特徴フレームに関する情報を、第２レイヤグループの複数のレイヤのうち前記特徴情報に関連するイベント項目に対応するレイヤに記録するステップとを含むことができる。
ここで、前記複数のレイヤに基づいて臨床レポートを作成するステップは、前記第１レイヤグループの複数のレイヤと前記第２レイヤグループの複数のレイヤとのうち、重要度に応じて少なくとも一部を指定して臨床レポートを作成することができる。
ここで、前記特徴情報は、臨床情報とメタデータ情報の少なくとも一方を含み、前記臨床情報は、病変の情報および非病変対象の情報の少なくとも一方を含み、前記メタデータ情報は、医療行為情報および医療ツール情報の少なくとも１つを含むことができる。
ここで、前記特徴情報を含む特徴フレームを抽出するステップは、前記複数の映像フレームのうち１つを基準フレームとして指定し、前記基準フレームと残りの映像フレームとをそれぞれ比較して病変または非病変対象に対応する形状を判別して、前記病変または非病変対象に対応する形状を含む映像フレームを特徴フレームとして抽出することができる。
ここで、前記特徴情報を含む特徴フレームを抽出するステップは、医療ツールに対応する形状の一地点を特徴点として指定し、前記複数の映像フレームのそれぞれにおいて前記特徴点の所定時間間隔に応じた位置を追跡して前記医療ツールの位置の変化が起きた時点に対応する映像フレームを特徴フレームとして抽出することができる。
ここで、前記特徴情報を含む特徴フレームを抽出するステップは、前記複数の映像フレームにおける画素の関連付けを学習用体内映像と学習用病変映像とに基づいて予め学習されたモデルを用いて、前記複数の映像フレームそれぞれにおいて病変に対応する形状を判別し、前記病変に対応する形状を含む映像フレームを特徴フレームとして抽出することができる。
ここで、前記特徴フレームに関する情報は、前記特徴フレームのグラフィック情報と、前記医療映像データにおいて前記特徴フレームが位置する時点の時刻情報とを含むことができる。
ここで、前記第２レイヤグループの複数のレイヤに記録するステップは、前記特徴情報に関連するイベント項目に対応するレイヤに前記特徴フレームのグラフィック情報を記録し、前記特徴フレームが位置する時点の時刻情報をイベントインデックスとして一緒に格納することができる。
ここで、前記複数のレイヤに基づいて臨床レポートを作成するステップは、前記第１レイヤグループの複数のレイヤと前記第２レイヤグループの複数のレイヤにおいて、予め設定された区間における特徴フレームに関する情報を用いて臨床レポートを作成することができる。
本発明のまた他の実施例による臨床記録データ生成装置は、メモリと、前記メモリに格納された１つ以上のインストラクションを実行するプロセッサーとを含み、前記プロセッサーは、既に行われた医療行為が記録された医療データが入力され、複数の項目別に区分されて設けられた複数のレイヤのうち、前記医療データに関連する項目に対応するレイヤに前記医療データに含まれる情報を記録し、前記複数のレイヤに基づいて臨床レポートを作成する。
本発明のまた他の実施例によれば、コンピュータ実行可能な命令語を格納し、前記コンピュータ実行可能な命令語は、プロセッサーによって実行されると、前記臨床記録データ生成方法を前記プロセッサーに実行させる、非一時的コンピュータ読取り可能な記録媒体を提供することができる。
以上説明したように、本発明の実施例によれば、検査、施術、手術などを含む映像データにおいて臨床的または工学的に意味のあるフレーム（Ｆｒａｍｅ）を検出し、検出されたフレームに関する情報を時間に基づいて、可視化して表記することができる。
また、検査、施術、および手術記録に関するマルチメディア（映像、ビデオ、信号）ベースの視覚レポートを提供することで、検査記録に関する情報伝達効率を向上させることができる。
ここで明示的に言及されていない効果であっても、本発明の技術的特徴によって期待される以下の明細書に記載の効果およびその暫定効果は、本発明の明細書に記載されているのと同様に扱われる。
以下、本発明に係る臨床記録データ生成方法及び装置について図面を参照してより詳細に説明する。 しかしながら、本発明はいくつかの異なる形態で実施することができ、説明する実施形態に限定されない。 そして、本発明を明確に説明するために説明と関係のない部分は省略され、図面の同一の参照符号は同一の部材であることを示す。
以下の説明で使用される構成要素の接尾辞「モジュール」および「部」は、明細書の作成の容易さのみが考慮され、付与または混用されるものであり、それ自体が互いに区別される意味または役割を有するものではない。
本発明の一実施例は、臨床記録データ生成方法および装置に関する。
図１および図２は、本発明の一実施例による臨床記録データ生成装置のブロック図である。
図１を参照すると、本発明の一実施例による臨床記録データ生成装置１は、プロセッサー１０、メモリ２０、Ｉ／Ｏインターフェース３０及び通信インターフェース４０を含む。
本発明の一実施例による臨床記録データ生成装置１は、検査、施術、及び手術などを含む医療データを入力してもらい、医用データのうち映像データから臨床的または工学的に意味のあるフレーム（Ｆｒａｍｅ）を検出し、検出されたフレームに関する情報を時間ベースに、可視化して表記することにより、検査、施術および手術記録に関するマルチメディア（映像、ビデオ、信号）ベースの視覚レポートを提供するための装置である。
ここで、臨床的または工学的に意味のあるフレーム（Ｆｒａｍｅ）とは、検査、施術および手術などを含む医療行為のうち、病変の発生や手術ツールの変化など、記録が必要な手術情報を含むフレームを意味する。
プロセッサー１０は、メモリ２０に格納された１つまたは複数のインストラクションを実行する。
プロセッサー１０は、既に行われた医療行為が記録された医療データを入力してもらい、医療データを第１レイヤグループの複数のレイヤに記録し、医療データのうち映像データの少なくとも一部を複数の映像フレームに分割し、複数の映像フレームそれぞれに対して特徴抽出アルゴリズムを実行して、医療行為の中から記録したい特徴情報を含む特徴フレームを抽出し、特徴フレームに関する情報を第２レイヤグループの複数のレイヤに記録する。
さらに、プロセッサー１０は、特徴情報に対する重要度に応じて複数のレイヤに基づいて臨床レポートを作成する。ここで、臨床レポートとは、視覚化して表現された視覚レポートとハイライト映像を指すものであり、下記の図９及び図１０のように視覚化表現されてもよく、下記の図１１のように映像にテキストを含む形態で生成されてもよい。
プロセッサー１０は、機能に応じて複数のモジュールに区分されてもよく、１つのプロセッサーで複数の機能を実行してもよい。プロセッサー１０は、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ（ＣＰＵ））、アプリケーションプロセッサー（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ（ＡＰ））、またはコミュニケーションプロセッサー（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ（ＣＰ））のうちの１つまたは複数を含むことができる。プロセッサー１０は、例えば、臨床記録データ生成装置１の少なくとも１つの他の構成要素の制御および／または通信に関する演算またはデータ処理を実行することができる。
メモリ２０は、プロセッサー１０の処理および制御のためのプログラム（１つ以上のインストラクション）を格納することができる。
メモリ２０は、揮発性および／または不揮発性メモリを含むことができる。 メモリ２０は、例えば、臨床記録データ生成装置１の少なくとも１つの他の構成要素に関連する命令またはデータを格納することができる。
Ｉ／Ｏインターフェース３０は、使用者または他の外部機器から入力された命令またはデータを臨床記録データ生成装置１の他の構成要素に伝達することができるインターフェースとして機能することができる。本発明の一実施例では、ディスプレイまたは使用者入力装置と接続することができる。さらに、Ｉ／Ｏインターフェース３０は、臨床記録データ生成装置１の他の構成要素から受信した命令またはデータを使用者または他の外部機器に出力することができる。
通信インターフェース４０は、臨床記録データ生成装置１と外部装置またはサーバとの間の通信を設定することができる。例えば、通信または有線通信を介してネットワークに接続され、外部装置またはサーバと通信することができる。
図２を参照すると、本発明の一実施例による臨床記録データ生成装置１のメモリ２０は、プロセッサー１０によって生成された第１レイヤ２１０、第２レイヤ２２０及び第３レイヤ２３０を含む臨床記録データ２００を格納する。
本発明の一実施例による臨床記録データ生成装置１のプロセッサー１０は、レイヤ選択モジュール１１０と臨床レポート作成モジュール１２０とを含むデータ提供部１００を含むことができ、プロセッサー１０が、既に行われた医療行為が記録された医療データから生成した臨床記録データから、特徴情報に対する重要度に応じて複数のレイヤに基づいて臨床レポートを作成した後、臨床記録データ生成装置１に接続されたディスプレイ２に送信する。
これにより、使用者はディスプレイを介して作成された臨床レポートを確認することができる。
具体的には、使用者の入力に応じて様々な種類のレイヤから所望のレイヤを選択して臨床レポートを作成することができ、臨床的に重要な意味を持つレイヤを区別する方法を予め設定した後、設定された方法に応じて臨床的に重要な意味を持つレイヤをまとめて、自動的に臨床レポートを作成する機能を含むことができる。
また、医師が所望の優先順位を指定しておけば、当該順位に合わせて自動的に臨床レポートを作成する機能を含むことができ、このとき、優先順位はポリープ、出血、切除などに指定されることができる。
また、医療スタッフが手動で作成した記録紙に基づいて自動的に臨床レポートを作成することができ、手動で作成された記録紙に基づいて臨床レポートが作成される過程をトレーニング（ｔｒａｉｎｉｎｇ）するように設計し、自動作成の精度を高めるようにすることができる。
本発明の一実施例による臨床記録データ生成装置は、診療過程における非放射線撮像装置の活用増加により生成された医療マルチメディアビッグデータを分析することを可能にし、臨床現場でＡＲ／ＶＲ及び人工知能技術の適用のための非定型医療ビデオデータの需要を満たすことができる。
図３は、本発明の一実施例による臨床記録データ生成方法を説明するためのフローチャートである。
図３を参照すると、本発明の一実施例による臨床記録データ生成方法は、臨床記録データ生成装置のプロセッサーが、既に行われた医療行為が記録された医療データを入力してもらうステップＳ１１０から始まる。
その後、複数の項目別に区分されて設けられた複数のレイヤのうち、前記医療データに関連する項目に対応するレイヤに前記医療データに含まれる情報を記録する。具体的には、ステップＳ１２０において、医療データを種類別に区分して、第１レイヤグループの複数のレイヤの項目のうち、データの種類に対応するレイヤにそれぞれ記録する。
ステップＳ１３０において、医療データのうち映像データの少なくとも一部を複数の映像フレームに分割する。
ステップＳ１４０において、複数の映像フレームそれぞれに対して特徴抽出アルゴリズムを実行し、医療行為のうち記録したい特徴情報が含まれる特徴フレームを抽出する。
ここで、特徴情報は、臨床情報とメタデータ情報の少なくとも一方を含み、臨床情報は、病変の情報および非病変対象の情報の少なくとも一方を含み、メタデータ情報は、医療行為情報および医療ツール情報の少なくとも１つを含む。
具体的には、本発明の一実施例によれば、特徴情報を含む特徴フレームを抽出するステップＳ１４０は、映像処理アルゴリズムを用いる場合、複数の映像フレームのうち１つを基準フレームとして指定し、基準フレームと映像フレームをそれぞれ比較して病変または非病変対象に対応する形状を判別し、病変または非病変対象に対応する形状が含まれる映像フレームを特徴フレームとして抽出する。
また、医療ツールに対応する形状の一地点を特徴点として指定し、複数の映像フレームそれぞれにおける特徴点の所定時間間隔に応じた位置を追跡し、医療ツールの位置の変化が生じた時点に対応する映像フレームを特徴フレームとして抽出する。
本発明のまた他の実施例によれば、特徴情報を含む特徴フレームを抽出するステップＳ１４０は、機械学習アルゴリズムを用いる場合、複数の映像フレームにおける画素の関連関係を学習用体内映像と学習用病変映像とに基づいて予め学習されたモデルを用いて、前記複数の映像フレームそれぞれにおいて病変に対応する形状を判別し、病変に対応する形状を含む映像フレームを特徴フレームとして抽出する。
ステップＳ１５０において、特徴フレームに関する情報を第２レイヤグループの複数のレイヤのうち、特徴情報に関連するイベント項目に対応するレイヤに記録する。
具体的には、複数のイベント項目別に分けて設けられた複数のレイヤのうち、特徴フレームに含まれる特徴情報に関連するイベント項目に対応するレイヤに特徴フレームに関する情報を記録する。
ここで、特徴フレームに関する情報は、特徴フレームのグラフィック情報と、医療映像データにおける特徴フレームが位置する時点の時刻情報とを含む。
ステップＳ１６０において、複数のレイヤに基づいて選択されたレイヤを再構成して臨床レポートを作成する。
具体的には、第１レイヤグループの複数のレイヤと第２レイヤグループの複数のレイヤのうち重要度に応じて少なくとも一部を指定して臨床記録レポートを作成し、予め設定された区間での第１レイヤグループにおける情報と、第２レイヤグループにおける特徴フレームに関する情報を用いて臨床記録レポートを作成することができる。例えば、予め設定された区間における時刻情報とともにイベントインデックスとして格納された特徴フレームのグラフィック情報と、当該時刻における第１レイヤグループのレイヤに記録された情報とを用いて臨床記録レポートを作成することができる。この場合、第１レイヤグループに格納された音声情報と第２レイヤグループの病変によるグラフィック情報とを一緒に表示することができるようになる。
図４は、本発明の一実施例による臨床記録データ生成方法に従って生成されるレイヤを例に挙げて示したものである。
本発明の一実施例による臨床記録データ生成装置のプロセッサーは、既に行われた医療行為が記録された医療データを入力してもらい、複数の項目別に区分されて設けられた複数のレイヤのうち、医療データに関連する項目に該当するレイヤに医療データに含まれる情報を記録し、前記複数のレイヤに基づいて臨床記録レポートを作成する。
レイヤに記録したい情報とは、臨床的または工学的に意味のあるフレーム（Ｆｒａｍｅ）であって、検査、施術、及び手術などを含む医療行為のうち、病変の発生や手術ツールの変化など、記録が必要な手術情報を含むフレームを意味する。
図４を参照すると、本発明の一実施例による臨床記録データ生成方法に従って生成されるレイヤ４００は、第１レイヤグループと第２レイヤグループとを含むことができる。
第１レイヤグループは、既に行われた医療行為が記録された医療データが記録されたレイヤであって、医療スタッフの音声信号、医療スタッフの生体信号、手術映像及び患者の生体信号を含む。
例えば、第１レイヤグループは、第１レイヤ（１ｓｔｌａｙｅｒ）４１０、第２レイヤ（２ｎｄ ｌａｙｅｒ）４２０、第３レイヤ（３ｒｄ ｌａｙｅｒ）４３０、第４レイヤ（４ｔｈｌａｙｅｒ）４４０を含むことができ、第１レイヤ（１ｓｔ ｌａｙｅｒ）４１０は、検査、施術、および手術を含む医療行為において医療スタッフの音声（Ｖｏｉｃｅ）４１１とは別に記録されたテキスト（Ｔｅｘｔ）を記録する。
第２レイヤ（２ｎｄｌａｙｅｒ）４２０は、検査、施術、および手術を含む医療行為において医療スタッフの生体信号を含む。
第３レイヤ（３ｒｄｌａｙｅｒ）４３０は、患者の検査、施術、手術映像４３１を含む。
第４レイヤ（４ｔｈｌａｙｅｒ）４４０は、検査、施術、手術を含む医療行為における患者の生体信号を含む。
第２レイヤグループは、医療データのうち、映像データについて記録したい特徴情報を含む特徴フレームに関する情報が記録されたレイヤである。
特に、検出された特徴フレームに関する情報を時間に基づいて可視化して表記する。
例えば、第２レイヤグループは、第５レイヤ（５ｔｈｌａｙｅｒ）４５０、第６レイヤ（６ｔｈ ｌａｙｅｒ）４６０、第７レイヤ（７ｔｈ ｌａｙｅｒ）４７０、第８レイヤ（８ｔｈｌａｙｅｒ）４８０を含むことができ、第５レイヤ（５ｔｈ ｌａｙｅｒ）４５０は、映像内の病変（ポリープ、ノジュールなど）に関する情報を含む。
第６レイヤ（６ｔｈｌａｙｅｒ）４６０は、映像内の様々な非病変対象（出血、ｉｎｓｔｒｕｍｅｎｔ、糞便、補綴物など）に関する情報を含む。
第７レイヤ（７ｔｈｌａｙｅｒ）４７０は、映像内検査、施術、手術関連動作情報（ポリープおよびノジュール切除、止血、縫合など）を含む。
第８レイヤ（８ｔｈｌａｙｅｒ）４８０は、映像内の検査、施術、手術関連フェーズ（段階）情報を含む。
そのほかにも、第９レイヤ（９ｔｈ ｌａｙｅｒ）をさらに含み、映像内の検査、施術、手術関連ツールの位置情報を含むことができ、第Ｎレイヤ（Ｎｔｈｌａｙｅｒ）をさらに含んで映像関連各種メタ（Ｍｅｔａ）情報を含むことができる。
第１レイヤ乃至第Ｎレイヤは順次配列されて格納され、医療診断のために容易なアクセスを可能にする差分階層式（ｈｉｅｒａｒｃｈｉｃａｌ）情報を提供することができる。
また、医療診断における重要度に応じて情報を階層的に提供してアクセスを容易にすることができ、記録しようとする特徴情報を表示されるスケール（Ｓｃａｌｅ）に応じて表記される情報に分類する。
もし、より詳細な情報が必要な場合、スクロールを利用してズームインすれば、下の段階の情報が公開されるようにすることができ、これにより臨床記録データにおいて特徴情報に対する重要度に応じて複数のレイヤに基づいて臨床レポートを作成することができる。
図５は、本発明の一実施例による臨床記録データ生成方法に従うレイヤ生成過程を例に挙げて示したものである。
具体的に、図５は、本発明の一実施例による臨床記録データ生成方法に従って医療データのうち映像データを用いて第２レイヤグループの複数のレイヤに特徴フレームに関する情報を記録する過程を示したものである。
本発明の一実施例による臨床記録データ生成装置は、医療データのうち映像データ５１０の少なくとも一部を複数の映像フレーム５２０に分割する。
ここで、複数の映像フレーム５２０に分割することは、所定の時間間隔にて映像データ５１０を分割することを意味する。
その後、複数の映像フレーム５２０のそれぞれに対して特徴抽出アルゴリズムを実行して、医療行為のうち記録したい特徴情報を含む特徴フレーム５３０を抽出し、特徴フレームに関する情報を第２レイヤグループの複数のレイヤに記録する。
具体的には、複数のイベント項目別に区分されて設けられた複数のレイヤのうち、特徴フレームに含まれる特徴情報に関連するイベント項目に対応するレイヤに特徴フレームに関する情報を記録する。
例えば、映像フレーム５２０から映像内病変に関する情報を含む特徴フレーム５３０を抽出し、第５レイヤ（５ｔｈｌａｙｅｒ）４５０に映像内病変（ポリープ、ノジュールなど）に関する情報を記録する。ここでイベント項目は映像内病変４５１に該当する。
また、映像フレーム５２０から映像内非病変対象に関する情報を含む特徴フレーム５３０を抽出し、第６レイヤ（６ｔｈｌａｙｅｒ）４６０に映像内各種非病変対象（出血、ｉｎｓｔｒｕｍｅｎｔ、糞便、補綴物など）に関する情報を記録する。ここで、イベント項目は映像内非病変対象４６１に該当する。
また、映像フレーム５２０から映像内検査、施術、手術関連動作情報を含む特徴フレーム５３０を抽出し、第７レイヤ（７ｔｈｌａｙｅｒ）４７０に映像内検査、施術、手術関連動作情報（ポリープおよびノジュール切除、止血、縫合など）を記録する。ここで、イベント項目は、映像内検査、施術、手術関連動作情報４７１に対応する。
また、映像フレーム５２０から映像内検査、施術、手術関連フェーズ（段階）情報を含む特徴フレーム５３０を抽出し、第８レイヤ（８ｔｈｌａｙｅｒ）４８０に映像内検査、施術、 手術関連フェーズ（段階）情報を記録する。ここで、イベント映像内検査、施術、手術関連フェーズ（段階）情報４８１に該当する。
医療スタッフの音声信号、医療スタッフの生体信号、手術映像、および患者の生体信号を含む第１レイヤグループと一緒に第２レイヤグループの各レイヤが順次生成されることができ、使用者は第１レイヤグループと第２レイヤグループにおいて特定のレイヤを指定したり、別途の時間区間を指定して該当情報のみを確認することができる。
図６～図８は、本発明の一実施例による臨床記録データ生成方法の特徴フレーム抽出を例に挙げて示したものである。
前記図５で説明したように、本発明の一実施例による臨床記録データ生成装置は、複数の映像フレーム５２０それぞれに対して特徴抽出アルゴリズムを実行して医療行為のうち記録したい特徴情報を含む特徴フレーム５３０を抽出し、特徴フレームに関する情報を第２レイヤグループの複数のレイヤに記録する。
具体的には、特徴抽出アルゴリズムは、映像処理アルゴリズムと機械学習アルゴリズムとを含む。
ここで、特徴情報は、臨床情報とメタデータ情報の少なくとも一方を含み、臨床情報は、病変の情報および非病変対象の情報の少なくとも一方を含み、メタデータ情報は、医療行為情報および医療ツール情報の少なくとも一方を含む。
また、臨床情報は臨床指標を指す。例えば、ロボット手術における臨床指標の例は、手術ｐｒｏｃｅｄｕｒｅ総時間、詳細ｐｒｏｃｅｄｕｒｅ時間(ｆｌａｐ ｄｉｓｓｅｃｔｉｏｎ， ｍｉｄｌｉｎｅ ｄｉｖｉｓｉｏｎ， ｉｓｔｈｍｅｃｔｏｍｙ， ｌａｔｅｒａｌ ｄｉｓｓｅｃｔｉｏｎ， ｓｕｐｅｒｉｏｒ ｐｏｌｅ ｌｉｇａｔｉｏｎ， ＲＬＮ， ｐａｒａｔｈｙｒｏｉｄ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ＆ ｐｒｅｓｅｒｖａｔｉｏｎ， ｓｕｐｅｒｉｏｒ ｐｏｌｅ ｌｉｇａｔｉｏｎ， ｃｅｎｔｒａｌ ｎｅｃｋ ｄｉｓｓｅｃｔｉｏｎ時間)を含み、腫瘍の位置（左／右；上／中／下）、リンパ節腫大の有無、反回神経の保存状態、副甲状腺の保存状態を含む。また、手術中の血管損傷状態、出血程度、他の臓器損傷状態、映像の適切性、映像の特異的所見を含む。
メタデータ情報はメタ情報を指す。ロボット手術映像におけるメタ情報の例は、手術ツールが画面の外に出た時点、手術ツール同士がぶつかった時点、一定加速度以上の動きである時点、手術ツール変更時点（ｅ．ｇ． Ｆｏｒｃｅｐｓ → Ｃａｍｅｒａ移動）及びｚｏｏｍ ｉｎ/ｏｕｔ時点を含む。
図６は、本発明の一実施例による臨床記録データ生成方法の特徴フレーム抽出過程における医療ツールを例に挙げて示したものである。
図６（ａ）はｌｏｎｇ ｇｒａｓｐｅｒ ６１３、図６（ｂ）はｄｉｓｓｅｃｔｏｒ ｆｏｒｃｅｐｓ ６２１、図６（ｃ）はｅｘｈａｕｓｔｅｒ ６３１、図６（ｄ）はｓｃｉｓｓｏｒ ６４１、 図６（ｅ）はｃｌｉｐｐｉｎｇ ｄｅｖｉｃｅ ６５１、図６（ｆ）はｍｏｎｏｐｏｌａｒ ｓｐａｔｕｌａ ６６１を示したものである。
具体的には、本発明の一実施例によれば、特徴情報を含む特徴フレームを抽出する段階で、映像処理アルゴリズムを用いる場合、医療ツールに対応する形状の一地点を特徴点として指定し、複数の映像フレームそれぞれにおいて特徴点の所定時間間隔に応じた位置を追跡し、医療ツールの位置の変化が発生した時点に対応する映像フレームを特徴フレームとして抽出する。
例えば、図６（ａ）において、第１手術部位６１１と第２手術部位６１２を背景領域として指定し、背景領域内で所定方向のエッジ（ｅｄｇｅ）を通過させる複数のチャンネル（ｃｈａｎｎｅｌ）に従ってそれぞれ生成されたフィルターを用いて医療ツールに対応する形状を認識し、形状に応じて医療ツールの種類を判断し、医療ツールの移動を確認することができる。
ここで、フィルタリング過程は、対象情報の映像から設定された特定角度の映像を選択的に検出する過程である。本発明の一実施例によれば、プロセッサーは、対象情報の映像が認識される円形フィルターと、円形フィルターの内側に位置する楕円形の方向認識フィルターとを含み、方向認識フィルターを使用して垂直線を検出することにより医療ツールの形状を認識することができる。
他にも、医療ツールの種類を判断し、医療ツールの移動を確認するために様々な映像処理アルゴリズムを利用することができ、例えば、Ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇとｔａｒｇｅｔｉｎｇ方法を用いることができる。
さらに、図６（ｄ）および図６（ｆ）を参照すると、本発明の一実施例によれば特徴情報が含まれる特徴フレームを抽出する段階で、映像処理アルゴリズムを用いて出血部位６４２ 、６６２を確認することができる。
具体的には、複数の映像フレームのうち、第１手術部位６１１と第２手術部位６１２を基準フレームとして指定し、基準フレームと映像フレームをそれぞれ比較して病変または非病変対象に対応する形状を判別し、病変または非病変対象に対応する形状を含む映像フレームを特徴フレームとして抽出することができ、図６（ｄ）および図６（ｆ）では非病変対象の出血部位を確認することができる。
図７は、本発明の一実施例による臨床記録データ生成方法の特徴フレーム抽出過程における手術情報を例に挙げて示した図である。
図７（ａ）はＭｉｄｌｉｎｅ ｄｉｖｉｓｉｏｎ、図７（ｂ）はＩｓｔｈｍｅｃｔｏｍｙ、図７（ｃ）はＲＬＮ、ｐａｒａｔｈｙｒｏｉｄ ｐｒｅｓｅｒｖａｔｉｏｎ、図７（ｄ）は Ｓｕｐｅｒｉｏｒ ｐｏｌｅ ｌｉｇａｔｉｏｎを示す。
図７（ａ）では、映像処理アルゴリズムを用いて第１医療ツール７１１、第２医療ツール７１２、及び手術部位７１３を認識することができ、第１医療ツール７１１、第２医療ツール７１２および手術部位７１３の変化を認識して該当手術情報を確認することができる。また、該当手術情報に応じた医療ツールの変化と患部の状態を確認することもできる。
図７（ｂ）では、映像処理アルゴリズムを用いて第１医療ツール７２１、第２医療ツール７２２、及び第３医療ツール７２３を認識することができ、第３医療ツール７２３の移動に応じてＩｓｔｈｍｅｃｔｏｍｙの進行状況を判断することができる。
図７（ｃ）では、映像処理アルゴリズムを用いて第１医療ツール７３１、第２医療ツール７３２を認識することができ、第１神経の方向Ｄ１と第１手術部位の方向Ｄ２を確認することができる。
図７（ｄ）では、映像処理アルゴリズムを用いて第１医療ツール７４１及び手術部位７４２を確認することができる。
図８は、本発明の一実施例による臨床記録データ生成方法の特徴フレーム抽出過程における腫瘍の認識を例に挙げて示したものである。
図８（ａ）は、腫瘍がない場合の体内映像を示したものであり、図８（ｂ）は、腫瘍が存在する場合の体内映像を示したものである。
本発明のまた他の実施例によれば、特徴情報を含む特徴フレームを抽出する段階で機械学習アルゴリズムを用いる場合、複数の映像フレーム８２０における画素の関連関係を学習用体内映像と学習用病変映像に基づいてあらかじめ学習されたモデルを用いて、前記複数の映像フレームそれぞれから病変に対応する形状８３０を判別し、病変に対応する形状を含む映像フレームを特徴フレームとして抽出する。
具体的には、学習用体内映像を図８（ａ）として用いることができ、学習用病変映像を図８（ｂ）として用いることができる。学習用体内映像と学習用病変映像とを用いて予め学習されたモデルに複数の映像フレームを入力して、病変に対応する形状を判別することができるようになる。
また、学習モデルとしては、目的の物体を分類するＹＯＬＯモデルを学習して使用することができ、分類する病変に対応する形状に対応する学習用病変映像と学習用体内映像を用いて学習させた後、映像フレームを入力した結果として特徴フレームを抽出する。
図９～図１１は、本発明の一実施例による臨床記録データ生成方法に従って生成される臨床レポートを例に挙げて示したものである。
本発明の一実施例による臨床記録データ生成装置のプロセッサーは、特徴情報の重要度に応じて複数のレイヤに基づいて臨床レポートを作成する。ここで、臨床レポートとは、可視化して表現された臨床レポート映像を称するものであって、図９および図１０のように視覚化して表現されることもでき、図１１のように映像にテキストを含む形態で生成されることもできる。
図９～図１１は、大腸内視鏡検査、施術を例に挙げて示したものである。
大腸内視鏡検査、施術における臨床指標の例は、過去の耐力、手術力、盲腸到達状態、盲腸到達時間、回収時間、全検査時間、腸のきれいさ（右、横行、左、合算）、腸のきれいさ（糞便）、ＣＦＳ所見、発見ポリープ情報（位置、サイズ、形状、組織検査情報）などを含み、ポリープ除去時点を含むことができる。
大腸内視鏡検査、施術動画におけるメタ情報の例としては、スコープカメラの位置、前進、後進、停止、左／右移動、水洗浄、ガス注入などが挙げられる。
具体的に、図９は、本発明の一実施例による臨床記録データ生成方法に従って生成される臨床レポートの第１実施例を示したものである。
図９（ａ）は、内視鏡チップ（Ｅｎｄｏｓｃｏｐｅ ｔｉｐ）の位置（ｐｏｓｉｔｉｏｎ）を示したものである。図９（ｂ）を参照すると、施術時間に応じて内視鏡チップ（Ｅｎｄｏｓｃｏｐｅ ｔｉｐ）の位置（ｐｏｓｉｔｉｏｎ）に応じた映像を確認することができ、当該映像で特徴情報が発生した場合に映像を記録することができる。
このとき、横軸は大腸内視鏡施術時間、縦軸は大腸のきれいさに指定し、施術時間ときれいさによって映像の位置を指定することができ、図９（ｂ）に示すように第１映像９１０、 第２映像９２０及び第３映像９３０の位置を指定することができる。
図１０は、本発明の一実施例による臨床記録データ生成方法に従って生成される臨床レポートの第２実施例を示したものである。
図１０を参照すると、内視鏡チップ（Ｅｎｄｏｓｃｏｐｅ ｔｉｐ）の位置（ｐｏｓｉｔｉｏｎ）を視覚化９４０して、大腸の解剖学的位置情報と時間情報を一緒にマッピングして臨床レポートを生成することができる。
解剖学的位置情報から抽出したフレーム９４２を記録することができ、位置情報に応じたフレームデータの量に応じて時間密度９４１を異ならせて表示することができる。
具体的には、大腸の解剖学的位置情報と時間情報を一緒にマッピングすることにより、時間に応じた施術の進行度合いを視覚的に把握することができ、大腸内視鏡検査時の主要な施術は盲腸到達後に出てきながら発生するので、盲腸到達時間に基づいて時間を表示する。このとき、位置に応じた時間的な密度を色で表示して、施術において遅滞、または処置が行われた位置を確認することができる。
また、確認が必要な時間部分にカーソルで近づくと、所望の機能（施術映像、腸のきれいさ、音声、生体信号など）に該当する情報を提供することができる。
図１１は、本発明の一実施例による臨床記録データ生成方法に従って生成される臨床レポートの第３実施例を示したものである。
図１１を参照すると、出血部位１０１０を表示した映像と共に、既に取得した医療データの音声から「出血が見える」の音声をテキスト１０２０に変換して一緒に生成することができる。
具体的に、検査、施術及び手術を行う際の映像とともに医師の意見や状況などを録音し、該当映像再生時にテキストに変換して字幕として提供する。
ノジュール、ポリープ、出血、切除術など臨床的に重要な情報に該当する映像フレームを、ＡＩおよび音声入力分布を通じて自動的に編集して臨床レポート映像を生成することができ、ハイライト映像を通じて、２０～４０分に該当する映像全体を再生する必要なく、重要なハイライト映像だけで迅速に情報を把握することができるようになる。
また、コンピュータ読み取り可能な記録媒体に格納されているコンピュータプログラムであって、前記コンピュータプログラムは、臨床記録データ生成方法をプロセッサーに実行させるための命令語を含むコンピュータプログラムを提供する。
さらに、本発明の一実施例による臨床記録データ生成方法は、プロセッサーによって実行可能なコンピュータプログラム命令語を含む非一時的（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ）コンピュータ読み取り可能な記録媒体に記録され、臨床記録データ生成方法をコンピュータで実行するためのコンピュータにおいて読み取り可能なプログラムが記録された記録媒体を提供する。
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM(Compact Disc Read Only Memory)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
以上、本発明の実施形態を具体的な実施例として説明したが、これは例示に過ぎず、本発明はこれに限定されず、本明細書に開示された技術的思想に従う最も広い範囲を有するものと解釈されるべきである。当業者は、開示された実施例を組合せ／置換して摘示されていない形状のパターンを実施することができるが、これも本発明の範囲から逸脱しないであろう。さらに、当業者は、本明細書に基づいて開示された実施例を容易に変更または変形することができ、そのような変更または変形も本発明の権利範囲に属することは明らかである。
Claims (20)
- 臨床記録データ生成装置で行われる臨床記録データ生成方法において、
既に行われた医療行為の記録された医療データが入力されるステップ、
複数の項目別に区分されて設けられた複数のレイヤのうち、前記医療データに関連する項目に対応するレイヤに前記医療データに含まれる情報を記録するステップ、及び
前記複数のレイヤに基づいて臨床レポートを作成するステップ、を含む、
臨床記録データ生成方法。 - 前記医療データに含まれる情報を記録するステップは、
前記医療データを種類別に区分し、第１レイヤグループの複数のレイヤの項目のうち、データ種類に対応するレイヤにそれぞれ記録するステップ、
前記医療データのうち映像データの少なくとも一部を複数の映像フレームに分割するステップ、
前記複数の映像フレームそれぞれに対して特徴抽出アルゴリズムを実行し、前記医療行為の中で記録したい特徴情報を含む特徴フレームを抽出するステップ、及び
前記特徴フレームに関する情報を、第２レイヤグループの複数のレイヤのうち前記特徴情報に関連するイベント項目に対応するレイヤに記録するステップ、を含むことを特徴とする請求項１に記載の臨床記録データ生成方法。 - 前記複数のレイヤに基づいて臨床レポートを作成するステップは、
前記第１レイヤグループの複数のレイヤと前記第２レイヤグループの複数のレイヤとのうち、重要度に応じて少なくとも一部を指定して臨床レポートを作成することを特徴とする請求項２に記載の臨床記録データ生成方法。 - 前記特徴情報は、臨床情報とメタデータ情報の少なくとも一方を含み、
前記臨床情報は、病変の情報および非病変対象の情報の少なくとも一方を含み、前記メタデータ情報は、医療行為情報および医療ツール情報の少なくとも１つを含むことを特徴とする請求項２に記載の臨床記録データ生成方法。 - 前記特徴情報を含む特徴フレームを抽出するステップは、前記複数の映像フレームのうち１つを基準フレームとして指定し、前記基準フレームと残りの映像フレームとをそれぞれ比較して病変または非病変対象に対応する形状を判別して、前記病変または非病変対象に対応する形状を含む映像フレームを特徴フレームとして抽出することを特徴とする請求項４に記載の臨床記録データ生成方法。
- 前記特徴情報を含む特徴フレームを抽出するステップは、医療ツールに対応する形状の一地点を特徴点として指定し、前記複数の映像フレームのそれぞれにおける前記特徴点の所定時間間隔に応じた位置を追跡して前記医療ツールの位置の変化が起きた時点に対応する映像フレームを特徴フレームとして抽出することを特徴とする請求項４に記載の臨床記録データ生成方法。
- 前記特徴情報を含む特徴フレームを抽出するステップは、前記複数の映像フレームにおける画素の関連付けを学習用体内映像と学習用病変映像とに基づいて予め学習されたモデルを用いて、前記複数の映像フレームそれぞれにおいて病変に対応する形状を判別し、前記病変に対応する形状を含む映像フレームを特徴フレームとして抽出することを特徴とする請求項４に記載の臨床記録データ生成方法。
- 前記特徴フレームに関する情報は、前記特徴フレームのグラフィック情報と、前記医療映像データにおいて前記特徴フレームが位置する時点の時刻情報とを含むことを特徴とする請求項４に記載の臨床記録データ生成方法。
- 前記第２レイヤグループの複数のレイヤに記録するステップは、
前記特徴情報に関連するイベント項目に対応するレイヤに前記特徴フレームのグラフィック情報を記録し、前記特徴フレームが位置する時点の時刻情報をイベントインデックスとして一緒に格納することを特徴とする請求項２に記載の臨床記録データ生成方法。 - 前記複数のレイヤに基づいて臨床レポートを作成するステップは、
前記第１レイヤグループの複数のレイヤと前記第２レイヤグループの複数のレイヤにおいて、予め設定された区間における特徴フレームに関する情報を用いて臨床レポートを作成することを特徴とする請求項８に記載の臨床記録データ生成方法。 - メモリ、及び
前記メモリに格納された１つ以上のインストラクションを実行するプロセッサー、を含み、
前記プロセッサーは、既に行われた医療行為が記録された医療データが入力され、複数の項目別に区分されて設けられた複数のレイヤのうち、前記医療データに関連する項目に対応するレイヤに前記医療データに含まれる情報を記録し、前記複数のレイヤに基づいて臨床レポートを作成することを特徴とする臨床記録データ生成装置。 - 前記プロセッサーは、前記医療データを種類別に区分し、第１レイヤグループの複数のレイヤの項目のうち、データ種類に対応するレイヤにそれぞれ記録し、前記医療データのうち映像データの少なくとも一部を複数の映像フレームに分割し、前記複数の映像フレームそれぞれに対して特徴抽出アルゴリズムを実行し、前記医療行為の中で記録したい特徴情報を含む特徴フレームを抽出し、前記特徴フレームに関する情報を、第２レイヤグループの複数のレイヤのうち前記特徴情報に関連するイベント項目に対応するレイヤに記録することを特徴とする請求項１１に記載の臨床記録データ生成装置。
- 前記プロセッサーは、前記第１レイヤグループの複数のレイヤと前記第２レイヤグループの複数のレイヤとのうち、重要度に応じて少なくとも一部を指定して臨床レポートを作成することを特徴とする請求項１２に記載の臨床記録データ生成装置。
- 前記特徴情報は、臨床情報とメタデータ情報の少なくとも一方を含み、
前記臨床情報は、病変の情報および非病変対象の情報の少なくとも一方を含み、前記メタデータ情報は、医療行為情報および医療ツール情報の少なくとも１つを含むことを特徴とする請求項１２に記載の臨床記録データ生成装置。 - 前記プロセッサーは、前記複数の映像フレームのうち１つを基準フレームとして指定し、前記基準フレームと残りの映像フレームとをそれぞれ比較して病変または非病変対象に対応する形状を判別して、前記病変または非病変対象に対応する形状を含む映像フレームを特徴フレームとして抽出することを特徴とする請求項１４に記載の臨床記録データ生成装置。
- 前記プロセッサーは、医療ツールに対応する形状の一地点を特徴点として指定し、前記複数の映像フレームのそれぞれにおいて前記特徴点の所定時間間隔に応じた位置を追跡して前記医療ツールの位置の変化が起きた時点に対応する映像フレームを特徴フレームとして抽出することを特徴とする請求項１４に記載の臨床記録データ生成装置。
- 前記プロセッサーは、前記複数の映像フレームにおける画素の関連付けを学習用体内映像と学習用病変映像とに基づいて予め学習されたモデルを用いて、前記複数の映像フレームそれぞれにおいて病変に対応する形状を判別し、前記病変に対応する形状を含む映像フレームを特徴フレームとして抽出することを特徴とする請求項１４に記載の臨床記録データ生成装置。
- 前記特徴フレームに関する情報は、前記特徴フレームのグラフィック情報と、前記医療映像データにおいて前記特徴フレームが位置する時点の時刻情報とを含むことを特徴とする請求項１４に記載の臨床記録データ生成装置。
- 前記プロセッサーは、前記特徴情報に関連するイベント項目に対応するレイヤに前記特徴フレームのグラフィック情報を記録し、前記特徴フレームが位置する時点の時刻情報をイベントインデックスとして一緒に格納することを特徴とする請求項１２に記載の臨床記録データ生成装置。
- コンピュータ実行可能な命令語を格納する非一時的コンピュータ読取り可能な記録媒体であって、
前記コンピュータ実行可能な命令語は、プロセッサーによって実行されると、既に行われた医療行為が記録された医療データを入力してもらうステップ、
複数の項目別に区分されて提供された複数のレイヤのうち、前記医療データに関連する項目に対応するレイヤに前記医療データに含まれる情報を記録するステップ、及び
前記複数のレイヤに基づいて臨床レポートを作成するステップ、を含む方法を前記プロセッサーに実行させる、非一時的コンピュータ読取り可能な記録媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2020-0156351 | 2020-11-20 | ||
| KR1020200156351A KR102619729B1 (ko) | 2020-11-20 | 2020-11-20 | 임상 기록 데이터 생성 방법 및 장치 |
| PCT/KR2021/017082 WO2022108387A1 (ko) | 2020-11-20 | 2021-11-19 | 임상 기록 데이터 생성 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023550630A true JP2023550630A (ja) | 2023-12-04 |
| JP7497930B2 JP7497930B2 (ja) | 2024-06-11 |
Family
ID=81709495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023530913A Active JP7497930B2 (ja) | 2020-11-20 | 2021-11-19 | 臨床記録データ生成方法及び装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20230290461A1 (ja) |
| JP (1) | JP7497930B2 (ja) |
| KR (1) | KR102619729B1 (ja) |
| WO (1) | WO2022108387A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102625111B1 (ko) * | 2023-04-18 | 2024-01-15 | 주식회사 티지 | 다단계 개체분리식 애완동물 의약품 임상시험 온라인 자동화 시스템 및 그 동작 방법 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008006169A (ja) | 2006-06-30 | 2008-01-17 | Konica Minolta Medical & Graphic Inc | 小規模施設用医用画像表示システム |
| JP4931746B2 (ja) * | 2007-09-14 | 2012-05-16 | 富士フイルムＲｉファーマ株式会社 | 報告書作成プログラム、記録媒体および報告書作成方法 |
| JP2011167301A (ja) * | 2010-02-17 | 2011-09-01 | Asahikawa Medical College | 手術映像蓄積装置、手術映像蓄積方法、およびプログラム |
| JP6641172B2 (ja) | 2015-12-14 | 2020-02-05 | オリンパス株式会社 | 内視鏡業務支援システム |
| KR101880246B1 (ko) * | 2017-12-28 | 2018-07-19 | (주)휴톰 | 수술영상 재생제어 방법, 장치 및 프로그램 |
| KR20200050262A (ko) * | 2018-11-01 | 2020-05-11 | 주식회사 엠티이지 | 멀티미디어 수술기록 콘텐츠 생성 장치 및 방법 |
| KR102180921B1 (ko) * | 2019-10-18 | 2020-11-19 | 주식회사 엠티이지 | 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법 |
-
2020
- 2020-11-20 KR KR1020200156351A patent/KR102619729B1/ko active IP Right Grant
-
2021
- 2021-11-19 WO PCT/KR2021/017082 patent/WO2022108387A1/ko active Application Filing
- 2021-11-19 JP JP2023530913A patent/JP7497930B2/ja active Active
-
2023
- 2023-05-22 US US18/321,352 patent/US20230290461A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230290461A1 (en) | 2023-09-14 |
| KR102619729B1 (ko) | 2023-12-28 |
| JP7497930B2 (ja) | 2024-06-11 |
| WO2022108387A1 (ko) | 2022-05-27 |
| KR20220069333A (ko) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11786312B2 (en) | Surgical system with AR/VR training simulator and intra-operative physician image-guided assistance | |
| US10169535B2 (en) | Annotation of endoscopic video using gesture and voice commands | |
| Zia et al. | Surgical activity recognition in robot-assisted radical prostatectomy using deep learning | |
| JP5222082B2 (ja) | 情報処理装置およびその制御方法、データ処理システム | |
| CN111771244B (zh) | 针对手术结果的反馈提供方法 | |
| JP2005348797A (ja) | 医療行為記録システム及び医療行為記録装置 | |
| KR102531400B1 (ko) | 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법 | |
| JP2022548237A (ja) | Ｖａｔｓ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査 | |
| KR102146672B1 (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 | |
| JP2008259661A (ja) | 検査情報処理システム及び検査情報処理装置 | |
| US20230290461A1 (en) | Method and device for generating clinical record data | |
| De Backer et al. | Multicentric exploration of tool annotation in robotic surgery: lessons learned when starting a surgical artificial intelligence project | |
| JP5539478B2 (ja) | 情報処理装置および情報処理方法 | |
| JP2023181214A (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム | |
| Nwoye | Deep learning methods for the detection and recognition of surgical tools and activities in laparoscopic videos | |
| Leppänen et al. | Augmenting microsurgical training: Microsurgical instrument detection using convolutional neural networks | |
| Padoy | Workflow and activity modeling for monitoring surgical procedures | |
| US20220409300A1 (en) | Systems and methods for providing surgical assistance based on operational context | |
| Green et al. | Microanalysis of video from a robotic surgical procedure: implications for observational learning in the robotic environment | |
| EP4356290A1 (en) | Detection of surgical states, motion profiles, and instruments | |
| KR20190106628A (ko) | 수술영상 재생제어 방법, 장치 및 프로그램 | |
| WO2021103316A1 (zh) | 图像目标区域的确定方法、装置和系统 | |
| JP2006235971A (ja) | 画像参照装置及び画像分類検索方法 | |
| CN114171145A (zh) | 一种富媒体手术记录单生成系统和方法 | |
| KR20190133424A (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230522 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240412 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240523 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7497930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |