KR20220069333A - 임상 기록 데이터 생성 방법 및 장치 - Google Patents
임상 기록 데이터 생성 방법 및 장치 Download PDFInfo
- Publication number
- KR20220069333A KR20220069333A KR1020200156351A KR20200156351A KR20220069333A KR 20220069333 A KR20220069333 A KR 20220069333A KR 1020200156351 A KR1020200156351 A KR 1020200156351A KR 20200156351 A KR20200156351 A KR 20200156351A KR 20220069333 A KR20220069333 A KR 20220069333A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- medical
- feature
- layers
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 230000003902 lesion Effects 0.000 claims description 52
- 230000009471 action Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000001356 surgical procedure Methods 0.000 abstract description 23
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 208000037062 Polyps Diseases 0.000 description 8
- 230000000740 bleeding effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000003749 cleanliness Effects 0.000 description 5
- 238000002052 colonoscopy Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000004321 preservation Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 241000252983 Caecum Species 0.000 description 3
- 210000004534 cecum Anatomy 0.000 description 3
- 238000002224 dissection Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000003608 fece Anatomy 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000002432 robotic surgery Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000023597 hemostasis Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 210000002429 large intestine Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000849 parathyroid Effects 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 230000007721 medicinal effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008816 organ damage Effects 0.000 description 1
- 210000002990 parathyroid gland Anatomy 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 210000002416 recurrent laryngeal nerve Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000003966 vascular damage Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Surgery (AREA)
- Urology & Nephrology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
본 발명에 따르면, 검사, 시술 및 수술 등을 포함하는 영상 데이터에서 임상적 또는 공학적으로 유의미한 프레임(Frame)들을 검출하고, 검출된 프레임에 대한 정보를 시간 기반으로, 시각화 하여 표기하여 멀티미디어(영상, 동영상, 신호) 기반의 시각적 리포트를 제공하는 임상 기록 데이터 생성 방법 및 장치가 개시된다.
Description
본 발명은 의료 행위를 기록하기 위한 임상 기록 데이터 생성 방법 및 장치에 관한 것이다.
검사, 시술 및 수술 등을 포함하는 의료 행위 수행 후 의료진은 의료 행위를 기록하기 위한 기록지를 작성 시 수작업으로 텍스트 기반의 기록지(리포트) 작성을 수행해야 한다.
종래의 경우, 내시경 검사 및 시술을 수행하는 과정에서, 시술자가 페달을 밟아서 주요 장면(Scene)을 저장하고, 간호사에게 지시하여 주요 내용에 대한 정보 및 시간을 기록하고 있으며, 재관측이나 추적관찰이 필요한 경우, 텍스트(Text)로 작성된 기록지를 확인하고 병원정보시스템(e.g. EMR, PACS)에 저장된 영상을 조회하여 재확인하는 방식을 이용한다.
복강경수술, 로봇 수술의 경우, 수술 종료 후 병원정보시스템(e.g. EMR)에 텍스트로 기본적인 수술 내용에 대해 간단히 기록지를 작성하기 때문에, 추후 교육, 연구, 진료 목적으로 재조회시 텍스트만으로 이루어진 기록지만으로는 해당 환자의 수술에 대한 자세한 정보를 파악하기에는 어려움이 존재한다.
또한, 검사, 시술 및 수술 등을 포함하는 의료 행위 과정에서 발견되는 병변이나 중요한 임상 정보들은 사후 작성되는 텍스트 기반의 기록지 내용으로는 의료진 본인은 물론 타 의료진들에게 충실하게 전달하기에는 한계가 있다.
본 발명의 일 실시예에 따른 해결하고자 하는 과제는, 검사, 시술 및 수술 등을 포함하는 영상 데이터에서 임상적 또는 공학적으로 유의미한 프레임(Frame)들을 검출하고, 검출된 프레임에 대한 정보를 시간 기반으로, 시각화 하여 표기하는 것을 포함한다.
또한, 검사, 시술 및 수술 기록에 대한 멀티미디어(영상, 동영상, 신호) 기반의 시각적 리포트를 제공하는 것을 포함한다.
본 명세서에 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치에서 수행되는 임상 기록 데이터 생성 방법은, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받는 단계, 다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 상기 의료 데이터와 관련된 항목에 해당하는 레이어에 상기 의료 데이터에 포함된 정보를 기록하는 단계 및 상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계를 포함한다.
여기서, 상기 의료 데이터에 포함된 정보를 기록하는 단계는, 상기 의료 데이터를 종류별로 구분하여, 제1 레이어 그룹의 다수의 레이어들의 항목 중 데이터 종류에 대응하는 레이어에 각각 기록하는 단계, 상기 의료 데이터 중 영상 데이터의 적어도 일부를 복수의 영상 프레임으로 분할하는 단계, 상기 복수의 영상 프레임 각각에 대해 특징 추출 알고리즘을 수행하여 상기 의료 행위 중 기록하고자 하는 특징 정보가 포함된 특징 프레임을 추출하는 단계 및 상기 특징 프레임에 대한 정보를 제2 레이어 그룹의 다수의 레이어들 중 상기 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 기록하는 단계를 포함할 수 있다.
여기서, 상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계는, 상기 제1 레이어 그룹의 다수의 레이어들과 상기 제2 레이어 그룹의 다수의 레이어들 중 중요도에 따라 적어도 일부를 지정하여 임상 리포트를 제작할 수 있다.
여기서, 상기 특징 정보는, 임상 정보와 메타 데이터 정보 중 적어도 하나를 포함하며, 상기 임상 정보는, 병변의 정보 및 비병변성 대상의 정보 중 적어도 하나를 포함하고, 상기 메타 데이터 정보는, 의료 동작 정보 및 의료 툴 정보 중 적어도 하나를 포함할 수 있다.
여기서, 상기 특징 정보가 포함된 특징 프레임을 추출하는 단계는, 상기 복수의 영상 프레임 중 하나를 기준 프레임으로 지정하고, 상기 기준 프레임과 나머지 영상 프레임을 각각 비교하여 병변 또는 비병변성 대상에 대응되는 형상을 판별하여, 상기 병변 또는 비병변성 대상에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출할 수 있다.
여기서, 상기 특징 정보가 포함된 특징 프레임을 추출하는 단계는, 의료 툴에 대응되는 형상의 일 지점을 특징점으로 지정하고, 상기 복수의 영상 프레임 각각에서 상기 특징점의 소정 시간 간격에 따른 위치를 추적하여 상기 의료 툴의 위치의 변화가 일어난 시점에 해당하는 영상 프레임을 특징 프레임으로 추출할 수 있다.
여기서, 상기 특징 정보가 포함된 특징 프레임을 추출하는 단계는, 상기 복수의 영상 프레임에서 화소의 연관 관계를 학습용 체내 영상과 학습용 병변 영상을 기초로 미리 학습된 모델을 이용하여, 상기 복수의 영상 프레임 각각에서 병변에 대응되는 형상을 판별하고, 상기 병변에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출할 수 있다.
여기서, 상기 특징 프레임에 대한 정보는, 상기 특징 프레임의 그래픽 정보와 상기 의료 영상 데이터에서 상기 특징 프레임이 위치하는 시점의 시각 정보를 포함할 수 있다.
여기서, 상기 제2 레이어 그룹의 다수의 레이어들에 기록하는 단계는, 상기 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 상기 특징 프레임의 그래픽 정보를 기록하고, 상기 특징 프레임이 위치하는 시점의 시각 정보를 이벤트 인덱스로 함께 저장할 수 있다.
여기서, 상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계는, 상기 제1 레이어 그룹의 다수의 레이어들과 상기 제2 레이어 그룹의 다수의 레이어들에서 기 설정된 구간에서의 특징 프레임에 대한 정보를 이용하여 임상 리포트를 제작할 수 있다.
본 발명의 또 다른 실시예에 따른 임상 기록 데이터 생성 장치는, 메모리 및 상기 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하며, 상기 프로세서는, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받고, 다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 상기 의료 데이터와 관련된 항목에 해당하는 레이어에 상기 의료 데이터에 포함된 정보를 기록하며, 상기 다수의 레이어들을 기초로 임상 리포트를 제작한다.
본 발명의 다른 실시예에 따르면, 상기 임상 기록 데이터 생성 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록매체가 제공될 수 있다.
본 발명의 또 다른 실시예에 따르면, 상기 임상 기록 데이터 생성 방법을 수행하도록 하는 명령어를 포함하는 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램의 형태로 제공될 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 검사, 시술 및 수술 등을 포함하는 영상 데이터에서 임상적 또는 공학적으로 유의미한 프레임(Frame)들을 검출하고, 검출된 프레임에 대한 정보를 시간 기반으로, 시각화 하여 표기할 수 있다.
또한, 검사, 시술 및 수술 기록에 대한 멀티미디어(영상, 동영상, 신호) 기반의 시각적 리포트를 제공하므로 검사 기록에 대한 정보 전달 효율성을 향상시킬 수 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법을 설명하기 위한 흐름도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 레이어들을 예로 들어 도시한 것이다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법의 특징 프레임 추출을 예로 들어 도시한 것이다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 임상 리포트를 예로 들어 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법을 설명하기 위한 흐름도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 레이어들을 예로 들어 도시한 것이다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법의 특징 프레임 추출을 예로 들어 도시한 것이다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 임상 리포트를 예로 들어 도시한 것이다.
이하, 본 발명에 관련된 임상 기록 데이터 생성 방법 및 장치에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명의 일 실시예는 임상 기록 데이터 생성 방법 및 장치에 관한 것이다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치(1)는 프로세서(10), 메모리(20), I/O 인터페이스(30) 및 통신 인터페이스(40)를 포함한다.
본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치(1)는 검사, 시술 및 수술 등을 포함하는 의료 데이터를 입력 받고, 의료 데이터 중 영상 데이터에서 임상적 또는 공학적으로 유의미한 프레임(Frame)들을 검출하여, 검출된 프레임에 대한 정보를 시간 기반으로, 시각화 하여 표기함으로써 검사, 시술 및 수술 기록에 대한 멀티미디어(영상, 동영상, 신호) 기반의 시각적 리포트를 제공하기 위한 장치이다.
여기서, 임상적 또는 공학적으로 유의미한 프레임(Frame)들은 검사, 시술 및 수술 등을 포함하는 의료 행위 중 병변의 발생이나 수술 도구의 변화 등 기록이 필요한 수술 정보를 포함하는 프레임을 의미한다.
프로세서(10)는 메모리(20)에 저장된 하나 이상의 인스트럭션들을 실행한다.
프로세서(10)는, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받아, 의료 데이터를 제1 레이어 그룹의 다수의 레이어들에 기록하고, 의료 데이터 중 영상 데이터의 적어도 일부를 복수의 영상 프레임으로 분할하며, 복수의 영상 프레임 각각에 대해 특징 추출 알고리즘을 수행하여 의료 행위 중 기록하고자 하는 특징 정보가 포함된 특징 프레임을 추출하고, 특징 프레임에 대한 정보를 제2 레이어 그룹의 다수의 레이어들에 기록한다.
또한, 프로세서(10)는, 특징 정보에 대한 중요도에 따라 다수의 레이어들을 기초로 임상 리포트를 제작한다. 여기서, 임상 리포트는 시각화하여 표현된 시각적 리포트와 하이라이트 영상을 지칭하는 것으로, 하기 도 9 및 도 10과 같이 시각화 표현될 수도 있고, 하기 도 11과 같이 영상에 텍스트를 포함하는 형태로 생성될 수 있다.
프로세서(10)는 기능에 따라 복수 개의 모듈들로 구분될 수도 있고, 하나의 프로세서에서 기능들을 수행할 수도 있다. 프로세서(10)는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(10)는, 예를 들면, 임상 기록 데이터 생성 장치(1)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(20)는 프로세서(10)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다.
메모리(20)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(20)는, 예를 들면, 임상 기록 데이터 생성 장치(1)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다.
I/O 인터페이스(30)는 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 임상 기록 데이터 생성 장치(1)의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 본 발명의 일 실시예에서는 디스플레이 또는 사용자 입력 장치와 연결될 수 있다. 또한, I/O 인터페이스(30)는 임상 기록 데이터 생성 장치(1)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
통신 인터페이스(40)는 임상 기록 데이터 생성 장치(1)와 외부 장치 또는 서버 간의 통신을 설정할 수 있다. 예를 들면, 통신 또는 유선 통신을 통해 네트워크에 연결되어 외부 장치 또는 서버와 통신할 수 있다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치(1)의 메모리(20)는 프로세서(10)에서 생성한 제1 레이어(210), 제2 레이어(220) 및 제3 레이어(230)를 포함하는 임상 기록 데이터(200)를 저장한다.
본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치(1)의 프로세서(10)는 레이어 선택 모듈(110)과 임상리포트 제작 모듈(120)을 포함하는 데이터 제공부(100)를 포함할 수 있으며, 프로세서(10)가 기 시행된 의료 행위가 기록된 의료 데이터로부터 생성한 임상 기록 데이터에서 특징 정보에 대한 중요도에 따라 다수의 레이어들을 기초로 임상 리포트를 제작한 후, 임상 기록 데이터 생성 장치(1)와 연결된 디스플레이(2)로 전송한다.
이에 따라, 사용자는 디스플레이를 통해 제작된 임상 리포트를 확인할 수 있다.
구체적으로, 사용자의 입력에 따라 여러 종류의 레이어에서 원하는 레이어를 선택하여 임상 리포트를 제작할 수 있으며, 임상적으로 중요한 의미를 가지는 레이어를 구별하는 방법을 미리 설정한 뒤, 설정된 방법에 따라 임상적으로 중요한 의미를 가지는 레이어들을 취합하여, 자동으로 임상 리포트를 제작해 주는 기능을 포함할 수 있다.
또한, 의사가 원하는 우선순위를 지정해 놓으면, 해당 순위에 맞추어 자동으로 임상 리포트를 제작해 주는 기능을 포함할 수 있으며, 이때, 우선순위는 용종, 출혈, 절제 등으로 지정될 수 있다.
또한, 의료진이 수동으로 작성한 기록지를 기반으로 자동으로 임상 리포트를 제작할 수 있으며, 수동으로 작성된 기록지를 기반으로 임상 리포트가 제작되는 과정을 트레이닝(Training) 하도록 설계하여, 자동 제작의 정확도를 높이도록 할 수 있다.
본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치는 진료과정에서 비방사선 영상장비의 활용 증가로 인해 생성된 의료 멀티미디어 빅데이터를 분석하는 것을 가능하게 하고, 임상 현장에서 AR/VR 및 인공지능 기술 적용을 위한 비정형 의료 비디오 데이터 수요를 충족시킬 수 있다.
도 3은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법은 임상 기록 데이터 생성 장치의 프로세서가, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받는 단계(S110)에서 시작한다.
이후, 다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 상기 의료 데이터와 관련된 항목에 해당하는 레이어에 상기 의료 데이터에 포함된 정보를 기록한다. 구체적으로, 단계 S120에서 의료 데이터를 종류별로 구분하여, 제1 레이어 그룹의 다수의 레이어들의 항목 중 데이터 종류에 대응하는 레이어에 각각 기록한다.
단계 S130에서 의료 데이터 중 영상 데이터의 적어도 일부를 복수의 영상 프레임으로 분할한다.
단계 S140에서 복수의 영상 프레임 각각에 대해 특징 추출 알고리즘을 수행하여 의료 행위 중 기록하고자 하는 특징 정보가 포함된 특징 프레임을 추출한다.
여기서, 특징 정보는, 임상 정보와 메타 데이터 정보 중 적어도 하나를 포함하며, 임상 정보는, 병변의 정보 및 비병변성 대상의 정보 중 적어도 하나를 포함하고, 메타 데이터 정보는, 의료 동작 정보 및 의료 툴 정보 중 적어도 하나를 포함한다.
구체적으로, 본 발명의 일 실시예에 따르면 특징 정보가 포함된 특징 프레임을 추출하는 단계(S140)는, 영상 처리 알고리즘을 이용하는 경우, 복수의 영상 프레임 중 하나를 기준 프레임으로 지정하고, 기준 프레임과 영상 프레임을 각각 비교하여 병변 또는 비병변성 대상에 대응되는 형상을 판별하여, 병변 또는 비병변성 대상에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출한다.
또한, 의료 툴에 대응되는 형상의 일 지점을 특징점으로 지정하고, 복수의 영상 프레임 각각에서 특징점의 소정 시간 간격에 따른 위치를 추적하여 의료 툴의 위치의 변화가 일어난 시점에 해당하는 영상 프레임을 특징 프레임으로 추출한다.
본 발명의 또 다른 실시예에 따르면 특징 정보가 포함된 특징 프레임을 추출하는 단계(S140)는, 기계 학습 알고리즘을 이용하는 경우, 복수의 영상 프레임에서 화소의 연관 관계를 학습용 체내 영상과 학습용 병변 영상을 기초로 미리 학습된 모델을 이용하여, 상기 복수의 영상 프레임 각각에서 병변에 대응되는 형상을 판별하고, 병변에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출한다.
단계 S150에서 특징 프레임에 대한 정보를 제2 레이어 그룹의 다수의 레이어들 중 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 기록한다.
구체적으로, 다수의 이벤트 항목 별로 구분되어 마련된 다수의 레이어들 중에서 특징 프레임에 포함된 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 특징 프레임에 대한 정보를 기록한다.
여기서, 특징 프레임에 대한 정보는, 특징 프레임의 그래픽 정보와 의료 영상 데이터에서 특징 프레임이 위치하는 시점의 시각 정보를 포함한다.
단계 S160에서 다수의 레이어들을 기초로 선택된 레이어들을 재구성하여 임상 리포트를 제작한다.
구체적으로, 제1 레이어 그룹의 다수의 레이어들과 제2 레이어 그룹의 다수의 레이어들 중 중요도에 따라 적어도 일부를 지정하여 임상 기록 리포트를 제작하며, 기 설정된 구간에서의 제1 레이어 그룹에서의 정보와 제2 레이어 그룹에서의 특징 프레임에 대한 정보를 이용하여 임상 기록 리포트를 제작할 수 있다. 예를 들어, 기 설정된 구간에서의 시각 정보와 함께 이벤트 인덱스로 저장된 특징 프레임의 그래픽 정보와, 해당 시각에서의 제1 레이어 그룹의 레이어에 기록된 정보를 이용하여 임상 기록 리포트를 제작할 수 있다. 이 경우 제1 레이어 그룹에 저장된 음성 정보와 제2 레이어 그룹의 병변에 따른 그래픽 정보를 함께 표시할 수 있게 된다.
도 4는 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 레이어들을 예로 들어 도시한 것이다.
본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치의 프로세서는, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받고, 다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 의료 데이터와 관련된 항목에 해당하는 레이어에 의료 데이터에 포함된 정보를 기록하며, 상기 다수의 레이어들을 기초로 임상 기록 리포트를 제작한다.
레이어에 기록하고자 하는 정보는 임상적 또는 공학적으로 유의미한 프레임(Frame)들로서 검사, 시술 및 수술 등을 포함하는 의료 행위 중 병변의 발생이나 수술 도구의 변화 등 기록이 필요한 수술 정보를 포함하는 프레임을 의미한다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 레이어들(400)은 제1 레이어 그룹과 제2 레이어 그룹을 포함할 수 있다.
제1 레이어 그룹은 기 시행된 의료 행위가 기록된 의료 데이터가 기록된 레이어로서 의료진의 음성신호, 의료진의 생체 신호, 수술 영상 및 환자의 생체 신호를 포함한다.
예를 들어, 제1 레이어 그룹은 제1 레이어(1st layer)(410), 제2 레이어(2nd layer)(420), 제3 레이어(3rd layer)(430), 제4 레이어(4th layer)를 포함할 수 있으며, 제1 레이어(1st layer)(410)는 검사, 시술, 수술을 포함하는 의료 행위에서 의료진의 음성(Voice)(411)과 별도로 기록한 텍스트(Text)를 기록한다.
제2 레이어(2nd layer)(420)는 검사, 시술, 수술을 포함하는 의료 행위에서 의료진의 생체신호를 포함한다.
제3 레이어(3rd layer)(430)는 환자의 검사, 시술, 수술 영상(431)을 포함한다.
제4 레이어(4th layer)는 검사, 시술, 수술을 포함하는 의료 행위에서 환자의 생체신호를 포함한다.
제2 레이어 그룹은 의료 데이터 중 영상 데이터에 대해 기록하고자 하는 특징 정보가 포함된 특징 프레임에 대한 정보가 기록된 레이어이다.
특히, 검출된 특징 프레임에 대한 정보를 시간 기반으로, 시각화 하여 표기한다.
예를 들어, 제2 레이어 그룹은 제5 레이어(5th layer)(450), 제6 레이어(6th layer)(460), 제7 레이어(7th layer)(470), 제8 레이어(8th layer)(480)를 포함할 수 있으며, 제5 레이어(5th layer)(450)는 영상 내 병변(용종, 노듈 등)에 대한 정보를 포함한다.
제6 레이어(6th layer)(460)는 영상 내 각종 비병변성 대상(출혈, Instrument, 분변, 보형물 등)에 대한 정보를 포함한다.
제7 레이어(7th layer)(470)는 영상 내 검사, 시술, 수술 관련 동작 정보(용종 및 노듈 절제, 지혈, 봉합 등)를 포함한다.
제8 레이어(8th layer)(480)는 영상 내 검사, 시술, 수술 관련 페이즈(단계) 정보를 포함한다.
이외에도, 제9 레이어(9th layer)를 더 포함하여 영상 내 검사, 시술, 수술 관련 툴의 위치 정보를 포함할 수 있으며, 제N 레이어(Nth layer)를 더 포함하여 영상 관련 각종 메타(Meta) 정보를 포함할 수 있다.
제1 레이어 내지 제N 레이어는 순차적으로 배열되어 저장되어, 의료 진단을 위해 용이한 접근이 가능하도록 하는 차등적 계층(hierarchical) 정보를 제공할 수 있다.
또한, 의료 진단에서의 중요도에 따라 정보를 계층적으로 제공하여 접근이 용이하도록 할 수 있으며, 기록하고자 하는 특징 정보를 보여지는 스케일(Scale)에 따라 표기되는 정보로 분류한다.
만일, 보다 자세한 정보를 원하는 경우 스크롤을 이용해 줌인 하면 아래 단계의 정보가 노출되도록 할 수 있으며, 이에 따라 임상 기록 데이터에서 특징 정보에 대한 중요도에 따라 다수의 레이어들을 기초로 임상 리포트를 제작할 수 있다.
도 5는 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따른 레이어 생성 과정을 예로 들어 도시한 것이다.
구체적으로, 도 5는 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 의료 데이터 중 영상 데이터를 이용하여 제2 레이어 그룹의 다수의 레이어들에 특징 프레임에 대한 정보를 기록하는 과정을 나타낸 것이다.
본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치는, 의료 데이터 중 영상 데이터(510)의 적어도 일부를 복수의 영상 프레임(520)으로 분할한다.
여기서, 복수의 영상 프레임(520)으로 분할하는 것은 소정의 시간 간격에 따라 영상 데이터(510)를 분할하는 것을 의미한다.
이후, 복수의 영상 프레임(520) 각각에 대해 특징 추출 알고리즘을 수행하여 의료 행위 중 기록하고자 하는 특징 정보가 포함된 특징 프레임(530)을 추출하고, 특징 프레임에 대한 정보를 제2 레이어 그룹의 다수의 레이어들에 기록한다.
구체적으로, 다수의 이벤트 항목 별로 구분되어 마련된 다수의 레이어들 중에서 특징 프레임에 포함된 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 특징 프레임에 대한 정보를 기록한다.
예를 들어, 영상 프레임(520)에서 영상 내 병변에 관한 정보가 포함된 특징 프레임(530)을 추출하여, 제5 레이어(5th layer)(450)에 영상 내 병변(용종, 노듈 등)에 대한 정보를 기록한다. 여기서 이벤트 항목은 영상 내 병변(451)에 해당한다.
또한, 영상 프레임(520)에서 영상 내 비병변성 대상에 관한 정보가 포함된 특징 프레임(530)을 추출하여, 제6 레이어(6th layer)(460)에 영상 내 각종 비병변성 대상(출혈, Instrument, 분변, 보형물 등)에 대한 정보를 기록한다. 여기서 이벤트 항목은 영상 내 비병변성 대상(461)에 해당한다.
또한, 영상 프레임(520)에서 영상 내 검사, 시술, 수술 관련 동작 정보가 포함된 특징 프레임(530)을 추출하여, 제7 레이어(7th layer)(470)에 영상 내 검사, 시술, 수술 관련 동작 정보(용종 및 노듈 절제, 지혈, 봉합 등)를 기록한다. 여기서 이벤트 항목은 영상 내 검사, 시술, 수술 관련 동작 정보(471)에 해당한다.
또한, 영상 프레임(520)에서 영상 내 검사, 시술, 수술 관련 페이즈(단계) 정보가 포함된 특징 프레임(530)을 추출하여, 제8 레이어(8th layer)(480)에 영상 내 검사, 시술, 수술 관련 페이즈(단계) 정보를 기록한다. 여기서 이벤트 영상 내 검사, 시술, 수술 관련 페이즈(단계) 정보(481)에 해당한다.
의료진의 음성신호, 의료진의 생체 신호, 수술 영상 및 환자의 생체 신호를 포함하는 제1 레이어 그룹과 함께 제2 레이어 그룹의 각각의 레이어들이 순차적으로 생성될 수 있고, 사용자는 제1 레이어 그룹과 제2 레이어 그룹에서 특정 레이어를 지정하거나, 별도의 시간 구간을 지정하여 해당 정보만을 확인할 수 있다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법의 특징 프레임 추출을 예로 들어 도시한 것이다.
상기 도 5에서 설명한 바와 같이, 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치는, 복수의 영상 프레임(520) 각각에 대해 특징 추출 알고리즘을 수행하여 의료 행위 중 기록하고자 하는 특징 정보가 포함된 특징 프레임(530)을 추출하고, 특징 프레임에 대한 정보를 제2 레이어 그룹의 다수의 레이어들에 기록한다.
구체적으로, 특징 추출 알고리즘은 영상 처리 알고리즘과 기계 학습 알고리즘을 포함한다.
여기서, 특징 정보는, 임상 정보와 메타 데이터 정보 중 적어도 하나를 포함하며, 임상 정보는, 병변의 정보 및 비병변성 대상의 정보 중 적어도 하나를 포함하고, 메타 데이터 정보는, 의료 동작 정보 및 의료 툴 정보 중 적어도 하나를 포함한다.
또한, 임상 정보는 임상 지표를 지칭한다. 예를 들어, 로봇수술에서의 임상 지표의 예는 수술 procedure 총 시간, 세부 procedure 시간 (flap dissection, midline division, isthmectomy, lateral dissection, superior pole ligation, RLN, parathyroid identification & preservation, superior pole ligation, central neck dissection 시간을 포함하며, 종양의 위치(좌/우; 위/중간/아래), 림프절 종대 여부, 되돌이 후두신경 보존 여부, 부갑상선 보존 여부를 포함한다. 또한, 수술 중 혈관 손상 여부, 출혈 정도, 다른 장기 손상 여부, 영상의 적절성, 영상 특이소견을 포함한다.
메타 데이터 정보는 메타정보를 지칭한다. 로봇수술 영상에서의 메타정보의 예는 수술도구가 화면 바깥으로 나간 시점, 수술도구끼리 부딪힌 시점, 일정 가속도 이상의 움직임인 시점, 수술 도구 변경 시점(e.g. Forceps → Camera 이동 및 Zoom in/out 시점을 포함한다.
도 6은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법의 특징 프레임 추출 과정에서 의료 툴을 예로 들어 도시한 것이다.
도 6의 (a)는 long grasper(613), 도 6의 (b)는 dissector forceps(621), 도 6의 (c)는 exhauster(631), 도 6의 (d)는 scissor(641), 도 6의 (e)는 clipping device(651), 도 6의 (f)는 monopolar spatula(661)를 나타낸 것이다.
구체적으로, 본 발명의 일 실시예에 따르면 특징 정보가 포함된 특징 프레임을 추출하는 단계에서, 영상 처리 알고리즘을 이용하는 경우, 의료 툴에 대응되는 형상의 일 지점을 특징점으로 지정하고, 복수의 영상 프레임 각각에서 특징점의 소정 시간 간격에 따른 위치를 추적하여 의료 툴의 위치의 변화가 일어난 시점에 해당하는 영상 프레임을 특징 프레임으로 추출한다.
예를 들어, 도 6의 (a)에서 제1 수술 부위(611)와 제2 수술 부위(612)를 배경 영역으로 지정하고, 배경 영역 내에서 소정 방향의 에지(edge)를 통과시키는 복수 개의 채널(channel)에 따라 각각 생성된 필터를 이용하여 의료 툴에 대응되는 형상을 인식하여, 형상에 따라 의료 툴의 종류를 판단하고, 의료 툴의 이동을 확인할 수 있다.
여기서, 필터링 과정은 대상 정보의 영상으로부터 설정된 특정 각도의 영상을 선택적으로 검출하는 과정이다. 본 발명의 일 실시예에 따르면, 프로세서는 대상 정보의 영상이 인식되는 원형 필터와 원형 필터 내부에 위치하는 타원형의 방향 인식 필터를 포함할 수 있으며, 방향 인식 필터를 이용하여 수직선을 검출함에 따라 의료 툴의 형상을 인식할 수 있다.
이외에도, 의료 툴의 종류를 판단하고, 의료 툴의 이동을 확인하기 위해 다양한 영상 처리 알고리즘을 이용할 수 있으며, 예를 들어, Object tracking과 targeting 방법을 이용할 수 있다.
또한, 도 6의 (d)와 도 6의 (f)를 참조하면, 본 발명의 일 실시예에 따르면 특징 정보가 포함된 특징 프레임을 추출하는 단계에서, 영상 처리 알고리즘을 이용하여 출혈 부위(642, 662)를 확인할 수 있다.
구체적으로, 복수의 영상 프레임 중 제1 수술 부위(611)와 제2 수술 부위(612)를 기준 프레임으로 지정하고, 기준 프레임과 영상 프레임을 각각 비교하여 병변 또는 비병변성 대상에 대응되는 형상을 판별하여, 병변 또는 비병변성 대상에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출할 수 있으며, 도 6의 (d)와 도 6의 (f)에서는 비병변성 대상인 출혈 부위를 확인할 수 있다.
도 7은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법의 특징 프레임 추출 과정에서 수술 정보를 예로 들어 도시한 것이다.
도 7의 (a)는 Midline division, 도 7의 (b)는 Isthmectomy, 도 7의 (c)는 RLN, parathyroid preservation, 도 7의 (d)는 Superior pole ligation를 나타낸 것이다.
도 7의 (a)에서는 영상 처리 알고리즘을 이용하여 제1 의료 툴(711), 제2 의료 툴(712) 및 수술 부위(713)를 인식할 수 있으며, 제1 의료 툴(711), 제2 의료 툴(712) 및 수술 부위(713)의 변화를 인식하여 해당 수술 정보를 확인할 수 있다. 또한, 해당 수술 정보에 따라 의료 툴의 변화와 환부의 상태를 확인할 수도 있다.
도 7의 (b)에서는 영상 처리 알고리즘을 이용하여 제1 의료 툴(721), 제2 의료 툴(722) 및 제3 의료 툴(723)을 인식할 수 있고, 제3 의료 툴(723)의 이동에 따라 Isthmectomy의 진행 상황을 판단할 수 있다.
도 7의 (c)에서는 영상 처리 알고리즘을 이용하여 제1 의료 툴(731), 제2 의료 툴(732)을 인식할 수 있고 제1 신경의 방향(D1)과 제1 수술 부위의 방향(D2)을 확인할 수 있다.
도 7의 (d)에서는 영상 처리 알고리즘을 이용하여 제1 의료 툴(741) 및 수술 부위(742)를 확인할 수 있다.
도 8은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법의 특징 프레임 추출 과정에서 종양의 인식을 예로 들어 도시한 것이다.
도 8의 (a)는 종양이 없는 경우의 체내 영상을 나타낸 것이고, 도 8의 (b)는 종양이 존재하는 경우의 체내 영상을 나타낸 것이다.
본 발명의 또 다른 실시예에 따르면 특징 정보가 포함된 특징 프레임을 추출하는 단계에서 기계 학습 알고리즘을 이용하는 경우, 복수의 영상 프레임(820)에서 화소의 연관 관계를 학습용 체내 영상과 학습용 병변 영상을 기초로 미리 학습된 모델을 이용하여, 상기 복수의 영상 프레임 각각에서 병변에 대응되는 형상(830)을 판별하고, 병변에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출한다.
구체적으로, 학습용 체내 영상을 도 8의 (a)로 이용할 수 있으며, 학습용 병변 영상을 도 8의 (b)로 이용할 수 있다. 학습용 체내 영상과 학습용 병변 영상을 이용하여 미리 학습된 모델에 복수의 영상 프레임을 입력하여, 병변에 대응되는 형상을 판별할 수 있게 된다.
또한, 학습 모델로는 원하는 물체를 분류하는 YOLO 모델을 학습하여 사용할 수 있으며, 분류할 병변에 대응되는 형상에 대응되는 학습용 병변 영상과 학습용 체내 영상을 이용하여 학습시킨 뒤 영상 프레임을 입력한 결과로 특징 프레임을 추출하게 된다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 임상 리포트를 예로 들어 도시한 것이다.
본 발명의 일 실시예에 따른 임상 기록 데이터 생성 장치의 프로세서는, 특징 정보에 대한 중요도에 따라 다수의 레이어들을 기초로 임상 리포트를 제작한다. 여기서, 임상 리포트는 시각화하여 표현된 임상 리포트 영상을 지칭하는 것으로, 도 9 및 도 10과 같이 시각화 표현될 수도 있고, 도 11과 같이 영상에 텍스트를 포함하는 형태로 생성될 수 있다.
도 9 내지 도 11은 대장내시경 검사, 시술을 예로 들어 나타낸 것이다.
대장내시경 검사, 시술에서의 임상지표의 예는 과거 내력, 수술력, 맹장 도달 여부, 맹장 도달 시간, 회수 시간, 전체 검사 시간, 장정결도(우측, 횡행, 좌측, 합산), 장정결도(분변), CFS소견, 발견용종 정보(위치, 크기, 모양, 조직검사 정보) 등을 포함하며, 용종제거 시점을 포함할 수 있다.
대장내시경 검사, 시술 동영상에서 메타정보의 예는 스코프 카메라의 위치, 전전, 후진, 정지, 좌/우 이동, 물세척, 가스 주입 등을 포함할 수 있다.
구체적으로, 도 9는 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 임상 리포트의 제1 실시예를 도시한 것이다.
도 9의 (a)는 내시경 팁(Endoscope tip)의 위치(position)를 나타낸 것이다. 도 9의 (b)를 참조하면, 시술시간에 따라 내시경 팁(Endoscope tip)의 위치(position)에 따른 영상을 확인할 수 있고, 해당 영상에서 특징 정보가 발생하는 경우 영상을 기록할 수 있다.
이 때, 가로축은 대장 내시경 시술시간, 세로축은 대장 정결도로 지정하여, 시술시간과 정결도에 따라 영상의 위치를 지정할 수 있으며, 도 9의 (b)에 나타난 바와 같이 제1 영상(910), 제2 영상(920) 및 제3 영상(930)의 위치를 지정할 수 있다.
도 10은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 임상 리포트의 제2 실시예를 도시한 것이다.
도 10을 참조하면, 내시경 팁(Endoscope tip)의 위치(position)를 시각화(940)하여, 대장의 해부학적 위치 정보와 시간 정보를 함께 매핑하여 임상 리포트를 생성할 수 있다.
해부학적 위치 정보에서 추출한 프레임(942)을 기록할 수 있으며, 위치 정보에 따른 프레임 데이터의 양에 따라 시간 밀도(941)를 다르게 하여 표시할 수 있다.
구체적으로, 대장의 해부학적 위치 정보와 시간 정보를 함께 매핑함으로써 시간에 따른 시술 진행 정도를 시각적으로 파악할 수 있으며, 대장내시경 검사 시 주요 시술은 맹장 도달 후 나오면서 발생되므로 맹장 도달 시간을 기준으로 시간을 표시 한다. 이때 위치에 따른 시간적인 밀도를 색상으로 표시하여 시술에 있어 지체, 또는 처치가 일어난 위치를 확인할 수 있다.
또한, 확인이 필요한 시간 부분에 커서로 접근 시, 원하는 기능(시술 영상, 장 정결도, 음성, 생체 신호 등)에 해당하는 정보를 제공할 수 있다.
도 11은 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법에 따라 생성되는 임상 리포트의 제3 실시예를 도시한 것이다.
도 11을 참조하면, 출혈 부위(1010)를 표시한 영상과 함께, 기 획득한 의료 데이터의 음성에서 '출혈이 보인다'의 음성을 텍스트(1020)로 변환하여 함께 생성할 수 있다.
구체적으로, 검사, 시술 및 수술 수행 시 영상과 함께 의사의 의견이나 상황 등을 녹음하여 해당 영상 재생 시 텍스트로 변환되어 자막으로 제공하게 된다.
노듈, 용종, 출혈, 절제술 등 임상적으로 중요한 정보에 해당하는 영상 프레임을, AI 및 음성입력 분포를 통해 자동으로 편집하여 임상 리포트 영상을 생성할 수 있으며, 하이라이트 영상을 통하여, 20~40분에 해당하는 영상 전체를 재생할 필요 없이 중요 하이라이트 영상만을 통해 신속하게 정보를 파악할 수 있게 된다.
또한, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 임상 기록 데이터 생성 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램을 제공한다.
또한, 본 발명의 일 실시예에 따른 임상 기록 데이터 생성 방법은 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 기록매체에 기록되어 임상 기록 데이터 생성 방법을 컴퓨터에서 수행하기 위한 컴퓨터에서 판독 가능한 프로그램이 기록된 기록 매체를 제공한다.
이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
1: 임상 기록 데이터 생성 장치
10: 프로세서
20: 메모리
30: I/O 인터페이스
40: 통신 인터페이스
10: 프로세서
20: 메모리
30: I/O 인터페이스
40: 통신 인터페이스
Claims (13)
- 임상 기록 데이터 생성 장치에서 수행되는 임상 기록 데이터 생성 방법에 있어서,
기 시행된 의료 행위가 기록된 의료 데이터를 입력 받는 단계;
다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 상기 의료 데이터와 관련된 항목에 해당하는 레이어에 상기 의료 데이터에 포함된 정보를 기록하는 단계; 및
상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계;를 포함하는 임상 기록 데이터 생성 방법. - 제1항에 있어서,
상기 의료 데이터에 포함된 정보를 기록하는 단계는,
상기 의료 데이터를 종류별로 구분하여, 제1 레이어 그룹의 다수의 레이어들의 항목 중 데이터 종류에 대응하는 레이어에 각각 기록하는 단계;
상기 의료 데이터 중 영상 데이터의 적어도 일부를 복수의 영상 프레임으로 분할하는 단계;
상기 복수의 영상 프레임 각각에 대해 특징 추출 알고리즘을 수행하여 상기 의료 행위 중 기록하고자 하는 특징 정보가 포함된 특징 프레임을 추출하는 단계; 및
상기 특징 프레임에 대한 정보를 제2 레이어 그룹의 다수의 레이어들 중 상기 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 기록하는 단계;를 포함하는 임상 기록 데이터 생성 방법. - 제2항에 있어서,
상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계는,
상기 제1 레이어 그룹의 다수의 레이어들과 상기 제2 레이어 그룹의 다수의 레이어들 중 중요도에 따라 적어도 일부를 지정하여 임상 리포트를 제작하는 임상 기록 데이터 생성 방법. - 제2항에 있어서,
상기 특징 정보는, 임상 정보와 메타 데이터 정보 중 적어도 하나를 포함하며,
상기 임상 정보는, 병변의 정보 및 비병변성 대상의 정보 중 적어도 하나를 포함하고, 상기 메타 데이터 정보는, 의료 동작 정보 및 의료 툴 정보 중 적어도 하나를 포함하는 임상 기록 데이터 생성 방법. - 제4항에 있어서,
상기 특징 정보가 포함된 특징 프레임을 추출하는 단계는, 상기 복수의 영상 프레임 중 하나를 기준 프레임으로 지정하고, 상기 기준 프레임과 나머지 영상 프레임을 각각 비교하여 병변 또는 비병변성 대상에 대응되는 형상을 판별하여, 상기 병변 또는 비병변성 대상에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출하는 임상 기록 데이터 생성 방법. - 제4항에 있어서,
상기 특징 정보가 포함된 특징 프레임을 추출하는 단계는, 의료 툴에 대응되는 형상의 일 지점을 특징점으로 지정하고, 상기 복수의 영상 프레임 각각에서 상기 특징점의 소정 시간 간격에 따른 위치를 추적하여 상기 의료 툴의 위치의 변화가 일어난 시점에 해당하는 영상 프레임을 특징 프레임으로 추출하는 임상 기록 데이터 생성 방법. - 제4항에 있어서,
상기 특징 정보가 포함된 특징 프레임을 추출하는 단계는, 상기 복수의 영상 프레임에서 화소의 연관 관계를 학습용 체내 영상과 학습용 병변 영상을 기초로 미리 학습된 모델을 이용하여, 상기 복수의 영상 프레임 각각에서 병변에 대응되는 형상을 판별하고, 상기 병변에 대응되는 형상이 포함된 영상 프레임을 특징 프레임으로 추출하는 임상 기록 데이터 생성 방법. - 제4항에 있어서,
상기 특징 프레임에 대한 정보는, 상기 특징 프레임의 그래픽 정보와 상기 의료 영상 데이터에서 상기 특징 프레임이 위치하는 시점의 시각 정보를 포함하는 임상 기록 데이터 생성 방법. - 제2항에 있어서,
상기 제2 레이어 그룹의 다수의 레이어들에 기록하는 단계는,
상기 특징 정보와 관련된 이벤트 항목에 해당하는 레이어에 상기 특징 프레임의 그래픽 정보를 기록하고, 상기 특징 프레임이 위치하는 시점의 시각 정보를 이벤트 인덱스로 함께 저장하는 임상 기록 데이터 생성 방법. - 제8항에 있어서,
상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계는,
상기 제1 레이어 그룹의 다수의 레이어들과 상기 제2 레이어 그룹의 다수의 레이어들에서 기 설정된 구간에서의 특징 프레임에 대한 정보를 이용하여 임상 리포트를 제작하는 임상 기록 데이터 생성 방법. - 메모리; 및
상기 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 프로세서;를 포함하며,
상기 프로세서는, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받고, 다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 상기 의료 데이터와 관련된 항목에 해당하는 레이어에 상기 의료 데이터에 포함된 정보를 기록하며, 상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 임상 기록 데이터 생성 장치. - 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받는 단계;
다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 상기 의료 데이터와 관련된 항목에 해당하는 레이어에 상기 의료 데이터에 포함된 정보를 기록하는 단계; 및
상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계;를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체. - 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 기 시행된 의료 행위가 기록된 의료 데이터를 입력 받는 단계;
다수의 항목 별로 구분되어 마련된 다수의 레이어들 중에서 상기 의료 데이터와 관련된 항목에 해당하는 레이어에 상기 의료 데이터에 포함된 정보를 기록하는 단계; 및
상기 다수의 레이어들을 기초로 임상 리포트를 제작하는 단계;를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200156351A KR102619729B1 (ko) | 2020-11-20 | 2020-11-20 | 임상 기록 데이터 생성 방법 및 장치 |
| JP2023530913A JP7497930B2 (ja) | 2020-11-20 | 2021-11-19 | 臨床記録データ生成方法及び装置 |
| PCT/KR2021/017082 WO2022108387A1 (ko) | 2020-11-20 | 2021-11-19 | 임상 기록 데이터 생성 방법 및 장치 |
| US18/321,352 US20230290461A1 (en) | 2020-11-20 | 2023-05-22 | Method and device for generating clinical record data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200156351A KR102619729B1 (ko) | 2020-11-20 | 2020-11-20 | 임상 기록 데이터 생성 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220069333A true KR20220069333A (ko) | 2022-05-27 |
| KR102619729B1 KR102619729B1 (ko) | 2023-12-28 |
Family
ID=81709495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200156351A KR102619729B1 (ko) | 2020-11-20 | 2020-11-20 | 임상 기록 데이터 생성 방법 및 장치 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20230290461A1 (ko) |
| JP (1) | JP7497930B2 (ko) |
| KR (1) | KR102619729B1 (ko) |
| WO (1) | WO2022108387A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102625111B1 (ko) * | 2023-04-18 | 2024-01-15 | 주식회사 티지 | 다단계 개체분리식 애완동물 의약품 임상시험 온라인 자동화 시스템 및 그 동작 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011167301A (ja) * | 2010-02-17 | 2011-09-01 | Asahikawa Medical College | 手術映像蓄積装置、手術映像蓄積方法、およびプログラム |
| KR20200050262A (ko) * | 2018-11-01 | 2020-05-11 | 주식회사 엠티이지 | 멀티미디어 수술기록 콘텐츠 생성 장치 및 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008006169A (ja) | 2006-06-30 | 2008-01-17 | Konica Minolta Medical & Graphic Inc | 小規模施設用医用画像表示システム |
| JP4931746B2 (ja) * | 2007-09-14 | 2012-05-16 | 富士フイルムＲｉファーマ株式会社 | 報告書作成プログラム、記録媒体および報告書作成方法 |
| JP6641172B2 (ja) | 2015-12-14 | 2020-02-05 | オリンパス株式会社 | 内視鏡業務支援システム |
| KR101880246B1 (ko) * | 2017-12-28 | 2018-07-19 | (주)휴톰 | 수술영상 재생제어 방법, 장치 및 프로그램 |
| KR102180921B1 (ko) * | 2019-10-18 | 2020-11-19 | 주식회사 엠티이지 | 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법 |
-
2020
- 2020-11-20 KR KR1020200156351A patent/KR102619729B1/ko active IP Right Grant
-
2021
- 2021-11-19 WO PCT/KR2021/017082 patent/WO2022108387A1/ko active Application Filing
- 2021-11-19 JP JP2023530913A patent/JP7497930B2/ja active Active
-
2023
- 2023-05-22 US US18/321,352 patent/US20230290461A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011167301A (ja) * | 2010-02-17 | 2011-09-01 | Asahikawa Medical College | 手術映像蓄積装置、手術映像蓄積方法、およびプログラム |
| KR20200050262A (ko) * | 2018-11-01 | 2020-05-11 | 주식회사 엠티이지 | 멀티미디어 수술기록 콘텐츠 생성 장치 및 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102625111B1 (ko) * | 2023-04-18 | 2024-01-15 | 주식회사 티지 | 다단계 개체분리식 애완동물 의약품 임상시험 온라인 자동화 시스템 및 그 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023550630A (ja) | 2023-12-04 |
| WO2022108387A1 (ko) | 2022-05-27 |
| JP7497930B2 (ja) | 2024-06-11 |
| US20230290461A1 (en) | 2023-09-14 |
| KR102619729B1 (ko) | 2023-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11793389B2 (en) | Intelligent display | |
| US9805469B2 (en) | Marking and tracking an area of interest during endoscopy | |
| US11269173B2 (en) | Systems and methods for displaying medical video images and/or medical 3D models | |
| JP2008126077A (ja) | 衝撃アトラスを作成して用いる方法及びシステム | |
| US20150080652A1 (en) | Lesion detection and image stabilization using portion of field of view | |
| KR102146672B1 (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 | |
| US20220358773A1 (en) | Interactive endoscopy for intraoperative virtual annotation in vats and minimally invasive surgery | |
| US20230290461A1 (en) | Method and device for generating clinical record data | |
| EP4309075A1 (en) | Prediction of structures in surgical data using machine learning | |
| JP2021533940A (ja) | 放射線科医向けの仮想ツールキット | |
| JP2024051041A (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム | |
| JP2023523561A (ja) | ビデオにおけるコンピュータ支援の標識または基準配置のシステムおよび方法 | |
| US20240206989A1 (en) | Detection of surgical phases and instruments | |
| US20220409300A1 (en) | Systems and methods for providing surgical assistance based on operational context | |
| KR20190106628A (ko) | 수술영상 재생제어 방법, 장치 및 프로그램 | |
| Badgery et al. | Machine learning in laparoscopic surgery | |
| CA3105430A1 (en) | System and method for linking a segmentation graph to volumetric data | |
| KR20190133424A (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 | |
| WO2023144570A1 (en) | Detecting and distinguishing critical structures in surgical procedures using machine learning | |
| WO2024013030A1 (en) | User interface for structures detected in surgical procedures | |
| CN115131304A (zh) | 一种肺结节边界球生成方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |