KR20240021624A - 어노테이션을 포함하는 영상 획득 방법 및 디바이스 - Google Patents
어노테이션을 포함하는 영상 획득 방법 및 디바이스 Download PDFInfo
- Publication number
- KR20240021624A KR20240021624A KR1020220100179A KR20220100179A KR20240021624A KR 20240021624 A KR20240021624 A KR 20240021624A KR 1020220100179 A KR1020220100179 A KR 1020220100179A KR 20220100179 A KR20220100179 A KR 20220100179A KR 20240021624 A KR20240021624 A KR 20240021624A
- Authority
- KR
- South Korea
- Prior art keywords
- annotation
- annotations
- main section
- information
- target video
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001356 surgical procedure Methods 0.000 claims description 35
- 238000010191 image analysis Methods 0.000 claims description 12
- 230000000740 bleeding effect Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012552 review Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000007486 appendectomy Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229940127554 medical product Drugs 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Multimedia (AREA)
- Radiology & Medical Imaging (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- Urology & Nephrology (AREA)
- Signal Processing (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
의료 행위와 관련되고, 주요 구간 및 비주요 구간을 포함하는 대상 동영상을 획득하는 단계; 상기 주요 구간의 결정에 이용되는 제 1 사용자 입력을 획득하는 단계; 상기 제 1 사용자 입력에 따라 결정되는 하나 이상의 기준 시점에 기초하여 상기 주요 구간을 결정하는 단계; 및 상기 주요 구간 및 상기 비주요 구간에 서로 상이한 인코딩 방식을 적용하여 상기 대상 동영상에 대한 인코딩 동영상을 획득하는 단계;를 포함하는, 방법 및 디바이스가 개시된다.
Description
본 개시의 기술 분야는 어노테이션을 포함하는 영상을 획득하는 방법에 관한 것으로, 주요 구간을 포함하는 동영상에 대해서 어노테이션을 함께 제공하는 기술이 개시된다.
최근 들어 카메라가 부착된 내시경 장비들이 다양한 분야에서 사용되고, 대상자의 체내에 삽입되거나 시술 또는 수술 현장을 촬영하는 영상 장비들이 소형화, 보편화되면서 내외과적 수술에서 동영상을 획득하는 경우가 많아지고 있다. 또한, 최근 들어 빅 데이터, 인공 지능의 발달로 동영상을 의료 정보 콘텐츠로 가공하고 이를 기반으로 기술에 대한 표준화 연구 및 도구의 사용성에 대한 평가 연구 등 다양한 연구를 진행하고자 하는 병원과 의사가 늘어남에 따라 동영상의 저장과 주요 장면에 대한 빠른 검색이 요구되고 있다. 또한, 의료보험심사평가와 같은 수술 평가의 경우 그 동안은 텍스트와 영상으로 구성된 심사청구 자료를 기초로 보험금을 주로 산정하였으나, 이는 보험료에 대한 분쟁 소지가 높고 보험 심사 시 제한적 정보를 기반으로 평가가 이루어짐으로써 정확한 심사를 하기 어려운 한계가 있다. 한편 동영상 형식의 의료정보의 경우 그 길이가 길어서 전체를 확인하기가 어렵고 필요한 부분을 선택적으로 보는 것이 어렵다는 문제점이 있다. 따라서 주요 구간을 보다 용이하게 접근하여 확인할 수 있도록 하기 위한 방법이 필요한 실정이다.
본 개시에서 해결하고자 하는 과제는 의료 행위와 관련된 대상 동영상에 대해서 주요 구간의 특성을 나타내는 어노테이션을 제공함으로써 사용자가 보다 용이하게 주요 구간을 확인할 수 있도록 하는 방법을 제공하는 것이다.
본 개시에서 해결하고자 하는 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로써, 본 개시의 제 1 측면에 따른 어노테이션을 포함하는 영상 획득 방법은 의료 행위와 관련되고, 주요 구간 및 비주요 구간을 포함하는 대상 동영상을 획득하는 단계; 상기 주요 구간의 특성을 나타내는 키프레임을 획득하는 단계; 상기 키프레임에 대한 영상 분석 결과에 기초하여 상기 주요 구간의 특성을 나타내는 어노테이션을 획득하는 단계; 상기 대상 동영상 및 상기 어노테이션을 병렬적으로 제공하는 단계; 및
상기 어노테이션에 대한 사용자 입력이 인가됨에 따라 상기 어노테이션에 대응되는 상기 주요 구간을 디스플레이하는 단계;를 포함할 수 있다.
또한, 상기 대상 동영상과 분리되고, 상기 어노테이션에 대한 정보를 포함하는 어노테이션 파일을 제공하는 단계;를 더 포함할 수 있다.
또한, 상기 키프레임을 획득하는 단계는 수술 시작 시점, 수술 종료 시점, 수술 도구 사용 시점, 바이탈 이벤트 시점 및 출혈 시점 중 적어도 하나를 포함하는 이벤트 시점에 대응되는 정지 영상을 상기 키프레임으로 결정할 수 있다.
또한, 상기 대상 동영상 및 상기 어노테이션을 병렬적으로 제공하는 단계는 상기 대상 동영상에 포함되는 복수개의 주요 구간에 각각 대응되는 복수개의 어노테이션을 획득하는 단계; 및 상기 복수개의 어노테이션을 기설정 순서에 따라 디스플레이하는 단계;를 포함할 수 있다.
또한, 상기 기설정 순서는 상기 복수개의 어노테이션에 대응되는 이벤트 종류, 보험 청구 정보와의 일치율, 예상 정확도, 주요 구간의 길이 음성 정보 및 바이탈 정보 중 적어도 하나에 기초하여 결정될 수 있다.
또한, 상기 복수개의 어노테이션을 상기 기설정 순서에 따라 디스플레이하는 단계는 상기 복수개의 어노테이션을 시간 순서에 따라 디스플레이하고, 상기 복수개의 어노테이션에 각각에 대한 예상 중요도를 상기 복수개의 어노테이션과 병렬적으로 디스플레이할 수 있다.
또한, 상기 예상 중요도는 상기 복수개의 어노테이션에 대응되는 이벤트 종류, 보험 청구 정보와의 일치율, 예상 정확도, 주요 구간의 길이, 음성 정보 및 바이탈 정보의 순서로 낮아지도록 부여되는 가중치에 기초하여 결정될 수 있다.
또한, 본 개시의 제 2 측면에 따른 어노테이션을 포함하는 동영상 획득 디바이스는 의료 행위와 관련되고, 주요 구간 및 비주요 구간을 포함하는 대상 동영상을 획득하는 수신부; 상기 주요 구간의 특성을 나타내는 키프레임을 획득하고, 상기 키프레임에 대한 영상 분석 결과에 기초하여 상기 주요 구간의 특성을 나타내는 어노테이션을 획득하고, 상기 대상 동영상 및 상기 어노테이션을 병렬적으로 제공하는 프로세서; 및 상기 어노테이션에 대한 사용자 입력이 인가됨에 따라 상기 어노테이션에 대응되는 상기 주요 구간을 디스플레이하는 디스플레이;를 포함할 수 있다.
또한, 상기 프로세서는 상기 대상 동영상과 분리되고, 상기 어노테이션에 대한 정보를 포함하는 어노테이션 파일을 제공할 수 있다.
또한, 상기 프로세서는 수술 시작 시점, 수술 종료 시점, 수술 도구 사용 시점, 바이탈 이벤트 시점 및 출혈 시점 중 적어도 하나를 포함하는 이벤트 시점에 대응되는 정지 영상을 상기 키프레임으로 결정할 수 있다.
또한, 상기 프로세서는 상기 대상 동영상에 포함되는 복수개의 주요 구간에 각각 대응되는 복수개의 어노테이션을 획득하고, 상기 디스플레이는 상기 복수개의 어노테이션을 기설정 순서에 따라 디스플레이할 수 있다.
또한, 상기 기설정 순서는 상기 복수개의 어노테이션에 대응되는 이벤트 종류, 보험 청구 정보와의 일치율, 예상 정확도, 주요 구간의 길이, 음성 정보 및 바이탈 정보 중 적어도 하나에 기초하여 결정될 수 있다.
또한, 본 개시의 제 3 측면에 따라 제 1 측면을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체를 포함할 수 있다.
본 개시의 일 실시 예에 따르면, 수술 영상에서 중요하다고 판단되는 주요 구간에 대한 어노테이션을 제공하기 때문에 사용자는 직관적으로 중요한 부분이라고 판단되는 주요 구간에 대한 확인이 가능하다는 점에서 편의성이 향상될 수 있다.
또한, 수술 영상의 주요 구간을 용이하게 선택하여 바로 확인할 수 있기 때문에 사용자는 수술 영상에 대한 의료 보험 심사를 하는데 시간이 절약된다는 점에서 사용자의 만족도를 향상시킬 수 있다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1 은 일 실시 예에 따른 디바이스 또는 서버가 시스템 상에서 구현되는 일 예를 도시하는 도면이다.
도 2 는 일 실시 예에 따른 디바이스의 구성을 개략적으로 도시한 블록도이다.
도 3 은 일 실시 예에 따른 디바이스가 동작하는 각 단계를 도시한 흐름도이다.
도 4 는 일 실시 예에 따른 디바이스가 복수개의 어노테이션을 처리하는 방법을 도시한 흐름도이다.
도 5 은 일 실시 예에 따른 디바이스가 대상 동영상에 대한 어노테이션을 디스플레이하는 일 예를 도시한 도면이다.
도 6 은 일 실시 예에 따른 디바이스가 제공하는 어노테이션의 일 예를 도시한 도면이다.
도 7 은 일 실시 예에 따른 디바이스가 어노테이션과 함께 제공하는 재생바에 대한 일 예를 설명하기 위한 도면이다.
도 2 는 일 실시 예에 따른 디바이스의 구성을 개략적으로 도시한 블록도이다.
도 3 은 일 실시 예에 따른 디바이스가 동작하는 각 단계를 도시한 흐름도이다.
도 4 는 일 실시 예에 따른 디바이스가 복수개의 어노테이션을 처리하는 방법을 도시한 흐름도이다.
도 5 은 일 실시 예에 따른 디바이스가 대상 동영상에 대한 어노테이션을 디스플레이하는 일 예를 도시한 도면이다.
도 6 은 일 실시 예에 따른 디바이스가 제공하는 어노테이션의 일 예를 도시한 도면이다.
도 7 은 일 실시 예에 따른 디바이스가 어노테이션과 함께 제공하는 재생바에 대한 일 예를 설명하기 위한 도면이다.
본 개시에서 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시 예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 개시가 완전 하도록 하고, 해당 기술 분야에 속하는 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 해당 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작 시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 일 실시 예에 따른 디바이스(100) 또는 서버가 시스템 상에서 구현되는 일 예를 도시하는 도면이다.
도 1에 도시된 바와 같이, 의료 정보 시스템은 정보 획득 장치(110), 디바이스(100), 외부 서버(130), 저장 매체(140), 통신 디바이스(150), 가상 서버(160), 사용자 단말(170) 및 네트워크 등을 포함할 수 있다.
그러나, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 의료 정보 시스템에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 의료 정보 시스템은 네트워크와 연동하여 동작하는 블록체인 서버(미도시)를 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 1에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
일 실시 예에 따른 디바이스(100)는 정보 획득 장치(110)로부터 수술 등 의료 행위와 관련된 정보를 획득할 수 있다. 정보 획득 장치(110)는 촬영 장치, 녹음 장치, 생체 신호 획득 장치 등을 포함할 수 있으나, 이에 제한되지 않는다. 생체 신호는 체온 신호, 맥박 신호, 호흡 신호, 혈압 신호, 근전도 신호, 뇌파 신호 등 생명체로부터 획득되는 신호를 제한 없이 포함할 수 있다. 정보 획득 장치(110)의 일 예인 촬영 장치는 수술실 상황을 전체적으로 촬영하는 제 1 촬영 장치(예: CCTV 등)와 수술 부위를 집중적으로 촬영하는 제 2 촬영 장치(예: 내시경 등) 등을 포함할 수 있으나, 이에 제한되지 않는다.
일 실시 예에 따른 디바이스(100)는 정보 획득 장치(110)로부터 수술 등 의료 행위와 관련된 영상(동영상, 정지영상 등)을 획득할 수 있다. 디바이스(100)는 획득한 영상에 대한 영상 처리를 수행할 수 있다. 일 실시 예에 따른 영상 처리는 각각의 영상에 대한 네이밍, 인코딩, 저장, 전송, 편집, 메타 데이터 생성 등을 포함할 수 있으나, 이에 제한되지 않는다.
일 실시 예에 따른 디바이스(100)는 정보 획득 장치(110)로부터 획득한 의료 행위 관련 정보를 그대로 또는 갱신하여 네트워크로 전송할 수 있다. 디바이스(100)가 네트워크로 전송하는 전송 정보는 네트워크를 통해서 외부 디바이스(130, 140, 150, 160, 170)로 전송될 수 있다. 예를 들면, 네트워크는 외부 서버(130), 저장 매체(140), 통신 디바이스(150), 가상 서버(160), 사용자 단말(170) 등으로 디바이스(100)가 네트워크로 전송한 전송 정보를 그대로 또는 갱신하여 전송할 수 있다. 디바이스(100) 또한 외부 디바이스(130, 140, 150, 160, 170)로부터 수신한 정보(예: 피드백 정보, 갱신 요청 등)를 수신할 수 있다. 통신 디바이스(150)는 통신에 이용되는 디바이스를 제한 없이 의미할 수 있으며(예: 게이트웨이), 통신 디바이스(150)는 사용자 단말(180) 등 네트워크와 직접 연결되지 않는 디바이스와 통신할 수 있다.
일 실시 예에 따른 디바이스(100)는 후술하는 바와 같이 입력부, 출력부 프로세서, 메모리 등을 포함할 수 있으며, 디스플레이 장치(미도시)도 포함할 수 있다. 예컨대, 사용자는 디스플레이 장치를 통해서 통신 상태, 메모리 사용 현황, 전력 상태(예: 배터리의 충전상태(State Of Charge), 외부 전력 공급 여부 등), 저장된 동영상에 대한 썸네일 영상, 현재 동작 중인 동작 모드 등을 등을 확인 할 수 있다. 한편, 디스플레이 장치는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 등일 수 있다. 또한, 디스플레이 장치는 구현 형태에 따라 2개 이상의 디스플레이를 포함할 수 있다. 또한, 디스플레이의 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이는 출력 장치 이외에 입력 장치로도 사용될 수 있다.
또한, 네트워크는 유선 통신 또는 무선 통신을 통해 상호 통신을 수행할 수 있다. 예컨대 네트워크는 일종의 서버로 구현될 수도 있으며, 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등을 포함할 수 있다. 물론, 디바이스(100)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등을 이용하여 각종 외부기기와 통신을 수행할 수 있다. 와이파이 칩, 블루투스 칩은 각각 Wi-Fi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작할 수 있다.
일 실시 예에 따른 입력부는 사용자가 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미할 수 있다. 예를 들어, 입력부에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
일 실시 예에 따른 출력부는 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부는 디스플레이 장치, 음향 출력 장치, 및 진동 모터 등을 포함할 수 있다.
일 실시 예에 따른 사용자 단말(170)은 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC 등 다양한 유무선 통신 디바이스를 포함할 수 있으나 이에 제한되지 않는다.
일 실시 예에 따른 디바이스(100)는 정보 획득 장치(110)로부터 획득한 의료 행위 관련 정보를 갱신할 수 있다. 예를 들면, 디바이스(100)는 정보 획득 장치(110)로부터 획득한 영상에 대한 네이밍, 인코딩, 저장, 전송, 편집, 메타 데이터 생성 등을 수행할 수 있다. 일 예로, 디바이스(100)는 획득한 영상의 메타 데이터(예: 생성 시간)을 이용하여 영상 파일의 네이밍을 수행할 수 있다. 다른 예로, 디바이스(100)는 정보 획득 장치(110)로부터 획득한 의료 행위와 관련된 영상을 분류할 수 있다. 디바이스(100)는 학습된 AI를 이용하여, 의료 행위와 관련된 영상을 수술 종류, 수술자, 수술 장소 등 다양한 기준에 기초하여 분류할 수 있다.
또한 도 1에서 디바이스(100)는 서버로 구현될 수도 있으며, 디바이스(100)가 구현될 수 있는 물리적 장치의 범위는 제한하여 해석되지 않는다.
도 2는 일 실시 예에 따른 디바이스(100)의 구성을 개략적으로 도시한 블록도이다.
도 2에 도시된 바와 같이, 일 실시 예에 따른 디바이스(100)는 수신부(210), 프로세서(220), 출력부(230) 및 메모리(240)를 포함할 수 있다. 그러나 도 2에 도시된 구성요소 모두가 디바이스(100)의 필수 구성요소인 것은 아니다. 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(100)가 구현될 수도 있고, 도 2에 도시된 구성 요소보다 적은 구성 요소에 의해 디바이스(100)가 구현될 수도 있다.
예를 들어, 일 실시 예에 따른 디바이스(100)는 수신부(210), 프로세서(220), 출력부(230), 메모리(240) 외에 통신부를 더 포함할 수도 있다. 또한 출력부(230)의 일 예로서 디스플레이(미도시)가 포함될 수 있다.
일 실시 예에 따른 수신부(210)는 의료 행위와 관련되고, 주요 구간 및 비주요 구간을 포함하는 대상 동영상을 획득할 수 있다.
일 실시 예에 따른 프로세서(220)는 주요 구간의 특성을 나타내는 키프레임을 획득할 수 있다.
일 실시 예에 따른 프로세서(220)는 수술 시작 시점, 수술 종료 시점, 수술 도구 사용 시점, 바이탈 이벤트 시점 및 출혈 시점 중 적어도 하나를 포함하는 이벤트 시점에 대응되는 정지 영상을 키프레임으로 결정할 수 있다.
키프레임은 어노테이션을 나타내는 썸네일 영상을 획득하는 과정에서 이용될 수 있다. 예를 들면 키프레임의 전체 또는 일부분이 썸네일 영상으로 이용될 수 있다.
일 실시 예에 따른 프로세서(220)는 대상 동영상에 대한 영상 분석을 통해서 주요 구간 또는 비주요 구간을 결정할 수 있는 특징을 추출할 수 있는 정지 영상을 키프레임으로 결정할 수 있다. 또한 프로세서(220)는 키프레임에 대한 영상 분석을 통해서, 주요 구간인지 여부를 결정할 수 있다.
일 실시 예에 따른 프로세서(220)는 키프레임에 대한 영상 분석 결과에 기초하여 주요 구간의 특성을 나타내는 어노테이션을 획득할 수 있다.
프로세서(220)는 키프레임에 대한 영상 분석 결과에 기초하여 주요 구간이 수술 시작 시점, 수술 종료 시점, 수술 도구 사용 시점, 바이탈 이벤트 시점 및 출혈 시점 중 적어도 하나를 포함하는 이벤트 시점에 대응하는지 여부를 결정할 수 있다.
일 실시 예에 따른 프로세서(220)는 대상 동영상 및 어노테이션을 병렬적으로 제공할 수 있다. 대상 동영상 및 어노테이션은 함께 디스플레이될 수 있으며, 상호 동기화되어 디스플레이될 수 있다. 예를 들면, 대상 동영상이 재생되고 있는 시점에 대응하는 주요 구간을 나타내는 어노테이션이 강조하여 디스플레이될 수 있다.
일 실시 예에 따른 프로세서(220)는 대상 동영상의 중요도에 대한 정보를 어노테이션과 함께 제공할 수 있다. 대상 동영상의 중요도가 높을 경우 사용자는 보다 여러 개의 어노테이션을 확인함으로써 심사 등을 보다 정확하게 진행할 수 있다. 대상 동영상의 중요도는 다양한 정보에 따라 결정될 수 있다. 예를 들면 대상 동영상은 수술 종류에 대응되는 수가에 기초하여 결정될 수 있다. 수가가 높은 대상 동영상의 중요도가 수가가 낮은 대상 동영상의 중요도보다 더 높게 결정될 수 있다.
일 실시 예에 따른 디스플레이는 어노테이션에 대한 사용자 입력이 인가됨에 따라 어노테이션에 대응되는 주요 구간을 디스플레이할 수 있다. 예를 들면, 디스플레이되는 복수개의 어노테이션 중 어느 하나에 대한 터치 입력이 인가되는 경우, 터치 입력이 인가된 어노테이션에 대응하는 주요 구간이 재생될 수 있다.
메모리(240)는 프로세서(220)에서 처리하는 다양한 정보를 저장할 수 있다. 예를 들면 어노테이션을 나타내는 어노테이션 파일을 저장할 수 있다.
도 3은 일 실시 예에 따른 디바이스(100)가 동작하는 각 단계를 도시한 흐름도이다.
단계 S310을 참조하면, 디바이스(100)는 의료 행위와 관련되고, 주요 구간 및 비주요 구간을 포함하는 대상 동영상을 획득한다. 디바이스(100)는 카메라 등 촬영 장치를 통해 대상 동영상을 획득할 수도 있고 통신 방식으로 수신되는 데이터를 통해 동영상을 획득할 수도 있다.
단계 S320을 참조하면, 디바이스(100)는 주요 구간의 특성을 나타내는 키프레임을 획득한다.
일 실시 예에 따른 디바이스(100)는 수술 시작 시점, 수술 종료 시점, 수술 도구 사용 시점, 바이탈 이벤트 시점 및 출혈 시점 중 적어도 하나를 포함하는 이벤트 시점에 대응되는 정지 영상을 키프레임으로 결정할 수 있다.
키프레임은 어노테이션을 나타내는 썸네일 영상을 획득하는 과정에서 이용될 수 있다. 예를 들면 키프레임의 전체 또는 일부분이 썸네일 영상으로 이용될 수 있다.
일 실시 예에 따른 디바이스(100)는 대상 동영상에 대한 영상 분석을 통해서 주요 구간 또는 비주요 구간을 결정할 수 있는 특징을 추출할 수 있는 정지 영상을 키프레임으로 결정할 수 있다. 또한 디바이스(100)는 키프레임에 대한 영상 분석을 통해서, 주요 구간인지 여부를 결정할 수 있다.
단계 S330을 참조하면, 디바이스(100)는 키프레임에 대한 영상 분석 결과에 기초하여 주요 구간의 특성을 나타내는 어노테이션을 획득한다.
디바이스(100)는 키프레임에 대한 영상 분석 결과에 기초하여 주요 구간이 수술 시작 시점, 수술 종료 시점, 수술 도구 사용 시점, 바이탈 이벤트 시점 및 출혈 시점 중 적어도 하나를 포함하는 이벤트 시점에 대응하는지 여부를 결정할 수 있다.
단계 S340을 참조하면, 디바이스(100)는 대상 동영상 및 어노테이션을 병렬적으로 제공한다. 대상 동영상 및 어노테이션은 함께 디스플레이될 수 있으며, 상호 동기화되어 디스플레이될 수 있다. 예를 들면, 대상 동영상이 재생되고 있는 시점에 대응하는 주요 구간을 나타내는 어노테이션이 강조하여 디스플레이될 수 있다.
단계 S350을 참조하면, 디바이스(100)는 어노테이션에 대한 사용자 입력이 인가됨에 따라 어노테이션에 대응되는 주요 구간을 디스플레이한다. 예를 들면, 디스플레이되는 복수개의 어노테이션 중 어느 하나에 대한 터치 입력이 인가되는 경우, 터치 입력이 인가된 어노테이션에 대응하는 주요 구간이 재생될 수 있다.
도 4는 일 실시 예에 따른 디바이스(100)가 복수개의 어노테이션을 처리하는 방법을 도시한 흐름도이다.
단계 S410을 참조하면, 디바이스(100)는 대상 동영상에 포함되는 복수개의 주요 구간에 각각 대응되는 복수개의 어노테이션을 획득한다.
하나의 대상 동영상에는 하나 또는 복수개의 주요 구간이 포함되어 있을 수 있다. 대상 동영상에 복수개의 주요 구간이 포함되어 있는 경우, 복수개의 주요 구간 각각에 대응하는 복수개의 어노테이션이 획득될 수 있다. 예를 들면, 제 1 주요 구간 내지 제 8 주요 구간이 있는 경우, 제 1 주요 구간 내지 제 8 주요 구간에 각각 대응되는 제 1 어노테이션 내지 제 8 어노테이션이 획득될 수 있다.
단계 S420을 참조하면, 디바이스(100)는 복수개의 어노테이션을 기설정 순서에 따라 디스플레이한다.
기설정 순서는 다양한 요소에 따라 결정될 수 있다.
일 실시 예에 따를 때, 기설정 순서는 복수개의 어노테이션에 대응되는 이벤트 종류, 보험 청구 정보와의 일치율, 예상 정확도, 주요 구간의 길이, 음성 정보, 바이탈 정보 및 수가 정보 중 적어도 하나에 기초하여 결정될 수 있다.
기설정 순서와 관련하여 일 실시 예에 따를 때, 이벤트 종류가 가장 중요한 요소일 수 있다. 이벤트 종류가 수술 시작, 수술 종료, 수술 도구 사용, 바이탈 이벤트, 출혈 등 중에서 어떤 것인지에 따라 중요도가 달라질 수 있다. 예를 들면, 수술 도구가 무엇인지에 따라 수술 종류가 특정될 수 있기 때문에 수술 도구 사용에 대한 이벤트가 가장 중요할 수 있으며, 수술 종료에 대한 이벤트는 상대적으로 보험 심사와 관련성이 낮을 수 있기 때문에 중요도가 낮을 수 있다.
또한 보험 청구 정보와의 일치율은 기설정 순서와 관련하여 두 번째로 중요한 요소일 수 있다. 보험 청구 정보와의 일치율은 보험 청구 정보에서 제공되는 정보와 대상 동영상에서 획득되는 정보가 일치하는 정도를 의미할 수 있다. 예를 들면, 보험 청구 정보에서 맹장 수술이라고 수술 종류가 특정되었는데, 키프레임에서 수술 도구에 대한 영상 분석 결과 맹장 수술일 확률이 90%로 인식된 경우, 맹장 수술 도구가 인식된 키프레임이 나타내는 어노테이션의 보험 청구 정보와의 일치율은 90%일 수 있다. 또한, 보험 청구 정보와의 일치율은 수술 이름에 기초하여 결정될 수 있으며, 수술 이름은 대상 동영상에 대한 메타 데이터를 통해 획득될 수 있다.
또한 예상 정확도는 기설정 순서와 관련하여 세 번째로 중요한 요소일 수 있다. 예상 정확도는 어노테이션이 정확할 것으로 예상되는 확률을 의미할 수 있다. 예를 들면, 제 1 어노테이션이 '수술 개시'를 나타내는 경우, 제 1 어노테이션에 대한 설명 부분에 '수술 개시'라는 코멘트가 제공될 수 있으나, 영상 인식 결과에 오류가 있을 수 있기 때문에 실제로 제 1 어노테이션에 대한 제 1 주요 구간이 수술 개시와 무관할 수도 있다. 따라서 주요 구간과 주요 구간의 어노테이션에 대한 설명 내용이 정확히 대응될 수도 있지만 영상 인식 오류 등에 따라 틀릴 수도 있다. 여기서, 예상 정확도는 주요 구간과 주요 구간의 어노테이션에 대한 설명 내용이 정확히 대응될 확률을 의미할 수 있다. 예상 정확도가 높은 어노테이션은 예상 정확도가 낮은 어노테이션보다 높은 순서로 디스플레이될 수 있다.
또한 기설정 순서와 관련하여 주요 구간의 길이는 네 번째로 중요한 요소일 수 있다. 주요 구간의 길이가 길수록 확인에 오랜 시간이 걸리기 때문에 상대적으로 짧은 영상이 더 높은 순서로 디스플레이될 수 있다.
또한 기설정 순서와 관련하여 음성 정보는 다섯 번째로 중요한 요소일 수 있다. 대상 동영상에 포함된 음성 정보가 기설정 순서의 결정에 이용될 수 있다. 예를 들면, 디바이스(100)는 음성 정보에 기초하여 얼마나 다급한 상황인지를 나타내는 긴급 레벨을 결정할 수 있고, 결정된 긴급 레벨이 높은 키프레임에 대한 어노테이션의 기설정 순서를 결정된 긴급 레벨이 낮은 키프레임에 대한 어노테이션의 기설정 순서보다 더 높게 결정할 수 있다.
또한 기설정 순서와 관련하여 바이탈 정보는 여섯 번째로 중요한 요소일 수 있다. 예를 들면, 디바이스(100)는 바이탈 신호가 급격하게 변하는 정도를 나타내는 바이탈 급변 레벨을 결정할 수 있고, 결정된 바이탈 급변 레벨이 높은 키프레임에 대한 어노테이션의 기설정 순서를 결정된 바이탈 급변 레벨이 낮은 키프레임에 대한 어노테이션의 기설정 순서보다 더 높게 결정할 수 있다.
다만 상술한 중요 순서는 달라질 수 있다. 예를 들면, 음성 정보나 바이탈 정보의 중요도는 더 높게 결정될 수 있다. 일 예로, 복수개의 어노테이션에 대응되는 이벤트 종류, 바이탈 정보, 음성 정보, 보험 청구 정보와의 일치율, 예상 정확도, 주요 구간의 길이의 순서로 중요도가 낮아질 수 있다. 다른 예로, 복수개의 어노테이션에 대응되는 이벤트 종류, 바이탈 정보, 보험 청구 정보와의 일치율, 음성 정보, 예상 정확도, 주요 구간의 길이의 순서로 중요도가 낮아질 수 있다.
상술한 바와 같이, 일 실시 예에 따를 때 디바이스(100)는 복수개의 어노테이션을 기설정 순서에 따라 디스플레이할 수 있으며, 기설정 순서는 복수개의 어노테이션에 대응되는 이벤트 종류, 보험 청구 정보와의 일치율, 예상 정확도 및 주요 구간의 길이의 순서로 점차 낮아지도록 부여되는 가중치에 기초하여 결정될 수 있다. 다만 이는 일 실시 예로서, 다른 실시 예에 따를 때, 기설정 순서는 단순히 주요 구간의 시간 순서에 따라 결정될 수도 있다.
일 실시 예에 따를 때, 기설정 순서는 주요 구간의 시간 순서에 따라 결정될 수 있다. 이 경우, 디바이스(100)는 복수개의 어노테이션을 시간 순서에 따라 디스플레이할 수 있다.
또한, 디바이스(100)는 복수개의 어노테이션에 각각에 대한 예상 중요도를 복수개의 어노테이션과 병렬적으로 디스플레이할 수 있다.
일 실시 예에 따를 때, 예상 중요도는 복수개의 어노테이션에 대응되는 이벤트 종류, 보험 청구 정보와의 일치율, 예상 정확도 및 주요 구간의 길이 중 적어도 하나에 기초하여 결정될 수 있다.
예상 중요도는 상술한 기설정 순서를 결정하는 방식을 참조하여 결정될 수 있다. 예를 들면, 예상 중요도는 복수개의 어노테이션에 대응되는 이벤트 종류, 보험 청구 정보와의 일치율, 예상 정확도 및 주요 구간의 길이의 순서로 점차 낮아지도록 부여되는 가중치에 기초하여 결정될 수 있다. 다만 이는 일 실시 예로서, 다른 실시 예에 따를 때, 예상 중요도는 단순히 보험 청구 정보와의 일치율만으로 결정될 수도 있다.
예상 중요도는 숫자, 기호 등으로 표시될 수 있으며 방식에 제한되지 않는다. 또한, 복수개의 어노테이션에 각각에 대한 예상 중요도는 복수개의 어노테이션과 병렬적으로 디스플레이될 수 있다.
단계 S430을 참조하면, 디바이스(100)는 대상 동영상과 분리되고, 어노테이션에 대한 정보를 포함하는 어노테이션 파일을 제공한다.
예를 들면, 디바이스(100)는 대상 동영상과 분리되고, 어노테이션에 대한 정보를 포함하는 어노테이션 파일을 리스트 형식의 파일로 출력할 수 있다. 어노테이션 파일의 형식은 시중에서 이용되는 다양한 어플리케이션과 연동되는 형식일 수 있으며, 제한되지 않는다.
도 5는 일 실시 예에 따른 디바이스(100)가 대상 동영상에 대한 어노테이션을 디스플레이하는 일 예를 도시한 도면이다.
복수개의 주요 구간(511, 521, 531, 541, 551, 561, 571, 581)은 복수개의 어노테이션(512, 522, 532, 542, 552, 562, 572, 582)에 대응될 수 있다.
예를 들면 제 1주요 구간(511)은 제 1어노테이션(512)에 대응되고, 제 2주요 구간(521)은 제 2어노테이션(522)에 대응되고, 제 3주요 구간(531)은 제 3어노테이션(532)에 대응되고, 제 4주요 구간(541)은 제 4어노테이션(542)에 대응되고, 제 5주요 구간(551)은 제 5어노테이션(552)에 대응되고, 제 6주요 구간(561)은 제 6어노테이션(562)에 대응되고, 제 7주요 구간(571)은 제 7어노테이션(572)에 대응되고, 제 8주요 구간(581)은 제 8어노테이션(582)에 대응될 수 있다.
도 5의 경우 복수개의 어노테이션(512, 522, 532, 542, 552, 562, 572, 582)이 시간의 순서에 따라 디스플레이되고 있지만 디스플레이되는 순서는 적용되는 기준에 따라 달라질 수 있다. 예를 들면, 복수개의 어노테이션(512, 522, 532, 542, 552, 562, 572, 582)이 디스플레이되는 순서는 예상 중요도일 수 있다.
도 5를 참조하면 일 실시 예에 따른 예상 중요도는 각각의 어노테이션(512, 522, 532, 542, 552, 562, 572, 582)의 좌측에 원숫자로 표시될 수 있다.
도 6은 일 실시 예에 따른 디바이스(100)가 제공하는 어노테이션의 일 예를 도시한 도면이다.
또한, 제 1 영역(601)에 인가되는 사용자 입력에 기초하여 복수개의 어노테이션(512, 522, 532, 542, 552, 562, 572, 582)이 디스플레이되는 순서가 결정될 수 있다. 예를 들면, 복수개의 어노테이션(512, 522, 532, 542, 552, 562, 572, 582)이 디스플레이되는 순서는 시간순, 중요도순, 관련도순, 개인설정 등에 따라 결정될 수 있다.
관련도순은 특정 주제와 관련된 정도에 따른 순서일 수 있다. 예를 들면, 관련도순은 사용자 입력에 따른 검색 키워드와 관련된 정도에 따른 순서일 수 있다.
개인 설정은 사용자 입력에 따른 개인 설정에 따른 순서일 수 있다.
또한, 제 2 영역(602)에 인가되는 사용자 입력에 기초하여 복수개의 어노테이션(512, 522, 532, 542, 552, 562, 572, 582)에 대한 관련 기능이 수행될 수 있다.
도 7은 일 실시 예에 따른 디바이스(100)가 어노테이션과 함께 제공하는 재생바(700)에 대한 일 예를 설명하기 위한 도면이다.
일 실시 예에 따른 재생바(700)는 복수개의 썸네일 영상(710, 720, 730, 740, 750, 760, 770, 780)을 포함할 수 있다. 재생 위치 표시 바(790)는 현재 재생 위치를 표시할 수 있다.
일 실시 예에 따라 재생바(700)에 포함되는 복수개의 썸네일 영상(710, 720, 730, 740, 750, 760, 770, 780)은 복수개의 주요 구간 및 복수개의 어노테이션에 대응될 수 있다. 또한, 주요 구간의 길이와 재생바(700)에 포함되는 각각의 썸네일 영상(710, 720, 730, 740, 750, 760, 770, 780)의 크기는 비례할 수 있다. 예를 들면 재생 길이가 긴 제 7 주요 구간에 대한 썸네일 영상인 제 7 썸네일 영상(770)은 재생 길이가 짧은 제 1 주요 구간에 대한 썸네일 영상인 제 1 썸네일 영상(710)보다 가로로 더 길 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예를 들어, 디스플레이 장치 또는 컴퓨터)에 의해 읽을 수 있는 저장 매체(storage medium)(예를 들어, 메모리)에 저장된 하나 이상의 인스트럭션들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서(예를 들어, 프로세서(220))는, 저장 매체로부터 저장된 하나 이상의 인스트럭션들 중 적어도 하나의 인스트럭션을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 인스트럭션에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 인스트럭션들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 개시에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 발명에 대하여 예시한 도면을 참조로 하여 설명하였으나 개시된 실시 예와 도면에 의해 한정되는 것은 아니며 본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 실시 예를 설명하며 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측이 가능한 효과 또한 인정될 수 있다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 디바이스
110: 정보 획득 장치
130: 외부 서버 140: 저장 매체
150: 통신 디바이스 160: 가상 서버
170: 사용자 단말
210: 수신부 220: 프로세서
230: 출력부 240: 메모리
130: 외부 서버 140: 저장 매체
150: 통신 디바이스 160: 가상 서버
170: 사용자 단말
210: 수신부 220: 프로세서
230: 출력부 240: 메모리
Claims (13)
- 어노테이션을 포함하는 영상 획득 방법에 있어서,
의료 행위와 관련되고, 주요 구간 및 비주요 구간을 포함하는 대상 동영상을 획득하는 단계;
상기 주요 구간의 특성을 나타내는 키프레임을 획득하는 단계;
상기 키프레임에 대한 영상 분석 결과에 기초하여 상기 주요 구간의 특성을 나타내는 어노테이션을 획득하는 단계;
상기 대상 동영상 및 상기 어노테이션을 병렬적으로 제공하는 단계; 및
상기 어노테이션에 대한 사용자 입력이 인가됨에 따라 상기 어노테이션에 대응되는 상기 주요 구간을 디스플레이하는 단계;를 포함하는, 방법. - 제 1 항에 있어서,
상기 대상 동영상과 분리되고, 상기 어노테이션에 대한 정보를 포함하는 어노테이션 파일을 제공하는 단계;를 더 포함하는, 방법. - 제 1 항에 있어서,
상기 키프레임을 획득하는 단계는
수술 시작 시점, 수술 종료 시점, 수술 도구 사용 시점, 바이탈 이벤트 시점 및 출혈 시점 중 적어도 하나를 포함하는 이벤트 시점에 대응되는 정지 영상을 상기 키프레임으로 결정하는, 방법. - 제 1 항에 있어서,
상기 대상 동영상 및 상기 어노테이션을 병렬적으로 제공하는 단계는
상기 대상 동영상에 포함되는 복수개의 주요 구간에 각각 대응되는 복수개의 어노테이션을 획득하는 단계; 및
상기 복수개의 어노테이션을 기설정 순서에 따라 디스플레이하는 단계;를 포함하는, 방법. - 제 4 항에 있어서,
상기 기설정 순서는
상기 복수개의 어노테이션에 대응되는 이벤트 종류, 보험 청구 정보와의 일치율, 예상 정확도, 주요 구간의 길이, 음성 정보 및 바이탈 정보 중 적어도 하나에 기초하여 결정되는, 방법. - 제 4 항에 있어서,
상기 복수개의 어노테이션을 상기 기설정 순서에 따라 디스플레이하는 단계는
상기 복수개의 어노테이션을 시간 순서에 따라 디스플레이하고,
상기 복수개의 어노테이션에 각각에 대한 예상 중요도를 상기 복수개의 어노테이션과 병렬적으로 디스플레이하는, 방법. - 제 6 항에 있어서,
상기 예상 중요도는
상기 복수개의 어노테이션에 대응되는 이벤트 종류, 보험 청구 정보와의 일치율, 예상 정확도, 주요 구간의 길이, 음성 정보 및 바이탈 정보의 순서로 낮아지도록 부여되는 가중치에 기초하여 결정되는, 방법. - 어노테이션을 포함하는 동영상 획득 디바이스에 있어서,
의료 행위와 관련되고, 주요 구간 및 비주요 구간을 포함하는 대상 동영상을 획득하는 수신부;
상기 주요 구간의 특성을 나타내는 키프레임을 획득하고,
상기 키프레임에 대한 영상 분석 결과에 기초하여 상기 주요 구간의 특성을 나타내는 어노테이션을 획득하고,
상기 대상 동영상 및 상기 어노테이션을 병렬적으로 제공하는 프로세서; 및
상기 어노테이션에 대한 사용자 입력이 인가됨에 따라 상기 어노테이션에 대응되는 상기 주요 구간을 디스플레이하는 디스플레이;를 포함하는, 디바이스. - 제 8 항에 있어서,
상기 프로세서는
상기 대상 동영상과 분리되고, 상기 어노테이션에 대한 정보를 포함하는 어노테이션 파일을 제공하는, 디바이스. - 제 8 항에 있어서,
상기 프로세서는
수술 시작 시점, 수술 종료 시점, 수술 도구 사용 시점, 바이탈 이벤트 시점 및 출혈 시점 중 적어도 하나를 포함하는 이벤트 시점에 대응되는 정지 영상을 상기 키프레임으로 결정하는, 프로세서. - 제 8 항에 있어서,
상기 프로세서는
상기 대상 동영상에 포함되는 복수개의 주요 구간에 각각 대응되는 복수개의 어노테이션을 획득하고,
상기 디스플레이는
상기 복수개의 어노테이션을 기설정 순서에 따라 디스플레이하는, 디바이스. - 제 11 항에 있어서,
상기 기설정 순서는
상기 복수개의 어노테이션에 대응되는 이벤트 종류, 보험 청구 정보와의 일치율, 예상 정확도, 주요 구간의 길이, 음성 정보 및 바이탈 정보 중 적어도 하나에 기초하여 결정되는, 디바이스. - 제 1항 내지 제 7 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220100179A KR20240021624A (ko) | 2022-08-10 | 2022-08-10 | 어노테이션을 포함하는 영상 획득 방법 및 디바이스 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220100179A KR20240021624A (ko) | 2022-08-10 | 2022-08-10 | 어노테이션을 포함하는 영상 획득 방법 및 디바이스 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240021624A true KR20240021624A (ko) | 2024-02-19 |
Family
ID=90055938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220100179A KR20240021624A (ko) | 2022-08-10 | 2022-08-10 | 어노테이션을 포함하는 영상 획득 방법 및 디바이스 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240021624A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102190160B1 (ko) | 2018-12-18 | 2020-12-11 | 김현수 | 건강보험심사 평가 기반 의료 상품 통합 관리 시스템 |
-
2022
- 2022-08-10 KR KR1020220100179A patent/KR20240021624A/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102190160B1 (ko) | 2018-12-18 | 2020-12-11 | 김현수 | 건강보험심사 평가 기반 의료 상품 통합 관리 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10342410B2 (en) | Automated system for medical video recording and storage | |
| US20210019672A1 (en) | Efficient surgical center workflow procedures | |
| CN107405079B (zh) | 用于解剖区域的视频图像的内容管理的方法和系统 | |
| US20110245632A1 (en) | Medical Diagnosis Using Biometric Sensor Protocols Based on Medical Examination Attributes and Monitored Data | |
| US11424025B2 (en) | Systems and methods for medical device monitoring | |
| CN104699958A (zh) | 一种根据用户身体状况推荐菜谱的方法及装置 | |
| CN107910073A (zh) | 一种急诊预检分诊方法及装置 | |
| US20210065889A1 (en) | Systems and methods for graphical user interfaces for a supervisory application | |
| CN110610181A (zh) | 医学影像识别方法及装置、电子设备及存储介质 | |
| JP2011167301A (ja) | 手術映像蓄積装置、手術映像蓄積方法、およびプログラム | |
| EP3080998A2 (en) | System and method for controlling the display of an image stream | |
| KR102466438B1 (ko) | 인지 기능 평가 시스템 및 인지 기능 평가 방법 | |
| KR102182579B1 (ko) | 전자차트와 치과용 프로그램 간 연동방법 및 이를 수행하는 치과용 보험청구 시스템 | |
| US20210064224A1 (en) | Systems and methods for graphical user interfaces for medical device trends | |
| JP2015505430A (ja) | 携帯電子機器及び携帯電子機器を使用してメディアを記録する方法 | |
| US20170235913A1 (en) | Image data ingestion applciation of a medical imaging data processing and retrieval system | |
| CN105051701B (zh) | 设计工具 | |
| US20150379217A1 (en) | Medical information display system, server, and portable terminal | |
| JP2023526412A (ja) | 情報処理方法、電子装置、及びコンピュータ記憶媒体 | |
| WO2021140503A1 (en) | A remote medical examination system and method | |
| KR20240021624A (ko) | 어노테이션을 포함하는 영상 획득 방법 및 디바이스 | |
| CN111326263A (zh) | 标注轨迹显示方法、装置、设备及计算机可读存储介质 | |
| CN114121208A (zh) | 一种基于可视化资料的手术记录质量控制方法 | |
| KR20240018193A (ko) | 중요도와 관련된 영상 처리 방법, 서버 및 기록매체 | |
| KR20240048074A (ko) | 라벨링을 이용한 능동 학습 방법 및 디바이스 |