KR20240020296A - 라벨링을 통한 영상 처리 방법, 디바이스 및 기록매체 - Google Patents

라벨링을 통한 영상 처리 방법, 디바이스 및 기록매체 Download PDF

Info

Publication number
KR20240020296A
KR20240020296A KR1020220096779A KR20220096779A KR20240020296A KR 20240020296 A KR20240020296 A KR 20240020296A KR 1020220096779 A KR1020220096779 A KR 1020220096779A KR 20220096779 A KR20220096779 A KR 20220096779A KR 20240020296 A KR20240020296 A KR 20240020296A
Authority
KR
South Korea
Prior art keywords
surgery
information
patient
label
partial video
Prior art date
Application number
KR1020220096779A
Other languages
English (en)
Inventor
김덕석
최보경
Original Assignee
주식회사 엠티이지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠티이지 filed Critical 주식회사 엠티이지
Priority to KR1020220096779A priority Critical patent/KR20240020296A/ko
Priority to PCT/KR2023/011427 priority patent/WO2024029964A1/ko
Publication of KR20240020296A publication Critical patent/KR20240020296A/ko

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

일 실시 예에 따라, 의료 행위와 관련된 복수개의 대상 동영상을 획득하는 단계; 상기 복수개의 대상 동영상에 포함되는 부분 동영상의 특성을 나타내는 키프레임을 획득하는 단계; 상기 키프레임에 대한 영상 분석 결과에 기초하여 상기 부분 동영상의 특성을 나타내는 특성 정보를 획득하는 단계; 상기 특성 정보에 기초하여 상기 부분 동영상의 분류에 이용되는 라벨을 획득하는 단계; 및 상기 부분 동영상에 상기 라벨을 매칭하여 라벨링된 부분 동영상을 획득하는 단계;를 포함하는, 방법, 디바이스 및 기록매체가 개시된다.

Description

라벨링을 통한 영상 처리 방법, 디바이스 및 기록매체{Method, device and recording medium for image processing through labeling}
본 개시는 복수개의 동영상에 대한 라벨링을 통해 영상 처리를 수행하는 기술 분야와 관련된 것으로, 구체적으로는 복수개의 동영상에 포함되는 프레임의 특성에 기초하여 획득되는 라벨과 부분 동영상을 매칭하도록 영상을 처리하는 기술 분야와 관련된다.
최근 들어 카메라가 부착된 내시경 장비들이 다양한 분야에서 사용되고, 대상자의 체내에 삽입되거나 시술 또는 수술 현장을 촬영하는 영상 장비들이 소형화, 보편화되면서 내외과적 수술에서 동영상을 획득하는 경우가 많아지고 있다. 또한, 최근 들어 빅 데이터, 인공 지능의 발달로 동영상을 의료 정보 콘텐츠로 가공하고 이를 기반으로 기술에 대한 표준화 연구 및 도구의 사용성에 대한 평가 연구 등 다양한 연구를 진행하고자 하는 병원과 의사가 늘어남에 따라 동영상의 저장과 주요 장면에 대한 빠른 검색이 요구되고 있다.
이에 따라, 의료 행위와 관련된 복수개의 동영상에 대한 분석을 통해 수술 부위, 수술 종류, 수술자(예: 의사) 전공, 수술 난이도 등으로 분류하여 사용자가 원하는 동영상을 쉽게 빠르게 찾는 방식 등이 요구되나, 종래에는 동영상을 단순 보관하거나 단일 동영상에 대한 분석을 수행하여 분류하는, 기본적인 방식 만이 제공되고 있어 종래 기술로는 현재의 니즈를 충족시키지 못하는 실정이다.
한국등록특허 제10-2097740호 (2020.03.31), 인공지능을 활용한 의료영상 자동 분류 및 표준화 시스템 및 그 구동방법
본 개시에서 해결하고자 하는 과제는 의료 행위와 관련된 복수개의 대상 동영상 중 각 동영상들의 일부인 부분 동영상에서 도출되는 특성을 이용하여 라벨을 획득하고, 라벨과 부분 동영상을 매칭함으로써 사용자가 원하는 특성의 영상을 라벨에 대한 검색을 통해 쉽고 빠르게 얻을 수 있도록 하기 위한 것이다.
본 개시에서 해결하고자 하는 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로써, 본 개시의 제 1 측면에 따른 라벨링을 통한 영상 처리 방법은, 의료 행위와 관련된 복수개의 대상 동영상을 획득하는 단계; 상기 복수개의 대상 동영상에 포함되는 부분 동영상의 특성을 나타내는 키프레임을 획득하는 단계; 상기 키프레임에 대한 영상 분석 결과에 기초하여 상기 부분 동영상의 특성을 나타내는 특성 정보를 획득하는 단계; 상기 특성 정보에 기초하여 상기 부분 동영상의 분류에 이용되는 라벨을 획득하는 단계; 및 상기 부분 동영상에 상기 라벨을 매칭하여 라벨링된 부분 동영상을 획득하는 단계;를 포함할 수 있다.
또한, 상기 키프레임을 획득하는 단계는 상기 복수개의 대상 동영상에서 상기 특성 정보를 포함하고 있는 정지 영상을 필터링하여 획득할 수 있다.
또한, 상기 특성 정보는 수술 부위 관련 정보, 수술 종류 관련 정보, 수술자 정보, 환자 정보, 바이탈 정보, 환자 수술 전 상태 정보, 환자 수술 후 상태 정보, 수술 난이도 정보 및 촬영 타입 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 라벨은 수술 부위, 수술 종류, 수술자 전공, 환자 성별, 환자 수술 전 상태 레벨, 환자 수술 후 상태 레벨, 수술 난이도 레벨, 촬영 타입 중 적어도 하나를 포함할 수 있다.
또한, 사용자 검색 입력을 획득하는 단계; 상기 사용자 검색 입력에 대응되는 복수개의 라벨을 결정하는 단계; 및 상기 복수개의 라벨을 라벨 우선순위에 따라 디스플레이하는 단계;를 더 포함하고, 상기 라벨 우선순위는 상기 수술 부위, 상기 수술 종류, 상기 수술자 전공, 상기 환자 성별, 상기 환자 수술 전 상태 레벨, 상기 환자 수술 후 상태 레벨 및 상기 수술 난이도 레벨에 부여되는 가중치에 기초하여 결정될 수 있다.
또한, 사용자 검색 입력에 기초하여 상기 라벨이 검색됨에 따라, 상기 라벨에 대응되는 상기 라벨링된 부분 동영상의 썸네일 영상을 제공하는 단계;를 더 포함할 수 있다.
또한, 상기 썸네일 영상은 상기 라벨링된 부분 동영상에 포함된 상기 키프레임으로부터 획득될 수 있다.
본 개시의 제 2 측면에 따른 라벨링을 통한 영상 처리 디바이스는, 의료 행위와 관련된 복수개의 대상 동영상을 획득하는 수신부; 및 상기 복수개의 대상 동영상에 포함되는 부분 동영상의 특성을 나타내는 키프레임을 획득하고, 상기 키프레임에 대한 영상 분석 결과에 기초하여 상기 부분 동영상의 특성을 나타내는 특성 정보를 획득하고, 상기 특성 정보에 기초하여 상기 부분 동영상의 분류에 이용되는 라벨을 획득하고, 상기 부분 동영상에 상기 라벨을 매칭하여 라벨링된 부분 동영상을 획득하는 프로세서;를 포함할 수 있다.
또한, 상기 프로세서는 상기 복수개의 대상 동영상에서 상기 특성 정보를 포함하고 있는 정지 영상을 필터링하여 상기 키프레임을 획득할 수 있다.
또한, 상기 특성 정보는 수술 부위 관련 정보, 수술 종류 관련 정보, 수술자 정보, 환자 정보, 바이탈 정보, 환자 수술 전 상태 정보, 환자 수술 후 상태 정보, 수술 난이도 정보 및 촬영 타입 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 라벨은 수술 부위, 수술 종류, 수술자 전공, 환자 성별, 환자 수술 전 상태 레벨, 환자 수술 후 상태 레벨, 수술 난이도 레벨, 촬영 타입 중 적어도 하나를 포함할 수 있다.
또한, 상기 수신부는 사용자 검색 입력을 획득하고, 상기 프로세서는 상기 사용자 검색 입력에 대응되는 복수개의 라벨을 결정하고, 상기 복수개의 라벨을 라벨 우선순위에 따라 디스플레이하는 출력부를 더 포함하고,, 상기 라벨 우선순위는 상기 수술 부위, 상기 수술 종류, 상기 수술자 전공, 상기 환자 성별, 상기 환자 수술 전 상태 레벨, 상기 환자 수술 후 상태 레벨 및 상기 수술 난이도 레벨에 부여되는 가중치에 기초하여 결정될 수 있다.
본 개시의 제 3 측면에 따르면, 제 1 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 개시의 일 실시 예에 따르면, 사용자가 수동적으로 필요한 동영상을 직접 찾는 작업이 별도로 요구되지 않는다.
또한, 영상의 특성이나 종류에 따라서 결정된 우선순위를 이용하여 검색 결과를 제공함으로써 영상에 대한 이용 및 관리가 용이해진다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1 은 일 실시 예에 따른 디바이스를 포함하는 영상 처리 시스템의 개략적인 구성도이다.
도 2 는 일 실시 예에 따른 디바이스의 구성을 개략적으로 도시한 블록도이다.
도 3 은 일 실시 예에 따른 디바이스가 동작하는 각 단계를 도시한 흐름도이다.
도 4 는 일 실시 예에 따른 디바이스가 복수개의 라벨을 디스플레이하는 각 단계를 도시한 흐름도이다.
도 5 는 일 실시 예에 따른 복수개의 대상 동영상 및 부분 동영상을 설명하기 위해 개략적으로 도시한 도면이다.
도 6 은 일 실시 예에 따른 사용자 검색 입력에 기초하여 복수개의 라벨 및 라벨링된 부분 동영상의 썸네일 영상을 제공하는 예를 개략적으로 도시한 도면이다.
도 7 은 일 실시 예에 따른 사용자 검색 입력에 기초하여 복수개의 라벨 및 라벨링된 부분 동영상의 썸네일 영상을 제공하는 다른 예를 개략적으로 도시한 도면이다.
본 개시에서 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시 예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 개시가 완전 하도록 하고, 해당 기술 분야에 속하는 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 해당 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작 시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 일 실시 예에 따라 디바이스(100)가 네트워크와 연동하여 동작하는 영상 처리 시스템을 설명하는 도면이다.
도 1에 도시된 바와 같이, 영상 처리 시스템은 정보 획득 장치(110), 디바이스(100), 외부 서버(130), 저장 매체(140), 통신 디바이스(150), 가상 서버(160), 사용자 단말(170) 및 네트워크 등을 포함할 수 있다.
그러나, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 영상 처리 시스템에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 영상 처리 시스템은 네트워크와 연동하여 동작하는 블록체인 서버(미도시)를 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 1에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
일 실시 예에 따른 디바이스(100)는 정보 획득 장치(110)로부터 수술 등 의료 행위와 관련된 정보를 획득할 수 있다. 정보 획득 장치(110)는 촬영 장치, 녹음 장치, 생체 신호 획득 장치 등을 포함할 수 있으나, 이에 제한되지 않는다. 생체 신호는 체온 신호, 맥박 신호, 호흡 신호, 혈압 신호, 근전도 신호, 뇌파 신호 등 생명체로부터 획득되는 신호를 제한 없이 포함할 수 있다. 정보 획득 장치(110)의 일 예인 촬영 장치는 수술실 상황을 전체적으로 촬영하는 제 1 촬영 장치(예: CCTV 등)와 수술 부위를 집중적으로 촬영하는 제 2 촬영 장치(예: 내시경 등) 등을 포함할 수 있으나, 이에 제한되지 않는다.
일 실시 예에 따른 디바이스(100)는 정보 획득 장치(110)로부터 수술 등 의료 행위와 관련된 복수개의 대상 동영상(동영상, 정지영상 등)을 획득할 수 있다. 디바이스(100)는 획득한 영상에 대한 영상 처리를 수행할 수 있다. 일 실시 예에 따른 영상 처리는 각각의 영상에 대한 네이밍, 인코딩, 저장, 전송, 편집, 메타 데이터 생성, 라벨링 등을 포함할 수 있으나, 이에 제한되지 않는다.
일 실시 예에 따른 디바이스(100)는 정보 획득 장치(110)로부터 획득한 의료 행위 관련 정보를 그대로 또는 갱신하여 네트워크로 전송할 수 있다. 디바이스(100)가 네트워크로 전송하는 전송 정보는 네트워크를 통해서 외부 디바이스(130, 140, 150, 160, 170)로 전송될 수 있다. 예를 들면, 네트워크는 외부 서버(130), 저장 매체(140), 통신 디바이스(150), 가상 서버(160), 사용자 단말(170) 등으로 디바이스(100)가 네트워크로 전송한 전송 정보를 그대로 또는 갱신하여 전송할 수 있다. 디바이스(100) 또한 외부 디바이스(130, 140, 150, 160, 170)로부터 수신한 정보(예: 피드백 정보, 갱신 요청 등)를 수신할 수 있다. 통신 디바이스(150)는 통신에 이용되는 디바이스를 제한 없이 의미할 수 있으며(예: 게이트웨이), 통신 디바이스(150)는 사용자 단말(180) 등 네트워크와 직접 연결되지 않는 디바이스와 통신할 수 있다.
일 실시 예에 따른 디바이스(100)는 후술하는 바와 같이 입력부, 출력부 프로세서, 메모리 등을 포함할 수 있으며, 디스플레이 장치(미도시)도 포함할 수 있다. 예컨대, 사용자는 디스플레이 장치를 통해서 통신 상태, 메모리 사용 현황, 전력 상태(예: 배터리의 충전상태(State Of Charge), 외부 전력 공급 여부 등), 저장된 동영상에 대한 썸네일, 현재 동작 중인 동작 모드 등을 등을 확인 할 수 있다. 한편, 디스플레이 장치는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 등일 수 있다. 또한, 디스플레이 장치는 구현 형태에 따라 2개 이상의 디스플레이를 포함할 수 있다. 또한, 디스플레이의 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이는 출력 장치 이외에 입력 장치로도 사용될 수 있다.
또한, 네트워크는 유선 통신 또는 무선 통신을 통해 상호 통신을 수행할 수 있다. 예컨대 네트워크는 일종의 서버로 구현될 수도 있으며, 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등을 포함할 수 있다. 물론, 디바이스(100)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등을 이용하여 각종 외부기기와 통신을 수행할 수 있다. 와이파이 칩, 블루투스 칩은 각각 Wi-Fi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작할 수 있다.
일 실시 예에 따른 입력부는 사용자가 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미할 수 있다. 예를 들어, 입력부에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
일 실시 예에 따른 출력부는 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부는 디스플레이 장치, 음향 출력 장치, 및 진동 모터 등을 포함할 수 있다.
일 실시 예에 따른 사용자 단말(170)은 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC 등 다양한 유무선 통신 디바이스를 포함할 수 있으나 이에 제한되지 않는다.
일 실시 예에 따른 디바이스(100)는 획득한 영상의 메타 데이터(예: 생성 시간)을 이용하여 영상 파일의 네이밍을 수행할 수 있다. 다른 예로, 디바이스(100)는 정보 획득 장치(110)로부터 획득한 의료 행위와 관련된 영상을 분류할 수 있도록 라벨링을 수행할 수 있다. 디바이스(100)는 학습된 AI를 이용하여, 의료 행위와 관련된 영상을 수술 종류, 수술자, 수술 장소 등 다양한 기준에 기초하여 분류할 수 있다.
도 2 는 일 실시 예에 따른 디바이스(100)의 구성을 개략적으로 도시한 블록도이다.
도 2를 참조하면, 디바이스(100)는 수신부(210), 프로세서(220), 출력부(230) 및 메모리(240)를 포함할 수 있다.
일 실시 예에 따른 수신부(210)는 의료 행위와 관련된 복수개의 대상 동영상(500)을 획득할 수 있다. 일 실시 예에서, 대상 동영상은 수술 동영상을 의미하며 수술 동영상의 전체 구간을 포함할 수 있다. 또한, 수신부(210)는 사용자 검색 입력(630)을 획득할 수 있다.
일 실시 예에 따른 프로세서(220)는 복수개의 대상 동영상(500)에 포함되는 부분 동영상(510, 520, 530, 540, 550, 560)의 특성을 나타내는 키프레임을 획득하고, 키프레임에 대한 영상 분석 결과에 기초하여 부분 동영상(510, 520, 530, 540, 550, 560)의 특성을 나타내는 특성 정보를 획득하고, 특성 정보에 기초하여 부분 동영상(510, 520, 530, 540, 550, 560)의 분류에 이용되는 라벨(610)을 획득하고, 부분 동영상(510, 520, 530, 540, 550, 560)에 라벨(610)을 매칭하여 라벨링된 부분 동영상을 획득할 수 있다.
또한, 프로세서(220)는 복수개의 대상 동영상(500)에서 특성 정보를 포함하고 있는 정지 영상을 필터링하여 키프레임을 획득할 수 있다.
또한, 프로세서(220)는 사용자 검색 입력(630)에 대응되는 복수개의 라벨(610)을 결정할 수 있다.
일 실시 예에 따른 출력부(230)는 프로세서(220)로부터 획득된 복수개의 라벨(610)을 라벨 우선순위에 따라 디스플레이할 수 있다. 복수개의 라벨(610)에 대한 라벨 우선순위는 프로세서(220)에 의해 결정될 수 있다.
일 실시 예에 따른 메모리(240)는 수신부(210)로부터 획득된 복수개의 대상 동영상(500), 프로세서(220)로부터 획득된 키프레임, 특성 정보, 라벨(610) 및 라벨링된 부분 동영상을 획득하는 프로세스에서 생성되는 다양한 정보들을 저장 및 포함할 수 있다.
또한, 디바이스(100)는 수신부(210)에서 복수개의 대상 동영상(500)을 획득하며 출력부(230)를 통해 복수개의 라벨(610)을 라벨 우선순위에 따라 디스플레이하게 되는 과정에서 인터넷망 또는 이동통신망 등과 같은 종래의 다양한 네트워크 조합에 의해 결합될 수 있으며, 이에 대해서는 특별한 제한이 없음을 유의해야 한다.
더하여, 도 2에 도시된 구성요소들 외에 다른 범용적인 디바이스(100)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 디바이스(100)는 사용자 계정으로부터 획득되는 의료 행위와 관련된 복수개의 대상 동영상(500) 등을 저장하는 복수의 메모리(미도시)를 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 2에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
일 실시 예에 따른 디바이스(100)는 사용자에 의해 이용될 수 있고, 휴대폰, 스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 태블릿 PC 등과 같이 터치 스크린 패널이 구비된 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 연동될 수 있으며, 이 외에도 데스크탑 PC, 태블릿 PC, 랩탑 PC, 셋탑 박스를 포함하는 IPTV와 같이, 애플리케이션을 설치하고 실행할 수 있는 기반이 마련된 장치에 포함되거나 연동될 수 있다.
디바이스(100)는 본 명세서에서 설명되는 기능을 실현시키기 위한 컴퓨터 프로그램을 통해 동작하는 컴퓨터 등의 단말기로 구현될 수 있다.
일 실시 예에 따른 디바이스(100)는 라벨링된 부분 동영상을 획득하는 시스템(미도시) 및 관련 서버(미도시)를 포함할 수 있으나, 이에 제한되지 않는다. 일 실시 예에 따른 서버는 라벨링된 동영상을 획득하는 애플리케이션을 지원할 수 있다.
이하에서는 일 실시 예에 따른 디바이스(100)가 독립적으로 라벨링된 동영상을 획득하는 실시 예를 중심으로 서술하도록 하지만, 전술한 것처럼, 서버와의 연동을 통해 수행될 수도 있다. 즉, 일 실시 예에 따른 디바이스(100)와 서버는 그 기능의 측면에서 통합 구현될 수 있고, 서버는 생략될 수도 있으며, 어느 하나의 실시 예에 제한되지 않음을 알 수 있다.
도 3 은 일 실시 예에 따른 디바이스(100)가 동작하는 각 단계를 도시한 흐름도이다.
단계 S310에서 디바이스(100)는 의료 행위와 관련된 복수개의 대상 동영상(500)을 획득할 수 있다. 복수개의 대상 동영상(500)은 특성 정보를 포함하고 있는 정지 영상을 포함할 수 있다. 여기서, 특성 정보는 복수개의 대상 동영상(500) 각각의 의료 행위의 특성을 나타내는 정보로써, 수술 부위 관련 정보, 수술 종류 관련 정보, 수술자 정보, 환자 정보, 바이탈 정보, 환자 수술 전 상태 정보, 환자 수술 후 상태 정보, 수술 난이도 정보 및 촬영 타입 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 수술자 정보는 대상 동영상 내의 수술을 진행한 의사 또는 간호사 등에 대한 정보를 나타낼 수 있고, 촬영 타입 정보는 대상 동영상을 촬영한 장비가 내시경 카메라인지, 외부 카메라인지 등을 나타내는 정보일 수 있다.
단계 S320에서 디바이스(100)는 복수개의 대상 동영상(500)에 포함되는 부분 동영상(510, 520, 530, 540, 550, 560)의 특성을 나타내는 키프레임을 획득할 수 있다.
예를 들어, 부분 동영상(510, 520, 530, 540, 550, 560)은 복수개의 대상 동영상(500)의 전체 구간 중 일부 구간을 포함할 수 있는데, 구체적으로는 복수개의 대상 동영상(500) 중 특정 의료 행위나 이벤트(예: 수술 시작, 수술 도구 교체 등)를 나타내는 특성을 포함할 수 있다.
또한, 키프레임은 부분 동영상(510, 520, 530, 540, 550, 560)의 특성을 나타내는, 또는 특성에 대한 영상이 시작되는 부분에 대응되는 정지 영상(또는, 프레임)을 나타낼 수 있다. 일 실시 예에서, 키프레임은 부분 동영상(510, 520, 530, 540, 550, 560)의 재생 시작 지점에 대응되는 프레임을 포함할 수 있다. 또한, 키프레임은 부분 동영상(510, 520, 530, 540, 550, 560)에 포함될 수 있다.
이와 관련하여, 일 실시 예에 따른 디바이스(100)는 복수개의 대상 동영상(500)에서 특성 정보를 포함하고 있는 정지 영상을 필터링하여 키프레임을 획득할 수 있다. 예를 들어, 특성 정보는 수술 부위 관련 정보, 수술 종류 관련 정보, 수술자 정보, 환자 정보, 바이탈 정보, 환자 수술 전 상태 정보, 환자 수술 후 상태 정보, 수술 난이도 정보 및 촬영 타입 정보 중 적어도 하나를 포함할 수 있다.
또한, 디바이스(100)는 기저장된 영상 분석 알고리즘을 이용하여 특성 정보를 포함하는 정지 영상을 필터링하고, 필터링 결과에 따른 정지 영상으로부터 키프레임(예를 들면, 특성 정보에 대응되는 영상이 시작되는 부분 등)을 획득할 수 있다.
단계 S330에서 디바이스(100)는 키프레임에 대한 영상 분석 결과에 기초하여 부분 동영상(510, 520, 530, 540, 550, 560)의 특성을 나타내는 특성 정보를 획득할 수 있다.
예를 들어, 디바이스(100)는 키프레임에 대한 영상 분석 결과에 기초하여 해당 부분 동영상(510, 520, 530, 540, 550, 560)이 어떠한 의료 행위나 이벤트, 즉 어떠한 특성을 나타내는지를 판단하고, 이에 기초하여 부분 동영상(510, 520, 530, 540, 550, 560)의 특성 정보를 획득할 수 있다.
단계 S340에서 디바이스(100)는 특성 정보에 기초하여 부분 동영상(510, 520, 530, 540, 550, 560)의 분류에 이용되는 라벨(610)을 획득할 수 있다.
구체적으로, 라벨(610)은 수술 부위, 수술 종류, 수술자 전공, 환자 성별, 환자 수술 전 상태 레벨, 환자 수술 후 상태 레벨, 수술 난이도 레벨, 촬영 타입 중 적어도 하나를 포함할 수 있다.
예를 들어, 부분 동영상(510, 520, 530, 540, 550, 560)의 특성 정보가 수술 부위 관련 정보 및 촬영 타입 정보를 포함하는 경우, 디바이스(100)는 해당 부분 동영상(510, 520, 530, 540, 550, 560)의 분류에 이용되는, 수술 부위 및 촬영 타입에 대한 라벨(610)을 획득할 수 있다.
이후, 단계 S350에서 디바이스(100)는 부분 동영상(510, 520, 530, 540, 550, 560)에 라벨(610)을 매칭하여 라벨링된 부분 동영상을 획득할 수 있다. 예를 들어, 라벨링된 부분 동영상은 해당 동영상에 대응되는 라벨(610)에 대한 사용자의 검색 입력이 획득되는 경우 등에 의해 선택될 수 있다.
이처럼 부분 동영상(510, 520, 530, 540, 550, 560)에 라벨(610)을 매칭하여 라벨링된 부분 동영상을 획득함으로써, 사용자가 특정한 의료 행위 등과 관련된 부분 동영상(510, 520, 530, 540, 550, 560)을 보다 쉽고 용이하게 획득하도록 할 수 있다.
도 4 는 일 실시 예에 따른 디바이스(100)가 복수개의 라벨(610)을 디스플레이하는 각 단계를 도시한 흐름도이다.
단계 S410에서 디바이스(100)는 사용자 검색 입력(630)을 획득할 수 있다. 예를 들어, 사용자 검색 입력(630)은 단일 또는 복수개의 라벨(610)에 대응되거나 유사한 키워드를 나타낼 수 있다.
단계 S420에서 디바이스(100)는 사용자 검색 입력(630)에 대응되는 복수개의 라벨(610)을 결정할 수 있다. 예를 들어, 라벨(610)은 부분 동영상(510, 520, 530, 540, 550, 560)마다 단일 또는 복수개로 존재하므로 사용자 검색 입력(630)에 따른 키워드가 단일 키워드인 경우에도, 해당 키워드에 대응되는 라벨(610)은 복수개일 수 있다. 또한, 사용자 검색 입력(630)에 따른 키워드가 복수개인 경우, 복수개의 키워드에 대응되는 단일 또는 복수개의 라벨(610)이 결정될 수 있다.
단계 S430에서 디바이스(100)는 복수개의 라벨(610)을 라벨 우선순위에 따라 디스플레이할 수 있다.
예를 들어, 복수개의 라벨(610)은 부분 동영상(510, 520, 530, 540, 550, 560)의 중요도, 부분 동영상(510, 520, 530, 540, 550, 560)의 이용 빈도, 활용도 등이 상이하므로 복수개의 라벨(610)이 디스플레이되는 우선순위가 상이할 수 있다.
이에 따라, 라벨 우선순위는 수술 부위, 수술 종류, 수술자 전공, 환자 성별, 환자 수술 전 상태 레벨, 환자 수술 후 상태 레벨 및 수술 난이도 레벨에 부여되는 가중치에 기초하여 결정될 수 있다. 예를 들어, 수술자 전공은 동영상 내 수술을 진행한 수술자의 전공을 나타낼 수 있고, 전문성을 판단하기 위해 이용될 수 있다. 환자 수술 전 상태 레벨 및 환자 수술 후 상태 레벨은 수술 전/후 환자의 신체적 또는 정신적 상태에 대한 좋고 나쁨의 정도를 나타낼 수 있는데, 수술 전 상태 레벨 및 수술 후 상태 레벨은 높을수록 수술 전/후 환자의 상태가 좋은 것으로 볼 수 있고, 반대로 낮을수록 수술 전/후 환자의 상태가 나쁜 것으로 볼 수 있다.
일 실시 예에서, 라벨(610)에 부여되는 가중치는 수술 종류, 수술 난이도 레벨, 환자 성별, 수술 부위, 수술자 전공, 환자 수술 전 상태 레벨 및 환자 수술 후 상태 레벨의 순서로 높게 부여될 수 있다.
예를 들어, 수술 종류는 수술과 관련된 영상을 검색하기 위한 가장 넓은 범위의 카테고리라고 볼 수 있다는 점에서, 수술 종류에 1순위로 높은 가중치가 부여될 수 있다.
또한, 수술 난이도에 따라서 수술 시간, 수술 방식, 수술 순서 등 영상의 내용이 상이하게 나타나 이에 대한 판단이 우선되는 것이 바람직하다는 점에서, 수술 난이도에 2순위로 높은 가중치가 부여될 수 있다.
또한, 환자의 수술 전 상태 레벨은 수술 난이도에 영향을 미칠 수 있고, 수술 전 환자의 상태를 고려하여 수술하기 때문에 이에 대한 판단 또한 우선될 수 있다는 점에서, 환자 수술 전 상태 레벨에 3순위로 높은 가중치가 부여될 수 있다.
또한, 성별에 따라 신체적 구조가 다를 수 있고, 그에 따라 수술 방식, 수술 도구 등이 상이할 수 있다는 점에서, 환자 성별에 4순위로 높은 가중치가 부여될 수 있다.
또한, 수술 부위는 수술 종류에 종속되는 경우(예: 맹장 수술-복부)가 존재한다는 점에서, 수술 부위에 5순위로 높은 가중치가 부여될 수 있다.
또한, 난이도가 낮거나 특정 종류의 수술은 비전공의인 경우에도 수행할 수 있고, 난이도가 높거나 대부분의 수술 종류의 경우 전공의만 수술이 가능한 경우가 일반적이라는 점에서, 수술자 전공에 6순위로 높은 가중치가 부여될 수 있다.
또한, 환자 수술 후 상태 레벨은 수술 이후의 사항이며, 수술 난이도에 종속되는 사항으로 볼 수 있다는 점에서, 환자 수술 후 상태 레벨에 7순위로 높은 가중치가 부여될 수 있다.
디바이스(100)는 이와 같이 상이하게 부여되는 가중치에 기초하여 라벨 우선순위를 결정할 수 있고, 복수개의 라벨(610)을 라벨 우선순위에 따라 디스플레이함으로써 사용자 검색 입력(630)에 가장 적합한 라벨(610)을 우선적으로 디스플레이하여 사용자의 영상 검색에 대한 편의성 향상을 도모할 수 있다.
다른 실시 예에서, 환자의 수술 전후 상태가 나쁠 것으로 예상되는 상태의 환자에 대한 특정 수술을 나타내는 사용자 검색 입력(630)(예: “절개, 복부, 수술 전 상태 나쁨” 등)이 획득되는 경우, 디바이스(100)는 환자 수술 전 상태 레벨, 환자 수술 후 상태 레벨, 수술 종류, 수술 부위, 수술 난이도 레벨, 환자 성별 및 수술자 전공의 순서로 높은 가중치를 부여할 수 있다.
예를 들면, 수술 전 환자의 상태가 나쁘다면 수술 후에도 나쁠 가능성이 높고, 사용자 검색 입력(630)에 가장 대응된다는 점에서, 수술 전 환자 상태 레벨에 가장 높은 가중치가 부여될 수 있다.
또한, 수술 후 환자의 상태가 나쁘더라도 수술 전 상태는 좋은 경우가 존재하나 사용자 검색 입력(630)에 대응된다는 점에서, 수술 후 환자 상태 레벨에 2순위로 높은 가중치가 부여될 수 있다.
또한, 수술 종류는 수술과 관련된 영상을 검색하기 위한 가장 넓은 범위의 카테고리라고 볼 수 있다는 점에서, 수술 종류에 3순위로 높은 가중치가 부여될 수 있다.
또한, 수술 부위는 대체로 수술 종류에 종속되는 경우가 존재한다는 점에서, 수술 부위에 4순위로 높은 가중치가 부여될 수 있다.
또한, 수술에 대한 난이도 또한 수술 전/후 상태 레벨에 종속된다는 점에서, 수술 난이도에 5순위로 높은 가중치가 부여될 수 있다.
또한, 성별에 따라 신체적 구조가 다를 수 있고, 그에 따라 수술 방식, 수술 도구 등이 상이할 수 있으나, 환자 상태 레벨에 대한 관련도가 상대적으로 낮다는 점에서, 환자 성별에 6순위로 높은 가중치가 부여될 수 있다.
또한, 상태가 좋지 않은 위급한 환자의 수술이나 난이도가 높은 수술의 경우 전공의가 수술하는 것이 일반적이라는 점에서, 수술자 전공에 7순위로 높은 가중치가 부여될 수 있다.
이후, 디바이스(100)는 상기와 같이 부여된 가중치에 기초하여 라벨 우선순위를 결정하고, 결정된 라벨 우선순위에 기초하여 복수개의 라벨(610)을 디스플레이할 수 있다.
이처럼, 상기와 같이 가중치를 부여함으로써 환자의 수술 전후 상태가 나쁠 것으로 예상되는 상태의 환자에 대한 특정 수술을 나타내는 사용자 검색 입력(630)에 가장 적합한 라벨(610)을 우선적으로 디스플레이할 수 있다.
도 5 는 일 실시 예에 따른 복수개의 대상 동영상(500) 및 부분 동영상(510, 520, 530, 540, 550, 560)을 설명하기 위해 개략적으로 도시한 도면이다.
도 5를 참조하면, 복수개의 대상 동영상(500)은 복수개의 부분 동영상(510, 520, 530, 540, 550, 560)을 포함할 수 있다.
예를 들어, 디바이스(100)는 도 5의 (a), (b), (c), (d)에 대한 각각의 키프레임을 획득할 수 있다. 이후, 디바이스(100)는 키프레임에 대한 영상 분석 결과에 기초하여 부분 동영상(510, 520, 530, 540, 550, 560)의 특성 정보를 획득할 수 있다.
예를 들어 디바이스(100)는 도 5의 복수개의 대상 동영상(500) 중 (a)는 내시경 수술에 대한 영상을 나타낼 수 있고, 부분 동영상(510)의 수술 시작을 나타내는 키프레임에 대한 영상 분석 결과에 기초하여 수술 부위 관련 정보, 수술 종류 관련 정보, 바이탈 정보, 촬영 타입 정보 중 적어도 하나를 나타내는 특성 정보를 획득할 수 있고, 디바이스(100)는 부분 동영상(520)의 수술 도구 등장을 나타내는 키프레임에 대한 영상 분석 결과에 기초하여 수술 부위 관련 정보, 수술 종류 관련 정보, 촬영 타입 정보를 나타내는 특성 정보를 획득할 수 있다.
또한, 예를 들어 도 5의 복수개의 대상 동영상(500) 중 (b)는 내시경 수술에 대한 영상을 나타낼 수 있고, 디바이스(100)는 부분 동영상(540)의 수술 후반부를 나타내는 키프레임에 대한 영상 분석 결과에 기초하여 수술 부위 관련 정보, 수술 종류 관련 정보, 환자 정보, 바이탈 정보, 수술 난이도, 촬영 타입 정보 중 적어도 하나를 나타내는 특성 정보를 획득할 수 있다.
또한, 예를 들어 도 5의 복수개의 대상 동영상(500) 중 (c)는 복부 절개 수술에 대한 영상을 나타낼 수 있고, 디바이스(100)는 부분 동영상(530)의 수술 후반부를 나타내는 키프레임에 대한 영상 분석 결과에 기초하여 수술 부위 관련 정보, 수술 종류 관련 정보, 출혈 여부 및 출혈량에 따른 바이탈 정보, 수술 난이도 정보 및 촬영 타입 정보를 나타내는 특성 정보를 획득할 수 있다.
또한, 예를 들어 도 5의 복수개의 대상 동영상(500) 중 (d)는 복부 절개 수술에 대한 영상을 나타낼 수 있고, 부분 동영상(550, 560)의 복부 절개 수술의 수술 중반 및 후반부의 키프레임에 대한 영상 분석 결과에 기초하여 수술 부위 관련 정보, 수술 종류 관련 정보, 수술자 정보, 출혈 여부 및 출혈량에 따른 바이탈 정보, 수술 난이도 정보 및 촬영 타입 정보를 나타내는 특성 정보를 획득할 수 있다.
도 6 은 일 실시 예에 따른 사용자 검색 입력(630)에 기초하여 복수개의 라벨(610) 및 라벨링된 부분 동영상의 썸네일 영상(620)을 제공하는 예를 개략적으로 도시한 도면이다.
일 실시 예에서, 디바이스(100)는 사용자 검색 입력(630)에 기초하여 라벨(610)에 대한 검색 결과를 제공하고, 라벨(610)에 대응되는 라벨링된 부분 동영상의 썸네일 영상(620)을 함께 제공할 수 있다.
도 6을 참조하면, 사용자 검색 입력(630)이 “맹장, 남성, 고난이도”인 경우를 도시하고 있다.
이 경우, 사용자 검색 입력(630)에 대응되는 라벨(610, 맹장 수술, 환자 성별, 수술 난이도)에 대한 검색 결과와 함께, 라벨(610)에 대응되는 라벨링된 부분 동영상의 썸네일 영상(620)을 함께 제공할 수 있다.
도 7 은 일 실시 예에 따른 사용자 검색 입력(630)에 기초하여 복수개의 라벨(610) 및 라벨링된 부분 동영상의 썸네일 영상(620)을 제공하는 다른 예를 개략적으로 도시한 도면이다.
일 실시 예에서, 디바이스(100)는 사용자 검색 입력(630)에 기초하여 라벨(610)에 대한 검색 결과를 제공하고, 라벨(610)에 대응되는 라벨링된 부분 동영상의 썸네일 영상(620)을 함께 제공할 수 있다.
도 7을 참조하면, 사용자 검색 입력(630)이 “맹장, 내시경”인 경우를 도시하고 있다.
이 경우, 환자 성별, 수술 난이도, 수술 전 상태 레벨 등의 라벨(610)에 대응되는 사용자 검색 입력(630)은 획득되지 않았기 때문에 해당 라벨(610)들에 대해서는 별도의 판단이 수행되지 않고, 획득된 사용자 검색 입력(630)인 “맹장” 및 “내시경”에 대응되는 모든 라벨(610) 및 라벨에 대응되는 부분 동영상의 썸네일만을 제공할 수 있다.
도 6과 도 7에 따르면, 사용자 검색 입력(630)에 기초하여 검색된 라벨(610) 및 라벨에 대응되는 라벨링된 부분 동영상의 썸네일 영상(620)을 함께 제공함으로써, 사용자가 수동적으로 필요한 동영상을 직접 찾는 작업이 별도로 요구되지 않고, 영상의 특성이나 종류에 따라서 결정된 라벨 우선순위를 이용하여 라벨(610) 및 라벨에 대응되는 라벨링된 부분 동영상 및 썸네일을 검색 결과로써 제공함으로써 영상에 대한 이용 및 관리가 용이해진다.
본 개시의 다양한 실시 예들은 기기(machine)(예를 들어, 디스플레이 장치 또는 컴퓨터)에 의해 읽을 수 있는 저장 매체(storage medium)(예를 들어, 메모리)에 저장된 하나 이상의 인스트럭션들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서(예를 들어, 프로세서(220))는, 저장 매체로부터 저장된 하나 이상의 인스트럭션들 중 적어도 하나의 인스트럭션을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 인스트럭션에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 인스트럭션들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 개시에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 발명에 대하여 예시한 도면을 참조로 하여 설명하였으나 개시된 실시 예와 도면에 의해 한정되는 것은 아니며 본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 실시 예를 설명하며 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측이 가능한 효과 또한 인정될 수 있다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 디바이스 110: 정보 획득 장치
130: 외부 서버 140: 저장 매체
150: 통신 디바이스 160: 가상 서버
170: 사용자 단말
210: 수신부 220: 프로세서
230: 출력부 240: 메모리
500: 복수개의 대상 동영상
510, 520, 530, 540, 550, 560: 부분 동영상
610: 라벨
620: 라벨링된 부분 동영상의 썸네일 영상
630: 사용자 검색 입력

Claims (13)

  1. 라벨링을 통한 영상 처리 방법에 있어서,
    의료 행위와 관련된 복수개의 대상 동영상을 획득하는 단계;
    상기 복수개의 대상 동영상에 포함되는 부분 동영상의 특성을 나타내는 키프레임을 획득하는 단계;
    상기 키프레임에 대한 영상 분석 결과에 기초하여 상기 부분 동영상의 특성을 나타내는 특성 정보를 획득하는 단계;
    상기 특성 정보에 기초하여 상기 부분 동영상의 분류에 이용되는 라벨을 획득하는 단계; 및
    상기 부분 동영상에 상기 라벨을 매칭하여 라벨링된 부분 동영상을 획득하는 단계;를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 키프레임을 획득하는 단계는
    상기 복수개의 대상 동영상에서 상기 특성 정보를 포함하고 있는 정지 영상을 필터링하여 획득하는, 방법.
  3. 제 1 항에 있어서,
    상기 특성 정보는
    수술 부위 관련 정보, 수술 종류 관련 정보, 수술자 정보, 환자 정보, 바이탈 정보, 환자 수술 전 상태 정보, 환자 수술 후 상태 정보, 수술 난이도 정보 및 촬영 타입 정보 중 적어도 하나를 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 라벨은
    수술 부위, 수술 종류, 수술자 전공, 환자 성별, 환자 수술 전 상태 레벨, 환자 수술 후 상태 레벨, 수술 난이도 레벨, 촬영 타입 중 적어도 하나를 포함하는, 방법.
  5. 제 4 항에 있어서,
    사용자 검색 입력을 획득하는 단계;
    상기 사용자 검색 입력에 대응되는 복수개의 라벨을 결정하는 단계; 및
    상기 복수개의 라벨을 라벨 우선순위에 따라 디스플레이하는 단계;를 더 포함하고,
    상기 라벨 우선순위는 상기 수술 부위, 상기 수술 종류, 상기 수술자 전공, 상기 환자 성별, 상기 환자 수술 전 상태 레벨, 상기 환자 수술 후 상태 레벨 및 상기 수술 난이도 레벨에 부여되는 가중치에 기초하여 결정되는, 방법.
  6. 제 1 항에 있어서,
    사용자 검색 입력에 기초하여 상기 라벨이 검색됨에 따라, 상기 라벨에 대응되는 상기 라벨링된 부분 동영상의 썸네일 영상을 제공하는 단계;를 더 포함하는, 방법.
  7. 제 6 항에 있어서,
    상기 썸네일 영상은 상기 라벨링된 부분 동영상에 포함된 상기 키프레임으로부터 획득되는, 방법.
  8. 라벨링을 통한 영상 처리 디바이스에 있어서,
    의료 행위와 관련된 복수개의 대상 동영상을 획득하는 수신부; 및
    상기 복수개의 대상 동영상에 포함되는 부분 동영상의 특성을 나타내는 키프레임을 획득하고,
    상기 키프레임에 대한 영상 분석 결과에 기초하여 상기 부분 동영상의 특성을 나타내는 특성 정보를 획득하고,
    상기 특성 정보에 기초하여 상기 부분 동영상의 분류에 이용되는 라벨을 획득하고,
    상기 부분 동영상에 상기 라벨을 매칭하여 라벨링된 부분 동영상을 획득하는 프로세서;를 포함하는, 디바이스.
  9. 제 8 항에 있어서,
    상기 프로세서는
    상기 복수개의 대상 동영상에서 상기 특성 정보를 포함하고 있는 정지 영상을 필터링하여 상기 키프레임을 획득하는, 디바이스.
  10. 제 8 항에 있어서,
    상기 특성 정보는
    수술 부위 관련 정보, 수술 종류 관련 정보, 수술자 정보, 환자 정보, 바이탈 정보, 환자 수술 전 상태 정보, 환자 수술 후 상태 정보, 수술 난이도 정보 및 촬영 타입 정보 중 적어도 하나를 포함하는, 디바이스.
  11. 제 8 항에 있어서,
    상기 라벨은
    수술 부위, 수술 종류, 수술자 전공, 환자 성별, 환자 수술 전 상태 레벨, 환자 수술 후 상태 레벨, 수술 난이도 레벨, 촬영 타입 중 적어도 하나를 포함하는, 디바이스.
  12. 제 11 항에 있어서,
    상기 수신부는
    사용자 검색 입력을 획득하고,
    상기 프로세서는
    상기 사용자 검색 입력에 대응되는 복수개의 라벨을 결정하고,
    상기 복수개의 라벨을 라벨 우선순위에 따라 디스플레이하는 출력부를 더 포함하고,
    상기 라벨 우선순위는 상기 수술 부위, 상기 수술 종류, 상기 수술자 전공, 상기 환자 성별, 상기 환자 수술 전 상태 레벨, 상기 환자 수술 후 상태 레벨 및 상기 수술 난이도 레벨에 부여되는 가중치에 기초하여 결정되는, 디바이스.
  13. 제 1 항 내지 제 7 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020220096779A 2022-08-03 2022-08-03 라벨링을 통한 영상 처리 방법, 디바이스 및 기록매체 KR20240020296A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220096779A KR20240020296A (ko) 2022-08-03 2022-08-03 라벨링을 통한 영상 처리 방법, 디바이스 및 기록매체
PCT/KR2023/011427 WO2024029964A1 (ko) 2022-08-03 2023-08-03 라벨링을 통한 영상 처리 방법, 디바이스 및 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220096779A KR20240020296A (ko) 2022-08-03 2022-08-03 라벨링을 통한 영상 처리 방법, 디바이스 및 기록매체

Publications (1)

Publication Number Publication Date
KR20240020296A true KR20240020296A (ko) 2024-02-15

Family

ID=89849637

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220096779A KR20240020296A (ko) 2022-08-03 2022-08-03 라벨링을 통한 영상 처리 방법, 디바이스 및 기록매체

Country Status (2)

Country Link
KR (1) KR20240020296A (ko)
WO (1) WO2024029964A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102097740B1 (ko) 2019-07-25 2020-04-06 주식회사 딥노이드 인공지능을 활용한 의료영상 자동 분류 및 표준화 시스템 및 그 구동방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9947090B2 (en) * 2014-09-06 2018-04-17 RaPID Medical Technologies, LLC Medical image dectection system and method
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR102243830B1 (ko) * 2018-02-22 2021-04-23 고려대학교 산학협력단 통합 의료 진단 서비스 제공 시스템 및 그 방법
KR20210110435A (ko) * 2020-02-28 2021-09-08 주식회사 웨이센 영상 분류 및 분할이 가능한 시각적 통합 학습 및 검출 모델 기반의 내시경 영상 정보 분석 서비스 프로그램
KR102427171B1 (ko) * 2020-09-14 2022-07-29 (주)휴톰 영상 내의 객체 레이블링 제공 방법 및 이를 위한 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102097740B1 (ko) 2019-07-25 2020-04-06 주식회사 딥노이드 인공지능을 활용한 의료영상 자동 분류 및 표준화 시스템 및 그 구동방법

Also Published As

Publication number Publication date
WO2024029964A1 (ko) 2024-02-08

Similar Documents

Publication Publication Date Title
CN107405079B (zh) 用于解剖区域的视频图像的内容管理的方法和系统
US10462412B2 (en) Surgical visualization and recording system
US10636515B2 (en) Medical or health information search support apparatus and medical or health information search support system
CN110610181A (zh) 医学影像识别方法及装置、电子设备及存储介质
JP2011167301A (ja) 手術映像蓄積装置、手術映像蓄積方法、およびプログラム
US9414740B2 (en) Endoscopic imaging system and method for adapting to remote stimulus
Widmer et al. Facilitating medical information search using Google Glass connected to a content-based medical image retrieval system
US20230410511A1 (en) Method for comparing videos of surgical techniques
CN112818959B (zh) 手术流程识别方法、装置、系统及计算机可读存储介质
JP2007105458A (ja) 画像データベースにおける画像の認識のためのシステム及び方法
CN104205101A (zh) 用于使用眼动跟踪来取回所观察到的信息和相关具体上下文的系统、方法和计算机程序产品
US20150379217A1 (en) Medical information display system, server, and portable terminal
KR20240020296A (ko) 라벨링을 통한 영상 처리 방법, 디바이스 및 기록매체
CN109949887B (zh) 会诊记录方法、装置及计算机可读存储介质
JP7470446B2 (ja) 支援装置、表示方法、及び、コンピュータプログラム
KR20240018193A (ko) 중요도와 관련된 영상 처리 방법, 서버 및 기록매체
KR20240021624A (ko) 어노테이션을 포함하는 영상 획득 방법 및 디바이스
CN114121208A (zh) 一种基于可视化资料的手术记录质量控制方法
KR20240000925A (ko) 인코딩 동영상 획득 방법 및 디바이스
KR20240021622A (ko) 동영상에 포함된 음성 처리 방법 및 서버
KR20240048074A (ko) 라벨링을 이용한 능동 학습 방법 및 디바이스
KR102631540B1 (ko) 심리스 모바일 pacs 접속 시스템
KR20240048076A (ko) 음성 입력을 이용한 어노테이션을 제공하는 방법 및 디바이스
KR20240022047A (ko) 수술에 대한 시나리오를 제공하는 방법 및 디바이스
KR20240065446A (ko) 초음파 영상 처리 방법 및 디바이스