KR102642303B1 - 인공지능 상황인지 녹화 시스템 및 그 방법 - Google Patents

인공지능 상황인지 녹화 시스템 및 그 방법 Download PDF

Info

Publication number
KR102642303B1
KR102642303B1 KR1020210188594A KR20210188594A KR102642303B1 KR 102642303 B1 KR102642303 B1 KR 102642303B1 KR 1020210188594 A KR1020210188594 A KR 1020210188594A KR 20210188594 A KR20210188594 A KR 20210188594A KR 102642303 B1 KR102642303 B1 KR 102642303B1
Authority
KR
South Korea
Prior art keywords
situation
recording
artificial intelligence
camera
situations
Prior art date
Application number
KR1020210188594A
Other languages
English (en)
Other versions
KR20230099323A (ko
Inventor
변시섭
진재선
Original Assignee
(주)헬스허브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)헬스허브 filed Critical (주)헬스허브
Priority to KR1020210188594A priority Critical patent/KR102642303B1/ko
Publication of KR20230099323A publication Critical patent/KR20230099323A/ko
Application granted granted Critical
Publication of KR102642303B1 publication Critical patent/KR102642303B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Computer Security & Cryptography (AREA)
  • Gynecology & Obstetrics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 인공지능 상황인지 녹화 시스템 및 그 방법에 관한 것으로, 상황인지를 위한 인공지능을 탑재한 복수의 상황인지 카메라에서, 긴급상황 등과 같이 녹화가 필요한 상황을 자동으로 인지하여 의료영상(수술영상 등)을 포함한 의료현장의 상황정보를 녹화하는 시스템 및 그 방법에 관한 것이다.

Description

인공지능 상황인지 녹화 시스템 및 그 방법{ARTIFICIAL INTELLIGENCE SITUATIONAL AWARENESS RECORDING SYSTEM AND METHOD THEREOF}
본 발명은 인공지능 상황인지 녹화 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 상황인지를 위한 인공지능을 탑재한 복수의 상황인지 카메라에서, 긴급상황 등과 같이 녹화가 필요한 상황을 자동으로 인지하여 의료영상(수술영상 등)을 포함한 의료현장의 상황정보를 녹화하는 시스템 및 그 방법에 관한 것이다.
최근 산업기술과 의료장비의 급속한 발전으로 인해 CT(computed tomography), MRI(magnetic resonance imaging) 등의 고정밀 의료영상뿐만 아니라 수술영상과 같이 환자의 치료과정에 대한 의료영상을 획득할 수 있게 되었다.
특히 수술영상은 수술과정을 촬영한 의료영상을 의미하는 것으로, 수술과정에서의 잘못된 점을 분석하고 향후 정밀한 수술계획을 수립할 수 있으며 환자의 예후에 대한 원인을 분석하는 데에도 중요한 역할을 한다.
한편 일반적인 수술의 경우, 짧게는 30분 내외에서 길게는 수십 시간 동안 진행되기 때문에 수술영상을 저장하기 위해서는 대용량의 저장매체가 필요하며, 네트워크를 통해 송수신하는 경우에는 네트워크에 과중한 부하가 발생될 수 있다.
또한 수술영상의 경우, 수술의 진행에 따른 전체 영상보다는 수술 환부의 출혈이나 환자의 상태가 급격히 나빠지는 것과 같이 비정상적인 상황이나 혹은 수술 과정에서의 중요상황(수술 과정 중 중요한 수술 장면)에서의 영상이 중요하다.
왜냐하면 비정상적인 상황에서, 의료진의 적절한 대처여부를 분석할 수 있으며, 중요상황에 대한 의료진(수술집도의)의 지식이나 경험 등을 교육용 혹은 참고자료나 연구 등으로 활용될 수 있기 때문이다.
이에 따라 최근에는 수술실에 복수의 카메라를 설치하여 수술영상을 녹화, 전송 및 저장하는 수술영상 녹화 시스템이 연구되고 개발되고 있다.
그러나 종래의 수술영상 녹화 시스템은 수술과정 전체를 녹화하여 전송하기 때문에 수술과정에서의 긴급상황이나 중요상황을 파악하기 위해서는 수술영상 전체를 일일이 재생하면서 탐색해야 하는 불편함이 있다.
또한 종래의 수술영상 녹화 시스템은 각 카메라의 풀 해상도로 수술영상을 촬영하여 전송하기 때문에 네트워크에 대한 과중한 부하를 발생시킬 수 있으며, 대용량의 저장 공간이 필요한 문제점이 있다.
이에 따라 본 발명에서는 촬영한 영상을 통해 상황을 인지하는 복수의 상황인지 카메라를 통해서, 긴급상황, 위급상황, 중요상황 또는 이들의 조합을 포함하여 녹화가 필요한 상황을 스스로 인지하여 상기 인지한 상황에 대한 의료영상을 녹화하여 전송할 수 있도록 하는 방안을 제안하고자 한다.
또한 본 발명은 특정 상황인지 카메라에서 녹화가 필요한 상황을 인지하면, 상기 특정 상황인지 카메라를 중심 카메라로 두고, 상기 중심 카메라에서 인접한 상황인지 카메라(인접 카메라)에서 상기 중심 카메라로 포커싱하여 상기 인지한 상황에 따른 의료영상을 각각 녹화하여 전송할 수 있도록 하는 방안을 제안하고자 한다.
또한 본 발명은 녹화가 필요한 상황에 따라 상황인지 카메라에서 의료영상에 대한 녹화품질을 스스로 조절하여 녹화한 의료영상을 전송함으로써, 저장 공간, 저장 시간 및 네트워크 트래픽을 감소시킬 수 있도록 하는 방안을 제안하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저 한국공개특허 제2018-0089639호(2018.08.09.)는 수술 영상촬영 및 처리 시스템에 관한 것으로, 수술실의 전체 영상을 촬영하기 위한 제1카메라, 집도의 및 수술 어시스턴트의 손 움직임을 촬영하기 위한 제2카메라 또는 수술환부를 근접 촬영하기 위한 제3카메라를 포함하여 수술실의 수술 상황을 영역별로 촬영하여 전송하는 수술 영상촬영 및 처리 시스템에 관한 것이다.
또한 한국공개특허 제2014-0093493호(2014.07.28.)는 무영등 설치 수술 영상획득장치에 관한 것으로, 수술실에 구비되는 무영등에 복수의 카메라를 설치하고, 상기 각 카메라를 통해 촬영한 영상을 중간의 영상저장장치를 경유하여 서버로 전송하는 무영등 설치 수술 영상획득장치에 관한 것이다.
상기에서 설명한 것과 같이, 대부분의 선행기술은 단순히 수술실에 구비되는 복수의 카메라를 통해 수술이 진행되는 동안 촬영한 영상을 전송하는 것일 뿐이다.
즉, 한국공개특허 제2014-0093493호와 한국공개특허 제2018-0089639호는 카메라가 구비되는 위치만 다를 뿐, 실질적으로 수술영상을 전송하는 것은 동일하며, 전체 영상에서 수술과정에서의 응급상황이나 중요상황을 일일이 탐색해야 되는 문제점이 있다.
반면에 본 발명은 상황인지 인공지능을 탑재한 복수의 상황인지 카메라를 통해 녹화가 필요한 상황을 스스로 인지하여 촬영한 의료영상을 전송하도록 하는 것으로, 한국공개특허 제2014-0093493호와 한국공개특허 제2018-0089639호 이러한 본 발명의 기술적 특징을 전혀 기재하거나 시사 혹은 그 어떠한 암시도 없다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 상황인지 인공지능을 탑재한 복수의 상황인지 카메라에서 의료영상을 녹화할 상황을 자동으로 인지하여 의료영상을 포함한 의료현장의 상황정보를 녹화하는 인공지능 상황인지 녹화 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.
본 발명에서 의료영상(medical image)은 상기 수술과정을 녹화하는 수술영상(surgical video)을 포함하는 개념으로 이해할 수 있다.
또한 본 발명은 특정 상황인지 카메라에서 의료영상을 녹화할 상황을 인지하면, 주변 상황인지 카메라를 상기 특정 상황인지 카메라로 포커싱하여 의료영상을 포함한 상황정보를 녹화하도록 하는 인공지능 상황인지 녹화 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은 각 상황인지 카메라에서, 녹화품질을 자동으로 조절하여 녹화함으로써 저장 공간, 저장 시간 및 네트워크의 부하를 감소시킬 수 있도록 하는 인공지능 상황인지 녹화 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 일 실시예에 따른 인공지능 상황인지 녹화 시스템은, 복수의 상황인지 카메라를 포함하며, 상기 복수의 상황인지 카메라는, 촬영한 의료영상을 통해서 인공지능으로 녹화가 필요한 상황을 인지하는 인공지능 상황 인지부 및 상기 상황이 인지되면, 상기 촬영한 의료영상에 타임스탬프를 부가하여 녹화하는 상황인지 녹화부를 포함하는 것을 특징으로 한다.
또한 상기 인공지능 상황 인지부는, 상기 촬영한 의료영상에 음향, 신호 또는 이들의 조합을 더 포함하여 상기 상황을 인지하는 것을 포함하는 것을 특징으로 한다.
또한 상기 인공지능 상황인지 녹화 시스템은, 상기 복수의 상황인지 카메라를 통해서 연합 상황인지를 수행하며, 상기 복수의 상황인지 카메라 중 특정 카메라에서 상기 상황을 먼저 인지하면, 인접한 상황인지 카메라로 상기 인지한 상황을 통지하고, 상기 인접한 상황인지 카메라는 미리 정해진 우선순위에 따라 상기 특정 카메라로 포커싱하면서 녹화품질을 결정하여 상기 녹화를 수행하는 것을 포함하는 것을 특징으로 한다.
또한 상기 우선순위는, 상기 상황별로 미리 설정한 상기 상황인지 카메라간의 우선순위이며, 상기 인접한 상황인지 카메라 중 상기 특정 카메라보다 우선순위가 낮은 상황인지 카메라는 상기 특정 카메라로 포커싱하면서 의료영상을 녹화하며, 상기 포커싱하면서 의료영상을 녹화하는 것은, 상기 우선순위가 낮은 상황인지 카메라에서, 상기 특정 카메라의 촬영방향으로 카메라 앵글을 조정하여 상기 특정 카메라의 녹화품질보다 낮은 품질로 상기 녹화를 수행하는 것을 특징으로 한다.
또한 상기 복수의 상황인지 카메라는 수술실 전체를 촬영하는 관제 카메라, 환자의 환부를 촬영하는 카메라, 생체 신호 모니터를 촬영하는 카메라 또는 이들의 조합을 포함하는 것을 특징으로 한다.
또한 상기 인공지능 상황 인지부는, 상기 상황인지를 위한 인공지능 학습모델에 상기 촬영한 의료영상을 적용하여 상기 상황을 인지하며, 상기 인공지능 학습모델은, 위급상황이나 긴급상황을 포함한 비정상적인 상황, 중요상황 또는 이들의 조합을 포함하여 사전에 정의된 상황을 각각 학습하여 생성된 것을 포함하는 것을 특징으로 한다.
또한 상기 인공지능 상황인지 녹화 시스템은, 상기 복수의 상황인지 카메라로부터 수신한 의료영상을 저장 서버로 전송하는 에지 녹화 에이전트를 더 포함하며, 상기 에지 녹화 에이전트는, 상기 상황에 따라 각 상기 상황인지 카메라에 대한 녹화 중요도를 판단하여 각 상황인지 카메라로부터 수신한 의료영상 중 적어도 하나 이상을 선별하고, 각 상기 상황인지 카메라별로 사전에 할당한 네트워크 대역폭 내에서, 상기 선별한 각 의료영상의 데이터 사이즈를 조정하여 전송하는 것을 포함하는 것을 특징으로 한다.
또한 상기 인공지능 상황인지 녹화 시스템은, 상황인지를 위한 인공지능 학습모델을 생성하는 인공지능 학습부 및 상기 에지 녹화 에이전트로부터 수신한 의료영상을 상황인지 카메라별로 분류하여 저장 및 관리하는 의료영상 저장부를 더 포함하며, 상기 인공지능 학습모델은 상기 에지 녹화 에이전트를 통해서 상기 복수의 상황인지 카메라에 대한 인공지능 학습모델이 지정되어 제공되는 것을 포함하는 것을 특징으로 한다.
아울러 본 발명의 일 실시예에 따른 인공지능 상황인지 녹화 방법은, 복수의 상황인지 카메라에서, 촬영한 의료영상을 통해 인공지능으로 녹화가 필요한 상황을 인지하는 인공지능 상황 인지 단계 및 상기 복수의 상황인지 카메라에서, 상기 상황이 인지되면, 상기 촬영한 의료영상을 녹화하는 상황인지 녹화 단계를 포함하는 것을 특징으로 한다.
또한 상기 인공지능 상황 인지 단계는 상기 촬영한 의료영상에 음향, 신호 또는 이들의 조합을 더 포함하여 상기 상황을 인지하는 것을 포함하는 것을 특징으로 한다.
또한 상기 인공지능 상황인지 녹화 방법은, 상기 복수의 상황인지 카메라를 통해서 연합 상황인지를 수행하며, 상기 복수의 상황인지 카메라 중 특정 카메라에서, 녹화가 필요한 상황을 먼저 인지하면, 인접한 상황인지 카메라로 상기 인지한 상황을 통지하고, 상기 인접한 상황인지 카메라는 미리 정해진 우선순위에 따라 상기 특정 카메라로 포커싱하면서 녹화품질을 결정하여 상기 녹화를 수행하는 것을 포함하는 것을 특징으로 한다.
또한 상기 우선순위는, 상기 녹화가 필요한 상황별로 미리 설정한 상기 상황인지 카메라간의 우선순위이며, 상기 인접한 상황인지 카메라 중 상기 특정 카메라보다 우선순위가 낮은 상황인지 카메라는 상기 특정 카메라로 포커싱하면서 의료영상을 녹화하며, 상기 포커싱하면서 의료영상을 녹화하는 것은, 상기 우선순위가 낮은 상황인지 카메라에서, 상기 특정 카메라의 촬영방향으로 카메라 앵글을 조정하여 상기 특정 카메라의 녹화품질보다 낮은 품질로 상기 녹화를 수행하는 것을 포함하는 것을 특징으로 한다.
또한 상기 인공지능 상황 인지 단계는, 상기 상황인지를 위한 인공지능 학습모델에 상기 촬영한 의료영상을 적용하여 상기 상황을 인지하며, 상기 인공지능 학습모델은, 위급상황이나 긴급상황을 포함한 비정상적인 상황, 중요상황 또는 이들의 조합을 포함하여 사전에 정의된 상기 상황을 각각 학습하여 생성된 것을 포함하는 것을 특징으로 한다.
또한 상기 인공지능 상황인지 녹화 방법은, 에지 녹화 에이전트에서, 상기 복수의 상황인지 카메라로부터 수신한 의료영상을 저장 서버로 전송하는 전송 단계를 더 포함하며, 상기 에지 녹화 에이전트는, 상기 녹화가 필요한 상황에 따라 각 상기 상황인지 카메라에 대한 녹화 중요도를 판단하여 각 상황인지 카메라로부터 수신한 의료영상 중 적어도 하나 이상을 선별하고, 각 상기 상황인지 카메라별로 사전에 할당한 네트워크 대역폭 내에서, 상기 선별한 각 의료영상의 데이터 사이즈를 조정하여 전송하는 것을 포함하는 것을 특징으로 한다.
또한 상기 인공지능 상황인지 녹화 방법은, 상기 저장 서버에서, 상황인지를 위한 인공지능 학습모델을 생성하는 인공지능 학습 단계 및 상기 저장 서버에서, 상기 에지 녹화 에이전트로부터 수신한 의료영상을 상황인지 카메라별로 분류하여 저장 및 관리하는 의료영상 저장 단계를 더 포함하며, 상기 인공지능 학습모델은 상기 에지 녹화 에이전트를 통해서 상기 복수의 상황인지 카메라에 대한 인공지능 학습모델이 지정되어 제공되는 것을 포함하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 인공지능 상황인지 녹화 시스템 및 그 방법은 상황인지를 위한 인공지능 학습모델을 탑재한 복수의 상황인지 카메라를 통해서 의료영상을 녹화할 필요가 있는 상황을 스스로 인지하여 의료영상을 효율적으로 녹화할 수 있는 효과가 있다.
또한 본 발명은 상황인지 카메라에서 녹화할 상황을 인지하여 의료영상을 녹화할 때, 녹화품질을 스스로 결정하여 저장 공간의 소모를 줄이고 네트워크 트래픽의 부하를 감소시킬 수 있도록 하는 효과가 있다.
또한 본 발명은 상황인지 카메라에서 녹화할 상황을 인지하여 의료영상을 녹화할 때, 타임스탬프를 부가하여 녹화함으로써, 상기 타임스탬프에 따라 의료영상을 간편하게 탐색할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 상황인지 녹화 시스템 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 상황인지 카메라에서 상황인지에 따른 의료영상을 녹화하는 과정을 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 상황인지 카메라의 동작을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 에지 녹화 에이전트의 동작을 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 녹화할 상황을 인지하기 위한 인공지능 학습모델을 생성하는 방법을 설명하기 위해 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 상황인지 카메라에 인공지능 학습모델이 지정되어 탑재되는 방법을 설명하기 위해 나타낸 도면이다.
도 7은 본 발명의 일 실시예예 따른 상황인지 카메라의 구성을 나타낸 블록도이다.
도 8은 본 발명의 일실시예에 따른 에지 녹화 에이전트의 구성을 나타낸 블록도이다.
도 9는 본 발명의 일 실시예에 따른 저장 서버의 구성을 나타낸 블록도이다.
도 10은 본 발명의 일 실시예에 따른 상황인지를 통한 의료영상을 녹화하여 저장 및 관리하는 절차를 나타낸 타이밍도이다.
이하, 첨부한 도면을 참조하여 본 발명의 인공지능 상황인지 녹화 시스템 및 그 방법에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.
도 1은 본 발명의 일 실시예에 따른 인공지능 상황인지 녹화 시스템 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 인공지능 상황인지 녹화 시스템(100)은 복수의 상황인지 카메라(100), 에지 녹화 에이전트(200) 및 저장 서버(300)를 포함하여 구성된다.
또한 복수의 상황인지 카메라(100)는 수술실, 응급실, 중환자실 등과 같이 환자에 대한 치료를 수행하는 의료현장에 설치된다.
또한 복수의 상황인지 카메라(100)는 상황인지를 위한 인공지능 학습모델을 탑재하고 있으면서, 긴급상황, 응급상황, 중요상황 등과 같이 의료영상(수술영상 포함)을 포함하여 의료현장의 상황정보를 녹화할 필요가 있는 상황(이하, 녹화 상황으로 지칭함)을 인지한다.
즉, 본 발명의 인공지능 상황인지 녹화 시스템(100)은 복수의 상황인지 카메라(100)를 연합하여 연합 상황인지를 수행하는 것이다.
또한 의료현장의 상황정보를 녹화하는 것은 녹화 상황의 종류, 녹화 상황의 발생시점(타임스탬프) 등을 포함하여 의료영상을 녹화하는 것을 의미하며, 이하에서는 의료영상을 녹화하는 것으로 통칭하여 설명하도록 한다.
또한 긴급상황이나 응급상황은 환부에 출혈이 발생하였거나, 환자의 상태가 급격하게 나빠지거나, 환자에 대한 심폐 소생술 혹은 인공호흡을 수행하는 것과 같이 수술이 진행되는 과정(혹은 치료 과정)에서 발생될 수 있는 비정상적인 상황을 모두 포괄하는 개념이다. 또한 중요상황은 수술 과정(혹은 치료)에서 중요한 수술 장면(혹은 치료 장면)을 의미한다.
또한 복수의 상황인지 카메라(100)는 녹화 상황을 인지하면 의료영상을 녹화하고, 에지 녹화 에이전트(200)로 전송한다.
또한 복수의 상황인지 카메라(100)는 녹화 상황에 따라 녹화품질을 결정함으로써 의료영상에 대한 저장 공간(데이터베이스)의 불필요한 소모를 줄이고 네트워크 트래픽에 대한 부하를 감소시킬 수 있도록 한다. 한편, 녹화품질을 결정하는 것은 도 2를 참조하여 설명하도록 한다.
또한 복수의 상황인지 카메라(100)는 적어도 하나 이상의 환부를 각각 촬영하는 환부 촬영 카메라, 의료현장 전체(예: 수술실 전체)를 촬영하는 관제 카메라(혹은 의료현장의 영역을 분할하여 각 영역을 촬영하는 복수의 관제 카메라), 환자의 생체신호 모니터를 촬영하는 생체신호 촬영 카메라 또는 이들의 조합을 포함한다. 다만 이에 한정하지 않으며, 상기 복수의 상황인지 카메라(100)는 그 목적에 따라 다양하게 설치될 수 있다.
또한 에지 녹화 에이전트(200)는 복수의 상황인지 카메라(100)로부터 상황인지를 통해 녹화한 의료영상이 수신되면 저장 서버(300)로 전송하여 저장 및 관리할 수 있도록 한다.
또한 에지 녹화 에이전트(200)는 복수의 상황인지 카메라(100)로부터 수신한 의료영상을 모두 저장 서버(300)로 전송하는 것이 아니라, 인지한 상황에 따라 상기 각 상황인지 카메라(100)에 대한 녹화 중요도를 판단하여, 상기 판단한 녹화 중요도에 따라 적어도 하나 이상의 의료영상을 선별하여 전송하도록 한다. 이를 통해 저장 공간의 소모와 네트워크 트래픽에 대한 부하를 더욱더 줄일 수 있도록 한다.
한편, 녹화 중요도를 판단하여 의료영상을 전송하는 것은 도 4를 참조하여 상세히 설명하도록 한다.
또한 저장 서버(300)는 에지 녹화 에이전트(200)로부터 수신되는 의료영상을 각 상황인지 카메라(100)별로 분류하여 데이터베이스(300)에 저장 및 관리한다.
또한 저장 서버(300)는 녹화 상황별로 상황인지를 위한 복수의 인공지능 학습모델을 생성하여 에지 녹화 에이전트(200)를 통해서 상기 복수의 상황인지 카메라(100)에 대한 상기 인공지능 학습모델을 각각 지정하여 제공한다.
즉, 각 상황인지 카메라(100)는 상기 제공받은 각 인공지능 학습모델을 통해서 서로 다른 녹화 상황을 인지하도록 구성되는 것이다.
한편 저장 서버(300)는 의료영상을 특정 포맷(예: DICOM)으로 저장 및 관리하고 전송하는 의료영상저장전송시스템(PACS, picture archiving and communication system)으로 구성될 수 있다. 이때, 에지 녹화 에이전트(200)는 전송할 의료영상을 상기 특정 포맷으로 변환하여 전송하도록 구성될 수 있다.
이하에서는 복수의 상황인지 카메라(100)를 통해 연합 상황인지를 수행하여, 녹화 상황이 인지되면, 각 상황인지 카메라(100)에서 의료영상을 녹화하는 과정을 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 상황인지 카메라에서 상황인지에 따른 의료영상을 녹화하는 과정을 설명하기 위해 나타낸 도면이다.
도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 복수의 상황인지 카메라(100)는 링형 네트워크로 상호 연결되어 구성될 수 있다.
또한 복수의 상황인지 카메라(100) 중 어느 하나가 녹화 필요성이 있는 특정 상황을 인지(①)하면, 링형 네트워크를 통해 나머지 상황인지 카메라(100)로 상기 상황인지에 대한 통지를 전송한다(②).
이하에서는, 녹화 상황을 먼저 인지한 상황인지 카메라(100)를 중심 카메라로 지칭하고, 중심 카메라를 제외한 나머지 상황인지 카메라(100)는 인접 카메라로 지칭하여 설명하도록 한다.
한편, 도 2에서 링형 네트워크에 따라 단방향으로 통지를 하는 것으로 나타나 있으나, 중심 카메라에서 양방향으로 통지를 수행할 수 있음은 당연하다.
또한 복수의 상황인지 카메라(100)는 스타형으로 연결될 수 있으며, 중심 카메라에서 직접 나머지 인접 카메라로 상황인지에 대한 통지를 수행할 수 있다.
또한 중심 카메라로부터 상황인지에 대한 통지를 수신한 인접 카메라는 사전에 설정한 우선순위에 따라 상기 중심 카메라로 포커싱하면서 녹화품질을 조절하여 녹화를 수행하고, 에지 녹화 에이전트(200)로 전송한다.
여기서, 우선순위는 녹화 상황에 따라 미리 설정한 상황인지 카메라(100)간의 우선순위를 의미한다.
또한 포커싱은 우선순위에 따라 인접 카메라에서, 녹화 상황이 발생한 쪽(즉, 중심 카메라의 촬영방향)으로 카메라 앵글을 조정하는 것과, 사전에 설정한 녹화품질로 의료영상을 녹화하는 것을 의미한다.
예를 들어, 환부에 대한 출혈이 발생한 상황에 대해서, 환부를 촬영하는 카메라와 생체신호 모니터를 촬영하는 카메라가 선순위이고, 의료현장 전체를 촬영하는 관제 카메라가 후순위로 설정되었다면 환부를 촬영하는 카메라에서 환부에 대한 출혈이 발생한 상황을 인지하면 상기 환부를 촬영하는 카메라가 중심 카메라가 되고, 상기 생체신호 모니터를 촬영하는 카메라 및 관제 카메라는 인접 카메라가 된다.
또한 상기 예에서, 환부를 촬영하는 카메라는 풀 사이즈(즉, 고화질)로 환부에 대한 의료영상을 녹화한다. 이때, 생체신호 모니터를 촬영하는 카메라는 상기 환부 쪽으로 촬영방향을 조절하지 않고 인접 카메라일 때 사전에 설정한 녹화품질(저화질)로 상기 생체신호 모니터에 대한 의료영상을 녹화한다. 또한 후순위에 해당하는 관제 카메라(100)는 환부를 촬영하는 카메라의 촬영방향(즉, 환부방향)으로 카메라 앵글을 조정하고 인접 카메라일 때 사전에 설정한 녹화품질(저화질)로 의료영상을 녹화한다.
또한 각 상황인지 카메라(100)는 상황인지를 통해 의료영상을 녹화할 때, 녹화 상황을 인지한 시점 이전의 일정 시간동안 버퍼링한 의료영상을 포함하여 상기 인지한 녹화 상황이 종료할 때까지 의료영상을 녹화하여 에지 녹화 에이전트(200)로 전송한다. 이때, 중심 카메라에서 상기 인지한 녹화 상황이 종료되는 것이 인지되면 녹화 상황 종료에 대한 통지를 인접 카메라로 전송하여 의료영상을 녹화하는 것을 종료하고 녹화한 의료영상을 에지 녹화 에이전트(200)로 각각 전송할 수 있도록 한다.
즉, 우선순위는 녹화 상황별로 각 상황인지 카메라(100)에 대해서 각각 설정된다.
도 3은 본 발명의 일 실시예에 따른 상황인지 카메라의 동작을 나타낸 도면이다.
도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 상황인지 카메라(100)는 이용목적(예: 환부 촬영, 생체신호 모니터 촬영, 의료현장 전체 촬영 등)에 따라 의료영상을 각각 촬영한다.
또한 상황인지 카메라(100)는 촬영한 의료영상을 버퍼링하면서, 상기 촬영한 의료영상을 인공지능 학습모델에 입력하여 녹화 상황을 인지한다.
인공지능 학습모델은 각 상황인지 카메라(100)의 이용목적에 따라 녹화 상황을 인지하도록 미리 지정되어 제공됨은 상술한 바와 같다.
또한 상황인지 카메라(100)는 녹화 상황을 인지하면, 타임스탬프 및 상기 녹화 상황의 종류를 부가하여 촬영한 의료영상을 녹화하고, 녹화한 의료영상을 에지 녹화 에이전트(200)로 전송한다.
한편, 상황인지 카메라(100)는 녹화 상황을 인지하면 나머지 복수의 상황인지 카메라(100)로 상기 인지한 녹화 상황을 통지하여 각 상황인지 카메라(100)에서 촬영한 의료영상에 타임스탬프와 녹화 상황의 종류를 부가하여 의료영상을 녹화할 수 있도록 한다.
도 4는 본 발명의 일 실시예에 따른 에지 녹화 에이전트의 동작을 설명하기 위해 나타낸 도면이다.
도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 에지 녹화 에이전트(200)는 복수의 상황인지 카메라(100)로부터 수신한 의료영상에 대한 중요도를 판단하여 선별한다.
또한 에지 녹화 에이전트(200)는 녹화 상황별로 사전에 설정한 각 상황인지 카메라(100)의 녹화 중요도에 따라 의료영상에 대한 녹화 중요도를 판단하여 전송할 의료영상을 선별한다.
예를 들어, 관제 카메라에서 응급상황(심폐 소생술 혹은 인공호흡)을 인지한 후, 상기 관제 카메라, 생체신호 촬영 카메라 및 환부 촬영 카메라로부터 상기 응급상황에 따라 녹화한 의료영상을 각각 수신하였다면, 관제 카메라를 통해 촬영한 응급상황에 대한 의료영상과 생체신호 촬영 카메라를 통해 촬영한 생체신호에 대한 의료영상이 중요하다. 왜냐하면 환부 촬영 카메라는 응급상황이 환부를 거의 촬영하지 못하기 때문이다. 따라서 에지 녹화 에이전트(200)는 관제 카메라로부터 수신한 의료영상과 생체신호 촬영 카메라로부터 수신한 의료영상을 선택(선별)한다.
또한 에지 녹화 에이전트(200)는 각 상황인지 카메라(100)에 대해 할당된 네트워크 대역폭에 따라 선별한 의료영상의 데이터 사이즈를 조정하여 저장 서버(300)로 전송한다. 왜냐하면 상기 예에서, 관제 카메라로부터 수신한 의료영상은 풀 사이즈의 고화질이므로, 상기 관제 카메라에 대해 할당된 네트워크 대역폭을 초과할 수 있다. 따라서 에지 녹화 에이전트(200)는 상기 관제 카메라로부터 수신한 의료영상의 데이터 사이즈를 상기 네트워크 대역폭에 맞게 조정한다. 이를 통해 네트워크 트래픽에 대한 부하를 감소시킬 수 있다.
의료영상을 선별하기 위한 녹화 중요도는 녹화할 필요성이 있는 상황별로 매핑테이블로 각각 설정되어 있으며, 상기 중요도는 각 상황별 필수 상황인지 카메라(100)와 선택(optional) 상황인지 카메라(100)로 구분함으로써 설정된다.
또 다른 예로써, 환부 촬영 카메라에서 긴급상황(출혈 발생)을 인지한 경우, 환부에 대한 의료영상뿐만 아니라 관제 카메라로 녹화한 의료진(예: 수술집도의)의 긴급상황에 대한 처리모습에 대한 의료영상과 생체신호 촬영 카메라로 녹화한 생체신호에 대한 의료영상이 모두 중요할 수 있다. 따라서 에지 녹화 에이전트(200)는 상기 환부 촬영 카메라, 관제 카메라 및 생체신호 촬영 카메라로부터 수신한 의료영상을 모두 선택할 수 있다.
도 5는 본 발명의 일 실시예에 따른 녹화할 상황을 인지하기 위한 인공지능 학습모델을 생성하는 방법을 설명하기 위해 나타낸 도면이다.
도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 저장 서버(300)는 인공지능 학습네트워크를 통해 녹화 상황(응급상황, 긴급상황 및 중요상황)별로 사전에 수집한 복수의 학습영상을 각각 기계학습하여 상기 녹화 상황을 인지하기 위한 인공지능 학습모델을 각각 생성한다.
또한 복수의 학습영상은 녹화 상황별로 녹화 상황의 발생과 종료를 알리는 의료진(수술집도의)의 신호(제스처)를 포함할 수 있다.
또한 본 발명에서는 학습네트워크 중 하나인 CNN(convolutional neural network)을 통해 기계학습을 수행할 수 있다. 다만, 이에 한정하지 않으며 DCNN(deep CNN)과 같이 상황 인지를 위한 다양한 인공지능 학습네트워크를 이용할 수 있다.
또한 인공지능 학습네트워크는 입력 레이어(input layer), 적어도 하나 이상의 컨볼루션 레이어(convolutional layer), 적어도 하나 이상의 풀링 레이어(pooling layer) 및 완전연결 레이어(fully connected layer)를 포함하여 구성된다.
또한 입력 레이어는 복수의 학습영상을 입력받으며, 컨볼루션 레이어는 학습이미지 상에서 특정 가중치를 가지는 커널(kernel)을 미리 설정한 스트라이드(커널의 이동단위)에 따라 이동해 가면서 상기 학습영상의 특정 부분과 상기 커널의 가중치를 컨볼루션하여 상기 학습영상에 대한 복수의 특징맵(feature map)을 생성하여 출력하는 기능을 수행한다.
또한 풀링 레이어는 해당 풀링 레이어의 커널과 스트라이드에 따라 컨볼루션 레이어에서 출력한 특징맵을 맥스 풀링(max pooling) 또는 평균 풀링(average pooling)을 통해 풀링함으로써 서브 샘플링을 수행한다.
이때, 컨볼루션 레이어와 풀링 레이어는 적어도 하나 이상의 쌍으로 구성될 수 있으며, 컨볼루션과 서브 샘플링을 반복적으로 수행하여 학습이미지에 대한 특징맵을 생성하도록 구성된다.
또한 완전연결 레이어는 풀링 레이어에서 서브 샘플링한 복수의 특징맵을 연결시켜 학습영상이 나타내는 녹화 상황에 대한 확률을 계산하여 출력한다.
또한 기계학습을 수행하는 과정에서, 저장 서버(300)는 이미 녹화 상황을 알고 있으므로, 백프로퍼게이션(back propagation) 과정을 통해 인공지능 학습네트워크의 가중치를 조정하여 상기 인공지능 학습네트워크의 출력에 대한 오차를 최소화할 수 있도록 한다.
또한 저장 서버(300)는 녹화 상황별 학습영상을 각각 기계학습하여 각 상황에 따른 적어도 하나 이상의 인공지능 학습모델을 생성한다.
또한 저장 서버(300)는 학습영상이 업데이트되면 업데이트된 학습데이터를 반영하여 인공지능 학습모델을 업데이트할 수 있다.
도 6은 본 발명의 일 실시예에 따른 상황인지 카메라에 인공지능 학습모델이 지정되어 탑재되는 방법을 설명하기 위해 나타낸 도면이다.
도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 인공지능 학습모델은 저장 서버(300)에서 녹화할 상황별로 각각 생성된다.
또한 인공지능 학습모델은 저장 서버(300)에서 각 상황인지 카메라(100)의 이용목적에 따라 지정되어 에지 녹화 에이전트(200)를 통해서 제공된다.
또한 응급상황(예: 심폐 소생술 또는 인공호흡)을 인지하기 위한 인공지능 학습모델은 응급상황에 대한 의료영상을 학습영상으로 기계학습하여 생성된다.
또한 중요상황(예: 수술 주요 장면)을 인지하기 위한 인공지능 학습모델의 경우, 상기 중요상황에 대한 의료영상을 정의하여 기계학습하는 것이 어려울 수 있기 때문에, 중요상황에 대한 의료진(수술집도의)의 신호(즉, 제스처)를 포함하는 의료영상을 학습영상으로 기계학습하여 생성될 수 있다.
또한 관제 카메라는 의료현장 전체를 촬영하는 것이므로, 환자에 대한 응급상황이나 중요상황을 인지하기에 적합하다. 따라서 응급상황이나 중요상황을 인지하기 위한 각 인공지능 학습모델은 관제 카메라에 탑재된다.
또한 환자의 상태가 급변하는 긴급상황을 인지하기 위한 인공지능 학습모델은 생체신호가 정상범위가 아닌 의료영상을 학습영상으로 기계학습하여 생성된다.
따라서 환자의 상태가 급변하는 긴급상황을 인지하기 위한 인공지능 학습모델은 생체신호 모니터를 촬영하는 생체신호 촬영 카메라에 탑재된다.
또한 환부 출혈 등과 같이 환부에 대한 긴급상황을 인지하기 위한 인공지능 학습모델은 상기 환부의 긴급상황에 대한 의료영상을 학습영상으로 기계학습하여 생성된다.
따라서 환부에 대한 긴급상황을 인지하기 위한 인공지능 학습모델은 환부를 촬영하는 환부 촬영 카메라에 탑재되는 것이 타당하다.
즉, 도 6을 참조하여 설명한 것과 같이, 복수의 인공지능 학습모델은 상황인지 카메라(100)의 이용목적에 따라 저장 서버(300)에서 지정되어 에지 녹화 에이전트(200)를 통해 제공되는 것이다.
또한 응급상황, 중요상황, 긴급상황 등은 세부적으로 다양한 녹화 상황으로 정의될 수 있으며, 상기 각 녹화 상황을 인지하기 위한 인공지능 학습모델이 생성된다.
또한 응급상황, 중요상황, 긴급상황 또는 이들의 조합을 포함하는 녹화 상황에 대하여 의료진의 제스처(즉, 녹화 상황의 시작과 종료를 포함)를 포함하는 의료영상을 학습영상으로 각각 기계학습하여 각 상황에 대한 인공지능 학습모델을 생성할 수도 있다.
도 7은 본 발명의 일 실시예예 따른 상황인지 카메라의 구성을 나타낸 블록도이다.
도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 상황인지 카메라(100)는 의료영상을 촬영하는 촬영부(110), 상기 촬영한 의료영상을 이용하여 녹화 상황을 인지하는 인공지능 상황 인지부(120), 상기 인지한 녹화 상황에 대한 통지를 수행하는 상황인지 통지부(130), 또 다른 상황인지 카메라(100)로부터 상기 녹화 상황에 대한 통지를 수신하는 상황인지 통지 수신부(140) 및 상기 녹화 상황에 따라 상기 의료영상을 녹화하여 에지 녹화 에이전트(200)로 전송하는 상황인지 녹화부(150)를 포함하여 구성된다.
또한 촬영부(110)는 상황인지 카메라(100)의 이용목적(예: 환부 촬영, 수술실 전체 촬영, 생체신호 모니터 촬영)에 따라 의료영상을 촬영한다.
인공지능 상황 인지부(120)는 촬영한 의료영상을 버퍼링하면서, 인공지능 학습모델에 상기 촬영한 의료영상을 입력하여 상기 인공지능 학습모델의 출력결과에 따라 녹화 상황을 인지하는 기능을 수행한다.
여기서, 인공지능 학습모델은 저장 서버(300)에서 생성되어 상황인지 카메라(100)의 이용목적에 따라 지정되어 제공됨은 상술한 바와 같다.
또한 인공지능 상황 인지부(120)는 인공지능 학습모델의 출력결과가 사전에 설정한 제1 임계값(예: 확률이 0.8이상)을 초과하는 경우에 상기 녹화 상황을 인지한다.
또한 상황인지 통지부(130)는 인지한 녹화 상황을 또 다른 상황인지 카메라(100)와 에지 녹화 에이전트(200)로 통지한다.
또한 상황인지 통지 수신부(140)는 또 다른 상황인지 카메라(100)로부터 인지한 녹화 상황에 대한 통지를 수신한다.
또한 상황인지 녹화부(150)는 녹화 상황에 따라 녹화품질을 결정하고, 타임스탬프를 부가하여 촬영한 의료영상을 녹화하며, 상기 녹화한 의료영상을 에지 녹화 에이전트(200)로 전송하는 기능을 수행한다.
한편, 상황인지 녹화부(150)는 해당 상황인지 카메라(200)가 녹화 상황을 먼저 인지한 중심 카메라이면, 풀 해상도의 녹화품질로 의료영상을 녹화한다.
또한 상황인지 녹화부(150)는 해당 상황인지 카메라(200)가 다른 상황인지 카메라(200)로부터 녹화 상황에 대한 통지를 수신한 인접 카메라이면, 사전에 설정한 우선순위에 따라 중심 카메라로 포커싱하면서 녹화품질(저화질)을 결정하여 상기 의료영상을 녹화하고 에지 녹화 에이전트(200)로 전송한다.
상기 포커싱은, 중심 카메라보다 해당 상황인지 카메라(200)의 우선순위가 낮은 경우, 상기 상황인지 카메라(200)의 앵글을 중심 카메라의 촬영방향(즉, 녹화 상황이 발생한 쪽)으로 변경하고, 인접 카메라로 동작할 때 설정한 녹화품질(저화질)로 의료영상을 녹화하는 것을 의미하는 것으로 도 1 및 도 2를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.
또한 상황인지 녹화부(150)는 녹화 상황이 종료되는 것을 인지할 때까지 상기 녹화를 수행한다.
이때, 인공지능 상황 인지부(120)는 녹화 상황이 인지된 후, 인공지능 학습모델의 출력결과가 사전에 설정한 제2 임계값(예: 확률이 0.5)미만이거나, 정상 상황에 대한 확률(예: 녹화 상황에 대한 제스처를 학습한 경우에 해당 함)이 사전에 설정한 제1 임계값(예: 0.8)을 초과하면 녹화 상황이 종료된 것으로 인지하여, 녹화 상황이 종료된 것을 상황인지 녹화부(150)로 제공한다.
또한 상황인지 통지부(130)는 인공지능 상황 인지부(120)에서 녹화 상황이 종료된 것을 인지하면, 녹화 상황이 종료된 것을 또 다른 상황인지 카메라(100)와 녹화 에이전트(200)로 통지한다.
한편, 인공지능 상황 인지부(120)는 촬영한 의료영상으로부터 녹화 상황별로 사전에 설정한 음향을 인지하여 녹화 상황을 인지하는 것을 더 포함하여 구성될 수 있다.
예를 들어, '환부 출혈 발생'이라는 음향을 인지하면 환부 출혈에 대한 녹화 상황을 인지한다. 음향을 통해 녹화 상황을 인지하는 경우, 모든 상황인지 카메라(100)에서 녹화 상황을 인지하므로, 각 상기 상황인지 카메라(100)는 에지 녹화 에이전트(200)로 녹화 상황에 대한 통지를 각각 수행하며, 녹화 상황별 우선순위에 따라 녹화품질을 결정하여 의료영상을 녹화한다.
즉, 각 상황인지 카메라(100)는 녹화 상황, 녹화 상황에 대한 수술집도의의 신호(제스처)를 포함하는 학습영상을 기계학습한 인공지능 학습모델을 이용하여 상기 녹화 상황을 인지하거나, 촬영한 의료영상에서의 음향을 인식하여 상기 녹화 상황을 인지할 수 있다.
도 8은 본 발명의 일실시예에 따른 에지 녹화 에이전트의 구성을 나타낸 블록도이다.
도 8에 도시한 바와 같이, 본 발명의 일 실시예에 따른 에지 녹화 에이전트(200)는 복수의 상황인지 카메라(100)로부터 녹화한 의료영상을 수신하는 의료영상 수신부(210), 상기 수신한 각 의료영상에 대한 녹화 중요도를 판단하는 녹화 중요도 판단부(220), 상기 판단한 녹화 중요도에 따라 적어도 하나 이상의 의료영상을 선별하는 의료영상 선별부(230), 상기 선별한 적어도 하나 이상의 의료영상에 대한 ROI를 설정하는 ROI 설정부(240), 각 상황인지 카메라(100)별로 할당한 네트워크 대역폭에 따라 상기 ROI를 설정한 의료영상의 데이터 사이즈를 조정하는 데이터 사이즈 조정부(250) 및 상기 데이터 사이즈를 조정한 각 의료영상을 저장 서버(300)로 전송하는 전송부(260)를 포함하여 구성된다.
또한 의료영상 수신부(210)는 복수의 상황인지 카메라(100)로부터 상황인지를 통해서 녹화한 의료영상을 각각 수신한다.
또한 녹화 중요도 판단부(220)는 녹화 상황을 인지한 상황인지 카메라(100)로부터 녹화 상황에 대한 통지를 수신하고, 상기 녹화 상황에 따라 사전에 설정한 각 상황인지 카메라(100)의 녹화 중요도에 따라 상기 수신한 의료영상에 대한 녹화 중요도를 판단한다.
또한 의료영상 선별부(230)는 수신한 의료영상 중 적어도 하나 이상의 의료영상을 녹화 중요도에 따라 선별한다.
한편, 상기 녹화 중요도를 판단하여 의료영상을 선별하는 것은 도 4를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.
또한 ROI 설정부(240)는 각 상황인지 카메라(100)별 설정한 ROI 범위에 따라 상기 ROI를 설정한다.
즉, 각 상황인지 카메라(100)는 녹화 상황을 인지하여 촬영 대상을 그 중심에 두고 촬영하므로, ROI 범위는 상황인지 카메라(100)별로 의료영상의 중심 픽셀을 기준으로 가로 및 세로 사이즈가 미리 설정된 것이다.
또한 데이터 사이즈 조정부(250)는 각 상황인지 카메라(100)별로 할당한 네트워크 대역폭 범위 내에서, 상기 ROI를 설정한 의료영상에 대한 데이터 사이즈를 조정한다.
데이터 사이즈를 조정하는 것은 각 의료영상에 대해 설정한 ROI만을 선택하거나, 프레임 스킵(짝수 프레임, 홀수 프레임)을 통한 프레임 레이트의 조정을 통해 수행됨은 상술한 바와 같다. 이를 통해 네트워크 트래픽에 대한 부하를 줄일 수 있다.
또한 전송부(260)는 데이터 사이즈를 조정한 각 의료영상을 저장 서버(300)로 전송하는 기능을 수행한다.
도 9는 본 발명의 일 실시예에 따른 저장 서버의 구성을 나타낸 블록도이다.
도 9에 도시한 바와 같이, 본 발명의 일 실시예에 따른 저장 서버(300)는 인공지능 학습부(310), 인공지능 학습모델 제공부(320), 의료영상 저장부(330) 및 의료영상 제공부(340)를 포함하여 구성된다.
또한 인공지능 학습부(310)는 녹화 상황에 따라 사전에 수집한 복수의 학습영상을 각각 기계학습하여 녹화 상황을 인지하기 위한 복수의 인공지능 학습모델을 생성한다. 한편 인공지능 학습모델을 생성하는 것은 도 5를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.
또한 인공지능 학습모델 제공부(320)는 각 상황인지 카메라(100)의 이용목적에 따라 각 상황인지 카메라(100)에 대한 인공지능 학습모델을 지정하여 에지 녹화 에이전트(200)를 통해 제공한다. 한편, 인공지능 학습모델을 제공하는 것은 도 6을 참조하여 설명하였으므로 여기서는 생략하도록 한다.
또한 의료영상 저장부(330)는 에지 녹화 에이전트(200)로부터 의료영상을 수신하고, 상기 수신한 각 의료영상을 상황인지 카메라(100)별로 분류하여 데이터베이스(300)에 저장 및 관리한다.
또한 의료영상 제공부(340)는 사용자 단말(미도시)로부터 특정 환자에 대한 의료영상에 대한 요청이 있으면, 상기 사용자 단말로 의료영상을 제공하는 기능을 수행한다.
이때, 의료영상 제공부(340)는 사용자의 선택에 따라 녹화품질이 높은 의료영상(풀 해상도)을 재생하거나, 타임스탬프를 참조하여 타임스탬프에 따라 의료영상을 재생함으로써 상기 의료영상을 사용자 단말로 제공할 수 있다.
이하에서는 도 10을 참조하여 인공지능 상황인지를 통한 의료영상을 녹화하는 방법을 설명하도록 한다.
도 10은 본 발명의 일 실시예에 따른 상황인지를 통한 의료영상을 녹화하여 저장 및 관리하는 절차를 나타낸 타이밍도이다.
도 10에 도시한 바와 같이, 본 발명의 일 실시예에 따른 상황인지를 통한 의료영상을 녹화하여 저장 및 관리하는 절차는 우선, 저장 서버(300)에서, 녹화 상황을 인지하기 위한 인공지능 학습모델을 생성하는 인공지능 학습 단계를 수행한다(S110).
상기 인공지능 학습모델은 녹화 상황별로 각각 생성됨은 상술한 바와 같다.
다음으로 저장 서버(300)에서, 복수의 상황인지 카메라(100)의 이용목적에 따라 상기 복수의 상황인지 카메라(100)에 대한 인공지능 학습모델을 지정하고, 상기 인공지능 학습모델을 지정한 각 상황인지 카메라(100)에 제공하는 인공지능 학습모델 제공 단계를 수행한다(S120). 한편, 인공지능 학습모델은 미리 복수의 상황인지 카메라(100)에 제공되어 탑재된다.
다음으로 복수의 상황인지 카메라(100)에서 촬영한 의료영상을 통해서 인공지능으로 녹화상황을 인지하는 인공지능 상황 인지 단계를 수행한다(S130).
상기 상황을 인지하는 하는 것은, 복수의 상황인지 카메라(100)별로 탑재한 인공지능 학습모델을 통해 수행됨은 상술한 바와 같다.
다음으로 복수의 상황인지 카메라(100) 중 녹화 상황을 먼저 인지한 상황인지 카메라(100)에서, 상기 녹화 상황에 대한 통지를 수행하는 상황인지 통지 단계를 수행한다(S140).
다음으로 복수의 상황인지 카메라(100)에서 미리 설정한 우선순위에 따라 녹화 상황에 대한 통지를 수행한 상황인지 카메라(100)(중심 카메라)로 포커싱하여 의료영상을 녹화하여 에지 녹화 에이전트(200)로 전송하는 상황인지 녹화 단계를 수행한다(S150).
한편, 중심 카메라로 포커싱하여 의료영상을 녹화하는 것은 도 3 및 도 7을 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.
다음으로 에지 녹화 에이전트(200)에서 복수의 상황인지 카메라(100)로부터 수신한 의료영상에 대한 녹화 중요도를 판단하는 녹화 중요도 판단 단계를 수행하고, 상기 판단한 녹화 중요도에 따라 의료영상을 선별하는 의료영상 선별 단계를 수행한다(S160).
여기서, 녹화 중요도는 각 녹화 상황별로 필수 상황인지 카메라(100)와 선택(optional) 상황인지 카메라(100)를 구별한 것임은 상술한 바와 같다.
이후, 에지 녹화 에이전트(200)는 선별한 의료영상에 대한 ROI를 설정하는 ROI 설정 단계를 수행한다.
다음으로 에지 녹화 에이전트(200)는 선별한 의료영상에 대한 데이터 사이즈를 조정하는 데이터 사이즈 조정 단계를 수행한다(S170).
데이터 사이즈를 조정하는 것은, 각 상황인지 카메라(100)별로 할당한 네트워크 대역폭에 따라 ROI만을 선택하거나, 프레임 스킵 등을 통해 수행됨은 상술한 바와 같다.
다음으로 에지 녹화 에이전트(200)는 데이터 사이즈를 조정한 각 의료영상을 저장 서버(300)로 전송하는 전송 단계를 수행한다(S180).
이후, 저장 서버(300)는 에지 녹화 에이전트(200)로부터 수신한 각 의료영상을 상황인지 카메라(100)별로 분류하여 데이터베이스(300)에 저장 및 관리하는 의료영상 저장 단계를 수행한다(S190).
한편, 저장 서버(300)는 사용자 단말로부터 특정 수술과정에서 녹화한 의료영상에 대한 요청이 있는 경우, 각 의료영상을 사용자 단말로 제공하는 의료영상 제공 단계를 수행한다.
상기 의료영상을 제공하는 것은 도 9를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.
또한 도 10에는 한 번의 녹화 상황이 인지된 경우에 의료영상을 녹화하여 전송하는 것으로 나타나 있으나, 녹화 상황 인지를 통해 의료영상을 녹화하여 전송하는 것은 수술과정에 종료될 때까지 수행됨은 자명하다.
이처럼, 본 발명의 의료영상의 인공지능 상황인지 녹화 시스템 및 그 방법은 각 상황인지 카메라에서 녹화의 필요성이 있는 상황을 스스로 인지하고, 상기 각 상황에 따른 우선순위에 따라 녹화품질을 결정하여 녹화함으로써, 사용자에게 편의성을 제공할 수 있으며, 이와 동시에 불필요한 저장 공간의 소모를 줄이고 네트워크 트래픽에 대한 부하를 감소시킬 수 있는 효과가 있다.
이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.
10: 인공지능 상황인지 녹화 시스템 100: 상황인지 카메라
110: 촬영부 120: 인공지능 상황 인지부
130: 상황인지 통지부 140: 상황인지 통지 수신부
150: 상황인지 녹화부 200: 에지 녹화 에이전트
210: 의료영상 수신부 220: 녹화 중요도 판단부
230: 의료영상 선별부 240: ROI 설정부
250: 데이터 사이즈 조정부 260: 전송부
300: 저장 서버 310: 인공지능 학습부
320: 인공지능 학습모델 제공부 330: 의료영상 저장부
340: 의료영상 제공부

Claims (15)

  1. 복수의 상황인지 카메라;를 포함하며,
    상기 복수의 각 상기 상황인지 카메라는,
    촬영한 의료영상을 통해서 인공지능으로 녹화가 필요한 상황을 인지하는 인공지능 상황 인지부; 및
    상기 상황이 인지되면, 상기 촬영한 의료영상에 타임스탬프를 부가하여 녹화하는 상황인지 녹화부;를 포함하며,
    상기 복수의 상황인지 카메라 중 특정 상황인지 카메라에서, 상기 상황을 먼저 인지하면 인접한 상황인지 카메라로 상기 인지한 상황을 통지하며,
    상기 인접한 상황인지 카메라는, 상황별로 미리 설정한 우선순위에 따라 상기 특정 상황인지 카메라보다 우선순위가 낮으면 상기 특정 상황인지 카메라의 촬영방향으로 포커싱하여 상기 특정 상황인지 카메라의 녹화품질보다 낮은 품질로 녹화를 수행하며, 우선순위가 높으면 상기 특정 상황인지 카메라의 촬영방향으로 포커싱하지 않고 각 상기 인접한 상황인지 카메라의 이용목적에 따른 녹화를 수행하는 것을 특징으로 하는 인공지능 상황인지 녹화 시스템.
  2. 청구항 1에 있어서,
    상기 인공지능 상황 인지부는,
    상기 촬영한 의료영상에 음향, 신호 또는 이들의 조합을 더 포함하여 상기 상황을 인지하는 것을 더 포함하는 것을 특징으로 하는 인공지능 상황인지 녹화 시스템.
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    상기 복수의 상황인지 카메라는,
    수술실 전체를 촬영하는 관제 카메라, 환자의 환부를 촬영하는 환부 촬영 카메라, 생체 신호 모니터를 촬영하는 생체신호 카메라 또는 이들의 조합을 포함하는 것을 특징으로 하는 인공지능 상황인지 녹화 시스템.
  6. 청구항 1에 있어서,
    상기 인공지능 상황 인지부는, 상기 상황인지를 위한 인공지능 학습모델에 상기 촬영한 의료영상을 적용하여 상기 상황을 인지하며,
    상기 인공지능 학습모델은, 위급상황이나 긴급상황을 포함한 비정상적인 상황, 중요상황 또는 이들의 조합을 포함하여 사전에 정의된 상황을 각각 학습함으로써 생성된 것을 포함하는 것을 특징으로 하는 인공지능 상황인지 녹화 시스템.
  7. 청구항 1에 있어서,
    상기 인공지능 상황인지 녹화 시스템은,
    상기 복수의 상황인지 카메라로부터 상황인지를 통해 녹화한 의료영상을 수신하여 저장 서버로 전송하는 에지 녹화 에이전트;를 더 포함하며,
    상기 에지 녹화 에이전트는,
    상기 상황에 따라 각 상기 상황인지 카메라에 대한 녹화 중요도를 판단하여 각 상황인지 카메라로부터 수신한 의료영상 중 적어도 하나 이상을 선별하고, 각 상기 상황인지 카메라별로 사전에 할당한 네트워크 대역폭 내에서, 상기 선별한 각 의료영상의 데이터 사이즈를 조정하여 전송하는 것을 포함하는 것을 특징으로 하는 인공지능 상황인지 녹화 시스템.
  8. 청구항 7에 있어서,
    상기 인공지능 상황인지 녹화 시스템은,
    상황인지를 위한 인공지능 학습모델을 생성하는 인공지능 학습부; 및
    상기 에지 녹화 에이전트로부터 수신한 의료영상을 상황인지 카메라별로 분류하여 저장 및 관리하는 의료영상 저장부;를 더 포함하며,
    상기 인공지능 학습모델은, 상기 에지 녹화 에이전트를 통해서 상기 복수의 상황인지 카메라에 대한 인공지능 학습모델이 지정되어 제공되는 것을 포함하는 것을 특징으로 하는 인공지능 상황인지 녹화 시스템.
  9. 복수의 상황인지 카메라를 포함하는 인공지능 상황인지 녹화 시스템의 인공지능 상황인지 녹화 방법에 있어서,
    상기 복수의 각 상황인지 카메라에서, 촬영한 의료영상을 통해 인공지능으로 녹화가 필요한 상황을 인지하는 인공지능 상황 인지 단계; 및
    상기 복수의 각 상황인지 카메라에서, 상기 상황이 인지되면, 상기 촬영한 의료영상을 녹화하는 상황인지 녹화 단계;를 포함하며,
    상기 복수의 상황인지 카메라 중 특정 상황인지 카메라에서, 상기 상황을 먼저 인지하면 인접한 상황인지 카메라로 상기 인지한 상황을 통지하며,
    상기 인접한 상황인지 카메라는, 상황별로 미리 설정한 우선순위에 따라 상기 특정 상황인지 카메라보다 우선순위가 낮으면 상기 특정 상황인지 카메라의 촬영방향으로 포커싱하여 상기 특정 상황인지 카메라의 녹화품질보다 낮은 품질로 녹화를 수행하며, 우선순위가 높으면 상기 특정 상황인지 카메라의 촬영방향으로 포커싱하지 않고 각 상기 인접한 상황인지 카메라의 이용목적에 따른 녹화를 수행하는 것을 특징으로 하는 인공지능 상황인지 녹화 방법.
  10. 청구항 9에 있어서,
    상기 인공지능 상황 인지 단계는,
    상기 촬영한 의료영상에 음향, 신호 또는 이들의 조합을 더 포함하여 상기 상황을 인지하는 것을 더 포함하는 것을 특징으로 하는 인공지능 상황인지 녹화 방법.
  11. 삭제
  12. 삭제
  13. 청구항 9에 있어서,
    상기 인공지능 상황 인지 단계는, 상기 상황인지를 위한 인공지능 학습모델에 상기 촬영한 의료영상을 적용하여 상기 상황을 인지하며,
    상기 인공지능 학습모델은, 위급상황이나 긴급상황을 포함한 비정상적인 상황, 중요상황 또는 이들의 조합을 포함하여 사전에 정의된 상황을 각각 학습함으로써 생성된 것을 포함하는 것을 특징으로 하는 인공지능 상황인지 녹화 방법.
  14. 청구항 9에 있어서,
    상기 인공지능 상황인지 녹화 방법은,
    에지 녹화 에이전트에서, 상기 복수의 상황인지 카메라로부터 상황인지를 통해 녹화한 의료영상을 수신하여 저장 서버로 전송하는 전송 단계;를 더 포함하며,
    상기 에지 녹화 에이전트는, 상기 상황에 따라 각 상기 상황인지 카메라에 대한 녹화 중요도를 판단하여 각 상황인지 카메라로부터 수신한 의료영상 중 적어도 하나 이상을 선별하고, 각 상기 상황인지 카메라별로 사전에 할당한 네트워크 대역폭 내에서, 상기 선별한 각 의료영상의 데이터 사이즈를 조정하여 전송하는 것을 포함하는 것을 특징으로 하는 인공지능 상황인지 녹화 방법.
  15. 청구항 14에 있어서,
    상기 인공지능 상황인지 녹화 방법은,
    상기 저장 서버에서, 상황인지를 위한 인공지능 학습모델을 생성하는 인공지능 학습 단계; 및
    상기 저장 서버에서, 상기 에지 녹화 에이전트로부터 수신한 의료영상을 상황인지 카메라별로 분류하여 저장 및 관리하는 의료영상 저장 단계;를 더 포함하며,
    상기 인공지능 학습모델은, 상기 에지 녹화 에이전트를 통해서 상기 복수의 상황인지 카메라에 대한 인공지능 학습모델이 지정되어 제공되는 것을 포함하는 것을 특징으로 하는 인공지능 상황인지 녹화 방법.
KR1020210188594A 2021-12-27 2021-12-27 인공지능 상황인지 녹화 시스템 및 그 방법 KR102642303B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210188594A KR102642303B1 (ko) 2021-12-27 2021-12-27 인공지능 상황인지 녹화 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210188594A KR102642303B1 (ko) 2021-12-27 2021-12-27 인공지능 상황인지 녹화 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20230099323A KR20230099323A (ko) 2023-07-04
KR102642303B1 true KR102642303B1 (ko) 2024-02-29

Family

ID=87156322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210188594A KR102642303B1 (ko) 2021-12-27 2021-12-27 인공지능 상황인지 녹화 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102642303B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101444843B1 (ko) * 2009-09-08 2014-11-03 삼성테크윈 주식회사 영상 감시 시스템 및 그의 동작 방법
KR102252660B1 (ko) * 2015-01-05 2021-05-18 한화테크윈 주식회사 영상녹화 설정장치
JP2022520701A (ja) * 2019-02-21 2022-04-01 シアター・インコーポレイテッド 手術ビデオの解析のためのシステム及び方法

Also Published As

Publication number Publication date
KR20230099323A (ko) 2023-07-04

Similar Documents

Publication Publication Date Title
US11583181B2 (en) Device and method for capturing, analyzing, and sending still and video images of the fundus during examination using an ophthalmoscope
US9729831B2 (en) Wireless surgical loupe
US10429675B2 (en) System for using augmented reality for vision
CN108042090B (zh) 配置人工智能芯片的医用内窥镜系统及图像处理方法
US11503201B2 (en) Focus detection device and method
CN106407727A (zh) 手术室可视化数据处理终端
US20210015432A1 (en) Surgery support system, information processing apparatus, and program
US10212340B2 (en) Medical imaging system and method for obtaining medical image
JP2012020115A (ja) 医用画像表示装置及びｘ線コンピュータ断層撮影装置
US11910997B2 (en) Apparatus, systems, and methods for intraoperative visualization
CN102525502A (zh) X射线透视摄影装置及方法
KR102642303B1 (ko) 인공지능 상황인지 녹화 시스템 및 그 방법
KR20120016536A (ko) 수술 영상을 저장하고 실시간으로 제공하는 수술 영상 녹화 방법 및 시스템
CN115514918B (zh) 一种远程视频方法、云平台、通讯移动平台及存储介质
KR20130082655A (ko) 휴대단말용 진단의료영상 디스플레이 시스템 및 방법
CN109710073A (zh) 一种vr医用手术教学头盔
KR20230044626A (ko) 의료영상을 roi별로 이벤트 레코딩하는 방법
CN206209723U (zh) 手术室可视化数据处理终端
CN107277493A (zh) 一种双摄像头视频图像采集系统
US20220211267A1 (en) Device navigation and capture of media data
CN114040137B (zh) 一种以dicom格式记录的手术记录系统及数据处理方法
CN116350153B (zh) 一种rfid内窥镜跟踪建议系统及方法
CN107145748A (zh) 一种分布式医疗数据监控系统
JP3145342B2 (ja) 医療用画像データの処理装置
KR20240034909A (ko) 인공지능 기반 의료진단시스템 및 그의 동작 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant