KR102427171B1 - 영상 내의 객체 레이블링 제공 방법 및 이를 위한 장치 - Google Patents

Abstract

본 발명은 영상 내의 객체 레이블링 제공 장치에 의해 수행되는 방법에 있어서, 언레이블 영상정보에 기반한 언레이블 데이터를 획득하는 단계, 상기 언레이블 데이터를 객체 인식 학습 모델을 기반으로 학습하여 객체 인식 결과 데이터를 산출하는 단계 및 상기 객체 인식 결과 데이터 중 적어도 하나의 언레이블 객체 데이터를 객체 추적 모델에 입력하여, 상기 언레이블 객체 데이터의 레이블링을 위한 보정 데이터를 산출하는 단계를 포함하고, 상기 언레이블 영상정보는, 수술 과정을 촬영한 수술 동영상 내에 포함된 적어도 하나의 객체에 대해 언레이블된 동영상을 포함할 수 있다.

Description

영상 내의 객체 레이블링 제공 방법 및 이를 위한 장치{Method and Apparatus for providing object labeling within Video}

본 발명은 영상에서 객체를 검출하는 방법에 관한 것으로, 보다 상세하게는 수술 영상에서 객체 인식 학습 훈련을 이용하여 객체를 검출하는 방법 및 장치에 관한 것이다.

최근 들어 외과 수술에서는 개복 수술의 비중이 크게 낮아지고 환자의 합병증을 최소화하여 회복 속도를 향상시킬 수 있는 최소 침습 수술의 비율이 매우 크게 늘어나고 있다.

전문의가 카메라로부터 입력된 영상을 보며 진행하는 최소 침습 수술 특성 상 수술실 내 수술의 모든 과정이 영상으로 기록되게 된다. 수술 영상을 일종의 수술 기록으로 간주하여 수술 과정을 인식하면 수술 도중 실시간 가이던스(guidance)뿐 아니라 자동화 수술이 가능해질 수 있다. 그러려면 수술 영상을 활용한 수술에 대한 평가 및 분석에 대한 정보가 필요하다.

수술 영상을 활용한 수술에 대한 평가 및 분석을 위해서는 수술 도구, 수술하는 환자의 장기 등에 대한 레이블링이 필수적이다. 이러한 수술 데이터, 즉, 수술 과정에서 수술 도구, 수술하는 환자의 장기에 대한 레이블링 정보는 주로 전문의들이 직접 수행하는데 이 경우, 많은 비용이 발생하게 된다.

따라서, 수술 데이터에 대한 레이블링 정보를 전문의를 별도로 고용하지 않고 자동으로 생성하여 수술 도중에 이루어지는 의사결정에 대해 도움을 줄 수 있는 보조 정보를 제공할 필요가 있다.

대한민국 공개특허공보 제2020-0023266호

상술한 바와 같은 문제점을 해결하기 위한 본 발명은 수술 영상에서 정확한 수술 데이터 인식을 위한 학습을 수행하여 수술 데이터 각각에 대한 레이블링을 하는 방법을 제공하는 것을 그 목적으로 한다.

또한, 본 발명은 수술 데이터 인식을 위한 학습을 수행 후 수술 데이터 각각에 대한 레이블링 중 누락된 레이블이 있는지를 확인하는 방법을 제공하는 것을 그 목적으로 한다.

또한, 본 발명은 수술 데이터 인식을 위한 학습을 수행 후 수술 데이터 각각에 대한 레이블링 중 잘못된 레이블이 있는지를 확인하는 방법을 제공하는 것을 그 목적으로 한다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상 내의 객체 레이블링 제공 장치에 의해 수행되는 방법에 있어서, 언레이블 영상정보에 기반한 언레이블 데이터를 획득하는 단계, 상기 언레이블 데이터를 객체 인식 학습 모델을 기반으로 학습하여 객체 인식 결과 데이터를 산출하는 단계 및 상기 객체 인식 결과 데이터 중 적어도 하나의 언레이블 객체 데이터를 객체 추적 모델에 입력하여, 상기 언레이블 객체 데이터의 레이블링을 위한 보정 데이터를 산출하는 단계를 포함하고, 상기 언레이블 영상정보는, 수술 과정을 촬영한 수술 동영상 내에 포함된 적어도 하나의 객체에 대해 언레이블된 동영상을 포함할 수 있다.

또한, 상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 상기 객체 인식 학습 모델은, 레이블 영상정보를 기반하여 획득한 레이블 데이터를 학습하여 구축된 것을 특징으로 할 수 있다.

또한, 상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 상기 객체 인식 학습 모델은, 상기 레이블 데이터에 대해 레이블 확정 데이터를 기반으로 학습된 것을 특징으로 할 수 있다.

또한, 상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 상기 보정 데이터를 출력하는 단계를 더 포함하는 것을 특징으로 할 수 있다.

또한, 상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 상기 보정 데이터를 상기 객체 인식 학습 모델에 입력하여 학습하는 단계를 더 포함하는 것을 특징으로 할 수 있다.

또한, 상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 상기 레이블 영상정보 또는 언레이블 영상정보는, 상기 수술 동영상에서 수술 도구, 거즈, 출혈 및 신체 장기 중 적어도 하나의 객체를 포함하는 것을 특징으로 할 수 있다.

또한, 상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 상기 보정 데이터를 산출하는 단계는, 상기 객체 인식 결과 데이터를 기반으로, 상기 수술 동영상 내에서 적어도 하나의 언레이블 객체 데이터가 포함된 적어도 하나의 프레임을 체크하는 단계, 상기 수술 동영상 내의 복수의 프레임 중 상기 적어도 하나의 프레임을 시작으로, 상기 수술 동영상 내에 상기 적어도 하나의 언레이블 객체 데이터가 모두 포함되어 있는지 상기 객체 추적 모델에 기반하여 양방향 트래킹(Bidirectional Tracking)을 수행하는 단계 및 상기 양방향 트래킹 수행 결과, 상기 적어도 하나의 언레이블 객체 데이터가 모두 포함되어 있고, 상기 모두 포함된 적어도 하나의 언레이블 객체가 동일 객체일 경우, 상기 보정 데이터를 기반으로 상기 언레이블 객체 데이터에 레이블을 추가하는 단계를 포함하는 것을 특징으로 할 수 있다.

또한, 상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 상기 보정 데이터를 산출하는 단계는, 상기 수술 동영상 내에 복수의 언레이블 객체 데이터가 포함되는 경우, 상기 복수의 언레이블 객체 데이터 각각에 대해 상기 양방향 트래킹하는 것을 특징으로 할 수 있다.

또한, 상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 상기 보정 데이터를 산출하는 단계는, 상기 객체 인식 결과 데이터를 기반으로, 상기 수술 동영상 내에서 적어도 하나의 레이블 객체의 데이터가 포함된 적어도 하나의 프레임을 체크하는 단계, 상기 수술 동영상 내의 복수의 프레임 중 상기 적어도 하나의 프레임을 시작으로, 상기 수술 동영상 내에 상기 적어도 하나의 레이블 객체 데이터가 모두 포함되어 있는지 상기 객체 추적 모델에 기반하여 양방향 트래킹(Bidirectional Tracking)을 수행하는 단계 및 상기 양방향 트래킹 수행 결과, 상기 적어도 하나의 레이블 객체 데이터가 모두 포함되어 있지 않으면, 상기 레이블 객체 데이터에 레이블을 삭제하는 단계를 포함하는 것을 특징으로 할 수 있다.

또한, 상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 언레이블 영상정보를 획득하는 영상 획득부, 객체 인식 학습 모델 및 객체 추적 모델이 구비된 메모리 및 상기 언레이블 영상정보에 기반한 언레이블 데이터를 획득하고, 상기 언레이블 데이터를 상기 객체 인식 학습 모델에 학습시켜 객체 인식 결과 데이터를 산출하고, 상기 객체 인식 결과 데이터 중 언레이블 객체 데이터를 상기 객체 추적 모델에 입력하여 상기 언레이블 객체 데이터의 레이블링을 위한 보정 데이터를 산출하는 제어부를 포함하고, 상기 언레이블 영상정보는, 수술 과정을 촬영한 수술 동영상 내에 포함되는 적어도 하나의 객체에 대해 언레이블된 동영상을 포함할 수 있다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

상기와 같은 본 발명에 따르면, 수술 영상에서 정확한 수술 데이터 인식을 위한 학습을 수행하여 수술 데이터 각각에 대한 레이블링을 하는 방법을 제공함으로써 전문의를 고용해서 진행해야 했던 이전에 비해 비용과 시간을 월등히 줄일 수 있는 효과가 있다.

본 발명에 따르면, 수술 데이터 인식을 위한 학습을 수행 후 수술 데이터 각각에 대한 레이블링 중 누락된 레이블이 있는지를 확인하는 방법을 제공함으로써 학습에 대한 신뢰도를 높일 수 있는 효과가 있다.

본 발명에 따르면, 수술 데이터 인식을 위한 학습을 수행 후 수술 데이터 각각에 대한 레이블링 중 잘못된 레이블이 있는지를 확인하는 방법을 제공함으로써 학습에 대한 신뢰도를 높일 수 있는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 영상 내의 객체 레이블링 제공 시스템을 나타낸 도면이다.
도 2는 본 발명에 따른 객체 레이블링 제공장치의 객체 레이블링 제공 과정을 나타낸 순서도이다.
도 3은 본 발명에 따른 단계 S50에서 언레이블 데이터에 레이블을 추가하는 과정을 나타낸 순서도이다.
도 4는 본 발명에 따른 단계 S50에서 레이블 데이터에서 레이블을 삭제하는 과정을 나타낸 순서도이다.
도 5는 본 발명에 따른 객체 레이블링 제공 과정을 나타낸 설명도이다.
도 6은 본 발명에 따른 객체 레이블링 제공장치에서 라벨링하고자 하는 수술 도구를 나타낸 도면이다.
도 7은 본 발명에 따른 객체 레이블링 제공장치가 초기 훈련 데이터베이스에서 각 도구의 라벨 통계와 준지도 학습 과정에서 얻은 라벨 증가 통계를 나타낸 도면이다.
도 8은 본 발명에 따른 검증 세트에 대한 데이터 분포를 나타낸 도면이다.
도 9는 본 발명에 따른 알고리즘 1을 나타낸 도면이다.
도 10은 본 발명에 따른 객체 레이블링 제공장치가 검출 및 추적 기반 알고리즘을 통해 자동화된 방법으로 얻은 라벨 정보의 예를 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.

도 1은 본 발명에 따른 영상 내의 객체 레이블링 제공 시스템을 나타낸 도면이다.

영상 내의 객체 레이블링 제공 시스템은 객체 레이블링 제공장치(10)와 사용자 단말기(20)를 포함할 수 있다.

객체 레이블링 제공장치(10)는 수술 영상에서 정확한 수술 데이터 인식을 위한 학습을 수행하여 수술 데이터 각각에 대한 레이블링을 하는 방법을 제공함으로써 전문의를 고용해서 진행해야 했던 이전에 비해 비용과 시간을 월등히 줄일 수 있는 효과를 가질 수 있다.

또한, 객체 레이블링 제공장치(10)는 수술 데이터 인식을 위한 학습을 수행 후 수술 데이터 각각에 대한 레이블링 중 누락된 레이블이 있는지를 확인하는 방법을 제공함으로써 학습에 대한 신뢰도를 높일 수 있는 효과를 가질 수 있다.

또한, 객체 레이블링 제공장치(10)는 수술 데이터 인식을 위한 학습을 수행 후 수술 데이터 각각에 대한 레이블링 중 잘못된 레이블이 있는지를 확인하는 방법을 제공함으로써 학습에 대한 신뢰도를 높일 수 있는 효과를 가질 수 있다.

객체 레이블링 제공장치(10)는 영상 획득부(110), 메모리(120) 및 제어부(130)를 포함할 수 있다. 여기서, 객체 레이블링 제공장치(10)는 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.

영상 획득부(110)는 언레이블 영상정보 또는 레이블 영상정보를 기 설정된 주기, 실시간 또는 사용자의 입력이 있는 시점에서 획득할 수 있다. 영상 획득부(110)는 언레이블 영상정보 또는 레이블 영상정보를 외부 서버(미도시), 메모리(120) 등을 통해 획득할 수 있다.

여기서, 언레이블 영상정보는 수술 과정을 촬영한 수술 동영상 내에 포함된 적어도 하나의 객체에 대해 언레이블된 동영상을 포함할 수 있다. 또한 레이블 영상정보는 수술 과정을 촬영한 수술 동영상 내에 포함된 적어도 하나의 객체에 대해 레이블된 동영상을 포함할 수 있다.

또한, 언레이블 영상정보 또는 레이블 영상정보는 예시적으로 컴퓨터단층촬영(Computer Tomography, CT), 핵자기공명 컴퓨터 단층촬영 영상(Nuclear Magnetic Resonance Computed Tomography, NMR-CT), 양전자 단층촬영 영상(Positron Emission Tomography; PET), 콘빔전산화단층촬영(Cone Beam CT, CBCT), 전자빔 단층촬영 영상(Electron BeamTomography; EBT), 엑스레이(X-ray) 영상, 자기공명영상(Magnetic Resonance Imaging; MRI)을 포함할 수 있으나, 상기 예시에 한정되지 않고, 동영상을 포함하여 수술 시 촬영한 영상데이터를 모두 포함할 수 있다.

메모리(120)는 객체 인식 학습 모델 및 객체 추적 모델을 구비할 수 있다. 여기서, 객체 인식 학습 모델은 레이블 영상정보를 기반한 레이블 데이터를 획득하고, 상기 레이블 데이터를 학습하여 구축된 모델일 수 있다. 또한, 객체 인식 학습 모델은 레이블 데이터에 대해 레이블 확정 데이터를 기반으로 학습된 것일 수 있다. 객체 추적 모델은 객체 인식 학습 모델에 의해 산출되는 레이블 데이터 또는 언레이블 데이터에 대해 양방향 트래킹(Bidirectional Tracking)을 수행하여 레이블을 추가하거나 삭제하는 모델일 수 있다.

여기서, 일례로, 객체 인식 학습 모델은 심층신경망(Deep Neural Network; DNN)일 수 있다. 심층신경망은 하나 이상의 컴퓨터 내에 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 의미할 수 있다. 예를 들어, 심층신경망은 콘벌루션 풀링 층(Convolutional Pooling Layer), 로컬 연결 층(a locally-connected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다. 콘벌루션 풀링 층 또는 로컬 연결 층은 영상 내 특징들을 추출하도록 구성될 수 있다. 완전 연결 층은 영상의 특징 간의 상관관계를 결정할 수 있다. 일부 실시 예에서, 심층신경망의 전체적인 구조는 콘벌루션 풀링 층에 로컬 연결 층이 이어지고, 로컬 연결 층에 완전 연결 층이 이러지는 형태로 이루어질 수 있다. 심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))를 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수 있다.

본 발명의 실시예들에 따른 심층신경망은, 영상분석에 적합한 콘볼루셔널 신경망이라고 부르는 구조로서, 주어진 영상 데이터들로부터 가장 분별력(Discriminative Power)가 큰 특징을 스스로 학습하는 특징 추출층(Feature Extraction Layer)와 추출된 특징을 기반으로 가장 높은 예측 성능을 내도록 예측 모델을 학습하는 예측층(Prediction Layer)이 통합된 구조로 구성될 수 있다.

특징 추출층은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘벌루션 층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수차례 반복하는 구조로 형성될 수 있다. 이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다.

콘벌루션 층은 입력 영상의 각 패치에 대하여 필 터와 국지 수용장(Local Receptive Field)의 내적에 비선형 활성 함수(Activation Function)를 취함으로 서 특징지도(Feature Map)를 구하게 되는데, 다른 네트워크 구조와 비교하여, CNN은 희소한 연결성 (Sparse Connectivity)과 공유된 가중치(Shared Weights)를 가진 필터를 사용하는 특징을 가질 수 있다. 이러한 연결구조는 학습할 모수의 개수를 줄여주고, 역전파 알고리즘을 통한 학습을 효율적으로 만들어 결과적으로 예측 성능을 향상시킬 수 있다.

통합 층(Pooling Layer 또는 Sub-sampling Layer)은 이전 콘벌루션 층에서 구해진 특징 지도의 지역 정보를 활용하여 새로운 특징 지도를 생성할 수 있다. 일반적으로 통합 층에 의해 새로 생성된 특징지도는 원래의 특징 지도보다 작은 크기로 줄어드는데, 대표적인 통합 방법으로는 특징 지도 내 해당 영역의 최대값을 선택하는 최대 통합(Max Pooling)과 특징 지도 내 해당 영역의 평균값을 구하는 평균 통합(Average Pooling) 등이 있을 수 있다. 통합 층의 특징지도는 일반적으로 이전 층의 특징 지도보다 입력 영상에 존재하는 임의의 구조나 패턴의 위치에 영향을 적게 받을 수 있다. 즉, 통합층은 입력 영상 혹은 이전 특징 지도에서의 노이즈나 왜곡과 같은 지역적 변화에 보다 강인한 특징을 추출할 수 있게 되고, 이러한 특징은 분류 성능에 중요한 역할을 할 수 있다. 또 다른 통합 층의 역할은, 깊은 구조상에서 상위의 학습 층으로 올라갈수록 더 넓은 영역의 특징을 반영할 수 있게 하는 것으로서, 특징 추출 층이 쌓이면서, 하위 층에서는 지역적인 특징을 반영하고 상위 층으로 올라 갈수록 보다 추상적인 전체 영상의 특징을 반영하는 특징 생성할 수 있다.

이와 같이, 콘벌루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(MLP: Multi-Layer Perceptron)이나 서포트 벡터 머신(SVM: Support Vector Machine)과 같은 분류 모델이 완전 연결 층(Fully-connected Layer)의 형태로 결합되어 분류 모델 학습 및 예측에 사용될 수 있다.

다만, 본 발명의 실시예들에 따른 객체 인식 학습 모델 중 심층신경망의 구조는 이에 한정되지 아니하고, 다양한 구조의 신경망으로 형성될 수 있다.

일례로, 생성적 적대 신경망 학습 모델이란, 비지도 학습으로서, 분류를 담당하는 판별자 D(Discriminator)와 랜덤한 노이즈에서 데이터를 만들어 내는 생성자 G(Generator)의 두 개의 모델로 구성될 수 있다.

생성적 적대 신경망 학습 모델은, 생성자 G와 판별자 D가 대립하며 서로의 성능을 개선시켜 나가는 모델이며, 판별자 D는 원 데이터만을 참으로 판단하기 위해 노력하고 생성자는 판별자 D가 거짓으로 판별하지 못하도록 가짜 데이터를 생성해가며 두 모델의 성능이 같이 올라가게 구성될 수 있는 모델이다.

생성자 G는 원 데이터의 확률분포를 알아내려 하고, 분포를 재현하여 가짜 데이터를 실 데이터와 차이가 없도록 하는 것이고, 판별자 D는 판별 대상인 데이터가 실 데이터인지, 생성자 G가 만들어낸 데이터인지 구별하여 각각에 대한 확률을 추정할 수 있다.

제어부(130)는 상기 언레이블 영상정보에 기반한 언레이블 데이터를 획득할 수 있다. 이후, 제어부(130)는 상기 언레이블 데이터를 상기 객체 인식 학습 모델에 학습시켜 객체 인식 결과 데이터를 산출할 수 있다.

제어부(130)는 상기 객체 인식 결과 데이터 중 언레이블 객체 데이터를 상기 객체 추적 모델에 입력하여 상기 언레이블 객체 데이터의 레이블링을 위한 보정 데이터를 산출할 수 있다.

제어부(130)는 상기 보정 데이터를 출력할 수 있다. 여기서, 제어부(130)는 보정 데이터를 출력하여 화면출력부(미도시)를 통해 디스플레이하거나 사용자 단말기(20)로 전송하여 디스플레이할 수 있다.

제어부(130)는 상기 보정 데이터를 상기 객체 인식 학습 모델에 입력하여 학습할 수 있다. 제어부(130)는 보정 데이터를 객체 인식 학습 모델에 입력하여 학습함으로써 객체 인식 학습 모델을 업데이트할 수 있다. 이에 따라 객체 인식 학습 모델의 신뢰도가 높아질 수 있는 효과를 가질 수 있다.

이상으로 영상 내의 객체 레이블링 제공 장치(10)는 도 2 내지 도 4를 통해 설명할 영상 내의 객체 레이블링 제공 시스템의 구동과정과 발명의 카테고리만 다를 뿐, 동일한 내용이므로 상세한 내용에 대해서는 도 2 내지 도 4를 통해 후술한다.

사용자 단말기(20)는 객체 레이블링 제공장치(10)에서 출력한 보정 데이터를 디스플레이할 수 있다. 또한, 사용자 단말기(20)는 사용자 일례로, 전문의, 간호사, 의대교수 등의 수술관련 전문가가 사용하는 단말기일 수 있다.

사용자 단말기(20)는 휴대폰, 스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 태블릿 PC, 등과 같이 네트워크를 통하여 웹 서버와 연결될 수 있는 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있으며, 개인용 컴퓨터(예를 들어, 데스크탑 컴퓨터, 노트북 컴퓨터 등), 워크스테이션, PDA, 웹 패드 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기 중 하나일 수도 있다.

이상으로 영상 내의 객체 레이블링 제공시스템은 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.

도 2는 본 발명에 따른 객체 레이블링 제공장치(10)의 객체 레이블링 제공 과정을 나타낸 순서도이다.

도 2를 참조하면, 객체 레이블링 제공장치(10)는 레이블 영상정보에 기반한 레이블 데이터를 획득할 수 있다(S10).

레이블 데이터는 실제 수술 과정을 촬영 또는 녹화한 수술 동영상 중 레이블 영상정보로부터 획득할 수 있다. 실제로 수행된 수술 동영상은 전술한 바와 같이, 실제 수술이 수행될 때 위치하는 수술 도구, 거즈, 출혈, 신체 장기 등에서 적어도 하나의 객체를 포함할 수 있다. 여기서, 레이블 영상정보는 실제로 수행된 수술 동영상 내에서 적어도 하나의 객체에 대해 레이블된 동영상일 수 있다.

따라서, 레이블 데이터는, 수술 도구, 거즈, 출혈, 신체 장기 등에서 적어도 하나 이상을 구분하여 실제로 수행된 수술 동영상 내에서 레이블된 데이터일 수 있다.

실제로 수행된 수술 동영상 내에서 레이블하는 것이란, 실제로 수행된 수술 동영상 내에서 특정하고자 하는 부분, 또한 수술과 관련된 사항을 설명하고자 하는 부분, 즉, 수술 전문가가 타인에게 학습시키고자 하는 정보에 해당하는 부분 일례로, 수술 도구, 거즈, 출혈, 신체 장기 등에서 적어도 하나 이상에 객체에 대해 바운딩 박스(bounding box)형태로 어노테이션(annotation) 즉, 레이블링하는 것인데, 레이블링이란, 바운딩 정보를 포함한 레이블(Label)을 생성하는 것을 의미할 수 있다. 여기서, 실제로 수행된 수술 동영상 내에서 복수의 객체에 대해 레이블링하는 것은 주로 전문의, 간호사, 의대교수 등의 수술관련 전문가일 수 있다.

일례로, 수술 동영상 내에서 수술 도구를 바운딩 박스로 표시하여 레이블링할 수 있는데, 이와 같은 방법은 실제 수술 영상 내에서 수행하는 것뿐만 아니라, 3D 수술 환경 또는 3D 가상 공간의 영상 내에서 어노테이션을 수행하는 것도 동일하게 적용될 수 있다.

여기서, 일례로, 수술 도구를 헤드, 관절, 바디로 구분하여 바운딩 박스 처리하여 레이블링 하는 것은, 도구의 정확한 위치 정보를 획득하기 위함으로써, 해당 수술 도구의 헤드 위치와, 관절 및/또는 바디의 위치를 특정하면, 수술 도구의 위치 및 방향 정보를 획득할 수 있다.

다만, 수술 도구는 기구학적 특정에 따라, 헤드, 바디로만 구분될 수 있고, 헤드, 관절 및 바디로 구분될 수도 있다.

수술 도구는 예시적으로는, 복강경 수술 도구, 로봇 수술 도구뿐만 아니라, 수술 과정에서 자주 사용되는 바늘, 표본 가방, 수술용 튜브 등이 포함될 수 있으며, 상기 나열된 예시 이외에도 수술 시 사용되는 도구는 모두 포함될 수 있다.

구체적인 예시로는, 담낭 절제술에 활용되는 복강경 도구 및 보조 수술 도구의 경우는, Atraumatic grasper, Electric hook, Curved Atraumatic Grasper, Suction-Irrigation, Clip Applier(metal), Scissors, Overholt, Ligasure, Clip Applier(Hem-O-Lok), Specimen Bag이 해당될 수 있다. 위 절제술의 경우에는, 로봇 도구, 복강경 도구, 보조 수술 도구를 포함할 수 있고, Harmonic Ace, Maryland Bipolar Forceps, Cadiere Forceps, Curved Atraumatic Grasper, Stapler, Medium-Large Clip Applier, Small Clip Applier, Suction-Irrigation, Scissors, Atraumatic Grasper, Overholt, Needle, Needle Holder, Specimen Bag이 해당될 수 있다.

객체 레이블링 제공장치(10)는 레이블 데이터를 객체 인식 학습 모델을 기반으로 학습할 수 있다(S20).

객체 레이블링 제공장치(10)는 레이블 영상정보를 기반하여 획득한 레이블 데이터를 객체 인식 학습 모델을 기반으로 학습할 수 있다. 즉, 객체 레이블링 제공장치(10)는 객체에 대한 레이블 데이터와 영상정보를 객체 인식 학습 모델에 입력하여 학습할 수 있다. 객체 인식 학습 모델은 상기 레이블 데이터에 대해 레이블 확정 데이터를 기반으로 학습된 것일 수 있다. 여기서, 레이블 확정 데이터는 기 저장된 실제 수술이 수행될 때 위치하는 수술 도구, 거즈, 출혈, 신체 장기 등에서 적어도 하나의 객체에 대해 이미 확실하게 레이블된 데이터일 수 있다.

객체 레이블링 제공장치(10)는 언레이블 영상정보에 기반한 언레이블 데이터를 획득할 수 있다(S30).

객체 레이블링 제공장치(10)는 언레이블 데이터를 실제로 수행된 수술 동영상 중 언레이블 영상정보로부터 획득할 수 있다. 여기서, 언레이블 영상정보는 실제로 수행된 수술 동영상 내에서 모든 객체에 대해 언레이블된 동영상일 수 있다.

따라서, 언레이블 데이터는, 수술 도구, 거즈, 출혈, 신체 장기 등에서 적어도 하나 이상에 대해 실제로 수행된 수술 동영상 내에서 언레이블된 데이터일 수 있다.

객체 레이블링 제공장치(10)는 언레이블 데이터를 객체 인식 학습 모델을 기반으로 학습하여 객체 인식 결과 데이터를 산출할 수 있다(S40).

객체 레이블링 제공장치(20)는 언레이블 영상정보에서 획득한 언레이블 데이터에 대해 레이블 데이터를 학습시킨 객체 인식 학습 모델을 기반으로 학습하여 객체 인식 결과 데이터를 산출할 수 있다. 여기서, 객체 인식 결과 데이터는 언레이블된 데이터가 적용된 언레이블 영상정보가 객체 인식 학습 모델에 입력되어 학습된 결과에 대한 데이터일 수 있다.

객체 레이블링 제공장치(10)는 상기 객체 인식 결과 데이터 중 적어도 하나의 언레이블 객체 데이터를 객체 추적 모델에 입력하여, 상기 언레이블 객체 데이터의 레이블링을 위한 보정 데이터를 산출할 수 있다(S50).

객체 레이블링 제공장치(10)는 상기 객체 인식 결과 데이터 중 적어도 하나의 언레이블 객체 데이터 또는 적어도 하나의 레이블 객체 데이터를 객체 추적 모델에 입력하여, 상기 언레이블 객체 데이터의 레이블링을 위한 보정 데이터를 산출하거나 잘못된 레이블을 삭제할 수 있다.

단계 S50에 대한 세부 내용은 도 3과 도 4를 참조하여 설명한다.

도 3은 본 발명에 따른 단계 S50에서 언레이블 데이터에 레이블을 추가하는 과정을 나타낸 순서도이다.

객체 레이블링 제공장치(10)는 상기 객체 인식 결과 데이터를 기반으로, 상기 수술 동영상 내에서 적어도 하나의 언레이블 객체 데이터가 포함된 적어도 하나의 프레임을 체크할 수 있다(S310).

여기서, 언레이블 객체 데이터는 동일한 것이거나, 다른 것이 혼재되어 있을 수 있다. 일예로, 객체 레이블링 제공장치(10)는 언레이블 객체 데이터가 제1 수술 도구와 장기일 경우, 제1 수술 도구와 장기가 포함된 적어도 하나의 프레임을 체크할 수 있다.

객체 레이블링 제공장치(10)는 상기 수술 동영상 내의 복수의 프레임 중 상기 적어도 하나의 프레임을 시작으로, 상기 수술 동영상 내에 상기 적어도 하나의 언레이블 객체 데이터가 모두 포함되어 있는지 객체 추적 모델에 기반하여 양방향 트래킹(Bidirectional)을 수행할 수 있다(S320).

객체 레이블링 제공장치(10)는 상기 수술 동영상 내에 복수의 언레이블 객체 데이터가 포함되는 경우, 상기 복수의 언레이블 객체 데이터 각각에 대해 상기 양방향 트래킹할 수 있다.

일예로, 객체 레이블링 제공장치(10)는 언레이블 객체 데이터가 제1 수술 도구와 장기인 경우, 먼저, 수술 동영상 내의 복수의 프레임 중 제1 수술 도구가 언레이블된 하나의 프레임을 시작으로 양방향 트래킹을 수행하고, 다음으로 수술 동영상 내의 복수의 프레임 중 장기가 언레이블된 하나의 프레임을 시작으로 양방향 트래킹을 수행할 수 있다.

객체 레이블링 제공장치(10)는 상기 양방향 트래킹 수행 결과, 상기 적어도 하나의 언레이블 객체 데이터가 모두 포함되어 있고, 상기 모두 포함된 적어도 하나의 언레이블 객체가 동일 객체일 경우, 상기 보정 데이터를 기반으로 상기 언레이블 객체 데이터에 레이블을 추가할 수 있다(S330).

일예로, 객체 레이블링 제공장치(10)는 언레이블된 제1 수술 도구와 장기에 대해 각각 하나의 프레임을 시작으로 양방향 트래킹 수행 결과, 언레이블된 제1 수술 도구와 장기가 모두 포함되어 있고, 제1 수술 도구와 장기에 대해 각각 모두 동일 객체일 경우, 보정 데이터를 기반으로 언레이블 객체 데이터인 언레이블된 제1 수술 도구와 장기에 레이블을 추가할 수 있다.

도 4는 본 발명에 따른 단계 S50에서 레이블 데이터에서 레이블을 삭제하는 과정을 나타낸 순서도이다.

객체 레이블링 제공장치(10)는 상기 객체 인식 결과 데이터를 기반으로, 상기 수술 동영상 내에서 적어도 하나의 레이블 객체의 데이터가 포함된 적어도 하나의 프레임을 체크할 수 있다(S410).

여기서, 레이블 객체 데이터는 동일한 것이거나, 다른 것이 혼재되어 있을 수 있다. 일예로, 객체 레이블링 제공장치(10)는 레이블 객체 데이터가 제2 수술 도구일 경우, 제2 수술 도구가 포함된 적어도 하나의 프레임을 체크할 수 있다.

객체 레이블링 제공장치(10)는 상기 수술 동영상 내의 복수의 프레임 중 상기 적어도 하나의 프레임을 시작으로, 상기 수술 동영상 내에 상기 적어도 하나의 레이블 객체 데이터가 모두 포함되어 있는지 상기 객체 추적 모델에 기반하여 양방향 트래킹(Bidirectional)을 수행할 수 있다(S420).

일예로, 객체 레이블링 제공장치(10)는 언레이블 객체 데이터가 제2 수술 도구인 경우, 먼저, 수술 동영상 내의 복수의 프레임 중 제2 수술 도구가 레이블된 첫번째 프레임을 시작으로 양방향 트래킹을 수행할 수 있다.

객체 레이블링 제공장치(10)는 상기 양방향 트래킹 수행 결과, 상기 적어도 하나의 레이블 객체 데이터가 모두 포함되어 있지 않으면, 상기 레이블 객체 데이터에 레이블을 삭제할 수 있다(S430).

일예로, 객체 레이블링 제공장치(10)는 레이블된 제2 수술 도구에 대해 하나의 프레임을 시작으로 양방향 트래킹 수행 결과, 레이블된 제2 수술 도구가 모두 포함되어 있지 않으면, 레이블 객체 데이터인 레이블된 제2 수술 도구에 레이블을 삭제할 수 있다.

객체 레이블링 제공장치(10)는 상기 보정 데이터를 출력할 수 있다(S60).

객체 레이블링 제공장치(10)는 보정 데이터를 출력하여 장치 내에 구비되는 화면(미도시)에 디스플레이하거나 사용자 단말기(20)로 전송하여 디스플레이할 수 있다.

객체 레이블링 제공장치(10)는 상기 보정 데이터를 상기 객체 인식 학습 모델에 입력하여 학습할 수 있다(S70).

객체 레이블링 제공장치(10)는 보정 데이터를 객체 인식 학습 모델에 입력하여 학습함으로써 객체 인식 학습 모델을 업데이트할 수 있다. 이에 따라 객체 인식 학습 모델의 신뢰도가 높아질 수 있는 효과를 가질 수 있다.

도 2 내지 4에서는 복수의 단계를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2 내지 4에 기재된 순서를 변경하여 실행하거나 복수의 단계 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 2 내지 4는 시계열적인 순서로 한정되는 것은 아니다.

도 5는 본 발명에 따른 객체 레이블링 제공 과정을 나타낸 설명도이고, 도 6은 본 발명에 따른 객체 레이블링 제공장치(10)에서 라벨링하고자 하는 수술 도구를 나타낸 도면이고, 도 7은 본 발명에 따른 객체 레이블링 제공장치(10)가 초기 훈련 데이터베이스에서 각 도구의 라벨 통계와 준지도 학습 과정에서 얻은 라벨 증가 통계를 나타낸 도면이고, 도 8은 본 발명에 따른 검증 세트에 대한 데이터 분포를 나타낸 도면이고, 도 9는 본 발명에 따른 알고리즘 1을 나타낸 도면이고, 도 10은 본 발명에 따른 객체 레이블링 제공장치(10)가 검출 및 추적 기반 알고리즘을 통해 자동화된 방법으로 얻은 라벨 정보의 예를 도시한 도면이다

이하, 도 5 내지 도 10을 통해 본 발명의 다른 실시예를 상세하게 설명한다.

수술 영상에서의 수술 도구에 대한 자동화된 인식은 수술의 평가와 분석을 위해 매우 주요한 요소일 수 있다. 객체 레이블링 제공장치(10)는 자동화된 수술 도구 위치 정보의 제공을 통해 수술 도중에 이루어지는 의사결정에 대해 도움을 줄 수 있는 보조 정보를 제공할 수 있다. 객체 레이블링 제공장치(10)는 자동화된 수술 도구의 위치 인식 문제를 해결하기 위해 객체 추적 모델인 물체 검출기를 활용하여 수술 비디오에 나타나는 수술 도구의 위치 정보를 학습할 수 있다. 객체 레이블링 제공장치(10)는 효율적인 도구의 바운딩 박스 정보를 얻기 위해 총 24 케이스의 로봇 수술로 수행된 위암을 위한 위 절제술 비디오를 활용할 수 있다. 객체 레이블링 제공장치(10)는 로봇 수술 도구 학습 과정에 있어 발생할 수 있는 수술 도구 간의 클래스 불균형 문제를 해결하기 위해 준지도 학습 기반의 훈련 방법을 제공할 수 있다. 이를 위해 객체 레이블링 제공장치(10)는 24 케이스에서 등장한 수술 도구에 대한 바운딩 박스 정보에 대한 데이터세트를 확보하고 데이터세트의 통계 정보에 따라 학습된 네트워크를 활용하여 레이블 되지 않은 비디오에 대한 도구 검출을 수행할 수 있다. 객체 레이블링 제공장치(10)는 도구 검출의 결과로부터 시공간 상에서의 밀집된 레이블 정보를 확보하기 위해 물체 추적 기반의 자동화된 레이블 생성을 수행할 수 있다. 객체 레이블링 제공장치(10)는 객체 추적 모델인 물체 추적기를 활용한 양방향 물체 추적을 통해 레이블 양이 부족한 수술 도구에 대한 밀집된 레이블을 생성할 수 있었으며, 완전 자동화된 방식으로 레이블 되지 않은 수술 비디오를 활용하여 객체 인식 학습 모델인 도구 검출기의 성능을 향상시킬 수 있다.

최근 인식 기술의 성능 향상에 힘입어 컴퓨터 보조 수술(Computer-Assisted Surgery)의 활용에 폭이 넓어지고 있다. CAS는 주로 수술 과정에 필요한 특별한 병변이나 정보를 전달하기 위해 활용되지만, 최근에는 CAS의 개념이 수술 과정 분석이나 행위 분석을 통한 수술 전후 피드백을 위해서도 활용되고 있다. 이때 수술 영상에서의 수술 도구 위치 인식은 수술 과정을 이해하기 위해서나 수술 과정에서 집도의에게 보조 정보를 주기 위해 필수적으로 요구되는 정보이다. 특별히 집도의에 대한 부담을 줄일 수 있는 로봇 수술에 대한 수요가 늘어나면서 수술 과정에 일어나는 인식 정보들을 활용한 수술 분석이나 수술 중 내비게이션과 같은 기술에 대한 필요성이 증가하고 있다.

이처럼 수술 도구 위치 인식에 대한 필요성이 증가하면서, 복강경 도구를 활용한 담낭 절제술과 DaVinci Xi 로봇을 활용한 복부 돼지 시술(abdominal porcine procedure) 도중 일부 영상에 대해 도구의 인스턴스 분할 정보를 포함한 데이터세트를 챌린지를 위해 공개하였다. 하지만 두 데이터세트의 경우 모두 위치 측정을 위한 충분한 레이블 정보가 제공되지 않았으며, 로봇 수술의 경우에는 돼지를 활용한 시술의 일부 과정에 만을 포함하고 있어 인식할 수 있는 도구의 외관 정보가 한정된다는 단점이 있다. 이 외에도 로봇 수술 도구의 움직임을 분석하기 위한 비디오와 도구의 로그 정보를 포함한 데이터세트가 공개되었지만 실제 수술에서의 움직임 정보는 포함하지 않고 있다.

따라서, 객체 레이블링 제공장치(10)는 기존의 데이터세트가 가진 단점을 극복하면서 로봇 수술에서의 도구 인식 문제를 효율적으로 해결하기 위해 준지도 학습 기반의 도구 검출방법론을 제공할 수 있다. 로봇 수술 비디오의 수술 도구의 위치 정보는 극단적인 클래스 불균형 문제를 가지고 있는 데이터로서 일부 도구들에 대해 학습이 어렵다는 특징이 있다. 일부 도구들은 수술 과정에서 특정한 목적만을 위해 활용되기 때문에 많이 케이스의 수술 비디오를 확보한다고 해도 수술의 상황이나 의사의 집도 방식에 따라 일부 도구는 매우 희박하게 등장하여 데이터를 획득하는데 어려운 점이 있다. 여기서, 객체 레이블링 제공장치(10)는 클래스 불균형 문제를 해결함과 동시에 사람의 개입을 최소화하고 학습 데이터의 양을 최대한 확보하고자 하는 목표로 설계되었으며 전 자동화된 방식으로 작동할 수 있다.

효과적인 준지도 학습 기법은 로봇 수술용 도구 인식에 적용하기 위해 물체 검출을 위한 제1 내지 제3 준지도 학습 기법 중 기본적으로 검출 및 추적 기반을 알고리즘인 제1 내지 제2 준지도 학습 기법을 활용할 수 있다. 제1 준비도 학습 기법의 경우, 검출 및 추적의 전략을 활용하기 위해 신뢰할 만한 추적을 수행하는 것을 목적으로 두었다. 이 경우, 효과적인 준지도 학습 기법은 신뢰할 만한 긍정 예제를 학습 데이터로 제공하지만 최근 제안된 CNN 기반의 검출기의 경우 앵커 기반의 어려운 긍정 예제를 채집하는 등의 데이터 증강 기법을 적극적으로 활용하기 때문에 확실한 긍정 예제를 채집하는 것이 중요하지 않은 문제일 수 있다.

이를 위해 객체 레이블링 제공장치(10)는 CNN 기반의 속도와 정확도의 균형 잡힌 성능을 보이는 추적기를 활용하여 불균형한 데이터 분포에서 특정한 데이터에 대한 학습 정보를 생성할 수 있다. 이때 객체 레이블링 제공장치(10)는 확실한 긍정 예제를 채집하기 보다는 부족한 데이터를 보완하는 것에 중점을 두어 클래스 불균형 문제를 해결할 수 있다.

제2 준지도 학습 기법은 기본적으로 일부 물체에 대한 초기 지상 진실 바운딩 박스 정보들이 존재한다는 전제하에 비디오에 분포하는 희박한 어노테이션을 가지고 효율적으로 학습할 수 있는 학습 방법론을 제안하였다. 제2 준지도 학습 기법의 경우 CNN 기반의 추적 모델을 활용하였다는 점에서 객체 레이블링 제공장치(10)의 알고리즘과 유사하지만, 객체 레이블링 제공장치(10)는 제2 준지도 학습 기법과 다르게 일부 데이터로부터 학습된 검출기를 활용하여 전혀 레이블이 되어있지 않은 비디오로부터 클래스 불균형을 발생시키는 일부 데이터에 대한 자동화된 레이블을 수행하여 비디오의 특정 프레임에 대한 밀집된 레이블을 생성할 수 있다.

여기서, 도 5를 보면, 객체 레이블링 제공장치(10)를 도식화한 것으로, 객체 레이블링 제공장치(10)는 초기 학습을 위한 훈련 데이터로부터 자동화된 방식으로 레이블을 추가하여 학습할 수 있다. 도 5에서 객체 레이블링 제공장치(10)의 동작은 붉게 표시된 화살표를 따라 진행하게 되면 전자동화된 방식으로 학습이 이루어지게 되며, 푸른 화살표를 따라가면 사람의 개입이 요구될 수 있다. 사람의 개입이 요구되는 경우에도 제안된 알고리즘을 활용할 경우 사람의 노력을 대폭 감소할 수 있다.

객체 레이블링 제공장치(10)는 도구 검출의 성능을 검증하기 위해 PyTorch기반의 MMDetection 라이브러리를 활용한 모델 학습을 수행하였으며, 다양한 모델에서의 성능 평가를 위해 대표적인 CNN 기반 2단계 물체 검출 모델인 Faster R-CNN과 Cascade R-CNN을 활용할 수 있다. 동시에 공정한 비교를 위해 객체 레이블링 제공장치(10)는 대표적인 1 단계 검출기 가운데 anchorless 검출기인 FCOS를 활용할 수 있다. 최종적으로 객체 레이블링 제공장치(10)는 서로 다른 검출기들의 상호보완적인 인지 정보를 활용하기 위해 학습된 검출기들에 대한 앙상블을 수행할 수 있다. 객체 레이블링 제공장치(10)는 검출기에 대한 효과적인 앙상블을 위해 joint NMS 기반 앙상블을 적용하여 최고 검출 성능을 달성할 수 있다.

객체 레이블링 제공장치(10)의 준지도학습 기반 수술 도구 검출 방법론의 기술적 기여는 다음과 같을 수 있다.

객체 레이블링 제공장치(10)의 도구 검출 방법론은 자동화된 방식으로 클래스 불균형 문제를 해결할 수 있다. 객체 레이블링 제공장치(10)는 자동화된 방식으로 레이블을 얻기 위해 준지도 학습 가운데 검출 및 추적 시나리오를 활용하였으며, 특정 시나리오는 전자동화된 방식으로 학습을 수행할 수 있다.

객체 레이블링 제공장치(10)는 효과적인 도구 검출을 위해 최신 성능의 CNN 기반 물체 검출기를 활용할 수 있다. 객체 레이블링 제공장치(10)는 준지도학습 시나리오에서 각 물체 검출기가 어떠한 성능을 보이는지 평가할 수 있다.

객체 레이블링 제공장치(10)는 최종 성능을 얻기 위해 지도/준지도 학습 시나리오 학습된 검출기들을 활용하여 앙상블 기반의 테스트 결과를 제공할 수 있다. 객체 레이블링 제공장치(10)는 앙상블 기법을 활용하여 제안하는 기법 가운데 최고 성능을 달성할 수 있다.

객체 레이블링 제공장치(10)는 로봇 수술 도구 인식을 위한 초기 훈련 데이터베이스를 구성하기 위해 숙련된 전문의로부터 시행된 24 케이스의 위암을 위한 위절제술의 원본 비디오를 활용할 수 있다. 이 가운데 14편은 da Vinci Si 시스템으로 나머지 10 편은 da Vinci Xi 시스템으로 기록된 영상일 수 있다. 위 절제술은 숙련된 전문에 의해 집도된 수술로 환자의 유형과 수술 과정 따라 녹화된 비디오의 시간은 최소 1 시간 반에서 4 시간 사이에 기록될 수 있다. 객체 레이블링 제공장치(10)는 수술 도구 어노테이션을 위해 도구가 등장하는 모든 프레임에 대하여 1f/s 샘플링을 적용하여 평균 초당 1 장의 프레임에 대한 어노테이션 정보를 확보할 수 있고, 모든 어노테이션이 레이블링 툴에 숙련된 어노테이터로부터 레이블이 수행될 수 있다. 레이블링 툴은 Computer Vision Annotation Tool (CVAT)을 활용하였으며 복수의 어노테이터들로부터 어노테이션 입력을 받아 최소 1 명의 검수자가 검수하는 방식으로 진행될 수 있다. 객체 레이블링 제공장치(10)는 각 도구를 레이블하기 위해 시각적으로 확인되는 도구가 갖는 최소 픽셀 크기의 바운딩 박스를 표기할 수 있다.

여기서, 도 6을 보면, 객체 레이블링 제공장치(10)가 위암을 위한 위 절제수술에서 인식하고자 하는 도구 목록과 해당하는 도구를 캡처한 도면인데, 객체 레이블링 제공장치(10)의 메모리인 학습 데이터베이스에 채집된 도구는 총 14 종류로 로봇 수술 도구, 수술 보조를 위한 복강경 도구, 수술에 활용되는 보조 도구로 구성될 수 있다. 여기서, 도구의 종류는 왼쪽 위에서부터 (a) Harmonic Ace, (b) Maryland Bipolar Forceps, (c) Cadiere Forceps, (d) Curved Atraumatic Grasper, (e) Stapler, (f) Medium-Large Clip Applier, (g) Small Clip Applier, (h) Suction-Irrigation, (i) Needle, (j) Needle Holder, (k) Baxter, (l) Specimen Bag, (m) Tube, and (n) Covidien Ultrasonic 순으로 나열되어 있으며, 각 도구는 도구를 포함하는 최소 픽셀크기의 바운딩 박스로 레이블될 수 있다.

또한, 도 7을 보면, 객체 레이블링 제공장치(10)가 초기 훈련 데이터베이스에서 각 도구의 라벨 통계와 준지도 학습 과정에서 얻은 라벨 증가 통계를 보여준다. 객체 레이블링 제공장치(10)는 수술 기구 검출기의 성능을 검증하기 위한 훈련에 포함되지 않은 3개의 비디오로 구성된 검증 세트로 평가 데이터를 구성할 수 있다. 또한, 도 7에서는 24개의 동영상에서 얻은 수술 기구의 초기 분포와 양방향 추적 기반 라벨링 후 각 모델에 대한 수술 기구의 분포를 보여준다. SSL은 양방향 추적 후 라벨을 생성하는 데이터를 가리키며, Post는 사람의 개입으로 정정된 후를 가리킨다.

또한, 도 8을 보면, 검증 세트에 대한 데이터 분포를 보여준다. 구체적으로 도 8에서는 3개의 비디오의 유효성 검사 세트에 포함된 도구 라벨 분포를 보여준다. 도 8에서는 훈련된 기구 검출기의 성능을 검증하기 위해, 3개의 영상을 24개의 비디오로 구성된 검증 세트로 나누었다. 또한, 도 8에서는 검증 비디오 세트에 포함된 각 검출기의 라벨 양 분포를 보여준다.

객체 레이블링 제공장치(10)는 도 5에 나타나는 준지도 학습을 활용한 시나리오를 검증하기 위해 MMDetection 라이브러리를 활용한 CNN 기반의 물체 검출기 훈련을 진행할 수 있다. 객체 레이블링 제공장치(10)는 베이스라인 성능을 확인하기 위해 대표적인 두 단계 모델인 Faster R-CNN, Cascade R-CNN과 더불어 한 단계 모델인 FCOS를 사용할 수 있다. 객체 레이블링 제공장치(10)는 탐지와 추적에 기반한 준지도 학습을 적용하기 위해 SiamMask를 검출기를 사용할 수 있다. 객체 레이블링 제공장치(10)는 검출기를 통해 얻은 초기 경계 상자를 입력으로 사용하여 SiamMask를 통해 양방향 추적을 수행하여 추가 라벨을 획득할 수 있다. 객체 레이블링 제공장치(10)에서 사용되는 적은 수의 수량으로 수술 기구에 대한 추가 라벨을 얻기 위한 자동 검출 및 추적 알고리즘은 도 9에 도시된다. 도 9를 보면, 알고리즘 1은 후방 추적이 양방향 추적을 완료하는 것과 같은 방식으로 사용될 수 있다. 도 10은 객체 레이블링 제공장치(10)가 검출 및 추적 기반 알고리즘을 통해 자동화된 방법으로 얻은 라벨 정보의 예를 보여준다. 객체 레이블링 제공장치(10)는 등급 불균형 수술 기구에 대한 추가 라벨을 얻기 위해 라벨이 부착되지 않은 10개의 비디오에서 추가 라벨링을 수행할 수 있다. 도 10을 보면, Small Clip Applier에 대한 초기 검출 결과를 입력으로 수신했으며, 양방향 추적을 통해 라벨이 생성된다. 고밀도 라벨을 생성하기 위해 검출된 Harmonic Ace의 양방향 추적이 자동화된 방식으로 생성된다. 파란색 상자에는 추적이 완료된 사례가 표시되고, 빨간색 상자에는 추적이 종료되는 상황이 표시된다.

객체 레이블링 제공장치(10)의 모든 검출기의 학습과 추적기는 표 1에 표기된 훈련 파라미터 설정에 따라 수행될 수 있다. 물체 검출기의 학습을 위해 활용된 백본 CNN으로는 HRNet을 활용하였으며, 효과적인 훈련을 위하여 Feature Pyramid Network의 구조를 활용할 수 있다.

[표 1]

(여기서, 표 1은 각 검출기 및 추적기의 훈련 세부 정보로, lr은 학습률, 학습일정은 [drop epoch1:drop, epoch2:max epoch]로 표기한다. Det-thes와 Track-thes는 각각 검출기와 추적기의 출력 신뢰도에 대한 임계값이며, Track-IoU는 알고리즘 1에 지정된 종료 조건이다.)

표 2의 mAP은 제안된 훈련 시나리오에 따라 변경된다.

[표 2]

(여기서, mAP은 [0:5 : 0:05 : 0:95]의 IoU에 따라 평가된다. 최고 성능의 검출기는 굵은 글씨로 표시한다.)

상술한 바와 같이, 도 7에서는 기법 적용 이후 훈련 레이블 양의 변화량을 보여주고 있으며, 도 8에서는 검증 세트에 포함된 도구 별 레이블의 양을 보여주고 있다. 객체 레이블링 제공장치(10)의 모든 성능 평가를 위해 COCO 데이터세트의 평가 방식을 참고하여 [0.5:0.05:0.95] IoU 값에 따라 모든 클래스의 mAP을 연산할 수 있다.

객체 레이블링 제공장치(10)는 표 2에 기재된 바와 같이 준지도 학습 시나리오에 따른 성능 변화를 가질 수 있다. 학습에 활용된 검출기는 HRNet 백본을 갖는 Cascade R-CNN, Faster R-CNN, FCOS이며, 도 5에 도시된 바와 같이 두 종류의 훈련 시나리오로 구성되어 있다. 첫번째는 전 자동화된 방식으로 검출 & 추적을 수행하여 학습까지 사람의 개입없이 레이블을 추가하는 모델로 model + SSL 로 표기되어 있다. 나머지 하나의 방법은 추가로 얻어진 레이블에 대해 사람의 후 보정이 들어간 레이블로 model + SSL + post 로 명명되어 있다. 제안하는 기법이 적용될 경우 Faster RCNN과 FCOS 에서는 후 보정 작업 없이도 전체 성능에서 향상된 결과를 얻을 수 있었다. Cascade RCNN의 경우 전 자동화된 방식으로 학습 기법을 적용할 경우 전체 성능에서는 하락된 결과가 나왔지만 후 보정을 적용한 경우 큰 폭의 성능 개선을 얻을 수 있었다.

표 3은 사람의 개입의 양을 프레임 수준에서 표시하였다. 제안된 학습 방법론을 적용해 1f/s를 기준으로 10개의 새 동영상에 라벨을 붙이는 사례에 비해 개입량을 절반 이상 줄일 수 있다. 완전 자동화된 준지도 학습의 경우, 일부 네트워크에서는 사람의 개입 없이 성능 향상이 이루어졌고, 대부분의 동급 불균형 수술 도구에 대해서는 성능 향상이 이루어질 수 있다.

[표 3]

(여기서, 표 3은 제안된 교육 시나리오와 검출기에 따른 사람 개입의 차이로, 간섭 비율은 라벨이 부착되지 않은 동영상에서 1f=s로 수집된 총 프레임 수의 백분율로 계산했다.)

표 4는 각 학습 시나리오에 따른 모델 앙상블의 성능 평가 결과이다. 모든 모델의 앙상블 결과, 최고 성능을 달성하였으며, 2단계 모델은 1단계 모델보다 높은 성능을 기록했다.

[표 4]

표 5는 준지도 학습 시나리오에 따라 얻은 각 계측기의 성능 변화를 보여준다. 굵은 수술 기구는 초기 데이터베이스에서 심각한 클래스 불균형 문제를 일으키는 도구이다. 제안된 학습 기법을 사용할 경우 대부분의 클래스 불균형 수술 기구에 대해 성능 향상을 달성할 수 있다. 이와 동시에 표 3은 증가된 라벨 양과 각 계측기의 성능 변화 사이의 상관관계를 보여준다.

[표 5]

(여기서, 표 5는 FCOS 검출기를 사용한 교육 시나리오에서 각 수술 도구에 대한 AP 변경에 대해 기재한 것으로, 도구 인덱스(index)는 도 6과 같다. M은 모델만, MS는 모델+SSL를 의미하고, MSP는 모델+SSL+포스트를 의미한다. 괄호 안의 값은 모델과의 성능 차이만을 나타낸다. 대부분의 경우, 모든 모델의 앙상블은 향상된 성능을 보여줄 수 있다.)

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10: 객체 레이블링 제공장치
110: 영상 획득부
120: 메모리
130: 제어부
20: 사용자 단말기

Claims (10)

1. 영상 내의 객체 레이블링 제공 장치에 의해 수행되는 방법에 있어서,
   언레이블 영상정보에 기반한 언레이블 데이터를 획득하는 단계;
   상기 언레이블 데이터를 객체 인식 학습 모델을 기반으로 학습하여 객체 인식 결과 데이터를 산출하는 단계-상기 객체 인식 학습 모델은, 레이블 영상정보로부터 획득한 레이블 데이터를 학습하여 구축된 모델임-;
   상기 객체 인식 결과 데이터 중 적어도 하나의 언레이블 객체 데이터 또는 적어도 하나의 레이블 데이터를 객체 추적 모델에 입력하여, 양방향 트래킹(Bidirectional Tracking)을 통해 상기 언레이블 객체 데이터의 레이블링을 위한 보정 데이터를 산출하거나 잘못된 레이블을 삭제하는 단계; 및
   상기 보정 데이터를 상기 객체 인식 학습 모델을 기반으로 학습하여 상기 객체 인식 학습 모델을 업데이트 하는 단계;를 포함하고,
   상기 언레이블 영상정보는, 수술 과정을 촬영한 수술 동영상 내에 포함된 적어도 하나의 객체에 대해 언레이블된 동영상을 포함하고,
   상기 레이블 영상정보는, 수술 과정을 촬영한 수술 동영상 내에 포함된 적어도 하나의 객체에 대해 레이블된 동영상을 포함하며,
   상기 보정 데이터는, 상기 수술 동영상 내에 포함된 수술 도구의 위치 정보가 학습된 데이터인 것을 특징으로 하는 영상 내의 객체 레이블링 제공 방법.
2. 삭제
3. 제1항에 있어서,
   상기 객체 인식 학습 모델은,
   상기 레이블 데이터에 대해 레이블 확정 데이터를 기반으로 학습된 것을 특징으로 하는 영상 내의 객체 레이블링 제공 방법.
4. 제1항에 있어서,
   상기 보정 데이터를 출력하는 단계;를 더 포함하는 것을 특징으로 하는 영상 내의 객체 레이블링 제공 방법.
5. 삭제
6. 제1항에 있어서,
   상기 레이블 영상정보 또는 언레이블 영상정보는,
   상기 수술 동영상에서 수술 도구, 거즈, 출혈 및 신체 장기 중 적어도 하나의 객체를 포함하는 것을 특징으로 하는 영상 내의 객체 레이블링 제공 방법.
7. 제1항에 있어서,
   상기 보정 데이터를 산출하는 단계는,
   상기 객체 인식 결과 데이터를 기반으로, 상기 수술 동영상 내에서 상기 적어도 하나의 언레이블 객체 데이터가 포함된 적어도 하나의 프레임을 체크하는 단계;
   상기 수술 동영상 내의 복수의 프레임 중 상기 적어도 하나의 프레임을 시작으로, 상기 수술 동영상 내에 상기 적어도 하나의 언레이블 객체 데이터가 모두 포함되어 있는지 상기 객체 추적 모델에 기반하여 양방향 트래킹을 수행하는 단계; 및
   상기 양방향 트래킹 수행 결과, 상기 적어도 하나의 언레이블 객체 데이터가 모두 포함되어 있고, 상기 모두 포함된 적어도 하나의 언레이블 객체가 동일 객체일 경우, 상기 언레이블 객체 데이터에 레이블을 추가하는 단계;를 포함하는 것을 특징으로 하는 영상 내의 객체 레이블링 제공 방법.
8. 제7항에 있어서,
   상기 보정 데이터를 산출하는 단계는,
   상기 수술 동영상 내에 복수의 언레이블 객체 데이터가 포함되는 경우, 상기 복수의 언레이블 객체 데이터 각각에 대해 상기 양방향 트래킹하는 것을 특징으로 하는 영상 내의 객체 레이블링 제공 방법.
9. 제1항에 있어서,
   상기 보정 데이터를 산출하는 단계는,
   상기 객체 인식 결과 데이터를 기반으로, 상기 수술 동영상 내에서 상기 적어도 하나의 레이블 객체의 데이터가 포함된 적어도 하나의 프레임을 체크하는 단계;
   상기 수술 동영상 내의 복수의 프레임 중 상기 적어도 하나의 프레임을 시작으로, 상기 수술 동영상 내에 상기 적어도 하나의 레이블 객체 데이터가 모두 포함되어 있는지 상기 객체 추적 모델에 기반하여 양방향 트래킹을 수행하는 단계; 및
   상기 양방향 트래킹 수행 결과, 상기 적어도 하나의 레이블 객체 데이터가 모두 포함되어 있지 않으면, 상기 레이블 객체 데이터에 레이블을 삭제하는 단계;를 포함하는 것을 특징으로 하는 영상 내의 객체 레이블링 제공 방법.
10. 언레이블 영상정보를 획득하는 영상 획득부;
    객체 인식 학습 모델 및 객체 추적 모델이 구비된 메모리; 및
    상기 언레이블 영상정보에 기반한 언레이블 데이터를 획득하고, 상기 언레이블 데이터를 상기 객체 인식 학습 모델에 학습시켜 객체 인식 결과 데이터를 산출하고-상기 객체 인식 학습 모델은, 레이블 영상정보로부터 획득한 레이블 데이터를 학습하여 구축된 모델임-, 상기 객체 인식 결과 데이터 중 언레이블 객체 데이터 또는 적어도 하나의 레이블 데이터를 상기 객체 추적 모델에 입력하여 양방향 트래킹(Bidirectional Tracking)을 통해 상기 언레이블 객체 데이터의 레이블링을 위한 보정 데이터를 산출하거나 잘못된 레이블을 삭제하고, 상기 보정 데이터를 상기 객체 인식 학습 모델을 기반으로 학습하여 상기 객체 인식 학습 모델을 업데이트 하는 제어부;를 포함하고,
    상기 언레이블 영상정보는, 수술 과정을 촬영한 수술 동영상 내에 포함되는 적어도 하나의 객체에 대해 언레이블된 동영상을 포함하고,
    상기 레이블 영상정보는, 수술 과정을 촬영한 수술 동영상 내에 포함된 적어도 하나의 객체에 대해 레이블된 동영상을 포함하며,
    상기 보정 데이터는, 상기 수술 동영상 내에 포함된 수술 도구의 위치 정보가 학습된 데이터인 것을 특징으로 하는 영상 내의 객체 레이블링 제공 장치.

Images