KR102418452B1

KR102418452B1 - 의료 도구 제어 장치의 동작 결정 모델을 트레이닝시키는 방법 및 장치

Info

Publication number: KR102418452B1
Application number: KR1020220025790A
Authority: KR
Inventors: 송교석; 이채혁; 김경환
Original assignee: 주식회사 메디픽셀
Priority date: 2020-09-04
Filing date: 2022-02-28
Publication date: 2022-07-11
Also published as: KR102373148B9; KR20220035058A; WO2022050557A1; KR20220031358A; KR102373148B1

Abstract

의료 도구 제어 장치의 동작 결정 모델을 트레이닝시키는 시스템은, 강화 학습 모델을 이용하여 트레이닝 데이터를 생성하고, 이 트레이닝 데이터를 이용하여 의료 도구를 이송하는 구동부에 대한 동작 명령과 관련된 정보를 출력하도록 설계된 동작 결정 모델을 트레이닝시킬 수 있다.

Description

의료 도구 제어 장치의 동작 결정 모델을 트레이닝시키는 방법 및 장치{METHOD AND DEVICE TO TRAIN OPERATION DETERMINATION MODEL OF MEDICAL TOOL CONTROL DEVICE}

이하, 의료 도구 제어 장치의 동작 결정 모델을 트레이닝시키는 기술이 제공된다.

심혈관, 뇌혈관, 말초혈관을 치료할 때 가이드와이어 및 카테터를 이용하여 스텐트 등을 삽입하는 중재 시술이 널리 보급되어 있다. 가이드와이어란 카테터를 통하여 혈관 내에 스텐트 등을 이송하는 경로를 설정하기 위한 도구로서, 시술자는 가이드와이어를 혈관 조영술(angiography)등 의료영상 기반의 시각 정보와 미세한 손의 감각에 기반한 촉각 정보 등을 활용하여 질환이 있는 혈관의 말단까지 이송시시킬 수 있다.

최근 방사선 노출 등 시술자의 신체적 부담을 경감하고 시술도구의 정밀한 제어를 보조하는 기술이 개발되고 있으나, 간단한 시술 동작을 하기 위해서 개별 시술자가 새로운 도구에 적응하기 위한 훈련이 요구된다.

일 실시예에 따른 프로세서에 의해 수행되는, 의료 도구 제어 장치의 동작 결정 모델을 트레이닝시키는 방법은, 혈관 모형에 삽입된 의료 도구가 상기 혈관 모형 내 분지 영역(branching region)에 도달할 시, 상기 분지 영역에서의 시술 환경을 식별하는 단계; 복수의 강화 학습 모델들 중 상기 식별된 시술 환경에 대응하는 강화 학습 모델을 선택하고, 상기 분지 영역에 대해 추출된 혈관 패치 영상 에 기초하여 상기 선택된 강화 학습 모델을 강화 학습(reinforcement learning)으로 트레이닝시키는 단계; 상기 선택된 강화 학습 모델의 트레이닝이 완료된 후 상기 분지 영역에 대한 혈관 패치 영상으로부터 상기 선택된 강화 학습 모델에 기초하여 트레이닝 출력을 산출하고, 상기 추출된 혈관 패치 영상이 트레이닝 입력으로서 상기 트레이닝 출력과 쌍을 이루는 트레이닝 데이터를 생성하는 단계; 및 상기 생성된 트레이닝 데이터에 기초하여 지도 학습(supervised learning)으로 상기 동작 결정 모델 을 트레이닝시키는 단계를 포함할 수 있다.

상기 시술 환경을 식별하는 단계는, 상기 의료 도구가 상기 분지 영역에 도달하는 경우에 응답하여, 상기 분지 영역에 대해 추출된 혈관 패치 영상에 기초하여 상기 분지 영역의 분지 형태(branching shape)를 판별하는 단계를 포함할 수 있다.

상기 분지 형태를 판별하는 단계는, 상기 혈관 패치 영상에서 주지혈관의 방향 및 분지점(branch point)에 가장 인접한 분지(branch)의 방향 간의 각도 차이에 기초하여 판별하는 단계를 포함할 수 있다.

상기 시술 환경을 식별하는 단계는, 상기 의료 도구가 분지 영역에 도달 하는 경우에 응답하여, 상기 분지 영역 내에서 상기 의료 도구의 선단부(tip) 의 지향 특성(orientation characteristic)을 판별하는 단계를 포함할 수 있다.

상기 지향 특성을 판별하는 단계는, 상기 의료 도구를 상기 의료 도구의 몸체(body)에 연결된 의료용 와이어의 길이 방향 축 을 기준으로 미리 정한 회전각 단위만큼씩 회전시킬 때마다 상기 의료 도구의 선단부가 향하는 방향을 관측(observe) 하는 단계; 및 상기 의료 도구의 회전 동안 관측된 방향의 비율을 산출하고 상기 산출된 비율에 기초하여 상기 지향 특성을 판별하는 단계를 포함할 수 있다.

상기 시술 환경을 식별하는 단계는, 상기 분지 영역에 대해 복수의 혈관 패치 영상들이 추출되는 경우, 상기 복수의 혈관 패치 영상들 중 한 혈관 패치 영상에 대해 식별된 시술 환경을 나머지 혈관 패치 영상에 대해서도 매핑하는 단계를 포함할 수 있다.

상기 시술 환경을 식별하는 단계는, 상기 의료 도구가 상기 분지 영역에 진입 후 상기 분지 영역의 바깥으로 진출할 때까지 상기 의료 도구의 매 구동마다 변경되는 상기 의료 도구의 위치를 기준으로 상기 분지 영역과 연관된 복수의 혈관 패치 영상들을 추출하는 단계를 포함하고, 상기 선택된 강화 학습 모델을 강화 학습으로 트레이닝시키는 단계는, 상기 식별된 시술 환경에 대응하여 상기 선택된 강화 학습 모델을 상기 분지 영역과 연관된 상기 복수의 혈관 패치 영상들에 기초하여 트레이닝시키는 단계를 포함할 수 있다.

방법은 상기 혈관 패치 영상을 전처리하여 단순화하는 단계를 포함할 수 있다.

상기 단순화하는 단계는, 상기 혈관 패치 영상 내 캡쳐되는 상기 의료 도구의 진행 방향 이 상기 혈관 패치 영상의 일측을 향하면서 상기 의료 도구가 위치된 분지의 중심축이 상기 혈관 패치 영상의 일축에 정렬되도록 상기 혈관 패치 영상을 회전시키는 단계를 포함할 수 있다.

상기 선택된 강화 학습 모델을 강화 학습으로 트레이닝시키는 단계는, 상기 분지 영역에 대해 식별된 시술 환경에 대응하는 강화 학습 모델이 검색되지 않는 경우, 상기 분지 영역과 연관된 혈관 패치 영상들을 트레이닝으로부터 배제하는 단계를 포함할 수 있다.

상기 배제하는 단계는, 상기 복수의 강화 학습 모델들에 대해 지정된 미리 정한 각도 범위를 벗어나는 각도 차이를 갖는 분지 형태의 분지 영역과 관련된 혈관 패치 영상을 강화 학습에 기초한 트레이닝으로부터 배제 하는 단계를 포함할 수 있다.

상기 선택된 강화 학습 모델을 강화 학습으로 트레이닝시키는 단계는, 하나 이상의 혈관 모형의 복수의 분지 영역들로부터 수집되는 혈관 패치 영상들을 이용하여 상기 복수의 강화 학습 모델들의 각각에 대한 트레이닝을 반복하는 단계를 포함할 수 있다.

상기 시술 환경을 식별하는 단계는, 상기 식별된 시술 환경을 상기 혈관 패치 영상에 매핑하는 단계를 포함하고, 상기 트레이닝 데이터를 생성하는 단계는, 상기 복수의 강화 학습 모델들의 트레이닝 동안 수집된 복수의 혈관 패치 영상들의 각각에 대해 해당 혈관 패치 영상에 매핑된 시술 환경에 대응하는 강화 학습 모델을 로딩하는 단계; 상기 로딩된 강화 학습 모델을 해당 혈관 패치 영상에 적용함으로써 상기 트레이닝 출력을 생성하는 단계를 포함할 수 있다.

상기 동작 결정 모델을 트레이닝시키는 단계는, 상기 혈관 패치 영상으로부터 상기 동작 결정 모델에 기초하여 산출되는 출력 및 상기 트레이닝 출력 간의 손실이 임계 손실 미만이 될 때까지 상기 동작 결정 모델의 파라미터를 업데이트하는 단계를 포함할 수 있다.

방법은 의료 도구가 삽입된 동안 시술 환경 정보 없이 혈관에 삽입된 의료 도구의 위치에만 기초하여 추출된 입력 패치 영상으로부터 상기 동작 결정 모델을 이용하여 동작 명령 별 기대값을 출력으로서 산출하는 단계를 더 포함할 수 있다.

방법은 동작 명령 별 산출된 기대값 중 가장 큰 기대값을 갖는 동작 명령을 선택하는 단계; 상기 선택된 동작 명령에 따라 상기 의료 도구에 연결된 구동부를 구동시킴으로써, 상기 의료 도구의 전진, 회전, 및 후진(retract) 중 하나를 수행하는 단계를 더 포함할 수 있다.

일 실시예에 따른 의료 도구 제어 장치의 동작 결정 모델을 트레이닝시키는 시스템은, 복수의 강화 학습 모델들 및 동작 결정 모델을 저장하는 메모리; 및 혈관 모형에 삽입된 의료 도구가 상기 혈관 모형 내 분지 영역(branching region)에 도달할 시 상기 분지 영역에서의 시술 환경을 식별하고, 상기 복수의 강화 학습 모델들 중 상기 식별된 시술 환경에 대응하는 강화 학습 모델을 선택하고, 상기 분지 영역에 대해 추출된 혈관 패치 영상 에 기초하여 상기 선택된 강화 학습 모델을 강화 학습(reinforcement learning)으로 트레이닝시키며, 상기 선택된 강화 학습 모델의 트레이닝이 완료된 후 상기 분지 영역에 대한 혈관 패치 영상으로부터 상기 선택된 강화 학습 모델에 기초하여 트레이닝 출력을 산출하고, 상기 추출된 패치 영상이 트레이닝 입력으로서 상기 트레이닝 출력과 쌍을 이루는 트레이닝 데이터를 생성하며, 상기 생성된 트레이닝 데이터에 기초하여 지도 학습(supervised learning)으로 상기 동작 결정 모델을 트레이닝시키는 프로세서를 포함할 수 있다.

도 1은 일 실시예에 따른 의료 도구 제어 시스템을 도시한다.
도 2는 일 실시예에 따른 의료 도구 제어 장치의 동작 결정 모델을 트레이닝시키는 방법을 도시한 흐름도이다.
도 3은 일 실시예에 따른 동작 결정 모델을 위한 트레이닝 데이터의 개괄적인 생성 과정을 도시한다.
도 4는 일 실시예에 따른 시술 환경 별 복수의 강화 학습 모델들의 선택을 설명하는 도면이다.
도 5는 일 실시예에 따른 시술 환경으로서 의료 도구의 선단의 지향 특성을 설명하는 도면이다.
도 6a 및 도 6b는 일 실시예에 따른 시술 환경으로서 분지 형태를 설명하는 도면이다.
도 7은 일 실시예에 따른 각 강화 학습 모델의 트레이닝 과정을 설명하는 도면이다.
도 8은 일 실시예에 따른 혈관 패치 영상의 회전 정렬을 설명하는 도면이다.
도 9a 내지 도 9c는 일 실시예에 따른 강화 학습시 보상 값 결정의 예시를 설명하는 도면이다.
도 10은 일 실시예에 따른 혈관 조영 영상으로부터 생성되는 혈관 구조 데이터를 설명하는 도면이다.
도 11은 일 실시예에 따른 의료 도구 제어 장치의 트레이닝 시스템을 설명하는 도면이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.

도 1은 일 실시예에 따른 의료 도구 제어 시스템을 도시한다.

일 실시예에 따른 의료 도구 제어 시스템(100)은 의료 도구(129)의 이동을 제어하는 시스템으로서, 의료 도구 제어 시스템(100)은 혈관 영상 촬영 장치(130) 및 의료 도구 제어 장치를 포함할 수 있다. 도 1에서는 설명의 편의를 위해 의료 도구 제어 장치의 구동부(110)만 도시되었으나, 이로 한정하는 것은 아니다. 의료 도구 제어 장치의 예시적 구성은 하기 도 11에서 설명한다.

혈관 영상 촬영 장치(130)는 혈관 영상(131)을 촬영하는 장치이다. 혈관 영상(131)은 대상 객체(예를 들어, 피시술자(190))의 혈관이 촬영된 영상을 나타낸다. 혈관 영상 촬영 장치(130)는 혈관조영술(coronary angiography, 이하 'CAG') 또는 자기공명 이미징(Magnetic Resonance Imaging, 이하 'MRI')를 이용하여 혈관 영상(131)을 촬영할 수 있다. 혈관 영상(131)에서는 혈관 뿐만 아니라 의료 도구(129)도 함께 촬영될 수 있다. 혈관 영상(131)은 후술하는 의료 도구 제어 장치에서 의료 도구(129)의 제어를 위한 입력으로서 사용될 수 있다.

의료 도구 제어 장치는 혈관에 삽입된 의료 도구(129)를 혈관 내 목적 부위(destination part)까지 이동시킬 수 있다. 도 1에서 의료 도구(129)가 피시술자(190)의 손목의 혈관을 통해 삽입되는 것으로 도시되었으나, 이로 한정하는 것은 아니고 피시술자(190)의 하지의 혈관을 통해 삽입될 수도 있다. 목적 부위는 질환 및 병변 등이 잠재적으로 또는 명시적으로 존재하는 부위일 수 있다. 의료 도구 제어 장치는 의료 도구(129)의 선단부(tip)를 목적 부위까지 이동시킬 수 있다. 의료 도구 제어 장치는 의료 도구(129)를 이송하는 로봇을 포함할 수 있다. 예를 들어, 의료 도구 제어 장치는 구동부(110)를 통해 의료 도구(129)를 이송할 수 있다.

본 명세서에서 의료 도구(129)는 혈관에 삽입되는 부재(member)로서 시술자(예를 들어, 의사)의 조작 및/또는 주어진 명령에 따라 작동되는 수술용 도구일 수 있다. 의료 도구(129)는 예를 들어, 인트로듀서 키트(introducer kit)일 수 있다. 의료 도구(129)는 의료용 와이어(120)(medical wire)를 통해 구동부(110)와 연결될 수 있다. 의료용 와이어(120)는, 예시적으로, 카테터(catheter) 또는 가이드와이어일 수 있다. 가이드와이어는 상술한 의료 도구(129)를 혈관의 목적 부위까지 삽입 및 가이드하기 위해 이용될 수 있다.

의료 도구 제어 장치는, 의료 도구(129)가 혈관 내 삽입된 동안, 결정된 동작 명령(160)(operation command)에 따라 의료 도구(129)의 구동을 제어할 수 있다. 의료 도구(129)는 구동부(110)와 연결되고, 구동부(110)는 결정된 동작 명령(160)에 응답하여 구동함으로써 의료 도구(129)의 액션(action)을 수행할 수 있다. 여기서, 의료 도구(129)의 액션은 전후진 액션(111) 및 회전 액션(112)을 포함할 수 있다. 동작 명령(160)은 의료 도구(129)에 대한 액션을 수행하기 위해 의료 도구(129)와 연결된 구동부(110)를 동작시키는 명령으로서, 예를 들어, 의료 도구(129)를 전진시키는 명령(이하, '전진 명령'), 의료 도구(129)를 후진(retract)시키는 명령(이하, '후진 명령'), 및 의료 도구(129)를 회전시키는 명령(이하, '회전 명령')을 포함할 수 있다. 참고로 본 명세서의 회전 액션에 있어서 회전 방향은 임의의 기준 축(예를 들어, 의료용 와이어(120)의 길이 방향 축)을 기준으로 한 방향(예를 들어, 시계 방향)으로 회전하는 것으로 설명되나, 이로 한정하는 것은 아니고, 설계에 따라 회전 방향이 각각 기준 축을 기준으로 시계 방향 및 반시계 방향으로 구별될 수도 있다.

구동부(110)는 하나 이상의 모터를 포함할 수 있고, 모터의 회전력을 직선 운동 및/또는 원하는 축(desired axis)의 회전 운동으로 변환하는 기계 동력 전달 구조를 포함할 수 있다. 예를 들어, 구동부(110)는 전진 명령에 응답하여 의료용 와이어(120)를 밀어내는 구동을 통해 의료 도구(129)를 전진시킬 수 있다. 구동부(110)는 후진 명령에 응답하여 의료용 와이어(120)를 당기는 구동을 통해 의료 도구(129)를 후진시킬 수 있다. 구동부(110)는 회전 명령에 응답하여 의료용 와이어(120)의 길이방향 축을 기준축으로 의료용 와이어(120)를 회전시키는 구동을 통해 의료 도구(129)를 회전시킬 수 있다.

의료 도구 제어 장치는 혈관 영상(131)을 이용하여 상술한 구동 명령을 결정할 수 있다. 의료 도구 제어 장치는 혈관 영상(131)으로부터 입력 패치 영상(132)을 추출하고, 추출된 입력 패치 영상(132)으로부터 동작 결정 모델(140)에 기초하여 동작 명령(160)을 결정하기 위한 정보를 출력할 수 있다. 입력 패치 영상(132)은 혈관 영상(131)으로부터 혈관 내 일부 부위에 대응하는 패치로서, 전처리된 영상일 수 있다. 전처리 및 입력 패치 영상(132)의 예시는 하기 도 3 및 도 6에서 설명한다. 의료 도구 제어 장치는 동작 결정 모델(140)을 이용한 연산을 입력 패치 영상(132)에 대해 시행함으로써, 동작 별 예측 정보(150)를 산출할 수 있다. 예를 들어, 의료 도구 제어 장치는 동작 결정 모델(140)의 입력 레이어에 패치 영상을 입력하고, 그 값을 다음 레이어로 전파시켜, 출력 레이어에서 동작 별 예측 정보(150)를 출력시킬 수 있다.

동작 결정 모델(140)은 입력 패치 영상(132)으로부터 동작 별 예측 정보(150)를 출력하도록 설계 및 트레이닝된 기계 학습 모델로서 예를 들어 뉴럴 네트워크(141)를 포함할 수 있다. 동작 별 예측 정보(150)는 입력 패치 영상(132) 내 의료 도구(129)의 현재 위치(예를 들어, 입력 패치 영상(132)이 촬영된 시점(time point)에서의 위치)에서 의료 도구(129)에 각 동작이 적용될 시 목표 영역(target area) 및/또는 최종 목적 영역(destination area)에 도달할 것으로 예측되는 기대 수준(expectation level)로서 동작 별 기대값을 포함할 수 있다. 최종 목적 영역은 피시술자의 혈관에서 의료 도구가 최종적으로 도달해야 하는 지점 및/또는 영역을 나타낼 수 있고, 목표 영역은 상술한 최종 목적 영역에 도달하기 위해 의료 도구가 거쳐야 하는 혈관 패치 영상 내 지점 및/또는 영역으로서 중간 경유지(intermediate stopover)를 나타낼 수 있다. 동작 별 예측 정보(150)는 하기 도 7에서 상세히 설명한다. 의료 도구 제어 장치는 동작 별 예측 정보(150)에 기초하여 동작 명령(160)을 결정할 수 있다. 의료 도구 제어 장치는 결정된 동작 명령(160)에 따라 구동부(110)를 구동시킴으로써, 의료 도구(129)에 동작 명령(160)에 대응하는 액션을 적용할 수 있다.

뉴럴 네트워크(141)(neural network)는 딥 뉴럴 네트워크(DNN, deep neural network)의 예시에 해당할 수 있다. DNN은 완전 연결 네트워크(fully connected network), 딥 컨볼루셔널 네트워크(deep convolutional network) 및 리커런트 뉴럴 네트워크(recurrent neural network) 등을 포함할 수 있다. 뉴럴 네트워크는 딥 러닝에 기반하여 비선형적 관계에 있는 입력 데이터 및 출력 데이터를 서로 매핑함으로써 다양한 작업(예를 들어, 의료 도구(129)의 이송을 위한 동작 명령(160) 결정 등)을 수행할 수 있다. 딥 러닝은 기계 학습 기법으로 지도식(supervised) 또는 비지도식(unsupervised) 학습을 통해 입력 데이터 및 출력 데이터를 서로 매핑할 수 있다.

뉴럴 네트워크(141)는 입력 레이어, 히든 레이어 및 출력 레이어를 포함한다. 입력 레이어, 히든 레이어 및 출력 레이어는 각각 복수의 노드들을 포함한다. 히든 레이어는 다양한 수의 레이어들을 포함할 수 있다. 뉴럴 네트워크(141)에서 출력 레이어를 제외한 레이어들의 노드들은 출력 신호를 전송하기 위한 링크들을 통해 다음 레이어의 노드들과 연결될 수 있고, 링크들은 레이어들을 다양한 구조로 연결할 수도 있다. 히든 레이어에 포함된 각각의 노드에는 이전 레이어에 포함된 노드들의 가중된 입력들(weighted inputs)에 관한 활성 함수(activation function)의 출력이 입력될 수 있다. 가중치는 뉴럴 네트워크(141)의 파라미터로 지칭될 수 있다. 활성 함수는 시그모이드(sigmoid), 하이퍼볼릭 탄젠트(hyperbolic tangent; tanh) 및 렐루(rectified linear unit; ReLU)를 포함할 수 있고, 활성 함수에 의해 뉴럴 네트워크(141)가 비선형성을 가질 수 있다. 일 실시예에 따르면 뉴럴 네트워크(141)는 입력 데이터가 주어지면 히든 레이어를 거쳐 출력 레이어에서 클래스(예를 들어, 동작 명령들) 별로 함수 값(예를 들어, 동작 명령 별 기대 값)을 계산할 수 있다. 또한, 본 명세서에서 설명의 편의를 위해, 뉴럴 네트워크(141)에서 동장 명령 별 기대값이 산출되면, 의료 도구 제어 장치의 프로세서가 가장 큰 기대값을 갖는 동작 명령(160)을 선택하는 것으로 설명하였으나, 이로 한정하는 것은 아니다. 동작 결정 모델(140)이 동작 명령 별 기대값 산출 및 동작 명령 선택 동작까지 통합적으로 포함하게 구성될 수도 있다.

뉴럴 네트워크(141)의 폭과 깊이가 충분히 크면 임의의 함수를 구현할 수 있을 만큼의 용량(capacity)을 가질 수 있다. 뉴럴 네트워크(141)가 적절한 트레이닝 과정을 통해 충분히 많은 트레이닝 데이터를 학습하면, 최적의 추론(inference) 성능을 달성할 수 있다.

도 1에서는 동작 결정 모델(140)에 대해 뉴럴 네트워크(141)를 설명하였으나, 이로 한정하는 것은 아니고, 후술하는 강화 학습 모델도 뉴럴 네트워크(141)로 구현될 수 있다. 동작 결정 모델(140) 및 강화 학습 모델은 동일 또는 유사한 용량(예를 들어, 깊이)를 가지는 뉴럴 네트워크(141)를 포함할 수 있다. 동작 결정 모델(140) 및 강화 학습 모델은 서로 동일한 구조(예를 들어, U넷 구조 등)의 뉴럴 네트워크(141)를 가질 수 있으나, 이로 한정하는 것은 아니다.

일 실시예에 따른 의료 도구 제어 시스템(100)은, 방사선을 이용하는 영상 촬영 장치로부터 시술자가 이격된 상태에서, 심혈관, 뇌혈관, 담관 등의 질환을 치료하기 위해 카테터를 이용하여 스텐트 등을 삽입하는 중재 시술을 가능케 한다. 의료 도구 제어 시스템(100)은 다양한 시술 환경에 대해 유연하게 작동 가능한 동작 결정 모델(140)을 이용할 수 있다.

동작 결정 모델(140)을 트레이닝시키기 위해서는 트레이닝 데이터가 수집될 필요가 있다. 다만, 실제 생체에 대해서 트레이닝 데이터 수집을 진행할 수는 없으므로, 인체 모형 팬텀이 사용될 수 있다. 인체 모형 팬텀은 인체의 장기 등을 모사한 모형물로서, 예시적으로 조직상응팬텀(tissue equivalent phantom)은 인체 조직의 특성을 가장 가까이 나타낼 수 있는 물질로 구성된 모형물을 나타낼 수 있다. 본 명세서에서 혈관 모형은 인체의 적어도 일부 조직 또는 일부 장기의 혈관을 모방하여 제조된 모형물을 나타낼 수 있다. 다만, 본 명세서에서 혈관 모형은 물리적 물질로 구성된 모형물인 것으로 주로 설명하나, 이로 한정하는 것은 아니고, 인체의 혈관 구조가 가상적으로 구현되는 시뮬레이터 모델일 수도 있다. 아래에서는 의료 도구를 혈관 모형에 삽입하여 목적 영역(destination region)에 도달할 때까지 실험 또는 시뮬레이션을 수행하면서 강화 학습 모델 및 동작 결정 모델(140)을 트레이닝하는 과정을 설명한다.

도 2는 일 실시예에 따른 의료 도구 제어 장치의 동작 결정 모델을 트레이닝시키는 방법을 도시한 흐름도이다.

일 실시예에 따른 트레이닝 장치는 1차적으로 혈관 모형에 대해 강화 학습 방식으로 강화 학습 모델의 트레이닝을 진행하고, 강화 학습의 결과에 기초하여 트레이닝 데이터를 생성하며, 2차적으로 트레이닝 데이터를 이용하여 동작 결정 모델에 대한 트레이닝을 진행할 수 있다.

우선, 단계(210)에서 트레이닝 장치는 시술 환경을 식별할 수 있다. 일 실시예에 따른 트레이닝 장치는 혈관 모형에 삽입된 의료 도구가 혈관 모형 내 분지 영역(branching region)에 도달할 시, 분지 영역에서의 시술 환경을 식별할 수 있다. 분지 영역은 혈관이 분기하는(branching) 지점에 관한 영역으로서 혈관의 분지들(branches)이 교차하는 중심점인 분지점(branch point)을 기준으로 정의되는 영역을 나타낼 수 있다. 분지 영역은 하기 도 4에서 설명한다. 시술 환경은 의료 도구가 맞닥뜨리는(encounter) 의료 도구의 이동과 관련된 환경으로서, 예를 들어, 의료 도구의 지향 특성(orientation characteristic) 및 의료 도구가 도달한 분지 영역 내 포함된 분지들의 분지 형태 등을 포함할 수 있다. 지향 특성은 하기 도 5에서 설명하고, 분지 형태는 하기 도 6a 및 도 6b에서 설명한다.

참고로, 후술하는 강화 학습에서는 매 액션마다 혈관 모형 및/또는 시뮬레이터에 대한 물리적 및/또는 가상적 상호작용을 통해 보상 값이 산정될 수 있다. 또한, 일 실시예에 따른 트레이닝 장치는 시술 환경 별로 서로 독립적이고 구별되는 복수의 강화 학습 모델들을 관리할 수 있다. 따라서 트레이닝 장치가 의료 도구를 진행시키는 탐색 도중 의료 도구가 분지점(branch point)을 만나면(encounter), 트레이닝 장치는 복수의 강화 학습 모델들 중 트레이닝시킬 강화 학습 모델을 선택할 필요가 있다. 트레이닝 장치는 강화 학습 모델을 선택하기 위해 해당 분지점에 대응하는 시술 환경을 식별할 수 있다.

그리고 단계(220)에서 트레이닝 장치는 식별된 시술 환경에 대응하는 강화 학습 모델을 트레이닝시킬 수 있다. 일 실시예에 따른 트레이닝 장치는 복수의 강화 학습 모델들 중 식별된 시술 환경에 대응하는 강화 학습 모델을 선택하고, 분지 영역에 대해 추출된 혈관 패치 영상에 기초하여 선택된 강화 학습 모델을 강화 학습(reinforcement learning)으로 트레이닝시킬 수 있다.

이어서 단계(230)에서 트레이닝 장치는 식별된 시술 환경에 대응하는 강화 학습 모델을 이용하여 트레이닝 데이터를 생성할 수 있다. 일 실시예에 따른 트레이닝 장치는 선택된 강화 학습 모델의 트레이닝이 완료된 후 분지 영역에 대한 혈관 패치 영상으로부터 선택된 강화 학습 모델에 기초하여 트레이닝 출력을 산출하고, 추출된 혈관 패치 영상이 트레이닝 입력으로서 트레이닝 출력과 쌍을 이루는 트레이닝 데이터를 생성할 수 있다. 트레이닝 데이터는 트레이닝 입력 및 트레이닝 출력의 쌍을 포함하는 데이터로서, 트레이닝 출력은 트레이닝 입력에 대해 주어지는 참값(ground truth)을 나타낼 수 있다. 트레이닝 장치는 앞서 강화 학습을 위해 수집된 혈관 패치 영상들에 대해 각 혈관 패치 영상의 시술 환경에 대응하는 강화 학습 모델을 이용하여 트레이닝 출력을 산출할 수 있다. 다시 말해 트레이닝 장치는 혈관 모형의 강화 학습 탐색 동안 강화 학습 모델의 트레이닝을 위해 수집된 혈관 패치 영상의 개수만큼 트레이닝 데이터를 생성할 수 있다.

혈관의 시술 환경 별로 의료 도구의 위치마다 요구되는 액션이 상이한데, 트레이닝 장치는 시술 환경 별로 최적화되어 트레이닝이 완료된 강화 학습 모델들을 이용하여 트레이닝 데이터를 생성할 수 있다. 따라서 트레이닝 장치는 다양한 혈관 모형 내 다양한 시술 환경에서 의료 도구의 다양한 위치마다 해당 위치에서 최적의 액션을 도출하기 위한 정보(예를 들어, 동작 별 기대값)를 지시하는 트레이닝 데이터를 효율적으로 정확하게 수집할 수 있다.

그리고 단계(240)에서 트레이닝 장치는 트레이닝 데이터에 기초하여 동작 결정 모델을 트레이닝시킬 수 있다. 일 실시예에 따른 트레이닝 장치는 생성된 트레이닝 데이터에 기초하여 지도 학습(supervised learning)으로 동작 결정 모델을 트레이닝시킬 수 있다.

도 3은 일 실시예에 따른 동작 결정 모델을 위한 트레이닝 데이터의 개괄적인 생성 과정을 도시한다.

트레이닝 장치는 한 혈관 모형에 대해 의료 도구를 진행시키는 동안 혈관 영상(311)을 촬영하면서 강화 학습을 수행할 수 있다. 예를 들어, 트레이닝 장치 및/또는 혈관 영상 촬영 장치는 혈관 영상(311)을 전처리한 영상(321)을 생성할 수 있다. 전처리된 영상(321)은 조영 영상에서 혈관에 대응하는 영역이 분할(segment)된 영상일 수 있다. 트레이닝 장치는 전처리된 영상(321)으로부터 의료 도구의 위치에 기초하여 혈관 패치 영상들을 추출할 수 있다.

트레이닝 장치는 해당 혈관 모형에서 의료 도구(351)가 제1 분지 영역에 도달한 경우에 응답하여, 해당 제1 분지 영역에 대응하는 제1 시술 환경을 식별할 수 있다. 트레이닝 장치는 제1 분지 영역에 대해 추출되는 복수의 제1 혈관 패치 영상들(331)에 대해 제1 시술 환경(341)을 매핑할 수 있다. 트레이닝 장치는 제1 시술 환경(341)이 매핑된 복수의 제1 혈관 패치 영상들(331)을 이용하여 제1 강화 학습 모델(361)을 트레이닝시킬 수 있다.

또한, 트레이닝 장치는 해당 혈관 모형에서 의료 도구(352)가 제2 분지 영역에 도달한 경우에 응답하여, 해당 제2 분지 영역에 대응하는 제2 시술 환경을 식별할 수 있다. 트레이닝 장치는 제2 분지 영역에 대해 추출되는 복수의 제2 혈관 패치 영상들(332)에 대해 제2 시술 환경(342)을 매핑할 수 있다. 트렝닝 장치는 제2 시술 환경(342)이 매핑된 복수의 제2 혈관 패치 영상들(332)을 이용하여 제2 강화 학습 모델(362)을 트레이닝시킬 수 있다.

트레이닝 장치는 다른 혈과 모형에 대해서 의료 도구를 진행시키는 동안 다른 혈관 영상(319)을 촬영하면서 강화 학습을 진행할 수도 있다. 예를 들어, 트레이닝 장치 및/또는 혈관 영상 촬영 장치는 다른 혈관 영상(319)을 전처리한 영상(329)을 생성할 수 있다. 트레이닝 장치는 앞서와 유사하게 다른 혈관 모형에서 의료 도구(359)가 제n 분지 영역에 도달한 경우에 응답하여, 제n 분지 영역에 대응하는 제n 시술 환경을 식별할 수 있다. 여기서, n은 2 이상의 정수일 수 있다. 트레이닝 장치는 제n 분지 영역에 대해 추출되는 복수의 제n 혈관 패치 영상들(339)에 대해 제n 시술 환경(349)를 매핑할 수 있다. 트레이닝 장치는 제n 시술 환경(349)이 매핑된 복수의 제n 혈관 패치 영상들(339)을 이용하여 제n 강화 학습 모델(369)을 트레이닝시킬 수 있다.

도 3에 도시된 바와 같이, 본 명세서에서 시술 환경은, 혈관 모형의 동일성과는 무관하게, 분지 형태 및 의료 도구의 지향 특성 등에 의해 구별될 수 있다. 다시 말해 같은 혈관 모형 내에서 분지 별로 서로 다른 시술 환경이 식별될 수 있고, 서로 다른 혈관 모형들에서도 같은 시술 환경이 식별될 수도 있다. 따라서, 한 혈관 모형에 대해 실험을 수행하는 동안 임의의 지향 특성을 갖는 의료 도구가 3종류의 분지 형태를 통과했다면, 트레이닝 장치는 3개 환경을 경험한 것이다.

다양한 시술 환경들(예를 들어, 다양한 혈관 모형에서의 다양한 분지들 및 같은 혈관 모형 내에서도 복수의 시도들)에 대해서 복수의 강화 학습 모델들의 트레이닝이 완료된 경우, 트레이닝 장치는 트레이닝 데이터를 생성할 수 있다.

일 실시예에 따른 트레이닝 장치는 앞서 설명한 바와 같이, 각 혈관 패치 영상에 대해 식별된 시술 환경을 해당 혈관 패치 영상에 매핑해둘 수 있다. 트레이닝 장치는 복수의 강화 학습 모델들의 트레이닝이 완료된 후, 복수의 강화 학습 모델들의 트레이닝 동안 수집된 복수의 혈관 패치 영상들의 각각에 대해 해당 혈관 패치 영상에 매핑된 시술 환경에 대응하는 강화 학습 모델을 로딩할 수 있다. 트레이닝 장치는 로딩된 강화 학습 모델을 해당 혈관 패치 영상에 적용함으로써 트레이닝 출력을 생성할 수 있다. 트레이닝 출력은 임의의 위치에 위치된 의료 도구에 대해 각 동작 명령에 따른 액션이 의료 도구에 적용될 시 예측되는 기대 값들을 포함할 수 있다. 앞서 설명한 바와 같이, 동작 명령 별 기대 값은 혈관 영상 패치 내 목표 영역(예를 들어, 최종 목적 영역까지의 경로 중 경유 지점) 및/또는 피시술자의 혈관 내 최종 목적 영역에 도달할 것으로 예측되는 기대 수준을 지시하는 값일 수 있다. 예시적으로 트레이닝 데이터는 {트레이닝 입력, 트레이닝 출력}의 쌍으로서, {(트레이닝 입력), (트레이닝 출력)}={(혈관 패치 영상), (전진 명령 시 제1 기대값, 후진 명령 시 제2 기대값, 회전 명령 시 제3 기대값)}일 수 있다. 참고로, 앞서 식별된 시술 환경은 트레이닝 데이터의 생성에는 사용되지만, 이후 동작 결정 모델(390)의 트레이닝에는 사용되지 않는다.

예를 들어, 트레이닝 장치는 제1 혈관 패치 영상들(331) 중 한 패치 영상(371)로부터 제1 강화 학습 모델(361)에 기초하여 제1 트레이닝 출력(381)을 산출할 수 있다. 제1 트레이닝 출력(381)은 해당 패치 영상(371)에 대해 제1 강화 학습 모델(361)에 의해 추정된 동작 별 기대 값들을 포함할 수 있다. 트레이닝 장치는 제2 혈관 패치 영상들(332) 중 한 패치 영상(372)으로부터 제2 강화 학습 모델(362)에 기초하여 제2 트레이닝 출력(382)을 산출할 수 있다. 제2 트레이닝 출력(382)은 해당 패치 영상(372)에 대해 제2 강화 학습 모델(362)에 의해 추정된 동작 별 기대값들을 포함할 수 있다. 트레이닝 장치는 제i 혈관 패치 영상들 중 한 패치 영상(373)에 대해서도 제i 강화 학습 모델을 이용하여 제i 트레이닝 출력(383)을 산출할 수 있다. 여기서, i는 1이상 n이하의 정수일 수 있다. 트레이닝 장치는 제n 혈관 패치 영상들 중 한 패치 영상(379)에 대해서도 제n 강화 학습 모델(369)에 기초하여 제n 트레이닝 출력(389)을 산출할 수 있다.

트레이닝 장치는 앞서 설명한 바와 같이, 혈관 패치 영상으로부터 동작 결정 모델(390)에 기초하여 산출되는 출력 및 트레이닝 출력 간의 손실이 임계 손실 미만이 될 때까지 동작 결정 모델(390)의 파라미터를 반복적으로 업데이트할 수 있다. 예를 들어, 트레이닝 장치는 서로 다른 시술 환경의 트레이닝 데이터들(예를 들어, 도 3에서는 제1 혈관 패치 영상, 제i 혈관 패치 영상 등)을 배치(batch)로 추출하여 동작 결정 모델(390)을 트레이닝시킬 수 있다. 다만, 이로 한정하는 것은 아니고, 시술 환경과 무관하게, 트레이닝 장치는 앞서 강화 학습 과정 및 강화 학습 완료 후 수집된 트레이닝 데이터로부터 무작위로 배치 데이터를 추출하여 동작 결정 모델(390)을 트레이닝시킬 수 있다.

참고로, 시술 환경들의 개수가 많을수록 세밀하게 식별될 수 있으나, 예시적으로 n=8, 8개이 시술 환경들인 경우 학습된 시술 환경 뿐만 아니라, 학습되지 않은 시술 환경에 대해서도 정확한 동작 별 기대값을 출력 가능한 동작 결정 모델(390)이 제공될 수 있다. 따라서, 트레이닝 장치는, 보다 정확한 추론 성능을 제공 가능하면서 효율적인 트레이닝이 가능한 트레이닝 데이터를 생성하여 이용할 수 있다. 특히, 상술한 방식으로 생성된 트레이닝 데이터에 기초하여 트레이닝된 동작 결정 모델(390)은, 다양한 시술 환경에서 범용적으로 정확한 동작 제어 성능을 제공할 수 있다. 분지가 아닌 구간은 막힌 혈관이 아닌 한, 전진 액션을 주는 것만으로 의료 도구가 분지가 아닌 구간을 통과할 수 있다. 따라서 강화 학습 모델들은 정교한 조작을 학습해야 하는 분지 영역만 학습할 수 있다.

도 4는 일 실시예에 따른 시술 환경 별 복수의 강화 학습 모델들의 선택을 설명하는 도면이다.

트레이닝 장치는 의료 도구를 진행시키면서 분지 영역에 도달할 때마다 해당 분지 영역의 시술 환경을 식별할 수 있다. 예를 들어, 도 4에 도시된 혈관 영상(410)에서 목적 영역(419)까지 4개의 분지 영역들(421, 422, 423, 424)이 포함될 수 있다. 각 분지 영역은 혈관이 분기하는 분지점을 기준으로 정의될 수 있다. 예시적으로 트레이닝 장치는 분지점을 기준으로 미리 정한 반경을 갖는 분지 영역을 설정할 수 있다. 제1 분지 영역(421)은 제1 분지점(421a)을 기준으로, 제2 분지 영역(422)은 제2 분지점(422a)을 기준으로, 제3 분지 영역(423)은 제3 분지점(423a)을 기준으로, 제4 분지 영역(424)은 제4 분지 영역(424a)을 기준으로 각각 설정될 수 있다.

분지 영역에서 상위 분지 측 외곽 지점을 분지 시작 지점, 의료 도구가 지나가야 하는 하위 분지 측 외곽 지점을 분지 종료 지점이라고 나타낼 수 있다. 의료 도구가 지나야 하는 하위 분지 측 외곽 지점은 앞서 설명한 목표 영역이라고도 나타낼 수 있다. 각 혈관 패치 영상 내에서 의료 도구가 지나야 하는 하위 분지의 결정은 하기 도 10에서 설명한다.

트레이닝 장치는 의료 도구가 분지 영역에 진입 후 분지 영역의 바깥으로 진출할 때까지 의료 도구의 매 구동마다 변경되는 의료 도구의 위치를 기준으로 분지 영역과 연관된 복수의 혈관 패치 영상들을 추출할 수 있다. 이 때, 트레이닝 장치는 분지 영역에 대해 복수의 혈관 패치 영상들이 추출되는 경우, 복수의 혈관 패치 영상들 중 한 혈관 패치 영상에 대해 식별된 시술 환경을 나머지 혈관 패치 영상에 대해서도 매핑할 수 있다. 예를 들어, 트레이닝 장치는 한 분지의 분지 시작 지점을 기준으로 추출된 혈관 패치 영상에 대해 시술 환경을 식별하고, 해당 식별된 시술 환경을 해당 분지의 분지 종료 지점까지 추출된 나머지 혈관 패치 영상에 대해서도 매핑할 수 있다. 트레이닝 장치는 식별된 시술 환경에 대응하여 선택된 강화 학습 모델을 분지 영역과 연관된 복수의 혈관 패치 영상들에 기초하여 트레이닝시킬 수 있다.

예를 들어, 트레이닝 장치는 제1 분지 영역(421)에 대해 추출되는 혈관 패치 영상들을 이용하여 제1 강화 학습 모델(461)을 트레이닝시키고, 제2 분지 영역(422)에 대해 추출되는 혈관 패치 영상들을 이용하여 제2 강화 학습 모델(462)을 트레이닝시키고, 제3 분지 영역에 대해 추출되는 혈관 패치 영상들을 이용하여 제n-1 강화 학습 모델(468)을 트레이닝시키고, 제4 분지 영역에 대해 추출되는 혈관 패치 영상들을 이용하여 제n 강화 학습 모델(469)을 트레이닝시킬 수 있다. 여기서, n은 2이상의 정수일 수 있다. 다만, 이는 순전히 예시적인 것으로, 설계 및 개별 실험 환경에 따라 달라질 수 있다.

도 5는 일 실시예에 따른 시술 환경으로서 의료 도구의 선단의 지향 특성을 설명하는 도면이다.

일 실시예에 따르면 의료 도구의 선단부(532)(tip) 및 의료용 와이어(531)에서 의료 도구에 인접한 부위는 서로 평행하지 않게 연결될 수 있다. 예를 들어, 의료 도구의 선단부(532)의 길이방향 축(longitudinal axis)와 의료용 와이어(531)에서 의료 도구에 인접하게 연결된 부위의 길이 방향 축은 서로 교차할 수 있다. 다시 말해 의료 도구의 선단부(532)는 의료용 와이어(531)에 대해 틀어지게 연결될 수 있다. 의료 도구에 연결되는 의료용 와이어(531)로서 카테터 및 가이드와이어가 심혈관, 뇌혈관, 담관 중재시술에 사용되는데, 의료용 와이어(531)의 대부분은 탄성이 있고 유연한 철사와 같은 재질로 구성될 수 있다. 의료 도구 및 의료용 와이어(531)가 혈관 내에서 진행하는 동안 목표로 하는 분지로 쉽게 향할 수 있도록, 의료 도구의 선단부(532)가 살짝 휘어지거나 틀어지게 구성된다. 예를 들어, 의료 도구 제어 장치(530)가 의료 도구를 의료용 와이어(531)의 길이 방향 축을 기준으로 회전시켜서, 의료 도구의 선단부(532)가 영상 내에서 오른쪽을 향하면, 영상 내 오른쪽 분지로의 진입이 용이해진다. 반대로, 선단부(532)가 영상 내에서 왼쪽을 향하면 의료 도구가 왼쪽 분지로 진입하기 쉬워진다.

의료 도구의 선단부(532)를 원하는 방향으로 회전시키기 것이 시술자에게 어려웠다. 심혈관 중재시술을, 예로 들면, 의료 도구는 심혈관에 바로 삽입될 수 없고, 손목이나 사타구니 부위에서 사람(590)의 동맥을 경유하여 심혈관까지 삽입되게 된다. 이럴 경우, 도 5에 도시된 바와 같이, 의료용 와이어(531)의 형태가 직선으로 유지되지 못하고 동맥 형태를 따라 휘어지게 된다. 의료 도구의 선단부(532)를 회전시키기 위해서는 의료용 와이어(531)를 회전시켜야 하는데, 의료용 와이어(531)의 휜 형태와 동맥과의 접촉으로 발생하는 마찰력 등으로 인해 회전력 전달에 오차가 발생하여, 의료 도구의 선단부(532)(tip)가 잘 회전하지 않게 된다. 상술한 이유로 인해, 의료 도구가 실제 인체의 혈관 또는 혈관 모형에 삽입된 동안 의료 도구의 선단부(532)가 한 방향으로 향하려는 경향성이 유발될 수 있다. 원 모양으로 말려있는 철사가 철사의 축방향으로 회전되기 어려운 것과 같다. 본 명세서에서는 상술한 바와 같이 의료 도구의 선단부(532)가 한 방향을 향하려는 경향성을 의료 도구의 지향 특성이라고 나타낼 수 있다.

의료 도구가 가지는 지향 특성에 따라 의료 도구 조작에 요구되는 전략이 달라진다. 예를 들어, 동일한 분지 형태의 분지 영역에 있어서, 왼쪽 지향 특성의 의료 도구가 해당 분지 영역에 진입한 경우와 오른쪽 지향 특성의 의료 도구가 해당 분지 영역에 진입한 경우에 있어서 시술도구 제어 방법이 다를 수 있다. 선단부(532)가 일시적으로 지향 특성에 반대되는 방향을 가리킬 수도 있어 단일 프레임 영상만으로는 지향 특성의 판별이 어려운 바, 아래에서 지향 특성의 판별을 설명한다.

트레이닝 장치는 의료 도구가 분지 영역에 도달하는 경우에 응답하여, 분지 영역 내에서 의료 도구의 선단부(532)(tip)의 지향 특성(orientation characteristic)을 판별할 수 있다. 선단부(532)는 꺾인 팁(curved tip)을 가질 수 있다. 예를 들어, 트레이닝 장치는 의료 도구를 의료 도구의 몸체(body)에 연결된 의료용 와이어(531)의 길이 방향 축을 기준으로 미리 정한 회전각 단위만큼씩 회전시킬 때마다 의료 도구의 선단부(532)가 향하는 방향을 관측(observe)할 수 있다. 예를 들어, 트레이닝 장치는 의료 도구를 한 스텝에 30º씩 총 720º 회전시킬 수 있다. 트레이닝 장치는 총 24 스텝에 걸쳐 의료 도구를 회전시키고, 24 스텝마다 의료 도구의 선단부(532)가 향하는 방향을 촬영할 수 있다. 트레이닝 장치는 각 스텝에서 의료 도구의 선단부(532)가 향하는 방향을 기록할 수 있다. 트레이닝 장치는, 꺾인 정도와 같은 정보 없이, 각 스텝에서 왼쪽 또는 오른쪽 중 어느 방향을 향하는 지만 기록할 수 있다.

예를 들어, 트레이닝 장치는 각 스텝마다 촬영되는 패치 영상(이하, 스텝 영상)에서, 의료용 도구에 인접한 의료용 와이어(531)의 길이 방향 축(540)을 기준으로 제1 측 및 제1 측에 반대되는 제2 측으로 구분할 수 있다. 트레이닝 장치는 의료 도구의 선단이 제1 측을 향하는 경우 제1 측 방향, 제2 측을 향하는 제2 측 방향이라고 기록할 수 있다. 제1 스텝 영상(510a)에서 선단부(532a)는 제1 측(예를 들어, 좌측)을 향하므로 왼쪽 방향으로 기록되고, 제2 스텝 영상(510b)에서 선단부(532b)는 제2 측(예를 들어, 우측)을 향하므로 오른쪽 방향으로 기록될 수 있다. 참고로, 후술하겠으나, 본 명세서에서 패치 영상의 일축(예를 들어, 세로 축)은 의료 도구의 진행 방향에 맞춰 정렬될 수 있다.

트레이닝 장치는 의료 도구의 회전 동안 관측된 방향의 비율을 산출하고 산출된 비율에 기초하여 지향 특성을 판별할 수 있다. 예를 들어, 트레이닝 장치는 총 스텝 영상들에 대해 제1 측 방향이 기록된 스텝 영상의 비율에 따라 의료 도구의 지향 특성을 결정할 수 있다. 예시적으로 트레이닝 장치는 아래 표 1에 따라 의료 도구의 지향 특성을 결정할 수 있다. 표 1에서 왼쪽으로 휘는 특성의 경우 L, 오른쪽으로 휘는 특성의 경우 R, 중립 특성의 경우 N으로 표현되었다.

24 step 중 왼쪽 방향 비율	의료 도구 지향 특성
0 ~ 40 %	R (오른쪽 지향)
41 ~ 60 %	N (중립 지향)
61 ~ 100%	L (왼쪽 지향)

상술한 표 1에 따르면 24개의 스텝 영상들 중 0% 내지 40%의 영상에서 왼쪽 방향이 기록된 경우, 트레이닝 장치는 해당 분지 영역에서의 의료 도구의 지향 특성을 오른쪽 지향 특성이라고 판별할 수 있다. 트레이닝 장치는 41% 내지 60%의 영상에서 왼쪽 방향이 기록된 경우, 해당 분지 영역에서의 의료 도구의 지향 특성을 중립 지향 특성이라고 판별할 수 있다. 트레이닝 장치는 61% 내지 100%의 영상에서 왼쪽 방향이 기록된 경우, 해당 분지 영역에서의 의료 도구의 지향 특성을 왼쪽 지향 특성이라고 판별할 수 있다.도 6a 및 도 6b는 일 실시예에 따른 시술 환경으로서 분지 형태를 설명하는 도면이다.

일 실시예에 따른 트레이닝 장치는 의료 도구가 분지 영역에 도달하는 경우에 응답하여, 분지 영역에 대해 추출된 혈관 패치 영상에 기초하여 분지 영역의 분지 형태(branching shape)를 판별할 수 있다. 예를 들어, 트레이닝 장치는 혈관 패치 영상에서 주지혈관(main branch)의 방향 및 분지점(branch point)에 가장 인접한 분지(branch)(예를 들어, 분지혈관(side branch))의 방향 간의 각도 차이에 기초하여 판별할 수 있다. 따라서, 한 혈관 패치 영상에서 의료 도구가 위치된 상위 분지에 3개 이상의 분지가 나타나는 경우, 3개 이상의 분지 중 주지혈관에 대응하는 분지 및 분지점에 가장 인접한 분지만 분지 형태 판별에 고려될 수 있다.

예를 들어, 트레이닝 장치는 주지혈관 기준으로 인접 분지의 각도가 벌어진 정도 및 방향으로 혈관 형태를 분류할 수 있다. 도 6a에 도시된 패치(600a)와 같이 주지혈관의 방향(610a)을 기준으로 왼쪽으로 인접 분지의 방향(620a)이 78도의 각도를 형성하는 경우 +78도로 표현될 수 있다. 도 6b에 도시된 패치(600b)와 같이 주지혈관의 방향(610b)을 기준으로 오른쪽으로 인접 분지의 방향(620b)이 40도의 각도를 형성하는 경우 -40도로 표현될 수 있다.

상술한 바와 같이 시술 환경은 도 5에서 설명한 의료 도구의 지향 특성 및 도 6a 및 도 6b에서 설명한 분지 형태에 따라 분류될 수 있다. 예시적으로 시술 환경은 (지향 특성, 분지 형태)의 쌍으로 정의될 수 있다. (L,+36도)는 왼쪽으로 휘는 지향 특성과 함께 왼쪽으로 36도 각도가 형성된 분지 혈관 형태인 환경을 나타낼 수 있다. (L,-27도)는 왼쪽으로 휘는 지향 특성과 함께 오른쪽으로 27도 각도가 형성된 분지 혈관 형태의 환경을 나타낼 수 있다. (R, -27도)는 오른쪽으로 휘는 지향 특성과 함께 오른쪽으로 27도 각도가 형성된 분지 혈관 형태인 환경을 나타낼 수 있다. (N, +60도)는 중립 지향 특성과 함께 왼쪽으로 60도 각도가 형성된 분지 혈관 형태 인 환경을 나타낼 수 있다.

트레이닝 장치는 상술한 바와 같이 혈관 패치 영상에 대해 식별된 시술 환경에 따라 해당 혈관 패치 영상을 이용하여 트레이닝시킬 강화 학습 모델을 선택할 수 있다. 각 강화 학습 모델은 각도 범위 및 지향 특성이 할당될 수 있고, 트레이닝 장치는 의료 도구가 진입한 분지 영역에 대해 식별된 시술 환경이 매칭되는 각도 범위 및 지향 특성이 할당된 강화 학습 모델을 선택할 수 있다. 복수의 강화 학습 모델들에 할당된 환경은 예시적으로 아래 표 2과 같이 분류될 수 있다.

환경	지향 특성	분지 형태
환경 1	L	-90 ~ -70º
환경 2	L	-50 ~ -30º
환경 3	L	+30 ~ +50º
환경 4	L	+70 ~ +90º
환경 5	R	-90 ~ -70º
환경 6	R	-50 ~ -30º
환경 7	R	+30 ~ +50º
환경 8	R	+70 ~ +90º

표 2에서는 8종의 환경이 정의되고, 8개의 환경들 별 강화 학습 모델이 독립적으로 준비되어 트레이닝될 수 있다. 다시 말해, 트레이닝 장치는 8개의 강화 학습 모델들 중 한 강화 학습 모델을 선택하여 트레이닝시킬 수 있다. 상술한 8종 환경으로 분류하여 강화 학습한 트레이닝 데이터를 이용하여 트레이닝된 동작 결정 모델은, 시뮬레이터 및 팬텀 환경 실험에서 90% 이상의 성공 확률을 나타냈다. 상술한 표 2에서 각 강화 학습 모델에 대응하는 환경 별로 각도 범위는 20도 범위를 가질 수 있다.일 실시예에 따른 트레이닝 장치는 분지 영역에 대해 식별된 시술 환경에 대응하는 강화 학습 모델이 검색되지 않는 경우, 분지 영역과 연관된 혈관 패치 영상들을 트레이닝으로부터 배제할 수 있다. 예를 들어, 트레이닝 장치는 복수의 강화 학습 모델들에 대해 지정된 미리 정한 각도 범위를 벗어나는 각도 차이를 갖는 분지 형태의 분지 영역과 관련된 혈관 패치 영상을 강화 학습에 기초한 트레이닝으로부터 배제할 수 있다. 표 2를 참조하면, (L, -60도)의 시술 환경은 어느 환경에도 속하지 않으므로, 트레이닝 장치는 해당 환경의 패치 영상을 폐기할 수 있다. 또한, 트레이닝 장치는 중립 지향 특성을 갖는 혈관 패치 영상들의 일부를 폐기할 수 있다.

도 7은 일 실시예에 따른 각 강화 학습 모델의 트레이닝 과정을 설명하는 도면이다.

일실시예에 따르면, 트레이닝 장치는 혈관 영상(710)으로부터 분지 영역(720)에 대해 의료 도구의 선단부(721)의 위치(733)에 기초하여 혈관 영상 패치(730)를 추출할 수 있다. 도 7에 도시된 혈관 영상(710)은 CAG 영상으로부터 혈관이 분할된 영상일 수 있다. 예를 들어, 트레이닝 장치는 CAG 영상으로부터 경계 검출(edge detecting) 방법을 이용하여 혈관 영역과 배경 영역을 구분함으로써 혈관 영상(710)을 생성할 수 있다. 예시적으로, 경계 검출 방법은 임의의 픽셀과 주변 픽셀의 그레이스케일 레벨이 급격하게 변하는 영역을 경계로 검출하는 것일 수 있으나, 이로 한정하는 것은 아니다. 트레이닝 장치는, 혈관 영역과 배경 영역이 구분된 영상으로부터, 혈관 영역 중 혈관 굵기 및 영상에서의 그레이스케일 레벨에 기초하여 대상 혈관을 추출할 수 있다. 예시적으로, 혈관 조영술을 이용하는 경우, 조형제가 주입된 혈관은 조형제가 주입되지 않은 혈관보다 그레이스케일 레벨이 더 낮을 수 있고, 의료도구가 이동 가능한 혈관은 그렇지 않은 혈관에 비해 혈관 굵기가 더 두꺼울 수 있다. 따라서, 트레이닝 장치는 심혈관을 추출하기 위해 혈관 영역 중 혈관 굵기가 임계 굵기보다 두껍고 그레이스케일 레벨이 임계 그레이스케일 레벨보다 낮은 혈관을 심혈관으로 분할할 수 있다. 다만, 이로 한정하는 것은 아니고, 영상 분할을 위한 다른 기계 학습 모델이 사용될 수도 있다. 또한, 트레이닝 장치에 의한 영상 분할을 설명하였으나, 이후 의료 도구 제어 장치에서도 유사하게 혈관 영역 추출을 위한 영상 분할이 수행될 수 있다.

트레이닝 장치는 혈관 영상 패치(730)에 강화 학습 모델(750)을 적용할 수도 있으나, 본 명세서에서는 가이드 정보가 부여된 혈관 영상 패치(730)에 강화 학습 모델(750)을 적용하여 동작 별 예측 정보(760)를 산출하는 예시를 설명한다. 예시적으로 트레이닝 장치는 혈관 구조 데이터 및 선단부(721)의 위치(733) 등에 기초하여 가이드 정보를 생성할 수 있다. 다만, 이로 한정하는 것은 아니고, 트레이닝 장치는 가이드 정보가 부여된 혈관 영상 패치(730)를 혈관 영상 촬영 장치로부터 수신할 수도 있다. 가이드 정보는 의료 도구 제어 장치 및/또는 트레이닝 장치가 의료도구의 선단부를 이동시켜야 할 목적 영역(719), 시작 영역(711)으로부터 목적 영역(719)까지의 경로 중간의 영상 패치 내 목표 영역(731), 및 접근 제한 영역(732)을 지시하는 정보를 포함할 수 있다. 각 영역에 관한 정보는 해당 영역의 혈관 영상 내 영상 좌표를 포함할 수 있으나, 이로 한정하는 것은 아니다. 일 실시예에 따르면 혈관 패치 영상에 가이드 정보가 시각화될 수 있다. 예를 들어, 목표 영역(731), 목적 영역(719), 접근 제한 영역(732)에 대응하는 그래픽 오브젝트가 혈관 패치 영상에 오버랩되어 시각화될 수 있다. 가이드 정보가 시각화된 혈관 패치 영상을 가이드 패치라고도 나타낼 수 있다.

트레이닝 장치는 혈관 패치 영상(730)을 전처리 및 정렬할 수 있다. 트레이닝 장치는 혈관 패치 영상(730)을 의료 도구의 진행 방향을 기초로 정렬할 수 있다. 트레이닝 장치는 정렬된 영상(740)에 강화 학습 모델(750)을 적용할 수 있다. 영상의 정렬은 하기 도 8에서 설명한다.

트레이닝 장치는 정렬된 혈관 패치 영상(740)에 강화 학습 모델(750)을 적용함으로써, 동작 별 예측 정보(760)를 산출할 수 있다. 예를 들어, 트레이닝 장치는 정렬된 혈관 패치 영상(740)에 강화 학습 모델(750)에 따른 연산을 시행함으로써, 동작 별 예측 정보(760)를 산출할 수 있다. 동작 별 예측 정보(760)는 전진 기대값(761), 후진 기대값(762), 및 회전 기대값(763)을 포함할 수 있다. 참고로, 강화학습은 상태(state), 행동(action), 보상(reward)의 3가지 데이터로 학습하는 기계 학습의 한 종류로서, 본 명세서에서 상태는 입력되는 혈관 패치 영상 및/또는 가이드 패치이고, 액션은 의료 도구 제어 장치의 동작 명령, 보상은 의료 도구가 원하는 위치로 움직였는지 여부에 따라 결정되는 값을 나타낼 수 있다. 기대 값은 입력된 상태(예를 들어, 가이드 정보가 부여된 혈관 패치 영상)에서 어떠한 액션이 가장 최적일지 보여주는 스칼라(scalar) 값일 수 있다. 최적으로 학습된 강화 학습 모델(750)은 학습되었다면, 3가지 동작 중 최적의 동작 명령에 대해 가장 큰 기대값을 출력할 수 있다.

트레이닝 장치는 동작 별 예측 정보(760)에 기초하여 동작 명령 선택(770)을 수행할 수 있다. 예를 들어, 트레이닝 장치는 복수의 동작들에 대해 산출된 기대 값들 중 가장 큰 기대 값을 갖는 동작 명령을 선택할 수 있다. 트레이닝 장치는 선택된 동작 명령으로 제어 장치 구동(780)을 수행할 수 있다. 예를 들어, 전진 명령이 선택된 경우, 트레이닝 장치는 의료 도구 제어 장치의 구동부에 전진 명령을 제공하여, 의료 도구를 전진시킬 수 있다.

트레이닝 장치는 제어 장치 구동(780)에 의해 의료 도구에 액션이 적용된 결과에 따른 보상 평가(790)를 수행할 수 있다. 예를 들어, 트레이닝 장치는 의료 도구 제어 장치의 구동부가 한번의 동작 명령을 수행함으로써 의료 도구를 구동시킬 때마다 의료 도구의 업데이트된 위치에 기초하여 새로운 패치(예를 들어, 혈관 영상 패치)를 추출할 수 있다. 트레이닝 장치는 현재 프레임에 대응하는 영상 패치와 한번의 동작 명령이 수행된 다음 프레임에 대응하는 새로운 영상 패치를 비교할 수 있다. 보상 평가(790)는 하기 도 9에서 설명한다.

트레이닝 장치는 보상 평가(790)의 결과에 기초하여 강화 학습 모델(750)의 파라미터를 업데이트할 수 있다. 예를 들어, 트레이닝 장치는 보상값이 적용된 평가 데이터에 기초하여 강화 학습 모델(750)을 업데이트할 수 있다. 평가 데이터는 혈관 영상에서 동작 명령에 따른 의료도구 선단부의 이동된 위치에 따라 산출되며, 후술하는 보상값의 적용 여부에 따라 달라진다. 보상값은 위치, 시간, 및 제어 명령의 수 등에 기초하여 설정될 수 있다.

트레이닝 장치는 동작 명령이 수행되기 전 제1 프레임에 대응하는 혈관 영상 패치(730)로부터 동작 명령과 연관된 추정 평가 값을 산출할 수 있다. 트레이닝 장치는 제1 프레임에서 출력된 동작 명령에 따라 의료 도구의 선단부가 이동한 다음 프레임(예를 들어, 제2 프레임)에 대응하는 혈관 영상 패치로부터 측정 평가 값을 산출할 수 있다. 트레이닝 장치는 추정 평가 값과 측정 평가 값을 이용하여 강화 학습 모델(750)의 파라미터를 업데이트할 수 있다. 일실시예에 따르면, 트레이닝 장치는 제1 프레임에서 의료 도구 제어 장치가 강화 학습 모델(750)에 의해 결정된 동작 명령을 수행함으로써 계산된 기대값을 추정 평가 값으로 산출할 수 있다. 또한, 트레이닝 장치는 제2 프레임에서 의료 도구 제어 장치가 수행할 수 있는 후보 동작 명령들 각각의 후보 기대값을 계산할 수 있고, 후보 동작 명령들 중 가장 큰 후보 기대값에 평가 데이터를 합산한 값을 측정 평가 값으로 산출할 수 있다. 여기서, 기대값은 의료 도구 제어 장치가 일련의 동작 명령을 수행함으로써 획득할 수 있는 누적 보상 기대값을 의미할 수 있다. 따라서, 추정 평가 값은 의료 도구 제어 장치가 실제 동작 명령을 수행하기 전 누적 보상 기대값을 의미하는 값일 수 있다. 측정 평가 값은 의료 도구 제어 장치가 실제 동작 명령을 수행한 후 시간 프레임에서의 최대 기대값에 실제 동작 명령을 수행함에 따라 획득된 보상값을 적용한 값일 수 있다.

트레이닝 장치는 측정 평가 값과 추정 평가 값을 이용하여 산출된 손실(loss)에 기초하여 강화 학습 모델(750)을 업데이트할 파라미터를 계산할 수 있다. 예를 들어, 트레이닝 장치는, 손실로서 측정 평가 값과 추정 평가 값 간의 차이가 최소화되도록, 강화 학습 모델(750)의 파라미터를 업데이트할 수 있다. 트레이닝 장치는 산출된 손실이 임계 손실 미만이 될 때까지 강화 학습 모델(750)의 파라미터 업데이트를 반복할 수 있다. 다시 말해, 트레이닝 장치는 추정 평가 값(예를 들어, 제1 프레임과 제2 프레임 사이에서 추정된 누적 보상 기대값)이 측정 평가 값(예를 들어, 실제 동작 명령을 수행한 후 산출된 최대 기대값에 보상값이 적용된 값)과 동일 또는 유사해지도록 강화 학습 모델(750)을 학습시킬 수 있다.

도 7에서 트레이닝 장치는 강화 학습을 수행하는 동안 실시간으로 입력 영상(예를 들어, 혈관 영상 패치)를 식별된 시술 환경과 매칭시켜 임시 데이터 셋에 저장할 수 있다. 이후, 강화 학습이 완료되면, 트레이닝 장치는 앞서 설명한 바와 같이, 임시 데이터 셋에 저장된 혈관 영상 패치에 강화 학습 모델(750)을 적용하여 트레이닝 출력으로서 동작 별 예측 정보를 산출할 수 있다. 트레이닝 장치는 혈관 영상 패치 및 동작 별 예측 정보의 쌍을 트레이닝 데이터로서 저장할 수 있다. 트레이닝 장치는 하나 이상의 혈관 모형의 복수의 분지 영역들로부터 수집되는 혈관 패치 영상들을 이용하여 복수의 강화 학습 모델들의 각각에 대한 트레이닝을 반복할 수 있다.

도 8은 일 실시예에 따른 혈관 패치 영상의 회전 정렬을 설명하는 도면이다.

일 실시예에 따른 트레이닝 장치는 혈관 패치 영상을 전처리하여 단순화할 수 있다. 예를 들어, 트레이닝 장치는 CAG 영상으로부터 분할된 혈관 영역에 대해 스무딩(smoothing), 엣지 검출 등의 영상 처리를 수행하여 단순화할 수 있다. 추가적으로 트레이닝 장치는 혈관 패치 영상 내 캡쳐되는 의료 도구의 진행 방향(821)이 혈관 패치 영상의 일측을 향하면서 의료 도구가 위치된 분지의 중심축이 혈관 패치 영상의 일축에 정렬되도록 혈관 패치 영상을 회전시킬 수 있다.

예를 들어, 트레이닝 장치는 의료 도구의 선단부가 위치된 분지(예를 들어, 진입 분지)의 중심선을 기준으로 혈관 영상 패치(810)를 회전시킬 수 있다. 분지의 중심선은 분지에서 분지점에 인접한 부분의 중심들을 가로지르는 선일 수 있다. 트레이닝 장치는 진입 분지의 중심선이 패치의 일축(예를 들어, 세로 축인 y축)에 평행하게 회전시킬 수 있다. 이 때, 트레이닝 장치는 의료 도구가 패치 영상의 위쪽을 향하도록 패치 영상을 정렬시킬 수 있다. 따라서, 트레이닝 장치는 카메라나 X-ray 장비의 각도 변화로 인해 다른 혈관으로 인식되는 것을 방지하기 위해, 회전 전처리를 통해 일관성 있는 패치 영상(820)을 생성할 수 있다.

도 9a 내지 도 9c는 일 실시예에 따른 강화 학습시 보상 값 결정의 예시를 설명하는 도면이다.

일실시예에 따른 트레이닝 장치는 혈관 영상에서 의료 도구의 선단부의 이동된 위치 및 가이드 정보 간의 비교 결과에 따라 산출된 보상값을 평가 데이터에 적용할 수 있다. 트레이닝 장치는 제1 프레임의 혈관 영상으로부터 의료 도구의 선단부(911a, 911b, 911c)가 이동한 후인 제2 프레임의 혈관 영상을 비교함으로써 보상값을 산출할 수 있다. 예를 들어, 트레이닝 장치는 가이드 정보가 부여된 혈관 패치 영상에서 제2 프레임의 혈관 영상에 나타나는 의료 도구의 선단부(912a, 912b, 912c)가 가이드 정보에 의해 지시되는 개별 영역에 도달하였는지 여부에 따라 보상값을 산출할 수 있다.

예를 들어, 트레이닝 장치는 의료 도구의 선단부가 목적 영역에 도달한 경우에 제1 보상값을 평가 데이터에 적용할 수 있다. 트레이닝 장치는 도 9c에 도시된 패치(900c)와 같이 선단부(911c, 912c)가 중간 목표 영역에 도달한 경우에 응답하여, 제1 보상값보다 작은 제2 보상값을 평가 데이터에 적용할 수 있다. 트레이닝 장치는 도 9a에 도시된 패치(900a)와 같이 선단부(912a)가 접근 제한 영역(920)에 도달한 경우에 응답하여, 제3 보상값을 평가 데이터에 적용할 수 있다. 트레이닝 장치는 도 9b에 도시된 패치(900b)와 같이 선단부(912b)가 영역들 사이 구간 내로 이동된 경우에 응답하여, 제1 보상값보다 절대값이 작은 제4 보상값을 적용할 수 있다. 참고로, 영역 사이 구간 내로 이동된 경우는 의료 도구의 선단부가 중간 목표 영역, 목적 영역, 접근 제한 영역 중 어느 하나에도 도달하지 못하였지만, 의료 도구 제어 장치가 동작 명령을 수행한 경우를 나타낼 수 있다.

트레이닝 장치는 도 9a 내지 도 9c에서 설명한 바와 같이 보상 평가를 수행함으로써 평가 데이터를 생성할 수 있다.

도 10은 일 실시예에 따른 혈관 조영 영상으로부터 생성되는 혈관 구조 데이터를 설명하는 도면이다.

일실시예에 따른 트레이닝 장치 및/또는 의료 도구 제어 장치는 혈관 영상으로부터 혈관 구조 데이터를 생성하고, 혈관 구조 데이터에 기초하여 가이드 정보를 생성할 수 있다. 예를 들어, 트레이닝 장치 및/또는 의료 도구 제어 장치는 CAG 영상(1010)으로부터 혈관 영역을 추출 및 간소화하여 혈관 영상(1020)을 생성할 수 있고, 혈관 영상(1020)에서 분지, 분지들이 교차하는 분지점 등을 인식할 수 있다. 도 10에서 인식된 혈관 분지는 실선으로, 분지 영역으로 식별된 위치 및 혈관의 말단 영역은 노드로 도시된다.

트레이닝 장치 및/또는 의료 도구 제어 장치는 혈관 영상(1020)으로부터 식별된 분지 영역 및 분기된 혈관 분지의 혈관 연결정보에 기초하여 혈관 구조 데이터(1030)를 생성할 수 있다. 혈관 연결정보는 분지 영역 및 분기된 혈관간의 연결 관계를 나타내는 정보일 수 있다. 트레이닝 장치 및/또는 의료 도구 제어 장치는 는 분지점을 포함하는 분지 영역을 지시하는 노드(node) 및 분지점을 기준으로 분기된 혈관 분지를 지시하는 엣지(edge)를 포함하는 혈관 구조 데이터(1030)를 생성할 수 있다. 트레이닝 장치 및/또는 의료 도구 제어 장치는 연결정보에 기초하여 혈관의 토폴로지를 데이터 구조화할 수 있는데, 예시적으로 혈관 도입부로부터 가장 인접한 분지 영역을 루트 노드(root node)로 하여 각 노드와 각 엣지가 연결된 트리 구조를 생성할 수 있다. 루트 노드는 최상위 분지(예를 들어, 모혈관)에 해당하는 노드로서, 시작 영역에 해당하는 노드일 수 있다.

혈관 구조 데이터(1030)는 앞서 설명한 바와 같이 가이드 정보를 생성하는 데 사용될 수 있다. 의료 도구 제어 시스템은 혈관 구조 데이터(1030)에서 루트 노드로부터 목적 영역에 대응하는 노드까지의 경로를 검색할 수 있다. 의료 도구 제어 시스템은 경로에 포함되는 노드들 및 엣지들을 선택할 수 있다. 의료 도구 제어 시스템은 한 노드에 대응하는 분지 영역에서 해당 노드에 연결된 엣지에 대응하는 분지 상에 중간 목표 영역을 설정할 수 있다. 의료 도구 제어 시스템은 혈관 구조 데이터(1030)의 모든 엣지들 중 중간 목표 영역이 설정된 엣지를 제외한 나머지 노드 및 엣지들에 접근 제한 영역을 설정할 수 있다.

도 11은 일 실시예에 따른 의료 도구 제어 장치의 트레이닝 시스템을 설명하는 도면이다.

의료 도구 제어 장치의 트레이닝 시스템(1100)은 의료 도구 제어 장치(1110), 트레이닝 장치(1120), 혈관 영상 촬영 장치(1130)를 포함할 수 있다. 혈관 영상 촬영 장치(1130)는 도 1에서 상술한 바와 같이 혈관에 관한 영상을 촬영하는 장치이므로, 자세한 설명은 생략한다.

트레이닝 장치(1120)는 프로세서(1121), 메모리(1122), 및 입출력 인터페이스(1123)를 포함할 수 있다.

프로세서(1121)는 강화 학습 모델들(1122a) 및 동작 결정 모델(1112a)을 트레이닝시킬 수 있다. 예를 들어, 프로세서(1121)는 혈관 모형에 삽입된 의료 도구(1115)가 혈관 모형 내 분지 영역(branching region)에 도달할 시 분지 영역에서의 시술 환경을 식별할 수 있다. 프로세서(1121)는 복수의 강화 학습 모델들 중 식별된 시술 환경에 대응하는 강화 학습 모델을 선택할 수 있다. 프로세서(1121)는 분지 영역에 대해 추출된 혈관 패치 영상 에 기초하여 선택된 강화 학습 모델을 강화 학습(reinforcement learning)으로 트레이닝시킬 수 있다. 프로세서(1121)는 선택된 강화 학습 모델의 트레이닝이 완료된 후 분지 영역에 대한 혈관 패치 영상으로부터 선택된 강화 학습 모델에 기초하여 트레이닝 출력을 산출할 수 있다. 프로세서(1121)는 추출된 패치 영상이 트레이닝 입력으로서 트레이닝 출력과 쌍을 이루는 트레이닝 데이터를 생성할 수 있다. 프로세서(1121)는 생성된 트레이닝 데이터에 기초하여 지도 학습(supervised learning)으로 동작 결정 모델을 트레이닝시킬 수 있다. 다만, 프로세서(1121)의 동작을 이로 한정하는 것은 아니며, 도 1 내지 도 10에서 설명한 트레이닝 관련 동작을 수행할 수 있다.

메모리(1122)는 트레이닝을 위해 요구되는 데이터를 임시적으로 또는 영구적으로 저장할 수 있다. 예를 들어, 메모리(1122)는 혈관 영상, 혈관 패치 영상, 복수의 강화 학습 모델들(1122a), 및 강화 학습 모델들(1122a)을 이용하여 생성되는 트레이닝 데이터를 저장할 수 있다. 또한, 도 11에서 동작 결정 모델(1112a)이 의료 도구 제어 장치(1110)의 메모리(1112)에 저장되는 예시가 도시되었는데, 동작 결정 모델(1112a)이 트레이닝되는 동안에는 트레이닝 장치(1120)의 메모리(1122)가 동작 결정 모델(1112a)을 저장할 수도 있다. 트레이닝 장치(1120)는 트레이닝 동안 동작 결정 모델(1112a)을 저장하다가, 트레이닝이 완료되면 입출력 인터페이스(1123)를 통해 의료 도구 제어 장치(1110)로 동작 결정 모델(1112a)을 전송할 수도 있다.

입출력 인터페이스(1123)는 강화 학습 모델들(1122a) 및 동작 결정 모델(1112a)의 트레이닝을 위해 요구되는 데이터를 송수신하는 데이터 인터페이스일 수 있다. 예를 들어, 입출력 인터페이스(1123)는 혈관 영상 촬영 장치(1130)로부터 혈관 관련 영상을 수신할 수 있다. 또한, 입출력 인터페이스(1123)는 강화 학습 동안 의료 도구 제어 장치(1110)로 구동부(1114)의 제어를 위한 명령을 출력할 수도 있다.

의료 도구 제어 장치(1110)는 프로세서(1111), 메모리(1112), 입출력 인터페이스(1113), 구동부(1114), 및 의료 도구(1115)를 포함할 수 있다. 구동부(1114)는 결정된 동작 명령에 응답하여 의료 도구(1115)를 구동하는 모듈이고, 의료 도구(1115)는 의료용 와이어를 통해 구동부(1114)와 연결되는 부재로서 상술하였으므로 자세한 설명은 생략한다.

프로세서(1111)는 트레이닝(예를 들어, 강화 학습) 동안에는 트레이닝 장치(1120)로부터 동작 명령을 전달 받아 구동부(1114)를 제어할 수도 있다.

프로세서(1111)는 트레이닝이 완료된 이후에는 메모리(1112)에 저장된 동작 결정 모델(1112a)을 이용하여 의료 도구(1115)를 제어할 수 있다. 예를 들어, 혈관 중재술 등을 위해 의료 도구(1115)가 혈관에 삽입된 동안, 프로세서(1111)는 입출력 인터페이스(1113)를 통해 피시술자의 인체 혈관을 촬영한 혈관 영상을 혈관 영상 촬영 장치(1130)로부터 수신할 수 있다. 프로세서(1111)는 혈관 영상으로부터 의료 도구(1115)의 위치를 기초로 혈관 패치 영상을 추출하고, 추출된 혈관 패치 영상으로부터 동작 결정 모델(1112a)에 기초하여 동작별 예측 정보를 산출할 수 있다. 트레이닝과 달리, 의료 도구 제어 장치(1110)의 프로세서(1111)는 의료 도구(1115)가 삽입된 동안 시술 환경 정보 없이 혈관에 삽입된 의료 도구(1115)의 위치에만 기초하여 추출된 입력 패치 영상으로부터 동작 결정 모델을 이용하여 동작 명령 별 기대값을 출력으로서 산출할 수 있다. 선생(teacher)인 시술 환경 별 강화 학습 모델들(1122a)에 의해 트레이닝된 학생(student)인 동작 결정 모델(1112a)은 다양한 시술 환경에 대해서도 최적의 기대 값을 출력하도록 트레이닝될 수 있다. 프로세서(1111)는 동작 명령 별 산출된 기대값 중 가장 큰 기대값을 갖는 동작 명령을 선택할 수 있다. 프로세서(1111)는 선택된 동작 명령에 따라 의료 도구(1115)에 연결된 구동부를 구동시킴으로써, 의료 도구(1115)의 전진, 회전, 및 후진(retract) 중 하나를 수행할 수 있다.

일 실시예에 따른 의료 도구 제어 장치의 트레이닝 시스템(1100)은 다양하게 정의된 시술 환경에 대한 트레이닝 데이터를 수집하고, 서로 다른 시간대에 서로 다른 혈관 모형에 대해 수집된 트레이닝 데이터를 이용하여 단일 통합 뉴럴 네트워크인 동작 결정 모델(1112a)을 트레이닝시킬 수 있다. 이렇게 트레이닝된 동작 결정 모델(1112a)은 다양한 환경에서 의료 도구(1115)를 혈관 내 목표 영역 및 목적 영역까지 도달시키는 높은 성공률을 가질 수 있다.

의료 도구 제어 장치의 트레이닝 시스템(1100)은 다양한 시술 환경에 각각 오버피팅(overfitting)된 강화 학습 모델들(1122a)을 지도 학습을 통해 상술한 단일 동작 결정 모델(1112a)로 통합할 수 있다. 앞서 설명한 바와 같이, 동작 결정 모델(1112a)은 다양한 환경에 대해 일반화(generalize)된 모델로서 학습에 사용된 환경 뿐 아니라, 학습에 사용되지 않았던 환경에 대해서도 높은 성공률을 나타낼 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims

트레이닝 장치에 있어서,
동작 결정 모델, 적어도 하나의 강화 학습 모델, 및 상기 동작 결정 모델의 트레이닝을 위한 컴퓨터로 실행 가능한 명령들(computer-executable instructions)을 저장한 메모리; 및
상기 메모리에 저장된 상기 명령들을 실행하는 프로세서
를 포함하고,
상기 프로세서는,
의료 도구가 위치된 혈관 분지 영역에서의 시술 환경을 식별하고,
상기 적어도 하나의 강화 학습 모델 중 상기 식별된 시술 환경에 대응하는 강화 학습 모델을, 상기 혈관 분지 영역에 대해 추출된 혈관 패치 영상에 기초하여, 트레이닝시키고,
상기 추출된 혈관 패치 영상으로부터 상기 강화 학습 모델에 기초하여 산출된 트레이닝 출력 및 상기 추출된 혈관 패치 영상에 기초하여 상기 동작 결정 모델을 트레이닝시키도록 설정되는,
트레이닝 장치.
제1항에 있어서,
상기 프로세서는,
상기 의료 도구가 상기 혈관 분지 영역에 도달하는 것에 기초하여, 상기 혈관 분지 영역에 대해 추출된 상기 혈관 패치 영상에 기초하여 상기 혈관 분지 영역의 분지 형태(branching shape)를 판별하고,
상기 판별된 분지 형태에 기초하여 상기 혈관 분지 영역에 대한 상기 시술 환경을 식별하도록 더 설정되는,
트레이닝 장치.
제2항에 있어서,
상기 프로세서는,
상기 혈관 패치 영상에서 주지혈관의 방향 및 분지점(branch point)에 인접한 분지(branch)의 방향에 기초하여 상기 분지 형태를 판별하도록 더 설정되는,
트레이닝 장치.
제3항에 있어서,
상기 프로세서는,
분지점(branch point)에 가장 인접한 분지의 방향이 상기 주지혈관의 방향을 기준으로 벌어진 각도에 기초하여 상기 분지 형태를 분류하도록 더 설정되는,
트레이닝 장치.
제1항에 있어서,
상기 프로세서는,
상기 의료 도구가 혈관 분지 영역에 도달하는 것에 기초하여, 상기 의료 도구의 선단부(tip)의 지향 특성(orientation characteristic)을 판별하고,
상기 지향 특성에 기초하여 상기 혈관 분지 영역에 대한 상기 시술 환경을 식별하도록 더 설정되는,
트레이닝 장치.
제5항에 있어서,
상기 프로세서는,
상기 의료 도구를 회전시키면서 상기 의료 도구의 선단부가 향하는 방향을 기록하고,
상기 의료 도구의 회전 동안 기록된 방향에 기초하여 상기 지향 특성을 판별하도록 더 설정된,
트레이닝 장치.
제6항에 있어서,
상기 프로세서는,
상기 의료 도구의 선단부가 향하는 방향을, 상기 의료 도구의 몸체(body)에 연결된 의료용 와이어의 길이 방향 축을 기준으로 제1 측을 향하는 제1 측 방향 및 상기 제1 측에 반대되는 제2 측을 향하는 제2 측 방향 중 하나로 기록하도록 더 설정된,
트레이닝 장치.
제7항에 있어서,
상기 프로세서는,
상기 의료 도구의 매 회전 스텝마다 촬영되는 패치 영상 별로 상기 의료 도구의 방향을 상기 제1 측 방향 및 상기 제2 측 방향 중 하나로 기록하며,
상기 의료 도구의 회전 동안 촬영된 패치 영상들 중 상기 제1 측 방향이 기록된 패치 영상의 비율에 따라 상기 의료 도구의 지향 특성을 결정하도록 더 설정되는,
트레이닝 장치.
제1항에 있어서,
상기 메모리는,
각각 각도 범위 및 지향 특성이 할당된 상기 적어도 하나의 강화 학습 모델을 저장하고,
상기 프로세서는,
상기 의료 도구가 진입한 혈관 분지 영역에 대해 식별된 상기 시술 환경에 매칭되는 각도 범위 및 지향 특성을 가지는 강화 학습 모델을 선택하도록 더 설정된,
트레이닝 장치.
제1항에 있어서,
상기 프로세서는,
상기 혈관 분지 영역에 대해 복수의 혈관 패치 영상들이 추출되는 경우, 상기 복수의 혈관 패치 영상들 중 한 혈관 패치 영상에 대해 식별된 시술 환경을 다른 혈관 패치 영상에 대해서도 매핑하도록 더 설정된,
트레이닝 장치.
제10항에 있어서,
상기 프로세서는,
한 분지의 분지 시작 지점을 기준으로 추출된 혈관 패치 영상에 대해 시술 환경을 식별하고,
상기 식별된 시술 환경을 해당 분지의 분지 종료 지점까지 추출된 나머지 혈관 패치 영상에 대해서도 매핑하도록 더 설정된,
트레이닝 장치.
제1항에 있어서,
상기 프로세서는,
상기 의료 도구가 상기 혈관 분지 영역에 진입 후 상기 혈관 분지 영역의 바깥으로 진출할 때까지 상기 의료 도구의 매 구동마다 변경되는 상기 의료 도구의 위치를 기준으로 상기 혈관 분지 영역과 연관된 복수의 혈관 패치 영상들을 추출하고,
상기 식별된 시술 환경에 대응하여 선택된 강화 학습 모델을 상기 혈관 분지 영역과 연관된 상기 복수의 혈관 패치 영상들에 기초하여 트레이닝시키도록 더 설정되는,
트레이닝 장치.
제1항에 있어서,
상기 프로세서는,
상기 혈관 분지 영역에 대해 식별된 시술 환경에 대응하는 강화 학습 모델이 검색되지 않는 경우, 상기 혈관 분지 영역과 연관된 혈관 패치 영상들 중 적어도 일부를 트레이닝으로부터 배제하도록 더 설정된,
트레이닝 장치.
제13항에 있어서,
상기 프로세서는,
상기 적어도 하나의 강화 학습 모델에 대해 지정된 미리 정한 각도 범위를 벗어나는 각도 차이를 갖는 분지 형태의 혈관 분지 영역과 관련된 혈관 패치 영상을 강화 학습에 기초한 트레이닝으로부터 배제하도록 더 설정된,
트레이닝 장치.
제1항에 있어서,
상기 프로세서는,
하나 이상의 혈관 모형의 복수의 혈관 분지 영역들로부터 수집되는 혈관 패치 영상들을 이용하여 상기 적어도 하나의 강화 학습 모델의 각각에 대한 트레이닝을 반복하도록 더 설정된,
트레이닝 장치.
제1항에 있어서,
상기 프로세서는,
상기 식별된 시술 환경을 상기 혈관 패치 영상에 매핑하고,
상기 적어도 하나의 강화 학습 모델의 트레이닝 동안 수집된 복수의 혈관 패치 영상들의 각각에 대해 해당 혈관 패치 영상에 매핑된 시술 환경에 대응하는 강화 학습 모델을 로딩하며,
상기 로딩된 강화 학습 모델을 해당 혈관 패치 영상에 적용함으로써 상기 트레이닝 출력을 생성하도록 더 설정된,
트레이닝 장치.
제1항에 있어서,
상기 프로세서는,
상기 혈관 패치 영상으로부터 상기 동작 결정 모델에 기초하여 산출되는 출력 및 상기 트레이닝 출력 간의 손실이 임계 손실 미만이 될 때까지 상기 동작 결정 모델의 파라미터를 업데이트하도록 더 설정된,
트레이닝 장치.
제1항에 있어서,
상기 프로세서는,
의료 도구가 삽입된 동안 시술 환경 정보 없이 혈관에 삽입된 의료 도구의 위치에만 기초하여 추출된 입력 패치 영상으로부터 상기 동작 결정 모델을 이용하여 동작 명령 별 기대값을 출력으로서 산출하도록 더 설정된,
트레이닝 장치.
제18항에 있어서,
상기 프로세서는,
동작 명령 별 산출된 기대값 중 가장 큰 기대값을 갖는 동작 명령을 선택하고,
상기 선택된 동작 명령에 따라 상기 의료 도구에 연결된 구동부를 구동시킴으로써, 상기 의료 도구의 전진, 회전, 및 후진(retract) 중 하나를 수행하도록 더 설정된,
트레이닝 장치.
제1항에 있어서,
상기 프로세서는,
상기 동작 결정 모델에 대한 트레이닝이 완료되면 입출력 인터페이스를 통해 의료 도구 제어 장치로 동작 결정 모델을 전송하도록 더 설정된,
트레이닝 장치.