KR102398522B1

KR102398522B1 - 관상동맥중재술을 위한 영상 정합 방법 및 이를 수행하는 전자 장치

Info

Publication number: KR102398522B1
Application number: KR1020210017857A
Authority: KR
Inventors: 류제하; 정대현; 김동규
Original assignee: 광주과학기술원
Priority date: 2021-02-08
Filing date: 2021-02-08
Publication date: 2022-05-17

Abstract

본 개시는 이미지 정합 방법 및 이를 수행하는 전자 장치에 관한 것이다. 일 실시 예에 의하면 전자 장치가 수행하는 이미지 정합 방법은 기 저장된, 신체의 혈관 또는 조직 중 적어도 하나에 관한 혈관 조영 이미지를 획득하는 단계; 상기 혈관 또는 상기 조직 사이로 삽입된 가이드 와이어에 관한 와이어링 이미지를 실시간으로 획득하는 단계; 상기 실시간으로 획득된 와이어링 이미지가 입력되면 상기 와이어링 이미지 내 가이드 와이어 이미지를 분할하고, 상기 분할된 가이드 와이어 이미지를 출력하는 제1 인공 지능 모델에 상기 실시간으로 획득된 와이어링 이미지를 입력함으로써, 상기 제1 인공 지능 모델로부터 가이드 와이어 이미지를 획득하는 단계; 및 상기 획득된 가이드 와이어 이미지 및 상기 혈관 조영 이미지가 입력되면 상기 혈관 조영 이미지상의 적어도 일부에 상기 추출된 가이드 와이어 이미지가 추가됨으로써 생성되는 정합 이미지를 출력하는 제2 인공 지능 모델로부터, 상기 정합 이미지를 획득하는 단계; 를 포함할 수 있다.

Description

관상동맥중재술을 위한 영상 정합 방법 및 이를 수행하는 전자 장치 {IMAGE REGISTRATION METHOD FOR CORONARY ARTERY INTERVENTION AND ELECTRONIC DEVICE PERFORMING THE SAME}

본 개시는 이미지 또는 영상을 정합하는 방법 및 이를 수행하는 전자 장치에 관한 것이다. 보다 상세하게는 관상동맥중재술의 시술에 사용될 수 있는 이미지 또는 영상을 정합하는 방법 및 이를 수행하는 전자 장치에 관한 것이다.

도 1의 그림 (102)를 참조하면, 관상동맥중재술의 시술 장면이 도시된다. 시술자는 조영제를 투여하여 획득한 심장 주기 이상에 해당하는 혈관 조영 이미지(114) 또는 이미지들이 연속되는 영상을 하나의 모니터/스크린에 계속 재생 혹은 정지시켜 놓고, 다른 한쪽 모니터로는 실시간 실시간 와이어링 이미지(112)(예컨대 Fluoroscopy 이미지)를 보면서 가이드 와이어/카테터 등을 조작하게 된다.

이와 같은 경우, 서로 다른 두 모니터 화면을 번갈아 가며 보면서 가이드 와이어의 혈관 내 상대적인 위치를 확인하는 과정이 필요하거나, 혈관 조영제를 지속적으로 사용하여 목표로 하는 병변 혈관으로 가이드 와이어가 제대로 삽입되었는지 판단하여야 하기 때문에, 시술자의 관상동맥의 해부학적 구조 및 위치에 대한 정확한 지식이 요구되며, 이를 관리하기 위한 시술자의 고도의 경험이 요구되는 한계가 있다.

한편, 심장 박동에 따라 심장이 수축 팽창되면서 관상동맥 혈관이 규칙적으로 움직이는데 (부정맥 등의 비정상적인 심장 박동이 없는 경우), 이 때, 혈관 형상을 따라 이동하는 가이드와이어도 이 움직임을 따르게 된다. 따라서 실시간 와이어링 영상에 나타나는 가이드와이어를 보면, 조작이 없다고 할지라도 심장 박동에 따른 혈관의 변화에 따라 가이드와이어도 혈관의 형상에 따라 변한다.

따라서 뇌와 같이 정적인 혈관이 아닌 관상동맥과 같이 동적인 혈관에서 가이드와이어가 향하는 방향과 혈관 내의 위치를 영상 상에서 제대로 파악하기란 쉽지 않다. 더불어 호흡에 따라 영상 내 심장의 위상과 수축되는 정도가 변화하기 때문에, 이에 대한 움직임 또한 가이드와이어의 위치 파악을 용이치 않게 한다. 이는 복잡하고 꾸불한 혈관 분기에서 이러한 차이가 더욱 심할 수 있으며, 이에 따라 잘못된 분기로 삽입을 할 가능성이 있으며 경우에 따라서는 전체 시술에서 가이드와이어 삽입이 대다수의 시간을 차지할 때도 있다. 이런 문제로 인해 관상동맥 내 가이드와이어의 위치를 확인하기 위해서는 잦은 조영제 투여가 필요하고, 조영제 투여의 증가는 환자의 콩팥 기능에 문제를 야기할 수 있는 문제점이 있다.

상술한 문제점을 해결하기 위하여 3D 정합에 특화된 영상 정합 기술들이 개발되어 왔다. 특히, 종래의 영상 정합 기술들은 Chronic total occlusions(CTO)와 같이 혈관이 완벽히 협착되어 조영제를 투여하여도 혈관의 형상이 보이지 않는 경우에 시술 중에 촬영한 혈관 조영 영상과 미리 촬영해놓은 CTA 영상의 혈관 모델을 조영 영상 위로 투사시켜 CTIO 부분의 혈관을 확인하는 용도 등으로 사용되어 왔으나, 이러한 기술들은 3차원 모델을 얻기 위해 수술 전 과정에서 CT 촬영을 해야하는 한계, 3차원 모델은 정적이기 때문에 심장 박동에 따라 변화하는 혈관의 움직임 등을 정확하게 반영하기 어려우며, 정합 시간이 다소 소요되는 한계가 있었다.

따라서, 다른 기술들과 같이 별도의 ECG 신호 등이 필요하지 않고도, 정합된 영상에서 가이드 와이어가 혈관을 벗어나는 현상을 감소시킬 수 있는 인공지능 기반의 관상동맥 중재술영상 정합 기술 개발이 요구되고 있다.

한국등록특허 제2082270호

일 실시 예에 의하면, 영상 정합 방법을 수행하는 전자 장치 및 상기 전자 장치가 수행하는 영상 정합 방법이 제공될 수 있다.

보다 상세하게는 인공 지능 모델을 이용하여 가이드 와이어 이미지 및 혈관 조영 이미지를 정합하는 방법 및 이를 수행하는 전자 장치가 제공될 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시 예에 의하면, 전자 장치가 수행하는 이미지 정합 방법에 있어서, 기 저장된, 신체의 혈관 또는 조직 중 적어도 하나에 관한 혈관 조영 이미지를 획득하는 단계; 상기 혈관 또는 상기 조직 사이로 삽입된 가이드 와이어에 관한 와이어링 이미지를 실시간으로 획득하는 단계; 상기 실시간으로 획득된 와이어링 이미지가 입력되면 상기 와이어링 이미지 내 가이드 와이어 이미지를 분할하고, 상기 분할된 가이드 와이어 이미지를 출력하는 제1 인공 지능 모델에 상기 실시간으로 획득된 와이어링 이미지를 입력함으로써, 상기 제1 인공 지능 모델로부터 가이드 와이어 이미지를 획득하는 단계; 및 상기 획득된 가이드 와이어 이미지 및 상기 혈관 조영 이미지가 입력되면 상기 혈관 조영 이미지상의 적어도 일부에 상기 추출된 가이드 와이어 이미지가 추가됨으로써 생성되는 정합 이미지를 출력하는 제2 인공 지능 모델로부터, 상기 정합 이미지를 획득하는 단계; 를 포함하는 방법이 제공될 수 있다.

일 실시 예에 의하면, 영상 정합 방법을 수행하는 전자 장치에 있어서, 디스플레이; 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서; 를 포함하고, 상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 기 저장된, 신체의 혈관 또는 조직 중 적어도 하나에 관한 혈관 조영 이미지를 획득하고, 상기 혈관 또는 상기 조직 사이로 삽입된 가이드 와이어에 관한 와이어링 이미지를 실시간으로 획득하고, 상기 실시간으로 획득된 와이어링 이미지가 입력되면 상기 와이어링 이미지 내 가이드 와이어 이미지를 분할하고, 상기 분할된 가이드 와이어 이미지를 출력하는 제1 인공 지능 모델에 상기 실시간으로 획득된 와이어링 이미지를 입력함으로써, 상기 제1 인공 지능 모델로부터 가이드 와이어 이미지를 획득하고, 상기 획득된 가이드 와이어 이미지 및 상기 혈관 조영 이미지가 입력되면 상기 혈관 조영 이미지상의 적어도 일부에 상기 추출된 가이드 와이어 이미지가 추가됨으로써 생성되는 정합 이미지를 출력하는 제2 인공 지능 모델로부터, 상기 정합 이미지를 획득하는, 전자 장치가 제공될 수 있다.

또한, 일 실시 예에 의하면, 전자 장치가 수행하는 영상 정합 방법에 있어서, 기 저장된, 신체의 혈관 또는 조직 중 적어도 하나에 관한 혈관 조영 이미지를 획득하는 단계; 상기 혈관 또는 상기 조직 사이로 삽입된 가이드 와이어에 관한 와이어링 이미지를 실시간으로 획득하는 단계; 상기 실시간으로 획득된 와이어링 이미지가 입력되면 상기 와이어링 이미지 내 가이드 와이어 이미지를 분할하고, 상기 분할된 가이드 와이어 이미지를 출력하는 제1 인공 지능 모델에 상기 실시간으로 획득된 와이어링 이미지를 입력함으로써, 상기 제1 인공 지능 모델로부터 가이드 와이어 이미지를 획득하는 단계; 및 상기 획득된 가이드 와이어 이미지 및 상기 혈관 조영 이미지가 입력되면 상기 혈관 조영 이미지상의 적어도 일부에 상기 추출된 가이드 와이어 이미지가 추가됨으로써 생성되는 정합 이미지를 출력하는 제2 인공 지능 모델로부터, 상기 정합 이미지를 획득하는 단계; 를 포함하는, 방법을 수행하도록 하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.

일 실시 예에 의하면 관상동맥중재술의 시술자의 피로도를 감소시킬 수 있다.

일 실시 예에 의하면 조영제 사용량을 감소시킬 수 있다.

일 실시 예에 의하면 방사선 노출 시간을 감소시킬 수 있다.

일 실시 예에 의하면 심전도 신호없이도 실시간 와이어링 이미지 및 혈관 조영 이미지를 정확하게 정합할 수 있다.

도 1은 일 실시 예에 따라 종래 관상동맥중재술 시술의 문제점을 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 전자 장치가 이미지 정합 방법을 수행하는 과정을 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 이미지 정합 방법의 흐름도이다.
도 4는 일 실시 예에 따른 이미지 정합 방법을 수행하는데 사용되는 인공 지능 모델의 학습 과정을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 전자 장치가 수행하는 이미지 정합 방법의 흐름도이다.
도 6은 일 실시 예에 따른 이미지 정합 과정을 설명하기 위한 도면이다.
도 7은 일 실시 에에 따른 혈관 조영 이미지를 이용한 가상 가이드 와이어 및 유사 정합 이미지를 생성하는 과정을 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 인공지능 모델의 학습 과정을 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 인공 지능 모델의 학습 과정을 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 전자 장치의 블록도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.

본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 일 실시 예에 따라 종래 관상동맥중재술 시술의 문제점을 설명하기 위한 도면이다.

이와 같은 경우, 서로 다른 두 모니터 화면을 번갈아 가며 보면서 가이드 와이어의 혈관 내 상대적인 위치를 확인하는 과정이 필요하거나, 혈관 조영제를 지속적으로 사용하여 목표로 하는 병변 혈관으로 가이드 와이어가 제대로 삽입되었는지 판단하여야 하기 때문에, 시술자의 관상동맥의 해부학적 구조 및 위치에 대한 정확한 지식이 요구되며, 이를 관리하기 위한 시술자의 고도의 경험이 요구되는 한계가 있었다.

도 2는 일 실시 예에 따른 전자 장치가 이미지 정합 방법을 수행하는 과정을 설명하기 위한 도면이다.

상술한 도 1의 한계를 기술적으로 해결하기 위한 방법으로, 일 실시 예에 따른 전자 장치가 수행하는 이미지 정합 방법이 도시된다. 일 실시 예에 의하면, 전자 장치(1000)는 실시간 와이어링 이미지(202) 및 혈관 조영 이미지(204)를 획득하고, 획득된 실시간 와이어링 이미지(202)로부터 추출된 가이드 와이어 이미지와 혈관 조영 이미지(204)를 정합함으로써 정합 이미지(212)를 획득할 수 있다.

일 실시 예에 의하면 실시간 와이어링 이미지(202)는 엑스레이 장치(예컨대 C-ARM)를 이용하여 대상 환자를 촬영함으로써 획득될 수 있는 이미지일 수 있다. 일 실시 예에 의하면 실시간 와이어링 이미지는 Fluoroscopic image에 대응될 수 있다. 일 실시 예에 의하면 실시간 와이어링 이미지(202)는 대상 환자의 신체 내 조직 및 상기 조직들 사이에 삽입중인 가이드 와이어에 대한 이미지를 포함할 수 있다. 그러나 실시간 와이어링 이미지(202)는 혈관에 대한 이미지를 포함하지 않을 수도 있으며 포함하더라도 시술에 사용되기 어려운 정도의 해상도의 혈관 이미지를 포함할 수 있다.

일 실시 예에 의하면 혈관 조영 이미지(204)는 조영제를 투여한 대상 환자를 엑스레이 장치(예컨대 C-ARM)로 촬영함으로써 획득될 수 있는 이미지일 수 있다. 일 실시 예에 의하면 혈관 조영 이미지(204)는 Angiographic 이미지에 대응될 수 있다. 일 실시 예에 의하면 혈관 조영 이미지(204)는 대상 환자의 혈관, 대상 환자의 신체 내 조직, 상기 조직 사이에 병변까지 삽입될 수 있는 가이딩 카테터에 대한 이미지를 포함할 수 있다. 그러나 혈관 조영 이미지(204)는 가이드 와이어에 대한 이미지를 포함하지 않을 수 있다.

또한, 일 실시 예에 의하면, 혈관 조영 이미지(204)는 조영제를 투여한 대상 환자를 촬영함으로써 획득된 후, 미리 전자 장치의 메모리에 저장될 수 있다. 일 실시 예에 의하면 실시간 와이어링 이미지(202)는 전자 장치(1000)가 이미지 정합 방법을 수행하는 동안 실시간으로 엑스레이 장치를 통하여 획득되는 이미지일 수 있다.

전자 장치(1000)는 실시간 와이어링 이미지(202) 및 혈관 조영 이미지(204)를 획득하고, 실시간 와이어링 이미지(202)로부터 획득되는 가이드 와이어 이미지 및 혈관 조영 이미지(204)를 정합함으로써 정합 이미지(212)를 실시간으로 획득할 수 있다. 관상동맥중재술의 시술자는 전자 장치(1000)를 이용하여 효과적으로 관상동맥중재술을 시술할 수 있다.

도 3은 일 실시 예에 따른 이미지 정합 방법의 흐름도이다.

S310에서, 전자 장치(1000)는 기 저장된 신체의 혈관 또는 조직 중 적어도 하나에 관한 혈관 조영 이미지를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 소정의 조영제가 투여된 대상 환자를 엑스레이 장치로 촬영함으로써 획득될 수 있는 혈관 조영 이미지를 메모리에 미리 저장해둘 수 있으며, 메모리에 미리 저장된 혈관 조영 이미지에 액세스함으로써, 혈관 조영 이미지를 획득할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 엑스레이 장치와 통신 연결됨으로써, 해당 엑스레이 장치로부터 혈관 조영 이미지를 획득할 수도 있다.

S320에서, 전자 장치(1000)는 혈관 또는 조직 사이로 삽입된 가이드 와이어에 관한 와이어링 이미지를 실시간으로 획득할 수 있다. 예를 들어, 전자 장치(1000)는 조영제가 투여되지 않은 대상 환자를 엑스레이 장치로 촬영함으로써 획득되는 와이어링 이미지를 엑스레이 장치로부터 실시간으로 획득할 수 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 엑스레이 장치를 포함하고, 직접 실시간 와이어링 이미지를 획득할 수도 있다.

S330에서, 전자 장치(1000)는 실시간으로 획득된 와이어링 이미지가 입력되면 상기 와이어링 이미지 내 가이드 와이어 이미지를 분할하고, 상기 분할된 가이드 와이어 이미지를 출력하는 제1 인공 지능 모델에 상기 실시간으로 획득된 와이어링 이미지를 입력함으로써, 상기 제1 인공 지능 모델로부터 가이드 와이어 이미지를 획득할 수 있다.

예를 들어, 제1 인공 지능 모델은 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values, weights)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공 신경망의 학습 결과에 의해 최적화될 수 있다.

일 실시 예에 의하면, 제1 인공 지능 모델은 학습 과정 동안 인공지능 모델에서 획득한 손실(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 수정 및 갱신될 수 있다. 본 개시에 따른 제1 인공 지능 모델은 심층 신경망(DNN:Deep Neural Network)을 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.

일 실시 예에 의하면, 제1 인공 지능 모델은 실시간 와이어링 이미지로부터 조직 또는 골격 기타 신체 조직과 같은 노이즈를 제거함으로써, 가이드 와이어에 대한 이미지를 추출하도록 미리 학습된 모델일 수 있다.

S340에서, 전자 장치(1000)는 획득된 가이드 와이어 이미지 및 상기 혈관 조영 이미지가 입력되면 상기 혈관 조영 이미지상의 적어도 일부에 상기 추출된 가이드 와이어 이미지가 추가됨으로써 생성되는 정합 이미지를 출력하는 제2 인공 지능 모델로부터, 상기 정합 이미지를 획득할 수 있다. 일 실시 예에 의하면, 제2 인공 지능 모델은 상기 제1 인공 지능 모델과 다른 모델로써, 가이드 와이어 이미지 및 혈관 조영 이미지가 입력되면, 입력된 혈관 조영 이미지 상에 가이드 와이어 이미지를 중첩함으로써 정합 이미지를 출력하도록 미리 학습된 모델일 수 있다.

일 실시 예에 의하면, 제2 인공 지능 모델 역시, 학습 과정 동안 인공지능 모델에서 획득한 손실(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 수정 및 갱신될 수 있다. 본 개시에 따른 제2 인공 지능 모델은 심층 신경망(DNN:Deep Neural Network)을 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.

도 4는 일 실시 예에 따른 이미지 정합 방법을 수행하는데 사용되는 인공 지능 모델의 학습 과정을 설명하기 위한 도면이다.

일 실시 예에 의하면, 전자 장치(1000)는 학습된 제1 인공 지능 모델(412, 예컨대 가이드 와이어 분할 AI 모델) 및 제2 인공 지능 모델(414, 영상 정합 AI 모델)을 이용하여 정합 이미지를 획득할 수 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 제1 인공 지능 모델(412) 및 제2 인공 지능 모델(414)을 학습(TRAIN)시킬 수 있다.

예를 들어, 전자 장치(1000)는 소정의 주기 동안 특정 대상 환자를 촬영함으로써 복수의 와이어링 이미지(404)를 획득할 수 있다. 본 개시에 따르면 제1 인공 지능 모델(412)의 학습에 사용되는 와이어링 이미지(404)를 와이어링 훈련 이미지로 명칭한다. 전자 장치(1000)는 복수의 와이어링 훈련 이미지(404)를 획득하고, 복수의 와이어링 훈련 이미지로부터 분할된 가이드 와이어 이미지(408)를 획득할 수 있다. 본 명세서에서 제1 인공 지능 모델(412)의 학습에 사용되는 가이드 와이어 이미지는 가이드 와이어 훈련 이미지로 명칭한다.

전자 장치(1000)는 와이어링 훈련 이미지(404)로부터 분할된 가이드 와이어 훈련 이미지(408)를 획득하고, 와이어링 훈련 이미지(404) 및 가이드 와이어 훈련 이미지(408)에 기초하여 제1 인공 지능 모델(412)을 학습시킬 수 있다. 전자 장치(1000)는 와이어링 훈련 이미지(404)에 대하여 가이드 와이어 훈련 이미지(408)를 라벨링 데이터로 활용함으로써 제1 인공 지능 모델을 학습시킬 수 있다. 학습된 제1 인공 지능 모델(412)은 실시간 와이어링 이미지가 입력되면, 입력된 와이어링 이미지 내 조직, 골격과 같은 노이즈를 제거함으로써 가이드 와이어에 대한 이미지만을 출력하게 된다.

본 개시에 따른 전자 장치(1000)는 대상 환자의 심장 박동 주기에 대응되는 시간 동안 획득 가능한 복수의 와이어링 훈련 이미지(404)를 사용하여 제1 인공 지능 모델을 학습시킬 수도 있다.

또한, 전자 장치(1000)는 소정의 주기 동안 특정 대상 환자를 촬영함으로써 복수의 혈관 조영 훈련 이미지(402)를 획득할 수도 있다. 본 명세서에서 제2 인공 지능 모델(414)의 훈련에 사용되는 혈관 조영 이미지는 혈관 조영 훈련 이미지(402)로 명칭한다. 또한, 전자 장치(1000)는 복수의 혈관 조영 훈련 이미지(402)상에 가상의 가이드 와이어를 표시함으로써 유사 정합 이미지(406)를 생성할 수 있다.

일 실시 예에 의하면, 전자 장치(1000)는 복수의 혈관 조영 훈련 이미지에 포함된 혈관의 중심선 또는 중심선을 따라 복수의 혈관 조영 훈련 이미지 내 병변이 발생한 위치 또는 병변 너머의 혈관까지 가상의 가이드 와이어를 표시할 수도 있다. 전자 장치(1000)는 상술한 방법에 따라 표시된 가상의 가이드 와이어를 포함하는 복수의 혈관 조영 훈련 이미지를 유사 정합 이미지(406)로 생성할 수 있다.

전자 장치(1000)는 유사 정합 이미지(406)로부터 가상의 가이드 와이어 이미지를 획득할 수 있다. 전자 장치(1000)는 유사 정합 이미지(406)로부터 가상의 가이드 와이어 이미지를 추출할 수도 있다. 전자 장치(1000)는 복수의 혈관 조영 훈련 이미지(402), 유사 정합 이미지(406) 및 가상의 가이드 와이어 이미지(410)에 기초하여 제2 인공 지능 모델(414)을 학습시킬 수 있다. 학습된 제2 인공 지능 모델(414)은 분할된 가이드 와이어 이미지 및 혈관 조영 이미지가 입력되면, 유사 정합 이미지(406)에 대응되는 정합 이미지를 출력하게 된다.

본 개시에 따른 전자 장치(1000)는 복수의 혈관 조영 훈련 이미지를 제2 인공 지능 모델의 학습에 사용하기 때문에 대상 환자의 심장 박동수에 상관없이 또는 심전도 신호 없이도, 정확한 이미지를 정합할 수 있다. 또한, 전자 장치(1000)는 복수의 혈관 조영 훈련 이미지상에 가상의 가이드 와이어를 이용하여 대량의 훈련 데이터를 생성하고, 생성된 대량의 훈련 데이터에 기초하여 제2 인공 지능 모델을 학습시킴으로써 더 정확하게 정합 이미지를 생성할 수 있다.

도 5는 일 실시 예에 따른 전자 장치가 수행하는 이미지 정합 방법의 흐름도이다.

일 실시 예에 의하면, 전자 장치(1000)는 학습된 제1 인공 지능 모델(506) 및 제2 인공 지능 모델(510)을 이용하여 실시간 와이어링 이미지(504) 및 혈관 조영 이미지(502)로부터 정합된 이미지(512)를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 혈관 조영 이미지(502)를 메모리 내에 미리 저장할 수 있다. 전자 장치(1000)는 엑스레이 장치를 통하여 실시간으로 와이어링 이미지(504)를 획득할 수 있다. 와이어링 이미지(504)는 가이드 와이어에 대한 이미지를 포함할 수 있다.

전자 장치(1000)는 실시간으로 획득된 와이어링 이미지(504)를 제1 인공 지능 모델(예컨대 훈련된 가이드 와이어 분할 AI 모델, 506)에 입력함으로써, 와이어링 이미지로부터 가이드 와이어 이미지(508)를 획득할 수 있다. 전자 장치(1000)는 제1 인공 지능 모델로부터 출력되는 가이드 와이어 이미지(508) 및 혈관 조영 이미지(502)를 제2 인공 지능 모델(예컨대 훈련된 영상 정합 AI 모델, 510)에 입력할 수 있다. 전자 장치(1000)는 제2 인공 지능 모델(510)로부터 정합 이미지(512)를 획득할 수 있다.

도 6은 일 실시 예에 따른 이미지 정합 과정을 설명하기 위한 도면이다.

일 실시 예에 의하면 도 6은 도 4 내지 도 5의 과정에 대응될 수 있다. 예를 들어, 전자 장치(1000)는 C-ARM(602)으로부터 혈관 조영 이미지(Angiographic image) 및 와이어링 이미지(Fluoroscopic image)를 획득할 수 있다. 전자 장치(1000)는 와이어링 이미지로부터 가이드 와이어 이미지를 추출함으로써 가이드 와이어 segmentation(604) 이미지를 획득할 수 있다. 전자 장치(1000)는 와이어링 이미지로부터 획득된 가이드 와이어 이미지 및 혈관 조영 이미지를 미리 학습된 제2 인공 지능 모델에 입력할 수 있다.

일 실시 예에 의하면, 제2 인공 지능 모델(608, 예컨대 훈련된 이미지 정합 모델)은 가상의 가이드 와이어 이미지 또는 상기 가상의 가이드 와이어 이미지에 더하여 유사 정합 이미지, 소정의 주기 동안 획득된 복수의 혈관 조영 훈련 이미지를 포함하는 훈련 데이터셋(606)에 의하여 미리 훈련될 수 있다. 전자 장치(1000)는 훈련된 제2 인공 지능 모델(608)을 이용하여 혈관 조영 이미지 및 실시간 와이어링 이미지로부터 추출된 가이드 와이어 이미지를 정합함으로써 정합 이미지를 생성하고, 생성된 정합 이미지를 디스플레이(610)를 통하여 출력할 수 있다.

도 7은 일 실시 에에 따른 혈관 조영 이미지를 이용한 가상 가이드 와이어 및 유사 정합 이미지를 생성하는 과정을 설명하기 위한 도면이다.

일 실시 예에 의하면, 전자 장치(1000)가 제2 인공 지능 모델의 훈련에 사용하는 가상 가이드 와이어 이미지 및 유사 정합 이미지를 생성하는 과정을 설명하기로 한다. 예를 들어, 전자 장치(1000)는 혈관 조영 이미지(702)를 획득하고, 획득된 혈관 조영 이미지상에 가상의 가이드 와이어(704)를 표시할 수 있다. 일 실시 예에 의하면, 혈관 조영 이미지 상에 가상의 가이드 와이어(704)는 수동으로 생성될 수도 있지만, 미리 학습된 인공 지능 모델을 이용하여 자동으로 생성될 수도 있다. 일 실시 예에 의하면, 전자 장치(1000)는 가상의 가이드 와이어를 혈관 조영 이미지(702)상에 표시함으로써 유사 정합 이미지(708)를 생성할 수 있다. 또한, 전자 장치(1000)는 유사 정합 이미지(708)로부터 가상의 가이드 와이어 이미지만을 추출하거나, 이전에 혈관 조영 이미지(702)상에 표시할 가상의 가이드 와이어 대한 이미지(706)를 미리 획득하여 저장해둘 수도 있다.

전자 장치(1000)는 복수의 혈관 조영 이미지(702), 가상의 가이드 와이어 이미지(704) 및 유사 정합 이미지(708)를 데이터 베이스(710)에 미리 저장해둘 수도 있다.

도 8은 일 실시 예에 따른 인공지능 모델의 학습 과정을 설명하기 위한 도면이다.

일 실시 예에 의하면, 전자 장치(1000)는 손실 함수(예컨대 강도 또는 그래디언트에 관한 함수)가 최소화되도록, 인공 지능 모델 내 가중치를 수정 및 갱신함으로써 인공 지능 모델을 학습시킬 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 복수의 혈관 조영 훈련 이미지, 가상의 가이드 와이어 이미지 및 유사 정합 이미지를 훈련 데이터(802)로 생성하고 생성된 훈련 데이터에 기초하여 인공 지능 모델을 학습시킬 수 있다. 일 실시 예에 의하면 인공 지능 모델은 오토 엔코더(804)에 대응될 수 있다.

전자 장치(1000)는 유사 정합 이미지를 Ground Truth 이미지로 사용함으로써, 오토 엔코더(804)에서 출력되는 결과 이미지에 대한 손실 함수(806)가 작아지도록, 오토 엔코더의 가중치를 지속적으로 수정 및 갱신함으로써 오토 엔코더를 학습시킬 수 있다. 학습된 오토엔코더(804)는 혈관 조영 이미지 및 가이드 와이어 이미지가 입력되면 유사 정합 이미지에 대응되는 정합 이미지를 출력하도록 학습되게 된다.

도 9는 일 실시 예에 따른 인공 지능 모델의 학습 과정을 설명하기 위한 도면이다.

일 실시 예에 의하면 도 9는 도 8의 과정의 적어도 일부에 대응될 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 와이어링 이미지를 제1 인공 지능 모델에 입력함으로써 가이드 와이어 이미지(902)를 획득할 수 있다. 또는 전자 장치(1000)는 사용자 입력 또는 기타 가이드 와이어 생성 알고리즘에 기초하여 와이어링 이미지로부터 가이드 와이어 이미지(902)를 획득할 수도 있다. 또한, 전자 장치(1000)는 미리 저장된 혈관 조영 이미지(904)를 획득할 수 있다.

전자 장치(1000)는 획득된 가이드 와이어 이미지(902) 및 혈관 조영 이미지(904)를 제2 인공 지능 모델(예컨대 U-net)에 입력함으로써, 정합 이미지(908)를 획득할 수 있다. 전자 장치(1000)는 정합 이미지(908)와 라벨링 이미지(910, 예컨대 유사 정합 이미지) 사이에 정의되는 손실 함수(912)가 작아지도록 제2 인고 지능 모델(906)내의 가중치를 수정 및 갱신함으로써, 제2 인공 지능 모델을 학습시킬 수 있다. 일 실시 예에 의하면, 손실 함수는 이미지 강도 함수 또는 그래디언트 함수 중 적어도 하나를 포함할 수 있다.

도 10은 일 실시 예에 따른 전자 장치의 블록도이다.

일 실시 예에 따른 전자 장치(1000)는 디스플레이, 메모리(2700) 및 프로세서(2300)를 포함할 수 있다. 그러나 도시된 구성 요소가 모두 필수구성요소인 것은 아니며, 도시된 구성 요소 보다 많은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있다. 일 실시 예에 의하면, 전자 장치(1000)는 사용자 입력 인터페이스(2100), 출력부(2200), 네트워크 인터페이스(2500) 및 A/V 입력부(2600) 를 더 포함할 수도 있다.

사용자 입력 인터페이스(2100)는 사용자가 전자 장치(1000)를 제어하기 위해 입력하는 수단을 포함할 수 있다. 예를 들어, 사용자 입력 인터페이스(2100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.

출력부(2200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(2200)는 디스플레이, 스피커 및 진동 모터 등을 포함할 수 있다. 디스플레이는 혈관 조영 이미지, 와이어링 이미지, 정합 이미지, 가이드 와이어 이미지를 출력할 수 있다. 스피커는 네트워크 인터페이스(2500)로부터 수신되거나 메모리(2700)에 저장된 오디오 데이터를 출력한다. 또한, 스피커는 전자 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다.

프로세서(2300)는 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 프로세서(2300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 디스플레이 및 네트워크 인터페이스(2500)등을 전반적으로 제어할 수 있다.

또한, 프로세서(2300)는 메모리(2700)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도 9에 기재된 이미지 정합 방법을 수행할 수 있다.

일 실시 예에 의하면, 프로세서(2300)는 기 저장된, 신체의 혈관 또는 조직 중 적어도 하나에 관한 혈관 조영 이미지를 획득하고, 상기 혈관 또는 상기 조직 사이로 삽입된 가이드 와이어에 관한 와이어링 이미지를 실시간으로 획득하고, 상기 실시간으로 획득된 와이어링 이미지가 입력되면 상기 와이어링 이미지 내 가이드 와이어 이미지를 분할하고, 상기 분할된 가이드 와이어 이미지를 출력하는 제1 인공 지능 모델에 상기 실시간으로 획득된 와이어링 이미지를 입력함으로써, 상기 제1 인공 지능 모델로부터 가이드 와이어 이미지를 획득하고, 상기 획득된 가이드 와이어 이미지 및 상기 혈관 조영 이미지가 입력되면 상기 혈관 조영 이미지상의 적어도 일부에 상기 추출된 가이드 와이어 이미지가 추가됨으로써 생성되는 정합 이미지를 출력하는 제2 인공 지능 모델로부터, 상기 정합 이미지를 획득할 수 있다.

일 실시 예에 의하면, 프로세서(2300)는 소정의 조영제가 투여된 대상 환자를 엑스레이 장치로 촬영함으로써 상기 혈관 조영 이미지를 획득하고, 상기 획득된 혈관 조영 이미지를 상기 전자 장치 내 메모리에 미리 저장하고, 상기 저장된 상기 혈관 조영 이미지를 획득할 수 있다.

일 실시 예에 의하면, 프로세서(2300)는 조영제가 투여되지 않은 상기 대상 환자를 엑스레이 장치로 촬영함으로써 상기 와이어링 이미지를 실시간으로 획득할 수 있다.

일 실시 예에 의하면 프로세서(2300)는 소정의 주기 동안 특정 대상 환자를 촬영함으로써 복수의 와이어링 훈련 이미지를 획득하고, 상기 복수의 와이어링 훈련 이미지 상에 표시될 수 있는 가이드 와이어 훈련 이미지를 획득하고, 상기 획득된 복수의 와이어링 훈련 이미지 및 상기 가이드 와이어 훈련 이미지에 기초하여 상기 제1 인공 지능 모델을 학습시키고, 상기 학습된 제1 인공 지능 모델에 상기 실시간으로 획득된 와이어링 이미지를 입력함으로써 상기 가이드 와이어 이미지를 획득할 수 있다.

일 실시 예에 의하면, 프로세서(2300)는 소정의 주기 동안 특정 대상 환자를 촬영함으로써 복수의 혈관 조영 훈련 이미지를 획득하고, 상기 복수의 혈관 조영 훈련 이미지 상에 가상의 가이드 와이어를 표시함으로써 유사 정합 이미지를 생성하고, 상기 생성된 유사 정합 이미지로부터 가상 가이드 와이어 이미지를 추출하고, 상기 복수의 혈관 조영 훈련 이미지, 상기 생성된 유사 정합 이미지 및 상기 추출된 가상 가이드 와이어 이미지에 기초하여 상기 제2 인공 지능 모델을 학습시키고, 상기 학습된 제2 인공 지능 모델에, 상기 제1 인공 지능 모델로부터 획득된 가이드 와이어 이미지 및 상기 기 저장된 혈관 조영 이미지를 입력함으로써 상기 정합 이미지를 획득할 수 있다.

일 실시 예에 의하면 프로세서(2300)는 상기 복수의 혈관 조영 훈련 이미지에 포함된 혈관의 중심선 또는 상기 중심선을 따라, 상기 복수의 혈관 조영 훈련 이미지 내 병변이 발생한 위치 또는 병변 너머의 혈관까지 상기 가상의 가이드 와이어를 표시하고, 상기 표시된 가상의 가이드 와이어를 포함하는 복수의 혈관 조영 훈련 이미지를 상기 유사 정합 이미지로 생성할 수 있다.

일 실시 예에 의하면, 프로세서(2300)는 상기 복수의 혈관 조영 훈련 이미지 및 상기 추출된 가상 가이드 와이어 이미지가 상기 제2 인공 지능 모델에 입력됨으로써 상기 제2 인공 지능 모델로부터 출력되는 출력 이미지와 상기 유사 정합 이미지 사이에 정의되는 손실 함수가 작아지도록, 상기 제2 인공 지능 모델을 학습시킬 수 있다.

네트워크 인터페이스(1500)는 전자 장치(1000)가 전자 장치와 연결되는 기타 다른 전자 장치 또는 서버와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 네트워크 인터페이스(2500)는, 무선 통신 인터페이스, 유선 통신 인터페이스, 이동 통신부 및 방송 수신부를 포함할 수 있다.

무선 통신 인터페이스는 근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

유선 통신 인터페이스는 USB(universal serial bus), HDMI(high definition multimedia interface), RS 232(recommended standard 232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.

또한, 네트워크 인터페이스(2500)는 C-ARM과 같은 엑스레이 장치로부터 혈관 조영 훈련 이미지 또는 실시간 와이어링 이미지를 획득할 수 있다. 또한, 네트워크 인터페이스(2500)는 전자 장치(1000)가 생성한 정합 이미지를 전자 장치(1000)와 연결된 외부 장치로 전송할 수도 있다.

A/V(Audio/Video) 입력부(2600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라와 마이크로폰 등이 포함될 수 있다. 또는 A/V 일벽부(2600)는 C-ARM과 같은 엑스레이 장치를 더 포함할 수도 있다. 예를 들어, 엑스레이 장치는 조영제가 투여된 대상 환자 또는 조영제가 투여되지 않은 대상 환자를 촬영함으로써 실시간와이어링 이미지 또는 혈관 조영 이미지를 획득하고, 획득된 실시간 와이어링 이미지 또는 혈관 조영 이미지를 프로세서로 전달할 수 있다.

카메라는 화상 통화모드 또는 촬영 모드에서 이미지 센서, 또는 광검출 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 마이크로폰은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰은 외부 디바이스 또는 사용자로부터 음향 신호를 수신할 수 있다. 마이크로폰은 사용자의 음성 입력을 수신할 수 있다. 마이크로폰은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.

메모리(2700)는, 프로세서(2300)의 처리 및 제어를 위한 명령들(Instructions)을 저장할 수 있고, 전자 장치(1000)로 입력되거나, 전자 장치(1000)로부터 출력되는 데이터를 저장할 수 있다. 또한, 메모리(2700)는 제1 인공 지능 모델 및 제2 인공 지능 모델에 대한 정보, 레이어들의 수, 가중치에 대한 정보 등을 저장할 수 있다.

또한, 메모리(2700)는 전자 장치(1000)내 프로세서에 의해 수행될 수 있는 응용 프로그램을 위한 명령어, 이미지 정합 방법을 수행하는데 필요한 하나 이상의 인스트럭션들이 저장될 수 있다.

메모리(2700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

일 실시예에 따른 전자 장치(1000)가 이미지를 정합하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

또한, 전자 장치(1000)가 수행하는 이미지 정합 방법을 수행하도록 하는 프로그램이 저장된 기록 매체를 포함하는 컴퓨터 프로그램 장치가 제공될 수 있다.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. 또한, 일부 실시예는 컴퓨터에 의해 실행되는 컴퓨터 프로그램과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품(computer program product)으로도 구현될 수 있다. 이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims

전자 장치가 수행하는 이미지 정합 방법에 있어서,
기 저장된, 신체의 혈관 또는 조직 중 적어도 하나에 관한 혈관 조영 이미지를 획득하는 단계;
상기 혈관 또는 상기 조직 사이로 삽입된 가이드 와이어에 관한 와이어링 이미지를 실시간으로 획득하는 단계;
상기 실시간으로 획득된 와이어링 이미지가 입력되면 상기 와이어링 이미지 내 가이드 와이어 이미지를 분할하고, 상기 분할된 가이드 와이어 이미지를 출력하는 제1 인공 지능 모델에 상기 실시간으로 획득된 와이어링 이미지를 입력함으로써, 상기 제1 인공 지능 모델로부터 가이드 와이어 이미지를 생성하는 단계; 및
상기 생성된 가이드 와이어 이미지 및 상기 혈관 조영 이미지가 입력되면 상기 혈관 조영 이미지상의 적어도 일부에 상기 생성된 가이드 와이어 이미지가 추가됨으로써 생성되는 정합 이미지를 출력하는 제2 인공 지능 모델로부터, 상기 정합 이미지를 획득하는 단계; 를 포함하는, 방법.
제1항에 있어서, 상기 혈관 조영 이미지를 획득하는 단계는
소정의 조영제가 투여된 대상 환자를 엑스레이 장치로 촬영함으로써 상기 혈관 조영 이미지를 획득하는 단계;
상기 획득된 혈관 조영 이미지를 상기 전자 장치 내 메모리에 미리 저장하는 단계; 및
상기 저장된 상기 혈관 조영 이미지를 획득하는 단계; 를 포함하는, 방법.
제2항에 있어서, 상기 와이어링 이미지를 실시간으로 획득하는 단계는
상기 조영제가 투여되지 않은 상기 대상 환자를 엑스레이 장치로 촬영함으로써 상기 와이어링 이미지를 실시간으로 획득하는 단계; 를 포함하는, 방법.
제1항에 있어서, 상기 가이드 와이어 이미지를 획득하는 단계는
소정의 주기 동안 특정 대상 환자를 촬영함으로써 복수의 와이어링 훈련 이미지를 획득하는 단계;
상기 복수의 와이어링 훈련 이미지 상에 표시될 수 있는 가이드 와이어 훈련 이미지를 획득하는 단계;
상기 획득된 복수의 와이어링 훈련 이미지 및 상기 가이드 와이어 훈련 이미지에 기초하여 상기 제1 인공 지능 모델을 학습시키는 단계; 및
상기 학습된 제1 인공 지능 모델에 상기 실시간으로 획득된 와이어링 이미지를 입력함으로써 상기 가이드 와이어 이미지를 획득하는 단계; 를 포함하는, 방법.
제4항에 있어서, 상기 정합 이미지를 획득하는 단계는
소정의 주기 동안 특정 대상 환자를 촬영함으로써 복수의 혈관 조영 훈련 이미지를 획득하는 단계;
상기 복수의 혈관 조영 훈련 이미지 상에 가상의 가이드 와이어를 표시함으로써 유사 정합 이미지를 생성하는 단계;
상기 생성된 유사 정합 이미지로부터 가상 가이드 와이어 이미지를 추출하는 단계;
상기 복수의 혈관 조영 훈련 이미지, 상기 생성된 유사 정합 이미지 및 상기 추출된 가상 가이드 와이어 이미지에 기초하여 상기 제2 인공 지능 모델을 학습시키는 단계; 및
상기 학습된 제2 인공 지능 모델에, 상기 제1 인공 지능 모델로부터 생성된 가이드 와이어 이미지 및 상기 기 저장된 혈관 조영 이미지를 입력함으로써 상기 정합 이미지를 획득하는 단계; 를 포함하는, 방법.
제5항에 있어서, 상기 유사 정합 이미지를 생성하는 단계는
상기 복수의 혈관 조영 훈련 이미지에 포함된 혈관의 중심선, 상기 중심선을 따라, 상기 복수의 혈관 조영 훈련 이미지 내 병변이 발생한 위치 또는 병변 너머의 혈관에 상기 가상의 가이드 와이어를 표시하는 단계; 및
상기 표시된 가상의 가이드 와이어를 포함하는 복수의 혈관 조영 훈련 이미지를 상기 유사 정합 이미지로 생성하는 단계; 를 포함하는, 방법.
제5항에 있어서, 상기 제2 인공 지능 모델을 학습시키는 단계는
상기 복수의 혈관 조영 훈련 이미지 및 상기 추출된 가상 가이드 와이어 이미지가 상기 제2 인공 지능 모델에 입력됨으로써 상기 제2 인공 지능 모델로부터 출력되는 출력 이미지와 상기 유사 정합 이미지 사이에 정의되는 손실 함수가 작아지도록, 상기 제2 인공 지능 모델을 학습시키는 단계; 를 포함하는, 방법.
제7항에 있어서, 상기 손실 함수는
이미지 강도 함수 또는 이미지 그래디언트 함수 중 적어도 하나를 포함하는 것을 특징으로 하는, 방법.
이미지 정합 방법을 수행하는 전자 장치에 있어서,
디스플레이;
하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서; 를 포함하고,
상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
기 저장된, 신체의 혈관 또는 조직 중 적어도 하나에 관한 혈관 조영 이미지를 획득하고,
상기 혈관 또는 상기 조직 사이로 삽입된 가이드 와이어에 관한 와이어링 이미지를 실시간으로 획득하고,
상기 실시간으로 획득된 와이어링 이미지가 입력되면 상기 와이어링 이미지 내 가이드 와이어 이미지를 분할하고, 상기 분할된 가이드 와이어 이미지를 출력하는 제1 인공 지능 모델에 상기 실시간으로 획득된 와이어링 이미지를 입력함으로써, 상기 제1 인공 지능 모델로부터 가이드 와이어 이미지를 생성하고,
상기 생성된 가이드 와이어 이미지 및 상기 혈관 조영 이미지가 입력되면 상기 혈관 조영 이미지상의 적어도 일부에 상기 생성된 가이드 와이어 이미지가 추가됨으로써 생성되는 정합 이미지를 출력하는 제2 인공 지능 모델로부터, 상기 정합 이미지를 획득하는, 전자 장치.
제9항에 있어서, 상기 적어도 하나의 프로세서는
소정의 조영제가 투여된 대상 환자를 엑스레이 장치로 촬영함으로써 상기 혈관 조영 이미지를 획득하고,
상기 획득된 혈관 조영 이미지를 상기 전자 장치 내 메모리에 미리 저장하고,
상기 저장된 상기 혈관 조영 이미지를 획득하는, 전자 장치.
제10항에 있어서, 상기 적어도 하나의 프로세서는
상기 조영제가 투여되지 않은 상기 대상 환자를 엑스레이 장치로 촬영함으로써 상기 와이어링 이미지를 실시간으로 획득하는, 전자 장치.
제9항에 있어서, 상기 적어도 하나의 프로세서는
소정의 주기 동안 특정 대상 환자를 촬영함으로써 복수의 와이어링 훈련 이미지를 획득하고,
상기 복수의 와이어링 훈련 이미지 상에 표시될 수 있는 가이드 와이어 훈련 이미지를 획득하고,
상기 획득된 복수의 와이어링 훈련 이미지 및 상기 가이드 와이어 훈련 이미지에 기초하여 상기 제1 인공 지능 모델을 학습시키고,
상기 학습된 제1 인공 지능 모델에 상기 실시간으로 획득된 와이어링 이미지를 입력함으로써 상기 가이드 와이어 이미지를 획득하는, 전자 장치.
제12항에 있어서, 상기 적어도 하나의 프로세서는
소정의 주기 동안 특정 대상 환자를 촬영함으로써 복수의 혈관 조영 훈련 이미지를 획득하고,
상기 복수의 혈관 조영 훈련 이미지 상에 가상의 가이드 와이어를 표시함으로써 유사 정합 이미지를 생성하고,
상기 생성된 유사 정합 이미지로부터 가상 가이드 와이어 이미지를 추출하고,
상기 복수의 혈관 조영 훈련 이미지, 상기 생성된 유사 정합 이미지 및 상기 추출된 가상 가이드 와이어 이미지에 기초하여 상기 제2 인공 지능 모델을 학습시키고,
상기 학습된 제2 인공 지능 모델에, 상기 제1 인공 지능 모델로부터 생성된 가이드 와이어 이미지 및 상기 기 저장된 혈관 조영 이미지를 입력함으로써 상기 정합 이미지를 획득하는, 전자 장치.
제13항에 있어서, 상기 적어도 하나의 프로세서는
상기 복수의 혈관 조영 훈련 이미지에 포함된 혈관의 중심선, 상기 중심선을 따라, 상기 복수의 혈관 조영 훈련 이미지 내 병변이 발생한 위치 또는 병변 너머의 혈관에 상기 가상의 가이드 와이어를 표시하고,
상기 표시된 가상의 가이드 와이어를 포함하는 복수의 혈관 조영 훈련 이미지를 상기 유사 정합 이미지로 생성하는, 전자 장치.
제13항에 있어서, 상기 적어도 하나의 프로세서는
상기 복수의 혈관 조영 훈련 이미지 및 상기 추출된 가상 가이드 와이어 이미지가 상기 제2 인공 지능 모델에 입력됨으로써 상기 제2 인공 지능 모델로부터 출력되는 출력 이미지와 상기 유사 정합 이미지 사이에 정의되는 손실 함수가 작아지도록, 상기 제2 인공 지능 모델을 학습시키는, 전자 장치.
제15항에 있어서, 상기 손실 함수는
이미지 강도 함수 또는 이미지 그래디언트 함수 중 적어도 하나를 포함하는 것을 특징으로 하는, 전자 장치.
전자 장치가 수행하는 영상 정합 방법에 있어서,
기 저장된, 신체의 혈관 또는 조직 중 적어도 하나에 관한 혈관 조영 이미지를 획득하는 단계;
상기 혈관 또는 상기 조직 사이로 삽입된 가이드 와이어에 관한 와이어링 이미지를 실시간으로 획득하는 단계;
상기 실시간으로 획득된 와이어링 이미지가 입력되면 상기 와이어링 이미지 내 가이드 와이어 이미지를 분할하고, 상기 분할된 가이드 와이어 이미지를 출력하는 제1 인공 지능 모델에 상기 실시간으로 획득된 와이어링 이미지를 입력함으로써, 상기 제1 인공 지능 모델로부터 가이드 와이어 이미지를 생성하는 단계; 및
상기 생성된 가이드 와이어 이미지 및 상기 혈관 조영 이미지가 입력되면 상기 혈관 조영 이미지상의 적어도 일부에 상기 생성된 가이드 와이어 이미지가 추가됨으로써 생성되는 정합 이미지를 출력하는 제2 인공 지능 모델로부터, 상기 정합 이미지를 획득하는 단계; 를 포함하는, 방법을 수행하도록 하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체.