KR102553961B1 - 의료 영상 기반으로 내시경 시술의 맹점을 방지하기 위한 방법, 장치 및 컴퓨터 프로그램 - Google Patents

Abstract

본 개시의 일 실시예에 따른 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는 맹점 방지 방법은, 상기 내시경 장치로부터 촬영된 의료 영상 및 상기 내시경 장치의 스코프를 제어하는 구동부의 엔코더 값을 포함하는 멀티모달 데이터를 획득하는 단계, 상기 멀티모달 데이터를 기초로 학습된 인공지능 모델을 이용하여, 상기 스코프로부터 장기 내벽까지의 거리 정보 및 상기 스코프 끝단의 자세 정보를 추론하는 단계, 상기 거리 정보 및 상기 자세 정보를 기초로 복원 장기 영상을 생성하는 단계 및 상기 복원 장기 영상에서 필수 촬영 부위가 누락됐는지 판단하는 단계를 포함하는 것을 특징으로 한다.

Description

의료 영상 기반으로 내시경 시술의 맹점을 방지하기 위한 방법, 장치 및 컴퓨터 프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM FOR PREVENTING BLIND SPOT IN ENDOSCOPIC PROCEDURE BASED ON MEDICAL IMAGE}

본 개시는 의료 영상 기반으로 내시경 내시경 시술의 맹점을 방지하기 위한 방법, 장치 및 컴퓨터 프로그램에 관한 것으로서, 구체적으로 인공지능 모델을 이용하여 내시경 촬영이 수행되는 동안 필수 촬영 부위가 누락됐는지 판단하는 의료 영상 기반으로 내시경 시술의 맹점을 방지하기 위한 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.

내시경은 수술을 하거나 부검을 하지 않고 스코프를 신체에 삽입하여 장기를 관찰하는 의료기구를 통칭한다. 내시경은 인체 내부로 스코프를 삽입하고, 빛을 조사하여 내벽의 표면에서 반사된 빛을 가시화한다. 목적 및 신체 부위에 따라 내시경의 종류가 구분되며, 크게 내시경 관이 금속으로 형성된 경성 내시경(Rigid Endoscope)과 소화기 내시경으로 대표되는 연성 내시경(flexible endoscope)으로 구분될 수 있다.

연성 내시경 장치는 내부에 다양한 장치들을 포함하므로 충격에 약하고, 연성 내시경이 삽입되는 소화기 내부 역시 매우 연약한 조직이며 비정형적인 형태를 띤다. 또한 환자에 따라 소화기 내부의 형태가 상이하므로 경험이 많은 의료진이라고 하더라도 내시경 삽입 과정이 쉽지 않을 수 있다.

이러한 상황에서 의료진은 내시경을 안전하게 삽입하고, 병변을 탐색하기 위해 신경을 집중해야 하므로 내시경 시술을 반복적으로 수행하는 경우 의료진의 피로도가 매우 증가한다.

한편 병변이 빈번하게 발생하는 부위는 내시경 촬영이 수행되는 동안 필수적으로 촬영해야 하는 부위로 권고된다. 그러나 스코프가 통과하는 장기 내부가 정형적인 형태가 아니고 사람마다 다르기 때문에 의료진의 숙련도에 따라 필수적으로 촬영해야 하는 부위를 놓치는 경우가 발생할 수 있다. 또한 내시경의 물리적인 구조로 인해 내시경 시술로 관찰이 어려운 부위, 즉 맹점이 발생할 수밖에 없다. 맹점에 위치한 병변의 촬영이 누락되는 경우, 내시경 촬영이 재수행됨으로써 환자와 의료진 모두 불편함을 겪을 수밖에 없다.

대한민국 등록특허공보 제10-2185886호 (2020.11.26)

본 개시는 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 인공지능 모델을 이용하여 내시경 촬영이 수행되는 동안 필수 촬영 부위가 누락됐는지 판단하기 위한 의료 영상 기반으로 내시경 시술의 맹점을 방지하기 위한 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨팅 장치에 의해 수행되는 맹점 방지 방법이 개시된다. 상기 방법은 상기 내시경 장치로부터 촬영된 의료 영상 및 상기 내시경 장치의 스코프를 제어하는 구동부의 엔코더 값을 포함하는 멀티모달 데이터를 획득하는 단계, 상기 멀티모달 데이터를 기초로 학습된 인공지능 모델을 이용하여, 상기 스코프로부터 장기 내벽까지의 거리 정보 및 상기 스코프 끝단의 자세 정보를 추론하는 단계, 상기 거리 정보 및 상기 자세 정보를 기초로 복원 장기 영상을 생성하는 단계 및 상기 복원 장기 영상에서 필수 촬영 부위가 누락됐는지 판단하는 단계를 포함하는 것을 특징으로 한다.

대안적으로, 상기 내시경 장치의 사용자 인터페이스를 통해 누락 부위에 대한 정보를 제공하는 단계를 더 포함하는 것을 특징으로 한다.

대안적으로, 상기 누락 부위에 대한 정보를 제공하는 단계는, 상기 누락 부위의 위치 또는 상기 스코프를 기준으로 상기 누락 부위에 대한 방향을 상기 사용자 인터페이스에 출력하는 단계를 포함하는 것을 특징으로 한다.

대안적으로, 판단 결과에 따라 상기 누락 부위를 촬영하도록 상기 내시경 장치를 제어하는 단계를 더 포함하는 것을 특징으로 한다.

대안적으로, 상기 판단하는 단계는, 상기 복원 장기 영상에서 복원되지 않은 면적의 위치 및 크기를 계산하는 단계 및 상기 복원되지 않은 면적이 상기 필수 촬영 부위에 대응되고, 복원되지 않은 면적의 크기가 기준값 이상인 경우, 상기 필수 촬영 부위가 누락된 것으로 판단하는 단계를 포함하는 것을 특징으로 한다.

대안적으로, 상기 구동부는, 상기 스코프 내부의 케이블과 연결되어 동력을 제공하는 모터를 포함하는 것을 특징으로 한다.

대안적으로, 상기 필수 촬영 부위는, 식도, 근위부 위, 원위부 위 및 십이지장 중 적어도 하나를 포함하는 것을 특징으로 한다.

대안적으로, 상기 인공지능 모델은, 내시경 영상 프레임, 각 프레임에 대한 상기 스코프의 x축 운동을 결정하는 제1 모터의 엔코더 값, 상기 각 프레임에 대한 상기 스코프의 y축 운동을 결정하는 제2 모터의 엔코더 값 및 상기 스코프 끝단에 설치된 자세 센서로부터 획득한 6차원 자세 정보를 포함하는 학습 데이터를 이용하여 상기 거리 정보 및 상기 자세 정보를 추론하도록 학습된 모델인 것을 특징으로 한다.

전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨팅 장치에 의해 수행되는 맹점 방지 방법이 개시된다. 상기 방법은 상기 내시경 장치로부터 촬영된 의료 영상 및 상기 내시경 장치의 스코프를 제어하는 구동부의 엔코더 값을 포함하는 멀티모달 데이터를 획득하는 단계, 상기 멀티모달 데이터를 기초로 학습된 인공지능 모델을 이용하여, 촬영 완료 부위에서 필수 촬영 부위가 누락됐는지 판단하는 단계를 포함하는 것을 특징으로 한다.

대안적으로, 상기 내시경 장치의 사용자 인터페이스를 통해 누락 부위의 위치 또는 상기 스코프를 기준으로 상기 누락 부위에 대한 방향을 상기 사용자 인터페이스에 출력하는 단계를 포함하는 것을 특징으로 한다.

대안적으로, 상기 인공지능 모델은, 내시경 영상 프레임, 각 프레임에 대한 상기 스코프의 x축 운동을 결정하는 제1 모터의 엔코더 값, 상기 각 프레임에 대한 상기 스코프의 y축 운동을 결정하는 제2 모터의 엔코더 값, 상기 스코프 끝단에 설치된 자세 센서로부터 획득한 6차원 자세 정보 및 상기 각 프레임에 대한 상기 필수 촬영 부위의 매칭 정보를 포함하는 학습 데이터를 이용하여 상기 촬영 완료 부위에서 상기 필수 촬영 부위가 누락됐는지를 추론하도록 학습된 모델인 것을 특징으로 한다.

대안적으로, 판단 결과에 따라 상기 누락 부위를 촬영하도록 상기 내시경 장치를 제어하는 단계를 더 포함하는 것을 특징으로 한다.

전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 내시경 시술의 맹점을 방지하기 위한 컴퓨팅 장치가 개시된다. 상기 장치는, 상기 내시경 장치로부터 촬영된 의료 영상 및 상기 내시경 장치의 스코프를 제어하는 구동부의 엔코더 값을 포함하는 멀티모달 데이터를 저장하는 메모리 및 상기 멀티모달 데이터를 기초로 학습된 인공지능 모델을 이용하여, 상기 스코프로부터 장기 내벽까지의 거리 정보 및 상기 스코프 끝단의 자세 정보를 추론하고, 상기 거리 정보 및 상기 자세 정보를 기초로 복원 장기 영상을 생성하고, 상기 복원 장기 영상에서 필수 촬영 부위가 누락됐는지 판단하는 프로세서를 포함하는 것을 특징으로 한다.

전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램(program)이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서(processor)에서 실행되는 경우, 내시경 시술의 맹점을 방지하기 위한 동작들을 수행하도록 한다. 이때, 상기 동작들은, 내시경 장치로부터 촬영된 의료 영상 및 상기 내시경 장치의 스코프를 제어하는 구동부의 엔코더 값을 포함하는 멀티모달 데이터를 획득하는 동작, 상기 멀티모달 데이터를 기초로 학습된 인공지능 모델을 이용하여, 상기 스코프로부터 장기 내벽까지의 거리 정보 및 상기 스코프 끝단의 자세 정보를 추론하는 동작, 상기 거리 정보 및 상기 자세 정보를 기초로 복원 장기 영상을 생성하는 동작 및 상기 복원 장기 영상에서 필수 촬영 부위가 누락됐는지 판단하는 동작을 포함하는 것을 특징으로 한다.

본 개시의 실시예에 따르면, 의료진이 내시경 촬영을 수행하는 동안 필수 촬영 부위의 누락 여부를 판단하여 이에 대한 정보를 의료진에게 제공하므로 의료진의 편의성을 향상시킬 수 있다.

또한 본 개시의 실시예에 따른 내시경 시스템은, 인공지능 모델을 이용한 판단을 통해 의료 보조 행위를 제공함으로써 정확도 높은 내시경 촬영을 가능하게 할 수 있다.

도 1은 본 개시의 일 실시예에 따른 내시경 시스템의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 내시경 장치의 구성도이다.
도 3은 본 개시의 일 실시예에 따른 인공지능 모델을 나타내는 개념도이다.
도 4는 본 개시의 일 실시예에 따른 내시경 장치의 제어 방법을 나타내는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 인공지능 모델을 나타내는 개념도이다.
도 6은 본 개시의 일 실시예에 따른 내시경 장치의 제어 방법을 나타내는 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 개시의 기술 분야에서 통상의 지식을 가진 자(이하, 당업자)가 용이하게 실시할 수 있도록 본 개시의 실시예가 상세히 설명된다. 본 개시에서 제시된 실시예들은 당업자가 본 개시의 내용을 이용하거나 또는 실시할 수 있도록 제공된다. 따라서, 본 개시의 실시예들에 대한 다양한 변형들은 당업자에게 명백할 것이다. 즉, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며, 이하의 실시예에 한정되지 않는다.

본 개시의 명세서 전체에 걸쳐 동일하거나 유사한 도면 부호는 동일하거나 유사한 구성요소를 지칭한다. 또한, 본 개시를 명확하게 설명하기 위해서, 도면에서 본 개시에 대한 설명과 관계없는 부분의 도면 부호는 생략될 수 있다.

본 개시에서 사용되는 "또는" 이라는 용어는 배타적 "또는" 이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 이해되어야 한다. 예를 들어, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다"는 X가 A를 이용하거나, X가 B를 이용하거나, 혹은 X가 A 및 B 모두를 이용하는 경우 중 어느 하나로 해석될 수 있다.

본 개시에서 사용되는 "및/또는" 이라는 용어는 열거된 관련 개념들 중 하나 이상의 개념의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.

본 개시에서 사용되는 "포함한다" 및/또는 "포함하는" 이라는 용어는, 특정 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는" 이라는 용어는, 하나 이상의 다른 특징, 다른 구성요소 및/또는 이들에 대한 조합의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

본 개시에서 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 단수는 일반적으로 "하나 또는 그 이상"을 포함할 수 있는 것으로 해석되어야 한다.

본 개시에서 사용되는 "제 N(N은 자연수)" 이라는 용어는 본 개시의 구성요소들을 기능적 관점, 구조적 관점, 혹은 설명의 편의 등 소정의 기준에 따라 상호 구별하기 위해 사용되는 표현으로 이해될 수 있다. 예를 들어, 본 개시에서 서로 다른 기능적 역할을 수행하는 구성요소들은 제1 구성요소 혹은 제2 구성요소로 구별될 수 있다. 다만, 본 개시의 기술적 사상 내에서 실질적으로 동일하나 설명의 편의를 위해 구분되어야 하는 구성요소들도 제1 구성요소 혹은 제2 구성요소로 구별될 수도 있다.

한편, 본 개시에서 사용되는 용어 "모듈(module)", 또는 "부(unit)"는 컴퓨터 관련 엔티티(entity), 펌웨어(firmware), 소프트웨어(software) 혹은 그 일부, 하드웨어(hardware) 혹은 그 일부, 소프트웨어와 하드웨어의 조합 등과 같이 컴퓨팅 자원을 처리하는 독립적인 기능 단위를 지칭하는 용어로 이해될 수 있다. 이때, "모듈", 또는 "부"는 단일 요소로 구성된 단위일 수도 있고, 복수의 요소들의 조합 혹은 집합으로 표현되는 단위일 수도 있다. 예를 들어, 협의의 개념으로서 "모듈", 또는 "부"는 컴퓨팅 장치의 하드웨어 요소 또는 그 집합, 소프트웨어의 특정 기능을 수행하는 응용 프로그램, 소프트웨어 실행을 통해 구현되는 처리 과정(procedure), 또는 프로그램 실행을 위한 명령어 집합 등을 지칭할 수 있다. 또한, 광의의 개념으로서 "모듈", 또는 "부"는 시스템을 구성하는 컴퓨팅 장치 그 자체, 또는 컴퓨팅 장치에서 실행되는 애플리케이션 등을 지칭할 수 있다. 다만, 상술한 개념은 하나의 예시일 뿐이므로, "모듈", 또는 "부"의 개념은 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 정의될 수 있다.

본 개시에서 사용되는 "모델(model)" 이라는 용어는 특정 문제를 해결하기 위해 수학적 개념과 언어를 사용하여 구현되는 시스템, 특정 문제를 해결하기 위한 소프트웨어 단위의 집합, 혹은 특정 문제를 해결하기 위한 처리 과정에 관한 추상화 모형으로 이해될 수 있다. 예를 들어, 신경망(neural network) "모델" 은 학습을 통해 문제 해결 능력을 갖는 신경망으로 구현되는 시스템 전반을 지칭할 수 있다. 이때, 신경망은 노드(node) 혹은 뉴런(neuron)을 연결하는 파라미터(parameter)를 학습을 통해 최적화하여 문제 해결 능력을 가질 수 있다. 신경망 "모델" 은 단일 신경망을 포함할 수도 있고, 복수의 신경망들이 조합된 신경망 집합을 포함할 수도 있다.

본 개시에서 사용되는 "영상"이라는 용어는 이산적 이미지 요소들로 구성된 다차원 데이터를 지칭할 수 있다. 다시 말해, "영상"은 사람의 눈으로 볼 수 있는 대상의 디지털 표현물을 지칭하는 용어로 이해될 수 있다. 예를 들어, "영상"은 2차원 이미지에서 픽셀에 해당하는 요소들로 구성된 다차원 데이터를 지칭할 수 있다. "영상"은 3차원 이미지에서 복셀에 해당하는 요소들로 구성된 다차원 데이터를 지칭할 수 있다.

전술한 용어의 설명은 본 개시의 이해를 돕기 위한 것이다. 따라서, 전술한 용어를 본 개시의 내용을 한정하는 사항으로 명시적으로 기재하지 않은 경우, 본 개시의 내용을 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.

도 1은 본 개시의 일 실시예에 따른 내시경 시스템의 블록도이다.

도 1을 참조하면, 내시경 시스템(10)은 의료 영상을 획득하는 내시경 장치(100)와 내시경 장치(100)로부터 의료 영상을 수신하여 분석하고, 의료 영상을 기초로 내시경 장치(100)를 제어하는 컴퓨팅 장치(200)를 포함한다. 내시경 장치(100)의 구성에 대해서는 도 2를 통해 자세히 후술한다.

본 개시의 일 실시예에 따른 컴퓨팅 장치(200)는 데이터의 종합적인 처리 및 연산을 수행하는 하드웨어 장치 혹은 하드웨어 장치의 일부일 수도 있고, 통신 네트워크로 연결되는 소프트웨어 기반의 컴퓨팅 환경일 수도 있다. 예를 들어, 컴퓨팅 장치(200)는 집약적 데이터 처리 기능을 수행하고 자원을 공유하는 주체인 서버일 수도 있고, 서버와의 상호 작용을 통해 자원을 공유하는 클라이언트(client)일 수도 있다. 또한, 컴퓨팅 장치(200)는 복수의 서버들 및 클라이언트들이 상호 작용하여 데이터를 종합적으로 처리할 수 있도록 하는 클라우드 시스템(cloud system)일 수도 있다. 상술한 기재는 컴퓨팅 장치(200)의 종류와 관련된 하나의 예시일 뿐이므로, 컴퓨팅 장치(200)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다. 상술한 기재는 컴퓨팅 장치(200)의 종류와 관련된 하나의 예시일 뿐이므로, 컴퓨팅 장치(200)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.

도 1을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(200)는 프로세서(processor)(210), 메모리(memory)(220), 및 네트워크부(network unit)(230)를 포함할 수 있다. 다만, 도 1은 하나의 예시일 뿐이므로, 컴퓨팅 장치(200)는 컴퓨팅 환경을 구현하기 위한 다른 구성들을 포함할 수 있다. 또한, 상기 개시된 구성들 중 일부만이 컴퓨팅 장치(200)에 포함될 수도 있다.

본 개시의 일 실시예에 따른 프로세서(210)는 컴퓨팅 연산을 수행하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 예를 들어, 프로세서(210)는 컴퓨터 프로그램을 판독하여 기계 학습을 위한 데이터 처리를 수행할 수 있다. 프로세서(210)는 기계 학습을 위한 입력 데이터의 처리, 기계 학습을 위한 특징 추출, 역전파(backpropagation)에 기반한 오차 계산 등과 같은 연산 과정을 처리할 수 있다. 이와 같은 데이터 처리를 수행하기 위한 프로세서(210)는 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치(GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit), 주문형 반도체(ASIC: application specific integrated circuit), 혹은 필드 프로그래머블 게이트 어레이(FPGA: field programmable gate array) 등을 포함할 수 있다. 상술한 프로세서(210)의 종류는 하나의 예시일 뿐이므로, 프로세서(210)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.

프로세서(210)는 내시경 장치(100)로부터 촬영된 의료 영상 및 내시경 장치(100)의 스코프를 제어하는 구동부의 엔코더 값을 포함하는 멀티모달 데이터를 획득하고, 멀티모달 데이터 및 제1 인공지능 모델을 이용하여 스코프로부터 장기 내벽까지의 거리 정보 및 스코프 끝단의 자세 정보를 추론할 수 있다. 프로세서(210)는 거리 정보 및 자세 정보를 기초로 영상 복원을 통해 가상의 복원 장기 영상을 생성할 수 있다. 프로세서(210)는 복원 장기 영상을 기초로, 내시경 장치(100)의 촬영 완료 부위 중 필수 촬영 부위가 누락됐는지 판단할 수 있다. 이를 위해, 프로세서(210)는 내시경 장치(100)에서 촬영된 영상 프레임, 각 프레임에 대응되는 스코프의 위치, 스코프의 운동을 제어하는 구동부의 엔코더 값, 스코프의 끝단에 설치된 센서로부터 획득한 스코프의 자세 정보를 포함하는 학습 데이터로 제1 인공지능 모델을 학습시킬 수 있다. 프로세서(210)는 스코프로부터 장기 내벽까지의 거리 정보 및 스코프 끝단의 자세 정보를 추론하도록 제1 인공지능 모델을 학습시킬 수 있다.

예시적으로 위 내시경 촬영이 수행되는 경우 필수 촬영 부위는 식도, 근위부 위, 원위부 위 및 십이지장 중 적어도 하나를 포함할 수 있다. 필수 촬영 부위는 내시경 장치(100)의 설정 또는 의료진의 설정에 따라 변경될 수 있다.

프로세서(210)는, 내시경 장치(100)로부터 촬영된 의료 영상 및 스코프를 제어하는 구동부의 엔코더 값을 포함하는 멀티모달 데이터를 획득하고, 멀티모달 데이터 및 제2 인공지능 모델을 이용하여, 스코프를 통하여 촬영이 완료된 부위에서 필수 촬영 부위가 누락됐는지 판단할 수 있다. 이를 위해, 프로세서(210)는 내시경 장치(100)에서 촬영된 영상 프레임, 각 프레임에 대응되는 스코프의 위치, 스코프의 운동을 제어하는 구동부의 엔코더 값, 스코프의 끝단에 설치된 센서로부터 획득한 스코프의 자세 정보, 각 프레임마다 필수 촬영 부위와의 매칭 정보를 포함하는 학습 데이터로 제2 인공지능 모델을 학습시킬 수 있다. 프로세서(210)는 촬영 완료 부위에서 필수 촬영 부위가 누락됐는지 추론하도록 제2 인공지능 모델을 학습시킬 수 있다.

프로세서(210)는 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning)을 통하여, 제1 인공지능 모델 및 제2 인공지능 모델을 학습시킬 수 있다. 또는 별다른 지도없이 데이터 인식을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 데이터 인식을 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 제1 인공지능 모델 및 제2 인공지능 모델을 학습시킬 수 있다. 또는 학습에 따른 데이터 인식의 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 제1 인공지능 모델 및 제2 인공지능 모델을 학습시킬 수 있다.

제1 인공지능 모델 및 제2 인공지능 모델은 적어도 하나의 뉴럴 네트워크를 포함할 수 있다. 뉴럴 네트워크는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network), 트랜스포머(transformer)와 같은 방식의 네트워크 모델들을 포함할 수 있으나, 이에 한정되지 않는다.

프로세서(210)는 내시경 촬영이 수행되는 동안 내시경 스코프의 이동 경로를 파악함으로써 촬영 완료 부위와 필수 촬영 부위가 누락됐는지 여부를 판단할 수 있다. 프로세서(210)는 내시경 장치(100)의 사용자에게 누락 부위에 대한 정보를 제공할 수 있다. 예를 들어 프로세서(210)는 누락 부위의 위치 또는 스코프를 기준으로 누락 부위에 대한 방향을 사용자 인터페이스에 출력함으로써, 사용자가 누락 부위에 대한 내시경 촬영을 수행하도록 안내할 수 있다.

또한 프로세서(210)는 필수 촬영 부위의 누락 여부에 대한 판단 결과에 따라 내시경 장치(100)를 제어할 수 있다. 예를 들어 프로세서(210)는 누락 부위를 촬영하도록 내시경 장치(100)를 제어할 수 있다.

본 개시의 실시예에 따른 내시경 시스템(10)은, 내시경 촬영이 수행되는 동안 내시경 영상을 기초로 스코프의 이동 경로를 파악하여 의료진이 내시경 영상을 촬영한 부위를 파악하고, 내시경 촬영이 끝나기 전까지 촬영이 권장되는 필수 촬영 부위를 전부 촬영하였는지 파악한다. 또한 필수 촬영 부위의 촬영이 누락된 경우, 이에 대한 알림을 의료진에게 제공함으로써 의료진의 편의성을 향상시킬 수 있고, 정확도 높은 내시경 촬영이 가능하다.

본 개시의 일 실시예에 따른 메모리(220)는 컴퓨팅 장치(200)에서 처리되는 데이터를 저장하고 관리하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 즉, 메모리(220)는 프로세서(210)가 생성하거나 결정한 임의의 형태의 데이터 및 네트워크부(230)가 수신한 임의의 형태의 데이터를 저장할 수 있다. 예를 들어, 메모리(220)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램(RAM: random access memory), 에스램(SRAM: static random access memory), 롬(ROM: read-only memory), 이이피롬(EEPROM: electrically erasable programmable read-only memory), 피롬(PROM: programmable read-only memory), 자기 메모리, 자기 디스크, 또는 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(220)는 데이터를 소정의 체제로 통제하여 관리하는 데이터베이스(database) 시스템을 포함할 수도 있다. 상술한 메모리(220)의 종류는 하나의 예시일 뿐이므로, 메모리(220)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.

메모리(220)는 프로세서(210)가 연산을 수행하는데 필요한 데이터, 데이터의 조합, 및 프로세서(210)에서 실행 가능한 프로그램 코드(code) 등을 구조화 및 조직화하여 관리할 수 있다. 또한 메모리(220)는 프로세서(210)가 학습 데이터를 생성하도록 동작시키는 프로그램 코드를 저장할 수 있다.

메모리(220)는 내시경 장치(100)로부터 촬영된 의료 영상 및 내시경 장치(100)의 스코프를 제어하는 구동부의 엔코더 값을 포함하는 멀티모달 데이터를 저장할 수 있다.

본 개시의 일 실시예에 따른 네트워크부(230)는 임의의 형태의 공지된 유무선 통신 시스템을 통해 데이터를 송수신하는 구성 단위로 이해될 수 있다. 예를 들어, 네트워크부(230)는 근거리 통신망(LAN: local area network), 광대역 부호 분할 다중 접속(WCDMA: wideband code division multiple access), 엘티이(LTE: long term evolution), 와이브로(WiBro: wireless broadband internet), 5세대 이동통신(5G), 초광역대 무선통신(ultra wide-band), 지그비(ZigBee), 무선주파수(RF: radio frequency) 통신, 무선랜(wireless LAN), 와이파이(wireless fidelity), 근거리 무선통신(NFC: near field communication), 또는 블루투스(Bluetooth) 등과 같은 유무선 통신 시스템을 사용하여 데이터 송수신을 수행할 수 있다. 상술한 통신 시스템들은 하나의 예시일 뿐이므로, 네트워크부(230)의 데이터 송수신을 위한 유무선 통신 시스템은 상술한 예시 이외에 다양하게 적용될 수 있다.

네트워크부(230)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(210)가 연산을 수행하는데 필요한 데이터를 수신할 수 있다. 또한, 네트워크부(230)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(210)의 연산을 통해 생성된 데이터를 송신할 수 있다. 예를 들어, 네트워크부(230)는 의료 영상 저장 전송 시스템, 의료 데이터의 표준화 등의 작업을 수행하는 클라우드 서버 또는 내시경 장치(100) 등과의 통신을 통해, 의료 영상을 수신할 수 있다. 네트워크부(230)는 전술한 시스템, 서버, 혹은 내시경 장치(100) 등과의 통신을 통해, 프로세서(210)의 연산을 통해 생성된 각종 데이터를 송신할 수 있다.

한편 도 1에서 내시경 장치(100)와 컴퓨팅 장치(200)가 구분되는 것으로 표현되었으나, 이는 예시적인 것이며 컴퓨팅 장치(200)는 내시경 장치(100) 내부에 구비되어 내시경 장치(100)의 일부를 구성할 수도 있다.

도 2는 본 개시의 일 실시예에 따른 내시경 장치의 구성도이다.

도 2를 참조하면, 본 개시의 일 실시예에 따른 내시경 장치(100)는 연성 내시경(flexible endoscope), 구체적으로 소화기 내시경일 수 있다. 내시경 장치(100)는 소화기 내부를 촬영한 의료 영상을 획득할 수 있는 구성 및 필요한 경우 도구를 삽입하여 의료 영상을 보면서 치료 또는 처치를 수행할 수 있는 구성을 포함할 수 있다.

내시경 장치(100)는 출력부(110), 제어부(120), 구동부(130), 펌프부(140) 및 스코프(150)를 포함할 수 있다.

출력부(110)는 의료 영상을 표시하는 디스플레이를 포함할 수 있다. 출력부(110)는 액정 디스플레이(LCD: liquid crystal display), 박막 트랜지스터 액정 디스플레이(TFT LCD: thin film transistor-liquid crystal display), 유기 발광 다이오드(OLED: organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등과 같이 시각화 된 정보를 출력하거나 터치 스크린(touch screen)을 구현할 수 있는 디스플레이 모듈을 포함할 수 있다.

출력부(110)는 의료 영상에 대한 정보를 제공하는 다양한 수단을 포함할 수 있다. 예를 들어 의료 영상에 대한 알람을 청각적으로 제공하는 스피커를 포함할 수 있다.

출력부(110)는 스코프(150)에서 획득한 의료 영상 또는 제어부(120)에서 처리된 의료 영상을 표시할 수 있다. 출력부(110)는 내시경 촬영이 수행되는 동안 내시경 스코프(150)의 이동 경로를 표시할 수 있다. 예를 들어 장기가 맵의 형태로 디스플레이되고, 장기 내부에서의 스코프(150)의 위치가 디스플레이될 수 있다. 또한 해당 맵에서 필수 촬영 부위가 강조되어 표시될 수 있다. 이로써 의료진은 스코프(150)가 해당 부위 근방에 위치하는 경우 필수 촬영 부위에 대한 주의력을 환기시킬 수 있다.

필수 촬영 부위가 누락된 경우, 출력부(110)는 누락 부위의 위치 또는 스코프(150)를 기준으로 누락 부위에 대한 방향을 표시할 수 있다. 의료진은 출력부(110)에 표시되는 정보를 기초로, 누락 부위를 확인하고 누락 부위에 대한 내시경 촬영을 수행할 수 있다. 이로써 누락된 상태로 내시경 촬영이 종료되어 별도의 내시경 촬영이 수행되는 상황을 막을 수 있어, 의료진과 환자의 번거로움을 예방할 수 있다.

출력부(110)는 복원 장기 영상을 사용자 인터페이스에 표시할 수 있다. 이로써 의료진은 복원 장기 영상이 생성된 부분이 촬영이 완료된 부위이고, 복원 장기 영상이 생성되지 않은 부분이 촬영이 누락된 부위임을 직관적으로 파악할 수 있다.

한편, 도 2에서는 하나의 출력부(110)가 도시되었으나 출력부(110)의 개수는 복수개일 수 있다. 이 경우 스코프(150)에서 획득한 의료 영상이 표시되는 출력부와 제어부(120)에 의해 처리된 정보가 표시되는 출력부가 구분될 수 있다.

제어부(120)는 내시경 장치(100)의 전반적인 동작을 제어할 수 있다. 제어부(120)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예시적인 실시예에 따르면, 제어부(120)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치일 수 있다. 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치가 포함될 수 있으나, 본 개시의 기술적 사상이 이에 한정되는 것은 아니다.

제어부(120)는 스코프(150)와 연결되는 구동부(130)를 통해 스코프(150)의 움직임을 제어할 수 있다. 제어부(120)는 스코프(150)를 통해 소화기 내부를 촬영하기 위한 각종 제어 동작을 수행할 수 있다. 제어부(120)는 스코프(150)를 통해 획득한 의료 영상의 다양한 처리를 수행할 수 있다. 제어부(120)는 컴퓨팅 장치로부터 수신한 제어 신호에 기초하여 내시경 장치(100)를 제어할 수 있다.

구동부(130)는 스코프(150)가 신체 내부로 삽입되거나, 신체 내부에서 움직이는 과정에 필요한 동력을 제공할 수 있다. 예를 들어, 구동부(130)는 스코프(150) 내부의 와이어와 연결되는 복수의 모터 및 와이어의 장력을 조절하는 장력 조절부를 포함할 수 있다. 구동부(130)는 복수의 모터 각각의 동력을 제어하여 스코프(150)를 다양한 방향으로 제어할 수 있다.

구동부(130)는 스코프(150)의 x축 운동을 결정하는 제1 모터, 스코프(150)의 y축 운동을 결정하는 제2 모터를 포함할 수 있다. 구동부(130)의 제어에 따라 스코프(150) 끝단의 x축 위치, y축 위치, 롤(roll), 피치(pitch), 요(yaw) 값이 결정될 수 있다.

펌프부(140)는 스코프(150)를 통해 신체 내부로 공기를 주입하는 에어 펌프, 음압 또는 진공을 제공하여 스코프(150)를 통해 신체 내부로부터 공기를 흡입하는 석션(suction) 펌프 및 스코프(150)를 통해 신체 내부로 세척수를 주입하는 워터 펌프 중 적어도 하나를 포함할 수 있다. 각 펌프는 유체의 흐름을 제어하기 위한 밸브를 포함할 수 있다. 펌프부(140)는 제어부(120)에 의해 개폐될 수 있다. 석션 펌프, 워터 펌프, 에어 펌프 중 적어도 하나는 컴퓨팅 장치의 제어 신호 또는 제어부(120)의 제어에 기초하여 개폐될 수 있다.

스코프(150)는 소화기 내부로 삽입되는 삽입부(152) 및 삽입부(152)의 움직임을 제어하고, 소화기 내부에서 각종 시술을 수행하도록 사용자로부터 입력을 수신하는 조작부(151)를 포함할 수 있다.

삽입부(152)는 유연하게 휘어질 수 있도록 구성되며, 일단이 구동부(130)와 연결됨으로써 구동부(130)에 의해 휘어짐의 정도 또는 방향이 결정될 수 있다. 삽입부(152) 말단에서 의료 영상 촬영 및 시술이 이루어지므로, 스코프(150)는 삽입부(152) 말단까지 연장되는 여러 케이블 및 튜브를 포함할 수 있다.

스코프(150) 내부에 광원(153), 렌즈(154), 워킹 채널(155) 및 에어, 워터 채널(156)이 구비될 수 있다. 워킹 채널(155)을 통해 내시경 시술 과정에서 병변의 치료 및 처치를 위한 도구가 삽입될 수 있다. 에어, 워터 채널(156)을 통해 공기가 주입되고, 세척수가 공급될 수 있다.

한편, 도 2에서는 세척수가 공급되는 통로로써 에어, 워터 채널(156)이 도시되었으나, 이에 제한되는 것은 아니다. 예시적으로 스코프(150) 내부에 별도의 워터젯 채널(미도시)이 구비될 수 있고, 워터젯 채널을 통해서도 세척수가 공급될 수 있다.

한편, 본 개시의 실시예에 따른 내시경 장치는 제1 인공지능 모델 및 제2 인공지능 모델을 학습시키기 위해 스코프(150) 끝단의 자세 정보를 획득하기 위한 자세 센서를 더 포함할 수 있다. 자세 센서는 스코프(150) 끝단에 구비되어 스코프(150) 끝단의 x축 위치, y축 위치, z축 위치를 포함하는 좌표 정보와 롤, 피치, 요를 포함하는 회전량을 측정할 수 있다. 자세 센서에서 획득한 자세 정보는 제1 인공지능 모델 및 제2 인공지능 모델의 학습 데이터로 사용되는 것이므로, 학습 데이터가 확보된 이후 추론 과정에서 자세 센서는 스코프(150) 끝단에서 제거될 수 있다.

조작부(151)는 내시경 시술자가 삽입부(152)의 조향을 제어하고, 워킹 채널(155) 및 에어, 워터 채널(156)을 통해 시술을 수행하도록 각종 기능들을 제공하는 복수의 입력 버튼들을 포함할 수 있다.

한편, 전술한 제어부(120)의 동작은 구동부(130)에 의해서 수행될 수 있으며 이를 위해 구동부(130)는 마이크로프로세서, CPU 등의 필요한 처리 장치를 갖출 수 있다. 이 경우 제어부(120)는 스코프(150)를 통해 획득한 의료 영상의 처리를 수행하고, 구동부(130)는 컴퓨팅 장치로부터 수신한 제어 신호에 기초하여 내시경 장치(100)를 제어할 수 있다.

도 3은 본 개시의 일 실시예에 따른 인공지능 모델을 나타내는 개념도이고, 도 4는 본 개시의 일 실시예에 따른 내시경 장치의 제어 방법을 나타내는 흐름도이다.

도 3 및 도 4를 참조하면, 컴퓨팅 장치는 내시경 장치로부터 촬영된 의료 영상(410) 및 모터의 엔코더 값(420)을 포함하는 멀티모달(multimodal) 데이터를 획득할 수 있다(S110). 멀티모달 데이터는 하나 이상의 모달리티(modality) 즉 특성이 다른 다양한 종류의 데이터를 의미한다. 시간 축이 고정되는 경우, 의료 영상(410)은 2차원 이미지이고 엔코더 값(420)은 1차원이므로 서로 다른 차원을 갖는다. 의료 영상(410)은 2차원 내시경 영상을 의미하고, 모터의 엔코더 값(420)은 스코프의 각 축의 운동을 결정하는 모터의 엔코더 값(420)을 의미할 수 있다.

컴퓨팅 장치는 학습된 제1 인공지능 모델(310)을 이용하여 스코프로부터 장기 내벽까지의 거리 정보 및 스코프 끝단의 자세 정보를 추론할 수 있다(S120). 컴퓨팅 장치는 멀티모달 데이터를 제1 인공지능 모델(310)에 입력하여, 거리 정보 및 자세 정보를 획득할 수 있다. 이때 멀티모달 데이터를 제1 인공지능 모델(310)에 입력하기 위한 전처리 과정이 수행될 수 있다.

도 3을 참조하면, 제1 인공지능 모델(310)은 의료 영상(410) 및 모터의 엔코더 값(420)을 포함하는 멀티모달 데이터를 입력받고, 스코프로부터 장기 내벽까지의 거리 정보 및 스코프 끝단의 자세 정보를 추론하도록 학습될 수 있다.

이때 제1 인공지능 모델(310)은 학습 데이터로써 의료 영상(410), 의료 영상(410)에 대응되는 모터의 엔코더 값(420)을 입력받고, 각 의료 영상(410)에 대응되는 라벨 데이터로써 스코프로부터 장기 내벽까지의 거리 정보 및 스코프 끝단의 자세 정보를 입력받을 수 있다. 이때 자세 정보는 스코프 끝단에 설치된 자세 센서로부터 획득한 6차원 자세 정보를 포함할 수 있다.

제1 인공지능 모델(310)은 Fully Convolutional Network(FCN), Conditional Adversarial Network(CAN), Recurrent Neural Network(RNN), MC-CNN(Matching Cost-CNN) 등의 네트워크 구조를 가질 수 있다. 제1 인공지능 모델(310)은 픽셀에 대응하는 픽셀의 유사도를 계산하고, 정합 비용을 계산함으로써 거리 정보를 추론하거나 정합 과정 없이 바로 거리를 예측하는 end-to-end 네트워크 구조일 수 있다.

컴퓨팅 장치는 거리 정보 및 자세 정보를 기초로 복원 장기 영상을 생성할 수 있다(S130). 컴퓨팅 장치는 거리 정보 및 자세 정보를 이용하여 장기를 2D 또는 3D 영상으로 복원할 수 있다. 컴퓨팅 장치는 내시경 영상을 추가로 이용할 수 있다.

영상 복원에 사용되는 기술은 어느 하나로 제한되지 않으며, 컴퓨팅 장치는 인공지능 모델을 이용할 수 있다. 예를 들어 Autoencoder와 AlexNet구조를 결합한 TL-embedding 네트워크, 3D Recurrent Reconstruction Neural Network(3D-R2N2), MarrNet 등의 네트워크 구조가 사용될 수 있다.

컴퓨팅 장치는 내시경 촬영이 수행되는 동안 누적하여 획득한 내시경 영상, 거리 정보 및 자세 정보를 기초로 복원 장기 영상을 생성할 수 있다. 내시경 스코프가 촬영한 부위는 복원 장기 영상으로 나타나고, 내시경 스코프가 촬영하지 않고 누락한 부위는 복원 장기 영상에서 표시되지 않을 수 있다. 즉 복원 장기 영상에서 표시되지 않는 부위는 내시경 스코프가 촬영하지 않은 부위로 판단될 수 있다.

컴퓨팅 장치는 복원 장기 영상에서 필수 촬영 부위가 누락됐는지 판단할 수 있다(S140). 컴퓨팅 장치는 복원 장기 영상에서 복원되지 않은 면적의 위치 또는 크기를 계산할 수 있다. 예를 들어 복원되지 않은 면적의 위치가 필수 촬영 부위에 대응되는 경우 컴퓨팅 장치는 필수 촬영 부위가 누락된 것으로 판단할 수 있다. 예를 들어 복원되지 않은 면적의 위치가 필수 촬영 부위에 대응되며 동시에 복원되지 않은 면적의 크기가 기준값 이상인 경우, 컴퓨팅 장치는 필수 촬영 부위가 누락된 것으로 판단할 수 있다.

누락된 경우, 컴퓨팅 장치는 사용자 인터페이스를 통하여 누락 부위에 대한 알람을 제공할 수 있다(S150). 누락 부위에 대한 정보를 제공하기 위해 컴퓨팅 장치는, 스코프의 상태와 누락 부위의 정보를 이용하여 스코프를 기준으로 하는 누락 부위의 위치 또는 스코프를 기준으로 누락 부위에 대한 방향을 계산할 수 있다. 컴퓨팅 장치는 누락 부위 위치 또는 방향을 사용자 인터페이스에 표시할 수 있다. 컴퓨팅 장치는 누락 부위의 촬영이 수행되는지 판단하고, 누락 부위의 촬영이 완료된 이후 알람을 해제할 수 있다.

예를 들어 위 내시경 촬영인 경우, 필수 촬영 부위는 식도, 근위부 위, 원위부 위 및 십이지장 중 적어도 하나를 포함할 수 있다.

S140 단계에서의 판단 결과를 기초로, 누락 부위에 대한 촬영이 의료진에 의해 수행되거나, 컴퓨팅 장치에 의해 수행될 수 있다. 즉 컴퓨팅 장치는 누락 부위를 촬영하도록 내시경 장치를 직접 제어할 수 있다.

컴퓨팅 장치는 내시경 촬영이 완료됐는지 확인할 수 있다(S160).

촬영이 완료되지 않은 경우, S110 단계로 돌아가 멀티모달 데이터를 획득하는 단계가 반복적으로 수행될 수 있다. 컴퓨팅 장치는 S110 단계 내지 S160 단계를 내시경 촬영이 완료될 때까지 반복하여 수행할 수 있다.

도 5는 본 개시의 일 실시예에 따른 인공지능 모델을 나타내는 개념도이고, 도 6은 본 개시의 일 실시예에 따른 내시경 장치의 제어 방법을 나타내는 흐름도이다.

도 5 및 도 6을 참조하면, 컴퓨팅 장치는 내시경 장치로부터 촬영된 의료 영상(410) 및 모터 엔코더 값(420)을 포함하는 멀티모달 데이터를 획득할 수 있다(S210).

컴퓨팅 장치는 학습된 제2 인공지능 모델(320)을 이용하여 촬영 완료 부위와 필수 촬영 부위의 매칭 여부를 판단할 수 있다(S220). 컴퓨팅 장치는 멀티모달 데이터를 제2 인공지능 모델(320)에 입력하여, 촬영 완료 부위와 필수 촬영 부위의 매칭 여부를 파악할 수 있다. 이때 멀티모달 데이터를 제2 인공지능 모델(320)에 입력하기 위한 전처리 과정이 수행될 수 있다.

도 5를 참조하면, 제2 인공지능 모델(320)은 의료 영상(410) 및 모터의 엔코더 값(420)을 포함하는 멀티모달 데이터를 입력받고, 해당 의료 영상(410)이 필수 촬영 부위인지 추론하도록 학습될 수 있다. 제2 인공지능 모델(320)은 누적된 의료 영상(410)을 기반으로, 필수 촬영 부위의 촬영이 완료되었는지 누락되었는지 판단하도록 학습될 수 있다.

제2 인공지능 모델(320)은 제1 인공지능 모델과 달리 멀티모달 데이터를 기초로 복원 장기 영상을 생성하는 단계를 생략하고 곧바로 필수 촬영 부위와의 매칭 여부를 판단할 수 있다.

제2 인공지능 모델(320)은 학습 데이터로써 의료 영상(410), 의료 영상(410)에 대응되는 모터의 엔코더 값(420), 의료 영상(410)에 대응되는 스코프 끝단의 자세 정보를 입력받고, 각 의료 영상(410)에 대응되는 라벨 데이터로써 각 의료 영상(410)이 필수 촬영 부위와 매칭되는지 여부를 입력받을 수 있다. 이때 자세 정보는 스코프 끝단에 설치된 자세 센서로부터 획득한 6차원 자세 정보를 포함할 수 있다.

컴퓨팅 장치는 촬영 완료 부위에서 필수 촬영 부위가 누락됐는지 판단할 수 있다(S230). 컴퓨팅 장치는 내시경 촬영을 수행하면서 획득하는 의료 영상(410)에 대해서, 의료 영상(410)의 프레임마다 제2 인공지능 모델(320)을 이용하여 필수 촬영 부위가 누락됐는지 판단할 수 있다. 또는 컴퓨팅 장치는 내시경 촬영이 시작되고 미리 설정된 시간이 지난 후 또는 내시경 촬영이 종료되기 이전에, 내시경 촬영을 통해 누적된 멀티모달 데이터를 이용하여 수행된 내시경 촬영에서 필수 촬영 부위가 누락됐는지 판단할 수 있다.

컴퓨팅 장치는 사용자 인터페이스를 통하여 누락 부위에 대한 알람을 제공할 수 있다(S240). 이는 도 5의 S150 단계와 유사할 수 있다.

S230 단계에서의 판단 결과를 기초로, 누락 부위에 대한 촬영이 의료진에 의해 수행되거나, 컴퓨팅 장치에 의해 수행될 수 있다. 즉 컴퓨팅 장치는 누락 부위를 촬영하도록 내시경 장치를 직접 제어할 수 있다.

컴퓨팅 장치는 내시경 촬영이 완료됐는지 확인할 수 있다(S250). 촬영이 완료되지 않은 경우, S210 단계로 돌아가 멀티모달 데이터를 획득하는 단계가 반복적으로 수행될 수 있다. 컴퓨팅 장치는 S210 단계 내지 S250 단계를 내시경 촬영이 완료될 때까지 반복하여 수행할 수 있다.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

10: 내시경 시스템
100: 내시경 장치
110: 출력부
120: 제어부
130: 구동부
140: 펌프부
150: 스코프
151: 조작부
152: 삽입부
153: 광원
154: 렌즈
155: 워킹 채널
156: 에어, 워터 채널
200: 컴퓨팅 장치
210: 프로세서
220: 메모리
230: 네트워크부
310: 제1 인공지능 모델
320: 제2 인공지능 모델
410: 의료 영상
420: 모터 엔코더 값

Claims (14)

1. 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는, 맹점 방지 방법으로서,
   내시경 장치로부터 촬영된 의료 영상 및 상기 내시경 장치의 스코프를 제어하는 구동부의 엔코더 값을 포함하는 멀티모달 데이터를 획득하는 단계;
   상기 멀티모달 데이터를 기초로 학습된 인공지능 모델을 이용하여, 상기 스코프로부터 장기 내벽까지의 거리 정보 및 상기 스코프 끝단의 자세 정보를 추론하는 단계;
   상기 거리 정보 및 상기 자세 정보를 기초로 복원 장기 영상을 생성하는 단계; 및
   상기 복원 장기 영상에서 필수 촬영 부위가 누락됐는지 판단하는 단계;
   를 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서,
   상기 내시경 장치의 사용자 인터페이스를 통해 누락 부위에 대한 정보를 제공하는 단계;
   를 더 포함하는 것을 특징으로 하는 방법.
3. 제2항에 있어서,
   상기 누락 부위에 대한 정보를 제공하는 단계는,
   상기 누락 부위의 위치 또는 상기 스코프를 기준으로 상기 누락 부위에 대한 방향을 상기 사용자 인터페이스에 출력하는 단계;
   를 포함하는 것을 특징으로 하는 방법.
4. 제2항에 있어서,
   판단 결과에 따라 상기 누락 부위를 촬영하도록 상기 내시경 장치를 제어하는 단계;
   를 더 포함하는 것을 특징으로 하는 방법.
5. 제1항에 있어서,
   상기 판단하는 단계는,
   상기 복원 장기 영상에서 복원되지 않은 면적의 위치 및 크기를 계산하는 단계; 및
   상기 복원되지 않은 면적이 상기 필수 촬영 부위에 대응되고, 복원되지 않은 면적의 크기가 기준값 이상인 경우, 상기 필수 촬영 부위가 누락된 것으로 판단하는 단계;
   를 포함하는 것을 특징으로 하는 방법.
6. 제1항에 있어서,
   상기 구동부는,
   상기 스코프 내부의 케이블과 연결되어 동력을 제공하는 모터;
   를 포함하는 것을 특징으로 하는 방법.
7. 제1항에 있어서,
   상기 필수 촬영 부위는,
   식도, 근위부 위, 원위부 위 및 십이지장 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
8. 제1항에 있어서,
   상기 인공지능 모델은,
   내시경 영상 프레임, 각 프레임에 대한 상기 스코프의 x축 운동을 결정하는 제1 모터의 엔코더 값, 상기 각 프레임에 대한 상기 스코프의 y축 운동을 결정하는 제2 모터의 엔코더 값 및 상기 스코프 끝단에 설치된 자세 센서로부터 획득한 6차원 자세 정보를 포함하는 학습 데이터를 이용하여 상기 거리 정보 및 상기 자세 정보를 추론하도록 학습된 모델인 것을 특징으로 하는 방법.
9. 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는, 맹점 방지 방법으로서,
   내시경 장치로부터 촬영된 의료 영상 및 상기 내시경 장치의 스코프를 제어하는 구동부의 엔코더 값을 포함하는 멀티모달 데이터를 획득하는 단계; 및
   상기 멀티모달 데이터를 기초로 학습된 인공지능 모델을 이용하여, 촬영 완료 부위에서 필수 촬영 부위가 누락됐는지 판단하는 단계;
   를 포함하는 것을 특징으로 하는 방법.
10. 제9항에 있어서,
    상기 내시경 장치의 사용자 인터페이스를 통해 누락 부위의 위치 또는 상기 스코프를 기준으로 상기 누락 부위에 대한 방향을 상기 사용자 인터페이스에 출력하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
11. 제9항에 있어서,
    상기 인공지능 모델은,
    내시경 영상 프레임, 각 프레임에 대한 상기 스코프의 x축 운동을 결정하는 제1 모터의 엔코더 값, 상기 각 프레임에 대한 상기 스코프의 y축 운동을 결정하는 제2 모터의 엔코더 값, 상기 스코프 끝단에 설치된 자세 센서로부터 획득한 6차원 자세 정보 및 상기 각 프레임에 대한 상기 필수 촬영 부위의 매칭 정보를 포함하는 학습 데이터를 이용하여 상기 촬영 완료 부위에서 상기 필수 촬영 부위가 누락됐는지를 추론하도록 학습된 모델인 것을 특징으로 하는 방법.
12. 제9항에 있어서,
    판단 결과에 따라 상기 누락 부위를 촬영하도록 상기 내시경 장치를 제어하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
13. 내시경 시술의 맹점을 방지하기 위한 컴퓨팅 장치로서,
    내시경 장치로부터 촬영된 의료 영상 및 상기 내시경 장치의 스코프를 제어하는 구동부의 엔코더 값을 포함하는 멀티모달 데이터를 저장하는 메모리; 및
    상기 멀티모달 데이터를 기초로 학습된 인공지능 모델을 이용하여, 상기 스코프로부터 장기 내벽까지의 거리 정보 및 상기 스코프 끝단의 자세 정보를 추론하고, 상기 거리 정보 및 상기 자세 정보를 기초로 복원 장기 영상을 생성하고, 상기 복원 장기 영상에서 필수 촬영 부위가 누락됐는지 판단하는 프로세서;
    를 포함하는 것을 특징으로 하는 장치.
14. 컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램(program)으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서(processor)에서 실행되는 경우, 내시경 시술의 맹점을 방지하기 위한 동작들을 수행하도록 하며,
    상기 동작들은,
    내시경 장치로부터 촬영된 의료 영상 및 상기 내시경 장치의 스코프를 제어하는 구동부의 엔코더 값을 포함하는 멀티모달 데이터를 획득하는 동작;
    상기 멀티모달 데이터를 기초로 학습된 인공지능 모델을 이용하여, 상기 스코프로부터 장기 내벽까지의 거리 정보 및 상기 스코프 끝단의 자세 정보를 추론하는 동작;
    상기 거리 정보 및 상기 자세 정보를 기초로 복원 장기 영상을 생성하는 동작; 및
    상기 복원 장기 영상에서 필수 촬영 부위가 누락됐는지 판단하는 동작;
    을 포함하는 것을 특징으로 하는 컴퓨터 프로그램.

Images