KR20230134765A - 머신러닝을 이용한 위 병변 검출 및 표시 방법 및 이를 위한 장치 - Google Patents

Abstract

내시경 장치가 촬영한 영상 정보를 획득하도록 상기 내시경 장치에 연결되어 있는 정보처리장치를 포함하는 분석장치를 공개한다. 상기 정보처리장치는 처리부 및 저장부를 포함한다. 상기 처리부는, 상기 내시경 장치로부터 획득한 촬영이미지에서 병변 및 상기 병변의 위장 내에서의 위치를 검출하도록 되어 있고, 그리고 상기 소정의 위장 모식도에 상기 병변을 표시하기 위한 자료를 상기 저장부에 저장하도록 되어 있다.

Description

머신러닝을 이용한 위 병변 검출 및 표시 방법 및 이를 위한 장치{Method for detecting and displaying gastric lesion using machine learning and device for the same}

본 발명은 위장을 내시경 촬영하는 과정에서 발견되는 병변의 위치를 결정하고 이 병변의 위치를 표시하는 기술에 관한 것이다.

위 내시경을 이용하여 위 병변을 검출한 후, 검출된 병변의 위장에서의 위치를 디스플레이할 수 있다면 의료진이 환자에게 환자의 위 건강 상태를 설명하거나 판단할 때에 유용하게 이용될 수 있을 것이다.

또한, 위 병변을 검출하여 그 정보를 저장하는 과정이, 위 내시경을 조작하여 환자를 진단한 이후의 후처리 작업에 의해 이루어지지 않고, 위 내시경을 조작하는 동안 자동으로 이루어질 수 있다면, 위 병변을 검출하여 데이터로 저장하는 과정에서 많은 시간을 절약할 수 있을 것이다.

이와 관련하여 대한민국 특허공개번호 10-2020-0038121 (2020.04.10.) 에는 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법이 공개되어 있다. 이 문헌은 구체적으로, 복수의 위병변이미지를 입력으로 하고, 위병변진단 결과에 관하는 항목을 출력으로 하는 학습을 통해 인공 신경망 시스템을 구축하고, 위내시경 이미지를 환자 정보와 연계해 신규 데이터 세트를 생성하고, 구축된 상기 인공 신경망을 통해 위병변진단을 실시하는 병변진단부와, 상기 병변진단부의 진단 결과 및 위내시경 이미지를 표시하는 디스플레이부를 구비하는 내시경 장치를 공개한다. 그러나 위 선행특허에는 검출된 위 병변이 위치를 자동으로 결정하여 표시하는 기술은 제시하지 않는다.

본 발명에서는, 위 내시경을 조작하는 동안 검출된 병변의 위장에서의 위치를 자동으로 결정하여 이미지로 출력할 수 있는 데이터를 생성하는 기술을 제공하고자 한다.

본 발명의 일 관점에 따라 제공되는 분석장치는, 내시경 장치가 촬영한 영상 정보를 획득하도록 상기 내시경 장치에 연결되어 있는 정보처리장치를 포함할 수 있다. 이때, 상기 정보처리장치는 처리부 및 저장부를 포함하며, 상기 처리부는, 상기 내시경 장치로부터 획득한 촬영이미지에서 병변 및 상기 병변의 위장 내에서의 위치를 검출하도록 되어 있고, 그리고 상기 소정의 위장 모식도에 상기 병변을 표시하기 위한 자료를 상기 저장부에 저장하도록 되어 있을 수 있다.

이때, 상기 저장부는 위 병변 출력 명령코드, 위 장축 검출 명령코드, 위 사분면 검출 명령코드, 및 위 병변 위치결정 명령코드를 포함할 수 있다. 상기 처리부는 상기 위 병변 출력 명령코드를 실행하여 위 병변 출력 프로세스를 실행하고, 상기 위 장축 검출 명령코드를 실행하여 위 장축 검출 프로세스를 실행하고, 상기 위 사분면 검출 명령코드를 실행하여 위 사분면 검출 프로세스를 실행하고, 그리고 상기 위 병변 위치결정 명령코드를 실행하여 위 병변 위치결정 프로세스를 실행하도록 되어 있을 수 있다. 이때, 상기 위 병변 출력 프로세스는, 선택된 촬영 이미지에서 위 장축을 검출하는 위 장축 검출 프로세스를 실행하는 단계; 상기 검출된 위 장축에 관한 정보를 이용하여 상기 선택된 촬영 이미지에서 위 사분면을 검출하는 위 사분면 검출 프로세스를 실행하는 단계; 상기 선택된 촬영 이미지에서 위 병변의 위치를 검출하는 위 병변 위치검출 프로세스를 실행하는 단계; 및 상기 검출된 위 사분면에 관한 정보 및 상기 검출된 위 병변의 위치를 이용하여 상기 소정의 위장 모식도에서의 상기 병변의 위치를 결정하는 단계를 포함할 수 있다. 이때, 상기 위 사분면은, 위장의 대만 중 정면부, 대만 중 배면부, 소만 중 정면부, 및 소만 중 배면부를 나타내는 면일 수 있다.

이때, 상기 위 병변 출력 프로세스는, 상기 위 장축 검출 프로세스 및 상기 위 병변 위치검출 프로세스를 실행하기 이전에, 상기 선택된 촬영 이미지에서 소정의 랜드마크를 검출하는 단계를 더 포함할 수 있다. 상기 위 장축 검출 프로세스, 상기 위 사분면 검출 프로세스, 및 상기 위 병변 위치검출 프로세스는 상기 랜드마크의 상기 촬영 이미지 내에서의 위치에 관한 정보를 더 이용하여 실행될 수 있다. 상기 랜드마크는, 위장의 분문 또는 유문일 수 있다.

이때, 상기 위 장축 검출 프로세스는, 머신러닝된 신경망을 포함하는 위 장축 검출 네트워크를 이용하여 이루어지며, 상기 위 장축 검출 네트워크는, 학습용 촬영 이미지 및 상기 학습용 촬영 이미지에 전문가가 표시한 위 장축에 관한 정보를 레이블을 이용하는 지도학습에 의해 학습된 것일 수 있다.

이때, 상기 위 사분면 검출 프로세스는, 머신러닝된 신경망을 포함하는 위 사분면 검출 네트워크를 이용하여 이루어지며, 상기 위 사분면 검출 네트워크는, 학습용 촬영 이미지 및 상기 학습용 촬영 이미지에 전문가가 표시한 상기 위 사분면에 관한 정보를 레이블을 이용하는 지도학습에 의해 학습된 것일 수 있다.

이때, 상기 위 병변 위치검출 프로세스는, 머신러닝된 신경망을 포함하는 위 병변 위치검출 네트워크를 이용하여 이루어지며, 상기 위 병변 위치검출 네트워크는, 학습용 촬영 이미지 및 상기 학습용 촬영 이미지에 전문가가 표시한 위 병변에 관한 정보를 레이블을 이용하는 지도학습에 의해 학습된 것일 수 있다.

본 발명의 일 관점에 따라 분석 방법을 제공할 수 있다. 상기 분석 방법은, 내시경 장치가 촬영한 영상 정보를 획득하도록 상기 내시경 장치에 연결되어 있는 정보처리장치에서 위 병변의 위치를 분석하는 방법일 수 있다. 상기 분석 방법은, 상기 정보처리장치의 처리부가 상기 내시경 장치로부터 획득한 촬영이미지에서 병변 및 상기 병변의 위장 내에서의 위치를 검출하는 단계; 및 상기 처리부가, 상기 소정의 위장 모식도에 상기 병변을 표시하기 위한 자료를 상기 저장부에 저장하는 단계를 포함할 수 있다.

이때, 상기 분석 방법은, 상기 저장부가 위 병변을 출력하는 위 병변 출력 프로세스를 실행하는 단계를 더 포함할 수 있다. 상기 위 병변 출력 프로세스는, 선택된 촬영 이미지에서 위 장축을 검출하는 위 장축 검출 프로세스를 실행하는 단계; 상기 검출된 위 장축에 관한 정보를 이용하여 상기 선택된 촬영 이미지에서 위 사분면을 검출하는 위 사분면 검출 프로세스를 실행하는 단계; 상기 선택된 촬영 이미지에서 위 병변의 위치를 검출하는 위 병변 위치검출 프로세스를 실행하는 단계; 및 상기 검출된 위 사분면에 관한 정보 및 상기 검출된 위 병변의 위치를 이용하여 상기 소정의 위장 모식도에서의 상기 병변의 위치를 결정하는 단계를 포함할 수 있다. 이때, 상기 위 사분면은, 위장의 대만 중 정면부, 대만 중 배면부, 소만 중 정면부, 및 소만 중 배면부를 나타내는 면일 수 있다.

이때, 상기 위 병변 출력 프로세스는, 상기 위 장축 검출 프로세스 및 상기 위 병변 위치검출 프로세스를 실행하기 이전에, 상기 선택된 촬영 이미지에서 소정의 랜드마크를 검출하는 단계를 더 포함할 수 있다. 상기 위 장축 검출 프로세스, 상기 위 사분면 검출 프로세스, 및 상기 위 병변 위치검출 프로세스는 상기 랜드마크의 상기 촬영 이미지 내에서의 위치에 관한 정보를 더 이용하여 실행되며, 상기 랜드마크는, 위장의 분문 또는 유문일 수 있다.

본 발명의 일 관점에 따라 내시경 장치가 촬영한 영상 정보를 획득하도록 상기 내시경 장치에 연결되어 있는 정보처리장치로 하여금, 위 병변의 위치를 분석하는 방법을 실행하는 명령어들을 포함하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 비휘발성의 저장매체를 제공할 수 있다. 이때, 상기 분석하는 방법은, 상기 정보처리장치의 처리부가 상기 내시경 장치로부터 획득한 촬영이미지에서 병변 및 상기 병변의 위장 내에서의 위치를 검출하는 단계; 및 상기 저장부가 위 병변을 출력하는 위 병변 출력 프로세스를 실행하는 단계를 포함할 수 있다. 상기 위 병변 출력 프로세스는, 선택된 촬영 이미지에서 위 장축을 검출하는 위 장축 검출 프로세스를 실행하는 단계; 상기 검출된 위 장축에 관한 정보를 이용하여 상기 선택된 촬영 이미지에서 위 사분면을 검출하는 위 사분면 검출 프로세스를 실행하는 단계; 상기 선택된 촬영 이미지에서 위 병변의 위치를 검출하는 위 병변 위치검출 프로세스를 실행하는 단계; 및 상기 검출된 위 사분면에 관한 정보 및 상기 검출된 위 병변의 위치를 이용하여 상기 소정의 위장 모식도에서의 상기 병변의 위치를 결정하는 단계를 포함할 수 있다. 이때, 상기 위 사분면은, 위장의 대만 중 정면부, 대만 중 배면부, 소만 중 정면부, 및 소만 중 배면부를 나타내는 면일 수 있다.

본 발명에 따르면, 위 내시경을 조작하는 동안 검출된 병변의 위장에서의 위치를 자동으로 결정하여 이미지로 출력할 수 있는 데이터를 생성하는 기술을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따라 제공되는 자동촬영장치의 구성을 나타낸 다이어그램이다.
도 2는 내시경 장치의 일 실시예에 따른 구조를 나타낸 다이어그램이다.
도 3은 본 발명의 일 실시예에 따라 제공되는 분석장치의 구체적인 구성을 나타낸 다이어그램이다.
도 4는 도 3에 제시한 위 병변 출력 프로세스를 나타낸 순서도이다.
도 5a는 본 발명의 일 실시예에 따라 제공되는 위 장축 검출 프로세스의 과정을 나타낸 것이고, 도 5b는 본 발명의 일 실시예에 따라 제공되는 위 사분면 검출 프로세스의 과정을 나타낸 것이며, 도 5c는 본 발명의 일 실시예에 따라 제공되는 위 병변 위치결정 프로세스의 과정을 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따라 환자의 위 병변의 위치를 시각화하는 예를 나타낸 것이다.

이하, 본 발명의 실시예를 첨부한 도면을 참고하여 설명한다. 그러나 본 발명은 본 명세서에서 설명하는 실시예에 한정되지 않으며 여러 가지 다른 형태로 구현될 수 있다. 본 명세서에서 사용되는 용어는 실시예의 이해를 돕기 위한 것이며, 본 발명의 범위를 한정하고자 의도된 것이 아니다. 또한, 이하에서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.

도 1은 본 발명의 일 실시예에 따라 제공되는 자동촬영장치의 구성을 나타낸 다이어그램이다.

분석장치(1)는 내시경 장치(100), 정보처리장치(200) 및 상기 내시경 장치(100)와 상기 정보처리장치(200)를 연결하는 데이터 케이블인 케이블(300)을 포함할 수 있다.

도 2는 내시경 장치의 일 실시예에 따른 구조를 나타낸 다이어그램이다.

상기 내시경 장치(100)는 인체에 삽입하는 삽입관(110), 진찰을 받는 대상을 광으로 비추는 조명장치(120), 상기 대상을 촬영하는 촬영장치(130), 영상출력포트(141)를 포함하는 장치 인터페이스(140), 및 상술한 부분들을 포함한 상기 내시경 장치에 포함된 각종 전기/전자 부품들의 동작을 제어하는 제어장치(150)가 포함할 수 있다.

상기 조명장치(120)의 일부와 상기 촬영장치(130)의 일부는 상기 삽입관(110)에 결합되어 있을 수 있다.

상기 삽입관(110)은 환자의 신체 내부로 진입하도록 되어 있을 수 있고, 상기 장치 인터페이스(140)는 환자의 신체 외부에 배치되어 노출되는 부분일 수 있다.

상기 내시경 장치(100)의 조작자가 상기 삽입관(110)을 사람의 신체에 삽입한 상태에서 상기 촬영장치(130)가 출력한 이미지들은 실시간으로 상기 영상출력포트(141)를 통해 외부로 전송될 수 있다.

도 3은 본 발명의 일 실시예에 따라 제공되는 분석장치의 구체적인 구성을 나타낸 다이어그램이다.

정보처리장치(200)는 처리부(210), 저장장치(220), 디스플레이 장치(230), 장치 인터페이스(240), 및 스피커(250)를 포함하는 컴퓨팅 장치일 수 있다. 상기 처리부(210)는 CPU와 같은 프로세서일 수 있고, 상기 저장장치(220)는 SSD, USB 메모리와 같은 저장장치일 수 있고, 상기 디스플레이 장치(230)는 LCD와 같은 표시장치일 수 있고, 그리고 상기 장치 인터페이스(240)는 상기 영상출력포트(141)에 대응하는 영상입력포트(241)를 포함하는 물리적/논리적 포트일 수 있다.

영상입력포트(241)는 내시경 장치(100)의 영상출력포트(141)에 연결될 수 있다.

처리부(210)는 위 병변 출력 프로세스(211), 촬영이미지 선택 프로세스(212), 위 장축 검출 프로세스(213), 위 사분면 검출 프로세스(214), 및 위 병변 위치결정 프로세스(215)를 실행할 수 있다.

상기 위 병변 출력 프로세스(211), 상기 촬영이미지 선택 프로세스(212), 상기 위 장축 검출 프로세스(213), 상기 위 사분면 검출 프로세스(214), 및 상기 위 병변 위치결정 프로세스(215)를 실행하기 위해, 저장장치(220)는 이들 프로세스에 각각 대응하는 명령코드로서 위 병변 출력 명령코드(221), 촬영이미지 선택 명령코드(222), 위 장축 검출 명령코드(223), 위 사분면 검출 명령코드(224), 및 위 병변 위치결정 명령코드(225)를 포함할 수 있다.

상기 처리부(210)는 상기 명령코드들(221~225)을 읽어들여 실행함으로써 상기 프로세스들(211~215)을 실행할 수 있다.

도 4는 도 3에 제시한 위 병변 출력 프로세스를 나타낸 순서도이다.

상기 위 병변 출력 프로세스(211)는 상기 정보처리장치(200)에 전원이 인가되어 상기 정보처리장치(200)의 동작되기 시작하면 시작될 수 있다.

단계(S110)에서, 상기 위 병변 출력 프로세스(211)는 소정 기준에 따라 선택된 제1촬영 이미지에서 랜드마크를 검출할 수 있다.

상기 랜드마크를 검출하는 것은 상기 처리부(210)에서 별도로 제공되는 랜드마크 검출 프로세스에 의해 이루어질 수 있다. 상기 랜드마크 검출 프로세스는 예컨대 훈련된 신경망을 이용한 인공지능부를 이용하여 이루어질 수 있다.

상기 선택된 제1촬영이미지는 상기 내시경 장치(100)가 촬영한 이미지로서 상기 정보처리장치(200)가 상기 내시경 장치(100)로부터 실시간으로 수신하는 촬영이미지일 수 있다. 또는 상기 선택된 제1촬영이미지는 동일한 병변을 촬영한 복수 개의 이미지 중에서 가장 좋은 화질을 갖는 것을 선택하여 얻은 이미지일 수도 있다. 일 실시예에서, 상기 선택된 제1촬영 이미지를 획득하는 것은 소정의 상기 촬영이미지 선택 프로세스(212)에 의해 실행될 수도 있다.

단계(S110)에서 상기 랜드마크 검출 프로세스는 상기 선택된 제1촬영 이미지 내에 존재하는 랜드마크에 관한 정보(이하, 간단히 '랜드마크 정보')를 출력할 수 있다. 이때, 상기 랜드마크에 관한 정보는, 예컨대 상기 랜드마크의 종류(ex: 유문, 분문), 상기 선택된 제1촬영 이미지 내에서의 상기 랜드마크의 중심점의 위치(제1촬영 이미지 내에서의 x, y 좌표) 등을 포함할 수 있다. 상기 랜드마크는 상기 선택된 제1촬영 이미지 내에서 어떤 면적을 갖는 영역일 수 있다. 상기 랜드마크의 중심점은 예컨대 상기 영역의 무게중심점을 의미할 수 있다.

단계(S120)에서, 상기 위 장축 검출 프로세스(213)를 실행할 수 있다. 이때, 상기 단계(S110)에서 출력된 상기 랜드마크 정보 및 상기 제1촬영 이미지는 상기 위 장축 검출 프로세스(213)의 실행을 위한 입력 데이터로서 제공될 수 있다.

상기 위 장축 검출 프로세스(213)는 상기 선택된 제1촬영 이미지 내에서 장축의 경로를 결정하여 출력할 수 있다. 상기 장축은 위장의 분문과 유문을 서로 연결하는 한 개의 곡선으로서 상기 위장의 내부에서 정의되는 곡선을 의미한다. 위장의 3차원 모양, 분문, 및 유문이 이미지로서 제시되어 있을 때에, 상기 장축을 정의하는 사람에 따라 상기 장축이 서로 다르게 정의될 수 있다. 상기 장축을 사람이 직접 정의하는 경우에는, 상기 분문과 유문을 자연스럽게 사람이 직접 연결한 선분으로 정의도리 수 있다. 사람마다 상기 분문과 유문의 연결경로를 서로 다르게 그릴 수 있으므로, 사람마다 장축을 조금씩 다르게 정의할 수 있다. 한편, 분문에 연결되어 있는 식도 및 유문에 연결되어 있는 십이지장은 긴 관의 형태를 가지고 있기 때문에, 상기 식도의 연장방향과 상기 십이지장의 연장방향은 정의하기가 수월하다. 이에 비하여 위장은 그 모양이 자루 형태이기 때문에 분문과 유문을 연결하는 선의 연장방향을 정의하는 방법이 한 가지로 결정되기 어렵다. 다만, 위장의 모양을 가상으로 수축하게 되면 위장의 모양 역시 관의 형태로 수렴하기 때문에 상기 장축을 정의하기 수월하다.

일 실시예에서, 상기 위 장축 검출 프로세스(213)에서 출력하는 상기 장축의 경로를 나타내는 데이터, 즉 위 장축 정보는 상기 선택된 제1촬영 이미지 내에서 장축이 차지하는 경로를 나타내는 선분의 각 점들의 좌표들로 구성될 수 있다.

단계(S130)에서, 상기 위 사분면 검출 프로세스(214)를 실행할 수 있다. 상기 위 사분면 검출 프로세스(214)에는 단계(S110)에서 출력된 상기 랜드마크 정보, 단계(S120)에서 출력된 상기 위 장축 정보, 및 상기 제1촬영 이미지가 입력정보로서 제공될 수 있다.

상기 위 사분면 검출 프로세스(214)는 상기 선택된 제1촬영 이미지를 4개의 영역으로 구분한 정보를 출력할 수 있다. 즉, 상기 제1촬영 이미지가 나타내는 위장의 영역을, 상기 제1촬영 이미지의 촬영 대상이 된 환자의 좌측정면, 좌측배면, 우측정면, 및 우측배면의 4개의 영역으로 구분하여 분할하는 정보를 제공할 수 있다. 상기 4개의 영역이 모두 서로 만나는 지점은 상기 랜드마크가 위치하는 지점일 수 있다. 예컨대 상기 랜드마크가 유문인 경우에는 상기 마크를 중심으로 상기 제1촬영 이미지가 4개의 영역으로 구분될 수 있다. 상기 4개의 영역은 상기 랜드마크에서 시작하는 서로 다른 4개의 곡선에 의해 구분될 수 있다. 따라서 상기 위 사분면 검출 프로세스(214)는 그 출력데이터로서 상기 서로 다른 4개의 곡선의 각 점들의 좌표들을 출력할 수 있다. 또는 상기 서로 다른 4개의 곡선을 재구성할 수 있는 값들 및 수식으로 그 출력데이터를 출력할 수 있다.

상기 단계(S120) 및 단계(S130)와는 별도로, 단계(S110) 이후에 단계(S140)가 실행될 수 있다.

단계(S140)에서, 상기 위 병변 위치결정 프로세스(215)가 실행될 수 있다. 상기 단계(S140)에는 상기 제1촬영 이미지가 그 입력데이터로서 제공될 수 있다.

일 실시예에서, 상기 단계(S140)에는 단계(S110)에서 출력된 상기 랜드마크 정보가 그 입력데이터로서 더 제공될 수 있다. 랜드마크 정보가 제공되므로, 랜드마크를 병변인 것으로 인식하지 않도록 할 수 있다.

도 5a는 본 발명의 일 실시예에 따라 제공되는 위 장축 검출 프로세스의 과정을 나타낸 것이다.

상기 위 장축 검출 프로세스(213)는 위 장축 검출 네트워크(701)를 이용하여 실행될 수 있다. 상기 위 장축 검출 네트워크(701)는 머신러닝된 신경망을 포함하는 데이터 처리부일 수 있다. 상기 신경망은 예컨대 CNN을 포함할 수 있다.

상기 위 장축 검출 네트워크(701)에 랜드마크가 포함된 상기 제1 촬영 이미지 및 상기 랜드마크의 좌표정보를 입력할 수 있다. 상기 좌표정보는 상기 제1 촬영 이미지 내에서의 상기 랜드마크의 중심점의 좌표정보일 수 있다.

상기 위 장축 검출 네트워크(701)는 상기 제1 촬영 이미지 및 상기 랜드마크의 좌표정보가 입력되면 상기 랜드마크를 원점으로 하는 장축에 관한 정보를 출력할 수 있다. 상기 장축은 위장의 유문과 분문을 연결하는 곡선이므로, 상기 랜드마크가 유문(또는 분문)인 경우에 상기 장축은 상기 유문(또는 분문)으로부터 시작되어 상기 제1 촬영 이미지 내에서 방사형으로 뻗은 곡선의 형태를 가질 수 있다. 상기 장축을 나타내는 곡선을 직선으로 근사화될 수 있으며, 상기 직선과 상기 제1 촬영 이미지의 수직선 간의 각도 θ(회전각 θ)를 결정할 수 있다. 상기 특정된 각도 θ와 상기 랜드마크의 위치가 주어지면 상기 장축을 특정하는 정보가 완성될 수 있다. 상기 위 장축 검출 네트워크(701)는 상기 각도 θ를 출력하도록 학습되어 있을 수 있다.

상기 위 장축 검출 네트워크(701)의 학습은 지도학습에 의해 이루어질 수 있다. 이를 위해 복수 개의 학습용 촬영 이미지들을 준비할 수 있다. 각각의 상기 학습용 촬영 이미지에는 랜드마크가 존재할 수도 있고 그렇지 않을 수도 있다. 상기 각각의 학습용 촬영 이미지에는 전문가에 의해 장축이 그려질 수 있다. 예컨대 컴퓨터 화면에 상기 학습용 촬영 이미지를 표시하면, 전문가는 스타일러스 펜 등을 이용하여 상기 학습용 촬영 이미지 상에 장축을 그릴 수 있다. 그러면 별도로 준비된 명령코드는 상기 장축이 상기 수직선에 대하여 이루는 각도를 결정할 수 있다. 상기 결정된 각도는 상기 학습용 촬영 이미지의 지도학습을 위한 레이블(label)로 사용될 수 있다. 이와 같이 모든 학습용 촬영 이미지에 대하여 상기 레이블이 준비되면, 이들을 이용하여 상기 위 장축 검출 네트워크(701)를 지도학습할 수 있다는 점을 이해할 수 있다.

도 5b는 본 발명의 일 실시예에 따라 제공되는 위 사분면 검출 프로세스의 과정을 나타낸 것이다.

상기 위 사분면 검출 프로세스(214)는 위 사분면 검출 네트워크(702)를 이용하여 실행될 수 있다. 상기 위 사분면 검출 네트워크(702)는 머신러닝된 신경망을 포함하는 데이터 처리부일 수 있다. 상기 신경망은 예컨대 CNN을 포함할 수 있다.

상기 위 사분면 검출 네트워크(702)에 랜드마크가 포함된 상기 제1 촬영 이미지 및 상기 랜드마크의 좌표정보, 및 장축 정보를 입력할 수 있다. 상기 장축 정보는 도 5a에 나타낸 회전각 θ일 수 있다.

상기 위 사분면 검출 네트워크(702)는 상기 제1 촬영 이미지, 상기 랜드마크의 좌표정보, 및 상기 장축 정보가 입력되면 상기 제1촬영 이미지를 분할하여 얻은 복수 개의 면에 관한 정보를 출력할 수 있다.

상기 복수 개의 면은 예컨대 상기 랜드마크를 원점으로 하는 4개의 영역(4분면)일 수 있다. 그리고 상기 4분면 중 첫 번째는 상기 제1 촬영 이미지가 나타내는 위장의 소만 중 환자의 정면(배)쪽 부분(소만/정면), 두 번째는 상기 제1 촬영 이미지가 나타내는 위장의 소만 중 환자의 배면(등)쪽 부분(소만/배면), 세 번째는 상기 제1 촬영 이미지가 나타내는 위장의 대만 중 환자의 정면쪽 부분(대만/정면), 그리고 네 번째는 상기 제1 촬영 이미지가 나타내는 위장의 대만 중 환자의 배면쪽 부분(대만/배면)일 수 있다.

상기 4개의 4분면은 4개의 곡선으로 서로 구분될 수 있다. 상기 4개의 곡선은 각각 4개의 직선으로 근사화될 수 있다. 상기 4개의 직선 각각과 상기 제1 촬영 이미지의 수직선 간의 각도들을 결정할 수 있다. 상기 특정된 각도들과 상기 랜드마크의 위치가 주어지면 상기 4분면을 특정하는 정보가 완성될 수 있다. 상기 위 사분면 검출 네트워크(702)는 상기 4개의 각도들을 출력하도록 학습되어 있을 수 있다.

또는 다른 실시예에서, 상기 4개의 직선 중 제1직선이 제1 촬영 이미지의 수직선과 이루는 각도를 θ1으로 정의하고, 상기 제1직선에 대하여 시계방향으로 다음 순번에 나타나는 제2직선과 상기 제1직선이 이루는 각도를 θ2로 정의하고, 상기 제2직선에 대하여 시계방향으로 다음 순번에 나타나는 제3직선과 상기 제2직선이 이루는 각도를 θ3로 정의하고, 상기 제3직선에 대하여 시계방향으로 다음 순번에 나타나는 제4직선과 상기 제3직선이 이루는 각도를 θ4로 정의할 수 있다(도 5b 참고). 상기 위 사분면 검출 네트워크(702)는 상기 θ1, θ2, θ3, θ4를 출력하도록 학습되어 있을 수 있다.

또는, 상기 θ1, θ2, θ3, θ4가 90도 간격을 갖는다고 간주하면 상기 θ1만을 결정하면 나머지 다른 θ2, θ3, θ4의 값도 결정될 수 있다. 따라서 이 경우 상기 위 사분면 검출 네트워크(702)는 상기 θ1만을 출력하도록 학습되어 있을 수 있다.

상기 위 사분면 검출 네트워크(702)의 학습은 지도학습에 의해 이루어질 수 있다. 이를 위해 복수 개의 학습용 촬영 이미지들을 준비할 수 있다. 각각의 상기 학습용 촬영 이미지에는 랜드마크가 존재할 수도 있고 그렇지 않을 수도 있다. 상기 각각의 학습용 촬영 이미지에는 전문가에 의해 상기 4분면을 구분하는 4개의 곡선이 그려질 수 있다. 예컨대 컴퓨터 화면에 상기 학습용 촬영 이미지를 표시하면, 전문가는 스타일러스 펜 등을 이용하여 상기 학습용 촬영 이미지 상에 상기 4개의 곡선을 그릴 수 있다. 그러면 별도로 준비된 명령코드는 상기 4개의 곡선을 직선으로 근사화하여 4개의 직선을 생성하며, 상기 4개의 직선 각각이 상기 수직선에 대하여 이루는 4개의 각도를 결정할 수 있다. 상기 결정된 4개의 각도는 상기 학습용 촬영 이미지의 지도학습을 위한 레이블(label)로 사용될 수 있다. 이와 같이 모든 학습용 촬영 이미지에 대하여 상기 레이블이 준비되면, 이들을 이용하여 상기 위 사분면 검출 네트워크(702)를 지도학습할 수 있다는 점을 이해할 수 있다.

도 5c는 본 발명의 일 실시예에 따라 제공되는 위 병변 위치결정 프로세스의 과정을 나타낸 것이다.

상기 위 병변 위치결정 프로세스(215)는 위 병변 위치결정 네트워크(703)를 이용하여 실행될 수 있다. 상기 위 병변 위치결정 네트워크(703)는 머신러닝된 신경망을 포함하는 데이터 처리부일 수 있다. 상기 신경망은 예컨대 CNN을 포함할 수 있다.

상기 위 병변 위치결정 네트워크(703)에 랜드마크가 포함된 상기 제1 촬영 이미지를 입력할 수 있다.

일 실시예에서, 상기 위 병변 위치결정 네트워크(703)에는 상기 랜드마크의 좌표정보를 추가적으로 입력할 수 있다. 상기 랜드마크를 특정하는 정보가 추가적으로 입력되므로 상기 위 병변 위치결정 네트워크(703)는 상기 랜드마크를 병변으로 오인 검출하지 않는다.

상기 위 병변 위치결정 네트워크(703)는 상기 제1 촬영 이미지( 및 상기 랜드마크 좌표정보)가 입력되면 상기 제1촬영 이미지에 존재하는 병변의 중심위치에 관한 정보를 출력할 수 있다.

상기 병변의 중심위치는 x, y 좌표로 제시될 수 있다.

또는 상기 병변의 중심위치는 제1 촬영 이미지의 수직선에 대한 이격 각도 θ5로 제시될 수도 있다. 이 경우 상기 병변의 중심위치는 상기 제1 촬영 이미지 내에서 정확하게 정의되지 않지만, 상기 랜드마크를 중심으로 어느 방향에 위치하는지는 알 수 있다.

상기 위 병변 위치결정 네트워크(703)의 학습은 지도학습에 의해 이루어질 수 있다. 이를 위해 복수 개의 학습용 촬영 이미지들을 준비할 수 있다. 각각의 상기 학습용 촬영 이미지에는 랜드마크가 존재할 수도 있고 그렇지 않을 수도 있다. 상기 각각의 학습용 촬영 이미지에는 전문가에 의해 병변이 존재하는 위치의 좌표가 지정될 수 있다. 예컨대 컴퓨터 화면에 상기 학습용 촬영 이미지를 표시하면, 전문가는 스타일러스 펜 등을 이용하여 상기 학습용 촬영 이미지 상에 병변이 위치하는 지점에 점을 표시할 수 있다. 그러면 별도로 준비된 명령코드는 상기 표지된 점의 위치좌표를 결정하여, 상기 위치좌표를 상기 학습용 촬영 이미지의 지도학습을 위한 레이블(label)로 사용할 수 있다. 이와 같이 모든 학습용 촬영 이미지에 대하여 상기 레이블이 준비되면, 이들을 이용하여 상기 위 병변 위치결정 네트워크(703)를 지도학습할 수 있다는 점을 이해할 수 있다.

도 6은 본 발명의 일 실시예에 따라 환자의 위 병변의 위치를 시각화하는 예를 나타낸 것이다.

도 3 내지 도 5에서 설명한 과정을 거쳐 환자의 위 병변의 위치가 위의 2차원/3차원 모식도에 표시될 수 있다.

상술한 단계(S110), 단계(S120), 단계(S130), 및 단계(S140)는 모두 동일한 한 장의 제1 촬영 이미지에 대하여 수행될 수 있다. 따라서 주어진 촬영 이미지 내에서, 랜드마크의 위치, 랜드마크를 통과하는 장축의 방향(각도), 위 사분면의 위치, 및 위 병변의 위치를 결정하게 되면, 상기 위 병변이 위장의 어느 부분에 위치하는지를 결정할 수 있다.

위장은, 위장의 위쪽에 배치된 분문부 및 위저부와 위장의 아래쪽에 배치된 유문부를 포함한다. 분문부와 유문부 사이에는 위체부가 존재한다.

상기 유문이 랜드마크로서 포함된 위장 이미지는 유문부, 및 위체부의 아래쪽 부분이 포함되어 있을 수 있다. 따라서 상기 유문이 랜드마크로서 포함된 위장 이미지에 병변이 관찰될 경우, 상기 병변은 상기 유문부 또는 위체부의 아래쪽에 걸쳐 존재할 수 있다.

이와 달리, 상기 분문이 랜드마크로서 포함된 위장 이미지는 분문부, 위저부, 및 위체부의 위쪽 부분이 포함되어 있을 수 있다. 따라서 상기 분문이 랜드마크로서 포함된 위장 이미지에 병변이 관찰될 경우, 상기 병변은 상기 분문부, 상기 위저부, 또는 위체부의 위쪽에 걸쳐 존재할 수 있다.

따라서 상기 제1 촬영 이미지에 포함된 랜드마크가 분문인지 아니면 유문인지에 따라서 상기 제1 촬영 이미지에서 관찰되는 병변의 위치에 대한 1차 자료를 얻을 수 있다. 또한, 도 5b에서 설명한 상기 위 사분면 검출 프로세스에 의해 상기 제1 촬영 이미지에서 관찰되는 병변의 위치에 대한 2차 자료(대만/정면, 대만/배면, 소만/정면, 소만/배면)를 얻을 수 있다. 위 1차 자료 및 2차 자료를 함께 이용하면 위장 내에서의 병변의 위치를 대략적으로 결정할 수 있다.

도 6의 좌측은 위를 정면에서 바라본 모양을 도시한 것이고 우측은 A-A'를 따라 절단한 단면을 도시한 것이다.

도 4 내지 도 5에 제시한 위 병변 출력 프로세스를 이용하면 도 6에 제시된 것과 같이 병변의 위치를 위장에 표시할 수 있다. 병변의 위치를 위장에 정확하게 표시하려면 도 4에 제시된 프로세스보다 더 개량된 기술이 필요할 수 있지만, 도 4에 제시된 프로세스만으로도 위장 내에서의 병변의 위치를 설명하기에 적합한 이미지가 생성될 수 있다는 점을 이해할 수 있다.

상술한 본 발명의 실시예들을 이용하여, 본 발명의 기술 분야에 속하는 자들은 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에 다양한 변경 및 수정을 용이하게 실시할 수 있을 것이다. 특허청구범위의 각 청구항의 내용은 본 명세서를 통해 이해할 수 있는 범위 내에서 인용관계가 없는 다른 청구항에 결합될 수 있다.

Claims (10)

1. 내시경 장치가 촬영한 영상 정보를 획득하도록 상기 내시경 장치에 연결되어 있는 정보처리장치;
   를 포함하며,
   상기 정보처리장치는 처리부 및 저장부를 포함하며,
   상기 처리부는,
   상기 내시경 장치로부터 획득한 촬영이미지에서 병변 및 상기 병변의 위장 내에서의 위치를 검출하도록 되어 있고, 그리고
   상기 소정의 위장 모식도에 상기 병변을 표시하기 위한 자료를 상기 저장부에 저장하도록 되어 있는,
   분석장치.
2. 제1항에 있어서,
   상기 저장부는 위 병변 출력 명령코드, 위 장축 검출 명령코드, 위 사분면 검출 명령코드, 및 위 병변 위치결정 명령코드를 포함하며,
   상기 처리부는 상기 위 병변 출력 명령코드를 실행하여 위 병변 출력 프로세스를 실행하고, 상기 위 장축 검출 명령코드를 실행하여 위 장축 검출 프로세스를 실행하고, 상기 위 사분면 검출 명령코드를 실행하여 위 사분면 검출 프로세스를 실행하고, 그리고 상기 위 병변 위치결정 명령코드를 실행하여 위 병변 위치결정 프로세스를 실행하도록 되어 있으며,
   상기 위 병변 출력 프로세스는,
   선택된 촬영 이미지에서 위 장축을 검출하는 위 장축 검출 프로세스를 실행하는 단계;
   상기 검출된 위 장축에 관한 정보를 이용하여 상기 선택된 촬영 이미지에서 위 사분면을 검출하는 위 사분면 검출 프로세스를 실행하는 단계;
   상기 선택된 촬영 이미지에서 위 병변의 위치를 검출하는 위 병변 위치검출 프로세스를 실행하는 단계; 및
   상기 검출된 위 사분면에 관한 정보 및 상기 검출된 위 병변의 위치를 이용하여 상기 소정의 위장 모식도에서의 상기 병변의 위치를 결정하는 단계;
   를 포함하며,
   상기 위 사분면은, 위장의 대만 중 정면부, 대만 중 배면부, 소만 중 정면부, 및 소만 중 배면부를 나타내는 면인,
   분석장치.
3. 제2항에 있어서,
   상기 위 병변 출력 프로세스는, 상기 위 장축 검출 프로세스 및 상기 위 병변 위치검출 프로세스를 실행하기 이전에, 상기 선택된 촬영 이미지에서 소정의 랜드마크를 검출하는 단계를 더 포함하며,
   상기 위 장축 검출 프로세스, 상기 위 사분면 검출 프로세스, 및 상기 위 병변 위치검출 프로세스는 상기 랜드마크의 상기 촬영 이미지 내에서의 위치에 관한 정보를 더 이용하여 실행되며,
   상기 랜드마크는, 위장의 분문 또는 유문인,
   분석장치.
4. 제2항에 있어서,
   상기 위 장축 검출 프로세스는, 머신러닝된 신경망을 포함하는 위 장축 검출 네트워크를 이용하여 이루어지며,
   상기 위 장축 검출 네트워크는, 학습용 촬영 이미지 및 상기 학습용 촬영 이미지에 전문가가 표시한 위 장축에 관한 정보를 레이블을 이용하는 지도학습에 의해 학습된 것인,
   분석장치.
5. 제2항에 있어서,
   상기 위 사분면 검출 프로세스는, 머신러닝된 신경망을 포함하는 위 사분면 검출 네트워크를 이용하여 이루어지며,
   상기 위 사분면 검출 네트워크는, 학습용 촬영 이미지 및 상기 학습용 촬영 이미지에 전문가가 표시한 상기 위 사분면에 관한 정보를 레이블을 이용하는 지도학습에 의해 학습된 것인,
   분석장치.
6. 제2항에 있어서,
   상기 위 병변 위치검출 프로세스는, 머신러닝된 신경망을 포함하는 위 병변 위치검출 네트워크를 이용하여 이루어지며,
   상기 위 병변 위치검출 네트워크는, 학습용 촬영 이미지 및 상기 학습용 촬영 이미지에 전문가가 표시한 위 병변에 관한 정보를 레이블을 이용하는 지도학습에 의해 학습된 것인,
   분석장치.
7. 내시경 장치가 촬영한 영상 정보를 획득하도록 상기 내시경 장치에 연결되어 있는 정보처리장치에서 위 병변의 위치를 분석하는 방법으로서,
   상기 정보처리장치의 처리부가 상기 내시경 장치로부터 획득한 촬영이미지에서 병변 및 상기 병변의 위장 내에서의 위치를 검출하는 단계; 및
   상기 처리부가, 상기 소정의 위장 모식도에 상기 병변을 표시하기 위한 자료를 상기 저장부에 저장하는 단계
   를 포함하는,
   분석 방법.
8. 제7항에 있어서,
   상기 저장부가 위 병변을 출력하는 위 병변 출력 프로세스를 실행하는 단계를 더 포함하며,
   상기 위 병변 출력 프로세스는,
   선택된 촬영 이미지에서 위 장축을 검출하는 위 장축 검출 프로세스를 실행하는 단계;
   상기 검출된 위 장축에 관한 정보를 이용하여 상기 선택된 촬영 이미지에서 위 사분면을 검출하는 위 사분면 검출 프로세스를 실행하는 단계;
   상기 선택된 촬영 이미지에서 위 병변의 위치를 검출하는 위 병변 위치검출 프로세스를 실행하는 단계; 및
   상기 검출된 위 사분면에 관한 정보 및 상기 검출된 위 병변의 위치를 이용하여 상기 소정의 위장 모식도에서의 상기 병변의 위치를 결정하는 단계;
   를 포함하며,
   상기 위 사분면은, 위장의 대만 중 정면부, 대만 중 배면부, 소만 중 정면부, 및 소만 중 배면부를 나타내는 면인,
   분석 방법.
9. 제8항에 있어서,
   상기 위 병변 출력 프로세스는, 상기 위 장축 검출 프로세스 및 상기 위 병변 위치검출 프로세스를 실행하기 이전에, 상기 선택된 촬영 이미지에서 소정의 랜드마크를 검출하는 단계를 더 포함하며,
   상기 위 장축 검출 프로세스, 상기 위 사분면 검출 프로세스, 및 상기 위 병변 위치검출 프로세스는 상기 랜드마크의 상기 촬영 이미지 내에서의 위치에 관한 정보를 더 이용하여 실행되며,
   상기 랜드마크는, 위장의 분문 또는 유문인,
   분석 방법.
10. 내시경 장치가 촬영한 영상 정보를 획득하도록 상기 내시경 장치에 연결되어 있는 정보처리장치로 하여금, 위 병변의 위치를 분석하는 방법을 실행하는 명령어들을 포함하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 비휘발성의 저장매체로서,
    상기 분석하는 방법은,
    상기 정보처리장치의 처리부가 상기 내시경 장치로부터 획득한 촬영이미지에서 병변 및 상기 병변의 위장 내에서의 위치를 검출하는 단계; 및
    상기 저장부가 위 병변을 출력하는 위 병변 출력 프로세스를 실행하는 단계를 포함하며,
    상기 위 병변 출력 프로세스는,
    선택된 촬영 이미지에서 위 장축을 검출하는 위 장축 검출 프로세스를 실행하는 단계;
    상기 검출된 위 장축에 관한 정보를 이용하여 상기 선택된 촬영 이미지에서 위 사분면을 검출하는 위 사분면 검출 프로세스를 실행하는 단계;
    상기 선택된 촬영 이미지에서 위 병변의 위치를 검출하는 위 병변 위치검출 프로세스를 실행하는 단계; 및
    상기 검출된 위 사분면에 관한 정보 및 상기 검출된 위 병변의 위치를 이용하여 상기 소정의 위장 모식도에서의 상기 병변의 위치를 결정하는 단계;
    를 포함하며,
    상기 위 사분면은, 위장의 대만 중 정면부, 대만 중 배면부, 소만 중 정면부, 및 소만 중 배면부를 나타내는 면인,
    컴퓨터로 읽을 수 있는 비휘발성의 저장매체.