KR20210109881A - 예측 모델에 기초한 소화관의 병변 분석을 수행하는 내시경 영상 정보 분석 서비스 제공 장치 - Google Patents

Abstract

본 발명의 실시 예에 따른 내시경 영상 정보 분석 서비스 제공 장치는, 사전 학습 데이터에 기초하여 내시경 영상 정보에 대응하는 학습 모델을 구축하는 학습 데이터 구축부; 상기 학습 데이터에 따라 생성되는 하나 이상의 학습 모델들을 이용하여, 내시경 장치로부터 수신되는 실시간 영상 정보를 분석하는 분석 처리부; 및 상기 분석 처리부의 분석 결과를 가공하여, 상기 실시간 영상 정보에 대응하는 리포팅 정보를 사용자 단말 또는 관리자 단말로 제공하는 리포팅 처리부를 포함하고, 상기 분석 처리부는, 상기 실시간 영상 정보를 상기 학습 모델 중 하나 이상의 예측 모델에 적용하고, 이벤트 발생에 따라 특정 프레임 구간에서의 소화관 병변 확률 정보를 분석하며, 상기 리포팅 처리부는 상기 특정 프레임 구간의 영상 정보와 상기 소화관 병변 확률 정보를 포함하는 리포팅 정보를 상기 사용자 단말 또는 관리자 단말로 제공한다.

Description

예측 모델에 기초한 소화관의 병변 분석을 수행하는 내시경 영상 정보 분석 서비스 제공 장치{Apparatus for providing endoscopic image information analysis service for lesion analysis of digestive tract based on predictive model}

본 발명은 내시경 영상 정보 분석 서비스 제공 장치에 관한 것이다. 보다 구체적으로, 본 발명은 예측 모델에 기초한 소화관의 병변 분석을 수행하는 학습 기반 내시경 영상 정보 분석 서비스 제공 장치에 관한 것이다.

인체 내부의 정보, 특히 의학적 정보를 획득하기 위해 피검사자의 입 또는 항문을 통해 케이블에 부착된 내시경을 삽입하는 방법이 이용되고 있다.

이러한 내시경 삽입 검사 방법에 의하면, 내시경 영상을 보면서 도선 또는 광섬유로 이루어진 케이블을 통해 내시경을 직접 제어할 수 있으므로, 인체 내부의 데이터를 확보하기 용이하지만, 제어하는 동안의 움직임은 검사자의 숙련도에 의존되며, 주관적인 영상 해석이 반영되기 때문에 검사자마다 그 검사의 품질이 상이하게 되는 문제점이 있다.

예를 들어, 소화관의 하나인 대장 내시경의 경우 항문으로부터 맹장까지는 도달하여야 정상적인 검사가 완료되나, 대변 등 이물질이 다수 존재하는 경우 맹장의 위치를 영상만으로는 쉽게 찾기 어려우며, 검사가 중간에 종료되는 경우도 발생된다. 또한, 대장 내 용종 등은 숙련된 검사자가 즉시 발견하여 처리할 수 있는 경우도 있으나, 그렇지 않은 경우 내시경 영상을 사후 분석해야 발견되는 경우도 있다.

이렇듯 내시경 검사는 검사자의 주관적인 숙련도에 의해 좌우되는 품질요소들이 다수 존재하며, 이는 내시경 검사의 신뢰도와 정확도를 떨구는 요인이 된다.

본 발명은 상기한 바와 같은 문제점을 해결하고자 안출된 것으로, 검사자의 주관적 요소들을 보완할 수 있도록 하는 실시간 분석이 가능한 학습 기반의 소화관 내시경 영상 정보 분석 서비스를 제공하여, 내시경 검사의 신뢰도와 정확도를 향상시키고, 정밀의료를 지원할 수 있는 서비스 제공 장치 및 그 방법을 제공하는 데 그 목적이 있다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 내시경 영상 정보 분석 서비스 제공 장치에 있어서, 사전 학습 데이터에 기초하여 내시경 영상 정보에 대응하는 학습 모델을 구축하는 학습 데이터 구축부; 상기 학습 데이터에 따라 생성되는 하나 이상의 학습 모델들을 이용하여, 내시경 장치로부터 수신되는 실시간 영상 정보를 분석하는 분석 처리부; 및 상기 분석 처리부의 분석 결과를 가공하여, 상기 실시간 영상 정보에 대응하는 리포팅 정보를 사용자 단말 또는 관리자 단말로 제공하는 리포팅 처리부를 포함하고, 상기 분석 처리부는, 상기 실시간 영상 정보를 상기 학습 모델 중 하나 이상의 예측 모델에 적용하고, 이벤트 발생에 따라 특정 프레임 구간에서의 소화관 병변 확률 정보를 분석하며, 상기 리포팅 처리부는 상기 특정 프레임 구간의 영상 정보와 상기 소화관 병변 확률 정보를 포함하는 리포팅 정보를 상기 사용자 단말 또는 관리자 단말로 제공한다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 사전 학습 데이터에 기초하여 내시경 영상 정보에 대응하는 학습 모델을 구축하는 단계; 상기 학습 데이터에 따라 생성되는 하나 이상의 학습 모델들을 이용하여, 내시경 장치로부터 수신되는 실시간 영상 정보를 분석하는 단계; 및 상기 분석 처리부의 분석 결과를 가공하여, 상기 실시간 영상 정보에 대응하는 리포팅 정보를 사용자 단말 또는 관리자 단말로 제공하는 단계를 포함하고, 상기 분석하는 단계는, 상기 실시간 영상 정보를 상기 학습 모델 중 하나 이상의 예측 모델에 적용하고, 이벤트 발생에 따라 특정 프레임 구간에서의 소화관 병변 확률 정보를 분석하는 단계를 포함하고, 상기 제공하는 단계는, 상기 특정 프레임 구간의 영상 정보와 상기 소화관 병변 확률 정보를 포함하는 리포팅 정보를 상기 사용자 단말 또는 관리자 단말로 제공하는 단계를 포함한다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로 구현될 수 있고, 상기한 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 판독 가능한 기록 매체에 기록되는 컴퓨터 프로그램으로 구현될 수 있다.

본 발명의 실시 예에 따르면, 실시간 분석이 가능한 학습 알고리즘 기반 내시경 영상 정보 분석 서비스를 제공할 수 있어 검사자의 주관적 요소들을 보완할 수 있을 뿐만 아니라, 검사자에 대한 객관적인 숙련도 평가 및 추가 학습 데이터 생성을 가능하게 하여, 내시경 검사의 신뢰도와 정확도를 향상시키고, 정밀의료를 지원할 수 있는 서비스 제공 장치 및 그 방법을 제공할 수 있다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.
도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 4 내지 도 5는 분석 처리부의 예측 모델에 기초한 소화관의 병변 분석 프로세스를 설명하기 위한 도면들이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블록도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.

먼저, 도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 시스템은, 내시경 영상 분석 서비스를 제공하는 서비스 제공 장치(100)와, 서비스 이용에 따른 분석 정보를 제공받아 출력하는 하나 이상의 사용자 단말(200)과, 내시경 영상 정보를 출력하는 내시경 장치(400)와, 서비스 정보를 관리하는 관리자 단말(300)을 포함할 수 있다.

먼저, 각 서비스 제공 장치(100), 사용자 단말(200), 관리자 단말(300) 및 내시경 장치(400)는, 통신 네트워크를 통해 유선 또는 무선으로 형성되는 서비스 네트워크로 구성될 수 있다.

이를 위해, 서비스 제공 장치(100), 사용자 단말(200), 관리자 단말(300) 및 내시경 장치(400)는, 상호 통신을 위한 통신 네트워크에 접속하기 위한 하나 이상의 통신 모듈을 구비할 수 있다.

통신 네트워크는 예를 들어, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network;WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크로 구현될 수 있다. 또한, 통신 네트워크는 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), 와이파이(Wi-Fi), LTE(Long Term Evolution) 등과 같은 모든 종류의 무선 네트워크로도 구현될 수 있다. 필요에 따라서, 통신 네트워크는 유선 및 무선이 혼용된 네트워크일 수 있다.

이와 같은 구성에 있어서, 서비스 제공 장치(100)는 서비스 등록된 사용자 단말(200)과의 데이터 송수신을 처리할 수 있으며, 관리자 단말(300)에 의해 설정 및 구축된 학습 데이터에 따라, 내시경 장치(400)의 실시간 영상 정보를 분석 처리할 수 있다.

그리고, 서비스 제공 장치(100)는 분석 처리에 따라 생성된 리포팅 정보를 사용자 단말(200)로 전달할 수 있으며, 사용자 단말(200)에서는 리포팅 정보와 함께, 내시경 장치(400)의 실시간 영상 정보를 확인할 수 있다.

여기서, 상기 리포팅 정보는 디스플레이 장치 및 음성 출력 장치를 통해 출력될 수 있으며, 병면의 위치, 영역, 검출 소리 알림, 화면 깜빡임 알림, 리포트 형식으로 구성된 병면 유무 정보, 병변 영상 정보(연속된 병변 영상 프레임 등), 발견된 이물질 정보 등이 예시될 수 있다.

이러한 리포팅 정보에 따라, 사용자는 내시경 영상 정보에 대응하는 분석정보를 실시간으로 제공받을 수 있으며, 검사 상태를 객관적으로 파악할 수 있고, 숙련도에 따라서 시각적으로 인지하기 어려운 병변 등을 용이하게 검사할 수 있도록 하는 영상 분석 서비스를 제공받을 수 있다.

또한, 서비스 제공 장치(100)는 상기 리포팅 정보를 출력할 뿐만 아니라, 분석 결과에 따른 검사자의 검사 품질을 정량적으로 산출할 수도 있다. 정량적으로 산출된 검사 품질 정보는 관리자 단말(300)로 전달되어 서비스 관리에 이용될 수 있다.

그리고, 서비스 제공 장치(100)는 분석된 결과 데이터로부터 학습 모델의 정확도 향상에 기여할 수 있는 추가 학습 데이터를 추출할 수 있으며, 이러한 학습 데이터는 사전 생성되어 있는 학습 데이터 구축부의 사전 학습 모델에 재적용되어 정확도 및 효율을 향상시키는 추가 학습이 이루어지도록 한다.

이러한 분석 결과 정보, 학습 데이터 및 리포팅 정보는 서비스 제공 장치(100) 내부 또는 외부의 데이터베이스에 저장될 수 있으며, 서비스 제공 장치(100) 또는 관리자 단말(300)에 의해 관리될 수 있다.

특히, 서비스 제공 장치(100)는 학습 데이터를 구축하는 학습 데이터 구축부와, 분석 처리를 수행하는 분석 처리부와, 분석 정보를 가공하여 사용자 단말(200)로 제공하는 리포팅 처리부를 포함할 수 있다.

보다 구체적으로, 서비스 제공 장치(100)의 분석 처리부는 내시경 장치(400)로부터 입력되는 영상 신호에서 환자의 개인 정보는 익명화 전처리할 수 있도록 하며, 이를 위해 장치에 따른 분석 영역을 내시경 영상 정보에 대응하여 각각 설정할 수 있다.

여기서, 익명화된 전처리된 영상은 프레임(frame)간 시간차이(frame1, frame3, frame 5처럼 시간차 입력)를 가질 수 있으며, 원형큐(circular queue)로 구성된 버퍼(buffer)에 별도 저장되도록 처리될 수 있다.

학습 데이터 구축부는 사전 학습 데이터에 의해 사전 생성된 복수의 분석 모델을 병렬로 구축할 수 있으며, 분석 처리부에서 익명화 전처리된 영상 데이터가 입력되면 이에 대응하는 학습 모델의 인공지능 처리 결과 데이터를 출력할 수 있다.

예를 들어, 학습된 제1 모델은 실시간으로 전처리된 영상데이터의 병변을 검출하여 그 결과 정보를 출력할 수 있다.

이에 따라, 리포팅 처리부는 결과 정보를 리포팅 화면 인터페이스로 가공하여, 사용자 단말(200)로 제공할 수 있다.

또한, 분석 처리부는 내시경 영상 데이터 중 자세한 병변의 분석이 필요한 특정 시간 구간을 판별할 수 있으며, 판별된 시간 구간에 대응하여 버퍼에 저장된 영상들을 학습된 제2 모델에 입력하여 결과를 예측하는데 이용할 수도 있다.

리포팅 처리부는 예측에 이용된 영상들의 학습 모델 적용에 따른 예측 분석 결과에 대응하여, 평균, 표준 편차, 최대/최소 그래프와 함께 상기 버퍼에 저장된 영상들을 타일(tile) 형태로 나타내고 각 영상의 예측값을 화면에 표시하는 화면 인터페이스를 사용자 단말(200)로 제공할 수 있다.

도 2는 본 발명의 실시 예에 따른 서비스 제공 장치(100)를 보다 구체적으로 도시한 블록도이다.

도 2를 참조하면, 먼저 학습 데이터 구축부는 모델링 처리부와 고도화 샘플 마이닝부를 포함할 수 있으며, 분석 처리부는 분석 리포팅 엔진과, 학습 모델 처리부를 포함할 수 있다.

모델링 처리부는 사전 학습 데이터에 기초하여, 하나 이상의 학습 모델을 구축한다.

이를 위해, 모델링 처리부는 데이터 익명화 처리부, 데이터 태깅 처리부 및 학습 데이터 모델링부를 포함할 수 있다.

데이터 익명화 처리부는 사전 학습 데이터의 개인정보를 제거하고, 모델에 따른 필요 영역 학습 데이터만을 추출하여 데이터 태깅 처리부로 전달한다.

데이터 태깅 처리부는, 학습 데이터에 대응하는 레이블링과 같은 태깅 처리를 수행할 수 있다. 태깅 처리는 학습 알고리즘에 따라 관리자에 의해 태깅 정보가 직접 할당되는 처리를 포함하거나, 사전 결정된 분류 기준에 의해 자동 할당되는 처리가 수행될 수도 있다.

그리고, 학습 데이터 모델링부는 실시간 내시경 영상 분석에 필요한 하나 이상의 학습 모델을 모델링 처리한다. 여기서, 각 학습 모델들은 분석 처리부의 학습 모델 처리부로 제공될 수 있으며, 분석 처리부는 각 학습 모델에 기초한 실시간 영상 정보의 학습 기반 분석을 수행할 수 있다.

여기서, 상기 학습 모델은 복수 개 생성되어 하나의 실시간 내시경 영상에 대하여 병렬적으로 처리될 수 있는 바, 보다 신속하고 빠른 영상 처리를 가능하게 한다. 이를 위한 학습 모델은 예를 들어, 병변을 직접 검출하는 병변 검출 모델, 영상으로부터 추출된 특징부의 형태를 분류 및 분석하는 유형 분석 모델, 검사자의 품질을 정량적으로 산출하는 품질 관리 모델 등이 예시될 수 있다.

이에 따라, 분석 처리부는, 실시간 내시경 영상을 분석하는 분석 리포팅 엔진을 통해 학습 모델 기반의 영상 분석 및 리포팅을 수행할 수 있다.

여기서, 영상 처리 모듈은 영상의 입력, 버퍼 저장, 학습 모델 처리부로의 제공, 분석 결과의 제공 및 관리를 수행할 수 있으며, 영상 보정 모듈은 영상의 틀어짐이나 확대, 축소와 같은 부분적 보정을 수행할 수 있다.

그리고, 분석 결과는 분석 결과 저장 모듈에 저장될 수 있으며, 리포팅 처리부로 전달될 수 있다. 여기서, 리포팅 처리부는 분석 결과를 사용자 단말(200) 또는 관리자 단말(300)용으로 각각 가공하여 필요한 리포팅 정보를 각 사용자 단말(200) 또는 관리자 단말(300)로 실시간 전송할 수 있다.

또한, 리포팅 처리부에서 가공된 리포팅 정보는 실시간 분석 뿐만 아니라, 로그 정보와 같은 히스토리 데이터 형태로 구성되어 사후 분석에 이용될 수도 있다.

이에 따라, 본 발명의 실시 예에 따른 서비스 제공 장치(100)는 내시경 영상의 실시간 분석을 가능하게 할 뿐만 아니라, 사후 학습 데이터 구축 및 검사 품질 관리를 가능하게 하는 데이터베이스를 구축할 수 있는 바, 활용가능한 영역이 학습 기반으로 확장될 수 있다.

특히, 본 발명의 실시 예에 따른 서비스 제공 장치(100)는 고도화 샘플 마이닝부를 포함할 수 있는 바, 고도화 샘플 마이닝부는 학습 모델 기반의 분석 처리에 있어서 분석이 어려운 고도화 샘플들을 추출할 수 있으며, 그 중 선별된 고도화 학습 데이터는 모델링 처리부로 전달되어 학습 모델의 정확도 향상에 이용되도록 처리될 수 있다.

이를 위해, 고도화 샘플 마이닝부는 신규 학습 데이터의 익명화 전처리를 수행하는 데이터 익명화 처리부, 신규 데이터의 분석정보를 획득하는 신규 데이터 분석보 및 고도화 데이터를 선별하는 고도화 데이터 선별부를 포함할 수 있다.

도 3은 본 발명의 실시 예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 먼저 서비스 제공 장치(100)는 미리 수집된 내시경 영상 데이터로부터 전처리 및 분류에 따라 학습 데이터를 구축한다.

그리고, 서비스 제공 장치(100)는 사전 학습 데이터 기반의 내시경 영상분석 모델을 생성한다.

이후, 서비스 제공 장치(100)는 내시경 장치(400)로부터 수신되는 실시간 영상정보를 상기 모델 기반으로 분석 및 보정하여, 리포팅 데이터를 생성한다.

이후, 서비스 제공 장치(100)는 생성된 리포팅 데이터를 가공하여 사용자 단말(200)로 실시간 내시경 영상의 분석 서비스를 제공하며, 여기서 리포팅 데이터는 실시간 영상 정보에 매칭되어 저장 및 관리될 수 있다.

한편, 서비스 제공 장치(100)는 분석 데이터로부터 영상분석 모델링 고도화용 샘플 데이터를 선별할 수 있으며, 이를 이용하여 신규 학습 데이터를 구축할 수 있는 바, 이러한 프로세스는 앞서 설명한 고도화 샘플 마이닝부의 동작에 의하여 처리될 수 있다.

도 4 내지 도 5는 분석 처리부의 예측 모델에 기초한 소화관의 병변 분석 프로세스를 설명하기 위한 도면들이다.

도 4 내지 도 5를 참조하면, 본 발명의 실시 예에 따른 분석 처리부는, 학습 데이터 구축부에서 제공되는 하나 이상의 학습 모델에 기초하여, 소화관 내시경 검사에 있어서 의심이 되는 병변(tumor)을 검출할 수 있고, 검출 정보를 리포팅 처리부로 전달할 수 있다.

기존의 실시간 소화관 내시경 검사에서 프레임(frame) 단위로 영상을 분석하여 결과를 확인할 때에는 특정 구간에서 같은 예측 결과를 출력하지 않고 결과가 frame 단위로 바뀌면서 나타날 수 있는 바, 이 결과는 노이즈(noise)와 같아서 특정 병변을 진단하는데 어려움이 있을 수 있다.

이에 따라 본 발명의 실시 예에 따른 분석 처리부는 특정 구간에서의 분류 결과를 분석하고, 그 결과를 리포팅 처리부를 통해 가공하여 화면에 나타내 진단을 보조하게 할 수 있다. 또한, 리포팅 처리부는 병변의 영역을 함께 세그먼테이션(segmentation)하여 자세한 형태를 디스플레이를 통해 출력할 수 있다.

이를 위해, 분석 처리부는 소화관 내시경 영상 중 최근 영상을 버퍼에 저장할 수 있으며, 특정 순간에 버퍼의 영상을 예측 모델에 적용하여 예측 결과를 획득하고, 상기 예측 결과에 따른 결과값을 연산하여 리포팅 처리부로 전달할 수 있다. 리포팅 처리부는, 결과값으로부터, 평균, 표준 편차와 같은 수치연산에 따른 예측 리포팅 정보를 가공하여 사용자 단말(200)의 화면 인터페이스를 통해 상기 영상과 함께 출력할 수 있다.

보아 구체적으로, 분석 처리부는 분석에 사용할 영상을 저장할 버퍼의 크기를 지정할 수 있으며, 원형큐(Circular Queue)와 같은 형태로 영상을 버퍼에 저장할 수 있도록 한다.

그리고, 버퍼 저장된 영상은 분석이 필요한 시점에 예측 모델에 입력하여 예측 결과를 얻고, 리포팅 처리부로 전달할 수 있다. 그리고, 리포팅 처리부는 예측 결과로부터 획득된 평균, 표준 편차, 그리고 버퍼에 저장된 영상을 타일(tile) 형태로 가공하여, 각 영상의 예측 결과 화면에 함께 표시하도록 하는 리포팅 정보를 생성하고, 생성된 리포팅 정보를 사용자 단말(200)로 출력할 수 있다.

이에 대하여, 도 4에 도시된 바와 같이, 각 동영상에서 프레임 단위로 입력되는 영상은 학습 데이터 구축부에 의해 사전 생성 및 제공된 예측 모델로 입력될 수 있다. 분석 처리부는 예측 결과 중 자세한 분석이 필요한 부분 프레임에 대응하는 이벤트 발생을 판단하고, 버퍼로부터 추출되는 부분 프레임 영상을 별도 저장할 수 있다. 여기서, 상기 예측 모델은 다양한 예측 대상에 따른 복수의 병렬 모델로 구성될 수 있으며, 각 모델에서 추출되는 결과들의 평균 값에 따라 최종 결과 확률이 산출될 수 있다.

이에 따라, 사용자 단말(200)의 화면에는 버퍼에 저장된 영상들과 확률 정보가 나타날 수 있으며, 예측 값은 정밀 진단을 위한 보조 정보로서 활용될 수 있다.

도 5는 본 발명의 실시 예에 따른 병렬 모델 기반 학습 프로세스를 나타내는 것으로, 정지영상에서 학습된 모델을 사용하여 동영상 데이터의 프레임의 병변을 추론할 때 발생가능한 확률 노이즈를 최소화시킬 수 있다.

도 5에 도시된 바와 같이, 레이트 퓨전(late fusion)과 얼리 퓨전(Early Fusion) 방식을 병합하여 구성한 시간 시리즈 퓨전 모듈(time series fusion module)을 구성하고, 정지영상의 학습모델을 컨볼루선 처리한 모델과 과거 N개 프레임 결과 중 신뢰도가 높은 프레임들을 적용하여 병변 검출에 이용함으로써, 확률 노이즈를 최소화하고 검출 정밀도를 향상시킬 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (3)

1. 내시경 영상 정보 분석 서비스 제공 장치에 있어서,
   사전 학습 데이터에 기초하여 내시경 영상 정보를 분석하기 위하여 다양한 예측 대상에 따른 복수의 병렬 모델을 포함하는 학습 모델을 구축하는 학습 데이터 구축부;
   상기 학습 데이터에 따라 생성되는 하나 이상의 학습 모델들을 이용하여, 내시경 장치로부터 수신되는 실시간 영상 정보를 분석하는 분석 처리부; 및
   상기 분석 처리부의 분석 결과를 가공하여, 상기 실시간 영상 정보에 대응하는 리포팅 정보를 사용자 단말 또는 관리자 단말로 제공하는 리포팅 처리부를 포함하고,
   상기 분석 처리부는, 실시간 동영상에서 프레임 단위로 입력되는 영상을 상기 학습 데이터 구축부에 의해 사전 생성 및 제공된 예측 모델에 적용하여 분석하고, 예측 결과 중 자세한 분석이 필요한 부분 프레임에 대응하는 이벤트 발생를 발생시켜 버퍼로부터 추출되는 부분 프레임 영상을 별도 저장하며, 상기 복수의 병렬 모델에서 추출되는 결과들의 평균 값에 따라 특정 프레임 구간에서의 소화관 병변 확률 정보를 분석하며,
   상기 리포팅 처리부는 상기 특정 프레임 구간의 영상 정보와 상기 소화관 병변 확률 정보를 포함하는 리포팅 정보를 상기 사용자 단말 또는 관리자 단말로 제공하는
   내시경 영상 정보 분석 서비스 제공 장치.
2. 제1항에 있어서,
   상기 리포팅 처리부는,
   상기 병변 확률 정보와 상기 특정 프레임 구간의 영상 정보를 타일(tile) 형태로 가공하여, 각 영상의 예측 결과 화면에 함께 표시하도록 하는 리포팅 정보를 생성하는
   내시경 영상 정보 분석 서비스 제공 장치.
3. 제1항에 있어서,
   상기 분석 처리부는,
   레이트 퓨전(late fusion)과 얼리 퓨전(Early Fusion) 방식을 병합하여 구성한 타임 시리즈 퓨전 모듈(time series fusion module)을 구성하고,
   상기 타임 시리즈 퓨전 모듈과, 정지영상의 학습모델을 컨볼루션 처리한 모델 및 과거 N개 프레임 결과 중 신뢰도가 높은 프레임들을 이용하여 병변 검출을 수행하는
   내시경 영상 정보 분석 서비스 제공 장치.

Images