KR20240065711A - 이미지 수득의 최적 조건 자동 유도 특징을 갖는 의료영상의 광학적 병리진단 시스템 - Google Patents

Abstract

본 발명은 병변을 검출하고 광학적 병리 진단의 보조를 수행할 수 있는 시스템 및 방법에 관한 것으로, 더욱 구체적으로는 병변 진단을 위한 이미지의 획득 방법 전환을 적시에 제안 또는 유도하여 고확신도의 광학적 병리 진단 결과를 확보할 수 있는 시스템 및 방법에 관한 것이다.
본 발명의 일실시예에 따르면, 인공지능 기반 진단모델이 탑재되어 의료 영상을 통해 병변의 진단을 보조하는 진단 시스템에 있어서, 상기 의료 영상을 통해 획득된 병변 이미지를 기반으로 한 진단 성능의 신뢰도를 검증하기 위하여 활성화되며, 증강기법을 적용한 다중의 이미지를 상기 진단모델에 입력하여 안정성 여부를 반환하는 신뢰도 검증모드; 그리고 상기 신뢰도 검증모드에서 반환되는 안정성이 언스테이블(불안정)인 경우 진단 성능의 신뢰도를 강화하기 위하여 활성화되며, 동일 병변에 대해 변경된 조건에 의한 이미지 재획득을 유도하는 신뢰도 강화모드를 포함하는 진단 시스템 또는 진단 보조 시스템을 제공할 수 있다.

Description

이미지 수득의 최적 조건 자동 유도 특징을 갖는 의료영상의 광학적 병리진단 시스템{Optical pathological diagnosis system with automatic guidance of optimal image data acquisition}

본 발명은 병변을 검출하고 광학적 병리 진단의 보조를 수행할 수 있는 시스템 및 방법에 관한 것으로, 더욱 구체적으로는 병변 진단을 위한 이미지의 획득 방법 전환을 적시에 제안 또는 유도하여 고확신도의 광학적 병리 진단 결과를 확보할 수 있는 시스템 및 방법에 관한 것이다.

의학적 목적으로 인체의 내부를 영상화하여 진단 및 처치에 사용되는 데이터 형태를 의료영상이라 하며, MRI(magnetic resonance imaging) 영상, CT(computerized tomography) 영상, X-ray 영상, 초음파 영상, PET(positron emission tomography) 영상 등이 있다.

비방사적 의료영상 기법으로서 위장관 내시경 영상이 많이 사용된다. 위장관 내시경은 선단부에 렌즈가 있으며 조절부까지 이어지는 긴 광섬유를 통해 대장 혹은 위로 진입하여 그 내부를 관찰할 수 있다. 위장관 내시경은 구불구불한 구조의 내장을 지나갈 수 있도록 연성으로 이루어지며, 주로 소화기암의 전구체가 되는 용종을 검출하는 용도로 사용하게 된다.

질환을 가진 인체에서 병터가 있는 그 부위 또는 비정상적인 조직 변성 또는 그 증거를 병변이라 한다. 따라서, 내시경 영상을 통해서 병변을 검출할 수 있으며 이는 광학적 진단의 일례라 할 수 있다.

검체 채취 이후 체외에서 실시한 조직 검사를 통한 병변의 악성 여부를 판단하는 방법을 병리적 진단이라 하며, 이와는 달리 연성 내시경을 통해 육안으로 보이는 병변의 표면 광학 특성을 통해 병변의 검출 시점에 즉시 악성 여부에 대한 진단을 하는 방법을 광학적 진단이라 한다. 따라서, 광학적 진단은 높은 숙련도를 요하는 동시에 병증 예방률을 높이기 위해 반드시 높은 정확도를 확보해야 하는 진단 방법이다. 특히, 위장관 내에 발생한 용종의 광학적 병리 진단은 용종을 검출한 이후에 이루어지며, 용종 표면의 특징을 자세히 파악하기 위해 용종을 접사하여 관찰하게 된다.

실시간 검진이 이루어지는 비방사성 의료 영상 검사 방식에서는 특히, 높은 접근성과 많은 시행빈도 수로 인해 의료진의 수행 피로도 경감과 오검출율에 대한 보완 수요가 상당하다. 그 중에서도 위장관 내시경 검진은 시술자의 숙련도에 따라 발견율의 편차가 크다고 할 수 있다. 이로 인해, 수진자가 받는 의료 품질에 차이를 가져오게 되고, 이러한 한계에 대한 극복방안이 필요하다고 할 수 있다.

이에 대한 방안으로 인공지능 기반의 병변 검출 및 진단 보조 시스템의 개발이 세계적으로 이루어지고 있으나, 기개발 시스템들이 아직 실시간으로 병리적 진단을 대체할 만큼 실용적 기술과 성능을 만족하지 못한 것이 실정이다.

본 발명은 기본적으로 종래의 내시경 시스템 또는 진단 보조 시스템의 문제를 해결하고자 함을 목적으로 한다.

본 발명의 일실시예를 통해, 효율성 및 효과성이 향상되고 실용성과 현장 적용 가능성이 높은 진단 보조 시스템 및 이의 제어방법을 제공하고자 한다.

본 발명의 일실시예를 통해, 기존의 의료 장비 또는 시스템에 용이하게 적용 또는 연동할 수 있는 진단 보조 시스템의 제어방법을 제공하고자 한다. 즉 범용성을 갖춘 임베딩 가능 제어방법을 제공하고자 한다.

본 발명의 일실시예를 통해, 고확신도의 광학적 병리 진단 결과를 반환하여 사용자의 수행 피로도 경감 및 오검출율을 매우 효과적으로 보완하여 수진자에게 보다 양질의 의료 서비스를 제공할 수 있는 진단 보조 시스템 및 이의 제어방법을 제공하고자 한다.

전술한 목적을 이루기 위하여, 본 발명의 일실시예에 따르면, 인공지능 기반 진단모델이 탑재되어 의료 영상을 통해 병변의 진단을 보조하는 진단 시스템에 있어서, 상기 의료 영상을 통해 획득된 병변 이미지를 기반으로 한 진단 성능의 신뢰도를 검증하기 위하여 활성화되며, 증강기법을 적용한 다중의 이미지를 상기 진단모델에 입력하여 안정성 여부를 반환하는 신뢰도 검증모드; 그리고 상기 신뢰도 검증모드에서 반환되는 안정성이 언스테이블(불안정)인 경우 진단 성능의 신뢰도를 강화하기 위하여 활성화되며, 동일 병변에 대해 변경된 조건에 의한 이미지 재획득을 유도하는 신뢰도 강화모드를 포함하는 진단 시스템을 제공할 수 있다.

상기 신뢰도 검증모드에서 반환되는 안정성(stability)이 스테이블(stable, 안정)인 경우 해당하는 진단 결과가 반환될 수 있다.

상기 증강기법을 적용하기 위한 메타특징(meta-feature)은 이미지의 크기, 밝기 대비비, 위치, 그리고 병변 표면의 정보량 중 어느 하나일 수 있다.

의료 영상을 통해 획득된 병변 이미지를 그대로 진단모델에 입력하는 경우, 획득된 병변 이미지의 상태에 따라 진단 결과가 달라지거나 또는 진단 결과의 신뢰도가 저하될 수 있다. 따라서, 메타특징을 이용하여 증강된 이미지들을 진단모델에 입력하여 진단 결과의 신뢰도를 높일 수 있다.

상기 신뢰도 강화모드에서, 상기 복수 개의 메타특징 각각에 대해서 증강된 이미지들을 상기 진단모델에 입력하여 안정성 여부가 반환될 수 있다.

상기 복수 개의 메타특징은 순차적으로 우선순위를 갖고 신뢰도가 판단되며, 선 순위에서 신뢰도가 검증되면 후 순위에 대한 신뢰도 판단은 배제될 수 있다. 따라서, 안정성이 검증되면 바로 진단 결과가 반환될 수 있다. 진단 결과가 불필요하게 지연되어 반환되는 것을 방지할 수 있다.

또한, 입력 안정성의 검증은 복수 개의 메타특징들 모두를 통해서 순차적으로 수행함으로써, 불필요하게 이미지 재획득이 수행되어 결과적으로 진단 결과의 반환이 지연되는 것을 방지할 수 있다. 물론, 메타특징들을 모두 적용함에도 불구하고 안정성이 검증되지 않는다면, 고확신의 진단 결과를 반환하기 위한 이미지 재획득은 필수적으로 수행됨이 바람직할 것이다.

상기 진단 시스템은 기본적인 병변 진단 기능뿐만 아니라 상기 증강기법이 미적용된 일반적 분포의 병변 이미지를 학습하고 학습 결과를 반환하는 진단모델 학습모드를 포함할 수 있다. 따라서, 학습하고 진화하는 인공 지능이 적용된 시스템을 제공할 수 있다.

상기 신뢰도 강화모드에서, 상기 변경된 조건은 기적용된 메타특징 각각에 따라 달리 결정되는 최적 조건인 것이 바람직하다.

상기 신뢰도 강화모드에서, 상기 메타특징이 이미지의 크기 또는 밝기의 대비비인 경우, 상기 최적 조건에 해당하는 이미지의 크기 또는 밝기의 대비비를 확보하기 위하여, 이미지를 재획득하기 위한 내시경 선단부와 병변 사이의 거리가 달라지게 유도할 수 있다. 물론, 내시경의 광원을 통한 광량 조절을 유도할 수도 있으며, 거리 조절과 광량 조절을 유도할 수도 있다. 많은 경우, 내시경 시스템에서 광량을 자동 제어하기 때문에 선단부와 병변 사이의 거리 조절 유도에 의해서, 거리 조절 및 광량 조절이 함께 유도될 수 있다.

상기 신뢰도 강화모드에서, 상기 메타특징이 이미지의 위치 또는 병변 표면의 정보량인 경우, 상기 최적 조건에 해당하는 이미지의 위치 및 정보량을 확보하기 위하여, 이미지 재획득을 위한 내시경 선단부의 병변 관찰 각도가 달라지게 유도함이 바람직하다.

상기 신뢰도 강화모드에서 새로 획득된 이미지를 기반으로 상기 신뢰도 검증모드가 재활성화됨이 바람직하다. 즉, 보다 적합 조건에 의해 획득된 이미지를 이용함으로써 고확신도를 갖는 진단 결과가 반환될 수 있을 것이다.

전술한 목적을 이루기 위하여, 본 발명의 일실시예에 따르면, 내시경으로부터 내시경 영상을 입력받는 단계; 상기 입력된 내시경 영상에서 병변부 이미지를 획득하는 단계; 상기 획득된 병변 이미지를 기반으로 한 진단 성능의 신뢰도를 판단하기 위하여 증강기법을 적용한 다중의 이미지를 진단모델에 입력하여 안정성 여부를 반환하는 신뢰도 검증단계; 그리고 상기 신뢰도 검증단계에서 반환되는 안정성(stability)이 언스테이블(unstable, 불안정)인 경우, 진단 성능의 신뢰도를 강화하기 위하여 동일 병변에 대해 변경된 조건에 의한 이미지 재획득을 유도하는 신뢰도 강화단계를 포함하는 병변 진단 보조 시스템의 제어방법이 제공될 수 있다.

상기 신뢰도 검증단계에서 반환되는 안정성(stability)이 스테이블(stable, 안정)인 경우 해당하는 진단명 또는 시술자에게 알림을 줄 수 있는 소리 또는 박스 형태의 시각적 알람을 반환하는 것이 바람직하다.

상기 신뢰도 강화단계에서 재획득된 이미지를 기반으로 상기 신뢰도 검증단계가 다시 수행됨이 바람직하다.

상기 증강기법을 적용하기 위한 메타특징(meta-feature)은 이미지의 크기, 밝기 대비비, 위치, 그리고 병변 표면의 정보량 중 어느 하나이며, 상기 변경된 조건은 기적용된 메타특징 각각에 따라 달리 결정되는 최적 조건인 것이 바람직하다.

상기 신뢰도 강화단계에서, 상기 메타특징이 이미지의 크기 또는 밝기의 대비비인 경우, 상기 최적 조건에 해당하는 이미지의 크기 또는 밝기의 대비비를 확보하기 위하여, 이미지를 재획득하기 위한 내시경 선단부와 병변 사이의 거리 조절 및 광원장치의 광량 조절을 유도함이 바람직하다. 따라서, 시술자는 유도 내지는 안내되는 사항을 반영하여 내시경 선단부와 병변 사이의 거리를 최적으로 맞춘 후 이미지를 용이하게 재획득할 수 있다.

상기 신뢰도 강화단계에서, 상기 메타특징이 이미지의 위치 또는 병변 표면의 정보량인 경우, 상기 최적 조건에 해당하는 이미지의 위치 및 정보량을 확보하기 위하여, 이미지 재획득을 위한 내시경 선단부의 병변 관찰 각도가 달라지게 유도함이 바람직하다. 따라서, 시술자는 유도 내지는 안내되는 사항을 반영하여 내시경 선단부의 병변 관찰 각도를 최적으로 맞춘 후 이미지를 용이하게 재획득할 수 있다. 여기서, 병변 관찰 각도를 증가시키는 것은 병변 표면에 더욱 수직에 가까운 각도로 병변 이미지를 획득할 수 있음을 의미한다. 또한, 병변 관찰 각도를 증가시키는 것은 전체 의료 영상 내에서 병변이 더욱 중앙에 가깝게 위치한 상태에서 병변 이미지를 획득할 수 있음을 의미한다.

전술한 목적을 이루기 위하여, 본 발명의 일실시예에 따르면, 내시경으로부터 내시경 영상을 입력받는 단계; 상기 입력된 내시경 영상에서 병변부 이미지를 획득하는 단계; 그리고 상기 획득된 병변 이미지를 기반으로 인공지능 진단모델을 통해 진단명을 반환하는 진단단계를 포함하여 이루어지며, 상기 진단단계는, 초기 획득된 병변 이미지에 대해 메타특징을 이용하여 증강된 이미지를 상기 진단모델에 입력하는 신뢰도 검증 진단단계; 그리고 상기 신뢰도 검증 진단단계에서 반환되는 안정성이 불안정인 경우, 동일 병변에 대해 변경된 조건에 의해 재획득된 이미지에 대해 메타특징을 이용하여 증강된 이미지를 상기 진단모델에 입력하는 신뢰도 강화 진단단계를 포함하는 병변 진단 보조 시스템의 제어방법이 제공될 수 있다

상기 이미지의 증강에 적용한 메타특징(meta-feature)은 이미지의 크기, 밝기 대비비, 위치, 그리고 병변 표면의 정보량 중 어느 하나임이 바람직하다.

상기 신뢰도 검증 진단단계에서 적용된 메타특징이 이미지의 크기 또는 밝기의 대비비인 경우, 상기 신뢰도 강화 진단단계에서는, 최적 조건에 해당하는 이미지의 크기 또는 밝기의 대비비를 확보하기 위하여, 이미지를 재획득하기 위한 내시경 선단부와 병변 사이의 거리가 달라지게 유도할 수 있다.

상기 신뢰도 검증 진단단계에서 적용된 메타특징이 이미지의 위치 또는 병변 표면의 정보량인 경우, 상기 신뢰도 강화 진단단계에서는, 상기 최적 조건에 해당하는 이미지의 위치 및 정보량을 확보하기 위하여, 이미지 재획득을 위한 내시경 선단부의 병변 관찰 각도가 달라지게 유도할 수 있다.

본 발명의 일실시예를 통해, 효율성 및 효과성이 향상되고 실용성과 현장 적용 가능성이 높은 진단 보조 시스템 및 이의 제어방법을 제공할 수 있다.

본 발명의 일실시예를 통해, 기존의 의료 장비 또는 시스템에 용이하게 적용 또는 연동할 수 있는 진단 보조 시스템의 제어방법을 제공하고자 한다. 즉 범용성을 갖춘 임베딩 가능 제어방법을 제공할 수 있다.

본 발명의 일실시예를 통해, 고확신도의 광학적 병리 진단 결과를 반환하여 사용자의 수행 피로도 경감 및 오검출율을 매우 효과적으로 보완하여 수진자에게 보다 양질의 의료 서비스를 제공할 수 있는 진단 보조 시스템 및 이의 제어방법을 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 진단 시스템을 간략하게 도시한 개념도이며,
도 2는 본 발명의 일실시예에 따른 진단 시스템의 구성도이며,
도 3은 본 발명의 일실시예에 따른 진단 시스템의 제어 플로우이며,
도 4는 내시경 영상에서 병변 이미지를 취득하기 위한 방법이 표시된 화면의 일례이며,
도 5는 본 발명의 일실시예에 적용될 수 있는 신뢰도 강화부를 간략하게 도시하고 있는 개념도이며,
도 6은 크기 또는 밝기를 적합 조건으로 이미지의 재획득을 유도하는 화면의 일례이며,
도 7은 신뢰도 강화부에서 병변의 위치 또는 표면 정보량을 적합 조건으로 이미지의 재획득을 유도하는 화면의 일례이며,
도 8은 표면 특징 정보량 정량화 후 최적방향으로 제어를 유도하는 기념이 도시되어 있다. 개념을 도시한 개념도이다.

이하에서는 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 진단 시스템 및 진단 방법에 대해 상세히 설명한다.

도 1은 본 발명의 일실시예에 따른 진단 시스템을 간략하게 도시한 개념도이다.

도시된 바와 같이, 본 발명의 일실시예에 따른 진단 시스템은 이미지 취득부 내지는 이미지 획득부, 신뢰도 검증부 그리고 신뢰도 강화부를 포함할 수 있다.

이미지 획득부는 의료 영상에서 병변을 검출하고 병변 이미지를 획득하기 위한 구성이다. 의료 영상에서 AI 기반 검출모델이 병변을 검출하고 자동적으로 병변 이미지를 획득할 수 있다.

신뢰도 검증부는 획득된 병변 이미지를 통해 진단을 수행하기 전 진단 성능의 신이하에서는 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 진단 시스템 및 진단 방법에 대해 상세히 설명한다.

도 1은 본 발명의 일실시예에 따른 진단 시스템을 간략하게 도시한 개념도이다.

도시된 바와 같이, 본 발명의 일실시예에 따른 진단 시스템은 이미지 취득부 내지는 이미지 획득부, 신뢰도 검증부 그리고 신뢰도 강화부를 포함할 수 있다.

이미지 획득부는 의료 영상에서 병변을 검출하고 병변 이미지를 획득하기 위한 구성이다. 의료 영상에서 AI 기반 검출모델이 병변을 검출하고 자동적으로 병변 이미지를 획득할 수 있다.

신뢰도 검증부는 획득된 병변 이미지를 통해 진단을 수행하기 전 진단 성능의 신뢰도를 검증하기 위한 구성이다. 병변 이미지에 대한 신뢰도를 검증하여 AI 기반 진단모델(35)에 입력하여 보다 신뢰성이 있는 진단 결과가 도출될 수 있다.

신뢰도 검증부를 통해서 획득된 병변 이미지가 최적 조건으로 획득되었는지 여부를 검토할 수 있다. 신뢰도 검증은 병변의 크기, 이미지의 밝기 대비비, 병변의 정위치 여부 그리고 표면의 정보량에 대한 인자 내지는 특징(feature)이 최적인 상태인지 검토함으로써 수행될 수 있다. 즉, 이러한 특징들이 최적 조건인 상태에서 병변 이미지가 획득되었는지 검증할 수 있다.

신뢰도 검증부는 획득된 이미지의 크기, 대비비, 객체 정위치 및 표면 특징 정보량의 정량화를 통해서 데이터 생성기가 증강기법을 수행하게 된다. 증강된 이미지들은 진단모델에 입력될 수 있다.

진단모델에서 반환된 결과에 따라 신뢰도가 검증되지 않은 경우 신뢰도 강화부가 활성화될 수 있다. 구체적으로 진단 유도 활성화가 수행된다. 즉, 새로운 이미지 획득을 유도하고, 이후 재획득된 이미지는 진단 모델 고확신도 강화부를 거치게 된다. 따라서, 신뢰도 강화부를 거쳐서 고확신을 갖는 진단 결과가 반환될 수 있다.

이하에서는 도 2를 참조하여 본 발명의 일실시예에 따른 진단 시스템에 대해서 보다 구체적으로 설명한다.

도 2는 본 발명의 일실시예에 따른 진단 시스템의 구성도이다.

설명의 편의상 진단 시스템은 내시경을 통한 진단 시스템을 일례로 하며, 특히 소화기 내시경을 통한 병변 진단 시스템 및 진단 방법을 일례로 한다.

진단 시스템(100)은 내시경(10)과 진단 컴퓨터(30)를 포함하여 이루어진다. 즉, 하드웨어로서 내시경(10)과 컴퓨터(30)를 포함하여 이루어질 수 있다. 물론, 일반적인 내시경 시스템과 마찬가지고 본 실시예에 따른 진단 시스템(100)은 내시경을 통한 영상을 디스플레이하는 모니터(20)를 포함할 수 있다.

내시경(10)은 수검자의 소화기관 내부로 삽입되어 내부 영상을 획득하게 된다. 내시경(10)의 선단부에 구비되는 카메라(11)와 조명(12)을 통해서 순차적으로 위장관 내부 전체에 대한 영상을 획득할 수 있다. 물론, 내시경 선단부의 이동은 시술자자가 조작부(13)를 조작함으로써 수행될 수 있다.

내시경(10)을 통해 획득되는 내시경 영상은 내시경 모니터(20)로 전송된다.

내시경(10)을 통해 획득되는 내시경 영상은 진단 컴퓨터(30)로 송신되며, 진단 컴퓨터(30)는 입력되는 내시경 영상을 기반으로 하여 병변에 대한 진단을 보조하게 된다. 병변에 대한 최종 진단은 시술자 또는 의료진이 수행하게 된다. 따라서, 진단 컴퓨터(20)는 최종 진단을 보조하기 위한 기능을 수행한다고 할 수 있다.

종래에는 내시경(10)을 통해 획득되는 내시경 영상이 내시경 모니터(20)의 디스플레이에 표시되고, 표시된 내시경 영상 내의 병변을 보고 시술자가 병변 진단을 수행하였다. 물론, 인공지능 기반 진단모델이 진단 컴퓨터(30) 내부에 탑재되고 병변 이미지를 진단모델에 입력하여 병변에 대한 진단명이 반환되는 병변 진단 보조 시스템이 제안된 바도 있다. 그러나, 전술한 바와 같이 제안된 보조 시스템은 아직 실시간으로 병리적 진단을 대체할 만큼 실용적 기술과 성능을 만족하지 못한 것이 실정이다.

이에 본 발명의 일실시예에 따르면, 종래 내시경 시스템 또는 진단 보조 시스템과 마찬가지로 하드웨어로서의 내시경 시스템(10, 20)과 컴퓨터(30)를 그대로 이용하되, 새로운 소프트웨어를 적용하여 최적의 진단 보조 성능을 만족할 수 있는 진단 보조 시스템 및 방법을 제시하고자 한다.

구체적으로, 진단 컴퓨터(30)는 GPU(31, graphics processing unit)를 포함하여 GPU 기반 워크스테이션임이 바람직하다. 진단 컴퓨터(30)는 디스플레이(32)와 UI(user interface) 또는 API(application programming interface)를 포함할 수 있다. 즉 사용자 인터페이스(33)를 통해서 병변 진단이 시작될 수 있으며 진단 결과가 출력될 수 있다.

디스플레이(32)는 현재 내시경 영상을 표시할 뿐만 아니라 다양한 정보를 표시할 수 있다. 일례로, 병변 진단이 수행되는 경우 어느 단계가 수행 중인지 여부 등에 대한 정보도 표시할 수 있다. 또한, 병변 진단을 위해서 현 단계에서 시술자가 수행해야 할 조치를 알릴 수도 있다.

사용자 인터페이스(33)는 다양하게 구비될 수 있으며, 디스플레이(32) 또한 사용자 인터페이스 중 하나일 수 있다. 시술자가 디스플레이(32)에 표시된 특정 메뉴를 터치하여 병변 진단을 시작할 수도 있으며, 디스플레이(32)를 통해 시술자에게 특정 입력 내지 조작을 요청할 수도 있을 것이다.

진단 컴퓨터(30)는 병변 진단을 위해 내시경(10)에서 모니터(20)로 송출하는 영상 신호를 입력받는다. 물론, 내시경(10)은 모니터(20)로 송출하는 영상 신호와 동일한 신호(일례로 복사한 신호)를 진단 컴퓨터(30)로 입력할 수 있다.

이미지 획득부(34)를 포함할 수 있다. 이미지 획득부(34)는 내시경 영상에서 병변부에 대한 이미지를 획득하도록 구비될 수 있다.

진단 컴퓨터(30)는 인공지능 기반으로 병변 입력되면 해당하는 병변 진단을 반환하는 진단모델(35)을 포함할 수 있다.

본 실시예에서는 단순한 병변 이미지를 그대로 이용하지 않고 증강기법을 통해 증강된 이미지들을 이용할 수 있다. 이를 위해서, 진단 컴퓨터(30)는 데이터 생성기(36)을 포함할 수 있다.

본 실시예에서는 입력되는 병변 이미지의 신뢰도 검증 및 반환되는 진단결과의 신뢰도 검증을 위한 신뢰도 검증부(37) 또는 신뢰도 검증모듈이 구비됨이 바람직하다. 아울러, 본 실시예에서는 입력되는 병변 이미지의 신뢰도 강화 및 반환되는 진단결과의 신뢰도 강화를 위한 신뢰도 강화부(38) 또는 신뢰도 강화모듈이 구비됨이 바람직하다.

신뢰도 검증과 강화에 대한 구성 및 방법에 대해서는 이하 진단 시스템의 제어 플로우를 통해서 더욱 상세히 설명한다.

도 3은 본 발명의 일실시예에 따른 진단 시스템의 제어 플로우이다.

내시경 모니터(20) 또는 진단 시스템의 디스플레이(32)를 통해 시술자는 의료 영상을 보면서 병변 유무를 관찰하게 된다. 일례로 내시경 모니터(20)를 통해 시술자가 병변을 발견하는 경우, 병변 진단을 시작할 수 있다. 이 때, 내시경 영상이 진단 시스템(30)으로 입력될 수 있다. 즉, 기본적으로 병변이 나타나는 내시경 영상이 입력(S10)됨으로써 진단 플로우가 시작될 수 있다.

도 4에 도시된 바와 같이, 시술자는 내시경 영상(40) 내의 병변부에 박스 표시를 하면서 병변 진단을 시작할 수도 있다. 시술자는 폭(width)과 높이(height)를 갖는 사각형 형태를 생성하여 박스 내에 병변부가 위치하도록 할 수 있다. 박스 표시를 위해서 UI로서 마우스 형태의 구성이 포함될 수 있다.

물론, 이러한 박스 표시는 병변 탐지에 특화된 객체 검출 기능을 통해서 자동으로 생성될 수 있다.

박스가 형성되면, 이미지 획득부(34)는 실시간으로 병변부의 이미지 내 좌표를 획득하고 패치(patch) 이미지(50)를 수집(S30)하게 된다. 시간 순으로 패치 이미지를 복수 개 획득함이 바람직하다. 패치 이미지(50)는 병변을 둘러싸는 박스를 둘러싸도록 형성된다. 따라서 병변부와 주변부를 포함하여 생성될 수 있다.

본 실시예에서는 상기 패치 이미지(50)를 이용하여 병변 검출 내지는 진단을 수행할 수 있다. 보다 구체적으로 인공지능 기반 진단모델(35)을 통해서 병변 진단을 수행할 수 있다.

종래의 진단 보조 시스템은 획득된 병변 이미지를 진단모델(35)에 직접 입력하여 진단 결과가 반환되도록 하였다. 따라서, 특정 이미지에 대해서는 신뢰성이 있는 진단 결과가 반환되는 경우도 있지만, 다른 특정 이미지에 대해서는 신뢰성이 있는 진단 결과가 반환되지 못하는 경우도 많다. 즉, 실시간으로 병리적 진단을 대체할 만큼 실용적 기술과 성능을 만족할 수 없었다.

이에 본 발명의 일실시예에 따르면, 입력되는 이미지 및 반환되는 진단 결과의 신뢰도를 검증하기 위한 신뢰도 검증단계(S40)가 수행될 수 있다. 신뢰도 검증단계는 신뢰도를 검증하기 위한 모드일 수 있으며, 신뢰도 검증부(37)를 통해 수행될 수 있다.

즉, 본 실시예에 따르면, 단순히 획득된 병변 이미지 자체를 진단모델(35)에 입력하지 않고, 병변 이미지에 대한 신뢰도를 검증하여 진단모델(35)에 입력하여 보다 신뢰성이 있는 진단 결과(S60)가 도출되도록 하였다.

본 발명의 일실시예에 따르면, 신뢰도 검증부(37)는 이미지 획득부(34)에서 검출한 이미지를 진단모델(35)에 직접 입력하기 이전에 입력 데이터의 신뢰도 검증을 수행하여 신뢰도를 판단할 수 있다.

전술한 바와 같이, 광학적 병리진단은, 의료 영상에서 병변을 검출한 후 이를 지속적으로 관찰하면서, 조직 검사를 통한 병리 진단 이전에도 가시적인 특징들을 기반으로 조직학적 병리 결과를 추측하는 것이다. 내시경의 경우, 가시적인 특징에는 병변의 융기와 함몰의 정도, 표면 무늬의 패턴과 분포, 색상과 같은 명시적인 특징들이 있다. 이러한 특징의 관찰을 용이하게 만들어줄 수 있는 접사의 정도, 화면에서의 병변의 포착 위치가 정중앙에 놓여있는지 여부, 주변 점막과의 밝기 대비비 그리고 주변 점막과의 색상 차이와 같은 암시적인 특징들이 있다.

예를 들어, 특정 병변이 특정 병리 결과의 가시적인 특징을 정확하게 가질 수 있다. 즉, 특정 병변은 특정 병리 결과와 정확하게 일치하는 병변의 융기와 함몰 정조, 표면 무늬의 패턴과 분포 그리고 색상을 가질 수 있다. 즉, 병변의 가시적인 특징만을 가지고도 정확하게 특정 병리 결과와 대응될 수 있다.

그러나, 이러한 가시적인 특징이 정확하게 이미지로 획득되지 못할 수 있다. 즉, 정확하게 특정 병리 결과와 매칭되는 병변이라 하더라도 부정확 내지는 저신뢰도의 암시적인 특징들로 인해, 획득된 이미지를 통해서 높은 신뢰도의 특정 병리 결과가 도출되기 어렵다고 할 수 있다.

결국, 광학적 병리 진단을 높은 신뢰도로 수행하기 위해서는 하나 이상의 가시적인 특징을 나타낼 수 있는 최적 조건을 검토하고, 최적 조건이 확보되지 않은 경우에는 부가적으로 광학적 병리 진단의 확신도를 높이는 것이 매우 중요하다. 다시 말하면, 미흡했던 최적 조건이 확보되도록 유도하여 최적 조건을 갖는 병변 이미지가 획득되도록 하여 신뢰도를 강화하여 최종적으로 병리 진단의 신뢰도를 높이는 것이 바람직하다.

본 실시예에서는, 먼저 가시적인 특징들이 나타나는 최적 조건을 검토하기 위한 신뢰도 검증부(37)를 포함할 수 있다. 즉, 획득된 병변 이미지가 최적 조건으로 획득되었는지 여부를 검토할 수 있다.

여기서, 신뢰도 검증부(37)는 병변 이미지(50)의 신뢰도를 검증하기 위한 일련의 검증모드 또는 검증 프로세서일 수 있다. 또한, 이러한 검증을 수행하는 검증모듈일 수 있다.

신뢰도 검증은 병변의 크기, 이미지의 밝기 대비비, 병변의 정위치 여부 그리고 표면의 정보량에 대한 인자 내지는 특징(feature)이 최적인 상태인지 검토함으로써 수행될 수 있다. 즉, 이러한 특징들이 최적 조건인 상태에서 병변 이미지가 획득되었는지 검증할 수 있다.

구체적으로, 신뢰도 검증은 각각의 인자에 대한 증강기법(augmentation)을 적용한 다중의 이미지를 진단모델(35)에 입력함으로써 수행될 수 있다. 즉, 신뢰도 검증의 인자는 크기, 밝기 대비, 위치 그리고 표면 조직 패턴 중 적어도 어느 하나를 포함할 수 있다. 물론, 이러한 복수 개의 인자들이 모두 사용될 수 있으며, 더욱 구체적으로는 우선순위를 갖고 복수 개의 인자들이 순차적 그리고 실시간으로 사용될 수도 있다. 증강기법은 데이터 생성기(meta-feature-wise data generator, 36)를 통해 수행될 수 있다.

예를 들어, 전체 이미지의 크기 대비하여 적절한 크기의 패치인지 검토할 수 있다. 다시 말하면, 증강기법을 이용하여 크기 변화에 대한 다중의 패치 이미지를 생성하여 이를 진단모델(35)에 입력할 수 있다. 진단모델(35)의 평가 결과가 크기 변화에 대한 다중의 이미지 전반에 대해서 큰 차이가 없다면 높은 신뢰도로 획득 이미지라 할 수 있다. 크기가 작은 병변의 이미지를 입력할 때와 마찬가지로 동일 병변에 대해 크기를 크게 증강한 이미지를 입력할 때에도 진단모델이 동일한 분류 결과를 반환할 수 있다. 이 경우 높은 신뢰도로 획득되었다고 정의할 수 있으며, 이를 스테이블(stable, 안정)이라 평가할 수 있다. 이와 반대로 다양한 크기로 증강된 이미지 각각에서 진단모델의 평가 결과가 달라진다면 낮은 신뢰도로 획득된 이미지, 즉 언스테이블(untable, 불안정)이라 평가할 수 있다. 결국, 획득된 패치 자체가 전체 이미지의 크기 대비하여 적절하지 못한 크기를 갖는 패치이기 때문에 언스테이블 결과가 반환된 것이라 할 수 있다.

즉, 신뢰도 검증부(37)는 취득된 병변 이미지 즉 패치 이미지(50)에 대하여 가시적은 특징(feature)을 기반으로 증강된 이미지들을 진단모델(35)에 입력하여 반환되는 안정성에 따라 신뢰도를 검증하게 된다.

한편, 적절하지 못한 크기의 패치이지만 다른 인자를 통해서 스테이블 결과가 반환될 수 있다. 즉, 증강기법을 이용하여 적절한 밝기 대비비를 가진 패치인지 검토할 수 있다. 증강기법을 이용하여 밝기 대비비 변화에 대한 다중의 패치 이미지를 생성하여 이를 진단모델(35)에 입력할 수 있다. 마찬가지 방법으로 스테이블 결과가 반환되거나 언스테이블 결과가 반환될 수 있다. 이때, 언스테이블 결과는 획득된 패치 자체가 적절하지 못한 밝기 대비비를 가졌다는 것을 의미한다.

또한, 적절하지 못한 밝기 대비비를 갖는 패치이지만 또 다른 인자를 통해서 스테이블 결과가 반환될 수 있다. 즉, 증강기법을 이용하여 이미지 내의 좌표가 영상 내의 적절한 위치인지를 검토할 수 있다. 증강기법을 이용하여 좌표 변화에 대한 다중의 패치 이미지를 생성하여 이를 진단모델(35)에 입력할 수 있다. 마찬가지 방법으로 스테이블 결과가 반환되거나 언스테이블 결과가 반환될 수 있다. 이때, 언스테이블 결과는 획득된 패치 자체가 적절하지 못한 위치였다는 것을 의미한다.

마지막으로, 부적절한 위치에서 획득된 패치이지만 또 다른 인자를 통해서 스테이블 결과가 반환될 수 있다. 즉, 증강기법을 이용하여 표면의 조직 패턴을 얻을 수 있도록 적절한 각도로 이미지가 획득된 것인지 검토할 수 있다.

진단모델(35)은 일차적으로는 입력된 다중 이미지를 통해 안정성(stability)를 반환하도록 구비된다. 즉, 스테이블인지 언스테이블인지를 구분하여 반환하게 된다. 여기서, 반환된 안정성이 스테이블인 경우 해당되는 진단 결과가 반환될 수 있다. 다시 말하면, 진단모델(35)은 반환된 안정성이 스테이블인 경우 이차적으로는 매우 높은 신뢰도를 갖는 진단 결과(S60)가 반환하도록 구비된다.

따라서, 신뢰도 검증부(37) 내지 신뢰도 검증단계(S50)는 의료 영상을 통해 획득된 병변 이미지를 기반으로 한 진단 성능의 신뢰도를 검증하기 위하여 활성화되며, 증강기법을 적용한 다중의 이미지를 진단모델에 입력하여 안정성 여부를 반환하는 기능을 수행하게 된다.

그러나, 반환된 안정성이 언스테이블일 때 진단모델(35)이 강제적으로 진단 결과를 반환하는 경우에는 진단 결과의 신뢰도가 낮을 수밖에 없다. 따라서, 진단 결과의 반환을 보류하는 것이 바람직하다.

즉, 반환 결과의 안정성 여부를 판단(S50)하고 판단 결과에 따라 진단 결과 변환(S60) 또는 신뢰도 강화단계(S70)를 수행할 수 있다. 신뢰도 강화단계(S60)에서 반환된 신뢰도가 불안정한 경우에 활성화되어 수행됨이 바람직하다.

구체적으로, 진단 시스템(30)은 진단모델(35)이 언스테이블을 반환하는 경우 신뢰도를 강화하기 위한 신뢰도 강화부(38)를 더 포함할 수 있다. 물론, 상기 신뢰도 강화부(38)는 진단모델(35)이 스테이블을 반환하는 경우 진단 결과를 반환하는 기능 또한 수행할 수 있다. 다시 말하면, 신뢰도 강화부(38)는 스테이블인 경우 진단 결과를 그대로 반환하고 언스테이블인 경우 스테이블로 전환되도록 신뢰도를 강화한 후 진단 결과를 반환하도록 구비될 수 있다.

크기, 밝기 대비비, 위치 그리고 표면 패턴이라는 복수 개의 특징(feature)을 통한 신뢰도 검증은 다양하게 이루어질 수 있다.

보다 구체적으로, 신뢰도 검증에서 언스테이블 결과가 나온 경우에는 획득된 이미지를 통해서는 신뢰도가 높은 진단 결과가 반환될 수 없다는 것을 의미한다. 따라서, 동일 병변에 대해 새로운 이미지를 획득하여야 함을 알 수 있다. 그러나, 이전 이미지와 동일한 형태 내지는 동일한 방법으로 새로운 이미지를 획득하는 경우 마찬가지로 동일하게 언스테이블 결과가 나올 수 있다.

따라서, 신뢰도 강화부(38)는 최적 조건으로 새로운 이미지가 획득될 수 있도록 유도하는 것이 바람직하다. 즉, 시술자가 종전과는 달리 특정한 형태 내지는 방법(즉 변경된 조건)으로 새로운 이미지를 획득하도록 유도하는 것이 바람직하다. 다시 말하면, 신뢰도 강화부는 적합 조건을 기반으로 확신도 높은 광학적 병리 진단 결과를 유도할 수 있는 새로운 이미지가 획득되도록 할 수 있다.

따라서, 신뢰도 강화모드 내지는 신뢰도 강화단계(S70)가 활성화되면, 종래와 유사하게 동일한 병변에 대한 새로운 이미지 획득 과정을 반복 수행할 수 있다. 물론, 이미지 재획득은 초기 이미지 획득과 구분되어 신뢰도 강화단계(S70)의 일부분이라 할 수도 있을 것이다.

전술한 바와 같이, 신뢰도 강화가 요구되는 경우는 신뢰도 검증에서 낮은 신뢰도로 인한 언스테이블이 반환되는 경우이다. 신뢰도 검증 인자는 크기, 밝기 대비비, 위치 및 표면 특성 중 어느 하나라 할 수 있다. 따라서, 신뢰도 강화부(38)는 언스테이블의 원인이 되는 특징이 무엇인지 파악하여 최적 조건을 유도할 수 있다. 다시 말하면, 각각의 언스테이블 원인에 대응되는 적합 조건을 파악하고, 최적 조건으로 새로운 이미지가 획득되도록 유도함이 바람직하다.

도 5는 본 발명의 일실시예에 적용될 수 있는 신뢰도 강화부를 간략하게 도시하고 있는 개념도이다.

새로운 이미지의 획득이 수행된 후, 신뢰도 강화부에 포함되는 각각의 유도방법론이 선택적으로 적용되며, 이에 따른 신뢰도 강화가 수행된 후 진단결과가 반환될 수 있다.

신뢰도 강화부(38)는, 크기를 원인으로 하는 언스테이블인 경우, 적합 크기를 회귀하고 고확신에 필요한 획득 크기를 유도할 수 있다. 즉, 신뢰도 강화부(38)는 병변의 최적 조건인 크기를 유도하기 위하여 객체의 포착 크기와 확신도의 경향성을 회귀분석을 통하여 더 높은 확신도를 제안하고 유도하는 기능을 포함할 수 있다.

신뢰도 강화부(38)는, 밝기 대비비를 원인으로 하는 언스테이블인 경우, 적합한 밝기 대비비 측정 후 최적 조건 제시 및 유도를 할 수 있다. 즉, 신뢰도 강화부(38)는 최적 조건인 밝기 대비비를 유도하기 위하여 객체의 포착된 밝기 대비비로 확신도의 경향성 회귀 분석을 통하여 더 높은 확신도를 제안하고 유도하는 기능을 포함할 수 있다.

신뢰도 강화부(38)는, 병변부의 영상 내에서의 위치를 원인으로 하는 언스테이블인 경우, 적합 위치를 제시 및 유도할 수 있다. 즉, 신뢰도 강화부(38)는 방사형 병변의 형상 왜곡에 치우침이 없도록 유도하여 더 높은 확신도로 개선할 수 있도록 유도하는 기능을 포함할 수 있다. 이는 병변부를 관찰하고 있는 영상 내에서의 위치를 중앙부로 유도함으로써 수행될 수 있다.

신뢰도 강화부(38)는, 병변부 표면 패턴을 원인으로 하는 언스테이블인 경우, 표면 패턴에 대해 더 많은 정보량을 얻을 수 있도록 유도할 수 있다. 즉, 신뢰도 강화부(38)는 병변에 조사되는 광원의 파장 및 기법에 따라 표면부와 경계부에서 얻을 수 있는 정보를 정량화할 수 있는 방안을 기준으로 최적 방향으로 유도할 수 있다. 이때, 정량화 방안으로는 이미지의 엔트로피 계산 등의 방법을 사용할 수 있다.

신뢰도 강화부(38)는 전술한 바와 같이 최적 조건으로 새로운 이미지가 획득될 수 있도록 유도할 수 있다. 이는 언스테이블의 원인에 따라 다른 형태로 새로운 이미지가 획득되도록 함을 의미한다.

따라서, 신뢰도 강화부(38) 내지 신뢰도 강화모드는 신뢰도 검증모드에서 반환되는 안정성이 언스테이블인 경우 진단 성능의 신뢰도를 강화하기 위하여 활성화된다고 할 수 있다. 또한, 신뢰도 강화는 동일 병변에 대해 변경된 조건에 의한 이미지 재획득을 유도하는 기능이라 할 수 있다.

구체적으로, 크기 또는 밝기 대비비로 인한 언스테이블인 경우, 신뢰도 강화부(38)는 병변부와 내시경 선단부와의 거리를 적절히 조절하도록 유도할 수 있다. 즉, 거리 조건이 변경되도록 유도할 수 있다. 내시경 선단부에는 카메라 렌즈와 광원이 구비되므로 선단부와 병변부 사이의 거리 조절에 의해 병변부 이미지의 크기 및 밝기 대비비가 조절될 수 있기 때문이다.

도 6은 고확신에 필요한 취득 크기를 유도하기 위한 일례를 도시하고 있다.

초기 이미지에서 박스의 크기가 작은 경우 박스를 더 키워 이미지를 획득하도록 유도하고 있다. 일례로 화살표와 같은 유도 표시(60)를 통해서 기획득된 이미지(50)와는 다른 이미지를 재획득하도록 유도할 수 있다. 따라서, 이러한 유도 표시를 시술자가 직관적으로 인지하고 취득 크기를 증가시켜 이미지를 용이하게 재획득할 수 있다. 초기 이미지에서 박스의 크기가 큰 경우에는 반대로 박스가 줄어드는 방향으로 유도할 수 있다.

이러한 유도 방식은 초기 이미지에서 밝기 대비비가 부적합 경우에도 동일하게 적용될 수 있다. 다만, 이미지 재획득 후 증강기법에 적용되는 특징은 서로 다르다고 할 수 있다.

따라서, 병변부 이미지의 크기가 작거나 밝기 대비비가 낮은 경우, 내시경 선단부가 보다 병변부에 가까운 상태에서 병변부 이미지가 생성되도록 유도할 수 있다. 즉, 신뢰도 강화부(39)는 병변부에 더욱 가까운 위치에서 병변부 이미지가 획득될 수 있도록 시술자에게 안내할 수 있다. 이러한 안내를 통해 시술자는 내시경을 조작하여 보다 적합 조건을 만족하는 병변부 이미지를 획득할 수 있다.

또한, 병변부 이미지 위치 또는 낮은 정보량으로 인한 언스테이블인 경우, 신뢰도 강화부(38)는 내시경 선단부를 통한 관찰각도를 달리 조절한 상태에서 병변부 이미지가 생성되도록 유도할 수 있다. 즉, 관찰 각도 조건이 변경되도록 유도할 수 있다. 다시 말하면, 신뢰도 강화부(38)는 병변부가 내시경 영상의 보다 중앙에 위치하고 보다 수직에 가까운 관찰 각도로 위치한 상태에서 병변부 이미지가 획득될 수 있도록 시술자에게 안내할 수 있다. 이러한 안내를 통해 시술자는 내시경을 조작하여 보다 적합 조건에 만족하는 병변부 이미지를 획득하도록 할 수 있다.

도 7은 고확신에 필요한 병변부의 정위치를 탐지하여 정위치로 유도하기 위한 일례를 도시하고 있다.

초기 이미지가 의료 영상에서 우측으로 치우쳐 있는 경우, 병변의 위치를 특정 이동시켜 이미지를 재획득하도록 유도하고 있다. 일례로 화살표와 같은 유도 표시(60)를 통해서 기획득된 이미지(50)와는 다른 이미지를 재획득하도록 유도할 수 있다. 따라서, 이러한 유도를 시술자가 인지하고 관찰 각도를 달리하여 이미지를 용이하게 재획득할 수 있다.

이러한 유도 방식은 초기 이미지에서 병변 표면 정보량이 부적합 경우에도 동일하게 적용될 수 있다. 다만, 이미지 재획득 후 증강기법에 적용되는 특징은 서로 다르다고 할 수 있다.

도 8은 표면 특징 정보량 정량화 후 최적방향으로 제어를 유도하는 기념이 도시되어 있다.

일례로 병변의 표면 특징은 도시된 바와 같이 대략 6개의 패턴으로 구분될 수 있다. 그리고 광원도 6개로 구분될 수 있다.

다중 적합조건을 측량하는 방법으로써, 병변 표면의 패턴에 초점을 맞추어 이미지를 취득하고 있는지 여부와 병변에 조사되는 광원의 파장 및 기법에 따라 표면부와 경계부에서 얻을 수 있는 정보를 정량화 할 수 있는 방안을 기준으로 더 많은 정보량을 얻을 수 있다. 즉, 병변 표면의 패턴과 광원에 따라 정보들을 도시된 일례와 같이 수식을 이용하여 정량화하여 이미지의 엔트로피 계산 등의 방법을 사용할 수 있다.

적합 조건 유도에 의해 새로 획득된 이미지는 각각의 특징을 기반으로 증강된 후 진단모델에 재입력될 수 있고, 이를 통해 신뢰도 상승 여부가 확인될 수 있다.

구체적으로는 신뢰도 강화가 수행되는 과정에서 신뢰도 검증(S40)이 재활성화될 수 있다. 재활성화되어 수행되는 신뢰도 검증은 마찬가지로 안정성 여부를 반환하게 된다.

보다 구체적으로, 신뢰도 강화부(38)는 초기 이미지에 대한 신뢰도에 비하여 유도 후 획득된 이미지에 대한 신뢰도의 차이를 통하여 신뢰도를 강화할 수 있다. 즉, 이전 신뢰도 검증에서의 안정성 수치와 이후 신뢰도 검증에서의 안정성 수치의 차이를 통해서 신뢰도를 강화할 수 있다. 결국, 초기 수행된 안정성 판단단계(S50)와는 달리 이후 재수행된 안정성 판단단계(S50)는 안정성 수치의 증감 여부를 통해 안정성 여부를 판단한다고 할 수 있다.

일례로, 초기 이미지에 대한 신뢰도가 90% 이하 또는 미만인 경우 언스테이블 결과가 반환될 수 있다. 이 경우, 유도 후 획득된 이미지가 진단모델(35)에 입력되며 신뢰도 강화부(38)에서는 반환되는 신뢰도의 증감을 확인하게 된다. 일례로, 유도 후 획득된 이미지에 대한 신뢰도가 이전 신뢰도에 비해 5% 이상 상승한 경우, 신뢰도 강화부(38)에서는 이전의 언스테이블을 스테이블로 변경하여 반환하게 된다. 그리고, 보다 높은 확신도로 진단명을 반환(S60)하게 된다.

여기서, 신뢰도 강화부(38)가 초기에 스테이블을 반환하거나 변경 후 스테이블을 반환하기 위해서는 신뢰도의 기준치는 90%를 초과하는 값일 수 있다. 즉, 어느 경우나 최종적으로 스테이블을 반환하기 위해서 신뢰도는 90%를 초과하는 값일 수 있다. 이때, 신뢰도의 수치는 상대적인 증감을 나타내는 일례이며 무차원 숫자로 표현될 수도 있을 것이다. 따라서, 스테이블 판단을 위한 신뢰도 기준치와 언스테이블에서 스테이블로 변환하기 위한 신뢰도 증가치는 예시된 바와는 다른 값을 갖거나 다른 형태로 표현될 수도 있을 것이다. 물론, 신뢰도 기준치와 신뢰도 증가치는 기설정됨이 바람직할 것이다.

한편, 유도 후 획득된 이미지에 대한 신뢰도 증가치가 5% 미만인 경우, 적합 조건 유도에 의해 새로 이미지가 획득될 수 있다. 이때, 적합 조건은 이전의 적합 조건과 상이할 수 있다. 즉, 이전 적합 조건은 병변부와 내시경 선단부의 거리인 경우, 이후 적합 조건은 관찰 각도일 수 있다. 물론, 이전 적합 조건이 관찰 각도인 경우 이후 적합 조건은 거리일 수 있다.

결국, 본 실시예에 따른 신뢰도 강화부(38)는 고확신도의 진단명을 반환하기 위하여 구비되며, 이를 위해서 적합 조건을 만족시키는 병변부 이미지를 획득하도록 시술자에게 안내하는 기능을 수행할 수 있다. 이때, 변경된 조건은 임의적이지 않고 기적용된 메타특징 각각에 따라 달리 결정되는 최적 조건을 의미하게 된다. 즉, 이전과 다른 이미지를 획득하도록 단순히 안내하는 것이 아니라 적합 조건(일례로 거리 조절 및/또는 관찰 각도)을 사용자에게 안내하여 이를 기반으로 새로운 이미지를 획득하도록 할 수 있다.

한편, 본 실시예에 따르면, 신뢰도 검증모드 및 신뢰도 강화모드뿐만 아니라 진단모델 학습모드를 포함할 수 있다.

진단모델 학습모드는 진단모델을 학습시켜 진단모델을 진화시키기 위한 것이라 할 수 있다. 학습모드에는 증강기법이 적용되지 않은 일반적 분포의 병변 이미지를 학습하도록 할 수 있다.

따라서, 본 실시예에 따른 진단 시스템은, 진단모델을 진화시키는 측면 그리고 신뢰도의 검증 및 강화를 통해, 최종적으로는 매우 높은 확신도를 갖는 진단 결과를 출력할 수 있을 것이다.

10 : 내시경 20 : 내시경 모니터
30 : 진단 컴퓨터 40 : 내시경 영상 화면
50 : 병변 패치 이미지

Claims (20)

1. 인공지능 기반 진단모델이 탑재되어 의료 영상을 통해 병변의 진단을 보조하는 진단 시스템에 있어서,
   상기 의료 영상을 통해 획득된 병변 이미지를 기반으로 한 진단 성능의 신뢰도를 검증하기 위하여 활성화되며, 증강기법을 적용한 다중의 이미지를 상기 진단모델에 입력하여 안정성 여부를 반환하는 신뢰도 검증모드; 그리고
   상기 신뢰도 검증모드에서 반환되는 안정성이 언스테이블(불안정)인 경우 진단 성능의 신뢰도를 강화하기 위하여 활성화되며, 동일 병변에 대해 변경된 조건에 의한 이미지 재획득을 유도하는 신뢰도 강화모드를 포함하는 진단 시스템.
2. 제1항에 있어서,
   상기 신뢰도 검증모드에서 반환되는 안정성이 스테이블(안정)인 경우 해당하는 진단 결과가 반환되는 것을 특징으로 하는 진단 시스템.
3. 제2항에 있어서,
   상기 증강기법을 적용하기 위한 메타특징(meta-feature)은 이미지의 크기, 밝기 대비비, 위치, 그리고 병변 표면의 정보량 중 어느 하나인 것을 특징으로 하는 진단 시스템.
4. 제3항에 있어서,
   상기 복수 개의 메타특징 각각에 대해서 증강된 이미지들을 상기 진단모델에 입력하여 안정성 여부가 반환됨을 특징으로 하는 진단 시스템.
5. 제4항에 있어서,
   상기 복수 개의 메타특징은 순차적으로 우선순위를 갖고 신뢰도가 판단되며, 선 순위에서 신뢰도가 검증되면 후 순위에 대한 신뢰도 판단은 배제됨을 특징으로 하는 진단 시스템.
6. 제3항에 있어서,
   상기 증강기법이 미적용된 일반적 분포의 병변 이미지를 학습하고 학습 결과를 반환하는 진단모델 학습모드를 포함함을 특징으로 하는 진단 시스템.
7. 제3항에 있어서,
   상기 신뢰도 강화모드에서,
   상기 변경된 조건은 기적용된 메타특징 각각에 따라 달리 결정되는 최적 조건인 것을 특징으로 하는 진단 시스템.
8. 제7항에 있어서,
   상기 신뢰도 강화모드에서,
   상기 메타특징이 이미지의 크기 또는 밝기의 대비비인 경우, 상기 최적 조건에 해당하는 이미지의 크기 또는 밝기의 대비비를 확보하기 위하여, 이미지를 재획득하기 위한 내시경 선단부와 병변 사이의 거리의 조절 또는 광원부에서 발생하는 광량의 조절을 통해 이미지 특징이 달라지게 유도함을 특징으로 하는 진단 시스템.
9. 제7항에 있어서
   상기 신뢰도 강화모드에서,
   상기 메타특징이 이미지의 위치 또는 병변 표면의 정보량인 경우, 상기 최적 조건에 해당하는 이미지의 위치 및 정보량을 확보하기 위하여, 이미지 재획득을 위한 내시경 선단부의 병변 관찰 각도가 달라지게 유도함을 특징으로 하는 진단 시스템.
10. 제7항에 있어서,
    상기 신뢰도 강화모드에서 새로 획득된 이미지를 기반으로 상기 신뢰도 검증모드가 재활성화됨을 특징으로 하는 진단 시스템.
11. 내시경으로부터 내시경 영상을 입력받는 단계;
    상기 입력된 내시경 영상에서 병변부 이미지를 획득하는 단계;
    상기 획득된 병변 이미지를 기반으로 한 진단 성능의 신뢰도를 판단하기 위하여 증강기법을 적용한 다중의 이미지를 진단모델에 입력하여 안정성 여부를 반환하는 신뢰도 검증단계;
    상기 신뢰도 검증단계에서 반환되는 안정성이 언스테이블(불안정)인 경우, 진단 성능의 신뢰도를 강화하기 위하여 동일 병변에 대해 변경된 조건에 의한 이미지 재획득을 유도하는 신뢰도 강화단계를 포함하는 병변 진단 보조 시스템의 제어방법.
12. 제11항에 있어서,
    상기 신뢰도 검증단계에서 반환되는 안정성이 스테이블(안정)인 경우 해당하는 진단명이 반환되는 것을 특징으로 하는 병변 진단 보조 시스템의 제어방법.
13. 제12항에 있어서,
    상기 신뢰도 강화단계에서 재획득된 이미지를 기반으로 상기 신뢰도 검증단계가 다시 수행됨을 특징으로 하는 병변 진단 보조 시스템의 제어방법.
14. 제13항에 있어서,
    상기 증강기법을 적용하기 위한 메타특징(meta-feature)은 이미지의 크기, 밝기 대비비, 위치, 그리고 병변 표면의 정보량 중 어느 하나이며, 상기 변경된 조건은 기적용된 메타특징 각각에 따라 달리 결정되는 최적 조건인 것을 특징으로 하는 병변 진단 보조 시스템의 제어방법.
15. 제14항에 있어서,
    상기 신뢰도 강화단계에서,
    상기 메타특징이 이미지의 크기 또는 밝기의 대비비인 경우, 상기 최적 조건에 해당하는 이미지의 크기 또는 밝기의 대비비를 확보하기 위하여, 이미지를 재획득하기 위한 내시경 선단부와 병변 사이의 거리가 달라지게 유도함을 특징으로 하는 병변 진단 보조 시스템의 제어방법.
16. 제14항에 있어서,
    상기 신뢰도 강화단계에서,
    상기 메타특징이 이미지의 위치 또는 병변 표면의 정보량인 경우, 상기 최적 조건에 해당하는 이미지의 위치 및 정보량을 확보하기 위하여, 이미지 재획득을 위한 내시경 선단부의 병변 관찰 각도가 달라지게 유도함을 특징으로 하는 병변 진단 보조 시스템의 제어방법.
17. 내시경으로부터 내시경 영상을 입력받는 단계;
    상기 입력된 내시경 영상에서 병변부 이미지를 획득하는 단계; 그리고
    상기 획득된 병변 이미지를 기반으로 인공지능 진단모델을 통해 진단명을 반환하는 진단단계를 포함하여 이루어지며,
    상기 진단단계는,
    초기 획득된 병변 이미지에 대해 메타특징을 이용하여 증강된 이미지를 상기 진단모델에 입력하는 신뢰도 검증 진단단계; 그리고
    상기 신뢰도 검증 진단단계에서 반환되는 안정성이 불안정인 경우, 동일 병변에 대해 변경된 조건에 의해 재획득된 이미지에 대해 메타특징을 이용하여 증강된 이미지를 상기 진단모델에 입력하는 신뢰도 강화 진단단계를 포함하는 병변 진단 보조 시스템의 제어방법.
18. 제17항에 있어서,
    상기 이미지의 증강에 적용한 메타특징(meta-feature)은 이미지의 크기, 밝기 대비비, 위치, 그리고 병변 표면의 정보량 중 어느 하나임을 특징으로 하는 병변 진단 보조 시스템의 제어방법.
19. 제18항에 있어서,
    상기 신뢰도 검증 진단단계에서 적용된 메타특징이 이미지의 크기 또는 밝기의 대비비인 경우,
    상기 신뢰도 강화 진단단계에서는, 최적 조건에 해당하는 이미지의 크기 또는 밝기의 대비비를 확보하기 위하여, 이미지를 재획득하기 위한 내시경 선단부와 병변 사이의 거리가 달라지게 유도함을 특징으로 하는 병변 진단 보조 시스템의 제어방법.
20. 제18항에 있어서,
    상기 신뢰도 검증 진단단계에서 적용된 메타특징이 이미지의 위치 또는 병변 표면의 정보량인 경우,
    상기 신뢰도 강화 진단단계에서는, 상기 최적 조건에 해당하는 이미지의 위치 및 정보량을 확보하기 위하여, 이미지 재획득을 위한 내시경 선단부의 병변 관찰 각도가 달라지게 유도함을 특징으로 하는 병변 진단 보조 시스템의 제어방법.

Images