KR20210015834A

KR20210015834A - 진단 지원 시스템, 진단 지원 방법 및 진단 지원 프로그램

Info

Publication number: KR20210015834A
Application number: KR1020207034672A
Authority: KR
Inventors: 가츠노리 사사키; 도모유키 와타나베
Original assignee: 스미또모 가가꾸 가부시키가이샤
Priority date: 2018-06-05
Filing date: 2019-05-29
Publication date: 2021-02-10
Also published as: JPWO2019235335A1; JP7349425B2; WO2019235335A1; US20210125332A1; CN112236832A

Abstract

객관적인 진단에 이바지하는 정보를 제공한다. 진단 지원 시스템(1)의 서버(20)는, 기계 학습에 의해 생성됨과 함께, 진단 대상이 찍힌 화상에 기초하는 정보를 입력하여 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 출력하는 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득부(21)와, 해석 대상의 화상을 취득하는 화상 취득부(22)와, 취득된 화상에 대하여 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산부(23)와, 연산부(23)에 의해 산출된 정보를 출력하는 출력부(24)를 구비한다.

Description

진단 지원 시스템, 진단 지원 방법 및 진단 지원 프로그램

본 발명은, 화상에 기초하는 진단에 관한 진단 지원 시스템, 진단 지원 방법 및 진단 지원 프로그램에 관한 것이다.

종래, 병리 조직의 검사(병리 진단) 분야에 있어서는, 슬라이드 글래스 상의 병리 표본을 전문의 병리학자가 현미경 하에서 관찰함으로써 진단이 행하여져 왔다. 당해 진단은 관찰한 병리학자 개인의 경험·지식에 크게 의존하는 주관적인 판정이다. 그 때문에, 객관적인 진단을 행하는 것은 곤란하다. 그래서 병리 진단 분야에서는, 어떤 병리학자의 진단 결과를 다른 병리학자가 평가·논평함으로써 주관적 판정의 리스크를 경감하는 피어 리뷰 제도가 취해져 왔다. 그러나, 모든 병리 진단 결과에 대하여 피어 리뷰를 실시하는 것은 극히 비효율적이다. 게다가, 피어 리뷰에 있어서의 최종 판정도 병리학자 간의 논의에 의해 이루어지기 때문에, 담당자 개인의 경험·지식·발언력에 크게 의존하는 결과가 된다. 따라서, 원리적으로 주관적 요소를 배제할 수는 없고, 객관적으로 병리 진단을 행하는 것은 곤란하였다.

한편, 기계 학습을 사용하여 화상에 기초하는 병리 진단을 자동화하는 시도가 행하여지고 있다(예를 들어, 특허문헌 1).

국제 공개 제2016/152242호

기계 학습을 사용한 병리 진단은, 병리 진단의 효율화에 이바지하지만, 객관적인 병리 진단을 행하기 위해서는, 기계 학습을 행하기 위한 콘센서스가 얻어진 대규모 학습 데이터(교사 데이터)를 수집할 필요가 있다. 이 학습 데이터 수집에는, 각 증례에 관한 병리학자 간에서의 대인 논의가 필요 불가결하여, 상술한 문제가 발생한다. 즉, 단순히 기계 학습을 사용하는 것만으로는, 주관적 요소의 배제는 용이하지 않고, 또한, 콘센서스가 얻어진 대규모 학습 데이터를 수집하는 것도 비현실적이다.

본 발명은, 상기에 감안하여 이루어진 것이고, 객관적인 진단에 이바지하는 정보를 제공할 수 있는 진단 지원 시스템, 진단 지원 방법 및 진단 지원 프로그램을 제공하는 것을 목적으로 한다.

본 발명의 일 실시 형태에 관한 진단 지원 시스템은, 기계 학습에 의해 생성됨과 함께, 진단 대상이 찍힌 화상에 기초하는 정보를 입력하여 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 출력하는 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득 수단과, 해석 대상의 화상을 취득하는 화상 취득 수단과, 화상 취득 수단에 의해 취득된 화상에 대하여, 학습 완료 모델 취득 수단에 의해 취득된 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산 수단과, 연산 수단에 의해 산출된 정보를 출력하는 출력 수단을 구비한다.

본 발명의 일 실시 형태에 관한 진단 지원 시스템에서는, 화상에 대하여, 개별적으로 생성된 복수의 학습 완료 모델에 기초하여 연산이 행하여져서 진단에 관한 하나의 정보가 산출된다. 산출되는 진단에 관한 하나의 정보로서는, 예를 들어 화상에 대한 진단 결과 자체를 나타내는 정보, 혹은 복수의 학습 완료 모델 간에서의 진단 결과의 분포를 나타내는 정보이다. 개개의 학습 완료 모델이 충분히 객관적인 것이 아니었다고 해도, 이렇게 복수의 학습 완료 모델을 사용하여 진단에 관한 하나의 정보를 산출함으로써, 산출하는 정보를 객관적인 진단에 이바지하는 것으로 할 수 있다. 즉, 본 발명의 일 실시 형태에 관한 진단 지원 시스템에 의하면, 객관적인 진단에 이바지하는 정보를 제공할 수 있다.

연산 수단은, 화상 취득 수단에 의해 취득된 화상에 기초하는 정보를, 학습 완료 모델 취득 수단에 의해 취득된 복수의 학습 완료 모델 각각에 입력하여, 복수의 학습 완료 모델 각각으로부터 출력되는 진단 결과를 나타내는 정보로부터, 진단에 관한 하나의 정보를 산출하는 것으로 해도 된다. 이 구성에 의하면, 적절하고 또한 확실하게 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출할 수 있다. 그 결과, 확실하고 또한 적절하게 객관적인 진단에 이바지하는 정보를 제공할 수 있다.

진단 지원 시스템은, 기계 학습에 사용하는 학습 데이터인, 진단 대상이 찍힌 화상 및 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 취득하여, 취득한 학습 데이터인 화상에 기초하는 정보를 입력값으로 함과 함께 취득한 학습 데이터인 진단 결과를 나타내는 정보를 출력값으로 하여 기계 학습을 행하여 학습 완료 모델을 생성하는 학습 완료 모델 생성 수단을 더 구비하고, 학습 완료 모델 취득 수단은, 학습 완료 모델 생성 수단에 의해 생성된 학습 완료 모델을 취득하는 것으로 해도 된다. 이 구성에 의하면, 개개의 학습 완료 모델을 생성할 수 있고, 적절하고 또한 확실하게 본 발명의 일 실시 형태를 실시할 수 있다.

학습 완료 모델 취득 수단은, 신경망을 포함하는 복수의 학습 완료 모델을 취득하는 것으로 해도 된다. 이 구성에 의하면, 학습 완료 모델을 적절한 것으로 할 수 있고, 적절하고 또한 확실하게 본 발명의 일 실시 형태를 실시할 수 있다.

그런데, 본 발명은 상기와 같이 진단 지원 시스템의 발명으로서 기술할 수 있는 것 외에, 이하와 같이 진단 지원 방법 및 진단 지원 프로그램의 발명으로서도 기술할 수 있다. 이것은 카테고리만 다른 것으로, 실질적으로 동일한 발명이고, 마찬가지의 작용 및 효과를 발휘한다.

즉, 본 발명의 일 실시 형태에 관한 진단 지원 방법은, 진단 지원 시스템의 동작 방법인 진단 지원 방법이며, 기계 학습에 의해 생성됨과 함께, 진단 대상이 찍힌 화상에 기초하는 정보를 입력하여 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 출력하는 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득 스텝과, 해석 대상의 화상을 취득하는 화상 취득 스텝과, 화상 취득 스텝에 있어서 취득된 화상에 대하여, 학습 완료 모델 취득 스텝에 있어서 취득된 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산 스텝과, 연산 스텝에 있어서 산출된 정보를 출력하는 출력 스텝을 포함한다.

또한, 본 발명의 일 실시 형태에 관한 진단 지원 프로그램은, 컴퓨터를, 기계 학습에 의해 생성됨과 함께, 진단 대상이 찍힌 화상에 기초하는 정보를 입력하여 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 출력하는 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득 수단과, 해석 대상의 화상을 취득하는 화상 취득 수단과, 화상 취득 수단에 의해 취득된 화상에 대하여, 학습 완료 모델 취득 수단에 의해 취득된 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산 수단과, 연산 수단에 의해 산출된 정보를 출력하는 출력 수단으로서 기능시킨다.

본 발명의 일 실시 형태에 의하면, 개개의 학습 완료 모델이 충분히 객관적인 것이 아니었다고 해도, 복수의 학습 완료 모델을 사용하여 진단에 관한 하나의 정보를 산출함으로써, 산출하는 정보를 객관적인 진단에 이바지하는 것으로 할 수 있다. 즉, 본 발명의 일 실시 형태에 의하면, 객관적인 진단에 이바지하는 정보를 제공할 수 있다.

도 1은, 본 발명의 실시 형태에 관한 진단 지원 시스템의 구성을 도시하는 도면이다.
도 2는, 본 발명의 실시 형태에 관한 진단 지원 시스템에서 실행되는 처리(진단 지원 방법)를 도시하는 시퀀스도이다.
도 3은, 본 발명의 실시 형태에 관한 진단 지원 프로그램의 구성을, 기록 매체와 함께 도시하는 도면이다.

이하, 도면과 함께 본 발명에 관한 진단 지원 시스템, 진단 지원 방법 및 진단 지원 프로그램의 실시 형태에 대하여 상세하게 설명한다. 또한, 도면의 설명에 있어서는 동일 요소에는 동일 부호를 붙이고, 중복하는 설명을 생략한다.

도 1에 본 실시 형태에 관한 진단 지원 시스템(1)을 도시한다. 진단 지원 시스템(1)은, 화상에 기초하는 진단을 지원하는 시스템(디지털 파솔로지 시스템)이다. 지원의 대상으로 되는 진단은, 병리 진단, 즉, 인체 등으로부터 채취된 병리 조직을 포함하는 병리 표본의 화상에 기초하는 병변의 유무 등의 진단이다. 진단 지원 시스템(1)에 의해, 어떻게 진단이 지원되는지에 대해서서는 후술한다.

도 1에 도시한 바와 같이 진단 지원 시스템(1)은, 복수의 PC(퍼스널 컴퓨터)(10)와, 서버(20)를 포함하여 구성된다. 본 실시 형태에 관한 진단 지원 시스템(1)은, 기계 학습에 의해 생성되는 학습 완료 모델을 사용하여 진단의 지원을 행한다.

PC(10)는, 기계 학습에 의해 학습 완료 모델을 생성하는 장치이다. PC(10)는, 예를 들어 진단을 행하는 병리학자, 병리의 등의 유저에 의해 사용된다. PC(10)는, 당해 유저의 퍼스널 시스템을 구성한다. 도 1에 도시한 바와 같이 PC(10)는, 복수의 유저마다 마련된다. PC(10)와 서버(20)는, 인터넷, 또는 전화망 등의 유선 또는 무선의 네트워크에 의해 접속되어 있고, 서로 정보의 송수신을 행할 수 있다.

서버(20)는, 복수의 PC(10) 각각에 의해 생성된 복수의 학습 완료 모델을 취득하여, 진단의 지원에 관한 정보 처리를 행하는 장치이다. 서버(20)는, 진단 지원 시스템(1)의 관리자 등에 의해 마련된다. 서버(20)는, 클라우드 시스템에 의해 구성되어 있어도 된다.

PC(10) 및 서버(20)는, CPU(Central Processing Unit), GPU(Graphics Processing Unit), 메모리, 통신 모듈, 그리고 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SDD)라고 하는 스토리지 디바이스 등의 하드웨어를 포함하는 컴퓨터에 의해 구성되어 있다. PC(10) 및 서버(20)의 후술하는 각 기능은, 이들 구성 요소가 프로그램 등에 의해 동작함으로써 발휘된다. 또한, PC(10) 및 서버(20)는, 복수의 컴퓨터를 포함하는 컴퓨터 시스템이어도 된다.

도 1에 도시한 바와 같이, PC(10)는, 본 실시 형태에 관한 기능으로서 학습 완료 모델 생성부(11)를 구비하여 구성된다. 또한, PC(10)는, 상기 이외의 통상의 PC가 구비하는 기능을 구비하고 있어도 된다. 학습 완료 모델 생성부(11)는, 프로세서 및 당해 프로세서에 의해 실행되었을 때에 당해 프로세서에 학습 완료 모델 생성부(11)의 기능을 실행시키는 명령을 기억하는 컴퓨터 판독 가능한 기록 매체에 의해 실현되어도 된다.

학습 완료 모델 생성부(11)는, 기계 학습에 사용하는 학습 데이터를 취득하고, 취득한 학습 데이터를 사용하여 기계 학습을 행하여 학습 완료 모델을 생성하는 학습 완료 모델 생성 수단이다. 학습 데이터는, 진단 대상이 찍힌 화상 및 당해 진단 대상에 대한 진단 결과를 나타내는 정보인 진단 정보를 포함한다. 진단 대상이 찍힌 화상은, 인체 등으로부터 채취된 병리 조직을 포함하는 병리 표본의 화상인 병리 조직 화상이다. 당해 화상은, 예를 들어 현미경에 접속된 카메라에서의 촬상에 의해 얻어진다. 학습 완료 모델 생성부(11)는, 예를 들어 PC(10)에 마련된 유저 인터페이스가 유저에 의해 조작되어서 상기와 같이 얻어진 화상을 학습 데이터로서 취득한다. 또한, PC(10)는, 버추얼 슬라이드 스캐너 등의 자동 촬영 장치에 접속되어 있고, 학습 완료 모델 생성부(11)는, 자동 촬영 장치에 의해 연속적으로 촬상된 다수의 화상을 취득해도 된다. 화상은, 학습 완료 모델의 입력에 대응하는 것이다.

학습 완료 모델 생성부(11)는, 기계 학습을 적절하게 행하기 위해서, 취득한 화상의 사이즈(예를 들어, 화상의 종횡 화소수)를 미리 설정한 사이즈로 통일하는, 즉, 정규화하는 것으로 해도 된다. 화상의 정규화는, 예를 들어 화상의 축소, 확대, 트리밍 등을 행함으로써 행하여진다. 또한, 학습 완료 모델 생성부(11)는, 취득한 화상에 대하여 콘트라스트의 조정, 색의 변경 및 포맷의 변경 등의 각종 처리를 행하는 것으로 해도 된다.

학습 데이터로서 사용하는 화상에 대해서는, PC(10)의 유저 등에 의해 사전 병리 진단이 이루어져 있다. 즉, 화상에 대하여 소정의 종별의 병변 유무(진단 종별)이 진단되어 있다. 학습 데이터로서의 진단 정보는, 예를 들어 당해 진단에 기초하는, 미리 설정된 종별의 병변 유무를 나타내는 정보이다. 진단 정보는, 구체적으로는, 병변이 있으면(이상이면) 1, 병변이 없으면(정상이면) 0의 2치의 정보로 된다. 또한, 학습 데이터로서의 진단 정보는, 복수의 종별의 병변에 대하여 병변의 유무를 나타내는 정보여도 된다. 이 경우, 진단 정보는, 예를 들어 미리 설정된 복수의 종별의 병변의 수 차원의 벡터이고, 병변이 있는 종별의 요소가 1로 되고, 병변이 없는 종별의 요소가 0으로 된다. 이러한 벡터인 진단 정보는, 유저 등에 의한 자유 기재된 진단명에 기초하여 생성될 수 있다. 진단 정보는, 학습 완료 모델의 출력에 대응하는 것이다. 학습 완료 모델 생성부(11)는, PC(10)에 마련된 유저 인터페이스가 유저에 의해 조작되어, 진단 정보를 학습 데이터로서 취득한다. 취득하는 진단 정보는, 진단원의 화상에 대응지어져 있다. 기계 학습을 행하기 위해서, 통상, 다수의 학습 데이터가 준비된다.

학습 완료 모델 생성부(11)에 의해 생성되는 학습 완료 모델은, 화상에 기초하는 정보를 입력하여, 진단 결과를 나타내는 정보를 출력하는, 즉, 진단 결과를 예측하는 모델이다. 예를 들어, 당해 학습 완료 모델은, 화상에 대한 병변의 유무를 나타내는 정보를 출력한다. 학습 완료 모델은, 신경망을 포함한다. 학습 완료 모델은, 컨벌루션 신경망을 포함하는 것이어도 된다. 또한, 학습 완료 모델은, 복수의 계층(예를 들어, 8층 이상)의 신경망을 포함하는 것이어도 된다. 즉, 딥 러닝에 의해 학습 완료 모델이 생성되어도 된다.

신경망은, 예를 들어 화상의 각 화소의 화소값을 입력하여, 병변의 유무를 나타내는 정보를 출력한다. 신경망의 입력층에는, 화상의 화소의 수분의 뉴런이 마련된다. 신경망의 출력층에는, 병변의 유무를 나타내는 정보를 출력하기 위한 뉴런이 마련된다. 예를 들어, 진단 대상의 병변이, 특정한 1개의 병변이라면, 출력층에는 당해 1개의 병변에 대응하는 1개의 뉴런이 마련된다. 진단 대상이 복수의 종별의 병변이라면(진단 정보가 상술한 벡터라면), 출력층에는 당해 복수의 병변에 대응하는 복수의 뉴런이 마련된다. 당해 뉴런의 출력값은, 학습 데이터의 진단 정보에 따른 값이고, 예를 들어 0 내지 1의 값이다. 이 경우, 뉴런의 값이 클수록(값이 1에 가까울수록), 병변이 있고(이상이고), 뉴런의 값이 작을수록(값이 0에 가까울수록), 병변이 없는(정상인) 것을 나타내고 있다.

학습 완료 모델 생성부(11)는, 취득한 화상의 각 화소값을 신경망으로의 입력값으로 함과 함께, 취득한 당해 화상에 대응하는 진단 정보를 신경망의 출력값으로 하여 기계 학습을 행하여 신경망을 생성한다. 화소값을 입력값으로 할 때에는, 각각의 화소(화상 상의 화소의 위치)에 대응지은 뉴런의 입력값으로 한다. 상기의 기계 학습 자체는, 종래의 기계 학습 알고리즘과 마찬가지로 행할 수 있다.

또한, 상기의 예에서는, 신경망으로의 입력값은, 화상의 화소값인 것으로 했지만, 화소값에 대신에, 혹은 화소값에 추가하여, 화상으로부터 추출되는 특징량인 것으로 해도 된다. 화상으로부터의 특징량의 추출은, 종래의 임의의 방법에 의해 행할 수 있다. 또한, 신경망을 생성할 때, 학습 데이터에 대한 통계학적 처리를 행하여, 빗나감 데이터를 노이즈로 하여 배제하는 것으로 해도 된다. 당해 노이즈의 배제는, 종래의 방법과 마찬가지로 행할 수 있다.

학습 완료 모델 생성부(11)는, 생성한 학습 완료 모델을 서버(20)에 송신한다. 학습 완료 모델의 생성 및 서버(20)로의 송신은, 각 PC(10)에 있어서 각각 행하여진다. 또한, 각 PC(10)에 있어서는, 각각의 PC(10)에 있어서 생성된 학습 완료 모델이 사용되고, 미지의 화상에 대한 진단이 행하여져도 된다. 또한, PC(10)는, 후술하는 바와 같이 서버(20) 사이에서 화상 및 진단에 관한 정보의 송수신을 행하는 것으로 해도 된다. 이상이, 본 실시 형태에 관한 PC(10)의 기능이다.

도 1에 도시한 바와 같이, 서버(20)는, 본 실시 형태에 관한 기능으로서 학습 완료 모델 취득부(21)와, 화상 취득부(22)와, 연산부(23)와, 출력부(24)를 구비하여 구성된다. 학습 완료 모델 취득부(21), 화상 취득부(22), 연산부(23) 및 출력부(24)는, 프로세서 및 당해 프로세서에 의해 실행되었을 때에 당해 프로세서에 각각의 기능부의 기능을 실행시키는 명령을 기억하는 컴퓨터 판독 가능한 기록 매체에 의해 실현되어도 된다. 프로세서는, 임의의 범용의 프로세서, 또는 소프트웨어의 명령이 실제의 프로세서의 디자인에 내장된 특수 용도의 프로세서를 포함하고 있어도 된다.

학습 완료 모델 취득부(21)는, 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득 수단이다. 학습 완료 모델 취득부(21)는, 각 PC(10)에 있어서 생성되어 송신된 학습 완료 모델을 수신하여 취득한다. 학습 완료 모델 취득부(21)에 의해 취득된 복수의 학습 완료 모델은, 서버(20)에 기억(축적)되어, 연산부(23)에 의한 연산에 사용된다. 취득된 복수의 학습 완료 모델은, 생성된 PC(10)에 대응지어져서 기억되어도 된다.

화상 취득부(22)는, 해석 대상의 화상을 취득하는 화상 취득 수단이다. 해석 대상의 화상은, 상기의 복수의 학습 완료 모델을 사용한 해석의 대상으로 되는 병리 조직 화상이다. 당해 화상은, 예를 들어 PC(10)에 있어서, 학습 데이터의 화상과 마찬가지로 취득되어 서버(20)에 송신된다. 화상 취득부(22)는, 당해 화상을 수신하여 취득한다. 화상 취득부(22)는, 당해 화상에 대하여, 학습 데이터의 화상과 마찬가지로 화상의 정규화 등의 화상 처리를 행하여도 된다. 또한, 화상 처리는, PC(10)에 있어서 행하여져도 된다. 또한, 당해 화상은, 상기 이외의 방법으로 취득되어도 된다. 화상 취득부(22)는, 취득한 화상을 연산부(23)에 출력한다.

연산부(23)는, 화상 취득부(22)에 의해 취득된 화상에 대하여 학습 완료 모델 취득부(21)에 의해 취득된 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산 수단이다. 연산부(23)는, 당해 화상에 기초하는 정보를, 복수의 학습 완료 모델 각각에 입력하여, 복수의 학습 완료 모델 각각으로부터 출력되는 진단 결과를 나타내는 정보로부터, 진단에 관한 하나의 정보를 산출한다.

PC(10)에 있어서 생성되는 학습 완료 모델은, 상술한 바와 같이, PC(10)의 유저 등에 의한 사전 병리 진단에 기초하여 생성된다. 따라서, 생성되는 학습 완료 모델은, 병리 진단을 행한 PC(10)의 유저 등의 종래의 진단 기준(사고 로직)을 고정밀도로 재현한 것이 된다. 즉, 사전 병리 진단이 객관적인 것이 아니면, 생성되는 학습 완료 모델도 반드시 객관적인 것이라고는 할 수 없다. 본 실시 형태에서는, 개개의 학습 완료 모델이 충분히 객관적인 것이 아니었다고 해도, 복수의 학습 완료 모델을 사용하여 하나의 진단에 관한 정보를 산출함으로써, 산출하는 정보가 객관적인 진단에 이바지하는 것이 된다.

연산부(23)는, 구체적으로는, 이하와 같이 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출한다. 연산부(23)는, 화상 취득부(22)로부터 해석 대상의 화상을 입력함과 함께, 학습 완료 모델 취득부(21)에 의해 취득되어 PC(10)에 기억되어 있는 복수의 학습 완료 모델을 판독한다. 연산부(23)는, 예를 들어 해석 대상의 화상에 대하여, 하나의 정보로서, 복수의 학습 완료 모델에 의한 하나의 진단 결과를 산출하는, 즉, 진단 결과를 예측한다. 이 경우, 연산부(23)는, 해석 대상의 화상의 각 화소의 화소값을 학습 완료 모델인 각 신경망으로의 입력값으로서 각 신경망에 따른 연산을 행하여, 각 신경망으로부터의 출력값을 얻는다. 연산부(23)는, 이들의 출력값에 기초하는 연산을 행하여 하나의 진단 결과를 산출한다.

연산부(23)는, 예를 들어 각 출력값으로부터 하나의 진단 결과를 산출한다. 연산부(23)는, 각 출력값에 대해서, 미리 설정된 역치와 비교하여, 출력값이 역치 이상인 경우, 병변이 있다고 판단하고, 출력값이 역치 미만인 경우, 병변이 없다고 판단한다. 출력값은, 복수의 학습 완료 모델의 수만큼 있으므로, 당해 판단은 복수의 학습 완료 모델의 수분, 행하여진다. 또한, 복수의 종별의 병변에 대하여 출력값이 있는 경우에는, 연산부(23)는, 병변의 종별마다 판단한다. 연산부(23)는, 병변이 있다고 판단된 출력값의 수와, 병변이 없다고 판단된 출력값의 수를 비교한다.

병변이 있다고 판단된 수가 많았을 경우, 연산부(23)는, 해석 대상의 화상에 대한 복수의 학습 완료 모델에 의한 하나의 진단 결과로서 병변이 있다고 한다. 병변이 없다고 판단된 수가 많았을 경우, 연산부(23)는, 해석 대상의 화상에 대한 복수의 학습 완료 모델에 의한 하나의 진단 결과로서 병변이 없다고 한다. 이것이, 하나의 진단 결과를 나타내는 정보의 일례이다. 혹은, 연산부(23)는, 각 신경망으로부터의 출력값의 분포, 즉, 개개의 학습 완료 모델의 진단 결과의 분포를 하나의 진단 결과를 나타내는 정보로 해도 된다.

상기에 대신하여, 혹은 추가하여, 연산부(23)는, 직접적인 진단 결과 이외의 정보를, 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보로서 산출해도 된다. 예를 들어, 연산부(23)는, 해석 대상의 화상의 생성원의 PC(10)에 대응지어진 학습 완료 모델에 의한 진단 결과와 그 이외의 학습 완료 모델에 의한 진단 결과의 일치 불일치를 나타내는 정보를 산출해도 된다. 구체적으로는, 그것들이 일치하고 있었던 수 및 불일치했던 수를 산출해도 된다. 즉, 연산부(23)는, 학습 완료 모델에 의한 진단 결과의 차이 분석을 행하여도 된다. 이 정보에 의해, 유저는, 다른 유저와 어느 정도 진단 결과가 일치하고 있는 것인지의 여부를 파악할 수 있다. 즉, 유저는, 피어 리뷰를 실시할 수 있다.

연산부(23)는, 상기 이외의 방법에 의해 진단에 관한 하나의 정보를 산출해도 된다. 연산부(23)는, 예를 들어 개개의 학습 완료 모델로부터 출력되는 정보에 대하여, 종래의 임의의 통계학적 처리 등의 디지털 처리를 행하여 진단에 관한 하나의 정보를 산출해도 된다. 연산부(23)는, 산출한 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 출력부(24)에 출력한다.

출력부(24)는, 연산부(23)에 의해 산출된 정보를 출력하는 출력 수단이다. 출력부(24)는, 연산부(23)로부터 정보를 입력한다. 출력부(24)는, 예를 들어 해석 화상의 송신원인 PC(10)에 정보를 송신하여 출력한다. PC(10)에서는, 당해 정보가 수신되어 표시 등이 이루어진다. 이에 의해, PC(10)의 유저는, 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 참조하여, 진단에 도움될 수 있다. 또한, 출력부(24)는, 상기 이외의 방법으로 정보를 출력해도 된다. 이상이, 본 실시 형태에 관한 서버(20)의 기능이다.

계속해서, 도 2의 시퀀스도를 사용하여, 본 실시 형태에 관한 진단 지원 시스템(1)에서 실행되는 처리(진단 지원 시스템(1)이 행하는 동작 방법)인 진단 지원 방법을 설명한다. 먼저, 진단 지원 시스템(1)에 포함되는 각각의 PC(10)에 있어서, 학습 완료 모델 생성부(11)에 의해, 학습 데이터가 취득되고, 취득된 학습 데이터가 사용되어서 기계 학습이 행하여져 학습 완료 모델이 생성된다(S01, 학습 완료 모델 생성 스텝). 생성된 학습 완료 모델은, 학습 완료 모델 생성부(11)로부터 서버(20)에 송신된다(S02).

서버(20)에서는, 복수의 PC(10)로부터 송신된 학습 완료 모델이, 학습 완료 모델 취득부(21)에 의해 수신되어 취득된다(S02, 학습 완료 모델 취득 스텝). 취득된 복수의 학습 완료 모델은, 서버(20)에 기억된다.

계속해서, PC(10)에 의해, 해석 대상의 화상이 취득된다(S03). 해석 대상의 화상은, 예를 들어 현미경에 접속된 카메라로 촬상된 병리 조직 화상이다. 해석 대상의 화상은, PC(10)로부터 서버(20)에 송신된다(S04). 서버(20)에서는, PC(10)로부터 송신된 해석 대상의 화상이, 화상 취득부(22)에 의해 수신되어 취득된다(S04, 화상 취득 스텝).

계속해서, 연산부(23)에 의해, 당해 화상에 기초하는 정보가 복수의 학습 완료 모델 각각에 입력되어, 복수의 학습 완료 모델 각각에 따른 연산이 행하여지고, 복수의 학습 완료 모델 각각으로부터 출력되는 진단 결과를 나타내는 정보가 얻어진다(S05, 연산 스텝). 계속해서, 연산부(23)에 의해, 복수의 학습 완료 모델 각각으로부터 출력되는 진단 결과를 나타내는 정보에 기초하는 연산이 행하여져서, 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보, 예를 들어 하나의 진단 결과가 산출된다(S06, 연산 스텝).

계속해서, 연산부(23)에 의해 산출된 정보, 예를 들어 하나의 진단 결과를 나타내는 정보가, 출력부(24)로부터 PC(10)에 송신되어서 출력된다(S07, 출력 스텝). 당해 정보는, PC(10)에 의해 수신되어, 당해 정보의 표시 등의 출력이 행하여진다(S08). 이상이, 본 실시 형태에 관한 진단 지원 방법이다.

상술한 바와 같이 본 실시 형태에서는, 해석 대상의 화상에 대하여 개별적으로 생성된 복수의 학습 완료 모델에 기초하여 연산이 행하여져 진단에 관한 하나의 정보가 산출된다. 개개의 학습 완료 모델이 충분히 객관적인 것이 아니었다고 해도, 이렇게 복수의 학습 완료 모델을 사용하여 진단에 관한 하나의 정보를 산출함으로써, 산출하는 정보를 주관적인 요소를 배제한 객관적인 진단에 이바지하는 것으로 할 수 있다. 즉, 본 실시 형태에 따르면, 객관적인 진단에 이바지하는 정보를 제공할 수 있다.

상술한 바와 같이 학습 완료 모델은, PC(10)의 유저 등의 종래의 진단 기준을 나타낸 것이다. 복수의 학습 완료 모델에 기초하여 진단에 관한 하나의 정보가 산출됨으로써, 진단 기준의 표준화를 도모할 수 있다. 또한, 개개의 학습 완료 모델이, 세계의 유저 학습 데이터에 의해 생성된 것이라면, 진단 기준의 세계 표준화를 도모할 수 있다.

또한, 화상에 기초하는 정보 처리에 의해 진단에 관한 정보가 산출되기 때문에, 진단의 효율화, 생력화, 시간 단축 등을 도모할 수 있다. 이에 의해, 소수의 병리학자에 의해 다수의 진단을 행하는 것이 가능해진다.

또한, 본 실시 형태과 같이, 화상에 기초하는 정보를, 복수의 학습 완료 모델 각각에 입력하여, 복수의 학습 완료 모델 각각으로부터 출력되는 진단 결과를 나타내는 정보로부터, 진단에 관한 하나의 정보를 산출하는 것으로 해도 된다. 그 결과, 확실하고 또한 적절하게 객관적인 진단에 이바지하는 정보를 제공할 수 있다. 단, 진단에 관한 하나의 정보 산출은, 상기 이외의 방법으로 행하여져도 된다.

또한, 본 실시 형태과 같이, 진단 지원 시스템(1)에 있어서, 기계 학습을 행하여 학습 완료 모델을 생성하는 것으로 해도 된다. 이 구성에 의하면, 개개의 학습 완료 모델을 생성할 수 있고, 적절하고 또한 확실하게 본 발명의 일 실시 형태를 실시할 수 있다. 또한, 본 실시 형태와 같이 기계 학습의 생성은, 서버(20)가 아닌, 개개의 PC(10)에 있어서 행하여지는 것으로 해도 된다. 즉, 에지 헤비 컴퓨팅의 구성을 취하는 것으로 해도 된다. 이 구성을 취함으로써, 서버(20)에 큰 부하를 가하는 일없이, 진단 지원 시스템(1)을 실현할 수 있다. 또한, 각 PC(10)의 유저가 병리학자라면, 유저에 의한 진단 지원 시스템(1)의 이용 자체가 데이터 수집의 역할도 담당하여, 질이 높은 학습 데이터를 수집할 수 있고, 개개의 학습 완료 모델을 질이 높은 것으로 할 수 있다. 또한, 개개의 PC(10)에서 학습 데이터가 취득되어 기계 학습이 행해짐으로써, 서버(20)는, 자신이 학습 데이터를 취득할 필요없이, 동적, 대규모 또한 효율적으로 학습 완료 모델을 취득할 수 있다.

또한, 서버(20)에 의한 화상의 해석 결과도, 상술한 실시 형태와 같이 PC(10)로부터 이용할 수 있도록 해도 된다. 즉, 각 PC(10)의 유저가, 객관적인 진단에 이바지하는 정보를 상호 참조할 수 있도록 해도 된다. 이 구성에 의하면, 각 유저에 있어서 객관적인 진단을 행할 수 있고, 진단 기준의 객관화를 도모할 수 있다.

단, 학습 완료 모델의 생성을 개개의 PC(10)에서 행하는 구성을 취할 필요는 없고, 서버(20)에 있어서 학습 완료 모델의 생성이 행하여져도 된다. 또한, 진단 지원 시스템(1)에 있어서, 학습 완료 모델을 생성하지 않는 구성으로 해도 된다. 즉, 진단 지원 시스템(1)은, PC(10)를 구비하지 않는 구성으로 해도 된다. 그 경우, 진단 지원 시스템(1)은, 진단 지원 시스템(1) 이외의 장치로부터, 복수의 학습 완료 모델을 취득할 수 있으면 된다.

또한, 본 실시 형태와 같이 학습 완료 모델은, 신경망을 포함하는 것으로 해도 된다. 이 구성에 의하면, 학습 완료 모델을 적절한 것으로 할 수 있고, 적절하고 또한 확실하게 본 발명의 일 실시 형태를 실시할 수 있다. 단, 학습 완료 모델은, 기계 학습에 의해 생성되는 것이라면, 신경망을 포함하는 것 이외여도 된다.

상술한 바와 같이 본 실시 형태에 관한 진단은, 병변의 유무를 판단하는 것이었지만, 그 이외의 진단이어도 된다. 예를 들어, 병변을 나타내는 상태 또는 수치(예를 들어, 조기 진단 마커값) 등을 판단하는 것이어도 된다. 또한, 본 실시 형태는, 인간에 추가하여, 인간 이외의 동물(예를 들어, 가축, 애완동물, 실험동물)을 대상으로 해도 된다. 또한, 본 실시 형태는, 독성 병리 진단을 행하는 것이어도 된다.

또한, 상술한 바와 같이 본 실시 형태에서는, 병리 진단을 대상으로 했지만, 반드시 병리 진단을 대상으로 하지 않아도 된다. 예를 들어, 진단에 사용하는 화상을 병리 표본의 화상이 아닌, 심전도, 뢴트겐 사진, CT(Computed Tomography) 화상 또는 MRI(Magnetic Resonance Imaging) 화상 등으로 해도 된다. 또한, 병변에 관한 진단 이외의 진단을 대상으로 해도 된다.

상술한 바와 같이 본 실시 형태에서는, 학습 완료 모델에 입력하는 정보, 즉, 진단에 사용하는 정보는, 화상에 기초하는 정보로 했지만, 그 이외의 정보도 학습 완료 모델에 입력하는 것으로 해도 된다. 예를 들어, 진단 대상자의 각종 혈액 생화학적 파라미터 및 조기 진단 마커값 등을 학습 완료 모델에 입력하는 것으로 해도 된다.

또한, 본 실시 형태에서는, 학습 데이터로서, 과거의 병리 화상 및 현시점의 진단 결과를 사용하여 기계학습을 행한 학습 완료 모델을 사용하는 것으로 해도 된다. 즉, 예를 들어 병변이 발생하고 있는 인물에 관한, 병변이 발생하고 있지 않은 과거의 시점 병리 화상을 사용하여 기계 학습을 행하는 것으로 해도 된다. 이에 의해, 병변이 없다고 판단될 수 있는 병리 화상(정상 화상)에 대하여, 후에 병변이 발생하는(이상화하는), 혹은 후에도 병변이 발생하지 않는(이상화하지 않는) 것을 판단하는 것이 가능하게 된다. 즉, 이와 같은 구성을 취함으로써, 조기 진단을 행하는 것이 가능해진다.

또한, 본 실시 형태에 관한 복수의 학습 완료 모델을 사용하여, 병변이 있다고 판단되는 화상을 역산하여 무수하게 발생시키는 것으로 해도 된다. 이에 의해, 종래 알려져 있지 않았던 희소 이상 상을 발견할 수 있다.

계속해서, 상술한 일련의 진단 지원 시스템(1)에 의한 처리를 컴퓨터에 실행시키기 위한 진단 지원 프로그램을 설명한다. 도 3에 도시한 바와 같이, 진단 지원 프로그램(100)은, PC측 프로그램(110)과, 서버측 프로그램(120)을 포함하여 구성된다. PC측 프로그램(110)은, 상술한 PC(10)와 마찬가지의 하드웨어 구성의 컴퓨터에 삽입되어서 액세스되는, 혹은 당해 컴퓨터가 구비하는 기록 매체(210)에 형성된 프로그램 저장 영역(211) 내에 저장된다. 서버측 프로그램(120)은, 상술한 서버(20)와 마찬가지의 하드웨어 구성의 컴퓨터에 삽입되어서 액세스되는, 혹은 당해 컴퓨터가 구비하는 기록 매체(220)에 형성된 프로그램 저장 영역(221) 내에 저장된다.

PC측 프로그램(110)은, 학습 완료 모델 생성 모듈(111)을 구비하여 구성된다. 학습 완료 모델 생성 모듈(111)을 실행시킴으로써 실현되는 기능은, 상술한 PC(10)의 학습 완료 모델 생성부(11)의 기능과 마찬가지이다.

서버측 프로그램(120)은, 학습 완료 모델 취득 모듈(121)과, 화상 취득 모듈(122)과, 연산 모듈(123)과, 출력 모듈(124)을 구비하여 구성된다. 학습 완료 모델 취득 모듈(121)과, 화상 취득 모듈(122)과, 연산 모듈(123)과, 출력 모듈(124)을 실행시킴으로써 실현되는 기능은, 상술한 서버(20)의 학습 완료 모델 취득부(21)와, 화상 취득부(22)와, 연산부(23)와, 출력부(24)의 기능과 각각 마찬가지이다.

또한, 진단 지원 프로그램(100)은, 그 일부 또는 전부가, 통신 회선 등의 전송 매체를 통해 전송되고, 다른 기기에 의해 수신되어 기록(인스톨을 포함한다)되는 구성으로 해도 된다. 또한, 진단 지원 프로그램(100)의 각 모듈은, 1개의 컴퓨터가 아닌, 복수의 컴퓨터의 어느 것에 인스톨되어도 된다. 그 경우, 당해 복수의 컴퓨터에 의한 컴퓨터 시스템에 의해 상술한 일련의 진단 지원 프로그램(100)에 관한 처리가 행하여진다.

1: 진단 지원 시스템, 10: PC, 11: 학습 완료 모델 생성부, 20: 서버, 21: 학습 완료 모델 취득부, 22: 화상 취득부, 23: 연산부, 24: 출력부, 100: 진단 지원 프로그램, 110: PC측 프로그램, 111: 학습 완료 모델 생성 모듈, 120: 서버측 프로그램, 121: 학습 완료 모델 취득 모듈, 122: 화상 취득 모듈, 123: 연산 모듈, 124: 출력 모듈, 210, 220: 기록 매체, 211, 221: 프로그램 저장 영역.

Claims

기계 학습에 의해 생성됨과 함께, 진단 대상이 찍힌 화상에 기초하는 정보를 입력하여 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 출력하는 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득 수단과,
해석 대상의 화상을 취득하는 화상 취득 수단과,
상기 화상 취득 수단에 의해 취득된 화상에 대하여, 상기 학습 완료 모델 취득 수단에 의해 취득된 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산 수단과,
상기 연산 수단에 의해 산출된 정보를 출력하는 출력 수단을
구비하는 진단 지원 시스템.
제1항에 있어서, 상기 연산 수단은, 상기 화상 취득 수단에 의해 취득된 화상에 기초하는 정보를, 상기 학습 완료 모델 취득 수단에 의해 취득된 복수의 학습 완료 모델 각각에 입력하여, 복수의 학습 완료 모델 각각으로부터 출력되는 진단 결과를 나타내는 정보로부터, 진단에 관한 하나의 정보를 산출하는 진단 지원 시스템.
제1항 또는 제2항에 있어서, 기계 학습에 사용하는 학습 데이터인, 진단 대상이 찍힌 화상 및 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 취득하여, 취득한 학습 데이터인 화상에 기초하는 정보를 입력값으로 함과 함께 취득한 학습 데이터인 진단 결과를 나타내는 정보를 출력값으로 하여 기계 학습을 행하여 학습 완료 모델을 생성하는 학습 완료 모델 생성 수단을 더 구비하고,
상기 학습 완료 모델 취득 수단은, 상기 학습 완료 모델 생성 수단에 의해 생성된 학습 완료 모델을 취득하는 진단 지원 시스템.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 학습 완료 모델 취득 수단은, 신경망을 포함하는 상기 복수의 학습 완료 모델을 취득하는 진단 지원 시스템.
진단 지원 시스템의 동작 방법인 진단 지원 방법이며,
기계 학습에 의해 생성됨과 함께, 진단 대상이 찍힌 화상에 기초하는 정보를 입력하여 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 출력하는 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득 스텝과,
해석 대상의 화상을 취득하는 화상 취득 스텝과,
상기 화상 취득 스텝에 있어서 취득된 화상에 대하여, 상기 학습 완료 모델 취득 스텝에 있어서 취득된 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산 스텝과,
상기 연산 스텝에 있어서 산출된 정보를 출력하는 출력 스텝을
포함하는 진단 지원 방법.
컴퓨터를,
기계 학습에 의해 생성됨과 함께, 진단 대상이 찍힌 화상에 기초하는 정보를 입력하여 당해 진단 대상에 대한 진단 결과를 나타내는 정보를 출력하는 복수의 학습 완료 모델을 취득하는 학습 완료 모델 취득 수단과,
해석 대상의 화상을 취득하는 화상 취득 수단과,
상기 화상 취득 수단에 의해 취득된 화상에 대하여, 상기 학습 완료 모델 취득 수단에 의해 취득된 복수의 학습 완료 모델에 기초하는 연산을 행하여, 당해 복수의 학습 완료 모델에 의한 진단에 관한 하나의 정보를 산출하는 연산 수단과,
상기 연산 수단에 의해 산출된 정보를 출력하는 출력 수단
으로서 기능시키는 진단 지원 프로그램.