KR20200092466A - 의료 영상의 분석 모델을 학습시키는 학습 장치 및 그 학습 방법 - Google Patents

Abstract

효율적으로 의료영상의 분석 모델을 학습시키는 학습 장치 및 그 학습 방법에 관한 것이다. 학습 장치는 메모리 및 프로세서를 포함하며, 메모리는 의료 영상 분석을 위한 분석모델이 저장된다. 이에 의해, 다수의 3차원 의료 영상의 병변 부위를 라벨링 해주는 작업의 시간을 단축할 수 있게 된다.

Description

의료 영상의 분석 모델을 학습시키는 학습 장치 및 그 학습 방법 {Device for training analysis model of medical image and training method thereof}

본 발명은 의료 영상의 분석 모델을 학습시키는 학습 장치 및 그 학습 방법에 관한 것으로, 더욱 상세하게는 사용자가 직접 체크한 병변에 기초하여 분석 모델을 학습시키는 학습 장치 및 그 학습 방법에 관한 것이다.

전자 기술의 발달에 힘입어, 의료 분야에서도 다양한 전자 장치가 사용되고 있다. 특히, 카메라를 통해 촬영한 의료 영상을 분석하여, 환자의 환부나 병명 등을 검출할 수 있는 의료 영상 분석 장치도 점차 많이 사용되고 있다.

종전의 의료 영상 분석 장치의 경우, 라벨링 방식으로 구현되는 것이 일반적이었다. 라벨링 방식이란, 뇌 MR(Magnetic Resonance)영상등으로부터 병변을 추출하기 위해 사용자가 직접 병변에 체크를 하는 방식을 의미한다.

종래의 의료 영상 분석 장치는 분석 성능 및 효율을 더 개선시키기 위해서, 분석 모델을 사용하였다. 분석 모델이란 의료 영상이 입력되면, 기존에 라벨링된 데이터에 기초하여, 입력된 의료 영상을 라벨링하는 소프트웨어 모델을 의미한다.

이러한 분석 모델은 성능 개선을 위해서 수시로 또는 주기적으로 학습을 시켜야 한다. 이 경우, 사용자가 임의로 선정한 데이터에 대해 오랜 시간 라벨링을 한 뒤 이들을 이용하여 학습을 수행하는 것이 일반적이다. 따라서, 종래의 분석 모델은 임의로 선정한 데이터가 좋지 않을 경우 학습이 비효율적으로 진행되는 문제가 발생될 수 있다. 또한 의미 없는 데이터를 학습하는 경우가 많아, 학습이 비효율적으로 진행된다는 문제도 발생될 수 있다.

본 발명은 이와 같은 문제점을 해결하기 위해 창출된 것으로, 본 발명의 목적은 의료 영상의 분석 모델을 학습시키는 학습 장치에 도움이 되는 영상을 이용하여 분석 모델을 학습시킬 수 있는 학습 장치 및 그 학습 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 의료 영상의 분석 모델을 학습시키는 학습 장치는 상기 분석 모델이 저장된 메모리; 및 상기 분석 모델을 이용하여 의료 영상을 분석하는 프로세서;를 포함하며, 상기 프로세서는, 라벨링이 완료된 제 1 의료영상을 이용하여 상기 분석 모델을 학습하고, 라벨링 이전의 제 2 의료 영상에 상기 학습된 분석 모델을 적용하여 상기 제 2 의료 영상의 각 프레임의 불확실성을 계산하며, 상기 제 2 의료 영상 중 상기 불확실성이 기 설정된 조건을 초과하는 적어도 하나의 프레임을 선정하여, 상기 선정된 프레임에 대한 라벨링을 입력받고, 상기 라벨링이 입력된 프레임을 상기 제 1 의료영상에 추가하여 제 3 의료 영상을 생성한 후, 상기 제 3 의료 영상을 이용하여 상기 분석 모델을 학습하는, 학습 장치 이다.

또한, 상기 프로세서는, 상기 라벨링 이전의 제 2 의료 영상에 상기 학습된 분석 모델을 적용하여 상기 제 2 의료 영상의 확률 맵을 생성하고, 상기 확률 맵을 이용하여 각 프레임의 불확실성을 계산하며, 상기 불확실성은 상기 확률 맵의 각 복셀(Voxel)의 엔트로피의 합인 것을 특징으로 할 수 있다.

또한, 디스플레이;를 더 포함 할 수 있으며, 이 경우 상기 프로세서는, 상기 제2 의료 영상 중 상기 불확실성이 기 설정된 조건을 초과하는 것으로 선정된 적어도 하나의 프레임에 대한 라벨링 입력을 요청하는 UI(User Interface)를 상기 디스플레이에 표시하고, 상기 UI 상에서 상기 적어도 하나의 프레임 각각의 병변 부위가 체크되면, 체크된 부분에 대한 데이터를 상기 각 프레임의 데이터에 추가하여, 상기 적어도 하나의 프레임을 라벨링 할 수 있다.

한편, 본 발명의 일 실시 예에 따른 의료 영상용 분석 모델의 학습방법은 라벨링이 완료된 제1 의료 영상을 이용하여 분석 모델을 학습하는 단계; 라벨링 이전의 제2 의료 영상에 상기 학습된 분석 모델을 적용하여 상기 제2 의료 영상의 각 프레임의 불확실성을 계산하는 단계; 상기 제2 의료 영상 중 상기 불확실성이 기 설정된 조건을 초과하는 적어도 하나의 프레임을 선정하는 단계; 상기 선정된 프레임에 대한 라벨링이 입력되면, 상기 라벨링이 입력된 프레임을 상기 제1 의료 영상에 추가하여 제3 의료 영상을 생성하는 단계; 및 상기 제3 의료 영상을 이용하여 상기 분석 모델을 학습하는 단계;를 포함한다.

또한, 상기 불확실성을 계산하는 단계는, 상기 라벨링 이전의 제2 의료 영상에 상기 학습된 분석 모델을 적용하여 상기 제2 의료 영상의 확률 맵을 생성하는 단계; 상기 확률 맵을 이용하여 상기 제2 의료 영상의 불확실성을 산출하는 단계;를 포함할 수 있으며, 상기 불확실성은, 상기 확률 맵의 각 복셀(Voxel)의 엔트로피의 합일 수 있다.

또한, 상기 제3 의료 영상을 생성하는 단계는, 상기 제2 의료 영상 중 상기 불확실성이 기 설정된 조건을 초과하는 것으로 선정된 적어도 하나의 프레임에 대한 라벨링 입력을 요청하는 UI(User Interface)를 디스플레이하는 단계; 상기 UI 상에서 상기 적어도 하나의 프레임 각각의 병변 부위가 체크되면, 체크된 부분에 대한 데이터를 상기 각 프레임의 데이터에 추가하여, 상기 적어도 하나의 프레임을 라벨링하는 단계; 상기 라벨링된 프레임을 상기 제1 의료 영상에 추가하여 상기 제3 의료 영상을 생성하는 단계;를 포함할 수 있다.

한편, 본 발명의 일 실시 예에 따른 의료 영상 용 분석 모델을 학습하는 학습 방법을 실행하기 위한 프로그램이 저장된 기록매체가 개시될 수 있다. 여기서, 상기 학습 방법은, 라벨링이 완료된 제1 의료 영상을 이용하여 분석 모델을 학습하는 단계; 라벨링 이전의 제2 의료 영상에 상기 학습된 분석 모델을 적용하여 상기 제2 의료 영상의 각 프레임의 불확실성을 계산하는 단계; 상기 제2 의료 영상 중 상기 불확실성이 기 설정된 조건을 초과하는 적어도 하나의 프레임을 선정하는 단계; 상기 선정된 프레임에 대한 라벨링이 입력되면, 상기 라벨링이 입력된 프레임을 상기 제1 의료 영상에 추가하여 제3 의료 영상을 생성하는 단계; 및 상기 제3 의료 영상을 이용하여 상기 분석 모델을 학습하는 단계;를 포함한다.

이상과 같은 본 발명의 다양한 실시 예들에 따르면, 라벨링이 없는 영상데이터 중, 학습모델 업데이트에 도움이 되는 영상을 분석장치가 자동으로 선정해줌으로써 사용자의 라벨링 시간을 줄여줄 수 있다.

도 1은 본 발명의 일 실시 예에 따른 학습 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 제 1 의료영상, 제 2 의료영상, 제 3 의료영상을 나타내는 도면이다.
도 3은 상기 학습 장치에서 디스플레이를 더 포함하는 의료영상 분석 장치의 구성을 나타내는 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 하나의 3차원 프레임을 2차원 영상으로 분할한 것을 나타내는 도면이다.
도 5(a)는 본 발명의 일 실시 예에 따라 디스플레이되는 UI 구성의 일 예를 나타내는 도면이다.
도 5(b)는 본 발명의 일 실시 예에 따라 사용자가 디스플레이 되는 2차원 영상에 라벨링을 한 것을 나타내는 도면이다.
도 5(c)는 본 발명의 일 실시 예에 따라 사용자가 디스플레이 되는 2차원 영상을 다음 2차원 영상으로 넘긴것을 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 의료 영상 용 분석 모델의 학습 방법을 설명하기 위한 흐름도이다.
도 7은 무작위로 선정한 데이터와 제안하는 기법으로 선정한 데이터로 만든 학습모델간 영역화 성능을 비교한 표이다.
도 8은 무작위 선정 기법과 제안하는 선정 기법(액티브 러닝)의 영역화 성능을 비교한 표이다.

이하에서는 첨부 도면을 참조하여 본 발명에 대해서 자세하게 설명한다. 본 명세서에서 언급되는 전송 또는 전달이라 함은, 데이터나 정보 또는 신호의 전송 등을 의미할 수 있으며, 필요에 따라서 암호화/복호화가 적용될 수 있다.

또한, 본 명세서에서 "A로부터 B로 전송(전달)" 또는 "A가 B로부터 수신"과 같은 형태의 표현은 중간에 다른 매개체가 포함되어 전송(전달) 또는 수신되는 것도 포함하며, 반드시 A로부터 B까지 직접 전송(전달) 또는 수신되는 것만을 표현하는 것은 아니다. 또한, 본 명세서에서 도시 및 언급되는 각 장치들은 서로 독립적인 장치로 구현될 수도 있지만, 반드시 이에 한정되는 것은 아니며 하나의 장치 안에 포함되는 여러 부품들로 구현될 수도 있다.

본 발명의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉, 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행단계로 설명된 과정보다 앞서서 수행되더라도 발명의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다.

그리고 본 명세서에서 "A 또는 B"라고 기재한 것은 A와 B 중 어느 하나를 선택적으로 가리키는 것뿐만 아니라 A와 B 모두를 포함하는 것도 의미하는 것으로 정의된다. 또한, 본 명세서에서 "포함"이라는 용어는 나열된 요소 이외에 추가로 다른 구성요소를 더 포함하는 것도 포괄하는 의미를 가진다.

본 명세서에서는 본 발명의 각 실시 예의 설명에 필요한 구성요소를 설명한 것이므로, 반드시 이에 한정되는 것은 아니다. 따라서, 일부 구성요소는 변경 또는 생략될 수도 있으며, 다른 구성요소가 추가될 수도 있다. 또한, 서로 다른 독립적인 장치에 분산되어 배치될 수도 있다.

후술하는 본 발명의 각 단계의 수학적 연산 및 산출은 해당 연산 또는 산출을 하기 위해 공지되어 있는 코딩 방법 및/또는 본 발명에 적합하게 고안된 코딩에 의해서 컴퓨터 연산으로 구현될 수 있다.

이하에서는 첨부된 도면을 이용하여 본 발명의 다양한 실시 예들에 대하여 구체적으로 설명한다.

도 1은 본 발명의 일 실시 예에 따른 학습 장치의 구성을 나타내는 블록도이다.

학습 장치(100)란 의료 영상의 분석 모델을 학습시키는 학습 장치를 의미한다. 학습 장치(100)는 의료 영상을 분석하는 분석 장치 그 자체로 구현될 수도 있지만, 별도의 장치로 구현될 수도 있다. 예를 들어, 학습 장치(100)는, 스마트폰, 태블릿PC, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 서버, PDA, PMP, 키오스크 등으로 구현될 수 있다. 분석 장치와 별개의 장치로 학습 장치(100)가 구현된 경우, 학습 장치(100)는 분석 장치와 유선 또는 무선 인터페이스로 연결되어, 분석 모델을 제공하여 줄 수도 있다.

도 1에 도시하는 바와 같이 학습장치(100)는 메모리(120)와 프로세서(110)를 포함할 수 있다.

메모리(120)는 학습 장치(100)의 동작에 필요한 각종 프로그램 및 데이터 등을 저장할 수 있다. 특히, 메모리(120)는 의료 영상 분석을 위한 분석 모델을 저장할 수도 있다.

분석 모델이란 인공지능 알고리즘에 의해 학습된 인공지능 모델을 의미한다. 분석 모델은 의료영상 프레임에서 병변부위를 라벨링 하거나 상기 의료영상 프레임에 대한 확률 맵을 생성할 수 있다. 예컨대, 인공지능 모델에 의료 영상 프레임을 입력하면, 출력 데이터로서 병변 부위가 라벨링된 의료 영상을 획득 할 수 있다.

분석 모델은, 신경망을 기반으로 하는 모델일 수 있다. 구체적으로는, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Depp Neural Network) 등이 있을 수 있으나 이에 한정되지 않는다.

메모리(120)는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는, 예를 들면, 휘발성 메모리, 비휘발성 메모리 중 적어도 하나를 포함 할 수 있다. 외장 메모리는 플래시 드라이브, 예를 들면 CF, SD, Micro-SD, Mini-SD, xD, MMC 또는 메모리 스틱 등을 포함할 수 있다.

메모리(120)는 프로세서(110)에 의해 액세스 되며, 프로세서(110)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.

프로세서(110)는 의료영상 분석 장치의 전반적인 동작을 제어하기 위한 구성이다. 예를 들면, 프로세서(110)는 운영 체제, 애플리케이션을 구동하여 프로세서(110)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(110)는 CPU 또는 GPU이거나 둘 다 일 수 있다. 프로세서(110)는 적어도 하나의 범용 프로세서, 디지털 신호 프로세서, ASIC, SoC, MICOM 등으로 구현될 수 있다.

프로세서(110)는 메모리(120)에 저장된 분석 모델을 학습시킬 수 있다. 구체적으로는, 프로세서(110)는 라벨링이 완료된 제 1 의료영상을 이용하여 분석 모델을 학습하는 초기학습을 수행한다.

또한, 프로세서(110)는 라벨링 이전의 제 2 의료영상에 상기 학습된 분석 모델을 적용하여 상기 제 2 의료영상의 각 프레임의 불확실성을 계산한다. 여기서, 제1 의료 영상이란 라벨링이 이루어진 영상을 의미하고, 제2 의료 영상이란 제1 의료 영상과 달리 라벨링이 이루어지지 않은 상태의 영상을 의미한다. 여기서, 프레임이란 제 2 의료영상 집합에 속하는 하나의 의료영상을 의미한다. 즉 본 발명의 일 실시예에 따른 프레임은 하나의 뇌 MR 영상일 수 있다.

프로세서(110)는 제2 의료 영상의 각 프레임의 불확실성에 따라, 기 설정된 조건을 초과하는 적어도 하나의 프레임을 선택할 수 있다. 여기서, 조건이란 불확실성의 임계치 및 선택될 프레임 개수 등이 될 수 있다. 예를 들어, 불확실성의 임계치가 α이고, 프레임 개수가 k라면, 프로세서(110)는 α값을 초과하는 불확실성을 가진 프레임들 중 상위 k개의 프레임을 선택할 수 있다. 선택을 위한 조건은 사용 환경에 따라 다양하게 설정될 수 있다.

프로세서(110)는 선정된 프레임에 대해 사용자에 라벨링을 요청한다. 라벨링 요청 방식은 다양하게 구현될 수 있다. 일 예로, 학습 장치(100)가 디스플레이를 자체적으로 구비하고 있는 경우, 프로세서(110)는 디스플레이 상에 라벨링 입력을 위한 UI를 표시한다. 이에 대해서는 후술하는 부분에서 구체적으로 설명한다. 한편, 학습 장치(100)가 자체 디스플레이를 구비하지 않고, 외부 디스플레이 장치와 통신 연결된 경우라면, 프로세서(110)는 라벨링 입력을 위한 UI 데이터를 외부 디스플레이 장치로 전송하여 그 장치를 통해 라벨링을 입력받을 수도 있다.

라벨링이 입력되면, 프로세서(110)는 라벨링이 입력된 프레임을 제 1 의료 영상에 추가하여 제 3 의료영상을 생성한다. 즉, 제3 의료 영상이란 기존의 제1 의료 영상에, 새로이 라벨링된 프레임을 추가한 영상을 의미한다.

프로세서(110)는 제 3 의료 영상을 이용하여 분석 모델을 학습한다.

이러한 프로세서(110)의 동작은, 사용자가 원하는 횟수 만큼 반복적으로 수행될 수 있다. 학습모델을 반복적으로 학습시킬 경우 라벨링의 정확도가 높아 질 수 있다.

상술한 바와 같이, 학습 장치(100) 자체가 분석 장치로 구현된 경우, 프로세서(110)는 학습된 분석 모델을 이용하여 의료 영상을 분석할 수 있다.

도 1에서는 하나의 프로세서(110)를 구비한 것으로 도시하였으나, 분석 모델의 학습 및 이를 이용한 분석 등을 처리하기 위해서는 복수의 프로세서가 사용될 수도 있다. 예를 들어, 인공 지능 처리를 위해 기존의 범용 프로세서(예를 들어, CPU)가 이용될 수 있거나, 또는 단일 목적 프로세서(예를 들어, GPU, FPGA, ASIC등)가 이용될 수 있다.

한편, 분석 장치와 별개의 독립적인 장치로 학습 장치(100)가 구현된 경우, 분석 모델을 기반으로 하는 영상 분석 동작은 외부 분석 장치에 의해 수행될 수 있다.

도 2는 본 발명의 일 실시 예에 따른 제 1의료영상(a), 제 2의료영상(b), 제 3의료영상(c)을 나타내는 도면이다. 본 발명의 일 실시 예에 따른 의료영상은 뇌 MR영상일 수 있으나 이에 한정되지 않는다. 뇌 MR영상의 경우 3차원 영상이므로 도 2 에서 정육면체모양으로 3차원 프레임을 표현하였다.

제 1 의료 영상(a)은 라벨링이 완료된 프레임의 집합을 의미한다. 여기서, 라벨링이란 의료영상내의 병변을 체크하는 것을 의미한다. 따라서 제 1 의료 영상(a)은 병변부분이 체크된 프레임들의 집합으로 볼 수 있다. 도 2에서는 뇌 MR영상에 점을 찍음으로 병변부분이 체크된 것을 표현하였다. 프로세서(110)는 이러한 제 1 의료 영상(a)을 바탕으로 상기 분석 모델을 학습하게 된다.

제 2 의료 영상(b)은 라벨링 이전의 프레임의 집합을 의미한다. 즉, 병변부분이 체크되지 않는 프레임들의 집합을 의미한다. 프로세서(110)는 제1 의료 영상(a)을 바탕으로 학습된 분석 모델에, 제 2 의료 영상(b)을 적용하여, 상기 제 2 의료영상(b)의 각 프레임의 불확실성을 계산한다. 프로세서(110)는, 불확실성이 기 설정된 조건을 초과하는 적어도 하나의 프레임을 선정하여, 상기 선정된 의료 의료영상에 대한 라벨링의 입력을 요청하게 된다.

라벨링이 입력된 프레임을 제 1 의료영상에 추가하여 제 3 의료영상을 생성한다. 도 2에서 제 3의료영상(c)의 마지막 프레임이 추가된 프레임이다. 따라서 제 3 의료영상(c)은 기존 제 1 의료영상(a)에 제 2 의료영상(b)중 라벨링을 입력받은 프레임을 추가한 집합이 된다.

본 발명의 실시 예에 따른 영역화(Segmentation) 모델을 학습하기 위해서는 최근 여러 의료영상 영역화 문제에서 높은 성능을 보여왔던 U-NET을 사용할 수 있다. 다만, 이에 한정하지 않고 다른 모델 또한 사용할 수 있다. U-NET을 이용하는 경우 학습모델의 출력은 병변부위의 유무를 예측해주는 확률 맵(Prediction Map)이 된다. 영역화 문제에서는 보통 이 확률 맵 값이 0.5 이상이면 병변으로, 0.5 이하이면 배경으로 이진화한다. 다만, 본 발명의 일 실시예에 따른 불확실성을 측정하는 방법은 위와 같이 이진화 작업을 수행하지 않고 확률 맵을 바탕으로 엔트로피를 계산하여 불확실성을 측정한다. 불확실성을 계산하기 위한 방법에는 여러가지가 있으나. 확률 맵의 각 복셀(Voxel)의 엔트로피(Entropy)의 합을 영상의 불확실성으로 계산하는 방법이 사용 될 수 있다.

복셀(Voxel)은 체적요소이며, 3차원 공간에서 정규 격자 단위의 값을 나타낸다. 복셀이라는 용어는 부피와 픽셀을 조합한 혼성어로 2차원 이미지 데이터가 픽셀로 표시되는 것에 대한 비유이다.

상기와 같이 프레임의 불확실성을 확률 맵의 각 복셀의 엔트로피의 합으로 정의하는 경우, 프레임 내 복셀 수는 N, 각 복셀을 n, 복셀이 관심영역일 확률값을 p_n이라 정의했을 때 불확실성 H는 다음 수식과 같이 정의될 수 있다.

즉, 엔트로피가 높을수록 프레임 내의 병변부위인지의 여부가 모호하다는 것을 나타내며, 낮을수록 병변부위인지의 여부가 분명하다는 것을 의미한다.

위와 같이 제 2 의료 영상 각각의 프레임의 불확실성을 계산하며, 상기 제 2 의료 영상 중 불확실성이 기 설정된 조건을 초과하는 적어도 하나의 프레임을 선정하게 된다. 이 경우 불확실성의 기준치는 데이터마다 그리고 업데이트 시마다 바뀌게 되므로, 상기 기 설정된 조건은 불확실성이 가장 높은 k 개의 프레임이 선별되도록 기 설정된 조건을 사용자가 변경할 수 있을 것이다. 또한 k는 사용자가 정할 수 있고 시간이나 리소스가 많을 때는 k를 늘릴 수 있을 것이다. 이 경우 k개의 수를 늘릴 뒤 업데이트를 하는 경우 모델의 성능 향상에 유리할 것이나, 여러 데이터들에 대해 병변부위를 라벨링 하는 시간이 데이터 수에 비례하게 늘어날 것이다.

상기 제 2 의료 영상 중 상기 불확실성이 기 설정된 조건을 초과하는 적어도 하나의 프레임을 선정하여, 상기 선정된 프레임에 대한 병변부위의 라벨링을 입력 받을 수 있다. 이 경우 병변부위의 라벨링 입력은 도 3에서 설명하듯이 디스플레이에서 이루어 질 수 있다.

도 3은 본 발명의 일 실시 예에 따른 상기 학습 장치(100)에서 디스플레이(330)를 더 포함하는 학습 장치(100)의 구성을 나타내는 블록도이다.

디스플레이(330)는 의료영상 프레임을 표시하기 위한 구성으로서, 예컨대, LCD(Liquid Crystal Display)로 구현될 수 있으며, 경우에 따라 CRT(cathode-ray tube), PDP(plasma display panel), OLED(organic light emitting diodes), TOLED(transparent OLED) 등으로 구현될 수 있다. 디스플레이(330)는 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수도 있다.

상기 제 2의료 영상 중 상기 불확실성이 기 설정된 조건을 초과하는 것으로 선정된 적어도 하나의 프레임에 대한 라벨링 입력을 요청하는 UI(User Interface)를 상기 디스플레이에 표시할 수 있다.

도 4는 3차원 의료영상(400)을 병변부위 라벨링을 위해 2차원 영상으로 분할한 것을 나타내는 도면이다. 영상의 크기에 따라 수십,수백장의 2차원 영상으로 분할 할 수 있다. 프로세서(110)는 의료 영상을 분할된 2차원 영상단위로 구분해서 디스플레이(330)에 디스플레이한다. 이 경우, 프로세서(110)는 각 2차원 영상에서 병변 부위를 선택해달라는 메시지 및 그 병변 부위를 선택하는 방법 등을 함께 디스플레이할 수 있다. 이 경우, 프로세서(110)는 병변부위 라벨링을 위해 2차원 영상을 넘겨가며 라벨링을 할 수 있게 해주는 ITK-SNAP 등의 소프트웨어를 이용할 수 있으나, 이에 한정되지 않는다.

도 5는 본 발명의 일 실시 예에 따라 디스플레이되는 UI 구성의 일 예를 나타내는 도면이다.

프로세서(110)는 디스플레이(330)에 2차원 영상과 함께 병변의 체크를 요구하는 안내말을 표시할 수 있다(520). 도5(a)에서는 2차원 제 1 영상(410)이 디스플레이에 표시된 도면이다. 사용자가 도5(b)와 같이 디스플레이에 표시되는 2차원 제 1 영상(410)에 대한 병변 라벨링을 완료하면, 도5(c)와 같이 다음 장으로 넘겨(530 아이콘 클릭) 다시 2차원 제 2 영상(420)에 대한 병변 라벨링을 하고, 각 프레임의 라벨링을 완료하면 다시 각 2차원 영상을 하나의 의료 영상 프레임으로 합쳐 의료 영상 프레임에 대한 라벨링을 완료하게 된다. 상기 라벨링이 완료된 프레임을 제 1의료영상에 추가하여 제 3 의료영상을 생성한 후, 상기 제 3의료 영상을 이용하여 상기 학습모델을 다시 학습할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 의료 영상 용 분석 모델의 학습방법을 설명하기 위한 흐름도 이다.

도 6에 따르면, 학습 장치는 먼저 제 1 의료 영상을 이용하여 분석모델을 학습한다.(S601) 이 경우 학습 장치는 라벨링이 완료된 소수의 제 1 의료 영상 데이터를 이용하여 초기 분석 모델을 학습할 수 있다.

뇌 MR 영상으로 부터 병변을 검출하는 기존의 지도학습 기법들은 보통 수 십장에서 수 백장의 프레임들과 라벨링을 가지고 모델을 학습한다. 따라서, 수 백장의 라벨링을 만드는 작업이 오래 걸리므로 작업을 효율적으로 진행하기 위해, 본 발명의 경우 학습 장치는 소수의 제 1 의료 영상 프레임을 이용하여 초기 분석 모델을 학습 할 수 있다. 그 후, 학습장치는 라벨링 이전의 제 2 의료영상에 상기 초기 분석 모델을 적용하여 상기 제 2 의료영상의 각 프레임의 불확실성을 계산한다.(S602) 그리고 학습장치는 불확실성이 기 설정된 조건을 초과하는 적어도 하나의 프레임을 선정한다.(S603) 학습장치는 선정된 적어도 하나의 프레임에 대한 라벨링을 입력받는다.(S604) 이 경우 라벨링은 사용자가 프레임에서의 병변부위를 체크하는 활동일 수 있다. 학습장치는 상기 제 1 의료 영상에 상기 라벨링된 프레임을 추가하여 제 3 의료 영상을 생성한다.(S605) 학습장치가 제 3 의료영상을 이용하여 상기 분석 모델을 다시 학습함으로 처리를 종료한다.(S606)

도 6에서 설명한 학습 방법은 도 1에 도시된 구성을 가진 학습 장치(100)에 의해 수행 될 수 있으나 반드시 이에 한정되는 것은 아니다. 즉 도 6의 학습방법은 도 1과 상이한 구성의 의료영상 분석 장치에 의해서도 구현 될 수 있다.

도 7은 상술한 실시 예에 따른 학습 방법으로 학습한 분석 모델을 이용하여, 20개의 뇌 MRI 영상 데이터를 분석한 분석 결과를 나타낸다. 구체적으로, 도 7의 경우 무작위로 선정한 데이터(Random)와 제안하는 기법으로 선정한 데이터(Entropy)로 만든 학습모델간 영역화 성능을 비교한 표이다. 도 8의 경우 무작위 선정 기법과 제안하는 선정 기법(액티브 러닝)의 영역화 성능을 비교한 표이다.

실험을 위해 20개의 데이터를 임의로 제 1 의료영상 2개, 제 2 의료영상 13개, 테스트 데이터 프레임 5개로 분류하였다. 제 1의료영상 프레임 2개는 라벨링이 있다고 가정하고 초기 영역화 모델을 학습하는 데에 이용하였고, 제 2 의료영상 프레임 13개는 라벨링이 없다고 가정하였다. 비교를 위해 임의로 데이터를 선정하여 모델을 업데이트 하는 기법과 비교실험을 진행하였다. 본 발명이 제안하는 방법을 위해 초기 영역화 모델을 바탕으로 13개의 의료영상 프레임 중 가장 높은 엔트로피를 가지는 프레임 하나를 선정하였으며, 이후 이 데이터의 라벨링을 추가하여 학습모델을 업데이트 하였다. 이후 업데이트 된 모델의 평가를 위해 5개의 테스트 데이터 프레임에 대해 영역화 정확도를 계산하였다. 이와 함께 임의로 데이터 프레임을 선정하여 같은 방식으로 모델을 업데이트 하여 테스트 데이터 프레임에 대해 정확도를 계산하였다. 각 영역화 모델의 정확도는 다이스 계수(Dice Similarity coefficient : DSC)측정법을 통해 계산 하였다. 학습모델의 업데이트 횟수는 총 6회로 설정하여 라벨링이 없는 제 2 의료영상 13개 프레임 중 6개의 프레임이 학습데이터에 추가될 때 까지 실험을 반복하였다.

실험결과, 도 8에서 볼 수 있듯이 무작위로 선정된 데이터를 이용하여 학습모델을 업데이트 할 때 보다 본 발명의 일 실시 예에 따른 학습모델을 이용하여 업데이트 하였을 때 약 2~5% 영역화 정확도가 향상됨을 확인할 수 있었다.

이상에서는 의료영상 분석 장치 및 의료영상 분석 용 학습모델의 학습 방법에 관련한 다양한 실시 예를 흐름도 및 블록도를 이용하여 설명하였다.

이상과 같은 다양한 실시 예에 따른 의료영상 분석 용 학습모델의 학습 방법은 그 방법을 수행하기 위한 프로그램 코드의 형태로 기록 매체에 저장되어 배포될 수도 있다. 구체적으로는, 전자 장치에 의해 실행되면 제 1 의료 영상과 제 2 의료영상을 이용하여 의료 영상 분석용 학습모델을 학습하는 프로그램 코드가 기록 매체에 저장된 상태로 배포되거나, 온라인 상에서 배포될 수 있다.

여기서, 프로그램 코드는, 라벨링이 완료된 제 1 의료 영상을 이용하여 분석 모델을 학습하는 단계, 라벨링 이전의 제 2 의료 영상에 상기 학습된 분석 모델을 적용하여 상기 제 2 의료 영상의 각 프레임의 불확실성을 계산하는 단계; 상기 제 2 의료 영상 중 상기 불확실성이 기 설정된 조건을 초과하는 적어도 하나의 프레임을 선정하는 단계; 상기 선정된 프레임에 대한 라벨링이 입력되면, 상기 라벨링이 입력된 프레임을 상기 제 1 의료 영상에 추가하여 제 3 의료 영상을 생성하는 단계; 및 상기 제 3 의료 영상을 이용하여 상기 분석 모델을 학습하는 단계를 순차적으로 실행하기 위한 코드가 될 수 있다.

이러한 프로그램 코드가 저장된 기록 매체가 탑재된 장치는 상술한 다양한 실시 예에 따른 동작들을 수행할 수 있다.

기록 매체는, ROM, RAM, 메모리 칩, 메모리 카드, 외장형 하드, 하드, CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 다양한 유형의 컴퓨터 판독 가능 매체가 될 수 있다.

또한, 이러한 프로그램 코드를 온라인 공급자로부터 다운로드 받은 장치 역시 상술한 다양한 동작들을 수행할 수 있다.

이상 첨부 도면을 참고하여 본 발명에 대해서 설명하였지만 본 발명의 권리범위는 후술하는 특허청구범위에 의해 결정되며 전술한 실시 예 및/또는 도면에 제한되는 것으로 해석되어서는 아니 된다. 그리고 특허청구범위에 기재된 발명의, 당업자에게 자명한 개량, 변경 및 수정도 본 발명의 권리범위에 포함된다는 점이 명백하게 이해되어야 한다.

100 학습 장치 110 프로세서
120 메모리 330 디스플레이

Claims (7)

1. 의료 영상의 분석 모델을 학습시키는 학습 장치에 있어서,
   상기 분석 모델이 저장된 메모리; 및
   상기 분석 모델을 이용하여 의료 영상을 분석하는 프로세서;를 포함하며,
   상기 프로세서는,
   라벨링이 완료된 제 1 의료 영상을 이용하여 상기 분석 모델을 학습하고, 라벨링 이전의 제 2 의료 영상에 상기 학습된 분석 모델을 적용하여 상기 제 2 의료 영상의 각 프레임의 불확실성을 계산하며,
   상기 제 2 의료 영상 중 상기 불확실성이 기 설정된 조건을 초과하는 적어도 하나의 프레임을 선정하여, 상기 선정된 프레임에 대한 라벨링을 입력받고,
   상기 라벨링이 입력된 프레임을 상기 제 1 의료 영상에 추가하여 제 3 의료 영상을 생성한 후, 상기 제3 의료 영상을 이용하여 상기 분석 모델을 학습하는, 학습 장치.
2. 제1항에 있어서,
   상기 프로세서는,
   상기 라벨링 이전의 제 2 의료 영상에 상기 학습된 분석 모델을 적용하여 상기 제2 의료 영상의 확률 맵을 생성하고, 상기 확률 맵을 이용하여 각 프레임의 불확실성을 계산하며,
   상기 불확실성은 상기 확률맵의 각 복셀(Voxel)의 엔트로피의 합인 것을 특징으로 하는 학습 장치.
3. 제1항에 있어서,
   디스플레이;를 더 포함하며,
   상기 프로세서는,
   상기 제 2 의료 영상 중 상기 불확실성이 기 설정된 조건을 초과하는 것으로 선정된 적어도 하나의 프레임에 대한 라벨링 입력을 요청하는 UI(User Interface)를 상기 디스플레이에 표시하고,
   상기 UI 상에서 상기 적어도 하나의 프레임 각각의 병변 부위가 체크되면, 체크된 부분에 대한 데이터를 상기 각 프레임의 데이터에 추가하여, 상기 적어도 하나의 프레임을 라벨링하는 학습 장치.
4. 의료영상 용 분석 모델의 학습 방법에 있어서,
   라벨링이 완료된 제 1 의료 영상을 이용하여 분석 모델을 학습하는 단계;
   라벨링 이전의 제 2 의료 영상에 상기 학습된 분석 모델을 적용하여 상기 제2 의료 영상의 각 프레임의 불확실성을 계산하는 단계;
   상기 제 2 의료 영상 중 상기 불확실성이 기 설정된 조건을 초과하는 적어도 하나의 프레임을 선정하는 단계;
   상기 선정된 프레임에 대한 라벨링이 입력되면, 상기 라벨링이 입력된 프레임을 상기 제1 의료 영상에 추가하여 제 3 의료 영상을 생성하는 단계; 및
   상기 제 3 의료 영상을 이용하여 상기 분석 모델을 학습하는 단계;를 포함하는, 학습 방법.
5. 제4항에 있어서,
   상기 불확실성을 계산하는 단계는,
   상기 라벨링 이전의 제 2 의료 영상에 상기 학습된 분석 모델을 적용하여 상기 제2 의료 영상의 확률 맵을 생성하는 단계;
   상기 확률 맵을 이용하여 상기 제 2 의료 영상의 불확실성을 산출하는 단계;를 포함하며,
   상기 불확실성은, 상기 확률맵의 각 복셀(Voxel)의 엔트로피의 합인, 학습 방법.
6. 제4항에 있어서,
   상기 제 3 의료 영상을 생성하는 단계는,
   상기 제 2 의료 영상 중 상기 불확실성이 기 설정된 조건을 초과하는 것으로 선정된 적어도 하나의 프레임에 대한 라벨링 입력을 요청하는 UI(User Interface)를 디스플레이하는 단계;
   상기 UI 상에서 상기 적어도 하나의 프레임 각각의 병변 부위가 체크되면, 체크된 부분에 대한 데이터를 상기 각 프레임의 데이터에 추가하여, 상기 적어도 하나의 프레임을 라벨링하는 단계;
   상기 라벨링된 프레임을 상기 제 1 의료 영상에 추가하여 상기 제3 의료 영상을 생성하는 단계;를 포함하는, 학습 방법.
7. 의료 영상 용 분석 모델을 학습하는 학습 방법을 실행하기 위한 프로그램이 저장된 기록 매체에 있어서,
   상기 학습 방법은,
   라벨링이 완료된 제 1 의료 영상을 이용하여 분석 모델을 학습하는 단계;
   라벨링 이전의 제 2 의료 영상에 상기 학습된 분석 모델을 적용하여 상기 제2 의료 영상의 각 프레임의 불확실성을 계산하는 단계;
   상기 제 2 의료 영상 중 상기 불확실성이 기 설정된 조건을 초과하는 적어도 하나의 프레임을 선정하는 단계;
   상기 선정된 프레임에 대한 라벨링이 입력되면, 상기 라벨링이 입력된 프레임을 상기 제 1 의료 영상에 추가하여 제 3 의료 영상을 생성하는 단계; 및
   상기 제 3 의료 영상을 이용하여 상기 분석 모델을 학습하는 단계;를 포함하는, 기록 매체.
   
   

Images