KR102127151B1

KR102127151B1 - 하지 뼈 영상 처리 장치 및 방법

Info

Publication number: KR102127151B1
Application number: KR1020180096567A
Authority: KR
Inventors: 윤선중; 오승일; 주수빈; 정원
Original assignee: 전북대학교병원
Priority date: 2018-08-20
Filing date: 2018-08-20
Publication date: 2020-06-30
Also published as: KR20200021160A

Abstract

영상 처리 방법에 연관된다. 보다 상세하게는 하반신 엑스선 이미지의 골격 정렬 상태를 판단하는 영상 처리 방법으로서, 엑스선 이미지를 기계학습하는 기계학습부 및 잠재변수를 이용하여 상기 엑스선 이미지의 골격 정렬 상태를 판단하는 판단부를 포함할 수 있다.

Description

하지 뼈 영상 처리 장치 및 방법{LOWER EXTREMITIES BONE IMAGE PROCESSING APPARATUS AND METHOD}

하지 영상을 처리하는 장치 및 방법에 연관된다. 보다 특정하게는 하지 뼈의 방사선을 이용하는 CT 및 X-Ray, 자기공병 영상장치 (MRI), 핵의학기법을 이용하는 (bone scan) 영상을 딥러닝(Deep Learning) 기법을 이용하여 처리하는 장치 및 방법에 연관된다.

정형외과 일반 수술 및 인공관절수술의 수술 전 단계(preoperative)에서 정밀한 수술 계획을 세울 때, 하지 뼈의 정렬이 올바르게 촬영된 엑스선(X-Ray) 이미지가 중요하다. 그러나 환자의 잘못된 자세로 인해 골격의 정렬이 어긋난 상태로 엑스선 이미지가 촬영되기도 하는데, 이 경우 숙달된 임상 전문가가 아니면 정렬 상태가 잘못된 이미지를 정확히 분류 해내기 어렵다. 따라서, 영상 촬영 단계에서 엑스선 이미지의 하지 뼈 정렬 상태를 평가할 수 있는 시스템이 요구된다.

기존의 전문가 시스템은 학습 시키는 데는 많은 양의 입력 데이터와 그에 상응하는 정답 라벨링(labeling)이 필요하지만, 수 만장의 이미지에 일일이 라벨을 붙이기 위해서는 전문 인력이 투입되어 많은 시간을 소모해야 하는 문제가 있다. 따라서 최근에는 정답 라벨링을 갖는 소수의 입력데이터와, 정답 라벨링이 없는 다수의 입력데이터를 이용하는 시스템을 개발하기 위한 준 지도 학습(semi-supervised) 방법이 연구되고 있다.

한국 공개특허 10-2016-0064058호 (공개일자 2016년06월07일)는 스마트 학습 방식의 엑스레이 검사 방법을 개시한다.

일실시예에 따르면 컴퓨터에의해 적어도 일시적으로 수행되는 영상 처리 방법에 있어서, 기계학습부가 하지, 골반, 우측 고관절 및 좌측 고관절 중 적어도 하나의 뼈 정렬 상태에 대해 라벨링된 엑스선(X-Ray), MRI, Bone scan 중 적어도 하나의 학습용 이미지를 이용하여 그리디 레이어 방식 학습(greedy layer-wise training) 방법으로 기계학습 하는 단계 판단용 이미지를 입력받아 상기 기계학습부의 인코더가 잠재 변수로 압축하는 단계; 및 판단부가 상기 잠재변수를 소프트맥스(softmax) 분류를 이용하여 상기 판단용 이미지의 골격 정렬 상태를 판단하는 단계를 포함하는 영상 처리 방법이 개시된다.

다른 일실시예에 따르면 컴퓨터에의해 적어도 일시적으로 수행되는 영상 처리 방법에 있어서, 기계학습부가 포함하는 복수의 인코더 각각이 하지, 골반, 우측 고관절 및 좌측 고관절의 뼈 정렬 상태에 대해 라벨링된 엑스선(X-Ray), MRI, Bone scan 중 적어도 하나의 학습용 이미지를 변분 오토인코더(Variational Autoencoder) 방법을 이용하여 학습용 잠재 변수로 압축하고, 상기 잠재 변수를 소프트맥스 분류하여 상기 학습용 이미지의 골격 정렬 상태를 기계학습 하는 단계; 판단용 이미지를 입력받아 상기 복수의 인코더가 상기 변분 오토인코더 방법을 이용하여 판단용 잠재 변수로 압축하는 단계; 및 판단부가 상기 판단용 잠재 변수를 소프트맥스 분류하여 상기 판단용 이미지의 골격 정렬 상태를 판단하는 단계를 포함하는 영상 처리 방법도 개시된다.

이 때, 상기 변분 오토인코더 방법은, 상기 학습용 및 판단용 이미지를 복수의 레이어를 거쳐 그리디 레이어 방식 학습(greedy layer-wise training)하는 기계학습 방법일 수 있다.

다른 일실시예에 따르면 상기 판단용 이미지를 압축하는 단계는, 상기 판단용 이미지를 입력받아 하지 골반, 우측 고관절 및 좌측 고관절 영역으로 분류하는 단계; 및 상기 복수의 인코더가 분류되는 각각의 상기 영역을 상기 판단용 잠재 변수로 압축하는 단계를 포함하는 영상 처리 방법도 가능하다.

또 다른 일실시예에 따르면 컴퓨터에의해 적어도 일시적으로 수행되는 영상 처리 방법에 있어서, 제1 내지 제4 인코더가 하지, 골반, 우측 고관절 및 좌측 고관절의 뼈 정렬 상태에 대해 양호 상태로 라벨링된 엑스선(X-Ray), MRI, Bone scan 중 적어도 하나의 학습용 이미지를 각각 변분 오토인코더(Variational Autoencoder) 방법을 이용하여 제1 내지 제4 잠재 변수로 압축하는 단계; 판단용 이미지를 입력 받아 하지, 골반, 우측 고관절 및 좌측 고관절 영역으로 분류하는 단계; 각 영역으로 분류되는 상기 판단용 이미지를 상기 제1 내지 제4 인코더가 상기 변분 오토인코더 방법을 이용하여 잠재 변수 그룹으로 압축하는 단계; 및 상기 제1 내지 제4 잠재 변수와 상기 잠재 변수 그룹의 상기 제1 내지 제4 잠재 변수에 대응하는 잠재변수 간의 평균 에러 값을 비교하여 상기 판단용 이미지의 어느 영역의 골격 정렬 상태가 불량인지 판단하는 단계를 포함하는 영상 처리 방법도 제시된다.

다른 일실시예에 따르면 상기 불량인지 판단하는 단계는, 상게 제1 내지 제4 잠재 변수의 분포를 계산하는 단계; 상기 잠재 변수 그룹의 분포를 계산하는 단계; 상기 제1 내지 제4 잠재 변수의 분포와 상기 제1 내지 제4 잠재 변수 분포에 대응하는 상기 잠재 변수 그룹 각각의 평균 에러 값을 비교하는 단계; 및 상기 평균 에러 값이 가장 큰 잠재 변수 그룹에 대응하는 상기 판단용 이미지의 영역의 골격 정렬 상태가 불량이라고 결정하는 단계를 포함하도록 구성될 수 있다.

일실시예에 따르면 컴퓨터에의해 적어도 일시적으로 수행되는 영상 처리 방법에 있어서, 기계학습부가 포함하는 복수의 인코더 각각이 하지, 골반, 우측 고관절 및 좌측 고관절의 뼈 정렬 상태에 대해 라벨링된 엑스선(X-Ray), MRI, Bone scan 중 적어도 하나의 학습용 이미지를 변분 오토인코더(Variational Autoencoder) 방법을 이용하여 학습용 잠재 변수로 압축하고, 상기 잠재 변수를 소프트맥스 분류하여 상기 학습용 이미지의 골격 정렬 상태를 기계학습 하는 단계; 판단용 이미지를 입력 받아 하반신, 골반, 우측 고관절 및 좌측 고관절 영역으로 분류하는 단계; 상기 판단용 이미지를 상기 복수의 인코더가 상기 변분 오토인코더 방법을 이용하여 인코더별 판단용 잠재 변수로 압축하는 단계; 판단부가 상기 잠재 변수를 소프트맥스 분류하여 상기 판단용 이미지의 골격 정렬 상태를 판단하는 단계; 상기 인코더별 판단용 잠재 변수의 평균 에러 값을 이용하여 상기 판단용 이미지의 어느 영역의 골격 정렬 상태가 불량인지 판단하는 단계를 포함하는 영상 처리 방법이 개시된다.

일측에 따르면 복수의 인코더를 포함하고, 상기 복수의 인코더를 이용하여 하반신, 골반, 우측 고관절 및 좌측 고관절의 뼈 정렬 상태에 대해 라벨링된 엑스선(X-Ray), MRI, Bone scan 중 적어도 하나의 학습용 이미지를 변분 오토인코더(Variational Autoencoder) 방법을 이용하여 학습용 잠재 변수로 압축하고, 상기 학습용 잠재 변수를 소프트맥스 분류하여 상기 학습용 이미지의 골격 정렬 상태를 기계학습 하고, 판단용 이미지를 입력 받아 상기 복수의 인코더가 상기 변분 오토인코더 방법을 이용하여 판단용 잠재 변수로 압축하는 기계학습부; 및 상기 판단용 잠재 변수를 소프트맥스 분류하여 상기 판단용 이미지의 골격 정렬 상태를 판단하는 판단부를 포함하는 영상 처리 장치가 개시된다.

다른 일측에 따르면 상기 기계학습부는, 상기 판단용 이미지를 입력받아 하반신, 골반, 우측 고관절 및 좌측 고관절 영역으로 분류하고, 상기 복수의 인코더가 분류되는 각각의 상기 영역을 상기 판단용 잠재 변수로 압축하는 영상 처리 장치가 제시된다.

또 다른 일측에 따르면 판단용 이미지를 입력 받아 하반신, 골반, 우측 고관절 및 좌측 고관절 영역으로 분류하는 전처리부; 제1 내지 제4 인코더를 포함하고, 상기 제1 내지 제4 인코더를 이용하여 하반신, 골반, 우측 고관절 및 좌측 고관절의 뼈 정렬 상태에 대해 양호 상태로 라벨링된 엑스선(X-Ray), MRI, Bone scan 중 적어도 하나의 학습용 이미지를 각각 변분 오토인코더(Variational Autoencoder) 방법을 이용하여 제1 내지 제4 잠재 변수로 압축하고, 각 영역으로 분류되는 상기 판단용 엑스선 이미지를 상기 제1 내지 제4 인코더가 상기 변분 오토인코더 방법을 이용하여 잠재 변수 그룹으로 압축하는 기계학습부; 및 상기 제1 내지 제4 잠재 변수와 상기 잠재 변수 그룹의 상기 제1 내지 제4 잠재 변수에 대응하는 잠재변수 간의 평균 에러 값을 비교하여 상기 판단용 엑스선 이미지의 어느 영역의 골격 정렬 상태가 불량인지 판단하는 판단부를 포함하는 영상 처리 장치도 개시된다.

또한 상기 판단부는, 상게 제1 내지 제4 잠재 변수의 분포와 상기 잠재 변수 그룹의 분포를 계산하고, 상기 제1 내지 제4 잠재 변수의 분포와 상기 제1 내지 제4 잠재 변수 분포에 대응하는 상기 잠재 변수 그룹 각각의 평균 에러 값을 비교하여, 상기 평균 에러 값이 가장 큰 잠재 변수 그룹에 대응하는 상기 판단용 이미지의 영역의 골격 정렬 상태가 불량이라고 결정할 수 있다.

일실시예에 따르면 상기 영상 처리 방법들을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체도 개시된다.

상기 학습용 및 판단용 이미지들은 엑스선(X-Ray), MRI, Bone scan 중 적어도 하나의 이미지일 수 있다.

도 1은 일실시예에 따른 SCVAE 기계학습 방법의 원리를 도시한다.
도 2는 일실시예에 따른 싱글 SCVAE 분류 모델을 포함하는 영상 처리 장치를 도시한다.
도 3은 일실시예에 따른 병렬 SCVAE 분류 모델을 포함하는 영상 처리 장치를 도시한다.
도 4는 일실시예에 따른 병렬 SCVAE 설명 모델을 포함하는 영상 처리 장치를 도시한다.
도 5는 일실시예에 따른 병렬 SCVAE 설명 모델 및 분류 모델을 포함하는 영상 처리 장치를 도시한다.
도 6은 일실시예에 따른 병렬 SCVAE 설명 모델의 불량 영역 판단 원리를 도시한다.
도 7은 일실시예에 따른 병렬 SCVAE 설명 모델의 구체적인 불량 영역 판단 방법을 도시한다.

이하에서, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 권리범위는 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.

또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.

이하에서는 학습용 및 판단용 이미지를 엑스선 이미지로 예시하여 설명하였으나, 이에 한정되는 것은 아니며 엑스선(X-Ray), MRI, Bone scan 등 뼈의 정렬 상태를 확인 가능한 이미지로 구현될 수 있다. 또한 엑스선(X-Ray), MRI, Bone scan를 복합적으로 사용하여 학습하고 뼈 정렬 상태를 판단하는 영상 처리 장치 및 방법도 가능하다.

도 1은 일실시예에 따른 SCVAE 기계학습 방법의 원리를 도시한다.

SCVAE(Stacked Convolutional Variational AutoEncoder)는 인코더와 디코더로 구성된다. 상기 인코더와 디코더는 많고 정확한 이미지 특징 추출을 위해 다층 (Multiple-Layer)으로 설계될 수 있다. 각 레이어 사이는 완전 연결된 네트워크(Fully Connect Network)보다 이미지와 같은 2D 입력 데이터의 특징을 추출하는데 유리한 콘볼루셔널(Convolutional) 및 디콘볼루셔널(De-Convolutional) 방법을 사용하여 연결 될 수 있다. 여러 레이어를 갖는 싱글(Single) SCVAE는 그리디 레이어 방식 학습(Greedy Layer-wise Training)방법으로 학습된다.

콘볼루셔널 뉴럴 네트워크(Convolutional Neural Network, CNN)를 사용한 세부적인 SCVAE 구조가 도 1에서 상세히 도시된다. 각 레이어 위에 적혀 있는 숫자는 순서대로 해당 레이어의 너비, 높이, 커널을 의미한다. SCVAE는 입력과 출력에 동일한 이미지 데이터를 사용하기 때문에 정답 라벨링 데이터가 없더라도 비지도(Unsupervised) 방법으로 학습이 가능하다.

예시적으로 그러나 한정되지 않게 엑스선 이미지는 128 x 96크기의 회색조(grayscale) 이미지로 리사이즈(resize) 되어 인코더의 입력으로 사용될 수 있다. 리사이즈된 엑스선 이미지는 총 4단계의 콘볼루션 레이어를 거처 잠재 변수(latent z)로 압축된다. 하나의 레이어를 거칠 때 마다 이미지의 너비와 높이는 1/2로 줄어들고 커널 숫자는 1, 64, 128, 256, 512순으로 증가한다. 최종적으로 잠재 영역(latent space)에서는 16개의 특징점(Feature Point)인 잠재 변수가 추출된다. 잠재 변수의 개수는 예시적으로 16개로 결정했으나, 이에 한정되는 것은 아니며 실시예에 따라 다양하게 변경이 가능하다.

디코더의 입력 데이터로는 상기 잠재 영역에서 추출되는 16개의 잠재 변수가 사용되며, 총 4단계의 디콘볼루션 레이어(de-convolution layer)를 거쳐 다시 (128,96,1) 구조의 이미지로 복원된다.

SCVAE 인코더의 출력 부분에, 16개의 잠재 변수 값을 입력으로 받고 2개의 출력(Output)을 갖는 소프트맥스 레이어(Softmax layer)를 완전 연결(fully connect)하여 분류 모델을 만들 수 있다. 상기 분류 모델을 이용하여 정답 라벨링이 있는 엑스선 이미지를 입력해 지도 학습을 수행할 수 있다. SCVAE에 소프트맥스 레이어를 연결하여 완성된 분류 모델에 판단용 엑스선 이미지가 입력되면, 인코더를 통해 잠재 변수로 압축(또는 추출)되고, 상기 잠재 변수와 연결된 소프트맥스 레이어 에서 이미지의 촬영상태가 좋음(Good)인지 나쁨(Bad)인지를 판단한다. 이 때, 이미지의 촬영 상태는 하반신 영역의 골격 정렬 상태에 연관될 수 있다. 골격 정렬 상태 판단에 관해서는 도 2 내지 도 5에서 상세히 설명한다.

도 2는 일실시예에 따른 싱글(Single) SCVAE 분류 모델을 포함하는 영상 처리 장치를 도시한다.

싱글(Single) SCVAE 분류 모델을 포함하는 영상 처리 장치(200)는 기계학습부(210) 및 판단부(220)로 구성될 수 있다. 상기 기계학습부(210)는 인코더(211) 및 디코더(215)를 포함하고, 상기 인코더(211)에 의해 입력 데이터를 잠재변수(213)로 압축할 수 있다. 한편 판단부(220)는 소프트맥스(221) 레이어를 포함하여 상기 잠재변수(213)를 이용해 입력 데이터에 관한 판단을 수행한다.

구체적으로 살펴보면 기계학습부(210)는 앞서 설명한 SCVAE(Stacked Convolutional Variational AutoEncoder) 방식에 의해 입력되는 엑스선 이미지를 잠재변수(213)로 압축할 수 있다. 다층 구조를 가질 수 있으며, 몇 층의 구조를 갖는지는 실시예에 따라 다양하게 변형될 수 있다.

상기 기계학습부(210)는 SCVAE 기계학습 방식을 이용하여 다양한 엑스선 이미지를 이용해 학습을 수행한다. 학습된 기계학습부(210)는 판단할 엑스선 이미지를 입력 받으면 학습된 방식대로 상기 판단할 엑스선 이미지를 인코더(211)에 의해 잠재 변수(213)로 압축한다.

판단부(220)는 상기 잠재 변수(213)를 소프트맥스(221) 레이어를 이용하여 입력 받고, 상기 소프트맥스(221) 레이어는 판단할 엑스선 이미지가 좋음 상태인지 나쁨 상태인지 여부를 판단한다.

여기서 엑스선 이미지가 좋음 상태라는 의미는, 예시적으로 그러나 한정되지 않게 하반신 엑스선 이미지가 적절하게 촬영되었음을 의미할 수 있다. 구체적으로 촬영된 엑스선 이미지의 골격 정렬 상태가 의료진이 진단 등에 활용함에 있어서 용이하게 촬영되었는지 여부일 수 있다. 고관절 인공관절 수술의 수술 전 단계에서 정밀한 수술계획을 세울 때, 하지 뼈의 정렬이 올바르게 촬영된 엑스선, CT, MRI, bone scan 영상이 중요하기 때문에 이러한 용도로 활용이 가능한 엑스선 영상인지 여부를 판단할 수 있다.

도 3은 일실시예에 따른 병렬 SCVAE 분류 모델을 포함하는 영상 처리 장치를 도시한다.

병렬(Parallel) SCVAE 분류 모델을 포함하는 영상 처리 장치(300)는 기계학습부(310) 및 판단부(320)를 포함할 수 있다. 싱글 SCVAE 분류 모델을 포함하는 영상 처리 장치(200)와 인코더(311) 부분에서 차이가 있다.

구체적으로 설명하면, 병렬 SCVAE 분류 모델을 포함하는 영상 처리 장치(300)의 기계학습부(310)는 복수의 인코더(311)를 포함할 수 있다. 예시적으로 도 3에서는 4개의 인코더를 포함하는 경우로 설명한다.

영상 의학 분야에서는 골반(Pelvis)와, 고관절 부위의 기울어짐(Tilt), 회전(Rotation) 정도를 기준으로 하반신 엑스선 이미지의 촬영상태를 판단한다. 따라서 촬영 상태를 판단하는 분류 모델을 포함하는 영상 처리 장치(300)는 하반신 전체의 엑스선 이미지를 사용하는 것보다 촬영 상태(골격 정렬 상태) 판단 기준이 되는 부위의 이미지를 사용하는 것이 보다 높은 분류 정확도를 가질 수 있다.

따라서 하반신 엑스선 이미지를, 촬영 상태 판단의 기준이 되는 폐쇄공(pelvic obturator foramen), 우측 고관절, 좌측 고관절 3개의 부분 이미지로 나누고, 하반신 전체 이미지까지 포함하여 총 4개의 이미지에서 각각 잠재 변수를 추출하는 병렬 SCVAE를 제시한다.

병렬 SCVAE 분류 모델을 포함하는 영상 처리 장치(300)는 상기 제1 내지 제4 인코더(311)로 구성된다. 예를 들어 제1 인코더는 하반신 전체 엑스선 이미지, 제2 인코더는 폐쇄공 엑스선 이미지, 제3 인코더는 우측 고관절 엑스선 이미지, 제4 인코더는 좌측 고관절 엑스선 이미지를 입력으로 사용할 수 있다.

일실시예에 따르면 폐쇄공 엑스선 이미지와 좌,우측 고관절 엑스선 이미지는 각각 88x48크기와 88x88 크기로 리사이즈 된 이미지를 사용할 수 있다. 각 인코더(311)는 입력된 데이터로부터 16개의 잠재 변수(313)를 추출하게 되며, 추출된 16개씩의 상기 제1 내지 제4 잠재 변수(313)는 2개의 출력을 갖는 소프트맥스(321) 레이어와 완전 연결된다. 상기 제1 내지 제4 인코더(311)와 소프트맥스(321) 레이어가 연결된 모델은 촬영 상태(골격 정렬 상태)에 대한 라벨(Good/Bad)이 있는 엑스선 이미지를 이용하여 기계학습(training)할 수 있다.

기계학습된 상기 병렬 SCVAE 분류 모델을 포함하는 영상 처리 장치(300)은 판단할 엑스선 이미지를 입력으로 받아, 입력 받은 영상의 뼈 정렬 상태를 판단할 수 있다. 상기 판단할 엑스선 이미지가 하반신 전체 엑스선 이미지인 경우에는 전처리부(미도시)에 의해 골반, 폐쇄공, 우측 고관절 및 좌측 고관절 영역으로 분류하여 입력될 수 있다.

상기 판단부(320)는 입력되는 판단용 엑스선 이미지에 대응하는 제1 내지 제4 잠재변수를 이용하여 소프트맥스(321) 레이어를 통해 골격 정렬 상태를 판단할 수 있다.

도 4는 일실시예에 따른 병렬 SCVAE 설명 모델을 포함하는 영상 처리 장치를 도시한다. 일실시예에 따른 병렬 SCVAE 설명 모델을 포함하는 영상 처리 장치(400)는 기계학습부(410) 및 설명부(430)를 포함할 수 있다.

구체적으로 상기 기계학습부(410)는 제1, 제2, 제3, 제4 인코더(411)를 포함하고, 상기 제1 내지 제4 인코더(411)를 이용하여 입력 엑스선 이미지를 제1, 제2, 제3, 제4 잠재변수(413)로 압축할 수 있다. 압축되는 상기 제1 내지 제4 잠재변수들은 설명부(430)로 전달된다.

상기 병렬 SCVAE 설명 모델을 포함하는 영상 처리 장치(400)가 판단할 엑스선 이미지를 수신하면, 상기 제1 내지 제4 인코더에 의해 잠재 변수 그룹으로 압축될 수 있다. 압축되는 상기 잠재 변수 그룹은 상기 제1 내지 제4 잠재 변수와 마찬가지로 상기 설명부(430)로 전달된다.

상기 설명부(430)는 전달 받은 제1 내지 제4 잠재 변수들과 잠재 변수 그룹을 대응하여 상기 판단할 엑스선 이미지의 어느 영역이 불량한 골격 정렬 상태를 갖는지를 판단할 수 있다. 상기 설명부의 구체적인 판단 방법은 도 6 및 도 7에서 상세히 설명하도록 한다.

도 5는 일실시예에 따른 병렬 SCVAE 설명 모델 및 분류 모델을 포함하는 영상 처리 장치를 도시한다.

병렬 SCVAE 설명 모델 및 분류 모델을 모두 포함하는 영상 처리 장치(500)는 도 3의 SCVAE 분류 모델과 도 4의 SCVAE 설명 모델을 모두 포함하도록 구성될 수 있다.

구체적인 동작은 도 3 및 도 4에서 설명한 내용과 같으며, 입력 엑스선 이미지를 이용하여 기계학습부(510)가 기계학습을 수행한다. 학습된 기계학습부(510)는 판단부(520)의 소프트맥스(521) 레이어를 이용하여 판단용 엑스선 이미지의 골격 정렬 상태를 판단할 수 있다. 또한 설명부(530)를 이용하여 상기 판단용 엑스선 이미지의 어느 영역이 불량인지를 판단하여 설명을 제공할 수 있다.

도 6은 일실시예에 따른 병렬 SCVAE 설명 모델의 불량 영역 판단 원리를 도시한다.

일실시예에 따른 병렬 SCVAE 설명 모델을 포함하는 영상 처리 장치는 학습용 또는 판단용 엑스선 이미지(610)를 입력 받아, 기계학습부의 인코더(620)에 의해 잠재 변수들로 압축할 수 있다. 쉽게 설명하기 위해 하나의 인코더(620)를 이용하여 16개의 잠재 변수로 압축하는 경우를 도시한다.

먼저 학습용 엑스선 이미지를 이용하여 기계학습부의 인코더(620)는 1번 잠재 변수(621)부터 16번 잠재 변수(623)를 추출한다. 추출되는 상기 인코더(620)는 판단용 엑스선 이미지를 이용하여 다른 1번 잠재 변수(621)부터 16번 잠재 변수를 추출한다.

입력된 이미지들의 잠재 변수를 추출하여 정규 분포도(히스토그램) 형태로 군집화 한다. 예를 들어, 기계학습부의 인코더(620)에 골격 정렬 상태가 양호한(Good) 이미지와 골격 정렬 상태가 불량한(Bad) 이미지를 넣으면, 이미지 개수의 16배에 해당하는 잠재 변수 세트가 추출된다. 획득된 잠재 변수 세트의 분포를 히스토그램으로 나타내었을 때 양호한 이미지와 불량한 이미지 사이에 차이가 나는 특징은 서로 다른 분포로 (a)의 경우와 같이 군집화 된다. 반면에 두 이미지 사이에 유사한 특징은 서로 비슷한 분포로 (b)의 경우와 간이 군집화 된다.

즉, 상기 1번 잠재 변수(621)는 양호한 이미지와 불량한 이미지 사이에 차이가 나는 특징이며, 상기 16번 잠재 변수(623)는 그 반대이다. 따라서 이러한 설명한 원리에 따라 판단용 엑스선 이미지가 어느 영역에서 불량한지 여부를 판단할 수 있다.

도 7은 일실시예에 따른 병렬 SCVAE 설명 모델의 구체적인 불량 영역 판단 방법을 도시한다.

병렬 SCVAE 설명 모델을 포함하는 영상 처리 장치에 입력되는 4개의 이미지(전체 이미지, 폐쇄공 이미지, 우측 고관절, 좌측 고관절)의 잠재 변수 값이, 양호한 이미지의 잠재 변수 분포와 얼마나 차이가 있는지 비교하여 어느 영역이 불량한 영역인지를 판단할 수 있다.

양호한 이미지 세트를 제1 내지 제4 인코더에 입력 하면 각각 16개로 구성되는 제1 내지 제4 잠재 변수가 추출되고, 상기 제1 내지 제4 잠재 변수의 히스토그램을 그리면 4 세트의 양호한 이미지 잠재 변수의 분포를 획득할 수 있다.

다음으로, 어느 신체 부위가 불량인지 확인이 필요한 엑스선 이미지를 상기 제1 내지 제4 인코더에 입력하여 잠재 변수 그룹을 추출한다. 양호한 이미지의 제1 내지 제4 잠재 변수 분포와 얼마만큼 차이가 나는지를 확인한다.

수학식 1을 이용하면 16개의 잠재 변수에서 평균적으로 얼마만큼의 양호한 이미지와 판단할 엑스선 이미지간 차이가 있는지 평균 에러(mean error)를 계산할 수 있다.

상기 수학식 1에서 N은 인코더 숫자이며, n은 잠재 변수의 개수이다. Good z_mean은 히스토그램의 평균값이며 Bad z는 판단할 (불량한) 엑스선 이미지로부터 추출된 잠재 변수 값이다. 두 값의 차이에 대한 절대 값을 구하고 전체 잠재 변수 분포의 편차 값으로 나누면, 하나의 잠재 변수에서의 에러 값을 계산할 수 있다.

상기 과정을 16개 잠재 변수에 반복한 뒤 평균 값을 계산함으로 N번째 인코더의 평균 에러 값을 계산할 수 있다. 상기 제1 내지 제4 인코더 중에 상기 평균 에러 값이 가장 큰 인코더에 해당하는 영역이 가장 불량하게 촬영되었다고 판단할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

삭제
컴퓨터에의해 적어도 일시적으로 수행되는 영상 처리 방법에 있어서,
기계학습부가 포함하는 복수의 인코더 각각이 하반신, 골반, 우측 고관절 및 좌측 고관절의 뼈 정렬 상태에 대해 라벨링된 학습용 이미지를 변분 오토인코더(Variational Autoencoder) 방법을 이용하여 학습용 잠재 변수로 압축하고, 상기 잠재 변수를 소프트맥스 분류하여 상기 학습용 이미지의 골격 정렬 상태를 기계학습 하는 단계;
판단용 이미지를 입력받아 상기 복수의 인코더가 상기 변분 오토인코더 방법을 이용하여 판단용 잠재 변수로 압축하는 단계; 및
판단부가 상기 판단용 잠재 변수를 소프트맥스 분류하여 상기 판단용 이미지의 골격 정렬 상태가 불량인지 여부를 판단하는 단계
를 포함하고,
상기 학습용 이미지는,
골격 정렬 상태의 이미지에서 뼈 정렬 상태가 좋음인지 나쁨인지 여부에 대해 라벨링된 학습용 이미지인 영상 처리 방법.
제2항에 있어서,
상기 변분 오토인코더 방법은,
상기 학습용 및 판단용 이미지를 복수의 레이어를 거쳐 그리디 레이어 방식 학습(greedy layer-wise training)하는 기계학습 방법인 영상 처리 방법.
제3항에 있어서,
상기 판단용 이미지를 압축하는 단계는,
상기 판단용 이미지를 입력받아 하반신, 골반, 우측 고관절 및 좌측 고관절 영역으로 분류하는 단계; 및
상기 복수의 인코더가 분류되는 각각의 상기 영역을 상기 판단용 잠재 변수로 압축하는 단계
를 포함하는 영상 처리 방법.
컴퓨터에의해 적어도 일시적으로 수행되는 영상 처리 방법에 있어서,
제1 내지 제4 인코더가 하반신, 골반, 우측 고관절 및 좌측 고관절의 뼈 정렬 상태에 대해 양호 상태로 라벨링된 학습용 이미지를 각각 변분 오토인코더(Variational Autoencoder) 방법을 이용하여 제1 내지 제4 잠재 변수로 압축하는 단계;
판단용 이미지를 입력 받아 하반신, 골반, 우측 고관절 및 좌측 고관절 영역으로 분류하는 단계;
각 영역으로 분류되는 상기 판단용 이미지를 상기 제1 내지 제4 인코더가 상기 변분 오토인코더 방법을 이용하여 잠재 변수 그룹으로 압축하는 단계; 및
상기 제1 내지 제4 잠재 변수와 상기 잠재 변수 그룹의 상기 제1 내지 제4 잠재 변수에 대응하는 잠재변수 간의 평균 에러 값을 비교하여 상기 판단용 이미지의 어느 영역의 골격 정렬 상태가 불량인지 판단하는 단계
를 포함하고,
상기 학습용 이미지는,
골격 정렬 상태의 이미지에서 뼈 정렬 상태가 좋음인지 나쁨인지 여부에 대해 라벨링된 학습용 이미지인 영상 처리 방법.
제5항에 있어서,
상기 변분 오토인코더 방법은,
상기 학습용 및 판단용 이미지를 복수의 레이어를 거쳐 그리디 레이어 방식 학습(greedy layer-wise training)하는 기계학습 방법인 영상 처리 방법.
제6항에 있어서,
상기 불량인지 판단하는 단계는,
상게 제1 내지 제4 잠재 변수의 분포를 계산하는 단계;
상기 잠재 변수 그룹의 분포를 계산하는 단계;
상기 제1 내지 제4 잠재 변수의 분포와 상기 제1 내지 제4 잠재 변수 분포에 대응하는 상기 잠재 변수 그룹 각각의 평균 에러 값을 비교하는 단계; 및
상기 평균 에러 값이 가장 큰 잠재 변수 그룹에 대응하는 상기 판단용 이미지의 영역의 골격 정렬 상태가 불량이라고 결정하는 단계
를 포함하는 영상 처리 방법.
컴퓨터에의해 적어도 일시적으로 수행되는 영상 처리 방법에 있어서,
기계학습부가 포함하는 복수의 인코더 각각이 하반신, 골반, 우측 고관절 및 좌측 고관절의 뼈 정렬 상태에 대해 라벨링된 학습용 이미지를 변분 오토인코더(Variational Autoencoder) 방법을 이용하여 학습용 잠재 변수로 압축하고, 상기 잠재 변수를 소프트맥스 분류하여 상기 학습용 이미지의 골격 정렬 상태를 기계학습 하는 단계;
판단용 이미지를 입력 받아 하반신, 골반, 우측 고관절 및 좌측 고관절 영역으로 분류하는 단계;
상기 판단용 이미지를 상기 복수의 인코더가 상기 변분 오토인코더 방법을 이용하여 인코더별 판단용 잠재 변수로 압축하는 단계;
판단부가 상기 잠재 변수를 소프트맥스 분류하여 상기 판단용 이미지의 골격 정렬 상태를 판단하는 단계;
상기 인코더별 판단용 잠재 변수의 평균 에러 값을 이용하여 상기 판단용 이미지의 어느 영역의 골격 정렬 상태가 불량인지 판단하는 단계
를 포함하고,
상기 학습용 이미지는,
골격 정렬 상태의 이미지에서 뼈 정렬 상태가 좋음인지 나쁨인지 여부에 대해 라벨링된 학습용 이미지인 영상 처리 방법.
복수의 인코더를 포함하고, 상기 복수의 인코더를 이용하여 하반신, 골반, 우측 고관절 및 좌측 고관절의 뼈 정렬 상태에 대해 라벨링된 학습용 이미지를 변분 오토인코더(Variational Autoencoder) 방법을 이용하여 학습용 잠재 변수로 압축하고, 상기 학습용 잠재 변수를 소프트맥스 분류하여 상기 학습용 이미지의 골격 정렬 상태를 기계학습 하고, 판단용 이미지를 입력 받아 상기 복수의 인코더가 상기 변분 오토인코더 방법을 이용하여 판단용 잠재 변수로 압축하는 기계학습부; 및
상기 판단용 잠재 변수를 소프트맥스 분류하여 상기 판단용 이미지의 골격 정렬 상태를 판단하는 판단부
를 포함하고,
상기 학습용 이미지는,
골격 정렬 상태의 이미지에서 뼈 정렬 상태가 좋음인지 나쁨인지 여부에 대해 라벨링된 학습용 이미지인 영상 처리 장치.
제9항에 있어서,
상기 기계학습부는,
상기 이미지를 입력받아 하반신, 골반, 우측 고관절 및 좌측 고관절 영역으로 분류하고, 상기 복수의 인코더가 분류되는 각각의 상기 영역을 상기 판단용 잠재 변수로 압축하는 영상 처리 장치.
판단용 이미지를 입력 받아 하반신, 골반, 우측 고관절 및 좌측 고관절 영역으로 분류하는 전처리부;
제1 내지 제4 인코더를 포함하고, 상기 제1 내지 제4 인코더를 이용하여 하반신, 골반, 우측 고관절 및 좌측 고관절의 뼈 정렬 상태에 대해 양호 상태로 라벨링된 학습용 이미지를 각각 변분 오토인코더(Variational Autoencoder) 방법을 이용하여 제1 내지 제4 잠재 변수로 압축하고, 각 영역으로 분류되는 상기 판단용 이미지를 상기 제1 내지 제4 인코더가 상기 변분 오토인코더 방법을 이용하여 잠재 변수 그룹으로 압축하는 기계학습부; 및
상기 제1 내지 제4 잠재 변수와 상기 잠재 변수 그룹의 상기 제1 내지 제4 잠재 변수에 대응하는 잠재변수 간의 평균 에러 값을 비교하여 상기 판단용 이미지의 어느 영역의 골격 정렬 상태가 불량인지 판단하는 판단부
를 포함하고,
상기 학습용 이미지는,
골격 정렬 상태의 이미지에서 뼈 정렬 상태가 좋음인지 나쁨인지 여부에 대해 라벨링된 학습용 이미지인 영상 처리 장치.
제11항에 있어서,
상기 변분 오토인코더 방법은,
상기 학습용 및 판단용 이미지를 복수의 레이어를 거쳐 그리디 레이어 방식 학습(greedy layer-wise training)하는 기계학습 방법인 영상 처리 장치.
제12항에 있어서,
상기 판단부는,
상게 제1 내지 제4 잠재 변수의 분포와 상기 잠재 변수 그룹의 분포를 계산하고, 상기 제1 내지 제4 잠재 변수의 분포와 상기 제1 내지 제4 잠재 변수 분포에 대응하는 상기 잠재 변수 그룹 각각의 평균 에러 값을 비교하여, 상기 평균 에러 값이 가장 큰 잠재 변수 그룹에 대응하는 상기 판단용 이미지의 영역의 골격 정렬 상태가 불량이라고 결정하는 영상 처리 장치.
제2항 내지 제8항 중 어느 한 항의
영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.