KR101880035B1

KR101880035B1 - 영상 생성 방법 및 장치, 및 영상 분석 방법

Info

Publication number: KR101880035B1
Application number: KR1020177036475A
Authority: KR
Inventors: 이예하; 김현준; 정규환; 김상기
Original assignee: 주식회사 뷰노
Priority date: 2015-09-24
Filing date: 2015-09-24
Publication date: 2018-07-19
Also published as: US20170256038A1; WO2017051943A1; KR20180004824A

Abstract

영상 생성 방법 및 장치, 및 영상 분석 방법이 개시된다. 개시된 영상 생성 방법은 기준 영상을 수신하고, 기준 영상의 픽셀 값들에 대한 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 노이즈를 추가하여 기준 영상으로부터 학습 영상을 생성한다.

Description

영상 생성 방법 및 장치, 및 영상 분석 방법

아래의 설명은 영상 생성 방법 및 장치, 및 영상 분석 방법에 관한 것으로, 보다 구체적으로는 신경망 학습에 이용되는 학습 영상을 생성하는 방법 및 장치, 생성된 학습 영상을 통해 학습된 신경망을 이용하여 입력 영상을 분석하는 방법에 관한 것이다.

최근 들어, 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하는 방안으로써, 인간이 지니고 있는 효율적인 패턴 인식 방법을 실제 컴퓨터에 적용시키려는 연구가 활발히 진행되고 있다. 이러한 연구 중 하나로, 인간의 생물학적 신경 세포의 특성을 수학적 표현에 의해 모델링한 인공신경망(artificial neural network)에 대한 연구가 있다. 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하기 위해, 인공신경망은 인간이 가지고 있는 학습이라는 능력을 모방한 알고리즘을 이용한다. 이 알고리즘을 통하여 인공신경망은 입력 패턴과 출력 패턴들 사이의 사상(mapping)을 생성해낼 수 있는데, 이를 인공신경망이 학습 능력이 있다고 표현한다. 또한, 인공신경망은 학습된 결과에 기초하여 학습에 이용되지 않았던 입력 패턴에 대하여 비교적 올바른 출력을 생성할 수 있는 일반화 능력을 가지고 있다.

이러한 인공신경망은 비교적 많은 레이어들을 포함하는데, 많은 레이어들을 포함하는 큰 구조의 인공신경망을 학습시키기 위해서는 많은 양의 학습 데이터가 요구되고, 특정 학습 데이터에 과적합(overfitting)에 되지 않을 필요가 있다.

일실시예에 따른 영상 생성 방법은 기준 영상을 수신하는 단계; 및 상기 기준 영상의 픽셀 값들에 대한 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 노이즈를 추가하여 상기 기준 영상으로부터 학습 영상을 생성하는 단계를 포함한다.

일실시예에 따른 영상 생성 방법에서 상기 학습 영상을 생성하는 단계는, 상기 윈도우 폭 및 윈도우 레벨 중 상기 노이즈가 추가되지 않은 나머지 파라미터가 존재하는 경우, 상기 노이즈가 추가된 파라미터와 상기 노이즈가 추가되지 않은 나머지 파라미터에 기초하여 상기 기준 영상으로부터 학습 영상을 생성할 수 있다.

일실시예에 따른 영상 생성 방법에서 상기 윈도우 폭 및 상기 윈도우 레벨은, 상기 학습 영상에 기초하여 학습되는 신경망이 분석하고자 하는 오브젝트에 대해 미리 설정된 값을 포함할 수 있다.

일실시예에 따른 영상 생성 방법에서 상기 윈도우 폭은, 상기 기준 영상에 포함된 픽셀 값들 중에서 상기 학습 영상에 포함시키고자 하는 픽셀 값들의 범위를 나타낼 수 있다.

일실시예에 따른 영상 생성 방법에서 상기 윈도우 레벨은, 상기 학습 영상에 포함되는 픽셀 값들의 범위에 대한 중심을 나타낼 수 있다.

일실시예에 따른 영상 생성 방법에서 상기 기준 영상은, 상기 학습 영상에 기초하여 학습되는 신경망이 분석하고자 하는 오브젝트를 촬영한 의료 영상일 수 있다.

일실시예에 따른 영상 생성 방법에서 상기 학습 영상을 생성하는 단계는, 윈도우 폭 및 윈도우 레벨이 상기 학습 영상에 기초하여 학습되는 신경망의 오브젝트에 대해 미리 설정된 값에서 벗어나도록 상기 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 대한 값을 변형시킬 수 있다.

일실시예에 따른 영상 생성 방법은 상기 학습 영상의 픽셀 값에 노이즈를 추가하는 단계를 더 포함할 수 있다.

일실시예에 따른 영상 생성 방법에서 상기 학습 영상의 픽셀 값에 추가된 노이즈는, 상기 기준 영상을 촬영한 기기의 특성 및 상기 기준 영상에 포함된 오브젝트 중 적어도 하나에 기반하여 생성될 수 있다.

일실시예에 따른 영상 분석 방법은 입력 영상을 수신하는 단계; 및 신경망에 기초하여 상기 입력 영상을 분석하는 단계를 포함하고, 상기 신경망은, 기준 영상으로부터 추출된 학습 영상에 기초하여 학습되고, 상기 학습 영상은, 상기 기준 영상의 픽셀 값들에 대한 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 노이즈를 추가하여 상기 기준 영상으로부터 생성된다.

일실시예에 따른 영상 생성 장치는 영상 생성 방법이 저장된 메모리; 및 상기 영상 생성 방법을 실행하는 프로세서를 포함하고, 상기 프로세서는, 기준 영상의 픽셀 값들에 대한 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 노이즈를 추가하여 상기 기준 영상으로부터 학습 영상을 생성한다.

일실시예에 따르면, 학습 영상을 기준 영상으로부터 추출할 때 이용되는 파라미터에 노이즈를 추가함으로써, 자연스러운 노이즈가 적용된 학습 영상을 얻을 수 있으며, 학습시키고자 하는 신경망의 학습 효과를 향상시키고 다양한 변화에 강인(robust)한 신경망을 기대할 수 있다.

일실시예에 따르면, 기준 영상으로부터 학습 영상을 추출할 때 이용되는 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 노이즈를 추가함으로써, 신경망 학습에 이용되는 학습 영상을 효과적으로 변형하고 학습 영상의 양을 크게 증가시킬 수 있다.

도 1은 일실시예에 따라 영상 생성 방법을 나타낸 도면이다.
도 2는 일실시예에 따라 윈도우 폭 및 윈도우 레벨을 설명하기 위한 도면이다.
도 3은 일실시예에 따라 윈도우 폭에 노이즈가 추가된 예시를 나타낸 도면이다.
도 4는 일실시예에 따라 윈도우 레벨에 노이즈가 추가된 예시를 나타낸 도면이다.
도 5는 일실시예에 따라 윈도우 폭과 윈도우 레벨에 노이즈가 추가된 예시를 나타낸 도면이다.
도 6은 다른 일실시예에 따라 영상 생성 방법을 나타낸 도면이다.
도 7은 일실시예에 따른 영상 생성 장치를 나타낸 도면이다.
도 8은 일실시예에 따라 영상 분석 방법을 나타낸 도면이다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 실시예의 범위가 본문에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 관련 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타내며, 공지된 기능 및 구조는 생략하도록 한다.

도 1은 일실시예에 따라 영상 생성 방법을 나타낸 도면이다.

일실시예에 따른 영상 생성 방법은 영상 생성 장치에 구비된 프로세서에 의해 수행될 수 있다. 영상 생성 장치는 입력 영상을 분석(예컨대, 인식, 분류, 검출 등)하는 신경망을 학습시키기 위한 학습 데이터(예컨대, 학습 영상(training image))를 생성하는 영역 등에서 광범위하게 이용될 수 있다. 신경망은 연결선으로 연결된 많은 수의 인공 뉴런들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 소프트웨어나 하드웨어로 구현된 인식 모델이다.

신경망은 복수의 레이어들을 포함할 수 있다. 예를 들어, 신경망은 입력 레이어(input layer), 히든 레이어(hidden layer), 출력 레이어(output layer)을 포함할 수 있다. 입력 레이어는 학습을 수행하기 위한 입력(예컨대, 학습 데이터)을 수신하여 히든 레이어에 전달할 수 있고, 출력 레이어는 히든 레이어의 노드들로부터 수신한 신호에 기초하여 신경망의 출력을 생성할 수 있다. 히든 레이어는 입력 레이어와 출력 레이어 사이에 위치하고, 입력 레이어를 통해 전달된 학습 데이터를 예측하기 쉬운 값으로 변화시킬 수 있다.

신경망은 복수의 히든 레이어들을 포함할 수 있다. 복수의 히든 레이어들을 포함하는 신경망을 깊은 신경망(deep neural network)이라고 하고, 깊은 신경망을 학습시키는 것을 깊은 학습(deep learning)이라고 한다.

영상 생성 장치에서 생성된 학습 영상은 학습시키고자 하는 신경망에 입력될 수 있다. 이 때, 영상 생성 장치는 학습 영상에 랜덤 노이즈를 적용함으로써 신경망에 입력되는 데이터를 다양하게 변형할 수 있다. 위와 같이 데이터 변형을 통해 많은 양의 학습 영상을 생성하여 신경망을 학습시킴으로써, 신경망은 특정 학습 영상에 과적합되지 않으면서, 노이즈에 강인한 특성을 가질 수 있다. 이하, 영상 생성 장치가 랜덤 노이즈를 이용하여 학습 영상을 생성하는 과정에 대해 후술한다.

단계(110)에서, 영상 생성 장치는 기준 영상을 수신한다. 영상 생성 장치는 내장된 센서 또는 네트워크를 통해 외부에 위치하는 기기로부터 기준 영상을 수신할 수 있다.

기준 영상은 신경망이 분석하고자 하는 오브젝트(예컨대, 뼈, 장기, 혈액 등)를 촬영한 의료 영상(medical image)으로서, 예를 들어, 12비트의 값을 가지는 픽셀들로 구성될 수 있다. 기준 영상이 12비트의 픽셀 값을 포함하는 반면 일반적인 디스플레이 장치는 8비트 픽셀 값을 표현할 수 있으므로, 기준 영상은 디스플레이 장치에 표시되기 어렵다. 따라서, 의료 영상을 디스플레이 장치에서 가시화하기 위해서는 12비트의 기준 영상을 8비트의 영상(또는, 8비트 이하의 영상)으로 변환할 필요가 있다.

그래서, 영상 생성 장치는 디스플레이 장치에 표현하고자 하는 기준 영상의 픽셀 값의 범위를 제한하고 표현하고자 하는 픽셀 값의 범위에 대한 중심을 결정함으로써, 기준 영상을 가시화할 수 있는 영상으로 변환할 수 있다. 표현하고자 하는 픽셀 값의 범위는 윈도우 폭(window width)을 의미하고, 표현하고자 하는 픽셀 값의 범위에 대한 중심은 윈도우 레벨(window level)을 의미할 수 있다.

단계(120)에서, 영상 생성 장치는 기준 영상의 픽셀 값들에 대한 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 노이즈를 추가하여 기준 영상으로부터 학습 영상을 생성한다.

기준 영상의 픽셀 값들에 대한 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 노이즈를 추가한다. 이 때, 윈도우 폭과 윈도우 레벨은 영상 생성 장치가 기준 영상으로부터 학습 영상을 생성할 때 이용되는 파라미터를 의미할 수 있다.

영상 생성 장치는 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 노이즈를 추가할 수 있다. 예를 들어, 영상 생성 장치는 윈도우 폭 및 윈도우 레벨 모두에 노이즈를 추가할 수도 있고, 또는, 윈도우 폭 및 윈도우 레벨 중 어느 하나에만 노이즈를 추가할 수도 있다. 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 노이즈를 추가하는 보다 구체적인 실시예에 대해서는 도 2 내지 도 5을 통해 후술한다.

일례로, 윈도우 폭 및 윈도우 레벨 모두에 노이즈가 추가된 경우, 영상 생성 장치는 노이즈가 추가된 파라미터에 기초하여 기준 영상으로부터 학습 영상을 생성할 수 있다. 이 때, 노이즈가 추가된 파라미터는 윈도우 폭 및 윈도우 레벨을 의미할 수 있다.

다른 일례로, 윈도우 폭 및 윈도우 레벨 중 어느 하나의 파라미터에만 노이즈가 추가된 경우, 영상 생성 장치는 노이즈가 추가된 파라미터와 노이즈가 추가되지 않은 나머지 파라미터에 기초하여 기준 영상으로부터 학습 영상을 생성할 수 있다. 다시 말해, 윈도우 폭 및 윈도우 레벨 중 노이즈가 추가되지 않은 나머지 파라미터가 존재하는 경우, 영상 생성 장치는 파라미터와 나머지 파라미터에 기초하여 기준 영상으로부터 학습 영상을 생성할 수 있다. 이 때, 파라미터는 윈도우 폭 및 윈도우 레벨 중 노이즈가 추가된 것을 의미하고, 나머지 파라미터는 윈도우 폭 및 윈도우 레벨 중 노이즈가 추가되지 않은 것을 의미할 수 있다.

도 2는 일실시예에 따라 윈도우 폭 및 윈도우 레벨을 설명하기 위한 도면이다.

도 2를 참고하면, 기준 영상의 픽셀 값에 대한 윈도우 폭(210) 및 윈도우 레벨(220)이 도시된다. 기준 영상은 신경망이 분석하고자 하는 오브젝트를 촬영한 의료 영상으로서, 예를 들어, MRI(magnetic resonance imaging), CT(computed tomography), X-ray, PET(positron emission tomography) 등의 다양한 기법을 통해 촬영된 영상을 포함할 수 있다.

이러한 기준 영상은 일반적인 영상과 달리 회색조 영상(gray-scale image)에 해당하며 12비트의 픽셀 값을 가질 수 있다. 기준 영상을 구성하는 하나의 픽셀은 약 4000 단계의 값을 가질 수 있고, 이는 일반적인 영상의 픽셀이 표현할 수 있는 범위(예컨대, 8비트)를 벗어난다.

일실시예에 따른 기준 영상은 HU(Hounsfield Unit) 값을 포함할 수 있다. HU은 X-ray가 몸을 투과할 때 X-ray가 투과하는 조직의 밀도 차에 따라 몸에 흡수되는 정도를 나타낼 수 있다. HU은 물을 0 HU, 뼈를 1000 HU, 가장 흡수율이 낮은 공기를 -1000 HU로 정하고, 각 조직에 따른 상대적인 X-ray의 흡수에 기반한 선감약계수(relative linear attenuation coefficient)를 계산함으로써 얻어질 수 있다. HU은 CT Number로도 지칭될 수 있다.

도 2에 도시된 A는 기준 영상이 가질 수 있는 최저 HU 값인 -1000 HU을 나타내고, B는 기준 영상이 가질 수 있는 최대 HU 값인 +3000 HU를 나타낼 수 있다.

사람의 눈은 기준 영상에 포함된 12비트의 픽셀 값을 모두 인식할 수 없다. 따라서, 기준 영상은 사람의 눈이 인식할 수 있는 8비트의 영상으로 변환될 필요가 있다. 이를 위해, 기준 영상에서 표현하고자 하는 HU의 범위를 제한하고, 표현하고자 하는 HU의 범위에 대한 중심을 결정할 수 있는데, 이 때, 표현하고자 하는 HU의 범위가 윈도우 폭(210)을 나타내고, 표현하고자 하는 HU의 범위에 대한 중심이 윈도우 레벨(220)을 나타낸다.

윈도우 폭(210)과 윈도우 레벨(220)은 신경망이 분석하고자 하는 오브젝트에 따라 미리 결정될 수 있다. 예를 들어, 신경망이 분석하고자 하는 오브젝트가 복부의 연부조직인 경우, 윈도우 폭(210)은 350~400 HU으로 결정되고, 윈도우 레벨(220)은 50 HU으로 결정될 수 있다. 또한, 신경망이 분석하고자 하는 오브젝트가 폐인 경우, 윈도우 폭(210)은 1500~1600 HU으로 결정되고, 윈도우 레벨(220)은 -700 HU으로 결정될 수 있다. 이 때, 구체적인 윈도우 폭(210)과 윈도우 레벨(220)은 사용자에 의해 입력되는 HU 값으로 설정되거나 또는 분석하고자 하는 오브젝트에 대한 N개의 포인트를 사용자로부터 입력 받음으로써 결정된 HU 값으로 설정될 수 있다.

일실시예에 따른 영상 생성 장치는 윈도우 폭(210) 및 윈도우 레벨(220) 중 적어도 하나의 파라미터에 노이즈를 추가할 수 있고, 노이즈가 추가된 파라미터를 이용하여 기준 영상으로부터 학습 영상을 생성할 수 있다. 이를 통해, 영상 생성 장치는 신경망을 학습시키기 위한 다양한 학습 영상을 생성할 수 있고, 다양한 학습 영상을 통해 학습됨으로써 신경망은 특정 학습 영상에 과적합하지 않으면서 노이즈에 강인한 특성을 가질 수 있다.

도 3은 일실시예에 따라 윈도우 폭에 노이즈가 추가된 예시를 나타낸 도면이다.

도 3을 참고하면, 영상 생성 장치에 의해 노이즈가 윈도우 폭(310-1, 310-2, 310-3)에 추가된 실시예가 도시된다. 노이즈가 추가된 윈도우 폭(310-1, 310-2, 310-3)은 다양한 범위를 가지는 반면, 노이즈가 추가되지 않은 윈도우 레벨(320)은 하나의 값을 가질 수 있다.

도 3에 도시된 제1 윈도우 폭(310-1)은 제2 윈도우 폭(310-2)과 제3 윈도우 폭(310-3)보다 좁은 범위를 가질 수 있다. 제1 윈도우 폭(310-1)과 윈도우 레벨(320)을 통해 추출된 학습 영상은 제2 윈도우 폭(310-2) 또는 제3 윈도우 폭(310-3)을 이용하여 추출된 학습 영상보다 표현할 수 있는 픽셀 값의 범위가 좁을 수 있다. 반대로, 제3 윈도우 폭(310-3)과 윈도우 레벨(320)을 통해 추출된 학습 영상은 제1 윈도우 폭(310-1) 또는 제2 윈도우 폭(310-2)을 이용하여 추출된 학습 영상보다 표현할 수 있는 픽셀 값의 범위가 넓을 수 있다.

예를 들어, 학습되는 신경망이 분석하고자 하는 오브젝트가 뼈이고, 제2 윈도우 폭(310-2)에 가장 작은 크기의 노이즈가 추가된 경우, 제2 윈도우 폭(310-2)을 통해 추출된 학습 영상이 제1 윈도우 폭(310-1) 또는 제3 윈도우 폭(310-3)을 이용하여 추출된 학습 영상보다 뼈를 보다 명확히 나타낼 수 있다. 제1 윈도우 폭(310-1)을 통해 추출된 학습 영상에는 뼈의 전체가 아닌 일부만이 포함될 수 있고, 제3 윈도우 폭(310-3)을 통해 추출된 학습 영상에는 뼈를 비롯한 신체의 다른 부분도 포함될 수 있다.

영상 생성 장치는 노이즈가 추가된 다양한 윈도우 폭(310-1, 310-2, 310-3)을 통해 학습 영상을 추출함으로써, 자연스러운 노이즈가 적용된 학습 영상을 생성할 수 있다.

도 4는 일실시예에 따라 윈도우 레벨에 노이즈가 추가된 예시를 나타낸 도면이다.

도 4를 참고하면, 영상 생성 장치에 의해 노이즈가 윈도우 레벨(420-1, 420-2, 420-3)에 추가된 실시예가 도시된다. 노이즈가 추가된 윈도우 레벨(420-1, 420-2, 420-3)은 다양한 값을 가지는 반면, 노이즈가 추가되지 않은 윈도우 폭(410)은 동일한 크기의 범위를 가질 수 있다.

도 4에 도시된 제1 윈도우 레벨(420-1)은 제2 윈도우 레벨(420-2)보다 크고 제3 윈도우 레벨(420-3)보다 작은 값을 포함할 수 있다. 제2 윈도우 레벨(420-2)은 제1 윈도우 레벨(420-1)보다 작은 값을 가지며, 제3 윈도우 레벨(420-3)은 제1 윈도우 레벨(420-1)보다 큰 값을 가질 수 있다.

예를 들어, 제1 윈도우 레벨(420-1)을 이용하여 기준 영상으로부터 추출된 학습 영상과 제2 윈도우 레벨(420-2)을 이용하여 기준 영상으로부터 추출된 학습 영상에는 일부 공통되는 HU 범위가 존재하므로, 추출된 학습 영상들에는 공통적으로 표현되는 부분이 존재할 수 있다. 반면, 제3 윈도우 레벨(420-3)을 이용하여 추출된 학습 영상은 제1 윈도우 레벨(420-1) 또는 제2 윈도우 레벨(420-2)을 이용하여 추출된 학습 영상과 공통되는 HU 범위가 없으므로, 추출된 학습 영상들에도 공통적으로 표현되는 부분이 존재하지 않을 수 있다.

영상 생성 장치는 노이즈가 추가된 다양한 윈도우 레벨(420-1, 420-2, 420-3)을 이용하여 학습 영상을 추출함으로써, 자연스러운 노이즈가 적용된 학습 영상을 생성할 수 있다.

도 5는 일실시예에 따라 윈도우 폭과 윈도우 레벨에 노이즈가 추가된 예시를 나타낸 도면이다.

도 5를 참고하면, 영상 생성 장치에 의해 노이즈가 윈도우 폭(510-1, 510-2, 510-3)과 윈도우 레벨(520-1, 520-2, 520-3)에 추가된 실시예가 도시된다. 노이즈가 추가된 윈도우 폭(510-1, 510-2, 510-3)은 다양한 범위를 가지고, 노이즈가 추가된 윈도우 레벨(520-1, 520-2, 520-3)은 다양한 값을 가질 수 있다.

도 5의 노이즈가 추가된 윈도우 폭(510-1, 510-2, 510-3)은 제2 윈도우 폭(510-2), 제1 윈도우 폭(510-1), 제3 윈도우 폭(510-3) 순으로 증가하는 범위를 가지고, 윈도우 레벨(520-1, 520-2, 520-3)은 제2 윈도우 폭(510-2), 제1 윈도우 폭(510-1), 제3 윈도우 폭(510-3) 순으로 증가하는 값을 가질 수 있다.

예를 들어, 제1 윈도우 폭(510-1)과 제1 윈도우 레벨(520-1)을 통해 추출되는 학습 영상과 제2 윈도우 폭(510-2)과 제2 윈도우 레벨(520-2)을 통해 추출되는 학습 영상 간에는 공통적으로 표현되는 부분이 존재하지 않을 수 있다. 반면, 제1 윈도우 폭(510-1)과 제1 윈도우 레벨(520-1)을 통해 추출되는 학습 영상과 제3 윈도우 폭(510-3)과 제3 윈도우 레벨(520-3)을 통해 추출되는 학습 영상 간에는 공통적으로 표현되는 부분이 존재할 수 있다.

영상 생성 장치는 노이즈가 추가된 다양한 윈도우 폭(510-1, 510-2, 510-3)과 윈도우 레벨(520-1, 520-2, 520-3)을 통해 학습 영상을 추출함으로써, 자연스러운 노이즈가 적용된 학습 영상을 생성할 수 있다.

도 3 내지 도 5에서 설명한 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 노이즈를 추가하는 실시예에 대해서는 설계에 따라 다양하게 변경될 수 있다.

도 6은 다른 일실시예에 따라 영상 생성 방법을 나타낸 도면이다.

일실시예에 따른 영상 생성 방법은 영상 생성 장치에 구비된 프로세서에 의해 수행될 수 있다.

단계(610)에서, 영상 생성 장치는 기준 영상을 수신한다. 기준 영상은 신경망이 분석하고자 하는 오브젝트(예컨대, 뼈, 장기, 혈액 등)를 촬영한 의료 영상으로서, 예를 들어, 12비트의 값을 가지는 픽셀들로 구성될 수 있다.

단계(620)에서, 영상 생성 장치는 기준 영상의 픽셀 값들에 대한 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 노이즈를 추가하여 기준 영상으로부터 학습 영상을 생성한다. 이 때, 윈도우 폭과 윈도우 레벨은 영상 생성 장치가 기준 영상으로부터 학습 영상을 생성할 때 이용하는 파라미터를 의미할 수 있다.

영상 생성 장치는 노이즈가 추가된 파라미터를 이용하여 기준 영상으로부터 학습 영상을 생성한다. 일례로, 윈도우 폭 및 윈도우 레벨 모두에 노이즈가 추가된 경우, 영상 생성 장치는 노이즈가 추가된 파라미터에 기초하여 기준 영상으로부터 학습 영상을 추출할 수 있다. 이 때, 노이즈가 추가된 파라미터는 윈도우 폭 및 윈도우 레벨을 의미할 수 있다.

다른 일례로, 윈도우 폭 및 윈도우 레벨 중 어느 하나의 파라미터에만 노이즈가 추가된 경우, 영상 생성 장치는 노이즈가 추가된 파라미터와 노이즈가 추가되지 않은 나머지 파라미터에 기초하여 기준 영상으로부터 학습 영상을 추출할 수 있다. 다시 말해, 윈도우 폭 및 윈도우 레벨 중 노이즈가 추가되지 않은 나머지 파라미터가 존재하는 경우, 영상 생성 장치는 파라미터와 나머지 파라미터에 기초하여 기준 영상으로부터 학습 영상을 생성할 수 있다.

단계(630)에서, 영상 생성 장치는 학습 영상의 픽셀 값에 노이즈를 추가할 수 있다. 단계(620)에서 생성된 학습 영상은 노이즈가 추가된 파라미터를 이용하여 기준 영상으로부터 생성된 영상으로서, 픽셀 값 자체에는 노이즈가 추가되지 않은 영상일 수 있다. 영상 생성 장치는 단계(620)에서 생성된 학습 영상의 픽셀 값에 추가적으로 랜덤 노이즈를 추가할 수 있다.

영상 생성 장치는 기준 영상을 촬영한 기기의 특성에 기반하여 노이즈 패턴을 생성하고, 생성된 노이즈 패턴을 학습 영상의 픽셀 값에 추가할 수 있다. 예를 들어, 영상 생성 장치는 기준 영상을 촬영한 기기의 정보를 통해 기기를 식별하고, 식별된 기기에 기초하여 노이즈 패턴을 생성할 수 있다. 이 때, 기준 영상을 촬영한 기기는 MRI, CT, X-ray, PET 등의 다양한 기법을 이용하여 오브젝트를 촬영하는 의료 기기를 의미하고, 기기의 특성은 해당 기기의 제조사에 관한 정보를 포함할 수 있다.

또한, 영상 생성 장치는 기준 영상에 포함된 오브젝트에 기반하여 노이즈 패턴을 생성하고, 생성된 노이즈 패턴을 학습 영상의 픽셀 값에 추가할 수 있다. 예를 들어, 영상 생성 장치는 기준 영상에 포함된 오브젝트가 뼈, 장기, 혈액 또는 종양인지 여부에 기반하여 노이즈 패턴을 생성할 수 있다. 나아가, 영상 생성 장치는 뼈, 장기, 혈액 또는 종양의 모양에 기반하여 노이즈 패턴을 생성할 수도 있다.

단계(640)에서, 영상 생성 장치는 학습 영상에 기초하여 신경망을 학습시킬 수 있다. 이 때, 학습 영상은 노이즈가 추가된 파라미터를 이용하여 기준 영상으로부터 추출된 영상으로서 픽셀 값에도 노이즈를 포함할 수 있다.

도 7은 일실시예에 따른 영상 생성 장치를 나타낸 도면이다.

도 7을 참고하면, 영상 생성 장치(700)는 메모리(710) 및 프로세서(720)를 포함한다. 영상 생성 장치(700)는 입력 영상을 분석(예컨대, 인식, 분류 또는 검출)하는 신경망을 학습시키기 위한 학습 데이터(예컨대, 학습 영상)를 생성하는 영역 등에서 광범위하게 이용될 수 있다. 영상 생성 장치(700)는 스마트 폰, 테블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 텔레비전, 웨어러블 장치, 보안 시스템, 스마트 홈 시스템 등 다양한 컴퓨팅 장치 및/또는 시스템에 탑재될 수 있다.

메모리(710)는 영상 생성 방법을 저장한다. 메모리(710)에 저장된 영상 생성 방법은 신경망을 학습시키기 위한 학습 영상을 생성하는 방법에 관한 것으로, 프로세서(720)에 의해 실행될 수 있다. 또한, 메모리(710)는 프로세서(720)에서 생성된 학습 영상을 저장하거나, 생성된 학습 영상에 기반하여 학습된 신경망을 저장할 수도 있다.

프로세서(720)는 영상 생성 방법을 실행한다. 프로세서(720)는 기준 영상의 픽셀 값들에 대한 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 노이즈를 추가한다. 이 때, 윈도우 폭과 윈도우 레벨은 프로세서(720)가 기준 영상으로부터 학습 영상을 생성할 때 이용되는 파라미터를 의미할 수 있다.

그리고, 프로세서(720)는 노이즈가 추가된 파라미터를 이용하여 기준 영상으로부터 학습 영상을 생성한다. 일례로, 윈도우 폭 및 윈도우 레벨 모두에 노이즈가 추가된 경우, 프로세서(720)는 노이즈가 추가된 파라미터에 기초하여 기준 영상으로부터 학습 영상을 추출할 수 있다. 이 때, 노이즈가 추가된 파라미터는 윈도우 폭 및 윈도우 레벨을 의미할 수 있다.

다른 일례로, 윈도우 폭 및 윈도우 레벨 중 어느 하나의 파라미터에만 노이즈가 추가된 경우, 프로세서(720)는 노이즈가 추가된 파라미터와 노이즈가 추가되지 않은 나머지 파라미터에 기초하여 기준 영상으로부터 학습 영상을 추출할 수 있다. 다시 말해, 윈도우 폭 및 윈도우 레벨 중 노이즈가 추가되지 않은 나머지 파라미터가 존재하는 경우, 프로세서(720)는 파라미터와 나머지 파라미터에 기초하여 기준 영상으로부터 학습 영상을 생성할 수 있다.

추가적으로 노이즈를 학습 영상의 픽셀 값에 추가하지 않는 경우, 프로세서(720)는 기준 영상으로부터 추출된 학습 영상을 메모리(710)에 저장하거나, 또는 추출된 학습 영상에 기반하여 학습된 신경망을 메모리(710)에 저장할 수 있다.

추가적으로 학습 영상의 픽셀 값에 노이즈를 추가할 경우, 프로세서(720)는 기준 영상을 촬영한 기기의 특성 및 기준 영상에 포함된 오브젝트 중 적어도 하나에 기반하여 학습 영상의 픽셀 값에 노이즈를 추가할 수 있다.

프로세서(720)는 기준 영상을 촬영한 기기의 특성에 기반하여 노이즈 패턴을 생성하고, 생성된 노이즈 패턴을 학습 영상의 픽셀 값에 추가할 수 있다. 예를 들어, 프로세서(720)는 기준 영상을 촬영한 기기의 정보를 통해 기기를 식별하고, 식별된 기기에 기초하여 노이즈 패턴을 생성할 수 있다.

또한, 프로세서(720)는 기준 영상에 포함된 오브젝트에 기반하여 노이즈 패턴을 생성하고, 생성된 노이즈 패턴을 학습 영상의 픽셀 값에 추가할 수 있다. 예를 들어, 프로세서(720)는 기준 영상에 포함된 오브젝트가 뼈, 장기, 혈액 또는 종양인지 여부에 기반하여 노이즈 패턴을 생성할 수 있다. 나아가, 프로세서(720)는 뼈, 장기, 혈액 또는 종양의 모양에 기반하여 노이즈 패턴을 생성할 수도 있다.

프로세서(720)는 생성된 학습 영상을 메모리(710)에 저장할 수 있다.

나아가, 프로세서(720)는 학습 영상에 기초하여 신경망을 학습시킬 수 있다. 이 때, 학습 영상은 노이즈가 추가된 파라미터를 이용하여 기준 영상으로부터 추출된 영상으로서 픽셀 값에도 노이즈를 포함할 수 있다.

프로세서(720)는 학습된 신경망을 메모리(710)에 저장할 수 있다. 예를 들어, 프로세서(720)는 학습된 신경망에 대한 파라미터들을 메모리(710)에 저장할 수 있다.

도 7에 도시된 영상 생성 장치(700)의 세부 구성들에는 도 1 내지 도 6를 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.

도 8은 일실시예에 따라 영상 분석 방법을 나타낸 도면이다.

일실시예에 따른 영상 분석 방법은 영상 분석 장치에 구비된 프로세서에 의해 수행될 수 있다.

단계(810)에서, 영상 분석 장치는 입력 영상을 수신한다. 입력 영상은 분석하고자 하는 오브젝트(예컨대, 뼈, 장기, 혈액 등)가 포함된 의료 영상일 수 있다. 영상 분석 장치는 내장된 센서 또는 네트워크를 통해 외부에 위치하는 기기로부터 입력 영상을 수신할 수 있다.

단계(820)에서, 영상 분석 장치는 신경망에 기초하여 입력 영상을 분석한다. 신경망은 기 학습된 신경망으로서, 기준 영상으로부터 추출된 학습 영상에 기초하여 학습될 수 있다.

학습 영상은 기준 영상의 픽셀 값들에 대한 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 노이즈를 추가하여 기준 영상으로부터 생성될 수 있다.

영상 분석 장치는 신경망을 이용하여 입력 영상을 분류할 수 있다. 예를 들어, 영상 분석 장치는 오브젝트를 포함하는 입력 영상을 신경망에 기초하여 특정 질병으로 분류하거나 해당 질병의 진행 정도를 확인할 수 있다. 또는, 영상 분석 장치는 신경망을 이용하여 입력 영상에 포함된 병변을 검출할 수 있다. 이 때, 신경망은 병변을 포함하는 다양한 의료 영상에 기반하여 학습될 수 있다.

신경망을 학습시키는 학습 영상을 생성하는 과정에 관해서는 도 1 내지 도 7을 통하여 전술한 사항들이 적용되므로, 보다 상세한 설명은 생략한다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

이상과 같이 비록 한정된 실시예와 도면을 통해 실시예들을 설명하였으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

기준 영상을 수신하는 단계; 및
소정의 윈도우 내에 속하는 픽셀 값들을 가지는 픽셀들을 추출함으로써 상기 기준 영상으로부터 학습 영상을 생성하는 단계로서, 상기 소정의 윈도우는 윈도우 레벨 및 윈도우 폭을 파라미터로 가지고, 상기 윈도우 폭은, 상기 기준 영상에 포함된 픽셀 값들 중에서 상기 학습 영상에 포함시키고자 하는 픽셀 값들의 범위를 나타내며, 상기 윈도우 레벨은, 상기 학습 영상에 포함되는 픽셀 값들의 범위에 대한 중심을 나타내는, 단계
를 포함하되,
상기 학습 영상의 생성시 상기 기준 영상의 픽셀 값들에 대한 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 노이즈가 추가되어 상기 적어도 하나의 파라미터가 변화하는 것을 특징으로 하는 영상 생성 방법.
제1항에 있어서,
상기 학습 영상을 생성하는 단계는,
상기 윈도우 폭 및 윈도우 레벨 중 상기 노이즈가 추가되지 않은 나머지 파라미터가 존재하는 경우, 상기 노이즈가 추가된 파라미터와 상기 노이즈가 추가되지 않은 나머지 파라미터에 기초하여 상기 기준 영상으로부터 학습 영상을 생성하는, 영상 생성 방법.
제1항에 있어서,
상기 윈도우 폭 및 상기 윈도우 레벨은,
상기 학습 영상에 기초하여 학습되는 신경망이 분석하고자 하는 오브젝트에 대해 미리 설정된 값을 포함하는, 영상 생성 방법.
삭제
삭제
제1항에 있어서,
상기 기준 영상은,
상기 학습 영상에 기초하여 학습되는 신경망이 분석하고자 하는 오브젝트를 촬영한 의료 영상인, 영상 생성 방법.
제1항에 있어서,
상기 학습 영상을 생성하는 단계는,
윈도우 폭 및 윈도우 레벨이 상기 학습 영상에 기초하여 학습되는 신경망의 오브젝트에 대해 미리 설정된 값에서 벗어나도록 상기 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 대한 값을 변형시키는, 영상 생성 방법.
제1항에 있어서,
상기 학습 영상의 픽셀 값에 노이즈를 추가하는 단계
를 더 포함하는, 영상 생성 방법.
제8항에 있어서,
상기 학습 영상의 픽셀 값에 추가된 노이즈는,
상기 기준 영상을 촬영한 기기의 특성 및 상기 기준 영상에 포함된 오브젝트 중 적어도 하나에 기반하여 생성되는, 영상 생성 방법.
입력 영상을 수신하는 단계; 및
신경망에 기초하여 상기 입력 영상을 분석하는 단계
를 포함하고,
상기 신경망은, 기준 영상으로부터 추출된 학습 영상에 기초하여 학습되고,
상기 학습 영상은,
소정의 윈도우 내에 속하는 픽셀 값들을 가지는 픽셀들을 추출함으로써 상기 기준 영상으로부터 생성되고, 상기 소정의 윈도우는 윈도우 레벨 및 윈도우 폭을 파라미터로 가지고, 상기 윈도우 폭은, 상기 기준 영상에 포함된 픽셀 값들 중에서 상기 학습 영상에 포함시키고자 하는 픽셀 값들의 범위를 나타내며, 상기 윈도우 레벨은, 상기 학습 영상에 포함되는 픽셀 값들의 범위에 대한 중심을 나타내는, 영상 분석 방법.
영상 생성 방법이 저장된 메모리; 및
상기 영상 생성 방법을 실행하는 프로세서
를 포함하고,
상기 프로세서는,
소정의 윈도우 내에 속하는 픽셀 값들을 가지는 픽셀들을 추출함으로써 기준 영상으로부터 학습 영상을 생성하되, 상기 소정의 윈도우는 윈도우 레벨 및 윈도우 폭을 파라미터로 가지고, 상기 윈도우 폭은, 상기 기준 영상에 포함된 픽셀 값들 중에서 상기 학습 영상에 포함시키고자 하는 픽셀 값들의 범위를 나타내며, 상기 윈도우 레벨은, 상기 학습 영상에 포함되는 픽셀 값들의 범위에 대한 중심을 나타내고,
상기 학습 영상의 생성시 상기 기준 영상의 픽셀 값들에 대한 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 노이즈가 추가되어 상기 적어도 하나의 파라미터가 변화하는 것을 특징으로 하는 영상 생성 장치.
제11항에 있어서,
상기 프로세서는,
상기 윈도우 폭 및 윈도우 레벨 중 상기 노이즈가 추가되지 않은 나머지 파라미터가 존재하는 경우, 상기 노이즈가 추가된 파라미터와 상기 노이즈가 추가되지 않은 나머지 파라미터에 기초하여 상기 기준 영상으로부터 학습 영상을 생성하는, 영상 생성 장치.
제11항에 있어서,
상기 윈도우 폭 및 상기 윈도우 레벨은,
상기 학습 영상에 기초하여 학습되는 신경망이 분석하고자 하는 오브젝트에 대해 미리 설정된 값을 포함하는, 영상 생성 장치.
삭제
삭제
제11항에 있어서,
상기 기준 영상은,
상기 학습 영상에 기초하여 학습되는 신경망이 분석하고자 하는 오브젝트를 촬영한 의료 영상인, 영상 생성 장치.
제11항에 있어서,
상기 프로세서는,
윈도우 폭 및 윈도우 레벨이 상기 학습 영상에 기초하여 학습되는 신경망의 오브젝트에 대해 미리 설정된 값에서 벗어나도록 상기 윈도우 폭 및 윈도우 레벨 중 적어도 하나의 파라미터에 대한 값을 변형시키는, 영상 생성 장치.
제11항에 있어서,
상기 프로세서는,
상기 학습 영상의 픽셀 값에 노이즈를 추가하는, 영상 생성 장치.
제18항에 있어서,
상기 학습 영상의 픽셀 값에 추가된 노이즈는,
상기 기준 영상을 촬영한 기기의 특성 및 상기 기준 영상에 포함된 오브젝트 중 적어도 하나에 기반하여 생성되는, 영상 생성 장치.