KR20240013038A

KR20240013038A - Method for correcting X-ray image with improved contrast and device for the same

Info

Publication number: KR20240013038A
Application number: KR1020230063107A
Authority: KR
Inventors: 김태희; 신희준; 박주형; 신동명
Original assignee: 주식회사 래디센
Priority date: 2022-07-21
Filing date: 2023-05-16
Publication date: 2024-01-30
Also published as: KR102564740B1

Abstract

폐 영역을 포함하는 제2 X-ray 이미지를 네트워크에 입력하여 상기 제2 X-ray 이미지에서 폐 영역 및 폐 바깥 영역으로 구분되는 폐 영역 이미지를 생성하는 단계 및 상기 폐 영역 이미지를 기초로 상기 제2 X-ray 이미지의 폐 영역을 구성하는 복수 개의 픽셀들의 밝기에 대한 히스토그램을 스트레칭하여 보정된 X-ray 이미지를 생성하는 단계를 포함하는, X-ray 이미지 보정 방법을 공개한다.Inputting a second X-ray image including the lung area into a network to generate a lung area image divided into a lung area and an outer lung area in the second 2 An X-ray image correction method is disclosed, including the step of generating a corrected X-ray image by stretching a histogram of the brightness of a plurality of pixels constituting the lung area of the X-ray image.

Description

Method for correcting X-ray image with improved contrast and device for the same {Method for correcting X-ray image with improved contrast and device for the same}

본 발명은 개선된 콘트라스트를 갖도록 X-ray 이미지를 보정하는 기술에 관한 것으로서, 폐 영역 이미지를 시뮬레이션하여 생성하여 히스토그램 스트레칭하는 기술에 관한 것이다.The present invention relates to a technology for correcting X-ray images to have improved contrast, and to a technology for creating a simulated lung region image and stretching the histogram.

도 1은 X-ray 촬영 장치를 이용하여 X-ray 이미지를 얻는 과정을 나타낸 것이다.Figure 1 shows the process of obtaining an X-ray image using an X-ray imaging device.

X-ray 소스(30)에서 X-ray가 방출되어 촬영대상(환자)(40)을 통과하여 반대편의 X-ray 검출 센서(50)에 도달하면, X-ray 검출 센서(50)가 출력하는 신호를 이용하여 X-ray 이미지를 얻을 수 있다. When an X-ray is emitted from the X-ray source 30, passes through the imaging subject (patient) 40, and reaches the X-ray images can be obtained using signals.

도 2는 일 실시예에 따라 상기 X-ray 이미지 및 상기 X-ray 이미지에 대하여 히스토그램을 스트레칭한 이미지를 나타낸 것이다.Figure 2 shows the X-ray image and an image obtained by stretching a histogram for the X-ray image, according to one embodiment.

X-ray 이미지(71)의 경우 콘트라스트(contrast)가 낮아 명암의 차이가 크지 않을 수 있다. 이러한 경우, X-ray 이미지(71)의 콘트라스트를 높이기 위해 이미지의 히스토그램을 스트레칭하는 방법이 이용될 수 있다.In the case of the X-ray image 71, the contrast is low, so the difference in light and dark may not be large. In this case, a method of stretching the histogram of the image may be used to increase the contrast of the X-ray image 71.

구체적으로 X-ray 이미지는 복수 개의 픽셀들로 구성될 수 있다. 이때, 픽셀의 밝기를 나타내는 값들에 대해 상기 복수 개의 픽셀들 각각이 어느 값들에 해당하는 지를 나타낸 히스토그램을 스트레칭하면 X-ray 이미지의 콘트라스트를 강화시킬 수 있다. Specifically, an X-ray image may be composed of a plurality of pixels. At this time, the contrast of the

그러나 이때 히스토그램 스트레칭 방법이 적용된 이미지(72)와 같이( 구체적으로 참조부호 A와 같이), 구름 효과가 나타날 수 있다. 이는 콘트라스트 열화 현상으로 이미지의 백그라운드까지 밝아져서 생기는 현상일 수 있다. 히스토그램 스트레칭 방법을 이용하여 신체 외부의 검은 부분을 밝게 표현하는 변환을 하면, 신체 내부의 뼈 및 소프트-티슈(soft-tissue, 연부 조직) 영역은 원래 밝았던 것이 더 밝아진다. 그 결과 원래 밝았던 뼈 및 소프트-티슈 부분이 너무 밝아져서 구름처럼 보이게 되고( 콘트라스트 열화 현상), 뼈 및 소프트-티슈 내의 영역들이 서로 구분되어 인식되기 어렵다는 문제가 있다. However, at this time, a cloud effect may appear, such as in image 72 to which the histogram stretching method is applied (specifically, reference numeral A). This may be a phenomenon that occurs when the background of the image becomes brighter due to contrast deterioration. When the histogram stretching method is used to transform the black areas outside the body to brighten, the bone and soft-tissue areas inside the body, which were originally bright, become brighter. As a result, the originally bright bone and soft-tissue areas become too bright and look like clouds (contrast deterioration phenomenon), and there is a problem that the areas within the bone and soft-tissue are difficult to distinguish and recognize from each other.

따라서, 이미지의 콘트라스트 열화 현상이 발생하는 소프트-티슈 영역의 콘트라스트를 강화시키는 방법이 요구된다.Accordingly, a method for enhancing the contrast of the soft-tissue area where image contrast deterioration occurs is required.

본 발명에서는 상술한 문제를 해결하기 위하여, 이미지의 콘트라스트 열화 현상이 발생하는 소프트-티슈(soft-tissue, 연부 조직) 영역의 콘트라스트를 강화시키는 X-ray 이미지 보정 방법을 제공하고자 한다.In order to solve the above-mentioned problem, the present invention seeks to provide an X-ray image correction method that strengthens the contrast of the soft-tissue area where image contrast deterioration occurs.

본 발명의 일 관점에 따라 제공되는 X-ray 이미지의 폐 영역의 콘트라스트 향상 방법은, 폐 영역을 포함하는 제2 X-ray 이미지(704)를 네트워크(500)에 입력하여 상기 제2 X-ray 이미지에서 폐 영역(705a) 및 폐 바깥 영역(705b)으로 구분되는 폐 영역 이미지(705)를 생성하는 단계; 및 상기 폐 영역 이미지를 기초로 상기 제2 X-ray 이미지의 폐 영역을 구성하는 복수 개의 픽셀들의 밝기에 대한 히스토그램을 스트레칭하여 보정된 X-ray 이미지(706 또는 708)를 생성하는 단계를 포함할 수 있다.A method of improving the contrast of the lung area of an X-ray image provided according to one aspect of the present invention includes inputting a second generating a lung area image 705 divided into a lung area 705a and an outer lung area 705b in the image; And generating a corrected X-ray image (706 or 708) by stretching a histogram of the brightness of a plurality of pixels constituting the lung region of the second You can.

이때, 상기 보정된 X-ray 이미지를 생성하는 단계는, 상기 제2 X-ray 이미지(704)를 구성하는 복수 개의 픽셀들 각각에 대하여 픽셀의 밝기를 나타내는 값에 대한 빈도수를 나타내는 제1히스토그램(204)을 생성하는 단계; 상기 제2 X-ray 이미지의 각 픽셀을 상기 폐 영역 이미지(705)의 각 픽셀에 대응시켰을 때, 상기 제2 X-ray 이미지 중 상기 폐 영역에 해당하는 부분(704a)의 픽셀들에 대한 제2히스토그램(204a)을 생성하는 단계; 상기 부분의 픽셀들 중 가장 어두운 픽셀의 제5값(v5)을 결정하는 단계; 상기 제1히스토그램의 값들 중 상기 결정된 제5값을 픽셀의 밝기를 나타내는 값들 중 최솟값('0', 검은색)으로 매핑하고, 상기 최솟값으로부터 상기 제5값 사이의 제5범위(r5)에 해당하는 각 픽셀의 값을 상기 최솟값으로 매핑하는 단계; 상기 제1히스토그램의 값들 중 가장 밝은 픽셀의 제6값(v6)과 상기 제5값 사이의 값들을, 상기 제6값(v6)과 상기 최솟값 사이의 값들로 선형으로 매핑하는 단계; 및 상기 제2 X-ray 이미지의 복수 개의 픽셀들 각각에 대하여 매핑된 값을 갖는 상기 보정된 X-ray 이미지(706)를 생성하는 단계를 포함할 수 있다.At this time, the step of generating the corrected X-ray image includes creating a first histogram ( 204) generating; When each pixel of the second X-ray image corresponds to each pixel of the lung area image 705, the second 2. Generating a histogram 204a; determining a fifth value (v5) of the darkest pixel among the pixels of the portion; The determined fifth value among the values of the first histogram is mapped to the minimum value ('0', black) among the values representing the brightness of the pixel, and corresponds to the fifth range (r5) between the minimum value and the fifth value. mapping the value of each pixel to the minimum value; linearly mapping values between a sixth value (v6) of the brightest pixel among the values of the first histogram and the fifth value to values between the sixth value (v6) and the minimum value; And it may include generating the corrected X-ray image 706 having a mapped value for each of a plurality of pixels of the second X-ray image.

또는, 상기 방법은, 상기 폐 영역 이미지를 생성하는 단계와 상기 보정된 X-ray 이미지를 생성하는 단계 사이에, 상기 제2 X-ray 이미지(704)의 각 픽셀을 상기 폐 영역 이미지(705)의 각 픽셀에 대응시켰을 때, 상기 제2 X-ray 이미지 중 상기 폐 영역에 해당하는 부분(704a)만 포함되도록 잘라낸 제2 폐 영역 이미지(707)를 생성하는 단계를 더 포함할 수 있다. 이때, 상기 보정된 X-ray 이미지(708)를 생성하는 단계는, 상기 제2 폐 영역 이미지를 구성하는 복수 개의 픽셀들의 밝기에 대한 제3히스토그램을 스트레칭하여 상기 보정된 X-ray 이미지를 생성하는 단계일 수 있다. 이때, 상기 보정된 X-ray 이미지를 생성하는 단계는, 상기 제2 폐 영역 이미지의 픽셀들에 대한 상기 제3히스토그램(207)을 생성하는 단계; 상기 제2 폐 영역 이미지의 픽셀들 중 가장 어두운 픽셀의 제5값(v5)을 결정하는 단계; 상기 제3히스토그램의 값들 중 상기 결정된 제5값을 픽셀의 밝기를 나타내는 값들 중 최솟값('0', 검은색)으로 매핑하는 단계; 상기 제3히스토그램의 값들 중 가장 밝은 픽셀의 제7값(v7)과 상기 제5값 사이의 값들을 상기 제7값과 상기 최솟값 사이의 값들로 선형으로 매핑하는 단계; 및 상기 제2 폐 영역 이미지의 픽셀들 각각에 대하여 매핑된 값을 갖는 상기 보정된 X-ray 이미지를 생성하는 단계를 포함할 수 있다.Alternatively, the method may, between the step of generating the lung area image and the step of generating the corrected X-ray image, each pixel of the second X-ray image 704 is converted into the lung area image 705. The method may further include generating a second lung region image 707 that is cropped to include only the portion 704a corresponding to the lung region of the second X-ray image when corresponding to each pixel of . At this time, the step of generating the corrected X-ray image 708 includes generating the corrected It may be a step. At this time, generating the corrected X-ray image includes generating the third histogram 207 for pixels of the second lung region image; determining a fifth value (v5) of the darkest pixel among pixels of the second lung area image; mapping the determined fifth value among the values of the third histogram to the minimum value ('0', black) among the values representing the brightness of the pixel; linearly mapping values between the seventh value (v7) of the brightest pixel among the values of the third histogram and the fifth value to values between the seventh value and the minimum value; and generating the corrected X-ray image having a mapped value for each pixel of the second lung region image.

이때, 상기 네트워크는, 제1스캔대상을 CT 스캔하여 얻은 제1 CT 스캔정보를 일 방향으로 프로젝션하여, 시뮬레이션된 X-ray 이미지를 생성하는 단계; 상기 제1 CT 스캔정보 중 공기 영역을 추출하는 단계; 상기 제1 CT 스캔정보 중 상기 공기 영역만을 상기 일 방향으로 프로젝션하여, 시뮬레이션된 그라운드 트루스(ground truth) 이미지를 생성하는 단계; 및 신경망을 포함하는 상기 네트워크에 상기 시뮬레이션된 X-ray 이미지를 입력하였을 때에 상기 네트워크가 상기 시뮬레이션된 그라운드 트루스 이미지 중 상기 공기 영역에 대응하는 픽셀들은 제1값을 갖고, 상기 시뮬레이션된 그라운드 트루스 이미지 중 상기 공기 영역을 제외한 나머지 영역에 대응하는 픽셀들은 제2값을 갖는 상기 폐 영역 이미지를 출력하도록, 상기 시뮬레이션된 X-ray 이미지를 학습용 입력정보로 하고 상기 시뮬레이션된 그라운드 트루스(ground truth) 이미지를 레이블로 하여 상기 네트워크를 학습하는 단계를 포함하는 지도학습 방법에 의해 학습된 것일 수 있다.At this time, the network projects first CT scan information obtained by CT scanning a first scan object in one direction to generate a simulated X-ray image; Extracting an air area from the first CT scan information; generating a simulated ground truth image by projecting only the air area among the first CT scan information in the one direction; And when the simulated X-ray image is input to the network including a neural network, the pixels corresponding to the air area in the simulated ground truth image have a first value, and Pixels corresponding to areas other than the air area use the simulated It may have been learned by a supervised learning method including the step of learning the network.

이때, 상기 제2 X-ray 이미지는, X-ray 촬영장치가 출력한 제1 X-ray 이미지의 히스토그램을 스트레칭하여 생성한 것이거나, 또는 상기 제2 X-ray 이미지는 X-ray 촬영장치가 출력한 이미지일 수 있다.At this time, the second X-ray image is created by stretching the histogram of the first X-ray image output by the X-ray imaging device, or the second It may be a printed image.

이때, 상기 제1 X-ray 이미지의 히스토그램을 스트레칭하여 상기 제2 X-ray 이미지를 생성하는 단계는, 상기 제1 X-ray 이미지를 구성하는 복수 개의 픽셀들 각각에 대하여 픽셀의 밝기를 나타내는 값에 대한 빈도수를 나타내는 히스토그램을 생성하는 단계; 상기 제1 X-ray 이미지의 상기 복수 개의 픽셀들 중 가장 밝은 픽셀의 제1값을 기준으로 미리 결정된 제1범위(r1)의 경계값인 제2값을 픽셀의 밝기를 나타내는 값들 중 최댓값으로 매핑하고, 상기 제1범위에 해당하는 각 픽셀의 값을 상기 최댓값으로 매핑하는 단계; 상기 제1 X-ray 이미지를 구성하는 복수 개의 픽셀들 중 가장 어두운 픽셀의 제3값을 기준으로 미리 결정된 제2범위(r2)의 경계값인 제4값을 픽셀의 밝기를 나타내는 값들 중 최솟값으로 매핑하고, 상기 제2범위에 해당하는 각 픽셀의 값을 상기 최솟값으로 매핑하는 단계; 및 상기 제1 X-ray 이미지를 구성하는 복수 개의 픽셀들 중 상기 제1범위 및 상기 제2범위를 제외한 가운데 범위인 제3범위(r3)의 픽셀들의 밝기를 나타내는 값들을 상기 최댓값과 상기 최솟값 사이의 값들로 선형으로 매핑하는 단계를 포함할 수 있다.At this time, the step of generating the second X-ray image by stretching the histogram of the first generating a histogram representing the frequencies for; Mapping a second value, which is a boundary value of a first range (r1) predetermined based on the first value of the brightest pixel among the plurality of pixels of the first X-ray image, to the maximum value among values representing the brightness of the pixel. and mapping the value of each pixel corresponding to the first range to the maximum value; The fourth value, which is the boundary value of the second range (r2), predetermined based on the third value of the darkest pixel among the plurality of pixels constituting the first X-ray image, is set to the minimum value among the values representing the brightness of the pixel. mapping and mapping the value of each pixel corresponding to the second range to the minimum value; and values representing the brightness of pixels in the third range (r3), which is the middle range excluding the first range and the second range, among the plurality of pixels constituting the first It may include a step of linearly mapping the values of .

본 발명의 일 관점에 따라 제공되는 X-ray 이미지의 폐 영역의 콘트라스트 향상 장치는, 컴퓨터로 읽을 수 있는 비휘발성 기록매체를 읽을 수 있는 장치 인터페이스부; 및 처리부;를 포함할 수 있다. 이때, 상기 비휘발성 기록매체는, 폐 영역을 포함하는 제2 X-ray 이미지(704)를 네트워크(500)에 입력하여 상기 제2 X-ray 이미지에서 폐 영역(705a) 및 폐 바깥 영역(705b)으로 구분되는 폐 영역 이미지(705)를 생성하는 단계를 실행하는 제12명령코드, 및 상기 폐 영역 이미지를 기초로 상기 제2 X-ray 이미지의 폐 영역을 구성하는 복수 개의 픽셀들의 밝기에 대한 히스토그램을 스트레칭하여 보정된 X-ray 이미지를 생성하는 단계를 실행하는 제13명령코드를 포함하는 프로그램을 저장하고 있을 수 있다. 이때, 상기 처리부는, 상기 장치 인터페이스부를 통해, 상기 제12명령코드 및 상기 제13명령코드를 읽어서 실행함으로써 상기 보정된 X-ray 이미지를 생성하도록 되어 있을 수 있다.An apparatus for improving the contrast of a lung area of an X-ray image provided according to one aspect of the present invention includes a device interface unit capable of reading a computer-readable non-volatile recording medium; and a processing unit. At this time, the non-volatile recording medium inputs a second ), a twelfth command code for executing the step of generating a lung area image 705 divided by ), and a command code for the brightness of a plurality of pixels constituting the lung area of the second X-ray image based on the lung area image. A program including a 13th instruction code that executes the step of stretching the histogram to generate a corrected X-ray image may be stored. At this time, the processing unit may be configured to generate the corrected X-ray image by reading and executing the 12th command code and the 13th command code through the device interface unit.

이때, 상기 보정된 X-ray 이미지를 생성하는 단계는, 상기 제2 X-ray 이미지(704)를 구성하는 복수 개의 픽셀들 각각에 대하여 픽셀의 밝기를 나타내는 값에 대한 빈도수를 나타내는 제1히스토그램(204)을 생성하는 단계; 상기 제2 X-ray 이미지의 각 픽셀을 상기 폐 영역 이미지(705)의 각 픽셀에 대응시켰을 때, 상기 제2 X-ray 이미지 중 상기 폐 영역에 해당하는 부분(704a)의 픽셀들에 대한 제2히스토그램(204a)을 생성하는 단계; 상기 부분의 픽셀들 중 가장 어두운 픽셀의 제5값(v5)을 결정하는 단계; 상기 제1히스토그램의 값들 중 상기 결정된 제5값을 픽셀의 밝기를 나타내는 값들 중 최솟값('0', 검은색)으로 매핑하고, 상기 최솟값으로부터 상기 제5값 사이의 제5범위에 해당하는 각 픽셀의 값을 상기 최솟값으로 매핑하는 단계; 상기 제1히스토그램의 값들 중 가장 밝은 픽셀의 제6값(v6)과 상기 제5값 사이의 값들을, 상기 제6값(v6)과 상기 최솟값 사이의 값들로 선형으로 매핑하는 단계; 및 상기 제2 X-ray 이미지의 복수 개의 픽셀들 각각에 대하여 매핑된 값을 갖는 상기 보정된 X-ray 이미지(706)를 생성하는 단계를 포함할 수 있다.At this time, the step of generating the corrected X-ray image includes creating a first histogram ( 204) generating; When each pixel of the second X-ray image corresponds to each pixel of the lung area image 705, the second 2. Generating a histogram 204a; determining a fifth value (v5) of the darkest pixel among the pixels of the portion; The determined fifth value among the values of the first histogram is mapped to the minimum value ('0', black) among the values representing the brightness of the pixel, and each pixel corresponding to the fifth range between the minimum value and the fifth value mapping the value of to the minimum value; linearly mapping values between a sixth value (v6) of the brightest pixel among the values of the first histogram and the fifth value to values between the sixth value (v6) and the minimum value; And it may include generating the corrected X-ray image 706 having a mapped value for each of a plurality of pixels of the second X-ray image.

또는, 상기 폐 영역 이미지를 생성하는 단계와 상기 보정된 X-ray 이미지를 생성하는 단계 사이에, 상기 제2 X-ray 이미지의 각 픽셀을 상기 폐 영역 이미지(705)의 각 픽셀에 대응시켰을 때, 상기 제2 X-ray 이미지 중 상기 폐 영역에 해당하는 부분(704a)만 포함되도록 잘라낸 제2 폐 영역 이미지(707)를 생성하는 단계를 더 포함할 수 있다. 이때, 상기 보정된 X-ray 이미지를 생성하는 단계는, 상기 제2 폐 영역 이미지를 구성하는 복수 개의 픽셀들의 밝기에 대한 제3히스토그램을 스트레칭하여 상기 보정된 X-ray 이미지(708)를 생성하는 단계일 수 있다. 이때, 상기 보정된 X-ray 이미지를 생성하는 단계는, 상기 제2 폐 영역 이미지의 픽셀들에 대한 제3히스토그램(207)을 생성하는 단계; 상기 제2 폐 영역 이미지의 픽셀들 중 가장 어두운 픽셀의 제5값(v5)을 결정하는 단계; 상기 제3히스토그램의 값들 중 상기 결정된 제5값을 픽셀의 밝기를 나타내는 값들 중 최솟값('0', 검은색)으로 매핑하는 단계; 상기 제3히스토그램의 값들 중 가장 밝은 픽셀의 제7값(v7)과 상기 제5값 사이의 값들을 상기 제7값과 상기 최솟값 사이의 값들로 선형으로 매핑하는 단계; 및 상기 제2 폐 영역 이미지의 픽셀들 각각에 대하여 매핑된 값을 갖는 상기 보정된 X-ray 이미지를 생성하는 단계를 포함할 수 있다.Alternatively, between the step of generating the lung region image and the step of generating the corrected X-ray image, when each pixel of the second X-ray image corresponds to each pixel of the lung region image 705 , It may further include generating a second lung area image 707 that is cropped to include only the portion 704a corresponding to the lung area among the second X-ray images. At this time, the step of generating the corrected X-ray image includes generating the corrected It may be a step. At this time, generating the corrected X-ray image includes generating a third histogram 207 for pixels of the second lung region image; determining a fifth value (v5) of the darkest pixel among pixels of the second lung area image; mapping the determined fifth value among the values of the third histogram to the minimum value ('0', black) among the values representing the brightness of the pixel; linearly mapping values between the seventh value (v7) of the brightest pixel among the values of the third histogram and the fifth value to values between the seventh value and the minimum value; and generating the corrected X-ray image having a mapped value for each pixel of the second lung region image.

이때, 상기 비휘발성 기록매체는, 제1스캔대상을 CT 스캔하여 얻은 제1 CT 스캔정보를 일 방향으로 프로젝션하여, 시뮬레이션된 X-ray 이미지를 생성하는 단계; 상기 제1 CT 스캔정보 중 공기 영역을 추출하는 단계; 상기 제1 CT 스캔정보 중 상기 공기 영역만을 상기 일 방향으로 프로젝션하여, 시뮬레이션된 그라운드 트루스(ground truth) 이미지를 생성하는 단계; 및 신경망을 포함하는 상기 네트워크에 상기 시뮬레이션된 X-ray 이미지를 입력하였을 때에 상기 네트워크가 상기 시뮬레이션된 그라운드 트루스 이미지 중 상기 공기 영역에 대응하는 픽셀들은 제1값을 갖고, 상기 시뮬레이션된 그라운드 트루스 이미지 중 상기 공기 영역을 제외한 나머지 영역에 대응하는 픽셀들은 제2값을 갖는 상기 폐 영역 이미지를 출력하도록, 상기 시뮬레이션된 X-ray 이미지를 학습용 입력정보로 하고 상기 시뮬레이션된 그라운드 트루스(ground truth) 이미지를 레이블로 하여 상기 네트워크를 학습하는 단계를 포함하는 지도학습 방법에 의해 상기 네트워크를 학습시키는 폐영역 학습명령코드를 포함할 수 있다. 이때, 상기 처리부는, 상기 장치 인터페이스부를 통해, 상기 폐영역 학습명령코드를 읽어서 실행함으로써, 상기 네트워크를 학습시키도록 되어 있을 수 있다.At this time, the non-volatile recording medium projects first CT scan information obtained by CT scanning a first scan object in one direction to generate a simulated X-ray image; Extracting an air area from the first CT scan information; generating a simulated ground truth image by projecting only the air area among the first CT scan information in the one direction; And when the simulated X-ray image is input to the network including a neural network, the pixels corresponding to the air area in the simulated ground truth image have a first value, and Pixels corresponding to areas other than the air area use the simulated It may include a closed region learning command code for learning the network by a supervised learning method including the step of learning the network. At this time, the processing unit may be configured to learn the network by reading and executing the closed area learning command code through the device interface unit.

이때, 상기 비휘발성 기록매체는, 상기 제1 X-ray 이미지를 구성하는 복수 개의 픽셀들 각각에 대하여 픽셀의 밝기를 나타내는 값에 대한 빈도수를 나타내는 히스토그램을 생성하는 단계; 상기 제1 X-ray 이미지의 상기 복수 개의 픽셀들 중 가장 밝은 픽셀의 제1값을 기준으로 미리 결정된 제1범위(r1)의 경계값인 제2값을 픽셀의 밝기를 나타내는 값들 중 최댓값으로 매핑하고, 상기 제1범위에 해당하는 각 픽셀의 값을 상기 최댓값으로 매핑하는 단계; 상기 제1 X-ray 이미지를 구성하는 복수 개의 픽셀들 중 가장 어두운 픽셀의 제3값을 기준으로 미리 결정된 제2범위(r2)의 경계값인 제4값을 픽셀의 밝기를 나타내는 값들 중 최솟값으로 매핑하고, 상기 제2범위에 해당하는 각 픽셀의 값을 상기 최솟값으로 매핑하는 단계; 및 상기 제1 X-ray 이미지를 구성하는 복수 개의 픽셀들 중 상기 제1범위 및 상기 제2범위를 제외한 가운데 범위인 제3범위(r3)의 픽셀들의 밝기를 나타내는 값들을 상기 최댓값과 상기 최솟값 사이의 값들로 선형으로 매핑하는 단계를 실행하는 제11명령코드를 포함하는 프로그램을 저장하고 있을 수 있다. 이때, 상기 처리부는, 상기 장치 인터페이스부를 통해, 상기 제11명령코드를 읽어서 실행함으로써 상기 제2 X-ray 이미지를 생성하도록 되어 있을 수 있다.At this time, the non-volatile recording medium includes generating a histogram representing the frequency of a value representing the brightness of the pixel for each of a plurality of pixels constituting the first X-ray image; Mapping a second value, which is a boundary value of a first range (r1) predetermined based on the first value of the brightest pixel among the plurality of pixels of the first X-ray image, to the maximum value among values representing the brightness of the pixel. and mapping the value of each pixel corresponding to the first range to the maximum value; The fourth value, which is the boundary value of the second range (r2), predetermined based on the third value of the darkest pixel among the plurality of pixels constituting the first X-ray image, is set to the minimum value among the values representing the brightness of the pixel. mapping and mapping the value of each pixel corresponding to the second range to the minimum value; and values representing the brightness of pixels in the third range (r3), which is the middle range excluding the first range and the second range, among the plurality of pixels constituting the first A program including an 11th instruction code that executes the step of linearly mapping the values of may be stored. At this time, the processing unit may be configured to generate the second X-ray image by reading and executing the 11th command code through the device interface unit.

본 발명의 다른 관점에 따라 제공되는 X-ray 이미지의 폐 영역의 콘트라스트 향상 방법은, 폐 영역을 포함하는 제2 X-ray 이미지(704)를 네트워크(500)에 입력하여 상기 제2 X-ray 이미지에서 폐 영역(705a) 및 폐 바깥 영역(705b)으로 구분되는 폐 영역 이미지(705)를 생성하는 단계; 및 상기 폐 영역 이미지를 기초로 상기 제2 X-ray 이미지의 폐 영역의 콘트라스트를 향상시키는 단계를 포함할 수 있다. 이때, 상기 네트워크는, 제1스캔대상을 CT 스캔하여 얻은 제1 CT 스캔정보를 일 방향으로 프로젝션하여, 시뮬레이션된 X-ray 이미지를 생성하는 단계; 상기 제1 CT 스캔정보 중 공기 영역을 추출하는 단계; 상기 제1 CT 스캔정보 중 상기 공기 영역만을 상기 일 방향으로 프로젝션하여, 시뮬레이션된 그라운드 트루스(ground truth) 이미지를 생성하는 단계; 및 신경망을 포함하는 상기 네트워크에 상기 시뮬레이션된 X-ray 이미지를 입력하였을 때에 상기 네트워크가 상기 시뮬레이션된 그라운드 트루스 이미지 중 상기 공기 영역에 대응하는 픽셀들은 제1값을 갖고, 상기 시뮬레이션된 그라운드 트루스 이미지 중 상기 공기 영역을 제외한 나머지 영역에 대응하는 픽셀들은 제2값을 갖는 폐 영역 이미지를 출력하도록, 상기 시뮬레이션된 X-ray 이미지를 학습용 입력정보로 하고 상기 시뮬레이션된 그라운드 트루스(ground truth) 이미지를 레이블로 하여 상기 네트워크를 학습하는 단계를 포함하는 지도학습 방법에 의해 학습된 것일 수 있다.A method of improving the contrast of the lung area of an X-ray image provided according to another aspect of the present invention includes inputting a second generating a lung area image 705 divided into a lung area 705a and an outer lung area 705b in the image; And it may include improving the contrast of the lung area of the second X-ray image based on the lung area image. At this time, the network projects first CT scan information obtained by CT scanning a first scan object in one direction to generate a simulated X-ray image; Extracting an air area from the first CT scan information; generating a simulated ground truth image by projecting only the air area among the first CT scan information in the one direction; And when the simulated X-ray image is input to the network including a neural network, the pixels corresponding to the air area in the simulated ground truth image have a first value, and Pixels corresponding to areas other than the air area use the simulated Thus, it may have been learned by a supervised learning method including the step of learning the network.

이때, 상기 폐 영역 이미지(705)를 기초로 상기 제2 X-ray 이미지의 폐 영역의 콘트라스트를 향상시키는 단계는, 상기 제2 X-ray 이미지의 각 픽셀을 상기 폐 영역 이미지(705)의 각 픽셀에 대응시켰을 때, 상기 제2 X-ray 이미지 중 상기 폐 영역에 해당하는 부분(704a)만 포함되도록 잘라낸 제2 폐 영역 이미지를 생성하는 단계; 및 상기 제2 폐 영역 이미지를 구성하는 복수 개의 픽셀들의 밝기에 대한 히스토그램을 스트레칭하여 상기 보정된 X-ray 이미지를 생성하는 단계를 포함할 수 있다.At this time, the step of improving the contrast of the lung area of the second X-ray image based on the lung area image 705 involves dividing each pixel of the second X-ray image into each pixel of the lung area image 705. generating a second lung area image cropped to include only a portion (704a) corresponding to the lung area of the second X-ray image when corresponding to a pixel; and generating the corrected X-ray image by stretching a histogram of the brightness of a plurality of pixels constituting the second lung area image.

이때, 상기 보정된 X-ray 이미지를 생성하는 단계는, 상기 제2 폐 영역 이미지의 픽셀들에 대한 제3히스토그램(207)을 생성하는 단계; 상기 제2 폐 영역 이미지의 픽셀들 중 가장 어두운 픽셀의 제5값(v5)을 결정하는 단계; 상기 제3히스토그램의 값들 중 상기 결정된 제5값을 픽셀의 밝기를 나타내는 값들 중 최솟값('0', 검은색)으로 매핑하는 단계; 상기 제3히스토그램의 값들 중 가장 밝은 픽셀의 제7값(v7)과 상기 제5값 사이의 값들을 상기 제7값과 상기 최솟값 사이의 값들로 선형으로 매핑하는 단계; 및 상기 제2 폐 영역 이미지의 픽셀들 각각에 대하여 매핑된 값을 갖는 상기 보정된 X-ray 이미지를 생성하는 단계를 포함할 수 있다.At this time, generating the corrected X-ray image includes generating a third histogram 207 for pixels of the second lung region image; determining a fifth value (v5) of the darkest pixel among pixels of the second lung area image; mapping the determined fifth value among the values of the third histogram to the minimum value ('0', black) among the values representing the brightness of the pixel; linearly mapping values between the seventh value (v7) of the brightest pixel among the values of the third histogram and the fifth value to values between the seventh value and the minimum value; and generating the corrected X-ray image having a mapped value for each pixel of the second lung region image.

본 발명의 다른 관점에 따라 제공되는 X-ray 이미지의 폐 영역의 콘트라스트 향상 장치는, 컴퓨터로 읽을 수 있는 비휘발성 기록매체를 읽을 수 있는 장치 인터페이스부; 및 처리부;를 포함할 수 있다. 이때, 상기 비휘발성 기록매체는, 폐 영역을 포함하는 제2 X-ray 이미지(704)를 네트워크(500)에 입력하여 상기 제2 X-ray 이미지에서 폐 영역(705a) 및 폐 바깥 영역(705b)으로 구분되는 폐 영역 이미지(705)를 생성하는 단계를 실행하는 제12명령코드, 상기 폐 영역 이미지를 기초로 상기 제2 X-ray 이미지의 폐 영역의 콘트라스트를 향상시키는 단계를 실행하는 제13명령코드, 및 상기 네트워크를 학습시키는 폐영역 학습명령코드를 포함하는 프로그램을 저장하고 있을 수 있다. 이때, 상기 처리부는, 상기 장치 인터페이스부를 통해, 상기 제12명령코드 및 상기 제13명령코드를 읽어서 실행함으로써 상기 보정된 X-ray 이미지를 생성하도록 되어 있으며, 상기 폐영역 학습명령코드는, 제1스캔대상을 CT 스캔하여 얻은 제1 CT 스캔정보를 일 방향으로 프로젝션하여, 시뮬레이션된 X-ray 이미지를 생성하는 단계; 상기 제1 CT 스캔정보 중 공기 영역을 추출하는 단계; 상기 제1 CT 스캔정보 중 상기 공기 영역만을 상기 일 방향으로 프로젝션하여, 시뮬레이션된 그라운드 트루스(ground truth) 이미지를 생성하는 단계; 및 신경망을 포함하는 상기 네트워크에 상기 시뮬레이션된 X-ray 이미지를 입력하였을 때에 상기 네트워크가 상기 시뮬레이션된 그라운드 트루스 이미지 중 상기 공기 영역에 대응하는 픽셀들은 제1값을 갖고, 상기 시뮬레이션된 그라운드 트루스 이미지 중 상기 공기 영역을 제외한 나머지 영역에 대응하는 픽셀들은 제2값을 갖는 폐 영역 이미지를 출력하도록, 상기 시뮬레이션된 X-ray 이미지를 학습용 입력정보로 하고 상기 시뮬레이션된 그라운드 트루스(ground truth) 이미지를 레이블로 하여 상기 네트워크를 학습하는 단계를 포함하는 지도학습 방법에 의해 상기 네트워크를 학습시키는 명령코드일 수 있다.According to another aspect of the present invention, an apparatus for improving the contrast of a lung area in an X-ray image includes: a device interface unit capable of reading a computer-readable non-volatile recording medium; and a processing unit. At this time, the non-volatile recording medium is, The second X-ray image 704 including the lung area is input to the network 500, and the second ), a 12th instruction code for executing the step of generating, a 13th instruction code for executing the step of improving the contrast of the lung area of the second X-ray image based on the lung area image, and training the network. A program containing a closed area learning command code may be stored. At this time, the processing unit is configured to generate the corrected X-ray image by reading and executing the twelfth command code and the thirteenth command code through the device interface unit, and the closed area learning command code is the first Projecting first CT scan information obtained by CT scanning a scan object in one direction to generate a simulated X-ray image; Extracting an air area from the first CT scan information; generating a simulated ground truth image by projecting only the air area among the first CT scan information in the one direction; And when the simulated X-ray image is input to the network including a neural network, the pixels corresponding to the air area in the simulated ground truth image have a first value, and Pixels corresponding to areas other than the air area use the simulated This may be a command code for learning the network by a supervised learning method including the step of learning the network.

이때, 상기 폐 영역 이미지(705)를 기초로 상기 제2 X-ray 이미지의 폐 영역의 콘트라스트를 향상시키는 단계는, 상기 제2 X-ray 이미지의 각 픽셀을 상기 폐 영역 이미지(705)의 각 픽셀에 대응시켰을 때, 상기 제2 X-ray 이미지 중 상기 폐 영역에 해당하는 부분(704a)만 포함되도록 잘라낸 제2 폐 영역 이미지를 생성하는 단계; 및 상기 제2 폐 영역 이미지를 구성하는 복수 개의 픽셀들의 밝기에 대한 제3히스토그램을 스트레칭하여 상기 보정된 X-ray 이미지를 생성하는 단계를 포함할 수 있다. At this time, the step of improving the contrast of the lung area of the second X-ray image based on the lung area image 705 involves dividing each pixel of the second X-ray image into each pixel of the lung area image 705. generating a second lung area image cropped to include only a portion (704a) corresponding to the lung area of the second X-ray image when corresponding to a pixel; and generating the corrected X-ray image by stretching a third histogram of the brightness of a plurality of pixels constituting the second lung area image.

본 발명의 다른 관점에 따라 컴퓨터로 읽을 수 있는 비휘발성 기록매체를 읽을 수 있는 장치 인터페이스부; 및 처리부;를 포함하는, X-ray 이미지의 폐 영역의 콘트라스트 향상 장치가 제공될 수 있다. 이때, 상기 비휘발성 기록매체는, 상기 처리부로 하여금, 폐 영역을 포함하는 제2 X-ray 이미지(704)를 네트워크(500)에 입력하여 상기 제2 X-ray 이미지에서 폐 영역(705a)을 특정하는 폐 영역 정보를 생성하는 단계를 실행하도록 하는 제12명령코드, 및 상기 폐 영역 정보를 기초로 상기 제2 X-ray 이미지의 상기 폐 영역을 구성하는 복수 개의 픽셀들의 밝기를 보정하는 단계를 실행하는 제13명령코드를 포함하는 프로그램을 저장하고 있으며, 상기 처리부는, 상기 장치 인터페이스부를 통해, 상기 제12명령코드 및 상기 제13명령코드를 읽어서 실행함으로써 상기 보정된 X-ray 이미지를 생성하도록 되어 있다. According to another aspect of the present invention, a device interface unit capable of reading a computer-readable non-volatile recording medium; and a processing unit; an apparatus for improving contrast of a lung area of an X-ray image may be provided. At this time, the non-volatile recording medium causes the processing unit to input the second A twelfth command code for executing a step of generating specific lung region information, and a step of correcting the brightness of a plurality of pixels constituting the lung region of the second X-ray image based on the lung region information. A program including a 13th command code to be executed is stored, and the processing unit reads and executes the 12th command code and the 13th command code through the device interface unit to generate the corrected X-ray image. It is done.

이때, 상기 밝기를 보정하는 단계는, 상기 제2 X-ray 이미지 중 상기 폐 영역의 픽셀들 중 가장 어두운 제1픽셀의 제5밝기값(v5)을 결정하는 단계; 및 상기 제1픽셀의 밝기값이 상기 제5밝기값보다 더 어두운 제1최소 밝기값을 갖도록 상기 폐 영역의 이미지의 히스토그램을 스트레칭하는 단계;를 포함할 수 있다.At this time, the step of correcting the brightness includes determining a fifth brightness value (v5) of the darkest first pixel among pixels in the lung area in the second X-ray image; and stretching the histogram of the image of the lung area so that the brightness value of the first pixel has a first minimum brightness value that is darker than the fifth brightness value.

이때, 상기 제1최소 밝기값은 상기 제2 X-ray 이미지에서 허용되는 가장 어두운 값일 수 있다.At this time, the first minimum brightness value may be the darkest value allowed in the second X-ray image.

이때, 상기 밝기를 보정하는 단계는, 상기 제2 X-ray 이미지 중 상기 폐 영역의 픽셀들 중 가장 밝은 제2픽셀의 제6밝기값(v6)을 결정하는 단계를 더 포함할 수 있다. 그리고 상기 히스토그램을 스트레칭하는 단계는, 상기 제5밝기값이 상기 제1최소 밝기값에 매핑되고, 상기 제6밝기값이 소정의 제1최대 밝기값에 매핑되도록 상기 폐 영역의 이미지를 구성하는 픽셀들의 밝기를 선형으로 보정하는 단계를 포함할 수 있다.At this time, the step of correcting the brightness may further include determining a sixth brightness value (v6) of the brightest second pixel among pixels in the lung area in the second X-ray image. In the step of stretching the histogram, the fifth brightness value is mapped to the first minimum brightness value, and the sixth brightness value is mapped to a predetermined first maximum brightness value. It may include linearly correcting the brightness of the brightness.

이때, 상기 제1최소 밝기값은 상기 제2 X-ray 이미지에서 허용되는 가장 어두운 값일 수 있다. 그리고 상기 제1최대 밝기값은 상기 제6밝기값과 동일한 값이거나 상기 제6밝기값보다 더 밝은 값일 수 있다.At this time, the first minimum brightness value may be the darkest value allowed in the second X-ray image. And the first maximum brightness value may be the same as the sixth brightness value or may be brighter than the sixth brightness value.

이때, 제1최대 밝기값은 상기 제2 X-ray 이미지에서 허용되는 가장 밝은 값일 수 있다.At this time, the first maximum brightness value may be the brightest value allowed in the second X-ray image.

이때, 상기 밝기를 보정하는 단계는, 상기 폐 영역 정보를 기초로 상기 제2 X-ray 이미지 중 상기 폐 영역 이외의 영역을 구성하는 복수 개의 픽셀들의 밝기를 보정하는 단계를 포함할 수 있다.At this time, the step of correcting the brightness may include correcting the brightness of a plurality of pixels constituting an area other than the lung area in the second X-ray image based on the lung area information.

이때, 상기 폐 영역 정보를 생성하는 단계와 상기 밝기를 보정하는 단계 사이에, 상기 제2 X-ray 이미지 중 상기 폐 영역에 해당하는 부분(704a)으로만 구성된 제2 폐 영역 이미지(707)를 생성하는 단계가 더 포함될 수 있다. 그리고 상기 밝기를 보정하는 단계는, 상기 제2 폐 영역 이미지를 구성하는 복수 개의 픽셀들의 밝기에 대한 제3히스토그램을 스트레칭하여 상기 제2 폐 영역 이미지를 보정하는 단계일 수 있다.At this time, between the step of generating the lung region information and the step of correcting the brightness, a second lung region image 707 consisting only of the portion 704a corresponding to the lung region of the second X-ray image is generated. Additional generating steps may be included. And the step of correcting the brightness may be a step of correcting the second lung region image by stretching a third histogram for the brightness of a plurality of pixels constituting the second lung region image.

이때, 상기 밝기를 보정하는 단계는, 상기 제2 폐 영역 이미지의 픽셀들의 밝기를 나타내는 값에 대한 빈도수를 나타내는 제3히스토그램(207)을 생성하는 단계; 상기 제2 폐 영역 이미지의 픽셀들 중 가장 어두운 제1픽셀의 제5밝기값(v5)을 결정하는 단계; 상기 제2 폐 영역 이미지의 픽셀들 중 가장 밝은 제2픽셀의 제6밝기값(v6)을 결정하는 단계; 상기 제1픽셀의 밝기값이 상기 제5밝기값보다 더 어두운 제1최소 밝기값을 갖도록 상기 제2 폐 영역 이미지의 히스토그램을 스트레칭하는 단계; 및 상기 제5밝기값이 상기 제5밝기값보다 더 어두운 제1최소 밝기값에 매핑되고, 상기 제6밝기값이 상기 제6밝기값과 동일한 값이거나 상기 제6밝기값보다 더 밝은 값인 제1최대 밝기값에 매핑되도록 상기 제2 폐 영역 이미지를 구성하는 픽셀들의 밝기를 선형으로 보정하는 단계를 포함할 수 있다. 그리고 상기 제1최소 밝기값은 상기 제2 X-ray 이미지에서 허용되는 가장 어두운 값이고, 상기 제1최대 밝기값은 상기 제2 X-ray 이미지에서 허용되는 가장 밝은 값일 수 있다.At this time, the step of correcting the brightness includes generating a third histogram 207 representing the frequency of values representing the brightness of pixels of the second lung area image; determining a fifth brightness value (v5) of the darkest first pixel among pixels of the second lung area image; determining a sixth brightness value (v6) of the brightest second pixel among the pixels of the second closed area image; stretching the histogram of the second closed region image so that the brightness value of the first pixel has a first minimum brightness value that is darker than the fifth brightness value; and a first brightness value in which the fifth brightness value is mapped to a first minimum brightness value that is darker than the fifth brightness value, and the sixth brightness value is the same as the sixth brightness value or a value brighter than the sixth brightness value. It may include linearly correcting the brightness of pixels constituting the second lung area image so that they are mapped to the maximum brightness value. And the first minimum brightness value may be the darkest value allowed in the second X-ray image, and the first maximum brightness value may be the brightest value allowed in the second X-ray image.

이때, 상기 네트워크는 제2컴퓨팅 장치에 의해 학습된 것일 수 있다. 상기 제2컴퓨팅 장치는, 제1스캔대상을 CT 스캔하여 얻은 제1 CT 스캔정보를 일 방향으로 프로젝션하여, 시뮬레이션된 X-ray 이미지를 생성하는 단계; 상기 제1 CT 스캔정보 중 공기 영역을 추출하는 단계; 상기 제1 CT 스캔정보 중 상기 공기 영역만을 상기 일 방향으로 프로젝션하여, 시뮬레이션된 그라운드 트루스(ground truth) 이미지를 생성하는 단계; 및 신경망을 포함하는 상기 네트워크에 상기 시뮬레이션된 X-ray 이미지를 입력하였을 때에 상기 네트워크가 상기 시뮬레이션된 그라운드 트루스 이미지 중 상기 공기 영역에 대응하는 픽셀들은 제1값을 갖고, 상기 시뮬레이션된 그라운드 트루스 이미지 중 상기 공기 영역을 제외한 나머지 영역에 대응하는 픽셀들은 제2값을 갖는 상기 폐 영역 이미지를 출력하도록, 상기 시뮬레이션된 X-ray 이미지를 학습용 입력정보로 하고 상기 시뮬레이션된 그라운드 트루스(ground truth) 이미지를 레이블로 하여 상기 네트워크를 학습하는 단계를 실행하도록 되어 있을 수 있다.At this time, the network may have been learned by a second computing device. The second computing device generates a simulated X-ray image by projecting first CT scan information obtained by CT scanning a first scan object in one direction; Extracting an air area from the first CT scan information; generating a simulated ground truth image by projecting only the air area among the first CT scan information in the one direction; And when the simulated X-ray image is input to the network including a neural network, the pixels corresponding to the air area in the simulated ground truth image have a first value, and Pixels corresponding to areas other than the air area use the simulated The step of learning the network may be executed.

본 발명에 따르면, 이미지의 콘트라스트 열화 현상이 발생하는 소프트-티슈(soft-tissue, 연부 조직) 영역의 콘트라스트를 강화시키는 X-ray 이미지 보정 방법을 제공할 수 있다.According to the present invention, it is possible to provide an X-ray image correction method that strengthens the contrast of a soft-tissue area where image contrast deterioration occurs.

본 발명에 따르면, 소프트-티슈 영역의 히스토그램 스트레칭 단계에서 폐 내부 영역의 최솟값을 이미지 전체 픽셀 값의 최솟값으로 설정하여 히스토그램을 스트레칭함으로써 폐 내부의 정보를 손실하지 않으면서 폐 내부 콘트라스트를 강화시킬 수 있다. According to the present invention, in the histogram stretching step of the soft-tissue region, the minimum value of the lung inner region is set to the minimum value of the entire image pixel value to stretch the histogram, thereby strengthening the contrast inside the lung without losing information inside the lung. .

도 1은 X-ray 촬영 장치를 이용하여 X-ray 이미지를 얻는 과정을 나타낸 것이다.
도 2는 일 실시예에 따라 상기 X-ray 이미지 및 상기 X-ray 이미지에 대하여 히스토그램을 스트레칭한 이미지를 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따라 제공되는 네트워크에 X-ray 이미지를 입력하여, 폐 영역 이미지를 생성하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 일 실시예에 따라 제공되는 네트워크를 학습하는 방법을 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따라 한 세트의 학습데이터를 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따라 제공되는 네트워크의 학습방법을 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 X-ray 이미지 보정 방법의 순서도이다.
도 8은 본 발명의 일 실시예에 따라 X-ray 이미지 보정 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따라 단계(S1200)를 설명하기 위한 히스토그램들을 나타낸 것이다.
도 10은 본 발명의 일 실시예에 따라 단계(S1200)의 세부 단계들에 대한 순서도이다.
도 11은 본 발명의 다른 실시예에 따른 X-ray 이미지 보정 방법의 순서도이다.
도 12는 본 발명의 다른 실시예에 따라 X-ray 이미지 보정 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 다른 실시예에 따라 제2 폐 영역 이미지의 히스토그램을 나타낸 것이다.
도 14는 본 발명의 다른 실시예에 따라 단계(S1202)의 세부 단계들에 대한 순서도이다.
도 15는 본 발명의 일 실시예에 따라 제2 X-ray 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따라 제1 X-ray 이미지의 히스토그램을 나타낸 것이다.
도 17은 본 발명의 일 실시예에 따라 제공되는 컴퓨팅 장치의 구조 및 기능을 나타낸 것이다.
도 18은 노이즈가 포함된 X-ray 이미지의 개념을 설명한 도면이다.
도 19는 종래의 지도학습(supervised training) 기술에 따라 X-ray 이미지의 노이즈를 제거하는 방법을 나타낸 것이다.
도 20은 다른 지도학습 기술에 따라 X-ray 이미지의 노이즈를 제거하는 방법을 나타낸 것이다.
도 21은 본 발명의 일 실시예에 따라 X-ray 이미지의 노이즈를 제거하는 네트워크를 지도학습하기 위한 레이블 이미지를 생성하는 과정을 나타낸 것이다.
도 22는 본 발명의 일 실시예에 따라 학습이 완료된 디노이징 네트워크를 이용하여 X-ray 이미지의 노이즈를 제거하는 과정을 나타낸 개념도이다.
도 23은 도 22에 제시한 디노이징 네트워크를 학습하는 방법을 나타낸 개념도이다.
도 24는 본 발명의 일 실시예에 따라 제공되는 네트워크 학습용 데이터 생성방법을 나타낸 개념도이다.
도 25는 비교 실시예에 따라 학습이 완료된 디노이징 네트워크를 이용하여 X-ray 이미지의 노이즈를 제거하는 과정을 나타낸 개념도이다.
도 26은 비교 실시예에 따라, 디노이징 네트워크를 학습시키기 위한 학습데이터를 생성하는 방법을 나타낸 개념도이다.
도 27은 도 26에서 준비된 학습용 데이터를 이용하여 디노이징 네트워크를 학습하는 방법을 나타낸 개념도이다.
도 28은 본 발명의 일 실시예에 따라 제공되는 X-ray 이미지 전처리 방법의 순서도이다.
도 29는 본 발명의 일 실시예에 따라 제공되는 노이즈 제거용 네트워크의 학습방법을 나타낸 순서도이다.Figure 1 shows the process of obtaining an X-ray image using an X-ray imaging device.
Figure 2 shows the X-ray image and an image obtained by stretching a histogram for the X-ray image, according to one embodiment.
Figure 3 is a conceptual diagram showing a method of generating a lung area image by inputting an X-ray image into a network provided according to an embodiment of the present invention.
Figure 4 shows a method of learning a network provided according to an embodiment of the present invention.
Figure 5 shows a set of learning data according to an embodiment of the present invention.
Figure 6 shows a network learning method provided according to an embodiment of the present invention.
Figure 7 is a flowchart of an X-ray image correction method according to an embodiment of the present invention.
Figure 8 is a diagram for explaining an X-ray image correction method according to an embodiment of the present invention.
Figure 9 shows histograms for explaining step S1200 according to an embodiment of the present invention.
Figure 10 is a flowchart of the detailed steps of step S1200 according to an embodiment of the present invention.
11 is a flowchart of an X-ray image correction method according to another embodiment of the present invention.
Figure 12 is a diagram for explaining an X-ray image correction method according to another embodiment of the present invention.
Figure 13 shows a histogram of a second lung region image according to another embodiment of the present invention.
Figure 14 is a flowchart of the detailed steps of step S1202 according to another embodiment of the present invention.
Figure 15 is a diagram for explaining a method of generating a second X-ray image according to an embodiment of the present invention.
Figure 16 shows a histogram of the first X-ray image according to an embodiment of the present invention.
Figure 17 shows the structure and function of a computing device provided according to an embodiment of the present invention.
Figure 18 is a diagram explaining the concept of an X-ray image containing noise.
Figure 19 shows a method of removing noise from an X-ray image according to conventional supervised training technology.
Figure 20 shows a method of removing noise from an X-ray image according to another supervised learning technique.
Figure 21 shows the process of generating a label image for supervised learning of a network that removes noise from X-ray images according to an embodiment of the present invention.
Figure 22 is a conceptual diagram showing the process of removing noise from an X-ray image using a trained denoising network according to an embodiment of the present invention.
Figure 23 is a conceptual diagram showing a method for learning the denoising network shown in Figure 22.
Figure 24 is a conceptual diagram showing a method of generating data for network learning provided according to an embodiment of the present invention.
Figure 25 is a conceptual diagram showing the process of removing noise from an X-ray image using a denoising network that has been trained according to a comparative example.
Figure 26 is a conceptual diagram showing a method of generating learning data for training a denoising network, according to a comparative example.
Figure 27 is a conceptual diagram showing a method of learning a denoising network using the training data prepared in Figure 26.
Figure 28 is a flowchart of an X-ray image pre-processing method provided according to an embodiment of the present invention.
Figure 29 is a flowchart showing a method of learning a noise removal network provided according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부한 도면을 참고하여 설명한다. 그러나 본 발명은 본 명세서에서 설명하는 실시예에 한정되지 않으며 여러 가지 다른 형태로 구현될 수 있다. 본 명세서에서 사용되는 용어는 실시예의 이해를 돕기 위한 것이며, 본 발명의 범위를 한정하고자 의도된 것이 아니다. 또한, 이하에서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.Hereinafter, embodiments of the present invention will be described with reference to the attached drawings. However, the present invention is not limited to the embodiments described herein and may be implemented in various other forms. The terms used in this specification are intended to aid understanding of the embodiments and are not intended to limit the scope of the present invention. Additionally, as used herein, singular forms include plural forms unless phrases clearly indicate the contrary.

도 3은 본 발명의 일 실시예에 따라 제공되는 네트워크에 X-ray 이미지를 입력하여, 폐 영역 이미지를 생성하는 방법을 나타낸 개념도이다.Figure 3 is a conceptual diagram showing a method of generating a lung area image by inputting an X-ray image into a network provided according to an embodiment of the present invention.

본 발명의 일 실시예에 따라 제공되는 이미지 변환 네트워크인 네트워크(500)는 신경망을 포함하는 정보변환부일 수 있다. 상기 네트워크(500)는 지도학습을 통해 학습이 완료된 것일 수 있다. The network 500, which is an image conversion network provided according to an embodiment of the present invention, may be an information conversion unit including a neural network. The network 500 may have been trained through supervised learning.

네트워크(500)에 X-ray 이미지(701)를 입력하면, 네트워크(500)는 X-ray 이미지(701)를 기초로 시뮬레이션 된 폐 영역 이미지(702)를 출력할 수 있다.When an X-ray image 701 is input to the network 500, the network 500 can output a simulated lung area image 702 based on the X-ray image 701.

상기 X-ray 이미지(701)는 환자의 일 면(예컨대 정면)이 일 방향을 향하도록 한 상태에서 X-ray 촬영한 실제 X-ray 이미지일 수 있다. The X-ray image 701 may be an actual X-ray image taken with the patient's side (eg, front) facing one direction.

또는 상기 X-ray 이미지(701)는 상기 환자를 CT(Computer tomography) 스캔하여 얻은 CT 스캔정보를 일 방향으로 프로젝션하여 얻은 2차원 이미지이며, 실제로 X-ray 촬영 장치로 촬영한 이미지는 아닐 수 있다. Alternatively, the X-ray image 701 is a two-dimensional image obtained by projecting CT scan information obtained from a CT (computer tomography) scan of the patient in one direction, and may not be an image actually taken with an X-ray imaging device. .

이때, X-ray 이미지(701)와 폐 영역 이미지(702)의 크기는 서로 동일할 수 있다. 예컨대, X-ray 이미지(701)와 폐 영역 이미지(702)는 모두 각각 B1 * B1 개의 픽셀들로 이루어진 것일 수 있다.At this time, the sizes of the X-ray image 701 and the lung area image 702 may be the same. For example, the X-ray image 701 and the lung area image 702 may each be composed of B1 * B1 pixels.

도 4는 본 발명의 일 실시예에 따라 제공되는 네트워크를 학습하는 방법을 나타낸 것이다.Figure 4 shows a method of learning a network provided according to an embodiment of the present invention.

CT 스캔정보(110)는 특정인의 신체를 CT로 스캔하여 얻은 정보일 수 있다. 예컨대 CT 스캔정보(110)는 폐에 질환이 없는 건강한 사람의 특정인의 폐 및 그 주변을 CT로 스캔하여 얻은 것일 수 있다. 이때, 상기 CT 스캔정보(110)는 3차원 정보이다.CT scan information 110 may be information obtained by scanning a specific person's body with CT. For example, the CT scan information 110 may be obtained by CT scanning the lungs and surrounding areas of a specific healthy person without lung disease. At this time, the CT scan information 110 is three-dimensional information.

CT 스캔정보(110)를 일 방향으로 프로젝션하여 상기 일 방향에 직교하는 평면에 투사된 2차원 이미지를 얻을 수 있다. 제1이미지(701)는 CT 스캔정보(110)를 일 방향으로 프로젝션하여 얻은 2차원 이미지이다. 제1이미지(701)는 '시뮬레이션된 X-ray 이미지'라고 지칭될 수 있다. By projecting the CT scan information 110 in one direction, a two-dimensional image projected on a plane perpendicular to the one direction can be obtained. The first image 701 is a two-dimensional image obtained by projecting the CT scan information 110 in one direction. The first image 701 may be referred to as a 'simulated X-ray image'.

제2이미지(703)는 CT 스캔정보(110) 중 공기 영역만을 상기 일 방향으로 프로젝션하여 제1이미지(701)를 공기 영역(즉 폐 영역)과 상기 공기 영역을 제외한 나머지 영역(즉, 공기 영역의 바깥 영역)으로 구분한 이미지일 수 있다. 이때, 제2이미지(703)는 '시뮬레이션된 그라운드 트루스(ground truth) 이미지'라고 지칭될 수 있다.The second image 703 projects only the air region among the CT scan information 110 in one direction, and the first image 701 is divided into the air region (i.e. lung region) and the remaining region excluding the air region (i.e. air region). It may be an image divided into (outside of) area. At this time, the second image 703 may be referred to as a 'simulated ground truth image'.

제1이미지(701)는 네트워크(500)의 학습용 입력 데이터로서 제공된다. 네트워크(500)는 제1이미지(701)를 변환하여 제1출력이미지(702)를 생성할 수 있다. 이때, 제1출력이미지(702)와 제2이미지(703) 간의 오차를 감소시키도록 네트워크(500)를 학습시킬 수 있다.The first image 701 is provided as input data for learning of the network 500. The network 500 may convert the first image 701 to generate a first output image 702. At this time, the network 500 can be trained to reduce the error between the first output image 702 and the second image 703.

이때, {제1 시뮬레이션된 X-ray 이미지, 제1 시뮬레이션된 그라운드 트루스 이미지} 쌍을 제1 세트의 학습데이터라고 지칭할 수 있다.At this time, the pair {first simulated X-ray image, first simulated ground truth image} may be referred to as the first set of learning data.

이때, 본 발명의 바람직한 일 실시예에서, 네트워크(500)는 총 M 개의 세트의 학습데이터를 이용하여 학습될 수 있다. 즉, 네트워크(500)는 한 세트의 학습데이터를 이용하여 네트워크를 지도학습하는 학습 에피소드를 M 개의 세트의 학습데이터들에 대하여 반복하여 실행함으로써 완료될 수 있다. At this time, in a preferred embodiment of the present invention, the network 500 can be trained using a total of M sets of learning data. In other words, the network 500 can be completed by repeatedly executing a learning episode of supervised learning of the network using one set of learning data for M sets of learning data.

이때, 네트워크(500)를 학습시키기 위해 준비되는 제k세트의 학습데이터는 k번째 스캔대상(사람)의 신체를 CT로 스캔하여 얻은 제k CT 스캔정보로부터 생성된 것일 수 있다. 즉, 제k 스캔대상을 CT 스캔하여 제k CT 스캔정보(110[k])를 얻을 수 있다(k=1, ..., M, 자연수). At this time, the kth set of learning data prepared for learning the network 500 may be generated from the kth CT scan information obtained by scanning the body of the kth scan target (person) with a CT. In other words, the kth CT scan information (110[k]) can be obtained by CT scanning the kth scan object (k=1, ..., M, natural number).

제k세트의 학습데이터는 {제k 시뮬레이션된 X-ray 이미지, 제k 시뮬레이션된 그라운드 트루스 이미지}일 수 있다.The kth set of learning data may be {kth simulated X-ray image, kth simulated ground truth image}.

도 5는 본 발명의 일 실시예에 따라 한 세트의 학습데이터를 나타낸 것이다.Figure 5 shows a set of learning data according to an embodiment of the present invention.

한 세트의 학습데이터는 {시뮬레이션된 X-ray 이미지(701), 시뮬레이션된 그라운드 트루스 이미지(703)}일 수 있다. One set of learning data may be {simulated X-ray image 701, simulated ground truth image 703}.

이때, 히스토그램(201)은 시뮬레이션된 X-ray 이미지(701)에 대한 것이고, 히스토그램(203)은 시뮬레이션된 그라운드 트루스 이미지(703)에 대한 것이다. 이때, 히스토그램의 가로축은 픽셀의 밝기값(이하, 픽셀값)을 나타내며, 세로축은 픽셀들 중 동읽한 밝기값을 갖는 픽셀들의 개수(이하, 빈도수)를 나타낸다.At this time, the histogram 201 is for the simulated X-ray image 701, and the histogram 203 is for the simulated ground truth image 703. At this time, the horizontal axis of the histogram represents the brightness value of the pixel (hereinafter referred to as pixel value), and the vertical axis represents the number of pixels with the same brightness value (hereinafter referred to as frequency) among the pixels.

히스토그램(201, 203)에서 영(0)에 가까울수록 대응하는 이미지(701, 703)의 픽셀이 어둡다는 것을 의미하고, 양의 정수의 값이 커질수록 이미지(701, 703)의 픽셀이 밝다는 것을 의미할 수 있다. The closer the histograms 201 and 203 are to zero (0), the darker the pixels of the corresponding images 701 and 703 are, and the larger the value of the positive integer, the brighter the pixels of the images 701 and 703 are. It can mean something.

히스토그램(201)을 살펴보면, 시뮬레이션된 X-ray 이미지(701)는 시뮬레이션된 그라운드 트루스 이미지(703)에 비해 밝은 부분이(즉, 픽셀들이) 많으므로 양의 정수의 값(예컨대, 4)로 갈수록 빈도수가 증가함을 알 수 있다. 반면, 히스토그램(203)을 살펴보면, 시뮬레이션된 그라운드 트루스 이미지(703)는 시뮬레이션된 X-ray 이미지(701)에 비해 어두운 부분이(즉, 픽셀들이) 많으므로 영(0)에 가까울수록 빈도수가 증가함을 알 수 있다.Looking at the histogram 201, the simulated It can be seen that the frequency increases. On the other hand, looking at the histogram 203, the simulated ground truth image 703 has more dark parts (i.e., pixels) than the simulated X-ray image 701, so the frequency increases as it approaches zero (0). It can be seen that

도 6은 본 발명의 일 실시예에 따라 제공되는 네트워크의 학습방법을 나타낸 것이다.Figure 6 shows a network learning method provided according to an embodiment of the present invention.

이하, 도 4 내지 도 6을 함께 참조하여 설명한다.Hereinafter, it will be described with reference to FIGS. 4 to 6.

단계(S1110)에서, 제1스캔대상을 CT 스캔하여 얻은 제1 CT 스캔정보(예컨대, 110)를 일 방향으로 프로젝션하여, 시뮬레이션된 X-ray 이미지(예컨대, 701)를 생성할 수 있다. In step S1110, the first CT scan information (eg, 110) obtained by CT scanning the first scan object may be projected in one direction to generate a simulated X-ray image (eg, 701).

단계(S1120)에서, 상기 제1 CT 스캔정보(110) 중 공기 영역을 추출할 수 있다. 예컨대, 공기 영역을 추출하기 위해서 CT 넘버(HU 값)을 이용할 수 있다. 예컨대, 조직(tissue)이 뼈인 경우, 뼈는 X-ray 흡수율이 가장 높아 CT 넘버가 +1000값이고, 조직이 공기인 경우, 공기는 X-ray 흡수율이 가장 낮아 CT 넘버가 -1000값일 수 있다. 즉, 단계(S1120)에서, 상기 제1 CT 스캔정보(110) 중 CT 넘버가 -1000값인 영역을 선택하여 공기 영역을 추출할 수 있다.In step S1120, the air area can be extracted from the first CT scan information 110. For example, the CT number (HU value) can be used to extract the air area. For example, if the tissue is bone, bone has the highest X-ray absorption rate, so the CT number may be +1000, and if the tissue is air, air has the lowest X-ray absorption rate, so the CT number may be -1000. . That is, in step S1120, the air area can be extracted by selecting an area with a CT number of -1000 among the first CT scan information 110.

단계(S1130)에서, 상기 제1 CT 스캔정보(110) 중 상기 공기 영역만을 상기 일 방향으로 프로젝션하여, 시뮬레이션된 그라운드 트루스 이미지(703)를 생성할 수 있다.In step S1130, a simulated ground truth image 703 may be generated by projecting only the air region of the first CT scan information 110 in the one direction.

*단계(S1140)에서, 신경망을 포함하는 네트워크(500)에 시뮬레이션된 X-ray 이미지(701)를 입력하였을 때에 네트워크(500)가 시뮬레이션된 그라운드 트루스 이미지(703) 중 상기 공기 영역에 대응하는 픽셀들은 제1값(예컨대, 양의 정수)을 갖고, 시뮬레이션된 그라운드 트루스 이미지(703) 중 상기 공기 영역을 제외한 나머지 영역에 대응하는 픽셀들은 제2값(예컨대, 영(0))을 갖는 폐 영역 이미지(702)를 출력하도록, 시뮬레이션된 X-ray 이미지(701)를 학습용 입력정보로 하고 시뮬레이션된 그라운드 트루스 이미지(703)를 레이블로 하여 네트워크(500)를 학습시킬 수 있다.*In step S1140, when the simulated has a first value (e.g., a positive integer), and pixels corresponding to the remaining areas of the simulated ground truth image 703 excluding the air area are closed areas with a second value (e.g., zero (0)). To output the image 702, the network 500 can be trained using the simulated X-ray image 701 as learning input information and the simulated ground truth image 703 as a label.

도 7은 본 발명의 일 실시예에 따른 X-ray 이미지 보정 방법의 순서도이다.Figure 7 is a flowchart of an X-ray image correction method according to an embodiment of the present invention.

도 8은 본 발명의 일 실시예에 따라 X-ray 이미지 보정 방법을 설명하기 위한 도면이다.Figure 8 is a diagram for explaining an X-ray image correction method according to an embodiment of the present invention.

이하, 도 7 및 도 8을 함께 참조하여 설명한다.Hereinafter, it will be described with reference to FIGS. 7 and 8 together.

단계(S1100)에서, 폐 영역을 포함하는 제2 X-ray 이미지(704)를 네트워크에 입력하여 제2 X-ray 이미지(704)에서 폐 영역(705a) 및 폐 바깥 영역(705b)으로 구분되는 폐 영역 이미지(705)를 생성할 수 있다. In step S1100, the second X-ray image 704 including the lung area is input to the network to divide the second A lung region image 705 may be generated.

단계(S1100)의 네트워크는 상술한 단계(S1110) 내지 단계(S1140)를 통해 학습된 것일 수 있다. 단계(S1110) 내지 단계(S1140)는 한 세트의 학습데이터를 이용하여 네트워크를 지도학습하는 학습 에피소드의 단계들이며, 이러한 학습 에피소드를 복수 회 반복하여 실행함으로써 상기 네트워크의 학습이 완료될 수 있다. The network of step S1100 may have been learned through steps S1110 to S1140 described above. Steps S1110 to S1140 are steps of a learning episode for supervised learning of a network using a set of learning data, and learning of the network can be completed by repeatedly executing this learning episode multiple times.

단계(S1200)에서, 상기 생성된 폐 영역 이미지(705)를 기초로 상기 제2 X-ray 이미지(704)의 폐 영역을 구성하는 복수 개의 픽셀들의 밝기에 대한 히스토그램을 스트레칭하여 보정된 X-ray 이미지(706)를 생성할 수 있다.In step S1200, the X-ray is corrected by stretching the histogram for the brightness of a plurality of pixels constituting the lung region of the second X-ray image 704 based on the generated lung region image 705. Image 706 may be created.

도 9는 본 발명의 일 실시예에 따라 단계(S1200)를 설명하기 위한 히스토그램들을 나타낸 것이다.Figure 9 shows histograms for explaining step S1200 according to an embodiment of the present invention.

도 9의 (a)는 제2 X-ray 이미지(704) 중 상기 폐 영역에 해당하는 부분(704a)의 제2히스토그램(204a)을 나타낸 것이고, 도 9의 (b)는 제2 X-ray 이미지(704)의 제1히스토그램(204)을 나타낸 것이다.Figure 9(a) shows the second histogram 204a of the portion 704a corresponding to the lung area of the second X-ray image 704, and Figure 9(b) shows the second X-ray image 704. This shows the first histogram 204 of the image 704.

히스토그램(204, 204a)의 가로축은 픽셀값을 나타내고, 세로축은 빈도수를 나타낸다.The horizontal axis of the histograms 204 and 204a represents pixel values, and the vertical axis represents frequencies.

도 10은 본 발명의 일 실시예에 따라 단계(S1200)의 세부 단계들에 대한 순서도이다.Figure 10 is a flowchart of the detailed steps of step S1200 according to an embodiment of the present invention.

이하, 도 8 내지 도 10을 함께 참조하여 설명한다.Hereinafter, it will be described with reference to FIGS. 8 to 10.

단계(S1200)는 단계(S1210) 내지 단계(S1260)를 포함할 수 있다.Step S1200 may include steps S1210 to S1260.

단계(S1210)에서, 제2 X-ray 이미지(704)를 구성하는 복수 개의 픽셀들 각각에 대하여 픽셀의 밝기를 나타내는 값에 대한 빈도수를 나타내는 제1히스토그램(204)을 생성할 수 있다.In step S1210, a first histogram 204 indicating the frequency of a value indicating the brightness of the pixel may be generated for each of the plurality of pixels constituting the second X-ray image 704.

단계(S1220)에서, 제2 X-ray 이미지(704)의 각 픽셀을 상기 폐 영역 이미지(705)의 각 픽셀에 대응시켰을 때, 상기 제2 X-ray 이미지(704) 중 상기 폐 영역에 해당하는 부분(704a)의 픽셀들에 대한 제2히스토그램(204a)을 생성할 수 있다.In step S1220, when each pixel of the second X-ray image 704 corresponds to each pixel of the lung area image 705, it corresponds to the lung area in the second A second histogram 204a can be generated for the pixels of the portion 704a.

단계(S1230)에서, 상기 부분(704a)의 픽셀들 중 가장 어두운 픽셀의 제5값(v5)을 결정할 수 있다. In step S1230, the fifth value v5 of the darkest pixel among the pixels of the portion 704a may be determined.

단계(S1240)에서, 제1히스토그램(204)의 값들 중 제5값(v5)을 픽셀의 밝기를 나타내는 값들 중 최솟값('0', 검은색)으로 매핑하고, 상기 최솟값('0')으로부터 상기 제제5값(v5) 사이의 제5범위(r5)에 해당하는 각 픽셀의 값을 상기 최솟값('0')으로 매핑할 수 있다. In step S1240, the fifth value (v5) among the values of the first histogram 204 is mapped to the minimum value ('0', black) among the values representing the brightness of the pixel, and from the minimum value ('0') The value of each pixel corresponding to the fifth range (r5) between the fifth values (v5) can be mapped to the minimum value ('0').

단계(S1250)에서, 제1히스토그램(204)의 값들 중 가장 밝은 픽셀의 제6값(v6)과 제5값(v5) 사이의 값들을, 제6값(v6)과 상기 최솟값 사이의 값들로 선형으로 매핑할 수 있다. 이때, 제6값은 예컨대, 픽셀을 나타내는 값들 중 최댓값('255', 흰색)일 수도 있고, 상기 최댓값보다 작은 값일 수도 있다. 바람직한 실시예에서 상기 제6값은 상기 최댓값일 수 있다.In step S1250, the values between the sixth value (v6) and the fifth value (v5) of the brightest pixel among the values of the first histogram 204 are converted into values between the sixth value (v6) and the minimum value. It can be mapped linearly. At this time, the sixth value may be, for example, the maximum value ('255', white) among the values representing the pixel, or it may be a value smaller than the maximum value. In a preferred embodiment, the sixth value may be the maximum value.

단계(S1260)에서, 제2 X-ray 이미지(704)의 복수 개의 픽셀들 각각에 대하여 매핑된 값을 갖는 상기 보정된 X-ray 이미지(706)를 생성할 수 있다. In step S1260, the corrected X-ray image 706 having a mapped value for each of the plurality of pixels of the second X-ray image 704 may be generated.

이때, 예컨대 제2 X-ray 이미지(704)는 X-ray 촬영장치가 출력한 제1 X-ray 이미지의 히스토그램을 스트레칭하여 생성한 것이거나, 또는 상기 제2 X-ray 이미지(704)는 X-ray 촬영장치가 출력한 이미지 자체일 수 있다. At this time, for example, the second X-ray image 704 is created by stretching the histogram of the first X-ray image output by the X-ray imaging device, or the second X-ray image 704 is -It may be the image itself output by the ray imaging device.

도 11은 본 발명의 다른 실시예에 따른 X-ray 이미지 보정 방법의 순서도이다.11 is a flowchart of an X-ray image correction method according to another embodiment of the present invention.

도 12는 본 발명의 다른 실시예에 따라 X-ray 이미지 보정 방법을 설명하기 위한 도면이다.Figure 12 is a diagram for explaining an X-ray image correction method according to another embodiment of the present invention.

이하, 도 11 및 도 12를 함께 참조하여 설명한다.Hereinafter, it will be described with reference to FIGS. 11 and 12 together.

단계(S1200)에서, 상기 생성된 폐 영역 이미지(705)를 기초로 상기 제2 X-ray 이미지(704)의 폐 영역을 구성하는 복수 개의 픽셀들의 밝기에 대한 히스토그램을 스트레칭하여 보정된 X-ray 이미지(708)를 생성할 수 있다.In step S1200, the X-ray is corrected by stretching the histogram for the brightness of a plurality of pixels constituting the lung region of the second X-ray image 704 based on the generated lung region image 705. Image 708 may be created.

이때, 단계(S1200)는 단계(S1201) 및 단계(S1202)를 포함할 수 있다.At this time, step S1200 may include step S1201 and step S1202.

단계(S1201)에서, 제2 X-ray 이미지(704)의 각 픽셀을 상기 폐 영역 이미지(705)의 각 픽셀에 대응시켰을 때, 상기 제2 X-ray 이미지(704) 중 상기 폐 영역에 해당하는 부분(704a)만 포함되도록 잘라낸 제2 폐 영역 이미지(707)를 생성할 수 있다.In step S1201, when each pixel of the second X-ray image 704 corresponds to each pixel of the lung area image 705, it corresponds to the lung area in the second A second lung area image 707 can be generated that is cropped to include only the portion 704a.

단계(S1202)에서, 상기 제2 폐 영역 이미지(707)를 구성하는 복수 개의 픽셀들의 밝기에 대한 히스토그램(207)을 스트레칭하여 상기 보정된 X-ray 이미지(708)를 생성할 수 있다.In step S1202, the corrected

도 13은 본 발명의 다른 실시예에 따라 제2 폐 영역 이미지의 히스토그램을 나타낸 것이다.Figure 13 shows a histogram of a second lung region image according to another embodiment of the present invention.

히스토그램(207)의 가로축은 픽셀값을 나타내고, 세로축은 빈도수를 나타낸다.The horizontal axis of the histogram 207 represents pixel values, and the vertical axis represents frequencies.

도 14는 본 발명의 다른 실시예에 따라 단계(S1202)의 세부 단계들에 대한 순서도이다.Figure 14 is a flowchart of the detailed steps of step S1202 according to another embodiment of the present invention.

이하, 도 12 내지 도 14를 함께 참조하여 설명한다.Hereinafter, it will be described with reference to FIGS. 12 to 14.

단계(S1202)는 단계(S1310) 내지 단계(S1350)를 포함할 수 있다.Step S1202 may include steps S1310 to S1350.

단계(S1310)에서, 제2 폐 영역 이미지(707)의 픽셀들에 대한 제3히스토그램(207)을 생성할 수 있다. In step S1310, a third histogram 207 for pixels of the second lung area image 707 may be generated.

단계(S1320)에서, 제2 폐 영역 이미지(707)의 픽셀들 중 가장 어두운 픽셀의 제5값(v5)을 결정할 수 있다. In step S1320, the fifth value v5 of the darkest pixel among the pixels of the second lung area image 707 may be determined.

단계(S1330)에서, 제3히스토그램(207)의 값들 중 상기 결정된 제5값(v5)을 픽셀의 밝기를 나타내는 값들 중 최솟값('0', 검은색)으로 매핑할 수 있다. In step S1330, the determined fifth value (v5) among the values of the third histogram 207 may be mapped to the minimum value ('0', black) among the values representing the brightness of the pixel.

단계(S1340)에서, 제3히스토그램(207)의 값들 중 가장 밝은 픽셀의 제7값(v7)과 상기 제5값 사이의 값들을 상기 제7값(v7)과 상기 최솟값 사이의 값들로 선형으로 매핑할 수 있다. 이때, 제7값(v7)은 예컨대, 픽셀을 나타내는 값들 중 최댓값('255', 흰색)일 수도 있고, 상기 최댓값보다 작은 값일 수도 있다. In step S1340, the values between the seventh value (v7) of the brightest pixel among the values of the third histogram 207 and the fifth value are linearly converted to the values between the seventh value (v7) and the minimum value. It can be mapped. At this time, the seventh value (v7) may be, for example, the maximum value ('255', white) among the values representing the pixel, or it may be a value smaller than the maximum value.

단계(S1350)에서, 제2 폐 영역 이미지(707)의 픽셀들 각각에 대하여 매핑된 값을 갖는 상기 보정된 X-ray 이미지(708)를 생성할 수 있다.In step S1350, the corrected X-ray image 708 having a mapped value for each pixel of the second lung region image 707 may be generated.

이하, 도 2, 도 15, 및 도 16을 함께 참조하여 제2 X-ray 이미지(704)가 X-ray 촬영장치가 출력한 제1 X-ray 이미지의 히스토그램을 스트레칭하여 생성한 것 경우, 제2 X-ray 이미지(704)를 생성하는 방법에 대해 설명한다.Hereinafter, with reference to FIGS. 2, 15, and 16, if the second X-ray image 704 is generated by stretching the histogram of the first X-ray image output by the X-ray imaging device, 2 A method of generating an X-ray image 704 will be described.

도 15는 본 발명의 일 실시예에 따라 제2 X-ray 이미지를 생성하는 방법을 설명하기 위한 도면이다.Figure 15 is a diagram for explaining a method of generating a second X-ray image according to an embodiment of the present invention.

도 16은 본 발명의 일 실시예에 따라 제1 X-ray 이미지의 히스토그램을 나타낸 것이다. Figure 16 shows a histogram of the first X-ray image according to an embodiment of the present invention.

히스토그램(24)의 가로축은 픽셀값을 나타내고, 세로축은 빈도수를 나타낸다.The horizontal axis of the histogram 24 represents pixel values, and the vertical axis represents frequencies.

상술한 단계(S1100) 이전에 단계(S1000)가 수행될 수 있다.Step (S1000) may be performed before the above-described step (S1100).

단계(S1000)에서, 제1 X-ray 이미지(71)의 히스토그램을 스트레칭하여 제2 X-ray 이미지(72, 704)를 생성할 수 있다.In step S1000, the histogram of the first X-ray image 71 may be stretched to generate the second X-ray images 72 and 704.

단계(S1000)는 단계(S1010) 내지 단계(S1040)를 포함할 수 있다.Step S1000 may include steps S1010 to S1040.

단계(S1010)에서, 상기 제1 X-ray 이미지(71)를 구성하는 복수 개의 픽셀들 각각에 대하여 픽셀의 밝기를 나타내는 값에 대한 빈도수를 나타내는 히스토그램(24)을 생성할 수 있다.In step S1010, a histogram 24 indicating the frequency of a value indicating the brightness of the pixel may be generated for each of the plurality of pixels constituting the first X-ray image 71.

단계(S1020)에서, 상기 제1 X-ray 이미지(71)의 상기 복수 개의 픽셀들 중 가장 밝은 픽셀의 제1값(v1)을 기준으로 미리 결정된 제1범위(r1)(즉, 미리 결정된 제1화이트 아웃라이어)의 경계값인 제2값(v2)을 상기 최댓값('255')으로 매핑하고, 상기 제1범위(r1)(제1화이트 아웃라이어)에 해당하는 각 픽셀의 값을 상기 최댓값('255')으로 매핑할 수 있다. 이때, 화이트 아웃라이어는 최대 밝기를 기준으로 한 미리 결정된 %의 아웃라이어를 의미할 수 있다. 예컨대, 미리 결정된 제1화이트 아웃라이어는 0.5%의 아웃라이어로서, 상위 0~0.5%의 구간에 속하는 밝은 픽셀들을 의미할 수 있다.In step S1020, a predetermined first range r1 (i.e., a predetermined first range r1) based on the first value v1 of the brightest pixel among the plurality of pixels of the first X-ray image 71 The second value (v2), which is the boundary value of 1 white outlier), is mapped to the maximum value ('255'), and the value of each pixel corresponding to the first range (r1) (the first white outlier) is mapped to the maximum value ('255'). It can be mapped to the maximum value ('255'). At this time, white outlier may mean an outlier of a predetermined percentage based on maximum brightness. For example, the predetermined first white outlier is an outlier of 0.5% and may mean bright pixels belonging to the upper 0 to 0.5% range.

단계(S1030)에서, 상기 제1 X-ray 이미지(71)를 구성하는 복수 개의 픽셀들 중 가장 어두운 픽셀의 제3값(v3)을 기준으로 미리 결정된 제2범위(r2)(즉, 미리 결정된 제1블랙 아웃라이어)의 경계값인 제4값(v4)을 상기 최솟값('0')으로 매핑하고, 상기 제2범위(r2)(제1블랙 아웃라이어)에 해당하는 각 픽셀의 값을 상기 최솟값('0')으로 매핑할 수 있다. 이때, 블랙 아웃라이어는 최소 밝기를 기준으로 한 미리 결정된 %의 아웃라이어를 의미할 수 있다. 예컨대, 미리 결정된 제1블랙 아웃라이어는 하위 0~0.5%의 구간에 속하는 어두운 픽셀들을 의미할 수 있다.In step S1030, a predetermined second range r2 (i.e., a predetermined range r2) based on the third value v3 of the darkest pixel among the plurality of pixels constituting the first X-ray image 71 The fourth value (v4), which is the boundary value of the first black outlier, is mapped to the minimum value ('0'), and the value of each pixel corresponding to the second range (r2) (the first black outlier) is mapped to the minimum value ('0'). It can be mapped to the minimum value ('0'). At this time, the black outlier may mean an outlier of a predetermined percentage based on the minimum brightness. For example, the predetermined first black outlier may mean dark pixels belonging to the lower 0 to 0.5% range.

단계(S1040)에서, 상기 제1 X-ray 이미지(71)를 구성하는 복수 개의 픽셀들 중 상기 제1범위(r1)(제1화이트 아웃라이어) 및 상기 제2범위(r2)(제1블랙 아웃라이어)를 제외한 가운데 범위인 제3범위(r3)의 픽셀들의 밝기를 나타내는 값들을 상기 최댓값('255')과 상기 최솟값('0') 사이의 값들로 선형으로 매핑할 수 있다.In step S1040, among the plurality of pixels constituting the first X-ray image 71, the first range r1 (first white outlier) and the second range r2 (first black outlier) Values representing the brightness of pixels in the third range (r3), which is the middle range excluding outliers, can be linearly mapped to values between the maximum value ('255') and the minimum value ('0').

도 17은 본 발명의 일 실시예에 따라 제공되는 컴퓨팅 장치의 구조 및 기능을 나타낸 것이다. Figure 17 shows the structure and function of a computing device provided according to an embodiment of the present invention.

본 발명에서 컴퓨팅 장치는 X-ray 이미지의 폐 영역의 콘트라스트 향상 장치라고 지칭될 수 있다.In the present invention, the computing device may be referred to as a device for enhancing the contrast of the lung region of an X-ray image.

컴퓨팅 장치(1)는, 컴퓨터로 읽을 수 있는 비휘발성 기록매체(2)를 읽을 수 있는 장치 인터페이스부(3) 및 처리부(4)를 포함할 수 있다.The computing device 1 may include a device interface unit 3 and a processing unit 4 that can read a computer-readable non-volatile recording medium 2.

상기 비휘발성 기록매체(2)는, 상술한 단계(S1010) 내지 단계(S1040)를 포함하는 단계(S1000)를 실행하는 제11명령코드, 단계(S1100)를 실행하는 제12명령코드, 단계(S1210) 내지 단계(S1260)를 포함하는 단계(S1200)를 실행하는 제13명령코드, 단계(S1201) 및 단계(S1202)를 실행하는 제14명령코드, 및 단계(S1110) 내지 단계(S1140)를 실행하는 폐영역 학습명령코드를 포함하는 프로그램을 저장하고 있을 수 있다. The non-volatile recording medium 2 includes an 11th command code for executing step S1000 including the above-described steps S1010 to S1040, a 12th command code for executing step S1100, and step ( A 13th command code for executing steps S1200 including steps S1210) to S1260, a 14th instruction code for executing steps S1201 and S1202, and steps S1110 to S1140. A program containing a closed area learning command code to be executed may be stored.

상기 처리부(4)는, 상기 장치 인터페이스부(3)를 통해, 상기 제11명령코드를 읽어서 실행함으로써 제2 X-ray 이미지를 생성하도록 되어 있을 수 있다. 또한, 상기 처리부(4)는, 상기 장치 인터페이스부(3)를 통해, 상기 제12명령코드를 읽어서 실행함으로써 폐 영역 이미지를 생성하도록 되어 있을 수 있다. 또한, 상기 처리부(4)는, 상기 장치 인터페이스부(3)를 통해, 상기 제13명령코드를 읽어서 실행함으로써 보정된 X-ray 이미지를 생성하도록 되어 있을 수 있다. 또한, 상기 처리부(4)는, 상기 장치 인터페이스부(3)를 통해, 상기 제14명령코드를 읽어서 실행함으로써 다른 실시예에 따른 보정된 제2 폐 영역 이미지인 보정된 X-ray 이미지를 생성하도록 되어 있을 수 있다. 또한, 상기 처리부(4)는, 상기 장치 인터페이스부(3)를 통해, 상기 폐영역 학습명령코드를 읽어서 실행함으로써 상기 네트워크를 학습시키도록 되어 있을 수 있다.The processing unit 4 may be configured to generate a second X-ray image by reading and executing the 11th command code through the device interface unit 3. Additionally, the processing unit 4 may be configured to generate a lung area image by reading and executing the twelfth command code through the device interface unit 3. Additionally, the processing unit 4 may be configured to generate a corrected X-ray image by reading and executing the 13th command code through the device interface unit 3. In addition, the processing unit 4 reads and executes the 14th command code through the device interface unit 3 to generate a corrected X-ray image, which is a corrected second lung area image according to another embodiment. It may be. Additionally, the processing unit 4 may be configured to learn the network by reading and executing the closed area learning command code through the device interface unit 3.

상기 네트워크(500)에 입력되는 이미지(ex: 704)에 존재하는 노이즈는, 후술하는 적용예인 X-ray 이미지의 노이즈 제거 방법에 의해 학습된 디노이징 네트워크(f_θ)(111)를 이용하여 미리 제거될 수 있다. 즉, 디노이징 네트워크(f_θ)(111)에 이미지(ex: 704)를 입력하여, 상기 디노이징 네트워크(f_θ)(111)가 출력한 노이즈가 제거된 이미지를 상기 네트워크(500)에 입력할 수 있다.Noise present in the image (ex: 704) input to the network 500 is preliminarily calculated using a denoising network (f _θ ) 111 learned by a noise removal method for X-ray images, an application example of which will be described later. can be removed That is, an image (ex: 704) is input to the denoising network (f _θ ) 111, and the noise-removed image output by the denoising network (f _θ ) 111 is input to the network 500. can do.

[적용예-상술한 본 발명에 적용될 수 있는 X-ray 이미지의 노이즈 제거 방법][Application example - Method for removing noise from X-ray images applicable to the present invention described above]

X-ray 촬영 이미지는 행렬형태의 화소들로 구성된 디지털 이미지로 저장되어 제공될 수 있다. 예컨대 X-ray 촬영 이미지는 R0개의 행과 C0개의 열들로 이루어진 R0 * C0 개의 화소들로 이루어질 수 있다. 상기 X-ray 이미지가 디지털 방식으로 촬영된 경우, 상기 R0 * C0 개의 화소들은 각각, X-ray를 검출하는 R0 * C0 개의 서로 다른 이미지 센서 소자에 대응될 수 있다. 또는 상기 X-ray 이미지가 필름에 의해 촬영되는 경우, 현상된 상기 필름을 스캔함으로써 상기 R0 * C0 개의 화소들로 이루어진 디지털 이미지로 재구성할 수 있다. X-ray images may be stored and provided as digital images composed of pixels in a matrix form. For example, an X-ray image may be composed of R0 * C0 pixels, which are composed of R0 rows and C0 columns. When the X-ray image is captured digitally, the R0 * C0 pixels may each correspond to R0 * C0 different image sensor elements that detect X-rays. Alternatively, when the X-ray image is captured by film, it can be reconstructed into a digital image composed of the R0 * C0 pixels by scanning the developed film.

도 18은 노이즈가 포함된 X-ray 이미지의 개념을 설명한 도면이다. Figure 18 is a diagram explaining the concept of an X-ray image containing noise.

X-ray 촬영장치에 의해 촬영되어 획득되었거나 또는 CT 정보로부터 합성된 X-ray 이미지(x+n)(600)는 진짜 이미지(x)(601)와 노이즈(n)(602)으로 이루어질 수 있다.An X-ray image (x+n) (600) acquired by imaging with an X-ray imaging device or synthesized from CT information may be composed of a real image (x) (601) and noise (n) (602). .

도 19는 종래의 지도학습(supervised training) 기술에 따라 X-ray 이미지의 노이즈를 제거하는 방법을 나타낸 것이다.Figure 19 shows a method of removing noise from an X-ray image according to conventional supervised training technology.

디노이징 네트워크(f_θ)(111)(이하 간단히 네트워크(f_θ))에는 상기 X-ray 이미지(x+n)(600)가 입력될 수 있다. 네트워크(f_θ)(111)의 동작 목표는 상기 X-ray 이미지(x+n)(600)로부터 노이즈가 제거된 이미지인 후처리 이미지(f_θ(x+n))(603)을 출력하는 것이다. 이를 위해 상기 네트워크(f_θ)(111)를 구성하는 파라미터 θ가 최적화되어야 한다. 이를 위해 상기 X-ray 이미지(x+n)(600)에 대한 상기 진짜 이미지(x)(601)와 상기 후처리 이미지(f_θ(x+n))(603) 간의 손실함수 L을 최소화하도록 파라미터 θ를 최적화한다.The X-ray image (x+n) 600 may be input to the denoising network (f _θ ) 111 (hereinafter simply referred to as network (f _θ )). The operation goal of the network (f _θ ) 111 is to output a post-processed image (f _θ (x+n)) 603, which is an image from which noise has been removed from the X-ray image (x+n) 600. will be. For this purpose, the parameter θ constituting the network (f _θ ) 111 must be optimized. To this end, the loss function L between the real image (x) 601 and the post-processed image (f _θ (x+n)) 603 for the X-ray image (x+n) 600 is minimized. Optimize parameter θ.

그런데 도 19에 제시된 기술에서는 상기 X-ray 이미지(x+n)(600)에 대한 그라운드 트루(ground truth) 이미지인 상기 진짜 이미지(x)(601)을 미리 준비해야 하는데, 상기 진짜 이미지(x)(601)를 준비하는 것 자체가 매우 어렵거나 불가능할 수 있다는 문제가 있다. However, in the technology presented in FIG. 19, the true image (x) 601, which is a ground truth image for the X-ray image (x+n) 600, must be prepared in advance, and the true image (x )(601) itself may be very difficult or impossible.

도 20은 다른 지도학습 기술에 따라 X-ray 이미지의 노이즈를 제거하는 방법을 나타낸 것이다.Figure 20 shows a method of removing noise from an X-ray image according to another supervised learning technique.

도 19에 제시된 상기 X-ray 이미지(x+n)(600)는 도 20에서는 X-ray 이미지(x+n₁)으로 다시 표기하였다.The X-ray image (x+n) 600 shown in FIG. 19 is rewritten as X-ray image (x+n ₁ ) in FIG. 20.

도 20의 기술에서는, 상기 진짜 이미지(x)(601)를 노이즈가 포함된 X-ray 이미지(x+n₁)(605)에 대한 지도 학습용 레이블로 사용하는 대신에, 또 다른 레이블 이미지(x+n₂)(604)를 상기 X-ray 이미지(x+n₁)(605)에 대한 레이블로 사용한다. 도 20을 이용하여 설명하는 네트워크 학습방법에서는 상기 또 다른 레이블 이미지(x+n₂)(604)와 상기 후처리 이미지(f_θ(x+n₁))(603) 간의 손실함수 L을 최소화하도록 파라미터 θ를 최적화한다.In the technique of Figure 20, instead of using the real image (x) 601 as a label for supervised learning for the X-ray image (x+n ₁ ) 605 containing noise, another label image (x +n ₂ ) (604) is used as a label for the X-ray image (x+n ₁ ) (605). In the network learning method described using FIG. 20, the loss function L between the another label image (x+n ₂ ) 604 and the post-processed image (f _θ (x+n ₁ )) 603 is minimized. Optimize parameter θ.

손실함수 L은 [수식 1]과 같이 정의될 수 있다.The loss function L can be defined as [Equation 1].

[수식 1][Formula 1]

여기서 상기 또 다른 레이블 이미지(x+n₂)(604)에서 노이즈 n₂를 제거한 진짜 이미지(x)와, 상기 X-ray 이미지(x+n₁)(605)에서 노이즈 n₁을 제거한 진짜 이미지(x)는 서로 같아야 한다. Here, a real image (x) from which noise n ₂ has been removed from the other label image (x+n ₂ ) (604), and a real image from which noise n ₁ has been removed from the X-ray image (x+n ₁ ) (605). (x) must be equal to each other.

이때 ① n₁ 및 n₂ 가 independent i.i.d 이고, ② Ε[n₁] = Ε[n₂] = 0 이고, ③ n₁ 및 n₂ 가 symmetric이고, 그리고 ④ L2 norm loss를 만족한다면, 도 20의 기술은 도 19의 기술과 실질적으로 동일한 효과를 나타낸다. 즉, 위 조건을 만족한다면, 도 19와 같이 상기 진짜 이미지(x)(601) 대신에, 상기 진짜 이미지(x)에 다른 노이즈(n₂)가 결합된 상기 또 다른 레이블 이미지(x+n₂)(604)를 이용할 수 있다. 상기 레이블 이미지(x+n₂)(604)를 이용하여 상기 네트워크(f_θ)(111)을 학습시키더라도 동일한 학습효과를 얻을 수 있다는 것이다. 그러나 이러한 이론에도 불구하고, 도 20에 제시된 기술을 위해서는 상기 X-ray 이미지(x+n₁)(605)에 대한 상기 또 다른 레이블 이미지(x+n₂)(604)를 준비해야 하는데, 상기 또 다른 레이블 이미지(x+n₂)(604)를 준비하는 것 역시 매우 어려울 수 있다.At this time, if ① n ₁ and n ₂ are independent iid, ② Ε[n ₁ ] = Ε[n ₂ ] = 0, ③ n ₁ and n ₂ are symmetric, and ④ satisfies L2 norm loss, in Figure 20 The technique has substantially the same effect as the technique of FIG. 19. That is, if the above conditions are satisfied, instead of the real image (x) 601, as shown in FIG. 19, another label image (x+n ₂ ) in which other noise (n ₂ ) is combined with the real image (x) )(604) can be used. Even if the network (f _θ ) 111 is trained using the label image (x+n ₂ ) 604, the same learning effect can be obtained. However, despite this theory, the technology presented in FIG. 20 requires preparing another label image (x+n ₂ ) 604 for the X-ray image (x+n ₁ ) 605. Preparing another label image (x+n ₂ ) 604 can also be very difficult.

이에, 네트워크(f_θ)(111)를 학습시키기 위한 상기 진짜 이미지(x)(601)를 대체할 수 있는 이미지를 생성하고, 네트워크(f_θ)(111)를 학습시키는 효과적인 기술을 제공할 필요가 있다.Accordingly, there is a need to provide an effective technology to generate an image that can replace the real image (x) 601 for learning the network (f _θ ) 111 and to learn the network (f _θ ) 111. There is.

<지도학습을 위한 레이블의 생성 방법><How to create labels for supervised learning>

도 21은 본 발명의 일 실시예에 따라 X-ray 이미지의 노이즈를 제거하는 네트워크를 지도학습하기 위한 레이블 이미지를 생성하는 과정을 나타낸 것이다.Figure 21 shows the process of generating a label image for supervised learning of a network that removes noise from X-ray images according to an embodiment of the present invention.

노이즈가 포함된 X-ray 이미지(x+n)(600)는 행렬형태로 배치된 복수 개의 픽셀들로 구성될 수 있다. 도 21에는 이 중 행과 열 방향으로 서로 인접한 4개의 픽셀들을 나타내었다.An X-ray image (x+n) 600 containing noise may be composed of a plurality of pixels arranged in a matrix form. Figure 21 shows four pixels adjacent to each other in the row and column directions.

이때, 상기 X-ray 이미지(x+n)(600) 중 서로 인접한 4개의 픽셀들 중 제1그룹의 픽셀들(61)의 정보를 기초로, 상기 X-ray 이미지(x+n)(600)를 다운샘플링함으로써 상기 도 21의 X-ray 이미지(x+n₁)(605)를 생성할 수 있다. At this time, based on information on the first group of pixels 61 among the four adjacent pixels of the X-ray image (x+n) 600, ), the X-ray image (x+n ₁ ) 605 of FIG. 21 can be generated by downsampling.

그리고 상기 X-ray 이미지(x+n)(600) 중 서로 인접한 4개의 픽셀들 중 제2그룹의 픽셀들(62)의 정보를 기초로, 상기 X-ray 이미지(x+n)(600)를 다운샘플링함으로써 상기 도 21의 레이블 이미지(x+n₂)(604)를 생성할 수 있다. And based on information on the second group of pixels 62 among four adjacent pixels in the X-ray image (x+n) 600, the X-ray image (x+n) 600 The label image (x+n ₂ ) 604 of FIG. 21 can be generated by downsampling .

일 실시예에서, 여기서 상기 제1그룹의 픽셀들(61)과 상기 제2그룹의 픽셀들(62)은 동일한 픽셀을 공유하지 않을 수 있다.In one embodiment, the first group of pixels 61 and the second group of pixels 62 may not share the same pixel.

상기 생성된 X-ray 이미지(x+n₁)(605)는 상기 네트워크(111)를 학습시키기 위한 학습용 데이터로 사용될 수 있으며, 상기 생성된 레이블 이미지(x+n₂)(604)는 상기 X-ray 이미지(x+n₁)(605)에 대한 지도학습용 레이블로 이용될 수 있다. 이때 ① n₁ 및 n₂ 가 independent i.i.d 이고, ② Ε[n₁] = Ε[n₂] = 0 이고, ③ n₁ 및 n₂ 가 symmetric이고, 그리고 ④ L2 norm loss를 만족한다고 볼 수 있다.The generated X-ray image (x+n ₁ ) 605 can be used as learning data to train the network 111, and the generated label image (x+n ₂ ) 604 is -Can be used as a label for supervised learning for the ray image (x+n ₁ ) (605). At this time, ① n ₁ and n ₂ are independent iid, ② Ε[n ₁ ] = Ε[n ₂ ] = 0, ③ n ₁ and n ₂ are symmetric, and ④ it can be seen that L2 norm loss is satisfied.

상기 생성된 X-ray 이미지(x+n₁)(605)와 상기 생성된 레이블 이미지(x+n₂)(604)의 해상도는, 원본 이미지인 상기 X-ray 이미지(x+n)(600)의 해상도 보다 작음을 이해할 수 있다. 그러나 이와 같이 원본 이미지인 상기 X-ray 이미지(x+n)(600)의 해상도를 잃는 대신, 지도학습을 위한 학습용 X-ray 이미지(x+n₁)(605)와 상기 레이블 이미지(x+n₂)(604)를 얻을 수 있다는 이점을 얻는다. The resolution of the generated X-ray image (x+n ₁ ) 605 and the generated label image (x+n ₂ ) 604 is the original image, the X-ray image (x+n) 600 ) can be understood as being smaller than the resolution. However, instead of losing the resolution of the X-ray image (x+n) (600), which is _the original image, the learning n ₂ )(604) can be obtained.

이하 본 명세서에서 상기 X-ray 이미지(x+n₁)(605)와 상기 레이블 이미지(x+n₂)(604)를 각각 제1서브이미지(605) 및 제2서브이미지(604)로 지칭하거나, 또는 제1유도이미지(605) 및 제2유도이미지(605)로 지칭할 수 있다.Hereinafter _, in this specification, _the Alternatively, it may be referred to as a first guidance image 605 and a second guidance image 605.

<본 발명의 바람직한 실시예에 따른 X-ray 디노이징 방법 및 디노이징 네트워크 훈련방법><X-ray denoising method and denoising network training method according to a preferred embodiment of the present invention>

도 22는 본 발명의 일 실시예에 따라 학습이 완료된 디노이징 네트워크를 이용하여 X-ray 이미지의 노이즈를 제거하는 과정을 나타낸 개념도이다.Figure 22 is a conceptual diagram showing the process of removing noise from an X-ray image using a trained denoising network according to an embodiment of the present invention.

준비된 X-ray 이미지(700)는 다운샘플링 과정을 통해 제1이미지(710)로 변환된다.The prepared X-ray image 700 is converted into the first image 710 through a downsampling process.

변환된 상기 제1이미지(710)는 학습이 완료된 상기 디노이징 네트워크인 제1네트워크(111)에 입력될 수 있다.The converted first image 710 can be input to the first network 111, which is the denoising network for which learning has been completed.

제1네트워크(111)는 N1 * N1 크기의 데이터를 입력받아 N1 * N1 크기의 데이터를 출력하는 구조를 가질 수 있다.The first network 111 may have a structure that receives data of size N1 * N1 and outputs data of size N1 * N1.

상기 제1네트워크(111)는 상기 제1이미지(710)로부터 제2이미지(720)를 생성하여 출력할 수 있다. The first network 111 may generate and output a second image 720 from the first image 710.

이때, 상기 X-ray 이미지(700)는 디지털 이미지이며 그 크기는 R0*C0 일 수 있다. 즉, 상기 X-ray 이미지(700)는 R0 * C0 개의 픽셀들로 이루어진 것일 수 있따. At this time, the X-ray image 700 is a digital image and its size may be R0*C0. That is, the X-ray image 700 may be composed of R0 * C0 pixels.

그리고 상기 제1이미지(710) 및 상기 제2이미지(720)의 크기는 서로 동일하며, 모두 N1*N1 일 수 있다. 즉, 상기 제1이미지(710) 및 상기 제2이미지(720)는 모두 각각 N1 * N1 개의 픽셀들로 이루어진 것일 수 있다. 이때, R0 >= N1이고 C0 >= N1일 수 있다. And the sizes of the first image 710 and the second image 720 are the same, and both may be N1*N1. That is, the first image 710 and the second image 720 may each be composed of N1 * N1 pixels. At this time, R0 >= N1 and C0 >= N1.

상기 제1네트워크(111)는 N1 * N1 개의 픽셀들로 구성된 입력이미지를 변환하여 N1 * N1 개의 픽셀들로 구성된 출력이미지를 생성하는 것일 수 있다. 그리고 상기 제1네트워크(111)는 입력된 이미지로부터 노이즈를 제거한 출력 이미지를 생성하는 기능을 하도록 학습된 것일 수 있다. 상기 제1네트워크(111)는 학습이 가능한 신경망을 포함할 수 있으며, 상기 제1네트워크(111)는 이미 충분히 학습된 것일 수 있다. The first network 111 may convert an input image composed of N1 * N1 pixels to generate an output image composed of N1 * N1 pixels. And the first network 111 may be trained to generate an output image from which noise has been removed from the input image. The first network 111 may include a neural network capable of learning, and the first network 111 may already have been sufficiently learned.

도 23은 도 22에 제시한 디노이징 네트워크를 학습하는 방법을 나타낸 개념도이다. Figure 23 is a conceptual diagram showing a method for learning the denoising network shown in Figure 22.

도 23의 제1네트워크(111)는 지도학습될 수 있다. 학습용 입력 데이터는 노이즈가 포함된 학습용 X-ray 이미지(x+n₁)(805)이며, 상기 X-ray 이미지(x+n₁)(805)에 대응하는 지도학습용 레이블은 레이블 이미지(x+n₂)(804)이다. 상기 제1네트워크(111)는 학습용 X-ray 이미지(x+n₁)(805)로부터 후처리 이미지(f_θ(x+n₁))(803)를 생성할 수 있다. 여기서 상기 지도학습용 레이블이란, 상기 [수식 1]과 같이 정의되는 손실함수의 산출에 사용되는 데이터를 의미할 수 있다.The first network 111 in FIG. 23 can be supervised learning. The input data for learning is a learning X-ray image (x+n ₁ ) (805) containing noise, and the label for supervised learning corresponding to the X-ray image (x+n ₁ ) (805) is a label image (x+ n ₂ )(804). The first network 111 may generate a post-processed image (f _θ (x+n ₁ )) 803 from the learning X-ray image (x+n ₁ ) 805. Here, the supervised learning label may refer to data used to calculate the loss function defined as [Equation 1] above.

상기 제1네트워크(111)를 구성하는 파라미터 θ는 상기 [수식 1]과 같이 정의되는 손실함수 L (=loss)을 최소화하도록 최적화될 수 있다. The parameter θ constituting the first network 111 can be optimized to minimize the loss function L (= loss ) defined as [Equation 1] above.

서로 다른 복수 개의 학습용 X-ray 이미지(x+n₁)(805)들 및 이에 대응하는 서로 다른 복수 개의 레이블 이미지(x+n₂)(804)들을 이용하여 상기 지도학습을 반복함으로써 상기 제1네트워크(111)의 학습 상태를 향상시킬 수 있다.By repeating the supervised learning using a plurality of different learning X-ray images (x+n ₁ ) 805 and a plurality of different label images (x+n ₂ ) 804 corresponding thereto, the first The learning state of the network 111 can be improved.

여기서 상기 레이블 이미지(x+n₂)(804)에서 노이즈 n₂를 제거한 진짜 이미지(x)와, 상기 학습용 X-ray 이미지(x+n₁)(805)에서 노이즈 n₁을 제거한 진짜 이미지(x)는 서로 같아야 한다. Here, a real image (x) from which noise n ₂ has been removed from the label image (x+n ₂ ) 804, and a real image from which noise n ₁ has been removed from the learning X-ray image (x+n ₁ ) 805 ( x) must be equal to each other.

이때 ① n₁ 및 n₂ 가 independent i.i.d 이고, ② Ε[n₁] = Ε[n₂] = 0 이고, ③ n₁ 및 n₂ 가 symmetric이고, 그리고 ④ L2 norm loss를 만족하는 조건을 충족시켜야 한다.At this time, the conditions must be met: ① n ₁ and n ₂ are independent iid, ② Ε[n ₁ ] = Ε[n ₂ ] = 0, ③ n ₁ and n ₂ are symmetric, and ④ L2 norm loss is satisfied. do.

이러한 조건을 충족하도록 상기 서로 다른 복수 개의 학습용 X-ray 이미지(x+n₁)(805)들 및 이에 대응하는 서로 다른 복수 개의 레이블 이미지(x+n₂)(804)들을 준비하는 과정을 도 24에서 설명한다.To satisfy these conditions, a process of preparing a plurality of different learning X-ray images (x+n ₁ ) 805 and a plurality of different label images (x+n ₂ ) 804 corresponding thereto is shown. This is explained in 24.

도 24는 본 발명의 일 실시예에 따라 제공되는 네트워크 학습용 데이터 생성방법을 나타낸 개념도이다.Figure 24 is a conceptual diagram showing a method of generating data for network learning provided according to an embodiment of the present invention.

한 쌍의 상기 X-ray 이미지(x+n₁)(805) 및 이에 대응하는 레이블 이미지(x+n₂)(804)를 준비하기 위하여, 임의의 X-ray 이미지(80)를 준비할 수 있다.In order to prepare a pair of the X-ray image (x+n ₁ ) 805 and the corresponding label image (x+n ₂ ) 804, an arbitrary X-ray image 80 can be prepared. there is.

그 다음, 상기 X-ray 이미지(80)을 변환(ex: 다운샘플링)하여 제1학습이미지(800)를 생성할 수 있다. Next, the X-ray image 80 can be converted (ex: downsampled) to generate the first learning image 800.

그 다음, 상기 제1학습이미지(800) 중 서로 인접한 4개의 픽셀들 중 제1그룹의 픽셀들의 정보를 기초로, 상기 제1학습이미지(x+n)(800)를 다운샘플링 함으로써 상기 도 23의 X-ray 이미지(x+n₁)(805)를 생성할 수 있다. 도 23의 상기 X-ray 이미지(x+n₁)(805)는 예컨대 상기 제1그룹의 픽셀들의 대푯값(ex: 평균값)으로 이루어질 수도 있다. Next, the first learning image (x+n) 800 is downsampled based on information on the first group of pixels among the four adjacent pixels among the first learning image 800, as shown in FIG. 23. An X-ray image (x+n ₁ ) (805) can be generated. The X-ray image (x+n ₁ ) 805 of FIG. 23 may be, for example, a representative value (ex: average value) of the pixels of the first group.

그리고 상기 제1학습이미지(x+n)(800) 중 서로 인접한 4개의 픽셀들 중 제2그룹의 픽셀들의 정보를 기초로, 상기 제1학습이미지(x+n)(800)를 다운샘플링 함으로써 상기 도 23의 레이블 이미지(x+n₂)(804)를 생성할 수 있다. 도 23의 상기 레이블 이미지(x+n₂)(804)는 예컨대 상기 제2그룹의 픽셀들의 대푯값(ex: 평균값)으로 이루어질 수도 있다. And by downsampling the first learning image (x+n) (800) based on information on the second group of pixels among the four adjacent pixels of the first learning image (x+n) (800). The label image (x+n ₂ ) 804 of FIG. 23 can be generated. The label image (x+n ₂ ) 804 of FIG. 23 may be, for example, a representative value (ex: average value) of the pixels of the second group.

일 실시예에서, 여기서 상기 제1그룹의 픽셀들과 상기 제2그룹의 픽셀들은 동일한 픽셀을 공유하지 않을 수 있다. 이때 ① n₁ 및 n₂ 가 independent i.i.d 이고, ② Ε[n₁] = Ε[n₂] = 0 이고, ③ n₁ 및 n₂ 가 symmetric이고, 그리고 ④ L2 norm loss를 만족한다고 간주할 수 있다.In one embodiment, the first group of pixels and the second group of pixels may not share the same pixel. At this time, it can be considered that ① n ₁ and n ₂ are independent iid, ② Ε[n ₁ ] = Ε[n ₂ ] = 0, ③ n ₁ and n ₂ are symmetric, and ④ L2 norm loss is satisfied. .

일 실시예에서, 상기 인접한 4개의 픽셀들은 서로 인접한 2 * 2 행렬형태의 픽셀들일 수 있다. In one embodiment, the four adjacent pixels may be pixels in the form of a 2*2 matrix adjacent to each other.

다른 실시예에서, 상기 인접한 4개의 픽셀들은 서로 인접한 1*4 형렬 형태의 픽셀들이거나, 또는 서로 인접한 4*1 행렬 형태의 픽셀들일 수 있다.In another embodiment, the four adjacent pixels may be pixels in a 1*4 matrix adjacent to each other, or may be pixels in a 4*1 matrix adjacent to each other.

이때, 상기 제1그룹의 픽셀들은 상기 4개의 픽셀들 중 선택된 2개로 구성되고, 상기 제2그룹의 픽셀들은 상기 4개의 픽셀들 중 나머지 2개로 구성될 수 있다. At this time, the first group of pixels may be composed of two selected pixels out of the four pixels, and the second group of pixels may be composed of the remaining two of the four pixels.

또는, 상기 제1그룹의 픽셀들은 상기 4개의 픽셀들 중 선택된 1개로 구성되고, 상기 제2그룹의 픽셀들은 상기 4개의 픽셀들 중 나머지 3개로 구성될 수 있다. Alternatively, the first group of pixels may be composed of one selected among the four pixels, and the second group of pixels may be composed of the remaining three of the four pixels.

본 발명의 바람직한 실시예에 따르면, 도 24의 예에 나타낸 것과 같이, N2는 N1의 2배이어야 한다. According to a preferred embodiment of the present invention, N2 should be twice N1, as shown in the example of Figure 24.

그리고 도 24의 예에서, R2은 N1 이상이고, C1은 N1 이상일 수 있다. And in the example of FIG. 24, R2 may be greater than or equal to N1, and C1 may be greater than or equal to N1.

복수 개의 X-ray 이미지(80)를 기초로 복수 쌍의 상기 X-ray 이미지(x+n₁)(805) 및 이에 대응하는 레이블 이미지(x+n₂)(804)를 생성할 수 있으며, 이들을 이용하여 제1네트워크(111)를 학습시킬 수 있다.Based on the plurality of X-ray images 80, a plurality of pairs of the X-ray image (x+n ₁ ) 805 and the corresponding label image (x+n ₂ ) 804 can be generated, The first network 111 can be learned using these.

도 22 의 X-ray 이미지(700) 및 도 24의 X-ray 이미지(80)는 X-ray 다이콤 이미지일 수 있다. 예컨대 R0 및 C0는 각각 2,000이라는 값을 가질 수 있다. 도 22에서 제1네트워크(111)에 입력되는 데이터의 크기 N1 * N1에서 N1은 256일 수 있다. 그리고 도 24에서 제1학습이미지(800)의 데이터의 크기 N2 * N2에서 N2는 512일 수 있다.The X-ray image 700 of FIG. 22 and the X-ray image 80 of FIG. 24 may be X-ray dicomb images. For example, R0 and C0 may each have a value of 2,000. In FIG. 22, in the size N1 * N1 of data input to the first network 111, N1 may be 256. And in FIG. 24, in the size N2 * N2 of the data of the first learning image 800, N2 may be 512.

<비교 실시예에 따른 X-ray 디노이징 방법 및 디노이징 네트워크 훈련방법><X-ray denoising method and denoising network training method according to comparative examples>

지금부터 설명하는 비교 실시예는 상술한 바람직한 일 실시예에 따른 장점을 비교하기 위하여 설명하는 것이다. 이 비교 실시예가 본 특허 출원 시점에 이미 타인에 의해 공개된 것이라고 점을 인정하는 것은 아니다. The comparative examples described from now on are explained to compare the advantages according to the above-described preferred embodiment. This does not acknowledge that this comparative example has already been disclosed by others at the time of filing this patent application.

도 25는 비교 실시예에 따라 학습이 완료된 디노이징 네트워크를 이용하여 X-ray 이미지의 노이즈를 제거하는 과정을 나타낸 개념도이다.Figure 25 is a conceptual diagram showing the process of removing noise from an X-ray image using a denoising network that has been trained according to a comparative example.

도 25에 제시한 도면은 도 22와 비교하였을 때에, 제1네트워크(111)가 디노이징 네트워크인 제2네트워크(112)로 대체되었다는 점만 다르다. The drawing shown in FIG. 25 is different from FIG. 22 except that the first network 111 is replaced with the second network 112, which is a denoising network.

상기 비교 실시예에 따라 제2네트워크(112)를 학습시키기 위해 이용될 학습용 데이터를 생성하는 방법은 도 26과 같이 제시될 수 있다.A method of generating training data to be used to train the second network 112 according to the above comparative example may be presented as shown in FIG. 26.

도 26은 비교 실시예에 따라, 디노이징 네트워크를 학습시키기 위한 학습데이터를 생성하는 방법을 나타낸 개념도이다.Figure 26 is a conceptual diagram showing a method of generating learning data for training a denoising network, according to a comparative example.

우선, 임의의 X-ray 이미지(80)를 준비할 수 있다.First, an arbitrary X-ray image 80 can be prepared.

그 다음, 상기 X-ray 이미지(80)를 변환(ex: 다운샘플링)하여 제2학습이미지(900)를 생성할 수 있다. Next, the X-ray image 80 can be converted (ex: downsampled) to generate a second learning image 900.

그 다음, 상기 제2학습이미지(900) 중 서로 인접한 4개의 픽셀들 중 제1그룹의 픽셀들의 정보를 기초로, 상기 제2학습이미지(x+n)(900)를 다운샘플링 함으로써 X-ray 이미지(x+n₁)(905)를 생성할 수 있다. 상기 X-ray 이미지(x+n₁)(905)는 예컨대 상기 제1그룹의 픽셀들의 대푯값(ex: 평균값)으로 이루어질 수도 있다. Next, the second learning image (x+n) 900 is downsampled based on the information of the first group of pixels among the four adjacent pixels of the second learning image 900 to produce an X-ray An image (x+n ₁ ) 905 can be created. The X-ray image (x+n ₁ ) 905 may be composed of, for example, a representative value (ex: average value) of the pixels of the first group.

그리고 상기 제2학습이미지(x+n)(900) 중 서로 인접한 4개의 픽셀들 중 제2그룹의 픽셀들의 정보를 기초로, 상기 제2학습이미지(x+n)(900)를 다운샘플링 함으로써 레이블 이미지(x+n₂)(904)를 생성할 수 있다. 상기 레이블 이미지(x+n₂)(904)는 예컨대 상기 제2그룹의 픽셀들의 대푯값(ex: 평균값)으로 이루어질 수도 있다. And by downsampling the second learning image (x+n) (900) based on information on the second group of pixels among the four adjacent pixels of the second learning image (x+n) (900). A label image (x+n ₂ ) (904) can be created. The label image (x+n ₂ ) 904 may be, for example, a representative value (ex: average value) of the pixels of the second group.

이때, 상기 제2학습이미지(x+n)(900)의 크기는 N1 * N1이며, 상기 X-ray 이미지(x+n₁)(905) 및 상기 레이블 이미지(x+n₂)(904)의 크기는 각각 {N1}/2 * {N1}/2일 수 있다.At this time, the size of the second learning image (x+n) (900) is N1 * N1, and the X-ray image (x+n ₁ ) (905) and the label image (x+n ₂ ) (904) The size of may be {N1}/2 * {N1}/2, respectively.

도 27은 도 26에서 준비된 학습용 데이터를 이용하여 디노이징 네트워크를 학습하는 방법을 나타낸 개념도이다. Figure 27 is a conceptual diagram showing a method of learning a denoising network using the training data prepared in Figure 26.

도 27의 제2네트워크(112)는 지도학습될 수 있다. 제2네트워크(112)는 도 22와 같이 N1 * N1 크기의 입력데이터로부터 N1 * N1 크기의 출력데이터를 생성하는 것일 수 있다. The second network 112 in FIG. 27 can be supervised learning. The second network 112 may generate output data of size N1 * N1 from input data of size N1 * N1, as shown in FIG. 22.

학습용 입력 데이터는 노이즈가 포함된 학습용 X-ray 이미지(x+n₁)(905)이며, 상기 X-ray 이미지(x+n₁)(905)에 대응하는 지도학습용 레이블은 레이블 이미지(x+n₂)(904)이다. 상기 제2네트워크(112)는 학습용 X-ray 이미지(x+n₁)(905)로부터 후처리 이미지(f_θ(x+n₁))(903)를 생성할 수 있다. The input data for learning is a learning X-ray image (x+n ₁ ) (905) containing noise, and the label for supervised learning corresponding to the X-ray image (x+n ₁ ) (905) is a label image (x+ n ₂ )(904). The second network 112 may generate a post-processed image (f _θ (x+n ₁ )) 903 from the learning X-ray image (x+n ₁ ) 905.

상기 제2네트워크(112)를 구성하는 파라미터 θ는 상기 [수식 1]과 같이 정의되는 손실함수 L (=loss)을 최소화하도록 최적화될 수 있다. The parameter θ constituting the second network 112 can be optimized to minimize the loss function L (= loss ) defined as [Equation 1] above.

서로 다른 복수 개의 학습용 X-ray 이미지(x+n₁)(905)들 및 이에 대응하는 서로 다른 복수 개의 레이블 이미지(x+n₂)(904)들을 이용하여 상기 지도학습을 반복함으로써 상기 제2네트워크(112)의 학습 상태를 향상시킬 수 있다. By repeating the supervised learning using a plurality of different learning X-ray images (x+n ₁ ) 905 and a plurality of different label images (x+n ₂ ) 904 corresponding thereto, the second The learning state of the network 112 can be improved.

여기서, 상기 X-ray 이미지(x+n₁)(905) 및 상기 레이블 이미지(x+n₂)(904)의 크기는 각각 {N1}/2 * {N1}/2 이므로 상기 제2네트워크(112)는 {N1}/2 * {N1}/2 크기의 이미지들을 기반으로 학습된 것이다. Here, the sizes of the X-ray image (x+n ₁ ) 905 and the label image (x+n ₂ ) 904 are each {N1}/2 * {N1}/2, so the second network ( 112) was learned based on images of size {N1}/2 * {N1}/2.

부연하여 설명하면, 도 27의 방법으로 학습된 제2네트워크(112)는 도 25에 제시한 방법으로 노이즈를 제거하는 데에 이용되고, 도 23의 방법으로 학습된 제1네트워크(111)는 도 22에 제시한 방법으로 노이즈를 제거하는 데에 이용된다. 이때, 본 발명의 일 실시예인 도 22에 따른 노이즈 제거방법 및 비교 실시예인 도 25에 따른 노이즈 제거방법은 모두 디노이징 네트워크(111, 112)에 N1 * N1 크기의 X-ray 이미지를 입력한다. 이때, 본 발명의 일 실시예에 따라 학습된 상기 제1네트워크(111)는 N1 * N1 크기의 이미지들에 의해 학습된 것에 비해, 비교 실시예에 따라 학습된 상기 제2네트워크(112)는 {N1}/2 * {N1}/2 크기의 이미지들에 의해 학습된 것이기 때문에, 도 22의 방법이 도 25의 방법에 비하여 더 좋은 노이즈 제거 성능을 나타낸다.To explain further, the second network 112 learned by the method of FIG. 27 is used to remove noise by the method shown in FIG. 25, and the first network 111 learned by the method of FIG. 23 is used as shown in FIG. The method presented in Figure 22 is used to remove noise. At this time, the noise removal method according to FIG. 22, which is an embodiment of the present invention, and the noise removal method according to FIG. 25, which is a comparative example, both input X-ray images of size N1 * N1 to the denoising networks 111 and 112. At this time, the first network 111 learned according to an embodiment of the present invention was learned by images of size N1 * N1, while the second network 112 learned according to a comparative embodiment { Since it is learned from images of size N1}/2 * {N1}/2, the method of FIG. 22 shows better noise removal performance than the method of FIG. 25.

도 22에 제시한 네트워크(111) 및 도 25에 제시한 네트워크(112)는 각각, 그 입력과 출력에 사용되는 이미지의 크기에 상관없이 동작 가능한 것일 수 있으며, 또한, 출력 이미지의 사이즈가 입력 이미지의 사이즈와 동일하도록 설계된 네트워크일 수 있다.The network 111 shown in FIG. 22 and the network 112 shown in FIG. 25 may be operable regardless of the size of the image used for input and output, respectively, and the size of the output image may be different from the input image. It may be a network designed to be equal to the size of .

도 28은 본 발명의 일 실시예에 따라 제공되는 X-ray 이미지 전처리 방법의 순서도이다.Figure 28 is a flowchart of an X-ray image pre-processing method provided according to an embodiment of the present invention.

단계(S110)에서, X-ray 이미지(700)을 제1이미지(710)로 변환할 수 있다. In step S110, the X-ray image 700 may be converted into the first image 710.

단계(S120)에서, 제1네트워크(111)에 상기 제1이미지(710)를 입력하여 상기 제1네트워크(111)로부터 제2이미지(720)를 획득할 수 있다. In step S120, the first image 710 may be input to the first network 111 to obtain the second image 720 from the first network 111.

이때, 상기 X-ray 이미지(700)의 크기는 R0*C0 이고, 상기 제1이미지(710) 및 상기 제2이미지(720)의 크기는 모두 N1*N1 (단, R0 >= N1, C0 >= N1)일 수 있다. At this time, the size of the X-ray image 700 is R0*C0, and the sizes of the first image 710 and the second image 720 are both N1*N1 (where R0 >= N1, C0 = N1).

도 29는 본 발명의 일 실시예에 따라 제공되는 노이즈 제거용 네트워크의 학습방법을 나타낸 순서도이다.Figure 29 is a flowchart showing a method of learning a noise removal network provided according to an embodiment of the present invention.

단계(S210)에서, 한 세트의 학습용 X-ray 이미지들로부터 선택된 학습이미지(80)를 제1학습이미지(800)로 변환할 수 있다. In step S210, a learning image 80 selected from a set of learning X-ray images may be converted into a first learning image 800.

단계(S220)에서, 상기 제1학습이미지(800)를 다운샘플링하여 제1서브이미지(805)를 생성할 수 있다. In step S220, the first sub-image 805 can be generated by downsampling the first learning image 800.

단계(S230)에서, 상기 제1학습이미지(800)를 다운샘플링하여 제2서브이미지(804)를 생성할 수 있다. In step S230, the first learning image 800 may be downsampled to generate a second sub-image 804.

단계(S240)에서, 상기 제1네트워크(111)가 상기 제1서브이미지(805)를 변환한 출력이미지(803)와 상기 제2서브이미지(804) 간의 오차를 감소시키도록 상기 제1네트워크(111)를 지도학습할 수 있다.In step S240, the first network 111 uses the first network (111) to reduce the error between the output image 803 converted from the first sub-image 805 and the second sub-image 804. 111) can be supervised.

이때, 상기 제1학습이미지(800)의 크기는 N2*N2 이고, 상기 제1서브이미지(805), 상기 출력이미지(803), 및 상기 제2서브이미지(804)의 크기는 모두 N1*N1 (단, N2=2*N1)일 수 있다.At this time, the size of the first learning image 800 is N2*N2, and the sizes of the first sub-image 805, the output image 803, and the second sub-image 804 are all N1*N1. (However, N2=2*N1).

도 28 및 도 29, 그리고 이와 관련하여 본 명세서에서 설명한 X-ray 이미지 전처리 방법을 X2X 노이즈 제거방법이라고 지칭할 수도 있다.28 and 29, and the X-ray image preprocessing method described herein in relation thereto, may be referred to as the X2X noise removal method.

도 17을 다시 참조하여 설명하면, 상기 비휘발성 기록매체(2)는, 상기 단계(S110)를 실행하는 제1명령코드, 및 상기 단계(S120)를 실행하는 제2명령코드를 포함하는 프로그램을 저장하고 있을 수 있다.Referring again to FIG. 17, the non-volatile recording medium 2 includes a program including a first command code for executing the step (S110) and a second command code for executing the step (S120). You may be saving it.

상기 처리부(4)는, 상기 장치 인터페이스부(3)를 통해, 상기 제1명령코드 및 상기 제2명령코드를 읽어서 실행함으로써 상기 제2이미지를 획득하도록 되어 있을 수 있다. The processing unit 4 may be configured to obtain the second image by reading and executing the first command code and the second command code through the device interface unit 3.

상기 프로그램은, 상기 단계(S210), 상기 단계(S220), 상기 단계(S230), 및 상기 단계(S240)를 실행하는 학습명령코드를 더 포함하고 있을 수 있다. The program may further include a learning command code for executing the steps S210, S220, S230, and S240.

그리고 상기 처리부(4)는, 상기 장치 인터페이스부(3)를 통해, 상기 학습명령코드를 읽어서 실행함으로써 상기 제1네트워크를 학습시키도록 되어 있을 수 있다.And the processing unit 4 may be configured to learn the first network by reading and executing the learning command code through the device interface unit 3.

<본 발명의 테스트 사례><Test case of the present invention>

X2X에서 훈련을 위한 각 CXR은 크기가 조정되었고(예: 512 x 512), 독립적인 노이즈가 있는 동일한 크기(예: 256 x 256)의 4개의 CXR(c₁, c₂, c₃, c₄)로 다운샘플링되었다. 그 중 두 쌍의 CXR가 무작위로 선택되었고, 평균화되었고, 학습을 위한 입력데이터( ex: 도 21의 605) 및 레이블(ex: 도 21의 604)로 활용되었다(예: 입력의 경우 c₁/2 + c₄/2, 레이블의 경우 c₂/2 + c₃/2). 이러한 입력 및 레이블 CXR들을 사용하여 잡음 대 잡음 알고리즘(도 20 참고)을 사용하여 잡음제거 네트워크(111)를 훈련했다. 따라서 학습에 깨끗한 CXR(즉, 노이즈 없는 CXR)을 준비할 필요가 없다. 테스트에서 4개의 다운샘플링된 CXR을 평균화하여 잡음제거 네트워크에 공급했다.In X2X, each CXR _for _training was resized (e.g. _, ₅₁₂ ) was downsampled. Among them, two pairs of CXRs were randomly selected, averaged, and used as input data (ex: 605 in Figure 21) and labels (ex: 604 in Figure 21) for learning (e.g., for input, c ₁ / 2 + c ₄ /2, c ₂ /2 + c ₃ /2 for labels). These input and label CXRs were used to train a denoising network 111 using a noise-to-noise algorithm (see Figure 20). Therefore, there is no need to prepare clean CXR (i.e., noise-free CXR) for training. In the test, four downsampled CXRs were averaged and fed to the denoising network.

실험에서 먼저 X2X 및 다른 자체 지도 방법들(Noise2Void(N2V), Noise2Same(N2S) 및 Neighbor2Neighbor(Ne2Ne))을 사용하여 공개적으로 사용 가능한 CXR 데이터 세트(VinBigData의 10,000개의 CXR들, 교육용으로 9,000개의 CXR들을 사용하고 그리고 평가용으로 1,000개의 CXR들을 사용)에 대해 노이즈 제거를 수행했다. 또한, 합성 가우시안 노이즈가 데이터 세트에 추가되었고, 노이즈 제거 성능(즉, PSNR)은 X2X 및 기타 노이즈 제거 방법(지도: Noise2Clean(N2CL) 및 자체 지도 방법)을 사용하여 측정되었다. 둘째, CXR 훈련 및 테스트에 X2X를 적용하기 전과 후에, CXR 이상 분류(abnormality classification)를 위해 두 개의 심층 신경망을 훈련했고, 분류 성능(즉, AUC, 민감도, 특이성)을 측정했다. 여기서 상기 이상(abnormality)은 통합(consolidation), ground-glass 불투명도, 결절 또는 질량 등을 포함한 이상이다. 그리고 상기 CXR들은 VigBigData의 잡음제어 데이터 세트로부터 얻은 서로 다른 5,000개의 CXR들이며, 이 중 4,500개는 학습용 데이터이고, 500개는 평가용 데이터이다.In our experiments, we first used and performed noise removal on 1,000 CXRs for evaluation. Additionally, synthetic Gaussian noise was added to the dataset, and the denoising performance (i.e. PSNR) was measured using X2X and other denoising methods (supervised Noise2Clean (N2CL) and self-supervised methods). Second, before and after applying X2X to CXR training and testing, we trained two deep neural networks for CXR abnormality classification and measured the classification performance (i.e. AUC, sensitivity, specificity). Here, the abnormality is an abnormality including consolidation, ground-glass opacity, nodule, or mass. And the CXRs are 5,000 different CXRs obtained from VigBigData's noise control data set, of which 4,500 are training data and 500 are evaluation data.

CXR 데이터 세트를 노이즈 제거한 후, X2X는 구조 종속 신호(structure-dependent signal)를 거의 또는 전혀 표시하지 않고, 이미지를 성공적으로 개선하였다. 합성 노이즈 실험에서, X2X의 평균 PSNR(55.05 ㅁ 3.75)은 다른 자체 감독(self-supervised) 방법(N2V: 46.64 ㅁ 4.65, p < 0.001; N2S: 47.06 ㅁ 5.01, p < 0.001, 및 Ne2Ne: 51.63 ㅁ 4.19, p < 0.001)의 평균 PSNR을 능가했고, 감독된 방법(supervised method)(N2CL: 55.95 ㅁ 3.88)의 결과와 유사한 결과를 보였다. 또한 X2X를 이용하여 노이즈를 제거한 후에 이상 분류 성능이 향상되었다 (AUC: from 0.9637 (95%CI: 0.9627 - 0.9647) to 0.9741 (0.9632 - 0.9650), p < 0.001; sensitivity: from 0.9637 (95%CI: 0.9627 - 0.9647) to 0.9741 (0.9632 - 0.9650), p < 0.001; specificity: from 0.9637 (95%CI: 0.9627 - 0.9647) to 0.9741 (0.9632 - 0.9650), p < 0.001). After denoising the CXR data set, X2X successfully enhanced the images, showing little or no structure-dependent signal. In synthetic noise experiments, the average PSNR of It surpassed the average PSNR of 4.19, p < 0.001) and showed similar results to the results of the supervised method (N2CL: 55.95 ㅁ 3.88). Additionally , anomaly classification performance improved after noise was removed using 0.9627 - 0.9647) to 0.9741 (0.9632 - 0.9650), p <0.001; specificity: from 0.9637 (95%CI: 0.9627 - 0.9647) to 0.9741 (0.9632 - 0.9650), p < 0.001).

이 테스트 사례에서, CXR 이상 분류를 위한 새로운 self-supervised denoising 방법이 CXR의 PSNR을 향상시킬 뿐만 아니라 분류 성능도 향상되었음을 확인할 수 있다.In this test case, it can be seen that the new self-supervised denoising method for CXR anomaly classification not only improves the PSNR of CXR, but also improves classification performance.

상술한 본 발명의 실시예들을 이용하여, 본 발명의 기술 분야에 속하는 자들은 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에 다양한 변경 및 수정을 용이하게 실시할 수 있을 것이다. 특허청구범위의 각 청구항의 내용은 본 명세서를 통해 이해할 수 있는 범위 내에서 인용관계가 없는 다른 청구항에 결합될 수 있다.By using the above-described embodiments of the present invention, those in the technical field of the present invention will be able to easily make various changes and modifications without departing from the essential characteristics of the present invention. The contents of each claim in the patent claims can be combined with other claims without reference within the scope that can be understood through this specification.

Claims

The second X-ray image 704 including the lung area is input to the network 500, and the second ) generating; and
generating a corrected X-ray image (706 or 708) by stretching a histogram of the brightness of a plurality of pixels constituting the lung region of the second X-ray image based on the lung region image;
Includes,
The network is,
Projecting first CT scan information obtained by CT scanning a first scan object in one direction to generate a simulated X-ray image;
Extracting an air area from the first CT scan information;
generating a simulated ground truth image by projecting only the air area among the first CT scan information in the one direction; and
When the simulated X-ray image is input to the network including a neural network, the pixels corresponding to the air area in the simulated ground truth image have a first value, and the Pixels corresponding to the remaining areas excluding the air area use the simulated learning the network
Learned by a supervised learning method including,
Method for enhancing contrast of lung area in X-ray images.

According to paragraph 1,
The step of generating the corrected X-ray image is,
generating a first histogram 204 indicating the frequency of a value representing the brightness of the pixel for each of the plurality of pixels constituting the second X-ray image 704;
When each pixel of the second X-ray image corresponds to each pixel of the lung area image 705, the second 2. Generating a histogram 204a;
determining a fifth value (v5) of the darkest pixel among the pixels of the portion;
The determined fifth value among the values of the first histogram is mapped to the minimum value ('0', black) among the values representing the brightness of the pixel, and corresponds to the fifth range (r5) between the minimum value and the fifth value. mapping the value of each pixel to the minimum value;
linearly mapping values between a sixth value (v6) of the brightest pixel among the values of the first histogram and the fifth value to values between the sixth value (v6) and the minimum value; and
generating the corrected X-ray image 706 having a mapped value for each of a plurality of pixels of the second X-ray image;
Including,
Method for enhancing contrast of lung area in X-ray images.

The method of claim 1, between generating the lung region image and generating the corrected X-ray image,
When each pixel of the second X-ray image 704 corresponds to each pixel of the lung area image 705, only the portion 704a corresponding to the lung area of the second Further comprising generating a cropped second lung region image (707),
The step of generating the corrected X-ray image 708 is a step of generating the corrected ,
The step of generating the corrected X-ray image is,
generating the third histogram 207 for pixels of the second lung area image;
determining a fifth value (v5) of the darkest pixel among pixels of the second lung area image;
mapping the determined fifth value among the values of the third histogram to the minimum value ('0', black) among the values representing the brightness of the pixel;
linearly mapping values between the seventh value (v7) of the brightest pixel among the values of the third histogram and the fifth value to values between the seventh value and the minimum value; and
generating the corrected X-ray image having a mapped value for each pixel of the second lung region image;
Including,
Method for enhancing contrast of lung area in X-ray images.

According to paragraph 1,
The second X-ray image is created by stretching the histogram of the first X-ray image output by the X-ray imaging device, or
The second X-ray image is an image output by an X-ray imaging device,
Method for enhancing contrast of lung area in X-ray images.

The method of claim 4, wherein the step of generating the second X-ray image by stretching the histogram of the first X-ray image comprises:
generating a histogram representing the frequency of a value representing the brightness of the pixel for each of a plurality of pixels constituting the first X-ray image;
Mapping a second value, which is a boundary value of a first range (r1) predetermined based on the first value of the brightest pixel among the plurality of pixels of the first X-ray image, to the maximum value among values representing the brightness of the pixel. and mapping the value of each pixel corresponding to the first range to the maximum value;
The fourth value, which is the boundary value of the second range (r2), predetermined based on the third value of the darkest pixel among the plurality of pixels constituting the first X-ray image, is set to the minimum value among the values representing the brightness of the pixel. mapping and mapping the value of each pixel corresponding to the second range to the minimum value; and
Among the plurality of pixels constituting the first linearly mapping to values;
Including,
Method for enhancing contrast of lung area in X-ray images.

A device interface unit capable of reading a computer-readable non-volatile recording medium; and a processing unit;
The non-volatile recording medium allows the processing unit to:
A method for executing a step of inputting a second 12command code,
A 13th command code for executing a step of correcting the brightness of a plurality of pixels constituting the lung area of the second X-ray image based on the lung area information, and
A closed region learning command code for learning the network by a predetermined supervised learning method,
Stores a program containing
The lung area information is a lung area image 705 divided into the lung area 705a and the lung outer area 705b in the second X-ray image,
The prescribed supervised learning method is,
Projecting first CT scan information obtained by CT scanning a first scan object in one direction to generate a simulated X-ray image;
Extracting an air area from the first CT scan information;
generating a simulated ground truth image by projecting only the air area among the first CT scan information in the one direction; and
When the simulated X-ray image is input to the network including a neural network, the pixels corresponding to the air area in the simulated ground truth image have a first value, and the Pixels corresponding to the remaining areas excluding the air area use the simulated learning the network;
Includes,
The processing unit is configured to generate the corrected X-ray image by reading and executing the twelfth command code and the thirteenth command code through the device interface unit, and to read and execute the closed region learning command code designed to train the network,
A device that enhances the contrast of the lung area in X-ray images.

According to clause 6,
The step of correcting the brightness is,
determining a fifth brightness value (v5) of the darkest first pixel among pixels in the lung area in the second X-ray image; and
stretching the histogram of the image of the lung area so that the brightness value of the first pixel has a first minimum brightness value that is darker than the fifth brightness value;
Including,
A device that enhances the contrast of the lung area in X-ray images.

The method of claim 6, wherein the step of correcting the brightness includes correcting the brightness of a plurality of pixels constituting an area other than the lung area in the second X-ray image based on the lung area information. , a device for enhancing the contrast of the lung area in X-ray images.

According to clause 6,
The second X-ray image is created by stretching the histogram of the first X-ray image output by the X-ray imaging device, or
The second X-ray image is an image output by an X-ray imaging device,
A device that enhances the contrast of the lung area in X-ray images.

A device interface unit capable of reading a computer-readable non-volatile recording medium; and a processing unit;
The non-volatile recording medium allows the processing unit to:
A method for executing a step of inputting a second 12 command codes, and
A 13th command code for executing a step of correcting the brightness of a plurality of pixels constituting the lung area of the second X-ray image based on the lung area information
Stores a program containing
The processing unit is configured to generate the corrected X-ray image by reading and executing the 12th command code and the 13th command code through the device interface unit,
The lung area information is a lung area image 705 divided into the lung area 705a and the lung outer area 705b in the second X-ray image,
The network is learned by a second computing device,
The second computing device is,
Projecting first CT scan information obtained by CT scanning a first scan object in one direction to generate a simulated X-ray image;
Extracting an air area from the first CT scan information;
generating a simulated ground truth image by projecting only the air area among the first CT scan information in the one direction; and
When the simulated X-ray image is input to the network including a neural network, the pixels corresponding to the air area in the simulated ground truth image have a first value, and the Pixels corresponding to the remaining areas excluding the air area use the simulated learning the network
which is intended to execute,
A device that enhances the contrast of the lung area in X-ray images.