KR20190121954A

KR20190121954A - Device for forming image in photoacoustic system and method thereof

Info

Publication number: KR20190121954A
Application number: KR1020180045441A
Authority: KR
Inventors: 공재성; 최해룡; 손정우
Original assignee: 재단법인 대구경북첨단의료산업진흥재단
Priority date: 2018-04-19
Filing date: 2018-04-19
Publication date: 2019-10-29
Also published as: KR102074187B1

Abstract

Provided are an image generating apparatus of a photoacoustic system and a method thereof. According to an embodiment of the present invention, the image generating apparatus of a photoacoustic system comprises: an effective signal extraction unit extracting an effective signal from an ultrasonic original signal obtained from the photoacoustic system; a noise removing unit removing high frequency noise by performing an arithmetic mean of the effective signal for each predetermined partial region R; an absolute value calculation unit calculating absolute values of the noise-removed ultrasonic signal; a maximum value detection unit detecting a maximum value from the calculated absolute values; and a pixel value conversion unit generating an image by converting the detected maximum value into pixel values of the corresponding pixel.

Description

Image generating apparatus and method thereof for photoacoustic system

본 발명은 광음향 시스템의 영상 생성에 관한 것으로, 특히, 광음향 시스템으로부터 획득된 초음파 신호로부터 영상을 생성하는 광음향 시스템의 영상 생성 장치에 관한 것이다. The present invention relates to image generation of an optoacoustic system, and more particularly, to an image generating apparatus of an optoacoustic system for generating an image from an ultrasonic signal obtained from an optoacoustic system.

광음향 효과(photoacoustic effect)란 빛이나 라디오파와 같은 전자기파 에너지를 흡수한 물질이 열팽창 함으로써 초음파를 발생시키는 현상이다. The photoacoustic effect is a phenomenon in which an ultrasonic wave is generated by thermal expansion of a material that absorbs electromagnetic energy such as light or radio waves.

레이저 광 기반의 영상장치에서 가장 문제가 되는 부분은 깊이 볼 수 없다는 것이다. 즉, 분해능은 뛰어나지만 1mm 보다 깊은 위치의 정보를 얻기는 어렵다. 이러한 근본적인 문제점을 해결해 줄 수 있는 영상 장치가 광음향이라고 할 수 있다. 광학진단장치는 침투 영상 깊이가 1mm 정도가 최대이고, 생체 깊숙이 들어갈수록 빛의 흡수와 산란에 의하여 깊이 정보를 얻는데 한계를 가진다. 반면에 광음향 기술은 1cm 이상의 깊이 정보에 따른 영상을 제공하는 것이 가능하다. The most problematic part of the laser-based imaging device is that it cannot be seen deep. That is, although the resolution is excellent, it is difficult to obtain information of a position deeper than 1 mm. An optical device that can solve this fundamental problem may be referred to as photoacoustic. The optical diagnostic apparatus has a maximum penetration depth of about 1 mm and has a limitation in obtaining depth information by absorbing and scattering light as it enters the body. On the other hand, the photoacoustic technology can provide an image according to depth information of 1 cm or more.

또한 비전리(nonionizing) 효과로 인체에 무해하므로 유방암 조기진단이나 뇌혈관 영상 등 그 활용도가 높다.In addition, since the nonionizing effect is harmless to the human body, it is widely used for early diagnosis of breast cancer or cerebrovascular imaging.

이와 같이 광음향 영상은 기존 광학 혹은 초음파 영상과 차별적인 물리적 특성에 기반하여 암 진단, 산소포화도 등 다양한 응용분야에서 상용화 개발이 진행되고 있다. As described above, photoacoustic images are commercially developed in various applications such as cancer diagnosis and oxygen saturation based on physical characteristics that are different from conventional optical or ultrasonic images.

그러나 종래의 광음향 영상은 광음향 효과에 따라 발생하는 초음파 신호가 조사 대상 및 광의 투과 등의 물리적 특성에 따라 신호 대 잡음비가 낮으므로 영상의 선명도를 개선하기 위한 방안이 요구되고 있다. However, the conventional photoacoustic image has a low signal-to-noise ratio according to the physical characteristics such as the object to be irradiated and the transmission of light of the ultrasonic signal generated according to the photoacoustic effect is required to improve the sharpness of the image.

KRKR 2017-00933792017-0093379 AA

상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명의 일 실시예는 광음향 효과에 의해 발생하는 초음파 신호로부터 고주파 잡음을 제거하여 영상 선명도를 개선할 수 있는 광음향 시스템의 영상 생성 장치 및 그 방법을 제공하고자 한다.In order to solve the above problems of the prior art, an embodiment of the present invention is an image generating apparatus of an optoacoustic system that can improve the image clarity by removing high frequency noise from the ultrasonic signal generated by the optoacoustic effect and its To provide a method.

위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 광음향 시스템으로부터 획득된 초음파 원신호로부터 유효신호를 추출하는 유효신호 추출부; 상기 유효신호를 미리 결정된 부분 영역(R)별로 산술평균을 수행하여 고주파 잡음을 제거하는 잡음 제거부; 상기 잡음 제거된 초음파 신호의 절대값을 산출하는 절대값 산출부; 상기 산출된 절대값 중에서 최대값을 검출하는 최대값 검출부; 및 상기 검출된 최대값을 해당 화소의 화소값으로 변환하여 영상을 생성하는 화소값 변환부;를 포함하는 광음향 시스템의 영상 생성 장치가 제공된다. According to an aspect of the present invention for solving the above problems, an effective signal extraction unit for extracting a valid signal from the ultrasonic original signal obtained from the optoacoustic system; A noise removing unit which removes high frequency noise by performing an arithmetic average of the valid signal for each predetermined partial region R; An absolute value calculator for calculating an absolute value of the noise-free ultrasonic signal; A maximum value detector for detecting a maximum value among the calculated absolute values; And a pixel value converter configured to convert the detected maximum value into pixel values of the corresponding pixel to generate an image.

일 실시예에서, 상기 유효신호 추출부는 동일 깊이에서 획득된 초음파 원신호들을 합산한 결과에 대해서 깊이 방향으로 크기가 큰 초기 구간을 검출하여 제외하고 나머지 구간에 대응하는 초음파 원신호들을 유효신호로 추출할 수 있다..In one embodiment, the effective signal extractor extracts the ultrasonic source signals corresponding to the remaining sections as valid signals except for detecting and removing an initial section having a large size in the depth direction with respect to the result of summing the ultrasonic original signals acquired at the same depth. can do..

일 실시예에서, 상기 잡음 제거부는 상기 초음파 원신호의 깊이 방향에 대하여 최하위 영역으로부터 미리 결정된 부분 영역(R)에 대하여 산술평균을 수행하되, 스텝(S)으로 상기 유효신호에 대한 산술평균을 순차적으로 반복 수행할 수 있다.In one embodiment, the noise canceller performs an arithmetic mean on the predetermined partial region R from the lowest region with respect to the depth direction of the ultrasonic source signal, and sequentially performs the arithmetic mean on the valid signal in step S. Can be repeated.

일 실시예에서, 상기 부분 영역(R)은 부분 영역(R)의 크기의 증가에 따라 균일한 화소값을 갖는 테스트 영상에 대하여 연산된 잡음량 및 일정한 패턴을 갖는 테스트 영상에 대해서 손실되는 정보량이 가장 작은 값을 기준으로 결정될 수 있다.In an exemplary embodiment, the partial region R may include a noise amount calculated for a test image having a uniform pixel value and an amount of information lost for a test image having a constant pattern as the size of the partial region R increases. It can be determined based on the smallest value.

일 실시예에서, 상기 스텝(S)은 상기 부분 영역(R)의 크기가 고정된 상태에서, 스텝(S)의 크기의 증가에 따라 생성된 영상에서 정보가 손실되지 않는 가장 작은 값으로 결정될 수 있다.In one embodiment, the step S may be determined to be the smallest value at which information is not lost in the generated image according to the increase in the size of the step S while the size of the partial region R is fixed. have.

일 실시예에서, 상기 화소값 변환부는 상기 검출된 최대값을 해당 화소에 대한 기준값으로 하고, 전체 화소에 대한 상기 기준값 중 최대값을 화소값의 최대값으로 하여 상기 기준값을 스케일링할 수 있다.In example embodiments, the pixel value converter may scale the reference value by using the detected maximum value as a reference value for the corresponding pixel and using a maximum value of the reference values for all pixels as the maximum value of the pixel value.

일 실시예에서, 상기 광음향 시스템의 영상 생성 장치는 상기 잡음 제거된 초음파 신호의 위상을 변환하는 위상 변환부; 및 상기 잡음 제거된 초음파 신호의 절대값과 상기 위상 변환된 신호의 절대값을 합산하는 합산부;를 더 포함할 수 있다. 여기서, 상기 절대값 산출부는 상기 위상 변환된 신호의 절대값을 산출할 수 있다.In one embodiment, the image generating device of the optoacoustic system includes a phase converter for converting the phase of the noise-free ultrasonic signal; And a summing unit configured to add an absolute value of the noise-removed ultrasonic signal and an absolute value of the phase-converted signal. Here, the absolute value calculator may calculate an absolute value of the phase-converted signal.

본 발명의 다른 측면에 따르면, 광음향 시스템으로부터 초음파 원신호를 획득하는 단계; 상기 획득된 초음파 원신호로부터 유효신호를 추출하는 단계; 상기 유효신호를 미리 결정된 부분 영역(R)별로 산술평균을 수행하여 고주파 잡음을 제거하는 단계; 상기 잡음 제거된 초음파 신호의 절대값을 산출하는 단계; 상기 산출된 절대값 중에서 최대값을 검출하는 단계; 및 상기 검출된 최대값을 해당 화소의 화소값으로 변환하여 영상을 생성하는 단계;를 포함하는 광음향 시스템의 영상 생성 방법이 제공된다.According to another aspect of the invention, the step of acquiring the ultrasonic source signal from the optoacoustic system; Extracting a valid signal from the obtained ultrasonic original signal; Removing a high frequency noise by performing an arithmetic mean of the valid signal for each predetermined partial region (R); Calculating an absolute value of the noise canceled ultrasonic signal; Detecting a maximum value among the calculated absolute values; And generating an image by converting the detected maximum value into a pixel value of a corresponding pixel.

일 실시예에서, 상기 유효신호를 추출하는 단계는 동일 깊이에서 획득된 초음파 원신호들을 합산한 결과에 대해서 깊이 방향으로 크기가 큰 초기 구간을 검출하여 제외하고 나머지 구간에 대응하는 초음파 원신호들을 상기 유효신호로 추출할 수 있다.In an embodiment, the extracting of the valid signal may include detecting and removing an initial section having a large size in the depth direction with respect to a result of summing the ultrasonic original signals acquired at the same depth. Can be extracted as a valid signal.

일 실시예에서, 상기 잡음을 제거하는 단계는 상기 초음파 원신호의 깊이 방향에 대하여 최하위 영역으로부터 미리 결정된 부분 영역(R)에 대하여 산술평균을 수행하되, 스텝(S)으로 상기 유효신호에 대한 산술평균을 순차적으로 반복 수행할 수 있다.In an embodiment, the removing of the noise may be performed by performing an arithmetic mean on the predetermined partial region R from the lowest region with respect to the depth direction of the ultrasonic source signal, and performing the arithmetic operation on the valid signal in step S. The average can be repeated sequentially.

일 실시예에서, 상기 부분 영역(R)은 부분 영역(R)의 크기의 증가에 따라 균일한 화소값을 갖는 테스트 영상에 대하여 연산된 잡음량 및 일정한 패턴을 갖는 테스트 영상에 대해서 손실되는 정보량이 가장 작은 값으로 결정될 수 있다.In an exemplary embodiment, the partial region R may include a noise amount calculated for a test image having a uniform pixel value and an amount of information lost for a test image having a constant pattern as the size of the partial region R increases. The smallest value can be determined.

일 실시예에서, 상기 스텝(S)은 상기 부분 영역(R)의 크기가 고정된 상태에서, 스텝(S)의 크기의 증가에 따라 정보가 손실되지 않는 가장 작은 값으로 결정될 수 있다.In one embodiment, the step S may be determined to be the smallest value at which information is not lost as the size of the step S is increased while the size of the partial region R is fixed.

일 실시예에서, 상기 영상을 생성하는 단계는 상기 검출된 최대값을 해당 화소에 대한 기준값으로 하고, 전체 화소에 대한 상기 기준값 중 최대값을 화소값의 최대값으로 하여 상기 기준값을 스케일링할 수 있다.The generating of the image may be performed by scaling the reference value by using the detected maximum value as a reference value for the corresponding pixel and using the maximum value of the reference values for all pixels as the maximum value of the pixel value. .

일 실시예에서, 상기 광음향 시스템의 영상 생성 방법은 상기 잡음 제거된 초음파 신호의 위상을 변환하는 단계; 및 상기 잡음 제거된 초음파 신호의 절대값과 상기 위상 변환된 신호의 절대값을 합산하는 단계;를 더 포함할 수 있다. 여기서, 상기 절대값을 산출하는 단계는 상기 위상 변환된 신호의 절대값을 산출할 수 있다. In an embodiment, the method of generating an image of the optoacoustic system may include converting a phase of the noise canceled ultrasound signal; And summing an absolute value of the noise canceled ultrasound signal and an absolute value of the phase-shifted signal. In the calculating of the absolute value, the absolute value of the phase-converted signal may be calculated.

본 발명의 일 실시예에 따른 광음향 시스템의 영상 생성 장치 및 그 방법은 광음향 시스템으로부터 획득된 초음파 신호를 부분 영역에 따라 산술평균을 수행함으로써 고주파 잡음을 제거할 수 있으므로 영상의 정보 손실을 최소화하면서도 영상의 선명도를 개선하여 영상의 가독성을 향상시킬 수 있다. The image generating apparatus and method of the photoacoustic system according to an embodiment of the present invention can remove high frequency noise by performing an arithmetic mean of the ultrasonic signal obtained from the photoacoustic system according to a partial region, thereby minimizing information loss of the image. At the same time, it is possible to improve the readability by improving the sharpness of the image.

또한 본 발명은 순차적으로 발생하는 화소별 초음파 신호에 대하여 잡음 제거 처리를 수행함으로써 전체 영상 정보가 필요없이 실시간으로 저잡음 고선명 영상을 생성할 수 있다. In addition, the present invention can generate a low-noise high-definition image in real time without the need for the entire image information by performing a noise removal process for the ultrasonic signal for each pixel sequentially generated.

또한 본 발명은 산술평균을 위한 스텝을 영상의 정보 손실을 최소화하도록 결정함으로써, 연산량을 감소시켜 전체 연산 효율을 향상시키므로 처리 속도를 감소시킬 수 있다. In addition, the present invention can determine the step for the arithmetic mean to minimize the information loss of the image, thereby reducing the amount of calculation to improve the overall operation efficiency can reduce the processing speed.

도 1은 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치를 도시한 블록도,
도 2는 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치에서 광음향 시스템으로부터 획득되는 초음파 신호의 특성을 설명하기 위한 도면,
도 3은 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치에서 유효신호의 추출을 설명하기 위한 도면,
도 4는 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치에서 고주파 잡음을 제거하는 원리를 설명하기 위한 도면,
도 5는 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치에서 산술평균을 위한 부분 영역의 크기의 증가에 따른 잡음량을 도시한 그래프,
도 6은 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치에서 부분 영역의 크기의 증가에 따라 생성되는 영상을 도시한 도면,
도 7은 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치에서 산술평균을 위한 스텝의 크기의 증가에 따라 생성되는 영상을 도시한 도면,
도 8은 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치에서 고주파 잡음의 제거 전후의 영상을 도시한 도면,
도 9는 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 방법을 도시한 순서도, 그리고,
도 10은 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 방법에서 산술평균을 위한 부분영역을 결정하는 방법을 도시한 순서도이다.1 is a block diagram showing an image generating apparatus of an optoacoustic system according to an embodiment of the present invention;
2 is a view for explaining the characteristics of the ultrasonic signal obtained from the photoacoustic system in the image generating apparatus of the photoacoustic system according to an embodiment of the present invention;
3 is a view for explaining extraction of a valid signal in the image generating apparatus of the photoacoustic system according to an embodiment of the present invention;
4 is a view for explaining a principle of removing high frequency noise in the image generating apparatus of the photoacoustic system according to an embodiment of the present invention;
5 is a graph showing the amount of noise according to the increase in the size of the partial region for the arithmetic mean in the image generating apparatus of the optoacoustic system according to an embodiment of the present invention,
FIG. 6 is a view illustrating an image generated according to an increase in the size of a partial region in an image generating apparatus of an optoacoustic system according to an embodiment of the present invention; FIG.
FIG. 7 is a view illustrating an image generated according to an increase in the size of a step for an arithmetic mean in an image generating apparatus of an optoacoustic system according to an embodiment of the present invention; FIG.
8 is a view showing images before and after the removal of high frequency noise in the image generating apparatus of the optoacoustic system according to an embodiment of the present invention;
9 is a flowchart illustrating an image generating method of an optoacoustic system according to an exemplary embodiment of the present invention.
10 is a flowchart illustrating a method of determining a partial region for an arithmetic mean in the image generating method of the photoacoustic system according to an embodiment of the present invention.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like elements throughout the specification.

이하에서는 도면을 참조하여 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치를 보다 상세히 설명하도록 한다. 도 1은 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치를 도시한 블록도이고, 도 2는 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치에서 광음향 시스템으로부터 획득되는 초음파 신호의 특성을 설명하기 위한 도면이다. Hereinafter, an image generating apparatus of an optoacoustic system according to an exemplary embodiment of the present invention will be described in detail with reference to the accompanying drawings. 1 is a block diagram illustrating an image generating apparatus of an optoacoustic system according to an exemplary embodiment of the present invention, and FIG. 2 is an ultrasonic signal obtained from an optoacoustic system in an image generating apparatus of an optoacoustic system according to an exemplary embodiment of the present invention. It is a figure for demonstrating the characteristic.

도 1을 참조하면, 본 발명의 일 실시예에 따른 광음향 시스템의 영상 생성 장치(100)는 유효신호 추출부(110), 잡음 제거부(120), 절대값 산출부(130), 최대값 검출부(140), 및 화소값 변환부(150)를 포함한다. Referring to FIG. 1, an image generating apparatus 100 of an optoacoustic system according to an exemplary embodiment of the present invention may include a valid signal extractor 110, a noise remover 120, an absolute value calculator 130, and a maximum value. The detector 140 and the pixel value converter 150 are included.

광음향 시스템의 영상 생성 장치(100)는 광음향 시스템에서 획득되는 초음파 신호로부터 영상을 생성하기 위한 것으로서, 촬영 대상의 깊이 방향에 대하여 발생하는 초음파 신호가 각 화소에 대응하는 영상을 생성한다. The image generating apparatus 100 of the photoacoustic system is to generate an image from the ultrasonic signal obtained by the photoacoustic system, and generates an image corresponding to each pixel of the ultrasonic signal generated in the depth direction of the photographing target.

즉, 광음향 효과에 의해 발생된 초음파 신호는 영상을 이루는 각 화소에 대하여 1차원 배열로 나타낼 수 있다. 도 2에 도시된 바와 같이, 광음향 시스템에서 촬영 대상으로 조사된 광(I)에 대응하여 발생하는 초음파 신호는 촬영 대상의 깊이 방향에 대하여 획득된다. That is, the ultrasonic signals generated by the photoacoustic effect may be represented in a one-dimensional array for each pixel constituting the image. As shown in FIG. 2, the ultrasonic signal generated in response to the light I irradiated to the photographing target in the photoacoustic system is acquired with respect to the depth direction of the photographing target.

이때, 획득된 초음파는 샘플링 레이트에 따라 1차원 배열 형태로 나타낼 수 있다. 여기서 해당 화소에 대응하여 발생하는 초음파 신호는 광이 조사된 지점의 깊이 방향에 위치하는 물질(혈관, 세포핵 등)과 조사하는 광 파장에 대한 물질에 따른 흡수도 및 상기 물질이 위치하는 깊이에 따라서 다르게 발생한다. 즉, 해당 화소에 대한 초음파 신호를 통하여 물질의 종류 및 위치 정보를 알 수 있다. In this case, the obtained ultrasound may be represented in a one-dimensional array according to the sampling rate. In this case, the ultrasonic signal generated corresponding to the corresponding pixel is determined according to the material (blood vessel, cell nucleus, etc.) located in the depth direction of the point where light is irradiated, the absorbance according to the material for the light wavelength to be irradiated, and the depth where the material is located. It happens differently. That is, the type and location information of the material may be known through the ultrasonic signal for the pixel.

유효신호 추출부(110)는 광음향 시스템으로부터 획득된 초음파 원신호로부터 유효신호를 추출한다. 즉, 유효신호 추출부(110)는 1차원 배열의 초음파 신호에서 유의미한 신호 영역을 분리할 수 있다.The effective signal extractor 110 extracts the valid signal from the ultrasonic original signal obtained from the photoacoustic system. That is, the effective signal extractor 110 may separate a significant signal region from the ultrasonic signals of the one-dimensional array.

도 3은 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치에서 유효신호의 추출을 설명하기 위한 도면이다. 3 is a view for explaining the extraction of the effective signal in the image generating apparatus of the photoacoustic system according to an embodiment of the present invention.

유효신호 추출부(110)는 동일 깊이에서 획득된 초음파 원신호들을 합산한 결과에 대해서 깊이 방향으로 크기가 큰 초기 구간을 검출하여 제외하고 나머지 구간에 대응하는 초음파 원신호들을 상기 유효신호로 추출할 수 있다.The effective signal extracting unit 110 detects and excludes an initial section having a large size in the depth direction with respect to the result of summing the ultrasonic original signals acquired at the same depth, and extracts the ultrasonic original signals corresponding to the remaining sections as the valid signal. Can be.

여기서, 동일 깊이에서 획득된 초음파 원신호들을 합산한 결과 신호는 도 3에 도시된 바와 같이, 촬영 대상의 깊이 방향에 대하여 강한 잡음 신호를 일부 영역에 포함한다. 이는 광음향 시스템에서 조사 광경로 상에 존재하는 초음파 신호 전송을 위한 매질 및 촬영 대상의 표면 특성 효과에 의한 것일 수 있다. Here, as a result of summing the ultrasonic original signals acquired at the same depth, the signal includes a strong noise signal in a partial region with respect to the depth direction of the photographing object, as shown in FIG. 3. This may be due to the surface characteristics of the medium and the object to be photographed for the ultrasonic signal transmission on the irradiation optical path in the optoacoustic system.

즉, 초음파 원신호는 깊이 방향으로 촬영 대상의 표면으로부터 일정 구간 내에서 표면 반사 등에 의해 관찰하고자 하는 대상에서 얻어지는 신호보다 강한 잡음을 포함하므로 관찰하고자 하는 정보를 손실할 위험이 발생한다(도 3에서 점선 박스 영역). 이 구간은 광음향 시스템의 구성, 특히, 광원의 출력 반응 속도, 광 및 초음파의 경로 및 초음파 발생 영역과 초음파 센서간의 거리 등에 따라서 결정되는 것으로 일반적으로 시스템마다 일정한 값을 가지게 되며, 사전에 결정될 수 있다. 이때 이 구간은 영상의 전체 화소에 동일하게 적용될 수 있다. That is, since the ultrasonic original signal includes noise that is stronger than a signal obtained from an object to be observed by surface reflection or the like within a predetermined period from the surface of the object to be photographed in the depth direction, there is a risk of losing information to be observed (FIG. 3). Dotted box area). This section is determined by the configuration of the photoacoustic system, in particular, the output response speed of the light source, the path of light and ultrasonic waves, and the distance between the ultrasonic generating region and the ultrasonic sensor, and generally has a constant value for each system and can be determined in advance. have. In this case, this section may be equally applied to all pixels of the image.

이후 구간에서 발생하는 초음파 원신호는 광 에너지를 흡수한 조직에 의한 것이다. 따라서 유효신호 추출부(110)는 깊이 방향에 대하여 관찰하고자 하는 조직에 의한 광음향 효과가 아닌 매질 및 표면 효과 등의 비관심 영역에서 발생하는 신호를 제거하여 그 이후 구간의 신호를 유효신호로 추출할 수 있다.The ultrasonic original signal generated in the subsequent section is due to the tissue absorbing the light energy. Therefore, the effective signal extracting unit 110 removes signals generated in an uninterested region such as a medium and a surface effect instead of an optoacoustic effect caused by the tissue to be observed in the depth direction, and extracts a signal in the subsequent section as a valid signal. can do.

다시 도 1을 참조하면, 잡음 제거부(120)는 초음파 원신호로부터 추출된 유효신호를 산술평균을 수행하여 고주파 잡음을 제거한다. 여기서, 잡음 제거부(120)는 초음파 신호의 잡음 감소 및 정보 손실 정도를 고려하여 미리 결정된 부분 영역별로 추출된 유효신호의 산술평균을 수행한다. Referring back to FIG. 1, the noise removing unit 120 removes high frequency noise by performing an arithmetic mean on the effective signal extracted from the ultrasonic original signal. Here, the noise removing unit 120 performs an arithmetic average of the valid signals extracted for each predetermined partial region in consideration of noise reduction and information loss of the ultrasonic signal.

도 4는 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치에서 고주파 잡음을 제거하는 원리를 설명하기 위한 도면이다. 4 is a view for explaining the principle of removing high-frequency noise in the image generating apparatus of the photoacoustic system according to an embodiment of the present invention.

잡음 제거부(120)는 초음파 원신호의 깊이 방향에 대하여 미리 결정된 부분 영역(R)에 대하여 산술평균을 수행할 수 있다. 여기서, 도 4에 도시된 바와 같이, 광음향 시스템에서 최종적으로 얻어지는 영상은 일정한 폭(W)과 길이(L)을 갖는 해상도의 영상이며, 각 화소에 대한 초음파 원신호는 샘플링 레이트에 따라 H로 표시된 수만큼의 값을 가지는 배열로 표시될 수 있다. 이때, 영상의 화소값은 각 화소에 대한 초음파 원신호 중 절대값이 최대인 값으로 결정된다.The noise removing unit 120 may perform an arithmetic average on the partial region R predetermined in the depth direction of the ultrasonic original signal. Here, as shown in FIG. 4, the finally obtained image in the photoacoustic system is a resolution image having a constant width (W) and length (L), and the ultrasonic original signal for each pixel is H in accordance with the sampling rate. It can be displayed as an array with the indicated number of values. At this time, the pixel value of the image is determined to be the maximum value of the absolute value of the ultrasonic original signal for each pixel.

깊이 방향에 대하여 상측 영역(도 4에서 가장 상위 부분)은 상술한 바와 같은 유효신호 추출부(110)에 의해 제거된 부분이고, 나머지는 유효신호 추출부(110)에서 추출된 유효신호일 수 있다. 이때, 잡음 제거부(120)는 도 4에 도시된 바와 같이, 상술의 유효신호 추출부(110)에서 획득된 유효 신호의 깊이 방향에 대하여 최하위 영역(도 4에서 최하위 부분)으로부터 부분 영역(R)에 대하여 하기의 수학식 1과 같이 산술평균을 수행할 수 있다.The upper region (the uppermost portion in FIG. 4) in the depth direction may be a portion removed by the valid signal extracting unit 110 as described above, and the rest may be a valid signal extracted by the valid signal extracting unit 110. In this case, as illustrated in FIG. 4, the noise removing unit 120 may further include the partial region R from the lowest region (lowest portion in FIG. 4) with respect to the depth direction of the valid signal obtained by the valid signal extracting unit 110. ) Can be performed as shown in Equation 1 below.

여기서, a[k]는 유효신호 추출부에서 획득된 유효 신호, A[i]는 부분 영역(R)의 산술 평균값, R은 부분 영역의 범위값(정수), i는 샘플링된 초음파 신호의 인덱스, N은 유효신호의 수 이다. Where a [k] is a valid signal obtained by the valid signal extracting unit, A [i] is an arithmetic mean value of the partial region R, R is a range value (integer) of the partial region, and i is an index of the sampled ultrasonic signal. , N is the number of valid signals.

이와 같이, 잡음 제거부(120)는 부분 영역(R)에 대한 산술평균한 새로운 배열을 형성함으로써, 고주파 백색 잡음과 디지털 변환 오차 등에 의한 잡음을 제거한 신호의 형태로 재구성할 수 있다.As such, the noise removing unit 120 may form a new arithmetical-average array for the partial region R, thereby reconstructing the signal to remove noise caused by high frequency white noise and digital conversion error.

이때, 잡음 제거부(120)는 초음파 원신호의 깊이 방향에 대하여 정보 손실 정도를 기반하여 미리 결정된 스텝(S)으로 유효신호에 대한 산술평균을 순차적으로 반복 수행할 수 있다. 즉, 도 4에 도시된 바와 같이, 잡음 제거부(120)는 초음파 원신호의 깊이 방향에 대하여 최하위 영역으로부터 부분 영역(R)에 대하여 산술평균을 수행한 후, 스텝(S)만큼 상측에 배치되는 부분 영역(R)에 대하여 산술평균을 수행할 수 있다. 결과적으로, 스텝(S)의 크기가 1인 경우, 잡음 제거부(120)는 유효신호에 대하여 최하위에서 상측으로 하나씩 이동하면서 부분 영역(R)에 대한 산술평균을 N-R+1번 반복 수행할 수 있다.In this case, the noise removing unit 120 may sequentially repeat the arithmetic average of the valid signals in a predetermined step S based on the degree of information loss in the depth direction of the ultrasonic original signal. That is, as shown in FIG. 4, the noise removing unit 120 performs an arithmetic average from the lowest region to the partial region R in the depth direction of the ultrasonic original signal, and then places the upper portion by the step S. Arithmetic average may be performed on the partial region R to be obtained. As a result, when the size of the step S is 1, the noise removing unit 120 repeats the arithmetic mean for the partial region R by N-R + 1 times while moving from the lowest to the upper one with respect to the valid signal. can do.

이를 통해, 초음파 원신호로부터 고주파 잡음을 제거할 수 있으므로 영상의 정보 손실을 최소화하면서도 영상의 선명도를 개선하여 영상의 가독성을 향상시킬 수 있다. 아울러, 순차적으로 발생하는 화소별 초음파 신호에 대하여 잡음 제거 처리를 수행함으로써 전체 영상 정보가 필요없이 실시간으로 저잡음 고선명 영상을 생성할 수 있다. Through this, high-frequency noise can be removed from the ultrasonic original signal, thereby minimizing information loss of the image and improving the sharpness of the image, thereby improving the readability of the image. In addition, by performing the noise removing process on the sequentially generated ultrasonic signal for each pixel, it is possible to generate a low-noise high-definition image in real time without the need for the entire image information.

여기서, 초음파 신호의 산술평균을 위한 부분 영역(R)이 클수록 고주파 신호의 잡음을 제거하는 효율은 증가할 수 있다. 반면, 부분 영역(R)이 크면 초음파 신호에 대응하는 화소값에 왜곡이 발생하기 때문에 영상의 정보 손실을 초래할 수 있다. 따라서 부분 영역(R)의 크기는 잡음 제거 효율뿐만 아니라 생성되는 영상의 정보 손실 여부를 고려하여 다음과 같이 결정될 수 있다.Here, as the partial region R for the arithmetic mean of the ultrasonic signal is larger, the efficiency of removing noise of the high frequency signal may increase. On the other hand, when the partial region R is large, distortion may occur in a pixel value corresponding to the ultrasonic signal, which may cause information loss of an image. Therefore, the size of the partial region R may be determined as follows in consideration of not only the noise removal efficiency but also information loss of the generated image.

도 5는 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치에서 산술평균을 위한 부분 영역의 크기의 증가에 따른 잡음량을 도시한 그래프이고, 도 6은 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치에서 부분 영역의 크기의 증가에 따라 생성되는 영상을 도시한 도면이다. 5 is a graph showing the amount of noise according to the increase in the size of the partial region for the arithmetic mean in the image generating apparatus of the photoacoustic system according to an embodiment of the present invention, Figure 6 is a photoacoustic according to an embodiment of the present invention In the image generating apparatus of the system, an image generated according to an increase in the size of a partial region is illustrated.

부분 영역(R)의 최적 크기를 결정하기 위해, 부분 영역(R)의 크기를 증가시키면서 균일한 화소값을 갖는 테스트 영상에 대한 잡음량을 산출하고, 다양한 패턴을 갖는 테스트 영상에 대한 정보 손실 정도를 판단하여, 상기의 두 가지 특성을 영상의 활용 용도에 맞게 적절히 고려하여 판단한다. 여기서, 테스트 영상은 초음파 원신호에 따라 생성되는 영상 중에서 화소값이 균일한 영역의 영상으로서, 혈관 등의 촬영 대상이 존재하지 않는 영역에 대응하는 영상일 수 있다. 또한 잡음량은 해당 영역에 대한 표준편차의 크기를 계산하여 수치화할 수 있다. 도 5에서 x축은 부분 영역(R)이고 y축은 잡음량을 나타낸다. In order to determine the optimal size of the partial region R, the amount of noise is calculated for a test image having a uniform pixel value while increasing the size of the partial region R, and the degree of information loss for the test image having various patterns is calculated. In consideration of the above, the above two characteristics are appropriately considered according to the application of the image. Here, the test image may be an image of an area having a uniform pixel value among the images generated according to the original ultrasound signal, and may correspond to an area in which a photographing target such as a blood vessel does not exist. The amount of noise can also be quantified by calculating the magnitude of the standard deviation for that region. In FIG. 5, the x axis represents the partial region R and the y axis represents the amount of noise.

도 5에 도시된 바와 같이, 잡음 제거부(120)에 의한 산술평균을 처리하기 전의 잡음량은 부분 영역(R)과 무관하므로 일정하게 나타난다. 반면, 잡음 제거부(120)에 의한 산술평균을 처리한 경우의 잡음량은 부분 영역(R)의 크기가 증가할수록 감소한다. 상기 그래프를 통하여 잡음량은 부분 영역(R)이 커질수록 그 감소 효율이 작아짐을 알 수 있다. As shown in FIG. 5, the amount of noise before processing the arithmetic mean by the noise removing unit 120 is constant because it is independent of the partial region R. As shown in FIG. On the other hand, the noise amount when the arithmetic mean is processed by the noise removing unit 120 decreases as the size of the partial region R increases. From the graph, it can be seen that the reduction efficiency of the amount of noise decreases as the partial region R increases.

한편, 부분 영역(R)의 크기가 증가할수록 산술평균되는 범위가 증가하기 때문에 영상에서 정보 손실이 발생할 수 있다. 도 6에 도시된 바와 같이, 다양한 패턴이 있는 영상에서 부분 영역(R)의 크기가 증가할수록 관심영역(ROI)에서 혈관의 식별이 용이하지 않은 것을 알 수 있다. On the other hand, as the size of the partial region R increases, an arithmetic average range increases, which may cause information loss in an image. As shown in FIG. 6, it can be seen that the identification of blood vessels in the ROI is not easy as the size of the partial region R increases in an image having various patterns.

즉, 부분 영역(R)의 크기가 3인 경우에는 혈관의 형태가 식별 가능하다. 반면, 부분 영역(R)의 크기가 7, 11, 15로 증가함에 따라 관심영역(ROI)에서 혈관의 일부가 희미하게 되거나 식별하기 곤란하게 된다. 이와 같이, 부분 영역(R)의 크기의 증가는 생성되는 영상의 정보 손실을 초래할 수 있다. That is, when the size of the partial region R is 3, the shape of the blood vessel can be identified. On the other hand, as the size of the partial region R increases to 7, 11, 15, part of the blood vessels in the ROI become blurred or difficult to identify. As such, an increase in the size of the partial region R may cause information loss of the generated image.

따라서 부분 영역(R)은 균일한 화소값을 갖는 테스트 영상에 대하여 부분 영역(R)의 크기의 증가에 따라 연산된 잡음량 및 다양한 패턴이 있는 영상에서 손실되는 정보량이 가장 작은 값으로 결정될 수 있다. Therefore, the partial region R may be determined as the smallest amount of information calculated in accordance with the increase in the size of the partial region R and the amount of information lost in the image having various patterns for the test image having a uniform pixel value. .

아울러, 부분 영역(R)의 최적 크기는 샘플링 레이트 등과 같은 광음향 시스템의 특성에 따라 변경되기 때문에 광음향 시스템의 영상 생성 장치(100)를 적용하는 광음향 시스템에 따라 사전에 결정될 수 있다.In addition, since the optimum size of the partial region R is changed according to the characteristics of the optoacoustic system such as a sampling rate, it may be determined in advance according to the optoacoustic system to which the image generating apparatus 100 of the optoacoustic system is applied.

한편, 초음파 신호의 부분 영역(R)에 대한 산술 평균을 반복하는 스텝(S)의 크기는 일반적으로 정보의 손실을 방지하기 위해 가장 작은 값인 1로 설정한다. 그러나 스텝(S)의 크기가 작은 경우 연산량이 불필요하게 증가할 수 있다. 이는 처리 속도 등과 같은 광음향 시스템의 영상 생성 장치(100)의 최적화를 저해하는 요소로 작용할 수 있다. 따라서 부분 영역(R)에 대한 산술평균을 반복하기 위한 스텝(S)의 크기는 연산량뿐만 아니라 생성되는 영상의 정보 손실 여부를 고려하여 다음과 같이 결정될 수 있다.On the other hand, the size of the step S of repeating the arithmetic mean for the partial region R of the ultrasonic signal is generally set to 1, the smallest value, in order to prevent loss of information. However, if the size of the step S is small, the amount of calculation may increase unnecessarily. This may act as a factor that inhibits the optimization of the image generating apparatus 100 of the optoacoustic system, such as processing speed. Therefore, the size of the step S for repeating the arithmetic mean for the partial region R may be determined as follows in consideration of the amount of computation as well as information loss of the generated image.

도 7은 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치에서 산술평균을 위한 스텝의 크기의 증가에 따라 생성되는 영상을 도시한 도면이다. 7 is a diagram illustrating an image generated according to an increase in the size of a step for an arithmetic mean in the image generating apparatus of the photoacoustic system according to an exemplary embodiment of the present invention.

스텝(S)의 최적 크기를 결정하기 위해, 부분 영역(R)의 크기가 고정된 상태에서, 스텝(S)의 크기의 증가시키면서 그에 따른 생성된 영상에서 손실되는 정보량을 판단한다. In order to determine the optimal size of the step S, in the state where the size of the partial region R is fixed, the amount of information lost in the generated image while determining the size of the step S is determined.

도 6에 도시된 바와 같이, 스텝(S)의 크기가 가장 작은 1인 경우, 스텝(S)의 크기가 4, 7, 10으로 증가할수록 관심영역(ROI)에서 혈관의 형태가 열화되는 것을 알 수 있다. 즉, 스텝(S)의 크기의 증가는 생성되는 영상의 정보 손실을 초래할 수 있다. As shown in FIG. 6, when the size of the step S is 1, which is the smallest value, as the size of the step S increases to 4, 7, 10, the shape of the blood vessel deteriorates in the ROI. Can be. That is, an increase in the size of the step S may result in information loss of the generated image.

따라서 스텝(S)은 부분 영역(R)의 크기가 고정된 상태에서, 스텝(S)의 크기의 증가에 따라 생성된 영상에서 정보가 손실되지 않는 가장 작은 값으로 결정될 수 있다.Accordingly, the step S may be determined to be the smallest value in which information is not lost in the generated image according to the increase in the size of the step S while the size of the partial region R is fixed.

이에 의해, 초음파 신호의 부분 영역에 대한 산술평균을 반복 수행하는 횟수를 감소시킬 수 있어 연산량을 감소시킬 수 있으므로 전체 연산 효율을 향상시킬 수 있어 결과적으로 처리 속도를 향상시킬 수 있다. As a result, the number of repetitions of the arithmetic mean for the partial region of the ultrasonic signal can be reduced, thereby reducing the amount of computation, thereby improving the overall computational efficiency and consequently improving the processing speed.

다시 도 1을 참조하면, 절대값 산출부(130)는 잡음 제거된 초음파 신호의 절대값을 산출한다. 여기서, 초음파 신호는 신호의 특성상 그 값이 양의 값 또는 음의 값을 가질 수 있기 때문에 초음파 신호에 따른 영상 신호로 변환하기 위해 절대값을 산출할 수 있다.Referring again to FIG. 1, the absolute value calculator 130 calculates an absolute value of the noise-removed ultrasonic signal. Here, since the ultrasound signal may have a positive value or a negative value due to the characteristics of the signal, an absolute value may be calculated to convert the ultrasound signal into an image signal according to the ultrasound signal.

최대값 검출부(140)는 산출된 절대값 중에서 최대값을 검출한다. 여기서, 최대값은 해당 화소에서 조사광에 최대로 반응하는 물질(혈관, 세포핵 등)에 의해서 발생하는 성분으로, 초음파 신호를 영상 신호로 변환할 때 해당 화소에 대한 기준이 되는 값일 수 있다. The maximum value detector 140 detects the maximum value among the calculated absolute values. Here, the maximum value is a component generated by a substance (blood vessel, cell nucleus, etc.) that responds to the irradiation light in the pixel at the maximum, and may be a reference value for the pixel when the ultrasound signal is converted into an image signal.

화소값 변환부(150)는 검출된 최대값을 기초로 초음파 신호를 영상의 화소값으로 변환하여 영상을 생성한다. 이때, 화소값 변환부(150)는 상기 검출된 최대값을 해당 화소에 대한 기준값으로 하여 스케일링할 수 있다.The pixel value converter 150 generates an image by converting the ultrasound signal into pixel values of the image based on the detected maximum value. In this case, the pixel value converter 150 may scale the detected maximum value as a reference value for the corresponding pixel.

일례로, 화소값 변환부(150)는 전체 화소에 대한 기준값 중 최대값(즉, 각 화소에 대한 최대값들 중 가장 큰 값)을 화소값의 최대값인 255로 결정하고, 0에서 255의 화소값의 범위에서 상기 기준값을 변환할 수 있다. 즉, 화소값 변환부(150)는 촬영 대상 전체 영역에 대한 초음파 신호의 절대값의 최대값과 0 사이를 화소값의 범위에서 균등하게 배분되도록 스케일링 할 수 있다. For example, the pixel value converter 150 determines a maximum value of the reference values for all the pixels (ie, the largest value among the maximum values for each pixel) as 255, which is the maximum value of the pixel values, and determines a value of 0 to 255. The reference value may be converted in a range of pixel values. That is, the pixel value converter 150 may scale the maximum value and zero of the absolute value of the ultrasonic signal with respect to the entire region to be photographed to be equally distributed in the range of the pixel value.

대안적으로 화소값 변환부(150)는 전체 화소에 대한 기준값 중 최대값 및 최소값을 산출하고, 이렇게 산출된 최대값과 최소값을 화소값의 범위에서 균등하게 배분되도록 스케일링 할 수 있다. 이에 의해, 초음파 신호를 영상 신호로 변환하는 스케일링 폭이 커지기 때문에 초음파 신호의 최소값을 고려하지 않은 경우에 비하여 변환된 영상의 명암대조를 크게 하여 대상의 식별을 용이하게 할 수 있다. Alternatively, the pixel value converter 150 may calculate a maximum value and a minimum value among the reference values for all pixels, and may scale the calculated maximum and minimum values to be evenly distributed in the range of pixel values. As a result, the scaling width for converting the ultrasonic signal into the image signal becomes large, so that the contrast of the converted image is increased compared to the case where the minimum value of the ultrasonic signal is not considered.

한편, 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치(100)는 위상 변환부(160) 및 합산부(170)를 더 포함할 수 있다.On the other hand, the image generating apparatus 100 of the optoacoustic system according to an embodiment of the present invention may further include a phase converter 160 and the adder 170.

위상 변환부(160)는 잡음 제거부(120)로부터 잡음이 제거된 초음파 신호의 위상을 변환할 수 있다. 일례로, 위상 변환부(160)는 힐버트 변환에 의해 초음파 신호의 위상을 변환할 수 있다. 이때, 절대값 산출부(130)는 위상 변환부(160)에 의해 위상 변환된 신호의 절대값을 산출할 수 있다.The phase converter 160 may convert a phase of the ultrasonic signal from which the noise is removed from the noise remover 120. For example, the phase converter 160 may convert the phase of the ultrasonic signal by Hilbert transform. In this case, the absolute value calculator 130 may calculate an absolute value of the phase-converted signal by the phase converter 160.

합산부(170)는 잡음 제거부(120)에서 잡음 제거된 초음파 신호의 절대값과 위상 변환부(160)에 위상 변환된 초음파 신호의 절대값을 합산한다. 여기서, 합산부(170)의 출력은 위상 변환부(160)를 이용하지 않은 경우보다 대략 2배의 크기를 가질 수 있다. The adder 170 adds the absolute value of the ultrasonic signal noise removed by the noise removing unit 120 and the absolute value of the phase-converted ultrasonic signal to the phase converter 160. Here, the output of the adder 170 may have a size approximately twice that of the case in which the phase converter 160 is not used.

즉, 위상 변환부(160)에서 위상 변환된 초음파 신호는 위상 변환부(160)를 거치지 않은 초음파 신호와 위상만 상이할 뿐 그 크기는 동일하기 때문에 합산부(170)의 출력은 잡음 제거부(120)에서 출력된 초음파 신호의 절대값의 2배이다. 이때, 최대값 검출부(140)는 합산부(170)에 합산된 초음파 신호의 절대값 중에서 최대값을 검출할 수 있다. That is, since the ultrasound signal phase-converted by the phase shifter 160 differs only in phase from the ultrasound signal without passing through the phase shifter 160, the magnitude of the ultrasound signal is the same, and thus the output of the adder 170 is a noise canceller ( 120 times the absolute value of the ultrasonic signal output. In this case, the maximum value detector 140 may detect the maximum value among the absolute values of the ultrasonic signals added to the adder 170.

결과적으로, 최대값 검출부(140)에서 검출되는 최대값이 2배로 증가하기 때문에 영상에서의 화소값의 변화를 더 미세하게 표현할 수 있고 따라서 영상의 선명도를 더욱 향상시킬 수 있다. As a result, since the maximum value detected by the maximum value detector 140 is doubled, the change in the pixel value in the image can be expressed more finely, and thus the sharpness of the image can be further improved.

도 8은 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 장치에서 고주파 잡음의 제거 전후의 영상을 도시한 도면이다. 8 is a diagram illustrating images before and after the removal of high frequency noise in the image generating apparatus of the photoacoustic system according to an embodiment of the present invention.

도 8에 도시된 바와 같이, 잡은 제거를 수행하지 않은 경우(a), 초음파 원신호로부터 생성되는 영상은 혈관의 중심부뿐만 아니라 가장자리 부분에서 선명도가 양호하지 않다. 이는 초음파 원신호에 내재되어 있는 고주파 잡음에 기인한 것이다. 이에 의해 혈관 부위에 대응하는 화소와 그 주변의 화소 사이에서 화소값의 차이가 크게 나타나기 때문에 부드럽지 않은 영상을 생성한다. As shown in FIG. 8, when the captured removal is not performed (a), the image generated from the ultrasonic original signal may not have good clarity at the edge as well as the center of the blood vessel. This is due to the high frequency noise inherent in the ultrasonic original signal. As a result, a large difference in pixel values appears between the pixels corresponding to the blood vessels and the pixels around the blood vessel, thereby generating a smooth image.

반면, 본 발명의 일 실시예에 따른 광음향 시스템의 영상 생성 장치(100)와 같이 초음파 원신호에 포함된 고주파 잡음을 제거한 경우(b), 생성되는 영상은 혈관의 중심부뿐만 아니라 가장자리 부분에서 선명도가 양호하다. 이는 초음파 원신호에 내재되어 있는 고주파 잡음이 제거됨으로써 영상의 화소값이 전체적으로 부드러운 변화를 갖기 때문이다. On the other hand, when the high frequency noise included in the ultrasonic original signal is removed, such as the image generating apparatus 100 of the photoacoustic system according to an embodiment of the present invention (b), the generated image is sharp not only at the center of the vessel but also at the edge thereof. Is good. This is because the high frequency noise inherent in the ultrasonic original signal is removed, so that the pixel value of the image has a smooth change as a whole.

이하, 도 9 및 도 10을 참조하여 본 발명의 광음향 시스템의 영상 생성 방법을 설명한다. 도 9는 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 방법을 도시한 순서도이다. Hereinafter, an image generating method of the photoacoustic system of the present invention will be described with reference to FIGS. 9 and 10. 9 is a flowchart illustrating an image generating method of an optoacoustic system according to an exemplary embodiment of the present invention.

본 발명의 실시예에 따른 광음향 시스템의 영상 생성 방법(200)은 광음향 신호를 획득하는 단계(S201), 유효신호를 추출하는 단계(S202), 고주파 잡음을 제거하는 단계(S203), 위상을 변환하는 단계(S204), 절대값을 산출하는 단계(S205), 신호를 합산하는 단계(S206), 최대값을 산출하는 단계(S207), 및 영상을 생성하는 단계(S208)를 포함한다. The image generation method 200 of the optoacoustic system according to an embodiment of the present invention comprises the steps of obtaining an optoacoustic signal (S201), extracting a valid signal (S202), removing high frequency noise (S203), phase The step S204 is performed, the absolute value is calculated at step S205, the signal is added at step S206, the maximum value is calculated at step S207, and the image is generated at step S208.

보다 상세히 설명하면, 도 9에 도시된 바와 같이, 먼저, 광음향 시스템의 영상 생성 장치(100)는 광음향 시스템으로부터 초음파 원신호를 획득한다(단계 S201). 여기서, 초음파 원신호는 촬영 대상의 깊이 방향에 대하여 발생하는 광음향 신호로서, 이로부터 생성되는 영상을 이루는 각 화소에 대응하는 1차원 배열로 나타낼 수 있는 신호이다. In more detail, as shown in FIG. 9, first, the image generating apparatus 100 of the optoacoustic system acquires an ultrasonic original signal from the optoacoustic system (step S201). Here, the ultrasonic original signal is a photoacoustic signal generated in the depth direction of the object to be photographed, and may be represented by a one-dimensional array corresponding to each pixel constituting the image generated therefrom.

다음으로, 광음향 시스템의 영상 생성 장치(100)는 광음향 시스템으로부터 획득된 초음파 원신호로부터 유효신호를 추출한다(단계 S201). 이때, 1차원 배열의 초음파 신호에서 유의미한 신호 영역을 분리할 수 있다.Next, the image generating apparatus 100 of the optoacoustic system extracts a valid signal from the ultrasonic original signal obtained from the optoacoustic system (step S201). At this time, a significant signal region may be separated from the ultrasonic signals in the one-dimensional array.

이때, 광음향 시스템의 영상 생성 장치(100)는 동일 깊이 초음파 원신호들을 합산한 결과에 대해서 깊이 방향으로 크기가 큰 초기 구간을 검출하여 제외하고 나머지 구간에 대응하는 초음파 원신호들을 상기 유효신호로 추출할 수 있다. 여기서, 초음파 원신호는 깊이 방향으로 촬영 대상의 표면으로부터 일정 구간 내에서 초음파 전송을 위한 매질 및 표면 효과 등에 의해 강한 잡음을 포함하므로 그 세기가 크게 나타난다. 따라서 광음향 시스템의 영상 생성 장치(100)는 이를 제거하기 위해 깊이 방향에 대하여 세기의 변화가 가장 큰 구간을 추출하고 그 이후 구간의 신호를 유효신호로 추출할 수 있다.At this time, the image generating apparatus 100 of the optoacoustic system detects and excludes an initial section having a large size in the depth direction with respect to the result of summing the same depth ultrasonic original signals, and converts the ultrasonic original signals corresponding to the remaining sections as the valid signals. Can be extracted. Here, since the ultrasonic original signal includes strong noise due to the medium and the surface effect for the ultrasonic transmission within a predetermined interval from the surface of the photographing target in the depth direction, the intensity is large. Accordingly, the image generating apparatus 100 of the photoacoustic system may extract a section having the greatest change in intensity with respect to the depth direction and then extract a signal of the section as a valid signal in order to remove it.

다음으로, 광음향 시스템의 영상 생성 장치(100)는 초음파 원신호로부터 추출된 유효신호를 산술평균을 수행하여 고주파 잡음을 제거한다(단계 S203). 이때, 생성된 영상의 잡음 정도 및 정보 손실을 고려하여 미리 결정된 부분 영역(R)별로 추출된 유효신호의 산술평균을 수행할 수 있다.Next, the image generating apparatus 100 of the optoacoustic system removes high frequency noise by performing an arithmetic mean on the effective signal extracted from the ultrasonic original signal (step S203). In this case, an arithmetic mean of the valid signals extracted for each predetermined partial region R may be performed in consideration of the noise level and information loss of the generated image.

보다 구체적으로, 먼저, 광음향 시스템의 영상 생성 장치(100)는 초음파 신호의 원신호의 깊이 방향에 대하여 최하위 영역(도 4에서 최하위 부분)으로부터 부분 영역(R)에 대하여 상기의 수학식 1과 같이 산술평균을 수행할 수 있다.More specifically, first, the image generating apparatus 100 of the optoacoustic system includes the above Equation 1 for the partial region R from the lowest region (lowest portion in FIG. 4) with respect to the depth direction of the original signal of the ultrasonic signal. Arithmetic mean can be performed as well.

이때, 광음향 시스템의 영상 생성 장치(100)는 초음파 원신호의 깊이 방향에 대하여 생성된 영상의 정보 손실 등을 고려하여 사전에 결정되는 스텝(S)으로 유효신호에 대한 산술평균을 순차적으로 반복 수행할 수 있다. 여기서, 스텝(S)은 부분 영역(R)의 크기가 고정된 상태에서, 스텝(S)의 크기의 증가에 따라 생성된 영상에서 정보가 손실되지 않는 가장 작은 값으로 결정될 수 있다. In this case, the image generating apparatus 100 of the optoacoustic system sequentially repeats the arithmetic mean of the effective signal in a step S that is determined in advance in consideration of information loss of the image generated in the depth direction of the ultrasonic original signal. Can be done. Here, the step S may be determined to be the smallest value at which information is not lost in the generated image according to the increase in the size of the step S while the size of the partial region R is fixed.

즉, 도 4에 도시된 바와 같이, 초음파 원신호의 깊이 방향에 대하여 최하위 영역으로부터 부분 영역(R)에 대하여 산술평균을 수행한 후, 스텝(S)만큼 상측에 배치되는 부분 영역(R)에 대하여 산술평균을 수행할 수 있다. 결과적으로, 스텝(S)의 크기가 1인 경우, 유효신호에 대하여 최하위에서 하나씩 상측으로 이동하면서 부분 영역(R)에 대한 산술평균을 N-R+1번 반복 수행할 수 있다.That is, as shown in FIG. 4, after performing an arithmetic average from the lowest region to the partial region R with respect to the depth direction of the ultrasonic source signal, the partial region R disposed upward by the step S is performed. Arithmetic mean can be performed for As a result, when the size of the step S is 1, the arithmetic mean for the partial region R may be repeatedly performed N-R + 1 times while moving upward from the lowest to the valid signal one by one.

다음으로, 광음향 시스템의 영상 생성 장치(100)는 잡음 제거된 초음파 신호의 위상을 변환한다(단계 S204). 이때, 힐버트 변환에 의해 초음파 신호의 위상을 변환할 수 있다.Next, the image generating apparatus 100 of the optoacoustic system converts the phase of the noise-removed ultrasonic signal (step S204). At this time, the phase of the ultrasonic signal may be converted by Hilbert transform.

다음으로, 광음향 시스템의 영상 생성 장치(100)는 잡음 제거된 초음파 신호와 위상 변환된 신호의 절대값을 산출한다(단계 S204). 여기서, 초음파 신호는 신호의 특성상 그 값이 양의 값 또는 음의 값을 가질 수 있기 때문에 초음파 신호에 따른 영상 신호로 변환하기 위해 절대값을 산출할 수 있다.Next, the image generating apparatus 100 of the optoacoustic system calculates an absolute value of the noise-removed ultrasonic signal and the phase-converted signal (step S204). Here, since the ultrasound signal may have a positive value or a negative value due to the characteristics of the signal, an absolute value may be calculated to convert the ultrasound signal into an image signal according to the ultrasound signal.

다음으로, 광음향 시스템의 영상 생성 장치(100)는 잡음 제거된 초음파 신호의 절대값과 위상 변환된 신호의 절대값을 합산한다(단계 S206). 이때, 합산된 신호의 크기는 잡음 제거된 초음파 신호의 절대값의 대략 2배의 크기를 가질 수 있다. 즉, 위상 변환된 초음파 신호는 잡음 제거된 초음파 신호와 위상만 상이할 뿐 그 크기는 동일하기 때문에 합산된 신호는 잡음 제거된 초음파 신호의 절대값의 2배이다. Next, the image generating apparatus 100 of the photoacoustic system sums the absolute value of the noise-removed ultrasonic signal and the absolute value of the phase-converted signal (step S206). In this case, the sum of the summed signals may be approximately twice the absolute value of the noise-removed ultrasonic signal. That is, since the phase-converted ultrasound signal differs only in phase from the noise-rejected ultrasound signal, its magnitude is the same, the summed signal is twice the absolute value of the noise-rejected ultrasound signal.

이와 같이, 위상 변환 및 합산에 의해 초음파 신호의 절대값이 2배로 증가하기 때문에 영상에서 화소값의 변화를 더 미세하게 표현할 수 있고 따라서 영상의 선명도를 더욱 향상시킬 수 있다. 한편, 단계 S204의 위상 변환 및 단계 S206의 합산은 생략될 수도 있다. As described above, since the absolute value of the ultrasonic signal is doubled by the phase shift and summation, the change of the pixel value in the image can be more finely expressed, and thus the sharpness of the image can be further improved. On the other hand, the phase shift of step S204 and the sum of step S206 may be omitted.

다음으로, 광음향 시스템의 영상 생성 장치(100)는 산출된 절대값 중에서 최대값을 검출한다(단계 S207). 여기서, 최대값은 초음파 신호를 영상 신호로 변환할 때 기준이 되는 값일 수 있다. Next, the image generating apparatus 100 of the optoacoustic system detects the maximum value among the calculated absolute values (step S207). Here, the maximum value may be a reference value when the ultrasound signal is converted into an image signal.

다음으로, 광음향 시스템의 영상 생성 장치(100)는 검출된 최대값을 기초로 초음파 신호를 영상의 화소값으로 변환하여 영상을 생성한다(단계 S208). 이때, 최대값을 해당 검출된 화소에 대한 기준값으로 하여 스케일링 할 수 있다. Next, the image generating apparatus 100 of the photoacoustic system generates an image by converting the ultrasound signal into pixel values of the image based on the detected maximum value (step S208). In this case, the maximum value may be scaled as a reference value for the detected pixel.

일례로, 전체 화소에 대한 기준값 중 최대값(즉, 각 화소에 대한 최대값들 중 가장 큰 값)을 화소값의 최대값인 255로 결정하고, 0에서 255의 화소값의 범위에서 상기 기준값을 변환할 수 있다. 즉, 촬영 대상 전체 영역에 대한 초음파 신호의 절대값의 최대값과 0 사이를 화소값의 범위에서 균등하게 배분되도록 스케일링 할 수 있다. For example, the maximum value of the reference values for all the pixels (that is, the largest value among the maximum values for each pixel) is determined as 255, which is the maximum value of the pixel values, and the reference value is set in the range of pixel values of 0 to 255. I can convert it. That is, it is possible to scale the maximum value and zero of the absolute value of the ultrasonic signal with respect to the entire region to be photographed to be evenly distributed in the range of the pixel value.

대안적으로 전체 화소에 대한 기준값 중 최소값과 최대값을 산출하고, 초음파 신호의 최대값과 최소값 사이를 화소값의 범위에서 균등하게 배분되도록 스케일링 할 수 있다. 이에 의해, 초음파 신호를 영상 신호로 변환하는 스케일링 폭이 커지기 때문에 초음파 신호의 최소값을 고려하지 않은 경우에 비하여 변환된 영상의 명암대조를 크게 하여 대상의 식별을 용이하게 할 수 있다. Alternatively, the minimum and maximum values of the reference values for all the pixels may be calculated and scaled so that the maximum and minimum values of the ultrasonic signals are equally distributed in the range of pixel values. As a result, the scaling width for converting the ultrasonic signal into the image signal becomes large, so that the contrast of the converted image is increased compared to the case where the minimum value of the ultrasonic signal is not considered.

도 10은 본 발명의 실시예에 따른 광음향 시스템의 영상 생성 방법에서 산술평균을 위한 부분영역을 결정하는 방법을 도시한 순서도이다. 10 is a flowchart illustrating a method of determining a partial region for an arithmetic mean in the image generating method of the photoacoustic system according to an embodiment of the present invention.

본 발명의 실시예에 따른 광음향 시스템의 영상 생성 방법에서 산술평균을 위한 부분영역을 결정하는 방법(300)은 부분 영역(R) 변경에 따른 잡음량을 연산하는 단계(S301 및 S302), 부분 영역(R) 변경에 따른 정보 손실을 평가하는 단계(S303 및 S304) 및 최적 부분 영역(R)의 크기를 결정하는 단계(S305)를 포함한다. The method 300 for determining a partial region for the arithmetic mean in the method of generating an image of an optoacoustic system according to an embodiment of the present invention includes calculating the amount of noise according to the change of the partial region R (S301 and S302), and the portion. Evaluating information loss due to the area R change (S303 and S304) and determining the size of the optimal partial area R (S305).

보다 구체적으로, 먼저, 광음향 시스템의 영상 생성 장치(100)는 균일한 화소값을 갖는 테스트 영상을 준비한다(단계 S301). 여기서, 테스트 영상은 초음파 원신호에 따라 생성되는 영상 중에서 화소값이 균일한 영역의 영상으로서, 혈관 등의 촬영 대상이 존재하지 않는 영역에 대응하는 영상일 수 있다. More specifically, first, the image generating apparatus 100 of the optoacoustic system prepares a test image having a uniform pixel value (step S301). Here, the test image may be an image of an area having a uniform pixel value among the images generated according to the original ultrasound signal, and may correspond to an area in which a photographing target such as a blood vessel does not exist.

다음으로, 광음향 시스템의 영상 생성 장치(100)는 부분 영역(R)의 크기를 변경하면서 그에 따른 잡음량을 연산한다(S302). 여기서, 잡음량은 도 5에 도시된 바와 같이 해당 영역에 대한 표준편차의 크기를 계산하여 수치화할 수 있다. Next, the image generating apparatus 100 of the optoacoustic system changes the size of the partial region R and calculates the amount of noise accordingly (S302). Here, the noise amount can be quantified by calculating the magnitude of the standard deviation for the corresponding region as shown in FIG. 5.

다음으로, 광음향 시스템의 영상 생성 장치(100)는 다양한 패턴을 갖는 테스트 영상을 준비한다(단계 S303). 여기서, 테스트 영상은 초음파 원신호에 따라 생성되는 영상 중에서 다양한 패턴을 가지는 영역의 영상으로서, 미세 혈관 등의 촬영 대상이 존재하는 영역에 대응하는 영상일 수 있다.Next, the image generating apparatus 100 of the optoacoustic system prepares a test image having various patterns (step S303). Here, the test image may be an image of an area having various patterns among the images generated according to the ultrasound original signal, and may be an image corresponding to an area in which an object to be photographed, such as a microvascular vessel, exists.

다음으로, 광음향 시스템의 영상 생성 장치(100)는 부분 영역(R)의 크기의 변경에 따라 생성되는 영상의 정보 손실을 평가한다(단계 S304). 여기서, 정보 손실의 평가는 사용자에 의해 생성된 영성을 육안 판단함으로써 이루어질 수 있다. Next, the image generating apparatus 100 of the photoacoustic system evaluates the information loss of the image generated according to the change of the size of the partial region R (step S304). Here, the evaluation of the information loss can be made by visually determining the spirituality generated by the user.

다음으로, 광음향 시스템의 영상 생성 장치(100)는 부분 영역(R)의 최적 크기를 결정한다(단계 S305). 이때, 부분 영역(R)은 부분 영역(R)의 크기의 증가에 따라 균일한 화소값을 갖는 테스트 영상에 대하여 연산된 잡음량 및 다양한 패턴이 있는 영상에 대하여 손실되는 정보량이 가장 작은 값으로 결정될 수 있다.Next, the image generating apparatus 100 of the optoacoustic system determines the optimal size of the partial region R (step S305). In this case, the partial region R may be determined to be the smallest amount of noise calculated for the test image having a uniform pixel value and the amount of information lost for the image having various patterns as the size of the partial region R increases. Can be.

상기와 같은 방법에 의해, 본 발명은 고주파 잡음을 제거할 수 있으므로 영상의 정보 손실을 최소화하면서도 영상의 선명도를 개선하여 영상의 가독성을 향상시킬 수 있다. 또한 전체 영상 정보가 필요없이 실시간으로 저잡음 고선명 영상을 생성할 수 있다. 또한 연산량을 감소시켜 전체 연산 효율을 향상시키므로 처리 속도를 감소시킬 수 있다. By the above method, the present invention can remove the high frequency noise, thereby minimizing the loss of information of the image and improving the sharpness of the image, thereby improving the readability of the image. In addition, it is possible to generate a low-noise high-definition image in real time without the need for full image information. In addition, the throughput can be reduced by reducing the amount of computation and improving the overall computational efficiency.

상기와 같은 방법들은 도 1에 도시된 바와 같은 광음향 시스템의 영상 생성 장치(100)에 의해 구현될 수 있고, 특히, 이러한 단계들을 수행하는 소프트웨어 프로그램으로 구현될 수 있으며, 이 경우, 이러한 프로그램들은 컴퓨터 판독가능한 기록 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다. Such methods may be implemented by the image generating apparatus 100 of the optoacoustic system as shown in FIG. 1, and in particular, may be implemented by a software program that performs these steps, in which case such programs It may be stored in a computer readable recording medium or transmitted by a computer data signal combined with a carrier in a transmission medium or a communication network.

이때, 컴퓨터 판독가능한 기록 매체는 컴퓨터 시스템에 의해 판독가능한 데이터가 저장되는 모든 종류의 기록 장치를 포함하며, 예를 들면, ROM, RAM, CD-ROM, DVD-ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크, 광 데이터 저장장치 등일 수 있다. At this time, the computer readable recording medium includes all kinds of recording devices in which data readable by a computer system is stored, and for example, ROM, RAM, CD-ROM, DVD-ROM, DVD-RAM, magnetic tape, Floppy disks, hard disks, optical data storage devices, and the like.

이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.Although one embodiment of the present invention has been described above, the spirit of the present invention is not limited to the embodiments set forth herein, and those skilled in the art who understand the spirit of the present invention may add components within the same scope. Other embodiments may be easily proposed by changing, deleting, adding, etc., but this will also fall within the spirit of the present invention.

100 : 광음향 시스템의 영상 생성 장치 110 : 유효신호 추출부
120 : 잡음 제거부 130 : 절대값 산출부
140 : 최대값 검출부 150 : 화소값 변환부
160 : 위상 변환부 170 : 합산부100: image generating apparatus of the photoacoustic system 110: effective signal extraction unit
120: noise canceller 130: absolute value calculator
140: maximum value detector 150: pixel value converter
160: phase shift unit 170: summing unit

Claims

An effective signal extraction unit for extracting an effective signal from the ultrasonic original signal obtained from the photoacoustic system;
A noise removing unit which removes high frequency noise by performing an arithmetic average of the valid signal for each predetermined partial region R;
An absolute value calculator for calculating an absolute value of the noise-free ultrasonic signal;
A maximum value detector for detecting a maximum value among the calculated absolute values; And
A pixel value converter configured to generate an image by converting the detected maximum value into a pixel value of a corresponding pixel;
Image generating apparatus of the optoacoustic system comprising a.

The method of claim 1,
The effective signal extracting unit detects and excludes an initial section having a large size in the depth direction with respect to the result of summing the ultrasonic original signals acquired at the same depth, and extracts the ultrasonic original signals corresponding to the remaining sections as the valid signal. Image generating device.

The method of claim 1,
The noise removing unit performs an arithmetic mean on the predetermined partial region R from the lowest region in the depth direction of the ultrasonic original signal, and sequentially repeats the arithmetic average on the valid signal in step S. Image generating device of sound system.

The method of claim 3,
The partial region R is determined to be the smallest amount of noise calculated for the test image having a uniform pixel value and the amount of information lost for the test image having a constant pattern as the size of the partial region R increases. Image generating apparatus of the photoacoustic system.

The method of claim 3,
The step S is an image of the optoacoustic system which is determined to have the smallest value in which information is not lost in the image generated according to the increase in the size of the step S while the size of the partial region R is fixed. Generating device.

The method of claim 1,
And the pixel value converting unit scales the reference value by setting the detected maximum value as a reference value for the corresponding pixel and using the maximum value of the reference values for all pixels as the maximum value of the pixel value.

The method of claim 1,
A phase converter configured to convert a phase of the noise-removed ultrasonic signal; And
And a summing unit configured to add an absolute value of the noise-removed ultrasonic signal and an absolute value of the phase-converted signal.
And the absolute value calculator is configured to calculate an absolute value of the phase-converted signal.

Obtaining an ultrasonic original signal from the optoacoustic system;
Extracting a valid signal from the obtained ultrasonic original signal;
Removing a high frequency noise by performing an arithmetic mean of the valid signal for each predetermined partial region (R);
Calculating an absolute value of the noise canceled ultrasonic signal;
Detecting a maximum value among the calculated absolute values; And
Generating an image by converting the detected maximum value into a pixel value of a corresponding pixel;
Image generation method of optoacoustic system comprising a.

The method of claim 8,
The extracting of the effective signal may include extracting the ultrasonic original signals corresponding to the remaining sections as the valid signal by detecting and removing an initial section having a large size in the depth direction with respect to the result of summing the ultrasonic original signals acquired at the same depth. Image generation method of optoacoustic system.

The method of claim 8,
The removing of the noise may be performed by performing an arithmetic mean on the predetermined partial region R from the lowest region in the depth direction of the ultrasonic original signal, and sequentially repeating the arithmetic mean on the valid signal in step S. Image generation method of the photoacoustic system to perform.

The method of claim 10,
The partial region R is determined to be the smallest amount of noise calculated for the test image having a uniform pixel value and the amount of information lost for the test image having a constant pattern as the size of the partial region R increases. Image generation method of the optoacoustic system.

The method of claim 10,
And said step (S) is determined to be the smallest value at which information is not lost as the size of said step (S) is fixed, with the size of said partial region (R) being fixed.

The method of claim 8,
The generating of the image may include scaling the reference value by using the detected maximum value as a reference value for the corresponding pixel and using a maximum value of the reference values for all pixels as the maximum value of the pixel value. .

The method of claim 8,
Converting a phase of the noise canceled ultrasonic signal; And
Summing an absolute value of the noise canceled ultrasound signal and an absolute value of the phase shifted signal;
The calculating may include calculating an absolute value of the phase shifted signal.