KR102667903B1 - Apparatus and method for tracking the motion of paticles in a fluid - Google Patents

Apparatus and method for tracking the motion of paticles in a fluid Download PDF

Info

Publication number
KR102667903B1
KR102667903B1 KR1020210043603A KR20210043603A KR102667903B1 KR 102667903 B1 KR102667903 B1 KR 102667903B1 KR 1020210043603 A KR1020210043603 A KR 1020210043603A KR 20210043603 A KR20210043603 A KR 20210043603A KR 102667903 B1 KR102667903 B1 KR 102667903B1
Authority
KR
South Korea
Prior art keywords
particle
frame image
indexed
command
falling
Prior art date
Application number
KR1020210043603A
Other languages
Korean (ko)
Other versions
KR20220137469A (en
Inventor
이동현
김동재
성우창
남재욱
Original Assignee
성균관대학교산학협력단
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단, 서울대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020210043603A priority Critical patent/KR102667903B1/en
Publication of KR20220137469A publication Critical patent/KR20220137469A/en
Application granted granted Critical
Publication of KR102667903B1 publication Critical patent/KR102667903B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

입자 추적 장치 및 방법을 개시한다. 본 발명에 따른 상기 입자 추적 방법 및 방법은 유체 내에서 낙하하는 적어도 하나의 입자를 촬영한 적어도 하나의 프레임 이미지를 수신하는 단계, 상기 적어도 하나의 프레임 이미지를 이진화하여, 상기 프레임 이미지로부터 상기 적어도 하나의 입자를 추출하는 단계, 상기 적어도 하나의 입자를 색인(Index)화하는 단계 및 상기 적어도 하나의 프레임 이미지로부터 상기 색인화된 입자의 위치 정보를 획득하여, 상기 색인화된 입자의 낙하 경로를 추적하는 단계를 포함함으로써, 적어도 하나의 입자가 색인화되어 신속하고 정확한 낙하 경로 추적이 가능하며, 상기 입자의 입도 분포에 따른 낙하 속도 획득이 가능함으로, 고속, 고정밀 및 고신뢰성의 입자 추적 장치 및 방법이 개시된다.Disclosed is a particle tracking device and method. The particle tracking method and method according to the present invention include receiving at least one frame image of at least one particle falling in a fluid, binarizing the at least one frame image, and selecting the at least one frame image from the frame image. extracting particles, indexing the at least one particle, and obtaining location information of the indexed particle from the at least one frame image to track the falling path of the indexed particle. By including, at least one particle is indexed to enable rapid and accurate falling path tracking, and it is possible to obtain a falling speed according to the particle size distribution of the particle, a high-speed, high-precision and high-reliability particle tracking device and method are disclosed. .

Description

입자 추적 장치 및 방법{APPARATUS AND METHOD FOR TRACKING THE MOTION OF PATICLES IN A FLUID}Particle tracking device and method {APPARATUS AND METHOD FOR TRACKING THE MOTION OF PATICLES IN A FLUID}

본 발명은 입자 추적 장치 및 방법에 관한 것으로, 보다 자세하게는, 이미지 처리 기법을 이용하여, 유체 내에서 낙하하는 입자를 촬영한 프레임 이미지 상에서 입자를 추출하고, 이의 낙하 경로를 추적하여 속도를 분석하는, 입자 추적 장치 및 방법에 관한 것이다.The present invention relates to a particle tracking device and method. More specifically, the present invention relates to a particle tracking device and method, and more specifically, to extract particles from a frame image of a particle falling in a fluid using an image processing technique, and to track its falling path to analyze its speed. , relates to a particle tracking device and method.

최근, 가상 공학 및 시뮬레이션(Simulation)이 발전함에 따라, 디지털 트윈(Digital Twin) 연구 방법이 주목 받고 있다. Recently, as virtual engineering and simulation develop, digital twin research methods are attracting attention.

디지털 트윈(Digital Twin) 기술은 현실세계의 기계나 장비, 사물 등을 컴퓨터 속 가상 세계에 구현하는 기술로, 다시 말해, 여러 공학적인 시스템을 가상 환경에서 동일하게 재현하여 물리적 및 화학적인 현상을 해석하는 기술이다.Digital Twin technology is a technology that implements machines, equipment, and objects from the real world into the virtual world in a computer. In other words, various engineering systems are reproduced identically in a virtual environment to analyze physical and chemical phenomena. It is a technique that does.

오늘날에는, 이러한 디지털 트윈 기술을 사용하여, 유체 내에서 거동하는 입자를 분석하는 연구 사례가 많이 보고되고 있다.Nowadays, many research cases have been reported using digital twin technology to analyze particles moving within a fluid.

일반적으로, 입자의 거동 현상은 물에서의 잉크의 확산, 파이프 내에서의 슬러리의 흐름, 혈류 내에서의 혈구의 흐름, 용액들의 혼합 등의 작은 스케일에서부터, 항공기의 날개 설계, 유동층 반응기의 원리, 건조 및 코팅 공정 등의 큰 스케일까지 다양한 분야에 적용되고 있다.In general, particle behavior phenomena range from small scales such as the diffusion of ink in water, the flow of slurry in a pipe, the flow of blood cells in the bloodstream, the mixing of solutions, etc. to the design of aircraft wings, the principles of fluidized bed reactors, etc. It is applied to a variety of fields, including large scale drying and coating processes.

이 중에서도, 유동층 반응기는 촉매가 반응 기체와 화학 반응을 수반하면서 거동하는데, 이 때 반응기의 온도, 압력뿐 만 아니라 촉매와의 접촉 면적, 체류 시간, 위치별 solid hold-up 등에 의해 반응생성물의 수율과 선택도가 결정된다. 그러므로, 효율적인 공정 설계, 반응기 안정성 검정, 공정 최적화를 위해서는 기체 내에서의 촉매의 거동을 이해해야 한다. Among these, the fluidized bed reactor operates as the catalyst undergoes a chemical reaction with the reaction gas. At this time, the yield of the reaction product is determined not only by the temperature and pressure of the reactor, but also by the contact area with the catalyst, residence time, and solid hold-up by location. and selectivity are determined. Therefore, for efficient process design, reactor stability verification, and process optimization, it is necessary to understand the behavior of the catalyst in gas.

이와 같이, 유체 내에서의 입자의 운동을 파악하기 위해, 종래에는, PIV(Particle Image Velocimetry) 방식을 사용하였다. In this way, in order to understand the movement of particles in a fluid, the PIV (Particle Image Velocimetry) method has been used conventionally.

PIV는 연속체인 유체의 흐름을 분석하기 위해, 모든 픽셀에서의 입자의 속도 벡터를 계산한다. 보다 구체적으로, PIV는 교차상관분석(cross-correlation)에 기반하여 현재 프레임 내 어느 픽셀이 다음 프레임 내 어느 픽셀과 가장 유사한지에 대한 정보를 바탕을 개별 픽셀에서 속도장을 계산한다. PIV calculates the velocity vector of a particle at every pixel to analyze the flow of a continuous fluid. More specifically, PIV calculates the velocity field at individual pixels based on cross-correlation, which provides information about which pixel in the current frame is most similar to which pixel in the next frame.

그러나, 종래의 PIV는 노이즈에 민감하기 때문에 저배율 영상에서는 분석이 어렵고, 낙하하는 입자의 거동의 경우 촬영된 모든 픽셀이 입자로 표현되지 않으므로 정확도가 낮은 단점이 있다.However, conventional PIV is sensitive to noise, so it is difficult to analyze in low-magnification images, and in the case of falling particle behavior, not all captured pixels are expressed as particles, so it has the disadvantage of low accuracy.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 고속, 고정밀 및 고신뢰성의 입자 추적 장치를 제공하는 데 있다.The purpose of the present invention to solve the above problems is to provide a high-speed, high-precision, and high-reliability particle tracking device.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 고속, 고정밀 및 고신뢰성의 입자 추적 방법을 제공하는 데 있다.Another purpose of the present invention to solve the above problems is to provide a high-speed, high-precision, and high-reliability particle tracking method.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 입자 추적 장치는, 메모리(memory) 및 상기 메모리에 저장된 적어도 하나의 명령을 실행하는 프로세서(processor)를 포함하되, 상기 적어도 하나의 명령은, 유체 내에서 낙하하는 적어도 하나의 입자를 촬영한 적어도 하나의 프레임 이미지를 수신하도록 하는 명령, 상기 적어도 하나의 프레임 이미지를 이진화하고, 상기 프레임 이미지로부터 각각 상기 적어도 하나의 입자를 추출하도록 하는 명령, 상기 적어도 하나의 입자를 색인(Index)화하도록 하는 명령, 및 상기 적어도 하나의 프레임 이미지로부터 상기 색인화된 입자의 위치 정보를 획득하여, 상기 색인화된 입자의 낙하 경로를 추적하도록 하는 명령을 포함한다.A particle tracking device according to an embodiment of the present invention for achieving the above object includes a memory and a processor that executes at least one command stored in the memory, wherein the at least one command is: A command for receiving at least one frame image of at least one particle falling in a fluid, a command for binarizing the at least one frame image and extracting the at least one particle from each of the frame images, It includes a command to index at least one particle, and a command to obtain position information of the indexed particle from the at least one frame image and track the falling path of the indexed particle.

또한, 상기 적어도 하나의 명령은, 상기 적어도 하나의 프레임 이미지를 전처리하도록 하는 명령을 더 포함할 수 있다.Additionally, the at least one command may further include a command to preprocess the at least one frame image.

이때, 상기 적어도 하나의 프레임 이미지를 전처리하도록 하는 명령은, 상기 적어도 하나의 프레임 이미지를 대상으로 조명에 따른 밝기 왜곡을 보정하도록 하는 명령, 상기 적어도 하나의 프레임 이미지의 배경 밝기를 균일화하도록 하는 명령, 및 상기 적어도 하나의 프레임 이미지의 색 대비(Color Contrast)를 증가시키도록 하는 명령을 포함할 수 있다.At this time, the command to preprocess the at least one frame image includes a command to correct brightness distortion due to lighting for the at least one frame image, a command to equalize the background brightness of the at least one frame image, and a command to increase color contrast of the at least one frame image.

여기서, 상기 적어도 하나의 입자를 추출하도록 하는 명령은, 오수 방법(Otsu's method)에 의해 설정된 특정 임계값을 기준으로 상기 적어도 하나의 프레임 이미지를 이진화하도록 하는 명령, 형태학적 복원(Morphological Reconstruction) 기법을 이용하여, 상기 적어도 하나의 프레임 이미지에서의 상기 낙하 경로 추적이 불필요한 적어도 하나의 입자를 제거하도록 하는 명령, 및 적어도 하나의 프레임 이미지로부터 노이즈를 제거하도록 하는 명령을 포함할 수 있다.Here, the command to extract the at least one particle is a command to binarize the at least one frame image based on a specific threshold set by Otsu's method, and a morphological reconstruction technique. The method may include a command to remove at least one particle that is unnecessary for tracking the falling path in the at least one frame image, and a command to remove noise from the at least one frame image.

한편, 상기 적어도 하나의 입자를 색인화하도록 하는 명령에서는, 특정 프레임 이미지를 기준으로, 연속적인 프레임 이미지와 적어도 일부 영역이 겹치는 적어도 하나의 입자를 추출하여 색인화 할 수 있다.Meanwhile, in the command to index at least one particle, at least one particle whose area overlaps at least a portion of a continuous frame image can be extracted and indexed based on a specific frame image.

또한, 상기 적어도 하나의 입자를 색인화하도록 하는 명령에서는, 특정 프레임 이미지를 기준으로, 이전 프레임 이미지에서 추출되지 않은 적어도 하나의 신규 입자를 추출하여 색인화 할 수 있다.Additionally, in the command to index at least one particle, at least one new particle not extracted from the previous frame image can be extracted and indexed based on a specific frame image.

그리고, 상기 적어도 하나의 명령은, 상기 적어도 하나의 입자를 색인화하는 명령 이후에, 색인화 된 상기 입자가 촬영된 적어도 하나의 프레임 이미지의 수가 특정 임계값 이하일 경우, 상기 입자를 색인화 정보에서 삭제하도록 하는 명령을 더 포함할 수 있다. And, the at least one command is to delete the particle from the indexing information if, after the command for indexing the at least one particle, the number of at least one frame image in which the indexed particle is captured is less than or equal to a certain threshold. Additional commands may be included.

또한, 상기 색인화된 입자의 낙하 경로를 추적하도록 하는 명령은, 상기 적어도 하나의 프레임 이미지로부터 상기 색인화된 입자의 위치 정보를 획득하도록 하는 명령, 및 상기 색인화된 입자의 대한 위치 정보를 이용하여, 상기 색인화된 입자의 낙하 경로를 추적하도록 하는 명령을 포함할 수 있다.In addition, the command for tracking the falling path of the indexed particle may include a command for obtaining location information of the indexed particle from the at least one frame image, and using the location information for the indexed particle, It may contain instructions to trace the falling path of the indexed particle.

또한, 상기 적어도 하나의 명령은, 상기 색인화된 입자의 낙하 속도를 획득하도록 하는 명령을 더 포함할 수 있다.Additionally, the at least one command may further include a command to obtain the falling speed of the indexed particle.

이때, 상기 색인화된 입자의 낙하 속도를 획득하도록 하는 명령에서는, 상기 색인화된 입자에 대한 적어도 하나의 프레임 이미지 별 위치 정보를 선형 회귀함으로써 기울기를 산출하여 낙하 속도를 획득할 수 있다.At this time, in the command to obtain the falling speed of the indexed particle, the falling speed can be obtained by calculating the slope by linearly regressing the position information for each frame image of the indexed particle.

또한, 상기 적어도 하나의 명령은, 상기 색인화된 입자의 크기를 산출하도록 하는 명령을 더 포함할 수 있다.Additionally, the at least one command may further include a command for calculating the size of the indexed particle.

이때, 상기 색인화된 입자의 크기를 산출하도록 하는 명령은, 상기 색인화된 입자가 촬영된 적어도 하나의 프레임 이미지로부터 상기 입자의 크기를 개별적으로 추출하여 이들의 평균값을 산출하도록 하는 명령 및 상기 입자의 입도 분포를 고려하여 상기 입자의 평균값을 조정(Scaling)하도록 하는 명령을 더 포함할 수 있다.At this time, the command to calculate the size of the indexed particle includes a command to individually extract the size of the particle from at least one frame image in which the indexed particle is photographed and calculate the average value, and the particle size of the particle. A command for scaling the average value of the particles in consideration of distribution may be further included.

또한, 상기 입자 추적 장치는 상기 입자의 크기, 낙하 속도 및 낙하 경로를 항력 모델(drag model)에 검증 데이터로 제공할 수 있다.Additionally, the particle tracking device can provide the particle's size, falling speed, and falling path as verification data to a drag model.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 입자 추적 방법은, 유체 내에서 낙하하는 적어도 하나의 입자를 촬영한 적어도 하나의 프레임 이미지를 수신하는 단계, 상기 적어도 하나의 프레임 이미지를 이진화하여, 상기 프레임 이미지로부터 각각 상기 적어도 하나의 입자를 추출하는 단계, 상기 적어도 하나의 입자를 색인(Index)화하는 단계 및 상기 적어도 하나의 프레임 이미지로부터 상기 색인화된 입자의 위치 정보를 획득하여, 상기 색인화된 입자의 낙하 경로를 추적하는 단계를 포함한다.A particle tracking method according to another embodiment of the present invention for achieving the above object includes receiving at least one frame image of at least one particle falling in a fluid, binarizing the at least one frame image, , extracting the at least one particle from the frame image, indexing the at least one particle, and obtaining location information of the indexed particle from the at least one frame image, and indexing the at least one particle. It includes the step of tracking the falling path of the particles.

또한, 상기 입자 추적 방법은 상기 적어도 하나의 프레임 이미지를 전처리하는 단계를 더 포함할 수 있다.Additionally, the particle tracking method may further include preprocessing the at least one frame image.

이때, 상기 적어도 하나의 프레임 이미지를 전처리하는 단계는, 상기 적어도 하나의 프레임 이미지를 대상으로 조명에 따른 밝기 왜곡을 보정하는 단계, 상기 적어도 하나의 프레임 이미지의 배경 밝기를 균일화하는 단계 및 상기 적어도 하나의 프레임 이미지의 색 대비(Color Contrast)를 증가시키는 단계를 포함할 수 있다.At this time, the preprocessing of the at least one frame image includes correcting brightness distortion due to lighting for the at least one frame image, equalizing background brightness of the at least one frame image, and the at least one It may include increasing the color contrast of the frame image.

또한, 상기 적어도 하나의 입자를 추출하는 단계는, 오수 방법(Otsu's method)에 의해 설정된 특정 임계값을 기준으로 상기 적어도 하나의 프레임 이미지를 이진화하는 단계, 형태학적 복원(Morphological Reconstruction) 기법을 이용하여, 상기 적어도 하나의 프레임 이미지에서의 상기 낙하 경로 추적이 불필요한 적어도 하나의 입자를 제거하는 단계 및 적어도 하나의 프레임 이미지로부터 노이즈를 제거하는 단계를 포함할 수 있다.In addition, the step of extracting the at least one particle includes binarizing the at least one frame image based on a specific threshold set by Otsu's method, and using a morphological reconstruction technique. , removing at least one particle that is unnecessary to track the falling path from the at least one frame image, and removing noise from the at least one frame image.

한편, 상기 적어도 하나의 입자를 색인화하는 단계에서는, 특정 프레임 이미지를 기준으로, 연속적인 프레임 이미지와 적어도 일부 영역이 겹치는 적어도 하나의 입자를 추출하여 색인화 할 수 있다.Meanwhile, in the step of indexing the at least one particle, at least one particle that overlaps at least a portion of the continuous frame image with a specific frame image may be extracted and indexed.

또한, 상기 적어도 하나의 입자를 색인화하는 단계에서는, 특정 프레임 이미지를 기준으로, 이전 프레임 이미지에서 추출되지 않은 적어도 하나의 신규 입자를 추출하여 색인화 할 수 있다.Additionally, in the step of indexing the at least one particle, at least one new particle not extracted from the previous frame image may be extracted and indexed based on a specific frame image.

한편, 상기 입자 추적 방법은 상기 적어도 하나의 입자를 색인화하는 단계 이후에, 색인화 된 상기 입자가 촬영된 적어도 하나의 프레임 이미지의 수가 특정 임계값 이하일 경우, 상기 입자를 색인화 정보에서 삭제하는 단계를 더 포함할 수 있다.Meanwhile, the particle tracking method further includes, after the step of indexing the at least one particle, deleting the particle from the indexing information when the number of at least one frame image in which the indexed particle is captured is less than or equal to a certain threshold. It can be included.

한편, 상기 색인화된 입자의 낙하 경로를 추적하는 단계는, 상기 적어도 하나의 프레임 이미지로부터 상기 색인화된 입자의 위치 정보를 획득하는 단계 및 상기 색인화된 입자의 대한 위치 정보를 이용하여, 상기 색인화된 입자의 낙하 경로를 추적하는 단계를 포함할 수 있다.Meanwhile, the step of tracking the falling path of the indexed particle includes obtaining position information of the indexed particle from the at least one frame image and using the position information about the indexed particle, It may include the step of tracking the falling path.

또한, 상기 입자 추적 방법은, 상기 색인화된 입자의 낙하 속도를 획득하는 단계를 더 포함할 수 있다.Additionally, the particle tracking method may further include obtaining the falling speed of the indexed particle.

이때, 상기 색인화된 입자의 낙하 속도를 획득하는 단계에서는, 상기 색인화된 입자에 대한 적어도 하나의 프레임 이미지 별 위치 정보를 선형 회귀함으로써 기울기를 산출하여 낙하 속도를 획득할 수 있다.At this time, in the step of acquiring the falling speed of the indexed particle, the falling speed may be obtained by calculating the slope by linearly regressing the position information for each frame image for the indexed particle.

또한, 상기 입자 추적 방법은 상기 색인화된 입자의 크기를 산출하는 단계를 더 포함할 수 있다.Additionally, the particle tracking method may further include calculating the size of the indexed particle.

여기서, 상기 색인화된 입자의 크기를 산출하는 단계는, 상기 색인화된 입자가 촬영된 적어도 하나의 프레임 이미지로부터 상기 입자의 크기를 개별적으로 추출하여 이들의 평균값을 산출하는 단계 및 상기 입자의 입도 분포를 고려하여 상기 입자의 평균값을 조정(Scaling) 하는 단계를 더 포함할 수 있다.Here, the step of calculating the size of the indexed particle includes extracting the size of the particle individually from at least one frame image in which the indexed particle is captured, calculating the average value thereof, and calculating the particle size distribution of the particle. A step of scaling the average value of the particles may be further included.

본 발명의 실시예에 따른 입자 추적 장치 및 방법은 유체 내에서 낙하하는 적어도 하나의 입자를 촬영한 적어도 하나의 프레임 이미지를 수신하는 단계, 상기 적어도 하나의 프레임 이미지를 이진화하여, 상기 프레임 이미지로부터 각각 상기 적어도 하나의 입자를 추출하는 단계, 상기 적어도 하나의 입자를 색인(Index)화하는 단계 및 상기 적어도 하나의 프레임 이미지로부터 상기 색인화된 입자의 위치 정보를 획득하여, 상기 색인화된 입자의 낙하 경로를 추적하는 단계를 포함함으로써, 적어도 하나의 입자가 색인화되어 신속하고 정확한 낙하 경로 추적이 가능하며, 상기 입자의 입도 분포에 따른 낙하 속도 획득이 가능함으로, 고속, 고정밀 및 고신뢰성의 입자 추적 장치 및 방법을 제공할 수 있다.A particle tracking device and method according to an embodiment of the present invention includes receiving at least one frame image of at least one particle falling in a fluid, binarizing the at least one frame image, and selecting each frame image from the frame image. Extracting the at least one particle, indexing the at least one particle, and obtaining position information of the indexed particle from the at least one frame image to determine the falling path of the indexed particle. By including the step of tracking, at least one particle is indexed to enable rapid and accurate falling path tracking, and it is possible to obtain a falling speed according to the particle size distribution of the particle, so a high-speed, high-precision and high-reliability particle tracking device and method can be provided.

도 1은 본 발명의 실시예에 따른 입자 추적 장치의 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 입자 추적 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 실험예에 따른 유체 내에서 낙하하는 탄소나노튜브(CNT) 입자를 저배율의 초고속 카메라로 촬영한 프레임 이미지이다.
도 4는 본 발명의 실험예에 따라 전처리한 프레임 이미지들이다.
도 5는 본 발명의 실험예에 따른 프레임 이미지로부터 적어도 하나의 입자를 추출하는 방법을 설명하기 위한 이진화 된 프레임 이미지들이다.
도 6은 본 발명의 실험예에 따른 색인화 된 입자가 표시된 이진화된 프레임 이미지이다.
도 7은 본 발명의 실험예에 따른 색인화 된 51번 입자의 낙하 경로를 추적하는 단계를 설명하기 위한 프레임 이미지들이다.
도 8는 본 발명의 실험예에 따른 색인화 된 51번 입자의 낙하 경로를 추적한 그래프이다.
도 9는 본 발명의 실시예 및 실험예를 비교한, 색인화된 입자를 대상으로 한 입도 분포 그래프이다.
도 10은 본 발명의 실험예에 따른 색인화 된 입자의 입도 분포에 따른 낙하 경로 그래프이다.
1 is a block diagram of a particle tracking device according to an embodiment of the present invention.
Figure 2 is a flowchart for explaining a particle tracking method according to an embodiment of the present invention.
Figure 3 is a frame image taken with a low-magnification, high-speed camera of carbon nanotube (CNT) particles falling in a fluid according to an experimental example of the present invention.
Figure 4 shows frame images preprocessed according to an experimental example of the present invention.
Figure 5 shows binarized frame images to explain a method of extracting at least one particle from a frame image according to an experimental example of the present invention.
Figure 6 is a binarized frame image showing indexed particles according to an experimental example of the present invention.
Figure 7 is a frame image for explaining the step of tracking the falling path of indexed particle No. 51 according to an experimental example of the present invention.
Figure 8 is a graph tracing the falling path of indexed particle No. 51 according to an experimental example of the present invention.
Figure 9 is a particle size distribution graph for indexed particles, comparing examples and experimental examples of the present invention.
Figure 10 is a graph of the falling path according to the particle size distribution of the indexed particles according to an experimental example of the present invention.

이하, 본 발명에 관련된 입자 추적 장치 및 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.Hereinafter, the particle tracking device and method related to the present invention will be described in more detail with reference to the drawings. However, the present invention may be implemented in many different forms and is not limited to the described embodiments. In order to clearly explain the present invention, parts not relevant to the description are omitted, and like reference numerals in the drawings indicate like members.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be.

이하의 설명에서 사용되는 구성요소에 대한 접미사 “모듈” 및 “부”는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.The suffixes “module” and “part” for components used in the following description are given or used interchangeably only for the ease of preparing the specification, and do not have distinct meanings or roles in themselves.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

본 발명은 입자 추적 장치 및 이를 이용한 입자 속도 분석 방법에 관한 것이다.The present invention relates to a particle tracking device and a particle velocity analysis method using the same.

도 1은 본 발명의 실시예에 따른 입자 추적 장치의 블록 구성도이다.1 is a block diagram of a particle tracking device according to an embodiment of the present invention.

도 1을 참조하면, 입자 추적 장치(1000)는 유체 내에서 낙하하는 입자를 촬영한 적어도 하나의 프레임 이미지를 입력 받을 수 있다. 이에 따라, 입자 추적 장치(1000)는 적어도 하나의 프레임 이미지로부터 입자를 추출하여, 유체 내에서 낙하하는 입자의 낙하 경로를 추적할 수 있다. 예를 들어, 적어도 하나의 프레임 이미지는 소정 직경의 원통 관을 통해 낙하시킨 탄소 나노 튜브(Carbone Nano Tube, CNT) 입자를 촬영한 이미지일 수 있다.Referring to FIG. 1, the particle tracking device 1000 may receive at least one frame image of a particle falling in a fluid. Accordingly, the particle tracking device 1000 can extract particles from at least one frame image and track the falling path of the particles falling in the fluid. For example, at least one frame image may be an image of carbon nano tube (CNT) particles dropped through a cylindrical tube of a predetermined diameter.

또한, 입자 추적 장치(1000)는 적어도 하나의 프레임 이미지로부터 입자를 추출함으로써, 입자의 크기 및 낙하 경로를 산출할 수 있다. Additionally, the particle tracking device 1000 can calculate the size and falling path of the particle by extracting the particle from at least one frame image.

본 발명의 실시예에 따른 입자 추적 장치에 대해 구성별로 보다 자세히 설명하면, 입자 추적 장치(1000)는 메모리(100) 및 상기 메모리(100)의 적어도 하나의 명령을 실행하는 프로세서(200)를 포함할 수 있다.To describe the particle tracking device according to an embodiment of the present invention in more detail by configuration, the particle tracking device 1000 includes a memory 100 and a processor 200 that executes at least one command of the memory 100. can do.

또한, 입자 추적 장치(1000)는 상기 프로세서(200)를 통해 실행되는 네트워크와 연결되어 통신을 수행하는 송수신 장치(300), 입력 인터페이스 장치(400), 출력 인터페이스 장치(500) 및 저장 장치(600) 등을 더 포함할 수 있다.In addition, the particle tracking device 1000 includes a transmission and reception device 300, an input interface device 400, an output interface device 500, and a storage device 600 that are connected to a network running through the processor 200 and perform communication. ) and the like may further be included.

입자 추적 장치(1000)에 포함된 각각의 구성 요소들은 버스(bus, 700)에 의해 연결되어 서로 통신을 수행할 수 있다.Each component included in the particle tracking device 1000 is connected by a bus 700 and can communicate with each other.

입자 추적 장치(1000) 내 메모리(100) 및 저장 장치(600)는 각각 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(100)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.The memory 100 and the storage device 600 in the particle tracking device 1000 may each be composed of at least one of a volatile storage medium and a non-volatile storage medium. For example, the memory 100 may be comprised of at least one of read only memory (ROM) and random access memory (RAM).

메모리(100)는 후술될 프로세서(200)에 의해 실행될 적어도 하나의 명령을 포함할 수 있다. Memory 100 may include at least one instruction to be executed by processor 200, which will be described later.

실시예에 따르면, 적어도 하나의 명령은, 유체 내에서 낙하하는 적어도 하나의 입자를 촬영한 적어도 하나의 프레임 이미지를 수신하도록 하는 명령, 상기 적어도 하나의 프레임 이미지를 이진화하여 상기 프레임 이미지로부터 각각 상기 적어도 하나의 입자를 추출하도록 하는 명령, 상기 적어도 하나의 입자를 색인(Index)화하도록 하는 명령, 및 상기 적어도 하나의 프레임 이미지로부터 상기 색인화된 입자의 위치 정보를 획득하여, 상기 색인화된 입자의 낙하 경로를 추적하도록 하는 명령을 포함할 수 있다.According to an embodiment, the at least one command includes a command to receive at least one frame image of at least one particle falling in a fluid, binarizing the at least one frame image to obtain the at least one image from the frame image, respectively. A command for extracting one particle, a command for indexing the at least one particle, and obtaining location information of the indexed particle from the at least one frame image to determine the falling path of the indexed particle. It may contain commands to track .

프로세서(200)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. The processor 200 may refer to a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed.

프로세서(200)는 앞서 설명한 바와 같이, 메모리(100)에 저장된 적어도 하나의 프로그램 명령(program command)을 실행할 수 있다. As described above, the processor 200 may execute at least one program command stored in the memory 100.

이상, 본 발명의 실시예에 따른 입자 추적 장치를 설명하였다. 이하에서는 본 발명의 실험예에 따른 상기 입자 추적 장치를 설명하겠다.Above, a particle tracking device according to an embodiment of the present invention has been described. Hereinafter, the particle tracking device according to an experimental example of the present invention will be described.

본 발명의 실험예에 따른 입자 추적 장치를 이용한 입자 추적Particle tracking using a particle tracking device according to an experimental example of the present invention

소정 직경을 갖는 원통형의 관, 탄소나노튜브(Carbone Nano Tube, CNT) 파우더, 저배율의 고속 카메라 및 본 발명의 실시예에 따른 입자 추적 장치를 준비하였다.A cylindrical tube with a predetermined diameter, carbon nanotube (CNT) powder, a low-magnification high-speed camera, and a particle tracking device according to an embodiment of the present invention were prepared.

원형의 관에 탄소나노튜브(CNT) 파우더를 낙하하여, 저배율의 초고속 카메라로 영상을 촬영하였다.Carbon nanotube (CNT) powder was dropped into a circular tube, and images were captured with a low-magnification, high-speed camera.

이후, 초고속 카메라로부터 촬영된 적어도 하나의 프레임 이미지를 수신하여 유체 내에서 낙하하는 탄소나노튜브(CNT) 파우더의 입도의 낙하 경로를 추적하고, 낙하 속도를 획득하였다.Afterwards, at least one frame image taken from a high-speed camera was received, the falling path of the particle size of the carbon nanotube (CNT) powder falling in the fluid was traced, and the falling speed was obtained.

이하에서는 상기 실험예를 참조하여, 본 발명의 실시예에 따른 입자 추적 장치 내 프로세서 동작에 의해 실행되는 입자 추적 방법에 대해 보다 자세히 설명하겠다.Hereinafter, with reference to the above experimental example, the particle tracking method executed by the processor operation in the particle tracking device according to the embodiment of the present invention will be described in more detail.

도 2는 본 발명의 실시예에 따른 입자 추적 방법을 설명하기 위한 순서도이다.Figure 2 is a flowchart for explaining a particle tracking method according to an embodiment of the present invention.

도 2를 참조하면, 입자 추적 장치(1000) 내 프로세서(200)는 유체 내에서 낙하하는 입자가 촬영된 적어도 하나의 프레임 이미지를 입력 받을 수 있다(S1000). 다시 말해, 프로세서(200)는 유체 내에서 낙하하는 입자가 촬영된 적어도 하나의 프레임 이미지를 외부 촬영 기기로부터 수신할 수 있다.Referring to FIG. 2, the processor 200 in the particle tracking device 1000 may receive at least one frame image in which particles falling in a fluid are captured (S1000). In other words, the processor 200 may receive at least one frame image in which particles falling in a fluid are captured from an external imaging device.

도 3은 본 발명의 실험예에 따른 유체 내에서 낙하하는 탄소나노튜브(CNT) 입자를 저배율의 초고속 카메라로 촬영한 프레임 이미지이다.Figure 3 is a frame image taken with a low-magnification, high-speed camera of carbon nanotube (CNT) particles falling in a fluid according to an experimental example of the present invention.

도 3을 참조하면, 적어도 하나의 프레임 이미지는 유체 내에서 낙하하는 입자를 촬영한 이미지일 수 있다. 실시예에 따르면, 적어도 하나의 프레임 이미지는 소정 직경을 갖는 원통형의 관에서 낙하하는 탄소나노튜브(CNT) 입자를 촬영한 이미지일 수 있다. 그러나 개시된 바에 국한되지 않고, 적어도 하나의 프레임 이미지는 유체 내에서 낙하하는 입자를 촬영할 수 있는 모든 영상 촬영 기기로부터 획득될 수 있다. 예를 들어, 적어도 하나의 프레임 이미지는 초고속 카메라 또는 전자 현미경으로 촬영될 수 있다.Referring to FIG. 3, at least one frame image may be an image of particles falling in a fluid. According to an embodiment, at least one frame image may be an image of carbon nanotube (CNT) particles falling from a cylindrical tube with a predetermined diameter. However, without being limited to the disclosure, at least one frame image may be obtained from any imaging device capable of photographing particles falling in a fluid. For example, at least one frame image may be captured with a high-speed camera or electron microscope.

다시 도 2를 참조하면, 적어도 하나의 프레임 이미지에는 적어도 하나의 측량 이미지가 포함될 수 있다. 여기서, 측량 이미지는 실제 길이 정보를 알고 있는 사물 또는 실제 위치 정보를 알고 있는 특정 지점을 촬영한 부분 이미지일 수 있다. 이에 따라, 프로세서(200)는 측량 이미지의 비율을 고려하여 프레임 이미지 내에서의 한 픽셀(pixel) 당 물리적 길이를 산출할 수 있다. Referring again to FIG. 2, at least one frame image may include at least one survey image. Here, the survey image may be a partial image taken of an object whose actual length information is known or a specific point whose actual location information is known. Accordingly, the processor 200 can calculate the physical length per pixel in the frame image by considering the ratio of the survey image.

이에 따라, 프로세서(200)는 후술될 적어도 하나의 입자의 크기를 산출하는 단계 시, 측량 이미지를 이용하여 산출된 픽셀의 물리적 길이를 고려하여, 적어도 하나의 입자의 크기를 산출할 수 있다. 적어도 하나의 입자의 크기를 산출하는 단계는 하기에서 보다 자세히 설명하겠다.Accordingly, when calculating the size of at least one particle, which will be described later, the processor 200 may calculate the size of at least one particle by considering the physical length of the pixel calculated using the survey image. The step of calculating the size of at least one particle will be described in more detail below.

프로세서(200)는 사용자로부터 기준 정보(parameter)를 입력 받을 수 있다(S2000). 이때, 기준 정보는 후술될 적어도 하나의 프레임 이미지로 하여금 적어도 하나의 입자를 추출하기 위한 조건 정보일 수 있다.The processor 200 may receive reference information (parameters) from the user (S2000). At this time, the reference information may be condition information for extracting at least one particle from at least one frame image, which will be described later.

다시 말하면, 프로세서(200)는 후술될 적어도 하나의 입자를 색인(Index)화 하는 단계 시, 기준 정보를 만족하지 않는 적어도 하나의 입자는 노이즈로 간주할 수 있다. 실시예에 따르면, 기준 정보는 1 픽셀(pixel) 당 6㎛의 길이를 갖고, 10 프레임(frame) 이상 추적이 가능한 조건 정보를 포함할 수 있다. In other words, when the processor 200 indexes at least one particle, which will be described later, at least one particle that does not satisfy the reference information may be regarded as noise. According to an embodiment, the reference information has a length of 6㎛ per pixel and may include condition information that allows tracking for 10 frames or more.

이후, 프로세서(200)는 적어도 하나의 프레임 이미지를 전처리 할 수 있다(S3000). 프레임 이미지의 전처리 단계에 대해서는 하기 도 5를 참조하여 보다 구체적으로 설명하겠다.Afterwards, the processor 200 may preprocess at least one frame image (S3000). The pre-processing step of the frame image will be described in more detail with reference to FIG. 5 below.

도 4는 본 발명의 실험예에 따라 전처리한 프레임 이미지들이다. 보다 구체적으로, 도 4의 (a)는 초고속 카메라로 촬영된 CNT 입자의 프레임 이미지이고, 도 4의 (b)는 도 4의 (a)로부터 추정된 조명 이미지이며, 도 4의 (c)는 조명 효과가 제거된 CNT 입자의 프레임 이미지이고, 도 4의 (d)는 픽셀 밝기를 균일하게 조정한 프레임 이미지이며, 도 4의 (e)는 색 대비(contrast)를 증가시킨 프레임 이미지이다.Figure 4 shows frame images preprocessed according to an experimental example of the present invention. More specifically, Figure 4(a) is a frame image of CNT particles taken with a high-speed camera, Figure 4(b) is an illumination image estimated from Figure 4(a), and Figure 4(c) is This is a frame image of CNT particles with the lighting effect removed, (d) in Figure 4 is a frame image with pixel brightness adjusted uniformly, and (e) in Figure 4 is a frame image with increased color contrast.

도 4의 (a) 및 (b)를 참조하면, 적어도 하나의 프레임 이미지는 조명의 영향으로 인해 픽셀 별로 불균일한 밝기 값을 가질 수 있다. 이에 따라, 프로세서(200)는, 적어도 하나의 프레임 이미지에서의 조명에 따른 밝기 왜곡을 보정할 수 있다(S3100). 실시예에 따르면, 프로세서(200)는 이변수 사차다항식을 이용하여, 조명에 따른 밝기 왜곡이 보정된 프레임 이미지(도 4의 (c) 참조)를 획득할 수 있다.Referring to Figures 4 (a) and (b), at least one frame image may have non-uniform brightness values for each pixel due to the influence of lighting. Accordingly, the processor 200 may correct brightness distortion due to lighting in at least one frame image (S3100). According to an embodiment, the processor 200 may obtain a frame image (see (c) of FIG. 4) in which brightness distortion due to lighting has been corrected using a bivariate quartic polynomial.

이후, 프로세서(200)는, 도 4의 (d)와 같이, 밝기 왜곡이 보정된 적어도 하나의 프레임 이미지를 대상으로, 배경 부분의 밝기를 균일화 할 수 있다(S3300). Thereafter, the processor 200 may equalize the brightness of the background portion of at least one frame image for which brightness distortion has been corrected, as shown in (d) of FIG. 4 (S3300).

실시예에 따라 보다 자세히 설명하면, 프로세서(200)는 알려진 포아송 방정식(Screened Poisson Equation)을 이용하여, 적어도 하나의 프레임 이미지의 배경 밝기를 균일화 할 수 있다.In more detail depending on the embodiment, the processor 200 may equalize the background brightness of at least one frame image using the known Poisson equation (Screened Poisson Equation).

또한, 프로세서(200)는, 도 4의 (e)와 같이, 배경 밝기가 균일화된 적어도 하나의 상기 프레임 이미지를 대상으로, 색 대비(color Contrast)를 증가시킬 수 있다(S3500).Additionally, the processor 200 may increase color contrast for at least one frame image with uniform background brightness, as shown in (e) of FIG. 4 (S3500).

다시 도 2를 참조하면, 프로세서(200)는 전처리 된 적어도 하나의 프레임 이미지로부터 적어도 하나의 입자를 추출할 수 있다(S4000). 프레임 이미지 내에서 적어도 하나의 입자를 추출하는 단계는 하기 도 5를 참조하여 보다 자세히 설명하겠다.Referring again to FIG. 2, the processor 200 may extract at least one particle from at least one preprocessed frame image (S4000). The step of extracting at least one particle from a frame image will be described in more detail with reference to FIG. 5 below.

도 5는 본 발명의 실험예에 따른 프레임 이미지로부터 적어도 하나의 입자를 추출하는 방법을 설명하기 위한 이진화 된 프레임 이미지들이다. 보다 구체적으로, 도 5의 (a)는 초고속 카메라로 CNT 입자를 촬영한 1번째 프레임(frame 1) 이미지이고, 도 5의 (b)는 CNT 입자를 촬영한 1000번째 프레임(frame 1000) 이미지이며, 도 5의 (c)는 도 5의 (b)를 전역 이진화(Global Thresholding)한 프레임 이미지이고, 도 5의 (d)는 형태학적 복원(Morphological Reconstruction) 과정을 거친 프레임 이미지이며, 도 5의 (e)는 노이즈가 제거된 프레임 이미지이다.Figure 5 shows binarized frame images to explain a method of extracting at least one particle from a frame image according to an experimental example of the present invention. More specifically, Figure 5(a) is the first frame (frame 1) image taken of CNT particles with a high-speed camera, and Figure 5(b) is the 1000th frame (frame 1000) image taken of CNT particles. , (c) in Figure 5 is a frame image obtained by global thresholding of (b) in Figure 5, and (d) in Figure 5 is a frame image that has undergone a morphological reconstruction process, and in Figure 5 (e) is a frame image with noise removed.

도 5를 참조하면, 프로세서(200)는 프레임 이미지 내에서 적어도 하나의 입자를 추출하기 위해, 전처리 된 적어도 하나의 프레임 이미지를 대상으로 이진화를 수행할 수 있다.Referring to FIG. 5, the processor 200 may perform binarization on at least one preprocessed frame image to extract at least one particle within the frame image.

실시예에 따라 보다 구체적으로 설명하면, 프로세서(200)는 상기 적어도 하나의 프레임 이미지를 대상으로, 특정 임계값 이상의 픽셀들은 흰색으로 처리하고, 상기 임계값 이하의 픽셀들은 검은색은 처리하는 이진화를 수행할 수 있다. To explain in more detail according to the embodiment, the processor 200 performs binarization on the at least one frame image, processing pixels above a certain threshold as white, and processing pixels below the threshold as black. It can be done.

다시 말해, 프로세서(200)는 적어도 하나의 프레임 이미지를 전역 이진화(Global Thresholding) 할 수 있다. 여기서, 특정 임계값은 Otsu's method를 이용하여, inter-class variance가 최대가 되는 값으로 설정될 수 있다. Otsu's method를 이용하여 특정 임계값을 설정하는 방법은 종래의 주지기술로써 자세한 설명은 생략하도록 하겠다. In other words, the processor 200 may perform global thresholding on at least one frame image. Here, the specific threshold can be set to a value that maximizes inter-class variance using Otsu's method. The method of setting a specific threshold using Otsu's method is a known conventional technique, so detailed explanation will be omitted.

이후, 프로세서(200)는 형태학적 복원(Morphological Reconstruction) 기법을 이용하여, 적어도 하나의 프레임 이미지 내에서 낙하 경로 추적이 불필요한 적어도 하나의 입자를 제거할 수 있다. Thereafter, the processor 200 may use a morphological reconstruction technique to remove at least one particle for which falling path tracking is unnecessary within at least one frame image.

실시예에 따르면, 프로세서(200)는 형태학적 복원(Morphological Reconstruction) 기법을 이용하여, n번째 프레임 이미지 및 1번째 프레임 이미지를 비교하여, n번째 프레임 이미지로부터 1번째 프레임 이미지와 겹치는 영역의 픽셀 데이터를 제거할 수 있다. According to an embodiment, the processor 200 compares the nth frame image and the 1st frame image using a morphological reconstruction technique to obtain pixel data from the nth frame image and the overlapping area with the 1st frame image. can be removed.

이후, 프로세서(200)는 상기 프레임 이미지로부터 노이즈를 제거할 수 있다. Thereafter, the processor 200 may remove noise from the frame image.

일 실시예에 따르면, 프로세서(200)는 상기 프레임 이미지 내 특정 크기 이하로 인식된 영역(area opening)을 노이즈로 인식하여 제거할 수 있다. According to one embodiment, the processor 200 may recognize an area (area opening) recognized as being smaller than a certain size within the frame image as noise and remove it.

또한, 다른 실시예에 따르면, 프로세서(200)는 상기 프레임 이미지 내 경계(edge)와 닿아 있는 적어도 하나의 입자를 노이즈로 인식하여 border clearing 기법을 통해 제거하였다. 이에 따라, 본 발명의 실시예에 따른 입자 추적 장치(1000) 내 프로세서(200)는 이진화된 적어도 하나의 프레임 이미지로부터 적어도 하나의 입자를 추출할 수 있다.Additionally, according to another embodiment, the processor 200 recognized at least one particle in contact with an edge within the frame image as noise and removed it through a border clearing technique. Accordingly, the processor 200 in the particle tracking device 1000 according to an embodiment of the present invention can extract at least one particle from at least one binarized frame image.

다시 도 2를 참조하면, 프로세서(200)는 추출된 입자를 색인화 할 수 있다(S5000). 이후, 프로세서(200)는 색인화된 적어도 하나의 입자의 낙하 경로를 추적할 수 있다(S6000). Referring again to FIG. 2, the processor 200 may index the extracted particles (S5000). Thereafter, the processor 200 may track the falling path of at least one indexed particle (S6000).

다시 말하면, 프로세서(200)는 이진화된 프레임 이미지들을 기반으로, 추출된 입자들의 낙하 경로를 추적할 수 있다. 색인화된 입자의 낙하 경로를 추적하는 단계는 하기 도 6을 참조하여 보다 자세히 설명하겠다.In other words, the processor 200 can track the falling paths of the extracted particles based on the binarized frame images. The step of tracking the falling path of the indexed particles will be described in more detail with reference to FIG. 6 below.

도 6은 본 발명의 실험예에 따른 색인화 된 입자가 표시된 이진화된 프레임 이미지이다. Figure 6 is a binarized frame image showing indexed particles according to an experimental example of the present invention.

도 6을 참조하면, 프로세서(200)는 적어도 하나의 프레임 이미지에 포함된 적어도 하나의 입자를 색인(index)화 할 수 있다. Referring to FIG. 6, the processor 200 may index at least one particle included in at least one frame image.

일 실시예에 따르면, 프로세서(200)는 n번째 프레임 이미지를 기준으로, n+1번째 프레임 이미지와 적어도 일부 영역이 겹치는 입자를 추출하여, 색인(index)화 할 수 있다. 다시 말하면, 프로세서(200)는 특정 프레임 이미지를 기준으로, 연속적인 프레임 이미지와 적어도 일부 영역이 겹치는 적어도 하나의 입자를 추출하여 색인화 할 수 있다.According to one embodiment, the processor 200 may extract particles that overlap at least a portion of the area with the n+1th frame image, based on the nth frame image, and index them. In other words, the processor 200 may extract and index at least one particle that overlaps at least a portion of the continuous frame image with a specific frame image.

다른 실시예에 따르면, 프로세서(200)는 n번째 프레임 이미지로부터 n+1, n+2, … n+x번째 프레임 이미지를 비교하여, 이전 프레임 이미지에 존재하지 않는 신규 입자에 대해서도 신규 색인을 부여할 수 있다. 다시 말하면, 특정 프레임 이미지를 기준으로, 이전 프레임 이미지에서 추출되지 않은 적어도 하나의 신규 입자를 추출하여 색인화 할 수 있다.According to another embodiment, the processor 200 selects n+1, n+2,... from the nth frame image. By comparing the n+xth frame image, a new index can be assigned to new particles that do not exist in the previous frame image. In other words, based on a specific frame image, at least one new particle that was not extracted from the previous frame image can be extracted and indexed.

이때, 프로세서(200)는, 적어도 하나의 색인화 된 입자 중 어느 하나가 사용자로 하여금 초기 설정된 기준 정보에 부합하지 않을 경우, 해당 입자를 노이즈로 간주할 수 있다. 다시 말해, 프로세서(200)는 색인화 된 입자가 촬영된 프레임 영상의 개수가 사용자로 하여금 설정된 특정 임계값 이하의 프레임 이미지 수를 가질 경우, 해당 입자의 색인화 정보를 삭제할 수 있다.At this time, if any one of the at least one indexed particle does not meet the reference information initially set by the user, the processor 200 may regard the particle as noise. In other words, if the number of frame images in which an indexed particle is captured is less than or equal to a specific threshold set by the user, the processor 200 may delete the indexing information of the particle.

일 실시예에 따르면, 프로세서(200)는 색인화 된 입자의 크기가 일정 범위 이하 또는 이상일 경우, 해당 입자를 노이즈로 간주하여 색인화 정보를 삭제할 수 있다. 예를 들어, 프로세서(200)는 색인화 된 입자 중 어느 하나가 20 픽셀(pixel) 이하로 구성된 경우, 해당 입자를 노이즈로 간주하여 이에 대응하는 색인을 삭제할 수 있다.According to one embodiment, if the size of the indexed particle is below or above a certain range, the processor 200 may regard the particle as noise and delete the indexing information. For example, if one of the indexed particles consists of 20 pixels or less, the processor 200 may regard the particle as noise and delete the index corresponding to it.

이때, 입자의 크기는, 앞서 설명한 바와 같이, 사용자로 하여금 사전 설정된 초기 정보에 기준할 수 있으나, 이에 국한되지 않고, 특정 입자가 촬영된 프레임 이미지들 내 해당 입자의 크기의 평균을 산출하여 기준 정보로 사용할 수 있다.At this time, as described above, the size of the particle may be based on the initial information preset by the user, but is not limited to this, and the average of the size of the particle in the frame images in which the specific particle is captured is calculated to provide the reference information. It can be used as

다른 실시예에 따르면, 프로세서(200)는 색인화 된 입자가 촬영된 프레임 영상의 개수가 사용자로 하여금 설정된 특정 임계값 이하의 프레임 이미지 수를 가질 경우, 해당 입자의 색인화 정보를 삭제할 수 있다. 예를 들어, 프로세서(200)는 색인화 된 입자 중 어느 하나의 입자가 10 프레임(frame) 이하로 촬영될 경우, 해당 입자를 노이즈로 간주하여 이에 대응하는 색인을 삭제할 수 있다. 따라서, 본 발명의 실시예에 따른 입자 추적 방법은 입자의 식별 정보를 색인화 함으로써, 특정 입자의 낙하 경로 추적 시, 신속하고 정확한 경로 추적이 용이할 수 있다.According to another embodiment, the processor 200 may delete the indexing information of the particle when the number of frame images in which the indexed particle is captured is less than or equal to a specific threshold set by the user. For example, if one of the indexed particles is captured in less than 10 frames, the processor 200 may regard the particle as noise and delete the corresponding index. Therefore, the particle tracking method according to an embodiment of the present invention can facilitate quick and accurate path tracking when tracking the falling path of a specific particle by indexing the identification information of the particle.

도 7은 본 발명의 실험예에 따른 색인화 된 51번 입자의 낙하 경로를 추적하는 단계를 설명하기 위한 프레임 이미지들이다. 보다 구체적으로, 도 8의 (a)는 51번 입자가 촬영된 563번째 프레임 이미지(frame 563)이고, 도 8의 (b)는 51번 입자가 촬영된 570번째 프레임 이미지(frame 570)이며, 도 8의 (c)는 51번 입자가 촬영된 600번째 프레임 이미지(frame 600)이다.Figure 7 is a frame image for explaining the step of tracking the falling path of indexed particle No. 51 according to an experimental example of the present invention. More specifically, Figure 8 (a) is the 563rd frame image (frame 563) in which particle number 51 was photographed, and Figure 8 (b) is the 570th frame image (frame 570) in which particle number 51 was photographed. Figure 8(c) is the 600th frame image (frame 600) in which particle number 51 was photographed.

도 7을 참조하면, 프로세서(200)는 프레임 이미지 별로 색인화 된 특정 입자의 위치 정보를 획득할 수 있다. 실시예에 따르면, 프로세서(200)는 특정 입자가 촬영된 적어도 하나의 프레임 이미지로부터 해당 입자의 2차원 위치 좌표(x-y)를 개별적으로 획득할 수 있다.Referring to FIG. 7, the processor 200 may obtain location information of a specific particle indexed for each frame image. According to an embodiment, the processor 200 may individually obtain two-dimensional position coordinates (x-y) of a specific particle from at least one frame image in which the specific particle is photographed.

도 8는 본 발명의 실험예에 따른 색인화 된 51번 입자의 낙하 경로를 추적한 그래프이다.Figure 8 is a graph tracing the falling path of indexed particle No. 51 according to an experimental example of the present invention.

도 8을 참조하면, 프로세서(200)는 적어도 하나의 프레임 이미지로부터 개별 획득한 위치 좌표를 그래프화 할 수 있다. Referring to FIG. 8, the processor 200 may graph position coordinates individually obtained from at least one frame image.

보다 구체적으로 설명하면, 프로세서(200)는 시간의 변화에 따른 특정 입자의 위치 정보에 관한 그래프를 획득할 수 있다. 이에 따라, 프로세서(200)는 색인화된 특정 입자의 낙하 경로를 추정할 수 있다.To be more specific, the processor 200 may obtain a graph regarding the location information of a specific particle according to changes in time. Accordingly, the processor 200 can estimate the falling path of the specific indexed particle.

다시 도 2를 참조하면, 프로세서(200)는 색인화된 특정 입자의 크기를 산출할 수 있다(S7000).Referring again to FIG. 2, the processor 200 may calculate the size of a specific indexed particle (S7000).

실시예에 따라 보다 자세히 설명하면, 프로세서(200)는 색인화된 특정 입자가 촬영된 적어도 하나의 프레임 이미지로부터 특정 입자의 크기를 개별적으로 추출할 수 있다. 이때, 적어도 하나의 프레임 이미지로부터 추출된 상기 특정 입자의 크기는 입자가 나타난 픽셀의 개수 및 측량 이미지를 통해 산출한 픽셀 당 물리적 길이를 적용하여 산출할 수 있다.To be described in more detail depending on the embodiment, the processor 200 may individually extract the size of a specific particle from at least one frame image in which the indexed specific particle is photographed. At this time, the size of the specific particle extracted from at least one frame image can be calculated by applying the number of pixels in which the particle appears and the physical length per pixel calculated through the survey image.

프로세서(200)는 적어도 하나의 프레임 이미지 별로 산출된 적어도 하나의 입자의 크기값을 평균하여 평균 값을 산출할 수 있다. The processor 200 may calculate an average value by averaging the size value of at least one particle calculated for each frame image.

이후, 프로세서(200)는 입자의 입도 분포를 고려하여 상기 입자의 평균값을 조정(Scaling)할 수 있다. 이에 따라, 프로세서(200)는, 초고속 카메라에 의한 촬영에 의해 발생할 수 있는 프레임 이미지 내 광학 왜곡에 따른 입자의 크기 왜곡을 보정할 수 있다.Thereafter, the processor 200 may scale the average value of the particles by considering the particle size distribution. Accordingly, the processor 200 can correct the size distortion of particles due to optical distortion in the frame image that may occur when photographed by a high-speed camera.

도 9는 본 발명의 실시예 및 실험예를 비교한, 색인화된 입자를 대상으로 한 입도 분포 그래프이다.Figure 9 is a particle size distribution graph for indexed particles, comparing examples and experimental examples of the present invention.

도 9를 참조하면, 본 발명의 실험예에 따라 색인화 된 입자의 입도 분포를 측정하였다. Referring to Figure 9, the particle size distribution of the indexed particles was measured according to an experimental example of the present invention.

이후, 본 발명의 실시예에 따른 프로세서(200)에 의해 추정된 색인화 된 입자의 입도 분포를 고려하여 평균값을 조정(Scaling)한 결과값을 비교하였다.Afterwards, the results of scaling the average value in consideration of the particle size distribution of the indexed particles estimated by the processor 200 according to an embodiment of the present invention were compared.

비교 결과, 본 발명의 실험예에 따라 측정된 색인화 된 입자의 입도 분포와 본 발명의 실시예에 따라 추정된, 색인화 된 입자의 입도 분포를 조정(scaling)한 결과가 서로 유사함을 확인할 수 있다.As a result of comparison, it can be confirmed that the particle size distribution of the indexed particles measured according to the experimental example of the present invention and the result of scaling the particle size distribution of the indexed particles estimated according to the embodiment of the present invention are similar to each other. .

다시 도 2를 참조하면, 프로세서(200)는 색인화 된 특정 입자의 낙하 속도를 획득할 수 있다(S8000). 색인화 된 특정 입자의 낙하 속도를 획득하는 단계는 하기 도 10을 참조하여 보다 자세히 설명하겠다.Referring again to FIG. 2, the processor 200 may obtain the falling speed of a specific indexed particle (S8000). The step of obtaining the falling speed of a specific indexed particle will be described in more detail with reference to FIG. 10 below.

도 10은 본 발명의 실험예에 따른 색인화 된 입자의 입도 분포에 따른 낙하 경로 그래프이다.Figure 10 is a graph of the falling path according to the particle size distribution of the indexed particles according to an experimental example of the present invention.

도 10을 참조하면, 프로세서(200)는 특정 입자의 낙하 경로 그래프를 바탕으로, 해당 입자의 기울기를 산출하여 낙하 속도를 획득할 수 있다.Referring to FIG. 10, the processor 200 can obtain the falling speed by calculating the slope of a specific particle based on the falling path graph of the specific particle.

본 발명의 실험예에 따르면, 51번 입자의 경우, 프로세서(200)는 51번 입자의 프레임 이미지 별 위치 좌표 그래프를 바탕으로, 51번 입자가 등속도로 낙하하고 있음을 확인할 수 있다. 이에, 본 발명의 실시예에 따른 프로세서(200)는 프레임 이미지 별 위치 좌표 그래프를 선형 회귀하여 기울기를 산출할 수 있다. 이에 따라, 프로세서(200)는 특정 입자의 낙하 속도를 획득할 수 있다.According to an experimental example of the present invention, in the case of particle number 51, the processor 200 can confirm that particle number 51 is falling at a constant speed based on the position coordinate graph for each frame image of particle number 51. Accordingly, the processor 200 according to an embodiment of the present invention may calculate the slope by linearly regressing the position coordinate graph for each frame image. Accordingly, the processor 200 can obtain the falling speed of a specific particle.

본 발명의 실시예에 따른 입자 추적 장치의 프로세서(200)는 획득한 식별화된 특정 입자의 크기, 낙하 경로 및 낙하 속도 정보를, 특정 입자가 낙하하는 상황에 대한 항력 모델의 검증 데이터로 사용할 수 있다. The processor 200 of the particle tracking device according to an embodiment of the present invention can use the obtained size, falling path, and falling speed information of the identified specific particle as verification data for the drag model for the situation in which the specific particle falls. there is.

항력(Fd, drag force)은 입자가 유체와 상대 속도를 갖고 거동을 할 때, 유체의 점성 및 운동량의 전달로부터 기인하여 입자에 가해지는 힘으로 정의된다. Drag force (Fd) is defined as the force applied to the particle resulting from the transfer of viscosity and momentum of the fluid when the particle moves at a relative velocity with the fluid.

일반적으로, 항력의 크기는 하기 [수학식 1]과 같이 산출될 수 있다.In general, the magnitude of drag can be calculated as follows [Equation 1].

Figure 112021039257395-pat00001
Figure 112021039257395-pat00001

여기서, Fd는 항력, Cd는 항력 계수, ρ는 유체의 밀도, A는 입자와 유체의 접촉 표면적, 그리고, 는 고체와 유체의 상대 속도일 수 있다.Here, F d is the drag force, C d is the drag coefficient, ρ is the density of the fluid, A is the contact surface area between the particle and the fluid, and may be the relative velocity of the solid and the fluid.

종래의 입자 추적 장치는 연속체인 유체의 흐름을 분석하기 위해 모든 픽셀에서 속도 벡터를 계산함으로써, 노이즈에 민감하였다. 따라서, 종래의 입자 추적 장치는 저배율 영상 이미지에서는 분석이 어렵고, 낙하하는 입자의 거동의 경우 촬영된 모든 픽셀이 입자로 표현되지 않기 때문에 부정확한 단점이 있었다.Conventional particle tracking devices are sensitive to noise by calculating velocity vectors at every pixel to analyze the flow of fluid, which is a continuum. Therefore, conventional particle tracking devices have the disadvantage of being difficult to analyze low-magnification video images and being inaccurate in the case of the behavior of falling particles because not all captured pixels are expressed as particles.

한편, 본 발명의 실시예에 따른 입자 추적 장치는 프레임 이미지로부터 식별되는 색인화 된 입자의 거동을 추적함으로써, 낙하하는 입자에 대한 항력 모델의 학습 시 고정확 및 고신뢰성의 검증 데이터를 제공할 수 있다.Meanwhile, the particle tracking device according to an embodiment of the present invention tracks the behavior of indexed particles identified from frame images, thereby providing highly accurate and highly reliable verification data when learning a drag model for falling particles. .

이상, 본 발명의 실시예에 따른 입자 추적 장치 및 방법을 설명하였다. 본 발명의 실시예에 따른 입자 추적 장치 및 방법은 유체 내에서 낙하하는 적어도 하나의 입자를 촬영한 적어도 하나의 프레임 이미지를 수신하는 단계, 상기 적어도 하나의 프레임 이미지를 이진화하여 상기 프레임 이미지로부터 각각 상기 적어도 하나의 입자를 추출하는 단계, 상기 적어도 하나의 입자를 색인(Index)화하는 단계 및 상기 적어도 하나의 프레임 이미지로부터 상기 색인화된 입자의 위치 정보를 획득하여, 상기 색인화된 입자의 낙하 경로를 추적하는 단계를 포함함으로써, 적어도 하나의 입자가 색인화되어 신속하고 정확한 낙하 경로 추적이 가능하며, 상기 입자의 입도 분포에 따른 낙하 속도 획득이 가능함으로, 고속, 고정밀 및 고신뢰성의 입자 추적 장치 및 방법을 제공할 수 있다.Above, the particle tracking device and method according to an embodiment of the present invention have been described. A particle tracking device and method according to an embodiment of the present invention includes the steps of receiving at least one frame image of at least one particle falling in a fluid, binarizing the at least one frame image, and Extracting at least one particle, indexing the at least one particle, and obtaining position information of the indexed particle from the at least one frame image to track the falling path of the indexed particle. By including the step of indexing at least one particle, it is possible to quickly and accurately track the falling path, and it is possible to obtain the falling speed according to the particle size distribution of the particle, thereby providing a high-speed, high-precision and high-reliability particle tracking device and method. can be provided.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.The above description is only an example of the present invention, and those skilled in the art will be able to implement the present invention in a modified form without departing from the essential characteristics of the present invention. Therefore, the scope of the present invention is not limited to the above-described embodiments, but should be construed to include various embodiments within the scope equivalent to the content described in the patent claims.

1000: 입자 추적 장치
100: 메모리
200: 프로세서
300: 송수신 장치
400: 입력 인터페이스 장치
500: 출력 인터페이스 장치
600: 저장 장치
700: 버스(Bus)
1000: particle tracking device
100: Memory
200: processor
300: Transmitting and receiving device
400: input interface device
500: output interface device
600: storage device
700: Bus

Claims (25)

메모리(memory); 및
상기 메모리에 저장된 적어도 하나의 명령을 실행하는 프로세서(processor)를 포함하되,
상기 적어도 하나의 명령은,
유체 내에서 낙하하는 적어도 하나의 입자를 촬영한 적어도 하나의 프레임 이미지를 수신하도록 하는 명령,
상기 적어도 하나의 프레임 이미지를 이진화하여, 상기 프레임 이미지로부터 각각 상기 적어도 하나의 입자를 추출하도록 하는 명령,
상기 적어도 하나의 입자를 색인(Index)화하도록 하는 명령, 및
상기 적어도 하나의 프레임 이미지로부터 상기 색인화된 입자의 위치 정보를 획득하여, 상기 색인화된 입자의 낙하 경로를 추적하도록 하는 명령을 포함하고,
상기 적어도 하나의 입자를 추출하도록 하는 명령은,
오수 방법(Otsu's method)에 의해 설정된 특정 임계값을 기준으로 상기 적어도 하나의 프레임 이미지를 이진화하도록 하는 명령,
형태학적 복원(Morphological Reconstruction) 기법을 이용하여, 상기 적어도 하나의 프레임 이미지에서의 상기 낙하 경로 추적이 불필요한 적어도 하나의 입자를 제거하도록 하는 명령, 및
상기 적어도 하나의 프레임 이미지로부터 노이즈를 제거하도록 하는 명령을 포함하고,
상기 적어도 하나의 명령은,
상기 색인화된 입자의 크기를 산출하도록 하는 명령을 더 포함하고,
상기 색인화된 입자의 크기를 산출하도록 하는 명령은, 상기 색인화된 입자가 촬영된 적어도 하나의 프레임 이미지로부터 상기 입자의 크기를 개별적으로 추출하여 이들의 평균값을 산출하도록 하는 명령을 더 포함하고,
상기 색인화된 입자의 크기가 상기 평균값 미만인 경우, 상기 색인화된 입자는 노이즈로 간주되어 상기 노이즈로 간주된 입자에 대응하는 색인이 삭제되는, 입자 추적 장치.
memory; and
Includes a processor that executes at least one instruction stored in the memory,
The at least one command is:
Instructions for receiving at least one frame image of at least one particle falling within a fluid;
A command to binarize the at least one frame image and extract the at least one particle from each of the frame images,
A command to index the at least one particle, and
Includes instructions for obtaining location information of the indexed particle from the at least one frame image and tracking the falling path of the indexed particle,
The command to extract the at least one particle is:
A command to binarize the at least one frame image based on a specific threshold set by Otsu's method,
A command to remove at least one particle that is unnecessary for tracking the falling path in the at least one frame image using a morphological reconstruction technique, and
Includes instructions for removing noise from the at least one frame image,
The at least one command is:
Further comprising instructions for calculating the size of the indexed particles,
The command for calculating the size of the indexed particle further includes a command for individually extracting the size of the particle from at least one frame image in which the indexed particle is captured and calculating an average value thereof,
If the size of the indexed particle is less than the average value, the indexed particle is considered noise and the index corresponding to the particle considered noise is deleted.
제1 항에 있어서,
상기 적어도 하나의 명령은,
상기 적어도 하나의 프레임 이미지를 전처리하도록 하는 명령을 더 포함하는, 입자 추적 장치.
According to claim 1,
The at least one command is:
Particle tracking device further comprising instructions for preprocessing the at least one frame image.
제2 항에 있어서,
상기 적어도 하나의 프레임 이미지를 전처리하도록 하는 명령은,
상기 적어도 하나의 프레임 이미지를 대상으로 조명에 따른 밝기 왜곡을 보정하도록 하는 명령,
상기 적어도 하나의 프레임 이미지의 배경 밝기를 균일화하도록 하는 명령, 및
상기 적어도 하나의 프레임 이미지의 색 대비(Color Contrast)를 증가시키도록 하는 명령을 포함하는, 입자 추적 장치.
According to clause 2,
The command to preprocess the at least one frame image is:
A command to correct brightness distortion due to lighting for the at least one frame image,
A command to equalize background brightness of the at least one frame image, and
A particle tracking device comprising instructions to increase color contrast of the at least one frame image.
삭제delete 청구항 1에 있어서,
상기 적어도 하나의 입자를 색인화하도록 하는 명령에서는,
특정 프레임 이미지를 기준으로, 연속적인 프레임 이미지와 적어도 일부 영역이 겹치는 적어도 하나의 입자를 추출하여 색인화하는, 입자 추적 장치.
In claim 1,
In the command to index the at least one particle,
A particle tracking device that, based on a specific frame image, extracts and indexes at least one particle that overlaps at least some area with consecutive frame images.
제1 항에 있어서,
상기 적어도 하나의 입자를 색인화하도록 하는 명령에서는,
특정 프레임 이미지를 기준으로, 이전 프레임 이미지에서 추출되지 않은 적어도 하나의 신규 입자를 추출하여 색인화하는, 입자 추적 장치.
According to claim 1,
In the command to index the at least one particle,
A particle tracking device that extracts and indexes at least one new particle that was not extracted in the previous frame image, based on a specific frame image.
제1 항에 있어서,
상기 적어도 하나의 명령은,
상기 적어도 하나의 입자를 색인화하는 명령 이후에, 색인화 된 상기 입자가 촬영된 적어도 하나의 프레임 이미지의 수가 특정 임계값 이하일 경우, 상기 입자를 색인화 정보에서 삭제하도록 하는 명령을 더 포함하는, 입자 추적 장치.
According to claim 1,
The at least one command is:
After the command for indexing the at least one particle, if the number of at least one frame image in which the indexed particle is captured is less than or equal to a certain threshold, the particle tracking device further includes a command for deleting the particle from the indexing information. .
제1 항에 있어서,
상기 색인화된 입자의 낙하 경로를 추적하도록 하는 명령은,
상기 적어도 하나의 프레임 이미지로부터 상기 색인화된 입자의 위치 정보를 획득하도록 하는 명령, 및
상기 색인화된 입자의 대한 위치 정보를 이용하여, 상기 색인화된 입자의 낙하 경로를 추적하도록 하는 명령을 포함하는, 입자 추적 장치.
According to claim 1,
The command to track the falling path of the indexed particle is,
Instructions for obtaining location information of the indexed particle from the at least one frame image, and
A particle tracking device comprising a command to track a falling path of the indexed particle using location information about the indexed particle.
제1 항에 있어서,
상기 적어도 하나의 명령은,
상기 색인화된 입자의 낙하 속도를 획득하도록 하는 명령을 더 포함하는, 입자 추적 장치.
According to claim 1,
The at least one command is:
Particle tracking device further comprising instructions for obtaining the falling speed of the indexed particle.
제9 항에 있어서,
상기 색인화된 입자의 낙하 속도를 획득하도록 하는 명령에서는,
상기 색인화된 입자에 대한 적어도 하나의 프레임 이미지 별 위치 정보를 선형 회귀함으로써 기울기를 산출하여 낙하 속도를 획득하는, 입자 추적 장치.
According to clause 9,
In the command to obtain the falling speed of the indexed particle,
A particle tracking device that obtains a falling speed by calculating a slope by linearly regressing position information for each frame image for the indexed particle.
삭제delete 제1 항에 있어서,
상기 색인화된 입자의 크기를 산출하도록 하는 명령은,
상기 입자의 입도 분포를 고려하여 상기 입자의 평균값을 조정(Scaling)하도록 하는 명령을 더 포함하는, 입자 추적 장치.
According to claim 1,
The command to calculate the size of the indexed particles is,
A particle tracking device further comprising a command to scale the average value of the particles in consideration of the particle size distribution of the particles.
제1 항에 있어서,
상기 입자의 크기, 낙하 속도 및 낙하 경로를 항력 모델(drag model)에 검증 데이터로 제공하는, 입자 추적 장치.
According to claim 1,
A particle tracking device that provides the size, falling speed, and falling path of the particle as verification data to a drag model.
입자 추적 장치를 이용하여 수행되는 입자 추적 방법으로서,
유체 내에서 낙하하는 적어도 하나의 입자를 촬영한 적어도 하나의 프레임 이미지를 수신하는 단계;
상기 적어도 하나의 프레임 이미지를 이진화하여, 상기 프레임 이미지로부터 각각 상기 적어도 하나의 입자를 추출하는 단계;
상기 적어도 하나의 입자를 색인(Index)화하는 단계; 및
상기 적어도 하나의 프레임 이미지로부터 상기 색인화된 입자의 위치 정보를 획득하여, 상기 색인화된 입자의 낙하 경로를 추적하는 단계를 포함하고,
상기 적어도 하나의 입자를 추출하는 단계는,
오수 방법(Otsu's method)에 의해 설정된 특정 임계값을 기준으로 상기 적어도 하나의 프레임 이미지를 이진화하는 단계;
형태학적 복원(Morphological Reconstruction) 기법을 이용하여, 상기 적어도 하나의 프레임 이미지에서의 상기 낙하 경로 추적이 불필요한 적어도 하나의 입자를 제거하는 단계; 및
상기 적어도 하나의 프레임 이미지로부터 노이즈를 제거하는 단계를 포함하는,
상기 방법은,
상기 색인화된 입자의 크기를 산출하도록 하는 단계를 더 포함하고,
상기 색인화된 입자의 크기를 산출하도록 하는 단계에서는,
상기 색인화된 입자가 촬영된 적어도 하나의 프레임 이미지로부터 상기 입자의 크기를 개별적으로 추출하여 이들의 평균값을 산출하도록 하는 단계를 더 포함하고,
상기 색인화된 입자의 크기가 상기 평균값 미만인 경우, 상기 색인화된 입자는 노이즈로 간주되어 상기 노이즈로 간주된 입자에 대응하는 색인이 삭제되는, 입자 추적 방법.
A particle tracking method performed using a particle tracking device, comprising:
Receiving at least one frame image of at least one particle falling in a fluid;
Binarizing the at least one frame image and extracting the at least one particle from each frame image;
Indexing the at least one particle; and
Obtaining location information of the indexed particle from the at least one frame image and tracking the falling path of the indexed particle,
The step of extracting the at least one particle includes:
Binarizing the at least one frame image based on a specific threshold set by Otsu's method;
removing at least one particle for which tracking the falling path is unnecessary in the at least one frame image using a morphological reconstruction technique; and
Removing noise from the at least one frame image,
The method is:
Further comprising calculating the size of the indexed particles,
In the step of calculating the size of the indexed particles,
Further comprising the step of individually extracting the size of the particle from at least one frame image in which the indexed particle is captured and calculating an average value thereof,
If the size of the indexed particle is less than the average value, the indexed particle is considered noise and the index corresponding to the particle considered noise is deleted.
제14 항에 있어서,
상기 적어도 하나의 프레임 이미지를 전처리하는 단계를 더 포함하는, 입자 추적 방법.
According to claim 14,
A particle tracking method further comprising preprocessing the at least one frame image.
제15 항에 있어서,
상기 적어도 하나의 프레임 이미지를 전처리하는 단계는,
상기 적어도 하나의 프레임 이미지를 대상으로 조명에 따른 밝기 왜곡을 보정하는 단계;
상기 적어도 하나의 프레임 이미지의 배경 밝기를 균일화하는 단계; 및
상기 적어도 하나의 프레임 이미지의 색 대비(Color Contrast)를 증가시키는 단계를 포함하는, 입자 추적 방법.
According to claim 15,
The step of preprocessing the at least one frame image includes:
Correcting brightness distortion due to lighting for the at least one frame image;
equalizing background brightness of the at least one frame image; and
A particle tracking method comprising increasing color contrast of the at least one frame image.
삭제delete 제14 항에 있어서,
상기 적어도 하나의 입자를 색인화하는 단계에서는,
특정 프레임 이미지를 기준으로, 연속적인 프레임 이미지와 적어도 일부 영역이 겹치는 적어도 하나의 입자를 추출하여 색인화하는, 입자 추적 방법.
According to claim 14,
In the step of indexing the at least one particle,
A particle tracking method that extracts and indexes at least one particle that overlaps at least some area with consecutive frame images, based on a specific frame image.
제14 항에 있어서,
상기 적어도 하나의 입자를 색인화하는 단계에서는,
특정 프레임 이미지를 기준으로, 이전 프레임 이미지에서 추출되지 않은 적어도 하나의 신규 입자를 추출하여 색인화하는, 입자 추적 방법.
According to claim 14,
In the step of indexing the at least one particle,
A particle tracking method that extracts and indexes at least one new particle that was not extracted in the previous frame image, based on a specific frame image.
제14 항에 있어서,
상기 적어도 하나의 입자를 색인화하는 단계 이후에, 색인화 된 상기 입자가 촬영된 적어도 하나의 프레임 이미지의 수가 특정 임계값 이하일 경우, 상기 입자를 색인화 정보에서 삭제하는 단계를 더 포함하는, 입자 추적 방법.
According to claim 14,
After indexing the at least one particle, if the number of at least one frame image in which the indexed particle is captured is less than or equal to a certain threshold, deleting the particle from the indexing information.
제14 항에 있어서,
상기 색인화된 입자의 낙하 경로를 추적하는 단계는,
상기 적어도 하나의 프레임 이미지로부터 상기 색인화된 입자의 위치 정보를 획득하는 단계; 및
상기 색인화된 입자의 대한 위치 정보를 이용하여, 상기 색인화된 입자의 낙하 경로를 추적하는 단계를 포함하는, 입자 추적 방법.
According to claim 14,
The step of tracking the falling path of the indexed particles is,
Obtaining location information of the indexed particle from the at least one frame image; and
A particle tracking method comprising tracking a falling path of the indexed particle using position information about the indexed particle.
제14 항에 있어서,
상기 색인화된 입자의 낙하 속도를 획득하는 단계를 더 포함하는, 입자 추적 방법.
According to claim 14,
A particle tracking method further comprising obtaining the falling speed of the indexed particle.
제22 항에 있어서,
상기 색인화된 입자의 낙하 속도를 획득하는 단계에서는,
상기 색인화된 입자에 대한 적어도 하나의 프레임 이미지 별 위치 정보를 선형 회귀함으로써 기울기를 산출하여 낙하 속도를 획득하는, 입자 추적 방법.
According to clause 22,
In the step of obtaining the falling speed of the indexed particles,
A particle tracking method for obtaining a falling speed by calculating a slope by linearly regressing the position information for each frame image for the indexed particle.
삭제delete 제14 항에 있어서,
상기 색인화된 입자의 크기를 산출하는 단계는,
상기 입자의 입도 분포를 고려하여 상기 입자의 평균값을 조정(Scaling) 하는 단계를 더 포함하는, 입자 추적 방법.
According to claim 14,
The step of calculating the size of the indexed particles is,
A particle tracking method further comprising scaling the average value of the particles in consideration of the particle size distribution.
KR1020210043603A 2021-04-02 2021-04-02 Apparatus and method for tracking the motion of paticles in a fluid KR102667903B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210043603A KR102667903B1 (en) 2021-04-02 2021-04-02 Apparatus and method for tracking the motion of paticles in a fluid

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210043603A KR102667903B1 (en) 2021-04-02 2021-04-02 Apparatus and method for tracking the motion of paticles in a fluid

Publications (2)

Publication Number Publication Date
KR20220137469A KR20220137469A (en) 2022-10-12
KR102667903B1 true KR102667903B1 (en) 2024-05-20

Family

ID=83597690

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210043603A KR102667903B1 (en) 2021-04-02 2021-04-02 Apparatus and method for tracking the motion of paticles in a fluid

Country Status (1)

Country Link
KR (1) KR102667903B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013032934A (en) * 2011-08-01 2013-02-14 Ihi Corp Particle observation device, separation device, and manipulator
JP2014146096A (en) * 2013-01-28 2014-08-14 Toray Ind Inc Fluid analysis method, fluid analysis program and recording medium
JP2014521967A (en) * 2011-08-05 2014-08-28 ナノサイト・リミテッド Optical detection and analysis of particles
JP2014525583A (en) * 2011-08-29 2014-09-29 アムジェン インコーポレイテッド Method and apparatus for non-destructive detection of non-dissolved particles in a fluid

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102074073B1 (en) * 2018-06-29 2020-03-02 한국교통대학교산학협력단 Method for detecting vehicles and apparatus using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013032934A (en) * 2011-08-01 2013-02-14 Ihi Corp Particle observation device, separation device, and manipulator
JP2014521967A (en) * 2011-08-05 2014-08-28 ナノサイト・リミテッド Optical detection and analysis of particles
JP2014525583A (en) * 2011-08-29 2014-09-29 アムジェン インコーポレイテッド Method and apparatus for non-destructive detection of non-dissolved particles in a fluid
JP2014146096A (en) * 2013-01-28 2014-08-14 Toray Ind Inc Fluid analysis method, fluid analysis program and recording medium

Also Published As

Publication number Publication date
KR20220137469A (en) 2022-10-12

Similar Documents

Publication Publication Date Title
Cheng et al. Learning spatial awareness to improve crowd counting
CN106203423B (en) Weak structure perception visual target tracking method fusing context detection
CN106447680A (en) Method for radar and vision fused target detecting and tracking in dynamic background environment
CN109685045A (en) A kind of Moving Targets Based on Video Streams tracking and system
JP2008046903A (en) Apparatus and method for detecting number of objects
US20220299419A1 (en) Systems and methods for counting particles
CN110827262B (en) Weak and small target detection method based on continuous limited frame infrared image
CN110910421A (en) Weak and small moving object detection method based on block characterization and variable neighborhood clustering
Alsanad et al. Real-time fuel truck detection algorithm based on deep convolutional neural network
CN109993107B (en) Mobile robot obstacle visual detection method based on non-iterative K-means algorithm
KR102667903B1 (en) Apparatus and method for tracking the motion of paticles in a fluid
CN112464933B (en) Intelligent identification method for weak and small target through foundation staring infrared imaging
CN107507190B (en) Low-altitude moving target detection method based on visible light sequence image
JP4918615B2 (en) Object number detection device and object number detection method
CN110322466B (en) Supervised image segmentation method based on multi-layer region limitation
CN106296688B (en) Image blur detection method and system based on overall situation estimation
KR20190138755A (en) System and method for finding and classifying lines in an image with a vision system
Nakata Recognizing human activities in video by multi-resolutional optical flows
Brown et al. Vehicle tracking for bridge load dynamics using vision techniques
JP4674920B2 (en) Object number detection device and object number detection method
CN113658223A (en) Multi-pedestrian detection and tracking method and system based on deep learning
Tuyen et al. A single-camera technique for simultaneous measurement of large solid particles transported in rapid shallow channel flows
Ivanovska et al. Tomatodiff: On–plant tomato segmentation with denoising diffusion models
CN109977740B (en) Depth map-based hand tracking method
Makkar et al. A Comparative Analysis of Different Time Bounded Segmentation Techniques

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant