KR101238748B1 - System for measuring distance of target using step-staring infrared sensor unit - Google Patents

System for measuring distance of target using step-staring infrared sensor unit Download PDF

Info

Publication number
KR101238748B1
KR101238748B1 KR1020120095620A KR20120095620A KR101238748B1 KR 101238748 B1 KR101238748 B1 KR 101238748B1 KR 1020120095620 A KR1020120095620 A KR 1020120095620A KR 20120095620 A KR20120095620 A KR 20120095620A KR 101238748 B1 KR101238748 B1 KR 101238748B1
Authority
KR
South Korea
Prior art keywords
target
image
scan
scanning
distance
Prior art date
Application number
KR1020120095620A
Other languages
Korean (ko)
Inventor
김지은
이부환
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020120095620A priority Critical patent/KR101238748B1/en
Application granted granted Critical
Publication of KR101238748B1 publication Critical patent/KR101238748B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/74Systems using reradiation of electromagnetic waves other than radio waves, e.g. IFF, i.e. identification of friend or foe
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Abstract

PURPOSE: A target distance measurement system using a scanning driving infrared light sensor device is provided to reduce risk of exposure by making the device hard to find from the outside. CONSTITUTION: A target distance measurement system consists of a scanning driving infrared light sensor device(10) and an image processing device(20). The scanning driving infrared light sensor device consists of a scanning mirror(12) and an infrared light sensor(14). The scanning mirror is disposed in the front side and receives infrared from the detected region including the target by repetitively rotating in a predetermined driving period and angle range. The infrared light sensor obtains a first scanning image and a second scanning image of the target by incident infrared light in one rotation position and another rotation position. If an image corresponding to the target exists in the overlapped part of the first scanning image and the second scanning image, the image processing device calculates 3-D distance information of the target by analyzing a correlation of the first scanning image and the second scanning image. [Reference numerals] (14) IR sensor; (20) Image processing device; (A) Sensing area; (AA) Target; (t) First scan image; (t+Δt) Second scan image

Description

주사구동 적외선센서장치를 이용한 표적거리 측정시스템{SYSTEM FOR MEASURING DISTANCE OF TARGET USING STEP-STARING INFRARED SENSOR UNIT}Target distance measuring system using scanning driving infrared sensor device {SYSTEM FOR MEASURING DISTANCE OF TARGET USING STEP-STARING INFRARED SENSOR UNIT}

본 발명은 표적거리 측정시스템에 관한 것으로, 구체적으로는 주사구동 적외선센서 장치를 이용하여 표적의 거리를 측정하는 표적거리 측정시스템에 관한 것이다.The present invention relates to a target distance measuring system, and more particularly, to a target distance measuring system for measuring a distance of a target using a scanning driving infrared sensor device.

레이저나 레이더 등의 능동(active)센서를 이용한 표적거리 측정시스템은 에너지를 표적으로 발사하여 표적의 표면에서 반사하는 에너지를 측정하여 거리를 획득한다.Target distance measurement systems using active sensors such as lasers and radars obtain the distance by measuring energy reflected from the surface of the target by firing energy to the target.

그러나 레이저 및 레이더와 같은 능동센서(active sensor)를 이용한 종래 표적거리 측정시스템은 표적의 거리 정보를 알아내는 동시에 측정을 수행하는 측정자의 위치가 노출될 위험이 있어 사용상 제한이 따르는 문제가 있다.However, the conventional target distance measuring system using an active sensor such as a laser and a radar has a problem in that there is a risk of exposing the position of a measurer performing measurement while simultaneously finding out distance information of the target.

또한 종래 표적거리 측정시스템은 전파방해(Electronic countermeasure, ECM)나 다중경로(multi-path)에 의해 표적거리의 측정 성능을 저하시키는 문제가 있다.In addition, the conventional target distance measuring system has a problem of reducing the measurement performance of the target distance by the electronic countermeasure (ECM) or multi-path (multi-path).

KR 10- 2000-0052569 A, 2000. 08. 26, 도면 1eKR 10- 2000-0052569 A, Aug. 26, 2000, drawing 1e

본 발명의 목적은 레이저나 레이더와 같은 능동센서(active sensor)를 이용하는 측정방식 대신 적외선 센서와 같은 수동센서(passive sensor)를 이용한 측정방식을 적용함으로써 거리 측정자의 위치 노출 없이 종래 능동센서의 사용에 따른 측정오류를 최소화할 수 있는 표적거리 측정시스템을 제공하는 것이다.An object of the present invention is to apply a measuring method using a passive sensor such as an infrared sensor instead of a measuring method using an active sensor such as a laser or radar to use the conventional active sensor without exposing the position of the distance measurer. It is to provide a target distance measuring system that can minimize the measurement error.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 표적거리 측정시스템은, 전면에 배치되어 사전에 정해진 구동주기와 각도범위 내에서 반복 회동하여 표적이 포함된 감지구역으로부터의 적외선을 수광하는 주사거울과, 상기 주사거울의 일측 회동 위치 및 타측 회동 위치 각각에 수광되어 입사되는 적외선에 의해 상기 표적에 대한 제1 주사영상 및 제2 주사영상을 각각 획득하여 출력하는 IR센서로 이루어진 주사구동 적외선센서장치; 및 상기 주사구동 적외선센서장치로부터 입력되는 영상정보 중 상기 제1 주사영상과 상기 제2 주사영상의 겹침부분에 상기 표적에 대응하는 영상이 동시에 존재하는 경우 상기 제1 주사영상과 상기 제2 주사영상의 상관성을 해석하여 상기 표적의 3차원 거리정보를 계산하는 영상처리장치를 포함하는 것을 특징으로 한다.A target distance measuring system according to an aspect of the present invention for achieving the above object is a scanning mirror which is disposed on the front surface and repeatedly rotates within a predetermined driving period and angle range to receive infrared rays from the detection zone containing the target. And an IR sensor which acquires and outputs a first scan image and a second scan image of the target by infrared rays received and received at each of the one rotational position and the other rotational position of the scanning mirror, respectively. ; And the first scan image and the second scan image when an image corresponding to the target is simultaneously present in an overlapping portion of the first scan image and the second scan image among the image information input from the scan driving infrared sensor device. And an image processing apparatus for calculating three-dimensional distance information of the target by analyzing the correlation.

상기 영상처리장치는 상기 획득된 제1 주사영상 및 제2 주사영상으로부터 상기 표적을 탐지하여 영상평면 상의 상기 표적의 위치를 파악하는 표적탐지부와, 상기 파악된 표적의 위치를 이용하여 상기 표적의 움직임을 보상하는 표적움직임보상부와, 상기 파악된 표적의 위치와 상기 표적의 움직임 보상을 이용하여 상기 표적의 3차원 거리정보를 계산하는 표적거리연산부를 포함할 수 있다.The image processing apparatus may include a target detector configured to detect the target from the obtained first scanned image and the second scanned image to determine a position of the target on an image plane, and to determine the target position using the determined target position. A target motion compensator for compensating for movement and a target distance calculator for calculating three-dimensional distance information of the target using the identified target position and motion compensation of the target may be included.

상기 표적탐지부는 상기 주사거울의 구동주기 별로 획득된 상기 제1 주사영상들과 상기 제2 주사영상들 모두에 대해 상기 구동주기 별로 상기 제1 주사영상과 상기 제2 주사영상의 대응관계를 파악하는 것에 의해 수행될 수 있다.The target detector detects a correspondence relationship between the first scan image and the second scan image for each of the driving periods with respect to both the first scan images and the second scan images acquired for each driving cycle of the scanning mirror. It can be performed by.

상기 표적탐지부는 상기 제1 주사영상 및 제2 주사영상에서 표적후보를 탐지하기 위한 공간필터링(spatial filtering)모듈과, 사전에 정해진 기준에 의해 상기 탐지된 표적후보들 중 하나의 표적후보를 선정하기 위한 표적선정(target selection)모듈과, 상기 선정된 표적후보의 중심좌표를 연산하는 것에 의해 상기 표적의 위치가 결정되는 표적위치결정(target pointing)모듈을 포함할 수 있다.The target detector includes a spatial filtering module for detecting target candidates in the first and second scanned images, and a target candidate for one of the detected target candidates based on a predetermined criterion. A target selection module and a target pointing module for determining a position of the target by calculating a center coordinate of the selected target candidate.

상기 공간필터링모듈은 A-TDLF(Approximate Two Dim. Laplacian Filter)에 의해 구현될 수 있다.The spatial filtering module may be implemented by A-TDLF (Approximate Two Dim. Laplacian Filter).

상기 표적선정(target selection)모듈은 상기 탐지된 표적후보들 중 11×11이하 크기의 가장 밝은 표적후보를 선정할 수 있다. 즉 상기 표적선정모듈은 상기 탐지된 표적후보들을 사전에 정해진 임계밝기 값을 기준으로 이진화하여 사전에 정해진 클러스터링을 수행하고, CFAR(Constant False Alarm Rate) 검출을 이용하여 상기 클러스터링 후 존재하는 클러터(clutter)를 제거하여 상기 가장 밝은 표적후보를 선정할 수 있다.The target selection module may select the brightest target candidate having a size of 11 × 11 or less among the detected target candidates. That is, the target selection module performs pre-determined clustering by binarizing the detected target candidates based on a predetermined threshold brightness value, and uses the CFAR (Constant False Alarm Rate) detection to detect the clutter present after the clustering ( clutter can be removed to select the brightest target candidate.

상기 표적위치결정(target pointing)모듈에서 상기 표적의 위치는 상기 선정된 표적후보의 클러스터들 중 평균밝기 값이 가장 큰 클러스터의 무게 중심값을 연산하는 것에 의해 결정될 수 있다.The position of the target in the target pointing module may be determined by calculating a center of gravity value of the cluster having the largest average brightness value among the selected target candidate clusters.

상기 표적움직임보상부는 상기 일측 회동 위치와 상기 타측 회동 위치 사이의 상기 주사거울의 구동시간의 간격 동안 상기 표적이 이동하는 경우, 상기 구동시간의 간격 동안 상기 표적이 이동하는 것을 보상하는 기능을 수행할 수 있다. 상기 표적이 이동하는 것을 보상하는 것은 상기 주사거울의 구동시간의 간격 동안 상기 표적이 이동하는 속도를 이용하여 수행될 수 있다.The target motion compensation unit may perform a function of compensating for the movement of the target during the interval of the driving time when the target is moved during the interval of the driving time of the scanning mirror between the one side rotational position and the other side rotational position. Can be. Compensating for the movement of the target may be performed using the speed at which the target moves during the interval of driving time of the scanning mirror.

상기 표적이 이동하는 속도는, 상기 표적의 위치가 t시점의 제2 주사영상에 대응하여 상기 표적탐지부에 의해 파악된 상기 표적의 위치가

Figure 112012070042527-pat00001
로 표현되고 상기 표적이 이동하는 이동속도가
Figure 112012070042527-pat00002
로 표현되며, x 및 y가 상기 영상평면 상의 2차원 직교좌표계의 좌표값이고, N이 상기 제2 주사영상의 개수이며 2보다 큰 정수인 경우, 상기 이동속도는 제1식으로 표현될 수 있다.The speed at which the target moves is such that the position of the target is determined by the target detection unit corresponding to the second scanning image at time t.
Figure 112012070042527-pat00001
The speed at which the target moves
Figure 112012070042527-pat00002
When x and y are the coordinate values of the two-dimensional rectangular coordinate system on the image plane, N is the number of the second scan image and an integer greater than 2, the moving speed can be expressed by the first equation.

제1식:

Figure 112012070042527-pat00003
Formula 1:
Figure 112012070042527-pat00003

상기 구동시간의 간격이 Δt로 표현되고, 상기 제1 주사영상에 대응하여 상기 표적탐지부에 의해 파악된 상기 표적의 위치가

Figure 112012070042527-pat00004
로 표현되는 경우 상기 제1 주사영상의 중심을 기준으로 하는 상기 표적의 위치는 제2식으로 표현되고, 상기 제2 주사영상에 대응하여 상기 표적탐지부에 의해 파악된 상기 표적의 위치가
Figure 112012070042527-pat00005
로 표현되는 상기 제2 주사영상의 중심을 기준으로 하는 상기 표적의 위치는 제3식으로 표현될 수 있다.The interval of the driving time is expressed as Δt, and the position of the target identified by the target detection unit corresponding to the first scanned image is
Figure 112012070042527-pat00004
When the position of the target relative to the center of the first scanning image is expressed by the second equation, the position of the target identified by the target detection unit corresponding to the second scanning image is
Figure 112012070042527-pat00005
The position of the target with respect to the center of the second scan image, which is represented by, may be expressed by the third equation.

제2식:

Figure 112012070042527-pat00006
, d1: 상기 제1 주사영상의 중심을 기준으로 하는 좌우 이격거리, h1: 상기 제1 주사영상의 중심을 기준으로 하는 상하 이격거리Formula 2:
Figure 112012070042527-pat00006
, d1: left and right separation distance based on the center of the first scanned image, h1: up and down separation distance based on the center of the first scanned image

제3식:

Figure 112012070042527-pat00007
, d2: 상기 제2 주사영상의 중심을 기준으로 하는 좌우 이격거리, h2: 상기 제2 주사영상의 중심을 기준으로 하는 상하 이격거리Equation 3:
Figure 112012070042527-pat00007
, d2: left and right separation distance based on the center of the second scan image, h2: up and down separation distance based on the center of the second scan image

상기 표적거리연산부는 상기 제1 주사영상과 상기 제2 주사영상의 대응관계와 상기 주사구동 적외선센서장치의 파라미터를 이용하는 것에 의해, 상기 주사구동 적외선센서장치와 상기 표적 사이의 수평거리 및 수직거리를 연산하여 상기 표적의 3차원 거리정보를 계산할 수 있다.The target distance calculator calculates a horizontal distance and a vertical distance between the scan drive infrared sensor device and the target by using a corresponding relationship between the first scan image and the second scan image and parameters of the scan drive infrared sensor device. By calculating the three-dimensional distance information of the target can be calculated.

상기 제2식의 d1과 상기 제3식의 d2의 합이 d로 표현되고, 상기 주사구동 적외선센서장치의 초점거리가 f로 표현되며, 상기 제1 주사영상의 중심과 상기 제2 주사영상의 중심 사이의 거리가 b로 표현된 경우, 상기 주사구동 적외선센서장치와 상기 표적 사이의 수평거리 L은 제4식으로 표현되고, 상기 주사구동 적외선센서장치와 상기 표적 사이의 수직거리 H는 제5식으로 표현되며, 상기 3차원 거리정보 R은 제6식으로 표현될 수 있다.The sum of d1 of the second formula and d2 of the third formula is represented by d, and the focal length of the scan-driven infrared sensor device is represented by f, and the center of the first scanned image and the second scanned image When the distance between the center is represented by b, the horizontal distance L between the scan driving infrared sensor device and the target is expressed by the fourth expression, and the vertical distance H between the scan driving infrared sensor device and the target is fifth. The three-dimensional distance information R may be expressed by a sixth equation.

제4식:

Figure 112012070042527-pat00008
Formula 4:
Figure 112012070042527-pat00008

제5식:

Figure 112012070042527-pat00009
, IFOV: 상기 주사구동 적외선센서장치의 파라미터인 공간분해능(Instantaneous Field Of View)Formula 5:
Figure 112012070042527-pat00009
, IFOV: Instantaneous Field Of View which is a parameter of the scanning driven infrared sensor device

제6식:

Figure 112012070042527-pat00010
Equation 6:
Figure 112012070042527-pat00010

이와 같이 본 발명은 레이저나 레이더와 같은 능동센서(active sensor)를 이용하는 측정방식 대신 적외선 센서와 같은 수동센서(passive sensor)를 이용한 측정방식을 적용함으로써 외부에서 파악이 용이하지 않아 종래보다 노출 위험이 적은 장점을 가진다.As described above, the present invention applies a measurement method using a passive sensor such as an infrared sensor instead of a measurement method using an active sensor such as a laser or a radar, so that it is not easy to grasp from the outside. Has little advantage.

또한 본 발명은 동일한 적외선센서와 동일한 광학장치를 이용함으로써, 종래 스테레오(stereo) 시스템과 같은 2개의 카메라의 정렬 및 정규화(rectification) 과정을 배제할 수 있어 종래에 비해 정밀한 거리측정이 가능하다.In addition, the present invention can eliminate the alignment and normalization (rectification) process of the two cameras, such as a stereo system by using the same infrared sensor and the same optical device, it is possible to measure the distance more precisely than the conventional.

또한 본 발명은 표적의 대응관계 연산에서도 표적 탐지기법을 적용하고, 표적 움짐임을 보상함으로써 실시간 구현이 가능한 장점을 가진다.In addition, the present invention has the advantage that the real-time implementation is possible by applying the target detection technique in the target relationship calculation and compensation of the target movement.

도 1은 본 발명의 일 실시예에 따른 표적거리 측정시스템의 개념도이다.
도 2는 표적거리 측정시스템의 동작에 의한 주사영상의 획득개념을 설명하기 위한 도면이다.
도 3은 종래 stereo 시스템의 영상획득방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상처리장치의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 표적탐지부의 블록도이다.
도 6은 도 5에 도시된 표적선정모듈의 블록도이다.
도 7은 도 6의 CFAR(Constant False Alarm Rate) 검출(detection)을 설명하기 위한 도면이다.
도 8은 본 실시예에 따른 표적탐지부에 의한 표적 탐지결과를 설명하기 위한 이미지이다.
도 9는 본 실시예에 따른 제1 주사영상과 제2 주사영상에서의 표적의 위치를 각각의 주사영상의 중심을 원점으로 하여 표시한 도면이다.
도 10은 본 실시예에 따른 표적의 화면상의 위치와 표적과의 수평거리 관계를 나타내기 위한 도면이다.
도 11은 본 실시예에 따른 주사구동 적외선센서장치와 표적의 3차원 위치를 나타내기 위한 도면이다.
1 is a conceptual diagram of a target distance measuring system according to an embodiment of the present invention.
2 is a view for explaining the concept of acquiring the scanned image by the operation of the target distance measuring system.
3 is a view for explaining an image acquisition method of a conventional stereo system.
4 is a block diagram of an image processing apparatus according to an embodiment of the present invention.
5 is a block diagram of a target detection unit according to an embodiment of the present invention.
6 is a block diagram of the target selection module shown in FIG. 5.
FIG. 7 is a diagram for describing the constant false alarm rate (CFAR) detection of FIG. 6.
8 is an image for explaining a target detection result by the target detection unit according to the present embodiment.
9 is a view showing the position of the target in the first scan image and the second scan image according to the present embodiment with the center of each scan image as an origin.
10 is a diagram for illustrating a relationship between a position on a screen of a target and a horizontal distance between the target according to the present embodiment.
11 is a view for showing the three-dimensional position of the scanning drive infrared sensor device and the target according to the embodiment.

이하 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 표적거리 측정시스템에 대해 설명한다. 도 1은 본 발명의 일 실시예에 따른 표적거리 측정시스템의 개념도이고, 도 2는 표적거리 측정시스템의 동작에 의한 주사영상의 획득개념을 설명하기 위한 도면이다.Hereinafter, a target distance measuring system according to an exemplary embodiment of the present invention will be described with reference to the accompanying drawings. 1 is a conceptual diagram of a target distance measuring system according to an embodiment of the present invention, and FIG. 2 is a view for explaining a concept of acquiring a scanned image by an operation of the target distance measuring system.

도 1을 참조하면, 본 실시예에 따른 표적거리 측정시스템은 주사구동 적외선센서장치(10)와 이와 연동하는 영상처리장치(20)로 이루어질 수 있다. 주사구동 적외선센서장치(10)는 감지구역(A) 내의 표적을 탐지하기 위해 영상정보를 획득하여 연속하는 주사영상을 영상처리장치(20)로 전달하고, 영상처리장치(20)는 전달된 주사영상을 처리하여 주사구동 적외선센서장치(10)과 표적(T) 사이의 3차원 거리를 계산한다.Referring to FIG. 1, the target distance measuring system according to the present exemplary embodiment may include a scan driving infrared sensor device 10 and an image processing device 20 interworking with the scanning drive infrared sensor device 10. The scanning drive infrared sensor device 10 acquires image information to detect a target in the detection zone A, and transmits a continuous scan image to the image processing apparatus 20, and the image processing apparatus 20 transmits the transferred scan. The image is processed to calculate a three-dimensional distance between the scanning drive infrared sensor device 10 and the target T.

주사구동 적외선센서장치(10)는 전면 측에 배치된 주사거울(12)과 입사되는 적외선을 센싱하여 영상을 획득하는 IR센서(14)로 이루어질 수 있다.Scan driving infrared sensor device 10 may be made of a scanning mirror 12 disposed on the front side and the IR sensor 14 for sensing the incident infrared light to obtain an image.

주사거울(12)은 사전에 정해진 구동주기와 각도범위 내에서 반복 회동하여 표적이 포함된 감지구역으로부터의 적외선을 수광하여 IR센서(14)로 입사한다. 주사거울(12)은 도 1의 ①에 도시된 일측 회동 위치로 도 1의 ②에 도시된 타측 회동 위치로 반복 회동한다.The scanning mirror 12 repeatedly rotates within a predetermined driving period and angle range to receive infrared rays from the detection zone including the target and enter the IR sensor 14. The scanning mirror 12 is repeatedly rotated to one side rotation position shown in ① of FIG. 1 to the other side rotation position shown in ② of FIG. 1.

도 2에 도시된 바와 같이, IR센서(14)는 주사거울(12)의 일측 회동 위치에서 수광되어 입사되는 적외선에 의해 제1 주사영상(t)을 획득하고, 주사거울(12)의 타측 회동 위치에서 수광되어 입사되는 적외선에 의해 제2 주사영상(t+Δt)을 획득한다.As shown in FIG. 2, the IR sensor 14 acquires the first scan image t by infrared rays received by being received at one side rotation position of the scanning mirror 12, and rotates the other side of the scanning mirror 12. The second scan image t + Δt is obtained by the infrared light received at the position.

제1 주사영상(t)는 t시점에서 획득된 주사영상을 의미하고, 제2 주사영상(t+Δt)은 t시점으로부터 Δt만큼 경과한 시점에서 획득된 주사영상을 의미한다. Δt는 일측 회동 위치와 타측 회동 위치 사이의 주사거울(12)의 구동시간의 간격을 의미한다.The first scanned image t refers to a scanned image acquired at time t, and the second scanned image t + Δt refers to a scanned image acquired at time Δt elapsed from time t. Δt means the interval of the driving time of the scanning mirror 12 between one rotational position and the other rotational position.

본 실시예에 따른 주사구동 적외선센서장치(10)는 표적(T)의 거리를 구하기 위해 적외선영상을 획득한다. 도 1과 같이 주사거울(12)의 방향을 변화시키면 주사거울(12)에 의해 반사되는 감지구역(A)에 대한 영상영역이 변하게 되고 최종적으로 IR센서(14)로 입사되는 영상의 영역도 변하게 된다. 이때 주사거울(12)의 구동각의 차이는 제1 주사영상(t)과 제2 주사영상(t+Δt)의 LOS(Line of Sight) 차이에 해당하며, 이에 의해 주상영상 간 중복 크기가 달라진다.The scanning drive infrared sensor device 10 according to the present embodiment obtains an infrared image to obtain a distance of the target T. As shown in FIG. 1, when the direction of the scanning mirror 12 is changed, the image area of the detection area A reflected by the scanning mirror 12 is changed, and the area of the image incident to the IR sensor 14 is also changed. do. At this time, the difference in the driving angle of the scanning mirror 12 corresponds to the difference in the line of sight (LOS) of the first scan image (t) and the second scan image (t + Δt), thereby changing the overlap size between the columnar image .

즉 본 실시예에 따른 주사구동 적외선센서장치(10)는 주사거울(12)이 도 1의 ①과 ②의 방향으로 주기적으로 반복하여 구동하고 각 방향으로 향할 때 마다 도 2의 제1 주사영상(t)과 제2 주사영상(t+Δt)을 각각 획득한다. 이 경우 도 2에 도시된 바와 같이 표적(T)은 제1 주사영상(t)과 제2 주사영상(t+Δt)의 겹침 부분에 동시에 존재해야 한다.In other words, the scanning driving infrared sensor device 10 according to the present exemplary embodiment may repeatedly drive the scanning mirror 12 in the directions of ① and ② of FIG. 1, and may move the first scanning image of FIG. t) and a second scanned image t + Δt, respectively. In this case, as shown in FIG. 2, the target T should be simultaneously present in the overlapping portions of the first and second scan images t and t + Δt.

도 3은 종래 stereo 시스템의 영상획득방법을 설명하기 위한 도면으로, 본 실시예에 따른 주사구동 적외선센서장치(10)의 비교예로서 소개한다. 본 실시예가 표적의 촬영을 위해 1개의 주사구동 적외선센서장치(10)를 사용하는 데 반해, 종래 stereo 시스템은 평행한 2개의 카메라로 동시에 물체를 촬영해 영상을 획득한다.3 is a view for explaining an image acquisition method of a conventional stereo system, will be introduced as a comparative example of the scanning drive infrared sensor device 10 according to the present embodiment. While the present embodiment uses one scanning-driven infrared sensor device 10 for photographing a target, a conventional stereo system acquires an image by simultaneously photographing an object with two parallel cameras.

이와 같이, 본 실시예에 따른 표적거리 측정시스템는 동일한 적외선센서와 동일한 광학장치를 이용함으로써, 종래 스테레오(stereo) 시스템과 같은 2개의 카메라의 정렬 및 정규화(rectification) 과정을 배제할 수 있어 종래에 비해 정밀한 거리측정이 가능하다.As such, the target distance measuring system according to the present embodiment can eliminate the alignment and normalization process of two cameras, such as a stereo system, by using the same infrared sensor and the same optical device. Precise distance measurement is possible.

영상처리장치(20)는 주사구동 적외선센서장치(10)로부터 입력되는 영상정보 중 제1 주사영상과 제2 주사영상의 겹침부분에 표적(T)에 대응하는 영상이 동시에 존재하는 경우 제1 주사영상과 제2 주사영상의 상관성을 해석하여 표적(T)에 대한 3차원 거리정보를 계산한다.The image processing apparatus 20 scans the first scan when an image corresponding to the target T is simultaneously present in an overlapping portion of the first scan image and the second scan image among the image information input from the scan driving infrared sensor device 10. The correlation between the image and the second scan image is analyzed to calculate three-dimensional distance information about the target T.

도 4는 본 발명의 일 실시예에 따른 영상처리장치의 블록도로서, 영상처리장치(20)는 표적탐지부(22), 표적움직임보상부(24) 및 표적거리연산부(26)로 기능상 구분할 수 있다.4 is a block diagram of an image processing apparatus according to an embodiment of the present invention, wherein the image processing apparatus 20 may be functionally divided into a target detector 22, a target motion compensator 24, and a target distance calculator 26. Can be.

표적탐지부(22)는 주사구동 적외선센서장치(10)로부터 입력되는 제1 주사영상과 제2 주사영상으로부터 표적(T)을 탐지하여 영상평면 표적(T)의 위치를 파악할 수 있다. The target detector 22 may detect the target T from the first scan image and the second scan image input from the scan driving infrared sensor device 10 to determine the position of the image plane target T.

이하 도 5를 참조하여 표적탐지부(22)에 대해 구체적으로 설명한다. 도 5는 본 발명의 일 실시예에 따른 표적탐지부의 블록도이다. 표적(T)의 탐지는 두 개의 주사영상간의 대응관계를 파악하기 위한 것으로, 주사거울(12)의 구동주기 별로 획득된 제1 주사영상들과 제2 주사영상들 모두에 대해 구동주기 별로 제1 주사영상과 제2 주사영상의 대응관계를 파악하는 것에 의해 수행될 수 있다.Hereinafter, the target detection unit 22 will be described in detail with reference to FIG. 5. 5 is a block diagram of a target detection unit according to an embodiment of the present invention. The detection of the target T is to determine a correspondence relationship between the two scanned images, and includes a first scan image for each of the first scan images and the second scan images acquired for each driving cycle of the scanning mirror 12. The correspondence between the scanned image and the second scanned image may be performed.

즉 표적탐지부(22)는 제1 주사영상(t)과 제2 주사영상(t+Δt)에 각각 수행하며, 입력되는 모든 시점(...t-2, t-1, t, t+1, t+2, t+3...)의 영상에 대해서도 주사영상별로 수행한다.That is, the target detector 22 performs the first scan image t and the second scan image t + Δt, respectively, and inputs all viewpoints (... t-2, t-1, t, t + 1, t + 2, t + 3 ...) is also performed for each scanned image.

도 5를 참조하면, 표적탐지부(22)는 공간필터링(spatial filtering)모듈(222), 표적선정(target selection)모듈(224), 표적위치결정(target pointing)모듈(226)을 통해 사용자의 개입 없이 자동으로 표적을 탐지할 수 있다.Referring to FIG. 5, the target detection unit 22 may include a spatial filtering module 222, a target selection module 224, and a target pointing module 226. The target can be detected automatically without intervention.

공간필터링(spatial filtering)모듈(222)은 제1 주사영상 및 제2 주사영상에서 표적후보를 탐지하기 위한 것이다. 공간필터링은 일반적으로 화상에 포함되는 특정의 공간 주파수 성분을 강조하거나 감쇠하기 위해 사용되는 필터로서 선명하지 못한 화상의 선명화, 화상의 신호 대 잡음비(S/N)의 향상 등에 사용될 수 있다.The spatial filtering module 222 detects target candidates in the first and second scanned images. Spatial filtering is a filter generally used to emphasize or attenuate specific spatial frequency components included in an image, and may be used to sharpen an unclear image, to improve a signal-to-noise ratio (S / N) of an image, and the like.

본 실시예에서 공간필터링모듈(222)은 공간필터(spatial filter) 중 하나인 A-TDLF(Approximate Two Dim. Laplacian Filter)에 의해 구현될 수 있다.In the present embodiment, the spatial filtering module 222 may be implemented by an Approximate Two Dim. Laplacian Filter (A-TDLF) which is one of the spatial filters.

A-TDLF는 2D 윈도우내 화소의 평균을 구하여 배경 특성을 측정하고, 이것과 Gaussain filter로 노이즈에 대한 표적 신호를 강화한 영상과의 차로부터 주변 배경보다 밝은 영역을 검출한다. A-TDLF filter는 다음 수학식 1과 같이 표현될 수 있다. x 및 y는 영상평면 상에 정의된 2차원 직교좌표계에 의한 좌표값이다.The A-TDLF measures the background characteristics by averaging the pixels in the 2D window and detects brighter areas than the surrounding background from the difference between this and the image which is enhanced by the Gaussain filter with the target signal against noise. The A-TDLF filter may be expressed as in Equation 1 below. x and y are coordinate values by a two-dimensional rectangular coordinate system defined on the image plane.

Figure 112012070042527-pat00011
Figure 112012070042527-pat00011

여기서

Figure 112012070042527-pat00012
는 입력 영상을 나타내고,
Figure 112012070042527-pat00013
는 A-TDLF의 결과 영상을 나타낸다.
Figure 112012070042527-pat00014
은 중심의 3X3 크기의 Gaussian filter이고,
Figure 112012070042527-pat00015
은 (x,y)중심의 11X11크기의 평균값 필터이다.here
Figure 112012070042527-pat00012
Represents the input image,
Figure 112012070042527-pat00013
Represents the resultant image of A-TDLF.
Figure 112012070042527-pat00014
Is the central 3X3 Gaussian filter,
Figure 112012070042527-pat00015
Is an average filter of size 11x11 centered on (x, y).

표적선정(target selection)모듈(224)은, 공간필터링모듈(222)에 의해 탐지된 표적후보들 중 하나의 표적후보를 사전에 정해진 기준인 임계밝기 값을 기준으로 하여 하나의 표적후보를 선정한다. 즉 표적선정모듈(224)은 공간필터링모듈(222)을 통과한 영상에서 가장 밝은 표적을 선정한다.The target selection module 224 selects one target candidate based on a threshold brightness value, which is a predetermined reference, based on a target candidate of one of the target candidates detected by the spatial filtering module 222. That is, the target selection module 224 selects the brightest target in the image passing through the spatial filtering module 222.

도 6을 참조하여 표적선정모듈(224)에 대해 설명한다, 도 6은 표적선정모듈의 블록도로서, 표적선정모듈(224)은 Pre-Thresholding 및 클러스터링(clustering)(2242)과, CFAR(Constant False Alarm Rate) 검출(detection)(2244)에 의해 동작한다. 표적선정모듈(224)은 공간필터링모듈(222)을 통과한 영상에서 11X11이하 크기의 가장 밝은 표적을 선정한다. The target selection module 224 will be described with reference to FIG. 6. FIG. 6 is a block diagram of the target selection module. The target selection module 224 includes a pre-thresholding and clustering 2242 and a constant CFAR. False Alarm Rate) is activated by detection 2244. The target selection module 224 selects the brightest target having a size of 11 × 11 or less from the image passed through the spatial filtering module 222.

Pre-Thresholding 및 클러스터링(2242)은 공간필터링모듈(222)에 의해 탐지된 표적후보들을 임계밝기 값을 기준으로 이진화하여 사전에 정해진 8-neighbor 클러스터링을 수행할 수 있다. Pre-Thresholding and Clustering 2242 may perform predetermined 8-neighbor clustering by binarizing the target candidates detected by the spatial filtering module 222 based on the threshold brightness value.

CFAR 검출(2244)은 위의 클러스터링 후 존재하는 클러터(clutter)를 제거하여 가장 밝은 표적후보를 선정할 수 있다.

Figure 112012070042527-pat00016
는 다음 수학식 2와 같이 표현될 수 있다. , 여기서 n은 n번째 클러스터를 의미한다.CFAR detection 2244 may select the brightest target candidate by removing clutter present after clustering above.
Figure 112012070042527-pat00016
May be expressed as Equation 2 below. Where n is the nth cluster.

Figure 112012070042527-pat00017
Figure 112012070042527-pat00017

Pre-thresholding 이후에도 배경 영상의 종류에 따라 많은 클러터들이 존재할 수 있다. 따라서 CFAR 검출(2244)에 의해 클러터들을 제거하고 표적 선정의 정확성을 높일 수 있다. Even after pre-thresholding, many clutters may exist depending on the type of background image. Thus, CFAR detection 2244 can eliminate clutters and increase the accuracy of target selection.

CFAR 검출(2244)은 도 7에 도시된 바와 같은 Target cell 영역의 신호값과 Background cell의 신호값의 상대적 비교를 통해 수행된다. Guard cell은 두 영역의 간섭을 막기위한 것으로, μ가 Background cell의 신호 평균, σ가 Background cell의 표준 편차일 때 클러터 제거를 위한 적응적 임계밝기 값이

Figure 112012070042527-pat00018
로 표현되는 경우,
Figure 112012070042527-pat00019
는 다음 수학식 3과 같이 표현될 수 있다. 여기서 n은 n번째 클러스터를 의미하고, k는 2~5사이의 값으로 정해진다.CFAR detection 2244 is performed by comparing the signal value of the target cell region with the signal value of the background cell as shown in FIG. 7. Guard cells are designed to prevent interference in two areas, where the adaptive threshold brightness value for clutter removal is applied when μ is the signal mean of the background cell and σ is the standard deviation of the background cell.
Figure 112012070042527-pat00018
If expressed as
Figure 112012070042527-pat00019
May be expressed as Equation 3 below. N is the n th cluster, and k is set to a value between 2 and 5.

Figure 112012070042527-pat00020
Figure 112012070042527-pat00020

CFAR 검출(2244)은, 하기의 수학식 4와 같이, 클러스터링 결과에서 적응적 임계밝기 값 이하의 클러스터들은 클러터로 간주하여 제거한다. 이때 Target cell은 클러스터의 가로 및 세로 크기와 일치하며 Background cell의 크기는 Target cell 크기의 2배로. Guard cell은 Background cell과 Target cell의 경계로 폭은 2pixel로 설정된다.CFAR detection 2244 removes clusters below the adaptive threshold brightness value in the clustering result as clutter, as shown in Equation 4 below. At this time, the target cell matches the horizontal and vertical size of the cluster, and the size of the background cell is twice the size of the target cell. The guard cell is set to 2 pixels in width as the boundary between the background cell and the target cell.

Figure 112012070042527-pat00021
Figure 112012070042527-pat00021

이와 같이 표적선정모듈(224)은 공간필터링모듈(222)에 의해 탐지된 표적후보들 중 가장 밝은 표적후보를 선정할 수 있다. 표적선정모듈(224)에 의해 선정된 표적후보는

Figure 112012070042527-pat00022
와 같이 표현될 수 있다.As such, the target selection module 224 may select the brightest target candidate among the target candidates detected by the spatial filtering module 222. Target candidates selected by the target selection module 224
Figure 112012070042527-pat00022
Can be expressed as

표적위치결정(target pointing)모듈(226)은 표적선정모듈(224)에 의해 선정된 표적후보의 중심좌표를 연산하는 것에 의해 표적(T)의 위치를 결정할 수 있다. 즉 표적(T)의 위치는 선정된 표적후보의 클러스터들 중 평균밝기 값이 가장 큰 클러스터의 무게 중심값에 의해 결정될 수 있다. 즉 표적의 위치,

Figure 112012070042527-pat00023
는 다음 수학식 5와 같이 나타낼 수 있다. 여기서 center 함수는 클러스터의 무게 중심을 구하는 함수이다.The target pointing module 226 may determine the position of the target T by calculating the center coordinates of the target candidate selected by the target selection module 224. That is, the position of the target T may be determined by the center of gravity value of the cluster having the largest average brightness value among the selected target candidate clusters. The location of the target,
Figure 112012070042527-pat00023
Can be expressed by the following equation (5). Where center is the function to find the center of gravity of the cluster.

Figure 112012070042527-pat00024
Figure 112012070042527-pat00024

도 8은 본 실시예에 따른 표적탐지부에 의한 표적 탐지결과를 설명하기 위한 이미지이다. 좌측 이미지는 제1 주사영상의 평면상에 표시된 표적이고, 우측이미지는 제2 주사영상의 평면상에 표시된 표적이다.8 is an image for explaining a target detection result by the target detection unit according to the present embodiment. The left image is the target displayed on the plane of the first scanned image, and the right image is the target displayed on the plane of the second scanned image.

본 실시예에 따른 표적움직임보상부(24)는 주사거울의 일측 회동 위치와 타측 회동 위치 사이의 주사거울의 구동시간의 간격, Δt동안 표적(T)이 이동하는 속도를 이용하여 구동시간의 간격 동안 표적(T)이 이동하는 것을 보상할 수 있다.The target motion compensation unit 24 according to the present embodiment uses the interval of the driving time of the scanning mirror between one rotational position and the other rotational position of the scanning mirror and the interval of the driving time using the speed at which the target T moves during Δt. It is possible to compensate for the movement of the target T during.

표적이 이동하는 속도는, 표적(T)의 위치가 t시점의 제2 주사영상에 대응하여 상기 표적탐지부(22)에 의해 파악된 상기 표적의 위치가

Figure 112012070042527-pat00025
로 표현되고 상기 표적이 이동하는 이동속도가
Figure 112012070042527-pat00026
로 표현되며, N이 상기 제2 주사영상의 개수이며 2보다 큰 정수인 경우, 이동속도는 다음 수학식 6으로 표현될 수 있다.The speed at which the target moves is such that the position of the target T is determined by the target detection unit 22 corresponding to the second scanning image at time t.
Figure 112012070042527-pat00025
The speed at which the target moves
Figure 112012070042527-pat00026
When N is the number of the second scanned image and is an integer greater than 2, the moving speed may be expressed by Equation 6 below.

Figure 112012070042527-pat00027
Figure 112012070042527-pat00027

도 9는 본 실시예에 따른 제1 주사영상과 제2 주사영상에서의 표적의 위치를 각각의 주사영상의 중심을 원점으로 하여 표시한 도면이다. 도 9를 참조하여 표적움직임보상부(24)에 의해 보상된 표적의 위치를 설명한다.9 is a view showing the position of the target in the first scan image and the second scan image according to the present embodiment with the center of each scan image as an origin. The position of the target compensated by the target motion compensation unit 24 will be described with reference to FIG. 9.

제1 주사영상에 대응하여 표적탐지부(22)에 의해 파악된 표적의 위치가

Figure 112012070042527-pat00028
로 표현되는 경우, 제1 주사영상의 중심을 기준으로 하는 표적의 위치는 다음 수학식 7과 같이 표현될 수 있다. 여기서 d1은 제1 주사영상의 중심을 기준으로 하는 좌우 이격거리이고, h1은 제1 주사영상의 중심을 기준으로 하는 상하 이격거리이다.The position of the target identified by the target detector 22 in response to the first scanned image
Figure 112012070042527-pat00028
When expressed as, the position of the target with respect to the center of the first scan image may be expressed by Equation 7 below. Here, d1 is a left and right separation distance based on the center of the first scanned image, and h1 is a vertical separation distance based on the center of the first scanned image.

Figure 112012070042527-pat00029
Figure 112012070042527-pat00029

제2 주사영상에 대응하여 표적탐지부(22)에 의해 파악된 표적의 위치가

Figure 112012070042527-pat00030
로 표현되는 경우 구동시간의 간격 Δt동안 이동속도
Figure 112012070042527-pat00031
에 의해 보상된 표적의 위치는 제2 주사영상의 중심을 기준으로 수학식 8과 같이 표현될 수 있다. 여기서 d2는 제2 주사영상의 중심을 기준으로 하는 좌우 이격거리이고, h2는 제2 주사영상의 중심을 기준으로 하는 상하 이격거리이다.The position of the target identified by the target detector 22 in response to the second scanned image
Figure 112012070042527-pat00030
When expressed by, the moving speed during the interval Δt of the driving time
Figure 112012070042527-pat00031
The position of the target compensated for may be expressed by Equation 8 based on the center of the second scan image. Here, d2 is a left and right separation distance based on the center of the second scan image, and h2 is a vertical separation distance based on the center of the second scan image.

Figure 112012070042527-pat00032
Figure 112012070042527-pat00032

이와 같이 본 실시예에 따른 표적거리 측정시스템은 표적의 대응관계 연산에서도 표적 탐지기법을 적용하고, 표적 움짐임을 보상함으로써 실시간 구현이 가능한 장점을 가진다.As described above, the target distance measuring system according to the present exemplary embodiment has an advantage that real-time implementation is possible by applying the target detection technique in the target relation calculation and compensating for the target movement.

본 실시예에 따른 표적거리연산부(26)는 표적탐지부(22)에 의해 파악된 표적의 위치와 표적움직임보상부(24)에 의하여 구동시간의 간격 Δt동안 움직인 표적의 위치를 보상하는 것에 의해 표적의 3차원 거리정보를 계산할 수 있다.The target distance calculation unit 26 according to the present embodiment compensates for the position of the target detected by the target detection unit 22 and the position of the target moved during the interval Δt of the driving time by the target motion compensation unit 24. 3D distance information of the target can be calculated.

표적거리연산부(26)는 도 10에 도시된 바와 같은 제1 주사영상과 제2 주사영상의 대응관계 및 주사구동 적외선센서장치(10)의 파라미터를 이용하는 것에 의해, 주사구동 적외선센서장치(10)와 표적(T) 사이의 수평거리 및 수직거리를 연산하여 표적의 3차원 거리정보를 계산할 수 있다.The target distance calculation unit 26 uses the correspondence relationship between the first scan image and the second scan image and parameters of the scan drive infrared sensor device 10 as shown in FIG. 3D distance information of the target may be calculated by calculating a horizontal distance and a vertical distance between the target T and the target T. FIG.

도 10 및 도 11를 참조하여, 표적의 3차원 거리정보 R을 계산하는 방법에 대해 설명한다. 도 10은 표적의 화면상의 위치와 표적과의 수평거리 관계를 나타내기 위한 도면이고, 도 11은 주사구동 적외선센서장치와 표적의 3차원 위치를 나타내기 위한 도면이다.A method of calculating three-dimensional distance information R of a target will be described with reference to FIGS. 10 and 11. FIG. 10 is a diagram illustrating a relationship between a position on a screen of a target and a horizontal distance between the target, and FIG. 11 is a diagram illustrating a three-dimensional position of the scanning driving infrared sensor device and the target.

주사구동 적외선센서장치(10)와 표적(T) 사이의 수평거리 L은, 수학식 7의 d1과 수학식 8의 d2의 합이 d로 표현되고, 주사구동 적외선센서장치(10)의 파라미터 중 초점거리가 f로 표현되며, 도 10에 도시된 제1 주사영상의 중심과 제2 주사영상의 중심 사이의 거리가 b로 표현된 경우, 다음 수학식 9와 같은 비례식을 이용하여 수학식 10과 같이 계산될 수 있다.In the horizontal distance L between the scan drive infrared sensor device 10 and the target T, the sum of d1 in equation (7) and d2 in equation (8) is represented by d, and among the parameters of the scan drive infrared sensor device 10 When the focal length is represented by f and the distance between the center of the first scan image and the center of the second scan image shown in FIG. 10 is represented by b, the following equation (10) Can be calculated as:

Figure 112012070042527-pat00033
Figure 112012070042527-pat00033

Figure 112012070042527-pat00034
Figure 112012070042527-pat00034

주사구동 적외선센서장치(10)와 표적(T) 사이의 수직거리 H는 다음 수학식 11에 의해 구할 수 있다.The vertical distance H between the scan drive infrared sensor device 10 and the target T can be obtained by the following equation (11).

Figure 112012070042527-pat00035
Figure 112012070042527-pat00035

수학식 11에서 θ는 주사구동 적외선센서장치(10)의 파라미터인 IFOV(Instantaneous Field Of View, 공간분해능)에 의해 결정될 수 있다. IFOV는 주사기의 지상 분해능의 척도로서 최소 관측 시야 단위로 사용한다.In Equation 11, θ may be determined by IFOV (Instantaneous Field Of View, spatial resolution) which is a parameter of the scan driving infrared sensor device 10. IFOV is a measure of the ground resolution of the syringe and is used in the minimum field of view.

표적거리연산부(26)는 위에서 계산된 주사구동 적외선센서장치(10)와 표적(T) 사이의 수평거리 L 및 수직거리 H를 이용하여 주사구동 적외선센서장치(10)와 표적(T) 사이의 3차원 거리정보 R를 다음 수학식 12를 통해 얻을 수 있다.The target distance calculation unit 26 uses the horizontal distance L and the vertical distance H between the scan drive infrared sensor device 10 and the target T calculated above, between the scan drive infrared sensor device 10 and the target T. Three-dimensional distance information R can be obtained through the following equation (12).

Figure 112012070042527-pat00036
Figure 112012070042527-pat00036

이와 같이, 본 발명의 일 실시예에 따른 표적거리 측정시스템는 종래 레이저나 레이더와 같은 능동센서(active sensor)를 이용하는 측정방식 대신 주사구동 적외선센서장치(10)와 같은 수동센서(passive sensor)를 이용한 측정방식을 적용함으로써 표적(T)의 3차원 정보를 얻을 수 있다.As such, the target distance measuring system according to the exemplary embodiment of the present invention uses a passive sensor such as the scanning-driven infrared sensor device 10 instead of the conventional measuring method using an active sensor such as a laser or a radar. By applying the measurement method, three-dimensional information of the target T can be obtained.

10: 주사구동 적외선센서장치
12: 주사거울
14: IR센서
20: 영상처리장치
22: 표적탐지부
222: 공간필터링모듈
224: 표적선정모듈
2242: Pre-Thresholding & Clustering
2244: CFAR 검출
226: 표적위치결정모듈
24: 표적움직임보상부
26: 표적거리연산부
10: Scan driving infrared sensor device
12: injection mirror
14: IR sensor
20: Image processing device
22: target detection unit
222: space filtering module
224: target selection module
2242: Pre-Thresholding & Clustering
2244: CFAR detection
226: target positioning module
24: target motion compensation
26: target distance calculation unit

Claims (11)

전면에 배치되어 사전에 정해진 구동주기와 각도범위 내에서 반복 회동하여 표적이 포함된 감지구역으로부터의 적외선을 수광하는 주사거울과, 상기 주사거울의 일측 회동 위치 및 타측 회동 위치에서 각각 수광되어 입사되는 적외선에 의해 상기 표적에 대한 제1 주사영상 및 제2 주사영상을 각각 획득하여 출력하는 IR센서로 이루어진 주사구동 적외선센서장치; 및
상기 주사구동 적외선센서장치로부터 입력되는 영상정보 중 상기 제1 주사영상과 상기 제2 주사영상의 겹침부분에 상기 표적에 대응하는 영상이 동시에 존재하는 경우 상기 제1 주사영상과 상기 제2 주사영상의 상관성을 해석하여 상기 표적의 3차원 거리정보를 계산하는 영상처리장치를 포함하는 것을 특징으로 하는 표적거리 측정시스템.
A scanning mirror that is disposed on the front surface and repeatedly rotates within a predetermined driving period and angle range to receive infrared rays from a detection zone including a target, and is received and incident at one rotational position and the other rotational position of the scanning mirror, respectively A scanning drive infrared sensor device comprising an IR sensor for respectively acquiring and outputting a first scan image and a second scan image of the target by infrared light; And
When the image corresponding to the target is simultaneously present in the overlapping portion of the first scan image and the second scan image among the image information input from the scan driving infrared sensor device, the first scan image and the second scan image are separated. And an image processing apparatus for analyzing the correlation to calculate three-dimensional distance information of the target.
제1항에 있어서,
상기 영상처리장치는 상기 획득된 제1 주사영상 및 제2 주사영상으로부터 상기 표적을 탐지하여 영상평면 상의 상기 표적의 위치를 파악하는 표적탐지부와, 상기 파악된 표적의 위치를 이용하여 상기 표적의 움직임을 보상하는 표적움직임보상부와, 상기 파악된 표적의 위치와 상기 표적의 움직임 보상을 이용하여 상기 표적의 3차원 거리정보를 계산하는 표적거리연산부를 포함하는 것을 특징으로 하는 표적거리 측정시스템.
The method of claim 1,
The image processing apparatus may include a target detector configured to detect the target from the obtained first scanned image and the second scanned image to determine a position of the target on an image plane, and to determine the target position using the determined target position. And a target motion compensator for compensating for movement, and a target distance calculator for calculating three-dimensional distance information of the target using the identified target position and motion compensation of the target.
제2항에 있어서,
상기 표적탐지부는 상기 주사거울의 구동주기 별로 획득된 상기 제1 주사영상들과 상기 제2 주사영상들 모두에 대해 상기 구동주기 별로 상기 제1 주사영상과 상기 제2 주사영상의 대응관계를 파악하는 것에 의해 수행되는 것을 특징으로 하는 표적거리 측정시스템.
The method of claim 2,
The target detector detects a correspondence relationship between the first scan image and the second scan image for each of the driving periods with respect to both the first scan images and the second scan images acquired for each driving cycle of the scanning mirror. Target distance measuring system, characterized in that carried out by.
제3항에 있어서,
상기 표적탐지부는 상기 제1 주사영상 및 제2 주사영상에서 표적후보를 탐지하기 위한 공간필터링(spatial filtering)모듈과, 사전에 정해진 기준에 의해 상기 탐지된 표적후보들 중 하나의 표적후보를 선정하기 위한 표적선정(target selection)모듈과, 상기 선정된 표적후보의 중심좌표를 연산하는 것에 의해 상기 표적의 위치가 결정되는 표적위치결정(target pointing)모듈을 포함하는 것을 특징으로 하는 표적거리 측정시스템.
The method of claim 3,
The target detector includes a spatial filtering module for detecting target candidates in the first and second scanned images, and a target candidate for one of the detected target candidates based on a predetermined criterion. A target selection module, and a target pointing module for determining a position of the target by calculating a center coordinate of the selected target candidate.
제4항에 있어서,
상기 표적선정(target selection)모듈은 상기 탐지된 표적후보들 중 11×11이하 크기의 가장 밝은 표적후보를 선정하는 것을 특징으로 하는 표적거리 측정시스템.
5. The method of claim 4,
The target selection module selects the brightest target candidates of size 11 × 11 or less among the detected target candidates.
제2항에 있어서,
상기 표적움직임보상부는 상기 일측 회동 위치와 상기 타측 회동 위치 사이의 상기 주사거울의 구동시간의 간격 동안 상기 표적이 이동하는 경우, 상기 구동시간의 간격 동안 상기 표적이 이동하는 것을 보상하는 것을 특징으로 하는 표적거리 측정시스템.
The method of claim 2,
The target motion compensation unit compensates for the movement of the target during the interval of the driving time when the target is moved during the interval of the driving time of the scanning mirror between the one side rotational position and the other side rotational position. Target distance measuring system.
제6항에 있어서,
상기 표적이 이동하는 것을 보상하는 것은 상기 주사거울의 구동시간의 간격 동안 상기 표적이 이동하는 속도를 이용하여 수행되는 것을 특징으로 하는 표적거리 측정시스템.
The method according to claim 6,
Compensating for the movement of the target is carried out using the speed at which the target moves during the interval of the driving time of the scanning mirror.
제7항에 있어서,
상기 표적이 이동하는 속도는, 상기 표적의 위치가 t시점의 제2 주사영상에 대응하여 상기 표적탐지부에 의해 파악된 상기 표적의 위치가
Figure 112012070042527-pat00037
로 표현되고 상기 표적이 이동하는 이동속도가
Figure 112012070042527-pat00038
로 표현되며, x 및 y가 상기 영상평면 상의 2차원 직교좌표계의 좌표값이고, N이 상기 제2 주사영상의 개수이며 2보다 큰 정수인 경우, 상기 이동속도는 제1식으로 표현되는 것을 특징으로 하는 표적거리 측정시스템.
제1식:
Figure 112012070042527-pat00039
The method of claim 7, wherein
The speed at which the target moves is such that the position of the target is determined by the target detection unit corresponding to the second scanning image at time t.
Figure 112012070042527-pat00037
The speed at which the target moves
Figure 112012070042527-pat00038
Wherein x and y are coordinate values of the two-dimensional rectangular coordinate system on the image plane, and N is the number of the second scanned image and is an integer greater than two, the movement speed is represented by the first equation. Target distance measurement system.
Formula 1:
Figure 112012070042527-pat00039
제8항에 있어서,
상기 구동시간의 간격이 Δt로 표현되고, 상기 제1 주사영상에 대응하여 상기 표적탐지부에 의해 파악된 상기 표적의 위치가
Figure 112012070042527-pat00040
로 표현되는 경우 상기 제1 주사영상의 중심을 기준으로 하는 상기 표적의 위치는 제2식으로 표현되고,
상기 제2 주사영상에 대응하여 상기 표적탐지부에 의해 파악된 상기 표적의 위치가
Figure 112012070042527-pat00041
로 표현되는 상기 제2 주사영상의 중심을 기준으로 하는 상기 표적의 위치는 제3식으로 표현되는 것을 특징으로 하는 표적거리 측정시스템.
제2식:
Figure 112012070042527-pat00042
, d1: 상기 제1 주사영상의 중심을 기준으로 하는 좌우 이격거리, h1: 상기 제1 주사영상의 중심을 기준으로 하는 상하 이격거리
제3식:
Figure 112012070042527-pat00043
, 여기서 d2: 상기 제2 주사영상의 중심을 기준으로 하는 좌우 이격거리, h2: 상기 제2 주사영상의 중심을 기준으로 하는 상하 이격거리
9. The method of claim 8,
The interval of the driving time is expressed as Δt, and the position of the target identified by the target detection unit corresponding to the first scanned image is
Figure 112012070042527-pat00040
When represented by the position of the target relative to the center of the first scanning image is represented by the second equation,
The position of the target identified by the target detection unit corresponding to the second scan image
Figure 112012070042527-pat00041
The position of the target with respect to the center of the second scanning image represented by the target distance measuring system, characterized in that represented by the third expression.
Formula 2:
Figure 112012070042527-pat00042
, d1: left and right separation distance based on the center of the first scanned image, h1: up and down separation distance based on the center of the first scanned image
Equation 3:
Figure 112012070042527-pat00043
Here, d2: left and right separation distance based on the center of the second scan image, h2: up and down separation distance based on the center of the second scan image
제9항에 있어서,
상기 표적거리연산부는 상기 제1 주사영상과 상기 제2 주사영상의 대응관계와 상기 주사구동 적외선센서장치의 파라미터를 이용하는 것에 의해, 상기 주사구동 적외선센서장치와 상기 표적 사이의 수평거리 및 수직거리를 연산하여 상기 표적의 3차원 거리정보를 계산하는 것을 특징으로 하는 표적거리 측정시스템.
10. The method of claim 9,
The target distance calculator calculates a horizontal distance and a vertical distance between the scan drive infrared sensor device and the target by using a corresponding relationship between the first scan image and the second scan image and parameters of the scan drive infrared sensor device. Computing the target distance measurement system, characterized in that for calculating the three-dimensional distance information of the target.
제10항에 있어서,
상기 제2식의 d1과 상기 제3식의 d2의 합이 d로 표현되고, 상기 주사구동 적외선센서장치의 초점거리가 f로 표현되며, 상기 제1 주사영상의 중심과 상기 제2 주사영상의 중심 사이의 거리가 b로 표현된 경우, 상기 수평거리 L은 제4식으로 표현되고, 상기 수직거리 H는 제5식으로 표현되며, 상기 3차원 거리정보 R은 제6식으로 표현되는 것을 특징으로 하는 표적거리 측정시스템.
제4식:
Figure 112012070042527-pat00044

제5식:
Figure 112012070042527-pat00045
, IFOV: 상기 주사구동 적외선센서장치의 파라미터인 공간분해능(Instantaneous Field Of View)
제6식:
Figure 112012070042527-pat00046
The method of claim 10,
The sum of d1 of the second formula and d2 of the third formula is represented by d, and the focal length of the scan-driven infrared sensor device is represented by f, and the center of the first scanned image and the second scanned image When the distance between the center is represented by b, the horizontal distance L is represented by the fourth equation, the vertical distance H is expressed by the fifth equation, and the three-dimensional distance information R is expressed by the sixth equation Target distance measuring system.
Formula 4:
Figure 112012070042527-pat00044

Formula 5:
Figure 112012070042527-pat00045
, IFOV: Instantaneous Field Of View which is a parameter of the scanning driven infrared sensor device
Equation 6:
Figure 112012070042527-pat00046
KR1020120095620A 2012-08-30 2012-08-30 System for measuring distance of target using step-staring infrared sensor unit KR101238748B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120095620A KR101238748B1 (en) 2012-08-30 2012-08-30 System for measuring distance of target using step-staring infrared sensor unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120095620A KR101238748B1 (en) 2012-08-30 2012-08-30 System for measuring distance of target using step-staring infrared sensor unit

Publications (1)

Publication Number Publication Date
KR101238748B1 true KR101238748B1 (en) 2013-03-04

Family

ID=48180995

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120095620A KR101238748B1 (en) 2012-08-30 2012-08-30 System for measuring distance of target using step-staring infrared sensor unit

Country Status (1)

Country Link
KR (1) KR101238748B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101405115B1 (en) 2012-10-30 2014-06-10 삼성탈레스 주식회사 Laser seeker using multiple divisionsional detection domain and method thereof
CN104931011A (en) * 2015-06-11 2015-09-23 山东神戎电子股份有限公司 Passive distance measuring method of infrared thermal imager
WO2017166887A1 (en) * 2016-03-31 2017-10-05 Boe Technology Group Co., Ltd. Imaging device, rotating device, distance measuring device, distance measuring system and distance measuring method
CN112509066A (en) * 2021-01-21 2021-03-16 深圳市三杰宜科技有限公司 Full-automatic tool suitable for multi-view camera space external parameter calibration
CN117075217A (en) * 2023-10-12 2023-11-17 北京瑞控信科技股份有限公司 Zhou Saogong external equipment based on large-angle view field and calibration method and system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050009725A (en) * 2002-05-30 2005-01-25 라파엘 아마먼트 디벨롭먼트 오쏘리티 엘티디. Airborne reconnaissance system
KR20110075532A (en) * 2009-12-28 2011-07-06 영남대학교 산학협력단 Method of discriminating target in synthetic aperture radar image and apparatus thereof
KR20120069487A (en) * 2010-12-20 2012-06-28 한국전자통신연구원 Active optical radar apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050009725A (en) * 2002-05-30 2005-01-25 라파엘 아마먼트 디벨롭먼트 오쏘리티 엘티디. Airborne reconnaissance system
KR20110075532A (en) * 2009-12-28 2011-07-06 영남대학교 산학협력단 Method of discriminating target in synthetic aperture radar image and apparatus thereof
KR20120069487A (en) * 2010-12-20 2012-06-28 한국전자통신연구원 Active optical radar apparatus

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101405115B1 (en) 2012-10-30 2014-06-10 삼성탈레스 주식회사 Laser seeker using multiple divisionsional detection domain and method thereof
CN104931011A (en) * 2015-06-11 2015-09-23 山东神戎电子股份有限公司 Passive distance measuring method of infrared thermal imager
WO2017166887A1 (en) * 2016-03-31 2017-10-05 Boe Technology Group Co., Ltd. Imaging device, rotating device, distance measuring device, distance measuring system and distance measuring method
US10591291B2 (en) 2016-03-31 2020-03-17 Boe Technology Group Co., Ltd. Imaging device, rotating device, distance measuring device, distance measuring system and distance measuring method
CN112509066A (en) * 2021-01-21 2021-03-16 深圳市三杰宜科技有限公司 Full-automatic tool suitable for multi-view camera space external parameter calibration
CN112509066B (en) * 2021-01-21 2023-08-22 深圳市三杰宜科技有限公司 Full-automatic frock suitable for calibration of multi-camera space external parameter
CN117075217A (en) * 2023-10-12 2023-11-17 北京瑞控信科技股份有限公司 Zhou Saogong external equipment based on large-angle view field and calibration method and system
CN117075217B (en) * 2023-10-12 2024-01-12 北京瑞控信科技股份有限公司 Zhou Saogong external equipment based on large-angle view field and calibration method and system

Similar Documents

Publication Publication Date Title
CN107272021B (en) Object detection using radar and visually defined image detection areas
US11243072B2 (en) Method for the three dimensional measurement of moving objects during a known movement
US6297844B1 (en) Video safety curtain
US10501059B2 (en) Stereo camera device
EP2375216B1 (en) 3-D imaging system and method using partial-coherence speckle interference tomography
KR101238748B1 (en) System for measuring distance of target using step-staring infrared sensor unit
CN109313258A (en) The object detection and state estimation of enhancing for vehicle environmental detection system
CN105043350A (en) Binocular vision measuring method
WO2008084468A2 (en) A method, device and system for imaging
US10801831B2 (en) Speckle measurement apparatus and speckle measurement method
JP2004530144A (en) How to provide image information
EP3460515A1 (en) Mapping for autonomous robotic devices
EP3312641B1 (en) Method, apparatus and system for scanning and imaging
JP2009146296A (en) Image corresponding point search device, and distance measuring equipment and image motion detector using the same
CN104913762B (en) Method and device for estimating the distance between a moving vehicle and an object
JP2005156199A (en) Vehicle detection method and vehicle detector
KR20160092289A (en) Method and apparatus for determining disparty
JP2009186228A (en) Three-dimensional measuring device
RU2576471C2 (en) Method for high-speed detection of objects on high-contrast dynamically variable background
US10698111B2 (en) Adaptive point cloud window selection
RU152007U1 (en) MULTI-CHANNEL DEVICE FOR DETECTION OF SMALL-SIZED UNMANNED AIRCRAFT AND AIMS
KR102211483B1 (en) Information estimation apparatus and mothod of the object based on the laser pattern analysis
US20210041235A1 (en) Method and device for determining a parallax problem in sensor data of two sensors
Kohoutek Analysis and processing the 3d‐range‐image‐data for robot monitoring
EP2729761A1 (en) Device and method for measuring deformation of a metal sheet

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160202

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180105

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190207

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200204

Year of fee payment: 8