KR101310923B1 - Method for depth estimation under low light level conditions using a stereoscopic passive photo-counting imaging system - Google Patents
Method for depth estimation under low light level conditions using a stereoscopic passive photo-counting imaging system Download PDFInfo
- Publication number
- KR101310923B1 KR101310923B1 KR1020120047424A KR20120047424A KR101310923B1 KR 101310923 B1 KR101310923 B1 KR 101310923B1 KR 1020120047424 A KR1020120047424 A KR 1020120047424A KR 20120047424 A KR20120047424 A KR 20120047424A KR 101310923 B1 KR101310923 B1 KR 101310923B1
- Authority
- KR
- South Korea
- Prior art keywords
- photon
- image
- distance
- photon count
- counting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000003384 imaging method Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000001914 filtration Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007123 defense Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B15/00—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/44—Electric circuits
- G01J2001/4413—Type
- G01J2001/442—Single-photon detection or photon counting
Abstract
Description
본 발명은 저조도 환경에서 물체의 거리를 추정하는 방법에 관한 것으로서, 더욱 상세하게는 스테레오스코픽(stereoscopic) 광자계수 검출 영상 시스템을 이용하여 대상 표적이 공동 시야(common field of view)에 위치하는 한 쌍의 스테레오 광자계수 영상을 획득하고, 한 쌍의 스테레오 영상 안에 획득된 은닉된 물체의 상대적 화소의 차이를 구하여 스테레오 영상 쌍의 화소 차이와 시스템의 파라미터를 이용하여 은닉된 물체까지의 깊이 방향의 거리를 구하는 스테레오스코픽(stereosc opic) 수동형 광자계수 검출 영상 시스템을 이용한 저조도 환경에서 물체의 거리를 추정하는 방법에 관한 것이다.The present invention relates to a method for estimating the distance of an object in a low light environment, and more particularly, a pair of target targets positioned in a common field of view using a stereoscopic photon count detection system. Obtain the stereo photon count image of, and obtain the difference of the relative pixel of the hidden object obtained in the pair of stereo image, and use the pixel difference of the stereo image pair and the depth of distance to the hidden object using the system parameters. The present invention relates to a method for estimating the distance of an object in a low light environment using a stereoscopic optic passive photon counting detection system.
(광자계수 배경 기술)Photon counting background
일반적인 카메라로 획득되는 영상, 즉 사진(photo)은 빛에 의한 에너지가 센서의 특정한 위치에 결집되므로 생성되고, 빛에 의한 에너지는 빛의 입자적인 특성에 비추어 볼 때 광자(photon)라는 물리적인 형태로 표현되며 영상의 화소는 이러한 광자들이 전달한 에너지가 광센서와 전기장치에 의하여 변환된 에너지의 전기적인 값이다.An image obtained by a general camera, that is, a photo, is generated because energy of light is concentrated at a specific position of a sensor, and the energy of light is a physical form called photon in light of the particle characteristics of light. The pixel of the image is the electrical value of the energy transferred by these photons converted by the light sensor and the electric device.
그러나 주변 광원이 거의 없는 저조도 환경에서는 광자의 수가 극히 제한되고 일반적인 카메라는 이러한 광자의 검출이 불가능하다. 그러나 감도가 높은 광자계수 검출기는 단일 광자도 검출할 수 있으며 일반적인 광자계수 영상시스템은 특정한 수의 광자 이상을 획득할 경우 전압 차에 의하여 영상의 화소값이 "1"로 표현되며 그렇지 않을 경우 "0"으로 표현되는 이진 영상을 발생한다.However, in low light environments with few ambient light sources, the number of photons is extremely limited, and conventional cameras cannot detect these photons. However, highly sensitive photon count detectors can detect single photons, and in general photon count imaging systems, when a certain number of photons or more are acquired, the pixel value of the image is represented as "1" due to the voltage difference. Generate a binary image represented by ".
이와 같이 저조도 환경에서 일반적인 카메라로 영상을 획득하기는 불가능하다고 하는 문제점이 있다.As such, there is a problem in that it is impossible to acquire an image with a general camera in a low light environment.
(입체 영상 쌍을 이용한 거리추출 기술)(Distance Extraction Technique Using Stereoscopic Image Pair)
입체 영상 쌍이란 하나의 대상을 일정 거리를 둔 두 개의 동일한 영상시스템에서 서로 다른 두 방향에서 본 영상이며, 이 영상 쌍은 방향의 차이에 의해 주어진 시차 정보를 포함하고 있어, 이 시차 정보의 획득에 의해 영상 내 대상 간의 상대적인 거리 정보와 대상까지의 실제 거리 계산이 가능하게 된다.A stereoscopic image pair is an image viewed from two different directions in two identical imaging systems at a certain distance from a single object, and the image pair includes parallax information given by a difference in directions, and thus is used to acquire the parallax information. As a result, relative distance information between objects in the image and an actual distance to the object can be calculated.
거리를 구하기 위하여 스테레오 매칭이 필요하며 스테레오 매칭이란 두 영상 사이의 양안 시각 차를 구하기 위하여 두 영상 사이의 동일한 표적의 상대적인 화소의 거리를 구하는 방법으로 정합필터링, 특징추출 후 매칭 등의 방법이 있다.Stereo matching is required to find the distance, and stereo matching is a method of obtaining a relative pixel distance between two images in order to obtain a binocular visual difference between two images, such as matching filtering and feature extraction and matching.
그러므로 하나의 광자계수 검출기로는 거리정보를 얻을 수 없고 일반 스테레오 카메라 영상으로는 저조도 환경에서 물체의 영상을 획득할 수 없으므로 물체의 거리를 추정할 수 없는 문제점이 있었다.Therefore, there is a problem in that distance information cannot be obtained by using a single photon coefficient detector and the distance of an object cannot be estimated because a general stereo camera image cannot obtain an image of an object in a low light environment.
본 발명은 상기한 실정을 감안하여 종래 물체까지의 거리를 추정할 경우에 야기되는 여러 가지 결점 및 문제점 들을 해결하고자 발명한 것으로서, 그 목적은 스테레오 광자계수 검출 영상장치와 광자계수 영상정합을 통한 거리추정 알고리즘으로 저조도 환경에서 물체의 거리를 추정함으로써 야간 또는 어두운 실내, 동굴, 천체 등에서 3차원 위치추적이 가능한 스테레오스코픽(stereoscopic) 수동형 광자계수 검출 영상 시스템을 이용한 저조도 환경에서 물체의 거리를 추정하는 방법을 제공함에 있다.The present invention has been made to solve various drawbacks and problems caused by estimating the distance to a conventional object in view of the above situation, and an object thereof is to provide a distance through stereo photonic count detection imaging device and photon count image matching. Estimation algorithm estimates distance of object in low light environment and estimates distance of object in low light environment using stereoscopic passive photon count detection In providing.
본 발명의 다른 목적은 저조도 환경에서 3차원 위치추적이 가능하므로 군사적으로 활용도가 높으므로 보안시설, 군사시설, 군사경계선, 해안가 등과 같은 곳에서 미지의 물체를 탐지하고 거리를 추정함으로써 그 위험을 사전에 예방하고 조치할 수 있도록 하는 스테레오스코픽(stereoscopic) 수동형 광자계수 검출 영상 시스템을 이용한 저조도 환경에서 물체의 거리를 추정하는 방법을 제공하는 데 있다.Another object of the present invention is to enable the three-dimensional location tracking in low light environment, so the use of the military is high, the risk is detected in advance by detecting unknown objects and estimating the distance in places such as security facilities, military facilities, military boundary lines, coasts, etc. The present invention provides a method for estimating the distance of an object in a low light environment using a stereoscopic passive photon count detection imaging system that can prevent and take action.
상기한 목적을 달성하기 위한 본 발명 스테레오스코픽(stereoscopic) 수동형 광자계수 검출 영상 시스템을 이용하여 저조도 환경에서 물체의 거리를 추정하는 방법은 좌측 광자계 검출기로 좌측 광자계수 영상을 획득하는 좌측 광자계수 영상 획득단계(S1단계)와; 우측 광자계 검출기로 우측 광자계수 영상을 획득하는 우측 광자계수 영상 획득단계(S2단계)와; 상기 좌측 광자계수 영상 획득단계(S1단계)에서 획득한 영상을 전처리하는 좌측영상 전처리단계(S3단계)와; 상기 우측 광자계수 영상 획득단계(S1단계)에서 획득한 영상을 전처리하는 우측영상 전처리단계(S4단계)와; 좌측영상과 우측영상의 비선형 정합필터링에 의해 화소의 변이를 구하는 화소변이 산출단계(S5단계)와; 상기 화소변이 산출단계(S5단계)에서 구해진 화소변이로부터 은닉물체의 깊이를 추정하는 거리정보 추출단계(S6단계)로 이루어진 것을 특징으로 한다.A method for estimating the distance of an object in a low light environment using the stereoscopic passive photon counting imaging system of the present invention for achieving the above object is a left photon counting image obtained by acquiring a left photon counting image with a left photon field detector. An acquisition step (S1 step); A right photon count image acquisition step (S2 step) of obtaining a right photon count image with a right photon field detector; A left image preprocessing step (step S3) of preprocessing the image acquired in the left photon count image acquisition step (step S1); A right image preprocessing step (step S4) of preprocessing the image acquired in the right photon count image acquisition step (step S1); A pixel shift calculation step (step S5) of obtaining a shift of the pixel by nonlinear matched filtering of the left image and the right image; And a distance information extraction step (step S6) of estimating the depth of the hidden object from the pixel shift obtained in the pixel shift calculation step (step S5).
본 발명은 스테레오 광자계수 검출 영상장치와 광자계수 영상정합을 통한 거리추정 알고리즘으로 저조도 환경에서 물체의 거리를 추정함으로써 야간 또는 어두운 실내, 동굴 천체 등에서 3차원 위치추적이 가능하고, 저조도 환경에서 3차원 위치추적이 가능하므로 군사적으로 활용도가 높고, 각종 보안시설, 군사시설, 군사경계선, 해안가 등과 같은 곳에서 침입하는 위험 물체 또는 사람을 탐지하고 거리를 추정함으로써 그 위험을 사전에 예방하고 조치할 수 있는 각별한 효과가 있다.The present invention is a distance estimation algorithm through stereo photon counting imaging device and photon counting image matching to estimate the distance of an object in a low light environment, thereby enabling three-dimensional location tracking in a night or dark room, or a cavernous object. Location tracking is possible, so it is highly applicable to the military, and it can prevent and take measures in advance by detecting and estimating the distance of dangerous objects or people invading in various security facilities, military facilities, military borders, coasts, etc. It has a special effect.
이러한 본 발명의 효과는 실내보다 실외에서 테러나 은닉된 공격에 무방비하게 노출될 수 있는 점을 감안하면 보안과 국방 등에 지대하다고 볼 수 있다.The effects of the present invention can be seen as a great security and defense in consideration of being able to be exposed to terrorism or concealed attacks in the open air rather than indoors.
도 1은 본 발명에 따른 저조도 환경에서 물체의 거리추정을 위한 스테레오 광자계수 영상시스템의 개념도,
도 2는 본 발명 스테레오스코픽(stereoscopic) 수동형 광자계수 검출 영상 시스템을 이용하여 저조도 환경에서 물체의 거리를 추정하는 방법의 실행 순서도,
도 3a는 본 발명에 따른 좌측 스테레오 영상의 예시도,
도 3b는 본 발명에 따른 우측 스테레오 영상의 예시도,
도 3c는 본 발명에 따른 저조도 환경에서 도 3a에 대응하는 광자계수 영상의 예시도,
도 3d는 본 발명에 따른 저조도 환경에서 도 3b에 대응하는 광자계수 영상의 예시도,
도 3e는 본 발명에 따른 저조도 환경에서 도 3a와 도 3b와 같은 스테레오 광자계수 영상을 이용하여 구한 화소변이의 평균과 표준편차를 나타낸 그래프,
도 3f는 본 발명에 따른 저조도 환경에서 도 3a와 도 3b와 같은 스테레오 광자계수 영상을 이용하여 구한 깊이의 평균과 표준편차를 나타낸 그래프이다.1 is a conceptual diagram of a stereo photon counting imaging system for distance estimation of an object in a low light environment according to the present invention;
2 is a flowchart illustrating a method of estimating a distance of an object in a low light environment using a stereoscopic passive photon count detection imaging system of the present invention;
3A is an exemplary diagram of a left stereo image according to the present invention;
3b is an exemplary view of a right stereo image according to the present invention;
3C is an exemplary view of a photon count image corresponding to FIG. 3A in a low light environment according to the present invention;
3D is an exemplary view of a photon count image corresponding to FIG. 3B in a low light environment according to the present invention;
FIG. 3E is a graph showing the mean and standard deviation of pixel variances obtained using stereo photon counting images such as FIGS. 3A and 3B in a low light environment according to the present invention;
FIG. 3F is a graph showing averages and standard deviations of depths obtained using stereo-photon count images such as FIGS. 3A and 3B in a low light environment according to the present invention.
이하, 첨부 도면을 참조하여 본 발명 스테레오스코픽(stereoscopic) 수동형 광자계수 검출 영상 시스템을 이용하여 저조도 환경에서 물체의 거리를 추정하는 방법의 바람직한 실시 예를 상세하게 설명한다.Hereinafter, a preferred embodiment of the method for estimating the distance of an object in a low light environment using the stereoscopic passive photon count detection imaging system according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 저조도 환경에서 물체의 거리추정을 위한 스테레오 광자계수 영상시스템의 개념도, 도 2는 본 발명 스테레오스코픽(stereoscopic) 수동형 광자계수 검출 영상 시스템을 이용하여 저조도 환경에서 물체의 거리를 추정하는 방법의 실행 순서도, 도 3a는 본 발명에 따른 좌측 스테레오 영상의 예시도, 도 3b는 본 발명에 따른 우측 스테레오 영상의 예시도, 도 3c는 본 발명에 따른 저조도 환경에서 도 3a에 대응하는 광자계수 영상의 예시도, 도 3d는 본 발명에 따른 저조도 환경에서 도 3b에 대응하는 광자계수 영상의 예시도, 도 3e는 본 발명에 따른 저조도 환경에서 도 3a와 도 3b와 같은 스테레오 광자계수 영상을 이용하여 구한 화소변이의 평균과 표준편차를 나타낸 그래프, 도 3f는 본 발명에 따른 저조도 환경에서 도 3a와 도 3b와 같은 스테레오 광자계수 영상을 이용하여 구한 깊이의 평균과 표준편차를 나타낸 그래프로서, 본 발명 스테레오스코픽(stereoscopic) 수동형 광자계수 검출 영상 시스템을 이용한 저조도 환경에서 물체의 거리를 추정하는 방법은 좌측 광자계수 검출기로 좌측 광자계수 영상을 획득하는 좌측 광자계수 영상 획득단계(S1단계)와; 우측 광자계수 검출기로 우측 광자계수 영상을 획득하는 우측 광자계수 영상 획득단계(S2단계)와; 상기 좌측 광자계수 영상 획득단계(S1단계)에서 획득한 영상을 전처리하는 좌측영상 전처리단계(S3단계)와; 상기 우측 광자계수 영상 획득단계(S1단계)에서 획득한 영상을 전처리하는 우측영상 전처리단계(S4단계)와; 좌측영상과 우측영상의 비선형 정합필터링에 의해 화소의 변이를 구하는 화소변이 산출단계(S5단계)와; 상기 화소변이 산출단계(S5단계)에서 구해진 화소변이로부터 은닉물체의 깊이를 추정하는 거리정보 추출단계(S6단계)로 이루어져 있다.1 is a conceptual diagram of a stereo photon counting imaging system for estimating the distance of an object in a low light environment according to the present invention, Figure 2 is a distance of the object in a low light environment using the stereoscopic passive photon count detection imaging system of the present invention 3A shows an example of a left stereo image according to the present invention, FIG. 3B shows an example of a right stereo image according to the present invention, and FIG. 3C corresponds to FIG. 3A in a low light environment according to the present invention. 3D is an illustration of a photon count image corresponding to FIG. 3B in a low light environment according to the present invention, and FIG. 3E is a stereo photon count image as shown in FIGS. 3A and 3B in a low light environment according to the present invention. 3f is a graph showing the mean and standard deviation of the pixel variance obtained by using the same method as shown in FIG. 3a and FIG. A graph showing the average and standard deviation of depths obtained by using a five-photon counting image. The method for estimating the distance of an object in a low light environment using the stereoscopic passive photon counting imaging system of the present invention is performed using a left photon counting detector. A left photon count image obtaining step (S1 step) of obtaining a left photon count image; A right photon coefficient image acquisition step (S2) of acquiring a right photon coefficient image by a right photon coefficient detector; A left image preprocessing step (step S3) of preprocessing the image acquired in the left photon count image acquisition step (step S1); A right image preprocessing step (step S4) of preprocessing the image acquired in the right photon count image acquisition step (step S1); A pixel shift calculation step (step S5) of obtaining a shift of the pixel by nonlinear matched filtering of the left image and the right image; And a distance information extraction step (step S6) of estimating the depth of the hidden object from the pixel shift obtained in the pixel shift calculation step (step S5).
상기 좌측 광자계수 영상 획득단계(S1단계)에서 얻어진 좌측 광자계수 영상과 우측 광자계수 영상 획득단계(S2단계)에서 얻어진 우측 광자계수 영상은 한쌍의 스테레오 영상 쌍을 이루고, 상기 좌측영상 전처리단계(S3단계)와 우측영상 전처리단계(S4단계)는 각각 획득한 영상을 필터링하여 잡음과 배경을 제거하는 단계이다.The left photon coefficient image obtained in the left photon count image acquisition step (step S1) and the right photon coefficient image obtained in the right photon coefficient image acquisition step (step S2) form a pair of stereo image pairs, and the left image preprocessing step (S3). Step) and the right image preprocessing step (step S4) are the steps of removing the noise and the background by filtering the acquired image, respectively.
또한, 상기 화소변이 산출단계(S5단계)에서는 하기 수학식 1을 이용하여 좌측영상과 우측영상의 비선형 정합필터링에 의해서 화소 변이(△p)를 결정한다.Further, in the pixel shift calculation step (S5), the pixel shift Δp is determined by nonlinear matched filtering of the left and right
여기서, △p 는 화소변이, yr 과 yl은 우측과 좌측 각각의 광자계 검출기로 획득한 광자계수 영상, NT 는 영상 내의 화소의 수, υ는 비선형성을 나타낸다.Where Δp is the pixel shift and y r and y l are the photon count images obtained with the right and left photon detectors, N T Is the number of pixels in the image, υ represents nonlinearity.
그리고, 상기 거리정보 추출단계(S6단계)에서는 하기 수학식 2를 이용하여 은닉물체의 깊이(d)를 추정한다.In the distance information extraction step (S6), the depth d of the hidden object is estimated using Equation 2 below.
여기서, d 는 은닉물체까지의 깊이거리, f는 초점거리, b는 우측과 좌측 광자계 검출기 사이의 거리, dp 는 화소의 피치, △p 는 화소변이를 각각 나타낸다.Where d is the depth to the hidden object, f is the focal length, b is the distance between the right and left photon detectors, d p Denotes a pixel pitch, and? Denotes a pixel shift, respectively.
실시예Example
먼저 도 1에 도시한 바와 같이 스테레오 베이스라인 상에 거리(b) 만큼 떨어져 위치하도록 구성한 좌우측 광자계 검출기 각각으로 도 2에 도시한 좌측 광자계수 영상 획득단계(S1단계)와 우측 광자계수 영상 획득단계(S2단계)에서 좌측 광자계수 영상과 우측 광자계수 영상을 각각 획득한다.First, as shown in FIG. 1, the left and right photon magnetic field detectors configured to be spaced apart by a distance b on the stereo baseline are obtained from the left photon count image acquisition step (S1) and the right photon coefficient image acquisition step shown in FIG. 2. In operation S2, a left photon coefficient image and a right photon coefficient image are obtained, respectively.
여기서 획득한 좌측 광자계수 영상(도 3a)과 우측 광자계수 영상(도 3b)은 한 쌍의 스테레오 쌍을 이루고, 은닉된 물체는 공통된 시야에 놓여있어 두 영상에 모두 획득되며, 기준점으로부터의 화소거리는 각각 pl과 pr이라고 한다. y방향(높이방향)의 거리는 동일하다고 가정한다. 도 1에서 구하고자 하는 은닉물체의 깊이(d)는 z 방향으로의 거리이다.The left photon count image (FIG. 3A) and the right photon count image (FIG. 3B) obtained here form a pair of stereo pairs, and the hidden object is placed in a common field of view, and is obtained in both images. The pixel distance from the reference point is It is called p l and p r , respectively. It is assumed that the distances in the y direction (height direction) are the same. The depth d of the hidden object to be obtained in FIG. 1 is a distance in the z direction.
그 다음 좌측영상 전처리단계(S3단계)와 우측영상 전처리단계(S4단계)에서 획득한 각각의 좌측 광자계수 영상과 우측 광자계수 영상으로부터 필요한 영상을 추출하기 위해 잡음제거와 세그멘테이션 기법 등을 이용하여 필터링한다.Next, filtering is performed using noise reduction and segmentation techniques to extract necessary images from the left and right photon coefficient images obtained in the left image preprocessing step (S3) and the right image preprocessing step (S4). do.
이어서 상기 화소변이 산출단계(S5단계)에서 상기 수학식 1을 이용하여 좌측영상과 우측영상의 비선형 정합필터링에 의해서 화소변이(△p)를 결정한다.Subsequently, in the pixel shift calculation step (S5), the pixel shift Δp is determined by nonlinear matched filtering of the left and right
상기 수학식 1에서 비선형성을 나타내는 υ가 0 일 경우 상기 수학식 1은 선형정합필터링과 같은 특성을 보이게 된다.When ν representing nonlinearity is 0 in
마지막으로 상기 거리정보 추출단계(S6단계)에서는 상기 수학식 2를 이용하여 은닉물체의 깊이(d)를 추정한다.Finally, in the step of extracting the distance information (step S6), the depth d of the hidden object is estimated using Equation 2.
여기서 화소의 물리적인 거리 차이는 xl - xr = dp × △p의 관계가 성립한다. △p = pl - pr 로 두 대응점의 차이에 해당하는 화소 수 이다.Where the physical distance difference of the pixels is x l -x r = d p × Δp holds. Δp = p l -p r is the number of pixels corresponding to the difference between the two corresponding points.
도 3e는 본 발명에 따른 저조도 환경에서 도 3a와 도 3b와 같은 스테레오 광자계수 영상을 이용하여 구한 화소변이의 평균과 표준편차를 나타낸 그래프이고, 도 3f는 본 발명에 따른 저조도 환경에서 도 3a와 도 3b와 같은 스테레오 광자계수 영상을 이용하여 구한 깊이의 평균과 표준편차를 나타낸 그래프이다.FIG. 3E is a graph showing averages and standard deviations of pixel shifts obtained by using stereo-photon coefficient images of FIGS. 3A and 3B in a low light environment according to the present invention, and FIG. It is a graph showing the mean and standard deviation of the depth obtained by using a stereo photon count image as shown in FIG.
지금까지 본 발명을 바람직한 실시예로서 설명하였으나, 본 발명은 이에 한정되지 않고 발명의 요지를 이탈하지 않는 범위 내에서 다양하게 변형하여 실시할 수 있음은 물론이다.While the present invention has been described with reference to the preferred embodiments, it is to be understood that the invention is not limited thereto and that various changes and modifications may be made therein without departing from the scope of the invention.
b : 좌우측 광자계 검출기 사이의 거리 d : 은닉물체의 깊이
f : 초점거리, xl - xr : 화소의 차이b: distance between left and right photon detector d: depth of hidden object
f: focal length, x l - x r : Difference between pixels
Claims (4)
상기 화소변이 산출단계(S5단계)에서는 하기 수학식 1을 이용하여 좌측영상과 우측영상의 비선형 정합필터링에 의해서 화소변이(△p)를 결정하는 것을 특징으로 하는 스테레오스코픽(stereoscopic) 수동형 광자계수 검출 영상 시스템을 이용한 저조도 환경에서 물체의 거리를 추정하는 방법.
[수학식 1]
여기서, △p 는 화소변이, yr 과 yl은 우측과 좌측 각각의 광자계 검출기로 획득한 광자계수 영상, NT 는 영상 내의 화소의 수, υ는 비선형성을 나타낸다.A left photon count image obtaining step (S1 step) of obtaining a left photon count image with a left photon field detector; A right photon count image acquisition step (S2 step) of obtaining a right photon count image with a right photon field detector; A left image preprocessing step (step S3) of preprocessing the image acquired in the left photon count image acquisition step (step S1); A right image preprocessing step (step S4) of preprocessing the image acquired in the right photon count image acquisition step (step S1); A pixel shift calculation step (step S5) of obtaining a shift of the pixel by nonlinear matched filtering of the left image and the right image; The stereoscopic passive photon count detection imaging system comprising a distance information extraction step (step S6) of estimating the depth of a hidden object from the pixel shift obtained in the pixel shift calculation step (step S5) is performed. CLAIMS 1. A method for estimating distance;
In the pixel shift calculation step (S5), the stereoscopic passive photon is characterized by determining the pixel shift Δp by nonlinear matched filtering of the left and right images using Equation 1 below. A method for estimating the distance of an object in a low light environment using a coefficient detection imaging system.
[Equation 1]
Here, Δp is a pixel shift, y r and y 1 are photon count images obtained by right and left photon field detectors, N T is the number of pixels in the image, and υ is nonlinearity.
[수학식 2]
여기서, d 는 은닉물체까지의 깊이거리, f는 초점거리, b는 우측과 좌측 광자계 검출기 사이의 거리, dp 는 화소의 피치, △p 는 화소변이를 각각 나타낸다.The stereoscopic passive photon count detection imaging system according to claim 1, wherein the distance information extraction step (step S6) estimates the depth d of the hidden object using Equation 2 below. A method of estimating the distance of an object in a low light environment.
&Quot; (2) "
Where d is the depth to the hidden object, f is the focal length, b is the distance between the right and left photon detectors, d p Denotes a pixel pitch, and? Denotes a pixel shift, respectively.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120047424A KR101310923B1 (en) | 2012-05-04 | 2012-05-04 | Method for depth estimation under low light level conditions using a stereoscopic passive photo-counting imaging system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120047424A KR101310923B1 (en) | 2012-05-04 | 2012-05-04 | Method for depth estimation under low light level conditions using a stereoscopic passive photo-counting imaging system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101310923B1 true KR101310923B1 (en) | 2013-09-25 |
Family
ID=49456593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120047424A KR101310923B1 (en) | 2012-05-04 | 2012-05-04 | Method for depth estimation under low light level conditions using a stereoscopic passive photo-counting imaging system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101310923B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018155777A1 (en) * | 2017-02-22 | 2018-08-30 | 한국과학기술원 | Apparatus and method for estimating distance on basis of thermal image, and neural network learning method therefor |
| CN113589403A (en) * | 2021-10-08 | 2021-11-02 | 深圳市联志光电科技有限公司 | Augmented reality display method and system based on image communication |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110015142A (en) * | 2009-08-07 | 2011-02-15 | 한국외국어대학교 연구산학협력단 | Method for measurement of distance between object and camera using stereo camera |
| KR20120025832A (en) * | 2010-09-08 | 2012-03-16 | 대구대학교 산학협력단 | Distance estimation system of concealed object using stereoscopic passive millimeter wave imaging and method thereof |
-
2012
- 2012-05-04 KR KR1020120047424A patent/KR101310923B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110015142A (en) * | 2009-08-07 | 2011-02-15 | 한국외국어대학교 연구산학협력단 | Method for measurement of distance between object and camera using stereo camera |
| KR20120025832A (en) * | 2010-09-08 | 2012-03-16 | 대구대학교 산학협력단 | Distance estimation system of concealed object using stereoscopic passive millimeter wave imaging and method thereof |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018155777A1 (en) * | 2017-02-22 | 2018-08-30 | 한국과학기술원 | Apparatus and method for estimating distance on basis of thermal image, and neural network learning method therefor |
| US11062470B2 (en) | 2017-02-22 | 2021-07-13 | Korea Advanced Institute Of Science And Technology | Apparatus and method for depth estimation based on thermal image, and neural network learning method therefof |
| CN113589403A (en) * | 2021-10-08 | 2021-11-02 | 深圳市联志光电科技有限公司 | Augmented reality display method and system based on image communication |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105915846B (en) | A kind of the invader monitoring method and system of the multiplexing of list binocular | |
| US8831337B2 (en) | Method, system and computer program product for identifying locations of detected objects | |
| US10348985B2 (en) | Turbulence-free camera system and related method of image enhancement | |
| KR20120104711A (en) | Stereo camera apparatus capable of tracking object at detecting zone, surveillance system and method thereof | |
| KR101608889B1 (en) | Monitoring system and method for queue | |
| JP6858415B2 (en) | Sea level measurement system, sea level measurement method and sea level measurement program | |
| KR101007409B1 (en) | Apparatus and method for processing image fusion signal for improvement of target detection | |
| CN106033614B (en) | A kind of mobile camera motion object detection method under strong parallax | |
| CN112836634B (en) | Multi-sensor information fusion gate anti-trailing method, device, equipment and medium | |
| KR20140029069A (en) | Method and apparatus for monitoring objects from video | |
| KR100934904B1 (en) | Method for distance estimation and apparatus for the same | |
| CN115909025A (en) | Terrain vision autonomous detection and identification method for small celestial body surface sampling point | |
| KR101310923B1 (en) | Method for depth estimation under low light level conditions using a stereoscopic passive photo-counting imaging system | |
| Wang et al. | Multi-sensor image decision level fusion detection algorithm based on DS evidence theory | |
| KR20170001448A (en) | Apparatus for measuring position of camera using stereo camera and method using the same | |
| JP6664078B2 (en) | Three-dimensional intrusion detection system and three-dimensional intrusion detection method | |
| KR20140101559A (en) | Occlusion removal method for three dimensional integral image | |
| Yeom | Stereoscopic photon counting passive sensing for extraction of distance information | |
| KR101614874B1 (en) | Intelligent 3D CCTV Camera image processing device. | |
| Antonello et al. | Automated Landslide Monitoring through a Low-Cost Stereo Vision System. | |
| Rumyantsev et al. | An analysis of feature detection efficiency on images with a priori unknown and changing viewing conditions | |
| Mao et al. | Time-of-flight camera via a single-pixel correlation image sensor | |
| KR101184124B1 (en) | Method and apparatus for measuring depth using opposed camera | |
| NOMURA et al. | Landform Change Detection using Satellite Remote Sensing | |
| Hassaan et al. | ANew APPROACH FOR CROWD COUNTING AND INDIVIDUALS DETECTION USING THERMAL VIDEO |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160913 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170901 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180913 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190902 Year of fee payment: 7 |