KR20160039378A - Apparatus for capturing images in low visibility environment - Google Patents

Apparatus for capturing images in low visibility environment Download PDF

Info

Publication number
KR20160039378A
KR20160039378A KR1020140132344A KR20140132344A KR20160039378A KR 20160039378 A KR20160039378 A KR 20160039378A KR 1020140132344 A KR1020140132344 A KR 1020140132344A KR 20140132344 A KR20140132344 A KR 20140132344A KR 20160039378 A KR20160039378 A KR 20160039378A
Authority
KR
South Korea
Prior art keywords
image
illumination light
module
light
rgi
Prior art date
Application number
KR1020140132344A
Other languages
Korean (ko)
Other versions
KR101642480B1 (en
Inventor
박승규
백성훈
정경민
최영수
남성모
Original Assignee
한국원자력연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국원자력연구원 filed Critical 한국원자력연구원
Priority to KR1020140132344A priority Critical patent/KR101642480B1/en
Publication of KR20160039378A publication Critical patent/KR20160039378A/en
Application granted granted Critical
Publication of KR101642480B1 publication Critical patent/KR101642480B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The present invention relates to an image obtaining device strong against a low visibility environment which comprises: an image obtaining unit with a camera in which a light source for irradiating lamp light to an object, which is an image obtaining target, and an image sensor for obtaining an image in correspondence to the object are embedded; and a control unit configured to control a light amount of the lamp light and control an exposure state of the image sensor of the camera in accordance with a low visibility degree of an image obtaining environment in correspondence to the object. The camera obtains an image in correspondence to the object by control of the control unit even in a low visibility environment.

Description

저시정 환경에 강한 영상 획득 장치{APPARATUS FOR CAPTURING IMAGES IN LOW VISIBILITY ENVIRONMENT}[0001] APPARATUS FOR CAPTURING IMAGES IN LOW VISIBILITY ENVIRONMENT [0002]

본 발명은 저시정 환경에 강한 영상 획득 장치에 관한 것이다.The present invention relates to an image capturing apparatus which is resistant to low visibility environments.

최근 다양한 분야에서는 영상 획득 대상인 대상체에 거리 정보인 깊이(depth) 형상 정보를 실시간으로 신뢰성 있게 추출할 수 있는 시스템에 대한 기술 개발이 요구되고 있다.Recently, in various fields, it is required to develop a technology for a system capable of reliably extracting depth shape information, which is distance information, in real time to a target object to be imaged.

그래서 깊이 영상 추출 시스템 및 방법을 제공하기 위한 특허문헌 1의 기술이 제안되어 있고, 이 문헌의 기술은 4개의 2차원 영상을 획득하여 포토메트릭 스테레오 기법으로 대상 물체의 깊이 형상을 추출할 수 있도록 하고 있다.Thus, a technique of Patent Document 1 for providing a depth image extracting system and method has been proposed. The technique of this document is to acquire four two-dimensional images and to extract a depth shape of a target object by a photometric stereo technique have.

그러나 특허문헌 1을 비롯한 종래의 깊이 영상 추출 시스템은 연무나 안개가 자욱한 환경 등과 같은 저시정(low visibility) 환경에서는 대상체의 2차원 영상이나 대상체의 깊이 영상 정보를 얻을 수 없다는 문제점이 있다.However, the conventional depth image extracting system including Patent Document 1 has a problem in that it can not obtain a two-dimensional image of a target object or depth image information of a target object in a low visibility environment such as a haze or foggy environment.

여기서, 상기 저시정 환경은 카메라의 가시도가 떨어져서 대상체의 2차원 영상이나 대상체의 깊이 영상 정보를 얻을 수 없는 환경이다. 예를 들어, 연기가 자욱한 화재 현장에서는 연기에 의해 가시광선이 차단되어 사람은 눈앞의 물체를 볼 수 없으며, 또한 로봇 전방향 카메라의 영상에서도 물체를 구분할 수 없게 된다. 이는 카메라 센서가 동작하는 가시광선이나 적외선 광선이 연기에 의해 차단되어 카메라의 영상센서에 물체로부터 반사되는 광선이 유입되지 않기 때문이다.Here, the low visibility environment is an environment in which the visibility of the camera is low and the two-dimensional image of the object or the depth image information of the object can not be obtained. For example, in the case of a smoky fire, visible light is blocked by smoke, so that a person can not see an object in front of the user and can not distinguish objects from the image of a robot forward camera. This is because the visible light or infrared ray that the camera sensor operates is blocked by the smoke and the light rays reflected from the object do not flow into the image sensor of the camera.

특허문헌 1 : 국내등록특허 10-1087172호 공보(2011. 11. 21.)Patent Document 1: Korean Patent Registration No. 10-1087172 (November 21, 2011)

본 발명은 상기 종래 기술의 문제점을 감안하여 이루어진 것으로, 연무나 안개가 자욱한 환경 등의 저시정 환경에서도 대상체의 2D 영상과 깊이(depth) 영상을 획득할 수 있는 저시정 환경에 강한 영상 획득 장치를 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems of the prior art, and an object of the present invention is to provide an image capturing apparatus which is capable of obtaining a 2D image and a depth image of a target object in a low visibility environment such as a haze or misty environment, The purpose is to provide.

상기 과제를 해결하기 위한 본 발명의 저시정 환경에 강한 영상 획득 장치는 영상 획득 대상인 대상체에 조명광을 조사하는 광원 및 상기 대상체에 대응한 영상을 획득하는 영상센서가 내재 된 카메라를 구비하는 영상획득부 및 상기 대상체에 대응한 영상 획득 환경의 저시정 정도에 따라 상기 조명광의 광량을 제어하고 상기 카메라의 영상센서의 노출 상태를 제어하는 제어부를 포함하며, 상기 카메라는 상기 제어부의 제어를 받아 저시정 환경에서도 상기 대상체에 대응한 영상을 획득한다.According to an aspect of the present invention, there is provided an image capturing apparatus which is robust against low visibility environments, including an image acquisition unit including a light source for irradiating illumination light to a target object to be imaged and an image sensor for acquiring an image corresponding to the target object, And a control unit for controlling the amount of illumination light according to a degree of low vision of the image acquisition environment corresponding to the object and controlling an exposure state of the image sensor of the camera, Acquires an image corresponding to the object.

또한, 상기 광원은 광량 조절 기능과 스펙클 잡음 감소 기능을 갖는 가변 광조사 광학모듈을 거쳐서 상기 조명광을 상기 대상체에 조사하는 극초단 조명광 모듈일 수 있다.Also, the light source may be a super-fast illumination light module that irradiates the object with the illumination light through a variable light irradiation optical module having a light amount control function and a speckle noise reduction function.

또한, 상기 가변 광조사 광학모듈은 상기 광량 조절 기능을 갖는 가변광량 조절필터와, 상기 스펙클 잡음 감소 기능을 갖는 스펙클감소기 및 상기 조명광이 확산 되거나 집속되는 광집속/확산 조사기를 포함할 수 있다.The variable light irradiation optical module may include a variable light amount adjusting filter having the light amount adjusting function, a speckle reducer having the speckle noise reducing function, and an optical focusing / diffusion irradiator for diffusing or focusing the illumination light. have.

또한, 상기 가변광량 조절필터는 회전각도에 따라 다양한 강도로 상기 조명광의 광량을 감쇠시키는 회전형 광 감쇠 필터를 포함할 수 있다.The variable light amount control filter may include a rotation type light attenuation filter for attenuating the light amount of the illumination light with various intensities according to the rotation angle.

또한, 본 발명의 저시정 환경에 강한 영상 획득 장치는 상기 제어부의 제어를 받아 상기 조명광의 폭 길이를 측정하는 조명광 폭 측정부를 더 포함할 수 있다.According to another aspect of the present invention, there is provided an image capturing apparatus that is strong in a low-visibility environment, the apparatus further including an illumination light width measuring unit for measuring a width of the illumination light under the control of the controller.

또한, 상기 조명광 폭 측정부는 상기 조명광을 경사진 측정판에 조사하여 경사진 측정판 영상을 획득하는 경사측정판 영상획득모듈과 상기 경사진 측정판 영상으로부터 상기 조명광의 폭 길이를 측정하는 조명광 길이 측정모듈을 포함할 수 있다.The illumination light width measuring unit may include an inclination measurement plate image acquiring module for acquiring an inclination measurement plate image by irradiating the inclination measuring plate with the illumination light and an illumination light length measuring unit for measuring a width length of the illumination light from the inclination measurement plate image Modules.

또한, 상기 조명광 길이 측정모듈은 하기 수학식에 따라 상기 조명광의 폭 길이를 측정할 수 있다.Also, the illumination light length measurement module may measure the width of the illumination light according to the following equation.

Dx=(1/2)×mCosθDx = (1/2) x mCos &thetas;

여기서, 상기 Dx는 상기 조명광의 길이이고, 상기 m은 상기 경사진 측정판에서 측정되는 조명광 영상 폭의 강도 프로파일 형태의 중앙값이 가장 큰 삼각형태 또는 가우시안 형태의 강도 패턴을 가질 때 상기 경사진 측정판에서의 영상 폭 길이이며, 상기 θ는 상기 조명광의 진행 방향에 대해 상기 경사진 측정판의 경사 각도이다.Herein, Dx is a length of the illumination light, and m is a width of the illumination light image measured by the inclination measuring plate when the median of the intensity profile shape has the largest intensity pattern of a triangular shape or a Gaussian shape, And the angle? Is an inclination angle of the inclined measuring plate with respect to the traveling direction of the illumination light.

또한, 본 발명의 저시정 환경에 강한 영상 획득 장치는 상기 제어부의 제어를 받아 상기 카메라의 영상센서의 노출 상태를 조절하는 적응적 영상획득부 및 상기 제어부의 제어를 받아 상기 조명광의 광량을 조절하는 적응적 광량조절부를 더 포함할 수 있다.According to another aspect of the present invention, there is provided an image capturing apparatus that is robust against low visibility environments, including an adaptive image acquisition unit configured to adjust an exposure state of an image sensor of the camera under the control of the control unit, And may further include an adaptive light amount adjusting unit.

또한, 상기 적응적 영상획득부는 상기 카메라가 획득한 RGI(range-gated image)영상으로부터 픽셀 강도 값의 최대값 이상을 갖는 픽셀 수인 포화량을 측정하는 포화감시모듈과, 상기 포화량이 기 설정된 기준 값 이하가 되도록, 상기 카메라의 노출시간을 조절하는 영상센서 노출조절모듈 및 상기 포화량이 상기 기준 값 이하인 RGI영상들을 누적하는 RGI영상누적모듈을 포함할 수 있다.The adaptive image acquisition unit may include a saturation monitoring module that measures a saturation amount, which is a number of pixels having a maximum value of a pixel intensity value, from a RGI (range-gated image) image acquired by the camera, And an RGI image accumulation module for accumulating the RGI images having the saturation amount equal to or less than the reference value.

또한, 상기 적응적 광량조절부는 상기 카메라가 획득한 RGI영상으로부터 영상의 밝기인 광량을 측정하는 광량감시모듈과, 상기 광량이 기 설정된 최저기준 값보다 작으면 상기 조명광의 강도를 증가시키고 상기 광량이 기 설정된 최대기준 값보다 크면 상기 조명광의 강도를 감소시켜, 상기 조명광의 강도를 조절하는 광량조절모듈 및 상기 광량이 최저기준 값보다 크면서 최대기준 값보다 작은 RGI영상들을 누적하는 광량조절 RGI영상누적모듈을 포함할 수 있다.The adaptive light amount control unit may further include a light amount monitoring module for measuring the light amount, which is the brightness of the image, from the RGI image acquired by the camera, and a controller for increasing the intensity of the illumination light when the light amount is smaller than a predetermined minimum reference value, A light amount adjusting module for adjusting the intensity of the illumination light by decreasing the intensity of the illumination light if the intensity of the illumination light is greater than a predetermined maximum reference value, Modules.

또한, 본 발명의 저시정 환경에 강한 영상 획득 장치는 상기 제어부의 제어를 받아 상기 RGI영상 누적모듈 및 상기 광량조절 RGI영상 누적모듈 각각에 누적된 RGI영상들로부터 상기 대상체에 대응한 영상을 생성하는 영상 정보생성부를 더 포함할 수 있다.According to another aspect of the present invention, there is provided an image capturing apparatus adapted to a low-visibility environment, the apparatus comprising: a control unit configured to generate an image corresponding to the object from RGI images accumulated in the RGI image accumulation module and the light amount control RGI image accumulation module, And an image information generating unit.

또한, 상기 영상 정보생성부는 상기 대상체에 대응한 2D 영상을 생성하는 2차원 영상모듈 및 상기 대상체에 대응하며, 상기 카메라의 영상 획득 환경에 적응적으로 정밀한 정밀 깊이 영상 정보를 생성하는 정밀 깊이 영상모듈을 포함할 수 있다.Also, the image information generating unit may include a two-dimensional image module for generating a 2D image corresponding to the object, and a precision depth image module corresponding to the object and adapted to generate precision depth image information adaptively to an image acquisition environment of the camera, . ≪ / RTI >

또한, 상기 정밀 깊이 영상모듈은 상기 대상체에 대응한 정밀 깊이 영상 정보를 하기 수학식을 이용하여 생성할 수 있다.Also, the precision depth image module can generate precision depth image information corresponding to the object using the following equation.

Figure pat00001
Figure pat00001

여기서, 상기 r(x,y)는 영상(x, y) 위치에서의 깊이 정보를 나타내는 깊이 영상을 의미하고, 상기 d0는 측정을 시작하는 기본 최초 시작 거리를 의미하고, 상기 ΔS는 매 측정 시마다 증가 되는 측정시작 거리 증가 스텝 값이고, 상기 ρmax는 각 영상(x, y) 위치에서의 거리에 따라 순차적으로 획득한 RGI영상들 중에서 최대 픽셀 강도 값을 갖는 번호이고, 상기 Ιi(x,y)는 i번째로 획득된 RGI 영상(x,y) 위치에서의 픽셀 밝기값이고, 상기

Figure pat00002
이다.Here, the r (x, y) is the image (x, y) means a depth image representing the depth information of the position, wherein d 0 indicates the default initial starting distance to start the measurement, and the Δ S is a sheet and increasing the measurement start distance is increased whenever the measured step value, the ρ max is a number having the maximum pixel intensity value among the RGI images acquired sequentially in accordance with the distance from each image (x, y) position, the Ι i ( x, y) is a pixel brightness value at the i-th acquired RGI image (x, y)
Figure pat00002
to be.

또한, 상기 영상(x,y) 위치에서의 경계값 θ(x,y)는 하기 수학식을 이용하여 결정될 수 있다.Further, the boundary value? (X, y) at the position of the image (x, y) can be determined using the following equation.

Figure pat00003
Figure pat00003

여기서, 상기 픽셀 강도 Ιmax(x,y)는 거리에 따라 순차적으로 누적된 RGI영상들 중에서 상기 영상(x,y) 위치에서의 최대 픽셀 값이고, 가중치 값인 상기 β는 기 설정된 0에서 1 사이의 실수 값이다.Here, the pixel intensity I max (x, y) is the maximum pixel value at the position of the image (x, y) among RGI images sequentially accumulated according to the distance, and the weighting value? Is the real value of.

본 발명의 저시정 환경에 강한 영상 획득 장치는 대상체에 대응한 영상 획득 환경의 저시정 정도에 따라 조명광의 광량을 제어하고 극초단 카메라의 영상센서의 노출 상태를 제어함으로써, 연무나 안개가 자욱한 환경 등의 저시정 환경에서도 대상체의 2D 영상과 깊이 영상을 선명히 얻을 수 있다.According to the present invention, an image capturing apparatus which is strong in a low visibility environment controls the amount of illumination light according to the degree of low visibility of an image acquisition environment corresponding to a target object and controls the exposure state of an image sensor of an ultra- The 2D image and the depth image of the object can be clearly obtained even in a low visibility environment such as the above.

도 1은 실시 예에 따른 영상 획득 장치를 나타낸 개략도,
도 2는 실시 예에 따른 영상 획득 장치를 나타낸 블록도,
도 3은 도 2의 극초단 영상획득부를 나타낸 블록도,
도 4는 도 3의 극초단 조명광모듈을 나타낸 개략도,
도 5는 도 3의 조명광 폭 측정모듈을 나타낸 블록도,
도 6은 도 3의 조명광 폭 측정모듈에서 사용되는 경사진 측정판을 나타낸 개략도,
도 7은 도 3의 조명광 폭 측정모듈의 조명광 폭 길이 측정 시 사용되는 조명광의 강도 패턴의 일 예를 도시한 그래프,
도 8은 도 7의 조명광의 폭과 영상센서 감도 폭이 같은 경우의 영상을 도시한 그래프,
도 9는 도 7의 조명광의 폭보다 2배 폭의 영상센서 감도를 갖는 경우의 영상을 도시한 그래프,
도 10은 도 3의 극초단 카메라의 노출신호가 700ps인 경우 경사진 측정판에서 측정된 영상신호를 나타낸 도면,
도 11은 도 3의 극초단 카메라의 노출신호가 1.5ns인 경우 경사진 측정판에서 측정된 영상신호를 나타낸 도면,
도 12는 도 2의 적응적 영상획득부를 나타낸 블록도,
도 13은 도 2의 적응적 광량조절부를 나타낸 블록도,
도 14는 도 2의 영상 정보생성부를 나타낸 블록도,
도 15는 실시 예에 따른 영상 획득 장치의 영상 획득 방법을 나타낸 순서도,
도 16은 도 2의 영상 정보생성부에서 대상체에 대응하여 생성한 영상을 나타낸 도면,
도 17은 도 2의 영상 정보생성부에서 계단형 대상체에 대응하여 생성한 영상을 나타낸 도면이다.1 is a schematic view showing an image acquisition apparatus according to an embodiment,
2 is a block diagram illustrating an image acquisition apparatus according to an embodiment;
FIG. 3 is a block diagram showing the ultraslimal image obtaining unit of FIG. 2;
Fig. 4 is a schematic view showing an ultrarapirate illumination light module of Fig. 3,
FIG. 5 is a block diagram showing the illumination light width measurement module of FIG. 3;
FIG. 6 is a schematic view showing a tilted measuring plate used in the illumination light width measurement module of FIG. 3;
FIG. 7 is a graph showing an example of the intensity pattern of illumination light used in measuring the illumination light width length of the illumination light width measurement module of FIG. 3;
FIG. 8 is a graph showing an image when the width of the illumination light of FIG. 7 and the image sensor sensitivity width are the same,
9 is a graph showing an image when the image sensor sensitivity is two times wider than the width of the illumination light in Fig. 7,
FIG. 10 is a view showing an image signal measured on a slant measuring plate when the exposure signal of the ultra-fast camera of FIG. 3 is 700 ps,
FIG. 11 is a view showing an image signal measured on a slant measuring plate when the exposure signal of the ultra-fast camera of FIG. 3 is 1.5 ns,
FIG. 12 is a block diagram showing the adaptive image acquisition unit of FIG. 2;
FIG. 13 is a block diagram showing the adaptive light amount control unit of FIG. 2;
FIG. 14 is a block diagram showing the video information generating unit of FIG. 2;
15 is a flowchart showing an image acquisition method of the image acquisition apparatus according to the embodiment,
FIG. 16 is a diagram showing an image generated in correspondence with a target object in the image information generating unit of FIG. 2;
FIG. 17 is a diagram showing an image generated in correspondence with a step-like object in the image information generating unit of FIG. 2;

이하, 첨부 도면을 참조하면서 본 발명의 바람직한 실시 예에 대해서 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 실시 예에 따른 영상 획득 장치를 나타낸 개략도이고, 도 2는 실시 예에 따른 영상 획득 장치를 나타낸 블록도이다.FIG. 1 is a schematic diagram showing an image acquisition apparatus according to an embodiment, and FIG. 2 is a block diagram showing an image acquisition apparatus according to an embodiment.

도 1 및 도 2에 도시된 바와 같이, 실시 예에 따른 영상 획득 장치(1)는 극초단 영상획득부(11), 적응적 영상획득부(13), 고정영상획득부(14), 적응적 광량조절부(15), 영상 정보생성부(17), 영상 디스플레이부(19) 및 제어부(21)를 포함한다. 여기서, 상기 영상 디스플레이부(19)는 영상 정보생성부(17)에서 생성된 2D 영상 및 깊이 영상을 디스플레이한다. 그리고 상기 제어부(21)는 극초단 영상획득부(11), 적응적 영상획득부(13), 적응적 광량조절부(15), 영상 정보생성부(17) 및 영상 디스플레이부(19)를 포함하여 실시 예에 따른 영상 획득 장치(1)의 구성요소를 총괄적으로 제어한다.1 and 2, an image acquisition apparatus 1 according to an embodiment includes an ultrasound image acquisition unit 11, an adaptive image acquisition unit 13, a fixed image acquisition unit 14, A light amount control unit 15, an image information generating unit 17, an image display unit 19, and a control unit 21. Here, the image display unit 19 displays the 2D image and the depth image generated by the image information generating unit 17. The control unit 21 includes an ultrasound image acquisition unit 11, an adaptive image acquisition unit 13, an adaptive light amount control unit 15, an image information generation unit 17, and an image display unit 19 Thereby collectively controlling the components of the image acquiring apparatus 1 according to the embodiment.

이하에서는 상기 극초단 영상획득부(11)에 대하여 상세히 설명한다.Hereinafter, the ultra-fast image obtaining unit 11 will be described in detail.

도 3은 도 2의 극초단 영상획득부를 나타낸 블록도이고, 도 4는 도 3의 극초단 조명광모듈을 나타낸 개략도이다.FIG. 3 is a block diagram illustrating the ultrasound image acquisition unit of FIG. 2, and FIG. 4 is a schematic diagram of an ultrasound illumination light module of FIG.

도 3에 도시된 바와 같이, 상기 극초단 영상획득부(11)는 극초단 조명광모듈(31), 극초단 카메라(33), 출력펄스 발생모듈(35), 획득시간 지연모듈(37), 조명광 폭 측정모듈(39) 및 잡음조절모듈(41)을 포함한다. 여기서, 상기 잡음조절모듈(41)은 후술 될 스펙클감소기(103)를 온(on)/오프(off) 시킨다. 그리고 상기 조명광은 나노초(ns) 또는 피코초(ps) 단위의 짧은 폭을 갖는 극초단 레이저 빔 등의 조명광원일 수 있다.3, the ultra-fast image acquiring unit 11 includes an ultra-fast illumination light module 31, an ultra-fast camera 33, an output pulse generation module 35, an acquisition time delay module 37, A width measurement module 39 and a noise adjustment module 41. [ Here, the noise control module 41 turns on / off the speckle reducer 103 to be described later. The illumination light may be an illumination light source such as an ultrarapid laser beam having a short width in nanosecond (ns) or picosecond (ps) units.

도 4에 도시된 바와 같이, 상기 극초단 조명광 모듈(31)은 대상체(A)에 조명광을 조사하는 광원으로써, 광파이버(51)와 가변 광조사 광학모듈(53)을 순차적으로 거쳐서 조명광을 대상체(A)에 조사한다.4, the ultra-fast illumination light module 31 is a light source for irradiating the object A with illumination light, and sequentially transmits illumination light through the optical fiber 51 and the variable light irradiation optical module 53 to the object A).

상기 가변 광조사 광학모듈(53)은 가변광량 조절필터(101), 스펙클감소기(103) 및 광집속/확산 조사기(105)를 포함하며, 조명광 폭 측정모듈(39)의 측정 등의 극초단 카메라(33)의 영상 획득 환경에 따라 광량을 조절하고 그 영상 획득 환경에 따라 스펙클 잡음(Speckle Noise) 감소 기능을 수행한다. 즉, 상기 조명광은 광파이버(51)를 통과한 후에 가변광량 조절필터(101)를 통과하면서 광량이 조절되고, 스펙클감소기(103)를 통과하면서 스펙클 잡음이 감소 되며, 광집속/확산 조사기(105)를 통과하면서 조명광이 확산 되거나 집속되어 대상체(A)에 조사된다.The variable light irradiation optical module 53 includes a variable light amount adjusting filter 101, a speckle reducer 103 and an optical focusing / diffusion irradiator 105, The light amount is adjusted according to the image acquisition environment of the camera 33 and a speckle noise reduction function is performed according to the image acquisition environment. That is, the illumination light passes through the optical fiber 51, passes through the variable light amount control filter 101, and the amount of light is adjusted. The speckle noise is reduced while passing through the speckle reducer 103, The illumination light is diffused or focused while being passed through the objective lens 105, and irradiated to the object A.

상기 스펙클감소기(103)는 조명광의 스펙클 잡음을 감소시켜 측정기능을 향상시키지만 광량의 강도를 일부 감소시킬 수 있어 필요에 따라 동작 된다. The speckle reducer 103 improves the measurement function by reducing the speckle noise of the illumination light, but can partially reduce the intensity of the light amount and is operated as needed.

즉, 연무농도가 강한 환경과 같이 조명광 강도가 충분히 높지 않은 환경에서는 잡음조절모듈(41)이 스펙클감소기(103)를 오프(off) 상태로 두어 스펙클 감소기(103)를 동작시키지 않음으로써, 강도가 센 조명광을 사용하여 대상체(A)를 조명한다. 반면에, 연무농도가 약하거나 맑은 환경과 같이 조명광 강도가 충분히 높은 환경에서는 잡음조절모듈(41)이 스펙클감소기(103)를 온(on)상태로 두어 스펙클감소기(103)를 동작시킴으로써, 정밀도가 높은 영상을 얻도록 한다.That is, in an environment where the illumination intensity is not sufficiently high, such as in an environment with a high fog density, the noise control module 41 does not operate the speckle reducer 103 by turning off the speckle reducer 103 Thereby illuminating the object A using illumination light having a high intensity. On the other hand, in an environment where the illuminating light intensity is sufficiently high, such as when the haze concentration is weak or clear, the noise adjusting module 41 may turn on the speckle reducer 103 to operate the speckle reducer 103 Thereby obtaining a high-precision image.

여기서, 상기 가변광량 조절필터(101)는 회전각도에 따라 다양한 강도로 조명광의 광량을 감쇠시킬 수 있는 회전형 광 감쇠 필터를 포함한다. 그리고 상기 스펙클감소기(103)는 확산판일 수 있다. 또한, 상기 광집속/확산 조사기(105)는 카메라의 확대기일 수 있다.The variable light amount control filter 101 includes a rotatable light attenuation filter capable of attenuating the light amount of the illumination light with various intensities according to the rotation angle. The speckle reducer 103 may be a diffusion plate. Further, the light focusing / diffusion irradiator 105 may be an expansion unit of a camera.

상기 극초단 카메라(33)는 도시하지는 않았지만 대상체(A)에 대응한 영상을 획득하는 영상센서를 구비하며, 여러 노출 시간을 설정하여 각각의 조건에서 RGI(range-gated image)영상을 획득한다. 여기서, 상기 극초단 카메라(33)는 나노초(ns) 또는 피코초(ps) 단위로 영상센서의 노출량를 조절할 수 있다.The ultra-high-speed camera 33 has an image sensor for acquiring an image corresponding to the object A (not shown), and acquires a range-gated image (RGI) image under various conditions by setting various exposure times. Here, the ultra-high-speed camera 33 can adjust the exposure amount of the image sensor in units of nanoseconds (ns) or picoseconds (ps).

이때, 상기 극초단 카메라(33)는 극초단 조명광 모듈(31)에서 조명광을 조사할 때 출력펄스 발생모듈(35)에서 출력되는 티티엘(TTL) 펄스 동기 시간을 인식하고, 그 시간을 기준으로 획득시간 지연모듈(37)에서 설정한 지연시간이 지난 후에 영상센서의 노출시간 동안 영상을 수신한다.At this time, the ultra-fast camera 33 recognizes the TTL pulse synchronization time output from the output pulse generation module 35 when irradiating the illumination light from the ultra-fast illumination light module 31, And the image is received during the exposure time of the image sensor after the delay time set by the time delay module 37 has elapsed.

여기서, 상기 극초단 조명광 모듈(31)의 조명광은 저시정 환경인 연무가 자욱한 공간(K)을 통과하면서 일부분은 투과되고 나머지 일부분은 산란 되거나 반사된다. 상기 산란 되거나 반사된 빛은 잡음으로써, 상기 잡음이 극초단 카메라(33)에 영상 정보로 획득될 경우 극초단 카메라(33)의 영상은 흐려지거나 대상체(A)에 대응한 영상이 안 보이게 된다.Here, the illumination light of the ultra-fast illumination light module 31 is transmitted through a foggy space K, which is a low visibility environment, while a part thereof is transmitted and the remaining part is scattered or reflected. The scattered or reflected light is noise, and when the noise is acquired as image information to the ultra-low-speed camera 33, the image of the ultra-low-speed camera 33 is blurred or the image corresponding to the object A is not visible.

이에 따라, 상기 연무가 자욱한 공간(K)의 저시정 환경에서도 극초단 카메라(33)가 최적의 화질을 갖는 대상체(A)에 대응한 영상을 획득할 수 있도록, 출력펄스 발생모듈(35)은 조명광의 조사 시점에 TTL 출력 동기신호를 생성한다. 상기 극초단 카메라(33)는 이 출력 동기신호를 인식하고, 이 시간을 기준으로 획득시간 지연모듈(37)이 설정하는 시간만큼 지연 후에 영상을 획득한다. 이때, 영상을 획득하는 시간은 설정된 노출시간이며, 극초단 카메라(33)는 그만큼 영상을 획득한다. Accordingly, the output pulse generation module 35 is configured so that the ultra-fast camera 33 can acquire an image corresponding to the object A having the optimum image quality even in a low visibility environment of the foggy space K And generates a TTL output synchronization signal at the irradiation time of the illumination light. The ultrasmall camera 33 recognizes the output synchronization signal and acquires an image after a delay time set by the acquisition time delay module 37 based on the output synchronization signal. At this time, the time for acquiring the image is the set exposure time, and the ultra-fast camera 33 acquires the image accordingly.

즉, 상기 극초단카메라(33)는 획득시간 지연모듈(37)의 제어를 받아, 극초단 조명광 모듈(31)의 조명광이 연무가 자욱한 공간(K)을 통과하면서 산란 되거나 반사된 빛이 유입되는 시간 동안에는 극초단 카메라(33) 내부의 영상센서를 잠금 상태로 두어 영상을 얻지 않게 하고, 반면에 대상체(A)로부터 반사되는 빛이 유입되는 시간 동안에는 극초단 카메라(33) 내부의 영상센서를 노출 상태로 두어 극초단 카메라(33)에 대상체(A)에 대응한 영상을 얻도록 한다.That is, under the control of the acquisition time delay module 37, the ultra-high-speed camera 33 receives scattered or reflected light as the illumination light of the ultra-fast illumination light module 31 passes through the space K, During the time, the image sensor inside the ultra-fast camera 33 is kept in a locked state so as not to acquire an image. On the other hand, during the time when the light reflected from the object A flows into the ultra- So that an image corresponding to the object A is obtained in the ultra-fast camera 33. [

이때, 상기 극초단 카메라(33)는 연무가 자욱한 공간(K)에서 반사되거나 산란 된 빛에 대응한 영상은 없고, 대상체(A)에서 반사된 빛만을 수신하여 대상체(A)에 대응한 영상을 획득함으로써, 연무가 자욱한 공간(K)과 같은 육안으로 보이지 않는 환경에서도 최적의 화질을 갖는 대상체(A)에 대응한 영상을 획득할 수 있다.At this time, the ultra-low-stage camera 33 receives only the light reflected from the target object A without the image corresponding to the light reflected or scattered in the foggy space K and outputs the image corresponding to the target object A It is possible to acquire an image corresponding to the object A having an optimal image quality even in an environment invisible to the naked eye such as a foggy space K. [

여기서, 상기 극초단 카메라(33)의 노출 상태 시간은 극초단 조명광 모듈(31)의 조명광의 폭 길이(d)인 극초단 조명광 모듈(31)의 조명광의 노출 시간과 같을 수 있고 또한, 더 길거나 더 짧을 수도 있다.Here, the exposure time of the ultra-low-speed camera 33 may be equal to the exposure time of the illumination light of the ultra-fast illumination light module 31, which is the width d of the illumination light of the ultra-fast illumination light module 31, It may be shorter.

도 5는 도 3의 조명광 폭 측정모듈을 나타낸 블록도이다. 도 6은 도 3의 조명광 폭 측정모듈에서 사용되는 경사진 측정판을 나타낸 개략도이다.5 is a block diagram showing the illumination light width measurement module of FIG. FIG. 6 is a schematic view showing a tilted measuring plate used in the illumination light width measurement module of FIG. 3; FIG.

도 5에 도시된 바와 같이, 상기 조명광 폭 측정모듈(39)은 조명광의 폭 길이(d)를 구하기 위하여, 경사측정판 영상획득모듈(111) 및 조명광 길이 측정모듈(113)을 포함한다. 여기서, 상기 조명광 폭 측정모듈(39)은 피코초나 나노초의 짧은 조명광의 폭 길이를 측정할 수 있는 고가의 장비가 없을 경우에 효과적으로 사용할 수 있는 기능이다.5, the illumination light width measurement module 39 includes an inclination measurement plate image acquisition module 111 and an illumination light length measurement module 113 to determine the length d of the illumination light. Here, the illumination light width measurement module 39 is a function that can be effectively used when there is no expensive equipment capable of measuring the width of a short illumination light of picoseconds or nanoseconds.

도 6에 도시된 바와 같이, 상기 경사측정판 영상획득모듈(111)은 경사진 측정판(P)에 조명광을 조사하여 경사진 측정판 영상을 획득한다. 이때, 상기 조명광은 X축 방향을 따라 조사된다. 그리고 상기 경사측정판 영상획득모듈(111)은 극초단 카메라(33)에 여러 노출 시간을 설정하여 복수의 RGI영상을 획득한다.As shown in FIG. 6, the tilt measurement plate image acquisition module 111 irradiates the tilted measurement plate P with illumination light to acquire a tilted measurement plate image. At this time, the illumination light is irradiated along the X-axis direction. The slope measurement plate image acquisition module 111 acquires a plurality of RGI images by setting various exposure times in the ultra-fast camera 33.

상기 조명광 길이 측정모듈(113)은 경사측정판 영상획득모듈(111)에 의해 획득된 RGI영상들로부터 조명광의 폭 길이(d) 정보를 추정한다.The illumination light length measurement module 113 estimates the width d of the illumination light from the RGI images acquired by the slope measurement plate image acquisition module 111.

즉, 상기 조명광 길이 측정모듈(113)은 경사진 측정판(P)에 새겨진 눈금을 읽어 영상 폭 길이 정보를 인식하는 것으로, 조명광의 폭 길이(d) 정보를 추정하기 위하여 상기 경사진 측정판(P)에서 측정되는 조명광에 의한 영상 폭 m과 조명광의 진행 방향인 X축 방향으로의 실제 길이 성분인 Dx와의 관계를 나타내는 하기 수학식 1을 이용한다.That is, the illumination light length measurement module 113 recognizes the image width length information by reading the scales inscribed on the inclined measurement plate P, and calculates the width length d of the illumination light by using the inclination measurement plate P and the actual length component Dx in the X-axis direction, which is the traveling direction of the illumination light, is used.

Figure pat00004
Figure pat00004

여기서, 상기 조명광 길이 측정모듈(113)은 경사측정판(P)의 경사각도가 θ인 경우에, m/Cosθ 길이를 m 길이로 눈금을 새길 경우, 경사진 측정판(P)에서의 조명광에 의한 영상 폭 길이 m을 mCosθ로 인식한다.When the inclination angle of the inclination measuring plate P is θ and the length of m / Cos θ is scaled by m length, the illumination light length measurement module 113 calculates the illumination light length of the illumination light in the inclined measurement plate P Is recognized as mCos ?.

이때, 상기 조명광은 반복적으로 조사하고, 경사 측정판(P)에 획득되는 영상에서 영상 폭의 강도 프로파일(intensity profile) 중앙부가 가장 큰 삼각형태나 가우시안(Gaussian) 형태가 나올 때까지 조명광 길이 측정모듈(113)은 극초단 카메라(33)의 노출 시간을 조정한다.At this time, the illumination light is repeatedly irradiated until the triangular shape or the Gaussian shape having the largest central portion of the intensity profile of the image width is obtained from the image obtained on the inclination measurement plate P, (113) adjusts the exposure time of the ultra-fast camera (33).

그러므로 영상 폭의 강도 프로파일이, 중앙부가 가장 강도가 센 삼각형태나 가우시안 형태가 되면, 그때 영상 폭 길이에 대한 눈금 값에 0.5를 곱한 값 즉 (1/2)×mCosθ가 조명광의 폭 길이(d)에 해당하기 때문에, 조명광 길이 측정모듈(113)은 경사 측정판(P)을 사용하여 쉽게 조명광의 폭 길이(d) 정보를 추정한다.Therefore, when the intensity profile of the image width becomes the triangular shape or the Gaussian shape having the highest intensity at the center portion, the value obtained by multiplying the scale value for the image width length by 0.5, that is, (1/2) x mCos? , The illumination light length measurement module 113 easily estimates the width d of the illumination light using the inclination measurement plate P. [

도 7은 도 3의 조명광 폭 측정모듈의 조명광 폭 길이 측정 시 사용되는 조명광의 강도 패턴의 일 예를 도시한 그래프이고, 도 8은 도 7의 조명광의 폭과 영상센서 감도 폭이 같은 경우의 영상을 도시한 그래프이며, 도 9는 도 7의 조명광의 폭보다 2배 폭의 영상센서 감도를 갖는 경우의 영상을 도시한 그래프이다.FIG. 7 is a graph showing an example of intensity pattern of illumination light used in measuring the illumination light width length of the illumination light width measurement module of FIG. 3, FIG. 8 is a graph showing an example of the intensity of the illumination light of FIG. And FIG. 9 is a graph showing an image when the image sensor sensitivity is twice as wide as the width of the illumination light of FIG.

예들 들어, 시간에 따른 극초단 조명광 모듈(31)의 조명광의 강도 패턴이 도 7과 같고 극초단 카메라(33) 내부의 영상센서의 감도가 도 8(a)와 같을 때, 거리에 따라 극초단 카메라(33)에 획득되는 영상은 도 8(b)와 같다. 여기서 조명광의 폭과 영상센서 감도 폭은 W로 동일하다고 가정한다. 이에 따라, 상기 극초단 카메라(33)의 획득되는 영상은 도 8(b)와 같이 영상의 X축 프로파일의 폭이 2W인 가우시안 형태이거나 삼각형태에 가까움으로, 이로부터 산출되는 조명광의 폭 길이(d)는 W이다. 만약, 영상 센서 감도를 도 9(a)와 같이 2W로 설정하면 획득되는 영상의 X축 프로파일은 도 9(b)와 같이 폭이 3W이고 중앙부가 포화 된 형태를 갖는 영상이 획득된다.For example, when the intensity pattern of the illumination light of the ultra-fast illumination light module 31 according to time is as shown in Fig. 7 and the sensitivity of the image sensor inside the ultra-fast camera 33 is as shown in Fig. 8 (a) The image obtained by the camera 33 is shown in Fig. 8 (b). Here, it is assumed that the width of the illumination light and the sensitivity width of the image sensor are equal to W. 8 (b), the image obtained by the ultra-fast camera 33 is Gaussian or triangular with the width of the X-axis profile of the image being 2 W, and the width of the illumination light d) is W. If the sensitivity of the image sensor is set to 2W as shown in FIG. 9A, the X-axis profile of the acquired image is obtained with a width of 3W and a saturated shape at the center, as shown in FIG. 9B.

도 10은 도 3의 극초단 카메라의 노출신호가 700ps인 경우 경사진 측정판에서 측정된 영상신호를 나타낸 도면이고, 도 11은 도 3의 극초단 카메라의 노출신호가 1.5ns인 경우 경사진 측정판에서 측정된 영상신호를 나타낸 도면이다.FIG. 10 is a view showing an image signal measured on an inclined measuring plate when the exposure signal of the ultra-fast camera shown in FIG. 3 is 700 ps, FIG. 11 is a view showing an inclined measuring FIG. 7 is a diagram showing an image signal measured on a plate. FIG.

또 예들 들어, 도 10에 도시된 바와 같이, 전체적인 영상 폭 길이는 중앙부가 가장 큰 삼각형태로 도시된 점선 유추선(L1)을 통해 측정될 수 있다. 즉, 상기 극초단 카메라(33)의 노출신호가 700ps인 경우 경사진 측정판(P)에서 측정된 영상신호가 도 10과 같이 삼각형태일 때, 점선 유추선(L1)이 도시되고 그 폭이 2W인 가우시안 형태이거나 삼각형태에 가까움으로, 이로부터 산출되는 조명광의 폭 길이(d)는 W이기 때문에 약 350ps로 측정된다.Also, for example, as shown in FIG. 10, the overall image width length can be measured through the dotted line analogous line L1 shown in the triangular shape having the largest center. That is, when the exposure signal of the ultra-early stage camera 33 is 700 ps, when the video signal measured by the inclined measuring plate P is triangular as shown in FIG. 10, the dotted line analogous line L1 is shown and its width is 2W And the width (d) of the illumination light calculated therefrom is W, which is measured at about 350 ps.

즉, 상기 경사진 측정판(P)의 눈금은 m/Cosθ 길이를 m 길이로 새긴 것으로, L1 폭에 해당하는 눈금을 읽고, 그 값에 1/2을 곱하여 조명광의 길이로 인식한다.That is, the scale of the inclined measuring plate P is a length of m / Cos?, And the scale corresponding to the L1 width is read. The value is multiplied by 1/2, and is recognized as the length of the illumination light.

또한, 상기 극초단 카메라(33)의 노출신호가 1.5ns인 경우 경사진 측정판(P)에서 측정된 영상신호가 도 11과 같다.11, when the exposure signal of the ultra-early stage camera 33 is 1.5 ns, the image signal measured by the inclined measuring plate P is as shown in FIG.

이하에서는 상기 적응적 영상획득부(13) 및 적응적 광량조절부(15)에 대하여 상세히 설명한다. 여기서, 상기 고정영상획득부(14)에 대하여는 후술한다.Hereinafter, the adaptive image acquiring unit 13 and the adaptive light amount adjusting unit 15 will be described in detail. Here, the fixed image obtaining unit 14 will be described later.

도 12는 도 2의 적응적 영상획득부를 나타낸 블록도이다. 도 12에 도시된 바와 같이, 상기 적응적 영상획득부(13)는 포화감시모듈(131), 영상센서 노출조절모듈(133) 및 RGI영상누적모듈(135)을 포함한다.12 is a block diagram illustrating the adaptive image acquisition unit of FIG. 12, the adaptive image acquisition unit 13 includes a saturation monitoring module 131, an image sensor exposure adjustment module 133, and an RGI image accumulation module 135. [

상기 포화감시모듈(131)은 극초단 카메라(33)에서 획득한 RGI영상으로부터 포화량을 측정한다. 여기서, 상기 포화량은 픽셀 강도 값의 최대값 이상을 갖는 픽셀 수를 의미한다.The saturation monitoring module 131 measures the saturation amount from the RGI image acquired by the ultra-fast camera 33. Here, the saturation amount means the number of pixels having the maximum value or more of the pixel intensity value.

상기 영상센서 노출조절모듈(133)은 포화량이 기준 값 이하가 되도록, 극초단 카메라(33)의 노출시간을 조절한다. 여기서, 상기 기준 값은 획득한 RGI영상 내에서 허용되며 포화 되는 픽셀 수를 의미하고, 이값은 기 설정될 수 있다. The image sensor exposure control module 133 adjusts the exposure time of the ultra-fast camera 33 so that the saturation amount is less than the reference value. Here, the reference value means the number of pixels allowed and saturated in the obtained RGI image, and this value can be set in advance.

상기 RGI영상누적모듈(135)은 포화량이 설정된 기준 값 이하인 RGI영상들을 누적한다.The RGI image accumulation module 135 accumulates RGI images whose saturation amount is equal to or less than a set reference value.

도 13은 도 2의 적응적 광량조절부를 나타낸 블록도이다. 도 13에 도시된 바와 같이, 상기 적응적 광량조절부(15)는 광량감시모듈(151), 광량조절모듈(153) 및 광량조절 RGI영상 누적모듈(155)을 포함하며, 조명광의 강도를 조절한다.FIG. 13 is a block diagram showing the adaptive light amount control unit of FIG. 2. FIG. 13, the adaptive light amount adjusting unit 15 includes a light amount monitoring module 151, a light amount adjusting module 153, and a light amount adjusting RGI image accumulating module 155, do.

상기 광량감시모듈(151)은 극초단 카메라(33)에서 획득한 RGI영상으로부터 영상의 밝기인 광량을 측정한다. 여기서, 상기 광량은 RGI영상의 픽셀 강도 값의 평균값이나 실효 값 혹은 임의의 가중치를 갖는 값으로 설정할 수 있다.The light amount monitoring module 151 measures the amount of light, which is the brightness of the image, from the RGI image acquired by the ultra-fast camera 33. Here, the amount of light may be set to a value having an average value or an effective value or an arbitrary weight value of the pixel intensity values of the RGI image.

상기 광량조절모듈(153)은 광량이 최저기준 값보다 작으면 조명광의 강도를 증가시키고 광량이 최대기준 값보다 크면 조명광의 강도를 감소시켜 조명광의 강도를 조절하도록, 가변 광조사 광학모듈(53)의 가변광량 조절필터(101)와 스펙클감소기(103)를 제어한다. 여기서, 상기 최저기준 값 및 최대기준 값은 기 설정될 수 있다. 이때, 상기 최대기준 값은 항상 최저기준 값보다 크게 설정한다. 또한, 상기 광량조절모듈(153)의 조명광의 강도 조절은 가변광량 조절필터(101)를 회전시켜 조절할 수 있고, 스펙클감소기(103)를 온(on)/오프(off) 시켜서 조절할 수도 있다.The light amount adjusting module 153 adjusts the intensity of the illumination light by increasing the intensity of the illumination light if the light amount is smaller than the minimum reference value and decreasing the intensity of the illumination light when the light amount is larger than the maximum reference value, The variable light quantity control filter 101 and the speckle reducer 103 of the first embodiment are controlled. Here, the minimum reference value and the maximum reference value may be preset. At this time, the maximum reference value is always set to be larger than the minimum reference value. The intensity of illumination light of the light amount adjustment module 153 may be adjusted by rotating the variable light amount adjustment filter 101 and may be adjusted by turning on or off the speckle reduction unit 103 .

상기 광량조절 RGI영상 누적모듈(155)은 RGI영상의 밝기 광량이 최저기준 값보다 크면서 최대기준 값보다 작은 RGI영상들을 누적한다.The light amount control RGI image accumulation module 155 accumulates RGI images whose brightness light amount of the RGI image is larger than the minimum reference value and smaller than the maximum reference value.

이하에서는 영상 정보생성부(17)에 대하여 상세히 설명한다.Hereinafter, the image information generating unit 17 will be described in detail.

도 14는 도 2의 영상 정보생성부를 나타낸 블록도이다. 도 14에 도시된 바와 같이, 상기 영상정보생성부(17)는 2차원 영상모듈(171), 정밀 깊이 영상모듈(173)을 포함하며, RGI영상 누적모듈(135) 및 광량조절 RGI영상 누적모듈(155) 각각에 누적된 RGI영상들로부터 대상체(A)에 대응한 2D 영상과 깊이 영상을 생성한다.FIG. 14 is a block diagram showing the video information generating unit of FIG. 2. FIG. 14, the image information generating unit 17 includes a two-dimensional image module 171 and a precision depth image module 173, and includes an RGI image accumulation module 135 and a light amount control RGI image accumulation module 135. [ The 2D image and the depth image corresponding to the object A are generated from the RGI images accumulated in each of the RGI images.

상기 2차원 영상모듈(171)은 RGI영상 누적모듈(135) 및 광량조절 RGI영상 누적모듈(155) 각각에 누적된 영상들을 합한 다음에 누적 수로 나누어서 평균영상을 구하여 2D 영상을 생성할 수 있고, 또한 구해진 평균영상에 정규화 신호처리나 특정 구역에 대한 히스토그램 평활화(histogram equalization) 신호처리를 수행하여 2D 영상을 생성할 수 있다.The two-dimensional image module 171 may combine the accumulated images in the RGI image accumulation module 135 and the light amount regulated RGI image accumulation module 155, and then generate an average image by dividing the accumulated images by the cumulative number, Also, the 2D image can be generated by performing normalization signal processing on the obtained average image or histogram equalization signal processing on a specific region.

또한, 상기 2차원 영상모듈(171)은 누적된 RGI영상들 중 영상의 밝기가 지나치게 낮거나 높은 영상은 배제하고 영상의 밝기가 적당한 나머지 영상들을 합한 다음에 더한 수로 나누어서 평균영상을 구하여 2D 영상을 생성할 수 있고, 반대로 상기 2차원 영상모듈(171)은 상기 배제한 영상들을 조합하여 2D 영상을 생성할 수도 있다.In addition, the 2D image module 171 calculates an average image by dividing the accumulated RGI images by the sum of the remaining images with appropriate brightness of the image, excluding the images with excessively low or high brightness, And the 2D image module 171 may generate 2D images by combining the excluded images.

상기 정밀 깊이 영상모듈(173)은 고정된 조명광 강도와 고정된 카메라 노출시간으로 획득한 RGI영상을 이용하여 하기 수학식 2에 의해 정밀 깊이 영상 정보를 생성한다.The precision depth image module 173 generates the depth depth image information according to Equation (2) using the RGI image acquired with the fixed illumination intensity and the fixed camera exposure time.

Figure pat00005
Figure pat00005

여기서, r(x,y)는 영상(x, y) 위치에서의 깊이 정보를 나타내는 깊이 영상을 의미하고, d0는 측정을 시작하는 기본 최초 시작 거리를 의미하며, ΔS는 매 측정 시마다 증가 되는 측정시작 거리 증가 스텝 값이고, ρmax는 각 영상(x, y) 위치에서의 거리에 따라 순차적으로 획득한 RGI영상들 중에서 최대 픽셀 강도 값을 갖는 번호이고, Ιi(x,y)는 i번째로 획득된 RGI 영상(x,y) 위치에서의 픽셀 밝기 값이고,Here, r (x, y) denotes a depth image representing depth information at the position of the image (x, y), d 0 denotes a basic initial start distance at which measurement starts, and Δ S denotes an increase a measurement start distance increment step value, ρ max is a number having the maximum pixel intensity value among the RGI images acquired sequentially in accordance with the distance from each image (x, y) location, Ι i (x, y) is is the pixel brightness value at the i-th acquired RGI image (x, y)

Figure pat00006
이다.
Figure pat00006
to be.

또한, 상기 깊이는 카메라와 물체와의 거리를 의미한다. 그리고 영상(x,y) 위치에서의 경계값 θ(x,y)는 하기 수학식 3을 이용하여 결정된다.In addition, the depth means the distance between the camera and the object. The boundary value? (X, y) at the image (x, y) position is determined using the following equation (3).

Figure pat00007
Figure pat00007

여기서, 상기 픽셀 강도 Ιmax(x,y)는 거리에 따라 순차적으로 누적된 RGI영상들 중에서 영상(x,y) 위치에서의 최대 픽셀 값이고, 가중치 값인 β는 기 설정된 0에서 1 사이의 실수 값이다.Here, the pixel intensity I max (x, y) is the maximum pixel value at the position of the image (x, y) among the sequentially accumulated RGI images according to the distance, and the weight value β is a real number Value.

이때, 상기 영상정보생성부(17)는 정밀 깊이 영상모듈(173)에서 생성된 정밀 깊이 영상 정보로부터 깊이 영상을 생성한다.At this time, the image information generating unit 17 generates a depth image from the depth depth image information generated by the depth depth image module 173.

이하에서는 실시 예에 따른 영상 획득 장치(1)의 동작에 대하여 상세히 설명한다.Hereinafter, the operation of the image acquisition apparatus 1 according to the embodiment will be described in detail.

도 15는 실시 예에 따른 영상 획득 장치의 영상 획득 방법을 나타낸 순서도이다.15 is a flowchart showing an image acquisition method of the image acquisition apparatus according to the embodiment.

도 15에 도시된 바와 같이, 실시 예에 따른 영상 획득 장치(1)의 영상 획득 방법은 먼저, 상기 극초단 조명광 모듈(31)이 광파이버(51)와 가변 광조사 광학모듈(53)을 거쳐서 조명광을 대상체(A)에 조사할 때, 극초단 카메라(33)는 출력펄스 발생모듈(35)에서 출력되는 티티엘(TTL) 펄스 동기 시간을 인식하고, 그 시간을 기준으로 획득시간 지연모듈(37)에서 설정한 지연시간이 지난 후에 영상센서의 노출시간 동안 영상을 수신하여 대상체(A)에 대응한 영상을 획득한다. 이때, 상기 극초단 카메라(33)는 설정된 노출시간 조건에서 RGI영상을 획득한다.15, in the image acquisition method of the image acquisition apparatus 1 according to the embodiment, first, the ultra-fast illumination light module 31 transmits the illumination light V1 through the optical fiber 51 and the variable light irradiation optical module 53, End camera 33 recognizes the TTL pulse synchronization time output from the output pulse generation module 35 and acquires the acquisition time delay module 37 based on the time, The image corresponding to the object A is obtained by receiving the image during the exposure time of the image sensor. At this time, the ultra-fast camera 33 acquires the RGI image under the set exposure time condition.

그리고 실시 예에 따른 영상 획득 장치(1)는 기 설정된 모드선택(2D 영상모드/깊이(depth)영상모드)(S110)에 따라, 2D 영상모드가 선택되면 2D 영상 획득 기능이 동작 되고, 깊이 영상모드가 선택되면 깊이 영상 획득 기능이 동작 된다.According to the embodiment, the 2D image acquisition function is activated when the 2D image mode is selected according to the preset mode selection (2D image mode / depth image mode) S110, When the mode is selected, the depth image acquisition function is activated.

이때, 상기 깊이 영상모드가 선택되면, 획득시간 지연모듈(37)에서 초기값으로 설정한 기본 측정시작 거리 시간 값보다 일정 값을 증가시키고(S210), 상기 증가 된 측정시작 거리 시간에서 고정영상획득부(14)의 내부에 있는 RGI영상 누적모듈은 RGI영상을 획득하고 누적한다(S230). 그리고 상기 고정영상획득부(14)는 측정종료로 판단(S250)될 때까지 반복하여 이전의 측정시작 거리 시간 값에 일정 값을 증가시킨 후에, 증가 된 측정시작 거리 시간에서 RGI영상을 획득하고 이를 누적하는 과정을 반복한다. 여기서, 이전의 측정시작 거리 시간에 추가하는 일정 값은 기 설정될 수 있다. 상기 일정 값은 주로 조명광의 길이 보다 짧은 시간 값이다. 즉, 조명광의 길이 만큼 빛이 광속으로 갈 때의 시간 보다는 짧은 시간 값을 의미한다. 그 다음 측정종료로 판단되면(S250), 영상 정보생성부(17)는 상기 수학식 2를 이용하여 깊이 영상을 생성한다(S270).At this time, if the depth image mode is selected, the acquisition time delay module 37 increments the base measurement start distance time value set as the initial value (S210) The RGI image accumulation module inside the unit 14 acquires and accumulates the RGI image (S230). The fixed image obtaining unit 14 repeatedly increases the predetermined measurement start distance time value until it is determined that the measurement is finished (S250), then obtains the RGI image at the increased measurement start distance time, Repeat the accumulation process. Here, the predetermined value to be added to the previous measurement start distance time can be preset. The predetermined value is a time value which is shorter than the length of the illumination light. That is, it means a shorter time value than the time when the light goes to the light flux by the length of the illumination light. If it is determined that the measurement is finished (S250), the image information generating unit 17 generates the depth image using Equation (2) (S270).

한편, 상기 2D 영상모드가 선택되고, 기 설정된 제어선택(포화량제어/광량제어)(S310)에서 광량제어가 선택되면, 획득시간 지연모듈(37)에서 설정한 기본 측정시작 거리 시간 값에 일정 값을 증가시키고(S410). 상기 증가 된 측정시작 거리 시간에서 적응적 광량조절부(15)의 광량조절 RGI영상 누적모듈(155)은 RGI영상을 획득하고(S430), 광량감시모듈(151)은 광량을 측정하여(S450), 상기 측정된 광량이 최저기준값 이하이면(S470) 광량을 증가시켜서(S490) 다시 RGI영상을 측정하고, 만약 상기 측정된 광량이 최대기준값 이상이면(S510) 광량을 감소시켜서(S530) RGI영상을 다시 측정한다. 또한, 상기 측정된 광량이 최저기준값과 최대기준값 사이의 값이면(S470,S510) 그 RGI영상은 누적된다(S550). 그 다음, 측정종료로 판단(S570)될 때까지, 이전 측정시작 거리 시간 값에 일정 값을 증가시키고 나서 그 시간에서 RGI영상을 측정하고 누적하는 과정을 반복한다. 이러한 과정으로 거리에 따른 RGI영상은 획득된다. 계속해서 측정종료로 판단되면(S570), 영상 정보생성부(17)는 누적된 RGI영상들로부터 2D 영상을 생성한다(S810).Meanwhile, when the 2D image mode is selected and light amount control is selected in the preset control selection (saturation control / light amount control) (S310), the basic measurement start distance time value set by the acquisition time delay module 37 The value is increased (S410). The light amount control RGI image accumulation module 155 of the adaptive light amount controller 15 acquires the RGI image at step S430 and the light amount monitoring module 151 measures the light amount at step S450, If the measured light amount is less than the minimum reference value (S470), the light amount is increased (S490) and the RGI image is measured again. If the measured light amount is greater than or equal to the maximum reference value (S510), the light amount is decreased (S530) Measure again. If the measured light amount is a value between the minimum reference value and the maximum reference value (S470, S510), the RGI image is accumulated (S550). Then, until a measurement end is determined (S570), a predetermined value is increased to a previous measurement start distance time value, and then the RGI image is measured and accumulated at that time. In this process, RGI images along the distance are obtained. If it is determined that the measurement is finished (S570), the image information generating unit 17 generates a 2D image from the accumulated RGI images (S810).

또한, 상기 2D 영상모드가 선택되고, 제어선택(S310)에서 포화량제어가 선택되면, 획득시간 지연모듈(37)에서 설정한 기본 측정시작 거리 시간 값에 일정 값을 증가시키고(S610), 상기 증가 된 측정시작 거리 시간에서 RGI영상은 획득된다(S630). 적응적 영상획득부(13)의 포화감시모듈(131)은 포화량을 측정하여(S650), 상기 측정된 포화량이 기준 값 이상이면(S670) 극초단 카메라(33) 영상센서의 노출 시간을 감소시켜서(S690) 다시 RGI영상을 측정하고 포화량을 검사한다. 만약 상기 측정된 포화량이 기준 값 이하이면(S670) RGI영상은 누적이 된다(S710). 이러한 과정은, 측정종료로 판단(S730)될 때까지, 이전 측정시작 거리 시간 값에 일정 값을 증가시키고 나서 그 시간에서 RGI영상을 측정하고 누적하는 과정을 반복하고, 이러한 과정으로 거리에 따른 RGI영상은 획득된다. 계속해서 측정종료로 판단되면(S730), 영상 정보생성부(17)는 누적된 RGI영상들로부터 2D 영상을 생성한다(S810).If the 2D image mode is selected and the saturation control is selected in the control selection step S310, the constant value is increased to the basic measurement start distance time value set by the acquisition time delay module 37 (S610) The RGI image is acquired at the increased measurement start distance time (S630). The saturation monitoring module 131 of the adaptive image acquiring unit 13 measures the saturation amount (S650). If the measured saturation amount is equal to or greater than the reference value (S670), the exposure time of the image sensor of the ultra- (S690). Then, the RGI image is measured again and the saturation amount is checked. If the measured saturation amount is less than the reference value (S670), the RGI image is accumulated (S710). This process repeats the process of measuring and accumulating the RGI image at that time after increasing the predetermined value to the previous measurement start distance time value until it is determined that the measurement is finished (S730) Images are acquired. If it is determined that the measurement has been completed (S730), the image information generating unit 17 generates a 2D image from the accumulated RGI images (S810).

도 16은 도 2의 영상 정보생성부에서 대상체에 대응하여 생성한 영상을 나타낸 도면이다.FIG. 16 is a diagram showing an image generated in correspondence with a target object in the image information generating unit of FIG. 2;

예들 들어, 육안으로 관찰되지 않는 연무가 자욱한 공간(K) 속 대상체(A)에 조명광을 그대로 조사한 후 극초단 카메라(33)에서 획득한 영상이 도 16(a)와 같을 때, 상기 영상 정보생성부(17)에서는 도 16(b)에 도시된 바와 같은 2D 영상을 생성할 수 있고 또한, 도 16(c)에 도시된 바와 같은 깊이 영상을 생성할 수 있다.16 (a), when the image obtained by the ultrasound camera 33 is irradiated with the illumination light intact on the object A in a foggy space K that is not observed by the naked eye, The unit 17 can generate a 2D image as shown in FIG. 16 (b) and a depth image as shown in FIG. 16 (c).

도 17은 도 2의 영상 정보생성부에서 계단형 대상체에 대응하여 생성한 영상을 나타낸 도면이다.FIG. 17 is a diagram showing an image generated in correspondence with a step-like object in the image information generating unit of FIG. 2;

또 예들 들어, 약 2㎝ 높이의 계단형 대상체에 조명광을 그대로 조사한 후 극초단 카메라(33)에서 획득한 영상이 도 17(a)와 같을 때, 상기 스펙클감소기(103)를 동작시킨 후 극초단 카메라(33)에서는 도 17(b)에 도시된 바와 같은 영상을 획득할 수 있다. 그리고 상기 극초단 카메라(33)에서 획득한 영상이 도 17(a)와 같을 때, 상기 영상 정보생성부(17)에서는 도 17(c)에 도시된 바와 같은 깊이 영상을 생성할 수 있다. 또한, 상기 극초단 카메라(33)에서 획득한 영상이 도 17(b)와 같을 때, 상기 영상 정보생성부(17)에서는 도 17(d)에 도시된 바와 같은 깊이 영상을 생성할 수 있다.For example, when the illumination light is directly irradiated to the step-shaped object having a height of about 2 cm, and the image obtained by the ultrasound camera 33 is as shown in FIG. 17 (a), the speckle reducer 103 is operated In the ultra-fast camera 33, an image as shown in Fig. 17 (b) can be obtained. 17 (a), the image information generating unit 17 can generate a depth image as shown in FIG. 17 (c). 17 (b), the image information generating unit 17 can generate a depth image as shown in FIG. 17 (d).

상기에서 살펴본 바와 같이, 실시 예에 따른 저시정 환경에 강한 영상 획득 장치는 대상체에 대응한 영상 획득 환경의 저시정 정도에 따라 조명광의 광량을 제어하고 극초단 카메라의 영상센서의 노출 상태를 제어함으로써, 연무나 안개가 자욱한 환경 등의 저시정 환경에서도 대상체의 2D 영상과 깊이 영상을 선명히 얻을 수 있다.As described above, according to the embodiment, the image capturing apparatus which is strong in a low visibility environment controls the amount of illumination light according to the degree of low visibility of the image acquisition environment corresponding to the object, and controls the exposure state of the image sensor of the ultra- The 2D image and the depth image of the object can be clearly obtained even in a low visibility environment such as a foggy or misty environment.

즉, 실시 예에 따른 저시정 환경에 강한 영상 획득 장치는 상기 극초단 카메라의 영상센서의 노출 상태를 조절하는 적응적 영상획득부 및 상기 조명광의 광량을 조절하는 적응적 광량조절부를 포함함으로써, 상기 조명광이 연기공간을 통과하면서 발생 되는 산란 된 빛 또는 반사된 빛이 유입되는 시간 동안에는 극초단 카메라의 영상센서를 잠금 상태로 두어 영상을 얻지 않게 하고, 반면에 대상체로부터 반사되는 빛이 유입되는 시간 동안에는 극초단 카메라의 영상센서를 노출 상태로 두어 극초단 카메라에 대상체에 대응한 영상을 얻도록 극초단 카메라의 영상센서의 노출 상태를 제어한다.That is, the image capturing apparatus having a low visibility environment according to an embodiment of the present invention includes an adaptive image acquiring unit for adjusting the exposure state of the image sensor of the ultra-fast camera and an adaptive light amount adjusting unit for adjusting the light amount of the illumination light, During the time that the scattered light or the reflected light generated while the illumination light passes through the smoke space, the image sensor of the ultrasound camera is kept in a locked state so as not to acquire the image, while during the time when the reflected light from the object enters, Exposure status of the image sensor of the ultra-fast camera is controlled so as to obtain the image corresponding to the object in the ultra-fast camera by exposing the image sensor of the ultra-fast camera.

이상 본 발명의 바람직한 실시 예에 대해 설명하였으나, 본 발명은 상기 실시 예에 한정되는 것은 아니며, 본 발명의 기술적 사상의 범위 내에서 다양한 변경이나 변형 및 치환이 가능하다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims.

11: 극초단 영상획득부 13: 적응적 영상획득부
14: 고정영상획득부 15: 적응적 광량조절부
17: 영상 정보생성부 19: 영상 디스플레이부
21: 제어부 31: 극초단 조명광모듈
33: 극초단 카메라 35: 출력펄스 발생모듈
37: 획득시간 지연모듈 39: 조명광 폭 측정모듈
41: 잡음조절모듈 51: 광파이버
53: 가변 광조사 광학모듈 101: 가변광량 조절필터
103: 스펙클감소기 105: 광집속/확산 조사기
111: 경사측정판 영상획득모듈 113: 조명광 길이 측정모듈
131: 포화감시모듈 133: 영상센서 노출조절모듈
135: RGI영상 누적모듈 151: 광량감시모듈
153: 광량조절모듈 155: 광량조절 RGI영상 누적모듈
171: 2차원 영상모듈 173: 정밀 깊이 영상모듈11: ultra-fast image acquisition unit 13: adaptive image acquisition unit
14: Fixed image acquisition unit 15: Adaptive light amount control unit
17: Image information generating unit 19: Image display unit
21: control unit 31: ultra-fast illumination light module
33: ultra-fast camera 35: output pulse generating module
37: acquisition time delay module 39: illumination light width measurement module
41: noise control module 51: optical fiber
53: variable light irradiation optical module 101: variable light amount adjustment filter
103: speckle reducing apparatus 105: light focusing / diffusion irradiation apparatus
111: slope measurement plate image acquisition module 113: illumination light length measurement module
131: Saturation monitoring module 133: Image sensor exposure control module
135: RGI image accumulation module 151: Light amount monitoring module
153: light amount adjustment module 155: light amount adjustment RGI image accumulation module
171: Two-dimensional image module 173: Precision depth image module

Claims (14)

영상 획득 대상인 대상체에 조명광을 조사하는 광원 및 상기 대상체에 대응한 영상을 획득하는 영상센서가 내재 된 카메라를 구비하는 영상획득부; 및
상기 대상체에 대응한 영상 획득 환경의 저시정 정도에 따라 상기 조명광의 광량을 제어하고 상기 카메라의 영상센서의 노출 상태를 제어하는 제어부; 를 포함하며,
상기 카메라는 상기 제어부의 제어를 받아 저시정 환경에서도 상기 대상체에 대응한 영상을 획득하는 영상 획득 장치.An image acquiring unit including a camera having a light source for irradiating illumination light to a target object to be imaged and an image sensor for acquiring an image corresponding to the target object; And
A controller for controlling an amount of light of the illumination light according to a degree of low vision of the image acquisition environment corresponding to the object and controlling an exposure state of the image sensor of the camera; / RTI >
Wherein the camera acquires an image corresponding to the object under a low-visibility environment under the control of the control unit. 청구항 1에 있어서,
상기 광원은 광량 조절 기능과 스펙클 잡음 감소 기능을 갖는 가변 광조사 광학모듈을 거쳐서 상기 조명광을 상기 대상체에 조사하는 극초단 조명광 모듈인 영상 획득 장치.The method according to claim 1,
Wherein the light source is a super-fast illumination light module that irradiates the object with the illumination light through a variable light irradiation optical module having a light amount control function and a speckle noise reduction function. 청구항 2에 있어서,
상기 가변 광조사 광학모듈은,
상기 광량 조절 기능을 갖는 가변광량 조절필터;
상기 스펙클 잡음 감소 기능을 갖는 스펙클감소기; 및
상기 조명광이 확산 되거나 집속되는 광집속/확산 조사기;
를 포함하는 영상 획득 장치.The method of claim 2,
The variable light irradiation optical module includes:
A variable light amount adjusting filter having the light amount adjusting function;
A speckle reducer having the speckle noise reduction function; And
A light focusing / diffusing device in which the illumination light is diffused or focused;
And an image acquiring unit. 청구항 3에 있어서,
상기 가변광량 조절필터는 회전각도에 따라 다양한 강도로 상기 조명광의 광량을 감쇠시키는 회전형 광 감쇠 필터를 포함하는 영상 획득 장치.The method of claim 3,
Wherein the variable light amount control filter includes a rotatable light attenuation filter for attenuating a light amount of the illumination light with various intensities according to a rotation angle. 청구항 1에 있어서,
상기 제어부의 제어를 받아 상기 조명광의 폭 길이를 측정하는 조명광 폭 측정부를 더 포함하는 영상 획득 장치.The method according to claim 1,
And an illumination light width measuring unit for measuring a width of the illumination light under the control of the controller. 청구항 5에 있어서,
상기 조명광 폭 측정부는 상기 조명광을 경사진 측정판에 조사하여 경사진 측정판 영상을 획득하는 경사측정판 영상획득모듈과 상기 경사진 측정판 영상으로부터 상기 조명광의 폭 길이를 측정하는 조명광 길이 측정모듈을 포함하는 영상 획득 장치.The method of claim 5,
Wherein the illumination light width measuring unit includes an inclination measurement plate image acquiring module for acquiring an inclination measurement plate image by irradiating the illumination light onto a measurement plate and an illumination light length measurement module for measuring a width length of the illumination light from the inclination measurement plate image, And an image acquisition device. 청구항 6에 있어서,
상기 조명광 길이 측정모듈은 하기 수학식에 따라 상기 조명광의 폭 길이를 측정하는 영상 획득 장치
Dx=(1/2)×mCosθ
(상기 Dx는 상기 조명광의 길이이고, 상기 m은 상기 경사진 측정판에서 측정되는 조명광 영상 폭의 강도 프로파일 형태의 중앙값이 가장 큰 삼각형태 또는 가우시안 형태의 강도 패턴을 가질 때 상기 경사진 측정판에서의 영상 폭 길이이며, 상기 θ는 상기 조명광의 진행 방향에 대해 상기 경사진 측정판의 경사 각도이다.).The method of claim 6,
The illumination light length measurement module may include an image acquisition device for measuring the width of the illumination light according to the following equation:
Dx = (1/2) x mCos &thetas;
(Where Dx is the length of the illumination light, and m is a triangular or Gaussian intensity pattern having the largest median intensity profile shape of the width of the illumination light image measured on the inclined measuring plate, And the angle? Is an inclination angle of the inclined measuring plate with respect to a traveling direction of the illumination light). 청구항 1에 있어서,
상기 제어부의 제어를 받아 상기 카메라의 영상센서의 노출 상태를 조절하는 적응적 영상획득부; 및
상기 제어부의 제어를 받아 상기 조명광의 광량을 조절하는 적응적 광량조절부;
를 더 포함하는 영상 획득 장치.The method according to claim 1,
An adaptive image acquisition unit for adjusting an exposure state of the image sensor of the camera under the control of the controller; And
An adaptive light amount controller for controlling the light amount of the illumination light under the control of the controller;
Further comprising: 청구항 8에 있어서,
상기 적응적 영상획득부는,
상기 카메라가 획득한 RGI(range-gated image)영상으로부터 픽셀 강도 값의 최대값 이상을 갖는 픽셀 수인 포화량을 측정하는 포화감시모듈;
상기 포화량이 기 설정된 기준 값 이하가 되도록, 상기 카메라의 노출시간을 조절하는 영상센서 노출조절모듈; 및
상기 포화량이 상기 기준 값 이하인 RGI영상들을 누적하는 RGI영상누적모듈;
을 포함하는 영상 획득 장치.The method of claim 8,
Wherein the adaptive image acquisition unit comprises:
A saturation monitoring module for measuring a saturation amount, which is the number of pixels having a maximum value of a pixel intensity value from an RGI (range-gated image) image acquired by the camera;
An image sensor exposure adjustment module for adjusting an exposure time of the camera such that the saturation amount is equal to or less than a preset reference value; And
An RGI image accumulation module for accumulating the RGI images whose saturation amount is equal to or less than the reference value;
And an image acquiring device. 청구항 8에 있어서,
상기 적응적 광량조절부는,
상기 카메라가 획득한 RGI영상으로부터 영상의 밝기인 광량을 측정하는 광량감시모듈;
상기 광량이 기 설정된 최저기준 값보다 작으면 상기 조명광의 강도를 증가시키고 상기 광량이 기 설정된 최대기준 값보다 크면 상기 조명광의 강도를 감소시켜, 상기 조명광의 강도를 조절하는 광량조절모듈; 및
상기 광량이 최저기준 값보다 크면서 최대기준 값보다 작은 RGI영상들을 누적하는 광량조절 RGI영상누적모듈;
을 포함하는 영상 획득 장치.The method of claim 8,
Wherein the adaptive light amount control unit comprises:
A light amount monitoring module for measuring a light amount, which is the brightness of an image, from the RGI image acquired by the camera;
A light amount adjusting module for increasing the intensity of the illumination light when the light amount is smaller than a predetermined minimum reference value and decreasing the intensity of the illumination light when the light amount is larger than a preset maximum reference value; And
A light amount adjusting RGI image accumulating module for accumulating RGI images in which the light amount is larger than a minimum reference value and smaller than a maximum reference value;
And an image acquiring device. 청구항 1에 있어서,
상기 제어부의 제어를 받아 상기 RGI영상 누적모듈 및 상기 광량조절 RGI영상 누적모듈 각각에 누적된 RGI영상들로부터 상기 대상체에 대응한 영상을 생성하는 영상 정보생성부를 더 포함하는 영상 획득 장치.The method according to claim 1,
And an image information generating unit for generating an image corresponding to the object from the RGI images accumulated in the RGI image accumulation module and the light amount regulating RGI image accumulation module under the control of the control unit. 청구항 11에 있어서,
상기 영상 정보생성부는,
상기 대상체에 대응한 2D 영상을 생성하는 2차원 영상모듈; 및
상기 대상체에 대응하며, 상기 카메라의 영상 획득 환경에 적응적으로 정밀한 정밀 깊이 영상 정보를 생성하는 정밀 깊이 영상모듈;
을 포함하는 영상 획득 장치.The method of claim 11,
Wherein the image information generating unit comprises:
A two-dimensional image module for generating a 2D image corresponding to the object; And
A precision depth image module corresponding to the object and generating precise depth image information adaptively to an image acquisition environment of the camera;
And an image acquiring device. 청구항 12에 있어서,
상기 정밀 깊이 영상모듈은 상기 대상체에 대응한 정밀 깊이 영상 정보를 하기 수학식을 이용하여 생성하는 영상 획득 장치
Figure pat00008

(상기 r(x,y)는 영상(x, y) 위치에서의 깊이 정보를 나타내는 깊이 영상을 의미하고, 상기 d0는 측정을 시작하는 기본 최초 시작 거리를 의미하고, 상기 ΔS는 매 측정 시마다 증가 되는 측정시작 거리 증가 스텝 값이고, 상기 ρmax는 각 영상(x, y) 위치에서의 거리에 따라 순차적으로 획득한 RGI영상들 중에서 최대 픽셀 강도 값을 갖는 번호이고, 상기 Ιi(x,y)는 i번째로 획득된 RGI 영상(x,y) 위치에서의 픽셀 밝기값이고, 상기
Figure pat00009
이다.).The method of claim 12,
Wherein the precision depth image module is configured to calculate the depth depth image information corresponding to the object using an equation
Figure pat00008

(Wherein r (x, y) is the image (x, y) means a depth image representing the depth information of the position, wherein d 0 indicates the default initial starting distance to start the measurement, and the Δ S is every measurement (X, y), where ρ max is a number having a maximum pixel intensity value among RGI images sequentially obtained according to a distance at each image (x, y) position, and Ι i , y) is the pixel brightness value at the i-th acquired RGI image (x, y)
Figure pat00009
to be.). 청구항 13에 있어서,
상기 영상(x,y) 위치에서의 경계값 θ(x,y)는 하기 수학식을 이용하여 결정되는 영상 획득 장치
Figure pat00010

(상기 픽셀 강도 Ιmax(x,y)는 거리에 따라 순차적으로 누적된 RGI영상들 중에서 상기 영상(x,y) 위치에서의 최대 픽셀 값이고, 가중치 값인 상기 β는 기 설정된 0에서 1 사이의 실수 값이다.).14. The method of claim 13,
The boundary value? (X, y) at the position of the image (x, y) is determined by the following equation
Figure pat00010

(Between the pixel intensity Ι max (x, y) is the image (x among the sequentially stacked as RGI image according to the distance, y) and the maximum pixel value in the position, the weight value of the β is a group 1 in the set 0 It is a real value.
KR1020140132344A 2014-10-01 2014-10-01 Apparatus for capturing images in low visibility environment KR101642480B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140132344A KR101642480B1 (en) 2014-10-01 2014-10-01 Apparatus for capturing images in low visibility environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140132344A KR101642480B1 (en) 2014-10-01 2014-10-01 Apparatus for capturing images in low visibility environment

Publications (2)

Publication Number Publication Date
KR20160039378A true KR20160039378A (en) 2016-04-11
KR101642480B1 KR101642480B1 (en) 2016-07-28

Family

ID=55800522

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140132344A KR101642480B1 (en) 2014-10-01 2014-10-01 Apparatus for capturing images in low visibility environment

Country Status (1)

Country Link
KR (1) KR101642480B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019194550A1 (en) * 2018-04-02 2019-10-10 엘지전자 주식회사 Robot cleaner having constraint prevention filter
KR20220020471A (en) * 2020-08-11 2022-02-21 주식회사 슈프리마아이디 Image generating device using light control

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102528187B1 (en) * 2021-11-30 2023-05-03 한국생산기술연구원 System and method for generating image quantified density of material in reaction region

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003069894A (en) * 2001-08-23 2003-03-07 Aiphone Co Ltd Video intercom system
KR101087172B1 (en) 2011-07-13 2011-11-28 동국대학교 경주캠퍼스 산학협력단 Extraction system of 3 dimensional shape of high temperature metallic surface and method thereof
KR20120000234A (en) * 2010-06-25 2012-01-02 이숙윤 The method of auto-exposure control for white light 3d scanner using an illuminometer
JP2012226270A (en) * 2011-04-22 2012-11-15 Dainippon Printing Co Ltd Illumination device and projection type image display device
KR20130120885A (en) * 2012-04-26 2013-11-05 엘지이노텍 주식회사 Ir camera and driving method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003069894A (en) * 2001-08-23 2003-03-07 Aiphone Co Ltd Video intercom system
KR20120000234A (en) * 2010-06-25 2012-01-02 이숙윤 The method of auto-exposure control for white light 3d scanner using an illuminometer
JP2012226270A (en) * 2011-04-22 2012-11-15 Dainippon Printing Co Ltd Illumination device and projection type image display device
KR101087172B1 (en) 2011-07-13 2011-11-28 동국대학교 경주캠퍼스 산학협력단 Extraction system of 3 dimensional shape of high temperature metallic surface and method thereof
KR20130120885A (en) * 2012-04-26 2013-11-05 엘지이노텍 주식회사 Ir camera and driving method thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019194550A1 (en) * 2018-04-02 2019-10-10 엘지전자 주식회사 Robot cleaner having constraint prevention filter
KR20220020471A (en) * 2020-08-11 2022-02-21 주식회사 슈프리마아이디 Image generating device using light control
US11546522B2 (en) 2020-08-11 2023-01-03 Suprema Id Inc. Image generating device using lighting control
US11836588B2 (en) 2020-08-11 2023-12-05 Xperix Inc. Image generating device using lighting control

Also Published As

Publication number Publication date
KR101642480B1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
CN106643547B (en) Light intensity compensation on light providing improved measurement quality
CN107037443B (en) Method for determining distance based on triangulation principle and distance measuring unit
US9712754B2 (en) Method and system for selective imaging of objects in a scene to yield enhanced image
KR101296780B1 (en) Obstacle Detecting system using of laser, and method thereof
EP1894519B1 (en) Cornea imaging apparatus
JP6535223B2 (en) Blink measurement method, blink measurement apparatus, and blink measurement program
KR101875980B1 (en) High speed acquisition vision system and method for selectively viewing object features
JP2007304044A (en) Particle image analyzer
CN107810403B (en) Multiple beam and converging light illumination cross beam imaging
KR101642480B1 (en) Apparatus for capturing images in low visibility environment
US10831009B2 (en) Phase contrast microscope and imaging method
CN106895793B (en) The method and apparatus of double mode depth measurement
JP2013113696A (en) Displacement measuring method and displacement measuring apparatus
CN107782732B (en) Automatic focusing system, method and image detection instrument
US11874224B2 (en) Sample observation device and sample observation method
JP2010517012A (en) Strobe image acquisition guided by a distance sensor
US10368739B2 (en) Eye examination apparatus
CN108259775B (en) Imaging method, imaging device and rearview mirror
CN112782718B (en) Perspective glass imaging method and system based on laser gating
JP6605244B2 (en) Overhead wire imaging apparatus and overhead wire imaging method
JPWO2021124730A5 (en)
CN111830043A (en) Surface defect detection device and detection method based on spatial frequency shift regulation
JP2009014495A (en) Measuring device and measuring method using it
JP2001083248A (en) Monitoring apparatus
JP4919862B2 (en) Corneal endothelium imaging device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 4