KR101594417B1 - Apparatus for capturing images in invisible environment - Google Patents

Apparatus for capturing images in invisible environment Download PDF

Info

Publication number
KR101594417B1
KR101594417B1 KR1020140050719A KR20140050719A KR101594417B1 KR 101594417 B1 KR101594417 B1 KR 101594417B1 KR 1020140050719 A KR1020140050719 A KR 1020140050719A KR 20140050719 A KR20140050719 A KR 20140050719A KR 101594417 B1 KR101594417 B1 KR 101594417B1
Authority
KR
South Korea
Prior art keywords
image
time
light source
information
illumination light
Prior art date
Application number
KR1020140050719A
Other languages
Korean (ko)
Other versions
KR20150124195A (en
Inventor
박승규
백성훈
정경민
최영수
남성모
Original Assignee
한국원자력연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국원자력연구원 filed Critical 한국원자력연구원
Priority to KR1020140050719A priority Critical patent/KR101594417B1/en
Publication of KR20150124195A publication Critical patent/KR20150124195A/en
Application granted granted Critical
Publication of KR101594417B1 publication Critical patent/KR101594417B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은 비가시 환경에 강한 영상 획득 장치에 관한 것으로, 영상 획득 대상인 대상체에 조명 광을 조사하는 광원 및 상기 대상체에 대응한 영상을 획득하는 영상센서가 내재 된 카메라를 구비하는 영상획득부 및 상기 광원의 조명 광의 폭의 길이를 기반으로 상기 카메라의 영상센서의 노출 상태를 제어하는 제어부를 포함하여 상기 카메라가 상기 제어부의 제어를 받아 비가시 환경에서도 상기 대상체에 대응한 영상을 획득한다.The present invention relates to an image capturing apparatus which is strong in an invisible environment and includes an image acquiring unit including a camera having a light source for illuminating an object to be imaged with an illumination light and an image sensor for acquiring an image corresponding to the object, And a control unit for controlling an exposure state of the image sensor of the camera based on the length of the illumination light of the light source, wherein the camera acquires an image corresponding to the object even in a non-visible environment under the control of the control unit.

Description

비가시 환경에 강한 영상 획득 장치{APPARATUS FOR CAPTURING IMAGES IN INVISIBLE ENVIRONMENT}[0001] APPARATUS FOR CAPTURING IMAGES IN INVISIBLE ENVIRONMENT [0002]

본 발명은 비가시 환경에 강한 영상 획득 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001]

최근 다양한 분야에서는 영상 획득 대상인 대상체에 대한 3차원 형상 정보를 실시간으로 신뢰성 있게 추출할 수 있는 시스템에 대한 기술 개발이 요구되고 있다.Recently, in various fields, it is required to develop a technology for a system that can reliably extract three-dimensional shape information of a target object, which is an image acquisition target, in real time.

그래서 3차원 형상 추출 시스템 및 방법을 제공하기 위한 특허문헌 1의 기술이 제안되어 있고, 이 문헌의 기술은 4개의 2차원 영상을 획득하여 포토메트릭 스테레오 기법으로 대상 물체의 3차원 형상을 추출할 수 있도록 하고 있다.Therefore, a technique of Patent Document 1 for providing a three-dimensional shape extraction system and method has been proposed, and the technology of this document can acquire four two-dimensional images and extract a three-dimensional shape of a target object by a photometric stereo technique .

그러나 특허문헌 1을 비롯한 종래의 3차원 형상 추출 시스템은 연무나 안개가 자욱한 환경 등과 같은 비가시 환경에서는 대상체의 2차원 영상이나 대상체의 3차원 영상정보를 얻을 수 없다는 문제점이 있다.However, the conventional three-dimensional shape extraction system including the patent document 1 has a problem that the two-dimensional image of the object or the three-dimensional image information of the object can not be obtained in a non-visible environment such as a haze or misty environment.

여기서, 상기 비가시 환경은 카메라의 가시도가 떨어져서 대상체의 2차원 영상이나 대상체의 3차원 영상정보를 얻을 수 없는 환경이다. 예를 들어, 연기가 자욱한 화재 현장에서는 연기에 의해 가시광선이 차단되어 사람은 눈앞의 물체를 볼 수 없으며, 또한 로봇 전방향 카메라의 영상에서도 물체를 구분할 수 없게 된다. 이는 카메라 센서가 동작하는 가시광선이나 적외선 광선이 연기에 의해 차단되어 카메라의 영상센서에 물체로부터 반사되는 광선이 유입되지 않기 때문이다.Here, the non-visible environment is an environment in which the visibility of the camera is reduced and the two-dimensional image of the object or the three-dimensional image information of the object can not be obtained. For example, in the case of a smoky fire, visible light is blocked by smoke, so that a person can not see an object in front of the user and can not distinguish objects from the image of a robot forward camera. This is because the visible light or infrared ray that the camera sensor operates is blocked by the smoke and the light rays reflected from the object do not flow into the image sensor of the camera.

특허문헌 1 : 국내등록특허 10-1087172호 공보(2011. 11. 21.)Patent Document 1: Korean Patent Registration No. 10-1087172 (November 21, 2011)

본 발명은 상기 종래 기술의 문제점을 감안하여 이루어진 것으로, 연무나 안개가 자욱한 환경 등의 비가시 환경에서도 대상체의 2D영상과 3D영상을 획득할 수 있는 비가시 환경에 강한 영상 획득 장치를 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems of the prior art, and it is an object of the present invention to provide an image capturing apparatus which is robust against a non-visible environment in which a 2D image and a 3D image of a target object can be acquired even in a non-visible environment such as a haze or misty environment The purpose.

상기 과제를 해결하기 위한 본 발명의 비가시 환경에 강한 영상 획득 장치는 영상 획득 대상인 대상체에 조명 광을 조사하는 광원 및 상기 대상체에 대응한 영상을 획득하는 영상센서가 내재 된 카메라를 구비하는 영상획득부 및 상기 광원의 조명 광의 폭의 길이를 기반으로 상기 카메라의 영상센서의 노출 상태를 제어하는 제어부를 포함한다.In order to solve the above-described problems, an image acquisition apparatus which is robust against non-visual environment of the present invention includes a light source for irradiating illumination light to a target object to be imaged, and an image acquiring unit including a camera having an image sensor for acquiring an image corresponding to the target object And a control unit for controlling an exposure state of the image sensor of the camera based on a length of a width of illumination light of the light source.

또한, 상기 카메라는 상기 제어부의 제어를 받아 비가시 환경에서도 상기 대상체에 대응한 영상을 획득할 수 있다.In addition, the camera can acquire an image corresponding to the object even in a non-visible environment under the control of the control unit.

또한, 상기 제어부는 상기 광원의 조명 광이 상기 비가시 환경에 관한 빛이 유입되는 시간 동안에는 상기 카메라의 영상센서를 잠금 상태로 제어할 수 있다.In addition, the controller may control the image sensor of the camera to be in a locked state during the time when the illumination light of the light source enters the non-visible environment.

또한, 상기 영상획득부는 상기 광원의 조명 광의 조사 시점에 동기신호를 생성할 수 있다.The image acquiring unit may generate a synchronization signal at the time of irradiation of the illumination light of the light source.

또한, 상기 제어부는 상기 영상획득부가 상기 광원의 조명 광의 펄스폭과 같은 폭 및 2배 큰 폭 중 어느 하나의 간격으로 이동된 영상을 순차적으로 획득할 수 있도록, 상기 동기신호를 상기 광원의 조명 광의 조사 시간을 기반으로 일정시간 지연시킬 수 있다.The controller may further include a controller for controlling the synchronization unit to sequentially synchronize the synchronization signal with the illumination light of the light source so that the image acquiring unit sequentially acquires the images shifted at any one of a width equal to the pulse width of the illumination light of the light source, It can be delayed for a certain time based on the irradiation time.

또한, 본 발명의 비가시 환경에 강한 영상 획득 장치는 상기 영상획득부에서 획득된 영상을 기반으로 3D영상을 생성하는 3D영상정보 생성부를 더 포함할 수 있다.The apparatus may further include a 3D image information generating unit for generating a 3D image based on the image acquired by the image acquiring unit.

또한, 상기 3D 영상정보 생성부는 상기 영상센서의 노출 시간을 상기 광원의 조명 광의 펄스폭 시간(ti)보다 3배 긴 3ti로 설정한 상태에서 상기 영상획득부에서 획득되며 2ti의 지연시간 간격으로 이동된 영상들로부터 광역 3차원 영상정보를 추출하는 광역 3D정보 추출기 및 상기 영상센서의 노출 시간을 상기 광원의 조명 광의 펄스폭 시간(ti)과 같은 ti로 설정한 상태에서 상기 영상획득부에서 획득되며 ti의 지연시간 간격으로 이동된 영상들로부터 정밀 3차원 영상정보를 추출하는 정밀 3D정보 추출기를 포함할 수 있다.In addition, the 3D image information generating unit in the set exposure time of the image sensor for lighting (t i) the light pulse width time of the light source than 3 times longer 3t i state is obtained by the image obtaining unit 2t i delay the image in a condition set from the image movement with an interval to t i, such as a wide area three-dimensional image information wide 3D information extractor and the exposure time, the illumination light width the time (t i) pulse of the light source of the image sensors to extract And a precision 3D information extractor that is obtained from the acquiring unit and extracts the precise three-dimensional image information from the images shifted in the delay time interval of t i .

본 발명의 비가시 환경에 강한 영상 획득 장치는 극초단 광원의 조명 광의 폭의 길이를 기반으로 극초단 카메라의 영상센서의 노출 상태를 제어함으로써, 연무나 안개가 자욱한 환경 등의 비가시 환경에서도 대상체의 2D영상과 3D영상을 선명히 얻을 수 있다.The apparatus for capturing an image which is strong in a non-visible environment according to the present invention controls the exposure state of the image sensor of the ultrasmall camera based on the width of the illumination light of the ultra-short single light source. Therefore, even in a non- The 2D image and the 3D image of the image can be clearly obtained.

도 1은 실시 예에 따른 영상 획득 장치를 나타낸 블록도,
도 2는 도 1의 카메라의 영상센서의 노출 시간이 조명광의 펄스폭 시간보다 3배 긴 경우의 극초단 영상획득부에서 획득한 거리별 영상 강도를 나타낸 그래프,
도 3은 도 2의 조건에서 획득한 영상들의 거리에 따른 영상들 간의 배치 관계를 나타낸 그래프,
도 4는 도 3의 배치 관계로부터 대상체의 거리에 따른 영상들 간의 강도 비율 관계를 나타낸 그래프,
도 5는 도 1의 극초단 카메라의 영상센서의 노출 게이트 시간(texp)이 극초단 광원의 조명 광의 펄스폭 시간(ti)과 동일한 경우의 극초단 영상획득부에서 획득한 거리별영상 강도를 나타낸 그래프,
도 6은 도 5의 조건에서 획득한 영상들의 거리에 따른 영상들 간의 배치 관계를 나타낸 그래프,
도 7은 도 6의 배치 관계로부터 대상체의 거리에 따른 영상들 간의 강도 비율 관계를 나타낸 그래프,
도 8은 도 1의 다중 신호기반 잡음제거기의 잡음제거 과정을 나타낸 그래프,
도 9는 도 8의 영상들 간의 거리에 따른 강도 비율 관계를 나타낸 그래프이다.1 is a block diagram showing an image acquisition apparatus according to an embodiment;
FIG. 2 is a graph showing image intensities according to distances acquired by the ultraslot image acquiring unit when the exposure time of the image sensor of the camera of FIG. 1 is three times longer than the pulse width time of the illumination light,
FIG. 3 is a graph showing a layout relationship between images according to distances of images obtained under the condition of FIG. 2;
FIG. 4 is a graph showing the intensity ratio relationship between images according to the distance of the object from the arrangement relationship of FIG. 3;
FIG. 5 is a graph showing the relationship between the image intensity obtained by the ultrasound image acquisition unit when the exposure gate time ( texp ) of the image sensor of the ultra-fast camera of FIG. 1 is equal to the pulse width time (t i ) Lt; / RTI >
FIG. 6 is a graph showing a layout relation between images according to distances of images obtained under the condition of FIG. 5;
FIG. 7 is a graph showing intensity ratio relationships between images according to the distance of the object from the arrangement relationship of FIG. 6;
FIG. 8 is a graph illustrating a noise removal process of the multi-signal-based noise canceller of FIG. 1;
FIG. 9 is a graph showing intensity ratio relationships according to distances between images in FIG.

이하, 첨부 도면을 참조하면서 본 발명의 바람직한 실시 예에 대해서 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 실시 예에 따른 영상 획득 장치를 나타낸 블록도이다. 도 1에 도시된 바와 같이, 실시 예에 따른 영상 획득 장치는 극초단 영상획득부(11), 노출/지연시간 제어부(13), 2D영상정보 생성부(15), 3D영상정보 생성부(17) 및 영상 디스플레이부(19)를 포함한다. 여기서, 상기 영상 디스플레이부(19)는 2D영상정보 생성부(15)에서 생성된 2D영상을 디스플레이하거나 3D영상정보 생성부(17)에서 생성된 3D영상을 디스플레이한다. 또한, 도 1의 A'는 영상 획득 대상인 대상체(A) 주위의 물체들이다.1 is a block diagram showing an image acquisition apparatus according to an embodiment. 1, an image capturing apparatus according to an embodiment includes an ultrasound image acquisition unit 11, an exposure / delay time control unit 13, a 2D image information generation unit 15, a 3D image information generation unit 17 And an image display unit 19. The image display unit 19 displays the 2D image generated by the 2D image information generating unit 15 or the 3D image generated by the 3D image information generating unit 17. Also, A 'in FIG. 1 are objects around the object A as the object to be captured.

이하에서는 상기 극초단 영상획득부(11)에 대하여 상세히 설명한다.Hereinafter, the ultra-fast image obtaining unit 11 will be described in detail.

상기 극초단 영상획득부(11)는 대상체(A)에 조명 광을 조사하는 극초단 광원(111) 및 극초단 카메라(113)를 포함한다. 여기서, 상기 극초단 광원(111)은 나노초(ns) 또는 피코초(ps) 단위의 짧은 폭을 갖는 극초단 레이저 빔 등의 조명광원 장치로써, 그의 조명 광은 길이가 d인 폭을 갖는 조명 광으로 기설정된다. 또한, 상기 극초단 카메라(113)는 도시하지는 않았지만 대상체(A)에 대응한 영상을 획득하는 영상센서를 구비하며, 나노초(ns) 또는 피코초(ps) 단위로 상기 영상센서의 노출 시간을 제어할 수 있다.The ultrasound imaging unit 11 includes an ultrasound ultrasound source 111 and an ultrasmall camera 113 for irradiating the object A with illumination light. Here, the ultra-fast light source 111 is an illumination light source device such as an ultrasound laser beam having a short width in units of ns or picoseconds (ps), and its illumination light is an illumination light source having a width d . The ultrasound camera 113 includes an image sensor for acquiring an image corresponding to the object A, not shown, and controls the exposure time of the image sensor in nanoseconds (ns) or picoseconds (ps) can do.

이때, 상기 극초단 광원(111)의 조명 광은 비가시 환경인 연기가 자욱한 연기공간(G)을 통과하면서 일부분은 투과되고 나머지 일부분은 산란 되거나 반사된다. 여기서, 상기 산란 되거나 반사된 빛 즉 상기 비가시 환경에 관한 빛은 잡음으로써, 상기 잡음이 극초단 카메라(113)에 영상정보로 획득될 경우 극초단 카메라(113)의 영상은 흐려지거나 대상체(A)에 대응한 영상이 안 보이게 된다.At this time, the illumination light of the ultra-short single light source 111 passes through the smoke-like smoke space G, which is a non-visible environment, while a portion of the illumination light is scattered or reflected. When the noise is acquired as image information in the ultra-low-speed camera 113, the image of the ultra-low-speed camera 113 is blurred or the object A ) Can not be seen.

이에 따라, 상기 연기공간(G)의 비가시 환경에서도 극초단 카메라(113)가 대상체(A)에 대응한 영상을 획득할 수 있도록, 상기 극초단 영상획득부(11)는 극초단 광원(111)의 조명 시간에 일치되는 즉, 극초단 광원(111)의 조명 광의 조사 시점에 동기신호를 생성한다. 여기서, 상기 동기신호는 노출/지연시간 제어부(13)의 제어를 받아 일정 시간 지연된 후에 극초단 영상획득부(11)에 입력되어 극초단카메라(113)의 영상 획득 시작 신호로 사용된다.Accordingly, the ultra-fast image acquiring unit 11 acquires an image corresponding to the object A from the ultra-fast light source 111 (FIG. 1) so that the ultra-fast camera 113 can acquire an image corresponding to the object A, , That is, at the point of time when the ultra-short single light source 111 irradiates the illumination light. Here, the synchronization signal is delayed for a predetermined time under the control of the exposure / delay time controller 13, and then input to the ultraslot image acquiring unit 11 to be used as an image acquisition start signal of the ultra-fast camera 113.

상기 극초단 영상획득부(11)는 노출/지연시간 제어부(13)의 제어를 받는 상기 동기신호에 따라, 극초단 광원(111)의 조명 광이 상기 비가시 환경에 관한 빛이 유입되는 시간 동안에는 극초단 카메라(113) 내부의 영상센서를 잠금 상태로 두어 영상을 얻지 않게 하고, 반면에 대상체(A)로부터 반사되는 빛이 유입되는 시간 동안에는 극초단 카메라(113) 내부의 영상센서를 노출 상태로 두어 극초단 카메라(113)에 대상체(A)에 대응한 영상을 얻도록 한다.The ultrasound image acquiring unit 11 acquires ultrasound images of the ultraviolet light source 111 and the ultrasound echo light source 111 in accordance with the synchronization signal under the control of the exposure / The image sensor in the ultra-low-speed camera 113 is kept in a locked state so as not to acquire an image. On the other hand, during the time when light reflected from the object A flows into the ultra- So that an image corresponding to the object A is obtained in the two most recent cameras 113.

이때, 상기 극초단 카메라(113)는 상기 비가시 환경에 관한 빛에 대응한 영상은 없고, 대상체(A)에서 반사된 극초단 광만을 수신하여 대상체(A)에 대응한 영상을 획득함으로써, 연기공간(G)과 같은 비가시 환경에서도 대상체(A)에 대응한 영상을 획득할 수 있다.At this time, the ultra-low-stage camera 113 does not have an image corresponding to the light related to the invisible environment but receives only the ultra-fast light reflected from the object A to acquire an image corresponding to the object A, It is possible to acquire an image corresponding to the object A even in an invisible environment such as the space G. [

여기서, 극초단 카메라(113)의 노출 상태 시간은 극초단 광원(111)의 조명 광의 폭의 길이(d)인 극초단 광원(111)의 조명 광의 노출 시간과 같을 수 있고 또한, 더 길거나 더 짧을 수도 있다.The exposure time of the ultra-low speed camera 113 may be equal to the exposure time of the illumination light of the ultra-fast light source 111 which is the length d of the width of the illumination light of the ultra-short light source 111, It is possible.

또한, 상기 극초단 영상획득부(11)는 극초단 카메라(113)를 이용하여 상기 동기신호의 여러 지연 시간에서 얻어지는 여러 영상들을 획득하여 이를 저장한다. 여기서, 상기 극초단 카메라(113)의 영산센서 노출 시간은 동일한 노출 시간을 가진다. 예를 들어, 상기 극초단 영상획득부(11)는 극초단카메라(113)의 a시간이라는 동일 노출 시간을 가지는 여러 영상들을 획득하는데, 이때 동기신호의 지연시간을 조절하여 여러 지연시간에서 영상들을 획득한다. 또한 b시간이라는 동일 노출 시간을 가지는 여러 영상들을 획득하는데, 이때도 또한 동기신호의 지연시간을 조절하여 여러 지연시간에서 영상들을 획득한다Also, the ultra-fast image acquiring unit 11 acquires various images obtained at various delay times of the synchronization signal using the ultra-fast camera 113 and stores the obtained images. Here, the exposure time of the ultrasound camera 113 has the same exposure time. For example, the extreme ultrasound image acquisition unit 11 acquires multiple images having the same exposure time as the a time of the ultra-fast camera 113. At this time, by adjusting the delay time of the synchronous signal, . Also, we acquire several images with the same exposure time as b, and also acquire images at various delay times by adjusting the delay time of the synchronous signal

이하에서는 상기 2D영상정보 생성부(15)에 대하여 상세히 설명한다.Hereinafter, the 2D image information generating unit 15 will be described in detail.

상기 2D영상정보 생성부(15)는 극초단 영상획득부(11)로부터 입력된 극초단 영상들을 조합하여 2D영상정보를 생성하는 영상조합기(151)와 상기 영상조합기(151)로부터 생성된 2D영상정보에 필터링을 수행하는 영상신호처리기(153)를 포함하며, 극초단 영상획득부(11)에서 획득한 영상들을 조합하여 2D영상을 생성한다.The 2D image information generating unit 15 includes an image combiner 151 for generating 2D image information by combining the ultraslim images inputted from the ultrasound image acquiring unit 11, And a video signal processor 153 that performs filtering on the information. The 2D image is generated by combining the images acquired by the ultrasound image acquisition unit 11.

이때, 상기 영상신호처리기(153)는 영상조합기(151)에서 조합한 영상에 대하여 평균화 필터, 메디안 필터 등의 필터링 기능을 수행하여 신호처리된 2D영상을 생성한다. 또한, 상기 영상신호처리기(153)는 영상조합기(151)에서 조합한 영상에 대하여 히스토그램균등화(histogram equalization) 기능을 수행하여 신호처리된 2D영상을 생성할 수 있다. 또한, 상기 영상신호처리기(153)는 영상조합기(151)에서 조합한 영상에 대하여 정규화 기능을 수행하여 신호처리된 2D영상을 생성할 수도 있다.At this time, the image signal processor 153 performs a filtering function such as an averaging filter and a median filter on the image combined by the image combiner 151 to generate a signal-processed 2D image. In addition, the image signal processor 153 may perform a histogram equalization function on the image combined by the image combiner 151 to generate a signal-processed 2D image. In addition, the image signal processor 153 may perform a normalization function on the image combined by the image combiner 151 to generate a signal-processed 2D image.

이하에서는 상기 3D영상정보 생성부(17)에 대하여 상세히 설명한다.Hereinafter, the 3D image information generating unit 17 will be described in detail.

상기 3D영상정보 생성부(17)는 기본거리 정보 추출기(171), 광역 3D정보 추출기(173), 정밀 3D정보 추출기(175), 다중 3D정보 추출기(177), 다중 신호기반 잡음 제거기(179) 및 3D영상 정보 생성기(181)를 포함하며, 극초단 영상획득부(11)에서 획득한 영상들로부터 대상체(A)에 대응한 3차원 영상을 생성한다.The 3D image information generator 17 includes a basic distance information extractor 171, a wide area 3D information extractor 173, a precision 3D information extractor 175, a multiple 3D information extractor 177, a multiple signal based noise canceller 179, And a 3D image information generator 181. The 3D image information generator 181 generates a 3D image corresponding to the object A from the images acquired by the ultraslim image acquiring unit 11. [

도 2는 도 1의 카메라의 영상센서의 노출 시간이 조명광의 펄스폭 시간보다 3배 긴 경우의 극초단 영상획득부에서 획득한 거리별 영상 강도를 나타낸 그래프이다.FIG. 2 is a graph illustrating image intensities according to distances acquired by the ultrasound image acquisition unit when the exposure time of the image sensor of the camera of FIG. 1 is three times longer than the pulse width time of the illumination light.

상기 기본거리 정보 추출기(171)는 극초단 영상이 처음으로 획득되기 시작하는 시점의 거리정보 즉, 극초단 카메라(113)와 대상체(A) 간의 기본 측정시작점 거리 값을 계산한다. 여기서, 상기 3D영상정보 생성부(17)는 3차원 거리 정보를 추출한 다음에 상기 기본 시작점 거리 값을 기본으로 더해준다.The basic distance information extractor 171 calculates the distance information at the time when the ultrasound image starts to be acquired for the first time, that is, the basic measurement start point distance value between the ultrasound camera 113 and the object A. Here, the 3D image information generating unit 17 extracts the three-dimensional distance information, and then adds the basic starting point distance value as a base.

이때 상기 기본거리 정보 추출기(171)는 도 2에 도시된 바와 같이, ti는 극초단 광원(111)의 조명 광의 펄스폭 시간이고, texp는 극초단 카메라(113)의 영상센서의 노출 게이트(gate) 시간이며, td는 노출/지연시간 제어기(13)의 지연시간으로 각각 가정할 경우, 상기 td를 이용하여 극초단 카메라(113)와 대상체(A) 간의 거리인 기본 거리 값 L을 하기 수학식 1을 이용하여 계산한다.2, t i is the pulse width time of the illumination light of the ultra-short light source 111, t exp is the exposure time of the exposure sensor of the image sensor of the ultra-low speed camera 113, and (gate) time, t d is exposed / delay if each home, the delay time of the controller 13, the t distance between d ultrashort camera 113 and the object (a) using the default distance value L Is calculated using the following equation (1).

Figure 112014040418769-pat00001
Figure 112014040418769-pat00001

여기서, c는 조명광의 진행 속도이다.Here, c is the traveling speed of the illumination light.

상기 극초단 광원(111)의 조명 광의 펄스폭 시간(ti), 극초단 카메라(113)의 영상센서의 노출 게이트 시간(texp), 노출/지연시간 제어기(13)의 지연시간(td), 극초단 카메라(113)와 대상체(A) 간의 거리인 기본 거리 값(L) 및 극초단 카메라(113)에 획득되는 영상의 픽셀 강도 간의 관계에 의해, 상기 광역 3D정보 추출기(173)는 광역 3차원 영상정보를 추출하고, 상기 정밀 3D정보 추출기(175)는 정밀 3차원 영상정보를 추출한다.The delay time of the ultrashort light source 111, the illumination light the pulse width time (t i), the ultrashort camera exposure gate time of the image sensor of (113) (t exp), exposure / delay controller (13) (t d ), The wide area 3D information extractor 173 extracts, based on the relationship between the base distance value L, which is the distance between the ultramodern camera 113 and the object A, and the pixel intensity of the image obtained in the ultra- Dimensional 3D image information, and the precision 3D information extractor 175 extracts the precise three-dimensional image information.

도 3은 도 2의 조건에서 획득한 영상들의 거리에 따른 영상들 간의 배치 관계를 나타낸 그래프이고, 도 4는 도 3의 배치 관계로부터 대상체의 거리에 따른 영상들 간의 강도 비율 관계를 나타낸 그래프이다.FIG. 3 is a graph showing the placement relationship between images according to distances of images obtained under the condition of FIG. 2, and FIG. 4 is a graph illustrating intensity ratio relationships between images according to the distance of the object from the placement relationship of FIG.

즉, 상기 극초단 광원(111)의 조명 광의 펄스폭 시간(ti)에 따른 빛의 강도를 도 2(a)에 도시된 바와 같이 설정하고, 상기 노출/지연시간 제어기(13)의 지연시간을 td라 하고 상기 극초단 카메라(113)의 영상센서의 노출 게이트 시간(texp)을 극초단 광원(111)의 조명 광의 펄스폭 시간(ti)의 3배로 설정(3ti=texp)했을 때 상기 극초단 카메라(113)의 영상센서의 시간별 센싱감도는 도 2(b)에 도시된 바와 같이 가정할 수 있다..That is, the intensity of the light according to the pulse width time t i of the illumination light of the ultra-short single light source 111 is set as shown in FIG. 2 (a), and the delay time of the exposure / a t d d and the ultrashort three times the (3t i = t exp of the image exposure gate time (t exp), the illumination light the pulse width time (t i) of the ultrashort light source 111 of the sensor of the camera 113 ), The sensitivity of the image sensor of the ultra-fast camera 113 with respect to time can be assumed as shown in FIG. 2 (b).

이때, 상기 극초단 영상획득부(11)는 상기와 같이 가정할 경우, 즉 극초단 광원(111)의 조명 광의 펄스폭 시간(ti) 보다 3배 긴 극초단 카메라(113)의 영상센서의 노출 시간(texp)으로 영상들을 획득한다. 또한, 상기 극초단 카메라(113)는 매 영상을 획득할 때마다 극초단 광원(111)의 조명 광의 펄스폭 시간(ti) 보다 2배 긴 2ti시간 간격으로 순차적으로 이동하면서 영상을 획득한다. 즉, 상기 극초단 카메라(113)가 k번째 영상을 획득할 때 지연시간은 t0 + (2 × k × ti)이다. 여기서 상기 k는 0부터 1씩 올라가는 정수이고, t0는 상수 값인 기본지연시간이다.At this time, the ultra-fast image acquiring unit 11 acquires an image of the image sensor of the ultra-fast camera 113, which is three times longer than the pulse width time t i of the illumination light of the ultra- Obtain images at exposure time (t exp ). In addition, the ultrasound camera 113 acquires images while sequentially moving at intervals of 2t i , which is two times longer than the pulse width time t i of the illumination light of the ultra-short single light source 111 every time each image is acquired . That is, the delay time when the ultra-fast camera 113 acquires the k-th image is t0 + (2 x k x t i ). Where k is an integer increasing from 0 to 1, and t0 is a constant value, a basic delay time.

이때, 상기 광역 3D정보 추출기(173)는 상기와 같은 경우에 획득된 거리에 따른 영상강도인 도 2(c)에 도시된 바와 같은 영상에 광역 3차원 영상정보가 포함되어 있어 이를 추출할 수 있다.At this time, the wide-area 3D information extractor 173 extracts the wide-angle 3D image information as shown in FIG. 2C, which is the image intensity according to the distance obtained in the above case .

즉, 상기 극초단 카메라(113)에 획득되는 영상의 픽셀 강도는 대상체(A)의 거리별로 도 2(c)에 도시된 바와 같은 거리와 픽셀 강도의 관계를 가진다.That is, the pixel intensity of the image obtained by the ultra-low-speed camera 113 has a relationship between a distance and a pixel intensity as shown in FIG. 2 (c) for each distance of the object A.

여기서, 도 2(c)에 도시된 바와 같은 광역 3차원 영상정보는 도 2(a)에 도시된 바와 같은 극초단 광원 신호와 도 2(b)에 도시된 바와 같은 극초단 카메라(113)의 영상센싱 신호의 콘볼류션(convolution) 결과로 얻어진다.Here, the wide-area three-dimensional image information as shown in FIG. 2 (c) is obtained by superimposing the ultra-fast light source signal as shown in FIG. 2 (a) Is obtained as a result of the convolution of the image sensing signal.

또한, 상기 광역 3D정보 추출기(173)는 도 2에 도시된 신호 관계를 기반으로, 도 3에 도시된 바와 같은 각 픽셀에서의 거리 정보를 구할 수 있어 3차원 영상정보를 추출할 수 있다.Also, the wide area 3D information extractor 173 can extract distance information of each pixel as shown in FIG. 3 based on the signal relation shown in FIG. 2, and extract 3D image information.

도 3에 도시된 바와 같이, 상기 각 동기신호가 2ti 지연 시간 간격으로 얻어지는 3개의 영상신호(영상 1, 영상 2, 영상 3)로부터 거리별로 구분되는 픽셀 강도 값을 얻을 수 있기 때문에, 상기 광역 3D정보 추출기(173)는 각 픽셀에서 대상체(A)와의 거리 정보를 얻을 수 있다. 이때, 상기 영상 1은 상기 영상 2보다 2ti시간만큼 앞선 지연 시간에서 얻어진 영상이고, 상기 영상 3은 상기 영상 2보다 2ti시간만큼 더 지연된 시간에서 얻어진 영상이다.As shown in FIG. 3, since the pixel intensity values, which are classified by distance, can be obtained from the three video signals (video 1, video 2, video 3) in which the respective synchronous signals are obtained at 2t i delay time intervals, The 3D information extractor 173 can obtain the distance information with respect to the object A in each pixel. In this case, the image 1 is an image obtained at a delay time 2t i earlier than the image 2, and the image 3 is an image obtained at a time delayed by 2t i hours from the image 2.

또한, 상기 광역 3D정보 추출기(173)는 도 3에 도시된 신호 관계로부터, 도 4에 도시된 바와 같은 대상체(A)의 거리에 따른 상기 3개의 영상신호(영상 1, 영상 2, 영상 3) 간의 강도 비율 관계를 얻을 수 있으며, 상기 대상체(A)의 거리에 따른 상기 3개의 영상신호(영상 1, 영상 2, 영상 3) 간의 강도 비율 관계로부터 각 픽셀의 거리 정보를 추출할 수 있다. 이때, 도 3 및 도 4에 도시된 바와 같이, A 거리 구역은 상기 영상 1과 상기 영상 2의 관계(=영상1/영상2)로부터 상기 각 픽셀의 거리 정보가 추출되고, B거리 구역은 상기 영상 2와 상기 영상 3의 관계(=영상3/영상2)로부터 상기 각 픽셀의 거리 정보가 추출된다.The wide area 3D information extractor 173 extracts the three video signals (video 1, video 2, video 3) according to the distance of the object A as shown in FIG. 4 from the signal relationship shown in FIG. And the distance information of each pixel can be extracted from the intensity ratio relationship between the three video signals (video 1, video 2, video 3) according to the distance of the target object (A). 3 and 4, the distance information of each pixel is extracted from the relation between the image 1 and the image 2 (= image 1 / image 2) The distance information of each pixel is extracted from the relationship between the image 2 and the image 3 (= image 3 / image 2).

도 5는 도 1의 극초단 카메라의 영상센서의 노출 게이트 시간(texp)이 극초단 광원의 조명 광의 펄스폭 시간(ti)과 동일한 경우의 극초단 영상획득부에서 획득한 거리별 영상 강도를 나타낸 그래프이다. 또한, 도 6은 도 5의 조건에서 획득한 영상들의 거리에 따른 영상들 간의 배치 관계를 나타낸 그래프이고, 도 7은 도 6의 배치 관계로부터 대상체의 거리에 따른 영상들 간의 강도 비율 관계를 나타낸 그래프이다.FIG. 5 is a graph showing the relationship between the image intensity obtained by the ultrasound image acquisition unit when the exposure gate time ( texp ) of the image sensor of the ultra-fast camera of FIG. 1 is equal to the pulse width time (t i ) Fig. FIG. 6 is a graph showing a placement relationship between images according to distances of images obtained under the conditions of FIG. 5, FIG. 7 is a graph showing intensity ratio relationships between images according to distances of the object, to be.

상기 극초단 광원(111)의 조명 광의 펄스폭 시간(ti)에 따른 빛의 강도를 도 5(a)에 도시된 바와 같이 설정하고, 상기 노출/지연시간 제어기(13)는 지연시간(td)을 설정하고 극초단 카메라(113)의 영상센서의 노출 게이트 시간(texp)을 극초단 광원(111)의 조명 광의 펄스폭 시간(ti)과 동일하게 설정(ti=texp)했을 때 상기 극초단 카메라(113)의 영상센서의 노출 시간별 강도는 도 5(b)에 도시된 바와 같이 가정할 수 있다..The intensity of light according to the pulse width time t i of the illumination light of the ultra-short single light source 111 is set as shown in FIG. 5 (a), and the exposure / d is set and the exposure gate time t exp of the image sensor of the ultra-fast camera 113 is set to be equal to the pulse width time t i of the illumination light of the ultra-short light source 111 (t i = t exp ) The intensity of the image sensor of the ultra-fast camera 113 according to the exposure time can be assumed as shown in FIG. 5 (b).

이때, 상기 정밀 3D정보 추출기(175)는 상기와 같이 가정할 경우, 도 5(c)에 도시된 바와 같은 정밀 3차원 영상정보를 추출할 수 있다. 여기서, 영상 획득 간격은 ti 이다. 즉, k번째 영상을 얻을 때 지연시간은 장치 자체가 소비하는 기본 지연시간(t0)에 k × ti를 더한 t0 + (k × ti) 시간이 된다. 여기서, t0는 상수 값인 기본지연시간을 의미한다. 상기 극초단 카메라(113)에 획득되는 영상의 픽셀 강도는 대상체(A)의 거리별로 도 5(c)에 도시된 바와 같은 거리정보를 가진다. 여기서, 도 5(c)에 도시된 바와 같은 정밀 3차원 영상정보는 도 5(a)에 도시된 바와 같은 극초단 광원 신호와 도 5(b)에 도시된 바와 같은 극초단 카메라(113)의 영상센서의 노출 감도 신호의 콘볼류션 결과로 얻어진다.At this time, if the precision 3D information extractor 175 assumes the above, the accurate 3D image information as shown in FIG. 5C can be extracted. Here, the image acquisition interval is t i . That is, k delay time to obtain a second image is the time t0 + (k × t i) obtained by adding the k × t i in the main delay time (t0) that the device itself consume. Here, t0 denotes a basic delay time which is a constant value. The pixel intensity of the image obtained in the ultra-low-stage camera 113 has distance information as shown in FIG. 5 (c) for each distance of the object A. Here, the precision three-dimensional image information as shown in FIG. 5 (c) is obtained by combining the ultra-short single-beam source signal as shown in FIG. 5 (a) And is obtained as a result of the convolution of the exposure sensitivity signal of the image sensor.

또한, 상기 정밀 3D정보 추출기(175)는 도 5에 도시된 신호 관계를 기반으로, 도 6에 도시된 바와 같은 각 픽셀에서 대상체(A)와의 거리 정보의 정밀 3차원 영상정보를 추출할 수 있다.In addition, the accurate 3D information extractor 175 can extract accurate three-dimensional image information of the distance information from the object A in each pixel as shown in FIG. 6 based on the signal relation shown in FIG. 5 .

즉, 도 6에 도시된 바와 같이, 동기지연시간 a, 동기지연시간 a + ti, 동기지연시간 a + 2ti에서 획득된 3개의 영상신호(영상 4, 영상 5, 영상 6) 즉 상기 각 동기신호의 지연시간별로 얻어지는 3개의 영상신호(영상 4, 영상 5, 영상 6)로부터거리별로 구분되는 픽셀 강도 값을 얻을 수 있기 때문에, 상기 정밀 3D정보 추출기(175)는 각 픽셀에서 대상체(A)와의 거리 정보를 얻을 수 있다. 이때 상기 영상 4는 상기 영상 5보다 ti시간만큼 앞선 지연 시간에서 얻어진 영상이고, 상기 영상 6은 상기 영상 5보다 ti시간만큼 더 늦은 지연 시간에서 얻어진 영상이다.That is,, the synchronous delay a, the synchronization delay a + t i, the synchronization delay a + 2t i the three image signals (image 4, image 5, the image 6) obtained in the steps shown in Figure 6 means that each of the The pixel intensity values classified by distance are obtained from the three video signals (video 4, video 5, and video 6) obtained for each delay time of the synchronous signal. Therefore, the precision 3D information extractor 175 extracts, from each pixel, ) Can be obtained. Here, the image 4 is an image obtained at a delay time earlier by t i than the image 5, and the image 6 is an image obtained at a delay time t i times later than the image 5.

또한, 상기 정밀 3D정보 추출기(175)는 도 6에 도시된 신호 관계로부터, 도 7에 도시된 바와 같은 대상체(A)의 거리에 따른 상기 3개의 영상신호(영상 4, 영상 5, 영상 6) 간의 강도 비율 관계를 얻을 수 있으며, 상기 대상체(A)의 거리에 따른 상기 3개의 영상신호(영상 4, 영상 5, 영상 6) 간의 강도 비율 관계로부터 각 픽셀의 거리 정보를 추출할 수 있다. 이때, 도 6 및 도 7에 도시된 바와 같이, A 거리 구역은 상기 영상 4와 상기 영상 5의 관계(=영상4/영상5)로부터 상기 각 픽셀의 거리 정보가 추출되고, B거리 구역은 상기 영상 5와 상기 영상 6의 관계(=영상6/영상5)로부터 상기 각 픽셀의 거리 정보가 추출된다.The precision 3D information extractor 175 extracts the three video signals (video 4, video 5, video 6) according to the distance of the object A as shown in Fig. 7 from the signal relationship shown in Fig. And the distance information of each pixel can be extracted from the intensity ratio relationship between the three video signals (video 4, video 5, video 6) according to the distance of the target object A. 6 and 7, the distance information of each pixel is extracted from the relation between the image 4 and the image 5 (= image 4 / image 5) Distance information of each pixel is extracted from the relationship between the image 5 and the image 6 (= image 6 / image 5).

상기 다중 3D정보 추출기(177)는 광역 3D정보 추출기(173)에서 추출한 광역 3차원 영상정보와 정밀 3D정보 추출기(175)에서 추출한 좁은 영역의 정밀 3차원 영상정보를 입력받아 서로 중복되는 검증을 거쳐 다중 3차원 영상정보를 생성한다.The multi-3D information extractor 177 receives the wide-area three-dimensional image information extracted by the wide-area 3D information extractor 173 and the narrow three-dimensional image information extracted by the accurate 3D information extractor 175, Thereby generating multiple three-dimensional image information.

이때, 상기 다중 3D정보 추출기(177)는 상기 광역 3차원 영상정보와 정밀 3차원 영상정보 값이 중복되지 않고 서로 다른 경우, 평균값을 취하는 검증 과정을 거쳐 다중 3차원 영상정보를 생성할 수 있다. 또한, 상기 다중 3D정보 추출기(177)는 상기 광역 3차원 영상정보와 정밀 3차원 영상정보 값이 서로 다른 경우, 검증이 완료된 이웃 거리정보에 가까운 거리 정보를 취하는 검증 과정을 거쳐 다중 3차원 영상정보를 생성할 수도 있다.At this time, the multi-3D information extractor 177 may generate multi-dimensional image information through a verification process of taking an average value when the wide-area 3D image information and the precise 3D image information values are not overlapped with each other. If the wide 3D image information and the precise 3D image information values are different from each other, the multi-3D information extractor 177 performs a verification process of taking distance information close to the verified neighboring distance information, May be generated.

도 8은 도 1의 다중 신호기반 잡음제거기의 잡음제거 과정을 나타낸 그래프이고, 도 9는 도 8의 영상들 간의 거리에 따른 강도 비율 관계를 나타낸 그래프이다.FIG. 8 is a graph illustrating a noise removal process of the multi-signal based noise canceller of FIG. 1, and FIG. 9 is a graph illustrating intensity ratio relationships according to distances between images of FIG.

상기 다중 신호기반 잡음제거기(179)는 이미 얻은 영상들을 활용하여 다중 3D정보 추출기(177)에서 추출한 상기 다중 3차원 영상정보를 다시 검증함으로써 잡음제거된 3차원 영상정보를 생성한다.The multi-signal-based noise canceller 179 generates noise-canceled three-dimensional image information by re-verifying the multi-dimensional image information extracted by the multi-3D information extractor 177 by using the already obtained images.

즉, 도 8과 도 9에 도시된 바와 같이, 영상 2는 상기 광역 3차원 영상정보를 추출하기 위하여 시간 b에서 획득한 영상으로써 2ti 지연시간 간격으로 이동하면서 획득한 영상이고, 영상 4, 영상 5, 영상 7 및 영상 8 각각은 시간 b - ti, b, b + 2ti 및 b + 3ti에서 획득한 영상들로써 ti 지연시간 단위로 이동하면서 획득한 영상들일 경우, 상기 영상들 간의 관계 값을 이용하여 잡음제거된 3차원 영상정보를 생성한다.8 and 9, the image 2 is an image obtained at a time interval of 2t i to extract the wide-area three-dimensional image information, 5, the image 7 and the image 8 each time b - the relationship between t i, b, b + 2t i, and b + 3t case deulrosseo the acquired image from the i acceptable image obtained by moving a t i delay unit, said image 3-dimensional image information is generated using the noise-removed values.

예를 들어, A구역의 잡음제거된 3차원 영상정보는 A구역의 상기 영상 2와 상기 영상 5가 동일 하기 때문에, 이들 두 영상 각각의 영상을 이용하여 생성하거나 이들 두 영상 픽셀값의 평균값을 이용하여 생성한다. 또한, D구역의 잡음제거된 3차원 영상정보는 D구역의 상기 영상 2와 상기 영상 7이 동일 하기 때문에, 이들 두 영상 각각의 영상을 이용하여 생성하거나 이들 두 영상 픽셀값의 평균값을 이용하여 생성한다.For example, since the image 2 and the image 5 in the A region are the same, the noise-removed 3D image information of the A region is generated using the image of each of the two images or the average value of the two image pixel values is used . Since the image 2 and the image 7 in the D region are the same, the noise-removed 3D image information in the D region is generated using the image of each of the two images or generated using the average value of the two image pixel values do.

상기 3D영상정보 생성기(181)는 다중신호기반 잡음제거기(179)를 거친 구역별 잡음제거된 3차원 영상정보들을 모두 합쳐서 최종 3D영상정보를 생성한다. 이때 중복되는 구역은 이웃 거리정보와 유사 값을 갖는 거리정보를 선택할 수도 있고, 중복신호의 평균값을 사용할 수도 있다.The 3D image information generator 181 combines all of the three-dimensional noise information removed through the noise-based noise canceller 179 to generate final 3D image information. At this time, the overlapping region may select the distance information having a similar value to the neighboring distance information, or may use the average value of the overlapping signals.

상기에서 살펴본 바와 같이, 실시 예에 따른 비가시 환경에 강한 영상 획득 장치는 극초단 광원의 조명 광의 폭의 길이(d)를 기반으로 극초단 카메라의 영상센서의 영상획득시간과 노출 시간을 제어함으로써, 연무나 안개가 자욱한 환경 등의 비가시 환경에서도 대상체의 2D영상과 3D영상을 선명히 얻을 수 있다.As described above, according to the embodiment, the image capturing apparatus which is resistant to the non-visible environment controls the image acquiring time and the exposure time of the image sensor of the ultrasmall camera based on the length (d) of the width of the illuminating light of the ultra- , 2D images and 3D images of the object can be obtained clearly even in a non-visible environment such as a mist or misty environment.

즉, 실시 예에 따른 비가시 환경에 강한 영상 획득 장치는 극초단 광원의 조명 광이 연기공간을 통과하면서 발생 되는 산란된 빛 또는 반사된 빛이 유입되는 시간 동안에는 극초단 카메라의 영상센서를 잠금 상태로 두어 영상을 얻지 않게 하고, 반면에 대상체로부터 반사되는 빛이 유입되는 시간 동안에는 극초단 카메라의 영상센서를 노출 상태로 두어 극초단 카메라에 대상체에 대응한 영상을 얻도록 극초단 카메라의 영상센서의 노출 상태를 제어한다.That is, according to the embodiment, the image capturing apparatus which is strong in the non-visible environment can prevent the image sensor of the ultra-fast light source from being locked when the scattered light or reflected light generated while the illumination light of the ultra-short light source passes through the smoke space, The image sensor of the ultrasmall camera is exposed to the object to obtain the image corresponding to the object in the ultrasmall camera while the image sensor of the ultrasmall camera is exposed during the time of the reflected light from the object. And controls the exposure state.

이상 본 발명의 바람직한 실시형태에 대해 설명하였으나, 본 발명은 상기 실시형태에 한정되는 것은 아니며, 본 발명의 기술적 사상의 범위 내에서 다양한 변경이나 변형 및 치환이 가능하다.Although the preferred embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various changes, modifications and substitutions are possible within the scope of the technical idea of the present invention.

11: 극초단영상획득부 13: 노출/지연시간 제어부
15: 2D영상정보 생성부 17: 3D영상정보 생성부
19: 영상 디스플레이부 111: 극초단 광원
113: 극초단 카메라 151: 영상조합기
153: 영상신호처리기 171: 기본거리 정보 추출기
173: 광역 3D정보 추출기 175: 정밀 3D정보 추출기
177: 다중 3D정보 추출기 179: 다중 신호기반 잡음제거기
181: 3D영상정보 생성기11: ultra-fast image acquisition unit 13: exposure / delay time control unit
15: 2D image information generating unit 17: 3D image information generating unit
19: Image display unit 111: Ultrasonic light source
113: ultramodern camera 151: image composer
153: video signal processor 171: basic distance information extractor
173: Wide-area 3D information extractor 175: Precision 3D information extractor
177: Multiple 3D information extractor 179: Multiple signal based noise canceller
181: 3D image information generator

Claims (6)

영상 획득 대상인 대상체에 조명 광을 조사하는 광원 및 상기 대상체에 대응한 영상을 획득하는 영상센서가 내재되어 비 가시 환경에서도 상기 대상체에 대응한 영상을 획득하는 카메라를 구비하는 영상획득부; 및
상기 광원의 조명 광의 폭을 기반으로 상기 카메라의 상기 영상센서의 노출 상태를 제어하는 제어부; 를 포함하고,
상기 영상획득부는 상기 광원의 조명 광의 조사 시점에 동기신호를 생성하며,
상기 제어부는 상기 영상획득부가 상기 광원의 조명 광의 펄스 폭과 같은 폭 또는 2배 큰 폭 중 어느 하나의 간격으로 이동된 영상을 순차적으로 획득할 수 있도록, 상기 동기신호를 상기 광원의 조명 광의 조사 시간을 기반으로 일정시간 지연시키는 영상 획득 장치.An image acquiring unit including a light source for irradiating illumination light to a target object to be imaged and an image sensor for acquiring an image corresponding to the target object to acquire an image corresponding to the target object in an invisible environment; And
A control unit for controlling an exposure state of the image sensor of the camera based on a width of illumination light of the light source; Lt; / RTI >
The image acquiring unit generates a synchronizing signal at the time of irradiation of the illumination light of the light source,
The control unit may control the synchronizing signal so that the image acquiring unit sequentially acquires an image shifted at any one of a width equal to the pulse width of the illuminating light of the light source or a width twice as large as the illuminating light of the light source, Based on a predetermined time. 청구항 1에 있어서,
상기 제어부는 상기 광원의 조명 광이 상기 비가시 환경에 관한 빛이 유입되는 시간 동안에는 상기 카메라의 영상센서를 잠금 상태로 제어하는 영상 획득 장치.The method according to claim 1,
Wherein the control unit controls the image sensor of the camera to be in a locked state during the time when the illumination light of the light source enters the non-visible environment. 삭제delete 삭제delete 청구항 1에 있어서,
상기 영상획득부에서 획득된 영상을 기반으로 3D영상을 생성하는 3D영상정보 생성부;
를 더 포함하는 영상 획득 장치.The method according to claim 1,
A 3D image information generating unit for generating a 3D image based on the image acquired by the image acquiring unit;
Further comprising: 청구항 5에 있어서,
상기 3D 영상정보 생성부는,
상기 영상센서의 노출 시간을 상기 광원의 조명 광의 펄스폭 시간(ti)보다 3배 긴 3ti로 설정한 상태에서 상기 영상획득부에서 획득되며 2ti의 지연시간 간격으로 이동된 영상들로부터 광역 3차원 영상정보를 추출하는 광역 3D정보 추출기; 및
상기 영상센서의 노출 시간을 상기 광원의 조명 광의 펄스폭 시간(ti)과 같은 ti로 설정한 상태에서 상기 영상획득부에서 획득되며 ti의 지연시간 간격으로 이동된 영상들로부터 정밀 3차원 영상정보를 추출하는 정밀 3D정보 추출기;
를 포함하는 영상 획득 장치.
The method of claim 5,
Wherein the 3D image information generating unit comprises:
The exposure time of the image sensor from one set to the illumination light the pulse width time (t i) more than three times as long 3t i state of the light source is obtained by the image obtaining unit wide area from the image move to the delay time interval 2t i A wide area 3D information extractor for extracting 3D image information; And
Obtained by the image obtaining unit to the exposure time of the image sensor from the set state to t i, such as the illumination light the pulse width time (t i) of the light source and precise 3-D from the images moved to the delayed time interval t i A precision 3D information extractor for extracting image information;
And an image acquiring unit.
KR1020140050719A 2014-04-28 2014-04-28 Apparatus for capturing images in invisible environment KR101594417B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140050719A KR101594417B1 (en) 2014-04-28 2014-04-28 Apparatus for capturing images in invisible environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140050719A KR101594417B1 (en) 2014-04-28 2014-04-28 Apparatus for capturing images in invisible environment

Publications (2)

Publication Number Publication Date
KR20150124195A KR20150124195A (en) 2015-11-05
KR101594417B1 true KR101594417B1 (en) 2016-02-17

Family

ID=54600453

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140050719A KR101594417B1 (en) 2014-04-28 2014-04-28 Apparatus for capturing images in invisible environment

Country Status (1)

Country Link
KR (1) KR101594417B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003299066A (en) 2002-04-05 2003-10-17 Matsushita Electric Ind Co Ltd Image processing apparatus and its method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120000234A (en) * 2010-06-25 2012-01-02 이숙윤 The method of auto-exposure control for white light 3d scanner using an illuminometer
JP2014520469A (en) * 2011-06-24 2014-08-21 エントロピック・コミュニケーションズ・インコーポレイテッド Method and system for reliable detection of reflective objects using scene illumination of display light
KR101087172B1 (en) 2011-07-13 2011-11-28 동국대학교 경주캠퍼스 산학협력단 Extraction system of 3 dimensional shape of high temperature metallic surface and method thereof
KR101349560B1 (en) * 2012-04-26 2014-01-10 엘지이노텍 주식회사 IR camera and driving method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003299066A (en) 2002-04-05 2003-10-17 Matsushita Electric Ind Co Ltd Image processing apparatus and its method

Also Published As

Publication number Publication date
KR20150124195A (en) 2015-11-05

Similar Documents

Publication Publication Date Title
JP6447516B2 (en) Image processing apparatus and image processing method
JP6528447B2 (en) Disparity calculation system and distance measuring device
CN108370438B (en) Range gated depth camera assembly
CN104685318B (en) Motion sensor device, circuit, recording medium and image processing apparatus
KR102210928B1 (en) Method and system for selective imaging of objects in a scene to yield enhanced image
JP5469483B2 (en) Fluid analysis apparatus and fluid analysis method
US7466359B2 (en) Image-pickup apparatus and method having distance measuring function
WO2016033036A3 (en) Methods and apparatus for three-dimensional (3d) imaging
CN108648225B (en) Target image acquisition system and method
CN108683902B (en) Target image acquisition system and method
CN109425305A (en) Use the depth measurement of multiple pulsed structured light projection instrument
JP2006005608A (en) Imaging device
CN110771153B (en) Camera system with different shutter modes
JP2016529959A5 (en)
CN102971776A (en) Obstacle detection system and method, and obstacle detection apparatus
CN107810403A (en) Multiple beam and the beam imaging of convergence light irradiation cross light
JP6752679B2 (en) Imaging system
Ueda et al. Slope disparity gating using a synchronized projector-camera system
Velten et al. Relativistic ultrafast rendering using time-of-flight imaging
KR101594417B1 (en) Apparatus for capturing images in invisible environment
KR101702577B1 (en) Range-gated imaging apparatus for obtaining images and distance data of object in low visibility environment
KR102185322B1 (en) System for detecting position using ir stereo camera
JP6540261B2 (en) High-speed imaging system and high-speed imaging method
CN103139477A (en) Three-dimensional (3D) camera and method of stereo image obtaining
RU2597889C2 (en) Gated television system with a pulsed illumination source

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 5