KR20150124195A - 비가시 환경에 강한 영상 획득 장치 - Google Patents

비가시 환경에 강한 영상 획득 장치 Download PDF

Info

Publication number
KR20150124195A
KR20150124195A KR1020140050719A KR20140050719A KR20150124195A KR 20150124195 A KR20150124195 A KR 20150124195A KR 1020140050719 A KR1020140050719 A KR 1020140050719A KR 20140050719 A KR20140050719 A KR 20140050719A KR 20150124195 A KR20150124195 A KR 20150124195A
Authority
KR
South Korea
Prior art keywords
image
time
light source
illumination light
camera
Prior art date
Application number
KR1020140050719A
Other languages
English (en)
Other versions
KR101594417B1 (ko
Inventor
박승규
백성훈
정경민
최영수
남성모
Original Assignee
한국원자력연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국원자력연구원 filed Critical 한국원자력연구원
Priority to KR1020140050719A priority Critical patent/KR101594417B1/ko
Publication of KR20150124195A publication Critical patent/KR20150124195A/ko
Application granted granted Critical
Publication of KR101594417B1 publication Critical patent/KR101594417B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 비가시 환경에 강한 영상 획득 장치에 관한 것으로, 영상 획득 대상인 대상체에 조명 광을 조사하는 광원 및 상기 대상체에 대응한 영상을 획득하는 영상센서가 내재 된 카메라를 구비하는 영상획득부 및 상기 광원의 조명 광의 폭의 길이를 기반으로 상기 카메라의 영상센서의 노출 상태를 제어하는 제어부를 포함하여 상기 카메라가 상기 제어부의 제어를 받아 비가시 환경에서도 상기 대상체에 대응한 영상을 획득한다.

Description

비가시 환경에 강한 영상 획득 장치{APPARATUS FOR CAPTURING IMAGES IN INVISIBLE ENVIRONMENT}
본 발명은 비가시 환경에 강한 영상 획득 장치에 관한 것이다.
최근 다양한 분야에서는 영상 획득 대상인 대상체에 대한 3차원 형상 정보를 실시간으로 신뢰성 있게 추출할 수 있는 시스템에 대한 기술 개발이 요구되고 있다.
그래서 3차원 형상 추출 시스템 및 방법을 제공하기 위한 특허문헌 1의 기술이 제안되어 있고, 이 문헌의 기술은 4개의 2차원 영상을 획득하여 포토메트릭 스테레오 기법으로 대상 물체의 3차원 형상을 추출할 수 있도록 하고 있다.
그러나 특허문헌 1을 비롯한 종래의 3차원 형상 추출 시스템은 연무나 안개가 자욱한 환경 등과 같은 비가시 환경에서는 대상체의 2차원 영상이나 대상체의 3차원 영상정보를 얻을 수 없다는 문제점이 있다.
여기서, 상기 비가시 환경은 카메라의 가시도가 떨어져서 대상체의 2차원 영상이나 대상체의 3차원 영상정보를 얻을 수 없는 환경이다. 예를 들어, 연기가 자욱한 화재 현장에서는 연기에 의해 가시광선이 차단되어 사람은 눈앞의 물체를 볼 수 없으며, 또한 로봇 전방향 카메라의 영상에서도 물체를 구분할 수 없게 된다. 이는 카메라 센서가 동작하는 가시광선이나 적외선 광선이 연기에 의해 차단되어 카메라의 영상센서에 물체로부터 반사되는 광선이 유입되지 않기 때문이다.
특허문헌 1 : 국내등록특허 10-1087172호 공보(2011. 11. 21.)
본 발명은 상기 종래 기술의 문제점을 감안하여 이루어진 것으로, 연무나 안개가 자욱한 환경 등의 비가시 환경에서도 대상체의 2D영상과 3D영상을 획득할 수 있는 비가시 환경에 강한 영상 획득 장치를 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위한 본 발명의 비가시 환경에 강한 영상 획득 장치는 영상 획득 대상인 대상체에 조명 광을 조사하는 광원 및 상기 대상체에 대응한 영상을 획득하는 영상센서가 내재 된 카메라를 구비하는 영상획득부 및 상기 광원의 조명 광의 폭의 길이를 기반으로 상기 카메라의 영상센서의 노출 상태를 제어하는 제어부를 포함한다.
또한, 상기 카메라는 상기 제어부의 제어를 받아 비가시 환경에서도 상기 대상체에 대응한 영상을 획득할 수 있다.
또한, 상기 제어부는 상기 광원의 조명 광이 상기 비가시 환경에 관한 빛이 유입되는 시간 동안에는 상기 카메라의 영상센서를 잠금 상태로 제어할 수 있다.
또한, 상기 영상획득부는 상기 광원의 조명 광의 조사 시점에 동기신호를 생성할 수 있다.
또한, 상기 제어부는 상기 영상획득부가 상기 광원의 조명 광의 펄스폭과 같은 폭 및 2배 큰 폭 중 어느 하나의 간격으로 이동된 영상을 순차적으로 획득할 수 있도록, 상기 동기신호를 상기 광원의 조명 광의 조사 시간을 기반으로 일정시간 지연시킬 수 있다.
또한, 본 발명의 비가시 환경에 강한 영상 획득 장치는 상기 영상획득부에서 획득된 영상을 기반으로 3D영상을 생성하는 3D영상정보 생성부를 더 포함할 수 있다.
또한, 상기 3D 영상정보 생성부는 상기 영상센서의 노출 시간을 상기 광원의 조명 광의 펄스폭 시간(ti)보다 3배 긴 3ti로 설정한 상태에서 상기 영상획득부에서 획득되며 2ti의 지연시간 간격으로 이동된 영상들로부터 광역 3차원 영상정보를 추출하는 광역 3D정보 추출기 및 상기 영상센서의 노출 시간을 상기 광원의 조명 광의 펄스폭 시간(ti)과 같은 ti로 설정한 상태에서 상기 영상획득부에서 획득되며 ti의 지연시간 간격으로 이동된 영상들로부터 정밀 3차원 영상정보를 추출하는 정밀 3D정보 추출기를 포함할 수 있다.
본 발명의 비가시 환경에 강한 영상 획득 장치는 극초단 광원의 조명 광의 폭의 길이를 기반으로 극초단 카메라의 영상센서의 노출 상태를 제어함으로써, 연무나 안개가 자욱한 환경 등의 비가시 환경에서도 대상체의 2D영상과 3D영상을 선명히 얻을 수 있다.
도 1은 실시 예에 따른 영상 획득 장치를 나타낸 블록도,
도 2는 도 1의 카메라의 영상센서의 노출 시간이 조명광의 펄스폭 시간보다 3배 긴 경우의 극초단 영상획득부에서 획득한 거리별 영상 강도를 나타낸 그래프,
도 3은 도 2의 조건에서 획득한 영상들의 거리에 따른 영상들 간의 배치 관계를 나타낸 그래프,
도 4는 도 3의 배치 관계로부터 대상체의 거리에 따른 영상들 간의 강도 비율 관계를 나타낸 그래프,
도 5는 도 1의 극초단 카메라의 영상센서의 노출 게이트 시간(texp)이 극초단 광원의 조명 광의 펄스폭 시간(ti)과 동일한 경우의 극초단 영상획득부에서 획득한 거리별영상 강도를 나타낸 그래프,
도 6은 도 5의 조건에서 획득한 영상들의 거리에 따른 영상들 간의 배치 관계를 나타낸 그래프,
도 7은 도 6의 배치 관계로부터 대상체의 거리에 따른 영상들 간의 강도 비율 관계를 나타낸 그래프,
도 8은 도 1의 다중 신호기반 잡음제거기의 잡음제거 과정을 나타낸 그래프,
도 9는 도 8의 영상들 간의 거리에 따른 강도 비율 관계를 나타낸 그래프이다.
이하, 첨부 도면을 참조하면서 본 발명의 바람직한 실시 예에 대해서 상세하게 설명한다.
도 1은 실시 예에 따른 영상 획득 장치를 나타낸 블록도이다. 도 1에 도시된 바와 같이, 실시 예에 따른 영상 획득 장치는 극초단 영상획득부(11), 노출/지연시간 제어부(13), 2D영상정보 생성부(15), 3D영상정보 생성부(17) 및 영상 디스플레이부(19)를 포함한다. 여기서, 상기 영상 디스플레이부(19)는 2D영상정보 생성부(15)에서 생성된 2D영상을 디스플레이하거나 3D영상정보 생성부(17)에서 생성된 3D영상을 디스플레이한다. 또한, 도 1의 A'는 영상 획득 대상인 대상체(A) 주위의 물체들이다.
이하에서는 상기 극초단 영상획득부(11)에 대하여 상세히 설명한다.
상기 극초단 영상획득부(11)는 대상체(A)에 조명 광을 조사하는 극초단 광원(111) 및 극초단 카메라(113)를 포함한다. 여기서, 상기 극초단 광원(111)은 나노초(ns) 또는 피코초(ps) 단위의 짧은 폭을 갖는 극초단 레이저 빔 등의 조명광원 장치로써, 그의 조명 광은 길이가 d인 폭을 갖는 조명 광으로 기설정된다. 또한, 상기 극초단 카메라(113)는 도시하지는 않았지만 대상체(A)에 대응한 영상을 획득하는 영상센서를 구비하며, 나노초(ns) 또는 피코초(ps) 단위로 상기 영상센서의 노출 시간을 제어할 수 있다.
이때, 상기 극초단 광원(111)의 조명 광은 비가시 환경인 연기가 자욱한 연기공간(G)을 통과하면서 일부분은 투과되고 나머지 일부분은 산란 되거나 반사된다. 여기서, 상기 산란 되거나 반사된 빛 즉 상기 비가시 환경에 관한 빛은 잡음으로써, 상기 잡음이 극초단 카메라(113)에 영상정보로 획득될 경우 극초단 카메라(113)의 영상은 흐려지거나 대상체(A)에 대응한 영상이 안 보이게 된다.
이에 따라, 상기 연기공간(G)의 비가시 환경에서도 극초단 카메라(113)가 대상체(A)에 대응한 영상을 획득할 수 있도록, 상기 극초단 영상획득부(11)는 극초단 광원(111)의 조명 시간에 일치되는 즉, 극초단 광원(111)의 조명 광의 조사 시점에 동기신호를 생성한다. 여기서, 상기 동기신호는 노출/지연시간 제어부(13)의 제어를 받아 일정 시간 지연된 후에 극초단 영상획득부(11)에 입력되어 극초단카메라(113)의 영상 획득 시작 신호로 사용된다.
상기 극초단 영상획득부(11)는 노출/지연시간 제어부(13)의 제어를 받는 상기 동기신호에 따라, 극초단 광원(111)의 조명 광이 상기 비가시 환경에 관한 빛이 유입되는 시간 동안에는 극초단 카메라(113) 내부의 영상센서를 잠금 상태로 두어 영상을 얻지 않게 하고, 반면에 대상체(A)로부터 반사되는 빛이 유입되는 시간 동안에는 극초단 카메라(113) 내부의 영상센서를 노출 상태로 두어 극초단 카메라(113)에 대상체(A)에 대응한 영상을 얻도록 한다.
이때, 상기 극초단 카메라(113)는 상기 비가시 환경에 관한 빛에 대응한 영상은 없고, 대상체(A)에서 반사된 극초단 광만을 수신하여 대상체(A)에 대응한 영상을 획득함으로써, 연기공간(G)과 같은 비가시 환경에서도 대상체(A)에 대응한 영상을 획득할 수 있다.
여기서, 극초단 카메라(113)의 노출 상태 시간은 극초단 광원(111)의 조명 광의 폭의 길이(d)인 극초단 광원(111)의 조명 광의 노출 시간과 같을 수 있고 또한, 더 길거나 더 짧을 수도 있다.
또한, 상기 극초단 영상획득부(11)는 극초단 카메라(113)를 이용하여 상기 동기신호의 여러 지연 시간에서 얻어지는 여러 영상들을 획득하여 이를 저장한다. 여기서, 상기 극초단 카메라(113)의 영산센서 노출 시간은 동일한 노출 시간을 가진다. 예를 들어, 상기 극초단 영상획득부(11)는 극초단카메라(113)의 a시간이라는 동일 노출 시간을 가지는 여러 영상들을 획득하는데, 이때 동기신호의 지연시간을 조절하여 여러 지연시간에서 영상들을 획득한다. 또한 b시간이라는 동일 노출 시간을 가지는 여러 영상들을 획득하는데, 이때도 또한 동기신호의 지연시간을 조절하여 여러 지연시간에서 영상들을 획득한다
이하에서는 상기 2D영상정보 생성부(15)에 대하여 상세히 설명한다.
상기 2D영상정보 생성부(15)는 극초단 영상획득부(11)로부터 입력된 극초단 영상들을 조합하여 2D영상정보를 생성하는 영상조합기(151)와 상기 영상조합기(151)로부터 생성된 2D영상정보에 필터링을 수행하는 영상신호처리기(153)를 포함하며, 극초단 영상획득부(11)에서 획득한 영상들을 조합하여 2D영상을 생성한다.
이때, 상기 영상신호처리기(153)는 영상조합기(151)에서 조합한 영상에 대하여 평균화 필터, 메디안 필터 등의 필터링 기능을 수행하여 신호처리된 2D영상을 생성한다. 또한, 상기 영상신호처리기(153)는 영상조합기(151)에서 조합한 영상에 대하여 히스토그램균등화(histogram equalization) 기능을 수행하여 신호처리된 2D영상을 생성할 수 있다. 또한, 상기 영상신호처리기(153)는 영상조합기(151)에서 조합한 영상에 대하여 정규화 기능을 수행하여 신호처리된 2D영상을 생성할 수도 있다.
이하에서는 상기 3D영상정보 생성부(17)에 대하여 상세히 설명한다.
상기 3D영상정보 생성부(17)는 기본거리 정보 추출기(171), 광역 3D정보 추출기(173), 정밀 3D정보 추출기(175), 다중 3D정보 추출기(177), 다중 신호기반 잡음 제거기(179) 및 3D영상 정보 생성기(181)를 포함하며, 극초단 영상획득부(11)에서 획득한 영상들로부터 대상체(A)에 대응한 3차원 영상을 생성한다.
도 2는 도 1의 카메라의 영상센서의 노출 시간이 조명광의 펄스폭 시간보다 3배 긴 경우의 극초단 영상획득부에서 획득한 거리별 영상 강도를 나타낸 그래프이다.
상기 기본거리 정보 추출기(171)는 극초단 영상이 처음으로 획득되기 시작하는 시점의 거리정보 즉, 극초단 카메라(113)와 대상체(A) 간의 기본 측정시작점 거리 값을 계산한다. 여기서, 상기 3D영상정보 생성부(17)는 3차원 거리 정보를 추출한 다음에 상기 기본 시작점 거리 값을 기본으로 더해준다.
이때 상기 기본거리 정보 추출기(171)는 도 2에 도시된 바와 같이, ti는 극초단 광원(111)의 조명 광의 펄스폭 시간이고, texp는 극초단 카메라(113)의 영상센서의 노출 게이트(gate) 시간이며, td는 노출/지연시간 제어기(13)의 지연시간으로 각각 가정할 경우, 상기 td를 이용하여 극초단 카메라(113)와 대상체(A) 간의 거리인 기본 거리 값 L을 하기 수학식 1을 이용하여 계산한다.
Figure pat00001
여기서, c는 조명광의 진행 속도이다.
상기 극초단 광원(111)의 조명 광의 펄스폭 시간(ti), 극초단 카메라(113)의 영상센서의 노출 게이트 시간(texp), 노출/지연시간 제어기(13)의 지연시간(td), 극초단 카메라(113)와 대상체(A) 간의 거리인 기본 거리 값(L) 및 극초단 카메라(113)에 획득되는 영상의 픽셀 강도 간의 관계에 의해, 상기 광역 3D정보 추출기(173)는 광역 3차원 영상정보를 추출하고, 상기 정밀 3D정보 추출기(175)는 정밀 3차원 영상정보를 추출한다.
도 3은 도 2의 조건에서 획득한 영상들의 거리에 따른 영상들 간의 배치 관계를 나타낸 그래프이고, 도 4는 도 3의 배치 관계로부터 대상체의 거리에 따른 영상들 간의 강도 비율 관계를 나타낸 그래프이다.
즉, 상기 극초단 광원(111)의 조명 광의 펄스폭 시간(ti)에 따른 빛의 강도를 도 2(a)에 도시된 바와 같이 설정하고, 상기 노출/지연시간 제어기(13)의 지연시간을 td라 하고 상기 극초단 카메라(113)의 영상센서의 노출 게이트 시간(texp)을 극초단 광원(111)의 조명 광의 펄스폭 시간(ti)의 3배로 설정(3ti=texp)했을 때 상기 극초단 카메라(113)의 영상센서의 시간별 센싱감도는 도 2(b)에 도시된 바와 같이 가정할 수 있다..
이때, 상기 극초단 영상획득부(11)는 상기와 같이 가정할 경우, 즉 극초단 광원(111)의 조명 광의 펄스폭 시간(ti) 보다 3배 긴 극초단 카메라(113)의 영상센서의 노출 시간(texp)으로 영상들을 획득한다. 또한, 상기 극초단 카메라(113)는 매 영상을 획득할 때마다 극초단 광원(111)의 조명 광의 펄스폭 시간(ti) 보다 2배 긴 2ti시간 간격으로 순차적으로 이동하면서 영상을 획득한다. 즉, 상기 극초단 카메라(113)가 k번째 영상을 획득할 때 지연시간은 t0 + (2 × k × ti)이다. 여기서 상기 k는 0부터 1씩 올라가는 정수이고, t0는 상수 값인 기본지연시간이다.
이때, 상기 광역 3D정보 추출기(173)는 상기와 같은 경우에 획득된 거리에 따른 영상강도인 도 2(c)에 도시된 바와 같은 영상에 광역 3차원 영상정보가 포함되어 있어 이를 추출할 수 있다.
즉, 상기 극초단 카메라(113)에 획득되는 영상의 픽셀 강도는 대상체(A)의 거리별로 도 2(c)에 도시된 바와 같은 거리와 픽셀 강도의 관계를 가진다.
여기서, 도 2(c)에 도시된 바와 같은 광역 3차원 영상정보는 도 2(a)에 도시된 바와 같은 극초단 광원 신호와 도 2(b)에 도시된 바와 같은 극초단 카메라(113)의 영상센싱 신호의 콘볼류션(convolution) 결과로 얻어진다.
또한, 상기 광역 3D정보 추출기(173)는 도 2에 도시된 신호 관계를 기반으로, 도 3에 도시된 바와 같은 각 픽셀에서의 거리 정보를 구할 수 있어 3차원 영상정보를 추출할 수 있다.
도 3에 도시된 바와 같이, 상기 각 동기신호가 2ti 지연 시간 간격으로 얻어지는 3개의 영상신호(영상 1, 영상 2, 영상 3)로부터 거리별로 구분되는 픽셀 강도 값을 얻을 수 있기 때문에, 상기 광역 3D정보 추출기(173)는 각 픽셀에서 대상체(A)와의 거리 정보를 얻을 수 있다. 이때, 상기 영상 1은 상기 영상 2보다 2ti시간만큼 앞선 지연 시간에서 얻어진 영상이고, 상기 영상 3은 상기 영상 2보다 2ti시간만큼 더 지연된 시간에서 얻어진 영상이다.
또한, 상기 광역 3D정보 추출기(173)는 도 3에 도시된 신호 관계로부터, 도 4에 도시된 바와 같은 대상체(A)의 거리에 따른 상기 3개의 영상신호(영상 1, 영상 2, 영상 3) 간의 강도 비율 관계를 얻을 수 있으며, 상기 대상체(A)의 거리에 따른 상기 3개의 영상신호(영상 1, 영상 2, 영상 3) 간의 강도 비율 관계로부터 각 픽셀의 거리 정보를 추출할 수 있다. 이때, 도 3 및 도 4에 도시된 바와 같이, A 거리 구역은 상기 영상 1과 상기 영상 2의 관계(=영상1/영상2)로부터 상기 각 픽셀의 거리 정보가 추출되고, B거리 구역은 상기 영상 2와 상기 영상 3의 관계(=영상3/영상2)로부터 상기 각 픽셀의 거리 정보가 추출된다.
도 5는 도 1의 극초단 카메라의 영상센서의 노출 게이트 시간(texp)이 극초단 광원의 조명 광의 펄스폭 시간(ti)과 동일한 경우의 극초단 영상획득부에서 획득한 거리별 영상 강도를 나타낸 그래프이다. 또한, 도 6은 도 5의 조건에서 획득한 영상들의 거리에 따른 영상들 간의 배치 관계를 나타낸 그래프이고, 도 7은 도 6의 배치 관계로부터 대상체의 거리에 따른 영상들 간의 강도 비율 관계를 나타낸 그래프이다.
상기 극초단 광원(111)의 조명 광의 펄스폭 시간(ti)에 따른 빛의 강도를 도 5(a)에 도시된 바와 같이 설정하고, 상기 노출/지연시간 제어기(13)는 지연시간(td)을 설정하고 극초단 카메라(113)의 영상센서의 노출 게이트 시간(texp)을 극초단 광원(111)의 조명 광의 펄스폭 시간(ti)과 동일하게 설정(ti=texp)했을 때 상기 극초단 카메라(113)의 영상센서의 노출 시간별 강도는 도 5(b)에 도시된 바와 같이 가정할 수 있다..
이때, 상기 정밀 3D정보 추출기(175)는 상기와 같이 가정할 경우, 도 5(c)에 도시된 바와 같은 정밀 3차원 영상정보를 추출할 수 있다. 여기서, 영상 획득 간격은 ti 이다. 즉, k번째 영상을 얻을 때 지연시간은 장치 자체가 소비하는 기본 지연시간(t0)에 k × ti를 더한 t0 + (k × ti) 시간이 된다. 여기서, t0는 상수 값인 기본지연시간을 의미한다. 상기 극초단 카메라(113)에 획득되는 영상의 픽셀 강도는 대상체(A)의 거리별로 도 5(c)에 도시된 바와 같은 거리정보를 가진다. 여기서, 도 5(c)에 도시된 바와 같은 정밀 3차원 영상정보는 도 5(a)에 도시된 바와 같은 극초단 광원 신호와 도 5(b)에 도시된 바와 같은 극초단 카메라(113)의 영상센서의 노출 감도 신호의 콘볼류션 결과로 얻어진다.
또한, 상기 정밀 3D정보 추출기(175)는 도 5에 도시된 신호 관계를 기반으로, 도 6에 도시된 바와 같은 각 픽셀에서 대상체(A)와의 거리 정보의 정밀 3차원 영상정보를 추출할 수 있다.
즉, 도 6에 도시된 바와 같이, 동기지연시간 a, 동기지연시간 a + ti, 동기지연시간 a + 2ti에서 획득된 3개의 영상신호(영상 4, 영상 5, 영상 6) 즉 상기 각 동기신호의 지연시간별로 얻어지는 3개의 영상신호(영상 4, 영상 5, 영상 6)로부터거리별로 구분되는 픽셀 강도 값을 얻을 수 있기 때문에, 상기 정밀 3D정보 추출기(175)는 각 픽셀에서 대상체(A)와의 거리 정보를 얻을 수 있다. 이때 상기 영상 4는 상기 영상 5보다 ti시간만큼 앞선 지연 시간에서 얻어진 영상이고, 상기 영상 6은 상기 영상 5보다 ti시간만큼 더 늦은 지연 시간에서 얻어진 영상이다.
또한, 상기 정밀 3D정보 추출기(175)는 도 6에 도시된 신호 관계로부터, 도 7에 도시된 바와 같은 대상체(A)의 거리에 따른 상기 3개의 영상신호(영상 4, 영상 5, 영상 6) 간의 강도 비율 관계를 얻을 수 있으며, 상기 대상체(A)의 거리에 따른 상기 3개의 영상신호(영상 4, 영상 5, 영상 6) 간의 강도 비율 관계로부터 각 픽셀의 거리 정보를 추출할 수 있다. 이때, 도 6 및 도 7에 도시된 바와 같이, A 거리 구역은 상기 영상 4와 상기 영상 5의 관계(=영상4/영상5)로부터 상기 각 픽셀의 거리 정보가 추출되고, B거리 구역은 상기 영상 5와 상기 영상 6의 관계(=영상6/영상5)로부터 상기 각 픽셀의 거리 정보가 추출된다.
상기 다중 3D정보 추출기(177)는 광역 3D정보 추출기(173)에서 추출한 광역 3차원 영상정보와 정밀 3D정보 추출기(175)에서 추출한 좁은 영역의 정밀 3차원 영상정보를 입력받아 서로 중복되는 검증을 거쳐 다중 3차원 영상정보를 생성한다.
이때, 상기 다중 3D정보 추출기(177)는 상기 광역 3차원 영상정보와 정밀 3차원 영상정보 값이 중복되지 않고 서로 다른 경우, 평균값을 취하는 검증 과정을 거쳐 다중 3차원 영상정보를 생성할 수 있다. 또한, 상기 다중 3D정보 추출기(177)는 상기 광역 3차원 영상정보와 정밀 3차원 영상정보 값이 서로 다른 경우, 검증이 완료된 이웃 거리정보에 가까운 거리 정보를 취하는 검증 과정을 거쳐 다중 3차원 영상정보를 생성할 수도 있다.
도 8은 도 1의 다중 신호기반 잡음제거기의 잡음제거 과정을 나타낸 그래프이고, 도 9는 도 8의 영상들 간의 거리에 따른 강도 비율 관계를 나타낸 그래프이다.
상기 다중 신호기반 잡음제거기(179)는 이미 얻은 영상들을 활용하여 다중 3D정보 추출기(177)에서 추출한 상기 다중 3차원 영상정보를 다시 검증함으로써 잡음제거된 3차원 영상정보를 생성한다.
즉, 도 8과 도 9에 도시된 바와 같이, 영상 2는 상기 광역 3차원 영상정보를 추출하기 위하여 시간 b에서 획득한 영상으로써 2ti 지연시간 간격으로 이동하면서 획득한 영상이고, 영상 4, 영상 5, 영상 7 및 영상 8 각각은 시간 b - ti, b, b + 2ti 및 b + 3ti에서 획득한 영상들로써 ti 지연시간 단위로 이동하면서 획득한 영상들일 경우, 상기 영상들 간의 관계 값을 이용하여 잡음제거된 3차원 영상정보를 생성한다.
예를 들어, A구역의 잡음제거된 3차원 영상정보는 A구역의 상기 영상 2와 상기 영상 5가 동일 하기 때문에, 이들 두 영상 각각의 영상을 이용하여 생성하거나 이들 두 영상 픽셀값의 평균값을 이용하여 생성한다. 또한, D구역의 잡음제거된 3차원 영상정보는 D구역의 상기 영상 2와 상기 영상 7이 동일 하기 때문에, 이들 두 영상 각각의 영상을 이용하여 생성하거나 이들 두 영상 픽셀값의 평균값을 이용하여 생성한다.
상기 3D영상정보 생성기(181)는 다중신호기반 잡음제거기(179)를 거친 구역별 잡음제거된 3차원 영상정보들을 모두 합쳐서 최종 3D영상정보를 생성한다. 이때 중복되는 구역은 이웃 거리정보와 유사 값을 갖는 거리정보를 선택할 수도 있고, 중복신호의 평균값을 사용할 수도 있다.
상기에서 살펴본 바와 같이, 실시 예에 따른 비가시 환경에 강한 영상 획득 장치는 극초단 광원의 조명 광의 폭의 길이(d)를 기반으로 극초단 카메라의 영상센서의 영상획득시간과 노출 시간을 제어함으로써, 연무나 안개가 자욱한 환경 등의 비가시 환경에서도 대상체의 2D영상과 3D영상을 선명히 얻을 수 있다.
즉, 실시 예에 따른 비가시 환경에 강한 영상 획득 장치는 극초단 광원의 조명 광이 연기공간을 통과하면서 발생 되는 산란된 빛 또는 반사된 빛이 유입되는 시간 동안에는 극초단 카메라의 영상센서를 잠금 상태로 두어 영상을 얻지 않게 하고, 반면에 대상체로부터 반사되는 빛이 유입되는 시간 동안에는 극초단 카메라의 영상센서를 노출 상태로 두어 극초단 카메라에 대상체에 대응한 영상을 얻도록 극초단 카메라의 영상센서의 노출 상태를 제어한다.
이상 본 발명의 바람직한 실시형태에 대해 설명하였으나, 본 발명은 상기 실시형태에 한정되는 것은 아니며, 본 발명의 기술적 사상의 범위 내에서 다양한 변경이나 변형 및 치환이 가능하다.
11: 극초단영상획득부 13: 노출/지연시간 제어부
15: 2D영상정보 생성부 17: 3D영상정보 생성부
19: 영상 디스플레이부 111: 극초단 광원
113: 극초단 카메라 151: 영상조합기
153: 영상신호처리기 171: 기본거리 정보 추출기
173: 광역 3D정보 추출기 175: 정밀 3D정보 추출기
177: 다중 3D정보 추출기 179: 다중 신호기반 잡음제거기
181: 3D영상정보 생성기

Claims (6)

  1. 영상 획득 대상인 대상체에 조명 광을 조사하는 광원 및 상기 대상체에 대응한 영상을 획득하는 영상센서가 내재 된 카메라를 구비하는 영상획득부; 및
    상기 광원의 조명 광의 폭의 길이를 기반으로 상기 카메라의 영상센서의 노출 상태를 제어하는 제어부; 를 포함하며,
    상기 카메라는 상기 제어부의 제어를 받아 비가시 환경에서도 상기 대상체에 대응한 영상을 획득하는 영상 획득 장치.
  2. 청구항 1에 있어서,
    상기 제어부는 상기 광원의 조명 광이 상기 비가시 환경에 관한 빛이 유입되는 시간 동안에는 상기 카메라의 영상센서를 잠금 상태로 제어하는 영상 획득 장치.
  3. 청구항 1에 있어서,
    상기 영상획득부는 상기 광원의 조명 광의 조사 시점에 동기신호를 생성하는 영상 획득 장치.
  4. 청구항 3에 있어서,
    상기 제어부는 상기 영상획득부가 상기 광원의 조명 광의 펄스폭과 같은 폭 및 2배 큰 폭 중 어느 하나의 간격으로 이동된 영상을 순차적으로 획득할 수 있도록, 상기 동기신호를 상기 광원의 조명 광의 조사 시간을 기반으로 일정시간 지연시키는 영상 획득 장치.
  5. 청구항 1에 있어서,
    상기 영상획득부에서 획득된 영상을 기반으로 3D영상을 생성하는 3D영상정보 생성부;
    를 더 포함하는 영상 획득 장치.
  6. 청구항 5에 있어서,
    상기 3D 영상정보 생성부는,
    상기 영상센서의 노출 시간을 상기 광원의 조명 광의 펄스폭 시간(ti)보다 3배 긴 3ti로 설정한 상태에서 상기 영상획득부에서 획득되며 2ti의 지연시간 간격으로 이동된 영상들로부터 광역 3차원 영상정보를 추출하는 광역 3D정보 추출기; 및
    상기 영상센서의 노출 시간을 상기 광원의 조명 광의 펄스폭 시간(ti)과 같은 ti로 설정한 상태에서 상기 영상획득부에서 획득되며 ti의 지연시간 간격으로 이동된 영상들로부터 정밀 3차원 영상정보를 추출하는 정밀 3D정보 추출기;
    를 포함하는 영상 획득 장치.
KR1020140050719A 2014-04-28 2014-04-28 비가시 환경에 강한 영상 획득 장치 KR101594417B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140050719A KR101594417B1 (ko) 2014-04-28 2014-04-28 비가시 환경에 강한 영상 획득 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140050719A KR101594417B1 (ko) 2014-04-28 2014-04-28 비가시 환경에 강한 영상 획득 장치

Publications (2)

Publication Number Publication Date
KR20150124195A true KR20150124195A (ko) 2015-11-05
KR101594417B1 KR101594417B1 (ko) 2016-02-17

Family

ID=54600453

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140050719A KR101594417B1 (ko) 2014-04-28 2014-04-28 비가시 환경에 강한 영상 획득 장치

Country Status (1)

Country Link
KR (1) KR101594417B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003299066A (ja) * 2002-04-05 2003-10-17 Matsushita Electric Ind Co Ltd 画像処理装置およびその方法
KR101087172B1 (ko) 2011-07-13 2011-11-28 동국대학교 경주캠퍼스 산학협력단 고온 금속 표면 3차원 형상 추출 시스템 및 방법
KR20120000234A (ko) * 2010-06-25 2012-01-02 이숙윤 조도 센서를 이용한 백색광 3차원 스캐너의 자동 노출 제어 방법
KR20130120885A (ko) * 2012-04-26 2013-11-05 엘지이노텍 주식회사 적외선 카메라 및 이의 동작 방법
KR20140057522A (ko) * 2011-06-24 2014-05-13 엔트로픽 커뮤니케이션즈, 인크. 디스플레이 광원 장면 조명을 사용하여 신뢰할만한 객체 반사 감지를 위한 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003299066A (ja) * 2002-04-05 2003-10-17 Matsushita Electric Ind Co Ltd 画像処理装置およびその方法
KR20120000234A (ko) * 2010-06-25 2012-01-02 이숙윤 조도 센서를 이용한 백색광 3차원 스캐너의 자동 노출 제어 방법
KR20140057522A (ko) * 2011-06-24 2014-05-13 엔트로픽 커뮤니케이션즈, 인크. 디스플레이 광원 장면 조명을 사용하여 신뢰할만한 객체 반사 감지를 위한 방법 및 시스템
KR101087172B1 (ko) 2011-07-13 2011-11-28 동국대학교 경주캠퍼스 산학협력단 고온 금속 표면 3차원 형상 추출 시스템 및 방법
KR20130120885A (ko) * 2012-04-26 2013-11-05 엘지이노텍 주식회사 적외선 카메라 및 이의 동작 방법

Also Published As

Publication number Publication date
KR101594417B1 (ko) 2016-02-17

Similar Documents

Publication Publication Date Title
JP6447516B2 (ja) 画像処理装置、および画像処理方法
CN108370438B (zh) 范围选通的深度相机组件
JP6528447B2 (ja) 視差演算システム及び距離測定装置
CN104685318B (zh) 运动传感器装置、电路、记录介质以及图像处理装置
KR102210928B1 (ko) 향상된 화상을 형성하도록 장면의 대상들을 선택적으로 촬상하기 위한 방법 및 시스템
JP5469483B2 (ja) 流体解析装置および流体解析方法
WO2016033036A3 (en) Methods and apparatus for three-dimensional (3d) imaging
US20050220450A1 (en) Image-pickup apparatus and method having distance measuring function
JPWO2017110417A1 (ja) 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
CN109425305A (zh) 使用多个脉冲式结构光投影仪的深度测量
KR20150024860A (ko) 적응 피사계 심도를 이용한 게이트된 영상
CN108648225B (zh) 目标图像获取系统与方法
JP2006005608A (ja) 撮像装置
CN110771153B (zh) 具有不同快门模式的摄像机系统
WO2008116288A1 (en) Divergence ratio distance mapping camera
JP2016529959A5 (ko)
CN102971776A (zh) 障碍物检测系统以及方法、障碍物检测装置
CN107810403A (zh) 多光束和会聚光照射交叉光束成像
CN106210552B (zh) 照明装置
JP2018064257A (ja) 撮像システム
Ueda et al. Slope disparity gating using a synchronized projector-camera system
Velten et al. Relativistic ultrafast rendering using time-of-flight imaging
KR101594417B1 (ko) 비가시 환경에 강한 영상 획득 장치
KR102185322B1 (ko) 적외선 스테레오 카메라를 이용한 위치 검출 시스템
KR101702577B1 (ko) 저 시정 환경에서도 활용 가능한 공간 분할을 이용한 물체의 영상 획득 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 5