KR102497020B1 - 다중 광도 및 다중 대역 영상 획득 장치 및 방법 - Google Patents

Abstract

다수의 광대역 카메라들을 사용하여 다중 광도 및 다중 대역 영상을 동시에 촬영하고 합성할 수 있는 다중 광도 및 다중 대역 영상 획득 장치 및 방법에 관한 것으로, 입사광으로부터 가시광 또는 적외선을 분리하는 미러 필터와, 상기 미러 필터로부터 분리된 상기 가시광 또는 적외선의 광량을 소정 비율로 분리하는 빔스플리터를 포함하는 광학 필터부, 상기 미러 필터에서 반사된 광으로부터 광대역 영상을 획득하는 제1 카메라부, 상기 빔스플리터에서 투과된 광으로부터 상기 광대역 영상을 획득하는 제2 카메라부, 상기 빔스플리터에서 반사된 광으로부터 상기 광대역 영상을 획득하는 제3 카메라부, 상기 적외선을 출사하는 조명부, 그리고 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하여 상기 결정된 광 레벨에 상응하는 적외선이 출사되도록 상기 조명부를 제어하는 동작 모드 설정부를 포함할 수 있다.

Description

다중 광도 및 다중 대역 영상 획득 장치 및 방법{APPARATUS AND METHOD FOR OBTAINING MULTI-BRIGHTNESS AND MULTI-BAND IMAGES}

본 발명은 다중 광도 및 다중 대역 영상 획득 장치에 관한 것으로, 보다 상세하게는 다수의 광대역 카메라들을 사용하여 다중 광도 및 다중 대역 영상을 동시에 촬영하고 합성할 수 있는 다중 광도 및 다중 대역 영상 획득 장치 및 방법에 관한 것이다.

일반적으로, 감시 카메라를 비롯해서 차량, 로봇, 드론 등에 활용되는 사물 식별을 위한 동영상 카메라의 촬영 조건은, 밝은 낮시간부터 어두운 밤까지 일광 조건, 어두운 실내, 터널, 지하, 야간 조명, 차량 전조등, 빛이 전혀 없는 실내 환경 등 다양하고 예측하기 어렵다. 일반적으로 사용되는 카메라 센서의 휘도 입력에 대한 동적 범위는, 약 60dB 정도이고 인간 시각의 동적 범위는 140dB에 이른다. 따라서, 카메라 센서의 제한된 동적 범위 내에서 식별 대상을 처리 범위 영역 안에 들어오도록 하기 위해 셔터 속도와 조리개 값, ISO 감도 등을 조절하게 된다. 이미지 센서는, 내부적으로 AE(auto exposure) 조정을 통해 단지 평균적인 휘도 상황에 대해 최적 노출 값을 찾는다. 그러나, 허용 대역 밖의 매우 밝거나 어두운 영역에 대해서는 포화된 출력이나 낮은 SNR(signal noise ratio) 출력을 보낸다. 일단 기준 노출에서 벗어난 고 노출(overexposed) 혹은 저 노출(underexposed) 영역의 데이터는, 원 밝기 정보를 가지고 있지 않기 때문에 센서의 해상도를 높이거나 화질을 보정하는 방법으로는 복원되지 않는다. 따라서, 낮시간의 넓은 광도(wide light intensity) 범위의 환경에서는 고 노출 및 저 노출의 다중 광도 영상 촬영 및 합성을 통해 넓은 광도의 가시광 영상 취득이 필요하다.

또한, 일반적인 카메라는, 가시광 영상 촬영을 위해 적외선 차단 필터(hot mirror filter)를 사용하여 적외선 신호를 차단한다. 적외선 광 유입은, 색 정보를 왜곡시키고, 특히, 낮 시간대의 광량은 강하기 때문에 적외선 광은 영상을 쉽게 포화시킬 수 있다. 그러나, 적외선 영상은, 가시광 영상으로 표현되지 않는 세부 정보를 포함하고 있으므로 정보 융합 방법으로 영상의 가시성을 향상시킬 수 있다. 특히, 안개, 연무 등이 낀 경우, 적외선은, 가시광선보다 입자에 대한 침투성이 강하기 때문에 적외선 영상으로부터 선명한 결과를 얻을 수 있다. 따라서, 낮 시간의 넓은 대역(wide bandwidth) 범위의 환경에서는 가시광 및 적외선의 다중 대역 영상 촬영 및 합성을 통해 넓은 대역의 영상 취득이 필요하다.

또한, 야간에 사용하는 카메라는, 보안이나 방범을 위해 시각적 영향을 주지 않는 IR LED 조명을 많이 사용하고 있다. 일반적인 경우, 램프의 적외선 방출량이 고정되어 있어서 가까운 피사체 촬영의 경우, 적외선 영상이 너무 밝아져 사물인식이 거의 불가능하다. 먼 거리 피사체 촬영을 위해 LED 출력을 높여 광 도달거리를 길게 할수록 가까운 피사체의 IR 광 포화도는, 상대적으로 높아지게 된다. 또 갑작스런 차량 전조등의 영향을 받는 경우, 카메라 센서가 빛에 너무 많이 노출되어 영상이 일시적으로 하얗게 변하여 피사체에 대한 정보(차량 번호)가 식별되지 않게 된다. 저 조도환경, 야간에 IR 광량의 과도 혹은 부족, 부적절한 노출 시간 등으로 인한 화질 문제가 늘 존재한다. 따라서, 야간의 경우, 넓은 공간 범위의 피사체를 촬영하기 위해서는 적외선 광도 다중 영상 촬영 및 합성이 필요할 뿐만 아니라, 피사체의 컬러 식별을 위해 가시광 및 적외선의 다중 대역 영상 촬영 및 합성도 필요하다.

따라서, 향후, 낮 시간의 넓은 광도 및 넓은 대역 범위의 환경에서 선명한 영상 촬영과 밤 시간의 넓은 공간 범위의 피사체 식별 및 컬러 식별이 가능한 영상 촬영을 수행할 수 있도록 다중 광도 및 다중 대역 영상을 동시에 촬영하고 합성할 수 있는 다중 광도 및 다중 대역 영상 획득 장치의 개발이 요구되고 있다.

대한민국 등록특허공보 제10-0983346호 (2010.09.20)

본 발명의 일실시예가 이루고자 하는 기술적 과제는, 낮 시간의 넓은 광도 및 넓은 대역 범위의 환경에서 선명한 영상 촬영과 밤 시간의 넓은 공간 범위의 피사체 식별 및 컬러 식별이 가능한 영상 촬영을 수행할 수 있도록 다중 광도 및 다중 대역 영상을 동시에 촬영하고 합성할 수 있는 다중 광도 및 다중 대역 영상 획득 장치 및 방법을 제공하고자 한다.

또한, 본 발명은, 낮 촬영 모드에서, 3개의 광대역 카메라로부터 고노출 및 저노출 가시광 영상, 적외선 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있으며, 밤 촬영 모드에서, 3개의 광대역 카메라로부터 고 노출 및 저 노출 적외선 영상, 가시광 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있는 다중 광도 및 다중 대역 영상 획득 장치 및 방법을 제공하고자 한다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일실시예에 의한 다중 광도 및 다중 대역 영상 획득 장치는, 입사광으로부터 가시광 또는 적외선을 분리하는 미러 필터와, 상기 미러 필터로부터 분리된 상기 가시광 또는 적외선의 광량을 소정 비율로 분리하는 빔스플리터를 포함하는 광학 필터부, 상기 미러 필터에서 반사된 광으로부터 광대역 영상을 획득하는 제1 카메라부, 상기 빔스플리터에서 투과된 광으로부터 상기 광대역 영상을 획득하는 제2 카메라부, 상기 빔스플리터에서 반사된 광으로부터 상기 광대역 영상을 획득하는 제3 카메라부, 상기 적외선을 출사하는 조명부, 그리고 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하여 상기 결정된 광 레벨에 상응하는 적외선이 출사되도록 상기 조명부를 제어하는 동작 모드 설정부를 포함할 수 있다.

다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 광학 필터부는, 상기 미러 필터의 반사면과 상기 빔스플리터의 반사면이 상기 입사광의 광경로에 대해 45도가 되고, 상기 미러 필터의 반사면과 상기 빔스플리터의 반사면 사이의 각도가 90도가 되도록 상기 미러 필터와 상기 빔스플리터를 배치할 수 있다.

다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 광학 필터부의 빔스플리터는, 상기 미러 필터로부터 분리된 상기 가시광의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하거나 또는 상기 적외선의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리할 수 있다.

다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 광학 필터부는, 상기 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터(hot mirror filter), 그리고 상기 핫 미러 필터로부터 투과된 상기 가시광의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)를 포함할 수 있다.

다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 핫 미러 필터는, 상기 입사광으로부터 상기 적외선을 반사시켜 상기 제1 카메라부로 입사시키고, 상기 빔스플리터는, 상기 핫 미러 필터로부터 투과된 상기 가시광의 전체 광량 중 제1 광량을 투과시켜 상기 제2 카메라부로 입사시키고, 상기 가시광의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 상기 제3 카메라부로 입사시킬 수 있다.

다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 광학 필터부는, 상기 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터(cold mirror filter), 그리고 상기 콜드 미러 필터로부터 투과된 상기 적외선의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)를 포함할 수 있다.

다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 콜드 미러 필터는, 상기 입사광으로부터 상기 가시광을 반사시켜 상기 제1 카메라부로 입사시키고, 상기 빔스플리터는, 상기 콜드 미러 필터로부터 투과된 상기 적외선의 전체 광량 중 제1 광량을 투과시켜 상기 제2 카메라부로 입사시키고, 상기 적외선의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 상기 제3 카메라부로 입사시킬 수 있다.

다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 광학 필터부는, 상기 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터, 상기 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터, 그리고 상기 핫 미러 필터로부터 투과된 상기 가시광의 광량을 소정 비율로 분리하거나 또는 상기 콜드 미러 필터로부터 투과된 상기 적외선의 광량을 소정 비율로 분리하는 빔스플리터를 포함할 수 있다.

다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 광학 필터부는, 상기 핫 미러 필터와 상기 콜드 미러 필터가 상하부에 인접하여 연결되도록 배치하고, 상기 동작 모드 설정부의 제어 신호에 의해 상기 핫 미러 필터 또는 상기 콜드 미러 필터를 상기 입사광의 광경로상에 위치하도록 상하 직선 이동시킬 수 있다.

다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 핫 미러 필터는, 상기 입사광으로부터 상기 적외선을 반사시켜 상기 제1 카메라부로 입사시키고, 상기 콜드 미러 필터는, 상기 입사광으로부터 상기 가시광을 반사시켜 상기 제1 카메라부로 입사시키며, 상기 빔스플리터는, 상기 핫 미러 필터로부터 가시광이 투과되면 상기 가시광의 전체 광량 중 제1 광량을 투과시켜 상기 제2 카메라부로 입사시키고, 상기 가시광의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 상기 제3 카메라부로 입사시키며, 상기 콜드 미러 필터로부터 적외선이 투과되면 상기 적외선의 전체 광량 중 제1 광량을 투과시켜 상기 제2 카메라부로 입사시키고, 상기 적외선의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 상기 제3 카메라부로 입사시킬 수 있다.

다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 촬영 환경의 가시광 조도를 센싱하는 가시광 조도계, 그리고 상기 촬영 환경의 적외선 조도를 센싱하는 적외선 조도계를 더 포함할 수 있다.

다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 동작 모드 설정부는, 상기 가시광 조도계로부터 센싱한 가시광 조도와 상기 적외선 조도계로부터 센싱한 적외선 조도를 기초로 광 레벨을 결정하여 상기 결정된 광 레벨에 상응하는 적외선이 출사되도록 상기 조명부를 제어할 수 있다.

다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 동작 모드 설정부는, 적외선 광 레벨 = m/(가시광 광량 + 적외선 광량 + n) (여기서, m, n은 조정 계수임)으로 이루어지는 수식으로 상기 조명부의 적외선 광 레벨을 결정할 수 있다.

다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 동작 모드 설정부는, 상기 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하여 상기 조명부의 광레벨을 조정하는 광레벨 조정부, 그리고 상기 촬영 환경의 가시광 조도를 기초로 주간 동작 모드 또는 야간 동작 모드로 상기 광학 필터부의 이동을 제어하는 이동 제어부를 포함할 수 있다.

다중 광도 및 다중 대역 영상 획득 장치의 대안적인 실시예에서, 상기 제1, 제2, 제3 카메라부로부터 획득한 다중 광도 및 다중 대역 영상들을 저장하는 영상 저장부, 그리고 상기 획득한 다중 광도 및 다중 대역 영상들을 합성하는 HDR(High Dynamic Range) 영상 생성부를 더 포함할 수 있다.

한편, 본 발명의 일실시예에 의한 다중 광도 및 다중 대역 영상 획득 방법은, 핫 미러 필터 또는 콜드 미러 필터를 포함하는 광학 필터부, 조도계, 동작 모드 설정부, 조명부, 카메라부, 그리고 HDR 영상 생성부를 포함하는 다중 광도 및 다중 대역 영상 획득 장치의 다중 광도 및 다중 대역 영상 획득 방법으로서, 상기 조도계가, 촬영 환경의 가시광 및 적외선 조도를 획득하는 단계, 상기 동작 모드 설정부가, 상기 획득한 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하는 단계, 상기 조명부가, 상기 결정된 광 레벨을 기초로 적외선을 출사하는 단계, 상기 광학 필터부가, 입사광으로부터 가시광 또는 적외선을 분리하고, 상기 분리된 가시광 또는 적외선의 광량을 소정 비율로 분리하는 단계, 상기 카메라부가, 상기 광학 필터부로부터 분리된 광으로부터 가시광 다중 노출 영상들과 적외선 영상을 획득하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 획득하는 단계, 그리고 상기 HDR 영상 생성부가, 상기 획득한 가시광 다중 노출 영상들과 적외선 영상을 합성하거나 또는 상기 적외선 다중 노출 영상들과 가시광 영상을 합성하여 HDR 영상을 생성하는 단계를 포함할 수 있다.

한편, 본 발명의 다른 실시예에 의한 다중 광도 및 다중 대역 영상 획득 방법은, 핫 미러 필터와 콜드 미러 필터를 모두 포함하는 광학 필터부, 조도계, 동작 모드 설정부, 조명부, 카메라부, 그리고 HDR 영상 생성부를 포함하는 다중 광도 및 다중 대역 영상 획득 장치의 다중 광도 및 다중 대역 영상 획득 방법으로서, 상기 조도계가, 촬영 환경의 가시광 및 적외선 조도를 획득하는 단계, 상기 동작 모드 설정부가, 상기 획득한 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하고, 상기 광학 필터부의 동작 모드를 제어하는 단계, 상기 광학 필터부가, 주간 동작 모드이면 상기 핫 미러 필터를 입사광의 광경로상에 위치하도록 이동하고, 야간 동작 모드이면 상기 콜드 미러 필터를 입사광의 광경로상에 위치하도록 이동하는 단계, 상기 조명부가, 상기 결정된 광 레벨을 기초로 적외선을 출사하는 단계, 상기 광학 필터부가, 상기 입사광으로부터 가시광 또는 적외선을 분리하고, 상기 분리된 가시광 또는 적외선의 광량을 소정 비율로 분리하는 단계, 상기 카메라부가, 상기 광학 필터부로부터 분리된 광으로부터 가시광 다중 노출 영상들과 적외선 영상을 획득하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 획득하는 단계, 그리고 상기 HDR 영상 생성부가, 상기 획득한 가시광 다중 노출 영상들과 적외선 영상을 합성하거나 또는 상기 적외선 다중 노출 영상들과 가시광 영상을 합성하여 HDR 영상을 생성하는 단계를 포함할 수 있다.

본 발명에 따른 다중 광도 및 다중 대역 영상 획득 장치 및 방법의 효과에 대해 설명하면 다음과 같다.

본 발명은, 낮 시간의 넓은 광도 및 넓은 대역 범위의 환경에서 선명한 영상 촬영과 밤 시간의 넓은 공간 범위의 피사체 식별 및 컬러 식별이 가능한 영상 촬영을 수행할 수 있도록 다중 광도 및 다중 대역 영상을 동시에 촬영하고 합성할 수 있다.

또한, 본 발명은, 낮 촬영 모드에서, 3개의 광대역 카메라로부터 고노출 및 저노출 가시광 영상, 적외선 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있으며, 밤 촬영 모드에서, 3개의 광대역 카메라로부터 고 노출 및 저 노출 적외선 영상, 가시광 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있다.

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.

도 1은, 본 발명에 따른 다중 광도 및 다중 대역 영상 획득 장치를 설명하기 위한 도면이다.
도 2는, 본 발명 제1 실시예에 따른 광학 필터부를 설명하기 위한 도면이다.
도 3은, 본 발명 제2 실시예에 따른 광학 필터부를 설명하기 위한 도면이다.
도 4는, 본 발명 제3 실시예에 따른 광학 필터부를 설명하기 위한 도면이다.
도 5는, 광학 필터부의 핫 미러 필터를 설명하기 위한 도면이다.
도 6은, 광학 필터부의 콜드 미러 필터를 설명하기 위한 도면이다.
도 7은, 광학 필터부의 빔스플리터를 설명하기 위한 도면이다.

이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.

나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

도 1은, 본 발명에 따른 다중 광도 및 다중 대역 영상 획득 장치를 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 본 발명의 다중 광도 및 다중 대역 영상 획득 장치는, 입사광으로부터 가시광 또는 적외선을 분리하는 미러 필터(310, 320)와, 미러 필터(310, 320)로부터 분리된 가시광 또는 적외선의 광량을 소정 비율로 분리하는 빔스플리터(330)를 포함하는 광학 필터부(300), 미러 필터(310, 320)에서 반사된 광으로부터 광대역 영상을 획득하는 제1 카메라부(110), 빔스플리터(330)에서 투과된 광으로부터 광대역 영상을 획득하는 제2 카메라부(120), 빔스플리터(330)에서 반사된 광으로부터 광대역 영상을 획득하는 제3 카메라부(130), 적외선을 출사하는 조명부(200), 그리고 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하여 결정된 광 레벨에 상응하는 적외선이 출사되도록 조명부(200)를 제어하는 동작 모드 설정부(400)를 포함할 수 있다.

또한, 본 발명은, 촬영 환경의 가시광 조도를 센싱하는 가시광 조도계(510)와, 촬영 환경의 적외선 조도를 센싱하는 적외선 조도계(520)를 더 포함할 수 있다.

또한, 본 발명은, 제1, 제2, 제3 카메라부(110, 120, 130)로부터 획득한 다중 광도 및 다중 대역 영상들을 저장하는 영상 저장부(600)와, 획득한 다중 광도 및 다중 대역 영상들을 합성하는 HDR(High Dynamic Range) 영상 생성부(700)를 더 포함할 수 있다.

본 발명의 광학 필터부(300)는, 미러 필터(310, 320)의 반사면과 빔스플리터(330)의 반사면이 입사광의 광경로에 대해 약 45도가 되도록 미러 필터(310, 320)와 빔스플리터(330)가 배치될 수 있다.

또한, 광학 필터부(300)는, 미러 필터(310, 320)의 반사면과 빔스플리터(330)의 반사면 사이의 각도가 약 90도가 되도록 미러 필터(310, 320)와 빔스플리터(330)가 배치될 수 있다.

여기서, 광학 필터부(300)의 빔스플리터(330)는, 플레이트형(plate type) 및 큐브형(cube type) 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.

그리고, 광학 필터부(300)의 빔스플리터(330)는, 미러 필터(310, 320)로부터 분리된 가시광의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리할 수 있다.

일 예로, 광학 필터부(300)의 빔스플리터(330)는, 미러 필터(310, 320)로부터 분리된 가시광의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리할 수 있다.

제1 실시예로, 광학 필터부(300)는, 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터(hot mirror filter)(310), 그리고 핫 미러 필터(310)로부터 투과된 가시광의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)(330)를 포함할 수 있다.

여기서, 핫 미러 필터(310)는, 입사광으로부터 적외선을 반사시켜 제1 카메라부(110)로 입사시키고, 빔스플리터(330)는, 핫 미러 필터(310)로부터 투과된 가시광의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 가시광의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.

일 예로, 빔스플리터(330)는, 핫 미러 필터(310)로부터 투과된 가시광의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 가시광의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.

또한, 제2 실시예로, 광학 필터부(300)는, 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터(cold mirror filter)(320), 그리고 콜드 미러 필터(320)로부터 투과된 적외선의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)(330)를 포함할 수 있다.

여기서, 콜드 미러 필터(320)는, 입사광으로부터 가시광을 반사시켜 제1 카메라부(110)로 입사시키고, 빔스플리터(330)는, 콜드 미러 필터(320)로부터 투과된 적외선의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 적외선의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.

일 예로, 빔스플리터(330)는, 콜드 미러 필터(320)로부터 투과된 적외선의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 적외선의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.

또한, 제3 실시예로서, 광학 필터부(300)는, 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터(310), 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터(320), 그리고 핫 미러 필터(310)로부터 투과된 가시광의 광량을 소정 비율로 분리하거나 또는 콜드 미러 필터(320)로부터 투과된 적외선의 광량을 소정 비율로 분리하는 빔스플리터(330)를 포함할 수 있다.

여기서, 광학 필터부(300)는, 핫 미러 필터(310)와 콜드 미러 필터(320)가 상하부에 인접하여 연결되도록 배치하고, 동작 모드 설정부(400)의 제어 신호에 의해 핫 미러 필터(310) 또는 콜드 미러 필터(320)를 입사광의 광경로상에 위치하도록 상하 직선 이동시킬 수 있다.

경우에 따라, 광학 필터부(300)는, 핫 미러 필터(310)와 콜드 미러 필터(320)가 좌우측에 인접하여 연결되도록 배치하고, 동작 모드 설정부(400)의 제어 신호에 의해 핫 미러 필터(310) 또는 콜드 미러 필터(320)를 입사광의 광경로상에 위치하도록 좌우 직선 이동시킬 수도 있다.

그리고, 핫 미러 필터(310)는, 입사광으로부터 적외선을 반사시켜 제1 카메라부(110)로 입사시키고, 콜드 미러 필터(320)는, 입사광으로부터 가시광을 반사시켜 제1 카메라부(110)로 입사시키며, 빔스플리터(330)는, 핫 미러 필터(310)로부터 가시광이 투과되면 가시광의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 가시광의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부(130)로 입사시키며, 콜드 미러 필터(320)로부터 적외선이 투과되면 적외선의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 적외선의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.

일 예로, 빔스플리터(330)는, 핫 미러 필터(310)로부터 가시광이 투과되면 가시광의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 가시광의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부(130)로 입사시키며, 콜드 미러 필터(320)로부터 적외선이 투과되면 적외선의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 적외선의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.

다음, 동작 모드 설정부(400)는, 가시광 조도계(510)로부터 센싱한 가시광 조도와 적외선 조도계(520)로부터 센싱한 적외선 조도를 기초로 광 레벨을 결정하여 결정된 광 레벨에 상응하는 적외선이 출사되도록 조명부(200)를 제어할 수 있다.

여기서, 동작 모드 설정부(400)는, 가시광 조도와 적외선 조도가 모두 강한 주간의 경우, 기준 광 레벨보다 더 낮은 광 레벨의 적외선을 출사시키거나 또는 오프(off)되도록 조명부(200)를 제어하고, 가시광 조명 성분만 있는 야간 또는 실내의 경우, 기준 광 레벨보다 더 높은 광 레벨의 적외선을 출사시키도록 조명부(200)를 제어할 수 있다.

그리고, 동작 모드 설정부(400)는, 적외선 광 레벨 = m/(가시광 광량 + 적외선 광량 + n) (여기서, m, n은 조정 계수임)으로 이루어지는 수식으로 조명부(200)의 적외선 광 레벨을 결정할 수 있다.

또한, 동작 모드 설정부(400)는, 가시광 조도계(510)로부터 센싱한 가시광 조도를 기초로 주간 동작 모드 또는 야간 동작 모드를 결정하여 결정된 동작 모드로 광학 필터부(300)를 제어할 수 있다.

또한, 동작 모드 설정부(400)는, 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하여 조명부(200)의 광레벨을 조정하는 광레벨 조정부(420)와, 촬영 환경의 가시광 조도를 기초로 주간 동작 모드 또는 야간 동작 모드로 광학 필터부(300)의 이동을 제어하는 이동 제어부(410)를 포함할 수 있다.

일 예로, 광학 필터부(300)는, 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터(310)와 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터(320)가 인접하여 연결된다면, 이동 제어부(410)는, 촬영 환경의 가시광 조도를 기초로 주간 동작 모드이면 핫 미러 필터(310)를 입사광의 광경로상에 위치하도록 광학 필터부(300)를 이동시키고, 촬영 환경의 가시광 조도를 기초로 야간 동작 모드이면 콜드 미러 필터(320)를 입사광의 광경로상에 위치하도록 광학 필터부(300)를 이동시킬 수 있다.

여기서, 이동 제어부(410)는, 촬영 환경의 가시광 조도를 기초로 주간 동작 모드 또는 야간 동작 모드로 스위칭되는 모드 변경 스위치와, 모드 변경 스위치의 스위칭 신호에 따라 광학 필터부(300)의 이동을 제어하는 모터를 포함할 수 있다.

다음, 영상 저장부(600)는, 주간 동작 모드에서 촬영한 가시광 다중 노출 영상들과 적외선 영상을 제1 그룹으로 저장하고, 야간 동작 모드에서 촬영한 적외선 다중 노출 영상들과 가시광 영상을 제2 그룹으로 저장할 수 있다.

그리고, HDR 영상 생성부(700)는, 주간 동작 모드에서 촬영한 가시광 다중 노출 영상들과 적외선 영상을 합성하여 HDR 영상을 생성하고, 야간 동작 모드에서 촬영한 적외선 다중 노출 영상들과 가시광 영상을 합성하여 HDR 영상을 생성할 수 있다.

이와 같이, 본 발명은, 낮 시간의 넓은 광도 및 넓은 대역 범위의 환경에서 선명한 영상 촬영과 밤 시간의 넓은 공간 범위의 피사체 식별 및 컬러 식별이 가능한 영상 촬영을 수행할 수 있도록 다중 광도 및 다중 대역 영상을 동시에 촬영하고 합성할 수 있다.

또한, 본 발명은, 낮 촬영 모드에서, 3개의 광대역 카메라로부터 고노출 및 저노출 가시광 영상, 적외선 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있으며, 밤 촬영 모드에서, 3개의 광대역 카메라로부터 고 노출 및 저 노출 적외선 영상, 가시광 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있다.

이처럼, 본 발명은, 3개 광대역 카메라를 사용하여 다중 강도 및 다중 대역 영상을 동시에 촬영하는 복합 HDR 영상 촬영과 합성 기법을 제시할 수 있다.

즉, 본 발명은, 가시광에서 근적외선 대역까지 커버할 수 있는 3개의 광대역 카메라와, 크로스(cross)형 빔스플리팅(beam splitting) 필터를 이용하여 복합 다중화 영상을 프레임 레이트 감소 및 시차 없이 촬영하는 방법을 제시할 수 있다.

도 2는, 본 발명 제1 실시예에 따른 광학 필터부를 설명하기 위한 도면이다.

도 2에 도시된 바와 같이, 본 발명 제1 실시예의 광학 필터부는, 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터(hot mirror filter)(310), 그리고 핫 미러 필터(310)로부터 투과된 가시광의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)(330)를 포함할 수 있다.

여기서, 핫 미러 필터(310)는, 입사광으로부터 적외선을 반사시켜 제1 카메라부(110)로 입사시키고, 빔스플리터(330)는, 핫 미러 필터(310)로부터 투과된 가시광의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 가시광의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.

일 예로, 빔스플리터(330)는, 핫 미러 필터(310)로부터 투과된 가시광의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 가시광의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.

즉, 광학 필터부는, 핫 미러 필터(310)의 반사면과 빔스플리터(330)의 반사면이 입사광의 광경로에 대해 약 45도가 되도록 배치될 수 있고, 핫 미러 필터(310)의 반사면과 빔스플리터(330)의 반사면 사이의 각도가 약 90도가 되도록 배치될 수 있다.

여기서, 빔스플리터(330)는, 플레이트형(plate type) 및 큐브형(cube type) 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.

그리고, 빔스플리터(330)는, 핫 미러 필터(310)로부터 분리된 가시광의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리할 수 있다.

일 예로, 빔스플리터(330)는, 핫 미러 필터(310)로부터 분리된 가시광의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리할 수 있다.

즉, 도 2의 광학 필터부는, 근적외선광(약 800nm ~ 1500nm 대역)에 대해 차단(reflection) 기능이 있는 핫 미러 필터와 가시광에 대해 지정된 비율에 따라 두 개의 빔으로 분리하는데 사용되는 빔스플리터가 90도 각도로 연결된 구조를 가질 수 있다.

이때, 가시광(약 400nm ~ 800nm 대역)에 대한 반사/투과(R/T) 비율은 1:n 또는 n:1 (n≤1)을 가질 수 있으며, 두 필터는, 각각 다른 광대역에 대해 동작하며 광간섭이 최소화될 수 있다.

입사광 방향에 대해 빔스플리터 필터는, 45도 각도를 유지하여 반사광이 광로에 대해 90도 방향으로 꺾이게 된다.

그리고, 3개의 광대역 카메라(약 380nm ~ 1500nm 대역)는, 입사 광로 방향 및 좌우의 90도 방향 3면에 위치되는데, 입사광(light input, 가시광+적외선)에 대해 가시광 성분은, 가시광 R/T 빔스플리터에 의해 2:8의 비율로 반사 및 투과되며 후면과 오른쪽 측면의 카메라는, 입사 가시광에 대해 각각 80%, 20% 노출될 수 있다.

이때, 노출 차이를 높이기 위해 카메라의 노출계(aperture, shutter time, ISO 등)를 추가로 조작할 수 있다.

적외선 성분은, 핫 미러 필터에 의해 반사되며 왼쪽 측면 카메라에 100% 노출되고, 3개의 광대역 카메라로부터 고노출 및 저노출 가시광 영상, 적외선 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각 차이 없이 취득할 수 있다.

도 3은, 본 발명 제2 실시예에 따른 광학 필터부를 설명하기 위한 도면이다.

도 3에 도시된 바와 같이, 본 발명 제2 실시예의 광학 필터부는, 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터(cold mirror filter)(320), 그리고 콜드 미러 필터(320)로부터 투과된 적외선의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)(330)를 포함할 수 있다.

여기서, 콜드 미러 필터(320)는, 입사광으로부터 가시광을 반사시켜 제1 카메라부(110)로 입사시키고, 빔스플리터(330)는, 콜드 미러 필터(320)로부터 투과된 적외선의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 적외선의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.

일 예로, 빔스플리터(330)는, 콜드 미러 필터(320)로부터 투과된 적외선의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부(120)로 입사시키고, 적외선의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부(130)로 입사시킬 수 있다.

즉, 광학 필터부는, 콜드 미러 필터(320)의 반사면과 빔스플리터(330)의 반사면이 입사광의 광경로에 대해 약 45도가 되도록 배치될 수 있고, 콜드 미러 필터(320)의 반사면과 빔스플리터(330)의 반사면 사이의 각도가 약 90도가 되도록 배치될 수 있다.

여기서, 빔스플리터(330)는, 플레이트형(plate type) 및 큐브형(cube type) 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.

그리고, 빔스플리터(330)는, 콜드 미러 필터(320)로부터 분리된 가시광의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리할 수 있다.

일 예로, 빔스플리터(330)는, 콜드 미러 필터(320)로부터 분리된 가시광의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리할 수 있다.

즉, 도 3의 광학 필터부는, 가시광(약 400nm ~ 800nm 대역)에 대해 차단(reflection) 기능이 있는 콜드 미러 필터와 근적외선광에 대해 지정된 비율에 따라 두 개의 빔으로 분리하는데 사용되는 빔스플리터가 90도 각도로 연결된 구조를 가질 수 있다.

이때, 근적외선광(약 800nm ~ 1500nm 대역)에 대한 반사/투과(R/T) 비율은, 1:n 또는 n:1 (n≤1)을 가질 수 있는데, 두 필터는, 각각 다른 광대역에 대해 동작하며 광간섭이 최소화될 수 있다.

입사광 방향에 대해 빔스플리터 필터는, 45도 각도를 유지하여 반사광은 광로에 대해 90도 방향으로 꺾이게 되고, 3개의 광대역 카메라(약 380nm ~ 1500nm 대역)는, 입사 광로 방향 및 좌우의 90도 방향 3면에 위치될 수 있다.

입사광(light input, 가시광+적외선)에 대해 근적외선 성분은, 근적외선광 R/T 빔스플리터에 의해 2:8의 비율로 반사 및 투과되며 후면과 오른쪽 측면의 카메라는 입사 가시광에 대해 각각 80%, 20% 노출될 수 있다.

이때, 노출 차이를 높이기 위해 카메라의 노출계(aperture, shutter time, ISO 등)를 추가로 조작할 수 있다.

가시광 성분은, 콜드 미러 필터에 의해 반사되며 왼쪽 측면 카메라에 100% 노출되는데, 3개의 광대역 카메라로부터 고 노출 및 저 노출 적외선 영상, 가시광 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각 차이 없이 취득할 수 있다.

도 4는, 본 발명 제3 실시예에 따른 광학 필터부를 설명하기 위한 도면이다.

도 4에 도시된 바와 같이, 본 발명 제3 실시예의 광학 필터부(300)는, 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터(310), 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터(320), 그리고 핫 미러 필터(310)로부터 투과된 가시광의 광량을 소정 비율로 분리하거나 또는 콜드 미러 필터(320)로부터 투과된 적외선의 광량을 소정 비율로 분리하는 빔스플리터(330)를 포함할 수 있다.

여기서, 광학 필터부(300)는, 핫 미러 필터(310)와 콜드 미러 필터(320)가 상하부에 인접하여 연결되도록 배치하고, 동작 모드 설정부의 제어 신호에 의해 핫 미러 필터(310) 또는 콜드 미러 필터(320)를 입사광의 광경로상에 위치하도록 상하 직선 이동시킬 수 있다.

그리고, 핫 미러 필터(310)는, 입사광으로부터 적외선을 반사시켜 제1 카메라부로 입사시키고, 콜드 미러 필터(320)는, 입사광으로부터 가시광을 반사시켜 제1 카메라부로 입사시키며, 빔스플리터(330)는, 핫 미러 필터(310)로부터 가시광이 투과되면 가시광의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부로 입사시키고, 가시광의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부로 입사시키며, 콜드 미러 필터(320)로부터 적외선이 투과되면 적외선의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부로 입사시키고, 적외선의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부로 입사시킬 수 있다.

일 예로, 빔스플리터(330)는, 핫 미러 필터(310)로부터 가시광이 투과되면 가시광의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부로 입사시키고, 가시광의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부로 입사시키며, 콜드 미러 필터(320)로부터 적외선이 투과되면 적외선의 전체 광량 중 80% 광량을 투과시켜 제2 카메라부로 입사시키고, 적외선의 전체 광량 중 20% 광량을 반사시켜 제3 카메라부로 입사시킬 수 있다.

즉, 광학 필터부(300)는, 미러 필터(310, 320)의 반사면과 빔스플리터(330)의 반사면이 입사광의 광경로에 대해 약 45도가 되도록 미러 필터(310, 320)와 빔스플리터(330)가 배치될 수 있다.

또한, 광학 필터부(300)는, 미러 필터(310, 320)의 반사면과 빔스플리터(330)의 반사면 사이의 각도가 약 90도가 되도록 미러 필터(310, 320)와 빔스플리터(330)가 배치될 수 있다.

여기서, 광학 필터부(300)의 빔스플리터(330)는, 플레이트형(plate type) 및 큐브형(cube type) 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.

그리고, 광학 필터부(300)의 빔스플리터(330)는, 미러 필터(310, 320)로부터 분리된 가시광의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리할 수 있다.

일 예로, 광학 필터부(300)의 빔스플리터(330)는, 미러 필터(310, 320)로부터 분리된 가시광의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 2 : 8 또는 8 : 2의 비율로 분리할 수 있다.

즉, 낮 시간의 넓은 광도 및 대역(wide light intensity and wide bandwidth)의 환경에서는, 고 노출 및 저 노출의 다중 광도 영상 촬영 및 합성을 통해 넓은 광도의 가시광 영상 취득이 필요하고, 더불어 가시광 및 적외선의 다중 대역 영상 합성을 통해 넓은 대역의 영상 취득이 동시에 필요하다.

반면, 야간의 경우, 약한 조명 조건에서 넓은 공간의 피사체를 촬영하기 위해서는, 적외선 보조광을 이용한 적외선 광도 다중 영상 촬영 및 합성이 필요하고, 더불어 피사체의 컬러 식별을 위해 가시광 및 적외선의 다중 대역 영상 합성이 동시에 필요하다.

따라서, 본 발명은, 핫 미러 필터와 콜드 미러 필터의 선택적 사용을 위해서 도 4와 같은 광학 필터를 제안할 수 있다.

본 발명은, 주간 및 야간 모드 선택을 위해(단, 주야간 조건에 제한되지 않고 가시광 및 IR 조도계에 따른 외광 조건을 고려하여 램프와 독립적으로 운영된다.) 두 개 크로스 필터(cross filter)가 수직으로 연결될 수 있다.

여기서, 상부 필터는, 가시광 다중영상 및 적외선 영상 촬영을 위해, 하부 필터는, 적외선 다중 영상 및 가시광 영상 촬영을 위해 전자기 모터를 이용해 기계적으로 선택될 수 있다(수직 전환형 필터).

또한, 본 발명은, 핫 미러 필터와 콜드 미러 필터를 포함하는 수직 전환형 필터를 이용하여 가시광 조도 센서로부터 측정되는 가시광 강도에 따라 운영될 수 있다.

가시광 강도가 강한 경우, 가시광 다중 촬영이 필요하므로, 핫 미러 필터 모드로 전환되며, 가시광 강도가 약한 경우, 가시광 영상은, 단일 영상으로, 적외선 영상은, 다중 촬영되는 콜드 미러 필터 모드로 전환될 수 있다.

그리고, 본 발명의 적외선(IR) 보조 램프는, 가시광 및 IR 조도 센서로부터 측정되는 광량에 반비례하여 광레벨을 조절할 수 있다.

가시광 및 IR 광 모두 강한 주간의 경우에는, 적외선 영상 다중화보다 가시광 영상 다중화가 우선하므로, IR 램프 레벨이 낮아지며(혹은 off), 가시광 조명 성분만 있는 야간 혹은 실내의 경우에는, 적외선 영상 다중화를 위해 IR 램프 레벨을 높일 수 있다.

특히, 가시광 조명이 약해지면 적외선 다중 촬영을 통해 좀 더 먼거리의 피사체를 감지해야 함으로 IR 램프를 더 밝게 해야 한다.

즉, 적외선 광 레벨 = m/(가시광 광량 + 적외선 광량 + n) (여기서, m, n은 조정 계수임)으로 이루어지는 수식으로 적외선 광 레벨을 결정할 수 있다.

도 5는, 광학 필터부의 핫 미러 필터를 설명하기 위한 도면이고, 도 6은, 광학 필터부의 콜드 미러 필터를 설명하기 위한 도면이며, 도 7은, 광학 필터부의 빔스플리터를 설명하기 위한 도면이다.

도 5에 도시된 바와 같이, 핫 미러 필터는, 미러면이 입사광의 광경로에 대해 약 45도가 되도록 배치되어, 입사광으로부터 가시광을 투과시키고 적외선을 반사시킬 수 있다.

그리고, 도 6에 도시된 바와 같이, 콜드 미러 필터는, 미러면이 입사광의 광경로에 대해 약 45도가 되도록 배치되어, 입사광으로부터 적외선을 투과시키고 가시광을 반사시킬 수 있다.

이어, 도 7에 도시된 바와 같이, 빔스플리터는, 핫 미러 필터로부터 투과된 가시광의 광량을 소정 비율로 분리하거나 또는 콜드 미러 필터로부터 투과된 적외선의 광량을 소정 비율로 분리할 수 있다.

즉, 핫 미러 필터는, 입사광으로부터 적외선을 반사시켜 제1 카메라부로 입사시키고, 콜드 미러 필터는, 입사광으로부터 가시광을 반사시켜 제1 카메라부로 입사시키며, 빔스플리터는, 핫 미러 필터로부터 가시광이 투과되면 가시광의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부로 입사시키고, 가시광의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부로 입사시키며, 콜드 미러 필터로부터 적외선이 투과되면 적외선의 전체 광량 중 제1 광량을 투과시켜 제2 카메라부로 입사시키고, 적외선의 전체 광량 중 제1 광량보다 더 적은 제2 광량을 반사시켜 제3 카메라부로 입사시킬 수 있다.

여기서, 빔스플리터는, 플레이트형(plate type) 및 큐브형(cube type) 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.

그리고, 빔스플리터는, 미러 필터로부터 분리된 가시광의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하거나 또는 적외선의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리할 수 있다.

한편, 본 발명의 일 실시예에 따른 다중 광도 및 다중 대역 영상 획득 방법은, 다음과 같다.

먼저, 조도계는, 촬영 환경의 가시광 및 적외선 조도를 획득할 수 있다.

다음, 동작 모드 설정부는, 획득한 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정할 수 있다.

이어, 조명부는, 결정된 광 레벨을 기초로 적외선을 출사할 수 있다.

그리고, 광학 필터부는, 입사광으로부터 가시광 또는 적외선을 분리하고, 분리된 가시광 또는 적외선의 광량을 소정 비율로 분리할 수 있다.

다음, 카메라부는, 광학 필터부로부터 분리된 광으로부터 가시광 다중 노출 영상들과 적외선 영상을 획득하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 획득할 수 있다.

이어, HDR 영상 생성부는, 획득한 가시광 다중 노출 영상들과 적외선 영상을 합성하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 합성하여 HDR 영상을 생성할 수 있다.

한편, 본 발명의 다른 실시예에 따른 다중 광도 및 다중 대역 영상 획득 방법은, 다음과 같다.

먼저, 조도계는, 촬영 환경의 가시광 및 적외선 조도를 획득할 수 있다.

다음, 동작 모드 설정부는, 획득한 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하고, 광학 필터부의 동작 모드를 제어할 수 있다.

이어, 광학 필터부는, 주간 동작 모드이면 핫 미러 필터를 입사광의 광경로상에 위치하도록 이동하고, 야간 동작 모드이면 콜드 미러 필터를 입사광의 광경로상에 위치하도록 이동할 수 있다.

그리고, 조명부는, 결정된 광 레벨을 기초로 적외선을 출사할 수 있다.

다음, 광학 필터부는, 입사광으로부터 가시광 또는 적외선을 분리하고, 분리된 가시광 또는 적외선의 광량을 소정 비율로 분리할 수 있다.

이어, 카메라부는, 광학 필터부로부터 분리된 광으로부터 가시광 다중 노출 영상들과 적외선 영상을 획득하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 획득할 수 있다.

그리고, HDR 영상 생성부는, 획득한 가시광 다중 노출 영상들과 적외선 영상을 합성하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 합성하여 HDR 영상을 생성할 수 있다.

이와 같이, 본 발명은, 낮 시간의 넓은 광도 및 넓은 대역 범위의 환경에서 선명한 영상 촬영과 밤 시간의 넓은 공간 범위의 피사체 식별 및 컬러 식별이 가능한 영상 촬영을 수행할 수 있도록 다중 광도 및 다중 대역 영상을 동시에 촬영하고 합성할 수 있다.

또한, 본 발명은, 낮 촬영 모드에서, 3개의 광대역 카메라로부터 고노출 및 저노출 가시광 영상, 적외선 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있으며, 밤 촬영 모드에서, 3개의 광대역 카메라로부터 고 노출 및 저 노출 적외선 영상, 가시광 영상을 촬영 프레임간 시간차 및 다중 영상간 시야각차 없이 취득할 수 있다.

이상에서 본 발명들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

110: 제1 카메라부
120: 제2 카메라부
130: 제3 카메라부
200: 조명부
300: 광학 필터부
310: 핫 미러 필터
320: 콜드 미러 필터
330: 빔스플리터
400: 동작 모드 설정부
510: 가시광 조도계
520: 적외선 조도계
600: 영상 저장부
700: HDR 영상 생성부

Claims (15)

1. 입사광으로부터 가시광 또는 적외선을 분리하는 미러 필터와, 상기 미러 필터로부터 분리된 상기 가시광 또는 적외선의 광량을 소정 비율로 분리하는 빔스플리터를 포함하는 광학 필터부;
   상기 미러 필터에서 반사된 광으로부터 광대역 영상을 획득하는 제1 카메라부;
   상기 빔스플리터에서 투과된 광으로부터 상기 광대역 영상을 획득하는 제2 카메라부;
   상기 빔스플리터에서 반사된 광으로부터 상기 광대역 영상을 획득하는 제3 카메라부;
   상기 적외선을 출사하는 조명부; 그리고,
   촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하여 상기 결정된 광 레벨에 상응하는 적외선이 출사되도록 상기 조명부를 제어하는 동작 모드 설정부를 포함하며,
   상기 광학 필터부는,
   상기 미러 필터의 반사면과 상기 빔스플리터의 반사면이 상기 입사광의 광경로에 대해 45도가 되고, 상기 미러 필터의 반사면과 상기 빔스플리터의 반사면 사이의 각도가 90도가 되도록 상기 미러 필터와 상기 빔스플리터를 배치하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
2. 삭제
3. 제1 항에 있어서,
   상기 광학 필터부의 빔스플리터는,
   상기 미러 필터로부터 분리된 상기 가시광의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하거나 또는 상기 적외선의 반사 및 투과 광량을 1 : n 또는 n : 1(n ≤ 1)의 비율로 분리하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
4. 제1 항에 있어서,
   상기 광학 필터부는,
   상기 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터(hot mirror filter); 그리고,
   상기 핫 미러 필터로부터 투과된 상기 가시광의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)를 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
5. 제1 항에 있어서,
   상기 광학 필터부는,
   상기 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터(cold mirror filter); 그리고,
   상기 콜드 미러 필터로부터 투과된 상기 적외선의 광량을 소정 비율로 분리하는 빔스플리터(beamsplitter)를 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
6. 제1 항에 있어서,
   상기 광학 필터부는,
   상기 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터;
   상기 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터; 그리고,
   상기 핫 미러 필터로부터 투과된 상기 가시광의 광량을 소정 비율로 분리하거나 또는 상기 콜드 미러 필터로부터 투과된 상기 적외선의 광량을 소정 비율로 분리하는 빔스플리터를 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
7. 제6 항에 있어서,
   상기 광학 필터부는,
   상기 핫 미러 필터와 상기 콜드 미러 필터가 상하부에 인접하여 연결되도록 배치하고,
   상기 동작 모드 설정부의 제어 신호에 의해 상기 핫 미러 필터 또는 상기 콜드 미러 필터를 상기 입사광의 광경로상에 위치하도록 상하 직선 이동시키는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
8. 제1 항에 있어서,
   상기 촬영 환경의 가시광 조도를 센싱하는 가시광 조도계; 그리고,
   상기 촬영 환경의 적외선 조도를 센싱하는 적외선 조도계를 더 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
9. 제8 항에 있어서,
   상기 동작 모드 설정부는,
   상기 가시광 조도계로부터 센싱한 가시광 조도와 상기 적외선 조도계로부터 센싱한 적외선 조도를 기초로 광 레벨을 결정하여 상기 결정된 광 레벨에 상응하는 적외선이 출사되도록 상기 조명부를 제어하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
10. 제9 항에 있어서,
    상기 동작 모드 설정부는,
    적외선 광 레벨 = m/(가시광 광량 + 적외선 광량 + n) (여기서, m, n은 조정 계수임)으로 이루어지는 수식으로 상기 조명부의 적외선 광 레벨을 결정하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
11. 제1 항에 있어서,
    상기 동작 모드 설정부는,
    상기 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하여 상기 조명부의 광레벨을 조정하는 광레벨 조정부; 그리고,
    상기 촬영 환경의 가시광 조도를 기초로 주간 동작 모드 또는 야간 동작 모드로 상기 광학 필터부의 이동을 제어하는 이동 제어부를 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
12. 제11 항에 있어서,
    상기 광학 필터부는,
    상기 입사광으로부터 가시광을 투과시키고 적외선을 반사시키는 핫 미러 필터와 상기 입사광으로부터 적외선을 투과시키고 가시광을 반사시키는 콜드 미러 필터가 인접하여 연결되고,
    상기 이동 제어부는,
    상기 촬영 환경의 가시광 조도를 기초로 주간 동작 모드이면 상기 핫 미러 필터를 상기 입사광의 광경로상에 위치하도록 상기 광학 필터부를 이동시키고,
    상기 촬영 환경의 가시광 조도를 기초로 야간 동작 모드이면 상기 콜드 미러 필터를 상기 입사광의 광경로상에 위치하도록 상기 광학 필터부를 이동시키는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
13. 제1 항에 있어서,
    상기 제1, 제2, 제3 카메라부로부터 획득한 다중 광도 및 다중 대역 영상들을 저장하는 영상 저장부; 그리고,
    상기 획득한 다중 광도 및 다중 대역 영상들을 합성하는 HDR(High Dynamic Range) 영상 생성부를 더 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 장치.
14. 입사광으로부터 가시광 또는 적외선을 분리하는 미러 필터와, 상기 미러 필터로부터 분리된 상기 가시광 또는 적외선의 광량을 소정 비율로 분리하는 빔스플리터를 포함하며, 상기 미러 필터의 반사면과 상기 빔스플리터의 반사면이 상기 입사광의 광경로에 대해 45도가 되고, 상기 미러 필터의 반사면과 상기 빔스플리터의 반사면 사이의 각도가 90도가 되도록 상기 미러 필터와 상기 빔스플리터를 배치하는 광학 필터부, 조도계, 동작 모드 설정부, 조명부, 카메라부, 그리고 HDR 영상 생성부를 포함하는 다중 광도 및 다중 대역 영상 획득 장치의 다중 광도 및 다중 대역 영상 획득 방법에 있어서,
    상기 조도계가, 촬영 환경의 가시광 및 적외선 조도를 획득하는 단계;
    상기 동작 모드 설정부가, 상기 획득한 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하는 단계;
    상기 조명부가, 상기 결정된 광 레벨을 기초로 적외선을 출사하는 단계;
    상기 광학 필터부가, 입사광으로부터 가시광 또는 적외선을 분리하고, 상기 분리된 가시광 또는 적외선의 광량을 소정 비율로 분리하는 단계;
    상기 카메라부가, 상기 광학 필터부로부터 분리된 광으로부터 가시광 다중 노출 영상들과 적외선 영상을 획득하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 획득하는 단계; 그리고,
    상기 HDR 영상 생성부가, 상기 획득한 가시광 다중 노출 영상들과 적외선 영상을 합성하거나 또는 상기 적외선 다중 노출 영상들과 가시광 영상을 합성하여 HDR 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 방법.
15. 입사광으로부터 가시광 또는 적외선을 분리하는 미러 필터와, 상기 미러 필터로부터 분리된 상기 가시광 또는 적외선의 광량을 소정 비율로 분리하는 빔스플리터를 포함하며, 상기 미러 필터의 반사면과 상기 빔스플리터의 반사면이 상기 입사광의 광경로에 대해 45도가 되고, 상기 미러 필터의 반사면과 상기 빔스플리터의 반사면 사이의 각도가 90도가 되도록 상기 미러 필터와 상기 빔스플리터를 배치하는 광학 필터부, 조도계, 동작 모드 설정부, 조명부, 카메라부, 그리고 HDR 영상 생성부를 포함하는 다중 광도 및 다중 대역 영상 획득 장치의 다중 광도 및 다중 대역 영상 획득 방법에 있어서,
    상기 조도계가, 촬영 환경의 가시광 및 적외선 조도를 획득하는 단계;
    상기 동작 모드 설정부가, 상기 획득한 촬영 환경의 가시광 및 적외선 조도를 기초로 광 레벨을 결정하고, 상기 광학 필터부의 동작 모드를 제어하는 단계;
    상기 광학 필터부가, 주간 동작 모드이면 상기 핫 미러 필터를 입사광의 광경로상에 위치하도록 이동하고, 야간 동작 모드이면 상기 콜드 미러 필터를 입사광의 광경로상에 위치하도록 이동하는 단계;
    상기 조명부가, 상기 결정된 광 레벨을 기초로 적외선을 출사하는 단계;
    상기 광학 필터부가, 상기 입사광으로부터 가시광 또는 적외선을 분리하고, 상기 분리된 가시광 또는 적외선의 광량을 소정 비율로 분리하는 단계;
    상기 카메라부가, 상기 광학 필터부로부터 분리된 광으로부터 가시광 다중 노출 영상들과 적외선 영상을 획득하거나 또는 적외선 다중 노출 영상들과 가시광 영상을 획득하는 단계; 그리고,
    상기 HDR 영상 생성부가, 상기 획득한 가시광 다중 노출 영상들과 적외선 영상을 합성하거나 또는 상기 적외선 다중 노출 영상들과 가시광 영상을 합성하여 HDR 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 다중 광도 및 다중 대역 영상 획득 방법.

Images