KR102200541B1 - 다중 광도 영상 획득 장치 및 방법 - Google Patents

다중 광도 영상 획득 장치 및 방법 Download PDF

Info

Publication number
KR102200541B1
KR102200541B1 KR1020190100162A KR20190100162A KR102200541B1 KR 102200541 B1 KR102200541 B1 KR 102200541B1 KR 1020190100162 A KR1020190100162 A KR 1020190100162A KR 20190100162 A KR20190100162 A KR 20190100162A KR 102200541 B1 KR102200541 B1 KR 102200541B1
Authority
KR
South Korea
Prior art keywords
optical
unit
infrared
infrared light
light
Prior art date
Application number
KR1020190100162A
Other languages
English (en)
Inventor
이성학
전선곤
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020190100162A priority Critical patent/KR102200541B1/ko
Priority to US17/634,709 priority patent/US20220283442A1/en
Priority to PCT/KR2020/010720 priority patent/WO2021034003A1/ko
Application granted granted Critical
Publication of KR102200541B1 publication Critical patent/KR102200541B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • H04N9/04557—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H04N5/2254—
    • H04N5/2258—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

광학 필터 투과도 조정과 적외선 조명 강도 조정을 이용하여 가시광 및 적외선 파장 영역의 다중 광도 영상을 촬영하고 합성할 수 있는 다중 광도 영상 획득 장치 및 방법에 관한 것으로, 소정의 피사체를 촬영하여 영상을 획득하는 카메라부, 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프와 촬영 환경에 따라 적외선 광을 변조하여 출사하는 제2 적외선 램프를 포함하여 카메라부의 주변에 배치되는 조명부, 카메라부의 전면에 배치되어 카메라부로 입사되는 광의 투과량을 조절하는 광학 필터부, 피사체와의 거리를 토대로 적외선 광을 변조하도록 제1 적외선 램프를 제어하는 램프 제어부, 촬영 환경을 토대로 제2 적외선 램프의 적외선 광 변조 및 광학 필터부의 투과도를 제어하도록 광 다중화 신호를 생성하는 광도 다중화부, 그리고 촬영된 다수의 영상을 합성하여 처리하는 영상 처리부를 포함할 수 있다.

Description

다중 광도 영상 획득 장치 및 방법{APPARATUS AND METHOD FOR OBTAINING MULTI-BRIGHTNESS IMAGE}
본 발명은 다중 광도 영상 획득 장치에 관한 것으로, 보다 상세하게는 광학 필터 투과도 조정과 적외선 조명 강도 조정을 이용하여 가시광 및 적외선 파장 영역의 다중 광도 영상을 촬영하고 합성할 수 있는 다중 광도 영상 획득 장치 및 방법에 관한 것이다.
일반적으로, CCTV 감시 카메라를 비롯해서 차량, 로봇, 드론 등에 야외 사물 식별을 위하여 카메라는, 촬영 조건이 낮 시간부터 밤까지 일광 조건, 어두운 실내, 터널, 지하, 야간 조명등, 차량 전조등, 빛이 전혀 없는 실내 환경 등을 포괄할 수 있다.
현재, 다양한 환경에서 고 정밀 화질에 대한 소비자 요구에 따라 HD급의 IP카메라로 전환되고 있고, 카메라 센서의 감도를 높이거나, 야간 촬영이나, 폐쇄된 공간의 어두운 곳을 촬영하기 위해 LED 조명을 보조적으로 사용하는 것이 일반적인 추세이다.
야간에 사용하는 카메라는, 보안이나 방범을 위해 시각적 영향을 주지 않는 IR(적외선) LED조명을 많이 사용하고 있고, 새로운 LED 조명 사용을 이용하여 저 조도에서 어두운 공간의 사물을 선명하게 식별하기 위한 많은 연구가 진행되고 있다.
또한, 카메라 촬영과 동기화된 LED 플레싱(flashing)을 이용하여 셔터 스피드를 올리거나, 피사체의 거리를 감지하여 IR 과포화를 방지하는 기술 등이 한국 등록특허 제10-0983346호 (2010.09.20)로 등록된 바 있다.
그러나, 기존 기술은, 이동 촬영과 같은 환경 변화가 심한 경우, 피사체의 거리와 광량에 적응적으로 카메라와 LED 조명을 조절하기는 힘들며, 다양한 기능에 대응하는 하드웨어 구성은 복잡해질 수 있다.
또한, 단순히 카메라 센서의 감도를 높이는 것만으로는, 일상에서 경험되는 광역의 휘도 조건과 갑작스런 조명 변화에 인간의 시각이 순응하고 인지하는 수준으로 영상을 촬영하는 것이 어려울 수 있다.
따라서, 기존의 저가 센서를 쉽게 활용하여 제작할 수 있고, 다양한 조명 환경에 대해 시각적으로 사물 식별과 인지가 가능한 영상 합성을 구현할 수 있는 다중 광도 영상 획득 장치의 개발이 요구되고 있다.
본 발명의 일실시예가 이루고자 하는 기술적 과제는, 광 필터의 투과도 조정과 적외선 조명 강도 조정을 이용하여 밝기 비율을 조정을 위한 이원화된 광도 다중화 방법을 수행함으로써, 다양한 조명 환경에 대해 시각적으로 사물 식별과 인지가 가능한 영상 합성을 구현할 수 있는 다중 광도 영상 획득 장치 및 방법을 제공하고자 한다.
또한, 본 발명의 일실시예가 이루고자 하는 기술적 과제는, 거리 센서로부터 피사체와의 거리 정보를 획득하고 조도 센서로부터 촬영 환경 정보를 획득함으로써, 저가 센서를 쉽게 활용하여 제작할 수 있는 다중 광도 영상 획득 장치 및 방법을 제공하고자 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일실시예에 의한 다중 광도 영상 획득 장치는, 소정의 피사체를 촬영하여 영상을 획득하는 카메라부, 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프와 촬영 환경에 따라 적외선 광을 변조하여 출사하는 제2 적외선 램프를 포함하여 카메라부의 주변에 배치되는 조명부, 카메라부의 전면에 배치되어 카메라부로 입사되는 광의 투과량을 조절하는 광학 필터부, 피사체와의 거리를 토대로 적외선 광을 변조하도록 제1 적외선 램프를 제어하는 램프 제어부, 촬영 환경을 토대로 제2 적외선 램프의 적외선 광 변조 및 광학 필터부의 투과도를 제어하도록 광 다중화 신호를 생성하는 광도 다중화부, 그리고 촬영된 다수의 영상을 합성하여 처리하는 영상 처리부를 포함할 수 있다.
또한, 본 발명의 다른 실시예에 의한 다중 광도 영상 획득 장치는, 소정의 피사체를 촬영하여 영상을 획득하는 카메라부, 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프와 촬영 환경에 따라 적외선 광을 변조하여 출사하는 제2 적외선 램프를 포함하여 카메라부의 주변에 배치되는 조명부, 카메라부의 전면에 배치되어 카메라부로 입사되는 광의 투과량을 조절하는 광학 필터부, 피사체와의 거리를 토대로 적외선 광을 변조하도록 제1 적외선 램프를 제어하는 램프 제어부, 촬영 환경을 토대로 제2 적외선 램프의 적외선 광 변조 및 광학 필터부의 투과도를 제어하도록 광 다중화 신호를 생성하는 광도 다중화부, 그리고 촬영된 다수의 영상을 합성하여 처리하는 영상 처리부를 포함하고, 카메라부는, 가시광 및 적외선 광이 모두 포함되는 광대역 영상을 촬영하는 단일 광대역 카메라를 포함하고, 광학 필터부는, 단일 광대역 카메라 전면에 배치되어 입사되는 가시광의 투과량을 조절하는 고정형 광학 필터를 포함할 수 있다.
또한, 본 발명의 다른 실시예에 의한 다중 광도 영상 획득 장치는, 소정의 피사체를 촬영하여 영상을 획득하는 카메라부, 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프와 촬영 환경에 따라 적외선 광을 변조하여 출사하는 제2 적외선 램프를 포함하여 카메라부의 주변에 배치되는 조명부, 카메라부의 전면에 배치되어 카메라부로 입사되는 광의 투과량을 조절하는 광학 필터부, 피사체와의 거리를 토대로 적외선 광을 변조하도록 제1 적외선 램프를 제어하는 램프 제어부, 촬영 환경을 토대로 제2 적외선 램프의 적외선 광 변조 및 광학 필터부의 투과도를 제어하도록 광 다중화 신호를 생성하는 광도 다중화부, 그리고 촬영된 다수의 영상을 합성하여 처리하는 영상 처리부를 포함하고, 카메라부는, 입사되는 광을 가시광 및 적외선 광으로 분리하는 빔 스플리터(beam splitter), 분리된 가시광 대역의 광 다중 영상을 촬영하는 제1 카메라, 그리고 분리된 적외선 광 대역의 광 다중 영상을 촬영하는 제2 카메라를 포함하고, 광학 필터부는, 빔 스플리터의 광 분리면과 제1 카메라 사이에 배치되어 제1 카메라로 입사되는 가시광의 투과량을 조절하는 고정형 광학 필터를 포함할 수 있다.
한편, 본 발명의 일실시예에 의한 다중 광도 영상 획득 장치의 다중 광도 영상 획득 방법은, 카메라부, 제1, 제2 적외선 램프를 포함하는 조명부, 램프 제어부, 영상 처리부 및 광도 다중화부를 포함하는 다중 광도 영상 획득 장치의 다중 광도 영상 획득 방법으로서, 광도 다중화부가 영상 촬영 요청이 수신되는지를 확인하는 단계, 광도 다중화부가 영상 촬영 요청이 수신되면 주변 조도 정보를 획득하는 단계, 광도 다중화부가 주변 조도 정보를 토대로 광학 필터부의 투과도를 제어하기 위한 광 다중화 신호 함수를 산출하거나 또는 제2 적외선 램프의 적외선 광 변조를 제어하기 위한 광 다중화 신호 함수를 산출하여 광 다중화 신호를 생성하는 단계, 데이/나이트 스위치가 주변 조도 정보에 따라 데이 모드(day mode) 또는 나이트 모드(night mode)로 스위칭되는 단계, 데이/나이트 스위치가 데이 모드로 스위칭되면 광학 필터부가 광 다중화 신호에 따라 입사되는 광 투과도를 변조하고, 데이/나이트 스위치가 나이트 모드로 스위칭되면 제2 적외선 램프가 상기 광 다중화 신호에 따라 적외선 광을 변조하여 출사하고 제1 적외선 램프가 램프 제어부의 제어 신호에 따라 피사체와의 거리에 상응하여 적외선 광을 변조하여 출사하는 단계, 카메라부가 광학 필터부의 투과도가 변조되는 시간 동안 또는 제1, 제2 적외선 램프의 적외선 광 변조 출사 시간 동안에 다중 광도 영상들을 촬영하는 단계, 그리고 영상 처리부가 촬영된 다중 광도 영상들을 합성하여 처리하는 단계를 포함할 수 있다.
본 발명에 따른 다중 광도 영상 획득 장치 및 방법의 효과에 대해 설명하면 다음과 같다.
본 발명은, 광 필터의 투과도 조정과 적외선 조명 강도 조정을 이용하여 밝기 비율을 조정을 위한 이원화된 광도 다중화 방법을 수행함으로써, 다양한 조명 환경에 대해 시각적으로 사물 식별과 인지가 가능한 영상 합성을 구현할 수 있다.
또한, 본 발명은, 거리 센서로부터 피사체와의 거리 정보를 획득하고 조도 센서로부터 촬영 환경 정보를 획득함으로써, 저가 센서를 쉽게 활용하여 제작할 수 있다.
또한, 본 발명은, 가시광 및 근적외선 대역의 광도(light intensity) 변조를 이용하여 복합 대역 다중 영상을 취득하고 HDR(high dynamic range) 시각 영상으로 합성함으로써, 주야간 다양한 환경의 영상에서 경험되는 광의 부족 노출 혹은 부분적인 과도 노출 현상을 극복할 수 있다.
또한, 본 발명은, 광에 순응적인 광학 필터 및 IR 램프 제어를 사용한 촬영 입사 광도 변조 방법을 제안함으로써, 디양한 장소에서 변화하는 외광 변화에 실시간으로 대응할 수 있다.
또한, 본 발명은, 고정형의 CCTV 카메라뿐만 아니라 차량, 로봇, 드론 등에 탑재될 수 있는 이동형 카메라 시스템에 쉽게 확장 및 접목될 수 있고, 제작비용이 저렴하다,
이처럼, 본 발명은, 고정형 및 이동형 감시 카메라 시스템과 더불어 가시광, IR 광에 대한 다중 강도와 대역으로 WDR(Wide Dynamic Range) 영상을 취득하고, 표현하는 다양한 영상 신호 처리 분야, 자율 주행 자동차, 무인 드론 등 최근 부각 되는 사물 인식 분야를 포함하여 다양한 영상 시각화 분야에 적극 활용될 수 있다.
특히, 자율 주행 영상 촬영 중 발생되는 외광 변화는, 지하나 터널을 진입하거나 탈출할 때, 실내에서 실외를 바라보거나 반대 상황, 어두운 주차장 강한 차량 전조등 변화 등 일반적인 센서의 인식 범위를 벗어나는 경우가 빈번하게 발생될 수 있다.
자율 주행 자동차 시스템 중 센서 기반의 주행상황 탐지 영역은, 이러한 외부의 환경을 인식하는 과정으로 고정 또는 이동 사물을 인식하거나 경로를 인식하는데 필수적인 요소이다.
이때, 실시간으로 발생되는 돌발 상황을 인지하여 충돌을 방지하여 생명과 재산을 보호하는 것이 다른 어떤 첨단 기능들에 우선되어야 한다.
또한, 본 발명은, 현재 증가하는 사회적 긴장과 범죄로 인해 세계적으로 증대되는 감시, 보안에 대한 필요성에 부합하며, 고 효율의 영상 감시 시스템 구현을 가능하게 할 수 있다.
또한, 본 발명은, 사회 방범, 산업, 방송 현장에서 활용될 수 있다.
즉, 본 발명은, 보안 CCTV, 차량-휴대전화-드론 카메라, 블랙박스 시장, 이미지센서가 활용되는 산업 분야에 활용될 수 있으며, 동영상 기반의 영상 신호 또는 방송용 영상신호 처리 분야에 활용될 수 있다.
또한, 본 발명은, 관련 학문, 연구 현장에서도 활용될 수 있다.
즉, 본 발명은, 영상 융합 분야, 사물 탐색, 얼굴 검색, 환경 감시 등 지능적 영상 분석 기술 개발에 기여할 것이며, 기존의 제한적 성능의 이미지 센서 하드웨어 성능을 향상시킬 수 있는 대안 기술로 활용될 수 있으며, 보고서 및 논문 형태의 연구 결과 자료, 시뮬레이션 자료는 향후 연계된 기술 개발에 도움을 주며, 공항, 항만, 군사 시설, 건설 현장 등 고도 기술 분야에 활용될 것으로 기대된다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 해당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 발명 일 실시예에 따른 다중 광도 영상 획득 장치를 설명하기 위한 블럭 구성도이다.
도 2는 광다중화 신호에 의한 광학 필터의 투과율 조정 및 카메라의 영상 캡쳐 시퀀스를 보여주는 타이밍도이다.
도 3은 데이 모드에서의 가시광에 상응하는 영상 다중화를 위한 레벨 다중화 과정을 설명하기 위한 도면이다.
도 4는 나이트 모드에서의 가시광 및 적외선 광에 상응하는 복합 영상 다중화를 위한 레벨 다중화 과정을 설명하기 위한 도면이다.
도 5는 본 발명 다른 실시예에 따른 다중 광도 영상 획득 장치를 설명하기 위한 블럭 구성도이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명 일 실시예에 따른 다중 광도 영상 획득 장치를 설명하기 위한 블럭 구성도이다.
도 1에 도시된 바와 같이, 본 발명은, 카메라부(100), 조명부(200), 광학 필터부(300), 광도 다중화부(400), 영상 저장부(600), 그리고 영상 처리부(500)를 포함할 수 있다.
여기서, 카메라부(100)는, 소정의 피사체를 촬영하여 영상을 획득할 수 있다.
일 예로, 카메라부(100)는, 가시광 및 적외선 광이 모두 포함되는 광대역 영상을 촬영하는 광대역 카메라를 포함할 수 있다.
그리고, 카메라부(100)는, 촬영 환경에 따라 가시광 대역의 광 다중 영상을 촬영하거나 또는 적외선 광 대역의 광 다중 영상을 촬영할 수 있다.
여기서, 카메라부(100)는, 촬영 환경 중 측정 조도가 기설정 조도 이상이면 가시광 대역의 광 다중 영상을 촬영하고, 촬영 환경 중 측정 조도가 기설정 조도 미만이면 적외선 광 대역의 광 다중 영상을 촬영할 수 있다.
다음, 조명부(200)는, 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프(210)와, 촬영 환경에 따라 상기 적외선 광을 변조하여 출사하는 제2 적외선 램프(220)를 포함하여 카메라부(100)의 주변에 배치될 수 있다.
여기서, 제1 적외선 램프(210)는, 카메라부(100)와의 촬영 동기화를 위한 신호 입력 없이 직류 전원이 공급되는 밝기 조절형 적외선 램프일 수 있다.
일 예로, 제1 적외선 램프(210)는, 피사체와의 거리가 가까울수록 적외선 광의 밝기를 낮추어 광 변조 대비를 증가시키고, 피사체와의 거리가 멀어질수록 적외선 광의 밝기를 높여 광 변조 대비를 감소시킬 수 있다.
그리고, 제2 적외선 램프(220)는, 카메라부(100)와의 촬영 동기화를 위한 신호 입력에 따라 카메라부(100)의 원거리 피사체 촬영을 위해 켜지고 카메라부(100)의 근거리 피사체 촬영을 위해 꺼지는 점등형 적외선 램프일 수 있다.
여기서, 제2 적외선 램프(220)는, 촬영 환경 중 주변 조도에 따라 변조된 적외선 광을 출사할 수 있다.
이때, 제2 적외선 램프(220)는, 주변 조도가 낮을수록 적외선 광의 광 변조 레벨을 증가시키고, 주변 조도가 높을수록 적외선 광의 광 변조 레벨을 감소시킬 수 있다.
다음, 광학 필터부(300)는, 카메라부(100)의 전면에 배치되어 카메라부(100)로 입사되는 광의 투과량을 조절할 수 있다.
여기서, 광학 필터부(300)는, 카메라부(100)인 단일 광대역 카메라 전면에 배치되어 입사되는 가시광의 투과량을 조절하는 고정형 광학 필터일 수 있다.
일 예로, 고정형 광학 필터는, 인가 전압에 따라 투과도를 달리할 수 있는 LC(liquid crystal) 필터를 기본적으로 사용하지만, 투과도가 조절되는 모든 전기광학소자가 적용대상이 된다.
또한, 본 발명의 실시 예는, 피사체와의 거리를 토대로 적외선 광을 변조하도록 제1 적외선 램프(210)를 제어하는 램프 제어부를 포함할 수 있다.
여기서, 램프 제어부는, 피사체와의 거리를 센싱하는 거리 센서(412), 그리고 피사체와의 거리를 토대로 적외선 광 강도를 변조하도록 제1 적외선 램프(210)를 제어하는 강도 제어부(423)를 포함할 수 있다.
일 예로, 거리 센서(412)는, RoF(Region of Field 혹은 적외선) 센서 및 초음파 센서 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.
그리고, 강도 제어부(423)는, 촬영 환경 중 측정 조도가 기설정 조도 이상인 데이 모드(day mode)이면 오프(off)되고, 촬영 환경 중 측정 조도가 기설정 조도 미만인 나이트 모드(night mode)이면 온(on)되어 제1 적외선 램프(210)를 제어할 수 있다.
다음, 광도 다중화부(400)는, 촬영 환경을 토대로 제2 적외선 램프(220)의 적외선 광 변조 및 광학 필터부(300)의 투과도를 제어하도록 광 다중화 신호를 생성할 수 있다.
여기서, 광도 다중화부(400)는, 촬영 환경 중 주변 조도를 센싱하는 조도 센서(414), 그리고 주변 조도를 토대로 제2 적외선 램프(220)의 적외선 광 변조 및 광학 필터부(300)의 투과도를 제어하도록 광 다중화 신호를 생성하는 제어부(420)를 포함할 수 있다.
일 예로, 조도 센서(414)는, 황화카드뮴(CdS) 소자 및 태양광 패널 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.
그리고, 제어부(420)는, 주변 조도를 토대로 광학 필터부(300)의 투과도를 제어하는 투과도 제어부(422), 주변 조도를 토대로 적외선 광 강도를 변조하도록 제2 적외선 램프(210)를 제어하는 강도 제어부(423), 카메라부(100)의 촬영 주기와 제2 적외선 램프(210)의 적외선 광 변조 주기 및 광학 필터부(300)의 투과도 변화 주기를 동기화하도록 신호 타이밍을 제어하는 타이밍 제어부(424), 그리고 투과도 제어부(422), 강도 제어부(423) 및 타이밍 제어부(424)의 제어 신호에 따라 다중화 신호를 생성하는 다중화 신호 발생부(426)를 포함할 수 있다.
또한, 광도 다중화부(400)는, 광 다중화 신호를 생성할 때, 촬영 환경 중 주변 조도를 토대로 광학 필터부(300)의 투과도 제어를 위한 광 변조 대비값 또는 제2 적외선 램프(220)의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하고, 카메라부(100)의 촬영 주기와 광학 필터부(300)의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스 또는 카메라부(100)의 촬영 주기와 제2 적외선 램프(220)의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하며, 주변 조도에 상응하는 최소투과레벨 또는 적외선 광의 최대밝기레벨을 산출하고, 광 변조 대비값, 타이밍 펄스 및 최소투과레벨 또는 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하고, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성할 수 있다.
일 예로, 광도 다중화부(400)는, 광 다중화 신호 함수를 산출할 때, 촬영 환경 중 주변 조도가 기설정 조도 이상이면 데이 모드(day mode)로 인지하고, 데이 모드로 인지되면 주변 조도를 토대로 광학 필터부(300)의 투과도 제어를 위한 광 변조 대비값을 산출하고, 카메라부(100)의 촬영 주기와 광학 필터부(300)의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스를 동기화하기 위한 타이밍 펄스를 생성하며, 주변 조도에 상응하는 최소투과레벨을 산출하고, 광 변조 대비값, 타이밍 펄스 및 최소투과레벨을 토대로 광 다중화 신호 함수를 산출하고, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성할 수 있다.
여기서, 최소투과레벨은, 낮 시간대에 상기 광학 필터부의 최대 개방 투과도에 대해 상대적으로 설정되는 가장 낮은 투과도 비율일 수 있다.
이때, 광도 다중화부(400)는, 데이 모드의 광 다중화 신호 함수를 산출할 때, 광 다중화 신호 함수 = (1 - 최소투과레벨) × 타이밍 펄스 × 광 변조 대비값인 수식으로 산출할 수 있다.
또한, 광도 다중화부(400)는, 광 다중화 신호 함수를 산출할 때, 촬영 환경 중 주변 조도가 기설정 조도 미만이면 나이트 모드(night mode)로 인지하고, 나이트 모드로 인지되면 주변 조도를 토대로 제2 적외선 램프(220)의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하고, 카메라부(100)의 촬영 주기와 제2 적외선 램프(220)의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하며, 적외선 광의 최대밝기레벨을 산출하고, 광 변조 대비값, 타이밍 펄스 및 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하고, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성할 수 있다.
여기서, 광도 다중화부(400)는, 광 다중화 신호 함수를 산출할 때, 광 다중화 신호 함수 = 적외선 광의 최대밝기레벨 × 타이밍 펄스 × 광 변조 대비값인 수식으로 산출할 수 있다.
또한, 본 발명의 실시 예는, 촬영 환경 중 주변 조도에 따라 광학 필터부(300)의 투과도를 제어하는 데이 모드(day mode)로 스위칭되거나 또는 제1, 제2 적외선 램프(210, 220)의 적외선 광 변조를 제어하는 나이트 모드(night mode)로 스위칭되는 데이/나이트 스위치(330)를 더 포함할 수 있다.
여기서, 데이/나이트 스위치(330)는, 데이 모드(day mode)로 스위칭될 때, 촬영 환경 중 주변 조도가 기설정 조도 이상이면 광도 다중화부(400)로부터 생성된 광 다중화 신호를 광학 필터부(300)로 인가하여 광학 필터부(300)의 투과도를 제어하도록 데이 모드(day mode)로 스위칭될 수 있다.
또한, 데이/나이트 스위치(330)는, 나이트 모드(night mode)로 스위칭될 때, 촬영 환경 중 주변 조도가 기설정 조도 미만이면 광도 다중화부(400)로부터 생성된 광 다중화 신호를 제2 적외선 램프(220)로 인가하여 제2 적외선 램프(220)의 적외선 광 변조를 제어하고 램프 제어부의 강도 제어부(423)에 스위칭 신호를 인가하여 제1 적외선 램프(210)의 적외선 광 변조를 제어하도록 나이트 모드(night mode)로 스위칭될 수 있다.
다음, 영상 저장부(600)는, 카메라부(100)로부터 촬영된 가시광 대역의 광 다중 영상 및 적외선 광 대역의 광 다중 영상 중 적어도 어느 하나를 저장할 수 있다.
그리고, 영상 처리부(500)는, 촬영 환경에 따라 가시광 대역의 광 다중 영상들, 적외선 광 대역의 광 다중 영상들, 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들 중 어느 하나를 합성하여 처리할 수 있다.
일 예로, 촬영 환경은, 일광 조건이 낮 시간대인 제1 촬영 환경, 어둠 또는 약한 조명 조건인 밤 시간대인 제2 촬영 환경, 이동 촬영 조건이거나 또는 조명 및 외광 변화가 심한 조건을 갖는 상시 조건인 제3 촬영 환경을 포함할 수 있다.
여기서, 영상 처리부(500)는, 촬영 환경이 제1 촬영 환경이면 가시광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하고, 촬영 환경이 제2 촬영 환경이면 적외선 광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하며, 촬영 환경이 제3 촬영 환경이면 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리할 수 있다.
이와 같이, 도 1의 실시 예는, 도 1의 실시 예는, 단일 센서(광대역)인 카메라를 적용하고, 타이밍 제어를 이용하여 IR 램프를 동기화하고, 점등형 및 조절형 IR 램프를 사용할 수 있다.
도 1의 실시 예는, 데이 모드(day mode) 시에, 광 필터의 투과도를 조정하여 저투과도 영상의 밝은 영역과 고투과도 영상의 어두운 영역의 밝기 비율이 감소하도록 조정할 수 있고, 나이트 모드(night mode) 시에, 적외선 램프의 적외선 광의 강도 조정을 이용하여 근거리 피사체와 원거리 피사체의 밝기 비율이 감소하도록 조정할 수 있다.
도 1의 실시 예에서, 광학 필터는, 단일센서 입사 광량 변조에만 사용되고, 광도 다중화부는, IR 램프 강도 제어부를 추가로 포함하고, 조도 센서를 이용하여 주변 광량에 따라 데이 모드 혹은 나이트 모드 동작이 스위칭되도록 할 수 있다.
여기서, 데이 모드 시에는, 모든 IR 램프가 오프되며, 나이트 모드 시에는, 광학 필터에 전원이 공급되지 않고 최대 투과율 상태를 유지할 수 있다.
광학필터 및 램프를 제어하기 위한 제어부는, 카메라에 동기화를 위한 타이밍 신호(trigger signal 혹은 vertical synch. signal)를 이용해 낮 시간(day mode)에는 광학 필터의 투과도를 다중화하고, 밤 시간(night mode)에는 IR 투사광 레벨을 다중화 시킨다.
이러한 방법은, 카메라 내장형 IR 램프 구조에 적용될 수 있다.
또한, IR 램프는, 조절형 및 점등형 두 가지로 구성되며, 조절형 IR 램프는, 측정 범위 내의 거리 센서 정보에 따라 근거리 혹은 원거리 피사체가 식별되는 수준으로 밝기가 조절되며(카메라 동기화 필요 없음.), 점등형 IR 램프는, 촬영 한 주기 동안은 켜지고(원거리 피사체 촬영), 꺼지도록(근거리 피사체 촬영) 조절됨으로써, 조절형 IR 램프와 복합적으로 보면, 전체적으로 IR 램프가 하이-로우(high-low) 2가지 레벨로 교차 점등될 수 있다.
여기서, 로우 레벨(low level)에서 컬러 정보와 근거리 피사체 윤곽 정보를 취득하고, 하이 레벨(high level)에서 원거리 피사체 윤곽 정보를 취득해서 영상을 합성할 수 있다.
도 2는 광다중화 신호에 의한 광학 필터의 투과율 조정 및 카메라의 영상 캡쳐 시퀀스를 보여주는 타이밍도이고, 도 3은 데이 모드에서의 가시광에 상응하는 영상 다중화를 위한 레벨 다중화 과정을 설명하기 위한 도면이다.
도 2는, 데이 모드(Day mode)에서 가시광 다중 영상 촬영의 개념도이고, 도 2의 (a)는, 가시광 영상의 60Hz 2중 노출 영상 촬영을 위한 광 다중화 신호를 보여주며, 도 2의 (b)는, 그에 대한 광학 필터의 광투과율 변화 시퀀스를 보여주고 있다.
도 2에 도시된 바와 같이, 광학 필터에 전압이 인가되지 않으면, 약 50% 광투과율을 보이며(High 영역), 전압이 높아지면 광투과율은 떨어진다(Low 영역).
여기서, Low 영역의 광투과율이 약 3% ~ 약 5%가 되도록 전압을 조정할 경우, 두 영상의 광 노출 비율이 약 10 : 1 정도가 될 수 있다.
이때, 카메라는, 광 변조 한 주기 시간 동안 두 가지 노출 상태에 대해 번갈아 가며 영상을 촬영할 수 있다.
그리고, 영상 처리부는, HDR(high dynamic range) 영상을 2개 프레임씩 한 프레임 간격으로 합성하므로 프레임 속도(frame rate)가 유지될 수 있다.
또한, 조도계 신호 정보로 얻어지는 촬영 환경의 밝기 변화에 대해 광 다중화 신호의 레벨 차이는 달리 조정 될 수 있다.
조도계는, 황화카드뮴(CdS) 소자나 태양광 패널 등이 이용될 수 있다.
그리고, 본 발명은, 도 3에 도시된 바와 같이, 밝은 환경에서(높은 광량) 최대 광변조 대비를 가지고, 어두운 환경일수록(낮은 광량) 광변조 대비를 작게 하여 부족한 광량을 보상할 수 있으며, 단, 이는 선택적 기능으로 설정할 수 있다.
또한, 데이 모드에서의 광 다중화 신호를 위한 함수는, 하기 수학식 1과 같다.
Figure 112019083941920-pat00001
여기서, 최소투과레벨은, 낮 시간대에 광학 필터 최대 개방 투과도에 대해 상대적으로 설정되는 가장 낮은 투과도 비율일 수 있다.
도 4는 나이트 모드에서의 가시광 및 적외선 광에 상응하는 복합 영상 다중화를 위한 레벨 다중화 과정을 설명하기 위한 도면이다.
도 4는, 나이트 모드 시에, 촬영 환경에 따른 점등형 IR 램프의 광 변조 방법으로서, 도 4에 도시된 바와 같이, 본 발명은, 조도 환경에 대해 어두울수록 IR 램프 변조 대비를 강하게 하고, 밝을수록 램프 변조 대비를 감소하며, 일정 이상이 되면 가변을 하지 않고 램프를 오프(off)시킨다.
또한, 나이트 모드에서의 광 다중화 신호를 위한 함수는, 하기 수학식 2와 같다.
Figure 112019083941920-pat00002
도 5는 본 발명 다른 실시예에 따른 다중 광도 영상 획득 장치를 설명하기 위한 블럭 구성도이다.
도 5에 도시된 바와 같이, 본 발명은, 카메라부(100), 조명부(200), 광학 필터부(300), 광도 다중화부(400), 영상 저장부(600), 그리고 영상 처리부(500)를 포함할 수 있다.
여기서, 카메라부(100)는, 소정의 피사체를 촬영하여 영상을 획득할 수 있다.
일 예로, 카메라부(100)는, 입사되는 광을 가시광 및 적외선 광으로 분리하는 빔 스플리터(beam splitter)(700), 분리된 가시광 대역의 광 다중 영상을 촬영하는 제1 카메라(110), 그리고 분리된 적외선 광 대역의 광 다중 영상을 촬영하는 제2 카메라(120)를 포함할 수 있다.
여기서, 광학 필터부(300)는, 빔 스플리터(700)의 광 분리면과 제1 카메라(110) 사이에 배치되어, 제1 카메라(110)로 입사되는 가시광의 투과량을 조절하는 고정형 광학 필터를 포함할 수 있다.
일 예로, 고정형 광학 필터는, 인가 전압에 따라 투과도를 달리할 수 있는 LC(liquid crystal) 필터를 기본적으로 사용하지만, 투과도가 조절되는 모든 전기광학소자가 적용대상이 된다.
그리고, 제1, 제2 카메라(110, 120)는, 빔 스플리터(700)의 광 분리면을 중심으로 서로 수직하게 배열될 수 있다.
다음, 조명부(200)는, 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프(210)와, 촬영 환경에 따라 상기 적외선 광을 변조하여 출사하는 제2 적외선 램프(220)를 포함하여 카메라부(100)의 주변에 배치될 수 있다.
여기서, 제1 적외선 램프(210)는, 카메라부(100)와의 촬영 동기화를 위한 신호 입력 없이 직류 전원이 공급되는 밝기 조절형 적외선 램프일 수 있다.
일 예로, 제1 적외선 램프(210)는, 피사체와의 거리가 가까울수록 적외선 광의 밝기를 낮추어 광 변조 대비를 증가시키고, 피사체와의 거리가 멀어질수록 적외선 광의 밝기를 높여 광 변조 대비를 감소시킬 수 있다.
그리고, 제2 적외선 램프(220)는, 카메라부(100)와의 촬영 동기화를 위한 신호 입력에 따라 카메라부(100)의 원거리 피사체 촬영을 위해 켜지고 카메라부(100)의 근거리 피사체 촬영을 위해 꺼지는 점등형 적외선 램프일 수 있다.
여기서, 제2 적외선 램프(220)는, 촬영 환경 중 주변 조도에 따라 변조된 적외선 광을 출사할 수 있다.
이때, 제2 적외선 램프(220)는, 주변 조도가 낮을수록 적외선 광의 광 변조 레벨을 증가시키고, 주변 조도가 높을수록 적외선 광의 광 변조 레벨을 감소시킬 수 있다.
또한, 본 발명의 실시 예는, 피사체와의 거리를 토대로 적외선 광을 변조하도록 제1 적외선 램프(210)를 제어하는 램프 제어부를 포함할 수 있다.
여기서, 램프 제어부는, 피사체와의 거리를 센싱하는 거리 센서(412), 그리고 피사체와의 거리를 토대로 적외선 광 강도를 변조하도록 제1 적외선 램프(210)를 제어하는 강도 제어부를 포함할 수 있다.
일 예로, 거리 센서(412)는, RoF(Region of Field 혹은 적외선) 센서 및 초음파 센서 중 적어도 어느 하나를 포함할 수 있는데, 이에 한정되지는 않는다.
그리고, 강도 제어부는, 촬영 환경 중 측정 조도가 기설정 조도 이상인 데이 모드(day mode)이면 오프(off)되고, 촬영 환경 중 측정 조도가 기설정 조도 미만인 나이트 모드(night mode)이면 온(on)되어 제1 적외선 램프(210)를 제어할 수 있다.
다음, 광도 다중화부(400)는, 촬영 환경을 토대로 제2 적외선 램프(220)의 적외선 광 변조 및 광학 필터부(300)의 투과도를 제어하도록 광 다중화 신호를 생성할 수 있다.
여기서, 광도 다중화부(400)는, 촬영 환경 중 주변 조도를 센싱하는 조도 센서, 그리고 주변 조도를 토대로 제2 적외선 램프(220)의 적외선 광 변조 및 광학 필터부(300)의 투과도를 제어하도록 광 다중화 신호를 생성하는 제어부를 포함할 수 있다.
그리고, 제어부는, 주변 조도를 토대로 광학 필터부(300)의 투과도를 제어하는 투과도 제어부, 주변 조도를 토대로 적외선 광 강도를 변조하도록 제2 적외선 램프(210)를 제어하는 강도 제어부, 카메라부(100)의 촬영 주기와 제2 적외선 램프(210)의 적외선 광 변조 주기 및 광학 필터부(300)의 투과도 변화 주기를 동기화하도록 신호 타이밍을 제어하는 타이밍 제어부, 그리고 투과도 제어부, 강도 제어부 및 타이밍 제어부의 제어 신호에 따라 다중화 신호를 생성하는 다중화 신호 발생부를 포함할 수 있다.
또한, 광도 다중화부(400)는, 광 다중화 신호를 생성할 때, 촬영 환경 중 주변 조도를 토대로 광학 필터부(300)의 투과도 제어를 위한 광 변조 대비값 또는 제2 적외선 램프(220)의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하고, 카메라부(100)의 촬영 주기와 광학 필터부(300)의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스 또는 카메라부(100)의 촬영 주기와 제2 적외선 램프(220)의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하며, 주변 조도에 상응하는 최소투과레벨 또는 적외선 광의 최대밝기레벨을 산출하고, 광 변조 대비값, 타이밍 펄스 및 최소투과레벨 또는 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하고, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성할 수 있다.
일 예로, 광도 다중화부(400)는, 광 다중화 신호 함수를 산출할 때, 촬영 환경 중 주변 조도가 기설정 조도 이상이면 데이 모드(day mode)로 인지하고, 데이 모드로 인지되면 주변 조도를 토대로 광학 필터부(300)의 투과도 제어를 위한 광 변조 대비값을 산출하고, 카메라부(100)의 촬영 주기와 광학 필터부(300)의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스를 동기화하기 위한 타이밍 펄스를 생성하며, 주변 조도에 상응하는 최소투과레벨을 산출하고, 광 변조 대비값, 타이밍 펄스 및 최소투과레벨을 토대로 광 다중화 신호 함수를 산출하고, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성할 수 있다.
여기서, 최소투과레벨은, 낮 시간대에 상기 광학 필터부의 최대 개방 투과도에 대해 상대적으로 설정되는 가장 낮은 투과도 비율일 수 있다.
이때, 광도 다중화부(400)는, 데이 모드의 광 다중화 신호 함수를 산출할 때, 광 다중화 신호 함수 = (1 - 최소투과레벨) × 타이밍 펄스 × 광 변조 대비값인 수식으로 산출할 수 있다.
또한, 광도 다중화부(400)는, 광 다중화 신호 함수를 산출할 때, 촬영 환경 중 주변 조도가 기설정 조도 미만이면 나이트 모드(night mode)로 인지하고, 나이트 모드로 인지되면 주변 조도를 토대로 제2 적외선 램프(220)의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하고, 카메라부(100)의 촬영 주기와 제2 적외선 램프(220)의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하며, 적외선 광의 최대밝기레벨을 산출하고, 광 변조 대비값, 타이밍 펄스 및 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하고, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성할 수 있다.
여기서, 광도 다중화부(400)는, 광 다중화 신호 함수를 산출할 때, 광 다중화 신호 함수 = 적외선 광의 최대밝기레벨 × 타이밍 펄스 × 광 변조 대비값인 수식으로 산출할 수 있다.
또한, 본 발명의 실시 예는, 촬영 환경 중 주변 조도에 따라 광학 필터부(300)의 투과도를 제어하는 데이 모드(day mode)로 스위칭되거나 또는 제1, 제2 적외선 램프(210, 220)의 적외선 광 변조를 제어하는 나이트 모드(night mode)로 스위칭되는 데이/나이트 스위치를 더 포함할 수 있다.
여기서, 데이/나이트 스위치는, 데이 모드(day mode)로 스위칭될 때, 촬영 환경 중 주변 조도가 기설정 조도 이상이면 광도 다중화부(400)로부터 생성된 광 다중화 신호를 광학 필터부(300)로 인가하여 광학 필터부(300)의 투과도를 제어하도록 데이 모드(day mode)로 스위칭될 수 있다.
또한, 데이/나이트 스위치는, 나이트 모드(night mode)로 스위칭될 때, 촬영 환경 중 주변 조도가 기설정 조도 미만이면 광도 다중화부(400)로부터 생성된 광 다중화 신호를 제2 적외선 램프(220)로 인가하여 제2 적외선 램프(220)의 적외선 광 변조를 제어하고 램프 제어부의 강도 제어부(423)에 스위칭 신호를 인가하여 제1 적외선 램프(210)의 적외선 광 변조를 제어하도록 나이트 모드(night mode)로 스위칭될 수 있다.
다음, 영상 저장부(600)는, 카메라부(100)로부터 촬영된 가시광 대역의 광 다중 영상 및 적외선 광 대역의 광 다중 영상 중 적어도 어느 하나를 저장할 수 있다.
그리고, 영상 처리부(500)는, 촬영 환경에 따라 가시광 대역의 광 다중 영상들, 적외선 광 대역의 광 다중 영상들, 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들 중 어느 하나를 합성하여 처리할 수 있다.
일 예로, 촬영 환경은, 일광 조건이 낮 시간대인 제1 촬영 환경, 어둠 또는 약한 조명 조건인 밤 시간대인 제2 촬영 환경, 이동 촬영 조건이거나 또는 조명 및 외광 변화가 심한 조건을 갖는 상시 조건인 제3 촬영 환경을 포함할 수 있다.
여기서, 영상 처리부(500)는, 촬영 환경이 제1 촬영 환경이면 가시광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하고, 촬영 환경이 제2 촬영 환경이면 적외선 광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하며, 촬영 환경이 제3 촬영 환경이면 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리할 수 있다.
이와 같이, 도 1의 실시 예는, 단일 센서(광대역)인 카메라를 적용하고, 광학 필터를 이용하여 가시광 입사량 변화를 촬영과 동기화하고 점등형 및 조절형 IR 램프를 사용할 수 있다.
도 5의 실시 예는, 듀얼 센서(가시광 및 근적외선)인 카메라를 적용하고, 빔 스플리터 및 타이밍 제어를 이용하여 IR 램프 출사량 변화를 촬영과 동기화하며, 점등형 및 조절형 IR 램프를 사용할 수 있다.
도 5의 실시 예는, 광학 필터가 빔 스플리터에 접합되지 않고, 가시광 카메라 전면에 위치되도록 한다.
그 이유는, 가시광 영상이 광 경로 상에서 바로 광학 필터를 통과하기 위함이다.
또한, IR 영상이 광학 필터를 투과하지 않으므로 IR 광 효율을 높일 수 있다.
단, IR 램프는, 카메라 촬영과 동기화가 필요하며 광도 다중화부를 통해 구현될 수 있으며, 상시 가시광 및 IR 영상 다중화 원리는, 상기 도 1의 실시 예와 동일하다.
여기서, 광도 다중화부(400)의 광다중화 신호 함수는, 기준 조도 이상에서 상기 수학식 1과 같이 데이 모드로부터 생성되고, 기준 조도 이하에서는 상기 수학식 2와 같이 나이트 모드로부터 생성될 수 있다.
이 경우, 밝은 환경에서는, 가시광 영상 중심의 광 다중 촬영이 실행되면서 동시에 이와는 별개로 단일 IR 영상 혹은 다중 IR 영상이 촬영되며, 어두운 환경에서는, IR 영상 중심의 광 다중 촬영이 실행되면서 동시에 이와는 별개로 최대 투과도의 단일 가시광 영상 혹은 다중 가시광 영상이 촬영될 수 있다.
또한, 도 5의 실시 예는, 듀얼 카메라 시스템으로서, 상시 운영될 수 있으며, 영상 저장부(600)에는, 다중 레벨의 가시광 영상과 IR 영상 등이 동시에 저장될 수 있다.
여기서, 영상 합성(image fusion) 수행 시, 외광이 강한 낮 시간이나 조명광이 충분한 밤에는, 다중 노출의 가시광 영상 합성이 유용하고, 조명이 없거나 저조도 환경(night mode)에서는, IR 영상 합성이 유용할 수 있다.
그리고, 밤 시간이라도 조명 광(건물 조명, 차량 전조등)이 불규칙하게 존재하는 경우나 낮 시간이라도 복도나 실내와 같이 외광이 부족한 경우, 실내, 지하로 이동할 때 갑자기 어두워지거나(어둠+일부 강한 외광), 밤 시간 강한 조명(차량 전조등, 건물 실내등)이 켜지거나, 강한 조명에 의해 영상이 국부적으로 밝아지는 경우에는, 가시광 및 IR 대역의 상시 다중 영상으로부터 복합 대역 HDR 영상 합성이 가능하고 국부적인 광 부족 및 포화 현상 없이 영상 재생을 수행할 수 있다.
일 예로, 영상 합성의 3가지 경우는 아래와 같다.
첫째, 낮 시간(일광 조건)인 경우, 광학 필터 및 가시광 카메라를 사용하여 다중 노출 가시광 영상의 합성(IR 차단)을 수행할 수 있다.
둘째, 밤 시간(어둠 혹은 약한 조명 조건)인 경우, 광학 필터, IR 카메라, 그리고 IR 램프를 사용하여 다중 IR 대역 영상의 합성(IR 통과)을 수행할 수 있다.
셋째, 상시 조건(이동촬영, 조명, 외광 변화 심함)인 경우, 광학 필터, 가시광-IR 카메라, 그리고 IR 램프를 사용하여 IR 영상 및 가시광 복합 영상의 합성을 수행할 수 있다.
예를 들면, 평균 입사 광량이 작아서 야간 감시 카메라의 셔터스피드가 느리게 설정되어 있고, 갑작스러운 광의 변화(차량 전조등)나 강한 실내 등이 유입되는 촬영 환경인 경우, 기존 방식은, IR 다중화만으로 강한 가시광의 국부적인 포화 현상을 극복할 수 없지만, 본 발명의 방식은, 적정 노출의 가시광 카메라 촬영을 수행하고 평균적으로 어두운 환경에서의 다중 노출 영상을 합성 시에 1차로 IR 영상 합성 후 2차로 IR 영상과 가시광 영상을 합성하여 국부 포화 현상을 개선할 수 있다.
또한, 평균적으로 밝은 환경에서 터널이나 그늘진 곳에서 촬영 환경인 경우, 본 발명의 상시 IR 영상 촬영은, 음영 지역 없는 영상을 합성 재생할 수 있도록 한다.
또한, 밝은 외광의 낮 촬영의 경우에 안개나 연무 등으로 시야가 선명하게 확보되지 않는 촬영 환경인 경우, 가시광 다중 영상과 더불어 IR 영상을 동시에 촬영함으로써(이때는 IR 램프 동작하지 않음) 디헤이징(de-hazing) 영상을 재생할 수 있다.
이와 같이, 카메라부, 제1, 제2 적외선 램프를 포함하는 조명부, 램프 제어부, 영상 처리부 및 광도 다중화부를 포함하는 다중 광도 영상 획득 장치의 다중 광도 영상 획득 방법은 다음과 같다.
먼저, 광도 다중화부는, 영상 촬영 요청이 수신되는지를 확인할 수 있다.
그리고, 광도 다중화부는, 영상 촬영 요청이 주변 조도 정보를 획득할 수 있다.
다음, 광도 다중화부는, 주변 조도 정보를 토대로 광학 필터부의 투과도를 제어하기 위한 광 다중화 신호 함수를 산출하거나 또는 제2 적외선 램프의 적외선 광 변조를 제어하기 위한 광 다중화 신호 함수를 산출하여 광 다중화 신호를 생성할 수 있다.
여기서, 광 다중화 신호를 생성하는 단계는, 주변 조도를 토대로 상기 광학 필터부의 투과도 제어를 위한 광 변조 대비값 또는 제2 적외선 램프의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하는 단계와, 카메라부의 촬영 주기와 광학 필터부의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스 또는 카메라부의 촬영 주기와 제2 적외선 램프의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하는 단계와, 주변 조도에 상응하는 최소투과레벨 또는 적외선 광의 최대밝기레벨을 산출하는 단계와, 광 변조 대비값, 타이밍 펄스 및 최소투과레벨 또는 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하는 단계와, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성하는 단계를 포함할 수 있다.
또한, 광 다중화 신호 함수를 산출하는 단계는, 주변 조도가 기설정 조도 이상이면 데이 모드(day mode)로 인지하는 단계와, 데이 모드로 인지되면 주변 조도를 토대로 광학 필터부의 투과도 제어를 위한 광 변조 대비값을 산출하는 단계와, 카메라부의 촬영 주기와 광학 필터부의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스를 동기화하기 위한 타이밍 펄스를 생성하는 단계와, 주변 조도에 상응하는 최소투과레벨을 산출하는 단계와, 광 변조 대비값, 타이밍 펄스 및 최소투과레벨을 토대로 광 다중화 신호 함수를 산출하는 단계와, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성하는 단계를 포함할 수 있다.
여기서, 최소투과레벨은, 낮 시간대에 상기 광학 필터부의 최대 개방 투과도에 대해 상대적으로 설정되는 가장 낮은 투과도 비율일 수 있다.
그리고, 광 다중화 신호 함수를 산출하는 단계는, 광 다중화 신호 함수 = (1 - 최소투과레벨) × 타이밍 펄스 × 광 변조 대비값인 수식으로 산출할 수 있다.
또한, 광 다중화 신호 함수를 산출하는 단계는, 주변 조도가 기설정 조도 미만이면 나이트 모드(night mode)로 인지하는 단계와, 나이트 모드로 인지되면 주변 조도를 토대로 제2 적외선 램프의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하는 단계와, 카메라부의 촬영 주기와 제2 적외선 램프의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하는 단계와, 적외선 광의 최대밝기레벨을 산출하는 단계와, 광 변조 대비값, 타이밍 펄스 및 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하는 단계와, 산출된 광 다중화 신호 함수를 토대로 광 다중화 신호를 생성하는 단계를 포함할 수 있다.
여기서, 광 다중화 신호 함수를 산출하는 단계는, 광 다중화 신호 함수 = 적외선 광의 최대밝기레벨 × 타이밍 펄스 × 광 변조 대비값인 수식으로 산출할 수 있다.
이어, 데이/나이트 스위치는, 주변 조도 정보에 따라 데이 모드(day mode) 또는 나이트 모드(night mode)로 스위칭될 수 있다.
여기서, 데이 모드(day mode) 또는 나이트 모드(night mode)로 스위칭되는 단계는, 데이 모드(day mode)로 스위칭될 때, 주변 조도가 기설정 조도 이상이면 광도 다중화부로부터 생성된 광 다중화 신호를 광학 필터부로 인가하여 광학 필터부의 투과도를 제어하도록 데이 모드(day mode)로 스위칭될 수 있다.
또한, 데이 모드(day mode) 또는 나이트 모드(night mode)로 스위칭되는 단계는, 나이트 모드(night mode)로 스위칭될 때, 주변 조도가 기설정 조도 미만이면 광도 다중화부로부터 생성된 광 다중화 신호를 제2 적외선 램프로 인가하여 제2 적외선 램프의 적외선 광 변조를 제어하고 램프 제어부에 스위칭 신호를 인가하여 제1 적외선 램프의 적외선 광 변조를 제어하도록 나이트 모드(night mode)로 스위칭될 수 있다.
다음, 데이/나이트 스위치가 상기 데이 모드로 스위칭되면, 광학 필터부는, 광 다중화 신호에 따라 입사되는 광 투과도를 변조할 수 있다.
또한, 데이/나이트 스위치가 나이트 모드로 스위칭되면, 제2 적외선 램프는, 광 다중화 신호에 따라 적외선 광을 변조하여 출사하고, 제1 적외선 램프는, 램프 제어부의 제어 신호에 따라 피사체와의 거리에 상응하여 적외선 광을 변조하여 출사할 수 있다.
이어, 카메라부는, 광학 필터부의 투과도가 변조되는 시간 동안 또는 제1, 제2 적외선 램프의 적외선 광 변조 출사 시간 동안에 다중 광도 영상들을 촬영할 수 있다.
여기서, 다중 광도 영상들을 촬영하는 단계는, 광학 필터부의 투과도가 변조되는 시간 동안에 가시광 대역의 광 다중 영상들을 촬영하여 저장하고, 제1, 제2 적외선 램프의 적외선 광 변조 출사 시간 동안에 적외선 광 대역의 광 다중 영상들을 촬영하여 저장할 수 있다.
그리고, 영상 처리부는, 촬영된 다중 광도 영상들을 합성하여 처리할 수 있다.
여기서, 영상 처리부는, 촬영된 다중 광도 영상들을 합성하여 처리할 때, 촬영 환경에 따라 가시광 대역의 광 다중 영상들, 적외선 광 대역의 광 다중 영상들, 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들 중 어느 하나를 합성하여 처리할 수 있다.
일 예로, 촬영 환경은, 일광 조건이 낮 시간대인 제1 촬영 환경, 어둠 또는 약한 조명 조건인 밤 시간대인 제2 촬영 환경, 이동 촬영 조건이거나 또는 조명 및 외광 변화가 심한 조건을 갖는 상시 조건인 제3 촬영 환경을 포함할 수 있는데, 이에 한정되지는 않는다.
여기서, 영상 처리부는, 촬영 환경이 제1 촬영 환경이면 가시광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하고, 촬영 환경이 제2 촬영 환경이면 적외선 광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하며, 촬영 환경이 제3 촬영 환경이면 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리할 수 있다.
기존의 HDR 영상 합성은, 카메라 센서의 가시광 대역의 제한된 동적 휘도 범위를 극복하게 위해 다중 노출로 촬영된 영상을 합성하여 HDR 영상을 재현할 수 있지만, 본 발명은, 다중 강도 및 다중 대역 영상을 이용한 복합 HDR 영상 합성 방식을 제시할 수 있다.
본 발명은, 센서의 가시광 노출을 조절하여 다중 노출 영상을 취득 및 합성하고, IR 광의 강도를 조절하여 다중 IR 영상을 취득 및 합성하며, 불규칙한 조명이 섞인 야간의 영상 표현을 개선하기 위해 가시광 대역 영상과 IR 대역의 영상을 합성하여 광대역 영상을 재생할 수도 있다.
또한, 본 발명은, IR이 차단된 영상과 IR이 통과된 영상을 다중 촬영 및 합성하여 근거리와 원거리 사물의 감지가 모두 가능하게 한다.
본 발명의 복합적인 HDR 영상 합성 방법은, 1차 가시광 대역의 다중 노출(multi-exposure) 영상 합성과 IR광 대역 다중 광 조절(multi-lighting) 영상 합성하고, 2차 가시광 HDR 영상과 IR HDR 영상을 복합 합성하는 방법일 수 있다.
이와 같이, 본 발명은, 광 필터의 투과도 조정과 적외선 조명 강도 조정을 이용하여 밝기 비율을 조정을 위한 이원화된 광도 다중화 방법을 수행함으로써, 다양한 조명 환경에 대해 시각적으로 사물 식별과 인지가 가능한 영상 합성을 구현할 수 있다.
또한, 본 발명은, 거리 센서로부터 피사체와의 거리 정보를 획득하고 조도 센서로부터 촬영 환경 정보를 획득함으로써, 저가 센서를 쉽게 활용하여 제작할 수 있다.
또한, 본 발명은, 가시광 및 근적외선 대역의 광도(light intensity) 변조를 이용하여 복합 대역 다중 영상을 취득하고 HDR(high dynamic range) 시각 영상으로 합성함으로써, 주야간 다양한 환경의 영상에서 경험되는 광의 부족 노출 혹은 부분적인 과도 노출 현상을 극복할 수 있다.
또한, 본 발명은, 광에 순응적인 광학 필터 및 IR 램프 제어를 사용한 촬영 입사 광도 변조 방법을 제안함으로써, 디양한 장소에서 변화하는 외광 변화에 실시간으로 대응할 수 있다.
또한, 본 발명은, 고정형의 CCTV 카메라뿐만 아니라 차량, 로봇, 드론 등에 탑재될 수 있는 이동형 카메라 시스템에 쉽게 확장 및 접목될 수 있고, 제작비용이 저렴하다,
이처럼, 본 발명은, 고정형 및 이동형 감시 카메라 시스템과 더불어 가시광, IR 광에 대한 다중 강도와 대역으로 WDR(Wide Dynamic Range) 영상을 취득하고, 표현하는 다양한 영상 신호 처리 분야, 자율 주행 자동차, 무인 드론 등 최근 부각 되는 사물 인식 분야를 포함하여 다양한 영상 시각화 분야에 적극 활용될 수 있다.
특히, 자율 주행 영상 촬영 중 발생되는 외광 변화는, 지하나 터널을 진입하거나 탈출할 때, 실내에서 실외를 바라보거나 반대 상황, 어두운 주차장 강한 차량 전조등 변화 등 일반적인 센서의 인식 범위를 벗어나는 경우가 빈번하게 발생될 수 있다.
자율 주행 자동차 시스템 중 센서 기반의 주행상황 탐지 영역은, 이러한 외부의 환경을 인식하는 과정으로 고정 또는 이동 사물을 인식하거나 경로를 인식하는데 필수적인 요소이다.
이때, 실시간으로 발생되는 돌발 상황을 인지하여 충돌을 방지하여 생명과 재산을 보호하는 것이 다른 어떤 첨단 기능들에 우선되어야 한다.
또한, 본 발명은, 현재 증가하는 사회적 긴장과 범죄로 인해 세계적으로 증대되는 감시, 보안에 대한 필요성에 부합하며, 고 효율의 영상 감시 시스템 구현을 가능하게 할 수 있다.
또한, 본 발명은, 사회 방범, 산업, 방송 현장에서 활용될 수 있다.
즉, 본 발명은, 보안 CCTV, 차량-휴대전화-드론 카메라, 블랙박스 시장, 이미지센서가 활용되는 산업 분야에 활용될 수 있으며, 동영상 기반의 영상 신호 또는 방송용 영상신호 처리 분야에 활용될 수 있다.
또한, 본 발명은, 관련 학문, 연구 현장에서도 활용될 수 있다.
즉, 본 발명은, 영상 융합 분야, 사물 탐색, 얼굴 검색, 환경 감시 등 지능적 영상 분석 기술 개발에 기여할 것이며, 기존의 제한적 성능의 이미지 센서 하드웨어 성능을 향상시킬 수 있는 대안 기술로 활용될 수 있으며, 보고서 및 논문 형태의 연구 결과 자료, 시뮬레이션 자료는 향후 연계된 기술 개발에 도움을 주며, 공항, 항만, 군사 시설, 건설 현장 등 고도 기술 분야에 활용될 것으로 기대된다.
이상에서 본 발명들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 카메라부
200: 조명부
300: 광학 필터부
400: 광도 다중화부
500: 영상 처리부
600: 영상 저장부

Claims (24)

  1. 소정의 피사체를 촬영하여 영상을 획득하는 카메라부;
    상기 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프와, 촬영 환경에 따라 상기 적외선 광을 변조하여 출사하는 제2 적외선 램프를 포함하여 상기 카메라부의 주변에 배치되는 조명부;
    상기 카메라부의 전면에 배치되어 상기 카메라부로 입사되는 광의 투과량을 조절하는 광학 필터부;
    상기 피사체와의 거리를 토대로 상기 적외선 광을 변조하도록 상기 제1 적외선 램프를 제어하는 램프 제어부;
    상기 촬영 환경을 토대로 상기 제2 적외선 램프의 적외선 광 변조 및 상기 광학 필터부의 투과도를 제어하도록 광 다중화 신호를 생성하는 광도 다중화부; 그리고,
    상기 촬영된 다수의 영상을 합성하여 처리하는 영상 처리부를 포함하며,
    상기 광도 다중화부는,
    상기 광 다중화 신호를 생성할 때, 상기 촬영 환경 중 주변 조도를 토대로 상기 광학 필터부의 투과도 제어를 위한 광 변조 대비값 또는 상기 제2 적외선 램프의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하고, 상기 카메라부의 촬영 주기와 상기 광학 필터부의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스 또는 상기 카메라부의 촬영 주기와 상기 제2 적외선 램프의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하며, 상기 주변 조도에 상응하는 최소투과레벨 또는 적외선 광의 최대밝기레벨을 산출하고, 상기 광 변조 대비값, 타이밍 펄스 및 최소투과레벨 또는 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하고, 상기 산출된 광 다중화 신호 함수를 토대로 상기 광 다중화 신호를 생성하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  2. 제1 항에 있어서, 상기 카메라부는,
    가시광 및 적외선 광이 모두 포함되는 광대역 영상을 촬영하는 광대역 카메라를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  3. 제1 항에 있어서, 상기 카메라부는,
    상기 촬영 환경에 따라 가시광 대역의 광 다중 영상을 촬영하거나 또는 적외선 광 대역의 광 다중 영상을 촬영하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  4. 제3 항에 있어서, 상기 카메라부는,
    상기 촬영 환경 중 측정 조도가 기설정 조도 이상이면 상기 가시광 대역의 광 다중 영상을 촬영하고,
    상기 촬영 환경 중 측정 조도가 기설정 조도 미만이면 상기 적외선 광 대역의 광 다중 영상을 촬영하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  5. 제1 항에 있어서, 상기 카메라부는,
    입사되는 광을 가시광 및 적외선 광으로 분리하는 빔 스플리터(beam splitter);
    상기 분리된 가시광 대역의 광 다중 영상을 촬영하는 제1 카메라; 그리고,
    상기 분리된 적외선 광 대역의 광 다중 영상을 촬영하는 제2 카메라를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  6. 제5 항에 있어서, 상기 광학 필터부는,
    상기 빔 스플리터의 광 분리면과 상기 제1 카메라 사이에 배치되어, 상기 제1 카메라로 입사되는 가시광의 투과량을 조절하는 고정형 광학 필터를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  7. 제5 항에 있어서, 상기 제1, 제2 카메라는,
    상기 빔 스플리터의 광 분리면을 중심으로 서로 수직하게 배열되는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  8. 제1 항에 있어서, 상기 램프 제어부는,
    상기 피사체와의 거리를 센싱하는 거리 센서; 그리고,
    상기 피사체와의 거리를 토대로 상기 적외선 광 강도를 변조하도록 상기 제1 적외선 램프를 제어하는 강도 제어부를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  9. 제8 항에 있어서, 상기 거리 센서는,
    RoF(Region of Field 혹은 적외선) 센서 및 초음파 센서 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  10. 제8 항에 있어서, 상기 강도 제어부는,
    상기 촬영 환경 중 측정 조도가 기설정 조도 이상인 데이 모드(day mode)이면 오프(off)되고, 상기 촬영 환경 중 측정 조도가 기설정 조도 미만인 나이트 모드(night mode)이면 온(on)되어 상기 제1 적외선 램프를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  11. 제1 항에 있어서, 상기 광도 다중화부는,
    상기 촬영 환경 중 주변 조도를 센싱하는 조도 센서; 그리고,
    상기 주변 조도를 토대로 상기 제2 적외선 램프의 적외선 광 변조 및 상기 광학 필터부의 투과도를 제어하도록 상기 광 다중화 신호를 생성하는 제어부를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  12. 제11 항에 있어서, 상기 조도 센서는,
    황화카드뮴(CdS) 소자 및 태양광 패널 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  13. 제11 항에 있어서, 상기 제어부는,
    상기 주변 조도를 토대로 상기 광학 필터부의 투과도를 제어하는 투과도 제어부;
    상기 주변 조도를 토대로 상기 적외선 광 강도를 변조하도록 상기 제2 적외선 램프를 제어하는 강도 제어부;
    상기 카메라부의 촬영 주기와 상기 제2 적외선 램프의 적외선 광 변조 주기 및 상기 광학 필터부의 투과도 변화 주기를 동기화하도록 신호 타이밍을 제어하는 타이밍 제어부; 그리고,
    상기 투과도 제어부, 강도 제어부 및 타이밍 제어부의 제어 신호에 따라 상기 다중화 신호를 생성하는 다중화 신호 발생부를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  14. 삭제
  15. 제1 항에 있어서,
    상기 촬영 환경 중 주변 조도에 따라 상기 광학 필터부의 투과도를 제어하는 데이 모드(day mode)로 스위칭되거나 또는 상기 제1, 제2 적외선 램프의 적외선 광 변조를 제어하는 나이트 모드(night mode)로 스위칭되는 데이/나이트 스위치를 더 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  16. 제15 항에 있어서, 상기 데이/나이트 스위치는,
    상기 데이 모드(day mode)로 스위칭될 때, 상기 촬영 환경 중 주변 조도가 기설정 조도 이상이면 상기 광도 다중화부로부터 생성된 광 다중화 신호를 상기 광학 필터부로 인가하여 상기 광학 필터부의 투과도를 제어하도록 상기 데이 모드(day mode)로 스위칭되는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  17. 제16 항에 있어서, 상기 데이/나이트 스위치는,
    상기 나이트 모드(night mode)로 스위칭될 때, 상기 촬영 환경 중 주변 조도가 기설정 조도 미만이면 상기 광도 다중화부로부터 생성된 광 다중화 신호를 상기 제2 적외선 램프로 인가하여 상기 제2 적외선 램프의 적외선 광 변조를 제어하고 상기 램프 제어부에 스위칭 신호를 인가하여 상기 제1 적외선 램프의 적외선 광 변조를 제어하도록 상기 나이트 모드(night mode)로 스위칭되는 것을 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  18. 제1 항에 있어서,
    상기 카메라부로부터 촬영된 가시광 대역의 광 다중 영상 및 적외선 광 대역의 광 다중 영상 중 적어도 어느 하나를 저장하는 영상 저장부를 더 포함하고,
    상기 영상 처리부는,
    상기 촬영 환경에 따라 상기 가시광 대역의 광 다중 영상들, 상기 적외선 광 대역의 광 다중 영상들, 상기 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들 중 어느 하나를 합성하여 처리하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  19. 제18 항에 있어서, 상기 촬영 환경은,
    일광 조건이 낮 시간대인 제1 촬영 환경, 어둠 또는 약한 조명 조건인 밤 시간대인 제2 촬영 환경, 이동 촬영 조건이거나 또는 조명 및 외광 변화가 심한 조건을 갖는 상시 조건인 제3 촬영 환경을 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  20. 제19 항에 있어서, 상기 영상 처리부는,
    상기 촬영 환경이 제1 촬영 환경이면 상기 가시광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하고,
    상기 촬영 환경이 제2 촬영 환경이면 상기 적외선 광 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하며,
    상기 촬영 환경이 제3 촬영 환경이면 상기 가시광 및 적외선 광이 모두 포함되는 복합 대역의 광 다중 영상들로부터 고노출 영상 및 저노출 영상을 합성하여 처리하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
  21. 카메라부, 제1, 제2 적외선 램프를 포함하는 조명부, 램프 제어부, 영상 처리부 및 광도 다중화부를 포함하는 다중 광도 영상 획득 장치의 다중 광도 영상 획득 방법에 있어서,
    상기 광도 다중화부가, 영상 촬영 요청이 수신되는지를 확인하는 단계;
    상기 광도 다중화부가, 영상 촬영 요청이 수신되면 주변 조도 정보를 획득하는 단계;
    상기 광도 다중화부가, 상기 주변 조도 정보를 토대로 광학 필터부의 투과도를 제어하기 위한 광 다중화 신호 함수를 산출하거나 또는 상기 제2 적외선 램프의 적외선 광 변조를 제어하기 위한 광 다중화 신호 함수를 산출하여 광 다중화 신호를 생성하는 단계;
    데이/나이트 스위치가, 상기 주변 조도 정보에 따라 데이 모드(day mode) 또는 나이트 모드(night mode)로 스위칭되는 단계;
    상기 데이/나이트 스위치가 상기 데이 모드로 스위칭되면, 상기 광학 필터부가 상기 광 다중화 신호에 따라 입사되는 광 투과도를 변조하고, 상기 데이/나이트 스위치가 상기 나이트 모드로 스위칭되면, 상기 제2 적외선 램프가 상기 광 다중화 신호에 따라 적외선 광을 변조하여 출사하고 상기 제1 적외선 램프가 상기 램프 제어부의 제어 신호에 따라 피사체와의 거리에 상응하여 상기 적외선 광을 변조하여 출사하는 단계;
    상기 카메라부가, 상기 광학 필터부의 투과도가 변조되는 시간 동안 또는 상기 제1, 제2 적외선 램프의 적외선 광 변조 출사 시간 동안에 다중 광도 영상들을 촬영하는 단계; 그리고,
    상기 영상 처리부가, 상기 촬영된 다중 광도 영상들을 합성하여 처리하는 단계를 포함하며,
    상기 광 다중화 신호를 생성하는 단계는,
    상기 주변 조도를 토대로 상기 광학 필터부의 투과도 제어를 위한 광 변조 대비값 또는 상기 제2 적외선 램프의 적외선 광 변조 제어를 위한 광 변조 대비값을 산출하는 단계;
    상기 카메라부의 촬영 주기와 상기 광학 필터부의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스 또는 상기 카메라부의 촬영 주기와 상기 제2 적외선 램프의 적외선 광 변조 주기를 동기화하기 위한 타이밍 펄스를 생성하는 단계;
    상기 주변 조도에 상응하는 최소투과레벨 또는 적외선 광의 최대밝기레벨을 산출하는 단계;
    상기 광 변조 대비값, 타이밍 펄스 및 최소투과레벨 또는 적외선 광의 최대밝기레벨을 토대로 광 다중화 신호 함수를 산출하는 단계; 그리고,
    상기 산출된 광 다중화 신호 함수를 토대로 상기 광 다중화 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
  22. 삭제
  23. 제21 항에 있어서, 상기 광 다중화 신호 함수를 산출하는 단계는,
    상기 주변 조도가 기설정 조도 이상이면 데이 모드(day mode)로 인지하는 단계;
    상기 데이 모드로 인지되면 상기 주변 조도를 토대로 상기 광학 필터부의 투과도 제어를 위한 광 변조 대비값을 산출하는 단계;
    상기 카메라부의 촬영 주기와 상기 광학 필터부의 투과도 변화 주기를 동기화하기 위한 타이밍 펄스를 동기화하기 위한 타이밍 펄스를 생성하는 단계;
    상기 주변 조도에 상응하는 최소투과레벨을 산출하는 단계;
    상기 광 변조 대비값, 타이밍 펄스 및 최소투과레벨을 토대로 광 다중화 신호 함수를 산출하는 단계; 그리고,
    상기 산출된 광 다중화 신호 함수를 토대로 상기 광 다중화 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
  24. 제23 항에 있어서, 상기 최소투과레벨은,
    낮 시간대에 상기 광학 필터부의 최대 개방 투과도에 대해 상대적으로 설정되는 가장 낮은 투과도 비율인 것을 특징으로 하는 다중 광도 영상 획득 방법.
KR1020190100162A 2019-08-16 2019-08-16 다중 광도 영상 획득 장치 및 방법 KR102200541B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190100162A KR102200541B1 (ko) 2019-08-16 2019-08-16 다중 광도 영상 획득 장치 및 방법
US17/634,709 US20220283442A1 (en) 2019-08-16 2020-08-13 Device and method for acquiring multi-luminosity images
PCT/KR2020/010720 WO2021034003A1 (ko) 2019-08-16 2020-08-13 다중 광도 영상 획득 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190100162A KR102200541B1 (ko) 2019-08-16 2019-08-16 다중 광도 영상 획득 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102200541B1 true KR102200541B1 (ko) 2021-01-08

Family

ID=74127786

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190100162A KR102200541B1 (ko) 2019-08-16 2019-08-16 다중 광도 영상 획득 장치 및 방법

Country Status (3)

Country Link
US (1) US20220283442A1 (ko)
KR (1) KR102200541B1 (ko)
WO (1) WO2021034003A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11689822B2 (en) * 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100125675A (ko) * 2009-05-21 2010-12-01 삼성테크윈 주식회사 감시 카메라의 제어 방법 및 이를 채용한 감시 카메라
KR20110056096A (ko) * 2009-11-20 2011-05-26 삼성전자주식회사 디지털 이미지 처리 장치 및 그 촬영 방법
KR20140127631A (ko) * 2013-04-25 2014-11-04 삼성테크윈 주식회사 야간 촬영 기능을 구비한 촬영장치 및 야간 촬영방법
KR20180041494A (ko) * 2016-10-14 2018-04-24 지스마트글로벌 주식회사 멀티 카메라

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033716A (ja) * 2004-07-21 2006-02-02 Hitachi Maxell Ltd 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100125675A (ko) * 2009-05-21 2010-12-01 삼성테크윈 주식회사 감시 카메라의 제어 방법 및 이를 채용한 감시 카메라
KR20110056096A (ko) * 2009-11-20 2011-05-26 삼성전자주식회사 디지털 이미지 처리 장치 및 그 촬영 방법
KR20140127631A (ko) * 2013-04-25 2014-11-04 삼성테크윈 주식회사 야간 촬영 기능을 구비한 촬영장치 및 야간 촬영방법
KR20180041494A (ko) * 2016-10-14 2018-04-24 지스마트글로벌 주식회사 멀티 카메라

Also Published As

Publication number Publication date
US20220283442A1 (en) 2022-09-08
WO2021034003A1 (ko) 2021-02-25

Similar Documents

Publication Publication Date Title
EP3527045B2 (en) Surveillance system and method of controlling a surveillance system
CN104838644B (zh) 求取检测区域图像信息的摄像机系统和方法
US8723980B2 (en) Image processing system and image acquisition method
WO2011132241A1 (ja) 撮像装置
TWI422946B (zh) 照明控制模組、包含其之攝影機及照明控制方法
US20090167865A1 (en) Photographic object recognition correction
KR101757416B1 (ko) 사전 예방 조치를 위한 ｉｐ ｃｃｔｖ 장치, 그리고 이를 복수개 연동한 ｉｐ ｃｃｔｖ시스템
CN109889689A (zh) 同步相机和照明系统
US8531590B2 (en) Camera with precise visual indicator to subject when within camera view
JP5397714B1 (ja) 監視用カメラ装置
JP6627866B2 (ja) 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム
KR102200540B1 (ko) 다중 광도 영상 획득 장치 및 방법
KR20130120885A (ko) 적외선 카메라 및 이의 동작 방법
KR102200541B1 (ko) 다중 광도 영상 획득 장치 및 방법
KR100878491B1 (ko) 방범 카메라 시스템 및 그 제어방법
JP4328865B2 (ja) 赤外線照明内蔵型監視用デイナイトカメラ
US9832398B2 (en) Camera system, especially for a vehicle, and method for ascertaining image information of a signal source pulsed as a function of time
KR20150057041A (ko) 카메라의 led 조명제어 방법 및 그 장치
KR20140085851A (ko) 줌배율에 따른 적외선 엘이디 디밍기능을 가진 카메라
KR102184295B1 (ko) 다중 광도 영상 획득 장치 및 방법
KR101964744B1 (ko) 가시광선 조명과 적외선 조명 일체형 cctv 카메라 시스템
JP6780543B2 (ja) 画像撮像システム及び画像撮像装置
KR101101779B1 (ko) 폐쇄회로텔레비젼 카메라 연동형 조명 제어시스템
JP2009253316A (ja) 車載カメラ及びドライブレコーダ
KR102497020B1 (ko) 다중 광도 및 다중 대역 영상 획득 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant