KR102184295B1

KR102184295B1 - 다중 광도 영상 획득 장치 및 방법

Info

Publication number: KR102184295B1
Application number: KR1020190062474A
Authority: KR
Inventors: 이성학; 전선곤
Original assignee: 경북대학교 산학협력단
Priority date: 2019-05-28
Filing date: 2019-05-28
Publication date: 2020-11-30

Abstract

적외선 조명 변조를 이용하여 가시광 및 적외선 파장 영역의 다중 광도 영상을 촬영하고 합성할 수 있는 다중 광도 영상 획득 장치 및 방법에 관한 것으로, 소정의 영상을 촬영하는 카메라부와, 카메라부의 주변에 배치되어 적외선 파장대의 적외선 광을 출사하는 조명부와, 촬영된 다수의 영상을 합성하여 처리하는 영상 처리부와, 카메라부, 조명부 및 영상 처리부를 제어하는 제어부를 포함하고, 제어부는, 영상 촬영 요청이 수신되면 피사체와의 거리 정보 및 촬영 환경 정보를 획득하고, 획득한 피사체와의 거리 정보 및 촬영 환경 정보를 토대로 적외선 광의 변조 함수를 산출하며, 산출된 변조 함수를 토대로 변조된 적외선 광을 출사하도록 조명부를 제어하고, 변조된 적외선 광의 출사 시간 동안에 다중 광도 영상들을 촬영하도록 카메라부를 제어하며, 촬영된 다중 광도 영상들을 합성하여 처리하도록 영상 처리부를 제어할 수 있다.

Description

다중 광도 영상 획득 장치 및 방법{APPARATUS AND METHOD FOR OBTAINING MULTI-BRIGHTNESS IMAGE}

본 발명은 다중 광도 영상 획득 장치에 관한 것으로, 보다 상세하게는 적외선 조명 변조를 이용하여 가시광 및 적외선 파장 영역의 다중 광도 영상을 촬영하고 합성할 수 있는 다중 광도 영상 획득 장치 및 방법에 관한 것이다.

일반적으로, CCTV 감시 카메라를 비롯해서 차량, 로봇, 드론 등에 야외 사물 식별을 위하여 카메라는, 촬영 조건이 낮 시간부터 밤까지 일광 조건, 어두운 실내, 터널, 지하, 야간 조명등, 차량 전조등, 빛이 전혀 없는 실내 환경 등을 포괄할 수 있다.

현재, 다양한 환경에서 고 정밀 화질에 대한 소비자 요구에 따라 HD급의 IP카메라로 전환되고 있고, 카메라 센서의 감도를 높이거나, 야간 촬영이나, 폐쇄된 공간의 어두운 곳을 촬영하기 위해 LED 조명을 보조적으로 사용하는 것이 일반적인 추세이다.

야간에 사용하는 카메라는, 보안이나 방범을 위해 시각적 영향을 주지 않는 IR(적외선) LED조명을 많이 사용하고 있고, 새로운 LED 조명 사용을 이용하여 저 조도에서 어두운 공간의 사물을 선명하게 식별하기 위한 많은 연구가 진행되고 있다.

또한, 카메라 촬영과 동기화된 LED 플레싱(flashing)을 이용하여 셔터 스피드를 올리거나, 피사체의 거리를 감지하여 IR 과포화를 방지하는 기술 등이 한국 등록특허 제10-0983346호 (2010.09.20)로 등록된 바 있다.

그러나, 기존 기술은, 이동 촬영과 같은 환경 변화가 심한 경우, 피사체의 거리와 광량에 적응적으로 카메라와 LED 조명을 조절하기는 힘들며, 다양한 기능에 대응하는 하드웨어 구성은 복잡해질 수 있다.

또한, 단순히 카메라 센서의 감도를 높이는 것만으로는, 일상에서 경험되는 광역의 휘도 조건과 갑작스런 조명 변화에 인간의 시각이 순응하고 인지하는 수준으로 영상을 촬영하는 것이 어려울 수 있다.

따라서, 기존의 저가 센서를 쉽게 활용하여 제작할 수 있고, 다양한 조명 환경에 대해 시각적으로 사물 식별과 인지가 가능한 영상 합성을 구현할 수 있는 다중 광도 영상 획득 장치의 개발이 요구되고 있다.

본 발명의 일실시예가 이루고자 하는 기술적 과제는, 피사체와의 거리 정보 및 촬영 환경 정보를 토대로 적외선 광의 변조 함수를 산출하고, 이를 토대로 변조된 적외선 광을 출사하여 다중 광도 영상들을 촬영함으로써, 다양한 조명 환경에 대해 시각적으로 사물 식별과 인지가 가능한 영상 합성을 구현할 수 있는 다중 광도 영상 획득 장치 및 방법을 제공하고자 한다.

또한, 본 발명의 일실시예가 이루고자 하는 기술적 과제는, 거리 센서로부터 피사체와의 거리 정보를 획득하고 조도 센서로부터 촬영 환경 정보를 획득함으로써, 저가 센서를 쉽게 활용하여 제작할 수 있는 다중 광도 영상 획득 장치 및 방법을 제공하고자 한다.

또한, 본 발명의 일실시예가 이루고자 하는 기술적 과제는, 리드 아웃 시간(read-out time) 간격으로 적외선 하이 레벨 광도 영상과 적외선 로우 레벨 광도 영상을 촬영함으로써, 촬영 타이밍 오차를 개선할 수 있는 다중 광도 영상 획득 장치 및 방법을 제공하고자 한다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일실시예에 의한 다중 광도 영상 획득 장치는, 소정의 영상을 촬영하는 카메라부와, 카메라부의 주변에 배치되어 적외선 파장대의 적외선 광을 출사하는 조명부와, 촬영된 다수의 영상을 합성하여 처리하는 영상 처리부와, 카메라부, 조명부 및 영상 처리부를 제어하는 제어부를 포함하고, 제어부는, 영상 촬영 요청이 수신되면 피사체와의 거리 정보 및 촬영 환경 정보를 획득하고, 획득한 피사체와의 거리 정보 및 촬영 환경 정보를 토대로 적외선 광의 변조 함수를 산출하며, 산출된 변조 함수를 토대로 변조된 적외선 광을 출사하도록 조명부를 제어하고, 변조된 적외선 광의 출사 시간 동안에 다중 광도 영상들을 촬영하도록 카메라부를 제어하며, 촬영된 다중 광도 영상들을 합성하여 처리하도록 영상 처리부를 제어할 수 있다.

그리고, 본 발명은, 피사체와의 거리 및 촬영 환경을 센싱하는 센싱부를 더 포함할 수 있다.

여기서, 센싱부는, 피사체와의 거리를 센싱하는 거리 센서와, 촬영 환경 중 주변 조도를 센싱하는 조도 센서를 포함할 수 있다.

이어, 조명부는, 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프와, 촬영 환경에 따라 적외선 광을 변조하여 출사하는 제2 적외선 램프를 포함할 수 있다.

여기서, 제1 적외선 램프는, 피사체와의 거리가 가까울수록 적외선 광의 밝기를 낮추어 광 변조 대비를 증가시키고, 피사체와의 거리가 멀어질수록 적외선 광의 밝기를 높여 광 변조 대비를 감소시킬 수 있다.

그리고, 제1 적외선 램프는, 카메라부의 영상 촬영 N 주기 동안에 적외선 광을 미리 설정된 기준 밝기로 출사하고, 카메라부의 영상 촬영 N+1 주기 동안에 적외선 광을 피사체와의 거리에 따라 변조된 조정 밝기로 출사할 수 있다.

또한, 제2 적외선 램프는, 촬영 환경 중 주변 조도에 따라 변조된 적외선 광을 출사할 수 있다.

여기서, 제2 적외선 램프는, 주변 조도가 낮을수록 적외선 광의 광 변조 레벨을 증가시키고, 주변 조도가 높을수록 적외선 광의 광 변조 레벨을 감소시킬 수 있다.

그리고, 제2 적외선 램프는, 카메라부의 영상 촬영 N 주기 동안에 적외선 광을 주변 조도에 따라 변조된 조정 밝기로 출사하고, 카메라부의 영상 촬영 N+1 주기 동안에 적외선 광을 출사하지 않도록 오프될 수 있다.

또한, 제1 적외선 램프는, 카메라부의 렌즈 주변 둘레를 감싸도록 배치되고, 제2 적외선 램프는, 제1 적외선 램프의 주변에 배치될 수 있다.

여기서, 제1 적외선 램프는, 피사체와의 거리에 따라 밝기를 조절하는 밝기 조절형 근거리 램프이고, 제2 적외선 램프는, 촬영 주기마다 온/오프를 반복적으로 수행하는 점등형 원거리 램프일 수 있다.

다음, 제어부는, 적외선 광의 변조 함수를 산출할 때, 피사체와의 거리 정보를 토대로 광 변조 대비값을 산출하고, 촬영 환경 정보를 토대로 광 변조 레벨값을 산출하며, 산출된 광 변조 대비값 및 광 변조 레벨값을 토대로 적외선 광의 변조 함수를 산출할 수 있다.

여기서, 제어부는, 적외선 광의 변조 함수를 산출할 때, 적외선 광의 변조 함수 = 광 변조 대비값 * 광 변조 레벨값인 수식으로 산출할 수 있다.

그리고, 제어부는, 조명부를 제어할 때, 피사체와의 거리가 가까울수록 적외선 광의 밝기를 낮추어 광 변조 대비를 증가시키고, 피사체와의 거리가 멀어질수록 적외선 광의 밝기를 높여 광 변조 대비를 감소시키도록 조명부의 제1 적외선 램프를 제어할 수 있다.

또한, 제어부는, 조명부를 제어할 때, 촬영 환경 정보 중 주변 조도가 낮을수록 적외선 광의 광 변조 레벨을 증가시키고, 주변 조도가 높을수록 적외선 광의 광 변조 레벨을 감소시키도록 조명부의 제2 적외선 램프를 제어할 수 있다.

다음, 제어부는, 카메라부를 제어할 때, 조명부의 제1 적외선 램프가 적외선 광을 미리 설정된 기준 밝기로 출사하는 N 주기 동안에 적외선 하이 레벨 광도 영상을 촬영하고, 조명부의 제1 적외선 램프가 적외선 광을 피사체와의 거리에 따라 변조된 조정 밝기로 출사하는 N+1 주기 동안에 적외선 로우 레벨 광도 영상을 촬영하도록 카메라부를 제어할 수 있다.

또한, 제어부는, 카메라부를 제어할 때, 조명부의 제2 적외선 램프가 적외선 광을 주변 조도에 따라 변조된 조정 밝기로 출사하는 N 주기 동안에 적외선 하이 레벨 광도 영상을 촬영하고, 조명부의 제2 적외선 램프가 적외선 광을 출사하지 않도록 오프되는 N+1 주기 동안에 적외선 로우 레벨 광도 영상을 촬영하도록 카메라부를 제어할 수 있다.

이어, 제어부는, 획득한 피사체와의 거리 정보 및 촬영 환경 정보를 토대로 적외선 광의 변조 함수를 산출하는 조명 제어부와, 조명 제어부로부터 수신되는 프레임 레이트에 따라 다중 광도 영상들을 촬영하도록 카메라부를 제어하는 카메라 제어부와, 조명 제어부로부터 수신되는 광 세기 제어에 따라 조명부의 제1 적외선 램프의 밝기를 제어하는 조명 레벨 제어부와, 조명 제어부로부터 수신되는 타이밍 제어에 따라 조명부의 제2 적외선 램프의 온/오프를 제어하는 조명 스위칭 제어부를 포함할 수 있다.

한편, 본 발명의 일실시예에 의한 다중 광도 영상 획득 장치의 다중 광도 영상 획득 방법은, 영상 촬영 요청이 수신되는지를 확인하는 단계와, 영상 촬영 요청이 수신되면 피사체와의 거리 정보 및 촬영 환경 정보를 획득하는 단계와, 획득한 피사체와의 거리 정보 및 촬영 환경 정보를 토대로 적외선 광의 변조 함수를 산출하는 단계와, 산출된 변조 함수를 토대로 변조된 적외선 광을 출사하도록 조명부를 제어하고 변조된 적외선 광의 출사 시간 동안에 다중 광도 영상들을 촬영하도록 카메라부를 제어하는 단계와, 촬영된 다중 광도 영상들을 합성하여 처리하도록 영상 처리부를 제어하는 단계를 포함할 수 있다.

본 발명에 따른 다중 광도 영상 획득 장치 및 방법의 효과에 대해 설명하면 다음과 같다.

본 발명은, 피사체와의 거리 정보 및 촬영 환경 정보를 토대로 적외선 광의 변조 함수를 산출하고, 이를 토대로 변조된 적외선 광을 출사하여 다중 광도 영상들을 촬영함으로써, 다양한 조명 환경에 대해 시각적으로 사물 식별과 인지가 가능한 영상 합성을 구현할 수 있다.

또한, 본 발명은, 거리 센서로부터 피사체와의 거리 정보를 획득하고 조도 센서로부터 촬영 환경 정보를 획득함으로써, 저가 센서를 쉽게 활용하여 제작할 수 있다.

또한, 본 발명은, 리드 아웃 시간(read-out time) 간격으로 적외선 하이 레벨 광도 영상과 적외선 로우 레벨 광도 영상을 촬영함으로써, 촬영 타이밍 오차를 개선할 수 있다.

또한, 본 발명은, 일몰 후 외광이 부족한 환경에서, 광 다중화된 영상을 취득하여 근거리 및 원거리 피사체에 대해 넓은 휘도 범위의 영상을 촬영하고 합성할 수 있다.

또한, 본 발명은, 광대역(가시광+근적외선 대역) 단일 센서 카메라로 구현하고, 조도 센서와 거리 센서를 이용하여 촬영 환경에 따른 IR 보조광 제어를 통해 다중 광도 영상을 촬영하며, 고정형의 CCTV 카메라뿐만 아니라 차량, 로봇, 드론 등에 탑재될 수 있는 이동형 카메라 시스템에 쉽게 확장 및 접목될 수 있고, 제작비용이 저렴하다,

이처럼, 본 발명은, 고정형 및 이동형 감시 카메라 시스템과 더불어 가시광, IR 광에 대한 다중 강도와 대역으로 WDR 영상을 취득하고, 표현하는 다양한 영상 신호 처리 분야, 자율 주행 자동차, 무인 드론 등 최근 부각 되는 사물 인식 분야를 포함하여 다양한 영상 시각화 분야에 적극 활용될 수 있다.

특히, 자율 주행 영상 촬영 중 발생되는 외광 변화는, 지하나 터널을 진입하거나 탈출할 때, 실내에서 실외를 바라보거나 반대 상황, 어두운 주차장 강한 차량 전조등 변화 등 일반적인 센서의 인식 범위를 벗어나는 경우가 빈번하게 발생될 수 있다.

자율 주행 자동차 시스템 중 센서 기반의 주행상황 탐지 영역은, 이러한 외부의 환경을 인식하는 과정으로 고정 또는 이동 사물을 인식하거나 경로를 인식하는데 필수적인 요소이다.

이때, 실시간으로 발생되는 돌발 상황을 인지하여 충돌을 방지하여 생명과 재산을 보호하는 것이 다른 어떤 첨단 기능들에 우선되어야 한다.

또한, 본 발명은, 현재 증가하는 사회적 긴장과 범죄로 인해 세계적으로 증대되는 감시, 보안에 대한 필요성에 부합하며, 고 효율의 영상 감시 시스템 구현을 가능하게 할 수 있다.

또한, 본 발명은, 사회 방범, 산업, 방송 현장에서 활용될 수 있다.

즉, 본 발명은, 보안 CCTV, 차량-휴대전화-드론 카메라, 블랙박스 시장, 이미지센서가 활용되는 산업 분야에 활용될 수 있으며, 동영상 기반의 영상 신호 또는 방송용 영상신호 처리 분야에 활용될 수 있다.

또한, 본 발명은, 관련 학문, 연구 현장에서도 활용될 수 있다.

즉, 본 발명은, 영상 융합 분야, 사물 탐색, 얼굴 검색, 환경 감시 등 지능적 영상 분석 기술 개발에 기여할 것이며, 기존의 제한적 성능의 이미지 센서 하드웨어 성능을 향상시킬 수 있는 대안 기술로 활용될 수 있으며, 보고서 및 논문 형태의 연구 결과 자료, 시뮬레이션 자료는 향후 연계된 기술 개발에 도움을 주며, 공항, 항만, 군사 시설, 건설 현장 등 고도 기술 분야에 활용될 것으로 기대된다.

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.

도 1은 본 발명에 따른 다중 광도 영상 획득 장치를 설명하기 위한 블럭 구성도이다.
도 2는 본 발명에 따른 다중 광도 영상 획득 장치의 조명부 구조를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 다중 광도 영상 획득 장치의 조명부 동작을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 다중 광도 영상 획득 장치의 적외선 광 변조 방법을 설명하기 위한 타이밍도이다.
도 5는 본 발명에 따른 다중 광도 영상 획득 방법을 설명하기 위한 흐름도이다.

이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.

나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

도 1은 본 발명에 따른 다중 광도 영상 획득 장치를 설명하기 위한 블럭 구성도이다.

도 1에 도시된 바와 같이, 다중 광도 영상 획득 장치는, 소정의 영상을 촬영하는 카메라부(100), 카메라부(100)의 주변에 배치되어 적외선 파장대의 적외선 광을 출사하는 조명부(200), 촬영된 다수의 영상을 합성하여 처리하는 영상 처리부(300), 그리고 카메라부(100), 조명부(200) 및 영상 처리부(300)를 제어하는 제어부(400)를 포함할 수 있다.

또한, 다중 광도 영상 획득 장치는, 피사체와의 거리 및 촬영 환경을 센싱하는 센싱부(500)를 더 포함할 수도 있다.

여기서, 센싱부(500)는, 피사체와의 거리를 센싱하는 거리 센서(510)와, 촬영 환경 중 주변 조도를 센싱하는 조도 센서(520)를 포함할 수 있는데, 이에 한정되지는 않는다.

그리고, 조명부(200)는, 피사체와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프와, 촬영 환경에 따라 적외선 광을 변조하여 출사하는 제2 적외선 램프를 포함할 수 있다.

즉, 제1 적외선 램프는, 광 변조 대비를 증가시킬 때, 적외선 광의 밝기를 기준 밝기로부터 낮추어 기준 밝기와의 차이가 크도록 변조하고, 광 변조 대비를 감소시킬 때, 적외선 광의 밝기를 기준 밝기에 상응하도록 높여 기준 밝기와의 차이가 작도록 변조할 수 있다.

일 예로, 제1 적외선 램프는, 피사체와의 거리가 최소 근거리이면 적외선 광의 밝기를 기준 밝기로부터 약 6배 ~ 약 20배 낮게 변조하고, 피사체와의 거리가 최대 원거리이면 적외선 광의 밝기를 기준 밝기와 동일하도록 높게 변조하며, 피사체와의 거리가 최소 근거리와 최대 원거리 사이의 중거리이면 적외선 광의 밝기를 기준 밝기로부터 약 1배 ~ 약 5배 낮게 변조할 수 있다.

그리고, 제1 적외선 램프는, 카메라부(100)의 영상 촬영 N 주기 동안에 적외선 광을 미리 설정된 기준 밝기로 출사하고, 카메라부(100)의 영상 촬영 N+1 주기 동안에 적외선 광을 피사체와의 거리에 따라 변조된 조정 밝기로 출사할 수 있다.

다음, 제2 적외선 램프는, 촬영 환경 중 주변 조도에 따라 변조된 적외선 광을 출사할 수 있다.

즉, 제2 적외선 램프는, 광 변조 레벨을 증가시킬 때, 적외선 광의 밝기를 미리 설정된 레벨로 높게 변조하고, 광 변조 레벨을 감소시킬 때, 적외선 광의 밝기를 미리 설정된 레벨로 낮게 변조할 수 있다.

일 예로, 제2 적외선 램프는, 주변 조도가 최소 조도이면 적외선 광의 밝기를 최대 레벨로 높게 변조하고, 주변 조도가 최대 조도이면 적외선 광의 밝기 변조 없이 오프(off)되며, 주변 조도가 최소 조도와 최대 조도 사이의 조도이면 적외선 광의 밝기를 최대 레벨 미만으로 낮게 변조할 수 있다.

그리고, 제2 적외선 램프는, 카메라부(100)의 영상 촬영 N 주기 동안에 적외선 광을 주변 조도에 따라 변조된 조정 밝기로 출사하고, 카메라부(100)의 영상 촬영 N+1 주기 동안에 적외선 광을 출사하지 않도록 오프될 수 있다.

또한, 제1 적외선 램프는, 카메라부(100)의 렌즈 주변 둘레를 감싸도록 배치되고, 제2 적외선 램프는, 제1 적외선 램프의 주변에 배치될 수 있는데, 이에 한정되지는 않는다.

여기서, 제1 적외선 램프의 개수는, 제2 적외선 램프의 개수보다 더 많을 수 있다.

그 이유는, 제1 적외선 램프가 피사체와의 거리에 따라 광 세기를 조절하기 위한 램프이고, 제2 적외선 램프가 촬영 주기마다 온/오프를 반복적으로 수행하기 위한 램프이므로, 기능적으로 제1 적외선 램프의 개수를 더 많이 배치하는 것이 바람직하기 때문이다.

하지만, 경우에 따라서는, 제1 적외선 램프의 성능에 따라 제1 적외선 램프의 개수를 최소화할 수도 있으므로, 반드시 이에 한정되지는 않는다.

이처럼, 조명부(200)의 제1 적외선 램프는, 피사체와의 거리에 따라 밝기를 조절하는 밝기 조절형 근거리 램프이고, 조명부(200)의 제2 적외선 램프는, 촬영 주기마다 온/오프를 반복적으로 수행하는 점등형 원거리 램프일 수 있다.

한편, 제어부(400)는, 영상 촬영 요청이 수신되면 피사체와의 거리 정보 및 촬영 환경 정보를 획득하고, 획득한 피사체와의 거리 정보 및 촬영 환경 정보를 토대로 적외선 광의 변조 함수를 산출하며, 산출된 변조 함수를 토대로 변조된 적외선 광을 출사하도록 조명부(200)를 제어하고, 변조된 적외선 광의 출사 시간 동안에 다중 광도 영상들을 촬영하도록 카메라부(100)를 제어하며, 촬영된 다중 광도 영상들을 합성하여 처리하도록 영상 처리부(300)를 제어할 수 있다.

일 예로, 제어부(400)는, 획득한 피사체와의 거리 정보 및 촬영 환경 정보를 토대로 적외선 광의 변조 함수를 산출하는 조명 제어부(410), 조명 제어부(410)로부터 수신되는 프레임 레이트에 따라 다중 광도 영상들을 촬영하도록 카메라부(100)를 제어하는 카메라 제어부(420), 조명 제어부(430)로부터 수신되는 광 세기 제어에 따라 조명부(200)의 제1 적외선 램프의 밝기를 제어하는 조명 레벨 제어부(430), 그리고 조명 제어부(410)로부터 수신되는 타이밍 제어에 따라 조명부(200)의 제2 적외선 램프의 온/오프를 제어하는 조명 스위칭 제어부(440)를 포함할 수 있다.

제어부(400)는, 피사체와의 거리 정보 및 촬영 환경 정보를 획득할 때, 거리 센서(510)로부터 피사체와의 거리 정보를 획득하고, 조도 센서(520)로부터 주변 조도를 포함하는 촬영 환경 정보를 획득할 수 있다.

그리고, 제어부(400)는, 적외선 광의 변조 함수를 산출할 때, 피사체와의 거리 정보를 토대로 광 변조 대비값을 산출하고, 촬영 환경 정보를 토대로 광 변조 레벨값을 산출하며, 산출된 광 변조 대비값 및 광 변조 레벨값을 토대로 적외선 광의 변조 함수를 산출할 수 있다.

여기서, 제어부(400)는, 적외선 광의 변조 함수를 산출할 때, 적외선 광의 변조 함수 = 광 변조 대비값 * 광 변조 레벨값인 수식으로 산출할 수 있다.

일 예로, 산출한 광 변조 대비값은, 피사체와의 거리가 가까울수록 증가하고, 피사체와의 거리가 멀어질수록 감소할 수 있다.

또한, 산출한 광 변조 레벨값은, 촬영 환경 정보 중 주변 조도가 낮을수록 증가하고, 주변 조도가 높을수록 감소할 수 있다.

이어, 제어부(400)는, 조명부(200)를 제어할 때, 피사체와의 거리가 가까울수록 적외선 광의 밝기를 낮추어 광 변조 대비를 증가시키고, 피사체와의 거리가 멀어질수록 적외선 광의 밝기를 높여 광 변조 대비를 감소시키도록 조명부(200)의 제1 적외선 램프를 제어할 수 있다.

여기서, 제어부(400)는, 적외선 광의 밝기를 기준 밝기로부터 낮추어 기준 밝기와의 차이가 크도록 변조하여 광 변조 대비를 증가시키도록 조명부(200)의 제1 적외선 램프를 제어하거나 또는, 적외선 광의 밝기를 기준 밝기에 상응하도록 높여 기준 밝기와의 차이가 작도록 변조하여 광 변조 대비를 감소시키도록 조명부(200)의 제1 적외선 램프를 제어할 수 있다.

일 예로, 제어부(400)는, 피사체와의 거리가 최소 근거리이면 적외선 광의 밝기를 기준 밝기로부터 약 6배 ~ 약 20배 낮게 변조하도록 조명부(200)의 제1 적외선 램프를 제어하거나 또는, 피사체와의 거리가 최대 원거리이면 적외선 광의 밝기를 기준 밝기와 동일하도록 높게 변조하도록 조명부(200)의 제1 적외선 램프를 제어하거나 또는, 피사체와의 거리가 최소 근거리와 최대 원거리 사이의 중거리이면 적외선 광의 밝기를 기준 밝기로부터 약 1배 ~ 약 5배 낮게 변조하도록 조명부(200)의 제1 적외선 램프를 제어할 수 있다.

따라서, 제어부(400)는, 카메라부(100)의 영상 촬영 N 주기 동안에 적외선 광을 미리 설정된 기준 밝기로 출사하고, 카메라부(100)의 영상 촬영 N+1 주기 동안에 적외선 광을 피사체와의 거리에 따라 변조된 조정 밝기로 출사하도록 조명부(200)의 제1 적외선 램프를 제어할 수 있다.

다음, 제어부(400)는, 조명부(200)를 제어할 때, 촬영 환경 정보 중 주변 조도가 낮을수록 적외선 광의 광 변조 레벨을 증가시키고, 주변 조도가 높을수록 적외선 광의 광 변조 레벨을 감소시키도록 조명부(200)의 제2 적외선 램프를 제어할 수 있다.

여기서, 제어부(400)는, 적외선 광의 밝기를 미리 설정된 레벨로 높게 변조하여 광 변조 레벨을 증가시키도록 조명부(200)의 제2 적외선 램프를 제어하거나 또는, 적외선 광의 밝기를 미리 설정된 레벨로 낮게 변조하여 광 변조 레벨을 감소시키도록 조명부(200)의 제2 적외선 램프를 제어할 수 있다.

일 예로, 제어부(400)는, 주변 조도가 최소 조도이면 적외선 광의 밝기를 최대 레벨로 높게 변조하도록 조명부(200)의 제2 적외선 램프를 제어하거나 또는, 주변 조도가 최대 조도이면 적외선 광의 밝기 변조 없이 오프(off)되도록 조명부(200)의 제2 적외선 램프를 제어하거나 또는, 주변 조도가 최소 조도와 최대 조도 사이의 조도이면 적외선 광의 밝기를 최대 레벨 미만으로 낮게 변조하도록 조명부(200)의 제2 적외선 램프를 제어할 수 있다.

따라서, 제어부(400)는, 카메라부(100)의 영상 촬영 N 주기 동안에 적외선 광을 주변 조도에 따라 변조된 조정 밝기로 출사하고, 카메라부(100)의 영상 촬영 N+1 주기 동안에 적외선 광을 출사하지 않도록 오프되도록 조명부(200)의 제2 적외선 램프를 제어할 수 있다.

또한, 제어부(400)는, 카메라부(100)를 제어할 때, 조명부(200)의 제1 적외선 램프가 적외선 광을 미리 설정된 기준 밝기로 출사하는 N 주기 동안에 적외선 하이 레벨 광도 영상을 촬영하고, 조명부(200)의 제1 적외선 램프가 적외선 광을 피사체와의 거리에 따라 변조된 조정 밝기로 출사하는 N+1 주기 동안에 적외선 로우 레벨 광도 영상을 촬영하도록 카메라부(100)를 제어할 수 있다.

경우에 따라, 제어부(400)는, 카메라부(100)를 제어할 때, 조명부(200)의 제2 적외선 램프가 적외선 광을 주변 조도에 따라 변조된 조정 밝기로 출사하는 N 주기 동안에 적외선 하이 레벨 광도 영상을 촬영하고, 조명부(200)의 제2 적외선 램프가 적외선 광을 출사하지 않도록 오프되는 N+1 주기 동안에 적외선 로우 레벨 광도 영상을 촬영하도록 카메라부(100)를 제어할 수도 있다.

다른 경우로서, 제어부(400)는, 카메라부(100)를 제어할 때, 조명부(200)의 제1 적외선 램프가 적외선 광을 미리 설정된 기준 밝기로 출사하고 조명부(200)의 제2 적외선 램프가 적외선 광을 주변 조도에 따라 변조된 조정 밝기로 출사하는 N 주기 동안에 적외선 하이 레벨 광도 영상을 촬영하고, 조명부(200)의 제1 적외선 램프가 적외선 광을 피사체와의 거리에 따라 변조된 조정 밝기로 출사하고 조명부(200)의 제2 적외선 램프가 적외선 광을 출사하지 않도록 오프되는 N+1 주기 동안에 적외선 로우 레벨 광도 영상을 촬영하도록 카메라부(100)를 제어할 수도 있다.

또한, 제어부(400)는, 카메라부(100)를 제어할 때, 이미지 센서에서 영상 정보를 읽어가는 리드 아웃 시간(read-out time) 간격으로 적외선 하이 레벨 광도 영상과 적외선 로우 레벨 광도 영상을 촬영하도록 카메라부(100)를 제어할 수 있다.

경우에 따라, 제어부(400)는, 카메라부(100)를 제어할 때, 영상이 촬영되면 조명부(200)의 N 주기 동안에 적외선 하이 레벨 광도 영상을 캡쳐하고, 조명부(200)의 N+1 주기 동안에 적외선 로우 레벨 광도 영상을 캡쳐하도록 카메라부(100)를 제어할 수 있다.

이와 같은 2가지 방식으로 카메라부(100)를 제어하는 이유는 다음과 같다.

일반적으로, 시간 분할 방식 다중 광도 촬영의 공통적인 문제점은, 촬영의 시간 간격이 1/(frame rate) 초만큼 발생되므로(일 예로, 약 60Hz 촬영의 경우, 약 17ms 시간 간격 발생함), 물체 이동, 카메라 이동, 패닝, 줌, 흔들림 등이 발생할 때, 촬영 타이밍 오차로 인하여 물체의 이동이 발생될 수 있다.

즉, 다중 광도 영상의 피사체의 위치가 달라지므로, 영상 합성 시에, 윤곽선이 여러 겹 발생되는 고스트(ghost) 왜곡이 발생될 수 있다.

따라서, 본 발명은, IR 광 레벨 조절과 카메라 근접 셔터를 사용하여 촬영 타이밍 오차를 줄이는 방법을 사용할 수 있다.

일 예로, 카메라의 트리거 모드를 사용할 경우, 본 발명은, 센서에서 이미지 정보를 읽어가는 리드-아웃(read-out) 시간(센서 해상도와 성능에 따라 다름) 간격으로 두 영상을 촬영할 수 있다.

다음, 제어부(400)는, 영상 처리부(300)를 제어할 때, 가시광 영상, 적외선 하이 레벨 광도 영상, 적외선 로우 레벨 광도 영상을 포함하는 다수의 다중 광도 영상들을 합성하여 처리하도록 영상 처리부(300)를 제어할 수 있다.

그리고, 제어부(400)는, 영상 처리부(300)를 제어할 때, 적외선 하이 레벨 광도 영상으로부터 원거리 피사체 윤곽 정보를 획득하고, 적외선 로우 레벨 광도 영상으로부터 컬러 정보와 근거리 피사체 윤곽 정보를 획득하여 다중 광도 영상들을 합성하여 처리하도록 영상 처리부(300)를 제어할 수 있다.

한편, 본 발명은, 무선 통신부, 입력부, 출력부, 인터페이스부, 메모리부, 전원 공급부 등을 더 포함할 수도 있다.

여기서, 무선 통신부는, 다중 광도 영상 획득 장치와 무선 통신 시스템 사이, 다중 광도 영상 획득 장치와 다른 다중 광도 영상 획득 장치 사이, 또는 다중 광도 영상 획득 장치와 외부 서버가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.

이러한 무선 통신부는, 방송 수신 모듈, 이동 통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치 정보 모듈 중 적어도 하나를 포함할 수 있다.

또한, 입력부는, 영상 신호 입력을 위한 카메라부 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부를 포함할 수 있다.

입력부에서는, 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.

그리고, 센싱부는, 거리 센서, 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor), 마이크로폰(microphone), 배터리 게이지(battery gage), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다.

한편, 본 명세서에 개시된 다중 광도 영상 획득 장치는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.

이어, 출력부는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부, 음향 출력부, 햅팁 모듈, 광 출력부 중 적어도 하나를 포함할 수 있다.

다음, 디스플레이부는, 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.

이러한 터치 스크린은, 다중 광도 영상 획득 장치와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로서의 기능과 동시에, 다중 광도 영상 획득 장치와 사용자 사이의 출력 인터페이스를 제공할 수 있다.

그리고, 인터페이스부는, 다중 광도 영상 획득 장치에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다.

이러한 인터페이스부는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다.

다중 광도 영상 획득 장치에서는, 인터페이스부에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.

이어, 메모리부는, 다중 광도 영상 획득 장치에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 다중 광도 영상 획득 장치의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.

이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.

또한, 이러한 응용 프로그램 중 다른 적어도 일부는, 다중 광도 영상 획득 장치의 기본적인 기능을 위하여 출고 당시부터 다중 광도 영상 획득 장치에 존재할 수 있다.

한편, 응용 프로그램은, 메모리부에 저장되고, 다중 광도 영상 획득 장치에 설치되어, 제어부에 의하여 다중 광도 영상 획득 장치의 동작(또는 기능)을 수행하도록 구동될 수 있다.

이어, 제어부는, 응용 프로그램과 관련된 동작 외에도, 통상적으로 다중 광도 영상 획득 장치의 전반적인 동작을 제어할 수 있다.

제어부는, 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리부에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.

또한, 전원공급부는, 제어부의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 다중 광도 영상 획득 장치에 포함된 각 구성요소들에 전원을 공급한다.

이러한 전원공급부는, 배터리를 포함하며, 배터리는, 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.

상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 다중 광도 영상 획득 장치의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다.

또한, 다중 광도 영상 획득 장치의 동작, 제어, 또는 제어방법은, 메모리부에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 구현될 수 있다.

본 발명의 다양한 실시 예는, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

이와 같이, 본 발명은, 피사체와의 거리 정보 및 촬영 환경 정보를 토대로 적외선 광의 변조 함수를 산출하고, 이를 토대로 변조된 적외선 광을 출사하여 다중 광도 영상들을 촬영함으로써, 다양한 조명 환경에 대해 시각적으로 사물 식별과 인지가 가능한 영상 합성을 구현할 수 있다.

도 2는 본 발명에 따른 다중 광도 영상 획득 장치의 조명부 구조를 설명하기 위한 도면이고, 도 3은 본 발명에 따른 다중 광도 영상 획득 장치의 조명부 동작을 설명하기 위한 도면이다.

도 2 및 도 3에 도시된 바와 같이, 본 발명의 조명부(200)는, 피사체(10)와의 거리에 따라 적외선 광을 변조하여 출사하는 제1 적외선 램프(210)와, 촬영 환경에 따라 적외선 광을 변조하여 출사하는 제2 적외선 램프(220)를 포함할 수 있다.

여기서, 제1 적외선 램프(210)는, 피사체(10)와의 거리가 가까울수록 적외선 광의 밝기를 낮추어 광 변조 대비를 증가시키고, 피사체(10)와의 거리가 멀어질수록 적외선 광의 밝기를 높여 광 변조 대비를 감소시킬 수 있다.

즉, 제1 적외선 램프(210)는, 광 변조 대비를 증가시킬 때, 적외선 광의 밝기를 기준 밝기로부터 낮추어 기준 밝기와의 차이가 크도록 변조하고, 광 변조 대비를 감소시킬 때, 적외선 광의 밝기를 기준 밝기에 상응하도록 높여 기준 밝기와의 차이가 작도록 변조할 수 있다.

일 예로, 제1 적외선 램프(210)는, 피사체(10)와의 거리가 최소 근거리이면 적외선 광의 밝기를 기준 밝기로부터 약 6배 ~ 약 20배 낮게 변조하고, 피사체(10)와의 거리가 최대 원거리이면 적외선 광의 밝기를 기준 밝기와 동일하도록 높게 변조하며, 피사체와의 거리가 최소 근거리와 최대 원거리 사이의 중거리이면 적외선 광의 밝기를 기준 밝기로부터 약 1배 ~ 약 5배 낮게 변조할 수 있다.

그리고, 제1 적외선 램프(210)는, 카메라부(100)의 영상 촬영 N 주기 동안에 적외선 광을 미리 설정된 기준 밝기로 출사하고, 카메라부(100)의 영상 촬영 N+1 주기 동안에 적외선 광을 피사체와의 거리에 따라 변조된 조정 밝기로 출사할 수 있다.

다음, 제2 적외선 램프(220)는, 촬영 환경 중 주변 조도에 따라 변조된 적외선 광을 출사할 수 있다.

여기서, 제2 적외선 램프(220)는, 주변 조도가 낮을수록 적외선 광의 광 변조 레벨을 증가시키고, 주변 조도가 높을수록 적외선 광의 광 변조 레벨을 감소시킬 수 있다.

즉, 제2 적외선 램프(220)는, 광 변조 레벨을 증가시킬 때, 적외선 광의 밝기를 미리 설정된 레벨로 높게 변조하고, 광 변조 레벨을 감소시킬 때, 적외선 광의 밝기를 미리 설정된 레벨로 낮게 변조할 수 있다.

일 예로, 제2 적외선 램프(220)는, 주변 조도가 최소 조도이면 적외선 광의 밝기를 최대 레벨로 높게 변조하고, 주변 조도가 최대 조도이면 적외선 광의 밝기 변조 없이 오프(off)되며, 주변 조도가 최소 조도와 최대 조도 사이의 조도이면 적외선 광의 밝기를 최대 레벨 미만으로 낮게 변조할 수 있다.

그리고, 제2 적외선 램프(220)는, 카메라부(100)의 영상 촬영 N 주기 동안에 적외선 광을 주변 조도에 따라 변조된 조정 밝기로 출사하고, 카메라부(100)의 영상 촬영 N+1 주기 동안에 적외선 광을 출사하지 않도록 오프될 수 있다.

또한, 제1 적외선 램프(210)는, 카메라부(100)의 렌즈 주변 둘레를 감싸도록 배치되고, 제2 적외선 램프(220)는, 제1 적외선 램프(210)의 주변에 배치될 수 있는데, 이에 한정되지는 않는다.

여기서, 제1 적외선 램프(210)의 개수는, 제2 적외선 램프(220)의 개수보다 더 많을 수 있다.

그 이유는, 제1 적외선 램프(210)가 피사체(10)와의 거리에 따라 광 세기를 조절하기 위한 램프이고, 제2 적외선 램프(220)가 촬영 주기마다 온/오프를 반복적으로 수행하기 위한 램프이므로, 기능적으로 제1 적외선 램프(210)의 개수를 더 많이 배치하는 것이 바람직하기 때문이다.

하지만, 경우에 따라서는, 제1 적외선 램프(210)의 성능에 따라 제1 적외선 램프(210)의 개수를 최소화할 수도 있으므로, 반드시 이에 한정되지는 않는다.

이처럼, 조명부(200)의 제1 적외선 램프(210)는, 피사체와의 거리에 따라 밝기를 조절하는 밝기 조절형 근거리 램프이고, 조명부(200)의 제2 적외선 램프(220)는, 촬영 주기마다 온/오프를 반복적으로 수행하는 점등형 원거리 램프일 수 있다.

도 4는 본 발명에 따른 다중 광도 영상 획득 장치의 적외선 광 변조 방법을 설명하기 위한 타이밍도이다.

도 4에 도시된 바와 같이, 본 발명은, 거리 센서로부터 피사체와의 거리 정보를 획득하고, 조도 센서로부터 주변 조도를 포함하는 촬영 환경 정보를 획득할 수 있다.

그리고, 본 발명은, 거리 센서로부터 입력된 피사체와의 거리 정보를 토대로 광 변조 대비값을 산출하고, 조도 센서로부터 입력된 촬영 환경 정보를 토대로 광 변조 레벨값을 산출하며, 산출된 광 변조 대비값 및 광 변조 레벨값을 토대로 적외선 광의 변조 함수를 산출할 수 있다.

여기서, 본 발명은, 적외선 광의 변조 함수를 산출할 때, 적외선 광의 변조 함수 = 광 변조 대비값 * 광 변조 레벨값인 수식으로 산출할 수 있다.

도 4와 같이, 본 발명은, 피사체와의 거리가 가까울수록 적외선 광의 밝기를 낮추어 광 변조 대비를 증가시키고, 피사체와의 거리가 멀어질수록 적외선 광의 밝기를 높여 광 변조 대비를 감소시키도록 조명부의 제1 적외선 램프를 제어할 수 있다.

여기서, 본 발명은, 적외선 광의 밝기를 기준 밝기로부터 낮추어 기준 밝기와의 차이가 크도록 변조하여 광 변조 대비를 증가시키도록 조명부의 제1 적외선 램프를 제어하거나 또는, 적외선 광의 밝기를 기준 밝기에 상응하도록 높여 기준 밝기와의 차이가 작도록 변조하여 광 변조 대비를 감소시키도록 조명부의 제1 적외선 램프를 제어할 수 있다.

일 예로, 본 발명은, 피사체와의 거리가 최소 근거리이면 적외선 광의 밝기를 기준 밝기로부터 약 6배 ~ 약 20배 낮게 변조하도록 조명부의 제1 적외선 램프를 제어하거나 또는, 피사체와의 거리가 최대 원거리이면 적외선 광의 밝기를 기준 밝기와 동일하도록 높게 변조하도록 조명부의 제1 적외선 램프를 제어하거나 또는, 피사체와의 거리가 최소 근거리와 최대 원거리 사이의 중거리이면 적외선 광의 밝기를 기준 밝기로부터 약 1배 ~ 약 5배 낮게 변조하도록 조명부의 제1 적외선 램프를 제어할 수 있다.

따라서, 본 발명은, 카메라부의 영상 촬영 N 주기 동안에 적외선 광을 미리 설정된 기준 밝기로 출사하고, 카메라부의 영상 촬영 N+1 주기 동안에 적외선 광을 피사체와의 거리에 따라 변조된 조정 밝기로 출사하도록 조명부(200)의 제1 적외선 램프를 제어할 수 있다.

도 4와 같이, 본 발명은, 촬영 환경 정보 중 주변 조도가 낮을수록 적외선 광의 광 변조 레벨을 증가시키고, 주변 조도가 높을수록 적외선 광의 광 변조 레벨을 감소시키도록 조명부의 제2 적외선 램프를 제어할 수 있다.

여기서, 본 발명은, 적외선 광의 밝기를 미리 설정된 레벨로 높게 변조하여 광 변조 레벨을 증가시키도록 조명부의 제2 적외선 램프를 제어하거나 또는, 적외선 광의 밝기를 미리 설정된 레벨로 낮게 변조하여 광 변조 레벨을 감소시키도록 조명부의 제2 적외선 램프를 제어할 수 있다.

일 예로, 본 발명은, 주변 조도가 최소 조도이면 적외선 광의 밝기를 최대 레벨로 높게 변조하도록 조명부의 제2 적외선 램프를 제어하거나 또는, 주변 조도가 최대 조도이면 적외선 광의 밝기 변조 없이 오프(off)되도록 조명부의 제2 적외선 램프를 제어하거나 또는, 주변 조도가 최소 조도와 최대 조도 사이의 조도이면 적외선 광의 밝기를 최대 레벨 미만으로 낮게 변조하도록 조명부의 제2 적외선 램프를 제어할 수 있다.

따라서, 본 발명은, 카메라부의 영상 촬영 N 주기 동안에 적외선 광을 주변 조도에 따라 변조된 조정 밝기로 출사하고, 카메라부의 영상 촬영 N+1 주기 동안에 적외선 광을 출사하지 않도록 오프되도록 조명부의 제2 적외선 램프를 제어할 수 있다.

또한, 도 4와 같이, 본 발명은, 조명부의 제1 적외선 램프가 적외선 광을 미리 설정된 기준 밝기로 출사하는 N 주기 동안에 적외선 하이 레벨 광도 영상(High IR)을 촬영하고, 조명부의 제1 적외선 램프가 적외선 광을 피사체와의 거리에 따라 변조된 조정 밝기로 출사하는 N+1 주기 동안에 적외선 로우 레벨 광도 영상(Low IR)을 촬영하도록 카메라부를 제어할 수 있다.

또한, 본 발명은, 조명부의 제2 적외선 램프가 적외선 광을 주변 조도에 따라 변조된 조정 밝기로 출사하는 N 주기 동안에 적외선 하이 레벨 광도 영상(High IR)을 촬영하고, 조명부의 제2 적외선 램프가 적외선 광을 출사하지 않도록 오프되는 N+1 주기 동안에 적외선 로우 레벨 광도 영상(Low IR)을 촬영하도록 카메라부를 제어할 수도 있다.

이와 같이, 본 발명은, 도 4와 같이, 조도 환경이 어두울수록 적외선 램프 변조 강하게 하고, 조도 환경이 밝을수록 적외선 램프 가변을 하지 않고 적외선 램프를 오프(off)시킬 수 있다.

또한, 본 발명은, 근거리 피사체와의 거리가 가까울수록 조절형 램프의 밝기를 낮추어 변조 대비를 높히고, 근거리 피사체와의 거리가 멀수록 조절형 램프의 밝기를 높혀 변조 대비를 낮출 수 있다.

따라서, 최종 광 변조 출력은, 하기와 같이, 광 변조 레벨과 광 변조 대비 함수를 곱한 값이 될 수 있다.

광 변조 함수 = (광 변조 레벨)*(광 변조 대비)

도 5는 본 발명에 따른 다중 광도 영상 획득 방법을 설명하기 위한 흐름도이다.

도 5에 도시된 바와 같이, 본 발명의 제어부는, 영상 촬영 요청이 수신되는지를 확인할 수 있다(S10).

그리고, 제어부는, 영상 촬영 요청이 수신되면 피사체와의 거리 정보 및 촬영 환경 정보를 획득할 수 있다(S20).

여기서, 제어부는, 피사체와의 거리를 센싱하는 거리 센서로부터 피사체와의 거리 정보를 획득하고, 주변 조도를 센싱하는 조도 센서로부터 촬영 환경 정보를 획득할 수 있다.

이어, 제어부는, 획득한 피사체와의 거리 정보 및 촬영 환경 정보를 토대로 적외선 광의 변조 함수를 산출할 수 있다(S30).

여기서, 적외선 광의 변조 함수를 산출하는 단계(S30)는, 피사체와의 거리 정보를 토대로 광 변조 대비값을 산출하는 단계, 촬영 환경 정보를 토대로 광 변조 레벨값을 산출하는 단계, 그리고 산출된 광 변조 대비값 및 광 변조 레벨값을 토대로 적외선 광의 변조 함수를 산출하는 단계를 포함할 수 있다.

일 예로, 제어부는, 적외선 광의 변조 함수를 산출할 때, 적외선 광의 변조 함수 = 광 변조 대비값 * 광 변조 레벨값인 수식으로 산출할 수 있다.

여기서, 산출한 광 변조 대비값은, 피사체와의 거리가 가까울수록 증가하고, 피사체와의 거리가 멀어질수록 감소할 수 있다.

다음, 제어부는, 산출된 변조 함수를 토대로 변조된 적외선 광을 출사하도록 조명부를 제어하고, 변조된 적외선 광의 출사 시간 동안에 다중 광도 영상들을 촬영하도록 카메라부를 제어할 수 있다(S40).

여기서, 제어부는, 조명부를 제어할 때, 피사체와의 거리가 가까울수록 적외선 광의 밝기를 낮추어 광 변조 대비를 증가시키고, 피사체와의 거리가 멀어질수록 적외선 광의 밝기를 높여 광 변조 대비를 감소시키도록 조명부의 제1 적외선 램프를 제어할 수 있다.

이때, 제어부는, 카메라부의 영상 촬영 N 주기 동안에 상기 적외선 광을 미리 설정된 기준 밝기로 출사하고, 카메라부의 영상 촬영 N+1 주기 동안에 적외선 광을 피사체와의 거리에 따라 변조된 조정 밝기로 출사하도록 조명부의 제1 적외선 램프를 제어할 수 있다.

이때, 제어부는, 카메라부의 영상 촬영 N 주기 동안에 적외선 광을 주변 조도에 따라 변조된 조정 밝기로 출사하고, 카메라부의 영상 촬영 N+1 주기 동안에 적외선 광을 출사하지 않도록 오프되도록 조명부의 제2 적외선 램프를 제어할 수 있다.

다른 경우로서, 제어부는, 카메라부를 제어할 때, 조명부의 제2 적외선 램프가 적외선 광을 주변 조도에 따라 변조된 조정 밝기로 출사하는 N 주기 동안에 적외선 하이 레벨 광도 영상을 촬영하고, 조명부의 제2 적외선 램프가 적외선 광을 출사하지 않도록 오프되는 N+1 주기 동안에 적외선 로우 레벨 광도 영상을 촬영하도록 카메라부를 제어할 수도 있다.

또 다른 경우로서, 제어부는, 카메라부를 제어할 때, 조명부의 제1 적외선 램프가 적외선 광을 미리 설정된 기준 밝기로 출사하고 조명부의 제2 적외선 램프가 적외선 광을 주변 조도에 따라 변조된 조정 밝기로 출사하는 N 주기 동안에 적외선 하이 레벨 광도 영상을 촬영하고, 조명부의 제1 적외선 램프가 적외선 광을 피사체와의 거리에 따라 변조된 조정 밝기로 출사하고 조명부의 제2 적외선 램프가 적외선 광을 출사하지 않도록 오프되는 N+1 주기 동안에 적외선 로우 레벨 광도 영상을 촬영하도록 카메라부를 제어하할 수도 있다.

또한, 제어부는, 촬영 타이밍 오차로 인한 고스트 현상을 제거하기 위하여 카메라부를 제어할 때, 이미지 센서에서 영상 정보를 읽어가는 리드 아웃 시간(read-out time) 간격으로 적외선 하이 레벨 광도 영상과 적외선 로우 레벨 광도 영상을 촬영하도록 카메라부를 제어할 수 있다.

그리고, 제어부는, 촬영된 다중 광도 영상들을 합성하여 처리하도록 영상 처리부를 제어할 수 있다(S50).

여기서, 제어부는, 영상 처리부를 제어할 때, 가시광 광도, 적외선 하이 레벨 광도 영상, 적외선 로우 레벨 광도 영상을 포함하는 다수의 다중 광도 영상들을 합성하여 처리하도록 영상 처리부를 제어할 수 있다.

그리고, 제어부는, 영상 처리부를 제어할 때, 적외선 하이 레벨 광도 영상으로부터 원거리 피사체 윤곽 정보를 획득하고, 적외선 로우 레벨 광도 영상으로부터 컬러 정보와 근거리 피사체 윤곽 정보를 획득하여 다중 광도 영상들을 합성하여 처리하도록 영상 처리부를 제어할 수 있다.

다음, 제어부는, 영상 촬영 종료이면 영상 촬영 동작을 종료할 수 있다(S60).

이상에서 본 발명들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

100: 카메라부
200: 조명부
300: 영상 처리부
400: 제어부
500: 센싱부

Claims

소정의 영상을 촬영하는 카메라부;
상기 카메라부의 주변에 배치되어 적외선 파장대의 적외선 광을 출사하는 조명부;
상기 촬영된 다수의 영상을 합성하여 처리하는 영상 처리부; 그리고,
상기 카메라부, 조명부 및 영상 처리부를 제어하는 제어부를 포함하고,
상기 제어부는,
영상 촬영 요청이 수신되면 피사체와의 거리 정보 및 촬영 환경 정보를 획득하고, 상기 획득한 피사체와의 거리 정보 및 촬영 환경 정보를 토대로 상기 적외선 광의 변조 함수를 산출하며, 상기 산출된 변조 함수를 토대로 변조된 적외선 광을 출사하도록 상기 조명부를 제어하고, 상기 변조된 적외선 광의 출사 시간 동안에 다중 광도 영상들을 촬영하도록 상기 카메라부를 제어하며, 상기 촬영된 다중 광도 영상들을 합성하여 처리하도록 상기 영상 처리부를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
제1 항에 있어서,
상기 피사체와의 거리 및 촬영 환경을 센싱하는 센싱부를 더 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
제1 항에 있어서, 상기 조명부는,
상기 피사체와의 거리에 따라 상기 적외선 광을 변조하여 출사하는 제1 적외선 램프; 그리고,
상기 촬영 환경에 따라 상기 적외선 광을 변조하여 출사하는 제2 적외선 램프를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
제1 항에 있어서, 상기 제어부는,
상기 적외선 광의 변조 함수를 산출할 때, 상기 피사체와의 거리 정보를 토대로 광 변조 대비값을 산출하고, 상기 촬영 환경 정보를 토대로 광 변조 레벨값을 산출하며, 상기 산출된 광 변조 대비값 및 광 변조 레벨값을 토대로 상기 적외선 광의 변조 함수를 산출하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
제1 항에 있어서, 상기 제어부는,
상기 조명부를 제어할 때, 상기 피사체와의 거리가 가까울수록 상기 적외선 광의 밝기를 낮추어 광 변조 대비를 증가시키고, 상기 피사체와의 거리가 멀어질수록 상기 적외선 광의 밝기를 높여 광 변조 대비를 감소시키도록 상기 조명부의 제1 적외선 램프를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
제1 항에 있어서, 상기 제어부는,
상기 조명부를 제어할 때, 상기 촬영 환경 정보 중 주변 조도가 낮을수록 상기 적외선 광의 광 변조 레벨을 증가시키고, 상기 주변 조도가 높을수록 상기 적외선 광의 광 변조 레벨을 감소시키도록 상기 조명부의 제2 적외선 램프를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
제1 항에 있어서, 상기 제어부는,
상기 카메라부를 제어할 때, 상기 조명부의 제1 적외선 램프가 상기 적외선 광을 미리 설정된 기준 밝기로 출사하는 N 주기 동안에 적외선 하이 레벨 광도 영상을 촬영하고, 상기 조명부의 제1 적외선 램프가 상기 적외선 광을 상기 피사체와의 거리에 따라 변조된 조정 밝기로 출사하는 N+1 주기 동안에 적외선 로우 레벨 광도 영상을 촬영하도록 상기 카메라부를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
제1 항에 있어서, 상기 제어부는,
상기 카메라부를 제어할 때, 상기 조명부의 제2 적외선 램프가 상기 적외선 광을 주변 조도에 따라 변조된 조정 밝기로 출사하는 N 주기 동안에 적외선 하이 레벨 광도 영상을 촬영하고, 상기 조명부의 제2 적외선 램프가 상기 적외선 광을 출사하지 않도록 오프되는 N+1 주기 동안에 적외선 로우 레벨 광도 영상을 촬영하도록 상기 카메라부를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
제1 항에 있어서, 상기 제어부는,
상기 획득한 피사체와의 거리 정보 및 촬영 환경 정보를 토대로 상기 적외선 광의 변조 함수를 산출하는 조명 제어부;
상기 조명 제어부로부터 수신되는 프레임 레이트에 따라 상기 다중 광도 영상들을 촬영하도록 상기 카메라부를 제어하는 카메라 제어부;
상기 조명 제어부로부터 수신되는 광 세기 제어에 따라 상기 조명부의 제1 적외선 램프의 밝기를 제어하는 조명 레벨 제어부; 그리고,
상기 조명 제어부로부터 수신되는 타이밍 제어에 따라 상기 조명부의 제2 적외선 램프의 온/오프를 제어하는 조명 스위칭 제어부를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 장치.
카메라부, 조명부 및 영상 처리부를 제어하는 제어부를 포함하는 다중 광도 영상 획득 장치의 다중 광도 영상 획득 방법에 있어서,
상기 제어부가, 영상 촬영 요청이 수신되는지를 확인하는 단계;
상기 제어부가, 영상 촬영 요청이 수신되면 피사체와의 거리 정보 및 촬영 환경 정보를 획득하는 단계;
상기 제어부가, 상기 획득한 피사체와의 거리 정보 및 촬영 환경 정보를 토대로 적외선 광의 변조 함수를 산출하는 단계;
상기 제어부가, 상기 산출된 변조 함수를 토대로 변조된 적외선 광을 출사하도록 상기 조명부를 제어하고, 상기 변조된 적외선 광의 출사 시간 동안에 다중 광도 영상들을 촬영하도록 상기 카메라부를 제어하는 단계; 그리고,
상기 제어부가, 상기 촬영된 다중 광도 영상들을 합성하여 처리하도록 상기 영상 처리부를 제어하는 단계를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
제10 항에 있어서, 상기 피사체와의 거리 정보 및 촬영 환경 정보를 획득하는 단계는,
상기 피사체와의 거리를 센싱하는 거리 센서로부터 상기 피사체와의 거리 정보를 획득하고,
주변 조도를 센싱하는 조도 센서로부터 상기 촬영 환경 정보를 획득하는 것을 포함하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
제10항에 있어서, 상기 적외선 광의 변조 함수를 산출하는 단계는,
상기 피사체와의 거리 정보를 토대로 광 변조 대비값을 산출하는 단계;
상기 촬영 환경 정보를 토대로 광 변조 레벨값을 산출하는 단계;
상기 산출된 광 변조 대비값 및 광 변조 레벨값을 토대로 상기 적외선 광의 변조 함수를 산출하는 단계를 포함하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
제12항에 있어서, 상기 적외선 광의 변조 함수를 산출하는 단계는,
적외선 광의 변조 함수 = 광 변조 대비값 * 광 변조 레벨값인 수식으로 산출하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
제12 항에 있어서, 상기 산출한 광 변조 대비값은,
상기 피사체와의 거리가 가까울수록 증가하고, 상기 피사체와의 거리가 멀어질수록 감소하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
제12 항에 있어서, 상기 산출한 광 변조 레벨값은,
상기 촬영 환경 정보 중 주변 조도가 낮을수록 증가하고, 상기 주변 조도가 높을수록 감소하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
제10 항에 있어서, 상기 조명부를 제어하는 단계는,
상기 피사체와의 거리가 가까울수록 상기 적외선 광의 밝기를 낮추어 광 변조 대비를 증가시키고, 상기 피사체와의 거리가 멀어질수록 상기 적외선 광의 밝기를 높여 광 변조 대비를 감소시키도록 상기 조명부의 제1 적외선 램프를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
제16 항에 있어서, 상기 조명부를 제어하는 단계는,
상기 적외선 광의 밝기를 기준 밝기로부터 낮추어 상기 기준 밝기와의 차이가 크도록 변조하여 상기 광 변조 대비를 증가시키도록 상기 조명부의 제1 적외선 램프를 제어하거나 또는,
상기 적외선 광의 밝기를 상기 기준 밝기에 상응하도록 높여 상기 기준 밝기와의 차이가 작도록 변조하여 상기 광 변조 대비를 감소시키도록 상기 조명부의 제1 적외선 램프를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
제17 항에 있어서, 상기 조명부를 제어하는 단계는,
상기 피사체와의 거리가 최소 근거리이면 상기 적외선 광의 밝기를 기준 밝기로부터 6배 ~ 20배 낮게 변조하도록 상기 조명부의 제1 적외선 램프를 제어하거나 또는,
상기 피사체와의 거리가 최대 원거리이면 상기 적외선 광의 밝기를 상기 기준 밝기와 동일하도록 높게 변조하도록 상기 조명부의 제1 적외선 램프를 제어하거나 또는,
상기 피사체와의 거리가 상기 최소 근거리와 최대 원거리 사이의 중거리이면 상기 적외선 광의 밝기를 상기 기준 밝기로부터 1배 ~ 5배 낮게 변조하도록 상기 조명부의 제1 적외선 램프를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
제16 항에 있어서, 상기 조명부를 제어하는 단계는,
상기 카메라부의 영상 촬영 N 주기 동안에 상기 적외선 광을 미리 설정된 기준 밝기로 출사하고, 상기 카메라부의 영상 촬영 N+1 주기 동안에 상기 적외선 광을 상기 피사체와의 거리에 따라 변조된 조정 밝기로 출사하도록 상기 조명부의 제1 적외선 램프를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
제10 항에 있어서, 상기 조명부를 제어하는 단계는,
상기 촬영 환경 정보 중 주변 조도가 낮을수록 상기 적외선 광의 광 변조 레벨을 증가시키고, 상기 주변 조도가 높을수록 상기 적외선 광의 광 변조 레벨을 감소시키도록 상기 조명부의 제2 적외선 램프를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
제20 항에 있어서, 상기 조명부를 제어하는 단계는,
상기 적외선 광의 밝기를 미리 설정된 레벨로 높게 변조하여 상기 광 변조 레벨을 증가시키도록 상기 조명부의 제2 적외선 램프를 제어하거나 또는,
상기 적외선 광의 밝기를 미리 설정된 레벨로 낮게 변조하여 상기 광 변조 레벨을 감소시키도록 상기 조명부의 제2 적외선 램프를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
제21 항에 있어서, 상기 조명부를 제어하는 단계는,
상기 주변 조도가 최소 조도이면 상기 적외선 광의 밝기를 최대 레벨로 높게 변조하도록 상기 조명부의 제2 적외선 램프를 제어하거나 또는,
상기 주변 조도가 최대 조도이면 상기 적외선 광의 밝기 변조 없이 오프(off)되도록 상기 조명부의 제2 적외선 램프를 제어하거나 또는,
상기 주변 조도가 상기 최소 조도와 최대 조도 사이의 조도이면 상기 적외선 광의 밝기를 상기 최대 레벨 미만으로 낮게 변조하도록 상기 조명부의 제2 적외선 램프를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
제20 항에 있어서, 상기 조명부를 제어하는 단계는,
상기 카메라부의 영상 촬영 N 주기 동안에 상기 적외선 광을 상기 주변 조도에 따라 변조된 조정 밝기로 출사하고, 상기 카메라부의 영상 촬영 N+1 주기 동안에 상기 적외선 광을 출사하지 않도록 오프되도록 상기 조명부의 제2 적외선 램프를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 방법.
제10 항에 있어서, 상기 카메라부를 제어하는 단계는,
상기 조명부의 제1 적외선 램프가 상기 적외선 광을 미리 설정된 기준 밝기로 출사하는 N 주기 동안에 적외선 하이 레벨 광도 영상을 촬영하고, 상기 조명부의 제1 적외선 램프가 상기 적외선 광을 상기 피사체와의 거리에 따라 변조된 조정 밝기로 출사하는 N+1 주기 동안에 적외선 로우 레벨 광도 영상을 촬영하도록 상기 카메라부를 제어하는 것을 특징으로 하는 다중 광도 영상 획득 방법.