KR102246111B1 - 광 변색 렌즈를 이용한 영상 획득 방법 및 그를 위한 장치 - Google Patents

광 변색 렌즈를 이용한 영상 획득 방법 및 그를 위한 장치 Download PDF

Info

Publication number
KR102246111B1
KR102246111B1 KR1020190176204A KR20190176204A KR102246111B1 KR 102246111 B1 KR102246111 B1 KR 102246111B1 KR 1020190176204 A KR1020190176204 A KR 1020190176204A KR 20190176204 A KR20190176204 A KR 20190176204A KR 102246111 B1 KR102246111 B1 KR 102246111B1
Authority
KR
South Korea
Prior art keywords
image
value
integration time
average value
change
Prior art date
Application number
KR1020190176204A
Other languages
English (en)
Inventor
박현우
김지혜
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020190176204A priority Critical patent/KR102246111B1/ko
Application granted granted Critical
Publication of KR102246111B1 publication Critical patent/KR102246111B1/ko

Links

Images

Classifications

    • H04N5/2254—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H04N5/2351—

Abstract

광 변색 렌즈를 이용한 영상 획득 방법 및 그를 위한 장치를 개시한다.
본 발명의 실시예에 따른 광 변색 렌즈를 이용한 영상 획득 장치는, 외부 밝기 변화에 따라 광원의 투과율이 변화되는 상기 광 변색 렌즈를 포함하는 변색 렌즈부; 상기 광 변색 렌즈를 투과한 광원을 전기적 신호로 변환한 픽셀 출력 신호를 기반으로 영상을 형성하는 영상 센서부; 상기 영상의 픽셀 출력 신호를 기반으로 영상 평균값을 확인하고, 상기 영상 평균값의 변화율에 근거하여 상기 영상의 출력 레벨을 조정하는 제어부; 및 상기 출력 레벨이 조정된 최종 획득 영상을 출력하는 영상 출력부를 포함할 수 있다.

Description

광 변색 렌즈를 이용한 영상 획득 방법 및 그를 위한 장치{Method and Apparatus for Image Acquisition Using Photochromic Lens}
본 발명은 외부 밝기의 변화에 의해 투과율이 가변되는 광 변색 렌즈를 이용하여 영상을 획득하는 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
종래에는 야외에서 영상을 획득하는 과정에서 영상이 포화되는 것을 막기 위해 고정 투과율을 가진 투과율 감소 필터를 적용함으로써, 입사되는 에너지량을 줄이고, 가시광 카메라의 적분시간이나 gain을 조절하여 가시광 영상 레벨이 적절한 수준을 유지할 수 있도록 자동노출 알고리즘을 수행한다.
일반적으로 밝은 야외 환경에서 가시광 영상을 획득해야 하는 경우 에너지의 세기가 커서 영상이 포화가 될 것을 대비하여 ND 필터(Neutral-Density Filter)를 적용하여 빛의 투과율을 낮춘다. 이러한 경우, 흐린 야외나 실내에서는 적분시간이나 gain을 조절할 수 있는 범위의 제한이 있기 때문에 적분시간이나 gain을 최대치로 적용하더라도 굉장히 낮은 레벨의 영상만 획득이 가능하게 된다.
고정적인 투과율을 가지는 투과율 감소 필터를 사용하여 영상을 획득하는 경우, 환경에 따라 어두울 때와 밝을 때의 영상 레벨 차이가 크기 때문에 투과율 감소 필터를 사용하더라도 영상의 레벨이 너무 낮아질 수 있다. 한편, 투과율 감소 필터를 사용하지 않을 경우에는 빛의 세기가 너무 강하여 영상이 포화 상태가 될 수 있다. 즉, 종래의 영상 획득 장치는 투과율 감소 필터를 사용함에 따라 빛이 강한 환경과 빛이 약한 환경 모두를 만족시키면서 영상을 획득할 수 없다는 문제점이 있다.
본 발명은 외부 밝기 변화에 따라 투과율이 변화되는 광 변색 렌즈를 투과한 광원을 기반으로 영상을 생성하고, 생성된 영상의 영상 평균값과 변화율을 기반으로 영상의 출력 레벨을 조정하여 최종 획득 영상을 출력하는 광 변색 렌즈를 이용한 영상 획득 방법 및 그를 위한 장치를 제공하는 데 주된 목적이 있다.
본 발명의 일 측면에 의하면, 상기 목적을 달성하기 위한 광 변색 렌즈를 이용한 영상 획득 장치는, 외부 밝기 변화에 따라 광원의 투과율이 변화되는 상기 광 변색 렌즈를 포함하는 변색 렌즈부; 상기 광 변색 렌즈를 투과한 광원을 전기적 신호로 변환한 픽셀 출력 신호를 기반으로 영상을 형성하는 영상 센서부; 상기 영상의 픽셀 출력 신호를 기반으로 영상 평균값을 확인하고, 상기 영상 평균값의 변화율에 근거하여 상기 영상의 출력 레벨을 조정하는 제어부; 및 상기 출력 레벨이 조정된 최종 획득 영상을 출력하는 영상 출력부를 포함할 수 있다.
또한, 본 발명의 다른 측면에 의하면, 상기 목적을 달성하기 위한 광 변색 렌즈를 이용한 영상 획득 방법은, 외부 밝기 변화에 따라 상기 광 변색 렌즈를 투과하는 광원의 투과율이 변화되는 변색 렌즈 투과 단계; 상기 광 변색 렌즈를 투과한 광원을 전기적 신호로 변환한 픽셀 출력 신호를 기반으로 영상을 형성하는 영상 센서 처리 단계; 상기 영상의 픽셀 출력 신호를 기반으로 영상 평균값을 확인하고, 상기 영상 평균값의 변화율에 근거하여 상기 영상의 출력 레벨을 조정하는 제어 단계; 및 상기 출력 레벨이 조정된 최종 획득 영상을 출력하는 영상 출력 단계를 포함할 수 있다.
이상에서 설명한 바와 같이, 본 발명은 투과율 가변을 위한 별도의 제어 알고리즘이 필요하지 않아 영상 획득 장치의 구현을 간단하게 할 수 있는 효과가 있다.
또한, 본 발명은 주변 환경이 어둡거나 밝은 경우 모두를 커버할 수 있어, 다양한 빛의 세기를 가진 더 넓은 범위의 가시광 영상을 획득할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 광 변색 렌즈를 이용한 영상 획득 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 영상 획득 장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 영상 획득 장치의 제어부를 개략적으로 나타낸 블록 구성도이다.
도 4는 본 발명의 실시예에 따른 광 변색 렌즈를 이용한 영상 획득 방법을 나타낸다.
도 5는 본 발명의 실시예에 따른 광 변색 렌즈 및 적분시간 예측을 이용한 영상 획득 방법을 나타낸다.
도 6a 및 도 6b는 종래의 고정 투과율 필터를 이용한 영상 획득 동작 결과와 본 발명의 광 변색 렌즈를 이용한 영상 획득 동작 결과를 나타낸 예시도이다.
도 7a 및 도 7b는 본 발명의 실시예에 따른 적분시간 조정을 통해 출력 레벨이 조정된 영상을 획득하는 동작을 나타낸 예시도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다. 이하에서는 도면들을 참조하여 본 발명에서 제안하는 광 변색 렌즈를 이용한 영상 획득 방법 및 그를 위한 장치에 대해 자세하게 설명하기로 한다.
본 발명의 영상 획득 장치 및 방법은 군용 장비에 적용될 수 있으나 반드시 이에 한정되는 것은 아니며, 가시광 영상 획득을 필요로 하는 다양한 분야에 적용될 수 있다. 예를 들어, 본 발명의 영상 획득 장치 및 방법은 표적을 추적하기 위한 감시정찰 장비에서 가시광 영상을 획득하기 위해 적용될 수 있다.
도 1은 본 발명의 실시예에 따른 광 변색 렌즈를 이용한 영상 획득 동작을 설명하기 위한 도면이다.
본 실시예에 따른 영상 획득 장치(100)는 변색 렌즈(110)를 사용하여 가시광 영상을 획득한다.
영상 획득 장치(100)는 입사되는 빛의 세기에 따라 투과율이 변화하는 변색 렌즈(110)를 적용하여 빛의 세기가 약할 때는 많은 양의 빛을 투과할 수 있도록 하고, 빛의 세기가 강할 때는 입사되는 빛의 일부를 차단하여 다양한 빛의 세기를 가진 넓은 범위의 가시광 영상을 획득할 수 있다.
다시 말해, 영상 획득 장치(100)는 가시광 광학계 내부에 변색 렌즈(110)를 적용하여 입사하는 빛의 세기에 따라 광학계를 투과하여 센서가 받아들이는 에너지가 가변 될 수 있도록 한다.
도 1의 (a)에 도시된 바와 같이, 입사광의 세기가 클 경우 영상 획득 장치(100)에서는 변색 렌즈(110)의 투과율이 낮아져 광학계를 투과한 빛의 세기가 입사광에 비하여 크게 줄어들게 된다. 또한, 도 1의 (b)에 도시된 바와 같이, 입사광의 세기가 작을 경우 영상 획득 장치(100)에서는 변색 렌즈(110)의 투과율이 높아져 광학계를 투과한 빛의 손실을 줄인다. 이와 같이,
도 2는 본 발명의 실시예에 따른 영상 획득 장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 영상 획득 장치(100)는 변색 렌즈부(110), 영상 센서부(120), 제어부(130) 및 영상 출력부(140)를 포함한다. 도 2의 영상 획득 장치(100)는 일 실시예에 따른 것으로서, 도 2에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 영상 획득 장치(100)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다.
영상 획득 장치(100)는 입사되는 빛의 세기에 따라 투과율이 변화하는 변색 렌즈부(110)를 적용하여 빛의 세기가 약할 때는 많은 양의 빛을 투과할 수 있도록 하고, 빛의 세기가 강할 때는 입사되는 빛의 일부를 차단하여 다양한 빛의 세기를 가진 넓은 범위의 가시광 영상을 획득할 수 있다.
또한, 영상 획득 장치(100)는 변색 렌즈부(110)를 투과하여 형성된 영상에 대한 영상 평균값을 계산하고, 영상 평균값의 변화율을 기반으로 영상의 출력 레벨을 조정하여 최종 획득 영상을 출력할 수 있다.
변색 렌즈부(110)는 외부 밝기 변화에 따라 광원의 투과율이 변화되는 광 변색 렌즈를 포함한다. 여기서, 광 변색 렌즈는 빛의 양이 많은 주간에는 선글라스처럼 어둡게, 빛의 양이 적은 야간에는 투명하게 변색되는 렌즈로써, 자외선 노출 양에 따라 변색했다가 자외선이 줄어들면 다시 밝아지는 특징이 있다.
영상 센서부(120)는 광 변색 렌즈를 투과한 광원을 전기적 신호로 변환한 픽셀 출력 신호를 기반으로 영상을 형성하는 동작을 수행한다.
영상 센서부(120)는 복수의 픽셀 어레이를 포함하는 이미지 센서로서, 영상 센서부(120)는 픽셀 어레이(PA), 타이밍 발생기(TG), 샘플링부(SM), 아날로그-디지털 변환기(ADC), 칼라 정보 계산부(CC), 깊이 정보 계산부(DC) 및 적분 시간 조절부(TAU) 등을 구비할 수 있다.
본 실시예에 따른 영상 센서부(120)는 타겟 표적 또는 배경 영상 등에 대한 영상 정보를 센싱하는 TOF(Time of Flight) 이미지 센서일 수 있다.
영상 센서부(120)는 광전 변환 소자(미도시)를 포함하는 복수의 픽셀 각각을 통해 픽셀 출력 신호를 출력하고, 픽셀 출력 신호를 기반으로 영상(이미지)를 형성할 수 있다.
영상 센서부(120)는 형성된 영상으로부터 적분 시간의 변동 여부를 자동으로 검출하고, 변동된 적분 시간을 조정할 수 있다. 이러한 적분 시간의 조정은 제어부(130)와의 연동을 통해 수행될 수 있다.
제어부(130)는 영상의 픽셀 출력 신호를 기반으로 영상 평균값을 확인하고, 영상 평균값의 변화율에 근거하여 상기 영상의 출력 레벨을 조정하는 동작을 수행한다.
제어부(130)는 자외선 양에 따라 변색 렌즈의 투과율이 변화된 상태에서 샘플링된 복수의 픽셀 출력 신호를 기반으로 형성된 영상을 획득하고, 복수의 픽셀 출력 신호의 평균을 산출하여 상기 영상 평균값을 확인한다.
제어부(130)는 영상 평균값의 변화율을 기 설정된 기준치와 비교하여 상기 외부 밝기 변화의 정도를 판단하고, 외부 밝기 변화의 정도에 따라 적분시간을 변경하여 영상 평균값이 기 설정된 목표값에 도달하도록 제어한다. 제어부(130)의 자세한 동작을 도 3에서 설명하도록 한다.
영상 출력부(140)는 제어부(130)에 의해 영상의 출력 레벨이 조정된 최종 획득 영상을 출력한다. 본 실시예에 따른 영상 출력부(140)는 획득된 영상을 출력할 수 있다면 다양한 형태로 구현될 수 있다.
도 3은 본 발명의 실시예에 따른 영상 획득 장치의 제어부를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 영상 획득 장치(100)의 제어부(130)는 영상 획득부(310), 영상 평균값 판단부(320) 및 영상 평균값 제어부(330)를 포함한다. 도 3의 제어부(130)는 일 실시예에 따른 것으로서, 도 3에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 제어부(130)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다. 한편, 제어부(130)는 영상 획득 장치(100)에 포함된 구성인 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 영상 획득 장치(100)와 연동하는 영상 출력 레벨 제어장치(미도시)와 같이 별도의 장치로 구현될 수도 있다.
제어부(130)는 영상의 픽셀 출력 신호를 기반으로 영상 평균값을 확인하고, 영상 평균값의 변화율에 근거하여 영상의 출력 레벨을 조정하는 동작을 수행한다. 이하, 제어부(130)에 포함된 구성요소 각각의 동작에 대해 설명하도록 한다.
영상 획득부(310)는 자외선 양에 따라 변색 렌즈의 투과율이 변화된 상태에서 샘플링된 복수의 픽셀 출력 신호를 기반으로 형성된 영상을 획득한다.
영상 평균값 판단부(320)는 복수의 픽셀 출력 신호의 평균을 산출하여 영상 평균값을 확인하고, 영상 평균값의 변화율을 기 설정된 기준치와 비교하여 외부 밝기 변화의 정도를 판단한다. 여기서, 영상 평균값 판단부(320)는 기 설정된 기준 영상값과 영상 평균값을 비교하여 영상 평균값의 변화율을 산출한다.
한편, 영상 평균값 판단부(320)는 기 설정된 기준 영상값과 영상 평균값을 비교하여 영상 평균값의 변화율을 산출하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 이전 시점에서 획득된 영상들에 대한 영상 평균값과 영상 평균값을 비교하여 영상 평균값의 변화율을 산출할 수도 있다.
영상 평균값 판단부(320)는 영상 평균값의 변화율과 기준치를 비교하여 외부 밝기 변화의 정도를 판단한다.
영상 평균값 판단부(320)는 영상 평균값의 변화율이 기준치 미만인 경우, 외부의 밝기 변화가 소정의 밝기 변화 기준보다 크지 않은 것으로 판단한다. 한편, 영상 평균값 판단부(320)는 영상 평균값의 변화율이 기준치 이상인 경우, 외부의 밝기 변화가 소정의 밝기 변화 기준보다 큰 것으로 판단한다.
영상 평균값 제어부(330)는 영상 평균값 판단부(320)에서 판단된 외부 밝기 변화의 정도에 따라 적분시간을 변경하여 영상 평균값이 기 설정된 목표값에 도달하도록 제어한다. 여기서, 목표값은 영상의 노출이 포화상태 또는 미달상태가 되지 않도록 결정된 영상값을 의미한다. 목표값은 사용자의 조작 또는 입력에 의해 설정될 수 있으나 반드시 이에 한정되는 것은 아니며, 이전 시점에서 획득된 영상들에 대한 영상 평균값을 이용하여 결정된 값일 수도 있다.
영상 평균값 판단부(320)에서 외부의 밝기 변화가 소정의 밝기 변화 기준보다 크지 않은 것으로 판단된 경우, 영상 평균값 제어부(330)는 영상 평균값이 목표값에 도달하였는지 여부를 확인한다.
영상 평균값 제어부(330)는 영상 평균값이 목표값에 도달하지 않은 경우, 현재 설정된 적분시간을 기준으로 적분시간을 순차적으로 변경한다. 여기서, 영상 평균값 제어부(330)는 영상 평균값이 목표값에 도달할 때까지 현재 설정된 적분시간을 기준으로 적분시간을 변경하는 동작을 반복하여 수행한다.
한편, 영상 평균값 제어부(330)는 영상 평균값이 목표값에 도달한 경우, 현재 설정된 적분시간을 기준으로 순차적으로 적분시간을 변경하는 동작을 종료하고, 해당 적분시간을 기반으로 기준 출력 레벨 범위 내에 포함되는 최종 획득 영상이 출력되도록 한다.
영상 평균값 판단부(320)에서 외부의 밝기 변화가 소정의 밝기 변화 기준보다 큰 것으로 판단된 경우, 영상 평균값 제어부(330)는 영상 평균값의 변화율에 따른 적분시간을 새롭게 계산하여 신규 적분시간을 예측한다. 영상 평균값 제어부(330)는 현재 설정된 적분시간을 새롭게 계산된 신규 적분시간으로 변경한다.
영상 평균값 제어부(330)는 신규 적분시간을 적용한 영상 평균값이 목표값에 도달하였는지 여부를 확인한다.
영상 평균값 제어부(330)는 영상 평균값이 목표값에 도달하지 않은 경우, 신규 적분시간을 기준으로 적분시간을 순차적으로 변경한다. 여기서, 영상 평균값 제어부(330)는 영상 평균값이 목표값에 도달할 때까지 신규 적분시간을 기준으로 적분시간을 변경하는 동작을 반복하여 수행한다.
한편, 영상 평균값 제어부(330)는 영상 평균값이 목표값에 도달한 경우, 신규 적분시간을 기준으로 순차적으로 적분시간을 변경하는 동작을 종료하고, 해당 적분시간을 기반으로 기준 출력 레벨 범위 내에 포함되는 최종 획득 영상이 출력되도록 한다.
도 4는 본 발명의 실시예에 따른 광 변색 렌즈를 이용한 영상 획득 방법을 나타낸다.
영상 획득 장치(100)에 포함된 변색 렌즈는 주변 환경의 자외선 양에 따라 투과율이 변화된다(S410).
영상 획득 장치(100)는 투과율이 변화된 변색 렌즈를 투과하여 생성된 영상의 영상 출력 레벨을 확인한다(S420). 구체적으로, 영상 획득 장치(100)는 투과율이 변화된 변색 렌즈를 투과하여 생성된 영상의 광 노출에 대한 영상 출력 레벨을 기 설정된 기준 출력 레벨 범위 내에 포함되는지 여부를 확인한다.
단계 S420에서, 영상 획득 장치(100)는 변색 렌즈를 투과하여 생성된 영상의 영상 출력 레벨이 기 설정된 기준 출력 레벨 범위 내에 포함되는 경우, 생성된 영상을 최종 획득 영상으로 출력한다.
한편, 단계 S420에서, 영상 획득 장치(100)는 변색 렌즈를 투과하여 생성된 영상의 영상 출력 레벨이 기 설정된 기준 출력 레벨 범위 내에 포함되지 않는 경우, 광 노출에 대한 적분시간을 변경하여 재설정한다(S430).
영상 획득 장치(100)는 변경된 적분시간을 적용하여 생성된 영상의 광 노출에 대한 영상 출력 레벨을 기 설정된 기준 출력 레벨 범위 내에 포함되는지 여부를 확인한다(S440).
단계 S440에서, 영상 획득 장치(100)는 변경된 적분시간을 적용하여 생성된 영상의 영상 출력 레벨이 기 설정된 기준 출력 레벨 범위 내에 포함되는 경우, 생성된 영상을 최종 획득 영상으로 출력한다.
한편, 단계 S440에서, 영상 획득 장치(100)는 변경된 적분시간을 적용하여 생성된 영상의 영상 출력 레벨이 기 설정된 기준 출력 레벨 범위 내에 포함되지 않는 경우, 광 노출에 대한 적분시간을 변경하는 동작을 반복하여 수행한다.
도 4에서는 각 단계를 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.
도 5는 본 발명의 실시예에 따른 광 변색 렌즈 및 적분시간 예측을 이용한 영상 획득 방법을 나타낸다.
영상 획득 장치(100)가 설치된 위치에서 외부 밝기의 변화가 있으면(S510), 영상 획득 장치(100)에 포함된 변색 렌즈는 주변 환경의 자외선 양에 따라 투과율이 변화된다(S520).
영상 획득 장치(100)는 투과율이 변화된 변색 렌즈를 투과하여 생성된 영상의 평균값을 확인하고, 영상 평균값의 변화율을 계산한다(S530). 여기서, 영상의 평균값은 변색 렌즈를 투과하여 이미지 센서의 각 픽셀에서 출력되는 픽셀 출력 신호들의 평균을 의미한다.
영상 획득 장치(100)는 영상 평균값의 변화율을 기 설정된 기준치와 비교한다(S540). 영상 획득 장치(100)는 영상 평균값의 변화율이 기준치를 벗어나지 않을 경우 외부의 밝기 변화가 소정의 밝기 변화 기준보다 크지 않은 것으로 판단하고, 영상 평균값의 변화율이 기준치를 벗어나는 경우, 외부의 밝기 변화가 소정의 밝기 변화 기준보다 큰 것으로 판단할 수 있다.
단계 S540의 비교 결과, 영상 평균값의 변화율이 기준치 미만인 경우, 영상 획득 장치(100)는 외부의 밝기 변화가 소정의 밝기 변화 기준보다 크지 않은 것으로 판단하고, 영상 평균값이 목표값에 도달하였는지 여부를 확인한다(S550).
영상 획득 장치(100)는 영상 평균값이 목표값에 도달하지 않은 경우 현재 설정된 적분시간을 기준(시작점)으로 적분시간을 변경한다(S552). 영상 획득 장치(100)는 영상 평균값이 목표값에 도달할 때까지 현재 설정된 적분시간을 기준으로 적분시간을 변경하는 동작을 반복하여 수행한다.
단계 S550에서, 영상 평균값이 목표값에 도달한 경우, 영상 획득 장치(100)는 현재 설정된 적분시간을 기준으로 적분시간을 변경하는 동작을 종료하고, 해당 적분시간을 기반으로 기준 출력 레벨 범위 내에 포함되는 최종 획득 영상을 출력한다.
단계 S540의 비교 결과, 영상 평균값의 변화율이 기준치 이상인 경우, 영상 획득 장치(100)는 외부의 밝기 변화가 소정의 밝기 변화 기준보다 큰 것으로 판단하고, 영상 평균값의 변화율에 따른 적분시간을 새롭게 계산하여 조정이 필요한 적분시간을 예측한다(S560).
영상 획득 장치(100)는 현재 설정된 적분시간을 새롭게 계산된 적분시간으로 변경한다(S570).
영상 획득 장치(100)는 변경된 적분시간을 적용한 영상 평균값이 목표값에 도달하였는지 여부를 확인한다(S580).
영상 획득 장치(100)는 영상 평균값이 목표값에 도달하지 않은 경우 변경된 적분시간을 기준(시작점)으로 적분시간을 변경한다(S590). 영상 획득 장치(100)는 영상 평균값이 목표값에 도달할 때까지 변경된 적분시간을 기준으로 적분시간을 변경하는 동작을 반복하여 수행한다.
단계 S580에서, 영상 평균값이 목표값에 도달한 경우, 영상 획득 장치(100)는 변경된 적분시간을 기준으로 적분시간을 변경하는 동작을 종료하고, 해당 적분시간을 기반으로 기준 출력 레벨 범위 내에 포함되는 최종 획득 영상을 출력한다.
도 5에서는 각 단계를 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 5에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.
도 4 및 도 5 각각에 기재된 본 실시예에 따른 영상 획득 방법은 애플리케이션(또는 프로그램)으로 구현되고 단말장치(또는 컴퓨터)로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 획득 방법을 구현하기 위한 애플리케이션(또는 프로그램)이 기록되고 단말장치(또는 컴퓨터)가 읽을 수 있는 기록매체는 컴퓨팅 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치 또는 매체를 포함한다.
도 6a 및 도 6b는 종래의 고정 투과율 필터를 이용한 영상 획득 동작 결과와 본 발명의 광 변색 렌즈를 이용한 영상 획득 동작 결과를 나타낸 예시도이다.
종래의 영상 획득 장치에는 야외에서 획득된 영상이 포화가 될 것을 고려하여 도 6a와 같이 특정 투과율을 갖는 필터를 적용하였다. 이로 인해 종래의 영상 획득 장치는 너무 밝거나 너무 어두운 곳에서 영상을 획득할 경우 정상 출력 레벨 범위를 벗어나는 밝기의 영상을 출력한다.
예를 들어, 입력 영상(610)의 a)는 어두운 곳에서 획득한 영상이고, 입력 영상(610)의 b)는 밝은 곳에서 획득한 영상이다. 여기서, 낮은 투과율의 필터가 적용된 영상 획득 장치의 출력영상(620)은 c)와 같이 밝은 영상은 적절해졌으나 어두운 영상은 너무 어두워 분별이 어렵게 되는 문제가 발생한다.
한편, 높은 투과율의 필터가 적용된 영상 획득 장치의 출력영상(630)은 d)와 같이 밝은 영상이 여전히 너무 밝은 문제가 발생한다. 또한, 높은 투과율의 필터가 적용된 영상 획득 장치의 출력영상(630)은 너무 어둡거나 너무 밝을 경우에는 적분시간과 게인(Gain)을 제어해도 변화할 수 있는 값에 제한이 있기 때문에 보정에 한계가 있다.
본 발명에 따른 영상 획득 장치(100)는 도 6b와 같이, 투과율이 가변되는 광 변색 렌즈를 적용하면 어두운 곳에서는 투과율이 낮아지고 밝은 곳에서는 투과율이 높아져 출력영상(620)은 c) 및 d)와 같이 적절한 밝기(기준 출력 레벨 범위 내에 해당하는 밝기)의 영상 획득이 가능하다. 즉, 영상 획득 장치(100)는 변색 렌즈를 이용하여 영상 밝기를 조절하고 적분 시간, 게인(Gain) 등을 이용하여 영상 출력 레벨의 미세 조정을 할 수 있어, 너무 어둡거나 밝은 곳에서도 항상 적절한 밝기(기준 출력 레벨 범위 내에 해당하는 밝기)의 영상 획득이 가능하다.
이하, 종래의 영상 획득 장치와 본 발명에 따른 영상 획득 장치(100)의 동작 결과를 예를 들어 설명하도록 한다. 외부 환경 조건은 다음과 같이 가정한다.
- 가장 어두울 경우의 밝기값: 0, 가장 밝은 경우의 밝기값: 1000, 기준 출력 레벨 범위 내에 해당하는 밝기 범위: 200 ~ 600
- 자동노출 알고리즘(적분시간이나 gain 변경)은 무시하는 것으로 가정함
종래의 영상 획득 장치에 투과율 감소 필터 적용 시(투과율 : 40%) 동작 결과는 다음과 같다.
- 1000 밝기값의 영상이 입력되면, 400 밝기값의 영상이 출력됨(적절)
- 300 밝기값의 영상이 입력되면, 120 밝기값의 영상이 출력됨(부적절)
- 적절한 수준(기준 출력 레벨 범위 내에 해당하는 밝기)을 만족할만한 영상 입력범위 : 500 ~ 1000
종래의 영상 획득 장치에 투과율 감소 필터 적용 시(투과율 : 70%) 동작 결과는 다음과 같다.
- 1000 밝기값의 영상이 입력되면, 700 밝기값의 영상이 출력됨(부적절)
- 300 밝기값의 영상이 입력되면, 210 밝기값의 영상이 출력됨(적절)
- 적절한 수준(기준 출력 레벨 범위 내에 해당하는 밝기)을 만족할만한 영상 입력범위 : 290 ~ 850
본 발명에 따른 영상 획득 장치(100)에 변색 렌즈 적용 시(투과율 : 30% ~ 80%) 동작 결과는 다음과 같다.
- 1000 밝기값의 영상이 입력되면, 투과율 30%가 적용되고, 300 밝기값의 영상이 출력됨(적절)
- 300 밝기값의 영상이 입력되면, 투과율 80%가 적용되고, 240 밝기값의 영상이 출력됨(적절)
- 적절한 수준(기준 출력 레벨 범위 내에 해당하는 밝기)을 만족할만한 영상 입력범위 : 250(80%적용) ~ 1000 (30%적용)
도 7a 및 도 7b는 본 발명의 실시예에 따른 적분시간 조정을 통해 출력 레벨이 조정된 영상을 획득하는 동작을 나타낸 예시도이다.
도 7a을 참조하면, 기존에는 외부의 급격한 밝기 변화(①)에 의하여 영상 평균값이 급격하게 변화하게 되며(②), 이로 인해 영상 평균값이 목표값이 되도록 적분시간을 순차적으로 변경한다(③). 이때, 순차적인 적분시간의 변경으로 인해 영상이 일부 시간 동안 포화된 상태를 유지하게 되며 서서히 정상적인 영상으로 복귀하게 된다(④).
도 7b을 참조하면, 본 발명에서는 변색 렌즈와 적분시간 예측 방법을 적용하였을 경우 급격한 외부의 밝기 변화(①)가 발생하였을 때, 변색 렌즈의 투과율이 변화(②)하고 이로 인하여 영상평균값의 변화가 비교적 완만하게 이루어진다(③). 이 때 영상 평균값의 변화율을 계산하고 계산된 변화율을 통해 적분시간을 예측하여 적절한 값으로 변경한다(④).
이후 목표 값에 더욱 근접하도록 적분시간을 순차적으로 변경(⑤)하여 갑작스러운 외부 밝기 변화에도 영상이 포화되는 것을 방지하고 영상의 목표 평균값에 도달하는 시간을 단축한다(⑥).
이상의 설명은 본 발명의 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 실시예들은 본 발명의 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 영상 획득 장치
110: 변색 렌즈부 120: 영상 센서부
130: 제어부 140: 영상 출력부
310: 영상 획득부 320: 영상 평균값 판단부
330: 영상 평균값 제어부

Claims (13)

  1. 광 변색 렌즈를 이용한 영상 획득 장치에 있어서,
    외부 밝기 변화에 따라 광원의 투과율이 변화되는 상기 광 변색 렌즈를 포함하는 변색 렌즈부;
    상기 광 변색 렌즈를 투과한 광원을 전기적 신호로 변환한 픽셀 출력 신호를 기반으로 영상을 형성하는 영상 센서부;
    상기 영상의 픽셀 출력 신호를 기반으로 영상 평균값을 확인하고, 상기 영상 평균값의 변화율에 근거하여 상기 영상의 출력 레벨을 조정하는 제어부; 및
    상기 출력 레벨이 조정된 최종 획득 영상을 출력하는 영상 출력부를 포함하되,
    상기 제어부는, 기 설정된 기준 영상값 또는 이전 시점에서 획득된 영상들에 대한 영상 평균값과 상기 영상 평균값을 비교하여 상기 영상 평균값의 변화율을 산출하고, 상기 변화율과 기 설정된 기준치를 비교하여 상기 외부 밝기 변화의 정도를 판단하되,
    상기 제어부는, 판단된 상기 외부 밝기 변화의 정도에 따라 현재 설정된 적분시간을 이용하거나 신규 적분시간을 예측하여 기준을 설정하고, 상기 현재 설정된 적분시간 및 상기 신규 적분시간 중 하나를 상기 기준으로 적분시간을 변경하여 상기 영상 평균값이 기 설정된 목표값에 도달하도록 상기 영상의 출력 레벨을 조정하는 것을 특징으로 하는 영상 획득 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    자외선 양에 따라 변색 렌즈의 투과율이 변화된 상태에서 샘플링된 복수의 픽셀 출력 신호를 기반으로 형성된 영상을 획득하는 영상 획득부;
    상기 복수의 픽셀 출력 신호의 평균을 산출하여 상기 영상 평균값을 확인하고, 상기 영상 평균값의 변화율을 기 설정된 기준치와 비교하여 상기 외부 밝기 변화의 정도를 판단하는 영상 평균값 판단부; 및
    상기 외부 밝기 변화의 정도에 따라 적분시간을 변경하여 상기 영상 평균값이 기 설정된 목표값에 도달하도록 제어하는 영상 평균값 제어부
    를 포함하는 것을 특징으로 하는 영상 획득 장치.
  3. 삭제
  4. 제2항에 있어서,
    상기 영상 평균값 판단부는,
    상기 영상 평균값의 변화율이 상기 기준치 미만인 경우, 외부의 밝기 변화가 소정의 밝기 변화 기준보다 크지 않은 것으로 판단하는 것을 특징으로 하는 영상 획득 장치.
  5. 제4항에 있어서,
    상기 영상 평균값 제어부는,
    상기 영상 평균값이 목표값에 도달하였는지 여부를 확인하고, 상기 영상 평균값이 목표값에 도달하지 않은 경우, 현재 설정된 적분시간을 기준으로 적분시간을 순차적으로 변경하되,
    상기 영상 평균값 제어부는, 상기 영상 평균값이 목표값에 도달할 때까지 상기 현재 설정된 적분시간을 기준으로 적분시간을 변경하는 동작을 반복하는 것을 특징으로 하는 영상 획득 장치.
  6. 제4항에 있어서,
    상기 영상 평균값 제어부는,
    상기 영상 평균값이 목표값에 도달하였는지 여부를 확인하고, 상기 영상 평균값이 목표값에 도달한 경우, 현재 설정된 적분시간을 기준으로 순차적으로 적분시간을 변경하는 동작을 종료하고, 해당 적분시간을 기반으로 기준 출력 레벨 범위 내에 포함되는 상기 최종 획득 영상이 출력되도록 하는 영상 획득 장치.
  7. 제2항에 있어서,
    상기 영상 평균값 판단부는,
    상기 영상 평균값의 변화율이 상기 기준치 이상인 경우, 외부의 밝기 변화가 소정의 밝기 변화 기준보다 큰 것으로 판단하는 것을 특징으로 하는 영상 획득 장치.
  8. 제7항에 있어서,
    상기 영상 평균값 제어부는,
    상기 영상 평균값의 변화율에 따른 적분시간을 새롭게 계산하여 신규 적분시간을 예측하고, 현재 설정된 적분시간을 새롭게 계산된 신규 적분시간으로 변경하는 것을 특징으로 하는 영상 획득 장치.
  9. 제8항에 있어서,
    상기 영상 평균값 제어부는,
    상기 신규 적분시간을 적용한 영상 평균값이 목표값에 도달하였는지 여부를 확인하고, 상기 영상 평균값이 목표값에 도달하지 않은 경우, 상기 신규 적분시간을 기준으로 적분시간을 순차적으로 변경하되,
    상기 영상 평균값 제어부는, 상기 영상 평균값이 목표값에 도달할 때까지 상기 신규 적분시간을 기준으로 적분시간을 변경하는 동작을 반복하는 것을 특징으로 하는 영상 획득 장치.
  10. 제8항에 있어서,
    상기 영상 평균값 제어부는,
    상기 신규 적분시간을 적용한 영상 평균값이 목표값에 도달하였는지 여부를 확인하고, 상기 영상 평균값이 목표값에 도달한 경우, 상기 신규 적분시간을 기준으로 순차적으로 적분시간을 변경하는 동작을 종료하고, 해당 적분시간을 기반으로 기준 출력 레벨 범위 내에 포함되는 상기 최종 획득 영상이 출력되도록 하는 영상 획득 장치.
  11. 광 변색 렌즈를 이용한 영상 획득 방법에 있어서,
    외부 밝기 변화에 따라 상기 광 변색 렌즈를 투과하는 광원의 투과율이 변화되는 변색 렌즈 투과 단계;
    상기 광 변색 렌즈를 투과한 광원을 전기적 신호로 변환한 픽셀 출력 신호를 기반으로 영상을 형성하는 영상 센서 처리 단계;
    상기 영상의 픽셀 출력 신호를 기반으로 영상 평균값을 확인하고, 상기 영상 평균값의 변화율에 근거하여 상기 영상의 출력 레벨을 조정하는 제어 단계; 및
    상기 출력 레벨이 조정된 최종 획득 영상을 출력하는 영상 출력 단계를 포함하되,
    상기 제어 단계는, 기 설정된 기준 영상값 또는 이전 시점에서 획득된 영상들에 대한 영상 평균값과 상기 영상 평균값을 비교하여 상기 영상 평균값의 변화율을 산출하고, 상기 변화율과 기 설정된 기준치를 비교하여 상기 외부 밝기 변화의 정도를 판단하되,
    상기 제어 단계는, 판단된 상기 외부 밝기 변화의 정도에 따라 현재 설정된 적분시간을 이용하거나 신규 적분시간을 예측하여 기준을 설정하고, 상기 현재 설정된 적분시간 및 상기 신규 적분시간 중 하나를 상기 기준으로 적분시간을 변경하여 상기 영상 평균값이 기 설정된 목표값에 도달하도록 상기 영상의 출력 레벨을 조정하는 것을 특징으로 하는 영상 획득 방법.
  12. 제11항에 있어서,
    상기 제어 단계는,
    자외선 양에 따라 변색 렌즈의 투과율이 변화된 상태에서 샘플링된 복수의 픽셀 출력 신호를 기반으로 형성된 영상을 획득하는 영상 획득 단계;
    상기 복수의 픽셀 출력 신호의 평균을 산출하여 상기 영상 평균값을 확인하고, 상기 영상 평균값의 변화율을 기 설정된 기준치와 비교하여 상기 외부 밝기 변화의 정도를 판단하는 영상 평균값 판단 단계; 및
    상기 외부 밝기 변화의 정도에 따라 적분시간을 변경하여 상기 영상 평균값이 기 설정된 목표값에 도달하도록 제어하는 영상 평균값 제어 단계
    를 포함하는 것을 특징으로 하는 영상 획득 방법.
  13. 제12항에 있어서,
    상기 영상 평균값 제어 단계는,
    상기 영상 평균값의 변화율이 상기 기준치 미만인 경우 현재 설정된 적분시간을 기준으로 적분시간을 변경하여 상기 영상 평균값을 조정하고,
    상기 영상 평균값의 변화율이 상기 기준치 이상인 경우 상기 영상 평균값의 변화율에 따른 적분시간을 새롭게 계산하여 신규 적분시간을 예측하고, 현재 설정된 적분시간을 상기 신규 적분시간으로 변경하여 상기 영상 평균값을 조정하는 것을 특징으로 하는 영상 획득 방법.
KR1020190176204A 2019-12-27 2019-12-27 광 변색 렌즈를 이용한 영상 획득 방법 및 그를 위한 장치 KR102246111B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190176204A KR102246111B1 (ko) 2019-12-27 2019-12-27 광 변색 렌즈를 이용한 영상 획득 방법 및 그를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190176204A KR102246111B1 (ko) 2019-12-27 2019-12-27 광 변색 렌즈를 이용한 영상 획득 방법 및 그를 위한 장치

Publications (1)

Publication Number Publication Date
KR102246111B1 true KR102246111B1 (ko) 2021-04-29

Family

ID=75728394

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190176204A KR102246111B1 (ko) 2019-12-27 2019-12-27 광 변색 렌즈를 이용한 영상 획득 방법 및 그를 위한 장치

Country Status (1)

Country Link
KR (1) KR102246111B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130080749A (ko) * 2012-01-05 2013-07-15 삼성전자주식회사 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 포함하는 이미지 캡쳐 장치
KR20150098506A (ko) * 2014-02-20 2015-08-28 호서대학교 산학협력단 광 변색 물질을 이용한 인공조리개 렌즈 및 그 생산방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130080749A (ko) * 2012-01-05 2013-07-15 삼성전자주식회사 이미지 센서, 이미지 센싱 방법 및 이미지 센서를 포함하는 이미지 캡쳐 장치
KR20150098506A (ko) * 2014-02-20 2015-08-28 호서대학교 산학협력단 광 변색 물질을 이용한 인공조리개 렌즈 및 그 생산방법

Similar Documents

Publication Publication Date Title
US9100586B2 (en) Systems and methods for photometric normalization in array cameras
US11057592B2 (en) Image defogging method and image capture apparatus implementing image defogging
CN105049731B (zh) 智能摄像装置及其摄录模式切换方法
US7859589B2 (en) Imaging apparatus, and exposure control apparatus, method, and program
CN102572285B (zh) Ccd摄像机的日夜模式转换方法
KR100557219B1 (ko) 자동 노출 보정 방법 및 보정 장치
CN104618664A (zh) 一种基于自适应积分时间的嵌入式红外图像超帧处理方法
CN105208293B (zh) 数字摄像机的自动曝光控制方法及装置
JP6562770B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN103905731A (zh) 一种宽动态图像采集方法及系统
JP6091269B2 (ja) 撮像装置、クライアント装置、撮像システム、撮像装置の制御方法、クライアント装置の制御方法、および撮像システムの制御方法
US7554601B2 (en) Digital video camera with automatic white balance and a method thereof
CN101639603B (zh) 光学成像设备、镜头控制方法及装置
CN102984455A (zh) 一种辅助光源控制方法
KR102246111B1 (ko) 광 변색 렌즈를 이용한 영상 획득 방법 및 그를 위한 장치
CN104980639A (zh) 红外控制装置、方法及摄像机
Hertel et al. An adaptive multiple-reset CMOS wide dynamic range imager for automotive vision applications
Fernández-Berni et al. Single-exposure HDR technique based on tunable balance between local and global adaptation
CN108337443A (zh) 一种基于曝光值和场景学习算法控制ircut和红外灯的方法
CN111355896B (zh) 获取全天相机的自动曝光参数的方法
CN113572968A (zh) 图像融合方法、装置、摄像设备及存储介质
CN112422807A (zh) 一种调节景深范围的方法
CN104581056B (zh) 一种基于光敏传感器辅助图像调节的方法及装置
KR101950436B1 (ko) 중적외선 영상에서의 물체 검출 장치
KR101533282B1 (ko) 디지털 카메라 및 그 제어방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant