KR102110314B1 - 다중 노출 촬영 시스템 및 제어 방법 - Google Patents

다중 노출 촬영 시스템 및 제어 방법 Download PDF

Info

Publication number
KR102110314B1
KR102110314B1 KR1020180158774A KR20180158774A KR102110314B1 KR 102110314 B1 KR102110314 B1 KR 102110314B1 KR 1020180158774 A KR1020180158774 A KR 1020180158774A KR 20180158774 A KR20180158774 A KR 20180158774A KR 102110314 B1 KR102110314 B1 KR 102110314B1
Authority
KR
South Korea
Prior art keywords
frame
light
time
photographing
lamp
Prior art date
Application number
KR1020180158774A
Other languages
English (en)
Inventor
이성학
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020180158774A priority Critical patent/KR102110314B1/ko
Application granted granted Critical
Publication of KR102110314B1 publication Critical patent/KR102110314B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H04N5/2353—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H04N5/2256—
    • H04N5/23216—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

촬영 시스템 및 제어 방법이 개시된다. 촬영 시스템은 기 설정된 시간으로 셔터 스피드가 설정되어 피사체를 촬영하는 촬영부, 적어도 하나의 램프를 포함하고 기 설정된 주기로 발광하는 발광부 및 설정된 셔터 스피드의 시간보다 2배의 시간 간격으로 발광부가 발광하도록 제어하고, 촬영부의 제1 프레임의 촬영 종료 시점 및 제1 프레임과 인접한 제2 프레임의 촬영 시작 시점이 포함되는 기 설정된 시간 동안 발광하도록 발광부를 제어하며, 피사체의 제1 프레임의 이미지 및 제2 프레임의 이미지를 촬영하도록 촬영부를 제어한다.

Description

다중 노출 촬영 시스템 및 제어 방법{MULTI-EXPOSURE IMAGING SYSTEM AND CONTROLLING METHOD THEREOF}
본 개시는 촬영 시스템 및 제어 방법에 관한 것으로, 더욱 상세하게는 다중 노출 영상을 획득하고 합성하는 촬영 시스템 및 제어 방법에 관한 것이다.
CCTV 감시 카메라를 비롯해서 차량, 로봇, 드론 등에 야외 사물 식별을 위하여 카메라를 활용하는 경우 촬영 조건은 낮 시간부터 밤까지 일광 조건, 어두운 실내, 터널, 지하, 야간 조명등, 차량 전조등, 빛이 전혀 없는 실내 환경 등을 포괄한다. 현재 다양한 환경에서 고 정밀 화질에 대한 소비자 요구에 따라 HD급의 IP카메라로 전환되고 있고, 카메라 센서의 감도를 높이거나, 야간 촬영이나, 폐쇄된 공간의 어두운 곳을 촬영하기 위해 LED 조명을 보조적으로 사용하는 것이 일반적인 추세다.
야간에 사용하는 카메라는 보안이나 방범을 위해 시각적 영향을 주지 않는 IR(적외선) LED조명을 많이 사용하고 있고, 새로운 LED 조명 사용을 이용하여 저 조도에서 어두운 공간의 사물을 선명하게 식별하기 위한 많은 연구가 진행되고 있다. 카메라 촬영과 동기화된 LED 플레싱(flashing)을 이용하여 셔터 스피드를 올리거나, 물체의 거리를 감지하여 IR 과포화를 방지하는 기술 등이 제안되고 있다. 그러나 이동 촬영과 같은 환경 변화가 심한 경우 물체의 거리와 광량에 적응적으로 카메라와 LED 조명을 조절하기는 힘들며, 다양한 기능에 대응하는 하드웨어 구성은 복잡해진다. 또한 단순히 카메라 센서의 감도를 높이는 것으로 일상에서 경험되는 광역의 휘도 조건과 갑작스런 조명 변화에 인간의 시각이 순응하고 인지하는 수준으로 영상을 촬영하는 것은 어렵다.
한편, 조도가 다른 물체의 인식률을 높이기 위해 기존의 촬영 시스템은 노출 가변을 통한 다중 노출 촬영, 셔터 속도 조정을 이용한 다중 노출 촬영 또는 시간 분할방식 다중 노출 촬영을 수행하여 복수의 영상을 촬영한 후 합성하는 방식을 이용한다. 그러나, 노출 가변을 통한 다중 노출 촬영은 두 장의 영상의 포커스가 다르고, HDR 합성시 거리에 따라 물체 경계 정보가 왜곡되는 단점이 있다. 즉, 노출 가변을 통한 다중 노출 촬영 방식으로 촬영한 영상의 합성은 어둡고 뚜렷한 경계의 영상과 밝고 흐릿한 경계의 영상이 합성되는 문제점이 있다. 기계식 셔터 속도 조정을 이용한 다중 노출 촬영은 노출 시간이 달라 물체의 움직임에 따라 블러링(blurring) 상태가 다르게 되고 HDR 합성시 경계가 이동되거나 흐려지는 단점이 있다. 전자식 셔터 속도 조정을 이용한 다중 노출 촬영은 2장의 영상에서 젤로 현상이 다르게 나타나며, 영상 합성 자체가 어려운 단점이 있다. 시간 분할방식 다중 노출 촬영은 촬영 타이밍 오차로 인해 물체의 이동이 발생하며, 움직임 추정이라는 복잡한 후처리 과정이 필요하고 물체 경계 상태가 다른 경우 기존 탐색 기법에서 오류가 발생하는 문제점이 있다.
따라서, 저조도 환경에서 촬영된 영상의 합성에서 예상되는 시차 및 시각 오차를 줄이는 촬영 시스템에 대한 필요성이 존재한다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 다중 노출 촬영시 발생되는 시간 오차를 최소화하여 다중 노출 영상을 취득하고 합성하는 촬영 시스템 및 제어 방법을 제공하는 것이다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 촬영 시스템은 기 설정된 시간으로 셔터 스피드가 설정되어 피사체를 촬영하는 촬영부, 적어도 하나의 램프를 포함하고 기 설정된 주기로 발광하는 발광부 및 상기 설정된 셔터 스피드의 시간보다 2배의 시간 간격으로 상기 발광부가 발광하도록 제어하고, 상기 촬영부의 제1 프레임의 촬영 종료 시점 및 상기 제1 프레임과 인접한 제2 프레임의 촬영 시작 시점이 포함되는 기 설정된 시간 동안 발광하도록 상기 발광부를 제어하며, 상기 피사체의 상기 제1 프레임의 이미지 및 제2 프레임의 이미지를 촬영하도록 상기 촬영부를 제어하는 제어부를 포함한다.
그리고, 상기 제어부는 상기 발광부의 하나의 램프가 동일한 광량으로 발광하도록 제어하며, 상기 제1 프레임의 촬영 주기에서는 기 설정된 제1 시간 동안 발광하고, 상기 제2 프레임의 촬영 주기에서는 상기 제1 시간보다 짧은 기 설정된 제2 시간 동안 발광하도록 상기 발광부를 제어할 수 있다.
또는, 상기 제어부는 상기 발광부의 제1 램프는 기 설정된 제1 광량으로 상기 제1 프레임의 촬영 주기에서 발광하도록 제어하고, 제2 램프는 상기 제1 광량보다 낮은 기 설정된 제2 광량으로 상기 제1 프레임의 촬영 주기 및 상기 제2 프레임의 촬영 주기에서 동일한 시간 동안 발광하도록 제어할 수 있다.
또한, 상기 제어부는 상기 촬영된 제1 프레임의 이미지와 제2 프레임의 이미지를 합성하여 합성 이미지를 생성할 수 있다.
한편, 촬영 시스템은 상기 생성된 합성 이미지를 전송하는 통신부를 더 포함할 수 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 촬영 시스템 제어 방법은 기 설정된 시간으로 촬영부의 셔터 스피드를 설정하는 단계, 상기 설정된 셔터 스피드의 시간보다 2배의 시간 간격으로 적어도 하나의 램프를 포함하는 발광부가 발광하는 단계 및 피사체의 제1 프레임의 이미지 및 제2 프레임의 이미지를 촬영하는 단계를 포함하고, 상기 발광하는 단계는 피사체에 대한 상기 제1 프레임의 촬영 종료 시점 및 상기 제1 프레임과 인접한 상기 제2 프레임의 촬영 시작 시점이 포함되는 기 설정된 시간 동안 발광한다.
그리고, 상기 발광하는 단계는 상기 발광부의 하나의 램프가 동일한 광량으로 발광하며, 상기 제1 프레임의 촬영 주기에서는 기 설정된 제1 시간 동안 발광하고, 상기 제2 프레임의 촬영 주기에서는 상기 제1 시간보다 짧은 기 설정된 제2 시간 동안 발광할 수 있다.
또는, 상기 발광하는 단계는 상기 발광부의 제1 램프는 기 설정된 제1 광량으로 상기 제1 프레임의 촬영 주기에서 발광하고, 제2 램프는 상기 제1 광량보다 낮은 기 설정된 제2 광량으로 상기 제1 프레임의 촬영 주기 및 상기 제2 프레임의 촬영 주기에서 동일한 시간 동안 발광할 수 있다.
한편, 촬영 시스템의 제어 방법은 상기 촬영된 제1 프레임의 이미지와 제2 프레임의 이미지를 합성하여 합성 이미지를 생성하는 단계를 더 포함할 수 있다.
또한, 촬영 시스템의 제어 방법은 상기 생성된 합성 이미지를 전송하는 단계를 더 포함할 수 있다.
이상 설명한 바와 같이, 본 개시의 다양한 실시 예에 따르면, 촬영 시스템 및 제어 방법은 카메라 노출계를 고정시키고, 보조광의 발광 타이밍을 이용해 촬영 노출광을 조절한다. 따라서, 촬영 시스템 및 제어 방법은 두 노출 영상의 밝기와 포화 영역만 다르고 물체의 경계의 선명함과 흐름 정도는 동일하기 때문에 영상 합성시 경계 정보의 차이로 인한 오류 문제를 해결할 수 있다.
그리고, 촬영 시스템 및 제어 방법은 두 영상 프레임에 대해 연결된 보조광 제어를 통해 두 장의 노출 영상의 주요 물체의 경계 움직임을 최소로 하여 촬영하기 때문에 복잡한 움직임 추정 보상 없이 영상을 합성할 수 있다.
또한, 촬영 시스템 및 제어 방법은 두 개의 보조광을 이용하여 광 노출 시간을 동일하게 함으로써 경계 오류를 최소화할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 촬영 시스템의 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 촬영 시스템의 동작을 설명하는 도면이다.
도 3은 본 개시의 일 실시 예에 따른 램프의 단일 펄스 시간 및 폭 변조(Pulse Timing and Width Modulation, PTWM) 방식을 설명하는 도면이다.
도 4는 본 개시의 일 실시 예에 따른 램프의 다중 PTWM 방식을 설명하는 도면이다.
도 5a 내지 도 5c는 본 개시의 일 실시 예에 따른 본 개시에 따른 촬영 영상과 합성 영상을 나타내는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 촬영 시스템 제어 방법의 흐름도이다.
이하에서는 첨부된 도면을 참조하여 다양한 실시 예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시 예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나, 첨부된 도면에 개시된 특정한 실시 예는 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서, 첨부된 도면에 개시된 특정 실시 예에 의해 기술적 사상이 제한되는 것은 아니며, 발명의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
한편, 본 명세서에서 사용되는 구성요소에 대한 "모듈" 또는 "부"는 적어도 하나의 기능 또는 동작을 수행한다. 그리고, "모듈" 또는 "부"는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 기능 또는 동작을 수행할 수 있다. 또한, 특정 하드웨어에서 수행되어야 하거나 적어도 하나의 제어부에서 수행되는 "모듈" 또는 "부"를 제외한 복수의 "모듈들" 또는 복수의 "부들"은 적어도 하나의 모듈로 통합될 수도 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
그 밖에도, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다. 한편, 각 실시 예는 독립적으로 구현되거나 동작될 수도 있지만, 각 실시 예는 조합되어 구현되거나 동작될 수도 있다.
도 1은 본 개시의 일 실시 예에 따른 촬영 시스템의 블록도이고, 도 2는 본 개시의 일 실시 예에 따른 촬영 시스템의 동작을 설명하는 도면이다. 도 1 및 도 2를 참조하여 촬영 시스템(100)의 구조 및 동작 방식을 설명한다.
도 1을 참조하면, 촬영 시스템(100)은 발광부(110), 제어부(120) 및 촬영부(130)를 포함한다. 발광부(110)는 적어도 하나의 램프를 포함하고 기 설정된 주기로 발광한다. 예를 들어, 발광부(110)는 하나의 램프를 포함할 수 있고, 복수의 램프를 포함할 수도 있다. 램프는 적외선 램프일 수 있다. 발광부(110)는 제어부(120)의 제어에 의해 기 설정된 조도 및 기 설정된 주기로 발광할 수 있다. 예를 들어, 기 설정된 주기는 촬영부의 셔터가 온 되는 시간의 2배의 시간일 수 있다. 또한, 발광부(110)는 기 설정된 시간 동안 턴-온 될 수 있다. 촬영 시스템(100)은 조도계(미도시) 및 거리 센서(미도시)를 더 포함할 수 있다. 촬영 시스템(100)은 조도계 및 거리 센서를 통해 촬영 환경과 근거리 피사체에 대한 정보를 획득할 수 있다. 제어부(120)는 획득한 촬영 환경과 근거리 피사체에 대한 정보에 기초하여 발광부(110)를 제어할 수 있다. 즉, 제어부(120)는 획득한 촬영 환경이 상대적으로 어두운 경우 상대적으로 많은 광량으로 발광하도록 발광부(110)를 제어할 수 있고, 피사체와의 거리가 상대적으로 먼 경우 상대적으로 많은 광량으로 발광하도록 발광부(110)를 제어할 수 있다. 제어부(120)는 반대의 경우 상대적으로 적은 광량으로 발광하도록 발광부(110)를 제어할 수도 있다.
촬영부(130)는 기 설정된 시간으로 셔터 스피드(또는, 셔터 개방 시간)가 설정되어 피사체를 촬영한다. 일 실시 예로서, 셔터 스피드가 5초로 설정된 경우, 촬영부(130)는 최초 5초가 지나면 제1 프레임을 촬영하고, 다음 5초가 지나면 제2 프레임을 촬영한다. 기 설정된 시간은 촬영부(130)에서 설정될 수 있는 최대 시간으로 설정될 수도 있다. 예를 들어, 촬영부(130)는 가시광선 카메라 또는 근적외선 카메라 등을 포함할 수 있다.
제어부(120)는 촬영부(130)의 기 설정된 셔터 스피드 시간보다 2배의 시간 간격으로 발광부(110)가 발광하도록 제어한다. 발광부(110)가 발광하는 시간(즉, 턴-온 되는 시간)은 촬영부(130)의 제1 프레임의 촬영 종료 시점 및 제1 프레임과 인접한 제2 프레임의 촬영 시작 시점을 포함하는 기 설정된 시간일 수 있다. 제어부(120)는 제1 프레임과 제2 프레임의 광 노출 시간 차이를 줄이기 위해 제1 및 제2 프레임을 위한 발광 시간을 연결해서 발광한다.
제어부(120)는 램프 제어 회로(lamp control circuit)(121)를 포함할 수 있다. 램프 제어 회로(121)는 발광 시간과 펄스 간격을 조정하여 한 개의 광 펄스 또는 두 개의 광 펄스를 생성할 수 있다. 제어부(120)는 하나의 램프에 대한 발광 제어와 복수의 램프에 대한 발광 제어를 서로 다른 방식으로 수행할 수 있다. 예를 들어, 한 개의 광 펄스 방식은 두 프레임(제1 및 제2 프레임)의 노출 시간에 대해 각각 같은 세기의 광을 다른 시간 동안 조사되도록 제어하는 방식이고, 두 개의 광 펄스 방식은 두 프레임의 노출 시간에 대해 각각 다른 세기의 광을 같은 시간 동안 조사되도록 제어하는 방식이다. 한 개의 광 펄스 방식은 단순한 광 조정의 장점이 있고, 두 개의 광 펄스 방식은 이중광을 통해 광 노출 시간을 동일하게 함으로써 이동 물체의 경계 블러(blurr)량을 동일하게 함으로써 이미지 합성 시 경계 오류를 줄일 수 있는 장점이 있다.
즉, 제어부(120)가 하나의 램프에 대한 발광 제어를 하는 경우, 제어부(120)는 램프가 동일한 광량으로 발광하도록 제어할 수 있다. 그리고, 제어부(120)는 제1 프레임 촬영 주기에서는 기 설정된 제1 시간 동안 발광하고, 제2 프레임 촬영 주기에서는 제1 시간보다 짧은 기 설정된 제2 시간 동안 발광하도록 발광부(110)를 제어할 수 있다. 제어부(120)가 두 개의 램프에 대한 발광 제어를 하는 경우, 제어부(120)는 제1 램프와 제2 램프를 동시에 턴-온시키고, 제1 램프는 기 설정된 제1 광량으로 제1 프레임 촬영 주기에서만 발광하도록 제어하고, 제2 램프는 제1 광량보다 낮은 기 설정된 제2 광량으로 제1 프레임의 촬영 주기 및 제2 프레임의 촬영 주기에서 동일한 시간 동안 발광하도록 제어할 수 있다.
제어부(120)는 이미지 합성부(image fusion unit)(122)를 포함할 수 있다. 이미지 합성부(122)는 제1 프레임에서 촬영된 이미지와 제2 프레임에서 촬영된 이미지를 합성하여 합성 이미지를 생성할 수 있다. 이미지 합성부(122)는 저레벨(low level) 광 이미지에서 컬러 정보, 근거리 피사체의 휘도 및 윤곽 정보를 획득하고, 고레벨(high level) 광 영상에서 원거리 피사체의 휘도 및 윤곽 정보를 획득하여 이미지를 합성할 수 있다.
한편, 촬영 시스템은 생성된 합성 이미지를 외부 시스템으로 전송할 수도 있다. 도 1에서 도시되지는 않았지만, 촬영 시스템(100)은 통신부를 더 포함하여 유무선 통신 방식을 이용하여 생성된 합성 이미지를 외부 시스템으로 전송할 수 있다.
아래에서는, 제어부(120)가 발광부(110)를 제어하는 구체적인 과정을 설명한다.
도 3은 본 개시의 일 실시 예에 따른 램프의 단일 펄스 시간 및 폭 변조(Pulse Timing and Width Modulation, PTWM) 방식을 설명하는 도면이다.
촬영 시스템은 발광부의 발광 시간과 턴-온 시간을 제어하여 다중 노출 이미지의 촬영 시간 오차를 줄일 수 있다. 도 3을 참조하면, 촬영부의 셔터 스피드는 일정한 시간 주기로 설정될 수 있다. 일 실시 예로서, 도 3에 도시된 바와 같이, 셔터 스피드는 1/60s와 같은 기 설정된 시간 또는 촬영부의 최대 셔터 스피드로 설정될 수 있다. 따라서, 제1 프레임 촬영 주기(11), 제2 프레임 촬영 주기(12)와 같이 동일한 시간의 촬영 주기가 반복될 수 있다. 발광부의 발광 주기(13)는 촬영부의 촬영 주기의 2배 시간으로 동기화될 수 있다.
발광부는 제어부의 제어에 의해 홀수 프레임과 짝수 프레임의 광 노출 시간 차이를 줄이기 위해 두 프레임을 위한 광을 시간적으로 연결해서 발광할 수 있다. 제어부는 촬영부의 프레임 동기 시각 전후 펄스의 폭을 달리하여 각 프레임에 대한 광 노출량을 제어할 수 있다. 즉, 촬영 시스템은 발광부의 발광 주기(13)가 제1 프레임 촬영 주기(11)와 제2 프레임 촬영 주기(12)에 걸치도록 발광부의 턴-온 시간을 제어할 수 있다. 이때, 촬영 시스템은 제1 프레임 촬영 주기(11)에서 상대적으로 오랜 시간 발광하고, 제2 프레임 촬영 주기(12)에서 상대적으로 짧은 시간 발광하도록 턴-온 시간을 제어할 수 있다.
즉, 촬영 시스템은 촬영부의 각 프레임 촬영 주기에 대한 상대적인 광 노출 시간을 제어함으로써 발광부가 가상 셔터 역할을 수행하도록 할 수 있다. 따라서, 촬영부는 제1 프레임 촬영 주기(11)에서 상대적으로 밝은 이미지를 촬영(14)하고, 제2 프레임 촬영 주기(12)에서 상대적으로 어두운 이미지를 촬영(15)할 수 있다.
제1 프레임 촬영 주기(11)에서 광량 비율과 제2 프레임 촬영 주기(12)에서 광량 비율은 펄스 폭 비율을 조절하여 적절하게 조절할 수 있다. 단일 펄스 시간 및 폭 변조 방식에서는 촬영부의 셔터 개방 시간을 길게 할수록 촬영 시간 오차를 더 줄일 수 있다.
도 4는 본 개시의 일 실시 예에 따른 램프의 다중 PTWM 방식을 설명하는 도면이다.
다른 방식으로, 촬영 시스템은 발광부의 펄스 폭 다중화를 통해 다중 노출 영상의 촬영 시간 오차를 줄일 수 있다. 발광부는 적어도 두 개의 램프를 포함할 수 있다. 도 4를 참조하면, 발광부가 두 개의 램프를 포함하고 두 개의 램프의 발광을 제어하는 과정이 도시되어 있다. 발광부는 원거리 촬영을 위한 높은 광도의 램프(제1 램프)와 근거리 촬영을 위한 낮은 광도의 램프(제2 램프)를 포함할 수 있다. 제어부는 높은 광도의 램프와 낮은 광도의 램프의 발광 시간과 발광 폭을 제어할 수 있다.
도 3에서 설명한 바와 같이, 촬영부의 셔터 스피드는 일정한 시간 주기로 설정될 수 있다. 따라서, 제1 프레임 촬영 주기(21), 제2 프레임 촬영 주기(22)와 같이 동일한 시간의 촬영 주기가 반복될 수 있다. 발광부의 제1 램프 및 제2 램프의 발광 주기(23a, 23b)는 촬영부의 촬영 주기의 2배 시간으로 동기화될 수 있다.
제1 램프의 턴-온 시간과 제2 램프의 턴-온 시간은 동기화될 수 있다. 그리고, 제1 램프의 턴-오프 시간은 제1 프레임 촬영 주기(21)의 종료 시점과 동기화될 수 있다. 제2 램프의 턴-오프 시간은 제1 프레임 촬영 주기(21)에서의 발광 폭과 제2 프레임 촬영 주기(22)에서의 발광 폭이 동일한 시간이 되도록 제어될 수 있다. 즉, 높은 광도의 램프인 제1 램프와 낮은 광도의 램프인 제2 램프의 턴-온 시간은 동일하다. 그리고, 제1 램프는 제1 프레임 촬영 주기(21)에서만 발광하고, 제2 램프는 제1 프레임 촬영 주기(21) 및 제2 프레임 촬영 주기(22) 각각에서 동일한 시간 동안 발광할 수 있다.
따라서, 제1 램프와 제2 램프에 의한 합성 광(23c)은 도 4에 도시된 바와 같이 촬영 프레임 동기 시간 전후의 광도는 다르고 노출 시간은 동일할 수 있다. 촬영 시스템은 제1 프레임 촬영 주기(21)에서 상대적으로 밝은 이미지를 촬영(24)하고, 제2 프레임 촬영 주기(22)에서 상대적으로 어두운 이미지를 촬영(25)할 수 있다.
즉, 단일 광 방식은 두 프레임에 대해 같은 세기의 광을 다른 시간 동안 조사되도록 하고, 이중 광 방식은 두 프레임에 대해 다른 세기의 광을 동일한 시간 동안 조사되도록 한다. 단일 광 방식은 단순한 광 제어의 장점이 있고, 이중 광 방식은 이동 물체의 경계 블러(blurr)량을 동일하게 하여 영상 합성 시 경계 오류를 줄이는 장점이 있다.
한편, 도 4에서는 높은 광도의 램프인 제1 램프가 제1 프레임 촬영 주기에서 발광하는 실시 예를 설명하였으나, 제2 프레임 촬영 주기에서 발광하도록 제어될 수도 있다. 이 경우, 제1 프레임 촬영 주기에서 상대적으로 어두운 이미지를 촬영하고, 제2 프레임 촬영 주기에서 상대적으로 밝은 이미지를 촬영할 수 있다.
도 5a 내지 도 5c는 본 개시의 일 실시 예에 따른 본 개시에 따른 촬영 영상과 합성 영상을 나타내는 도면이다.
도 5a 내지 도 5c에는 약한 조명의 밤 시간대 장면을 연출하여 이미지를 촬영하고 합성한 이미지가 도시되어 있다. 도 5a는 본 개시에 따라 촬영된 상대적으로 밝은 이미지가 도시되어 있고, 도 5b는 본 개시에 따라 촬영된 상대적으로 어두운 이미지가 도시되어 있다. 도 5a 및 도 5b의 이미지는 IR+(근적외선 대역 포함) 카메라를 사용하여 두 단계의 IR 램프 광도 상황에서 촬영되었다. 도 5a의 이미지의 경우, 상대적으로 밝은 광량에 의해 원거리 피사체의 윤곽은 선명하지만, 근거리 피사체(인형, 트리, 컬러차트)는 과포화 현상으로 경계와 색 정보 등이 잘 나타나지 않는다. 반면, 도 5b의 이미지의 경우, 상대적으로 낮은 광량에 의해 근거리 피사체에 대한 정보(윤곽, 색 정보 등)가 보다 선명하게 나타난다.
도 5c는 본 개시에 따라 두 개의 이미지가 합성된 합성 이미지가 도시되어 있다. 촬영 시스템은 저레벨 광 이미지에서 컬러 정보, 근거리 피사체의 휘도 및 윤곽 정보를 획득하고, 고레벨 광 영상에서 원거리 피사체의 휘도 및 윤곽 정보를 획득하여 이미지를 합성할 수 있다. 따라서, 두 이미지를 합성한 이미지는 거리에 관계없이 전체적으로 선명한 피사체를 포함할 수 있다.
일반적으로, 카메라의 셔터 스피드를 제어하는 방식은 많은 주변 회로가 필요하고 복잡하며, 종래 기술에서 언급한 문제점을 가지고 있다. 또한, 저가의 카메라는 제조사에서 세팅한 값을 변경하거나 직접 제어하는 것이 어려운 점이 있다. 따라사, 램프와 같이 발광부를 제어하는 것은 카메라를 직접 제어하는 것보다 용이할 수 있으며, 제어 회로가 단순하고 카메라를 직접 제어하는 방식에 비해 우수한 이미지를 얻을 수 있는 장점이 있다.
지금까지 촬영 시스템의 다양한 실시 예를 설명하였다. 아래에서는 촬영 시스템 제어 방법의 흐름도를 설명한다.
도 6은 본 개시의 일 실시 예에 따른 촬영 시스템 제어 방법의 흐름도이다.
도 6을 참조하면, 촬영 시스템은 기 설정된 시간으로 촬영부의 셔터 스피드를 설정한다(S610). 예를 들어, 촬영부의 셔터 스피드는 최대 값으로 설정될 수 있다.
촬영 시스템은 설정된 셔터 스피드의 시간보다 2배의 시간 간격으로 적어도 하나의 램프를 포함하는 발광부를 발광시킨다(S620). 촬영 시스템은 피사체에 대한 제1 프레임의 촬영 종료 시점 및 제1 프레임과 인접한 제2 프레임의 촬영 시작 시점이 포함되는 기 설정된 시간 동안 발광하도록 발광부를 발광시킬 수 있다.
예를 들어, 촬영 시스템은 발광부의 하나의 램프를 동일한 광량으로 발광시킬 수 있다. 그리고, 촬영 시스템은 제1 프레임의 촬영 주기에서는 기 설정된 제1 시간 동안 발광하고, 제2 프레임의 촬영 주기에서는 제1 시간보다 짧은 기 설정된 제2 시간 동안 발광하도록 발광부를 발광시킬 수 있다.
또는, 촬영 시스템은 발광부의 제1 램프를 기 설정된 제1 광량으로 제1 프레임의 촬영 주기에서 발광시킬 수 있다. 동시에, 촬영 시스템은 제2 램프를 제1 광량보다 낮은 기 설정된 제2 광량으로 제1 프레임의 촬영 주기 및 제2 프레임의 촬영 주기에서 동일한 시간 동안 발광시킬 수 있다.
촬영 시스템은 피사체의 제1 프레임의 이미지 및 제2 프레임의 이미지를 촬영한다(S630). 한편, 촬영 시스템은 촬영된 제1 프레임의 이미지와 제2 프레임의 이미지를 합성할 수 있고, 생성된 합성 이미지를 전송할 수도 있다.
본 개시에 의한 촬영 시스템은 다양한 장치로 구현될 수 있고, 다양한 분야에서 활용될 수 있다. 예를 들어, 촬영 시스템은 고정형 및 이동형 감시 카메라 시스템, 차량용 카메라, 휴대전화 카메라, 드론 카메라, 블랙박스 등으로 구현될 수 있고, 다양한 영상 신호 처리 분야, 자율 주행 자동차 분야 또는 사물 인식 분야를 포함한 다양한 영상 시각화 분야에 활용될 수 있다.
상술한 다양한 실시 예에 따른 촬영 시스템의 제어 방법은 컴퓨터 프로그램 제품으로 제공될 수도 있다. 컴퓨터 프로그램 제품은 S/W 프로그램 자체 또는 S/W 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)를 포함할 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 촬영 시스템 110: 발광부
120: 제어부 130: 촬영부

Claims (10)

  1. 기 설정된 시간으로 셔터 스피드가 설정되어 피사체를 촬영하는 촬영부;
    적어도 하나의 램프를 포함하고 기 설정된 주기로 발광하는 발광부; 및
    상기 설정된 셔터 스피드의 시간보다 2배의 시간 간격으로 상기 발광부가 발광하도록 제어하고, 상기 촬영부의 제1 프레임의 촬영 종료 시점 및 상기 제1 프레임과 인접한 제2 프레임의 촬영 시작 시점이 포함되는 기 설정된 시간 동안 발광하도록 상기 발광부를 제어하며, 상기 피사체의 상기 제1 프레임의 이미지 및 제2 프레임의 이미지를 촬영하도록 상기 촬영부를 제어하는 제어부;를 포함하고,
    상기 제어부는,
    상기 발광부의 제1 램프는 기 설정된 제1 광량으로 상기 제1 프레임의 촬영 주기에서 상기 제1 프레임의 촬영 주기 종료 시점까지 발광하도록 제어하고, 제2 램프는 상기 제1 광량보나 낮은 기 설정된 제2 광량으로 상기 제1 램프의 발광 시점과 동시에 발광하고, 상기 제1 프레임의 촬영 주기 및 상기 제2 프레임의 촬영 주기에서 발광 종료 없이 연속하여 발광하며, 상기 제1 프레임의 촬영 주기에서 발광한 발광 시간과 동일한 시간 동안 상기 제2 프레임의 촬영 주기에서 발광하도록 제어하는, 촬영 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제어부는,
    상기 촬영된 제1 프레임의 이미지와 제2 프레임의 이미지를 합성하여 합성 이미지를 생성하는, 촬영 시스템.
  5. 제4항에 있어서,
    상기 생성된 합성 이미지를 전송하는 통신부;를 더 포함하는 촬영 시스템.
  6. 기 설정된 시간으로 촬영부의 셔터 스피드를 설정하는 단계;
    상기 설정된 셔터 스피드의 시간보다 2배의 시간 간격으로 적어도 하나의 램프를 포함하는 발광부가 발광하는 단계; 및
    피사체의 제1 프레임의 이미지 및 제2 프레임의 이미지를 촬영하는 단계;를 포함하고,
    상기 발광하는 단계는,
    피사체에 대한 상기 제1 프레임의 촬영 종료 시점 및 상기 제1 프레임과 인접한 상기 제2 프레임의 촬영 시작 시점이 포함되는 기 설정된 시간 동안 발광하고,
    상기 발광하는 단계는,
    상기 발광부의 제1 램프는 기 설정된 제1 광량으로 상기 제1 프레임의 촬영 주기에서 상기 제1 프레임의 촬영 주기 종료 시점까지 발광하도록 제어하고, 제2 램프는 상기 제1 광량보나 낮은 기 설정된 제2 광량으로 상기 제1 램프의 발광 시점과 동시에 발광하고, 상기 제1 프레임의 촬영 주기 및 상기 제2 프레임의 촬영 주기에서 발광 종료 없이 연속하여 발광하며, 상기 제1 프레임의 촬영 주기에서 발광한 발광 시간과 동일한 시간 동안 상기 제2 프레임의 촬영 주기에서 발광하도록 제어하는, 촬영 시스템의 제어 방법.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서,
    상기 촬영된 제1 프레임의 이미지와 제2 프레임의 이미지를 합성하여 합성 이미지를 생성하는 단계;를 더 포함하는 촬영 시스템의 제어 방법.
  10. 제9항에 있어서,
    상기 생성된 합성 이미지를 전송하는 단계;를 더 포함하는 촬영 시스템의 제어 방법.
KR1020180158774A 2018-12-11 2018-12-11 다중 노출 촬영 시스템 및 제어 방법 KR102110314B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180158774A KR102110314B1 (ko) 2018-12-11 2018-12-11 다중 노출 촬영 시스템 및 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180158774A KR102110314B1 (ko) 2018-12-11 2018-12-11 다중 노출 촬영 시스템 및 제어 방법

Publications (1)

Publication Number Publication Date
KR102110314B1 true KR102110314B1 (ko) 2020-05-14

Family

ID=70736865

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180158774A KR102110314B1 (ko) 2018-12-11 2018-12-11 다중 노출 촬영 시스템 및 제어 방법

Country Status (1)

Country Link
KR (1) KR102110314B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0564075A (ja) * 1991-08-30 1993-03-12 Fuji Photo Film Co Ltd ビデオ・カメラ，それを用いた撮影方法およびその動作方法，ならびに画像処理装置および方法
JPH09326963A (ja) * 1996-06-06 1997-12-16 Olympus Optical Co Ltd 撮像装置
JP2007194986A (ja) * 2006-01-20 2007-08-02 Fujifilm Corp 撮影装置
KR20170125604A (ko) * 2016-05-04 2017-11-15 삼성전자주식회사 전자 장치 및 그 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0564075A (ja) * 1991-08-30 1993-03-12 Fuji Photo Film Co Ltd ビデオ・カメラ，それを用いた撮影方法およびその動作方法，ならびに画像処理装置および方法
JPH09326963A (ja) * 1996-06-06 1997-12-16 Olympus Optical Co Ltd 撮像装置
JP2007194986A (ja) * 2006-01-20 2007-08-02 Fujifilm Corp 撮影装置
KR20170125604A (ko) * 2016-05-04 2017-11-15 삼성전자주식회사 전자 장치 및 그 제어 방법

Similar Documents

Publication Publication Date Title
JP6471953B2 (ja) 撮像装置、撮像システム、及び撮像方法
US9866737B2 (en) Imaging apparatus with drivable optical sighting unit
WO2016075908A1 (ja) 撮像装置及び撮像方法
KR100968543B1 (ko) 적외선 발광다이오드를 이용한 카메라 및 적외선 발광다이오드 제어 방법
JP5860663B2 (ja) ステレオ撮像装置
US10609265B2 (en) Methods and apparatus for synchronizing camera flash and sensor blanking
JP2007135140A (ja) 撮像装置
JP6627866B2 (ja) 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム
CN110933337B (zh) 具有led闪烁减轻和减少运动模糊的hdr图像传感器
WO2016076016A1 (ja) 車載カメラシステム
KR102200540B1 (ko) 다중 광도 영상 획득 장치 및 방법
KR102110314B1 (ko) 다중 노출 촬영 시스템 및 제어 방법
KR20150057041A (ko) 카메라의 led 조명제어 방법 및 그 장치
KR102396062B1 (ko) 광학 셔터를 이용한 다중 노출 영상 취득 장치
CN115967782A (zh) 背景显示设备、相机和显示虚拟背景的展示的方法
KR102200541B1 (ko) 다중 광도 영상 획득 장치 및 방법
KR102184295B1 (ko) 다중 광도 영상 획득 장치 및 방법
US8681263B2 (en) Imager capturing an image with a rolling shutter using flicker detection
EP4002833A1 (en) Method and electronic device for increased dynamic range of an image
US20170287140A1 (en) High quality Lightning resilient segmentation system using active background
KR20220001116A (ko) 감시 카메라 장치 및 이의 동작 방법
JP2017092876A (ja) 撮像装置、撮像システム、及び撮像方法
KR102497020B1 (ko) 다중 광도 및 다중 대역 영상 획득 장치 및 방법
US20230110191A1 (en) Background display device
JP2012095183A (ja) 撮影装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant