KR101633445B1 - 카메라 노출 제어 장치 및 제어 방법 - Google Patents

카메라 노출 제어 장치 및 제어 방법 Download PDF

Info

Publication number
KR101633445B1
KR101633445B1 KR1020150026541A KR20150026541A KR101633445B1 KR 101633445 B1 KR101633445 B1 KR 101633445B1 KR 1020150026541 A KR1020150026541 A KR 1020150026541A KR 20150026541 A KR20150026541 A KR 20150026541A KR 101633445 B1 KR101633445 B1 KR 101633445B1
Authority
KR
South Korea
Prior art keywords
value
image
camera
dark
pixel
Prior art date
Application number
KR1020150026541A
Other languages
English (en)
Other versions
KR20150101423A (ko
Inventor
프레드릭 스벤슨
요한 투베슨
린다 하알스
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20150101423A publication Critical patent/KR20150101423A/ko
Application granted granted Critical
Publication of KR101633445B1 publication Critical patent/KR101633445B1/ko

Links

Images

Classifications

    • H04N5/2353—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

카메라의 노출을 제어하기 위한 방법이 개시된다. 상기 방법은 비디오 시퀀스에서 제1 이미지에 대한 다크 레벨 및 포화 레벨을 계산하는 단계(S02, S04)를 포함한다. 포화 레벨이 제1 한계치를 초과하면, 카메라에 의해 캡쳐된 이미지에서 픽셀의 평균 명암 값에 대한 목표 값이 다크 레벨의 증가 함수 양 만큼 감소된다(S10). 감소된 목표 값은 비디오 시퀀스에서 제1 이미지에 후속하는 이미지에 대한 카메라의 노출을 제어하기 위해 사용되고, 후속 이미지에서 픽셀의 평균 명암 값은 감소된 목표 값에 접근한다.

Description

카메라 노출 제어 장치 및 제어 방법 {METHOD AND CONTROL UNIT FOR CONTROLLING EXPOSURE OF A CAMERA}
본 발명은 카메라 노출 제어 분야에 관한 것이다. 특히 본 발명은 카메라 노출 제어를 위한 시스템 및 방법, 제어 장치에 관한 것이다.
카메라들은 흔히 감시 도구 혹은 다른 상황에서 사람을 돕기 위한 도구로 사용된다. 예를 들어, 카메라들은 교통 감시 혹은 교통 지원을 위해 사용된다. 예를 들어 카메라는 운전을 돕거나 혹은 자동 조종장치(auto-pilot)나 안전 시스템에 입력을 주기 위해 자동차 혹은 열차에 장착될 수 있다.
심야 시간 중에 강한 광원이 현장에 들어오면, 카메라에 의해 캡쳐된 이미지에서 픽셀의 포화 문제가 발생할 수 있다. 포화는 카메라 센서에서 제한된 픽셀의 다이나믹이 빛 세기의 전체 범위를 캡쳐할 수 없도록 한다는 점 때문에 발생 한다. 그 결과, 예를 들어 심야 시간 동안에 교통 신호 및 철도 신호와 같은 신호의 컬러를 보는 것이 어려울 수 있다. 또한 번호판에 의해 반사된 빛이 이미지에서 포화의 원인이 될 수 있기 때문에, 번호판의 숫자를 구별하기 어려울 수 있다.
위에서 예시한 감시를 목적으로 하는 경우, 이와 같이 심야 시간 동안에 이미지의 어떤 부분도 포화 되지 않는 것이 중요하다. 동시에, 이미지에서 햇빛이 주된 포화의 원인이 되는 주간 동안에 이미지 부분들이 포화 되는 것은 문제가 되지 않는다. 이는 주간에 현장의 가장 밝은 부분은 일반적으로 광경의 감시 측면에서 중요하지 않은 하늘이기 때문이다.
미국 특허출원 공개공보 US 2007/0009253 A1호에 대응하는 미국 등록특허 US 7,474,847 B2호에는 이미지 프레임에서의 명암 히스토그램을 기초로 한 카메라의 노출 제어가 개시되어 있다. 더 상세하게는, 평균값 하한 및 상환과 같은 특성 값이 히스토그램에서 추출된다. 카메라의 노출 파라미터들은 히스토그램의 특성 값이 목표 레벨에 도달할 때까지 조정된다. 목표 레벨에 대한 목표 간격은 어두울 때 목표 간격이 감소되도록 주위 빛 레벨에 따라 설정될 수 있다. 목표 레벨은 예컨대, 픽셀의 포화를 제어하는 것과 같은 기준에 따라 설정될 수 있다. 그 결과, 어두울 때 캡쳐된 이미지의 히스토그램은 명암 범위의 어두운 쪽 끝으로 이동될 것이고, 그렇게 함으로써 이미지에서 포화된 픽셀의 수가 감소할 것이다. 이러한 이동은 이미지에 노출이 부족하게 한다. 그러나, 상기 방법의 문제점은 이미지에서 포화 여부와는 관계없이 어두울 때 이미지가 항상 노출이 부족할 것이라는 것이다. 예를 들어, 심야 시간 중 현장에 신호등 불빛이 없음에도, 이미지는 노출이 부족할 것이다. 따라서 개선의 여지가 있다.
위의 측면에서, 이와 같이 어두운 조도 조건 중 이미지에 포화를 줄이는 카메라의 노출 제어를 위해 개선된 방법을 제공하고, 이와 동시에 포화가 존재하지 않을 때 정확하게 노출된 이미지가 밝은 조도 조건 혹은 어두운 조도 조건 중에 생산되게 하는 것이 본 발명의 목적이다.
본 발명의 제1 측면에 따르면, 상기 목적은 카메라의 노출을 제어하기 위한 방법으로,
비디오 시쿼스에서 제1 이미지를 캡쳐할 때 사용된 카메라에 의해 노출 시간 및 이득(gain)을 결정하는 단계,
적어도 노출 시간과 이득의 곱으로 제1 이미지와 관련된 다크 레벨(darkness level)을 계산하는 단계,
이미지에서 포화된 픽셀의 수와 완전하게 어두운 픽셀의 수 사이의 비율로 제1 이미지에 대한 포화 레벨을 계산하는 단계,
포화 레벨이 제1 한계치를 초과하면, 다크 레벨 증가 함수의 양만큼 카메라에 의해 캡쳐된 이미지에서 픽셀의 평균 명암 값(mean intensity value)에 대한 목표 값을 감소시키는 단계, 및
후속 이미지에서 픽셀의 평균 명암 값이 감소된 목표 값에 접근하도록, 비디오 시퀀스에서 제1 이미지에 후속하는 이미지에서의 카메라 노출을 제어하는 단계를 포함하는 방법에 의해 달성된다.
상기 방법에 따르면, 포화 문제를 줄이기 위해 카메라에 의해 캡쳐된 이미지에서 픽셀의 평균 명암 값에 대한 목표 값이 감소된다. 더 상세하게는, 카메라 제어에 사용된 평균 명암 값에 대한 목표 값을 감소시키는 것은 후속 이미지의 명암 값 히스토그램을 명암 범위 아래쪽으로 이동되도록 한다. 그 결과, 포화된 픽셀의 수가 감소한다.
평균 명암 값에 대한 목표 값은 다크 레벨의 증가 함수로 감소된다. 예를 들어, 다크 값(darkness value)의 증가 함수는 목표 값의 감소 양을 현재 목표 값에 대한 퍼센트로 제공될 수 있다. 즉, 더 어두울수록 목표 값은 더욱 감소된다. 포화된 픽셀의 감소는 어두운 조도 조건 중에 더 커지는 것을 시사하고, 위의 예처럼 광경의 감시 지점에서 포화된 픽셀의 수를 감소시키는 것은 덜 어둡거나 동일한 빛 조도 조건과 비교할 때 중요하고, 포화된 픽셀의 수를 감소시키는 것은 그렇게 중요하지 않다. 상기 방식 때문에, 포화 문제는 정확히 노출된 이미지들이 밝은 조도 조건 중 생산될 수 때와 동시에 어두울 때 감소될 수 있다.
게다가, 현재 이미지에 포화 문제가 있는 경우, 즉 현재 다크 레벨에 관계없이 포화 레벨이 제1 한계치를 초과하는 경우, 중요한 것은 목표 값만이 감소된다는 점에 주목해야 한다는 것이다. 이러한 방식으로, 포화가 존재하지 않을 때, 어두운 조도 조건 중에도 정확히 노출된 이미지들이 생성될 수 있다.
예를 들어 자동차의 전방을 보기 위해 장착된 카메라를 고려해 본다. 야간에(어두울 때) 상황은 다음과 같다: 현장에 신호등 불빛 혹은 반사 번호판과 같은 밝은 빛이 없는 한은, 카메라의 이미지들은 정확히 노출될 것이다(즉 목표 값이 감소되지 않는다). 이는 평균 명암에 대한 목표 값은 높은 가시성이 대게 현장들에서 달성된다는 점, 즉 밸런스는 이미지의 밝고 어두운 부분 사이에서 달성된다는 점에 의해 조정된다는 것을 의미한다. 자동차가 신호등에 접근할 때와 같이 밝은 빛이 현장에 들어갈 때, 이미지에서 포화 문제가 발생한다. 그러나, 상기 상황에서 목표 값은 감소될 것이고, 그렇게 함으로써 포화 문제를 줄인다. 그 결과, 이미지에서 교통신호의 컬러를 보고, 번호판의 텍스트를 읽는 것이 가능할 것이다. 주간 중에(밝을 때) 상황은 다음과 같다: 이미지에 밝은 빛의 유무와는 관계없이, 이미지는 정확히 노출될 것이다(즉, 목표 값이 감소되지 않는다). 황혼과 같이 "어둡고", "밝은" 사이의 조도 조건을 위해, 상기 두 상황들의 혼합은 발생한다. 더 정확하게는, 현재 이미지에 포화가 있다면, 목표 값은 다크 레벨에 의존하는 양만큼 조정된다.
픽셀의 명암 값이 가능한 명암 값 범위의 위쪽 끝에서 미리 정의된 값을 초과하는 경우, 제1 이미지의 픽셀은 포화된 픽셀로 간주된다.
유사하게, 픽셀의 명암 값이 가능한 명암 값 범위의 아래쪽 끝에서 미리 정의된 값을 초과하는 경우, 제1 이미지 픽셀은 완전히 어두운 픽셀로 간주된다.
"포화된 픽셀" 및 "완전히 어두운 픽셀"이란 용어는 제1 이미지 명암 값 히스토그램을 참조하여 더욱 설명될 수 있다. 히스토그램에서 명암 값은 가능한 명암 값의 범위와 일치하는 빈의 수로 나뉜다. 예를 들어 0에서 255 사이 가능한 명암 값의 범위에 상응하는 256 빈들이 히스토그램에 이루어질 수 있다. 이 맥락에서, 포화된 픽셀은 가장 높은 가능 명암 값 중 하나와 일치하는 빈으로 나뉜 명암 값을 가진 픽셀로 정의될 수 있다. 몇몇 경우에 가장 높은 명암 값(예에서 명암 값 255)과 일치하는 빈은 오직 포화된 픽셀을 정의하기 위해 사용된다. 다른 경우에, 두 번째 또는 세 번째 높은 명암 값과 일치하는 빈들이 사용된다. 유사하게, 완전히 어두운 픽셀은 가장 낮은 가능 명암 값 중 하나와 일치하는 빈으로 나뉜 명암 값을 가진 픽셀로 정의될 수 있다.
예를 들어 카메라가 장착된 자동차가 신호등에 접근하는 경우 목표 레벨이 저녁에 포화를 줄이기 위해 감소되는 상황을 고려해 본다. 자동차가 신호등을 통과함으로써, 밝은 빛이 현장에서 사라지고 그 이유로 더 이상 잠재적인 포화 문제가 없어진다. 그러나, 목표 레벨이 감소되기 때문에, 카메라에 의해 캡쳐된 이미지는 여전히 노출 부족인 상태로 나타날 것이다. 이 상황을 조정하기 위해 상기 방법은 단계를 더 포함할 수 있는데 그 단계는:
포화 레벨이 제1 한계치보다 동일하거나 그보다 작은 제2 한계치 미만인 경우, 카메라에 의해 캡쳐된 이미지에서 평균 명암 값에 대한 목표 값이 증가하는 단계, 및
후속 이미지에서 픽셀의 평균 명암 값이 증가된 목표 값에 접근하도록, 비디오 시퀀스에서 제1 이미지에 후속하는 이미지에서의 카메라 노출을 제어하는 단계이다.
다시 말하면, 더 이상 포화 문제가 없다는 것을 발견하게 된다면(포화 레벨이 제2 한계치 아래인 경우) 목표 값은 다시 증가될 수 있다. 이 방식에서 밝은 빛이 현장에 들어갈 때 상기 방법은 첫 번째로 목표 값을 감소시킬 수 있고, 밝은 빛이 현장에서 사라질 때 다시 목표 값은 증가한다. 이와 같이 상기 방법은 조도 및 포화에 대한 현재 조건에 따라 조정할 수 있다.
예를 들어, 평균 명암 값의 목표 값은 다크 레벨에 따라 감소한 양 만큼 증가될 수 있다. 즉, 더 어두울수록 목표 값이 증가된 양이 더 작다. 목표 레벨의 증가는 밝을 때(새로운 포화 문제로 도달하는 리스크가 중요하지 않을 때) 큰 단계에서 어두울 때(새로운 포화 문제로 도달하는 리스크가 중요할 때)는 작은 단계에서 만들어질 수 있다는 점에서 유리하다.
다크 레벨에 따른 감소는 엄격한 감소가 될 것이 요구되지 않는다. 다시 말하면, 다크 레벨이 또한 포함되는지에 상관없이 목표 레벨의 증가는 일정한 단계들에서 만들어진다.
위에서 논의한대로, 평균 명암 값의 목표 값은 다크 레벨의 증가 함수 양 만큼 감소된다. 다크 레벨의 증가 함수는 제1 문턱값 아래 다크 레벨에 대해 0 값을 취할 수 있고, 목표 값은 제1 문턱값 아래 다크 레벨에 대해 감소되지 않는다.
다시 말하면, 밝은 조도 조건을 구별하는 제1 문턱값이 있을 수 있고 목표 값의 감소는 수행되지 않지만, 어두운 조도 조건에서 목표 값은 포화의 경우에 감소된다. 그에 맞춰, 현재 밝은 조도 조건이면 포화가 존재함에도 불구하고 목표 레벨은 감소되지 않는다. 밝은 조도 조건일 때, 적어도 여기서 언급된 상황에 대해서는, 포화의 존재가 광경의 감시 지점에서 중요하지 않기 때문에 이러한 점에서 유리하다.
어두운 조도 조건으로 정의한 다크 레벨에 대해 제2 문턱값이 더욱 있을 수 있다. 더 정확히 말하면, 다크 레벨의 증가 함수는 제1 문턱값 아래에 존재하는 다크 레벨에 대한 제1 값 및 제1 문턱값 보다 더 큰 제2 문턱값 위에 존재하는 다크 레벨에 대한 제2 값을 취할 수 있고, 상기 제1 문턱값과 제2 문턱값 사이 다크 레벨에 대한 함수는 제1 값에서 제2 값까지 매끄럽게 증가한다.
다시 말하면, 제1 문턱값(즉 밝은 조도 조건일 때) 아래에 존재하는 다크 레벨에 대한 목표 레벨은 최소 단계 크기와 일치하는 제1 값까지 감소된다. 제2 문턱값(즉 어두운 조도 조건일 때) 위에 존재하는 다크 레벨에 대한 목표 레벨은 최대 단계 크기와 일치하는 제2 값까지 감소된다. 제1 한계치와 제2 한계치(즉 밝고 어두운 사이일 때) 사이의 다크 레벨에 대한 목표 값의 감소는 최소 단계 크기부터 최대 단계 크기까지 증가한 다크 레벨과 같이 매끄럽게 증가한다.
이는 어두운 조도 조건과 밝은 조도 조건 사이의 매끄러운 변화가 달성된다는 점에서 유리하다.
일반적으로, 함수의 모양은 제1 문턱값과 제2 문턱값 사이에서 증가하는 형태가 될 수 있다. 예를 들어, 함수는 제1 값에서 제2 값까지 선형적으로 증가할 수 있다. 이는 어두운 조도 조건과 밝은 조도 조건 사이에서 좋은 변화를 주는 것을 알았고 이와 동시에 실행하기 쉬운 간단한 모델을 제공한다.
상기 방법은 제1 문턱값에 대해 사용자가 입력한 값을 받는 단계를 더욱 포함할 수 있다. 이는 사용자가 밝은 조도 조건에 의해 정의되는 문턱값을 설정할 수 있다는 점에서 유리하다.
상기 방법은 제1 한계치 및/또는 제2 한계치의 값에 대해 사용자가 입력한 값을 받는 단계를 더욱 포함할 수 있고, 적용 가능하다면 포화 레벨이 비교된다. 이는 포화의 유무로 정의한 한계치를 사용자가 정할 수 있다는 점에서 유리하다. 예를 들어 상기 한계치는 신호등 혹은 번호판의 크기에 따라 정해질 수 있다.
삭제
비디오 시퀀스에서 제1 이미지 후속 이미지를 위한 카메라 노출은 에러에 기초하여 제어될 수 있다. 특히, 상기 방법은 후속 이미지 픽셀의 평균 명암 값 및 감소된 혹은, 적용 가능하면 증가된 목표 값에서 계산된 에러에 기초하여 카메라에 대한 제어 신호를 발생시키는 단계를 더욱 포함한다. 제어 신호는 에러에 비례하는(P-컨트롤러) 용어 및 에러의 적분에 비례하는(PI-컨트롤러) 임의의 용어, 및 에러의 미분에 비례하는(PID-컨트롤러) 임의의 용어를 포함한다. 양자택일로, 다른 표준 제어 방법이 사용될 수 있다.
그러나, 바람직하게 또 다른 접근이 취해지면, 즉 계산된 에러 및 평균 명암 값이 감소된 혹은, 적용 가능하면 증가된 목표 값과 동일할 때 에러가 취한 값 사이의 차이가 증가하는 도 함수를 가진 함수에 따르면 제어 신호는 에러에 종속적이다. 상기 방식에서 제어는 에러가 클 때, 즉 목표 값 및 평균 명암 값의 차이가 큰 경우 에러에 대한 변화에 더 민감하고, 목표 값과 평균 명암 값이 거의 동일 할 때 에러에 대한 변화에 덜 민감하다. 다르게 표현하면, 평균 명암 값이 목표 값에 멀어지는 경우 제어는 빠르게 될 것이고, 평균 명암 값이 목표 값에 가까워지는 경우 느리게 될 것이다. 특히, 그러나 함수가 연속이기 때문에 빠른 제어가 사용될 때 및 느린 제어가 사용될 때 사이에 고정된 한계치가 없다.
이 접근은 목표 값과 평균 명암 값의 차이가 큰 경우 제어가 빠르게 달성된다는 점에서 유리하고 동시에 목표 값과 평균 명암 값이 거의 동일한 경우 인내를 요하는데 에러가 작아질 때 평균 명암 값이 목표 값에 매끄럽게 접근하기 때문이다. 특히, 평균 명암 값이 목표 값에 접근할 때 진동과 같은 P-, PI-, 혹은 PID-컨트롤러에 대한 문제들은 피할 수 있다. 상기 제어 방법에 대한 또 다른 장점은 고정된 에러를 주지 않고 제어에서 오버슈트가 일어나게 함이 없이 조정이 쉽다는 것이다.
바람직한 일 실시예에서 에러는 후속 이미지의 감소된 혹은, 적용 가능하면 증가된 목표 값과 픽셀의 평균 명암 값 사이의 비율로 계산된다. 또 다른 실시예에서, 에러는 후속 이미지 픽셀의 평균 명암 값과 감소된 혹은, 적용 가능하다면 증가된 목표 값 사이의 차이로 계산된다.
이것은 특히 고속 및 로버스트 제어를 제공하는 것을 알게 되었기 때문에 예를 들어 증가하는 도 함수를 가지는 함수는 역 시그모이드 함수일 수 있다.
본 발명의 제2 측면에 따르면, 상기 목적은 카메라 노출을 제어하는 제어 장치에 의해 달성되고, 제어 장치는:
비디오 시퀀스에서 제1 이미지를 캡쳐할 때 사용된 카메라의 노출 시간 및 이득을 결정하고,
적어도 노출 시간과 이득의 곱으로 제1 이미지와 관련된 다크 레벨을 계산하고,
제1 이미지에서 포화된 픽셀의 수와 완전히 어두운 픽셀의 수 사이의 비율로 제1 이미지에 대한 포화 레벨을 계산하고,
포화 레벨이 제1 한계치를 초과하면, 카메라에 의해 캡쳐된 이미지에서 픽셀의 평균 명암 값의 목표 값을 다크 레벨의 증가 함수 양만큼 감소시키고, 후속하는 이미지 픽셀의 평균 명암 값이 감소된 목표 값에 접근하도록 비디오 시퀀스에서 제1 이미지에 후속하는 이미지에서의 카메라 노출을 제어하도록 구성된다.
본 발명의 제3 측면에 따르면, 상기 목적은 적어도 하나의 카메라 및 적어도 하나의 카메라 노출을 제어하기 위한 제2 측면에 따른 제어 장치를 포함하는 감시 시스템에 의해 달성된다. 감시 시스템은 교통 감시 시스템일 수 있다. 예를 들어 상기 시스템은 암흑에서 컬러 광 신호 혹은 번호판의 식별이 가능할 수 있다.
본 발명의 제4 측면에 따르면, 상기 목적은 컴퓨터 코드 명령을 포함하는 컴퓨터로 판독 가능한 기록 매체에 의해 달성되고, 상기 컴퓨터 코드 명령은 처리 능력을 가진 장치에 의해 실행되고, 제1 측에 따른 방법을 수행하기 위해 조정된다.
제2, 제3 및 제4 측면들은 일반적으로 제1 측면과 같이 같은 특징 및 장점들을 가질 수 있다. 다른 곳에서 명쾌하게 언급되지 않았더라도 본 발명은 모두 가능한 특징의 결합에 관한 것임을 더욱 나타낸다.
일반적으로, 여기 다른 곳에서 명쾌하게 정의되지 않았더라도, 청구 범위에서 사용된 모든 용어들은 상기 기술 분야에서 통상적인 의미로 해석된다. "a/an/the [제어 장치, 카메라, 단계 등]"의 모든 언급은 다른 곳에서 명쾌하게 언급되지 않더라도 언급된 제어 장치, 카메라, 단계 등의 적어도 일 예로 나타내는 것처럼 공개적으로 해석된다. 여기서 공개된 모든 방법의 단계들은 명쾌하게 언급 되지 않더라도 공개된 정확한 순서로 수행될 필요가 없다.
추가적인 목적뿐만 아니라, 위에서 본 발명의 특징 및 장점들은 다음의 실 예가 되고 제한되지 않은 본 발명의 바람직한 실시예들의 상세한 설명을 통해 잘 이해될 것이고, 첨부된 도면을 참조하여, 동일한 참조 번호는 유사한 요소에 사용될 것이다.
도 1은 실시예들에 따른 카메라 및 제어 장치를 포함하는 감시 시스템을 도식적으로 보여준다.
도 2a, 3a, 4a 및 5a는 도 1의 카메라에 의해 캡쳐된 이미지들을 도식적으로 보여준다.
도 2b, 3b, 4b 및 5b는 각각 도 2a, 3a, 4a 및 5a에 도시된 이미지의 명암 히스토그램을 도식적으로 보여준다.
도 6은 실시예들에 따른 카메라 노출을 제어하기 위한 방법의 흐름도(flow chart)이다.
도 7은 평균 명암 레벨에 대한 목표 값이 다크 레벨에 따라 감소될 수 있는 증가함수를 도식적으로 보여준다.
도 8은 제어 신호 값으로 평균 명암 값에 대한 에러를 표시하는 함수를 도식적으로 보여준다.
이하에서, 본 발명의 바람직한 실시예들이 도시되어 있는 첨부 도면을 참조하여 본 발명을 좀 더 상세하게 설명한다. 그러나 본 발명은 많은 다른 형태들로 구현될 수 있으며, 본 명세서에 설명된 실시예들로 한정되는 것으로 해석되지 않아야 한다; 더 정확히 말하면, 실시예들은 철저함과 완벽함을 위해 제공되고, 본 발명의 범위를 통상의 기술자에게 충분히 전달한다. 본 명세서에 개시된 시스템 및 장치들은 작동 중인 상태로 설명될 것이다.
도 1은 카메라(102) 및 제어 장치(104)를 포함하는 감시 시스템(100)을 도시한다. 카메라(102)는 비디오 시퀀스 이미지를 캡쳐하기 위해 구성되고, 상기 카메라는 예컨대 디지털 감시 카메라일 수 있다. 제어 장치(104)는 카메라(102)에 포함 되거나 혹은 카메라(102)에 작동 가능하게 연결되어 있는 별개의 부품으로 제공될 수 있다. 대안적으로, 제어장치(104)의 제1 부품은 카메라(102) 내부에 위치될 수 있고 제어장치(104)의 제2 부품은 카메라(102)의 외부에 위치될 수 있으므로, 여기서 개시된 몇몇의 방법 단계들은 카메라(102) 내부에서 수행되고 일부는 카메라(102)의 외부에서 수행된다. 시스템(100)은 복수의 카메라들(100)을 추가로 포함할 수 있다. 하나의 제어 장치(104)가 복수의 카메라들(100)을 제어할 수 있다. 예를 들어 감시 시스템은 교통 모니터링 프로그램들에 사용될 수 있다. 따라서, 감시 시스템(100)은 교통 감시 시스템일 수 있다.
제어 장치(104)는 여기에서 개시된 실시예들에 따라 카메라(102) 노출을 제어하기 위한 방법을 수행하도록 구성된다. 이 목적을 위해 제어 장치(104)는, 중앙 처리 장치와 같은, 처리 장치(106)를 포함할 수 있고, 상기 처리 장치는 예를 들어 메모리(110)에 저장되는 컴퓨터 코드 명령을 실행하도록 구성된다. 메모리(110)는 이와 같이 (일시적이지 않은) 컴퓨터로 판독 가능한 기록매체로 이러한 컴퓨터 코드 명령을 저장하기 위해 형성될 수 있다. 처리 장치(106)는 본 명세서에서 개시된 실시예의 방식을 수행하도록 구체적으로 설계된 하드웨어 구성 요소의 형태일 수 있는데, 상기 하드웨어 구성 요소 형태는 주문형 반도체(application specific intergrated circuit)와 같은, 필드 프로그램 가능 게이트 어레이(field-programmable gate array) 혹은 이와 유사한 것이다.
제어 장치(104)는 카메라(102)에서 데이터를 수신하고 데이터를 카메라에 송신하는 송수신기와 같은 통신 인터페이스(communication interface)를 더 포함할 수 있다. 수신된 데이터는 예를 들어 카메라(102)에 의해 캡쳐된 이미지 및 이미지를 캡쳐할 때 사용된 카메라(102)의 노출 설정을 포함할 수 있다. 예를 들어 송신된 데이터는 카메라(102)의 노출을 제어하기 위한 제어 신호를 포함할 수 있다.
이하에서, 도 1, 도 2a-b, 도 3a-b, 도 4a-b, 도 5a-b, 도 7, 도 8 및 도 6의 흐름도를 참조하여, 시스템(100)의 작동을 개시한다. 특히, 카메라(102) 노출 제어를 위한 제어 장치(104)로 수행되는 방법이 개시될 것이다.
S02 단계에서, 제어 장치(104)는 비디오 시퀀스 이미지에서 제1 이미지를 캡쳐할 때 사용된 카메라(102)로 노출 시간 및 이득을 결정한다. 노출 시간 및 이득은 카메라의 노출 설정의 예들이다. 예를 들어 노출 시간 및 이득은 카메라(102)로부터 제어 장치(104)에 의해 수신될 수 있다. S02 단계에서 결정될 수 있는 또 다른 노출 설정은 구멍(aperture), 즉 카메라의 조리개 크기이다.
노출 시간 및 이득은 조도 조건(illumination condition)을 나타내는 두 가지 파라미터이다. 이것은 또한 조리개의 크기에도 적용된다. 노출 시간은 일반적으로 어두운 조도 조건 중에 카메라 센서에 얼마나 많은 빛이 들어오는지에 따라 결정되고, 긴 노출 시간은 카메라 센서에 충분한 빛이 들어가게 하기 위함이다. 이에 따라 긴 노출 시간은 어두운 조도 조건을 나타낸다. 더욱이, 어두운 조도 조건 중에 센서에 들어가는 빛의 양은 일반적으로 밝은 조도 조건 중인 경우보다 더 낮다. 따라서, 감지된 신호의 증폭을 위한 필요성은 어두운 조도 조건 중에 더 크다. 이처럼, 증폭을 위해 사용된 이득의 높은 수치는 또한 어두운 조도 조건임을 가리킨다. 다시 말하면, 노출 시간 및 이득, 특히 이득의 곱은 현재 다크 레벨의 표시를 얻기 위해 사용될 수 있다.
S04 단계에서, 제어 장치(104)는, 적어도 결정된 노출 시간 및 이득에 기초하여 비디오 시퀀스 중 제1 이미지와 관련된 다크 레벨을 계산한다. 바람직하게는, 제어 장치(104)는 노출 시간과 이득의 곱으로 다크 레벨을 계산한다. 그러나, 몇몇 실시예들에서 제어 장치(104)는 다크 레벨을 노출 시간, 이득 및 조리개의 크기의 곱으로 계산할 수 있다. 전술한 측면에서, 다크 레벨은 그 현장에서 암흑의 척도가 된다.
도 2a는 비디오 시퀀스에서 제1 이미지(200)를 도시한다. 도시된 예에서, 카메라(102)는 제1 트랙(202)을 주행하는 열차의 전방을 보기 위해 장착된다. 또한 제1 트랙과 평행하게 위치된 제2 트랙이 있다. 열차가 접근하는 중이나 여전히 꽤 멀리 있는 경우, 제1 광신호기(206)(light signal)는 제1 트랙(208)과 관련되어 있고 제2 광신호기(208)는 제2 트랙(204)와 관련되어 있다. 이 예에서 S04 단계에서의 제어 장치(104)가 제1 이미지(200)에 대해 큰 다크 레벨을 계산하도록 외부가 상대적으로 어두운 것으로 가정한다.
다음 S06 단계에서, 제어 장치(104)는 제1 이미지(200)에 대한 포화 레벨을 계산한다. 포화 레벨은 제1 이미지(200)에서 복수의 포화된 픽셀과 복수의 완전히 어두운 픽셀 사이의 비율로 계산 된다.
도 2b는 제1 이미지(200)에서 픽셀의 명암 값 히스토그램(210)을 도시한다. 히스토그램(210)에서 가능한 명암 값의 범위는 복수의 빈(bins)으로 나뉘고, 여기에서 0..n-1로 표시된 빈으로 도시된다. 예를 들어 상기 히스토그램에는 256 빈일 수 있다. 포화된 픽셀의 수는 일반적으로 명암 범위 상부 끝 n-1로 표시 된 빈의 픽셀의 수와 일치할 수 있다. 대안적으로, 포화된 픽셀의 수는 2 또는 3 빈과 같이 명암 범위 상부 끝 픽셀의 수와 일치할 수 있다. 예를 들어, 포화된 픽셀의 수는 n-1 및 n-2로 표시된 빈에서 픽셀의 수와 일치할 수 있다. 완전히 어두운 픽셀의 수는 제1 빈에서 0으로 표시된 픽셀의 수 또는 예를 들어 히스토그램에서 2 또는 3의 제1 빈과 같이 제1 빈 픽셀의 수와 같은 유사한 방식으로 계산 될 수 있다.
제1 이미지(200)는 예를 들어 빨강-초록-파랑(RGB) 이미지와 같은 컬러 이미지일 수 있다는 것에 주목해야 한다. 만약 제1 이미지가 RGB와 같은 컬러 이미지인 경우, 포화된 픽셀의 수 및 완전히 어두운 픽셀의 수는 밝기 히스토그램(가령 YCbCr표현을 가지는 컬러 이미지에서 Y 성분) 혹은 모든 컬러가 표현되는 원 픽셀 데이터로부터 추론 될 수 있다.
도 2b의 도시된 예에서, n-1로 표시된 최상의 빈에 0으로 표시된 최하의 빈과 비교할 때 꽤 많은 픽셀이 있다. 다시 말하면, 계산된 포화 레벨은 꽤 높을 것이다. 이 경우에 포화는 제1 및 제2 광신호기(206, 208)의 존재에 의해 다른 어두운 환경에서 초래된다. 광신호기(206, 208)와 그 주변 사이 명암 차가 크기 때문에, 광신호기(206, 208)는 도 2b의 히스토그램으로부터 보여질 수 있는 것처럼 이미지(200)를 포화시킨다. 포화의 결과로, 광신호기(206, 208)는 이미지(200)에서 흰색으로 나타나고 이와 같이 광신호기(206, 208)의 컬러는 이미지(200)로부터 추론될 수 없다.
S08 단계에서 제어 장치(104)는 포화 레벨이 제1 한계치를 초과하는지 여부를 검사한다. 제1 한계치는 사전에 정의되는 파라미터로, 예컨대 10-3일 수 있다. 제1 한계치는 사용자가 입력하는 대상일 수 있다. 검사 결과를 기초로 하여, 제어 장치(104)는 그 다음에 카메라(102)에 의해 캡쳐된 이미지에서 픽셀의 평균 명암 값에 대한 목표 레벨을 조정한다.
특히, 제어 장치(104)가, 포화 레벨이 제1 한계치를 초과한 것을 인지하면, 목표 값이 감소되는 S10 단계로 진행된다. 도 2a 및 도 2b의 도시된 예에서, 포화 레벨이 제1 한계치를 초과했음을 가정하면 목표 레벨은 현재 값(Told)에서 새로운 값(Tnew)으로 감소된다.
조정된 수치, 즉 Told-Tnew는 다크 레벨의 증가 함수에 따라 결정된다. 이 목적을 위해 사용될 수 있는 함수의 예는 도 7에 도시된다. 도시된 함수(700)는 다크 레벨이 하부 제1 문턱값 L1일 때 제1 값 V1을 취하고 다크 레벨이 상부 제2 문턱값 L2일 때 제2 값 V2를 취한다. L1과 L2 사이 다크 레벨에 대해 함수(700)는 매끄럽게, 제1 값 V1에서 제2 값 V2까지는 선형적으로 증가한다. 예를 들어 V1 및 V2 값은 현재 목표 값에 대해 퍼센트 관점으로 나타낼 수 있다. 예를 들어 V1은 0%와 일치할 수 있고 V2는 50%와 일치할 수 있다. 게다가, 몇몇 경우에 목표 값의 감소가 제1 문턱값 L1 아래 다크 레벨에 대해서는 만들어지지 않는다. 다크 레벨이 제1 문턱값 L1 위 일 때와 제2 문턱값 L2 아래에 있을 때 목표 값 감소 양은 다크 레벨과 함께 선형적으로 증가한다. 다크 레벨이 제2 문턱값 L2 위에 있을 때 목표 값 감소 양은 변함없이 유지된다. 밝은 조도 조건과 어두운 조도 조건 사이에서 구별하는 문턱값으로 해석되는 적어도 최하 한계 값 L1은 사용자가 입력하는 대상일 수 있다.
몇몇 실시예들에서, 제2 문턱값 L2는 제1 문턱값 L1과 동일하게 설정될 수 있고, 이처럼 제1 문턱값 L1 아래 다크 레벨에 대해 V1값을 취하고 제1 문턱값 L1과 같거나 혹은 위의 값일 때 V2 값을 취하는 계단 함수로 되는 함수를 초래한다.
다음 S14단계에서 제어 장치(104)는 노출을 조절하는데 즉, 노출 시간, 이득 및 카메라(102)의 조리개 크기와 같은 노출 설정을 조절한다. 카메라(102)의 제어는 도 3a의 이미지(300)처럼 제1 이미지(200) 후속의 이미지에 영향을 미친다. 노출 설정의 제어는 후속 이미지에서 픽셀의 평균 명암 값이 조정된 목표 값(Tnew)으로 접근하도록 한다는 것이다. 제어 장치(104)는 일반적으로 에러에 대한 제어를 기초로 한다. 일 실시예에 따르면 에러는 후속 이미지에서 픽셀의 평균 명암 값과 조정된 목표 값(Tnew)사이의 차이에 따라 계산된다. 또 다른 실시예에 따르면, 에러는 조정된 목표 값과 평균 명암 값 사이의 비율로 계산된다. 제어의 결과로, 후속 이미지에 대한 명암 히스토그램은 평균 명암 값이 조정된 목표 값(Tnew)과 동등하거나 가깝게 이동될 것이라는 것이다.
이는 도 3a의 후속 이미지(300)에 대한 명암 히스토그램(310)을 보여주는 도 3b에서 더욱 도시된다. 특히, 도 2a의 히스토그램(210)과 비교해볼 때 히스토그램(310)은 명암 범위가 아래쪽으로 이동된다. 그에 맞춰, 후속 이미지(300)는 제1 이미지(200)보다 더 어둡게 나타난다. 그러나, 더욱 중요하게, 히스토그램(310)의 아래쪽 이동의 결과로 더 이상 후속 이미지(300)에서 포화된 픽셀이 없다는 것이다. 이것은 후속 이미지(300)에서 광 신호기(208, 206)의 컬러가 보여질 수 있다는 점에서 유리한 효과를 가진다. 예를 들어, 후속 이미지(300)는 제1 광신호기(206)가 초록 및 흰 빛을 포함하고 제2 광신호기(208)가 빨간 빛을 포함한다는 것을 드러낼 수 있다.
위에서 논의한대로, 제어 장치(104)는 평균 명암 값 및 조정된 목표 값(Tnew)에서 계산된 에러에 대한 제어를 기초로 할 수 있다. 특히, 제어 장치(104)는 에러에 기초한 제어 신호를 발생시킬 수 있다.
일 실시예에 따르면, 에러는 후속 이미지에서 픽셀의 평균 명암 값과 조정된 목표 값(Tnew)사이의 차이로 계산 되고, 제어 신호는 에러(P-컨트롤러)에 비례하는 용어, 및 에러의 적분에 비례하는(PI-컨트롤러) 임의의 용어, 및 에러의 미분에 비례하는(PID-컨트롤러) 임의의 용어를 포함한다. 이러한 제어 전략이 취해진 경우, 에러 함수의 제어 신호 값은 도 8의 점선 곡선(802)에 의해 도시된다.
또 다른 실시예에 따르면, 제어 신호는 함수에 따른 에러에 의존한다. 함수는 일반적으로 평균 명암 값이 목표 값과 동등해 지는 것과 상응하여 에러 값에 대해 0을 취한다. 에러가 평균 명암 값과 목표 값 사이의 차이로 계산되는 경우, 평균 명암 값이 목표 값과 동등해 지는 것과 상응하여 에러 값은 이와 같이 0이다. 에러가 목표 값과 평균 명암 값 사이의 비율로 계산되는 경우, 평균 명암 값이 목표 값과 동등해 지는 것과 상응하여 에러 값은 이와 같이 1이다.
게다가, 평균 명암 값이 목표 값과 동일하다면 함수는 에러와 에러가 취한 값 사이의 차이가 증가하는 도함수(derivative)를 가진다.
에러가 평균 명암 값과 목표 값 사이의 차이로 계산되는 경우일 때 이 제어 전략은 도 8의 실선 곡선(804)으로 도시된다. 예를 들어 실선 곡선(804)에서 보여지는 역 시그모이드 함수(inverse sigmoid function)의 형태일 수 있다. 다른 선택들은 가령 삼차함수와 같은 검정력 함수(power function)(올드 파워(odd power)를 가지는) 혹은 에러의 양수 값에 대한 지수적 성장 및 에러의 음수 값에 대한 지수적 감소를 가지는 함수이다. 위에서 더 설명한 것처럼, 상기 제어 전략은 제어로 목표 값에 빠르게 수렴되도록 달성되고, 이와 동시에 에러가 작아질 때 평균 명암 값이 목표 값에 매끄럽게 접근한다는 점에서 유리하다. 바람직한 일 실시예에서, 에러는 목표 값과 평균 명암 값 사이의 비율로 계산된다. 이러한 일 실시예에서 도시된 함수(804)는 에러가 1과 같을 때 0을 취하도록 수정될 것이 요구된다. 예를 들어 도시된 함수(804)는 적절한 양만큼 우측으로 이동될 수 있다.
개시된 방법은 반복되고 실시간으로 실행하는 것으로 이해되고, 위에서 개시된 방법의 단계들은 카메라(102) 노출이 카메라(102)에 의해 캡쳐된 이미지에서 조도(illumination) 및 포화(saturation)에 대해 적응된 현재 상태로 유지하는 것이 반복된다는 것을 의미한다.
열차에 장착된 카메라(102)의 예로 돌아가서, 열차가 광신호기(206) 및 (208)을 통과할 때 그 상황을 고려해본다. 이것은 광신호기들이 현장에 존재하지 않는 도 4a의 이미지(400)에서 더욱 도시된다. 현장에서 이전에 포함된 광신호기(206) 및 (208)에 대한 포화를 줄이기 위해서 목표 값이 감소 되었기 때문에 이미지(400)는 어둡게 나타난다. 이것은 또한 대응하는 도 4a의 명암 히스토그램(410)으로부터 보여질 수 있고 픽셀 명암들은 허용 가능한 명암 범위 하부에 집중된다.
제어 장치(104)는 위에서 개시된 대로 이미지(400)를 제1 이미지처럼 S02, S04, S06 및 S08 단계를 반복한다. 이 경우에, S08단계에서 제어 장치(104)는 포화 레벨이 제1 한계치를 초과하지 않는 것을 나타내고, 이를 이유로 이미지(400)에서 포화된 픽셀이 없다.
따라서 제어 장치(104)는 S12 단계에서 진행할 수 있고 상기 단계에서 포화 레벨이 제1 한계치보다 (엄밀히) 낮은 제2 한계치 아래인지 아닌지 검사한다. 제2 한계치는 제1 한계치와 비슷하게 사용자 입력의 대상일 수 있다. 만일 S12 단계에서 포화 레벨이 제2 한계치 아래가 아닌 것을 제어 장치(104)가 발견한다면, 목표 값의 조정이 수행되지 않을 것이다. 도 4a 및 4b의 이미지(400)의 예에서, 포화 레벨이 제2 한계치 아래가 될 것이고 제어 장치(104)는 평균 명암 값에 대한 목표 값이 증가되는 S14단계를 진행한다. 이것은 도 4b에서 더욱 도시되는데, 목표 값은 이전(현재) 목표 값(Told)에서 새로운 목표 값(Tnew)으로 증가된다.
증가량, 즉 Tnew-Told는 미리 정의된 일정한 양의 형태일 수 있다. 또한 증가된 양은 다크 레벨에 따라 감소되도록, 다크 레벨에 종속적으로 설정될 수 있다. 후자의 경우, 밝은 조도 조건일 때와 비교하여 어두운 조도 조건일 때 목표 값에서 더 보수적인 변화가 적용될 수 있다.
그런 다음, 제어 장치(104)는 S16 단계를 진행하고 위에서 개시된 것에 따라 조정된 목표 값(Tnew)을 기초로 하여 후속 이미지에 대한 카메라의 노출(예를 들어 노출 관련 파라미터들)을 제어한다. 특히, 노출 시간 및 이득과 같은 카메라(102)의 노출은 후속 이미지의 평균 명암 값이 조정된 목표 값에 접근하도록 제어된다.
도 5a 및 도 5b에서 후속 이미지(500) 및 상응하는 명암 히스토그램(510)이 각각 도시된다. 도 4b의 명암 히스토그램(410)과 비교할 때, 명암 히스토그램(510)은 높은 명암 값 쪽으로 이동된다. 여전히, 상기 현장에서 광 신호기와 같은 강한 빛이 없기 때문에, 포화는 문제되지 않는다. 따라서, 이미지(500)는 도 4a의 이미지(400)와 비교하여 더 밝게 나타나고 다수 세부사항은 이미지(500)의 어두운 부분에서 구별될 수 있다.
통상의 기술자라면 위에서 설명된 실시예들을 많은 방법으로 수정할 수 있고 위에서 도시된 실시예처럼 본 발명의 이점을 여전히 이용할 수 있는 것으로 이해될 것이다. 예를 들어, 위에서, 본 발명은 열차에서 신호등(signal light)을 모니터링 하는 관계에 대해 설명되었다. 그러나, 개시된 방법은 저녁 시간 동안 혹은 어두운 조건에서 이미지의 어떤 부분도 포화시키지 않는 모든 응용 프로그램(application)에서 적용 가능하다. 예를 들어 이것은 암흑에서 번호판의 모니터링 하거나 밖이 어둡고 창문의 안쪽이 밝을 때 밖에서 창문의 안쪽을 바라볼 때를 포함할 수 있다. 이와 같이, 본 발명은 도시된 실시예에 제한되지 않고 첨부된 청구범위에 의해 정의되어야 한다. 추가적으로, 통상의 기술자 입장에서 도시된 실시예들은 결합될 수 있다.

Claims (15)

  1. 비디오 시퀀스의 제1 이미지가 캡쳐될 때 사용된 카메라의 노출 시간 및 이득을 결정하는 단계(S02),
    적어도 노출 시간과 이득의 곱으로 제1 이미지(200, 400)와 관련된 다크 레벨을 계산하는 단계(S04),
    제1 이미지(200)에서 복수의 포화된 픽셀과 복수의 완전히 어두운 픽셀 사이의 비율로 제1 이미지(200, 400)에 대한 포화 레벨을 계산하는 단계(S06),
    포화 레벨이 제1 한계치를 초과하면, 카메라(102)에 의해 캡쳐된 이미지에서 픽셀의 평균 명암 값에 대한 목표 값(Told)의 양을 감소시키는 단계(S10), 및
    후속 이미지(300)에서 픽셀의 평균 명암 값이 감소된 목표 값(Tnew)에 접근하도록, 비디오 시퀀스에서 제1 이미지(200)에 후속하는 이미지(300)에서의 카메라(102) 노출을 제어하는 단계(S16)를 포함하는 카메라(102) 노출 제어 방법에 있어서,
    상기 카메라(102)에 의해 캡쳐된 이미지에서 픽셀의 평균 명암 값에 대한 목표 값(Told)의 감소 양은 다크 레벨의 증가 함수(700)인 것을 특징으로 하는 카메라 노출 제어 방법.
  2. 제1항에 있어서,
    포화 레벨이 제1 한계치와 동일하거나 그보다 작은 제2 한계치 미만인 경우, 카메라(102)에 의해 캡쳐된 이미지에서 픽셀의 평균 명암 값에 대한 목표 값(Told)을 증가시키는 단계(S14), 및
    후속 이미지에서 픽셀의 평균 명암 값이 증가된 목표 값(Tnew)에 접근하도록, 비디오 시퀀스에서 제1 이미지(400)에 후속하는 이미지(500)에서의 카메라(102) 노출을 제어하는 단계(S16)를 추가로 포함하는 것을 특징으로 하는 카메라 노출 제어 방법.
  3. 제2항에 있어서,
    상기 포화 레벨이 제2 한계치 미만인 경우, 평균 명암 값의 목표 값(Told)이 다크 레벨에 따라 감소된 양만큼 증가되는 것을 특징으로 하는 카메라 노출 제어 방법.
  4. 제1항에 있어서,
    목표 값(Told)이 제1 문턱값(L1) 미만인 다크 레벨에 대해 감소되지 않도록, 상기 다크 레벨의 증가 함수(700)는 제1 문턱값(L1) 미만인 다크 레벨에 대해 0 값을 가지는 것을 특징으로 하는 카메라 노출 제어 방법.
  5. 제1항에 있어서,
    상기 다크 레벨의 증가 함수(700)는 제1 문턱값(L1) 미만인 다크 레벨에 대해 제1 값(V1)을 가지고, 제1 문턱값 보다 큰 제2 문턱값을 초과하는 다크 레벨에 대해 제2 값(V2)을 가지며, 상기 제1 문턱값(L1)과 제2 문턱값(L2) 사이 다크 레벨에 대한 함수(700)는 제1 값(V1)에서 제2 값(V2)까지 매끄럽게 증가하는 것을 특징으로 하는 카메라 노출 제어 방법.
  6. 제5항에 있어서,
    상기 함수(700)는 제1 값(V1)에서 제2 값(V2)까지 선형적으로 증가하는 것을 특징으로 하는 카메라 노출 제어 방법.
  7. 제4항 내지 제6항 중 어느 한 항에 있어서,
    제1 문턱값(L1)에 대해 사용자가 입력한 값을 받는 단계를 더욱 포함하는 것을 특징으로 하는 카메라 노출 제어 방법.
  8. 제2항에 있어서,
    포화 레벨과 비교되는 제1 한계치 및/또는 제2 한계치 값에 관한 사용자 입력을 받는 단계를 추가로 포함하는 것을 특징으로 하는 카메라(102) 노출 제어 방법.
  9. 제1항에 있어서,
    픽셀의 명암 값이 가능 명암 값 범위 상단부에서 미리 정의된 값을 초과하면 제1 이미지(200, 400)에서 상기 픽셀은 포화된 픽셀로 간주되고, 픽셀의 평균 명암 값이 가능 명암 값 범위 하단부에서 미리 정의된 값 미만인 경우 제1 이미지에서 상기 픽셀은 완전히 어두운 픽셀로 간주되는 것을 특징으로 하는 카메라 노출 제어 방법.
  10. 제1항에 있어서,
    후속 이미지(300, 500)에서 픽셀의 평균 명암 값 및 감소된 혹은 증가된 목표 값(Tnew)에서 계산된 에러를 기초로 하여 카메라에 대한 제어 신호를 발생시키는 단계를 더욱 포함하는데, 계산된 에러와 평균 명암 값이 감소된 혹은 증가된 목표 값(Tnew)과 동일할 때 에러가 취한 값 사이의 차이가 증가하는 도 함수를 가진 함수(804)에 따르면 제어 신호가 에러에 종속적인 것을 특징으로 하는 카메라(102) 노출 제어 방법.
  11. 제10항에 있어서,
    상기 에러는 감소된 혹은 증가된 목표 값(Tnew)과 후속 이미지(300, 500)에서 픽셀의 평균 명암 값 사이의 비율로 계산되는 것을 특징으로 하는 카메라(102) 노출 제어 방법.
  12. 제10항 또는 제11항에 있어서,
    증가하는 도함수를 가진 상기 함수(804)는 역 시그모이드 함수인 것을 특징으로 하는 카메라 노출 제어 방법.
  13. 비디오 시퀀스에서 제1 이미지(200, 400)를 캡쳐할 때 사용된 카메라(102)의 노출 시간 및 이득을 결정하고,
    적어도 노출 시간과 이득의 곱으로 제1 이미지(200, 400)와 관련된 다크 레벨을 계산하고,
    제1 이미지(200, 400)에서 복수의 포화된 픽셀과 복수의 완전히 어두운 픽셀 사이의 비율로 제1 이미지(200, 400)에 대한 포화 레벨을 계산하고,
    포화 레벨이 제1 한계치를 초과하면, 카메라에 의해 캡쳐된 이미지에서 픽셀의 평균 명암 값의 목표 값(Told)의 양을 감소시키고,
    후속하는 이미지(300) 픽셀의 평균 명암 값이 감소된 목표 값(Tnew)에 접근하기 위해 비디오 시퀀스에서 제1 이미지(200)에 후속하는 이미지에서의 카메라 노출을 제어하도록 구성되는 카메라 노출을 제어하는 제어 장치(104)에 있어서,
    상기 포화 레벨이 제1 한계치를 초과하는 경우에, 상기 카메라(102)에 의해 캡쳐된 이미지에서 픽셀의 평균 명암 값의 목표 값(Told)을 다크 레벨의 증가 함수(700) 양만큼 감소하도록 구성되는 것을 특징으로 하는 제어 장치.
  14. 감시 시스템(100)으로,
    적어도 하나의 카메라(102) 및 상기 적어도 하나의 카메라(102)를 제어하는 제13항에 따른 제어 장치(104)를 포함하는 것을 특징으로 하는 감시 시스템.
  15. 컴퓨터로 판독 가능한 기록 매체(110)로,
    처리 능력을 가진 장치에 의해 실행될 때, 제1항에 따른 방법을 수행하도록 구성된 컴퓨터 코드 지령을 포함하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록 매체.
KR1020150026541A 2014-02-26 2015-02-25 카메라 노출 제어 장치 및 제어 방법 KR101633445B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14156752.9 2014-02-26
EP14156752.9A EP2913993B1 (en) 2014-02-26 2014-02-26 Method and control unit for controlling exposure of a camera

Publications (2)

Publication Number Publication Date
KR20150101423A KR20150101423A (ko) 2015-09-03
KR101633445B1 true KR101633445B1 (ko) 2016-06-24

Family

ID=50230871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150026541A KR101633445B1 (ko) 2014-02-26 2015-02-25 카메라 노출 제어 장치 및 제어 방법

Country Status (6)

Country Link
US (1) US9432588B2 (ko)
EP (1) EP2913993B1 (ko)
JP (1) JP5974125B2 (ko)
KR (1) KR101633445B1 (ko)
CN (1) CN104869321B (ko)
TW (1) TWI582527B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10097769B2 (en) * 2015-09-18 2018-10-09 Sony Corporation Modulating light incident on imaging sensor
KR101816449B1 (ko) * 2016-10-20 2018-01-08 현대자동차주식회사 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법
CN106791476A (zh) * 2017-01-25 2017-05-31 北京图森未来科技有限公司 一种图像采集方法和装置
JP6789904B2 (ja) * 2017-09-20 2020-11-25 株式会社東芝 ダイナミックレンジ圧縮装置及び画像処理装置
CN108429892A (zh) * 2018-05-10 2018-08-21 杭州雄迈集成电路技术有限公司 一种基于rgb传感器日夜模式自动切换方法
US11330163B2 (en) 2018-06-29 2022-05-10 Qualcomm Incorporated Exchanging an HDR-combined stream and associated exposures between a camera sensor module and a vision processing system
CN109348136A (zh) * 2018-11-22 2019-02-15 成都市鹰诺实业有限公司 一种通过照片直方图调节相机参数的方法
JP7115253B2 (ja) * 2018-11-28 2022-08-09 トヨタ自動車株式会社 車載カメラシステム
US11068784B2 (en) * 2019-01-26 2021-07-20 Mipsology SAS Generic quantization of artificial neural networks
SE543376C2 (en) * 2019-06-19 2020-12-22 Tobii Ab Method for controlling read-out from a digital image sensor
CN110809122A (zh) * 2019-11-11 2020-02-18 中国电子科技集团公司第四十四研究所 应用于cmos图像传感器的动态扩展方法
EP3846440B1 (en) 2019-12-30 2021-12-15 Axis AB A low-light imaging method, unit and system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087646A (ja) 2001-09-10 2003-03-20 Sony Corp 撮像装置
JP2009097921A (ja) 2007-10-15 2009-05-07 Tokyo Seimitsu Co Ltd 欠陥検査装置及び欠陥検査方法
JP2009118520A (ja) 2009-01-14 2009-05-28 Casio Comput Co Ltd 撮像装置及びその露出制御方法並びに記録媒体
JP4304610B2 (ja) 2004-05-18 2009-07-29 住友電気工業株式会社 カメラ式車両感知器における画面の輝度調整方法及び装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2432893A2 (fr) * 1978-08-11 1980-03-07 Nickel Ste Metallurg Le Procede pour preconcentrer des minerais nickeliferes oxydes d'origine lateritique
US5194960A (en) 1990-03-05 1993-03-16 Konica Corporation Optical image signal control device
US7176976B2 (en) * 2001-08-30 2007-02-13 Lightsurf Technologies, Inc. Autoexposure methodology in a digital camera
FI116246B (fi) * 2003-06-30 2005-10-14 Nokia Corp Menetelmä ja järjestelmä digitaalisessa kuvannuksessa valotuksen säätämiseksi ja vastaava laite
JP4556722B2 (ja) * 2004-05-31 2010-10-06 コニカミノルタホールディングス株式会社 撮像装置
JP4371108B2 (ja) * 2005-12-27 2009-11-25 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
US7724962B2 (en) 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
JP4306750B2 (ja) 2007-03-14 2009-08-05 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム
US8384801B2 (en) * 2007-07-31 2013-02-26 Qualcomm Incorporated Scene-dependent auto exposure control
WO2009029810A1 (en) * 2007-08-31 2009-03-05 Historx, Inc. Automatic exposure time selection for imaging tissue
JP4433046B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
US8233662B2 (en) 2008-07-31 2012-07-31 General Electric Company Method and system for detecting signal color from a moving video platform
KR101517148B1 (ko) * 2008-10-09 2015-05-04 삼성전자주식회사 자동 노출 시스템 및 방법
US20110164146A1 (en) * 2010-01-07 2011-07-07 Himax Imaging, Inc. Adaptive Frame Rate Control System and Method for an Image Sensor
US8786625B2 (en) * 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
KR20130017750A (ko) * 2011-08-12 2013-02-20 에스케이하이닉스 주식회사 적응적 노출 제어 방법, 적응적 노출 제어 장치 및 상기 적응적 노출 제어 장치를 포함하는 이미지 센서
JP5898535B2 (ja) * 2012-03-13 2016-04-06 富士重工業株式会社 撮像ユニットの露光制御装置
KR101937708B1 (ko) * 2012-07-09 2019-04-11 삼성전자 주식회사 카메라 제어 시스템과 이를 포함하는 단말기 및 카메라 제어 방법
JP5749224B2 (ja) 2012-07-13 2015-07-15 株式会社東芝 カメラモジュール

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087646A (ja) 2001-09-10 2003-03-20 Sony Corp 撮像装置
JP4304610B2 (ja) 2004-05-18 2009-07-29 住友電気工業株式会社 カメラ式車両感知器における画面の輝度調整方法及び装置
JP2009097921A (ja) 2007-10-15 2009-05-07 Tokyo Seimitsu Co Ltd 欠陥検査装置及び欠陥検査方法
JP2009118520A (ja) 2009-01-14 2009-05-28 Casio Comput Co Ltd 撮像装置及びその露出制御方法並びに記録媒体

Also Published As

Publication number Publication date
US9432588B2 (en) 2016-08-30
CN104869321B (zh) 2017-06-23
JP2015162902A (ja) 2015-09-07
US20150244918A1 (en) 2015-08-27
JP5974125B2 (ja) 2016-08-23
TW201533521A (zh) 2015-09-01
EP2913993B1 (en) 2016-02-17
CN104869321A (zh) 2015-08-26
EP2913993A1 (en) 2015-09-02
TWI582527B (zh) 2017-05-11
KR20150101423A (ko) 2015-09-03

Similar Documents

Publication Publication Date Title
KR101633445B1 (ko) 카메라 노출 제어 장치 및 제어 방법
US9350905B2 (en) Image signal processing apparatus, image signal processing method, and image capturing apparatus
CN110536051B (zh) 摄像设备及其控制方法和存储介质
KR101367637B1 (ko) 감시장치
US9025820B2 (en) Image processing apparatus and image processing method
US10091422B2 (en) Image processing device and recording medium
KR101972032B1 (ko) 카메라의 적응적 노출 제어 장치
US10284767B2 (en) Shooting device, shooting method, and non-transitory computer readable recording medium storing program
JP2016126750A (ja) 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2017063245A (ja) 撮像装置
US11240439B2 (en) Electronic apparatus and image capture apparatus capable of detecting halation, method of controlling electronic apparatus, method of controlling image capture apparatus, and storage medium
US20050030415A1 (en) Exposure adjustment in an imaging apparatus
US9509896B2 (en) Apparatus, imaging method, and focus control apparatus to control autofocus based on contrast signal
JP2021114762A (ja) 低照度撮像システム
CN107079108B (zh) 机动车辆相机装置、其操作方法和包括其的机动车辆
JP2006209277A (ja) 物体検出装置、物体検出方法および撮像装置
KR101761947B1 (ko) 카메라 영상의 블루밍 저감 방법 및 장치
US8471950B2 (en) Signal processor for adjusting image quality of an input picture signal
CN112351211B (zh) 调整摄像装置入射光的方法和装置、系统、介质和设备
KR101217785B1 (ko) 조명 광도 조절이 가능한 비디오 카메라 장치 및 이의 조명 광도 조절방법
KR101514684B1 (ko) 폐쇄회로 텔레비전의 제어방법 및 그 제어장치
CN110712589A (zh) 车用取像装置及其设定方法
KR20160056409A (ko) 저 조도 cctv 시스템

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant