KR101124778B1 - 플래시 모듈, 이를 포함하는 카메라, 카메라 플래시 모듈 제어 방법, 카메라 플래시 모듈 제어 장치 및 컴퓨터 판독가능 저장 매체 - Google Patents

플래시 모듈, 이를 포함하는 카메라, 카메라 플래시 모듈 제어 방법, 카메라 플래시 모듈 제어 장치 및 컴퓨터 판독가능 저장 매체 Download PDF

Info

Publication number
KR101124778B1
KR101124778B1 KR1020107016377A KR20107016377A KR101124778B1 KR 101124778 B1 KR101124778 B1 KR 101124778B1 KR 1020107016377 A KR1020107016377 A KR 1020107016377A KR 20107016377 A KR20107016377 A KR 20107016377A KR 101124778 B1 KR101124778 B1 KR 101124778B1
Authority
KR
South Korea
Prior art keywords
flash
image
pixel
test
camera
Prior art date
Application number
KR1020107016377A
Other languages
English (en)
Other versions
KR20100098450A (ko
Inventor
필립 트레벨얀
앤젤 이바노브
에밀 키릴로브
이반 바실레브
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20100098450A publication Critical patent/KR20100098450A/ko
Application granted granted Critical
Publication of KR101124778B1 publication Critical patent/KR101124778B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/097—Digital circuits for control of both exposure time and aperture
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Stroboscope Apparatuses (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

카메라 플래시를 제어하는 자동 노출 알고리즘은 매우 반사적인/조명된 영역을 무시한 채, 플래시에 의해 영향을 받는 이미지의 중요한 영역을 식별하는 이미지 프로세싱을 사용하고 ND 필터를 사용하여 매우 반사적인 장면에 대한 플래시 트리거링을 선형화 한다. 카메라 플래시는 자동 노출 알고리즘에 의해 두 단계, 즉 사전 플래시 단계 및 그에 후속하는 메인 플래시 단계로 제어된다. 사전 플래시 단계에서, 노출 시간, 이득, 아이리스 및 해상도와 관련된 동일한 카메라 설정 하에서 두 개의 이미지가 캡쳐된다. 하나의 이미지는 플래시를 이용하여 캡쳐되고, 다른 하나는 플래시를 사용하지 않고 캡쳐된다. 두 개의 이미지 간의 차이로부터, 기준 픽셀이 사용되어 주 플래시 단계에서의 플래시 강도를 결정한다.

Description

플래시 모듈, 이를 포함하는 카메라, 카메라 플래시 모듈 제어 방법, 카메라 플래시 모듈 제어 장치 및 컴퓨터 판독가능 저장 매체{CAMERA FLASH MODULE AND METHOD FOR CONTROLLING SAME}
본 발명은 일반적으로 카메라 플래시 모듈에 관한 것으로, 특히 자동 노출 알고리즘에 의해 제어되는 카메라 플래시 모듈에 관한 것이다.
암흑 속 또는 밤과 같이 주변 광이 불충분한 상황에서 사진을 찍는 경우, 일반적으로 카메라 플래시가 사용된다. 또한, 카메라 플래시는 주변 광이 낮지 않더라도 보충 목적으로 사용될 수 있다. 크세논 플래시와 같은 카메라 플래시는 먼 거리까지 장면을 조명하기 위해 고강도 광원을 제공할 수 있지만, 이들 플래시는 일정한 광량을 생성하도록 쉽게 제어될 수 없다. 크세논 플래시에 의해 생성되는 광량은 트리거 펄스의 폭을 제어함으로써 증가 또는 감소될 수 있음이 공지되어 있다. 펄스 폭이 짧은 경우, 플래시 강도는 심하게 변동될 수 있다. 따라서, 플래시 강도의 반복성(repeatability)을 개선하도록 카메라 플래시를 제어하는 방법을 제공하는 것이 바람직하다.
본 발명은 카메라 플래시를 제어하는 자동 노출 알고리즘과 관련된다. 이 알고리즘은 매우 반사적인/조명된 영역을 무시한 채, 플래시에 의해 영향을 받는 이미지의 중요한 영역을 식별하는 이미지 프로세싱을 사용하고 ND 필터를 사용하여 매우 반사적인 장면에 대해 플래시 트리거링을 선형화한다.
본 발명에 따라 사진을 찍는 과정에서 카메라 플래시의 사용은 자동 노출 알고리즘에 의해 두 단계, 즉 사전 플래시 단계(pre-flash stage) 및 그에 후속하는 주 플래시 단계(main-flash stage)로 제어된다. 사전 플래시 단계 이전에, 미리보기 기간 동안의 이미지로부터의 이미지 데이터는 또한 카메라 플래시 조명을 제어하기 위해 자동 노출 알고리즘에 의해 사용된다. 플래시 조명 또는 강도는 카메라 플래시에 인가된 트리거 플래시의 폭을 조정함으로써 또한 아이리스(iris) 또는 중성 농도 필터(neutral density filter)를 사용함으로써 최소 강도로부터 최대 강도까지 조정될 수 있다.
사전 플래시 단계에서, 노출 시간, 이득, 아이리스 및 해상도와 관련된 동일한 카메라 설정 하에서 두 개의 이미지가 캡쳐된다. 어두운 이미지로 지칭되는 일 이미지는 플래시를 사용하지 않고 캡쳐된다. min_flash 이미지로 지칭되는 다른 이미지는 최소 플래시 강도로 캡쳐된다. 이들 두 개의 사전 플래시 단계 이미지의 노출 시간은 미리보기 기간 동안 얻어진 장면의 평균 밝기에 의해 결정된다. 이것은 사전 플래시 단계 이미지가 과다하게 노출되는 것을 방지한다.
사전 플래시 단계 이미지는 주변 조명 및 최소 강도를 갖는 플래시의 영향에 대한 정보를 포함한다. 이 정보는 자동 노출 알고리즘이 주 플래시 단계에서의 플래시 강도를 제어하는데 사용된다. 특히, min_flash 이미지로부터 어두운 이미지를 차감함으로써 차이 이미지가 얻어진다. min_flash 이미지는 어두운 이미지와 비교할 때 오직 플래시 사용량에서만 차이가 있기 때문에, 차이 이미지는 주로 플래시에 의해 영향을 받는 영역을 포함한다. 이 영향은 차이 이미지에서 최대값을 갖는 픽셀을 탐색함으로써 평가된다. 중요 픽셀로서 지칭되는 이 특정 픽셀은 사전 플래시 단계에서 플래시 사용량에 의해 가장 영향을 받는 물체의 일부로서 간주된다. 사전 플래시 단계의 두 이미지 내의 중요 픽셀의 휘도는 주 플래시 단계에서의 개략적인 플래시 강도를 추정하는데 사용된다. min_flash 이미지 내의 일부 픽셀이 미러 반사의 결과일 가능성이 있는 경우, 이들 픽셀은 자동 노출 알고리즘에 의해 고려되지 않을 것이다. 또한, 작은 물체에 속하는 픽셀도 제거될 것이다.
룩업 테이블, 예를 들어 주 플래시 강도 및 노출을 사용하여, 주 플래시 단계 이미지를 캡쳐하는 이득 및 아이리스가 결정될 수 있다.
따라서, 본 발명의 제 1 측면은 자동 노출 알고리즘을 사용하여 플래시 강도를 제어하는 방법이다. 이 방법은 플래시를 사용하지 않고 제 1 테스트 이미지를 캡쳐하는 단계와, 최소 강도인 사전결정된 강도를 갖는 플래시를 사용하여 제 2 테스트 이미지를 캡쳐하는 단계와, 제 2 테스트 이미지와 제 1 테스트 이미지 간의 차이를 나타내는 차이 이미지를 획득하는 단계- 이 차이 이미지는 복수의 차이 이미지 픽셀을 포함하고, 각 차이 이미지 픽셀은 픽셀 값을 가짐 -와, 차이 이미지 픽셀 가운데에서 기준 픽셀을 식별하는 단계- 제 1 테스트 이미지는 기준 픽셀에 대응하는 제 1 테스트 픽셀을 포함하고, 제 2 테스트 이미지는 기준 픽셀에 대응하는 제 2 테스트 픽셀을 포함하며, 기준 픽셀은 차이 이미지 픽셀 중에서 최대 픽셀 값에 적어도 부분적으로 기초하여 식별됨 -와, 제 1 테스트 픽셀의 픽셀 값 및 제 2 테스트 픽셀의 픽셀 값에 적어도 부분적으로 기초하여 후속 이미지를 캡쳐하기 위한 플래시의 조명량을 계산하는 단계를 포함한다.
본 발명의 다양한 실시예에 따르면, 기준 픽셀을 식별하기 전에, 사전결정된 크기보다 작은 물체에 속하는 픽셀 및 반사 물체에 속하는 픽셀과 같은 차이 이미지 픽셀의 일부를 제거하는 것이 바람직하다.
본 발명의 다양한 실시예에 따르면, 제 1 테스트 이미지 및 제 2 테스트 이미지를 캡쳐하기 위한 플래시의 노출 시간 및 사전결정된 강도를 포함하는 카메라 설정이 계산된다. 특히, 제 2 테스트 이미지가 노출 부족 또는 지나친 노출에 놓이지 않도록 하기 위해, 제 2 테스트 이미지의 평균 휘도가 사전결정된 범위 내에 있도록 플래시의 사전결정된 강도를 결정하기 위해 하나 이상의 미리보기 이미지의 평균 휘도를 사용한다.
본 발명의 다양한 실시예에 따르면, 후속 이미지 캡쳐를 위한 플래시에 의한 조명량은 펄스폭을 갖는 트리거 펄스를 통해 플래시가 플래시 강도를 제공하도록 함으로써 달성가능하며, 펄스폭이 사전결정된 값보다 작은 경우, 펄스폭은 증가되고 그에 따라 플래시 강도는 중성 농도 필터 또는 아이리스에 의해 감소되어 플래시에 의한 조명량을 유지하거나 또는 강도 감소 계수에 대한 이득의 비율을 보존한다.
본 발명의 다양한 실시예에 따르면, 플래시에 의한 조명량을 결정하기 전에, 제 1 테스트 이미지 내에서 정확하게 조명된 영역과 제 2 테스트 이미지 내에서의 정확한 영역은 제거되는데, 정확하게 조명된 영역은 소정의 사전결정된 범위 내의 픽셀 값을 갖는 제 1 테스트 이미지 내의 영역을 결정함으로써 식별된다.
본 발명의 제 2 측면은 카메라에 사용되는 소프트웨어 프로그램이 내장된 컴퓨터 판독가능 저장 매체이며, 이 소프트웨어 프로그램은 자동 노출 알고리즘을 사용하여 플래시 강도를 제어하는 방법을 수행하는 프로그래밍 코드를 포함한다.
본 발명의 제 3 측면은 카메라에 사용되며 카메라 플래시를 제어하도록 구성된 플래시 모듈이다. 이 모듈은 카메라 플래시를 트리거하는 메카니즘과, 카메라로부터 이미지 데이터를 수신하도록 구성된 프로세서를 포함하는데, 이 프로세서는 플래시를 사용하지 않고 제 1 테스트 이미지를 캡쳐하는 단계와, 사전결정된 강도를 갖는 카메라 플래시를 사용하여 제 2 테스트 이미지를 캡쳐하는 단계와, 제 2 테스트 이미지와 제 1 테스트 이미지 간의 차이를 나타내는 차이 이미지를 획득하는 단계- 이 차이 이미지는 복수의 차이 이미지 픽셀을 포함하고, 각 차이 이미지 픽셀은 픽셀 값을 가짐 -와, 차이 이미지 픽셀 가운데에서 기준 픽셀을 식별하는 단계- 제 1 테스트 이미지는 기준 픽셀에 대응하는 제 1 테스트 픽셀을 포함하고, 제 2 테스트 이미지는 기준 픽셀에 대응하는 제 2 테스트 픽셀을 포함함 -와, 제 1 테스트 픽셀의 픽셀 값 및 제 2 테스트 픽셀의 픽셀 값에 적어도 부분적으로 기초하여 후속 이미지를 캡쳐하기 위한 플래시의 조명량을 계산하는 단계를 수행하도록 구성된다.
본 발명의 다양한 실시예에 따르면, 프로세서는 획득, 식별 및 계산의 작업을 수행하는 프로그래밍 코드를 구비한 소프트웨어 프로그램을 포함한다.
본 발명의 제 4 측면은 전술한 플래시 모듈을 구비한 카메라이다.
본 발명은 도 1 내지 도 4와 연계하여 상세한 설명을 읽게 되면 분명해질 것이다.
도 1은 본 발명의 실시예에 따른 카메라 플래시 모듈을 나타내는 블록도,
도 2는 사전 플래시 이미지를 캡쳐하기 위한 카메라 설정을 결정하는 단계를 나타내는 흐름도,
도 3은 주 플래시 이미지를 캡쳐하기 위한 카메라 설정을 결정하는 단계를 나타내는 흐름도,
도 4는 경계 픽셀 및 작은 물체 픽셀을 제거하는데 사용되는 예시적인 필터를 나타내는 도면.
본 발명은 사진을 찍을 때 카메라 플래시에 의해 제공되는 광량을 제어하는 것에 관한 것이다. 도 1에 도시되어 있는 바와 같이, 카메라 플래시(20)는 전원(22)에 의해 구동되고 트리거 제어(24)에 의해 제공되는 트리거 펄스에 의해 트리거된다. 기계적 아이리스 또는 중성 농도(ND) 필터(26)와 같은 플래시 강도 감쇄기 또는 감소기는 카메라 플래시(20) 앞에 배치되어 플래시 강도를 감소시킬 수 있다. 노출 제어 모듈(40)은 예를 들어 주변 광, 장면의 특성 및 사진 모드에 기초하여 플래시 강도 제어 알고리즘을 구현하기 위해 컴퓨터 판독가능 저장 매체 내에 내장된 소프트웨어 프로그램을 구비한다. 광센서(30)는 예를 들어 플래시 광을 이용하여 또는 이용하지 않고 장면 밝기를 검출하는데 사용될 수 있다. 또한, 카메라(60)로부터의 이미지 데이터는 자동 노출 계산에 사용된다. 전형적으로, 카메라(60)는 이미징 센서(64) 및 이미징 센서(64) 상에 이미지를 형성하기 위한 하나 이상의 렌즈(62)를 구비한다. 이미징 센서(64)로부터의 이미지 데이터는 이미지 데이터가 노출 제어 모듈(40)에 제공되기 전에 제어된 방식으로 판독되고 이미지 데이터 프로세서(50)에 의해 처리된다.
본 발명에 따르면, 카메라 플래시 조명은 트리거 펄스의 폭에 의해 부분적으로 제어될 수 있다. 예를 들어, 트리거 펄스의 폭은 5 ㎲ 내지 250㎲일 수 있다. 펄스폭이 작은 경우, 크세논 플래시의 플래시 강도는 부정확할 수 있다. 이것은 펄스폭이 작은 경우, 강도는 동일한 펄스폭에 대해 매우 변동될 수 있다는 것을 의미한다. 본 발명의 일 실시예에서, 플래시 강도를 감쇄시키기 위해 카메라 플래시의 앞에 중성 농도가 배치될 수 있다. 동시에, 펄스폭은 감쇄를 보상하기 위해 비례적으로 증가된다. 예를 들어, 중성 농도 필터가 플래시 광의 1/5을 통과시키고 노출 제어 모듈(40)에 의해 계산된 트리거 펄스의 타겟 펄스폭이 5㎲인 경우, 펄스 폭은 25㎲까지 증가될 것이다. 25㎲의 펄스폭에 대한 플래시 강도의 변동은 훨씬 작고 따라서 플래시 조명은 보다 정확하며 반복가능하다. 플래시 강도의 감쇄가 필요하지 않는 경우, 중성 농도 필터는 조명 경로에서 제거된다.
마찬가지로, 장면에 도달하는 플래시 광의 양을 감소시키기 위해 조리개 또는 기계적 아이리스가 또한 사용될 수 있다. 고정된 감쇄 계수를 갖는 중성 농도 필터와는 다르게, 아이리스는 피사계 심도(Depth of Field)에 영향을 주며 또한 마이크로 상황에서 찍힌 사진에 영향을 줄 수 있는 광을 감쇄시킬 것이다. 따라서, 아이리스는 아이리스가 플래시 강도가 영향을 미치지 않도록 계산된 펄스폭이 소정의 레벨을 초과하는 경우 넓게 개방될 수 있다. 또한, 강도 감소 계수가 계산된 펄스 폭과 함께 변동될 수 있도록 보다 작은 크기의 아이리스의 크기가 사용될 수 있다. 예를 들어, 계산된 펄스폭이 5㎲인 경우, 아이리스는 플래시 광의 1/5만이 장면에 도달하도록 조정될 수 있다. 그러나, 계산된 펄스폭이 10㎲인 경우, 플래시 광의 2/5가 장면에 도달하도록 또 다른 아이리스가 선택될 수 있다. 그에 따라, 양 경우에서의 "증가된" 펄스폭은 25㎲에서 동일할 수 있으나, 상이한 피사계 심도를 갖는다.
노출 제어 프로세서(40)에 의한 펄스폭의 계산은 주변 광에 기초하고 사전 플래시로 인한 장면 상의 반사에 의해 영향을 받는다. 미리보기 기간의 사전 플래시 단계 전에 플래시에 의한 장면 상의 영향은 사전 플래시 단계에서 추정되고 주변 광에 대한 정보가 수집된다. 사전 플래시 단계 이후에 즉각적으로 주 플래시 단계가 이어지는데, 이 주 플래시 단계에서 카메라 플래시는 사용자가 "정상적인" 고 해상도 사진을 찍을 수 있도록 계산된 펄스폭에 기초하여 트리거된다.
주변 광에 대한 정보는 사용자가 사진을 찍기 전(이미지 캡쳐 전)에 장면을 미리보기 할 때 수집된다. 미리보기 동안, 이미징 센서 상에 형성된 이미지는 예를 들어 뷰 파인더 디스플레이 상에 보여진다. 이들 "미리보기" 이미지는 예를 들어 장면의 평균 밝기를 결정하기 위해 이미지 데이터 프로세서(50) 내의 통계 모델을 사용하여 프레임 단위로 동적으로 액세스될 수 있다. 미리보기 동안, 자동 초점(AF) 알고리즘이 사용되어 장면 내의 타겟 물체 또는 물체들의 근사적 거리를 추정한다. 정보를 효율적으로 수집하기 위해, 예를 들어 저 해상도 이미지가 사용된다. 또한, 미리보기 이미지에 대한 노출 시간은 사전결정될 수 있다.
미리보기 이미지로부터 수집된 정보에 기초하여, 전체 노출, 이미지 데이터에 대한 아날로그 이득 및 아이리스의 크기가 결정될 수 있으며 이들은 사전 플래시 단계 이미지를 찍는데 사용될 수 있다. 사전 플래시 단계에서, 플래시 없이 캡쳐된 어두운 이미지, 및 최소 플래시 강도로 캡쳐된 min_flash 이미지가 캡쳐된다. 이들 사전 플래시 단계의 두 이미지로부터, 차이 이미지가 예를 들어 차감(subtraction)에 의해 얻어질 수 있다.
장면은 플래시 광을 카메라로 다시 반사하는 반사 표면을 가질 수 있다. 예를 들어, 장면 내의 사람은 플래시 광을 반사하는 안경을 착용할 수 있다. 타겟 플래시 강도를 계산할 때 안경으로부터의 반사를 고려하는 경우, 전체 이미지는 노출 부족에 놓일 수 있다. 간단히 하기 위해, 반사 물체로부터의 반사는 "미러 반사"로 지칭된다.
본 발명의 일 실시예에 따르면, 미러 반사는 주 플래시 단계에서 카메라 플래시 강도를 결정하기 위해 차이 이미지를 사용하기 전에 이 차이 이미지로부터 제거된다. 또한, 매우 밝은 작은 물체, 예를 들어 주변 조명(램프, 촛불 등)이 노출 추정에 미치는 영향을 감소시키기 위해, 이들 물체는 차이 이미지로부터 제거될 것이다. 미러 반사 및 작은 물체가 차이 이미지로부터 제거된 이후, 차이 이미지 내에서 최대 값을 갖는 픽셀이 탐색된다. 이 픽셀은 "중요" 픽셀로 지칭되는데, 그 이유는 이 픽셀은 플래시 광에 의해 가장 많이 영향을 받는 물체의 일부인 것으로 간주되기 때문이다. 중요 픽셀이 식별된 이후, 자동 노출 알고리즘은 중요 픽셀의 휘도에 적어도 부분적으로 기초하여 주 플래시 단계에서 사용될 개략적인 플래시 강도 노출, 이득 및 아이리스를 추정한다.
본 발명은 카메라 플래시를 제어하기 위한 자동 노출 알고리즘(XAE)을 제공한다. 이 알고리즘은 매우 반사적인/조명된 영역을 무시한 채, 플래시에 의해 영향을 받는 이미지의 중요 영역을 식별하는 이미지 프로세싱을 사용하고 중성 농도(ND) 필터를 사용하여 매우 반사적인 장면에 대한 플래시 트리거링을 선형화한다.
사전 플래시 단계에서 XAE의 동작은 다음과 같은 단계를 포함한다.
단계(1)에서, 어두운 이미지에 대한 노출 시간, 이들 및 ND 필터 설정이 미리보기 모드로부터 획득된 데이터에 기초하여 계산되고 저장된다.
단계(2)에서, 사전 플래시 이미지에 대한 노출 시간은 카메라의 단일 프레임 셔터 속도와 동일하도록 설정된다.
단계(3)에서, 중요 픽셀이 식별되고 "어두운 루마(luma)" 값의 추정이 수행된다.
단계(4)에서, "밝은 루마" 값이 추정된다. 밝은 루마는 플래시로부터 야기될 것으로 예상되는 중요 픽셀의 증가이다.
단계(5)에서, 휘도가 계산된다. 휘도는 어두운 루마와 밝은 루마의 합이다.
단계(6)에서, 휘도가 사전 플래시에 대한 타겟 값을 초과하는 경우, ND 필터가 적용되고 이득은 증가되어 이미지 신호의 감소에 대해 보상한다.
단계(7)에서, 이득이 최소 값 아래인 경우 또는 최대 값 위인 경우, 이득은 최소 또는 최대 값으로 잘려진다.
단계(8)에서, 위에서 계산된 값은 저장되고, 어두운 및 사전 플래시 이미지 모두가 수집된다. 크세논 모듈이 광센서를 포함하는 경우, 사전 플래시 이미지는 광센가 디스에이블된 상태에서 캡쳐된다.
주 플래시 단계의 동작은 다음과 같은 단계를 포함한다.
단계(1)에서, 전체 사전 플래시 이미지에 비례하는 크기를 갖는 관심 윈도우(WOI)가 설정된다.
단계(2)에서, 플래시를 이용한 캡쳐를 위한 노출 시간은 플래시를 사용하지 않는 이미지의 노출 시간 또는 지정된 최대 값보다 작도록 설정된다.
단계(3)에서, 필요에 따라 프레임 변환이 수행된다.
단계(4)에서, 프레임 차감이 수행된다.
이 시점에서, 사전 플래시 이미지로부터 "틀린" 중요 픽셀을 선택하는 문제를 피하기 위해 추가적인 프로세싱이 수행된다. 사전 플래시 이미지에서의 잠재적인 문제를 이하에서 설명한다. "고 해상도"행 상에서, 사전 플래시 이미지는 어두운 이미지와 오직 물체 위치에 있어서 상이할 뿐 휘도는 상이하지 않다. 그에 따라, 물체의 위치가 프레임 내에서 이동되기 때문에 차이 이미지는 왜곡된다. 사전 플래시 이미지가 저 해상도에서 얻어지게 되면 상황은 악화될 수 있다. 낮은 해상도에서, 픽셀의 절반은 배경을 커버하고 다른 절반은 물체의 일부인 경우 "거짓" 픽셀이 사전 플래시 이미지에 나타날 수 있다. 차감 이후, 이들 픽셀은 차이 이미지 내에 남겨지는데 그 이유는 이들은 실제로 사전 플래시 프레임 내에 존재하고 어두운 프레임 내에는 존재하지 않기 때문이다. 이들 픽셀들 중 하나가 중요 픽셀로서 선택되는 경우 예측 문제가 발생할 수 있다.
해답은 프레임을 차감할 때 물체의 경계 픽셀을 제거하여, 차이 이미지를 생성할 때 물체의 가운데 부분만을 고려하는 것이다.
경계 픽셀의 배제는 정확한 차이 이미지를 보장하기에는 충분하지 않을 수 있다. 미러 반사로부터 야기되는 사전 플래시 플레임 내의 과노출 영역이 존재할 수 있다. 과노출된 모든 픽셀은 카운팅되고 이미지의 픽셀의 전체 개수와 비교된다.
단계(5)에서, 과노출된 픽셀의 백분율이 정의된 임계값을 초과하는지 여부가 결정된다. 과노출된 픽셀의 백분율이 임계값을 초과하는 경우, 사전 플래시 프레임은 과노출된 것으로 간주되고 추가의 자동노출 계산에 신뢰성있게 사용될 수 없다. 이 경우, 휘도는 평균 값으로부터 추정되고 절차는 단계(9)에서 시작된다.
사전 플래시 플레임이 과노출되었는지 여부는 필터링 알고리즘에 의해 결정될 수 있다.
단계(6)에서, 작은 물체는 무시될 것이다. 중요 픽셀은 매우 작은 물체의 일부일 수는 없다. 그렇지 않으면, 작은 물체는 노출될 것이지만 이미지는 전체적으로 어두울 것이다. 필터가 실행되기 전에, 차이 이미지의 복사본이 만들어진다.
작은 물체 필터의 동작은 간단하다. 픽셀 마스크가 또 다시 한번 사용되고, 중앙 픽셀은 그를 둘러싸는 픽셀에 비교된다. 중앙 픽셀의 차이 값의 임계 백분율보다 큰 픽셀은 폐기된다.
단계(7)에서, 차이 이미지로부터 RED, GREEN 및 BLUE 컬러에 대한 히스토그램이 계산되고, 이 계산에 대한 WOI가 설정된다.
단계(8)에서, XAE는 전술한 바와 같은 미러 반사를 고려하여, 차이 이미지 내의 WOI에서 중요 픽셀을 식별한다.
XAE의 타겟에 부합하는 플래시를 사용하지 않고 노출된 조명된 영역을 정확하게 제거하는 것은 알고리즘의 중요한 측면이다. 이것은 예를 들어 광에 의해 이미 정확하게 조명되는 장면 내의 영역을 식별한다(장면 내의 데스크 램프 상에 스위치를 구비한 것을 상상해본다). 이것이 검출되지 않고 AE 계산으로부터 제거되는 경우, 플래시 강도는 감소될 것이며 장면은 노출 부족에 놓인다. 이 특정 목적을 위해, XAE 알고리즘은 잘 조명된 또는 저조하게 조명된 영역을 탐색하지 않는다. 대신, 알고리즘은 주변 광 및 플래시의 조합으로 대부분 조명되는 영역을 탐색한다. 크세논 광에 대해 미러와 같이 동작하는 영역 및 주변 광에 의해 과노출되는 영역은 이들로부터 배제된다. 따라서, 영역이 주변 광에 의해 잘 조명되지만 그의 밝기는 플래시에 의해 영향을 받지 않는 (또는 적게 받는) 경우, 그것은 최종 플래시 강도에 영향을 미치지 않을 것이다. 영역이 주변 광에 의해 잘 조명되고 그의 밝기가 또한 플래시에 의해 영향을 받는 경우(이것은 사용자에 의해 강요되는 하이-라이트 및 플래시 사용에서의 상황이다), 주 플래시 강도는 이 영역을 과노출시키지 않도록 하기 위해 약해질 것이다.
단계(9)에서, 중요 픽셀이 식별되는지 여부가 결정된다. 중요 픽셀이 발견되지 않은 경우, 주 플래시 단계에서의 파라미터는 플래시를 사용하지 않고 캡쳐하기 위한 노출, 이득 및 아이리스를 사용할 것이며, 모든 다른 단계는 회피될 것이다.
중요 픽셀이 식별된 경우, XAE는 사전 플래시 이미지에 대해 미리 계산된 어두운 및 밝은 루마(dark_luma_cap & light_luma_cap)에 대응하는 주 플래시 캡쳐를 위한 값을 계산한다. 추정된 휘도가 너무 높고 광센서가 이용가능하지 않은 경우, ND 필터는 좁아지고 이득은 ND 필터에 대한 이득의 비율(이득*ND 필터)을 보존하는 방식으로 증가된다.
단계(10)에서, XAE는 광센서가 캡쳐 장치 상에서 이용가능하지 않은 경우 노출, 이득, ND 필터 및 플래시 강도를 계산한다. 광센서가 제공되지 않는 경우, 플래시는 트리거 펄스 폭에 의해 제어된다. 플래시 모듈은 제조자가 지정한 최소 및 최대 플래시 강도 사이의 임의의 광량을 방사할 수 있다. XAE는 전체 휘도가 타겟 값에 동일하도록 주 플래시 강도를 계산한다. 완전한 플래시로도 충분하지 않고 ND 필터가 개방된 경우, XAE는 이득을 최대 값으로 증가시킨다.
단계(11)에서, 광센서가 제공된 경우 이 광센서가 사용되는지 여부를 결정하기 위해 플래시 강도가 소정의 임계값에 도달할 수 있는지 여부가 결정된다. 플래시 강도가 정의된 임계값보다 작은 경우, 단계(12)에서 광센서는 인에이블링된다. 다음 단계는 단계(13)에서 출력 파라미터를 채우는 것이다.
광센서는 상이한 거리의 상이한 장면에 대해 균일한 밝기를 달성하기 위해 크세논 광을 조절하도록 구성될 수 있다. 완전한 플래시가 사용되어야 함을 비-광센서 알고리즘이 결정한 경우, 균일한 밝기는 정확하지 않을 수 있다. 따라서, 광센서용 XAE는 물체가 조명 범위 내에 충분히 가까울 때에만 사용될 수 있다.
차이 이미지를 사용하여, XAE는 중요 픽셀의 밝기와 차이 이미지의 평균 밝기 간의 비율을 계산한다. 캡쳐 동안 균일한 조건이 사용되는 경우, 평균 밝기는 대응하는 균일한 밝기일 것이다. XAE는 전술한 비율 및 기본 밝기에 따라 중요 픽셀의 밝기를 계산한다. 이것은 기본 조건이 사용되는 경우 light_luma_cap이다. XAE는 초기 조건에서 light_luma_cap를 계산한다. 초기 조건에서의 중요 픽셀의 전체 밝기는 앞서 계산된 dark_luma_cap와 light_luma_cap의 합이다. XAE는 중요 픽셀의 타겟 밝기를 제공하도록 이득 및 ND 필터를 조정한다. 이 경우 사전 플래시 이미지는 중요 픽셀이 광센서에 의해 제공되는 평균 밝기에 비해 얼마나 더 밝은지를 결정하는데에만 필요하다.
전술한 알고리즘은 집적 크세논 플래시 모듈(예를 들어, LED 플래시)을 구비한 카메라와 연계하여 동작하나 상기 집적 크세논 플래시 모듈에 국한되지는 않는다. 시스템의 바람직한 실시예와 관련된 자세한 내용은 이하에서 제공되며 다양한 거리 및 조명 레벨에 걸친 플래시 모듈의 동작 모드를 설명한다.
이들 크세논 플래시/카메라 설정의 주된 목적은 AE 및 AWB 알고리즘이 신뢰성있게 동작할 수 있도록 사전 플래시 동안 캡쳐된 이미지 데이터가 장면으로부터 정확하게 기록되게 하는 것이다. 이것이 불가능한 경우, 즉 AF 초점이 실패한 경우 또는 거리의 극단에서, 이들 설정은 캡쳐 동안 디폴트 설정으로서 사용될 수 있다. 이것은 저조하게 노출되는 이미지의 발생을 감소시킬 수 있다.
본 발명은 이하에서 도 2 및 도 3에 도시되어 있는 바와 같이 흐름도로 더 설명될 것이다.
미리보기 정보
미리보기 이미지는 이미지 프로세싱 IC 내의 특정 통계 모듈을 사용하여 프레임 단위로 동적으로 액세스된다. 통계 데이터는 VGA 이미지와 같은 저해상도 미리보기 이미지 상에서 수집될 수 있고, 이미지 데이터는 예를 들어 33ms에서 롤링 셔터를 사용하여 얻어질 수 있다. 장면의 평균 밝기 또는 휘도 레벨과 같은 통계 데이터가 사용되어 사전 플래시 단계 이미지의 전체 노출 및 이미지 데이터의 이득을 결정할 수 있다. 미리보기 단계에서 적용된 자동 초점 알고리즘은 min_flash 이미지에 대한 플래시 강도가 매크로 장면(Macro scene)에서 감소될 수 있고 타겟이 소정의 거리를 벗어나 위치하는 경우 증가할 수 있도록 "타겟까지의 거리" 정보를 수집할 수 있다. 사용자가 AF 실패시 디폴트 값을 설정하는데 사용될 수 있는 매크로 또는 랜드스케이프 등과 같은 "장면 모드"를 선택하는 경우 거리에 대한 보충 정보가 또한 나타날 수 있다. 따라서, 미리보기 이미지 및 장면 모드로부터 수집된 정보는 사전 플래시 단계의 전체 노출, 이득 및 아이리스를 선택하는데 사용된다.
미러 반사 제거
사전 플래시 단계에서, 차이 이미지는 어두운 이미지(플래시 없음) 및 min_flash 이미지(최소 플래시 강도)로부터 얻어진다. 차이 이미지 내에서 일부 픽셀의 값이 소정의 임계값(미러 임계값)을 초과하는 경우, 이들 픽셀은 과노출된 것으로 간주되어 제거될 수 있다. 미러 임계값은 차이 이미지 내에서 예를 들어 적색, 녹색 및 청색의 히스토그램 분석에 의해 추정될 수 있다.
사전 플래시 단계
사전 플래시 단계의 두 개의 이미지를 찍기 위한 준비 과정에서, 이들 이미지를 찍기 위한 노출 시간, 이득 및 아이리스와 같은 카메라 설정은 사전 플래시 단계 이미지가 과노출되지 않도록 선택된다. 카메라 설정을 선택하는 단계는 도 2에 도시되어 있는 흐름도(100)에 설명되어 있다. 단계(110)에서, 사전결정된 카메라 파라미터가 추정되고 저장된다. 특히, 단계(120)에서, 노출 시간은 33ms와 같은 카메라의 단일 프레임 셔터 속도와 동일하도록 설정된다. 사전 플래시 단계에서 min_flash 이미지의 캡쳐는 롤링 셔터 모드로 수행됨을 주지해야 한다. 이 모드에서, 이미징 센서는 이미지의 상단에서 하단으로 라인 단위로 노출시킨다. 크세논 플래시가 광을 방출하는 기간은 노출 시간에 비해 매우 짧다. 대개, 사전 플래시 단계의 크세논 플래시 트리거 펄스는 10㎲ 미만이다. 이러한 이유로, 사전 플래시 단계 임지의 노출 시간은 1 프레임 당 33ms로 설정된다. 단계(130, 140)에서, prv_dark_luma 및 prv_light_luma가 추정되고, prv_dark_luma는 특정 카메라 모듈에 매칭되도록 조정되고 SW 컴파일 시간 값 "C"에서 정의된 상수가 곱해진 평균 Y 레벨(미리보기 동안 얻어진 휘도)이다. 이 컴파일 시간 정의 값은 미리보기 이미지에서 평균 픽셀에 대한 최대 조명 픽셀의 비율을 나타낸다.
어두운 루마 계산의 예는 다음과 같다.
Figure 112010047094267-pct00001
미리보기 단계에서의 밝은 루마 값은 33ms의 노출 시간, x1의 이득 및 5cm에서 150cm까지 5cm 단차의 거리에 대한 넓은 아이리스에서 미리 측정된 밝은 루마의 값을 포함하는 룩업 테이블을 이용하여 추정된다. AF 알고리즘으로부터, 미리보기 단계에서 얻어진 개략적인 타겟 거리는 룩업 테이블로부터 밝은 루마 값을 선택하는데 사용될 수 있다. 룩업 테이블 내의 값은 최악의 경우 "백색 시트", 즉 반사성의 평범한 물체에 대응한다. 밝은 루마는 다음과 같이 계산될 수 있다.
Figure 112010047094267-pct00002
미리보기 단계에서 어두운 및 밝은 루마 값을 계산하는 주된 목적은 사전 플래시 단계 이미지가 모든 조건에서 너무 어둡거나 또는 과노출되지 않도록 사전 플래시 단계 이미지 캡쳐를 위한 카메라 설정을 지정하는 것이다. 사전 플래시 단계가 이미지가 과노출된 경우, 이들은 신뢰성 있는 정보를 포함하지 않을 것이다. 이들이 너무 어두운 경우, 양자화 에러가 신호에 비해 너무 커질 것이다. 어떠한 경우던, 데이터는 주 플래시 단계에서의 정확한 처리를 위해서 사용되지 않을 수 있다.
단계(150)에서, 휘도, 또는 prv_dark_luma와 prv_light_luma의 합이 계산된다. 계산된 휘도가 타겟 값을 초과하지 않는 경우, 단계(160)로 진행된다. 그렇지 않은 경우, 단계(154)에서 추정된 휘도가 타겟 값을 초과하지 않는 경우 아이리스 크기는 감소된다. 그와 동시에, 플래시 강도의 감소를 보상하기 위해 이득은 증가된다. 이득이 최소 이득보다 낮은 경우, 그것은 최소 이득으로 설정된다. 단계(160)에서 이득이 최대 이득보다 큰 경우, 그것은 최대 이득으로 설정된다. 단계(170)에서, 사전 플래시 단계 이미지의 카메라 설정은 사전 플래시 단계 이미지의 캡쳐를 위해 준비되어 있다.
크세논 플래시 모듈이 광센서를 포함하는 경우, 광센서는 사전 플래시 단계에서 디스에이블링된다.
주 플래시 단계
주 플래시 단계의 두 개의 이미지를 찍기 위한 준비 과정에서, 노출 시간, 이득, 아이리스 및 플래시 강도와 같은 카메라 설정이 선택된다. 본 발명의 일 실시예에서, 주 플래시 단계의 카메라 설정은 도 3에 도시되어 있는 흐름도(200)에 따라 선택된다.
단계(210)에서, 전체 사전 플래시 단계 이미지에 비례하는 크기를 갖는 관심 윈도우(WOI)가 설정된다. WOI의 치수는 (구현되는 경우) 수동적인 스폿 가중치부여(manual spot weighting)에 의존할 수 있지만, 전형적으로 사전 플래시 단계 이미지의 크기의 분수값, 예를 들어 1/2, 1/4 등이다.
WOI는 사전 플래시 단계 이미지가 정보 수집에 사용되는 영역을 정의한다. 사전 플래시 단계의 두 개의 이미지, 즉 플래시 없이 캡쳐된 어두운 이미지와, 최소 플래시 강도로 캡쳐된 min_flash 이미지가 있다.
단계(212)에서, 사전 플래시 단계에서 min_flash 이미지를 캡쳐하기 위한 노출 시간이 설정된다. 이 노출 시간은 지정된 최대값보다 작아야 하거나, 또는 어두운 이미지에 대한 노출 시간보다 짧아야 한다. 어두운 이미지에 대한 노출 시간이 최대 값보다 큰 경우, 이득 및 ND 필터 값은 노출 시간이 최대 값을 초과하지 않도록 조정된다. 노출 시간의 조정은 배경이 과노출되는 것을 방지한다.
필요하다면, 단계(214)에서 프레임 변환이 수행된다. 사전 플래시 단계 이미지가 녹색 적색 녹색 청색(GRGB) 포맷으로 캡쳐되지 않는 경우, 이들은 GRGB 포맷으로 변환된다. 프레임 변환 동안, 어두운 이미지 및 min_flash 이미지의 평균 휘도는 또한 평균 차이로서 계산된다. 평균 차이는 min_flash 이미지의 평균 휘도와 어두운 이미지의 평균 휘도 간의 차이이다.
단계(216)에서, 프레임이 차감이 수행되는데, 어두운 이미지는 min_flash 이미지로부터 픽셀 단위로 차감된다. 차감 프로세스에서의 에러를 보정하기 위해 추가적인 프로세싱이 필요할 수 있다. 이상적으로, min_flash 이미지 및 어두운 이미지는 동일하며, 그에 따라 최소 플래시 강도에 의해 영향을 받는 영역을 제외하면, 균일하게 검은 차이 이미지가 생성된다. 사전 플래시 단계 이미지의 노출 시간이 일반적으로 충분히 길기 때문에, 장면은 사용자 유도 카메라 흔들림 또는 장면 내의 물체의 움직임에 의해 다소 변경될 가능성이 있다.
고해상도에서, min_flash 이미지는 어두운 이미지와 비교할 때 물체 위치에서만 차이가 있을 뿐, 휘도에서는 차이가 없다. 따라서, 물체의 위치는 프레임 내에서 시프트되었기 때문에 차이 이미지는 왜곡된다. 이러한 상황은 사전 플래시 단계 이미지가 저해상도에서 취득되는 경우에는 더 악화된다. 저해상도에서, 픽셀의 절반이 배경을 커버하고 다른 절반은 물체의 일부인 경우 "거짓" 픽셀이 min_flash 이미지에서 나타날 수 있다. 차감 이후, 이들 픽셀은 차이 이미지 내에 남아 있게 되는데, 그 이유는 이들 픽셀은 실제로는 min_flash 프레임 내에는 존재하지만 어두운 프레임 내에는 존재하지 않기 때문이다. 이들 픽셀들 중 하나가 중요 픽셀로서 선택되는 경우, 주 플래시 단계의 플래시 강도 추정은 많은 에러를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 차이 이미지 내의 물체의 경계 픽셀은 폐기된다. 그에 따라, 차이 이미지 내의 물체의 중간 부분만이 고려된다. 경계 픽셀은 도 4에 도시되어 있는 경계 필터를 사용하는 필터링 알고리즘을 사용하여 제거될 수 있다.
일 실시예에서, 3×3 픽셀 마스크는 min_flash 이미지를 가로질러 이동한다. 마스크의 중앙에서 "X"로 표시된 픽셀은 추가 처리를 하기 위해 표시된 픽셀이다. 이 픽셀은 먼저 과노출에 대해 체크된다. 픽셀이 min_flash 이미지 내에서 과노출되었으나, 어두운 이미지에서 동일한 위치의 픽셀은 과노출되지 않은 경우, 과노출은 min_flash의 결과인 것으로 결정되고 그런 다음 인접 픽셀이 체크된다. 다음으로, 과노출된 픽셀에 인접한 픽셀은 폐기된다. 세 번째로, 알고리즘은 픽셀이 경계에 있는지 여부를 결정하기 위해 수직, 수평 및 사선 그레디언트(gradients)를 추정한다. 예시적인 그레디언트 추정 기법은 다음과 같다.
Figure 112010047094267-pct00003
추정된 그레디언트는 중앙 픽셀과 비교된다. 중앙 픽셀에 대한 그레디언트의 비율이 사전결정된 임계값을 초과하는 경우, 픽셀은 경계에 있는 것으로 간주되어 폐기된다.
필터는 프레임 차감과 동시에 실행될 수 있고, 출력은 차이 이미지 버퍼에 직접 저장될 수 있다. 이 경우, min_flash 및 어두운 이미지는 손실되지 않는다.
경계 픽셀의 제외가 정확한 차이 이미지를 보장하는데 충분하지 않을 수 있다. 미러 반사로부터 야기되는 min_flash 이미지 내의 일부 과노출된 영역이 여전히 있을 수 있다. 따라서, 마스크가 min_flash 이미지를 가로질러 이동하는 경우, 과노출된 픽셀은 카운팅되고, 이미지 픽셀의 전체 수에 대한 과노출된 픽셀의 전체 수의 비율이 계산된다. 단계(218)에서, 비율이 사전결정된 임계값을 초과하는지 여부가 결정된다. 비율이 임계값을 초과하는 경우, min_flash 프레임은 과노출된 것으로 간주되고 추가 자동노출 계산에 신뢰성 있게 사용될 수 없다. 이 경우, 단계(230)에서 휘도가 평균 픽셀 값으로부터 추정된다.
min_flash 프레임이 과노출되지 않은 경우, 프로세스는 단계(220)로 진행될 것이며, 이 단계(220)에서 작은 물체는 밝지만 작은 물체가 노출 추정에 미치는 영향을 감소시키기 위해 차이 이미지 내에서 폐기된다. 단계(220)에서, 차이 이미지는 도 4에 도시되어 있는 바와 같이 동일한 마스크를 사용하여 필터링된다. 필터링 동안, 중앙 픽셀은 주변 픽셀에 비교된다. 중앙 픽셀의 값이 주변 픽셀보다 소정의 백분율만큼 높은 경우, 중앙 픽셀 및 그의 주변 픽셀은 작은 물체에 속할 수 있다. 이들 픽셀은 중요 픽셀이 이러한 작은 물체의 일부가 되지 않도록 폐기되어야 한다.
단계(222)에서, 차이 이미지로부터 RED, GREEN 및 BLUE 컬러에 대한 히스토그램이 계산되고, 이 계산을 위한 WOI가 설정된다. 히스토그램의 추정 이후, 이미지는 세 컬러마다 별개로 조사된다. 각 컬러는 0 내지 225 범위의 값을 갖고, 각 값에 대한 일계 도함수가 계산된다. 일계 도함수의 값이 주어진 임계값을 초과하는 경우, 탐색은 중단되고 값은 반환된다. 본질적으로, 히스토그램의 슬로프가 식별되고 이 값은 미러 임계값이 된다. 이 히스토그램 분석 단계는 미러 반사를 식별하는데 사용된다.
단계(224)에서, 자동 노출 알고리즘은 차이 이미지 내에서 WOI의 중요 픽셀을 식별하여, 미러 반사 및 작은 물체를 무시한다. 중요 픽셀은 WOI 내에서 최대 값을 갖는 픽셀이다. 중요 픽셀은 적색, 녹색 또는 청색일 수 있다. 픽셀이 적색 또는 청색인 경우, 이웃 픽셀이 체크된다. 영역의 컬러가 매우 강한 경우(예를 들어, 적색>2*녹색), 대응하는 적색 또는 청색 픽셀은 중요한 것을 간주되지 않는 데, 그 이유는 그 픽셀은 과노출될 수 있고 중요 픽셀로 간주되지 않기 때문이다.
2개의 녹색, 1개의 청색 및 1개의 적색으로 이루어진 4개 픽셀의 블록에서 픽셀의 베이어 패턴으로부터 컬러 이미지가 구성됨을 주목해야 한다. 다양한 재구성이 방법이 사용될 수 있지만, 일반적으로 녹색 픽셀이 사용되어 휘도 정보(이미지 밝기)를 제공하고 그런 다음 RGB 특성이 색차(컬러) 정보를 제공한다. 따라서, 휘도를 결정하기 위해 녹색 중요 픽셀을 얻는 것으로 충분할 수 있다. 다른 대표 컬러를 포함하는 장면도 체크되어 이들 장면 내에 과노출된 영역이 없도록 보장한다. 이것은 주 플래시 이미지의 컬러의 심각한 변경을 초래하지 않을 것이다. 그러나, 영역이 강한 컬러를 가지고 있지 않는 경우, 픽셀의 과노출은 변경(또는 소위 컬러의 "버닝(burning)")을 야기할 것이다. 따라서, 적색 및 청색 픽셀은 일부 경우 중요한 것으로 간주될 수 있다.
단계(232)에서, 중요 픽셀이 식별되는지 여부가 결정된다. 중요 픽셀이 발견되지 않는 경우, 단계(240)에서 주 플래시 이미지 캡쳐에 사용되는 카메라 설정은 어두운 이미지를 캡쳐하는데 사용되는 노출, 이득 및 아이리스일 것이지만, 플래시 강도는 최대로 설정될 것이다. 대부분의 경우, 단계(232)에서 중요 픽셀이 발견되고, 광센서가 사용되지 않는 가정하에, 단계(234)에서 카메라 설정이 계산된다.
차이 이미지를 사용함으로써, 자동 노출 알고리즘은 중요 픽셀의 밝기와 차이 이미지의 평균 밝기 간의 비율을 계산한다. 자동 노출 알고리즘은 dark_luma 및 light_luma의 합을 사용하여 주로 트리거 펄스 폭에 의해 결정되는 메인 플래시 단계의 플래시 강도를 계산한다. dark_luma 값은 어두운 이미지 내의 중요 픽셀의 값이고, light_luma는 min_flash 이미지 내의 중요 픽셀의 값이다.
트리거 펄스 폭의 계산은 다음과 같이 설명된다.
앞서 설명한 바와 같이, 어두운 및 사전 플래시 이미지는 동일한 노출/이득으로 캡쳐된다. 차이("diff_luma")는 크세논 광에 대한 장면 반사의 척도이다. dark_luma는 주변 광의 척도이다. 노출 시간은 XAE 알고리즘에 의해 변경되지 않는다(크세논이 사용되지 않는 경우의 미리보기 동안 계산된다). 그 목적은 장면이 주변 광에 의해 가장 잘 조명되도록 유지하는 것이다. 크세논은 필요로 하는 곳에만 조명해야 한다. XAE의 또 다른 목적은 사용되는 이득을 최소화하고 크세논 광에 의해 보상하는 것이다. 노출 시간은 크세논이 아닌 주변 광으로부터 달성되는 밝기에만 영향을 미친다. 이득 및 조리개는 주변광 및 크세논 광 모두에 영향을 미친다. 이들은 필요에 따라 XAE에 의해 제어되지만, 그들의 최대 값은 플래시가 사용되지 않을 경우 미리보기 AE에 의해 요청된 최대 값과 동일하다. 이것은 정상적인(플래시 없는) AE에 의해 주변 광에 의해 노출된 것으로 결정된 과노출된 영역을 XAE가 남겨두도록 강제한다. XAE는 미리보기 동안 플래시 없는 AE에 의해 요청되는 동일한 조리개를 사용하는 것을 시도한다. 장면이 너무 가깝고 심지어 최소 플래시가 장면을 과노출시킬 경우, XAE는 조리개를 감소시킨다.
어두운/사전플래시 이미지에 대한 노출/이득/아이리스(exp_dark, gain_dark, iris_dark) 및 캡쳐에 추천된 값(exp_capture, iris_capture)을 알고 있음으로써, XAE는 사전플래시 강도의 캡쳐시에 나타날 수 있는 dark_luma 및 diff_luma를 계산하는데, 이들은 gain_capture=x1으로 시작하여 주 캡쳐에 사용된다.
Figure 112010047094267-pct00004
dark_luma_capture 및 diff_capture는 XAE에 전달된 이미지(이들은 어두운 및 사전플래시 이미지의 축소된 버전임)의 각 픽셀 및 각 컬러(R,G,B)마다 계산된다.
이어서, 최대 dark_luma_capture+diff_luma_capture을 갖는 픽셀(dark_luma_capture에서 과노출되지 않으며 미러 반사가 아님)이 발견된다.
이 픽셀은 지금부터 계산에 포함된다.
크세논 강도는 diff_luma_capture에만 영향을 미치기 때문에, 캡쳐에 필요한 크세논 강도는 다음과 같이 계산될 수 있다.
Figure 112010047094267-pct00005
크세논 농도는 전체 크세논 에너지의 백분율(최소..100%)로 XAE에 의해 보고된다. 전형적으로, 사전플래시 강도는 최소 'min'이다. 이것은 방출될 수 있고 충분히 반복가능한 최소 에너지(예를 들어, +/- 20%)이다.
크세논 플래시 드라이버는 일 실시예에서 이 값을 요구되는 트리거 펄스폭으로 변환할 것이고, 룩업 테이블이 사용된다. 그러나, 또 다른 계산 방법도 사용될 수 있다.
주 플래시 강도는 단계(236)에서 결정된 임계값 또는 타겟 값과 동일하도록 추정된다.
전체 휘도가 임계값보다 높고 광센서가 이용가능하지 않은 경우, 아리리스 또는 조리개는 감소되는 한편 이득과 조리개의 곱이 변함없이 유지되도록 이득은 변경된다.
전체 휘도가 타겟 값보다 작은 경우, 자동-노출 알고리즘은 이득을 최대값까지 증가시키고 단계(242)에서 플래시 강도를 제어하기 위해 광센서를 사용하지 여부를 결정한다. 광센서가 사용되는 경우, 광센서는 감지된 강도가 임계값에 도달하는 경우 플래시 출력을 컷오프한다. 이미지를 정확하게 노출시키는데 전체 플래시가 충분하지 않은 경우, 아이리스는 넓게 개방될 것이다(그리고 ND 필터는 제거될 것이다). 이득은 또한 가능한 가장 밝은 이미지를 제공하기 위해 최대 값까지 증가된다.
광센서의 기본적인 특징은 상이한 장면 및 상이한 타겟 거리에 대해 실질적으로 동일한 평균 밝기를 달성하도록 플래시 강도를 조절하는데 사용될 수 있다는 것이다. 광센서는 센서의 감도에 따른 밝기 임계값으로 동조되고, 이미지의 평균 밝기는 계산 또는 측정될 수 있는데, 이는 주변 광이 없는 완벽히 어두운 상태에서 광센서 및 주어진 카메라 모듈 아날로그 이득과 조리개를 사용하여 얻어질 것이며, 이 값은 "기본 밝기"로 알려져 있다. 노출 시간은 중요하지 않다.
요약하면, 본 발명은 크세논 플래시와 같은 카메라 플래시에 사용되는 자동 노출 알고리즘을 제공한다. 크세논 자동 노출(XAE) 형상 인식 알고리즘과 같은 형상 인식 알고리즘이 사용되어 미리보기 및 사전 플래시 장면에서 식별된 중요 물체의 반사도/휘도(예를 들어, 반사 표면, 미러, 광)를 식별하고, 그런 다음 예를 들어 플래시 강도, 카메라 조리개(ND필터) 및 이득(ISO 필름 속도)을 조정함으로써 카메라를 조정하여 최적으로 노출된 이미지를 제공한다. 그것은 또한 ND 필터를 새로운 방식으로 사용하여 플래시 강도 제어의 동적 범위를 확장시키고 낮은 광 강도 레벨에서, 즉 매우 반사적인 또는 가까운(매크로) 장면에 대한 크세논 플래시의 비 선형성을 극복한다. 이러한 알고리즘은 두 개의 단계, 즉 사전 플래시와 주 플래시로 분할될 수 있다.
사전 플래시 단계에서, 균일한 노출, 이득 및 조리개 치수에 의한 두 개의 이미지가 "미리보기 모드"에서 캡쳐된다. 양 이미지는 전형적으로 최종 캡쳐의 해상도보다 낮은 해상도로 얻어진다. "어두운 이미지"로 불리는 제 1 이미지는 플래시없이 캡쳐되는 한편, "사전 플래시 이미지"로 지칭되는 제 2 이미지는 최소 강도 플래시로 캡쳐된다. 최소 강도 플래시 임계값은 크세논 플래시 모듈 휘도 효율 및 전체 에너지 저장량에 의해 정의된다. 주변 조명 및 최소 강도 플래시에 대한 정보는 사전 플래시 이미지로부터 추출될 수 있고 주 플래시 단계에 대한 입력으로서 제공될 수 있다.
주 플래시 단계에서, 사전 플래시 이미지로부터 어두운 이미지를 차감으로써 "차이 이미지"가 계산된다. 이상적으로는, 차이 이미지는 플래시에 의해 영향을 받는 영역만을 포함할 것이다. 이 영향은 최대 차이 값을 갖는 픽셀을 식별함으로써 평가된다. 이 픽셀은 "중요 픽셀"로 지칭되고, 그것은 최소 강도 사전 플래시에 의해 가장 많이 영향을 받는 촬영된 물체의 일부인 것으로 간주된다. 중요 픽셀을 분리할 때, 미러 반사의 결과인 것으로 간주되는 픽셀들은 폐기될 수 있다.
중요 픽셀의 조명에 기초한 계산이 수행된다. 예를 들어, 플래시 강도에 대한 룩업 테이블을 사용함으로써, 최종 강도가 계산되고, 또한 캡쳐를 위한 노출, 이득 및 ND 필터(또는 조리개)가 계산된다.
이미지 캡쳐에 따른 XAE 알고리즘의 동작은 후속하는 단계, 즉,
플래시를 사용하지 않고 제 1 테스트 이미지(어두운 이미지)를 캡쳐하는 단계와,
사전결정된 강도를 갖는 플래시를 이용하여 제 2 테스트 이미지(사전 플래시 이미지)를 캡쳐하는 단계와,
제 2 테스트 이미지와 제 1 테스트 이미지 간의 차이를 나타내는 차이 이미지를 획득하는 단계- 이 차이 이미지는 복수의 차이 이미지 픽셀을 포함하고, 각 차이 이미지 픽셀은 픽셀 값을 가짐 -와,
차이 이미지 픽셀 가운데에서 기준 픽셀을 식별하는 단계- 제 1 테스트 이미지는 기준 픽셀(중요 픽셀)에 대응하는 제 1 테스트 픽셀을 포함하고, 제 2 테스트 이미지는 기준 픽셀에 대응하는 제 2 테스트 픽셀을 포함하고, 기준 픽셀은 차이 이미지 픽셀 중에서 최대 픽셀 값에 기초하여 식별됨 -와,
제 1 테스트 픽셀의 픽셀 값 및 제 2 테스트 픽셀의 픽셀 값에 기초하여 후속 이미지를 캡쳐하기 위한 플래시의 조명량을 계산하는 단계로 요약될 수 있다.
작은 물체 또는 반사 물체에 속하는 상이한 이미지 픽셀의 일부를 제거하는 것이 바람직할 수 있다. 사전결정된 크기보다 작은 물체는 차이 이미지 픽셀 중에서 최대 픽셀 값을 갖는 픽셀 어레이 내에서 이 어레이의 에지 픽셀을 제거하는 픽셀 필터를 사용하고 나머지 픽셀을 사전결정된 크기에 비교함으로써 인접 픽셀의 개수에 기초하여 식별될 수 있다. 반사 물체는 예를 들어 컬러 이미지 픽셀에 대한 히스토그램 분석을 수행함으로써 식별되어 이 히스토그램의 슬로프 또는 일계 도함수에 기초하여 반사 물체를 결정하고 이 반사 물체를 제거한다.
제 1 테스트 이미지 및 제 2 테스트 이미지를 캡쳐하기 전에, 카메라 설정을 정할 필요가 있는데, 이 카메라 설정은 플래시의 노출 시간 및 사전결정된 강도를 포함한다. 하나 이상의 미리보기 이미지의 평균 휘도는 제 2 테스트 이미지의 평균 휘도가 예를 들어 사전결정된 범위 내에 있도록 플래시의 사전결정된 강도를 설정하는데 사용될 수 있다.
본 발명의 다양한 실시예에 따르면, 후속 이미지를 캡쳐하기 위한 플래시의 조명량은 펄스폭을 갖는 트리거 펄스에 의해 플래시가 플래시 강도를 제공하도록 함으로써 달성가능하고, 펄스폭이 사전결정된 값보다 작은 경우, 펄스폭은 증가되고 플래시 강도는 플래시의 조명량을 유지하도록 중성 농도 또는 아이리스에 의해 감소된다.
제 1 테스트 이미지 또는 어두운 이미지가 정확히 조명된 영역을 포함하는 경우, 차이 이미지 내의 대응하는 영역은 기준 또는 중요 픽셀을 식별하고 주 플래시 단계에 대한 플래시의 플래시 강도를 계산하기 전에 제거되어야 한다. 정확히 조명된 영역은 소정의 사전결정된 범위 내에서 어두운 이미지의 픽셀 값에 의해 어두운 이미지로부터 식별될 수 있다.
XAE 알고리즘은 플래시 모듈 또는 플래시 모듈을 구비한 카메라 내의 프로세서의 일부일 수 있는 컴퓨터 판독가능 저장 매체 내에 내장된 소프트웨어 프로그램에 의해 구현될 수 있다. 플래시 모듈은 카메라 플래시를 트리거링하는 메카니즘과, 카메라로부터 이미지 데이터를 수신하도록 구성된 프로세서를 포함할 수 있다. 프로세서는 카메라 플래시를 사용하지 않고 제 1 테스트 이미지를 캡쳐하는 단계와, 사전결정된 강도를 갖는 카메라 플래시를 이용하여 제 2 테스트 이미지를 캡쳐하는 단계와, 제 2 테스트 이미지와 제 1 테스트 이미지 간의 차이를 나타내는 차이 이미지를 획득하는 단계- 이 차이 이미지는 복수의 차이 이미지 픽셀을 포함하고, 각 차이 이미지 픽셀은 픽셀 값을 가짐 -와, 차이 이미지 픽셀 가운데에서 기준 픽셀을 식별하는 단계- 제 1 테스트 이미지는 기준 픽셀에 대응하는 제 1 테스트 픽셀을 포함하고, 제 2 테스트 이미지는 기준 픽셀에 대응하는 제 2 테스트 픽셀을 포함함 -와, 제 1 테스트 픽셀의 픽셀 값 및 제 2 테스트 픽셀의 픽셀 값에 기초하여 후속 이미지를 캡쳐하기 위한 플래시의 조명량을 계산하는 단계를 수행하도록 구성된다.
따라서, 본 발명은 본 발명의 하나 이상의 실시예와 관련하여 기술되었지만, 본 발명의 범주를 벗어나지 않는 범위 내에서 전술한 및 다양한 변경, 이들의 형태 및 세부사항에서의 생략 및 일탈은 당업자에게는 자명할 것이다.

Claims (20)

  1. 카메라 플래시 모듈을 제어하는 방법에 있어서,
    플래시를 사용하지 않고 제 1 테스트 이미지를 캡쳐하는 단계와,
    사전결정된 강도를 갖는 상기 플래시를 사용하여 제 2 테스트 이미지를 캡쳐하는 단계와,
    상기 제 2 테스트 이미지와 상기 제 1 테스트 이미지 간의 차이를 나타내는 차이 이미지를 획득하는 단계 -상기 차이 이미지는 복수의 차이 이미지 픽셀을 포함하고, 각각의 차이 이미지 픽셀은 픽셀 값을 가짐- 와,
    상기 복수의 차이 이미지 픽셀 중에서 기준 픽셀을 식별하는 단계 -상기 제 1 테스트 이미지는 상기 기준 픽셀에 대응하는 제 1 테스트 픽셀을 포함하고, 상기 제 2 테스트 이미지는 상기 기준 픽셀에 대응하는 제 2 테스트 픽셀을 포함함- 와,
    상기 제 1 테스트 픽셀의 픽셀 값 및 상기 제 2 테스트 픽셀의 픽셀 값에 적어도 부분적으로 기초하여 후속 이미지를 캡쳐하기 위한 상기 플래시의 조명량을 계산하는 단계를 포함하는
    카메라 플래시 모듈 제어 방법.
  2. 제 1 항에 있어서,
    상기 기준 픽셀은 상기 복수의 차이 이미지 픽셀 중에서 최대 픽셀 값에 적어도 부분적으로 기초하여 식별되는
    카메라 플래시 모듈 제어 방법.
  3. 제 1 항에 있어서,
    상기 식별하는 단계 이전에 상기 차이 이미지에서 사전결정된 크기보다 작은 물체에 속하는 상기 복수의 차이 이미지 픽셀 중의 하나 이상을 제거하는 단계를 더 포함하는
    카메라 플래시 모듈 제어 방법.
  4. 제 3 항에 있어서,
    상기 사전결정된 크기보다 작은 상기 물체의 각각은 상기 복수의 차이 이미지 픽셀 중 최대 픽셀 값을 갖는 픽셀 어레이 내에서 인접 픽셀의 개수에 적어도 부분적으로 기초하여 식별되는
    카메라 플래시 모듈 제어 방법.
  5. 제 4 항에 있어서,
    상기 픽셀 어레이는 복수의 에지 픽셀을 포함하고,
    상기 카메라 플래시 모듈 제어 방법은,
    상기 픽셀 어레이 내의 나머지 픽셀을 얻기 위해 상기 에지 픽셀을 제거하도록 픽셀 필터를 적용하는 단계를 더 포함하되, 상기 나머지 픽셀의 개수는 상기 사전결정된 크기와 비교하는 데 사용되는
    카메라 플래시 모듈 제어 방법.

  6. 제 1 항에 있어서,
    상기 식별하는 단계 이전에 상기 차이 이미지에서 반사 물체에 속하는 상기 복수의 차이 이미지 픽셀 중의 일부를 제거하는 단계를 더 포함하는
    카메라 플래시 모듈 제어 방법.
  7. 제 6 항에 있어서,
    상기 복수의 차이 이미지 픽셀은 컬러 이미지 픽셀을 포함하고,
    상기 카메라 플래시 모듈 제어 방법은,
    상기 반사 물체를 결정하기 위해 상기 컬러 이미지 픽셀에 대해 히스토그램 분석을 수행하는 단계를 더 포함하는
    카메라 플래시 모듈 제어 방법.
  8. 제 1 항에 있어서,
    상기 제 1 테스트 이미지 및 상기 제 2 테스트 이미지를 캡쳐하기 위한 카메라 설정을 결정하는 단계를 더 포함하되,
    상기 카메라 설정은 상기 플래시의 노출 시간 및 사전결정된 강도를 포함하고, 하나 이상의 미리보기 이미지의 평균 휘도는 상기 제 2 테스트 이미지의 평균 휘도가 사전결정된 범위 내에 있도록 플래시의 사전결정된 강도를 설정하는 데 사용되는
    카메라 플래시 모듈 제어 방법.
  9. 제 1 항에 있어서,
    상기 후속 이미지를 캡쳐하기 위한 상기 플래시의 조명량은 펄스폭을 갖는 트리거 펄스에 의해 상기 플래시가 플래시 강도를 제공하도록 함으로써 달성가능하고, 상기 펄스폭이 사전결정된 값보다 작은 경우, 상기 펄스폭은 증가되고 그에 따라 상기 플래시 강도는 상기 플래시의 조명량을 유지하도록 감소되는
    카메라 플래시 모듈 제어 방법.
  10. 제 9 항에 있어서,
    상기 플래시 강도를 감소시키는 데 중성 농도 필터(neutral density filter)가 사용되는
    카메라 플래시 모듈 제어 방법.
  11. 제 9 항에 있어서,
    상기 플래시 강도를 감소시키는 데 아이리스(iris)가 사용되는
    카메라 플래시 모듈 제어 방법.
  12. 제 1 항에 있어서,
    상기 제 1 테스트 이미지는 복수의 제 1 이미지 픽셀을 포함하고, 상기 제 1 이미지 픽셀의 각각은 픽셀 값을 가지며,
    상기 카메라 플래시 모듈 제어 방법은,
    상기 제 1 테스트 이미지 내에서 사전결정된 범위 내의 픽셀 값을 갖는 제 1 이미지 픽셀을 구비한 영역을 결정하는 단계와,
    상기 계산하는 단계 전에 상기 차이 이미지 내의 대응 영역을 제거하는 단계를 더 포함하는
    카메라 플래시 모듈 제어 방법.
  13. 카메라에 사용되며 카메라 플래시를 제어하도록 구성된 플래시 모듈에 있어서,
    상기 카메라 플래시를 트리거하는 메카니즘과,
    상기 카메라로부터 이미지 데이터를 수신하도록 구성된 프로세서를 포함하되,
    상기 프로세서는,
    상기 카메라 플래시를 사용하지 않고 제 1 테스트 이미지를 캡쳐하는 단계와,
    사전결정된 강도를 갖는 상기 카메라 플래시를 사용하여 제 2 테스트 이미지를 캡쳐하는 단계와,
    상기 제 2 테스트 이미지와 상기 제 1 테스트 이미지 간의 차이를 나타내는 차이 이미지를 획득하는 단계 -상기 차이 이미지는 복수의 차이 이미지 픽셀을 포함하고, 각각의 차이 이미지 픽셀은 픽셀 값을 가짐- 와,
    상기 복수의 차이 이미지 픽셀 중에서 기준 픽셀을 식별하는 단계 -상기 제 1 테스트 이미지는 상기 기준 픽셀에 대응하는 제 1 테스트 픽셀을 포함하고, 상기 제 2 테스트 이미지는 상기 기준 픽셀에 대응하는 제 2 테스트 픽셀을 포함함- 와,
    상기 제 1 테스트 픽셀의 픽셀 값 및 상기 제 2 테스트 픽셀의 픽셀 값에 적어도 부분적으로 기초하여 후속 이미지를 캡쳐하기 위한 상기 카메라 플래시의 조명량을 계산하는 단계를 수행하도록 구성되는
    플래시 모듈.
  14. 제 13 항에 있어서,
    상기 프로세서는 상기 획득 단계, 상기 식별 단계 및 상기 계산 단계를 수행하는 프로그램 코드를 구비한 소프트웨어 프로그램을 포함하는
    플래시 모듈.
  15. 제 13 항에 있어서,
    중성 농도 필터를 더 포함하되,
    상기 후속 이미지를 캡쳐하기 위한 상기 카메라 플래시의 조명량은 펄스폭을 갖는 트리거 펄스에 의해 상기 카메라 플래시가 플래시 강도를 제공하도록 함으로써 달성가능하고, 상기 펄스폭이 임계값보다 작은 경우, 상기 카메라 플래시의 조명량을 유지하기 위해 상기 펄스폭을 증가시키면서 상기 플래시 강도를 감소시키도록 상기 중성 농도 필터를 적용하는
    플래시 모듈.

  16. 제 13 항에 있어서,
    아이리스를 더 포함하되,
    상기 후속 이미지를 캡쳐하기 위한 상기 카메라 플래시의 조명량은 펄스폭을 갖는 트리거 펄스에 의해 상기 카메라 플래시가 플래시 강도를 제공하도록 함으로써 달성가능하고, 상기 펄스폭이 임계값보다 작은 경우, 상기 카메라 플래시의 조명량을 유지하기 위해 상기 펄스폭을 증가시키면서 상기 플래시 강도를 감소시키도록 상기 아이리스를 적용하는
    플래시 모듈.
  17. 카메라에 사용되는 소프트웨어 프로그램이 내장된 컴퓨터 판독가능 저장 매체에 있어서,
    상기 소프트웨어 프로그램은 청구항 제1항의 카메라 플래시 모듈 제어 방법을 수행하는 프로그래밍 코드를 포함하는
    컴퓨터 판독가능 저장 매체.
  18. 청구항 제13항에 기재된 플래시 모듈과,
    이미징 센서와,
    상기 이미징 센서 상에 이미지를 형성하는 광학 모듈을 포함하되, 상기 이미징 센서는 이미지 데이터를 제공하도록 구성되는
    카메라.
  19. 카메라 플래시 모듈을 제어하는 장치로서,
    플래시를 사용하지 않고 제 1 테스트 이미지를 캡쳐하고 사전결정된 강도를 갖는 상기 플래시를 사용하여 제 2 테스트 이미지를 캡쳐하는 수단과,
    상기 제 2 테스트 이미지와 상기 제 1 테스트 이미지 간의 차이를 나타내는 차이 이미지를 획득하는 수단 -상기 차이 이미지는 복수의 차이 이미지 픽셀을 포함하고, 각각의 차이 이미지 픽셀은 픽셀 값을 가짐- 과,
    상기 복수의 차이 이미지 픽셀 중에서 기준 픽셀을 식별하는 수단 -상기 제 1 테스트 이미지는 상기 기준 픽셀에 대응하는 제 1 테스트 픽셀을 포함하고, 상기 제 2 테스트 이미지는 상기 기준 픽셀에 대응하는 제 2 테스트 픽셀을 포함함- 과,
    상기 제 1 테스트 픽셀의 픽셀 값 및 상기 제 2 테스트 픽셀의 픽셀 값에 적어도 부분적으로 기초하여 후속 이미지를 캡쳐하기 위한 상기 플래시의 조명량을 계산하는 수단을 포함하되,
    상기 기준 픽셀은 상기 복수의 차이 이미지 픽셀 중에서 최대 픽셀 값에 적어도 부분적으로 기초하여 식별되는
    카메라 플래시 모듈 제어 장치.
  20. 제 19 항에 있어서,
    상기 기준 픽셀을 식별하기 전에 상기 차이 이미지에서 사전결정된 크기보다 작은 물체에 속하는 상기 복수의 차이 이미지 픽셀 중의 하나 이상과, 상기 차이 이미지에서 반사 물체에 속하는 상기 복수의 차이 이미지 픽셀 중의 일부를 제거하는 수단을 더 포함하는
    카메라 플래시 모듈 제어 장치.
KR1020107016377A 2007-12-21 2008-12-19 플래시 모듈, 이를 포함하는 카메라, 카메라 플래시 모듈 제어 방법, 카메라 플래시 모듈 제어 장치 및 컴퓨터 판독가능 저장 매체 KR101124778B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US1624407P 2007-12-21 2007-12-21
US61/016,244 2007-12-21
US12/316,917 US8018525B2 (en) 2007-12-21 2008-12-17 Camera flash module and method for controlling same
US12/316,917 2008-12-17
PCT/IB2008/003569 WO2009087446A1 (en) 2007-12-21 2008-12-19 Camera flash module and method for controlling same

Publications (2)

Publication Number Publication Date
KR20100098450A KR20100098450A (ko) 2010-09-06
KR101124778B1 true KR101124778B1 (ko) 2012-03-27

Family

ID=40545766

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107016377A KR101124778B1 (ko) 2007-12-21 2008-12-19 플래시 모듈, 이를 포함하는 카메라, 카메라 플래시 모듈 제어 방법, 카메라 플래시 모듈 제어 장치 및 컴퓨터 판독가능 저장 매체

Country Status (5)

Country Link
US (1) US8018525B2 (ko)
EP (1) EP2220863B1 (ko)
KR (1) KR101124778B1 (ko)
CN (1) CN101889435B (ko)
WO (1) WO2009087446A1 (ko)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100950465B1 (ko) * 2007-12-21 2010-03-31 손승남 차량출입통제 시스템을 위한 카메라 제어방법
TWI377428B (en) * 2008-10-20 2012-11-21 Asia Optical Co Inc Image capture apparatus with charged capacitor switching device for photoflash and switching method therefor
US8130313B2 (en) * 2008-12-19 2012-03-06 Qualcomm Incorporated System and method to estimate autoexposure control and auto white balance
US8154650B2 (en) * 2009-03-23 2012-04-10 Apple Inc. Electronic device having a camera flash redirector
US8289300B2 (en) * 2009-07-17 2012-10-16 Microsoft Corporation Ambient correction in rolling image capture system
US7962031B2 (en) * 2009-10-06 2011-06-14 Apple Inc. Pulsed control of camera flash
CN102196182A (zh) * 2010-03-09 2011-09-21 株式会社理光 逆光检测设备及逆光检测方法
TWI389560B (zh) * 2010-05-14 2013-03-11 Ability Entpr Co Ltd 數位相機的閃光控制方法
JP2011248029A (ja) * 2010-05-26 2011-12-08 Canon Inc 光量調節装置および光学機器
US8730384B2 (en) 2010-06-03 2014-05-20 Apple Inc. Systems, methods, and devices for flash exposure control using preflash statistics
US8150255B2 (en) * 2010-06-25 2012-04-03 Apple Inc. Flash control for electronic rolling shutter
US8771085B1 (en) 2010-08-06 2014-07-08 Arthur C. Clyde Modular law enforcement baton
US20120242864A1 (en) * 2010-09-20 2012-09-27 Pauli Myron R Flash detection and clutter rejection processor
US8773577B2 (en) 2010-10-27 2014-07-08 Qualcomm Incorporated Region of interest extraction
JP5808142B2 (ja) 2011-05-02 2015-11-10 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9402034B2 (en) * 2011-07-29 2016-07-26 Apple Inc. Adaptive auto exposure adjustment
JP5825946B2 (ja) * 2011-09-09 2015-12-02 キヤノン株式会社 撮像装置及びその制御方法
US9448067B2 (en) * 2011-09-23 2016-09-20 Creatz Inc. System and method for photographing moving subject by means of multiple cameras, and acquiring actual movement trajectory of subject based on photographed images
US8483557B1 (en) 2012-01-31 2013-07-09 Hewlett-Packard Development Company, L.P. Camera flash filter
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9158383B2 (en) 2012-03-02 2015-10-13 Microsoft Technology Licensing, Llc Force concentrator
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
TWI459115B (zh) * 2012-04-20 2014-11-01 Altek Corp 閃光燈裝置
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US8964379B2 (en) 2012-08-20 2015-02-24 Microsoft Corporation Switchable magnetic lock
CN102830573B (zh) * 2012-09-10 2015-08-19 华为终端有限公司 一种闪光控制方法及装置
US8786767B2 (en) * 2012-11-02 2014-07-22 Microsoft Corporation Rapid synchronized lighting and shuttering
JP6200151B2 (ja) * 2012-12-26 2017-09-20 キヤノン株式会社 撮像装置および調光制御方法
US10477087B2 (en) 2017-11-16 2019-11-12 Duelight Llc System, method, and computer program for capturing a flash image based on ambient and flash metering
US9398287B2 (en) 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
US9407837B2 (en) 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
US20150229819A1 (en) * 2014-02-12 2015-08-13 William G. Rivard System and method for generating a digital image
US10120420B2 (en) 2014-03-21 2018-11-06 Microsoft Technology Licensing, Llc Lockable display and techniques enabling use of lockable displays
US9503654B2 (en) * 2014-05-30 2016-11-22 Intel Corporation Automatic anti-glare exposures for imaging devices
CN105208294A (zh) * 2014-06-20 2015-12-30 中兴通讯股份有限公司 一种拍照的方法及装置
US10324733B2 (en) 2014-07-30 2019-06-18 Microsoft Technology Licensing, Llc Shutdown notifications
CN104853097B (zh) * 2015-04-30 2018-03-27 广东欧珀移动通信有限公司 一种全景模式拍摄方法和装置
US9756256B2 (en) * 2015-05-28 2017-09-05 Intel Corporation Spatially adjustable flash for imaging devices
US9503643B1 (en) * 2015-10-27 2016-11-22 Blackberry Limited Electronic device and method of controlling same for capturing digital images
US9729796B1 (en) * 2016-02-05 2017-08-08 Motorola Mobility Llc Method and apparatus for automatic stage scene detection
TWI588587B (zh) 2016-03-21 2017-06-21 鈺立微電子股份有限公司 影像擷取裝置及其操作方法
JP6719947B2 (ja) * 2016-04-04 2020-07-08 キヤノン株式会社 撮像システム、発光装置、発光制御方法、及びプログラム
EP3488231B1 (en) * 2016-07-21 2023-05-24 Siemens Healthcare Diagnostics Inc. Masking camera flash using a background light source
US11775952B2 (en) * 2017-02-28 2023-10-03 Ncr Corporation Multi-camera simultaneous imaging for multiple processes
US10453208B2 (en) * 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
CN108876757B (zh) * 2017-06-14 2020-12-08 北京旷视科技有限公司 环境光检测方法、装置和设备及存储介质
KR102046701B1 (ko) * 2017-07-17 2019-11-19 선전 구딕스 테크놀로지 컴퍼니, 리미티드 광학 유도 보정 파라미터 확정 방법, 생체 특징 인증 장치 및 그의 전자 단말
TWI629900B (zh) * 2017-08-29 2018-07-11 正能光電股份有限公司 Camera system and camera fill light method
CN107566752B (zh) * 2017-10-31 2020-08-11 努比亚技术有限公司 一种拍摄方法、终端及计算机存储介质
CN107968920B (zh) * 2017-11-28 2021-01-05 努比亚技术有限公司 一种参数确定方法及电子设备、存储介质
CN110022475B (zh) * 2018-01-10 2021-10-15 中兴通讯股份有限公司 一种摄影设备校准方法、摄影设备及计算机可读存储介质
KR20200007676A (ko) * 2018-07-13 2020-01-22 삼성전자주식회사 광원의 밝기를 제어하는 전자 장치 및 그 동작 방법
CN109618472A (zh) * 2018-07-16 2019-04-12 马惠岷 灯光控制方法和系统
WO2020111861A1 (ko) * 2018-11-29 2020-06-04 엘지전자 주식회사 광학 장치, 및 이를 구비하는 카메라 장치와 전자기기
JP2020095178A (ja) * 2018-12-13 2020-06-18 キヤノン株式会社 撮影システム、照明装置、制御方法、並びにプログラム
US10742892B1 (en) 2019-02-18 2020-08-11 Samsung Electronics Co., Ltd. Apparatus and method for capturing and blending multiple images for high-quality flash photography using mobile electronic device
CN111836419B (zh) * 2019-04-22 2022-11-04 浙江宇视科技有限公司 一种hid灯的控制方法及相关设备
US11825205B2 (en) 2019-06-13 2023-11-21 Profoto Aktiebolag Computer implemented method and a system for obtaining a camera setting
WO2021008214A1 (en) * 2019-07-17 2021-01-21 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Intelligent flash intensity control systems and methods
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion
US11906895B2 (en) * 2020-10-06 2024-02-20 Mediatek Inc. Method and system for blending images captured under different strobe conditions
CN113286078B (zh) * 2021-05-07 2022-10-14 Oppo广东移动通信有限公司 图像处理方法及装置、终端及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001296578A (ja) 2000-02-07 2001-10-26 Canon Inc 撮像装置及び照明制御装置並びにそれらの制御方法及び制御プログラム
JP2006054775A (ja) 2004-08-16 2006-02-23 Nikon Corp 色バランス調整機能を有する電子カメラ、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151073A (en) * 1996-03-28 2000-11-21 Fotonation, Inc. Intelligent camera flash system
US7345702B2 (en) * 2000-02-07 2008-03-18 Canon Kabushiki Kaisha Image sensing apparatus, control method for illumination device, flash photographing method, and computer program product
US6859565B2 (en) 2001-04-11 2005-02-22 Hewlett-Packard Development Company, L.P. Method and apparatus for the removal of flash artifacts
US7423674B2 (en) * 2003-12-08 2008-09-09 Nikon Corporation Electronic camera having color adjustment function and program therefor
JP3748267B2 (ja) * 2004-06-16 2006-02-22 ソニー株式会社 撮像装置
US8045002B2 (en) * 2005-07-29 2011-10-25 Mitutoyo Corporation Systems and methods for controlling strobe illumination
JP4516500B2 (ja) * 2005-08-23 2010-08-04 富士フイルム株式会社 撮像装置
US7590344B2 (en) 2006-02-28 2009-09-15 Microsoft Corp. Adaptive processing for images captured with flash
JP4761066B2 (ja) * 2006-09-22 2011-08-31 富士フイルム株式会社 ホワイトバランス補正方法及び撮像装置
JP2008166947A (ja) * 2006-12-27 2008-07-17 Eastman Kodak Co 撮像装置
JP2009111844A (ja) * 2007-10-31 2009-05-21 Fujifilm Corp 撮影装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001296578A (ja) 2000-02-07 2001-10-26 Canon Inc 撮像装置及び照明制御装置並びにそれらの制御方法及び制御プログラム
JP2006054775A (ja) 2004-08-16 2006-02-23 Nikon Corp 色バランス調整機能を有する電子カメラ、およびプログラム

Also Published As

Publication number Publication date
US20090160944A1 (en) 2009-06-25
WO2009087446A1 (en) 2009-07-16
US8018525B2 (en) 2011-09-13
KR20100098450A (ko) 2010-09-06
CN101889435B (zh) 2013-04-24
EP2220863B1 (en) 2013-07-10
EP2220863A1 (en) 2010-08-25
CN101889435A (zh) 2010-11-17

Similar Documents

Publication Publication Date Title
KR101124778B1 (ko) 플래시 모듈, 이를 포함하는 카메라, 카메라 플래시 모듈 제어 방법, 카메라 플래시 모듈 제어 장치 및 컴퓨터 판독가능 저장 매체
US8452169B2 (en) Control of artificial lighting of a scene to reduce effects of motion in the scence on an image being acquired
KR100698483B1 (ko) 촬상장치 및 그 제어방법
US9165377B2 (en) Imaging apparatus with scene analysis
JPH08340542A (ja) 電子スチルカメラ
US8629934B2 (en) Imaging apparatus and method for controlling the same
JP4021716B2 (ja) ストロボ調整機能を有するカメラ
KR20090098197A (ko) 플래시 발광량 조절가능한 디지털 촬영 장치, 이의 제어방법 및 상기 방법을 실행하기 위한 프로그램을 기록한기록매체
TW202021339A (zh) 用於相機之紅外光預閃光
KR100651813B1 (ko) 스트로보 제어장치, 및 스트로보 제어방법
JP2015034850A (ja) 撮影装置および撮影方法
JP5970871B2 (ja) 電子カメラ
US20200036877A1 (en) Use of ir pre-flash for rgb camera's automatic algorithms
JP6883855B2 (ja) 撮像装置及び撮像装置の制御方法
JP4412109B2 (ja) 色バランス調整機能を有する電子カメラ、およびプログラム
JP3897087B2 (ja) 画像処理装置、画像処理方法、および記録媒体
JP7278764B2 (ja) 撮像装置、電子機器、撮像装置の制御方法およびプログラム
JP4592892B2 (ja) 電子カメラ
JP2005175598A (ja) ホワイトバランス調整機能を有する電子カメラ、およびプログラム
JP2009098549A (ja) 撮像装置
KR101436835B1 (ko) 디지털 영상 처리기에서 광 역광 보정을 수행하기 위한데이터 결정 장치 및 방법
JP2009276560A (ja) 撮像装置および撮像方法
JP2019186651A (ja) 撮像装置、その制御方法、および制御プログラム
JP2003280064A (ja) カメラ
JP2005354645A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160127

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170201

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190129

Year of fee payment: 8