KR20210024053A - 야경 촬영 방법, 장치, 전자설비, 및 저장 매체 - Google Patents
야경 촬영 방법, 장치, 전자설비, 및 저장 매체 Download PDFInfo
- Publication number
- KR20210024053A KR20210024053A KR1020217001996A KR20217001996A KR20210024053A KR 20210024053 A KR20210024053 A KR 20210024053A KR 1020217001996 A KR1020217001996 A KR 1020217001996A KR 20217001996 A KR20217001996 A KR 20217001996A KR 20210024053 A KR20210024053 A KR 20210024053A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- acquired
- exposure time
- frame
- shaking
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 184
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 206010034972 Photosensitivity reaction Diseases 0.000 claims abstract description 410
- 230000036211 photosensitivity Effects 0.000 claims abstract description 410
- 230000035945 sensitivity Effects 0.000 claims abstract description 203
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 46
- 206010034960 Photophobia Diseases 0.000 claims abstract description 18
- 208000013469 light sensitivity Diseases 0.000 claims abstract description 18
- 238000012937 correction Methods 0.000 claims description 165
- 238000012545 processing Methods 0.000 claims description 43
- 230000009467 reduction Effects 0.000 claims description 38
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 44
- 238000003384 imaging method Methods 0.000 description 25
- 238000006073 displacement reaction Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 19
- 238000005259 measurement Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 10
- 238000013507 mapping Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000003672 processing method Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000002265 prevention Effects 0.000 description 4
- 238000010926 purge Methods 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- DWDGSKGGUZPXMQ-UHFFFAOYSA-N OPPO Chemical compound OPPO DWDGSKGGUZPXMQ-UHFFFAOYSA-N 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H04N5/2353—
-
- G06K9/00228—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
- H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
-
- H04N5/23219—
-
- H04N5/23258—
-
- H04N5/23277—
-
- H04N5/2351—
-
- H04N5/2355—
-
- H04N5/243—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
본 발명은 야경 촬영 방법, 장치, 전자설비, 및 저장 매체를 개시하며, 상기 방법은 카메라 모듈의 흔들림 정도를 획득함으로써, 흔들림 정도에 따라 기준 감광도를 조정하며, 촬영 장면의 밝기 정보 및 기준 감광도에 따라, 멀티 프레임의 취득될 이미지의 노출 시간을 결정하며, 기준 감광도 및 멀티 프레임의 취득될 이미지의 노출 시간에 따라 이미지를 취득하며, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 각 프레임의 취득될 이미지의 기준 감광도 및 노출 시간에 따라 이미지를 취득하여 타겟 이미지를 합성하여 생성함으로써, 야경 촬영 이미지의 동적 범위 및 전체 밝기가 개선되고, 이미지의 노이즈가 효과적으로 억제되고, 핸드 헬드 흔들림에 따른 고스트 형상이 억제되고, 야경 촬영 이미지의 품질이 개선되며, 사용자 경험이 개선된다.
Description
본 개시는 이미징 기술 분야에 관한 것으로, 특히, 야경 촬영 방법, 장치, 전자설비, 및 저장 매체{METHOD FOR CAPTURING IMAGES AT NIGHT, APPARATUS, ELECTRONIC DEVICE, AND STORAGE MEDIUM}에 관한 것이다.
<관련 출원의 상호 참조>
본 출원은 OPPO 광동이동통신유한회사가 2018년 8월 22일에 출원한“카메라 모듈의 야경 촬영 처리 방법, 장치, 전자설비, 및 저장 매체”라는 명칭의 특허 출원 제 201810963331.3 호에 대한 우선권을 주장한다.
스마트 발달함에 따라 모바일 단말 장치(예를 들어, 스마트폰, 태블릿 컴퓨터 등)의 사용은 보편화되고 있다. 대부분의 모바일 단말 장치는 카메라가 내장되며, 모바일 단말 장치의 처리 능력이 향상되고 카메라 기술의 발전으로, 내장 카메라의 성능이 더욱 강력해지고, 촬영된 이미지의 품질이 개선된다. 지금 모바일 단말 장치는 동작이 간편하고 휴대가 편리하며, 스마트폰, 태블릿 컴퓨터 등과 같은 모바일 단말 장치로 사진을 찍는 이용자가 늘고 있다.
스마트 모바일 단말 장치는 사람들의 일상 촬영에 편리함을 가져오고, 촬영된 이미지의 품질에 대한 사람들의 요구도 더 높아진다. 그러나, 전문적인 레벨 제약으로 인해, 사용자가 촬영 장면에 따라 적절한 촬영 파라미터를 설정하는 방법을 알지 못하여, 특히 야경과 같은 특별한 장면에서 이미지의 질은 떨어진다.
본 발명은 관련 기술의 기술적 문제들 중 하나를 적어도 어느 정도 해결하기 위한 것이다.
이러한 목적을 위해, 본 발명에 따른 야경 장면 촬영 방법, 장치, 전자설비 및 저장 매체는 관련 기술분야에서, 야경 장면에서 촬영된 이미지가 동적 범위로 제한될 뿐만 아니라, 전체 밝기가 낮으며, 사용자 경험에 영향을 미친 문제를 해결하기 위해 사용된다.
본 발명의 제 1 측면에서는 카메라 모듈에 적용되는 야경 촬영 방법을 개시하며, 상기 방법은,
상기 카메라 모듈의 흔들림 정도를 획득하는 단계;
상기 흔들림 정도에 따라 기준 감광도를 조정하는 단계;
촬영 장면의 밝기 정보와 상기 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 노출 시간을 결정하는 단계;
상기 기준 감광도 및 상기 멀티 프레임의 취득될 이미지의 노출 시간에 따라 이미지를 취득하는 단계; 및
취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 단계; 를 포함한다.
본 발명의 실시예에 따른 야경 촬영 방법은, 카메라 모듈의 흔들림 정도를 획득함으로써, 흔들림 정도에 따라 기준 감광도를 조정하며, 촬영 장면의 밝기 정보와 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 노출 시간을 결정하며, 기준 감광도 및 상기 멀티 프레임의 취득될 이미지의 노출 시간에 따라 이미지를 취득하고, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 촬영된 멀티 프레임의 이미지는 모두 기준 감광도를 이용하여 이미지 노이즈를 비교적 낮은 수준으로 제어하도록 하면서 기준 감광도의 값은 흔들림 정도를 고려함으로써 촬영 시간이 너무 길지 않게 하고 이미지의 스미어 형상을 방지한다. 당해 방법에 의해 얻어진 멀티 프레임의 이미지는 품질이 높고, 이미지 합성 처리에 대하여, 노이즈가 더 감소될 수 있고, 동적 범위를 넓히게 된다. 야경 촬영에서, 더 나은 촬영 효과가 얻어질 수 있다.
본 발명의 제 2 측면에서는 카메라 모듈에 적용되는 다른 야경 촬영 방법을 개시하며, 상기 방법은,
상기 카메라 모듈의 흔들림 정도를 획득하는 단계;
상기 흔들림 정도에 따라 노출 시간을 조정하는 단계;
촬영 장면의 밝기 정보와 상기 노출 시간에 따라 멀티 프레임의 취득될 이미지의 감광도를 결정하는 단계;
상기 멀티 프레임의 취득될 이미지의 감광도 및 상기 노출 시간에 따라 이미지를 취득하는 단계; 및
취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 단계; 를 포함한다.
본 발명의 실시예에 따른 야경 촬영 방법은 카메라 모듈의 흔들림 정도를 획득함으로써, 흔들림 정도에 따라 노출 시간을 조정하며, 촬영 장면의 밝기 정보 및 노출 시간에 따라, 멀티 프레임의 취득될 이미지의 감광도를 결정하며, 멀티 프레임의 취득될 이미지의 감광도 및 노출 시간에 따라 이미지를 취득하며, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 노출 시간을 결정한 후, 촬영 장면의 밝기 정보 및 노출 시간에 따라, 멀티 프레임의 취득될 이미지의 감광도를 결정하며, 멀티 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득하여 타겟 이미지를 합성하여 생성함으로써 야경 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 이미지의 노이즈가 억제되고, 핸드 헬드 흔들림에 의해 야기된 고스트 현상이 억제되고, 야경 촬영 이미지의 품질이 개선되고, 사용자 경험이 개선된다.
본 발명의 제 3 측면에서는 카메라 모듈에 적용되는 또 다른 야경 촬영 방법을 개시하며, 상기 방법은,
상기 카메라 모듈의 흔들림 정도를 획득하는 단계;
상기 흔들림 정도에 따라 촬영 장면의 밝기에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 감광도를 조정하는 단계;
각 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득하는 단계; 및
취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 단계; 를 포함한다.
본 발명의 실시예에 따른 야경 촬영 방법은 카메라 모듈의 흔들림 정도를 획득함으로써, 흔들림 정도에 따라 촬영 장면의 밝기에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 감광도를 조정하며, 각 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득하며, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 멀티 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득하여 타겟 이미지를 합성하여 생성함으로써, 야경 촬영 이미지의 동적 범위 및 전체 밝기가 개선되고, 이미지의 노이즈가 효과적으로 억제되고, 핸드 헬드 흔들림에 따른 고스트 형상이 억제되고, 야경 촬영 이미지의 품질이 개선되며, 사용자 경험이 개선된다.
본 발명의 제 4 측면에서는 카메라 모듈에 적용되는 야경 촬영 장치를 개시하며, 상기 장치는,
상기 카메라 모듈의 흔들림 정도를 획득하는 획득 모듈;
상기 흔들림 정도에 따라 기준 감광도를 조정하는 조정 모듈;
촬영 장면의 밝기 정보와 상기 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 노출 시간을 결정하는 결정 모듈;
상기 기준 감광도 및 상기 멀티 프레임의 취득될 이미지의 노출 시간에 따라 이미지를 취득하는 취득 모듈; 및
취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 생성 모듈; 을 포함한다.
본 발명의 실시예에 따른 야경 촬영 장치는 카메라 모듈의 흔들림 정도를 획득함으로써, 흔들림 정도에 따라 기준 감광도를 조정하며, 촬영 장면의 밝기 정보 및 기준 감광도에 따라, 멀티 프레임의 취득될 이미지의 노출 시간을 결정하며, 기준 감광도 및 상기 멀티 프레임의 취득될 이미지의 노출 시간에 따라 이미지를 취득하며, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 기준 감광도를 결정한 후, 촬영 장면의 밝기 정보 및 기준 감광도에 따라, 멀티 프레임의 취득될 이미지의 노출 시간을 결정하며, 멀티 프레임의 취득될 이미지의 기준 감광도 및 노출 시간에 따라 이미지를 취득하여 타겟 이미지를 합성하여 생성함으로써 야경 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 이미지의 노이즈가 억제되고, 핸드 헬드 흔들림에 의해 야기된 고스트 현상이 억제되고, 야경 촬영 이미지의 품질이 개선되고, 사용자 경험이 개선된다.
본 발명의 제 5 측면에서는 카메라 모듈에 적용되는 다른 야경 촬영 장치를 개시하며, 상기 장치는,
상기 카메라 모듈의 흔들림 정도를 획득하는 획득 모듈;
상기 흔들림 정도에 따라 노출 시간을 조정하는 조정 모듈;
촬영 장면의 밝기 정보와 상기 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 감광도를 결정하는 결정 모듈;
멀티 프레임의 취득될 이미지의 감광도 및 상기 노출 시간에 따라 이미지를 취득하는 취득 모듈; 및
취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 생성 모듈; 을 포함한다.
본 발명의 실시예에 따른 야경 촬영 장치는 카메라 모듈의 흔들림 정도를 획득함으로써, 흔들림 정도에 따라 노출 시간을 조정하며, 촬영 장면의 밝기 정보 및 노출 시간에 따라, 멀티 프레임의 취득될 이미지의 감광도를 결정하며, 멀티 프레임의 취득될 이미지의 감광도 및 노출 시간에 따라 이미지를 취득하며, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 노출 시간을 결정한 후, 촬영 장면의 밝기 정보 및 노출 시간에 따라, 멀티 프레임의 취득될 이미지의 감광도를 결정하며, 멀티 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득하여 타겟 이미지를 합성하여 생성함으로써 야경 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 이미지의 노이즈가 억제되고, 핸드 헬드 흔들림에 의해 야기된 고스트 현상이 억제되고, 야경 촬영 이미지의 품질이 개선되고, 사용자 경험이 개선된다.
본 발명의 제 6 측면에서는 카메라 모듈에 적용되는 또 다른 야경 촬영 장치를 개시하며, 상기 장치는,
상기 카메라 모듈의 흔들림 정도를 획득하는 획득 모듈;
상기 흔들림 정도에 따라, 촬영 장면의 밝기에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 감광도를 조정하는 조정 모듈;
각 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득하는 취득 모듈; 및
취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 생성 모듈; 을 포함한다.
본 발명의 실시예에 따른 야경 촬영 장치는, 카메라 모듈의 흔들림 정도를 획득함으로써, 흔들림 정도에 따라, 촬영 장면의 밝기에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 감광도를 조정하며, 각 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득하며, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 멀티 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득하여 타겟 이미지를 합성하여 생성함으로써, 야경 촬영 이미지의 동적 범위 및 전체 밝기가 개선되고, 이미지의 노이즈가 효과적으로 억제되고, 핸드 헬드 흔들림에 따른 고스트 형상이 억제되고, 야경 촬영 이미지의 품질이 개선되며, 사용자 경험이 개선된다.
본 발명의 제 7 측면에서는 카메라 모듈의 야경 촬영 처리 방법을 개시하며, 상기 방법은,
야경 촬영 모드에서 카메라 모듈의 현재 흔들림 정도를 검출하는 단계;
상기 카메라 모듈의 현재 흔들림 정도에 따라 취득될 이미지의 개수 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도를 결정하는 단계;
촬영 장면의 현재 조도 및 상기 각 프레임의 취득될 이미지에 대응하는 기준 감광도에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하는 단계;
상기 각 프레임의 취득될 이미지에 대응하는 기준 감광도 및 노출 시간에 따라 멀티 프레임의 이미지를 순차적으로 취득하는 단계; 및
상기 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 단계; 를 포함한다.
본 발명의 실시예에 따른 카메라 모듈의 야경 촬영 처리 방법은, 야경 촬영 모드에서, 카메라 모듈의 현재 흔들림 정도를 검출하며, 현재 흔들림 정도에 따라 취득될 이미지의 개수 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도를 결정한 후, 촬영 장면의 현재 조도 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하며, 각 프레임의 취득될 이미지에 대응하는 기준 감광도 및 노출 시간에 따라 멀티 프레임의 이미지를 순차적으로 취득하며, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 카메라 모듈의 현재 흔들림 정도에 따라 취득될 이미지의 개수 및 기준 감광도를 결정하고, 촬영 장면의 현재 조도에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하며, 상이한 노출 시간을 갖는 이미지를 촬영하여 합성함으로써, 야경 촬영 모드에서 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 촬영된 이미지의 노이즈가 효과적으로 억제되고, 핸드 헬드 흔들림에 의해 야기된 고스트 현상이 억제되고, 야경 촬영 이미지의 품질이 개선되고, 사용자 경험이 개선된다.
본 발명의 제 8 측면에서는 카메라 모듈의 야경 촬영 처리 장치를 개시하며, 상기 장치는,
야경 촬영 모드에서 카메라 모듈의 현재 흔들림 정도를 검출하는 제 1 검출 모듈;
상기 카메라 모듈의 현재 흔들림 정도에 따라 취득될 이미지의 개수 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도를 결정하는 제 1 결정 모듈;
촬영 장면의 현재 조도 및 상기 각 프레임의 취득될 이미지에 대응하는 기준 감광도에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하는 제 2 결정 모듈;
상기 각 프레임의 취득될 이미지에 대응하는 기준 감광도 및 노출 시간에 따라 멀티 프레임의 이미지를 순차적으로 취득하는 제 1 취득 모듈; 및
상기 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 합성 모듈; 을 포함한다.
본 발명의 실시예에 따른 카메라 모듈의 야경 촬영 처리 장치는, 야경 촬영 모드에서, 카메라 모듈의 현재 흔들림 정도를 검출하며, 현재 흔들림 정도에 따라 취득될 이미지의 개수 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도를 결정한 후, 촬영 장면의 현재 조도 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하며, 각 프레임의 취득될 이미지에 대응하는 기준 감광도 및 노출 시간에 따라 멀티 프레임의 이미지를 순차적으로 취득하며, 멀티 프레임의 취득된 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 카메라 모듈의 현재 흔들림 정도에 따라 취득될 이미지의 개수 및 기준 감광도를 결정하고, 촬영 장면의 현재 조도에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하며, 상이한 노출 시간을 갖는 이미지를 촬영하여 합성함으로써, 야경 촬영 모드에서 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 촬영된 이미지의 노이즈가 효과적으로 억제되고, 핸드 헬드 흔들림에 의해 야기된 고스트 현상이 억제되고, 야경 촬영 이미지의 품질이 개선되고, 사용자 경험이 개선된다.
본 발명의 제 9 측면에서는 카메라 모듈, 메모리, 프로세서, 및 메모리에 저장되어 프로세서에서 실행가능한 컴퓨터 프로그램을 포함하는 전자설비를 개시하며, 상기 프로세서는 상기 카메라 모듈에 연결되고, 상기 컴퓨터 프로그램을 실행할 때, 전술한 실시예에서 설명된 야경 촬영 방법 또는 카메라 모듈 야경 촬영 처리 방법을 구현한다.
본 발명의 제 10 측면에서는 상기 이미지 처리 회로는 이미지 신호처리 ISP 프로세서 및 그래픽 프로세서 (GPU)를 포함하는 이미지 처리 회로를 개시하며,
상기 ISP 프로세서는 상기 카메라 모듈과 연결되어 상기 카메라 모듈의 흔들림 정도에 따라 기준 감도를 조정하며; 촬영 장면의 밝기 정보 및 상기 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 노출 시간을 결정하며; 상기 기준 감광도 및 상기 멀티 프레임의 취득될 이미지의 노출 시간에 따라 이미지를 취득하도록 상기 카메라 모듈을 제어한다.
상기 GPU는 ISP 프로세서에 연결되고, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다.
본 발명의 제 11 측면에서는 저장 매체를 개시하며, 프로세서에 의해 상기 저장 매체 내의 명령어가 실행될 때, 전술한 실시예에서 설명된 야경 촬영 방법 또는 카메라 모듈 야경 촬영 처리 방법을 구현한다.
본 개시에 따른 상기 및/또는 추가적인 양태 및 이점은 첨부된 도면을 참조하면서 실시예를 설명함으로써 명백해지고 용이하게 이해될 것이다. 여기서,
도 1은 본 발명의 실시예에 따른 제 1 야경 촬영 방법의 개략적인 흐름도이다.
도 2는 본 발명의 실시예에 따른 제 2 야경 촬영 방법의 개략적인 흐름도이다.
도 3은 본 발명의 실시예에 따른 제 3 야경 촬영 방법의 개략적인 흐름도이다.
도 4는 본 발명의 실시예에 따른 제 4 야경 촬영 방법의 개략적인 흐름도이다.
도 5는 본 발명의 실시예에 따른 제 5 야경 촬영 방법의 개략적인 흐름도이다.
도 6은 본 발명의 실시예에 따른 제 6 야경 촬영 방법의 개략적인 흐름도이다.
도 7은 본 발명의 실시예에 따른 제 7 야경 촬영 방법의 개략적인 흐름도이다.
도 8은 본 발명의 실시예에 따른 제 8 야경 촬영 방법의 개략적인 흐름도이다.
도 9는 본 발명의 실시예에 따른 제 9 야경 촬영 방법의 개략적인 흐름도이다.
도 10은 본 발명의 실시예에 따른 제 10 야경 촬영 방법의 개략적인 흐름도이다.
도 11은 본 발명의 실시예에 따른 제 11 야경 촬영 방법의 개략적인 흐름도이다.
도 12는 본 발명의 실시예에 따른 제 12 야경 촬영 방법의 개략적인 흐름도이다.
도 13은 본 발명의 실시예에 따른 제 13 야경 촬영 방법의 개략적인 흐름도이다.
도 14는 본 발명의 실시예에 따른 제 14 야경 촬영 방법의 개략적인 흐름도이다.
도 15는 본 발명의 실시예에 따른 야경 촬영 장치의 개략적인 구조도이다.
도 16은 본 발명의 실시예에 따른 다른 야경 촬영 장치의 개략적인 구조도이다.
도 17은 본 발명의 실시예에 따른 또 다른 야경 촬영 장치의 개략적인 구조도이다.
도 18은 본 발명의 실시예에 따른 카메라 모듈의 야경 촬영 처리 방법의 개략적인 흐름도이다.
도 19는 본 발명의 실시예에 따른 카메라 모듈의 야경 촬영 처리 장치의 개략적인 구조도이다.
도 20은 본 발명의 실시예에 따른 전자설비의 개략적인 구조도이다.
도 21은 본 발명의 실시예에 따른 전자설비의 원리를 설명하기 위한 개략도이다.
도 22는 본 발명의 실시예에 따른 이미지 처리 회로의 원리를 설명하기 위한 개략도이다.
도 1은 본 발명의 실시예에 따른 제 1 야경 촬영 방법의 개략적인 흐름도이다.
도 2는 본 발명의 실시예에 따른 제 2 야경 촬영 방법의 개략적인 흐름도이다.
도 3은 본 발명의 실시예에 따른 제 3 야경 촬영 방법의 개략적인 흐름도이다.
도 4는 본 발명의 실시예에 따른 제 4 야경 촬영 방법의 개략적인 흐름도이다.
도 5는 본 발명의 실시예에 따른 제 5 야경 촬영 방법의 개략적인 흐름도이다.
도 6은 본 발명의 실시예에 따른 제 6 야경 촬영 방법의 개략적인 흐름도이다.
도 7은 본 발명의 실시예에 따른 제 7 야경 촬영 방법의 개략적인 흐름도이다.
도 8은 본 발명의 실시예에 따른 제 8 야경 촬영 방법의 개략적인 흐름도이다.
도 9는 본 발명의 실시예에 따른 제 9 야경 촬영 방법의 개략적인 흐름도이다.
도 10은 본 발명의 실시예에 따른 제 10 야경 촬영 방법의 개략적인 흐름도이다.
도 11은 본 발명의 실시예에 따른 제 11 야경 촬영 방법의 개략적인 흐름도이다.
도 12는 본 발명의 실시예에 따른 제 12 야경 촬영 방법의 개략적인 흐름도이다.
도 13은 본 발명의 실시예에 따른 제 13 야경 촬영 방법의 개략적인 흐름도이다.
도 14는 본 발명의 실시예에 따른 제 14 야경 촬영 방법의 개략적인 흐름도이다.
도 15는 본 발명의 실시예에 따른 야경 촬영 장치의 개략적인 구조도이다.
도 16은 본 발명의 실시예에 따른 다른 야경 촬영 장치의 개략적인 구조도이다.
도 17은 본 발명의 실시예에 따른 또 다른 야경 촬영 장치의 개략적인 구조도이다.
도 18은 본 발명의 실시예에 따른 카메라 모듈의 야경 촬영 처리 방법의 개략적인 흐름도이다.
도 19는 본 발명의 실시예에 따른 카메라 모듈의 야경 촬영 처리 장치의 개략적인 구조도이다.
도 20은 본 발명의 실시예에 따른 전자설비의 개략적인 구조도이다.
도 21은 본 발명의 실시예에 따른 전자설비의 원리를 설명하기 위한 개략도이다.
도 22는 본 발명의 실시예에 따른 이미지 처리 회로의 원리를 설명하기 위한 개략도이다.
본 발명의 실시예는 이하에 상세히 설명되며, 그 예는 첨부된 도면에 도시되어 있으며, 동일 또는 유사한 부호는 동일하거나 유사한 구성요소 또는 동일하거나 유사한 기능을 갖는 구성요소를 나타낸다. 첨부된 도면을 참조하여 설명되는 실시예는 예시적인 것이며, 본 발명을 설명하기 위한 것이며, 본 발명을 제한하는 것으로 해석되어서는 안 된다.
관련 기술에 따르면, 비교적 작은 조리개를 갖는 모바일 단말 장치에 있어서, 이미지가 야간 장면에서 촬영될 때, 어두운 광선 때문에 취득될 이미지의 노출 시간을 증가시킴으로써 밝기가 증가되면, 흔들림으로 인한 촬영된 이미지는 스미어 현상이 발생할 수 있으며, 만약 감광도의 값이 이미지를 획득하기 위해 증가되면, 노이즈가 촬영 동안 도입되어, 이미지 화면의 흐려짐을 초래할 수 있다. 따라서, 야간 장면에서 촬영된 이미지는 동적 범위 및 전체 밝기가 낮고, 노이즈 레벨이 높고, 고스트(ghost) 및 퍼지 (fuzzy) 현상이 쉽게 발생하고, 사용자 경험에 영향을 미친다.
상기와 같은 문제점을 해결하기 위해 본 발명의 실시예는 야경 촬영 방법을 개시하며, 카메라 모듈의 흔들림 정도를 획득함으로써, 흔들림 정도에 따라 기준 감광도를 조정하며, 상기 촬영 장면의 밝기 정보 및 기준 감광도에 따라, 멀티 프레임의 취득될 이미지의 노출 시간을 결정하고, 기준 감광도와 상기 멀티 프레임의 취득될 이미지의 노출 시간에 따라 이미지를 취득하고, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 촬영된 멀티 프레임의 이미지는 모두 기준 감광도를 이용하여 이미지 노이즈를 비교적 낮은 수준으로 제어하도록 하면서 기준 감광도의 값은 흔들림 정도를 고려함으로써 촬영 시간이 너무 길지 않게 하고 이미지의 스미어 형상을 방지한다. 당해 방법에 의해 얻어진 멀티 프레임의 이미지는 품질이 높고, 이미지 합성 처리에 대하여, 노이즈가 더 감소될 수 있고, 동적 범위를 넓히게 된다. 야경 촬영에서, 더 나은 촬영 효과가 얻어질 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 야경 촬영 방법, 장치, 전자설비, 및 저장 매체를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 제 1 야경 촬영 방법의 개략적인 흐름도이다.
본 발명의 실시예에 따른 야경 촬영 방법은 카메라 모듈에 적용되고, 상기 카메라 모듈은 각종 운영체제, 촬상 장치를 갖추는 휴대폰, 태블릿 컴퓨터, 개인용 정보 단말기, 웨어러블 디바이스 등의 하드웨어 장치가 될 수 있다.
도 1에 도시된 바와 같이, 상기 야경 촬영 방법은 카메라 모듈에 적용되고, 단계(101) ~ 단계(104)를 포함한다.
단계(101), 카메라 모듈의 흔들림 정도를 획득한다.
본 발명의 실시예에서, 카메라 모듈의 흔들림 정도를 결정하기 위해, 전자설비에 배치된 변위 센서에 따라 변위 정보를 획득할 수 있어 획득된 전자설비의 변위 정보에 따라 카메라 모듈의 흔들림 정도를 결정한다.
당업자는 연속적으로 획득된 미리보기 화면에서 동일한 대상자의 변위 정도에 따라 흔들림 정도를 알 수 있다. 변위가 클수록 흔들림 정도가 커지고, 반대로 변위가 작을수록 흔들림 정도가 작아진다.
예를 들어, 전자설비의 현재 자이로 센서(Gyro-sensor) 정보를 획득함으로써 전자설비의 현재 흔들림 정도, 즉 카메라 모듈의 현재 흔들림 정도를 결정될 수 있다.
여기서, 각속도 센서라고도 하는 자이로 센서는 물리량이 편향, 틸팅될 때의 회전 각속도를 측정할 수 있다. 전자설비에서, 자이로 센서는 회전 및 편향의 동작을 잘 측정할 수 있어서, 사용자의 실제 동작이 정확하게 분석되고 판단될 수 있다. 전자설비의 자이로 센서 정보(gyro 정보)는 3 차원 공간에서 3개의 차원으로 휴대폰의 운동 정보를 포함할 수 있고, 3 차원 공간의 3개의 차원은 각각 X축, Y축, Z축 3개의 방향으로 표현될 수 있으며, 여기서 X축, Y축, 및 Z축은 서로 수직이다.
본 발명의 실시예에 따른 하나의 가능한 구현 형태에서, 카메라 모듈의 현재 흔들림 정도는 전자설비의 현재 gyro 정보에 따라 결정될 수 있다는 점에 유의해야 한다. 3개 방향으로 전자설비의 gyro 운동의 절대값이 클수록, 카메라 모듈의 흔들림 정도가 커진다. 구체적으로, 3개의 방향으로 gyro 운동의 절대값 임계값을 미리 설정할 수 있고, 현재 3개의 방향으로 획득된 gyro 운동의 절대값의 합과 미리 설정된 임계값의 관계에 따라 카메라 모듈의 현재 흔들림 정도를 결정한다.
예를 들어, 미리 설정된 임계값이 제 1 임계값A, 제 2 임계값 B, 제 3 임계값 C이고 A<B<C이며, 현재 3 개의 방향으로 획득된 gyro 운동의 절대값의 합이 S인 것으로 가정한다. S<A인 경우, 카메라 모듈의 현재 흔들림 정도가 “흔들림이 없음”인 것으로 결정되며, A<S<B인 경우, 카메라 모듈의 현재 흔들림 정도가 “약간 흔들림”인 것으로 결정될 수 있으며, B<S<C인 경우, 카메라 모듈의 현재 흔들림 정도가 “작은 흔들림”인 것으로 결정될 수 있으며, S>C인 경우, 카메라 모듈의 현재 흔들림 정도가 “큰 흔들림”인 것으로 결정될 수 있다.
상기 실시예는 단지 예시적인 것이며, 본 발명을 제한하는 것으로 간주되어서는 안된다는 점에 유의해야 한다. 실제 사용에서, 임계값의 수치 및 각 임계값의 구체적인 값은 실제 필요에 따라 미리 설정될 수 있고, gyro 정보와 카메라 모듈의 흔들림 정도 사이의 매핑 관계는 gyro 정보와 각 임계값 사이의 관계에 따라 미리 설정된다.
단계(102), 흔들림 정도에 따라 기준 감광도를 조정한다.
여기서, ISO 값으로도 지칭되는 감광도는 네거티브 필름의 광선에 대한 민감도를 측정하는 지표를 지칭한다. 더 낮은 민감도를 갖는 네거티브 필름에 대해, 더 높은 민감도를 갖는 네거티브 필름과 동일한 이미지 효과를 달성하기 위해 더 긴 노출 시간이 요구된다. 디지털 카메라의 감광도는 필름의 감광도와 유사한 지표이고, 디지털 카메라의 ISO는 감광성 장치의 감광도를 조정하거나 감광핵을 조합함으로써 조정될 수 있으며, 즉, ISO를 향상시키는 목적은 감광성 장치의 감광 속도를 향상시키거나 인접한 감광핵 여러 개를 결합함으로써 달성될 수 있다. 디지털 촬영이나 네거티브 필름 촬영은 노출 시간을 감소시키기 위해, 상대적으로 높은 감광도를 이용할 때 노이즈가 도입되어 이미지 품질을 저하시킨다는 점에 유의해야 한다.
본 발명의 실시예에서, 기준 감광도는 현재 촬영 시 카메라 모듈의 현재 흔들림 정도에 따라 현재 흔들림 정도에 맞게 조정된 가장 낮은 감광도일 수 있다. 예를 들어, 흔들림 정도에 따라 흔들림 정도에 대응하는 기준 감광도가 조정될 때, 현재 기준 감광도와 흔들림 정도가 적절하면, 그 조정의 결과는 기준 감광도가 변경되지 않는다. 이러한 상황은 또한 본 발명의 실시예에서 “조정”의 범위에 속한다.
또한, 가능한 한 응용 상황에서, 카메라 모듈은 복수의 카메라 렌즈로 구성되어, 상이한 카메라 렌즈가 동일한 촬영 환경 하에서 상이한 감광도에 대응할 수 있고, 본 단계에서, 기준 감광도는 복수의 카메라 렌즈 중 하나에 의해 수행되는 촬영 과정에 대하여 조정되며, 당해 촬영 과정에서, 멀티 프레임의 이미지는 모두 동일한 기준 감광도를 적용하여 취득된다.
본 단계에서의 기준 감광도는 이미지 노이즈를 감소시키기 위한 더 낮은 값이다. 보다 낮은 감광도를 갖는 멀티 프레임의 이미지를 동시에 취득하고, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성함으로써, 야경 촬영 이미지의 동적 범위 및 전체 밝기를 향상시킬 수 있을 뿐만 아니라, 감광도의 값을 제어하여 이미지의 노이즈를 효과적으로 억제할 수 있어, 야경 촬영 이미지의 품질을 향상시킬 수 있다.
이미지 취득을 위한 감광도가 전체 촬영 시간에 영향을 미칠 수 있고, 촬영 시간이 너무 길면, 핸드 헬드 촬영 동안 카메라 모듈의 흔들림 정도가 악화될 수 있어, 이미지 품질에 영향을 미칠 수 있다는 것을 이해해야 한다. 따라서, 각 프레임의 취득될 이미지에 대응하는 기준 감광도는 촬영 시간이 적절한 범위 내에서 제어되도록 카메라 모듈의 현재 흔들림 정도에 따라 조정될 수 있다.
구체적으로, 카메라 모듈의 현재 흔들림 정도가 작은 경우, 각 프레임의 취득될 이미지에 대응하는 기준 감광도를 보다 작은 값으로 적절히 줄여 각 프레임 이미지의 노이즈를 효과적으로 억제하면서 취득된 이미지의 품질을 향상시킬 수 있고, 카메라 모듈의 현재 흔들림 정도가 큰 경우, 각 프레임의 취득될 이미지에 대응하는 기준 감광도를 보다 큰 값으로 적절히 높여 촬영 시간을 단축시킬 수 있다.
예를 들어, 카메라 모듈의 현재 흔들림 정도가 “흔들림이 없음”인 것으로 결정되면, 기준 감광도는 보다 작은 값, 예를 들어, 100으로 결정되어 가능한 하나의 높은 품질의 이미지를 얻을 수 있고, 카메라 모듈의 현재 흔들림 정도가 “약간 흔들림”인 것으로 결정되면, 기준 감광도는 보다 큰 값, 예를 들어, 200으로 결정되어 촬영 시간을 감소시킬 수 있고, 카메라 모듈의 현재 흔들림 정도가 “작은 흔들림”인 것으로 결정되면, 기준 감광도는 예를 들어, 220으로 더 증가되어, 촬영 시간을 감소시킬 수 있고, 카메라 모듈의 현재 흔들림 정도가 “큰 흔들림”인 것으로 결정되면, 현재 흔들림 정도가 너무 크다고 판단할 수 있고, 당해 경우에는 기준 감광도는 예를 들어, 250으로 더 증가되어, 촬영 시간을 감소시킬 수 있다.
상기 예들은 단지 예시적인 것이며, 본 발명을 제한하는 것으로 간주되어서는 안된다는 점에 유의해야 한다. 실제 사용에서, 카메라 모듈의 흔들림 정도가 변할 때, 기준 감광도를 조정하여 최적의 방안을 얻을 수 있다. 여기서, 카메라 모듈의 흔들림 정도와 각 프레임의 취득될 이미지에 대응하는 기준 감광도의 매핑 관계는 필요에 따라 미리 설정될 수 있다.
그러나, 본 발명의 실시예에서는 카메라 모듈의 흔들림 정도에 따라 기준 감광도를 조정하는 것에 제한되지 않으며, 기준 감광도는 흔들림 정도 및 촬영 장면의 밝기 정보와 같은 여러 파라미터에 따라 종합적으로 결정될 수 있지만, 이에 한정되지 않는다.
단계(103), 촬영 장면의 밝기 정보와 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 노출 시간을 결정한다.
노출 시간은 광이 카메라 렌즈를 통과하는 시간을 의미한다. 멀티 프레임의 취득될 이미지는 두 프레임 또는 두 프레임 이상이며, 본 발명의 실시예에 한정되지 않는다.
본 발명의 실시예에서, 촬영 장면의 밝기 정보는 카메라 모듈 내의 광 측정 모듈을 이용하여 획득될 수 있고, 또한 미리보기 이미지의 밝기 정보를 통해 획득될 수 있으며 이에 한정되지 않는다. 상기 밝기 정보는 통상으로 촬영 장면의 조도를 밝기 측정 지표로 하며, 당업자는 밝기 측정을 위해 다른 지표를 이용할 수 있고, 모두 본 실시예의 범위 내에 있다는 것을 알 수 있다.
구체적으로, 자동 노출 제어(Auto Exposure Control, AEC) 알고리즘을 이용하여 현재 밝기 정보에 대응하는 노출 양을 결정하고, 촬영 장면의 밝기 정보 및 기준 감광도 두 측면의 정보에 따라 멀티 프레임의 취득될 이미지 중 각 프레임의 취득될 이미지에 대한 노출 시간을 결정한다.
노출 양은 조리개, 노출 시간 및 감광도와 관련된다. 여기서, 조리개, 즉 광 통과 개구로서, 이는 단위 시간 동안 빛이 통과하는 양을 결정한다. 각 프레임의 취득될 이미지에 대응하는 기준 감광도가 동일하고, 조리개의 크기가 동일하면, 촬영 장면의 현재 조도에 대응하는 노출 양이 많을수록, 각 프레임의 취득될 이미지에 대응하는 노출 시간은 더 크다.
단계(104), 기준 감광도 및 멀티 프레임의 취득될 이미지의 노출 시간에 따라 이미지를 취득한다.
본 발명의 실시예에서, 멀티 프레임의 취득될 이미지의 기준 감광도 및 노출 시간을 결정한 후, 카메라 모듈이 각 프레임의 취득될 이미지의 기준 감광도 및 노출 시간에 따라 이미지를 취득하도록 제어되고, 상세한 설명은 생략된다.
멀티 프레임의 이미지가 취득될 때, 이미지 취득은 동일한 기준 감광도에 기초하여 수행되고, 이는 멀티 프레임의 이미지의 노이즈를 감소시키는 것을 도울 뿐만 아니라, 증가된 감광도로 인해 취득된 멀티 프레임의 이미지 노이즈가 증가하는 기술적인 문제는 피하게 됐다.
단계(105), 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다.
본 발명의 실시예에서, 멀티 프레임의 취득될 이미지에 대응하는 기준 감광도 및 노출 시간을 결정한 후, 멀티 프레임의 이미지는 기준 감광도 및 노출 시간에 따라 순차적으로 취득될 수 있고, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 본 발명의 실시예에 따른 야경 촬영 방법에 따르면, 카메라 모듈의 흔들림 정도를 획득하며, 흔들림 정도에 따라 기준 감광도를 조정하며, 촬영 장면의 밝기 정보와 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 노출 시간을 결정하며, 기준 감광도 및 멀티 프레임의 취득될 이미지의 노출 시간에 따라 이미지를 취득하고, 취득된 각 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 멀티 프레임의 취득될 이미지의 기준 감광도와 노출 시간에 따라 이미지를 취득하여 타겟 이미지를 합성하여 생성함으로써, 야경 촬영 이미지의 동적 범위 및 전체 밝기가 개선되고, 이미지의 노이즈가 효과적으로 억제되고, 핸드 헬드 흔들림에 따른 고스트 형상이 억제되고, 야경 촬영 이미지의 품질이 개선되며, 사용자 경험이 개선된다.
도 1의 실시예에 기초하여, 하나의 가능한 상황에서, 상기 단계(102)는 광 측정에 의해 결정된 기준 노출 양 및 각 프레임의 노출 보정 레벨에 따라 각 프레임의 취득될 이미지의 노출 시간을 결정하여 상이한 동적 범위의 이미지를 획득하고 합성된 이미지가 더 높은 동적 범위를 가져 이미지의 전체 밝기 및 품질이 개선된다. 도 2를 참조하면, 도 2는 본 발명의 실시예에 따른 제 2 야경 촬영 방법의 개략적인 흐름도이고, 도 2에 도시된 바와 같이, 단계(102)는 구체적으로 단계(201) ~단계(204)를 포함한다.
단계(201), 촬영 장면의 밝기 정보에 따라 기준 노출 양을 결정한다.
본 발명의 실시예에서, 기준 노출 양은 미리보기 이미지에 대한 광 측정을 수행하여 현재 촬영 장면의 밝기 정보를 획득한 후, 룩업 테이블 등에 의해 결정된 현재 촬영 장면의 밝기 정보에 적응되는 노출의 양을 지칭한다. 기준 노출 양의 값은 기준 감광도 및 기준 노출 시간의 곱일 수 있다.
단계(202), 기준 노출 양 및 기준 감광도에 따라 기준 노출 시간을 결정한다.
본 발명의 실시예에서, 기준 노출 양이 기준 노출 시간 및 기준 감광도를 포함하므로, 카메라 모듈의 흔들림 정도에 따라 기준 감광도를 결정하고, 촬영 장면의 조도에 따라 기준 노출 양을 결정한 후, 기준 노출 시간은 기준 노출 양 및 기준 감광도에 따라 결정된다.
단계(203), 흔들림 정도에 따라 노출 보정 모드를 조정한다.
여기서, 노출 보정 모드는 취득될 이미지의 프레임 수 및 멀티 프레임의 취득될 이미지에 설정된 노출 보정 레벨을 표시하는데 사용된다.
카메라 모듈의 현재 흔들림 정도는 상이하여 취득될 이미지의 개수도 상이하게 결정될 수 있고, 취득될 이미지의 개수가 상이할 때 상이한 노출 보정 모드를 채택할 필요가 있다는 것이 이해되어야 한다. 따라서, 본 발명의 실시예에 따른 하나의 가능한 구현 형태에서, 취득될 이미지의 프레임 수 및 멀티 프레임의 취득될 이미지에 설정된 노출 보정 모드는 카메라 모듈의 흔들림 정도 및 노출 보정 모드 사이의 맵핑 관계를 통해 카메라 모듈의 현재 흔들림 정도에 따라 결정될 수 있다.
예를 들어, “흔들림이 없음”이란 카메라 모듈의 흔들림 정도는, 그에 대응하는 노출 보정 모드의 EV 값 범위가 -6 ~ 2로 설정되고 인접한 EV 값들 사이의 차이 값이 0.5로 설정되며, “약간 흔들림”이란 카메라 모듈의 흔들림 정도는, 그에 대응하는 노출 보정 모드의 EV 값 범위가 -5~1로 설정되고 인접한 EV 값들 사이의 차이 값이 1로 설정된다.
하나의 가능한 구현 형태로서, 카메라 모듈의 흔들림 방지 성능은 먼저 결정되어 카메라 모듈의 흔들림 정도 및 흔들림 방지 성능을 참조하여 노출 보정 모드를 조정하도록 할 수 있다.
카메라 모듈의 흔들림 방지 성능 및 카메라 어셈블리의 컴포넌트들의 속성 정보는 특정 관계를 가지므로, 카메라 모듈의 흔들림 방지 성능은 카메라 어셈블리 내의 컴포넌트들의 속성 정보에 따라 결정될 수 있어, 노출 보정 모드가 카메라 모듈의 흔들림 정도 및 흔들림 방지 성능을 참조하여 조정된다.
예를 들어, 카메라 어셈블리 내의 광학 소자가 광학 안티 쉐이크(optical anti-vibration) 방식으로 배치되면, 미리 설정된 시간 범위를 적절히 확대할 수 있고, 광 안티 쉐이크 기능을 구현할 수 있는 카메라 모듈이 촬영 과정에서 카메라 모듈의 흔들림이 스스로 흔들림을 일부 상쇄할 수 있기 때문에 광학 안티 쉐이크 기능을 구현할 수 없는 카메라 모듈과 비교하여, 동일한 흔들림 하에서 광학 안티 쉐이크 기능을 갖는 카메라 모듈에 의해 취득된 영상에서 고스트 및 퍼지 현상이 적게 나타낸다. 따라서, 미리 설정된 시간 범위, 특히 시간 범위의 상한은 광학 안티 쉐이크를 구현할 수 없는 카메라 모듈보다 더 양호한 품질의 이미지를 획득하기 위해 적절하게 확장될 수 있다.
다른 가능한 구현 형태로서, 각 프레임의 노출 보정 모드는 카메라 모듈의 흔들림 정도 및 카메라 모듈의 취득된 이미지가 얼굴을 포함하는지 여부에 따라 조정될 수 있다. 도 3을 참조하여 상술한 과정을 상세하게 설명하고, 도 3은 본 발명의 실시예에 따른 제 3 야경 촬영 방법의 개략적인 흐름도이다. 도 3에 도시된 바와 같이, 단계(203)는 다음과 같은 하위 단계를 더 포함할 수 있다.
서브 단계(2031), 흔들림 정도에 따라 취득될 이미지의 프레임 수를 조정한다.
취득될 이미지의 프레임 수 및 취득된 이미지의 감광도는 전체 촬영 시간에 영향을 미칠 수 있고, 촬영 시간이 너무 길면, 핸드 헬드 촬영 동안 카메라 모듈의 흔들림 정도는 악화되어 이미지 품질에 영향을 미칠 수 있다는 것이 이해되어야 한다. 즉, 취득될 이미지의 프레임 수는 흔들림 정도에 대하여 역 관계를 갖는다. 따라서, 카메라 모듈의 현재 흔들림 정도에 따라 취득될 이미지의 프레임 수를 조정하여 적절한 범위 내에서 촬영 시간을 조절할 수 있다.
구체적으로, 카메라 모듈의 현재 흔들림 정도가 작은 경우, 보다 많은 프레임의 이미지를 취득할 수 있어, 각 프레임의 이미지의 노이즈를 효과적으로 억제할 수 있고, 카메라 모듈의 현재 흔들림 정도가 큰 경우, 보다 적은 프레임의 이미지를 취득할 수 있어 촬영 시간을 단축시킬 수 있다.
예를 들어, 카메라 모듈의 현재 흔들림 정도가 “흔들림이 없음”인 것으로 결정되면, 현재 가능한 촬영 모드는 삼각대 모드인 것으로 결정될 수 있는데, 이 때 가능한 한 더 높은 품질의 이미지를 획득하도록 더 많은 프레임의 이미지가 취득되고, 예를 들어, 취득될 이미지의 프레임 수는 17 프레임으로 결정되며; 카메라 모듈의 현재 흔들림 정도가 “약간 흔들림”인 것으로 결정되면, 현재 가능한 촬영 모드는 핸드 헬드 모드인 것으로 결정될 수 있는데, 이 때 촬영 시간을 줄이도록 적은 프레임의 이미지가 취득될 수 있고, 예를 들어, 취득될 이미지의 프레임 수는 7 프레임으로 결정되며; 카메라 모듈의 현재 흔들림 정도가 “작은 흔들림”인 것으로 결정되면, 현재 가능한 촬영 모드는 핸드 헬드 모드인 것으로 결정될 수 있는데, 이때 촬영 시간을 줄이도록 더 적은 프레임의 이미지가 취득될 수 있고, 예를 들어, 취득될 이미지의 프레임 수는 5 프레임으로 결정되며; 카메라 모듈의 현재 흔들림 정도가 “큰 흔들림”인 것으로 결정되면, 현재의 흔들림 정도는 과도한 흔들림 정도인 것으로 결정될 수 있는데, 이 때, 촬영 시간을 줄이도록 취득될 이미지의 프레임 수가 더 감소되거나, 또는 멀티 프레임의 이미지 취득 모드가 사용되지 않을 수 있고, 예를 들어, 취득될 이미지의 프레임 수는 5 프레임으로 결정된다.
상기 예들은 단지 예시적인 것이며, 본 발명을 제한하는 것으로 간주되어서는 안된다는 점에 유의해야 한다. 실제 사용시, 카메라 모듈의 흔들림 정도가 변할 때, 취득될 이미지의 프레임 수는 최적의 방식을 얻기 위해 변경될 수 있다. 상기 카메라 모듈의 흔들림 정도 및 취득될 이미지의 프레임 수의 매핑 관계는 필요에 따라 미리 설정될 수 있다.
서브 단계(2032), 카메라 모듈에 의해 취득된 이미지가 얼굴을 포함하는지 여부를 검출한다.
본 발명의 실시예에서, 피사체가 얼굴을 포함하는지 여부는 얼굴 인식 기술에 의해 결정될 수 있다. 얼굴 인식 기술은 얼굴 시각 특징 정보를 비교하여 분석함으로써 신원 인증을 수행하고, 생물학적 특징 인식 기술에 속하며, 생물체(일반적으로 사람)의 생물학적 특징을 통해 생물체 개체를 구별한다. 현재, 얼굴 인식 기술은 디지털 카메라 얼굴 자동 초점 및 스마일 셔터 기술; 기업, 주택의 보안 및 관리; 도어 제어 시스템; 카메라 모니터링 시스템 등과 같은 다양한 영역에 적용되어 왔다. 일상적으로 얼굴 인식 알고리즘은 얼굴 특징-기반 인식 알고리즘(Feature-based recognition algorithms), 전체 얼굴 이미지-기반 인식 알고리즘(Appearance-based recognition algorithms), 템플릿-기반 인식 알고리즘(Template-based recognition algorithms), 신경 네트워크를 사용한 인식 알고리즘(Recognition algorithms using neural network) 등을 포함한다.
카메라 모듈에 의해 현재 취득된 이미지가 얼굴을 포함한다고 검출될 때, 카메라 모듈의 광 측정 모듈은 주로 얼굴 영역의 광을 자동으로 측정하고, 얼굴 영역의 광 측정 결과에 따라 기준 노출 양을 결정한다. 그러나, 야경 모드에서, 얼굴 영역의 조도가 일반적으로 낮으며, 그 결과, 결정된 기준 노출 양은 얼굴이 포함되지 않을 때 결정된 기준 노출 양보다 더 높고, 얼굴이 포함될 때 너무 많은 과다 노출 프레임이 여전히 취득되면, 얼굴 영역이 과 노출되게 하여 타겟 이미지의 나쁜 영향을 초래하게 된다. 따라서, 동일한 흔들림 정도에 대해, 카메라 모듈에 의해 취득된 이미지에 얼굴이 포함될 때에 대응하는 노출 보정 모드는 얼굴이 포함되지 않을 때보다 더 낮은 노출 보정 범위를 가져야 한다.
서브 단계(2033), 얼굴이 포함되면, 노출 보정 모드가 조정된 프레임 수에 맞는 제 1 모드인 것으로 결정한다.
얼굴이 포함되지 않으면, 노출 보정 모드가 조정된 프레임 수에 맞는 제 2 모드인 것으로 결정되는 하위 단계(2034)를 포함한다.
여기서, 제 2 모드에 대응하는 노출 보정 레벨 값 범위는 제 1 모드에 대응하는 노출 보정 레벨 값 범위보다 크다.
본 발명의 실시예에 따른 하나의 가능한 구현 형태에서, 동일한 흔들림 정도인 경우, 카메라 모듈에 의해 현재 취득된 이미지에 얼굴이 포함되는지 여부에 따라 상이한 노출 보정 방법을 이용할 수 있다. 따라서, 동일한 흔들림 정도인 경우, 복수의 노출 보정 모드에 대응할 수 있다. 예를 들어, 카메라 모듈의 흔들림 정도가 “약간 흔들림”인 경우, 이에 대응하는 미리 설정된 노출 보정 모드는 제 1 모드 및 제 2 모드를 포함하는데, 제 1 모드에 대응하는 각각의 EV 값은 [0, 0, 0, 0, -2, -4, -6]이고, 제 2 모드에 대응하는 각각의 EV 값은 [+ 1, + 1, + 1, + 1, 0, -3, -6]이다. 카메라 모듈의 현재 흔들림 정도를 결정하고 카메라 모듈에 의해 현재 취득된 이미지가 얼굴을 포함하는지 여부를 결정한 후, 현재의 실제 상황에 맞는 미리 설정된 노출 보정 모드는 결정될 수 있다.
예를 들어, 카메라 모듈의 현재 흔들림 정도가 “약간 흔들림”인 경우, 이에 대응하는 미리 설정된 노출 보정 모드는 제 1 모드 및 제 2 모드를 포함하는데, 제 1 모드에 대응하는 각각의 EV 값은 [0, 0, 0, 0, -2, -4, -6]이고, 제 2 모드에 대응하는 각각의 EV 값은 [+ 1, + 1, + 1, + 1, 0, -3, -6]이고, 따라서, 제 1 모드의 노출 보정 범위는 제 2 모드의 노출 보정 범위보다 작다. 카메라 모듈에 의해 현재 취득된 이미지가 얼굴을 포함한다고 검출되면, 미리 설정된 노출 보정 모드가 조정된 프레임 수에 맞는 제 1 모드인 것으로 결정되고, 즉, 각각의 EV 값은 [0, 0, 0, 0, -2, -4, -6]이며; 카메라 모듈에 의해 현재 취득된 이미지가 얼굴을 포함하지 않는다고 검출되면, 미리 설정된 노출 보정 모드가 조정된 프레임 수에 맞는 제 2 모드인 것으로 결정되고, 즉, 각각의 EV 값은 [+ 1, + 1, + 1, + 1, 0, -3, -6]이다.
단계(204), 각 프레임의 취득될 이미지의 노출 시간을 획득하도록 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨에 따라 기준 노출 시간을 보정한다.
본 발명의 실시예에서, 노출 보정 레벨을 통해 각 프레임의 취득될 이미지에 상이한 노출 보정 방법이 적용되어 상이한 동적 범위를 갖는 이미지를 획득하기 위해 취득될 이미지가 상이한 노출 양에 대응되도록 한다.
노출 보정 모드는 각 프레임의 취득될 이미지에 대해 각각 미리 설정된 노출 보정 레벨의 조합(Exposure Value, EV)을 의미한다. 노출 양의 초기 정의에 있어서, 노출 양은 특정한 값을 의미하지 않지만, “동일한 노출 양을 제공할 수 있는 카메라의 조리개 및 노출 시간의 모든 조합”을 의미한다. 감광도, 조리개, 및 노출 시간은 카메라의 노출 양을 결정하며, 파라미터의 상이한 조합은 동일한 노출 양을 생성할 수 있다. 노출 보정 레벨은 노출 양을 조정하는 파라미터로서, 일부 이미지가 노출 부족되고, 일부 이미지가 과 노출되고, 일부 이미지가 적정 노출되게 할 수 있다.
EV 값과 감광도, 조리개 및 노출 시간 사이의 관계를 설명하기 위해 특정 데이터를 참조하여 아래에서 설명할 것이다. 예를 들어, 동일한 촬영 장면에서, 감광도가 같은 경우, 1/125초의 노출 시간 및 f11의 조리개의 조합과 1/250초의 노출 시간 및 f8의 셔터의 조합은 동일한 노출 양, 즉, EV 값을 획득할 수 있다. 종래의 카메라에서, EV 값이 0일 때, 즉 감광도가 100이고, 조리개 값이 F1이고, 노출 시간이 1 초일 때 획득된 노출 양을 의미한다. 노출 양이 1 단이 더 추가되며, 즉 노출 시간이 2 배로 되거나, 감광도가 2 배로 되거나, 조리개가 1 단이 더 추가되며, EV 값이 1로 증가되며, 즉, EV1에 대응하는 노출 양은 EV0에 대응하는 노출 양의 2 배이다. 표 1에 나타낸 바와 같이, 노출 시간, 조리개 및 감광도가 개별적으로 변할 때, EV값에 대응하는 관계를 나타낸다.
디지털 카메라에서 EV 값이 0일 때의 노출 양은 촬영 장면에서 주변광을 측정함으로써 얻어질 수 있다.
촬영기술이 디지털시대에 접어들면서 카메라 내부의 광 측정 기능은 이미 매우 강력해졌고, EV는 노출 스케일에 대한 레벨 차이를 나타내기 위해 사용되고, 많은 카메라는 노출 보정을 설정할 수 있게 하며, 일반적으로 EV로 표시한다. 이 경우, EV 는 카메라의 광 측정 데이터에 대응하는 노출 양 및 실제 노출 양의 차이 값을 의미하며, 예를 들어, EV+1의 노출 보정은 카메라의 광 측정 데이터에 대응하는 노출 양에 1단을 추가하며, 즉, 실제 노출 양은 카메라 광 측정 데이터에 대응하는 노출 양의 2배이다.
본 발명의 실시예에서, 노출 보정 모드가 결정된 경우, 결정된 기준 노출 양에 대응하는 EV 값은 0으로 미리 설정될 수 있고, EV+1은 1단의 노출 양을 증가시키는 것을 의미하며, 즉, 노출 양은 기준 노출 양의 2배이고, EV+2는 2단의 노출 양을 증가시키는 것을 의미하며, 즉, 노출 양은 기준 노출 양의 4배이고, EV-1은 1단의 노출 양을 감소시키는 것을 의미하며, 즉, 노출 양은 기준 노출 양의 0.5배이다.
예를 들어, 취득될 이미지의 개수가 7프레임일 경우 노출 보정 모드에 대응하는 EV 값 범위는 [+1, +1, +1, 0, -3, -6]이 될 수 있다. 여기서, 노출 보정 모드는 EV+1의 프레임일 때, 노이즈 문제는 해결될 수 있는데, 밝기가 비교적 높은 프레임을 통해 시간적 노이즈 감소를 수행하여 어두운 부분의 디테일이 개선되면서 노이즈가 억제되며; 노출 보정 모드는 EV-6의 프레임일 때, 하이라이트가 과 노출된 문제가 해결되고, 하이라이트 영역의 디테일을 유지하며; 노출 보정 모드는 EV0 및 EV-3의 프레임일 때, 하이라이트에서 어두운 부분으로의 과도를 유지하는데, 명암 과도의 효과를 유지한다.
노출 보정 모드에 대응하는 각각의 EV 값은 실제 필요에 따라 구체적으로 설정될 수 있거나, 설정된 EV 값 범위에 따라 각각의 EV 값 사이의 차이 값이 동일하다는 원리에 근거하여 구할 수 있으며, 본 발명의 실시예에 제한되지 않는다는 점에 유의해야 한다.
본 발명의 실시예에 따른 하나의 가능한 구현 형태에서, 조리개의 크기는 일정할 수 있고, 각각의 취득될 이미지는 결정된 기준 감광도를 이용하여 취득되기 때문에 카메라 모듈의 현재 흔들림 정도에 따라 현재의 취득될 이미지의 개수를 결정한 후, 현재의 취득될 이미지의 개수에 맞는 미리 설정된 노출 보정 모드 및 기준 노출 시간에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정할 수 있다. 구체적으로, 취득될 이미지에 대응하는 노출 보정 모드가 EV+1이면, 당해 취득될 이미지에 대응하는 노출 시간은 기준 시간의 2배이며; 취득될 이미지에 대응하는 노출 보정 모드가 EV-1이면, 당해 취득될 이미지에 대응하는 노출 시간은 기준 시간의 0.5배이다.
예를 들어, 카메라 모듈의 현재 흔들림 정도에 따라 취득될 이미지의 개수가 7 프레임인 경우, 이에 대응하는 미리 설정된 노출 보정 모드에 대응하는 EV 범위가 [+ 1, + 1, + 1, + 1, 0, -3, -6] 일 수 있고, 기준 노출 양 및 기준 감광도에 따라 기준 노출 시간이 100밀리초인 것으로 결정되면, 각 프레임의 취득될 이미지에 대응하는 노출 시간은 각각 200밀리초, 200밀리초, 200밀리초, 200밀리초, 100밀리초, 12.5밀리초, 6.25밀리초가 각각 될 수 있다.
본 발명의 실시예에 따른 야경 촬영 방법은, 촬영 장면의 밝기 정보에 따라 기준 노출 양을 결정하고, 기준 노출 양 및 기준 감광도에 따라 기준 노출 시간을 결정하고, 카메라 모듈의 흔들림 정도에 따라 노출 보정 모드를 조정하고, 각 프레임의 취득될 이미지의 노출 시간을 획득하도록 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨에 따라 기준 노출 시간을 보정한다. 따라서, 촬영 장면의 밝기 정보에 따라 기준 노출 및 각 프레임의 노출 보정 레벨을 결정하여 각 프레임의 취득될 이미지의 노출 시간을 결정하는데 상이한 노출 시간에 따라 각 프레임의 이미지를 취득할 때, 야경 촬영 모드에서 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 촬영된 이미지의 노이즈가 억제되고, 야경 촬영 이미지의 품질이 개선되며, 사용자 경험이 개선된다.
도 2의 실시예에 기초하여, 다른 가능한 구현 형태로서, 본 발명의 실시예에서, 복수의 야경 모드들은 미리 설정되고, 상이한 야경 모드는 상이한 노출 보정 모드에 대응하는데 도 4를 참조하면, 도 4는 본 발명의 실시예에 따른 제 4 야경 촬영 방법의 개략적인 흐름도이고, 상기 방법은 구체적으로 단계(301) ~ 단계(303)를 포함할 수 있다.
단계(301), 미리보기 화면의 화면 내용에 따라 현재 촬영 장면이 야경 장면에 속한다고 결정한다.
본 발명의 실시예에서, 현재 촬영 장면의 미리보기 화면이 촬상 장치를 통해 획득될 수 있고, 현재 촬영 장면이 야경 장면에 속하는지 여부를 결정하기 위해 사용된다.
구체적으로, 상기 주변 밝기 값은 서로 다른 장면에서 다르기 때문에 미리보기 화면의 내용도 다르고, 현재 촬영 장면의 미리보기 화면의 화면 내용 및 각 영역의 주변 밝기 값에 따라 현재 촬영 장면이 야경 장면에 속하는지 여부를 판단한다.
예를 들어, 미리보기 화면의 화면 내용이 밤 하늘이나 야경 조명 등을 포함하거나, 미리보기 화면의 각 영역에서의 주변 밝기 값이 야경 환경에서의 이미지의 밝기 분포 특성에 맞으면, 현재 촬영 장면은 야경 장면에 속하는 것으로 결정된다.
단계(302), 카메라 모듈의 흔들림 정도 및/또는 미리보기 화면이 얼굴을 포함하는지 여부에 따라, 현재 촬영 장면에 적용된 야경 장면 모드를 식별한다.
본 발명의 실시예에서, 촬영 과정에서 촬상 장치의 변위 정보는 촬상 장치에 배치된 변위 센서를 통해 획득될 수 있고, 그 후 카메라 모듈의 현재 흔들림 정도는 획득된 변위 정보에 따라 결정된다. 따라서, 카메라 모듈의 흔들림 정도에 따라, 사용자가 촬상 장치를 삼각대에 고정해 촬영할지 핸드헬드 모드를 통해 촬영할지 판단할 수 있다. 카메라 모듈의 현재 흔들림 정도에 따라, 현재 촬영 장면에 적합한 야경 모드가 식별된다. 야경 모드는 삼각대 모드 또는 핸드 헬드 모드가 채택된다.
다른 가능한 구현 형태로서, 현재 촬영 장면에 적합한 야경 모드는 촬상 장치의 미리보기 화면이 얼굴을 포함하는지 여부를 결정함으로써 식별될 수 있다.
상기 카메라 모듈의 광 측정 모듈은 미리보기 화면이 얼굴을 포함하는 것으로 검출되면, 얼굴 영역을 주요 부분으로 자동으로 측정하며, 얼굴 영역의 광 측정 결과에 따라 기준 노출 양을 결정하는 점에 유의해야 한다. 그러나, 야경 장면에서, 얼굴 영역의 조도가 일반적으로 낮아서, 얼굴이 포함되지 않을 때 결정된 기준 노출 양보다 결정된 기준 노출 양이 더 높고, 얼굴이 포함될 때 너무 많은 과다 노출 프레임이 여전히 취득되면, 얼굴 영역이 과 노출되게 하여 취득된 이미지의 불량한 이미지 효과를 초래한다. 따라서, 동일한 흔들림 정도에 대해, 얼굴이 포함되지 않을 때와 비교하여, 얼굴이 미리보기 화면에 포함될 때 야경 모드는 상이하다.
단계(303), 야경 모드에 대응하는 노출 보정 모드에 따라, 각 프레임의 취득될 이미지에 미리 설정된 노출 보정 값을 결정한다.
하나의 가능한 구현 형태로서, 카메라 모듈의 흔들림 정도가 상이하고, 현재 촬영 장면에 적용된 야경 모드도 상이하기 때문에 각 프레임의 취득될 이미지에 미리 설정된 노출 보정 값도 상이하다고 결정된다. 본 발명의 실시예에서, 카메라 모듈의 흔들림 정도 및 노출 보정 값 사이의 매핑 관계는 카메라 모듈의 흔들림 정도에 따라 현재 각 프레임의 취득될 이미지에 미리 설정된 노출 보정 값을 결정하도록 미리 설정될 수 있다.
예를 들어, 카메라 모듈의 흔들림 정도가“흔들림이 없음”일 때, 각 프레임의 취득될 이미지에 대응하는 노출 보정 값의 EV 값 범위는 -6 ~ 2 이고, 인접한 EV 값 사이의 차이 값은 0.5 이며; 카메라 모듈의 흔들림 정도가 “약간 흔들림”일 때, 각 프레임의 취득될 이미지에 대응하는 노출 보정 값의 EV 값 범위는 -5~1 이고, 인접한 EV 값 사이의 차이 값은 1이다.
다른 가능한 구현 형태로서, 카메라 모듈의 미리보기 화면이 얼굴을 포함하는지 여부를 검출하고, 미리보기 화면이 얼굴을 포함할 때 및 얼굴을 포함하지 않을 때, 현재 촬영 장면에 적용하는 야경 모드는 상이하며, 그에 의해 결정된 각 프레임의 취득될 이미지에 미리 설정된 노출 보정 값이 상이하다.
또 다른 가능한 구현 형태로서, 동일한 흔들림 정도에 대해, 얼굴이 미리보기 화면에 포함되는지 여부에 따라 각 프레임의 취득될 이미지에 상이한 노출 보정 값이 적용된다고 결정될 수 있다. 따라서, 동일한 흔들림 정도에 대해, 복수의 노출 보정 값이 대응될 수 있다. 예를 들어, 카메라 모듈의 흔들림 정도가 “약간 흔들림”이면, 각 프레임의 취득될 이미지에 미리 설정된 노출 보정 값은 얼굴이 포함된 경우와 얼굴이 포함되지 않은 경우 등 두 가지다.
야경 모드에서, 취득될 이미지가 얼굴을 포함할 때, 얼굴 영역의 조도가 일반적으로 낮아서, 얼굴이 포함되지 않을 때 결정된 기준 노출 양보다 결정된 기준 노출 양이 더 높고, 얼굴이 포함될 때 너무 많은 과다 노출 프레임이 여전히 취득되면, 얼굴 영역이 과 노출되게 하여 취득된 이미지의 불량한 이미지 효과를 초래하며, 그에 대응하는 노출 보정 모드는 보다 낮은 노출 보정 범위를 가져야 한다. 따라서, 동일한 흔들림 정도에 대해, 얼굴이 미리보기 화면에 포함될 때는 얼굴이 포함되지 않을 때와 비교하여, 카메라 모듈의 현재 흔들림 정도 및 미리보기 화면이 얼굴을 포함하는지 여부를 결정한 후, 현재 실제 상황에 맞는 미리 설정된 노출 보정 값을 결정할 수 있다.
본 발명의 실시예에서, 미리보기 화면을 획득하여 미리보기 화면의 화면 내용에 따라 현재 촬영 장면이 야경 장면에 속한다고 결정되며, 촬상 장치의 흔들림 정도 및/또는 미리보기 화면이 얼굴을 포함하는지 여부에 따라, 현재 촬영 장면에 적용된 야경 장면 모드를 식별하며, 야경 모드에 따라, 각 프레임의 취득될 이미지에 미리 설정된 노출 보정 값을 결정한다. 따라서, 촬상 장치의 흔들림 정도 및/또는 미리보기 화면이 얼굴을 포함하는지 여부에 따라, 해당 촬영 장면 하에 대응하는 야경 모드를 결정하며, 각 프레임의 취득될 이미지에 미리 설정된 노출 보정 값을 결정하며, 각 프레임의 취득될 이미지의 노출 시간을 결정하는데 사용하며, 시간 상한에 따라 적어도 1 프레임의 취득될 이미지의 노출 시간을 업데이트하며, 최종적으로, 업데이트된 각 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 노출 제어를 수행하여 이미지를 형성함으로써, 야경 촬영 모드에서 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 촬영된 이미지의 노이즈가 억제되고, 야경 촬영 이미지의 품질이 개선되며, 사용자 경험이 개선된다.
도 1의 실시예에 기초하여, 하나의 가능한 구현 형태로서, 카메라 모듈의 흔들림 정도에 따라 기준 감광도를 결정할 때, 흔들림 정도 및 미리 설정된 흔들림 임계값의 관계를 판단함으로써 각 프레임의 취득될 이미지의 기준 감광도의 감광도 값을 결정하여 촬영된 이미지의 품질이 개선된다. 도 5를 참조하여 상기 과정을 상세하게 설명한다. 도 5는 본 발명의 실시예에 따른 제 5 야경 촬영 방법의 개략적인 흐름도이고, 도 5에 도시된 바와 같이, 단계(102)는 단계(401) ~ 단계(404)를 포함할 수 있다.
단계(401), 카메라 모듈의 흔들림 정도를 결정한다.
구체적으로, 흔들림 정도를 결정하기 위해, 전자설비에 배치된 변위 센서에 따라 변위 정보를 획득할 수 있고, 획득된 전자설비의 변위 정보에 따라 카메라 모듈의 흔들림 정도를 결정한다. 각 프레임의 취득될 이미지에 미리 설정된 감광도가 동일할 때, 카메라 모듈의 흔들림 정도에 따라 각 프레임의 취득될 이미지의 감광도를 결정할 수 있다.
단계(402), 카메라 모듈의 흔들림 정도가 흔들림 임계값보다 크거나 같은지 여부를 판단한다.
본 발명의 실시예에서, 카메라 모듈의 흔들림 정도를 결정한 후, 카메라 모듈의 흔들림 정도가 미리 설정된 흔들림 임계값과 비교되어 흔들림 정도에 따라 기준 감광도의 감광도 값을 결정한다.
단계(403), 흔들림 정도가 흔들림 임계값보다 크거나 같으면, 기준 감광도를 제 1 감광도 값으로 결정한다.
하나의 가능한 상황으로서, 카메라 모듈의 짙어 정도를 결정한 후, 카메라 모듈의 흔들림 정도가 흔들림 임계값보다 크거나 같다고 결정되며, 이때 기준 감광도를 제 1 감광도 값으로 결정한다.
카메라 모듈의 흔들림 정도가 클 때, 기준 감광도를 증가시킴으로써 촬영 시간을 줄일 수 있으며, 예를 들어, 기준 감광도는 800인 것으로 결정된다.
단계(404), 흔들림 정도가 흔들림 임계값보다 작으면, 기준 감광도를 제 2 감광도 값으로 결정한다.
하나의 가능한 상황으로서, 카메라 모듈의 흔들림 정도를 결정한 후, 카메라 모듈의 흔들림 정도가 흔들림 임계값보다 작다고 결정되며, 이 때, 기준 감광도를 제 2 감광도 값으로 결정된다.
제 1 감광도 값은 제 2 감광도 값보다 크고, 제 1 감광도 값은 제 2 감광도 값의 미리 설정된 배수이며, 미리 설정된 배수는 2보다 크거나 같다. 하나의 가능한 구현 형태로서, 더 낮은 노이즈를 획득하기 위해, 제 2 감광도 값은 촬상 장치의 최소 감광도일 수 있는데, 즉, 제 2 감광도 값은 100 ISO 이며, 따라서, 제 1 감광도 값의 범위는 200, 400, 800 또는 그 이상일 수 있다.
카메라 모듈의 흔들림 정도가 작을 때, 더 작은 기준 감광도를 설정함으로써 가능한 한 더 높은 품질의 이미지가 획득될 수 있다는 것이 이해될 것이며, 예를 들어, 기준 감광도는 100으로 결정될 수 있다.
본 발명의 실시예에서, 카메라 모듈의 흔들림 정도를 결정한 후, 흔들림 정도를 흔들림 임계값과 비교하는데 흔들림 정도가 흔들림 임계값보다 크거나 같으면 기준 감광도를 제 1 감광도 값으로 결정하고, 흔들림 정도가 흔들림 임계값보다 작으면 기준 감광도를 제2감광도 값인 것으로 결정한다. 따라서, 메라 모듈의 흔들림 정도를 통해 기준 감광도의 감광도 값을 결정하며 감광도 값에 따라 노출 시간을 결정함으로써 야경 촬영 모드에서 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 촬영된 이미지의 노이즈가 억제되고, 야경 촬영 이미지의 품질이 개선되며, 사용자 경험이 개선된다.
도 1의 실시예에 기초하여, 하나의 가능한 구현 형태로서, 기준 감광도에 따라 촬영 장면의 조도에서 각 프레임의 취득될 이미지에 필요한 노출 시간을 결정하는 단계 (102) 를 수행한 후, 결정된 노출 시간을 카메라 모듈의 흔들림 정도에 따라 결정된 시간의 상한과 비교하여, 노출 시간이 시간 상한보다 큰 취득될 이미지의 노출 시간을 감소시키고, 노출 시간이 너무 길 때 야기된 과 노출에 의해 야기된 이미지 왜곡, 흔들림에 의해 화면이 흐릿하게 되는 것, 촬영 시간이 너무 긴 상황을 방지한다. 도 6을 참조하여 상기 과정을 상세하게 설명하고, 도 6은 본 발명의 실시예에 따른 제 6 야경 촬영 방법의 개략적인 흐름도이고, 도 6에 도시된 바와 같이, 단계(103) 후에 단계(501) ~ 단계(504)를 더 포함할 수 있다.
단계(501), 카메라 모듈의 흔들림 정도에 따라 시간 상한을 결정한다.
하나의 가능한 상황으로서, 흔들림 정도를 결정하기 위해, 촬상 장치에 배치된 변위 센서에 따라 변위 정보를 획득될 수 있어, 획득된 촬상 장치의 변위 정보에 따라 카메라 모듈의 흔들림 정도를 결정한다. 또한, 결정된 카메라 모듈의 흔들림 정도를 미리 설정된 흔들림 임계값과 비교하여 노출 시간의 상한을 결정한다.
하나의 가능한 상황으로서, 카메라 모듈의 흔들림 정도가 흔들림 임계치보다 크거나 같을 때, 현재 촬영 장면에서의 각 프레임의 취득될 이미지의 노출 시간의 상한은 제 1 시간인 것으로 결정된다. 여기서, 흔들림 임계값은 미리 설정된 감광도 값을 결정하기 위해 촬상 장치에 미리 설정된 흔들림 값이다.
카메라 모듈의 흔들림 정도가 클 때, 긴 노출 시간이 설정되면, 전체 촬영 시간이 길어지고, 촬상 장치의 흔들림 정도가 악화되어서, 최종적으로 촬영된 이미지에서 흔들림에 의해 야기된 고스트 및 퍼지 현상이 발생할 수 있다는 것이 이해되어야 한다. 따라서, 카메라 모듈의 흔들림 정도가 클 때, 촬영된 이미지에서 고스트 또는 퍼지 현상이 방지하기 위해 짧은 노출 시간이 설정될 수 있다.
다른 가능한 상황으로서, 촬상 장치의 흔들림 정도가 흔들림 임계치보다 작을 때, 현재 촬영 장면에서 각 프레임의 취득될 이미지의 노출 시간의 상한은 제 2 시간인 것으로 결정된다.
카메라 모듈의 흔들림 정도가 작을 때, 긴 노출 시간을 통해 높은 품질의 이미지를 촬영할 수 있다는 것이 이해되어야 한다.
여기서, 제 1 시간은 제 2 시간보다 작고, 제 1 시간의 값 범위는 150ms 내지 300ms이고; 제 2 시간의 값 범위는 4.5초 내지 5.5초이다.
단계(502), 각 프레임의 취득될 이미지의 노출 시간을 설정된 시간의 상한과 비교한다.
본 발명의 실시예에서, 각 프레임의 취득될 이미지의 노출 시간은 카메라 모듈에 의해 결정된 기준 감광도에 따라 결정되고, 구체적인 구현 과정은 전술한 실시예의 단계(102)를 참조하고 여기서 생략된다.
기준 감광도에 따라 촬영 장면의 조도 하에서 각 프레임의 취득될 이미지에 필요한 노출시간을 결정한 후에, 각 프레임의 취득될 이미지에 필요한 노출시간을 설정된 시간 상한과 비교하여, 노출 시간이 너무 길 때 야기된 과 노출로 인한 이미지 왜곡을 방지한다.
단계(503), 취득될 이미지에는 시간 상한보다 큰 노출 시간을 가지는 제 1 이미지가 존재하면, 제 1 이미지의 노출 시간을 시간 상한으로 감소시킨다.
구체적으로, 취득될 이미지에 시간 상한보다 큰 노출 시간을 가지는 제 1 이미지가 존재하면, 전체 촬영 시간이 길어지고, 촬상 장치의 흔들림 정도가 악화되어서, 최종적으로 촬영된 이미지에서 흔들림에 의해 야기된 고스트 및 퍼지 현상이 발생할 수 다.
따라서, 각 프레임의 취득될 이미지의 노출 시간을 결정된 후, 노출 시간을 미리 설정된 시간 상한과 비교하여 각 프레임의 취득될 이미지에 대응하는 노출 시간이 모두 상한 사간보다 큰지 여부를 판단한다.
하나의 가능한 상황으로서, 카메라 모듈의 흔들림 정도가 흔들림 임계치보다 크거나 같을 때, 취득될 이미지에서의 결정된 노출 시간은 제 1 시간 상한과 비교되고, 취득될 이미지에는 제 1 시간 상한보다 큰 노출 시간을 가지는 제 1 이미지가 존재하면, 제 1 이미지의 노출 시간을 시간 상한으로 감소시킨다. 여기서, 제 1 시간 상한은 300ms이다.
예를 들어, 어느 한 프레임의 취득될 이미지의 노출 시간이 350ms인 경우, 해당 프레임의 이미지의 노출 시간이 제 1 시간 상한보다 커서 해당 프레임의 이미지의 노출 시간을 감소시키고 해당 프레임의 취득될 이미지의 노출 시간을 300ms로 설정한다.
하나의 가능한 상황으로서, 카메라 모듈의 흔들림 정도가 흔들림 임계값보다 작은 경우, 취득될 이미지에서의 결정된 노출 시간은 제 2 시간 상한과 비교되고, 취득될 이미지에는 제 2 시간 상한보다 큰 노출 시간을 가지는 제 1 이미지가 존재하면, 제 1 이미지의 노출 시간을 제 2 시간 상한, 즉, 5.5S로 설정한다.
예를 들어, 어느 한 프레임의 취득될 이미지의 노출 시간이 6s인 경우, 해당 프레임의 이미지의 노출 시간이 제 2 시간 상한보다 커서 해당 프레임의 이미지의 노출 시간을 감소시키고 해당 프레임의 취득될 이미지의 노출 시간을 5.5S로 설정한다.
단계(504), 감소 전의 제 1 이미지 노출 시간과 감소 후의 제 1 이미지 노출 시간의 비율에 따라 제 1 이미지의 감광도를 증가시킨다.
구체적으로, 노출 양이 감광도 및 노출 시간의 곱이기 때문에, 제 1 이미지의 노출 양이 결정될 때, 감소 전의 제 1 이미지 노출 시간과 감소 후의 제 1 이미지 노출 시간의 비율에 따라 제 1 이미지의 감광도를 증가시켜 촬영 이미지의 밝기를 유지한다.
예를 들어, 현재 촬영 장면의 밝기 정보에 따라, 노출 보정 레벨이 EV0일 때 노출 시간 및 기준 노출 양은 각각 2 s 및 100ISO인 것으로 결정된다. 취득될 이미지의 노출 보정 레벨이 EV+2일 때, 노출 시간 및 감광도는 각각 8s 및 100ISO이고, 노출 시간이 8s일 때 5s인 상한보다 커서, EV+2의 노출 시간은 5s, ISO값은 8/5*100ISO, 즉 160ISO로 결정한다. 따라서, 해당 프레임의 취득될 이미지의 노출 시간을 업데이트하여 노출 양이 확보되면서 이미지 밝기가 개선되고, 너무 긴 노출 시간에 의해 야기된 과노출로 인한 이미지 왜곡을 방지한다.
본 발명의 실시예에서, 카메라 모듈의 흔들림 정도에 따라 시간 상한을 결정하며, 각 프레임의 취득될 이미지의 노출 시간을 설정된 시간의 상한과 비교하며, 취득될 이미지에는 시간 상한보다 큰 노출 시간을 가지는 제 1 이미지가 존재하면, 제 1 이미지의 노출 시간을 시간 상한으로 감소시키며, 감소 전의 제 1 이미지 노출 시간과 감소 후의 제 1 이미지 노출 시간의 비율에 따라 제 1 이미지의 감광도를 증가시킨다. 따라서, 취득될 이미지의 노출 시간이 시간 상한보다 큰 이미지의 노출 시간을 시간 상한으로 감소시킴으로써 노출 시간이 너무 길면 전체 촬영 시간이 길어지고, 카메라 모듈의 흔들림 정도가 악화되어, 최종적으로 촬영된 이미지에서 흔들림에 의해 야기된 고스트 및 퍼지 현상이 발생하는 것을 방지한다.
도 1의 실시예에 기초하여, 또 다른 가능한 형태에서, 기준 감광도에 따라 촬영 장면의 조도에서 각 프레임의 취득될 이미지에 필요한 노출 시간을 결정한 후, 결정된 노출 시간을 카메라 모듈의 흔들림 정도에 따라 결정된 시간의 하한과 비교하여, 노출 시간 하한에 따라 시간 하한보다 작은 노출 시간을 조정한다. 도 7을 참조하여 상기 과정을 상세하게 설명하고, 도 7은 본 발명의 실시예에 따른 제 7 야경 촬영 방법의 개략적인 흐름도이고, 도 7에 도시된 바와 같이, 단계(103) 후에 단계(601) ~단계(606)를 더 포함한다.
단계(601), 각 프레임의 취득될 이미지의 노출 시간을 설정된 시간의 하한과 비교한다.
본 발명의 실시예에서, 각 프레임의 취득될 이미지의 노출 시간은 카메라 모듈에 의해 결정된 기준 감광도에 따라 결정되고, 구체적인 구현 과정은 전술한 실시예의 단계(102)를 참조하고 여기서 생략된다.
기준 감광도에 따라 촬영 장면의 조도 하에서 각 프레임의 취득될 이미지에 필요한 노출 시간을 결정한 후에, 각 프레임의 취득될 이미지의 노출시간을 설정된 시간 하한과 비교하여, 시간 하한에 따라 시간 하한보다 작은 노출 시간을 조정한다. 여기서, 시간 하한은 10ms보다 크거나 같다.
노출 시간 하한은 또한 카메라 모듈의 흔들림 정도에 따라 결정되고, 수치적인 구현 과정은 전술한 실시예에서의 단계(501)의 구현 과정을 참조하며, 여기서 생략된다.
단계(602), 취득될 이미지에는 시간 하한보다 작은 노출 시간을 가지는 제 2 이미지가 존재하면, 제 2 이미지의 노출 시간을 시간 하한으로 증가시킨다.
본 발명의 실시예에서, 취득될 이미지에 대응하는 노출 시간이 시간 하한보다 작은 노출 시간을 가지는 이미지가 존재하면, 이미지에서의 노이즈는 너무 커서, 제거되기 어렵다. 따라서, 어느 한 프레임의 취득될 이미지에 대응하는 노출 시간이 시간 하한보다 짧으면, 해당 프레임의 취득될 이미지에 대응하는 노출 시간을 시간 하한으로 증가한다.
단계(603), 증가 후의 제 2 이미지 노출 시간과 증가 전의 제 2 이미지 노출 시간의 비율을 결정한다.
예를 들어, 미리 설정된 시간 하한이 10ms이고, 증가 전의 제 2 이미지 노출 시간이 8ms이고, 제 2 이미지의 노출 시간이 10ms인 미리 설정된 시간 하한으로 증가되면, 증가 이후의 제 2 이미지 노출 시간과 증가 전의 노출 시간의 비율은 10/8이다.
단계(604), 나머지 각 프레임의 취득될 이미지에는 시간 상한보다 큰 노출 시간을 가지는 제 1 이미지가 존재하면, 시간 상한에 따라 제 1 이미지의 노출 시간을 감소시킨다.
본 발명의 실시예에서, 취득될 이미지에는 노출 시간이 시간 하한보다 작은 노출 시간을 가지는 제 2 이미지가 존재하고, 동시에 나머지 각 프레임의 취득될 이미지에는 시간 상한보다 큰 노출 시간을 가지는 제 1 이미지가 존재하는 것을 결정하면, 제 1 이미지의 노출 시간을 시간 상한으로 감소시킬 수 있다. 구체적인 구현 과정은 전술한 실시예에서의 단계(503)의 구현 과정을 참조하며, 여기서 생략된다.
단계(605), 감소 전의 제 1 이미지 노출 시간과 감소 후의 제 1 이미지 노출 시간의 비율에 따라 제 1 이미지의 감광도를 증가시킨다.
본 발명의 실시예에서, 단계(605)의 구현 과정은 전술한 실시예에서의 단계(504)의 구현 과정을 참조하며, 여기서 생략된다.
단계(606), 시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 비율에 따라 나머지 각 프레임의 취득될 이미지의 감광도 또는 노출 시간을 업데이트한다.
구체적으로, 시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 시간 하한보다 작은 취득될 이미지의 업데이트 이후의 노출 시간과 업데이트 이전의 노출 시간의 비율을 결정한 후에, 그 비율과 나머지 각 프레임의 취득될 이미지의 업데이트 이전의 감광도 또는 노출 시간의 곱을 나머지 각 프레임의 취득될 이미지의 업데이트 이후의 감광도 또는 노출 시간으로 한다.
예를 들어, 시간 하한보다 크거나 같은 노출 시간을 가지는 취득될 이미지는 4 프레임이면, 카메라 모듈의 흔들림 정도에 따라 각 프레임에 미리 설정된 감광도 값은 무도 100ISO로 결정되고, 4 프레임의 취득될 이미지의 노출 시간은 각각 100ms, 200ms, 400ms, 및 800ms이다. 시간 하한보다 작은 취득될 이미지의 업데이트 이후의 노출 시간과 업데이트 이전의 노출 시간의 비율이 10ms/1.5ms, 즉 20/3으로 인해 당해 4 프레임의 취득될 이미지의 노출 시간은 원래의 100ms, 200ms, 400ms, 및 800ms의 20/3 배로 확대되는 것으로 결정된다
감광도의 업데이트 방식은 노출 시간의 업데이트 방식과 유사하며, 노출 시간을 감광도로 대체하면 되지만, 시간 하한보다 작은 취득될 이미지의 업데이트 이후의 노출 시간과 업데이트 이전의 노출 시간의 비율에 따라 노출 시간 및 감광도 중 하나만을 업데이트할 수 있으며, 노출 시간 및 감광도가 동시에 업데이트될 필요가 있는 경우, 그 비율을 가중치에 따라 분배하고 업데이트되어야 한다. 예를 들어, 노출 시간 및 감광도는 가중치의 각각 절반이고, 전술한 시간 하한보다 작은 취득될 이미지의 업데이트 이후의 노출 시간과 업데이트 이전의 노출 시간의 비율이 R이면, 노출 시간은 원래의 R/2 배로 증가되고, 감광도는 원래의 R/2 배로 증가된다.
본 발명의 실시예에서, 기준 감광도에 따라 촬영 장면의 조도에서 각 프레임의 취득될 이미지에 필요한 노출 시간을 결정한 후, 각 프레임의 취득될 이미지의 노출 시간을 설정된 시간의 하한과 비교하는데, 취득될 이미지에는 시간 하한보다 작은 노출 시간을 가지는 제 2 이미지가 존재하면, 제 2 이미지의 노출 시간을 시간 하한으로 증가시키며, 증가 후의 제 2 이미지 노출 시간과 증가 전의 제 2 이미지 노출 시간의 비율을 결정하며, 시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 비율에 따라 나머지 각 프레임의 취득될 이미지의 감광도 또는 노출 시간을 업데이트한다. 따라서, 각 프레임의 취득될 이미지의 노출 시간을 결정하여 노출 시간 하한 및 상한에 따라 각 프레임의 취득될 이미지의 감광도 및 노출 시간을 업데이트하여 업데이트된 각 프레임의 취득될 이미지의 감광도 및 노출 시간에 따라 노출 제어를 수행하여 이미지를 형성함으로써, 야경 촬영 모드에서 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 촬영된 이미지의 노이즈가 억제되고, 야경 촬영 이미지의 품질이 개선되며, 사용자 경험이 개선된다.
본 발명의 실시예의 다른 가능한 구현 형태로서, 야경 촬영 동안, 카메라 모듈의 흔들림 정도에 따라 노출 시간을 조정할 수도 있고, 그 후, 노출 시간에 따라 멀티 프레임의 취득될 이미지의 감광도를 결정하여 멀티 프레임의 취득될 이미지의 감광도 및 노출 시간에 따라 이미지를 취득한다. 도 1에 따른 기준 감광도에 기초하여 노출 시간을 조정하는 구현 형태와 달리, 노출 시간에 기초하여 감광도를 조정하는 것은, 또한 흔들림 정도를 참조하여 감광도를 낮은 레벨에서 제어될 수 있다. 도 8을 참조하여 상기 과정을 상세하게 설명하고, 도 8은 본 발명의 실시예에 따른 제 8 야경 촬영 방법의 개략적인 흐름도이다.
도 8에 도시된 바와 같이, 당해 방법은 단계(701) ~단계(705)를 포함한다.
단계(701), 카메라 모듈의 흔들림 정도를 획득한다.
본 발명의 실시예에서, 단계(701)의 구현 과정은 전술한 실시예에서의 단계(101)의 구현 과정을 참조하며, 여기서 생략된다.
단계(702), 흔들림 정도에 따라 기준 감광도를 조정한다.
여기서, 노출 시간은 광이 카메라 렌즈를 통과하는 시간을 의미한다.
본 발명의 실시예에서, 전자설비가 카메라 모듈의 흔들림 정도를 획득한 후, 노출 시간은 카메라 모듈의 흔들림 정도에 따라 조정될 수 있다.
하나의 가능한 상황으로서, 카메라 모듈의 흔들림 정도가 클 때, 긴 노출 시간이 설정되면, 전체 촬영 시간이 길어지고, 촬상 장치의 흔들림 정도가 악화되어서, 최종적으로 촬영된 이미지에서 흔들림에 의해 야기된 고스트 및 퍼지 현상이 발생할 수 있다. 따라서, 카메라 모듈의 흔들림 정도가 클 때, 촬영된 이미지에서 고스트 또는 퍼지 현상이 방지하기 위해 짧은 노출 시간이 설정될 수 있다.
다른 가능한 상황으로서, 카메라 모듈의 흔들림 정도가 작을 때, 긴 노출 시간이 설정됨으로써 촬영과정에서 더 많은 이미지 정보를 획득하여 높은 품질의 이미지를 촬영할 수 있다.
단계(703), 촬영 장면의 밝기 정보 및 노출 시간에 따라, 멀티 프레임의 취득될 이미지의 감광도를 결정한다.
본 발명의 실시예에서, 촬영 장면의 밝기 정보는 카메라 모듈 내의 광 측정 모듈을 이용하여 획득될 수 있고, 또한 촬영 장면의 조도가 될 수 있고, 또는 미리보기 이미지의 밝기 정보를 통해 획득될 수 있으며 이에 한정되지 않는다.
구체적으로, 노출 양은 조리개, 노출 시간 및 감광도와 관련된다. 여기서, 조리개, 즉 광 통과 개구로서, 이는 단위 시간 동안 빛이 통과하는 양을 결정한다. 멀티 프레임의 취득될 이미지의 노출 시간이 결정된 후, 조리개의 크기가 동일하면, 현재 촬영 장면의 밝기 정보에 따라 각 프레임의 취득될 이미지에 대응하는 노출 양을 결정한 후, 각 프레임의 취득될 이미지의 노출 시간에 따라 각 프레임의 취득될 이미지의 감광도를 결정할 수 있다.
단계(704), 멀티 프레임의 취득될 이미지의 감광도 및 노출 시간에 따라 이미지를 취득한다.
본 발명의 실시예에서, 멀티 프레임의 취득될 이미지의 감광도 및 노출 시간을 결정한 후, 카메라 모듈이 각 프레임의 취득될 이미지의 감광도 및 노출 시간에 따라 이미지를 취득하도록 제어되며, 상세한 설명은 생략된다.
노출 시간을 통해 멀티 프레임의 취득될 이미지의 감광도가 낮은 값으로 제한되면, 멀티 프레임의 이미지의 노이즈를 감소시키고, 감광도의 증가로 인해 취득된 멀티 프레임의 이미지의 노이즈가 증가되는 기술적 문제가 회피된다.
단계(705), 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다.
본 발명의 실시예에서, 단계(705)의 구현 과정은 전술한 실시예에서의 단계(105)의 구현 과정을 참조하며, 여기서 생략된다.
본 발명의 실시예에 따른 야경 촬영 방법은 카메라 모듈의 흔들림 정도를 획득함으로써, 흔들림 정도에 따라 기준 감광도를 조정하며, 촬영 장면의 밝기 정보 및 노출 시간에 따라, 멀티 프레임의 취득될 이미지의 감광도를 결정하며, 멀티 프레임의 취득될 이미지의 감광도 및 노출 시간에 따라 이미지를 취득하며, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 노출 시간을 결정한 후, 촬영 장면의 밝기 정보 및 노출 시간에 따라, 멀티 프레임의 취득될 이미지의 감광도를 결정하여 타겟 이미지를 합성하여 생성하도록 멀티 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득함으로써 야경 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 이미지의 노이즈가 억제되고, 핸드 헬드 흔들림에 의해 야기된 고스트 현상이 억제되고, 야경 촬영 이미지의 품질이 개선되고, 사용자 경험이 개선된다.
도 8의 실시예에 기초하여, 하나의 가능한 상황에서, 상기 단계(702)는 흔들림 정도에 기초하여 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨 및 각 노출 보정 레벨에 대응하는 노출 시간을 결정하여 각 프레임의 취득될 이미지의 노출 시간을 결정하여 상이한 동적 범위의 이미지를 획득하고 합성된 이미지가 더 높은 동적 범위를 가져 이미지의 전체 밝기 및 품질이 개선된다. 도 9를 참조하여 상기 과정을 상세하게 설명하고, 도 9는 본 발명의 실시예에 따른 제 9 야경 촬영 방법의 개략적인 흐름도이고, 도 9에 도시된 바와 같이, 단계(702)는 구체적으로 단계(801) ~단계(803)를 더 포함할 수 있다.
단계(801), 흔들림 정도에 따라 각 노출 보정 레벨에 대응하는 노출 시간을 결정한다.
여기서, 노출 보정은 노출을 제어하기 위한 방식으로, 전자설비가 피사체에 대한 광 측정을 수행하여 얻어진 셔터 및 조리개 조합의 파라미터를 통해, 노출 보정을 이용하여 이번 광 측정에 의해 획득된 셔터 속도가 인위적으로 변경된다. 노출 보정 레벨은 높은 보정 레벨, 높은 보정 레벨보다 작은 낮은 보정 레벨, 및 높은 보정 레벨과 낮은 보정 레벨 사이의 중간 레벨을 포함한다 .
본 발명의 실시예에서, 카메라 모듈의 현재 흔들림 정도는 상이하고, 멀티 프레임의 취득될 이미지에 대응하는 노출 보정 레벨은 상이하고, 상이한 노출 보정 레벨에 대응하는 노출 시간은 상이하다. 따라서, 흔들림 정도에 따라 각 노출 보정 레벨에 대응하는 노출 시간을 결정하여 각 노출 보정 레벨 및 노출 시간 사이의 대응관계를 구축할 수 있다.
예를 들어, “흔들림이 없음”이란 카메라 모듈의 흔들림 정도는, 그에 대응하는 노출 보정 레벨의 EV 값 범위가 -6~2로 설정되고 인접한 EV 값들 사이의 차이 값이 0.5로 설정되면서 긴 노출 시간이 설정될 수 있으며; “약간 흔들림”이란 카메라 모듈의 흔들림 정도는, 그에 대응하는 노출 보정 레벨의 EV 값 범위가 -5~1로 설정되고 인접한 EV 값들 사이의 차이 값이 1로 설정되면서 짧은 노출 시간이 설정될 수 있다.
단계(802), 흔들림 정도에 따라 노출 보정 모드를 조정한다.
여기서, 노출 보정 모드는 취득될 이미지의 프레임 수 및 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨을 표시하는데 사용된다.
카메라 모듈의 현재 흔들림 정도는 상이하여 취득될 이미지의 개수도 상이하게 결정될 수 있고, 취득될 이미지의 개수가 상이할 때 상이한 노출 보정 모드를 채택할 필요가 있다는 것이 이해되어야 한다. 따라서, 본 발명의 실시예에 따른 하나의 가능한 구현 형태에서, 취득될 이미지의 프레임 수 및 각 프레임의 취득될 이미지에 설정된 노출 보정 모드는 카메라 모듈의 흔들림 정도 및 노출 보정 모드 사이의 매핑 관계를 구축하여 카메라 모듈의 현재 흔들림 정도에 따라 결정될 수 있다.
예를 들어, “흔들림이 없음”이란 카메라 모듈의 흔들림 정도는, 그에 대응하는 노출 보정 모드의 EV 값 범위가 -6 ~ 2로 설정되고 인접한 EV 값들 사이의 차이 값이 0.5로 설정되며, “약간 흔들림”이란 카메라 모듈의 흔들림 정도는, 그에 대응하는 노출 보정 모드의 EV 값 범위가 -5 ~ 1로 설정되고 인접한 EV 값들 사이의 차이 값이 1로 설정된다.
하나의 가능한 구현 형태로서, 카메라 모듈의 흔들림 방지 성능은 먼저 결정되어 카메라 모듈의 흔들림 정도 및 흔들림 방지 성능을 참조하여 노출 보정 모드를 조정하도록 할 수 있다.
카메라 모듈의 흔들림 방지 성능 및 카메라 어셈블리의 컴포넌트들의 속성 정보는 특정 관계를 가지므로, 카메라 모듈의 흔들림 방지 성능은 카메라 어셈블리 내의 컴포넌트들의 속성 정보에 따라 결정될 수 있어, 노출 보정 모드가 카메라 모듈의 흔들림 정도 및 흔들림 방지 성능을 참조하여 조정된다.
예를 들어, 카메라 어셈블리 내의 광학 소자가 광학 안티 쉐이크(optical anti-vibration) 방식으로 배치되면, 미리 설정된 시간 범위를 적절히 확대할 수 있고, 광 안티 쉐이크 기능을 구현할 수 있는 카메라 모듈이 촬영 과정에서 카메라 모듈의 흔들림이 스스로 흔들림을 일부 상쇄할 수 있기 때문에 광학 안티 쉐이크 기능을 구현할 수 없는 카메라 모듈과 비교하여, 동일한 흔들림 하에서 광학 안티 쉐이크 기능을 갖는 카메라 모듈에 의해 취득된 영상에서 고스트 및 퍼지 현상이 적게 나타낸다. 따라서, 미리 설정된 시간 범위, 특히 시간 범위의 상한은 광학 안티 쉐이크를 구현할 수 없는 카메라 모듈보다 더 양호한 품질의 이미지를 획득하기 위해 적절하게 확장될 수 있다.
다른 가능한 구현 형태로서, 카메라 모듈의 흔들림 정도에 따라 취득될 이미지의 프레임 수를 조정하고, 카메라 모듈에 의해 취득된 이미지가 얼굴을 포함하는지 여부를 검출하여 각 프레임의 노출 보정 모드를 조정할 수 있다.
취득될 이미지의 프레임 수 및 취득된 이미지의 감광도는 전체 촬영 시간에 영향을 미칠 수 있고, 촬영 시간이 너무 길면, 핸드 헬드 촬영 동안 카메라 모듈의 흔들림 정도는 악화되어 이미지 품질에 영향을 미칠 수 있다는 것이 이해되어야 한다. 즉, 취득될 이미지의 프레임 수는 흔들림 정도에 대하여 역 관계를 갖는다. 따라서, 카메라 모듈의 현재 흔들림 정도에 따라 취득될 이미지의 프레임 수를 조정하여 적절한 범위 내에서 촬영 시간을 조절할 수 있다.
구체적으로, 카메라 모듈의 현재 흔들림 정도가 작은 경우, 보다 많은 프레임의 이미지를 취득할 수 있어, 각 프레임의 이미지 노이즈를 효과적으로 억제할 수 있고, 촬영된 이미지의 품질이 개선되며; 카메라 모듈의 현재 흔들림 정도가 큰 경우, 보다 적은 프레임의 이미지를 취득할 수 있어 촬영 시간을 단축시킨다.
예를 들어, 카메라 모듈의 현재 흔들림 정도가 “흔들림이 없음”인 것으로 결정되면, 현재 가능한 촬영 모드는 삼각대 모드인 것으로 결정될 수 있는데, 이 때 가능한 한 더 높은 품질의 이미지를 획득하도록 더 많은 프레임의 이미지가 취득되고, 예를 들어, 취득될 이미지의 프레임 수는 17 프레임으로 결정되며; 카메라 모듈의 현재 흔들림 정도가 “약간 흔들림”인 것으로 결정되면, 현재 가능한 촬영 모드는 핸드 헬드 모드인 것으로 결정될 수 있는데, 이 때 촬영 시간을 줄이도록 적은 프레임의 이미지가 취득될 수 있고, 예를 들어, 취득될 이미지의 프레임 수는 7 프레임으로 결정되며; 카메라 모듈의 현재 흔들림 정도가 “작은 흔들림”인 것으로 결정되면, 현재 가능한 촬영 모드는 핸드 헬드 모드인 것으로 결정될 수 있는데, 이때 촬영 시간을 줄이도록 더 적은 프레임의 이미지가 취득될 수 있고, 예를 들어, 취득될 이미지의 프레임 수는 5 프레임으로 결정되며; 카메라 모듈의 현재 흔들림 정도가 “큰 흔들림”인 것으로 결정되면, 현재의 흔들림 정도는 과도한 흔들림 정도인 것으로 결정될 수 있는데, 이 때, 촬영 시간을 줄이도록 취득될 이미지의 프레임 수가 더 감소되거나, 또는 멀티 프레임의 이미지 취득 모드가 사용되지 않을 수 있고, 예를 들어, 취득될 이미지의 프레임 수는 5 프레임으로 결정된다.
상기 예들은 단지 예시적인 것이며, 본 발명을 제한하는 것으로 간주되어서는 안된다는 점에 유의해야 한다. 실제 사용시, 카메라 모듈의 흔들림 정도가 변할 때, 취득될 이미지의 프레임 수는 최적의 방식을 얻기 위해 변경될 수 있다. 상기 카메라 모듈의 흔들림 정도 및 취득될 이미지의 프레임 수의 매핑 관계는 필요에 따라 미리 설정될 수 있다.
본 발명의 실시예에서, 피사체가 얼굴을 포함하는지 여부는 얼굴 인식 기술에 의해 결정될 수 있다. 얼굴 인식 기술은 얼굴 시각 특징 정보를 비교하여 분석함으로써 신원 인증을 수행하고, 생물학적 특징 인식 기술에 속하며, 생물체(일반적으로 사람)의 생물학적 특징을 통해 생물체 개체를 구별한다. 현재, 얼굴 인식 기술은 디지털 카메라 얼굴 자동 초점 및 스마일 셔터 기술; 기업, 주택의 보안 및 관리; 도어 제어 시스템; 카메라 모니터링 시스템 등과 같은 다양한 영역에 적용되어 왔다. 일상적으로 얼굴 인식 알고리즘은 얼굴 특징-기반 인식 알고리즘(Feature-based recognition algorithms), 전체 얼굴 이미지-기반 인식 알고리즘(Appearance-based recognition algorithms), 템플릿-기반 인식 알고리즘(Template-based recognition algorithms), 신경 네트워크를 사용한 인식 알고리즘(Recognition algorithms using neural network) 등을 포함한다.
카메라 모듈에 의해 현재 취득된 이미지가 얼굴을 포함한다고 검출될 때, 카메라 모듈의 광 측정 모듈은 주로 얼굴 영역의 광을 자동으로 측정하고, 얼굴 영역의 광 측정 결과에 따라 기준 노출 양을 결정한다. 그러나, 야경 모드에서, 얼굴 영역의 조도가 일반적으로 낮으며, 그 결과, 결정된 기준 노출 양은 얼굴이 포함되지 않을 때 결정된 기준 노출 양보다 더 높고, 얼굴이 포함될 때 너무 많은 과다 노출 프레임이 여전히 취득되면, 얼굴 영역이 과 노출되게 하여 타겟 이미지의 나쁜 영향을 초래하게 된다. 따라서, 동일한 흔들림 정도에 대해, 카메라 모듈에 의해 취득된 이미지에 얼굴이 포함될 때에 대응하는 노출 보정 모드는 얼굴이 포함되지 않을 때보다 더 낮은 노출 보정 범위를 가져야 한다.
하나의 가능한 상황에서, 취득된 이미지가 얼굴을 포함한다고 검출되면, 노출 보정 모드가 조정된 프레임 수에 맞는 제 1 모드인 것으로 결정된다.
다른 가능한 상황에서, 취득된 이미지가 얼굴을 포함하지 않는다고 검출되면, 노출 보정 모드가 조정된 프레임 수에 맞는 제 2 모드인 것으로 결정된다.
여기서, 제 2 모드에 대응하는 노출 보정 레벨 값 범위는 제 1 모드에 대응하는 노출 보정 레벨 값 범위보다 크다.
본 발명의 실시예에 따른 하나의 가능한 구현 형태에서, 동일한 흔들림 정도인 경우, 카메라 모듈에 의해 현재 취득된 이미지에 얼굴이 포함되는지 여부에 따라 상이한 노출 보정 방법을 이용할 수 있다. 따라서, 동일한 흔들림 정도인 경우, 복수의 노출 보정 모드에 대응할 수 있다. 예를 들어, 카메라 모듈의 흔들림 정도가 “약간 흔들림”인 경우, 이에 대응하는 미리 설정된 노출 보정 모드는 제 1 모드 및 제 2 모드를 포함하는데, 제 1 모드에 대응하는 각각의 EV 값은 [0, 0, 0, 0, -2, -4, -6]이고, 제 2 모드에 대응하는 각각의 EV 값은 [+ 1, + 1, + 1, + 1, 0, -3, -6]이다. 카메라 모듈의 현재 흔들림 정도를 결정하고 카메라 모듈에 의해 현재 취득된 이미지가 얼굴을 포함하는지 여부를 결정한 후, 현재의 실제 상황에 맞는 미리 설정된 노출 보정 모드는 결정될 수 있다.
예를 들어, 카메라 모듈의 현재 흔들림 정도가 “약간 흔들림”인 경우, 이에 대응하는 미리 설정된 노출 보정 모드는 제 1 모드 및 제 2 모드를 포함하는데, 제 1 모드에 대응하는 각각의 EV 값은 [0, 0, 0, 0, -2, -4, -6]이고, 제 2 모드에 대응하는 각각의 EV 값은 [+ 1, + 1, + 1, + 1, 0, -3, -6]이고, 따라서, 제 1 모드의 노출 보정 범위는 제 2 모드의 노출 보정 범위보다 작다. 카메라 모듈에 의해 현재 취득된 이미지가 얼굴을 포함한다고 검출되면, 미리 설정된 노출 보정 모드가 조정된 프레임 수에 맞는 제 1 모드인 것으로 결정되고, 즉, 각각의 EV 값은 [0, 0, 0, 0, -2, -4, -6]이며; 카메라 모듈에 의해 이미지가 얼굴을 포함하지 않는다고 검출되면, 미리 설정된 노출 보정 모드가 조정된 프레임 수에 맞는 제 2 모드인 것으로 결정되고, 즉, 각각의 EV 값은 [+ 1, + 1, + 1, + 1, 0, -3, -6]이다.
단계(803), 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨 및 각 노출 보정 레벨에 대응하는 노출 시간에 따라 각 프레임의 취득될 이미지의 노출 시간을 결정한다.
본 발명의 실시예에서, 메라 모듈의 흔들림 정도에 따라 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨 및 각 노출 보정 레벨에 대응하는 노출 시간을 결정한 후, 각 프레임의 취득될 이미지의 노출 시간을 결정할 수 있다.
본 발명의 실시예에서, 메라 모듈의 흔들림 정도에 따라 각 노출 보정 레벨에 대응하는 노출 시간을 결정하고 노출 보정 모드를 조정하며, 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨 및 각 노출 보정 레벨에 대응하는 노출 시간에 따라 각 프레임의 취득될 이미지의 노출 시간을 결정한다. 따라서, 상이한 노출 시간을 통해 멀티 프레임의 이미지를 취득함으로써 노출 시간이 너무 길 때 야기된 과 노출에 의해 야기된 이미지 왜곡, 흔들림에 의해 화면이 흐릿하게 되는 것, 촬영 시간이 너무 긴 상황을 방지한다.
도 8의 실시예에 기초하여, 하나의 가능한 상황에서, 촬영 장면의 밝기 정보 및 노출 시간에 따라, 멀티 프레임의 취득될 이미지의 감광도를 결정하는 단계(703)를 수행한 후, 결정된 각 프레임의 취득될 이미지의 감광도를 설정된 감광도의 상한과 비교하여, 감광도 상한보다 큰 취득될 이미지의 감광도를 감소시킨다. 이미지를 취득하는 과정에서 감광도 값이 커서 취득된 이미지의 노이즈가 증가되는 기술적 문제가 회피된다. 도 10을 참조하여 상술한 과정을 상세하게 설명하고, 도 10에 도시된 바와 같이, 단계(703) 후에 단계(901) ~단계(904)를 더 포함할 수 있다.
단계(901), 카메라 모듈의 흔들림 정도에 따라 감광도 상한을 결정한다.
구체적으로, 흔들림 정도를 결정하기 위해, 전자설비에 배치된 변위 센서에 따라 변위 정보를 획득될 수 있어, 획득된 전자설비의 변위 정보에 따라 카메라 모듈의 흔들림 정도를 결정한다. 각 프레임의 취득될 이미지에 미리 설정된 감광도가 상이할 때, 카메라 모듈의 흔들림 정도에 따라 각 프레임의 취득될 이미지의 감광도 상한을 결정할 수 있다.
하나의 가능한 구현 형태로서, 카메라 모듈의 흔들림 정도가 결정된 후, 카메라 모듈의 흔들림 정도가 미리 설정된 흔들림 임계값과 비교되어 흔들림 정도에 따라 감광도 상한을 결정한다. 여기서, 흔들림 임계값은 흔들림 정도를 판단하기 위한 값이다.
하나의 가능한 상황으로서, 카메라 모듈의 흔들림 정도를 결정한 후, 카메라 모듈의 흔들림 정도가 흔들림 임계값보다 크거나 같다고 결정되며, 이 때, 감광도 상한이 제 1 감광도 값인 것으로 결정된다.
카메라 모듈의 흔들림 정도가 클 때, 감광도를 증가시킴으로써 촬영 시간을 줄일 수 있으며, 예를 들어, 감광도 값은 800인 것으로 결정된다.
다른 가능한 상황으로서, 카메라 모듈의 흔들림 정도를 결정한 후, 카메라 모듈의 흔들림 정도가 흔들림 임계값보다 작다고 결정되며, 이 때, 감광도 상한이 제 2 감광도 값인 것으로 결정된다.
여기서, 제 1 감광도 값은 제 2 감광도 값보다 크고, 제 1 감광도 값은 제 2 감광도 값의 미리 설정된 배수이며, 미리 설정된 배수는 2보다 크거나 같다.
예를 들어, 낮은 노이즈를 얻기 위해, 제 2 감광도 값은 촬상 장치의 최소 민감도일 수 있고, 즉, 제 2 감광도 값의 값은 100ISO이며, 따라서 제 1 감광도 값의 값 범위는 200, 400, 800 또는 그 이상일 수 있다.
카메라 모듈의 흔들림 정도가 작을 때, 더 작은 감광도를 설정함으로써 가능한 한 더 높은 품질의 이미지가 획득될 수 있다는 것이 이해될 것이며, 예를 들어, 감광도는 100으로 결정될 수 있다.
단계(902), 각 프레임의 취득될 이미지의 감광도를 설정된 감광도의 상한과 비교한다.
본 발명의 실시예에서, 상기 촬영 장면의 밝기 정보 및 노출 시간에 따라, 각 프레임의 취득될 이미지의 감광도를 결정하고, 각 프레임의 취득될 이미지의 감광도를 설정된 감광도 상한과 비교하여 각 프레임의 취득될 이미지의 감광도를 조정함으로써 각 프레임의 취득된 이미지의 노이즈를 감소시키고 감광도가 증가됨에 따른 이미지의 노이즈 증가 현상을 방지한다.
단계(903), 취득될 이미지에는 감광도 상한보다 큰 감광도를 가지는 제 1 이미지가 존재하면, 감광도 상한에 따라 제 1 이미지의 감광도를 감소시킨다.
본 실시예에서, 취득될 이미지에서의 대응하는 감광도가 감광도 상한보다 크면, 이미지를 촬영하는 과정에서 많은 노이즈가 도입되어 결과적으로 촬영된 이미지의 노이즈가 심하게 할 수 있다.
따라서, 각 프레임의 취득될 이미지의 감광도를 설정하고, 각 프레임의 취득될 이미지의 감광도를 감광도 상한과 비교하여 취득될 이미지에서 감광도 상한보다 큰 감광도를 가지는 제 1 이미지가 존재하는지 여부를 판단한다.
하나의 가능한 상황으로서, 카메라 모듈의 흔들림 정도가 흔들림 임계값보다 크거나 같은 경우, 결정된 취득될 이미지의 감광도를 감광도 상한과 비교하는데, 취득될 이미지에서 감광도 상한보다 큰 감광도를 가지는 제 1 이미지가 존재하면, 감광도 상한에 따라 제 1 이미지의 감광도를 감소시킨다. 이때, 감광도 상한은 제 1 감광도 값이다.
다른 가능한 상황으로서, 카메라 모듈의 흔들림 정도가 흔들림 임계값보다 작은 경우, 결정된 취득될 이미지의 감광도를 감광도 상한과 비교하는데, 취득될 이미지에서 감광도 상한보다 큰 감광도를 가지는 제 1 이미지가 존재하면, 감광도 상한에 따라 제 1 이미지의 감광도를 감소시킨다. 이때, 감광도 상한은 제 2 감광도 값이다.
단계(904), 감소 전의 제 1 이미지 감광도와 감소 후의 제 1 이미지 감광도의 비율에 따라 제 1 이미지의 노출 시간을 증가시킨다.
구체적으로, 노출 양이 감광도 및 노출 시간의 곱이기 때문에, 제 1 이미지의 노출 양이 결정될 때, 감소 전의 제 1 이미지 감광도와 감소 후의 제 1 이미지 감광도의 비율에 따라 제 1 이미지의 노출 시간을 증가시켜 촬영 이미지의 밝기를 유지한다.
따라서, 해당 프레임의 취득될 이미지의 노출 시간을 업데이트하여 노출 양이 확보되면서 이미지 밝기가 개선되고, 너무 긴 노출 시간에 의해 야기된 과 노출로 인한 이미지 왜곡을 방지한다.
본 발명의 실시예에서, 카메라 모듈의 흔들림 정도에 따라 감광도 상한을 결정하며, 각 프레임의 취득될 이미지의 감광도를 설정된 감광도의 상한과 비교하며, 취득될 이미지에는 감광도 상한보다 큰 감광도를 가지는 제 1 이미지가 존재하면, 감광도 상한에 따라 제 1 이미지의 감광도를 감소시키며, 감소 전의 제 1 이미지 감광도와 감소 후의 제 1 이미지 감광도의 비율에 따라 제 1 이미지의 노출 시간을 증가시킨다. 따라서, 취득될 이미지에서의 감광도 상한보다 큰 감광도를 가지는 이미지의 감광도를 감광도 상한으로 감소시킴으로써 큰 감광도로 인해 촬영된 이미지에 많은 노이즈가 도입되어 최종적으로 촬영된 이미지에서 퍼지 현상이 발생하는 것을 방지한다.
도 8의 실시예에 기초하여, 다른 가능한 상황에서, 촬영 장면의 밝기 정보 및 노출 시간에 따라, 멀티 프레임의 취득될 이미지의 감광도를 결정하는 단계(703)를 수행한 후, 각 프레임의 취득될 이미지의 감광도를 감광도의 하한과 비교하여, 감광도의 하한에 따라, 취득될 이미지에서의 감광도 하한보다 작은 감광도를 가지는 제 2 이미지의 감광도를 조정한다. 도 11을 참조하여 상술한 과정을 상세하게 설명하고, 도 11은 본 발명의 실시예에 따른 제 11 야경 촬영 방법의 개략적인 흐름도이다. 도 11에 도시된 바와 같이, 단계(703) 후에 단계(1001) ~ 단계(1004)를 더 포함할 수 있다.
단계(1001), 각 프레임의 취득될 이미지의 감광도를 설정된 감광도 하한과 비교한다.
여기서, 감광도 하한은 카메라 모듈 내의 센서가 광선에 대한 민감 정도에 따라 결정되고, 예를 들어, 80일 수 있다.
본 발명의 실시예에서, 각 프레임의 취득될 이미지의 감광도는, 카메라 모듈의 흔들림 정도에 따라 결정된 노출 시간에 따라 결정되는 것으로, 구체적인 구현 과정은 전술한 실시예의 단계(703)를 참조하고 여기서 생략된다.
촬영 장면의 밝기 정보 및 노출 시간에 따라, 멀티 프레임의 취득될 이미지의 감광도를 결정하고, 각 프레임의 취득될 이미지의 감광도를 설정된 감광도 하한과 비교하여 감광도 하한에 따라 감광도 하한보다 작은 감광도를 조정한다.
단계(1002), 취득될 이미지에는 감광도 하한보다 작은 감광도를 가지는 제 2 이미지가 존재하면, 감광도 하한에 따라 제 2 이미지의 감광도를 증가시킨다.
본 발명의 실시예에서, 취득될 이미지에는 감광도 하한보다 작은 감광도를 가지는 제 2 이미지가 존재하면, 야경 촬영된 이미지는 퍼지 형상이 발생할 수 있다. 따라서, 어느 한 프레임의 취득될 이미지에 대응하는 감광도가 감광도 하한보다 작으면, 해당 프레임의 취득될 이미지에 대응하는 감광도를 감광도 하한으로 증가한다.
야경 장면 하에서 이미지를 취득할 때, 노출 양이 변하지 않는 상태에서 감광도가 낮아 노출 시간을 증가시켜야 하기 때문에 전체 촬영 시간이 길어지고, 카메라 모듈의 흔들림 정도가 악화되어 최종적으로 촬영된 이미지에서 흔들림에 의해 야기된 고스트 및 퍼지 현상이 발생한다. 따라서, 취득될 이미지에는 감광도 하한보다 작은 감광도를 가지는 제 2 이미지가 존재하면, 제 2 이미지에 대응하는 감광도를 감광도 하한으로 증가시킨다.
단계(1003), 증가 후의 제 2 이미지 감광도와 증가 전의 제 2 이미지 감광도의 비율을 결정한다.
예를 들어, 미리 설정된 감광도 하한이 80이고, 증가 전의 제 2 이미지 감광도가 20이고, 증가 후의 제 2 이미지 감광도가 80이면, 증가 이후의 제 2 이미지 감광도와 증가 전의 감광도의 비율은 8/2이다.
단계(1004), 감광도 하한보다 크거나 같은 감광도를 가지는 나머지 각 프레임의 취득될 이미지에 대해, 비율에 따라 나머지 각 프레임의 취득될 이미지의 감광도 또는 노출 시간을 업데이트한다.
구체적으로, 감광도 하한보다 크거나 같은 감광도를 가지는 나머지 각 프레임의 취득될 이미지에 대해, 감광도 하한보다 작은 취득될 이미지의 업데이트 이후의 감광도와 업데이트 이전의 감광도의 비율을 결정한 후에, 그 비율과 나머지 각 프레임의 취득될 이미지의 업데이트 이전의 감광도 또는 노출 시간의 곱을 나머지 각 프레임의 취득될 이미지의 업데이트 이후의 감광도 또는 노출 시간으로 한다.
노출 시간의 업데이트 방식은 감광도의 업데이트 방식과 유사하며, 감광도를 노출 시간으로 대체하면 되지만, 전출한 감광도보다 작은 취득될 이미지의 업데이트 이후의 감광도와 업데이트 이전의 감광도의 비율에 따라 노출 시간 및 감광도 중 하나만을 업데이트할 수 있으며, 노출 시간 및 감광도가 동시에 업데이트될 필요가 있는 경우, 그 비율을 가중치에 따라 분배하고 업데이트되어야 한다. 예를 들어, 노출 시간 및 감광도는 가중치의 각각 절반이고, 전술한 시간 하한보다 작은 취득될 이미지의 업데이트 이후의 노출 시간과 업데이트 이전의 노출 시간의 비율이 R이면, 노출 시간은 원래의 R/2 배로 증가되고, 감광도는 원래의 R/2 배로 증가된다.
본 발명의 실시예에서, 각 프레임의 취득될 이미지의 감광도를 설정된 감광도 하한과 비교하며, 취득될 이미지에는 감광도 하한보다 작은 감광도를 가지는 제 2 이미지가 존재하면, 감광도 하한에 따라 제 2 이미지의 감광도를 증가시키며, 증가 후의 제 2 이미지 감광도와 증가 전의 제 2 이미지 감광도의 비율을 결정하며, 감광도 하한보다 크거나 같은 감광도를 가지는 나머지 각 프레임의 취득될 이미지에 대해, 비율에 따라 나머지 각 프레임의 취득될 이미지의 감광도 또는 노출 시간을 업데이트한다. 따라서, 각 프레임의 취득될 이미지의 감광도를 결정하고 감광도 하한에 따라 각 프레임의 취득될 이미지의 감광도 및 노출 시간을 업데이트하고, 최종적으로 업데이트된 각 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 노출 제어를 수행하여 이미지를 형성함으로써, 야경 촬영 모드에서 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 촬영된 이미지의 노이즈가 억제되고, 야경 촬영 이미지의 품질이 개선되며, 사용자 경험이 개선된다.
본 발명의 실시예의 또 다른 가능한 구현 형태로서, 야경 촬영 동안, 카메라 모듈의 흔들림 정도에 따라, 촬영 장면의 밝기 정보 하에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 민감도를 조정하며, 각 프레임의 취득될 이미지의 노출 시간 및 민감도에 따라 이미지를 취득한다. 도 12를 참조하여 상기 과정을 상세하게 설명하고, 도 12에 도시된 바와 같이, 이 방법은 카메라 모듈에 적용하고 구체적으로 단계(1101) ~ 단계(1104)를 포함한다.
단계(1101), 카메라 모듈의 흔들림 정도를 획득한다.
본 발명의 실시예에서, 단계(1101)의 구현 과정은 전술한 실시예의 단계(101)를 참조할 수 있고 여기서 생략된다.
단계(1102), 카메라 모듈의 흔들림 정도에 따라, 촬영 장면의 밝기 정보 하에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 감광도를 조정한다.
여기서, 촬영 장면의 밝기 정보는 카메라 모듈 내의 광 측정 모듈을 이용하여 획득될 수 있고, 또한 촬영 장면의 조도일 수도 있고, 또한 미리보기 이미지의 밝기 정보를 통해 획득될 수 있으며 이에 한정되지 않는다.
구체적으로 흔들림 정도에 따라, 촬영 장면의 밝기 정보 하에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 감광도는 순차적으로 조정될 수 있고, 노출 시간 및 감광도는 또한 동기적으로 조정될 수 있다.
가능한 제 1 구현 형태로서, 노출 시간 및 감광도는 동기적으로 조정될 수 있다. 먼저, 상기 촬영 장면의 밝기 정보 및 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨에 따라 노출 테이블을 체크하여 해당 취득될 이미지의 노출 시간 및 감광도를 획득한다. 더 나아가, 흔들림 정도에 따라, 각 프레임의 취득될 이미지의 체크된 노출 시간을 조정하여 해당 취득될 이미지의 감광도를 상기 흔들림 정도에 대응하는 감광도 임계값보다 낮도록 조정한다. 여기서, 노출 테이블에는 촬영 장면별 밝기 정보에 대응하는 노출 파라미터가 기록되어 있다. 노출 파라미터는 조리개 파라미터, 노출 보정 레벨, 노출 시간 및 감광도 등을 포함한다. 카메라 모듈의 흔들림 정도를 결정한 후, 카메라 모듈의 흔들림 정도가 미리 설정된 흔들림 임계값과 비교되어 흔들림 정도에 따라 감광도 임계값을 결정한다. 여기서, 흔들림 임계값은 흔들림 정도를 판단하기 위한 값이다.
카메라 모듈의 흔들림 정도에 따라 노출 보정 모드를 조정하는 구체적인 구현 과정은 전술한 실시예를 참조하고 여기서 생략된다.
본 실시예에서, 노출 테이블을 체크하여 각 프레임의 취득될 이미지의 노출 시간 및 감광도를 획득하고, 흔들림 정도에 따라, 각 프레임의 취득될 이미지의 체크된 노출 시간을 조정하여 해당 취득될 이미지의 감광도가 상기 흔들림 정도에 대응하는 감광도 임계값보다 낮도록 조정한다. 따라서, 이미지를 취득할 때, 촬영된 이미지에 큰 감광도로 인한 노이즈가 많아 최종적으로 촬영된 이미지에는 퍼지 현상이 발생하는 것을 방지한다.
가능한 제 2 구현 형태로서, 노출 시간이 먼저 결정되고, 그 후 감광도가 결정된다. 먼저, 카메라 모듈의 흔들림 정도를 획득하고, 상기 흔들림 정도에 따라 노출 기간을 조정한다. 또한, 촬영 장면의 밝기 정보 및 상기 노출 시간에 따라, 멀티 프레임의 취득될 이미지의 감광도가 결정된다. 구체적인 구현 방식은 도 8에 대응하는 실시예를 참조하고 본 실시예는 그에 대한 설명이 생략된다.
가능한 제 3 구현 형태로서, 감광도가 먼저 결정되고, 그 후 노출 시간이 결정된다. 먼저, 상기 카메라 모듈의 흔들림 정도를 획득한다. 상기 흔들림 정도에 따라 감광도를 조정하며, 촬영 장면의 밝기 정보 및 상기 감광도에 따라, 멀티 프레임의 취득될 이미지의 노출 시간이 결정된다. 구체적인 구현 방식은 도 1에 대응하는 실시예를 참조하고 본 실시예는 그에 대한 설명이 생략된다.
단계(1103), 각 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득한다.
단계(1104), 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다.
본 발명의 실시예에서, 단계(1103) 및 단계(1104)의 구현 과정은 전술한 실시예의 단계(101) 및 단계(105)의 구현 과정을 각각 참조하고 여기서 생략된다.
본 발명의 실시예에서, 카메라 모듈의 흔들림 정도를 획득함으로써, 흔들림 정도에 따라, 촬영 장면의 밝기 정보 하에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 감광도를 조정하며, 각 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득하며, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 멀티 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득하여 타겟 이미지를 합성하여 생성함으로써, 야경 촬영 이미지의 동적 범위 및 전체 밝기가 개선되고, 이미지의 노이즈가 효과적으로 억제되고, 핸드 헬드 흔들림에 따른 고스트 형상이 억제되고, 야경 촬영 이미지의 품질이 개선되며, 사용자 경험이 개선된다.
도 12의 실시예에 기초하여, 하나의 가능한 상황에서, 흔들림 정도에 따라, 촬영 장면의 밝기 정보 하에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 감광도를 조정하는 단계(1102)를 수행한 후, 결정된 노출 시간을 카메라 모듈의 흔들림 정도에 따라 결정된 시간의 상한과 비교하여, 노출 시간이 시간 상한보다 큰 취득될 이미지의 노출 시간을 감소시키고, 노출 시간이 너무 길 때 야기된 과 노출에 의해 야기된 이미지 왜곡, 흔들림에 의해 화면이 흐릿하게 되는 것, 촬영 시간이 너무 긴 상황을 방지한다. 도 13을 참조하여 상기 과정을 상세하게 설명하고, 도 13에 도시된 바와 같이, 단계(1102) 후에 단계(1201) ~단계(1204)를 더 포함할 수 있다.
단계(1201), 카메라 모듈의 흔들림 정도에 따라 시간 상한을 결정한다.
하나의 가능한 상황으로서, 흔들림 정도를 결정하기 위해, 촬상 장치에 배치된 변위 센서에 따라 변위 정보를 획득될 수 있어, 획득된 촬상 장치의 변위 정보에 따라 카메라 모듈의 흔들림 정도를 결정한다. 또한, 결정된 카메라 모듈의 흔들림 정도를 미리 설정된 흔들림 임계값과 비교하여 노출 시간의 상한을 결정한다.
하나의 가능한 상황으로서, 카메라 모듈의 흔들림 정도가 흔들림 임계치보다 크거나 같을 때, 현재 촬영 장면에서의 각 프레임의 취득될 이미지의 노출 시간의 상한은 제 1 시간인 것으로 결정된다. 여기서, 흔들림 임계값은 미리 설정된 감광도 값을 결정하기 위해 촬상 장치에 미리 설정된 흔들림 값이다.
카메라 모듈의 흔들림 정도가 클 때, 짧은 노출 시간이 설정되면, 전체 촬영 시간이 길어지고, 촬상 장치의 흔들림 정도가 악화되어서, 최종적으로 촬영된 이미지에서 흔들림에 의해 야기된 고스트 및 퍼지 현상이 발생할 수 있다는 것이 이해되어야 한다.
다른 가능한 상황으로서, 촬상 장치의 흔들림 정도가 흔들림 임계치보다 작을 때, 현재 촬영 장면에서 각 프레임의 취득될 이미지의 노출 시간의 상한은 제 2 시간인 것으로 결정된다.
카메라 모듈의 흔들림 정도가 작을 때, 긴 노출 시간을 통해 높은 품질의 이미지를 촬영할 수 있다는 것이 이해되어야 한다.
여기서, 제 1 시간은 제 2 시간보다 작고, 제 1 시간의 값 범위는 150ms 내지 300ms이고; 제 2 시간의 값 범위는 4.5초 내지 5.5초이다.
단계(1202), 각 프레임의 취득될 이미지의 노출 시간을 설정된 시간의 상한과 비교한다.
본 발명의 실시예에서, 각 프레임의 취득될 이미지의 노출 시간은 촬영 장면의 밝기 정보에 따라 노출 테이블을 체크하여 결정될 수 있으며, 구체적인 구현 과정은 전술한 실시예의 단계(1102)를 참조하고 여기서 생략된다.
촬영 장면의 밝기 정보 및 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨에 따라 노출 테이블을 체크하여 해당 취득될 이미지의 노출 시간을 획득한 후, 각 프레임의 취득될 이미지의 취득될 이미지의 노출 시간을 설정된 시간의 상한과 비교하여 노출 시간이 너무 길 때 야기된 과 노출로 인한 이미지 왜곡을 방지한다.
단계(1203), 취득될 이미지에는 시간 상한보다 큰 노출 시간을 가지는 제 1 이미지가 존재하면, 시간 상한에 따라 제 1 이미지의 노출 시간을 감소시킨다.
단계(1204), 감소 전의 제 1 이미지 노출 시간과 감소 후의 제 1 이미지 노출 시간의 비율에 따라 제 1 이미지의 감광도를 증가시킨다.
본 발명의 실시예에서, 단계(1203) 및 단계(1204)의 구체적인 구현 과정은 전술한 실시예의 단계(503) 및 단계(504)를 참조할 수 있고 여기서 생략된다.
본 발명의 실시예에서, 카메라 모듈의 흔들림 정도에 따라 시간 상한을 결정하며, 각 프레임의 취득될 이미지의 노출 시간을 설정된 시간의 상한과 비교하며, 취득될 이미지에는 시간 상한보다 큰 노출 시간을 가지는 제 1 이미지가 존재하면, 시간 상한에 따라 제 1 이미지의 노출 시간을 감소시키며, 감소 전의 제 1 이미지 노출 시간과 감소 후의 제 1 이미지 노출 시간의 비율에 따라 제 1 이미지의 감광도를 증가시킨다. 따라서, 취득될 이미지의 노출 시간이 시간 상한보다 큰 이미지의 노출 시간을 시간 상한으로 감소시킴으로써 노출 시간이 너무 길면 전체 촬영 시간이 길어지고, 카메라 모듈의 흔들림 정도가 악화되어, 최종적으로 촬영된 이미지에서 흔들림에 의해 야기된 고스트 및 퍼지 현상이 발생하는 것을 방지한다.
도 12의 실시예에 기초하여, 하나의 가능한 상황에서, 흔들림 정도에 따라, 촬영 장면의 밝기 정보 하에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 감광도를 조정하는 단계(1102)를 수행한 후, 결정된 노출 시간을 카메라 모듈의 흔들림 정도에 따라 결정된 시간의 하한과 비교하여, 노출 시간 하한에 따라 시간 상한보다 작은 노출 시간을 조정한다. 도 14를 참조하여 상기 과정을 상세하게 설명하고, 도 14에 도시된 바와 같이, 단계(1102) 후에 단계(1301) ~단계(1304)를 더 포함할 수 있다.
단계(1301), 각 프레임의 취득될 이미지의 노출 시간을 설정된 시간의 하한과 비교한다.
본 발명의 실시예에서, 각 프레임의 취득될 이미지의 노출 시간은 촬영 장면의 밝기 정보에 따라 노출 테이블을 체크하여 결정될 수 있으며, 구체적인 구현 과정은 전술한 실시예의 단계(1102)를 참조하고 여기서 생략된다.
감광도에 따라 촬영 장면의 조도 하에서 각 프레임의 취득될 이미지에 필요한 노출 시간을 결정한 후에, 각 프레임의 취득될 이미지의 노출시간을 설정된 시간 하한과 비교하여, 시간 하한에 따라 시간 하한보다 작은 노출 시간을 조정한다. 여기서, 시간 하한은 10ms보다 크거나 같다.
노출 시간 하한은 또한 카메라 모듈의 흔들림 정도에 따라 결정되고, 수치적인 구현 과정은 전술한 실시예에서의 단계(1201)의 구현 과정을 참조하며, 여기서 생략된다.
단계(1302), 취득될 이미지에는 시간 하한보다 작은 노출 시간을 가지는 제 2 이미지가 존재하면, 시간 하한에 따라 제 2 이미지의 노출 시간을 증가시킨다.
본 발명의 실시예에서, 취득될 이미지에 대응하는 노출 시간이 시간 하한보다 작은 노출 시간을 가지는 이미지가 존재하면, 이미지에서의 노이즈는 너무 커서, 제거되기 어렵다. 따라서, 어느 한 프레임의 취득될 이미지에 대응하는 노출 시간이 시간 하한보다 짧으면, 해당 프레임의 취득될 이미지에 대응하는 노출 시간을 시간 하한으로 증가한다.
단계(1303), 증가 후의 제 2 이미지 노출 시간과 증가 전의 제 2 이미지 노출 시간의 비율을 결정한다.
예를 들어, 미리 설정된 시간 하한이 10ms이고, 증가 전의 제 2 이미지 노출 시간이 8ms이고, 제 2 이미지의 노출 시간이 10ms인 미리 설정된 시간 하한으로 증가되면, 증가 이후의 제 2 이미지 노출 시간과 증가 전의 노출 시간의 비율은 10/8이다.
단계(1304), 시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 비율에 따라 나머지 각 프레임의 취득될 이미지의 감광도 또는 노출 시간을 업데이트한다.
구체적으로, 시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 시간 하한보다 작은 취득될 이미지의 업데이트 이후의 노출 시간과 업데이트 이전의 노출 시간의 비율을 결정한 후에, 그 비율과 나머지 각 프레임의 취득될 이미지의 업데이트 이전의 감광도 또는 노출 시간의 곱을 나머지 각 프레임의 취득될 이미지의 업데이트 이후의 감광도 또는 노출 시간으로 한다.
감광도의 업데이트 방식은 노출 시간의 업데이트 방식과 유사하며, 노출 시간을 감광도로 대체하면 되지만, 전술한 시간 하한보다 작은 취득될 이미지의 업데이트 이후의 노출 시간과 업데이트 이전의 노출 시간의 비율에 따라 노출 시간 및 감광도 중 하나만을 업데이트할 수 있으며, 노출 시간 및 감광도가 동시에 업데이트될 필요가 있는 경우, 그 비율을 가중치에 따라 분배하고 업데이트되어야 한다. 예를 들어, 노출 시간 및 감광도는 가중치의 각각 절반이고, 전술한 시간 하한보다 작은 취득될 이미지의 업데이트 이후의 노출 시간과 업데이트 이전의 노출 시간의 비율이 R이면, 노출 시간은 원래의 R/2 배로 증가되고, 감광도는 원래의 R/2 배로 증가된다.
본 발명의 실시예에서, 흔들림 정도에 따라, 각 프레임의 취득될 이미지의 체크된 노출 시간을 조정하여 해당 취득될 이미지의 감광도가 상기 흔들림 정도에 대응하는 감광도 임계값보다 낮도록 조정한 후, 각 프레임의 취득될 이미지의 노출 시간을 설정된 시간의 하한과 비교하며, 취득될 이미지에는 시간 하한보다 작은 노출 시간을 가지는 제 2 이미지가 존재하면, 시간 하한에 따라 제 2 이미지의 노출 시간을 증가시키며, 증가 후의 제 2 이미지 노출 시간과 증가 전의 제 2 이미지 노출 시간의 비율을 결정하며, 시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 비율에 따라 나머지 각 프레임의 취득될 이미지의 감광도 또는 노출 시간을 업데이트한다. 따라서, 각 프레임의 취득될 이미지의 노출 시간을 결정하여 노출 시간 하한에 따라 각 프레임의 취득될 이미지의 감광도 및 노출 시간을 업데이트하여 최종적으로 업데이트된 각 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 노출 제어를 수행하여 이미지를 형성함으로써, 야경 촬영 모드에서 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 촬영된 이미지의 노이즈가 억제되고, 야경 촬영 이미지의 품질이 개선되며, 사용자 경험이 개선된다.
전술한 실시예를 구현하기 위해, 본 발명은 야경 촬영 장치를 개시한다.
도 15는 본 발명의 실시예에 따른 야경 촬영 장치의 개략적인 구조도이다.
도 15에 도시된 바와 같이, 당해 야경 촬영 장치(100)는 카메라 모듈에 적용되고, 획득 모듈(110), 조정 모듈(120), 결정 모듈(130), 취득 모듈(140) 및 생성 모듈(150)을 포함한다.
획득 모듈(110)은 카메라 모듈의 흔들림 정도를 획득한다.
조정 모듈(120)은 흔들림 정도에 따라 기준 감광도를 조정한다.
결정 모듈(130)은 촬영 장면의 밝기 정보와 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 노출 시간을 결정한다.
취득 모듈(140)은 기준 감광도 및 멀티 프레임의 취득될 이미지의 노출 시간에 따라 이미지를 취득한다.
생성 모듈(150)은 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다.
하나의 가능한 구현 형태로서, 결정 모듈(130)은,
촬영 장면의 밝기 정보에 따라 기준 노출 양을 결정하는 제 1 결정 유닛;.
기준 노출 양 및 기준 감광도에 따라 기준 노출 시간을 결정하는 제 2 결정 유닛; 및
각 프레임의 취득될 이미지의 노출 시간을 획득하도록 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨에 따라 기준 노출 시간을 보정하는 노출 보정 유닛; 을 포함한다.
다른 가능한 구현 형태로서, 결정 모듈(130)은,
흔들림 정도에 따라 노출 보정 모드를 조정하는 제 3 결정 모듈을 더 포함한다.
여기서, 노출 보정 모드는 취득될 이미지의 프레임 수 및 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨을 표시하는데 사용된다.
다른 가능한 구현 형태로서, 제 3 결정 모듈은,
상기 흔들림 정도에 따라 취득될 이미지의 프레임 수를 조정하며; 상기 카메라 모듈에 의해 취득된 이미지가 얼굴을 포함하는지 여부를 검출하며; 얼굴이 포함되면, 상기 노출 보정 모드가 조정된 프레임 수에 맞는 제 1 모드인 것으로 결정되며; 얼굴이 포함되지 않으면, 상기 노출 보정 모드가 조정된 프레임 수에 맞는 제 2 모드인 것으로 결정되며; 여기서, 상기 제 2 모드의 노출 보정 레벨 값 범위는 상기 제 1 모드의 노출 보정 레벨 값 범위보다 크다.
다른 가능한 구현 형태로서, 상기 취득될 이미지의 프레임 수는 상기 흔들림 정도에 대하여 역 관계를 갖는다.
다른 가능한 구현 형태로서, 조정 모듈(120)은
흔들림 정도가 흔들림 임계값보다 크거나 같으면, 기준 감광도를 제 1 감광도 값으로 결정하는 제 1 조정유닛; 및
흔들림 정도가 흔들림 임계값보다 작으면, 기준 감광도를 제 2 감광도 값으로 결정하는 제 2 조정유닛을 포함하고, 여기서, 제 1 감광도 값은 제 2 감광도 값보다 크다.
다른 가능한 구현 형태로서, 제 1 감광도 값은 제 2 감광도 값의 미리 설정된 배수이며, 미리 설정된 배수는 2보다 크거나 같으며, 제 2 감광도 값은 카메라 모듈의 최소 감광도이다.
다른 가능한 구현 형태로서, 야경 촬영 장치(100)는,
각 프레임의 취득될 이미지의 노출 시간을 설정된 시간의 상한과 비교하는 제 1 비교모듈; 및
취득될 이미지에는 시간 상한보다 큰 노출 시간을 가지는 제 1 이미지가 존재하면, 제 1 이미지의 노출 시간을 시간 상한으로 감소시키는 노출 시간 감소모듈; 을 더 포함한다.
다른 가능한 구현 형태로서, 야경 촬영 장치(100)는,
카메라 모듈의 흔들림 정도에 따라 상기 시간 상한을 결정하는 시간 상한 결정 모듈을 더 포함한다.
다른 가능한 구현 형태로서, 시간 상한 결정 모듈은,
흔들림 정도가 흔들림 임계치보다 크거나 같으면, 시간 상한을 제 1 시간으로 결정하는 제 5 결정 모듈을 포함한다.
흔들림 정도가 흔들림 임계치보다 작으면, 시간의 상한을 제 2 시간으로 결정하는 제 6 결정 모듈을 포함하고, 여기서, 제 1 시간은 제 2 시간보다 작다.
다른 가능한 구현 형태로서, 제 1 시간의 값 범위는 150ms 내지 300ms이고; 상기 제 2 시간의 값 범위는 4.5초 내지 5.5초이다.
다른 가능한 구현 형태로서, 야경 촬영 장치(100)는,
감소 전의 제 1 이미지 노출 시간과 감소 후의 제 1 이미지 노출 시간의 비율에 따라 제 1 이미지의 감광도를 증가시키는 감광도 증가모듈을 더 포함한다.
다른 가능한 구현 형태로서, 야경 촬영 장치(100)는,
각 프레임의 취득될 이미지의 노출 시간을 설정된 시간의 하한과 비교하는 제 2 비교모듈; 및
취득될 이미지에는 시간 하한보다 작은 노출 시간을 가지는 제 2 이미지가 존재하면, 제 2 이미지의 노출 시간을 시간 하한으로 증가시키는 노출 시간 증가모듈; 을 더 포함한다.
다른 가능한 구현 형태로서, 야경 촬영 장치(100)는,
증가 후의 제 2 이미지 노출 시간과 증가 전의 제 2 이미지 노출 시간의 비율을 결정하는 비율 결정 모듈; 및
시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 비율에 따라 나머지 각 프레임의 취득될 이미지의 감광도 또는 노출 시간을 업데이트하는 업데이트 모듈; 을 더 포함한다.
다른 가능한 구현 형태로서, 업데이트 모듈은,
시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 상기 비율과 상기 나머지 각 프레임의 취득될 이미지의 업데이트 이전의 감광도의 곱을 상기 나머지 각 프레임의 취득될 이미지의 업데이트 이후의 감광도로 하거나, 또는
시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 상기 비율과 상기 나머지 각 프레임의 취득될 이미지의 업데이트 이전의 노출 시간의 곱을 상기 나머지 각 프레임의 취득될 이미지의 업데이트 이후의 노출 시간으로 한다.
다른 가능한 구현 형태로서, 업데이트 모듈은, 나머지 각 프레임의 취득될 이미지에는 시간 상한보다 큰 노출 시간을 가지는 제 1 이미지가 존재하면, 시간 상한에 따라 제 1 이미지의 노출 시간을 감소시키며, 감소 전의 제 1 이미지 노출 시간과 감소 후의 제 1 이미지 노출 시간의 비율에 따라 제 1 이미지의 감광도를 증가시킨다.
다른 가능한 구현 형태로서, 시간 하한은 10ms보다 크거나 같다.
본 발명의 실시예에 따른 야경 촬영 장치는 카메라 모듈의 흔들림 정도를 획득함으로써, 흔들림 정도에 따라 기준 감광도를 조정하며, 촬영 장면의 밝기 정보 및 기준 감광도에 따라, 멀티 프레임의 취득될 이미지의 노출 시간을 결정하며, 기준 감광도 및 멀티 프레임의 취득될 이미지의 노출 시간에 따라 이미지를 취득하며, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 각 프레임의 취득될 이미지의 감광도 및 노출 시간에 따라 이미지를 취득하여 타겟 이미지를 합성하여 생성함으로써 야경 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 이미지의 노이즈가 억제되고, 핸드 헬드 흔들림에 의해 야기된 고스트 현상이 억제되고, 야경 촬영 이미지의 품질이 개선되고, 사용자 경험이 개선된다.
전술한 실시예를 구현하기 위해, 본 발명은 다른 야경 촬영 장치를 개시한다.
도 16은 본 발명의 실시예에 따른 다른 야경 촬영 장치의 개략적인 구조도이다.
도 16에 도시된 바와 같이, 당해 야경 촬영 장치(200)는 카메라 모듈에 적용되고, 획득 모듈(210), 조정 모듈(220), 결정 모듈(230), 취득 모듈(240) 및 생성 모듈(250)을 포함한다.
획득 모듈(210)은 카메라 모듈의 흔들림 정도를 획득한다.
조정 모듈(220)은 흔들림 정도에 따라 노출 시간을 조정한다.
결정 모듈(230)은 촬영 장면의 밝기 정보와 노출 시간에 따라 멀티 프레임의 취득될 이미지의 감광도를 결정한다.
취득 모듈(240)은 멀티 프레임의 취득될 이미지의 기준 감광도 및 노출 시간에 따라 이미지를 취득한다.
생성 모듈(250)은 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다.
다른 가능한 구현 형태로서, 조정 모듈(220)은,
흔들림 정도에 따라 각 노출 보정 레벨에 대응하는 노출 시간을 결정하는 제 1 조정유닛; 및
각 프레임의 취득될 이미지에 설정된 노출 보정 레벨 및 각 노출 보정 레벨에 대응하는 노출 시간에 따라 각 프레임의 취득될 이미지의 노출 시간을 결정하는 제 2 조정유닛; 을 포함한다.
다른 가능한 구현 형태로서, 조정 모듈(220)은,
흔들림 정도에 따라 노출 보정 모드를 조정하는 제 3 조정유닛을 더 포함한다.
여기서, 노출 보정 모드는 취득될 이미지의 프레임 수 및 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨을 표시하는데 사용된다.
다른 가능한 구현 형태로서, 제 3 조정유닛은,
흔들림 정도에 따라 취득될 이미지의 프레임 수를 조정하며;
상기 카메라 모듈에 의해 취득된 이미지가 얼굴을 포함하는지 여부를 검출하며;
얼굴이 포함되면, 상기 노출 보정 모드가 조정된 프레임 수에 맞는 제 1 모드인 것으로 결정되며;
얼굴이 포함되지 않으면, 상기 노출 보정 모드가 조정된 프레임 수에 맞는 제 2 모드인 것으로 결정되며;
여기서, 상기 제 2 모드의 노출 보정 레벨 값 범위는 상기 제 1 모드의 노출 보정 레벨 값 범위보다 크다.
다른 가능한 구현 형태로서, 취득될 이미지의 프레임 수는 흔들림 정도에 대하여 역 관계를 갖는다.
다른 가능한 구현 형태로서, 야경 촬영 장치(200)는,
각 프레임의 취득될 이미지의 감광도를 설정된 감광도의 상한과 비교하는 비교모듈; 및
취득될 이미지에는 감광도 상한보다 큰 감광도를 가지는 제 1 이미지가 존재하면, 감광도 상한에 따라 제 1 이미지의 감광도를 감소시키는 감광도 감소모듈; 을 더 포함한다.
다른 가능한 구현 형태로서, 야경 촬영 장치(200)는,
카메라 모듈의 흔들림 정도에 따라 감광도 상한을 결정하는 감광도 상한 결정 모듈을 더 포함한다.
다른 가능한 구현 형태로서, 감광도 상한 결정 모듈은,
흔들림 정도가 흔들림 임계값보다 크거나 같으면, 감광도 상한이 제 1 감광도 값인 것으로 결정되며;
흔들림 정도가 흔들림 임계값보다 작으면, 감광도 상한이 제 2 감광도 값인 것으로 결정되며;
여기서, 제 1 감광도 값은 제 2 감광도 값보다 크다.
다른 가능한 구현 형태로서, 제 1 감광도 값은 제 2 감광도 값의 미리 설정된 배수이며, 미리 설정된 배수는 2보다 크거나 같고, 제 2 감광도 값은 카메라 모듈의 최소 감광도이다.
다른 가능한 구현 형태로서, 야경 촬영 장치(200)는,
감소 전의 제 1 이미지 감광도와 감소 후의 제 1 이미지 감광도의 비율에 따라 제 1 이미지의 노출 시간을 증가시키는 노출 시간 증가모듈을 더 포함한다.
다른 가능한 구현 형태로서, 야경 촬영 장치(200)는,
각 프레임의 취득될 이미지의 감광도를 설정된 감광도 하한과 비교하는 비교모듈; 및
취득될 이미지에는 감광도 하한보다 작은 감광도를 가지는 제 2 이미지가 존재하면, 감광도 하한에 따라 제 2 이미지의 감광도를 증가시키는 감광도 증가모듈; 을 더 포함한다.
다른 가능한 구현 형태로서, 야경 촬영 장치(200)는,
증가 후의 제 2 이미지 감광도와 증가 전의 제 2 이미지 감광도의 비율을 결정하는 비율 결정 모듈; 및
감광도 하한보다 크거나 같은 감광도를 가지는 나머지 각 프레임의 취득될 이미지에 대해, 비율에 따라 나머지 각 프레임의 취득될 이미지의 감광도 또는 노출 시간을 업데이트하는 업데이트 모듈; 을 더 포함한다.
본 발명의 실시예에 따른 야경 촬영 장치는 카메라 모듈의 흔들림 정도를 획득함으로써, 흔들림 정도에 따라 노출 시간을 조정하며, 촬영 장면의 밝기 정보 및 노출 시간에 따라, 멀티 프레임의 취득될 이미지의 감광도를 결정하며, 멀티 프레임의 취득될 이미지의 감광도 및 노출 시간에 따라 이미지를 취득하며, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 노출 시간을 결정한 후, 촬영 장면의 밝기 정보 및 노출 시간에 따라, 멀티 프레임의 취득될 이미지의 감광도를 결정하며, 멀티 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득하여 타겟 이미지를 합성하여 생성함으로써 야경 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 이미지의 노이즈가 억제되고, 핸드 헬드 흔들림에 의해 야기된 고스트 현상이 억제되고, 야경 촬영 이미지의 품질이 개선되고, 사용자 경험이 개선된다.
전술한 실시예를 구현하기 위해, 본 발명은 또 다른 야경 촬영 장치를 개시한다.
도 17은 본 발명의 실시예에 따른 또 다른 야경 촬영 장치의 개략적인 구조도이다.
도 17에 도시된 바와 같이, 당해 야경 촬영 장치(300)는 카메라 모듈에 적용되고, 획득 모듈(310), 조정 모듈(320), 취득 모듈(330) 및 생성 모듈(340)을 포함한다.
획득 모듈(310)은 카메라 모듈의 흔들림 정도를 획득한다.
조정 모듈(320)은 흔들림 정도에 따라 촬영 장면의 밝기 정보 하에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 감광도를 조정한다.
취득 모듈(330)은 멀티 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득한다.
생성 모듈(340)은 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다.
하나의 가능한 구현 형태로서, 조정 모듈(320)은,
촬영 장면의 밝기 정보 및 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨에 따라 노출 테이블을 체크하여 해당 취득될 이미지의 노출 시간 및 감광도를 획득하는 체크 유닛; 및
흔들림 정도에 따라, 각 프레임의 취득될 이미지의 체크된 노출 시간을 조정하여 해당 취득될 이미지의 감광도를 흔들림 정도에 대응하는 감광도 임계값보다 낮도록 조정하는 제 1 조정 유닛; 을 포함할 수 있다.
다른 가능한 구현 형태로서, 조정 모듈(320)은,
흔들림 정도에 따라 노출 보정 모드를 조정하는 제 2 조정유닛을 더 포함할 수 있다.
여기서, 노출 보정 모드는 취득될 이미지의 프레임 수 및 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨을 표시하는데 사용된다.
다른 가능한 구현 형태로서, 제 2 조정유닛은,
상기 흔들림 정도에 따라 취득될 이미지의 프레임 수를 조정하며;
상기 카메라 모듈에 의해 취득된 이미지가 얼굴을 포함하는지 여부를 검출하며;
얼굴이 포함되면, 상기 노출 보정 모드가 조정된 프레임 수에 맞는 제 1 모드인 것으로 결정되며;
얼굴이 포함되지 않으면, 상기 노출 보정 모드가 조정된 프레임 수에 맞는 제 2 모드인 것으로 결정되며;
여기서, 상기 제 2 모드의 노출 보정 레벨 값 범위는 상기 제 1 모드의 노출 보정 레벨 값 범위보다 크다.
다른 가능한 구현 형태로서, 당해 야경 촬영 장치(300)는,
각 프레임의 취득될 이미지의 노출 시간을 설정된 시간의 상한과 비교하는 비교모듈; 및
취득될 이미지에는 시간 상한보다 큰 노출 시간을 가지는 제 1 이미지가 존재하면, 시간 상한에 따라 제 1 이미지의 노출 시간을 감소시키는 감소모듈; 을 더 포함한다.
다른 가능한 구현 형태로서, 당해 야경 촬영 장치(300)는,
흔들림 정도에 따라 상기 시간 상한을 결정하는 시간 상한 결정 모듈을 더 포함한다.
다른 가능한 구현 형태로서, 시간 상한 결정 모듈은,
흔들림 정도가 흔들림 임계치보다 크거나 같으면, 시간 상한을 제 1 시간으로 결정하며;
흔들림 정도가 흔들림 임계치보다 작으면, 시간의 상한을 제 2 시간으로 결정하며;
여기서, 제 1 시간은 제 2 시간보다 작다.
다른 가능한 구현 형태로서, 제 1 시간의 값 범위는 150ms 내지 300ms이고; 상기 제 2 시간의 값 범위는 4.5초 내지 5.5초이다.
다른 가능한 구현 형태로서, 당해 야경 촬영 장치(300)는,
감소 전의 제 1 이미지 노출 시간과 감소 후의 제 1 이미지 노출 시간의 비율에 따라 제 1 이미지의 감광도를 증가시키는 감광도 증가모듈을 더 포함한다.
다른 가능한 구현 형태로서, 당해 야경 촬영 장치(300)는,
각 프레임의 취득될 이미지의 노출 시간을 설정된 시간의 하한과 비교하는 비교모듈; 및
취득될 이미지에는 시간 하한보다 작은 노출 시간을 가지는 제 2 이미지가 존재하면, 시간 하한에 따라 제 2 이미지의 노출 시간을 증가시키는 증가모듈; 을 더 포함한다.
다른 가능한 구현 형태로서, 당해 야경 촬영 장치(300)는,
증가 후의 제 2 이미지 노출 시간과 증가 전의 제 2 이미지 노출 시간의 비율을 결정하는 비율 결정 모듈; 및
시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 비율에 따라 나머지 각 프레임의 취득될 이미지의 감광도 또는 노출 시간을 업데이트하는 업데이트 모듈; 을 더 포함한다.
본 발명의 실시예에 따른 야경 촬영 장치는 카메라 모듈의 흔들림 정도를 획득함으로써, 흔들림 정도에 따라 촬영 장면의 밝기 정보 하에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 감광도를 조정하며, 각 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득하며, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 멀티 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득하여 타겟 이미지를 합성하여 생성함으로써, 야경 촬영 이미지의 동적 범위 및 전체 밝기가 개선되고, 이미지의 노이즈가 효과적으로 억제되고, 핸드 헬드 흔들림에 따른 고스트 형상이 억제되고, 야경 촬영 이미지의 품질이 개선되며, 사용자 경험이 개선된다.
도 18은 본 발명의 실시예에 따른 카메라 모듈의 야경 촬영 처리 방법의 개략적인 흐름도이다.
도 18에 도시된 바와 같이, 당해 카메라 모듈의 야경 촬영 처리 방법은 단계(1801) ~ 단계(1805)를 포함한다.
단계(1801), 야경 촬영 모드에서 카메라 모듈의 현재 흔들림 정도를 검출한다.
본 발명의 실시예에서, 전자설비의 현재 자이로 센서(Gyro-sensor) 정보를 획득함으로써 휴대폰의 현재 흔들림 정도, 즉 카메라 모듈의 현재 흔들림 정도를 결정될 수 있다.
각속도 센서라고도 하는 자이로 센서는 물리량이 편향, 틸팅될 때의 회전 각속도를 측정할 수 있다. 전자설비에서, 자이로 센서는 회전 및 편향의 동작을 잘 측정할 수 있어서, 사용자의 실제 동작이 정확하게 분석되고 판단될 수 있다. 전자설비의 자이로 센서 정보(gyro 정보)는 3 차원 공간에서 3개의 차원으로 휴대폰의 운동 정보를 포함할 수 있고, 3 차원 공간의 3개의 차원은 각각 X축, Y축, Z축 3개의 방향으로 표현될 수 있으며, 여기서 X축, Y축, 및 Z축은 서로 수직이다.
본 발명의 실시예에 따른 하나의 가능한 구현 형태에서, 카메라 모듈의 현재 흔들림 정도는 전자설비의 현재 gyro 정보에 따라 결정될 수 있다는 점에 유의해야 한다. 3개 방향으로 전자설비의 gyro 운동의 절대값이 클수록, 카메라 모듈의 흔들림 정도가 커진다. 구체적으로, 3개의 방향으로 gyro 운동의 절대값 임계값을 미리 설정할 수 있고, 현재 3개의 방향으로 획득된 gyro 운동의 절대값의 합과, 미리 설정된 임계값의 관계에 따라 카메라 모듈의 현재 흔들림 정도를 결정한다.
예를 들어, 미리 설정된 임계값이 제 1 임계값 A, 제 2 임계값 B, 제 3 임계값 C이고 A<B<C이며, 현재 3 개의 방향으로 획득된 gyro 운동의 절대값의 합이 S인 것으로 가정한다. S<A인 경우, 카메라 모듈의 현재 흔들림 정도가 “흔들림이 없음”인 것으로 결정되며, A<S<B인 경우, 카메라 모듈의 현재 흔들림 정도가 “약간 흔들림”인 것으로 결정될 수 있으며, B<S<C인 경우, 카메라 모듈의 현재 흔들림 정도가 “작은 흔들림”인 것으로 결정될 수 있으며, S>C인 경우, 카메라 모듈의 현재 흔들림 정도가 “큰 흔들림”인 것으로 결정될 수 있다.
상기 실시예는 단지 예시적인 것이며, 본 발명을 제한하는 것으로 간주되어서는 안된다는 점에 유의해야 한다. 실제 사용에서, 임계값의 수치 및 각 임계값의 구체적인 값은 실제 필요에 따라 미리 설정될 수 있고, gyro 정보와 카메라 모듈의 흔들림 정도 사이의 매핑 관계는 gyro 정보와 각 임계값 사이의 관계에 따라 미리 설정된다.
단계(1802), 상기 카메라 모듈의 현재 흔들림 정도에 따라 취득될 이미지의 개수 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도를 결정한다.
여기서, ISO 값으로도 지칭되는 감광도는 네거티브 필름의 광선에 대한 민감도를 측정하는 지표를 지칭한다. 더 낮은 민감도를 갖는 네거티브 필름에 대해, 더 높은 민감도를 갖는 네거티브 필름과 동일한 이미지 효과를 달성하기 위해 더 긴 노출 시간이 요구된다. 디지털 카메라의 감광도는 필름의 감광도와 유사한 지표이고, 디지털 카메라의 ISO는 감광성 장치의 감광도를 조정하거나 감광핵을 조합함으로써 조정될 수 있으며, 즉, ISO를 향상시키는 목적은 감광성 장치의 감광 속도를 향상시키거나 인접한 감광핵 여러 개를 결합함으로써 달성될 수 있다. 디지털 촬영이나 네거티브 필름 촬영은 노출 시간을 감소시키기 위해, 상대적으로 높은 감광도를 이용할 때 노이즈가 도입되어 이미지 품질을 저하시킨다는 점에 유의해야 한다.
본 발명의 실시예에서, 기준 감광도는 카메라 모듈의 현재 흔들림 정도에 따라 현재 흔들림 정도에 맞게 조정된 가장 낮은 감광도일 수 있다. 각 프레임의 취득될 이미지에 대응하는 기준 감광도는 동일하거나 상이할 수 있고, 구체적인 수치는 해당 프레임의 이미지를 획득하기 위한 카메라 모듈의 현재 흔들림 정도와 관련된다.
본 발명의 실시예에서, 낮은 감광도를 갖는 멀티 프레임의 이미지를 동시에 취득하고 취득된 멀티 프레임의 이미지를 결합하여 타겟 이미지를 생성함으로써, 야경 촬영 이미지의 동적 범위 및 전체 밝기를 향상시킬 수 있을 뿐만 아니라, 감광도의 값을 제어하여 이미지의 노이즈를 효과적으로 억제할 수 있어, 야경 촬영 이미지의 품질을 향상시킬 수 있다.
취득될 이미지의 개수 및 취득될 이미지의 감광도는 전체 촬영 시간에 영향을 미칠 수 있고, 촬영 시간이 너무 길면, 핸드 헬드 촬영 동안 카메라 모듈의 흔들림 정도가 악화될 수 있어, 이미지 품질에 영향을 미칠 수 있다는 것을 이해해야 한다. 따라서, 카메라 모듈의 현재 흔들림 정도에 따라 취득될 이미지의 개수 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도를 획득하여 촬영 시간이 적절한 범위 내에서 제어되도록 한다.
구체적으로, 카메라 모듈의 현재 흔들림 정도가 작은 경우, 보다 많은 프레임의 이미지를 취득할 수 있으며, 각 프레임의 취득될 이미지에 대응하는 기준 감광도를 더 작은 값으로 적절하게 감소될 수 있어 각 프레임의 이미지의 노이즈를 효과적으로 억제할 수 있고 촬영된 이미지의 품질을 향상시키며; 카메라 모듈의 현재 흔들림 정도가 큰 경우, 보다 적은 프레임의 이미지를 취득할 수 있으며, 각 프레임의 취득될 이미지에 대응하는 기준 감광도를 더 큰 값으로 적절하게 증가될 수 있어 촬영 시간을 단축시킬 수 있다.
예를 들어, 카메라 모듈의 현재 흔들림 정도가 “흔들림이 없음”인 것으로 결정되면, 현재 가능한 촬영 모드는 삼각대 모드인 것으로 결정될 수 있는데, 이 때 가능한 한 더 높은 품질의 이미지를 획득하도록 더 많은 프레임의 이미지가 취득되고, 기준 감광도가 더 작은 값으로 결정되며, 예를 들어, 취득될 이미지의 개수는 17 프레임으로 결정되고 기준 감광도는 100으로 결정되며; 카메라 모듈의 현재 흔들림 정도가 “약간 흔들림”인 것으로 결정되면, 현재 가능한 촬영 모드는 핸드 헬드 모드인 것으로 결정될 수 있는데, 이 때 촬영 시간을 줄이도록 적은 프레임의 이미지가 취득될 수 있고, 기준 감광도가 더 큰 값으로 결정되며, 예를 들어, 취득될 이미지의 개수는 7 프레임으로 결정되고 기준 감광도는 200으로 결정되며; 카메라 모듈의 현재 흔들림 정도가 “작은 흔들림”인 것으로 결정되면, 현재 가능한 촬영 모드는 핸드 헬드 모드인 것으로 결정될 수 있는데, 이때 촬영 시간을 줄이도록 취득될 이미지의 개수를 더 감소시킬 수 있고, 기준 감광도를 더 증가시키며, 예를 들어, 취득될 이미지의 개수는 5 프레임으로 결정되고 기준 감광도는 220으로 결정되며; 카메라 모듈의 현재 흔들림 정도가 “큰 흔들림”인 것으로 결정되면, 현재의 흔들림 정도는 과도한 흔들림 정도인 것으로 결정될 수 있는데, 이 때, 촬영 시간을 줄이도록 취득될 이미지의 개수를 더 감소시키거나, 또는 멀티 프레임의 이미지 취득 모드가 사용되지 않을 수 있고 기준 감광도를 더 증가시키며, 예를 들어, 취득될 이미지는 3 프레임으로 결정되고, 기준 감광도는 250으로 결정된다.
상기 예들은 단지 예시적인 것이며, 본 발명을 제한하는 것으로 간주되어서는 안된다는 점에 유의해야 한다. 실제 사용에서, 카메라 모듈의 흔들림 정도가 변할 때, 최적의 방안을 얻기 위해 취득될 이미지의 개수 및 기준 감광도는 동시에 변경될 수 있고, 이미지들 중 하나는 변경될 수도 있다. 여기서, 카메라 모듈의 흔들림 정도와, 취득될 이미지의 개수 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도의 매핑 관계는 필요에 따라 미리 설정될 수 있다.
단계(1803), 촬영 장면의 현재 조도 및 상기 각 프레임의 취득될 이미지에 대응하는 기준 감광도에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정한다.
여기서, 노출 시간은 광이 카메라 렌즈를 통과하는 시간을 의미한다.
본 발명의 실시예에서, 촬영 장면의 현재 조도는 카메라 모듈 내의 광 측정 모듈을 이용하여 획득될 수 있으며, 현재 조도에 대응하는 노출 양은 자동 노출 제어(Auto Exposure Control, AEC) 알고리즘을 이용하여 결정되고, 각 프레임의 취득될 이미지에 대응하는 노출 시간은 결정된 노출 양 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도에 따라 결정될 수 있다.
노출 양은 조리개, 노출 시간 및 감광도와 관련된다. 여기서, 조리개, 즉 광 통과 개구로서, 이는 단위 시간 동안 빛이 통과하는 양을 결정한다. 각 프레임의 취득될 이미지에 대응하는 기준 감광도가 동일하고, 조리개의 크기가 동일하면, 촬영 장면의 현재 조도에 대응하는 노출 양이 많을수록, 각 프레임의 취득될 이미지에 대응하는 노출 시간은 더 크다.
또한, 상이한 동적 범위의 이미지를 획득하도록 각 프레임의 취득될 이미지에 대응하는 노출 시간은 상이하여, 합성된 이미지가 더 높은 동적 범위를 가지며, 이미지의 전체 밝기 및 품질은 개선된다. 본 발명의 실시예에 따른 하나의 가능한 구현 형태에서, 상기 단계(1803)는,
상기 촬영 장면의 현재 조도에 따라 기준 노출 양을 결정하는 단계;
상기 기준 노출 양 및 상기 각 프레임의 취득될 이미지에 대응하는 기준 감광도에 따라 기준 노출 시간을 결정하는 단계; 및
상기 기준 노출 시간 및 미리 설정된 노출 보정 모드에 따라 상기 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하는 단계; 를 포함한다.
여기서, 기준 노출 양은 상기 촬영 장면의 현재 조도에 따라 결정된 촬영 장면의 현재 조도에 대응하는 정상 노출 양을 의미한다 조리개의 크기가 결정될 때, 기준 노출 시간은 기준 감광도 및 기준 노출 양에 따라 결정될 수 있다.
본 발명의 실시예에서, 노출 보정 모드를 미리 설정함으로써 각 프레임의 취득될 이미지에 상이한 노출 보정 방법이 적용되어 상이한 동적 범위를 갖는 이미지를 획득하기 위해 취득될 이미지가 상이한 노출 양에 대응되도록 한다.
미리 설정된 노출 보정 모드는 각 프레임의 취득될 이미지에 대해 각각 미리 설정된 노출 보정 레벨의 조합(Exposure Value, EV)을 의미한다. 노출 양의 초기 정의에 있어서, 노출 양은 특정한 값을 의미하지 않지만, “동일한 노출 양을 제공할 수 있는 카메라의 조리개 및 노출 시간의 모든 조합”을 의미한다. 감광도, 조리개, 및 노출 시간은 카메라의 노출 양을 결정하며, 파라미터의 상이한 조합은 동일한 노출 양을 생성할 수 있다. 노출 보정 레벨은 노출 양을 조정하는 파라미터로서, 일부 이미지가 노출 부족되고, 일부 이미지가 과 노출되고, 일부 이미지가 적정 노출되게 할 수 있다.
EV 값과 감광도, 조리개 및 노출 시간 사이의 관계를 설명하기 위해 특정 데이터를 참조하여 아래에서 설명할 것이다. 예를 들어, 동일한 촬영 장면에서, 감광도가 같은 경우, 1/125초의 노출 시간 및 f11의 조리개의 조합과 1/250초의 노출 시간 및 f8의 셔터의 조합은 동일한 노출 양, 즉, EV 값을 획득할 수 있다. 종래의 카메라에서, EV 값이 0일 때, 즉 감광도가 100이고, 조리개 값이 F1이고, 노출 시간이 1 초일 때 획득된 노출 양을 의미한다. 노출 양이 1 단이 더 추가되며, 즉 노출 시간이 2 배로 되거나, 감광도가 2 배로 되거나, 조리개가 1 단이 더 추가되며, EV 값이 1로 증가되며, 즉, EV1에 대응하는 노출 양은 EV0에 대응하는 노출 양의 2 배이다. 노출 시간, 조리개 및 감광도 변화가 개별적으로 변할 때, EV값에 대응하는 관계는 표 1을 참조할 수 있다.
디지털 카메라에서 EV 값이 0일 때의 노출 양은 촬영 장면에서 주변광을 측정함으로써 얻어질 수 있다.
촬영기술이 디지털시대에 접어들면서 카메라 내부의 광 측정 기능은 이미 매우 강력해졌고, EV는 노출 스케일에 대한 레벨 차이를 나타내기 위해 사용되고, 많은 카메라는 노출 보정을 설정할 수 있게 하며, 일반적으로 EV로 표시한다. 이 경우, EV 는 카메라의 광 측정 데이터에 대응하는 노출 양 및 실제 노출 양의 차이 값을 의미하며, 예를 들어, EV+1의 노출 보정은 카메라의 광 측정 데이터에 대응하는 노출 양에 1단을 추가하며, 즉, 실제 노출 양은 카메라 광 측정 데이터에 대응하는 노출 양의 2배이다.
본 발명의 실시예에서, 노출 보정 모드가 미리 설정된 경우, 결정된 기준 노출 양에 대응하는 EV 값은 0으로 미리 설정될 수 있고, EV+1은 1단의 노출 양을 증가시키는 것을 의미하며, 즉, 노출 양은 기준 노출 양의 2배이고, EV+2는 2단의 노출 양을 증가시키는 것을 의미하며, 즉, 노출 양은 기준 노출 양의 4배이고, EV-1은 1단의 노출 양을 감소시키는 것을 의미하며, 즉, 노출 양은 기준 노출 양의 0.5배이다.
예를 들어, 취득될 이미지의 개수가 7프레임일 경우 미리 설정된 노출 보정 모드에 대응하는 EV 값 범위는 [+1, +1, +1, 0, -3, -6]이 될 수 있다. 여기서, 노출 보정 모드는 EV+1의 프레임일 때, 노이즈 문제는 해결될 수 있는데, 밝기가 비교적 높은 프레임을 통해 시간적 노이즈 감소를 수행하여 어두운 부분의 디테일이 개선되면서 노이즈가 억제되며; 노출 보정 모드는 EV-6의 프레임일 때, 하이라이트가 과 노출된 문제가 해결되고, 하이라이트 영역의 디테일을 유지하며; 노출 보정 모드는 EV0 및 EV-3의 프레임일 때, 하이라이트에서 어두운 부분으로의 과도를 유지하는데, 명암 과도의 효과를 유지한다.
미리 걸정된 노출 보정 모드에 대응하는 각각의 EV 값은 실제 필요에 따라 구체적으로 설정될 수 있거나, 설정된 EV 값 범위에 따라 각각의 EV 값 사이의 차이 값이 동일하다는 원리에 근거하여 구할 수 있으며, 본 발명의 실시예에 제한되지 않는다는 점에 유의해야 한다.
본 발명의 실시예에 따른 하나의 가능한 구현 형태에서, 조리개의 크기는 일정할 수 있고, 각각의 취득될 이미지는 결정된 기준 감광도를 이용하여 취득되기 때문에 카메라 모듈의 현재 흔들림 정도에 따라 현재의 취득될 이미지의 개수를 결정한 후, 현재의 취득될 이미지의 개수에 맞는 미리 설정된 노출 보정 모드 및 기준 노출 시간에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정할 수 있다. 구체적으로, 취득될 이미지에 대응하는 노출 보정 모드가 EV+1이면, 당해 취득될 이미지에 대응하는 노출 시간은 기준 시간의 2배이며; 취득될 이미지에 대응하는 노출 보정 모드가 EV-1이면, 당해 취득될 이미지에 대응하는 노출 시간은 기준 시간의 0.5배이다.
예를 들어, 카메라 모듈의 현재 흔들림 정도에 따라 취득될 이미지의 개수가 7 프레임인 경우, 이에 대응하는 미리 설정된 노출 보정 모드에 대응하는 EV 범위가 [+ 1, + 1, + 1, + 1, 0, -3, -6] 일 수 있고, 기준 노출 양 및 기준 감광도에 따라 기준 노출 시간이 100밀리초인 것으로 결정되면, 각 프레임의 취득될 이미지에 대응하는 노출 시간은 각각 200밀리초, 200밀리초, 200밀리초, 200밀리초, 100밀리초, 12.5밀리초, 6.25밀리초가 각각 될 수 있다.
또한, 미리 설정된 노출 보정 모드는 다양하게 설정될 수 있고, 실제 사용에서 카메라 모듈의 실시간 상황에 따라 현재 상황에 맞는 노출 보정 모드를 결정할 수 있다. 즉, 본 발명의 실시예에 따른 하나의 가능한 구현 형태에서, 기준 노출 시간 및 미리 설정된 노출 보정 모드에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하기 전에, 상기 카메라 모듈의 현재 흔들림 정도에 따라 상기 미리 설정된 노출 보정 모드를 결정하는 단계를 더 포함한다.
카메라 모듈의 현재 흔들림 정도는 상이하여 취득될 이미지의 개수도 상이하게 결정될 수 있고, 취득될 이미지의 개수가 상이할 때 상이한 노출 보정 모드를 채택할 필요가 있다는 것이 이해되어야 한다. 따라서, 본 발명의 실시예에 따른 하나의 가능한 구현 형태에서, 카메라 모듈의 흔들림 정도 및 노출 보정 모드 사이의 맵핑 관계를 미리 설정함으로써, 카메라 모듈의 현재 흔들림 정도에 따라 현재 취득될 이미지의 개수에 맞는 미리 설정된 노출 보정 모드를 결정할 수 있다.
예를 들어, “흔들림이 없음”이란 카메라 모듈의 흔들림 정도는, 그에 대응하는 노출 보정 모드의 EV 값 범위가 -6 ~ 2로 설정되고 인접한 EV 값들 사이의 차이 값이 0.5로 설정되며, “약간 흔들림”이란 카메라 모듈의 흔들림 정도는, 그에 대응하는 노출 보정 모드의 EV 값 범위가 -5~1로 설정되고 인접한 EV 값들 사이의 차이 값이 1로 설정된다.
또한, 얼굴 촬영 및 순수 경물 촬영은 촬영 이미지의 효과를 더 개선하기 위해 상이한 노출 보정 방법을 채택할 수 있다. 즉, 본 발명의 실시예에 따른 하나의 가능한 구현 형태에서, 미리 설정된 노출 보정 모드를 결정하는 단계는,
카메라 모듈에 의해 현재 취득된 이미지가 얼굴을 포함하는지 여부를 검출하는 단계;
얼굴이 포함되면, 카메라 모듈의 현재 흔들림 정도에 따라 상기 미리 설정된 노출 보정 모드를 제 1 모드로 결정하는 단계; 및
그렇지 않으면, 상기 카메라 모듈의 현재 흔들림 정도에 따라 상기 미리 설정된 노출 보정 모드를 제 2 모드로 결정하는 단계; 를 포함하고, 상기 제 2 모드에 대응하는 노출 보정 범위는 상기 제 1 모드에 대응하는 상기 노출 보정 범위보다 크다.
본 발명의 실시예에서, 피사체가 얼굴을 포함하는지 여부는 얼굴 인식 기술에 의해 결정될 수 있다. 얼굴 인식 기술은 얼굴 시각 특징 정보를 비교하여 분석함으로써 신원 인증을 수행하고, 생물학적 특징 인식 기술에 속하며, 생물체(일반적으로 사람)의 생물학적 특징을 통해 생물체 개체를 구별한다. 현재, 얼굴 인식 기술은 디지털 카메라 얼굴 자동 초점 및 스마일 셔터 기술; 기업, 주택의 보안 및 관리; 도어 제어 시스템; 카메라 모니터링 시스템 등과 같은 다양한 영역에 적용되어 왔다. 일상적으로 얼굴 인식 알고리즘은 얼굴 특징-기반 인식 알고리즘(Feature-based recognition algorithms), 전체 얼굴 이미지-기반 인식 알고리즘(Appearance-based recognition algorithms), 템플릿-기반 인식 알고리즘(Template-based recognition algorithms), 신경 네트워크를 사용한 인식 알고리즘(Recognition algorithms using neural network) 등을 포함한다.
카메라 모듈에 의해 현재 취득된 이미지가 얼굴을 포함한다고 검출될 때, 카메라 모듈의 광 측정 모듈은 주로 얼굴 영역의 광을 자동으로 측정하고, 얼굴 영역의 광 측정 결과에 따라 기준 노출 양을 결정한다. 그러나, 야경 모드에서, 얼굴 영역의 조도가 일반적으로 낮으며, 그 결과, 결정된 기준 노출 양은 얼굴이 포함되지 않을 때 결정된 기준 노출 양보다 더 높고, 얼굴이 포함될 때 너무 많은 과다 노출 프레임이 여전히 취득되면, 얼굴 영역이 과노출되게 하여 타겟 이미지의 나쁜 영향을 초래하게 된다. 따라서, 동일한 흔들림 정도에 대해, 카메라 모듈에 의해 취득된 이미지에 얼굴이 포함될 때에 대응하는 노출 보정 모드는 얼굴이 포함되지 않을 때보다 더 낮은 노출 보정 범위를 가져야 한다.
본 발명의 실시예에 따른 하나의 가능한 구현 형태에서, 동일한 흔들림 정도인 경우, 카메라 모듈에 의해 현재 취득된 이미지에 얼굴이 포함되는지 여부에 따라 상이한 노출 보정 방법을 이용할 수 있다. 따라서, 동일한 흔들림 정도인 경우, 복수의 노출 보정 모드에 대응할 수 있다. 예를 들어, 카메라 모듈의 흔들림 정도가 “약간 흔들림”인 경우, 이에 대응하는 미리 설정된 노출 보정 모드는 제 1 모드 및 제 2 모드를 포함하는데, 제 1 모드에 대응하는 각각의 EV 값은 [0, 0, 0, 0, -2, -4, -6]이고, 제 2 모드에 대응하는 각각의 EV 값은 [+ 1, + 1, + 1, + 1, 0, -3, -6]이다. 카메라 모듈의 현재 흔들림 정도를 결정하고 카메라 모듈에 의해 현재 취득된 이미지가 얼굴을 포함하는지 여부를 결정한 후, 현재의 실제 상황에 맞는 미리 설정된 노출 보정 모드는 결정될 수 있다.
예를 들어, 카메라 모듈의 현재 흔들림 정도가 “약간 흔들림”인 경우, 이에 대응하는 미리 설정된 노출 보정 모드는 제 1 모드 및 제 2 모드를 포함하는데, 제 1 모드에 대응하는 각각의 EV 값은 [0, 0, 0, 0, -2, -4, -6]이고, 제 2 모드에 대응하는 각각의 EV 값은 [+ 1, + 1, + 1, + 1, 0, -3, -6]이고, 따라서, 제 1 모드의 노출 보정 범위는 제 2 모드의 노출 보정 범위보다 작다. 카메라 모듈에 의해 현재 취득된 이미지가 얼굴을 포함한다고 검출되면, 미리 설정된 노출 보정 모드가 제 1 모드인 것으로 결정되고, 즉, 각각의 EV 값은 [0, 0, 0, 0, -2, -4, -6]이며; 카메라 모듈에 의해 현재 취득된 이미지가 얼굴을 포함하지 않는다고 검출되면, 미리 설정된 노출 보정 모드가 제 2 모드인 것으로 결정되고, 즉, 각각의 EV 값은 [+ 1, + 1, + 1, + 1, 0, -3, -6]이다.
또한, 카메라 모듈 내의 구성요소의 성능은 노출 보정 모드에 영향을 미칠 수 있다. 즉, 본 발명의 실시예에 따른 하나의 가능한 구현 형태에서, 카메라 어셈블리 내의 각각의 장치의 속성 정보는 미리 설정된 노출 보정 모드가 결정되기 전에 결정될 수 있으며; 미리 설정된 노출 보정 모드는 각 장치의 속성 정보 및 현재 흔들림 정도에 따라 결정된다. 예를 들어, 상이한 센서, 조리개, 셔터, 카메라 렌즈, 및 상이한 AEC 알고리즘 등에 대해, 노출 보정 모드에 대응하는 구체적인 EV 값은 차이가 존재할 수 있다.
단계(1804), 상기 각 프레임의 취득될 이미지에 대응하는 기준 감광도 및 노출 시간에 따라 멀티 프레임의 이미지를 순차적으로 취득한다.
단계(1805), 상기 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다.
본 발명의 실시예에서, 각 프레임의 취득될 이미지에 대응하는 기준 감광도 및 노출 시간을 결정된 후, 기준 감광도 및 노출 시간에 따라 멀티 프레임의 이미지를 순차적으로 취득하며, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다.
또한, 취득된 멀티 프레임의 이미지를 합성할 때, 최적의 효과를 갖는 타겟 이미지를 획득하기 위해 각 프레임의 이미지에 대해 상이한 가중치를 설정할 수 있다. 즉, 본 발명의 실시예에 따른 하나의 가능한 구현 형태에서, 상기 단계(1805)는, 상기 멀티 프레임의 이미지 중 각 프레임의 취득될 이미지에 대응하는 미리 설정된 가중치에 따라 상기 멀티 프레임의 이미지를 합성하는 단계를 포함한다.
본 발명의 실시예에 따른 카메라 모듈의 야경 촬영 처리 방법은, 야경 촬영 모드에서, 카메라 모듈의 현재 흔들림 정도를 검출하며, 현재 흔들림 정도에 따라 취득될 이미지의 개수 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도를 결정한 후, 촬영 장면의 현재 조도 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하며, 각 프레임의 취득될 이미지에 대응하는 기준 감광도 및 노출 시간에 따라 멀티 프레임의 이미지를 순차적으로 취득하며, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 카메라 모듈의 현재 흔들림 정도에 따라 취득될 이미지의 개수 및 기준 감광도를 결정하고, 촬영 장면의 현재 조도에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하며, 상이한 노출 시간을 갖는 이미지를 촬영하여 합성함으로써, 야경 촬영 모드에서 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 촬영된 이미지의 노이즈가 효과적으로 억제되고, 핸드 헬드 흔들림에 의해 야기된 고스트 현상이 억제되고, 야경 촬영 이미지의 품질이 개선되고, 사용자 경험이 개선된다.
도 19는 본 발명의 실시예에 따른 카메라 모듈의 야경 촬영 처리 장치의 개략적인 구조도이다.
도 19에 도시된 바와 같이, 당해 카메라 모듈의 야경 촬영 처리 장치(400)는 제 1 검출 모듈(410), 제 1 결정 모듈(420), 제 2 결정 모듈(430), 제 1 취득 모듈(440) 및 합성 모듈(450)을 포함한다.
제 1 검출 모듈(410)은 야경 촬영 모드에서 카메라 모듈의 현재 흔들림 정도를 검출한다.
제 1 결정 모듈(420)은 상기 카메라 모듈의 현재 흔들림 정도에 따라 취득될 이미지의 개수 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도를 결정한다.
제 2 결정 모듈(430)은 촬영 장면의 현재 조도 및 상기 각 프레임의 취득될 이미지에 대응하는 기준 감광도에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정한다.
제 1 취득 모듈(440)은 상기 각 프레임의 취득될 이미지에 대응하는 기준 감광도 및 노출 시간에 따라 멀티 프레임의 이미지를 순차적으로 취득한다.
합성 모듈(450)은 상기 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다.
실제 사용에서, 본 발명의 실시예에 따른 카메라 모듈의 야경 촬영 처리 장치는 전술한 카메라 모듈의 야경 촬영 처리 방법을 수행하기 위해 임의의 전자설비에 배치될 수 있다.
본 발명에 따른 하나의 가능한 구현 형태에서, 상기 카메라 모듈의 야경 촬영 처리 장치(400)는,
상기 각 프레임의 취득될 이미지에 대응하는 노출 시간이 미리 설정된 시간 범위 내에 있는지 여부를 검출하는 제 2 검출 모듈; 및
적어도 하나의 프레임의 취득될 이미지의 노출 시간이 미리 설정된 시간 범위 내에 있지 않으면, 상기 미리 설정된 시간 범위에 따라 상기 적어도 하나의 프레임의 취득될 이미지의 노출 시간을 업데이트하여 상기 적어도 하나의 프레임의 취득될 이미지의 노출 시간이 상기 미리 설정된 시간 범위 내에 있도록 하는 제 2 업데이트 모듈; 을 포함한다.
또한, 본 발명에 따른 다른 가능한 구현 형태에서, 상기 카메라 모듈의 야경 촬영 처리 장치(400)는,
상기 카메라 어셈블리 내의 광학 소자의 설정 방식에 따라 상기 미리 설정된 시간 범위를 결정하는 제 3 결정 모듈을 더 포함한다.
또한, 본 발명에 따른 또 다른 가능한 구현 형태에서, 상기 카메라 모듈의 야경 촬영 처리 장치(400)는,
업데이트 이전의 상기 적어도 하나의 프레임의 취득될 이미지의 노출 시간과 업데이트 이후의 노출 시간 사이의 차이 값에 따라 각 프레임의 취득될 이미지에 대응하는 노출 양 조정 모드를 결정하는 노출 양 조정 모드 결정 모듈;
노출 양 조정 모드에 따라 상기 각 프레임의 취득될 이미지의 감광도 및 노출 시간을 조정하는 조정 모듈; 을 더 포함한다.
본 발명에 따른 하나의 가능한 구현 형태에서, 상기 제 2 결정 모듈(430)은,
상기 촬영 장면의 현재 조도에 따라 기준 노광 양을 결정하며;
상기 기준 노출 양 및 상기 각 프레임의 취득될 이미지에 대응하는 감광도에 따라 기준 노출 시간을 결정하며;
상기 기준 노출 시간 및 미리 설정된 노출 보정 모드에 따라 상기 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정한다.
본 발명에 따른 다른 가능한 구현 형태에서, 상기 제 2 결정 모듈(430)은,
상기 카메라 모듈의 현재 흔들림 정도에 따라 상기 미리 설정된 노출 보정 모드를 결정한다.
본 발명에 따른 또 다른 가능한 구현 형태에서, 상기 제 2 결정 모듈(430)은,
상기 카메라 모듈에 의해 현재 취득된 이미지가 얼굴을 포함하는지 여부를 검출하며;
얼굴이 포함되면, 상기 카메라 모듈의 현재 흔들림 정도에 따라 상기 미리 설정된 노출 보정 모드를 제 1 모드로 결정하며;
그렇지 않으면, 상기 카메라 모듈의 현재 흔들림 정도에 따라 상기 미리 설정된 노출 보정 모드를 제 2 모드로 결정하며, 상기 제 2 모드에 대응하는 노출 보정 범위는 상기 제 1 모드에 대응하는 노출 보정 범위보다 크다.
본 발명에 따른 또 다른 가능한 구현 형태에서, 상기 제 2 결정 모듈(430)은,
상기 카메라 어셈블리 내의 각각의 장치의 속성 정보를 결정하며;
상기 각각의 장치의 속성 정보 및 상기 현재 흔들림 정도에 따라 상기 미리 설정된 노출 보정 모드를 결정한다.
본 발명에 따른 하나의 가능한 구현 형태에서, 상기 합성 모듈(450)은,
미리 설정된 상기 멀티 프레임의 이미지 내의 각 프레임의 취득될 이미지에 대응하는 가중치에 따라 상기 멀티 프레임의 이미지를 합성한다.
본 발명의 실시예에 따른 카메라 모듈의 야경 촬영 처리 장치는, 야경 촬영 모드에서, 카메라 모듈의 현재 흔들림 정도를 검출하며, 현재 흔들림 정도에 따라 취득될 이미지의 개수 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도를 결정한 후, 촬영 장면의 현재 조도 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하며, 각 프레임의 취득될 이미지에 대응하는 기준 감광도 및 노출 시간에 따라 멀티 프레임의 이미지를 순차적으로 취득하며, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성한다. 따라서, 카메라 모듈의 현재 흔들림 정도에 따라 취득될 이미지의 개수 및 기준 감광도를 결정하고, 촬영 장면의 현재 조도에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하며, 상이한 노출 시간을 갖는 이미지를 촬영하여 합성함으로써, 야경 촬영 모드에서 촬영된 이미지의 동적 범위 및 전체 밝기가 개선되면서 촬영된 이미지의 노이즈가 효과적으로 억제되고, 핸드 헬드 흔들림에 의해 야기된 고스트 현상이 억제되고, 야경 촬영 이미지의 품질이 개선되고, 사용자 경험이 개선된다.
상기 실시예를 달성하기 위해, 본 발명은 또한 전자설비를 제공한다. 도 20을 참조하면, 당해 전자설비(500)는 카메라 모듈(510), 프로세서(520), 메모리(530), 및 메모리에 저장되어 프로세서에서 실행가능한 컴퓨터 프로그램을 포함하고, 상기 프로세서(520)는 상기 카메라 모듈(510)에 연결되고 상기 컴퓨터 프로그램을 실행할 때, 전술한 실시예에서 설명된 카메라 모듈 야경 촬영 처리 방법을 구현한다.
예를 들어, 도 21을 참조하면, 도 20의 전자설비에 기초하여 상기 도 21은 본 발명의 실시예에 따른 전자설비의 원리를 설명하기 위한 개략도이다. 전자설비(600)의 메모리(530)는 비휘발성 메모리(80), 내부 기억장치(82), 및 프로세서(520)를 포함한다. 메모리(530)에는 컴퓨터 판독가능 명령이 저장되어 있다. 컴퓨터 판독가능 명령은 메모리에 의해 실행될 때, 프로세서(520)가 전술한 임의의 실시예에 따른 카메라 모듈 야경 장면 처리 방법을 수행하게 한다.
도 21에 도시된 바와 같이, 상기 전자설비(600)는 시스템 버스(81)에 의해 연결되는 프로세서(520), 카메라 모듈(510), 비휘발성 메모리(80), 내부 기억장치(82), 디스플레이 스크린(83), 및 입력 장치(84)를 포함한다. 전자설비(600)의 비휘발성 메모리(80)는 운영 체제 및 컴퓨터 판독가능 명령을 저장한다. 상기 컴퓨터 판독가능 명령은 본 발명의 실시예에 따른 노출 제어 방법을 구현하기 위해 프로세서(520)에 의해 실행될 수 있다. 상기 프로세서(520)는 전체 전자설비(600)의 동작을 지원하는 컴퓨팅 및 제어 능력을 제공한다. 전자설비(600)의 내부 기억장치(82)는 비휘발성 메모리(80) 내의 컴퓨터 판독가능 명령의 동작을 위한 환경을 제공한다. 전자설비(600)의 디스플레이 스크린(83)은 액정 디스플레이 스크린 또는 전자 잉크 디스플레이 스크린 등일 수 있다. 입력 장치(84)는 디스플레이 스크린(83)에 덮인 터치 층일 수 있고, 전자 설비(600)의 하우징에 배치된 버튼, 트랙볼 또는 터치 패드, 또는 외부 키보드, 터치패드 또는 마우스 등일 수 있다. 상기 전자설비(600)는 휴대폰, 태블릿 컴퓨터, 노트북 컴퓨터, 개인용 정보 단말기, 또는 웨어러블 디바이스(예를 들어, 스마트 팔찌, 스마트 워치, 스마트 헬멧, 스마트 안경) 등일 수 있다. 도 21에 도시된 구조는 단지 본 발명과 연관된 구조의 일부의 개략도이고, 본 발명이 적용되는 전자설비(600)에 대한 한정이 되지 않고, 구체적인 전자설비(600)는 도면에 도시된 것보다 많거나 적은 컴포넌트를 포함할 수 있거나, 또는 특정 컴포넌트를 조합하거나, 또는 상이한 컴포넌트 배열을 가질 수 있다는 것이 당업자에 의해 인식될 것이다.
하나의 가능한 구현 형태에서, 도 22를 참조하면, 도 22는 본 발명의 실시예에 따른 이미지 처리 회로의 원리를 설명하기 위한 개략도이다. 도 20의 전자설비는 또한 ISP(Image Signal Processing, 이미지 신호처리) 파이프라인을 정의하는 다양한 프로세싱 유닛을 포함하는 하드웨어 및/또는 소프트웨어 컴포넌트를 사용하여 구현될 수 있는 이미지 프로세싱 회로(90)를 포함할 수 있다. 도 21은 일 실시예에 따른 이미지 프로세싱 회로(90)의 개략도이다. 도 21에 도시된 바와 같이, 설명하기 쉽도록 본 발명의 실시예에 관련된 이미지 프로세싱 기술의 다양한 양태를 도시한다.
도 21에 도시된 바와 같이, 이미지 프로세싱 회로(90)는 ISP 프로세서(91)(ISP 프로세서(91)를 프로세서(320)로 한다) 및 제어 로직(92)을 포함한다. 카메라(93)에 의해 취득된 이미지 데이터는 먼저 ISP 프로세서(91)에 의해 처리하는데 ISP 프로세서(91)가 이미지 데이터를 분석하여 카메라(93)의 하나 또는 하나 이상의 제어 파라미터를 결정하기 위한 이미지 통계 정보를 캡처한다. 카메라 모듈(310)은 하나 또는 하나 이상의 카메라 렌즈(932) 및 이미지 센서(934)를 포함할 수도 있다. 이미지 센서(934)는 컬러 필터 어레이(예를 들어, 베이어 필터)를 포함할 수도 있고, 이미지 센서(934)는 각각의 이미징 픽셀에 의해 캡처된 광도 및 파장 정보를 획득할 수도 있고, ISP 프로세서(91)에 의해 처리될 수 있는 최초 이미지 데이터의 세트를 제공할 수도 있다. 센서(94)(예를 들어, 자이로 센서)는, 센서(94)의 인터페이스 타입에 기초하여, 취득된 이미지 처리의 파라미터(예를 들어, 흔들림 방지 파라미터)를 ISP 프로세서(91)에 제공할 수 있다. 센서(94)의 인터페이스는 표준 모바일 이미징 아키텍처(Standard Mobile Imaging Architecture, SMIA)인터페이스, 다른 직렬 또는 병렬 카메라 인터페이스, 또는 전술한 것들의 조합일 수 있다.
또한, 이미지 센서(934)는 최초 이미지 데이터를 센서(94)에 전송할 수 있고, 센서(94)는 센서(94) 인터페이스 타입에 기초하여 최초 이미지 데이터를 ISP 프로세서(91)에 제공할 수 있거나, 최초 이미지 데이터를 이미지 메모리(95)에 저장한다.
ISP 프로세서(91)는 다양한 포맷으로 최초 이미지 데이터를 순차적으로 처리한다. 예를 들어, 각각의 이미지 픽셀은 8, 10, 12 또는 14 비트의 비트 심도를 가질 수 있고, ISP 프로세서(91)는 최초 이미지 데이터에 대해 하나 또는 하나 이상의 이미지 처리 동작을 수행하여 이미지 데이터에 대한 통계 정보를 수집할 수 있다. 여기서, 이미지 처리 동작은 동일하거나 상이한 비트 심도 정밀도로 수행될 수 있다
ISP 프로세서(91)는 또한 이미지 메모리(95)로부터 이미지 데이터를 수신할 수 있다. 예를 들어, 센서(94) 인터페이스는 최초 이미지 데이터를 이미지 메모리(95)로 전송하고, 이미지 메모리(95) 내의 최초 이미지 데이터는 처리를 위해 ISP 프로세서(91)에 제공된다. 미지 메모리(95)는 메모리(330), 메모리(330)의 일부, 기억장치, 또는 전자설비 내의 별개의 전용 메모리일 수 있고, 다이렉트 메모리 액세스(DMA, Direct Memory Access) 특징을 포함할 수 있다.
이미지 센서(934) 인터페이스로부터 또는 센서(94) 인터페이스로부터 또는 이미지 메모리(95)로부터 최초 이미지 데이터를 수신할 때, ISP 프로세서(91)는 시간적 필터링(temporal filtering)과 같은 하나 또는 하나 이상의 이미지 처리 동작을 수행할 수 있다. 처리된 이미지 데이터는 디스플레이되기 전에 추가 처리를 위해 이미지 메모리(95)로 전송될 수 있다. ISP 프로세서(91)는 이미지 메모리(95)로부터 프로세싱 데이터를 수신하고, 원래의 도메인 및 RGB 및 YCbCr 컬러 공간에서 처리될 데이터에 대한 이미지 데이터 처리를 수행한다. ISP 프로세서(91)에 의해 처리된 이미지 데이터는 사용자 시청 및/또는 그래픽 엔진 또는 그래픽 프로세서(GPU, Graphics Processing Unit)에 의한 추가 처리를 위해 디스플레이(97)(디스플레이(97)는 디스플레이 스크린(83)을 포함할 수 있다)에 출력될 수 있다. 또한, ISP 프로세서(91)의 출력은 또한 이미지 메모리(95)로 전송될 수 있고, 디스플레이(97)는 이미지 메모리(95)로부터 이미지 데이터를 판독할 수 있다. 일 실시예에서, 이미지 메모리(95)는 하나 또는 하나 이상의 프레임 버퍼를 구현하도록 구성될 수 있다. 또한, ISP 프로세서(91)의 출력은 이미지 데이터를 인코딩/디코딩하기 위해 인코더/디코더(96)에 전송될 수 있다. 인코딩된 이미지 데이터는 저장될 수 있고 디스플레이(97) 디바이스에 디스플레이하기 전에 압축 해제될 수 있다. 인코더/디코더(96)는 CPU 또는 GPU 또는 코프로세서에 의해 구현될 수도 있다.
ISP 프로세서(91)에 의해 결정된 통계 데이터는 논리 제어 장치(92)에 전송될 수 있다. 예를 들어, 통계 데이터는 자동 노출, 자동 백광조정, 자동 초점, 섬광 검출, 흑 레벨 보정, 렌즈(932) 그림자 보정 등 이미지 센서(934)의 통계 정보를 포함할 수 있다. 논리 제어 장치(92)는 하나 또는 하나 이상의 루틴(예를 들어, 펌웨어)을 실행하는 프로세싱 엘리먼트 및/또는 마이크로 제어기를 포함할 수 있고, 하나 또는 하나 이상의 루틴은 수신된 통계 데이터에 카메라(93)의 제어 파라미터 및 ISP 프로세서(91)의 제어 파라미터를 결정할 수 있다. 예를 들어, 카메라(93)의 제어 파라미터는 센서(94) 제어 파라미터(예를 들어, 이득, 노출 제어의 적분 시간, 흔들림 방지 파라미터 등), 카메라 플래시 제어 파라미터, 렌즈(932) 제어 파라미터(예를 들어, 초점 또는 줌용 초점 거리), 또는 이들 파라미터의 조합을 포함할 수 있다. ISP 제어 파라미터는 자동백광조정 및 컬러 조정(예를 들어, RGB 처리 동안)을 위한 증익 레벨 및 컬러 보정 매트릭스, 및 렌즈(932) 그림자 보정 파라미터를 포함할 수 있다.
다음은 도 22의 이미지 처리 기술을 사용하여 카메라 모듈 야경 촬영 처리 방법을 구현하는 단계이다. ISP 프로세서가 카메라 모듈의 흔들림 정도에 따라 기준 감광도를 조정하는 단계; 촬영 장면의 밝기 정보 및 상기 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 노출시간을 결정하는 단계; 상기 기준 감광도 및 상기 멀티 프레임의 노출 시간에 따라 이미지를 취득하도록 상기 카메라 모듈을 제어하는 단계; 및 GPU를 이용하여 취득된 멀티 프레임의 이미지에 대한 합성 처리를 수행하여 타겟 이미지를 생성하는 단계를 포함한다.
전술한 실시예를 달성하기 위해, 본 발명의 실시예는 또한 저장 매체를 개시한다. 프로세서에 의해 상기 저장 매체 내의 명령어가 실행될 때, 상기 프로세서는 상기 저장 매체를 실행할 때 상기 실시예에서 설명된 야경 촬영 방법 및 카메라 모듈 야경 촬영 처리 방법을 실행한다.
당업자는, 전술한 실시예 방법에서의 과정의 전부 또는 일부가 실행되는 것은 컴퓨터 프로그램을 통하여 관련 하드웨어를 명령하여 구현될 수 있다는 것을 이해할 것이며, 전술한 프로그램은 비휘발성 컴퓨터 판독가능 저장 매체에 저장될 수 있고, 상기 프로그램이 실행될 때, 전술한 방법의 실시예와 같은 과정을 포함할 수 있다. 여기서, 상기 저장 매체는 자기 디스크, 광 디스크, 읽기 전용 기억 장치(Read-Only Memory, ROM) 등일 수 있다.
상기 실시예는 단지 본 발명의 몇몇 실시예의 예시일 뿐이며, 이는 보다 구체적이고 자세하게 설명되었으나, 그렇다고 해서 본 발명의 범위를 제한하는 것으로 해석되지 않아야 한다. 본 발명의 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변형 및 수정이 이루어질 수 있다는 것을 알아야 한다. 따라서, 본 발명의 청구 범위는 첨부된 청구항에 따라 결정하여야 한다.
Claims (53)
- 카메라 모듈에 적용되는 야경 촬영 방법에 있어서,
상기 카메라 모듈의 흔들림 정도를 획득하는 단계;
상기 흔들림 정도에 따라 기준 감광도를 조정하는 단계;
촬영 장면의 밝기 정보와 상기 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 노출 시간을 결정하는 단계;
상기 기준 감광도 및 상기 멀티 프레임의 취득될 이미지의 노출 시간에 따라 이미지를 취득하는 단계; 및
취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 단계;
를 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제1항에 있어서,
상기 촬영 장면의 밝기 정보와 상기 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 노출 시간을 결정하는 단계는,
상기 촬영 장면의 밝기 정보에 따라 기준 노출 양을 결정하는 단계;
상기 기준 노출 양 및 상기 기준 감광도에 따라 기준 노출 시간을 결정하는 단계; 및
각 프레임의 취득될 이미지의 노출 시간을 획득하도록 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨에 따라 상기 기준 노출 시간을 보정하는 단계;
를 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제2항에 있어서,
상기 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨에 따라 상기 기준 노출 시간을 보정하는 단계 이전에,
상기 흔들림 정도에 따라 노출 보정 모드를 조정하는 단계;
를 더 포함하고,
상기 노출 보정 모드는 취득될 이미지의 프레임 수 및 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨을 표시하는데 사용되는 것을 특징으로 하는,
야경 촬영 방법. - 제3항에 있어서,
상기 흔들림 정도에 따라 노출 보정 모드를 조정하는 단계는,
상기 흔들림 정도에 따라 취득될 이미지의 프레임 수를 조정하는 단계;
상기 카메라 모듈에 의해 취득된 이미지가 얼굴을 포함하는지 여부를 검출하는 단계;
얼굴이 포함되면, 상기 노출 보정 모드가 조정된 프레임 수에 맞는 제 1 모드인 것으로 결정되는 단계; 및
얼굴이 포함되지 않으면, 상기 노출 보정 모드가 조정된 프레임 수에 맞는 제 2 모드인 것으로 결정되는 단계;
를 포함하고,
상기 제 2 모드의 노출 보정 레벨 값 범위는 상기 제 1 모드의 노출 보정 레벨 값 범위보다 큰 것을 특징으로 하는,
야경 촬영 방법. - 제4항에 있어서,
상기 취득될 이미지의 프레임 수는 상기 흔들림 정도에 대하여 역 관계를 갖는 것을 특징으로 하는,
야경 촬영 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 흔들림 정도에 따라 기준 감광도를 조정하는 단계는,
상기 흔들림 정도가 흔들림 임계값보다 크거나 같으면, 상기 기준 감광도를 제 1 감광도 값으로 결정하는 단계; 및
상기 흔들림 정도가 상기 흔들림 임계값보다 작으면, 상기 기준 감광도를 제 2 감광도 값으로 결정하는 단계;
를 포함하고,
상기 제 1 감광도 값은 제 2 감광도 값보다 큰 것을 특징으로 하는,
야경 촬영 방법. - 제6항에 있어서,
상기 제 1 감광도 값은 상기 제 2 감광도 값의 미리 설정된 배수이며, 상기 미리 설정된 배수는 2보다 크거나 같고,
상기 제 2 감광도 값은 상기 카메라 모듈의 최소 감광도인 것을 특징으로 하는,
야경 촬영 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 촬영 장면의 밝기 정보와 상기 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 노출 시간을 결정하는 단계 이후에,
각 프레임의 취득될 이미지의 노출 시간을 설정된 시간의 상한과 비교하는 단계; 및
취득될 이미지에 시간 상한보다 큰 노출 시간을 가지는 제 1 이미지가 존재하면, 상기 제 1 이미지의 노출 시간을 시간 상한으로 감소시키는 단계;
를 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제8항에 있어서,
상기 각 프레임의 취득될 이미지의 노출 시간을 설정된 시간의 상한과 비교하는 단계 이전에,
상기 흔들림 정도에 따라 상기 시간 상한을 결정하는 단계
를 더 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제9항에 있어서,
상기 흔들림 정도에 따라 상기 시간 상한을 결정하는 단계는,
상기 흔들림 정도가 흔들림 임계치보다 크거나 같으면, 상기 시간 상한을 제 1 시간으로 결정하는 단계; 및
상기 흔들림 정도가 흔들림 임계치보다 작으면, 상기 시간 상한을 제 2 시간으로 결정하는 단계;
를 포함하고,
상기 제 1 시간은 제 2 시간보다 작은 것을 특징으로 하는,
야경 촬영 방법. - 제10항에 있어서,
상기 제 1 시간의 값 범위는 150ms 내지 300ms이고;
상기 제 2 시간의 값 범위는 4.5초 내지 5.5초인 것을 특징으로 하는,
야경 촬영 방법. - 제8항 내지 제11항 중 어느 한 항에 있어서,
상기 제 1 이미지의 노출 시간을 시간 상한으로 감소시키는 단계는,
감소 전의 상기 제 1 이미지 노출 시간과 감소 후의 상기 제 1 이미지 노출 시간의 비율에 따라 상기 제 1 이미지의 감광도를 증가하는 단계
를 더 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 촬영 장면의 밝기 정보와 상기 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 노출 시간을 결정하는 단계는,
각 프레임의 취득될 이미지의 노출시간을 설정된 시간 하한과 비교하는 단계; 및
취득될 이미지에는 상기 시간 하한보다 작은 노출 시간을 가지는 제 2 이미지가 존재하면, 상기 제 2 이미지의 노출 시간을 상기 시간 하한으로 증가시키는 단계;
를 더 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제13항에 있어서,
상기 제 2 이미지의 노출 시간을 상기 시간 하한으로 증가시키는 단계 이후에,
증가 후의 상기 제 2 이미지 노출 시간과 증가 전의 상기 제 2 이미지 노출 시간의 비율을 결정하는 단계; 및
상기 시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 상기 비율에 따라 상기 나머지 각 프레임의 취득될 이미지의 감광도 또는 노출 시간을 업데이트하는 단계;
를 더 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제14항에 있어서,
상기 시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 상기 비율에 따라 상기 나머지 각 프레임의 취득될 이미지의 감광도 또는 노출 시간을 업데이트하는 단계는,
상기 시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 상기 비율과 상기 나머지 각 프레임의 취득될 이미지의 업데이트 이전의 감광도의 곱을 상기 나머지 각 프레임의 취득될 이미지의 업데이트 이후의 감광도로 하는 단계, 또는
상기 시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 상기 비율과 상기 나머지 각 프레임의 취득될 이미지의 업데이트 이전의 노출 시간의 곱을 상기 나머지 각 프레임의 취득될 이미지의 업데이트 이후의 노출 시간으로 하는 단계
를 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제14항 또는 제15항에 있어서,
상기 시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 상기 비율에 따라 상기 나머지 각 프레임의 취득될 이미지의 감광도 또는 노출 시간을 업데이트하는 단계 이전에,
상기 나머지 각 프레임의 취득될 이미지에 시간 상한보다 큰 노출 시간을 가지는 제 1 이미지가 존재하면, 상기 시간 상한에 따라 상기 제 1 이미지의 노출 시간을 감소시키는 단계; 및
감소 전의 상기 제 1 이미지 노출 시간과 감소 후의 상기 제 1 이미지 노출 시간의 비율에 따라 상기 제 1 이미지의 감광도를 증가시키는 단계;
를 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제13항 내지 제16항 중 어느 한 항에 있어서,
상기 시간 하한은 10ms보다 크거나 같은 것을 특징으로 하는,
야경 촬영 방법. - 카메라 모듈에 적용되는 야경 촬영 방법에 있어서,
상기 카메라 모듈의 흔들림 정도를 획득하는 단계;
상기 흔들림 정도에 따라 노출 시간을 조정하는 단계;
촬영 장면의 밝기 정보와 상기 노출 시간에 따라 멀티 프레임의 취득될 이미지의 감광도를 결정하는 단계;
상기 멀티 프레임의 취득될 이미지의 감광도 및 상기 노출 시간에 따라 이미지를 취득하는 단계; 및
취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 단계;
를 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제18항에 있어서,
상기 흔들림 정도에 따라 노출 시간을 조정하는 단계는,
상기 흔들림 정도에 따라 각 노출 보정 레벨에 대응하는 노출 시간을 결정하는 단계; 및
각 프레임의 취득될 이미지에 설정된 노출 보정 레벨 및 각 노출 보정 레벨에 대응하는 노출 시간에 따라 각 프레임의 취득될 이미지의 노출 시간을 결정하는 단계;
를 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제19항에 있어서,
각 프레임의 취득될 이미지에 설정된 노출 보정 레벨 및 각 노출 보정 레벨에 대응하는 노출 시간에 따라 각 프레임의 취득될 이미지의 노출 시간을 결정하는 단계 이전에,
상기 흔들림 정도에 따라 노출 보정 모드를 조정하는 단계
를 더 포함하고,
상기 노출 보정 모드는 취득될 이미지의 프레임 수 및 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨을 표시하는데 사용되는 것을 특징으로 하는,
야경 촬영 방법. - 제20항에 있어서,
상기 흔들림 정도에 따라 노출 보정 모드를 조정하는 단계는,
상기 흔들림 정도에 따라 취득될 이미지의 프레임 수를 조정하는 단계;
상기 카메라 모듈에 의해 취득된 이미지가 얼굴을 포함하는지 여부를 검출하는 단계;
얼굴이 포함되면, 상기 노출 보정 모드가 조정된 프레임 수에 맞는 제 1 모드인 것으로 결정되는 단계; 및
얼굴이 포함되지 않으면, 상기 노출 보정 모드가 조정된 프레임 수에 맞는 제 2 모드인 것으로 결정되는 단계;
를 포함하고
상기 제 2 모드의 노출 보정 레벨 값 범위는 상기 제 1 모드의 노출 보정 레벨 값 범위보다 큰 것을 특징으로 하는,
야경 촬영 방법. - 제18항 내지 제21항 중 어느 한 항에 있어서,
상기 촬영 장면의 밝기 정보와 상기 노출 시간에 따라 멀티 프레임의 취득될 이미지의 감광도를 결정하는 단계 이후에,
각 프레임의 취득될 이미지의 감광도를 설정된 감광도 상한과 비교하는 단계; 및
취득될 이미지에는 감광도 상한보다 큰 감광도를 가지는 제 1 이미지가 존재하면, 상기 감광도 상한에 따라 상기 제 1 이미지의 감광도를 감소시키는 단계;
를 더 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제22항에 있어서,
상기 각 프레임의 취득될 이미지의 감광도를 설정된 감광도 상한과 비교하는 단계 이전에,
카메라 모듈의 흔들림 정도에 따라 상기 감광도 상한을 결정하는 단계
를 더 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제23항에 있어서,
상기 카메라 모듈의 흔들림 정도에 따라 상기 감광도 상한을 결정하는 단계는,
상기 흔들림 정도가 흔들림 임계값보다 크거나 같으면 상기 감광도 상한이 제 1 감광도 값인 것으로 결정하는 단계; 및
상기 흔들림 정도가 흔들림 임계값보다 작으면 상기 감광도 상한이 제 2 감광도 값인 것으로 결정하는 단계;
를 포함하고,
상기 제 1 감광도 값은 상기 제 2 감광도 값보다 큰 것을 특징으로 하는,
야경 촬영 방법. - 제22항 내지 제24항 중 어느 한 항에 있어서,
상기 감광도 상한에 따라 상기 제 1 이미지의 감광도를 감소시키는 단계는,
감소 전의 상기 제 1 이미지 감광도와 감소 후의 상기 제 1 이미지 감광도의 비율에 따라 상기 제 1 이미지의 노출 시간을 증가시키는 단계
를 더 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제18항 내지 제21항 중 어느 한 항에 있어서,
상기 촬영 장면의 밝기 정보와 상기 노출 시간에 따라 멀티 프레임의 취득될 이미지의 감광도를 결정하는 단계 이후에,
각 프레임의 취득될 이미지의 감광도를 설정된 감광도 하한과 비교하는 단계; 및
취득될 이미지에는 상기 감광도 하한보다 작은 감광도를 가지는 제 2 이미지가 존재하면, 상기 감광도 하한에 따라 상기 제 2 이미지의 감광도를 증가시키는 단계;
를 더 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제26항에 있어서,
상기 감광도 하한에 따라 제 2 이미지의 감광도를 증가시키는 단계 이후에,
증가 후의 상기 제 2 이미지 감광도와 증가 전의 상기 제 2 이미지 감광도의 비율을 결정하는 단계; 및
상기 감광도 하한보다 크거나 같은 감광도를 가지는 나머지 각 프레임의 취득될 이미지에 대해, 상기 비율에 따라 상기 나머지 각 프레임의 취득될 이미지의 감광도 또는 노출 시간을 업데이트하는 단계;
를 더 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 카메라 모듈에 적용되는 야경 촬영 방법에 있어서,
상기 카메라 모듈의 흔들림 정도를 획득하는 단계;
상기 흔들림 정도에 따라 촬영 장면의 밝기 정보 하에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 감광도를 조정하는 단계;
각 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득하는 단계; 및
취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 단계;
를 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제28항에 있어서,
상기 흔들림 정도에 따라 촬영 장면의 밝기에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 감광도를 조정하는 단계는,
상기 촬영 장면의 밝기 정보 및 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨에 따라 노출 테이블을 체크하여 해당 취득될 이미지의 노출 시간 및 감광도를 획득하는 단계; 및
상기 흔들림 정도에 따라, 각 프레임의 취득될 이미지의 체크된 노출 시간을 조정하여 해당 취득될 이미지의 감광도를 상기 흔들림 정도에 대응하는 감광도 임계값보다 낮도록 조정하는 단계;
를 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제29항에 있어서,
상기 촬영 장면의 밝기 정보 및 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨에 따라 노출 테이블을 체크하여 해당 취득될 이미지의 노출 시간 및 감광도를 획득하는 단계 이전에,
상기 흔들림 정도에 따라 노출 보정 모드를 조정하는 단계
를 더 포함하고,
상기 노출 보정 모드는 취득될 이미지의 프레임 수 및 각 프레임의 취득될 이미지에 설정된 노출 보정 레벨을 표시하는데 사용되는 것을 특징으로 하는,
야경 촬영 방법. - 제30항에 있어서,
상기 흔들림 정도에 따라 노출 보정 모드를 조정하는 단계는,
상기 흔들림 정도에 따라 취득될 이미지의 프레임 수를 조정하는 단계;
상기 카메라 모듈에 의해 취득된 이미지가 얼굴을 포함하는지 여부를 검출하는 단계;
얼굴이 포함되면, 상기 노출 보정 모드가 조정된 프레임 수에 맞는 제 1 모드인 것으로 결정되는 단계; 및
얼굴이 포함되지 않으면, 상기 노출 보정 모드가 조정된 프레임 수에 맞는 제 2 모드인 것으로 결정되는 단계;
를 포함하고,
상기 제 2 모드의 노출 보정 레벨 값 범위는 상기 제 1 모드의 노출 보정 레벨 값 범위보다 큰 것을 특징으로 하는,
야경 촬영 방법. - 제28항 내지 제31항 중 어느 한 항에 있어서,
상기 흔들림 정도에 따라 촬영 장면의 밝기 정보 하에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 감광도를 조정하는 단계 이후에,
각 프레임의 취득될 이미지의 노출 시간을 설정된 노출 시간 상한과 비교하는 단계; 및
취득될 이미지에는 상기 노출 시간 상한보다 큰 노출 시간을 가지는 제 1 이미지가 존재하면, 상기 노출 시간 상한에 따라 상기 제 1 이미지의 노출 시간을 감소시키는 단계;
를 더 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제32항에 있어서,
상기 각 프레임의 취득될 이미지의 노출 시간을 설정된 노출 시간 상한과 비교하는 단계 이전에,
상기 흔들림 정도에 따라 상기 노출 시간 상한을 결정하는 단계
를 더 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제33항에 있어서,
상기 흔들림 정도에 따라 상기 노출 시간 상한을 결정하는 단계는,
상기 흔들림 정도가 흔들림 임계치보다 크거나 같으면, 상기 시간 상한을 제 1 시간으로 결정하는 단계; 및
상기 흔들림 정도가 흔들림 임계치보다 작으면, 상기 시간 상한을 제 2 시간으로 결정하는 단계;
를 포함하고,
상기 제 1 시간은 상기 제 2 시간보다 작은 것을 특징으로 하는,
야경 촬영 방법. - 제32항 내지 제34항 중 어느 한 항에 있어서,
상기 노출 시간 상한에 따라 상기 제 1 이미지의 노출 시간을 감소시키는 단계 이후에,
감소 전의 상기 제 1 이미지 노출 시간과 감소 후의 상기 제 1 이미지 노출 시간의 비율에 따라 상기 제 1 이미지의 감광도를 증가시키는 단계
를 더 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제28항 내지 제31항 중 어느 한 항에 있어서,
상기 흔들림 정도에 따라 촬영 장면의 밝기 정보 하에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 감광도를 조정하는 단계 이후에,
각 프레임의 취득될 이미지의 노출 시간을 설정된 노출 시간 하한과 비교하는 단계; 및
취득될 이미지에는 상기 노출 시간 하한보다 작은 노출 시간을 가지는 제 2 이미지가 존재하면, 상기 시간 하한에 따라 상기 제 2 이미지의 노출 시간을 증가시키는 단계;
를 더 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 제36항에 있어서,
상기 시간 하한에 따라 상기 제 2 이미지의 노출 시간을 증가시키는 단계 이후에,
증가 후의 상기 제 2 이미지 노출 시간과 증가 전의 상기 제 2 이미지 노출 시간의 비율을 결정하는 단계; 및
상기 시간 하한보다 크거나 같은 노출 시간을 가지는 나머지 각 프레임의 취득될 이미지에 대해, 상기 비율에 따라 상기 나머지 각 프레임의 취득될 이미지의 감광도 또는 노출 시간을 업데이트하는 단계;
를 더 포함하는 것을 특징으로 하는,
야경 촬영 방법. - 카메라 모듈에 적용되는 야경 촬영 장치에 있어서,
상기 카메라 모듈의 흔들림 정도를 획득하는 획득 모듈;
상기 흔들림 정도에 따라 기준 감광도를 조정하는 조정 모듈;
촬영 장면의 밝기 정보와 상기 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 노출 시간을 결정하는 결정 모듈;
상기 기준 감광도 및 상기 멀티 프레임의 취득될 이미지의 노출 시간에 따라 이미지를 취득하는 취득 모듈; 및
취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 생성 모듈;
을 포함하는 것을 특징으로 하는,
야경 촬영 장치. - 카메라 모듈에 적용되는 야경 촬영 장치에 있어서,
상기 카메라 모듈의 흔들림 정도를 획득하는 획득 모듈;
상기 흔들림 정도에 따라 노출 시간을 조정하는 조정 모듈;
촬영 장면의 밝기 정보와 상기 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 감광도를 결정하는 결정 모듈;
멀티 프레임의 취득될 이미지의 감광도 및 상기 노출 시간에 따라 이미지를 취득하는 취득 모듈; 및
취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 생성 모듈;
을 포함하는 것을 특징으로 하는,
야경 촬영 장치. - 카메라 모듈에 적용되는 야경 촬영 장치에 있어서,
상기 카메라 모듈의 흔들림 정도를 획득하는 획득 모듈;
상기 흔들림 정도에 따라, 촬영 장면의 밝기에서, 멀티 프레임의 취득될 이미지의 노출 시간 및 해당 취득될 이미지에 필요한 감광도를 조정하는 조정 모듈;
각 프레임의 취득될 이미지의 노출 시간 및 감광도에 따라 이미지를 취득하는 취득 모듈; 및
취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 생성 모듈;
을 포함하는 것을 특징으로 하는,
야경 촬영 장치. - 야경 촬영 모드에서 카메라 모듈의 현재 흔들림 정도를 검출하는 단계;
상기 카메라 모듈의 현재 흔들림 정도에 따라 취득될 이미지의 개수 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도를 결정하는 단계;
촬영 장면의 현재 조도 및 상기 각 프레임의 취득될 이미지에 대응하는 기준 감광도에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하는 단계;
상기 각 프레임의 취득될 이미지에 대응하는 기준 감광도 및 노출 시간에 따라 멀티 프레임의 이미지를 순차적으로 취득하는 단계; 및
상기 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 단계;
를 포함하는 것을 특징으로 하는,
카메라 모듈의 야경 촬영 처리 방법. - 제41항에 있어서,
각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하는 단계 이후에,
상기 각 프레임의 취득될 이미지에 대응하는 노출 시간이 미리 설정된 시간 범위 내에 있는지 여부를 검출하는 단계; 및
적어도 하나의 프레임의 취득될 이미지의 노출 시간이 미리 설정된 시간 범위 내에 있지 않으면, 상기 미리 설정된 시간 범위에 따라 상기 적어도 하나의 프레임의 취득될 이미지의 노출 시간을 업데이트하여 상기 적어도 하나의 프레임의 취득될 이미지의 노출 시간이 상기 미리 설정된 시간 범위 내에 있도록 하는 단계;
를 더 포함하는 것을 특징으로 하는,
카메라 모듈의 야경 촬영 처리 방법. - 제42항에 있어서,
상기 각 프레임의 취득될 이미지에 대응하는 노출 시간이 미리 설정된 시간 범위 내에 있는지 여부를 검출하는 단계 이전에,
상기 카메라 어셈블리 내의 광학 소자의 설정 방식에 따라 상기 미리 설정된 시간 범위를 결정하는 단계
를 더 포함하는 것을 특징으로 하는,
카메라 모듈의 야경 촬영 처리 방법. - 제42항에 있어서,
상기 적어도 하나의 프레임의 취득될 이미지의 노출 시간을 업데이트하는 단계 이후에,
업데이트 이전의 상기 적어도 하나의 프레임의 취득될 이미지의 노출 시간과 업데이트 이후의 노출 시간 사이의 차이 값에 따라 상기 각 프레임의 취득될 이미지에 대응하는 노출 양 조정 모드를 결정하는 단계; 및
상기 노출 양 조정 모드에 따라 상기 각 프레임의 취득될 이미지의 감광도 및 노출 시간을 조정하는 단계;
를 더 포함하는 것을 특징으로 하는,
카메라 모듈의 야경 촬영 처리 방법. - 제41항 내지 제44항 중 어느 한 항에 있어서,
상기 촬영 장면의 현재 조도 및 상기 각 프레임의 취득될 이미지에 대응하는 기준 감광도에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하는 단계는,
상기 촬영 장면의 현재 조도에 따라 기준 노출 양을 결정하는 단계;
상기 기준 노출 양 및 상기 각 프레임의 취득될 이미지에 대응하는 기준 감광도에 따라 기준 노출 시간을 결정하는 단계; 및
상기 기준 노출 시간 및 미리 설정된 노출 보정 모드에 따라 상기 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하는 단계;
를 포함하는 것을 특징으로 하는,
카메라 모듈의 야경 촬영 처리 방법. - 제45항에 있어서,
상기 기준 노출 시간 및 미리 설정된 노출 보정 모드에 따라 상기 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하는 단계 이전에,
상기 카메라 모듈의 현재 흔들림 정도에 따라 상기 미리 설정된 노출 보정 모드를 결정하는 단계
를 더 포함하는 것을 특징으로 하는,
카메라 모듈의 야경 촬영 처리 방법. - 제46항에 있어서,
상기 미리 설정된 노출 보정 모드를 결정하는 단계는,
상기 카메라 모듈에 의해 현재 취득된 이미지가 얼굴을 포함하는지 여부를 검출하는 단계;
얼굴이 포함되면, 상기 카메라 모듈의 현재 흔들림 정도에 따라 상기 미리 설정된 노출 보정 모드를 제 1 모드로 결정하는 단계; 및
얼굴이 포함되지 않으면, 상기 카메라 모듈의 현재 흔들림 정도에 따라 상기 미리 설정된 노출 보정 모드를 제 2 모드로 결정하는 단계;
를 포함하고,
상기 제 2 모드에 대응하는 노출 보정 범위는 상기 제 1 모드에 대응하는 상기 노출 보정 범위보다 큰 것을 특징으로 하는,
카메라 모듈의 야경 촬영 처리 방법. - 제46항 또는 제47항에 있어서,
상기 미리 설정된 노출 보정 모드를 결정하는 단계 이전에,
상기 카메라 어셈블리 내의 각각의 장치의 속성 정보를 결정하는 단계
를 더 포함하고,
상기 미리 설정된 노출 보정 모드를 결정하는 단계는,
상기 각각의 장치의 속성 정보 및 상기 현재 흔들림 정도에 따라 상기 미리 설정된 노출 보정 모드를 결정하는 단계
를 포함하는 것을 특징으로 하는,
카메라 모듈의 야경 촬영 처리 방법. - 제41항 내지 제48항 중 어느 한 항에 있어서,
상기 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 단계는,
미리 설정된 상기 멀티 프레임의 이미지 내의 각 프레임의 취득될 이미지에 대응하는 가중치에 따라 상기 멀티 프레임의 이미지를 합성하는 단계
를 포함하는 것을 특징으로 하는,
카메라 모듈의 야경 촬영 처리 방법. - 야경 촬영 모드에서 카메라 모듈의 현재 흔들림 정도를 검출하는 제 1 검출 모듈;
상기 카메라 모듈의 현재 흔들림 정도에 따라 취득될 이미지의 개수 및 각 프레임의 취득될 이미지에 대응하는 기준 감광도를 결정하는 제 1 결정 모듈;
촬영 장면의 현재 조도 및 상기 각 프레임의 취득될 이미지에 대응하는 기준 감광도에 따라 각 프레임의 취득될 이미지에 대응하는 노출 시간을 결정하는 제 2 결정 모듈;
상기 각 프레임의 취득될 이미지에 대응하는 기준 감광도 및 노출 시간에 따라 멀티 프레임의 이미지를 순차적으로 취득하는 취득 모듈; 및
상기 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 합성 모듈;
을 포함하는 것을 특징으로 하는,
카메라 모듈의 야경 촬영 처리 장치. - 카메라 모듈, 메모리, 프로세서, 및 메모리에 저장되어 프로세서에서 실행가능한 컴퓨터 프로그램을 포함하고,
상기 프로세서는 상기 카메라 모듈에 연결되고,
상기 프로세서가 상기 컴퓨터 프로그램을 실행할 때, 제1항 내지 제17항 중 어느 한 항에 따른 야경 촬영 방법, 제18항 내지 제27항 중 어느 한 항에 따른 야경 촬영 방법, 제28항 내지 제37항 중 어느 한 항에 따른 야경 촬영 방법, 또는 제41항 내지 제49항 중 어느 한 항에 따른 카메라 모듈의 야경 촬영 처리 방법을 구현하는 것을 특징으로 하는,
전자설비. - 이미지 신호처리에 사용되는 ISP 프로세서 및 그래픽 프로세서 (GPU)를 포함하고,
상기 ISP 프로세서는 카메라 모듈과 연결되어 상기 카메라 모듈의 흔들림 정도에 따라 기준 감도를 조정하며; 촬영 장면의 밝기 정보 및 상기 기준 감광도에 따라 멀티 프레임의 취득될 이미지의 노출 시간을 결정하며; 상기 기준 감광도 및 상기 멀티 프레임의 취득될 이미지의 노출 시간에 따라 이미지를 취득하도록 상기 카메라 모듈을 제어하고,
상기 GPU는 ISP 프로세서에 연결되고, 취득된 멀티 프레임의 이미지를 합성하여 타겟 이미지를 생성하는 것을 특징으로 하는,
이미지 처리 회로. - 프로세서에 의해 상기 저장 매체 내의 명령어가 실행될 때, 제1항 내지 제17항 중 어느 한 항에 따른 야경 촬영 방법, 제18항 내지 제27항 중 어느 한 항에 따른 야경 촬영 방법, 제28항 내지 제37항 중 어느 한 항에 따른 야경 촬영 방법, 또는 제41항 내지 제49항 중 어느 한 항에 따른 카메라 모듈의 야경 촬영 처리 방법을 구현하는 것을 특징으로 하는,
저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810963331.3 | 2018-08-22 | ||
| CN201810963331.3A CN109005366B (zh) | 2018-08-22 | 2018-08-22 | 摄像模组夜景摄像处理方法、装置、电子设备及存储介质 |
| PCT/CN2019/088017 WO2020038028A1 (zh) | 2018-08-22 | 2019-05-22 | 夜景拍摄方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210024053A true KR20210024053A (ko) | 2021-03-04 |
| KR102642993B1 KR102642993B1 (ko) | 2024-03-04 |
Family
ID=64593679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217001996A KR102642993B1 (ko) | 2018-08-22 | 2019-05-22 | 야경 촬영 방법, 장치, 전자설비, 및 저장 매체 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11089207B2 (ko) |
| EP (1) | EP3624439B1 (ko) |
| JP (1) | JP7371081B2 (ko) |
| KR (1) | KR102642993B1 (ko) |
| CN (1) | CN109005366B (ko) |
| AU (1) | AU2019326496B2 (ko) |
| WO (1) | WO2020038028A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022191585A1 (ko) * | 2021-03-08 | 2022-09-15 | 삼성전자 주식회사 | 전자 장치의 촬영 방법 및 그 전자 장치 |
| WO2023224216A1 (ko) * | 2022-05-20 | 2023-11-23 | 삼성전자주식회사 | 저전력 프로세서를 이용하여 카메라의 광학식 흔들림 보정을 제어하는 장치 및 방법 |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3286915B1 (en) | 2015-04-23 | 2021-12-08 | Apple Inc. | Digital viewfinder user interface for multiple cameras |
| US9716825B1 (en) | 2016-06-12 | 2017-07-25 | Apple Inc. | User interface for camera effects |
| DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
| US11112964B2 (en) | 2018-02-09 | 2021-09-07 | Apple Inc. | Media capture lock affordance for graphical user interface |
| US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
| US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
| CN109005366B (zh) | 2018-08-22 | 2020-04-28 | Oppo广东移动通信有限公司 | 摄像模组夜景摄像处理方法、装置、电子设备及存储介质 |
| DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
| US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| US10674072B1 (en) | 2019-05-06 | 2020-06-02 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
| US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| CN109547703B (zh) * | 2018-12-28 | 2021-04-13 | 北京旷视科技有限公司 | 一种摄像设备的拍摄方法、装置、电子设备及介质 |
| CN110062159A (zh) * | 2019-04-09 | 2019-07-26 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法、装置、电子设备 |
| CN110072052B (zh) * | 2019-04-09 | 2021-08-27 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法、装置、电子设备 |
| US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
| CN111901476B (zh) * | 2019-05-06 | 2022-06-10 | 苹果公司 | 用于捕获和管理视觉媒体的用户界面 |
| CN110248106B (zh) * | 2019-06-13 | 2021-04-23 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、电子设备以及存储介质 |
| CN110166711B (zh) * | 2019-06-13 | 2021-07-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
| CN110290314B (zh) * | 2019-06-13 | 2021-01-15 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110233970B (zh) * | 2019-06-27 | 2021-03-12 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| JP2021043296A (ja) * | 2019-09-10 | 2021-03-18 | 株式会社ミツトヨ | 画像検出装置 |
| US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
| CN111988523B (zh) * | 2020-08-14 | 2022-05-13 | RealMe重庆移动通信有限公司 | 超级夜景图像生成方法及装置、终端和可读存储介质 |
| US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
| CN115314627B (zh) * | 2021-05-08 | 2024-03-01 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、系统及摄像机 |
| CN115706766B (zh) * | 2021-08-12 | 2023-12-15 | 荣耀终端有限公司 | 视频处理方法、装置、电子设备和存储介质 |
| US11985747B2 (en) | 2021-12-08 | 2024-05-14 | Carlo Van de Roer | Apparatus and method for filming a scene using lighting setups actuated repeatedly during each entire frame without visible flicker on set while acquiring images synchronously with the lighting setups only during a portion of each frame |
| CN114339001B (zh) * | 2021-12-30 | 2023-09-12 | 维沃移动通信有限公司 | 图像传感器、曝光控制方法、摄像模组和电子设备 |
| CN114928694A (zh) * | 2022-04-25 | 2022-08-19 | 深圳市慧鲤科技有限公司 | 图像获取方法和装置、设备、介质 |
| CN115243017B (zh) * | 2022-08-03 | 2024-06-07 | 上海研鼎信息技术有限公司 | 一种改善图像质量的方法及设备 |
| CN115297269B (zh) * | 2022-09-27 | 2023-04-07 | 荣耀终端有限公司 | 曝光参数的确定方法及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003107555A (ja) * | 2001-09-28 | 2003-04-09 | Ricoh Co Ltd | 撮像装置、自動露出方法、およびその方法をコンピュータが実行するためのプログラム |
| JP2009182926A (ja) * | 2008-02-01 | 2009-08-13 | Canon Inc | 撮像装置 |
| US20110149095A1 (en) * | 2009-12-22 | 2011-06-23 | Olympus Corporation | Image pickup apparatus and method of picking up image |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006262220A (ja) | 2005-03-18 | 2006-09-28 | Seiko Epson Corp | 撮像装置 |
| JP2007225763A (ja) * | 2006-02-22 | 2007-09-06 | Sony Corp | 撮像装置および撮像方法、並びにプログラム |
| JP5319078B2 (ja) * | 2006-07-07 | 2013-10-16 | オリンパスイメージング株式会社 | カメラ、カメラの画像処理方法、プログラム、記録媒体 |
| WO2008068865A1 (ja) * | 2006-12-06 | 2008-06-12 | Panasonic Corporation | 撮像装置 |
| KR101371775B1 (ko) * | 2007-07-09 | 2014-03-24 | 삼성전자주식회사 | 카메라의 손떨림 보정 방법 및 장치 |
| JP5148989B2 (ja) | 2007-12-27 | 2013-02-20 | イーストマン コダック カンパニー | 撮像装置 |
| JP5317737B2 (ja) * | 2009-02-03 | 2013-10-16 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
| EP2521091B1 (en) * | 2011-05-03 | 2016-04-20 | ST-Ericsson SA | Estimation of motion blur in a picture |
| JP5825946B2 (ja) | 2011-09-09 | 2015-12-02 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| WO2013094087A1 (ja) | 2011-12-22 | 2013-06-27 | パナソニック株式会社 | 撮像装置 |
| CN103369228A (zh) | 2012-03-26 | 2013-10-23 | 百度在线网络技术（北京）有限公司 | 摄像机设置方法、装置和摄像机 |
| US8675964B2 (en) * | 2012-06-06 | 2014-03-18 | Apple Inc. | Image fusion using intensity mapping functions |
| CN103051841B (zh) * | 2013-01-05 | 2016-07-06 | 小米科技有限责任公司 | 曝光时间的控制方法及装置 |
| CN103561210B (zh) * | 2013-10-24 | 2019-06-04 | 惠州Tcl移动通信有限公司 | 根据背景光拍照的方法及移动终端 |
| CN103841324A (zh) | 2014-02-20 | 2014-06-04 | 小米科技有限责任公司 | 拍摄处理方法、装置和终端设备 |
| US9210335B2 (en) * | 2014-03-19 | 2015-12-08 | Konica Minolta Laboratory U.S.A., Inc. | Method for generating HDR images using modified weight |
| KR20160016068A (ko) | 2014-08-01 | 2016-02-15 | 삼성전자주식회사 | 이미지 생성 방법 및 그 전자 장치 |
| WO2018003799A1 (ja) * | 2016-06-30 | 2018-01-04 | 富士フイルム株式会社 | 撮影装置及びその制御方法 |
| CN107613190B (zh) * | 2016-07-11 | 2020-11-03 | 中兴通讯股份有限公司 | 一种拍照方法及终端 |
| CN106375676A (zh) * | 2016-09-20 | 2017-02-01 | 广东欧珀移动通信有限公司 | 终端设备的拍照控制方法、装置和终端设备 |
| CN107509044B (zh) * | 2017-08-31 | 2020-08-18 | Oppo广东移动通信有限公司 | 图像合成方法、装置、计算机可读存储介质和计算机设备 |
| CN107635101B (zh) * | 2017-10-27 | 2020-07-03 | Oppo广东移动通信有限公司 | 拍摄方法、装置、存储介质和电子设备 |
| CN107820022A (zh) * | 2017-10-30 | 2018-03-20 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
| CN108322669B (zh) * | 2018-03-06 | 2021-03-23 | Oppo广东移动通信有限公司 | 图像获取方法及装置、成像装置和可读存储介质 |
| CN109005366B (zh) * | 2018-08-22 | 2020-04-28 | Oppo广东移动通信有限公司 | 摄像模组夜景摄像处理方法、装置、电子设备及存储介质 |
-
2018
- 2018-08-22 CN CN201810963331.3A patent/CN109005366B/zh active Active
-
2019
- 2019-05-22 WO PCT/CN2019/088017 patent/WO2020038028A1/zh active Application Filing
- 2019-05-22 JP JP2021500825A patent/JP7371081B2/ja active Active
- 2019-05-22 KR KR1020217001996A patent/KR102642993B1/ko active IP Right Grant
- 2019-05-22 AU AU2019326496A patent/AU2019326496B2/en active Active
- 2019-08-21 US US16/546,907 patent/US11089207B2/en active Active
- 2019-08-22 EP EP19193125.2A patent/EP3624439B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003107555A (ja) * | 2001-09-28 | 2003-04-09 | Ricoh Co Ltd | 撮像装置、自動露出方法、およびその方法をコンピュータが実行するためのプログラム |
| JP2009182926A (ja) * | 2008-02-01 | 2009-08-13 | Canon Inc | 撮像装置 |
| US20110149095A1 (en) * | 2009-12-22 | 2011-06-23 | Olympus Corporation | Image pickup apparatus and method of picking up image |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022191585A1 (ko) * | 2021-03-08 | 2022-09-15 | 삼성전자 주식회사 | 전자 장치의 촬영 방법 및 그 전자 장치 |
| WO2023224216A1 (ko) * | 2022-05-20 | 2023-11-23 | 삼성전자주식회사 | 저전력 프로세서를 이용하여 카메라의 광학식 흔들림 보정을 제어하는 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11089207B2 (en) | 2021-08-10 |
| AU2019326496B2 (en) | 2022-01-27 |
| AU2019326496A1 (en) | 2021-03-11 |
| CN109005366B (zh) | 2020-04-28 |
| EP3624439B1 (en) | 2023-11-22 |
| KR102642993B1 (ko) | 2024-03-04 |
| JP7371081B2 (ja) | 2023-10-30 |
| EP3624439A2 (en) | 2020-03-18 |
| WO2020038028A1 (zh) | 2020-02-27 |
| JP2021530911A (ja) | 2021-11-11 |
| CN109005366A (zh) | 2018-12-14 |
| EP3624439A3 (en) | 2020-08-12 |
| US20200068121A1 (en) | 2020-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102642993B1 (ko) | 야경 촬영 방법, 장치, 전자설비, 및 저장 매체 | |
| US11403740B2 (en) | Method and apparatus for image capturing and processing | |
| US11582400B2 (en) | Method of image processing based on plurality of frames of images, electronic device, and storage medium | |
| CN108900782B (zh) | 曝光控制方法、装置以及电子设备 | |
| CN110072052B (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
| CN109788207B (zh) | 图像合成方法、装置、电子设备及可读存储介质 | |
| WO2020034737A1 (zh) | 成像控制方法、装置、电子设备以及计算机可读存储介质 | |
| US11532076B2 (en) | Image processing method, electronic device and storage medium | |
| CN110166708B (zh) | 夜景图像处理方法、装置、电子设备以及存储介质 | |
| CN110191291B (zh) | 基于多帧图像的图像处理方法和装置 | |
| WO2020207261A1 (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
| CN109005369B (zh) | 曝光控制方法、装置、电子设备以及计算机可读存储介质 | |
| US11233948B2 (en) | Exposure control method and device, and electronic device | |
| WO2020034701A1 (zh) | 成像控制方法、装置、电子设备以及可读存储介质 | |
| CN109756680B (zh) | 图像合成方法、装置、电子设备及可读存储介质 | |
| CN110276730B (zh) | 图像处理方法、装置、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |