KR20150026268A - 이미지 안정화 방법 그 전자 장치 - Google Patents

이미지 안정화 방법 그 전자 장치 Download PDF

Info

Publication number
KR20150026268A
KR20150026268A KR20130104861A KR20130104861A KR20150026268A KR 20150026268 A KR20150026268 A KR 20150026268A KR 20130104861 A KR20130104861 A KR 20130104861A KR 20130104861 A KR20130104861 A KR 20130104861A KR 20150026268 A KR20150026268 A KR 20150026268A
Authority
KR
South Korea
Prior art keywords
images
image
illuminance
electronic device
subject
Prior art date
Application number
KR20130104861A
Other languages
English (en)
Other versions
KR102124604B1 (ko
Inventor
김표재
이기혁
윤영권
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130104861A priority Critical patent/KR102124604B1/ko
Priority to US14/304,294 priority patent/US9609221B2/en
Publication of KR20150026268A publication Critical patent/KR20150026268A/ko
Application granted granted Critical
Publication of KR102124604B1 publication Critical patent/KR102124604B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 다양한 실시 예들은 이미지 획득 시 흔들림에 따른 이미지 열화(degradation)을 경감 또는 방지할 수 있는 전자 장치 또는 방법에 관한 것으로, 한 실시 예에 따르면, 전자 장치를 이용한 이미지 획득 방법은, 피사체에 대응하는 조도를 결정하는 동작, 적어도 상기 조도에 기반하여 전자 장치의 촬영 모드를 자동으로 결정하는 동작, 상기 촬영 모드가 제 1 촬영 모드인 경우, 제 1 노출 시간에 기반하여 상기 피사체의 제 1 결과 이미지를 획득하는 동작, 및 상기 촬영 모드가 제 2 촬영 모드인 경우, 제 2 노출 시간에 기반하여 상기 피사체의 다수의 이미지들을 획득하고 상기 다수의 이미지들 중 적어도 둘 이상의 이미지들에 기반하여 제 2 결과 이미지를 생성하는 동작을 포함할 수 있다. 다른 실시 예들도 가능하다.

Description

이미지 안정화 방법 그 전자 장치{METHOD FOR STABILIZING IMAGE AND AN ELECTRONIC DEVICE THEREOF}
본 발명의 다양한 실시 예들은 전자 장치에서 이미지 안정화를 위한 이미지 처리에 관한 것이다.
디지털 카메라를 사용하여 촬영시에는 사용자의 손떨림이나 의도하지 않은 움직임으로 인하여 촬영 이미지에 손떨림 현상이 발생할 수 있다. 이러한 손떨림 현상을 보정 하기 위하여 다양한 방식이 연구되었다. 종래에 일반적으로 사용되는 손떨림 보정 방식에는 디지털 손떨림 보정 방식(DIS: Digital Image Stabilization), 전자식 손떨림 보정 방식(EIS: Electronic Image Stabilization), 광학식 손떨림 보정 방식(OIS: Optical Image Stabilization) 등 크게 세 가지 방식이 사용된다.
상기 디지털 손떨림 보정 방식은 손떨림량 검출 및 보정을 모두 이미지 처리에 의하여 달성함에 따라 낮은 하드웨어(hardware) 비용 및 작은 치수를 보장할 수 있다. 상기 광학식 손떨림 보정 방식은 정지 이미지 보정이 가능하고 보정 후에도 우수한 화질을 기대할 수 있는 장점이 있으나, 손떨림 량을 검출하기 위하여 자이로 센서(Gyro sensor) 등의 움직임 검출부와 이로부터 검출된 손떨림을 보정 하기 위하여 광학 보정부의 추가가 요구된다. 상기 전자식 손떨림 보정 방식은 상기의 디지털 손떨림 보정 방식과 광학식 손떨림 보정 방식을 조합하는 방식이다.
본 발명의 일 실시 예는 전자 장치에서 저조도(low light level)에서 흔들림이 없는 이미지를 획득(예: 촬영)하기 위한 장치 및 방법을 제공한다.
본 발명의 다른 실시 예는 전자 장치에서 저조도에서 노출 시간을 길게 함으로써 피사체의 움직임 또는 카메라의 흔들림에 의해 흐릿한 이미지이 촬영되는 것을 방지하기 위한 장치 및 방법을 제공한다.
본 발명의 또 다른 실시 예는 전자 장치에서 저조도에서 플래시를 발광함으로써 피사체 및 배경 간 밝기 차이가 발생하는 것을 방지하기 위한 장치 및 방법을 제공한다.
본 발명의 또 다른 실시 예는 전자 장치에서 이미지 합성을 이용하여 흔들림 없는 이미지를 획득하기 위한 장치 및 방법을 제공한다.
본 발명의 또 다른 실시 예는 전자 장치에서 이미지 합성을 이용하여 저조도에서 흔들림이 없는 이미지를 획득하기 위한 장치 및 방법을 제공한다.
본 발명의 또 다른 실시 예는 전자 장치에서 저조도 정도에 따라 이미지 합성을 위한 이미지들의 개수를 결정하기 위한 장치 및 방법을 제공한다.
본 발명의 또 다른 실시 예는 전자 장치에서 저조도 정도에 따라 합성될 이미지들 중 일부 또는 전부의 밝기를 강화하기 위한 장치 및 방법을 제공한다.
본 발명의 또 다른 실시 예는 전자 장치에서 저조도 정도에 따라 합성될 이미지들 중 일부의 촬영 시 플래쉬(flash)를 발광하기 위한 장치 및 방법을 제공한다.
본 발명의 실시 예에 따른 전자 장치의 동작 방법은, 피사체에 대응하는 조도를 결정하는 동작, 적어도 상기 조도에 기반하여 전자 장치의 촬영 모드를 자동으로 결정하는 동작, 상기 촬영 모드가 제 1 촬영 모드인 경우, 제 1 노출 시간에 기반하여 상기 피사체의 제 1 결과 이미지를 획득하는 동작, 상기 촬영 모드가 제 2 촬영 모드인 경우, 제 2 노출 시간에 기반하여 상기 피사체의 다수의 이미지들을 획득하는 동작 및 상기 다수의 이미지들 중 적어도 둘 이상의 이미지들에 기반하여 제 2 결과 이미지를 생성하는 동작을 포함할 수 있다.
본 발명의 한 실시 예에 따른 전자 장치는, 피사체에 대한 이미지 획득을 위한 이미지 센서, 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는, 상기 피사체에 대응하는 조도를 결정하고, 적어도 상기 조도에 기반하여 촬영 모드를 자동으로 결정하고, 상기 촬영 모드가 제 1 촬영 모드인 경우, 제 1 노출 시간에 기반하여 상기 피사체의 제 1 결과 이미지를 획득하고, 상기 촬영 모드가 제 2 촬영 모드인 경우, 제 2 노출 시간에 기반하여 상기 피사체의 다수의 이미지들을 획득하고, 상기 다수의 이미지들 중 적어도 둘 이상의 이미지들에 기반하여 제 2 결과 이미지를 생성하도록 설정될 수 있다.
본 발명의 한 실시 예에 따른 명령어들을 저장하고 있는 컴퓨터로 판독 가능한 기록 매체는, 피사체에 대응하는 조도를 결정하는 동작, 적어도 상기 조도에 기반하여 전자 장치의 촬영 모드를 자동으로 결정하는 동작, 상기 촬영 모드가 제 1 촬영 모드인 경우, 제 1 노출 시간에 기반하여 상기 피사체의 제 1 결과 이미지를 획득하는 동작, 상기 촬영 모드가 제 2 촬영 모드인 경우, 제 2 노출 시간에 기반하여 상기 피사체의 다수의 이미지들을 획득하는 동작 및 상기 다수의 이미지들 중 적어도 둘 이상의 이미지들에 기반하여 제 2 결과 이미지를 생성하는 동작을 수행하는 명령어들을 저장할 수 있다.
전자 장치에서 저조도 환경에서 다수의 이미지들을 합성함으로써 흔들림 없는 이미지를 획득할 수 있다. 나아가, 저조도 환경을 조도에 따라 다수의 구간들로 구분하고, 각 구간에서 차별화된 이미지 처리를 제공함으로써, 보다 효율적인 이미지 처리가 가능하다.
도 1은 본 발명의 실시 예에 따른 전자 장치에서 흔들림 없는 이미지를 획득하기 위한 이미치 처리를 도시하는 도면,
도 2는 본 발명의 실시 예에 따른 전자 장치에서 이미지 처리를 위한 조도 구분에 따른 노출 시간을 도시하는 도면,
도 3은 본 발명의 실시 예에 따른 전자 장치에서 경 저조도 환경에서의 이미지 처리를 도시하는 도면,
도 4는 본 발명의 실시 예에 따른 전자 장치에서 국부 움직임(local movement)이 존재하는 경우 이미지 처리를 도시하는 도면,
도 5는 본 발명의 실시 예에 따른 전자 장치에서 중 저조도 환경에서의 이미지 처리를 도시하는 도면,
도 6은 본 발명의 실시 예에 따른 전자 장치에서 극 저조도 환경에서의 이미지 처리를 도시하는 도면,
도 7은 본 발명의 실시 예에 따른 전자 장치의 동작 절차를 도시하는 도면,
도 8은 본 발명의 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하는 도면,
도 9는 본 발명의 또 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하는 도면,
도 10은 본 발명의 또 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하는 도면,
도 11은 본 발명의 또 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하는 도면,
도 12는 본 발명의 또 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하는 도면,
도 13은 본 발명의 또 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하는 도면,
도 14는 본 발명의 실시 예에 따른 전자 장치의 블록 구성을 도시하는 도면.
이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 본 발명의 다양한 실시 예들은 전자 장치에서 이미지 합성을 이용하여 흔들림 없는 이미지를 획득하기 위한 기술에 대해 설명한다.
본 발명에서, 상기 전자 장치는 휴대용 전자 장치(portable electronic device)일 수 있으며, 스마트폰(smart phone), 휴대용 단말기(portable terminal), 이동 전화(mobile phone), 이동 패드(mobile pad), 미디어 플레이어(media player), 태블릿 컴퓨터(tablet computer), 핸드헬드 컴퓨터(handheld computer) 또는 PDA(Personal Digital Assistant) 중 하나일 수 있다. 또한, 상기 전자 장치는 상술한 장치들 중 둘 이상의 기능들을 결합한 장치일 수 있다.
도 1은 본 발명의 실시 예에 따른 전자 장치에서 흔들림 없는 이미지를 획득하기 위한 이미지 처리를 도시하고 있다. 상기 도 1을 참고하면, 본 발명의 실시 예에 따른 전자 장치는 다수의 원본 이미지들(110)을 이용하여 흔들림이 없거나 경감된(reduced) 이미지를 획득할 수 있다. 종래 기술은 저조도(low light level) 환경에서 흔들림 없는 이미지를 획득하기 위해 플래쉬(flash)를 발광함으로써 조도를 높이거나, 밝기를 포기하고 노출 시간을 줄이거나, 또는, 촬영 후 이미지에 대한 후 처리를 통해 이미지를 보정할 수 있다. 어떤 실시 예의 경우, 반복 촬영을 통해 생성된 다수의 이미지들(110)을 이용할 수도 있다.
상기 다수의 이미지들(110)은 손떨림 보정, 잡음(noise) 제거, 선명도 향상 등의 이미지 처리(120)를 거친다. 구체적으로, 상기 전자 장치는 상기 다수의 이미지들(110)을 합성(synthesis)함으로써 상기 손떨림 보정, 상기 잡음 제거, 상기 선명도 향상 등의 효과를 얻을 수 있다. 그 결과, 보정된 이미지(130)가 생성될 수 있다.
이때, 상기 이미지 처리(120)에 있어서, 본 발명의 실시 예는, 주피사체(예: 인물) 또는 부피사체(예: 배경) 중 적어도 하나를 포함하는 촬영 환경(brightness)에 따라 구체적인 처리 방식을 달리할 수 있다. 이하, 조도에 따른 처리 방식의 변화는 이하 도 2에 도시된 바와 같다.
도 2는 본 발명의 실시 예에 따른 전자 장치에서 이미지 처리를 위한 조도 구분에 따른 노출 시간을 도시하고 있다. 상기 도 2는 노출선도(exposure line)로서, 정해진 밝기의 이미지를 얻기 위해 필요한 조도에 따른 노출 시간(exposure time)을 나타낸다. 즉, 가로 축은 조도를, 세로 축은 해당 조도에 대응하는 노출 시간을 의미한다.
다양한 실시 예들에 따르면, 노출 값(exposure value(EV))은 노출 시간과 센서 이득(sensor gain)에 기반하여 결정할 수 있다. 예를 들자면, 한 실시 예에 따르면, 노출 값은 노출 시간과 센서 이득에 대한 수학적 함수(예: 곱셉, 덧셈 또는 로가리듬(log) 등)의 적용 결과일 수 있다. 센서 이득은 동일한 강도의 빛에 대하여 센서가 얼마나 민감하게 반응하는지를 나타내는 수치(예: 비율)로서, 예컨대, 상기 센서 이득이 높을수록 동일한 강도의 빛이라도 픽셀이 더 밝아질 수 있다. 이하, 상기 센서 이득은, 설명의 편의상, 센서 감도(sensor sensitivity)와 상호 교환적으로(interchangeably) 사용될 수 있다. 한 실시 예에 따르면, 조도는 노출 값에 일대일(one-to-one)로 대응될 수 있다. 어떤 실시 예에 따르면, 조도는 노출 값에 일대다(one-to-plurality), 다대일(plurality-to-one), 또는 다대다(plurality-to-plurality)로 대응될 수 있다.
상기 도 2에서, 실선(201)은 일반 노출선도로서, 종래 기술에 따라 정해진 밝기의 이미지를 얻기 위해 필요한 조도에 따른 노출 시간을 나타내며, 점선(203)은 본 발명의 실시 예에 따른 조도에 따른 노출 시간을 나타낸다.
상기 도 2를 참고하면, 본 발명의 실시 예는, 조도를 적어도 4개의 구간들로 구분할 수 있다. 다시 말해, 본 발명의 실시 예는 일반 조도(210), 경 저조도(220), 중 저조도(230), 극 저조도(240)를 포함할 수 있다. 상기 일반 조도(210)는 본 발명의 실시 예에 따른 이미지 합성 없이도 정해진 밝기의 영상을 얻을 수 있는 조도를 의미할 수 있다. 상기 경 저조도(220), 상기 중 저조도(230), 상기 극 저조도(240)는 상기 일반 조도(210)보다 밝기가 낮은 구간들로서, 상기 경 저조도(220), 상기 중 저조도(230), 상기 극 저조도(240)의 순서로 점점 어두운 환경을 의미한다.
본 발명의 실시 예에 따라, 전자 장치는 이미지의 조도를 측정할 수 있다. 예를 들어, 상기 전자 장치는 프리뷰(preview)를 위해 입력되는 이미지를 이용하여 조도를 측정할 수 있다. 이후, 상기 전자 장치는 상기 조도가 속하는 구간에 따라 서로 다른 방식으로 이미지를 처리할 수 있다.
상기 일반 조도(210)의 경우, 상기 전자 장치는 플레쉬 발광, 밝기 강화, 이미지 합성 없이 상기 노출 선도(203)에 따른 노출 시간에 따라 이미지를 촬영할 수 있다.
상기 경 저조도(220)는 상기 일반 조도(210)보다 밝기가 낮은 환경으로, 상기 일반 노출선도(201)에 따를 때 정해진 밝기의 이미지 촬영을 위해 노출 시간이 증가될 수 있는 구간이다. 상기 경 저조도(220)의 경우, 상기 전자 장치는 상기 노출선도(203)에 나타난 바와 같이 일반 노출선도(201)보다 짧은 노출 시간으로 촬영을 수행할 수 있다. 예를 들어, 상기 전자 장치는 상기 일반 조도(210)의 노출 시간과 동일한 노출 시간으로, 또는, 상기 일반 조도(210)의 경우보다 길지만 상기 일반 노출선도(201)의 경우보다는 짧은 노출 시간으로 촬영을 수행할 수 있다. 이미지 촬영 시 흔들림이 발생하는 것은 노출 시간이 길어지는 것이 가장 큰 이유이다. 따라서, 본 발명의 실시 예에 따라, 상기 일반 노출선도(201)에 따르면 노출 시간을 증가시켜야할 상기 경 저조도(220) 환경임에도 불구하고, 상기 전자 장치는 노출 시간의 증가를 억제함으로써 흔들림을 방지할 수 있다. 단, 이미지의 정해진 밝기를 확보하기 위해, 상기 전자 장치는 상기 일반 조도(210)에서의 촬영과 동일한 밝기로 이미지를 촬영할 수 있도록 센서 감도(sensor sensitivity)을 높인다. 하지만, 센서 감도를 높임에 따라 촬영된 이미지에 잡음이 증가할 수 있다. 따라서, 상기 잡음을 감소시키고자, 상기 전자 장치는 다수의 이미지들을 촬영하고, 상기 이미지들을 합성할 수 있다. 여기서, 상기 이미지 촬영 횟수는 상기 경 저조도(220) 구간 내에서 조도가 낮아질수록 증가할 수 있다.
상기 중 저조도(230)는 상기 경 저조도(220)보다 밝기가 낮은 구간이다. 상기 중 저조도(230)의 경우, 상기 전자 장치는 상기 경 저조도(220) 구간에서 비하여 긴 노출 시간으로 이미지를 촬영할 수 있다. 단, 본 발명의 실시 예에 따른 상기 중 저조도(230)에서의 노출 시간은 상기 일반 노출선도(201)에 따른 노출 시간보다 짧다. 그리고, 상기 전자 장치는, 상기 경 저조도(220)의 경우와 유사하게, 다수의 이미지들을 촬영하고, 상기 이미지들을 합성할 수 있다. 여기서, 상기 이미지 촬영 횟수는 상기 중 저조도(230) 구간 내에서 조도가 낮아질수록 증가할 수 있다. 이때, 상기 중 저조도(230) 구간에서의 최소 이미지 촬영 횟수는 상기 경 저조도(220) 구간에서의 최대 이미지 촬영 횟수와 동일할 수 있다. 이에 더하여, 상기 전자 장치는 합성된 이미지에 대한 밝기를 강화하는 밝기 보정을 수행할 수 있다.
상기 극 저조도(240)는 상기 중 저조도(230)보다 밝기가 낮은 구간으로, 상기 중 저조도(230)에서의 밝기 보정 시 잡음이 임계치 이상으로 발생한다고 판단되는 구간이다. 상기 극 저조도(240)의 경우, 상기 전자 장치는 상기 중 저조도(230) 구간과 동일한 노출 시간으로 이미지를 촬영할 수 있다. 단, 본 발명의 실시 예에 따른 상기 극 저조도(240)에서의 노출 시간은 상기 일반 노출선도(201)에 따른 노출 시간보다 짧다. 그리고, 상기 전자 장치는, 상기 경 저조도(220)의 경우와 유사하게, 다수의 이미지들을 촬영하고, 상기 이미지들을 합성할 수 있다. 여기서, 상기 이미지 촬영 횟수는 상기 극 저조도(240) 구간 내에서 조도가 낮아질수록 증가할 수 있다. 이때, 상기 극 저조도(240) 구간에서의 최소 이미지 촬영 횟수는 상기 경 저조도(220) 구간에서의 최대 이미지 촬영 횟수와 동일할 수 있다. 이때, 상기 경 저조도(220) 및 상기 중 저조도(230)의 경우와 달리, 상기 전자 장치는 상기 이미지들 중 일부 이미지 촬영 시 플래쉬를 발광할 수 있다. 상기 플래쉬를 발광하는 경우, 피사체 및 배경의 밝기에 차이가 발생하는 것이 일반적이다. 따라서, 본 발명의 실시 예에 따라, 상기 전자 장치는 플래쉬 발광을 수반하여 촬영된 이미지에 대한 합성 시 피사체 및 배경을 분리하여 서로 다른 가중치로 합성할 수 있다.
이하 본 발명의 다양한 실시 예들은 도면을 참고하여 상술한 조도 구간 별 이미지 처리 방식을 상세히 설명한다.
도 3은 본 발명의 실시 예에 따른 전자 장치에서 경 저조도 환경에서의 이미지 처리를 도시하고 있다.
상기 도 3을 참고하면, 301동작에서, 1회의 촬영 명령에 따라 N회의 이미지 촬영이 수행될 수 있다. 이때, 구체적인 이미지 촬영 횟수 N은 조도에 따라 달라질 수 있다. 예를 들어, 상기 이미지 촬영 횟수 N은 조도가 낮을수록 커질 수 있다. 상기 이미지 촬영 시, 일반 조도의 경우와 동일한 노출 시간이 적용되며, 센서 감도는 상기 일반 조도에 비하여 크게 설정될 수 있다. 이에 따라, 각 이미지의 밝기는 일반 조도에서 촬영된 이미지의 노출선도에 의한 밝기와 동등 수준일 수 있다.
303동작에서, 촬영된 상기 이미지들 중 기준 이미지가 선택될 수 있다. 상기 기준 이미지는 합성의 기본이 되는 이미지로서, 가장 번짐(blur)이 적은 이미지가 상기 기준 이미지로서 선택될 수 있다. 예를 들어, 상기 전자 장치는 각 이미지의 경계(edge)를 검출하고, 경계의 대비(contrast)가 가장 뚜렷한 이미지를 상기 기준 이미지로서 선택할 수 있다.
305동작에서, 상기 기준 이미지 외 다른 이미지들이 상기 기준 이미지에 기준하여 정렬(alignment)될 수 있다. 상기 정렬은 각 이미지의 광역 움직임(global movement)을 고려하여 이미지들 간 동일한 피사체의 픽셀 위치를 일치시키는 것을 의미한다. 상기 광역 움직임은 이미지 촬영 시 촬영 장치, 즉, 상기 전자 장치의 움직임에 의해 발생할 수 있다. 즉, 상기 전자 장치는 상기 다른 이미지들을 수평/수직 이동시키거나, 기울임으로써 상기 광역 움직임을 보상할 수 있다. 상기 정렬을 위해, 상기 전자 장치는 각 이미지에서 공통되는 특징점을 검출할 수 있다.
307동작에서, 상기 기준 이미지 및 정렬된 이미지들이 합성될 수 있다. 즉, 상기 기준 이미지의 각 픽셀 값을 상기 이미지들의 픽셀 값들을 이용하여 보정할 수 있다. 예를 들어, 상기 전자 장치는 동일한 피사체의 동일 지점에 대한 픽셀 값들을 평균화할 수 있다. 이를 통해, 상기 전자 장치는 상기 기준 이미지의 경계를 강화하고, 잡음을 감소시킬 수 있다. 이때, 상기 이미지들에 국부 움직임(local movement)이 존재하는 경우, 상기 국부 움직임이 존재하는 부분의 합성은 나머지 부분과 다르게 수행될 수 있다. 상기 국부 움직임이 존재하는 경우의 합성 과정은 이하 도 4를 참고하여 설명된다. 상기 307동작을 통해, 합성된 이미지, 즉, 보정된 이미지가 생성될 수 있다.
도 4는 본 발명의 실시 예에 따른 전자 장치에서 국부 움직임이 존재하는 경우 이미지 처리를 도시하고 있다. 상기 도 4는 국부 움직임이 존재하는 이미지의 합성 과정을 도시하며, 3개의 이미지들을 합성하는 경우를 예시한다. 그러나, 2개 또는 4개 이상의 이미지들을 합성하는 경우에도 상기 도 4에 도시된 실시 예가 유사하게 적용될 수 있다.
상기 도 4를 참고하면, 401동작에서, 국부 움직임이 검출될 수 있다. 상기 국부 움직임은 이미지들의 특징점 추출 및 이미지들 간 픽셀의 이동 벡터(moving vector) 분석에 기초하여 판단될 수 있다. 예를 들어, 상기 전자 장치는 추출된 특징점이 각 이미지에서 소정 픽셀 범위 내에서 검출되는지 여부로 상기 국부 움직임의 존재를 판단할 수 있다. 즉, 일정 패턴을 구성하는 픽셀 집합 내 픽셀들이 동일한 방향 및 크기의 이동 벡터를 가지는 경우, 상기 전자 장치는 피사체의 일부 또는 전부가 이미지 내에서 움직이고 있음을 판단할 수 있다. 상기 도 4의 경우, 피사체는 사람으로서, 사람의 손에 국부 움직임이 존재하는 경우가 예시된다.
403동작에서, 촬영된 상기 이미지들 중 기준 이미지가 선택될 수 있다. 상기 기준 이미지는 합성의 기본이 되는 이미지로서, 가장 번짐이 적은 이미지가 상기 기준 이미지로서 선택될 수 있다. 예를 들어, 상기 전자 장치는 각 이미지의 경계를 검출하고, 경계의 대비가 가장 뚜렷한 이미지를 상기 기준 이미지로서 선택할 수 있다.
405동작에서, 상기 국부 움직임 부분이 추출되고, 합성될 수 있다. 상기 국부 움직임 부분의 경우, 이미지 내에서 다른 대상들과 다른 상대적 위치 변화를 가지므로, 상기 도 3에 도시된 실시 예에서 설명한 정렬을 통해 일괄적으로 픽셀의 위치가 일치되지 아니한다. 따라서, 상기 국부 움직임 부분은 나머지 부분과 별도로 합성될 수 있다. 즉, 상기 전자 장치는 추출된 특징점에 기초하여 국부 움직임 부분에서 상기 기준 이미지에 대응되는 다른 이미지들의 픽셀들을 검색하고, 검색된 픽셀들을 이용하여 상기 기준 이미지의 픽셀 값들을 보정할 수 있다. 예를 들어, 상기 전자 장치는 동일한 피사체의 동일 지점에 대한 픽셀 값들을 평균화할 수 있다. 이를 통해, 상기 전자 장치는 상기 기준 이미지의 경계를 강화하고, 잡음을 감소시킬 수 있다.
407동작에서, 상기 국부 움직임 부분 외 나머지 부분이 정렬되고, 합성될 수 있다. 다시 말해, 상기 전자 장치는 상기 다른 이미지들을 수평/수직 이동시키거나, 기울임으로써 상기 광역 움직임을 보상하고, 상기 나머지 부분에서 상기 기준 이미지의 각 픽셀 값을 상기 이미지들의 픽셀 값들을 이용하여 보정할 수 있다. 예를 들어, 상기 전자 장치는 동일한 피사체의 동일 지점에 대한 픽셀 값들을 평균화할 수 있다. 이를 통해, 상기 전자 장치는 상기 기준 이미지의 경계를 강화하고, 잡음을 감소시킬 수 있다.
상기 도 4에 도시된 실시 예는 상기 405동작에서 국부 움직임 부분을 합성하고, 상기 407동작에서 나머지 부분을 합성할 수 있다. 그러나, 본 발명의 다른 실시 예에 따라 상기 국부 움직임 부분 외 나머지 부분의 합성이 먼저 수행될 수 있다. 또한, 상기 도 4에 도시된 실시 예와 달리, 국부 움직임 부분이 다수 존재할 수 있다.
도 5는 본 발명의 실시 예에 따른 전자 장치에서 중 저조도 환경에서의 이미지 처리를 도시하고 있다.
상기 도 5를 참고하면, 501동작에서, 합성된 이미지에 대한 밝기 강화를 위한 보정이 수행될 수 있다. 상기 합성된 이미지는 상기 도 3 및 상기 도 4에 도시된 실시 예들에 의해 생성된 보정된 이미지이다. 단, 상기 도 5의 실시 예의 경우, 상기 도 3과 달리, 이미지 촬영 시 상대적으로 높은 노출 시간이 적용될 수 있다. 또한, 상기 도 5의 실시 예의 경우, 상기 전자 장치는 상기 도 3의 경우와 동일하거나 더 많은 횟수의 이미지 촬영을 수행한 후, 이미지들을 합성할 수 있다.
상기 밝기 강화는 합성된 이미지의 픽셀 값들에 1을 초과하는 가중치를 부여함으로써 수행될 수 있다. 이때, 모든 픽셀들에 대하여 일괄적으로 동일한 가중치가 부여되지 아니할 수 있다. 예를 들어, 특정 픽셀의 주변 밝기가 임계치 이상 밝은 경우, 상기 전자 장치는 상기 특정 픽셀이 더 밝아야 할 것이라고 판단하고, 상기 특정 픽셀 값에 상대적으로 더 큰 가중치를 부여할 수 있다. 또한, 특정 픽셀이 이미 충분히 밝다고 판단되는 경우, 상기 전자 장치는 상기 특정 픽셀의 밝기를 그대로 유지할 수 있다. 이에 따라, 밝기 강화된 보정된 이미지가 생성될 수 있다.
상술한 밝기 강화는 픽셀 값이 클수록 밝기가 높음을 전제로 설명되었다. 그러나, 픽셀 값과 밝기의 관계는 픽셀 값의 표현 형식에 따라 달라질 수 있다. 예를 들어, 픽셀 값이 작을수록 밝기가 낮아질 수 있다. 이 경우, 상술한 가중치 및 밝기 강화의 상관 관계는 당업자의 수준에서 다르게 이해되어야 할 것이다.
상기 도 5에 도시된 실시 예는, 밝기 보정은 이미지 합성 후 수행될 수 있다. 그러나, 본 발명의 실시 예에 따라, 상기 밝기 보정은 상기 이미지 합성 과정에 포함되어 수행될 수 있다. 즉, 상기 전자 장치는 이미지를 합성하는 과정에서 합성되는 픽셀 값의 가중치를 조절함으로써, 상기 밝기 보정을 상기 이미지 합성 과정 중 일부로서 수행할 수 있다.
도 6은 본 발명의 실시 예에 따른 전자 장치에서 극 저조도 환경에서의 이미지 처리를 도시하고 있다.
상기 도 6을 참고하면, 601동작에서, 1회의 촬영 명령에 따라 N회의 이미지 촬영이 수행될 수 있다. 이때, 일부 이미지 촬영 시, 플래쉬가 발광될 수 있다. 플래쉬 발광을 수반한 이미지 촬영의 구체적인 횟수는 조도에 따라 달라질 수 있다. 예를 들어, 상기 플래쉬 발광을 수반한 이미지 촬영 횟수는 조도가 낮을수록 커질 수 있다. 또한, 이미지 촬영 횟수는 조도에 따라 달라질 수 있다. 상기 이미지 촬영 시, 일반 조도에 비하여 상대적으로 긴 노출 시간이 적용될 수 있다.
603동작에서, 촬영된 상기 이미지들 중 기준 이미지가 선택될 수 있다. 상기 기준 이미지는 합성의 기본이 되는 이미지로서, 가장 번짐이 적은 이미지가 상기 기준 이미지로서 선택될 수 있다. 예를 들어, 상기 전자 장치는 각 이미지의 경계를 검출하고, 경계의 대비가 가장 뚜렷한 이미지를 상기 기준 이미지로서 선택할 수 있다.
605동작에서, 상기 기준 이미지 외 다른 이미지들이 상기 기준 이미지에 기준하여 정렬될 수 있다. 상기 정렬은 각 이미지의 광역 움직임을 고려하여 이미지들 간 동일한 피사체의 픽셀 위치를 일치시키는 것을 의미한다. 상기 광역 움직임은 이미지 촬영 시 촬영 장치, 즉, 상기 전자 장치의 움직임에 의해 발생할 수 있다. 즉, 상기 전자 장치는 상기 다른 이미지들을 수평/수직 이동시키거나, 기울임으로써 상기 광역 움직임을 보상할 수 있다. 상기 정렬을 위해, 상기 전자 장치는 각 이미지에서 공통되는 특징점을 검출할 수 있다.
607동작에서, 플래쉬 발광을 수반하여 촬영된 이미지들에서 피사체 및 배경이 분리될 수 있다. 상기 플래쉬 발광을 수반하여 촬영된 경우, 촬영되는 대상들 간 거리 차이에 따라 플래쉬 빛의 도달 시간에 차이가 발생하고, 이로 인해, 상대적으로 근접한 피사체 및 상대적으로 먼 배경 간 밝기 차이가 존재하는 것이 일반적이다. 따라서, 상기 피사체 및 상기 배경의 구분 없이 이미지들을 합성하면, 상기 밝기 차이가 그대로 반영됨으로써, 부자연스러운 이미지가 생성될 수 있다. 따라서, 본 발명의 실시 예는 상기 피사체 및 상기 배경을 분리하여, 상기 밝기 차이를 극복할 수 있다. 상기 피사체 및 상기 배경은 플래쉬 발광을 수반한 이미지 및 수반하지 아니한 이미지의 비교를 통해 구분될 수 있다. 예를 들어, 플래쉬 발광을 수반한 이미지 및 수반하지 아니한 이미지 간, 피사체에서의 밝기 차이는 배경에서의 밝기 차이보다 크다. 따라서, 양 이미지 간 서로 다른 두 영역의 밝기 차이가 임계치 이상 관찰되면, 상기 전자 장치는 상기 임계치 이상 밝기 차이를 보이는 부분을 피사체라 판단할 수 있다.
609동작에서, 상기 기준 이미지 및 정렬된 이미지들이 합성될 수 있다. 즉, 상기 기준 이미지의 각 픽셀 값을 상기 이미지들의 픽셀 값들을 이용하여 보정할 수 있다. 예를 들어, 상기 전자 장치는 동일한 피사체의 동일 지점에 대한 픽셀 값들을 평균화할 수 있다. 이를 통해, 상기 전자 장치는 상기 기준 이미지의 경계를 강화하고, 잡음을 감소시킬 수 있다. 이때, 플래쉬 발광으로 인한 상기 피사체 및 상기 배경의 밝기 차이를 보상하기 위해, 상기 피사체 부분 및 배경 부분은 서로 다른 가중치를 부여받을 수 있다. 예를 들어, 상기 플래쉬 발광을 수반한 이미지에서 상기 피사체 부분이 상대적으로 더 밝으므로, 상기 피사체 부분을 위한 가중치는 상기 배경 부분을 위한 가중치보다 낮을 수 있다. 이때, 상기 이미지들에 국부 움직임이 존재하는 경우, 상기 국부 움직임이 존재하는 부분의 합성은 나머지 부분과 다르게 수행될 수 있다. 상기 국부 움직임이 존재하는 경우의 합성은 상기 도 4와 같이 수행될 수 있다.
도 7은 본 발명의 실시 예에 따른 전자 장치의 동작 절차를 도시하고 있다.
상기 도 7을 참고하면, 상기 전자 장치는 701동작에서 조도를 측정할 수 있다. 상기 조도는 촬영될 이미지의 조도를 의미한다. 예를 들어, 상기 조도는 프리뷰를 위해 입력되는 이미지를 이용하여 상기 조도를 측정할 수 있다. 상기 조도는 노출 값으로 지칭될 수 있다.
상기 조도를 측정한 후, 상기 전자 장치는 703동작으로 진행하여 상기 조도가 속하는 구간에 따라 이미지 촬영 설정을 제어할 수 있다. 상기 이미지 촬영 설정은 이미지 촬영 횟수, 노출 시간, 센서 감도, 플래쉬 발광 여부, 플래쉬 발광을 수반하는 이미지 촬영 횟수, 밝기 보정 여부 중 적어도 하나를 포함할 수 있다. 즉, 상기 전자 장치는 상기 도 2에 도시된 바와 같은 본 발명의 실시 예에 따른 노출선도 및 조도 구간에 대한 정보를 저장하고 있으며, 측정된 조도에 따라 이미지 촬영 및 처리를 차별화할 수 있다. 예를 들어, 상기 노출선도 및 조도 구간에 대한 정보는 각 조도 구간을 구분하는 임계값들, 각 조도 구간에서의 노출 시간 값 및 센서 감도 값을 포함할 수 있다.
도 8은 본 발명의 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하고 있다.
상기 도 8을 참고하면, 상기 전자 장치는 801동작에서 측정된 조도가 일반 조도, 경 저조도, 중 저조도, 극 저조도 중 어디에 속하는지 판단할 수 있다. 상기 일반 조도는 본 발명의 실시 예에 따른 이미지 합성 없이도 정해진 밝기의 영상을 얻을 수 있는 조도를 의미하고, 상기 경 저조도, 상기 중 저조도, 상기 극 저조도는 상기 일반 보조보다 밝기가 낮은 구간들로서, 상기 경 저조도, 상기 중 저조도, 상기 극 저조도의 순서로 점점 어두운 환경을 의미한다. 즉, 상기 전자 장치는 상기 조도 구간들을 구분하는 임계값들과 상기 측정된 조도를 비교함으로써 상기 측정된 조도가 어느 구간에 속하는지 판단할 수 있다.
상기 측정된 조도가 상기 일반 조도에 속하면, 즉, 상기 측정된 조도가 제 1 임계치 이상이면, 상기 전자 장치는 803동작으로 진행하여 촬영 횟수를, 예컨대, 1회로 설정할 수 있다. 이에 따라, 1회의 이미지 촬영 명령에 의해, 예컨데, 1회의 이미지 촬영이 수행될 수 있다. 이때, 노출 시간 및 센서 감도는 종래 기술의 노출선도와 동일하게 설정될 수 있다.
상기 측정된 조도가 상기 경 저조도에 속하면, 즉, 상기 측정된 조도가 상기 제 1 임계치 미만이고, 제 2 임계치 이상이면, 상기 전자 장치는 805동작으로 진행하여 이미지 촬영 횟수를 다수로, 노출 시간을 일반 조도의 경우와 동일하게, 센서 감도를 일반 조도에 비하여 크게 설정할 수 있다. 이때, 상기 전자 장치는 상기 이미지 촬영 횟수를 조도에 따라 2 이상의 값으로 선택할 수 있다. 즉, 상기 이미지 촬영 횟수는 조도에 따라 달라질 수 있으며, 예를 들어, 조도가 낮을수록 단계적으로 증가할 수 있다. 다른 예로, 상기 이미지 촬영 횟수는 조도가 낮을수록 선형적으로 또는 지수적(exponentially)으로 증가할 수 있다. 이에 따라, 1회의 이미지 촬영 명령에 의해 다수의 이미지 촬영들이 수행될 수 있다.
상기 측정된 조도가 상기 중 저조도에 속하면, 즉, 상기 측정된 조도가 상기 제 2 임계치 미만이고, 제 3 임계치 이상이면, 상기 전자 장치는 807동작으로 진행하여 이미지 촬영 횟수를 다수로, 노출 시간을 일반 조도에 비하여 길게 설정할 수 있다 이때, 상기 전자 장치는 상기 이미지 촬영 횟수를 조도에 따라 다르게 선택할 수 있다. 예를 들어, 상기 이미지 촬영 횟수는 조도가 낮을수록 단계적으로 증가할 수 있다. 다른 예로, 상기 이미지 촬영 횟수는 조도가 낮을수록 선형적으로 또는 지수적으로 증가할 수 있다. 이에 따라, 1회의 이미지 촬영 명령에 의해 다수의 이미지 촬영들이 수행될 수 있다. 본 발명의 다른 실시 예에 따라, 상기 전자 장치는 센서 감도를 일반 조도에 비하여 크게 설정할 수 있다.
상기 측정된 조도가 상기 극 저조도에 속하면, 즉, 상기 측정된 조도가 상기 제 3 임계치 미만이면, 상기 전자 장치는 809동작으로 진행하여 이미지 촬영 횟수를 다수로, 노출 시간을 일반 조도에 비하여 길게 설정하고, 플래쉬 발광을 수반할 촬영 횟수를 선택할 수 있다. 여기서, 상기 노출 시간은 상기 중 저조도의 경우와 동일할 수 있다. 이때, 상기 전자 장치는 상기 이미지 촬영 횟수를 조도에 따라 다르게 선택할 수 있다. 예를 들어, 상기 이미지 촬영 횟수는 조도가 낮을수록 단계적으로 증가할 수 있다. 다른 예로, 상기 이미지 촬영 횟수는 조도가 낮을수록 선형적으로 또는 지수적으로 증가할 수 있다. 이에 따라, 1회의 이미지 촬영 명령에 의해 다수의 이미지 촬영들이 수행될 수 있다. 또한, 상기 플래쉬 발광을 수반할 촬영 횟수는 조도에 따라 다르게 선택할 수 있다. 예를 들어, 상기 플래쉬 발광을 수반할 촬영 횟수는 조도가 낮을수록 단계적으로 증가할 수 있다. 다른 예로, 상기 이미지 촬영 횟수는 조도가 낮을수록 선형적으로 또는 지수적으로 증가할 수 있다.
도 9는 본 발명의 또 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하고 있다. 상기 도 9에 도시된 실시 예는 경 저조도 환경에서의 상기 전자 장치의 동작 절차를 나타낸다.
상기 도 9를 참고하면, 상기 전자 장치는 901동작에서 이미지 촬영 명령이 발생하는지 판단할 수 있다. 상기 이미지 촬영 명령은 사용자의 조작, 미리 정의된 이벤트의 발생에 의해 발생할 수 있다. 예를 들어, 이미지 촬영 어플리케이션이 실행된 후 상기 사용자에 의해 셔터(shutter)가 클릭(click)되면, 상기 전자 장치는 상기 이미지 촬영 명령이 발생함을 판단할 수 있다.
상기 이미지 촬영 명령이 발생하면, 상기 전자 장치는 903동작에서 다수의 이미지들을 촬영할 수 있다. 다시 말해, 상기 전자 장치는 1회의 이미지 촬영 명령에 따라 반복적으로 다수의 이미지 촬영들을 수행할 수 있다. 여기서, 상기 이미지 촬영 횟수는 조도에 따라 달라질 수 있다. 예를 들어, 상기 전자 장치는 조도가 낮을수록 상기 이미지 촬영 횟수를 증가시킬 수 있다. 또한, 노출 시간은 일반 조도의 경우와 동일하게, 센서 감도를 일반 조도에 비하여 크게 설정될 수 있다.
이후, 상기 전자 장치는 905동작으로 진행하여 촬영된 상기 다수의 이미지들을 합성할 수 있다. 상기 이미지 합성을 위해, 상기 전자 장치는 상기 다수의 이미지들 중 기준 이미지를 선택하고, 상기 기준 이미지를 기준으로 나머지 적어도 하나의 이미지를 정렬하고, 상기 기준 이미지의 픽셀 값들을 상기 이미지들의 픽셀 값들을 이용하여 보정할 수 있다. 이때, 상기 다수의 이미지들에 국부 움직임이 존재하는 경우, 상기 전자 장치는 국부 움직임 부분을 추출하고, 상기 국부 움직임 부분 및 나머지 부분을 구분하여 합성할 수 있다. 즉, 상기 전자 장치는 상기 다수의 이미지들을 합성한 1개의 결과 이미지를 생성할 수 있다.
도 10은 본 발명의 또 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하고 있다. 상기 도 10에 도시된 실시 예는 중 저조도 환경에서의 상기 전자 장치의 동작 절차를 나타낸다.
상기 도 10을 참고하면, 상기 전자 장치는 1001동작에서 이미지 촬영 명령이 발생하는지 판단할 수 있다. 상기 이미지 촬영 명령은 사용자의 조작, 미리 정의된 이벤트의 발생에 의해 발생할 수 있다. 예를 들어, 이미지 촬영 어플리케이션이 실행된 후 상기 사용자에 의해 셔터가 클릭되면, 상기 전자 장치는 상기 이미지 촬영 명령이 발생함을 판단할 수 있다.
상기 이미지 촬영 명령이 발생하면, 상기 전자 장치는 1003동작에서 다수의 이미지들을 촬영할 수 있다. 다시 말해, 상기 전자 장치는 1회의 이미지 촬영 명령에 따라 반복적으로 다수의 이미지 촬영들을 수행할 수 있다. 여기서, 상기 이미지 촬영 횟수는 조도에 따라 달라질 수 있다. 예를 들어, 상기 전자 장치는 조도가 낮을수록 상기 이미지 촬영 횟수를 증가시킬 수 있다. 또한, 노출 시간은 일반 조도의 경우에 비하여 길게 설정될 수 있다.
이후, 상기 전자 장치는 1005동작으로 진행하여 촬영된 상기 다수의 이미지들을 합성할 수 있다. 상기 이미지 합성을 위해, 상기 전자 장치는 상기 다수의 이미지들 중 기준 이미지를 선택하고, 상기 기준 이미지를 기준으로 나머지 적어도 하나의 이미지를 정렬하고, 상기 기준 이미지의 픽셀 값들을 상기 이미지들의 픽셀 값들을 이용하여 보정할 수 있다. 이때, 상기 다수의 이미지들에 국부 움직임이 존재하는 경우, 상기 전자 장치는 국부 움직임 부분을 추출하고, 상기 국부 움직임 부분 및 나머지 부분을 구분하여 합성할 수 있다.
상기 다수의 이미지들을 합성한 후, 상기 전자 장치는 1007동작으로 진행하여 합성된 이미지의 밝기를 보정할 수 있다. 밝기 보정 방법으로는 톤 매핑(tone mapping), 히스토그램 평활화(Histogram Equalization), 레티넥스(Retinex) 기법 등이 사용될 수 있으며, 이들 기법들을 같이 사용하여 저조도 상황에서 이미지의 색 정보 복원과 대비 등이 향상된 결과 이미지를 생성할 수 있다.
도 11은 본 발명의 또 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하고 있다. 상기 도 11에 도시된 실시 예는 극 저조도 환경에서의 상기 전자 장치의 동작 절차를 나타낸다.
상기 도 11을 참고하면, 상기 전자 장치는 1101동작에서 이미지 촬영 명령이 발생하는지 판단할 수 있다. 상기 이미지 촬영 명령은 사용자의 조작, 미리 정의된 이벤트의 발생에 의해 발생할 수 있다. 예를 들어, 이미지 촬영 어플리케이션이 실행된 후 상기 사용자에 의해 셔터가 클릭되면, 상기 전자 장치는 상기 이미지 촬영 명령이 발생함을 판단할 수 있다.
상기 이미지 촬영 명령이 발생하면, 상기 전자 장치는 1103동작에서 다수의 이미지들을 촬영하되, 일부 이미지에 대하여는 플래쉬 발광을 수반할 수 있다. 다시 말해, 상기 전자 장치는 1회의 이미지 촬영 명령에 따라 반복적으로 다수의 이미지 촬영들을 수행할 수 있다. 여기서, 상기 이미지 촬영 횟수 및 플래쉬 발광을 수반하는 촬영 횟수는 조도에 따라 달라질 수 있다. 예를 들어, 상기 전자 장치는 조도가 낮을수록 상기 이미지 촬영 횟수를, 플래쉬 발광을 수반하는 촬영 횟수를 증가시킬 수 있다. 또한, 노출 시간은 일반 조도의 경우에 비하여 길게 설정될 수 있다.
이후, 상기 전자 장치는 1105동작으로 진행하여 촬영된 상기 다수의 이미지들을 합성할 수 있다. 상기 이미지 합성을 위해, 상기 전자 장치는 상기 다수의 이미지들 중 기준 이미지를 선택하고, 상기 기준 이미지를 기준으로 나머지 적어도 하나의 이미지를 정렬하고, 플래쉬 발광을 수반한 이미지 및 수반하지 아니한 이미지 간 밝기 차이에 기초하여 피사체 및 배경을 구분하고, 상기 피사체 부분 및 상기 배경 부분을 서로 다른 가중치로 합성할 수 있다. 이때, 상기 다수의 이미지들에 국부 움직임이 존재하는 경우, 상기 전자 장치는 국부 움직임 부분을 추출하고, 상기 국부 움직임 부분 및 나머지 부분을 구분하여 합성할 수 있다. 즉, 상기 전자 장치는 상기 다수의 이미지들을 합성한 1개의 결과 이미지를 생성할 수 있다
본 발명의 다른 실시 예에 따라, 상기 극 저조도 환경에서, 상기 전자 장치는 합성된 이미지의 밝기를 보정할 수 있다. 예를 들어, 밝기 보정 방법으로서, 톤 맵핑(tone mapping), 히스토그램 평활화(Histogram Equalization), 레티넥스(Retinex) 기법 등이 사용될 수 있으며, 이들 기법들을 같이 사용하여 저조도 상황에서 이미지의 색 정보 복원과 대비 등이 향상된 결과 이미지를 생성할 수 있다.
도 12는 본 발명의 또 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하고 있다.
상기 도 12를 참고하면, 상기 전자 장치는 1201동작에서 일반 조도 환경하에서 이미지 촬영 명령 발생 시, 예컨데, 1회 이미지 촬영을 수행할 수 있다. 상기 일반 조도는 본 발명의 실시 예에 따른 이미지 합성 없이도 정해진 밝기의 영상을 얻을 수 있는 조도를 의미한다. 따라서, 상기 전자 장치는, 예컨데, 1회의 이미지 촬영만을 수행할 수 있다.
이후, 상기 전자 장치는 1203동작으로 진행하여 저조도 환경에서 이미지 촬영 명령 발생 시 상기 일반 조도의 경우와 동일한 노출 시간으로 다수의 이미지 촬영들을 수행할 수 있다. 즉, 상기 전자 장치는 노출 시간을 유지함으로써 이미지의 흔들림을 방지하되, 미리 정의된 밝기를 확보하기 위해 상기 일반 조도의 경우에 비하여 센서 감도를 높인다. 또한, 센서 감도를 높임에 따라 증가하는 잡음을 감소시키기 위해, 상기 전자 장치는 다수의 이미지들을 합성할 수 있다. 또한, 상기 이미지 촬영 횟수는 조도가 낮아질수록 증가할 수 있다.
도 13은 본 발명의 또 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하고 있다.
상기 도 13을 참고하면, 1301동작에서, 상기 전자 장치는 피사체에 대응하는 조도를 결정할 수 있다. 예를 들어, 상기 전자 장치는 상기 조도에 기반하여 노출 값(exposure value)를 결정할 수 있다.
이어, 상기 전자 장치는 1303동작으로 진행하여 적어도 상기 조도에 기반하여 상기 전자 장치의 촬영 모드를 자동으로 결정할 수 있다,
상기 촬영 모드를 자동으로 결정한 후, 상기 전자 장치는 1305동작으로 진행하여 결정된 촬영 모드를 확인할 수 있다. 이에 따라, 상기 전자 장치는, 상기 촬영 모드가 제 1 촬영 모드인 경우, 이하 1307동작으로 진행할 수 있고, 상기 촬영 모드가 제 2 촬영 모드인 경우, 이하 1309동작으로 진행할 수 있다.
상기 촬영 모드가 제 1 촬영 모드인 경우, 상기 전자 장치는 1307동작으로 진행하여 제 1 노출 시간에 기반하여 상기 피사체의 제 1 결과 이미지를 획득할 수 있다. 이때, 상기 전자 장치는, 상기 제 1 결과 이미지를 획득하기 위해, 제 1 센서 이득을 적용할 수 있다.
상기 촬영 모드가 제 2 촬영 모드인 경우, 상기 전자 장치는 1309동작으로 진행하여 제 2 노출 시간에 기반하여 상기 피사체의 다수의 이미지들을 획득할 수 있다. 여기서, 상기 제 2 노출 시간은 상기 제 1 노출 시간보다 작을 수 있다. 이때, 상기 전자 장치는, 상기 제 1 센서 이득과 다른 제 2 센서 이득을 적용할 수 있다. 다시 말해, 상기 조도가 제 1 범위(range)인 경우에는 제 1 센서 이득이 적용될 수 있고, 상기 조도가 상기 제 1 범위보다 낮은 제 2 범위인 경우에는 상기 제 1 센서 이득보다 높은 제 2 센서 이득이 적용될 수 있다. 본 발명의 실시 예에 따라, 상기 전자 장치는 상기 조도가 낮을수록 상기 다수의 이미지들의 개수를 증가하거나, 또는, 상기 조도가 높을수록 상기 다수의 이미지들의 개수를 감소시킬 수 있다.
이어, 상기 전자 장치는 1311동작으로 진행하여 상기 다수의 이미지들 중 적어도 둘 이상의 이미지들에 기반하여 제 2 결과 이미지를 생성할 수 있다. 예를 들어, 상기 전자 장치는 상기 적어도 둘 이상의 이미지들을 합성할 수 있다. 예를 들어, 상기 전자 장치는 상기 적어도 둘 이상의 이미지들 중 가장 번짐이 적은 하나의 이미지를 기준 이미지로서 선택하고, 상기 기준 이미지에 기준하여 나머지 적어도 하나의 이미지를 정렬하고, 상기 기준 이미지의 픽셀 값들을 상기 나머지 적어도 하나의 이미지의 픽셀 값들에 기반하여 보정할 수 있다.
이때, 본 발명의 다른 실시 예에 따라, 상기 전자 장치는, 상기 적어도 둘 이상의 이미지들의 각각에서 상기 피사체의 적어도 일부와 관련된 국부 움직임(local movement)에 대응하는 영역을 결정하고, 상기 적어도 둘 이상의 이미지들의 각각에서 상기 영역 외 나머지 영역을 결정하고, 상기 적어도 둘 이상의 이미지들의 각각에서 결정된 상기 영역들을 합성하고, 상기 적어도 둘 이상의 이미지들의 각각에서 결정된 상기 나머지 영역들을 합성할 수 있다. 이때, 상기 전자 장치는 상기 국부 움직임의 방향에 기반하여 상기 영역들의 적어도 일부를 정렬할 수 있다. 상기 나머지 영역들을 합성하는데 있어서, 상기 전자 장치는 상기 나머지 영역들에 포함된 상기 피사체의 적어도 다른 일부(another portion)의 움직임의 방향에 기반하여 상기 나머지 영역들의 적어도 일부를 정렬할 수 있다.
본 발명의 또 다른 실시 예에 따라, 상기 조도가 지정된 임계치 미만인 경우, 상기 전자 장치는 상기 적어도 둘 이상의 이미지들의 전부 또는 일부, 또는, 상기 제 2 결과 이미지의 밝기를 강화할 수 있다.
본 발명의 또 다른 실시 예에 따라, 상기 조도가 지정된 임계치 미만인 경우, 상기 전자 장치는 상기 다수의 이미지들의 적어도 일부 이미지 획득 시 플래쉬를 발광할 수 있다. 상기 밝기 강화가 수행되는 임계치 및 상기 플래쉬 발광이 수행되는 임계치는 같거나, 또는, 다를 수 있다. 여기서, 상기 적어도 둘 이상의 이미지들은, 플래쉬를 발광하여 획득된 이미지를 적어도 하나 포함한다. 이때, 상기 제 2 결과 이미지를 생성하기 위해, 상기 전자 장치는 상기 적어도 둘 이상의 이미지들 중 상기 플래쉬를 발광하여 획득된 이미지 및 나머지 이미지 간 밝기 차이에 기반하여 상기 피사체의 주 피사체 또는 부 피사체를 구분하고, 상기 적어도 둘 이상의 이미지들의 상기 주 피사체에 대응하는 영역은 제 1 가중치를 적용하여 합성하고, 상기 적어도 둘 이상의 이미지들의 상기 부 피사체에 대응하는 영역은 상기 제 2 가중치를 적용하여 합성할 수 있다. 이때, 상기 전자 장치는 상기 조도가 낮을수록 상기 플래쉬를 발광하여 획득된 이미지의 개수를 증가하거나, 상기 조도가 높을수록 상기 플래쉬를 발광하여 획득된 이미지 개수를 감소할 수 있다.
도 14는 본 발명의 실시 예에 따른 전자 장치의 블록 구성을 도시하고 있다.
상기 도 14를 참고하면, 상기 전자 장치는 메모리(1410), 프로세서 유닛(processor unit)(1420), 입출력(IO: Input Output) 시스템(1430), 카메라 서브 시스템(1440)을 포함할 수 있다. 상기 메모리(1410)는 다수 개로 구성될 수 있다.
상기 메모리(1410)는 적어도 하나의 소프트웨어, 마이크로 코드, 설정 정보 등을 저장할 수 있다. 상기 메모리(1410)는 적어도 하나의 고속 랜덤 액세스 메모리, 비휘발성 메모리, 적어도 하나의 광 저장 장치, 플래시 메모리(예: NAND, NOR) 중 적어도 하나를 포함할 수 있다. 상기 메모리(1410)에 저장된 소프트웨어 구성 요소는 운영 체제(operating system) 모듈(1411), 통신 모듈(1412), 그래픽 모듈(1412), 사용자 인터페이스 모듈(1413), 카메라 모듈(1414), 적어도 하나의 애플리케이션 모듈(1416) 등을 포함할 수 있다. 또한, 소프트웨어 구성 요소인 모듈은 명령어들의 집합으로 표현할 수 있고, 상기 모듈은 '명령어 집합(instruction set)' 또는 '프로그램'으로 지칭될 수 있다.
상기 운영 체제 모듈(1411)은 일반적인 시스템 작동(system operation)을 제어하는 명령어 집합을 포함할 수 있다. 예를 들어, 상기 운영 체제 모듈(1411)은 WINDOWS, LINUX, 다윈(Darwin), RTXC, UNIX, OS X, VxWorks, Android, iOS와 같은 내장 운영 체제일 수 있다. 예를 들어, 상기 운영 체제 모듈(1411)은 메모리 관리 및 제어, 저장 하드웨어 제어 및 관리, 전력 제어 및 관리 등의 일반적인 시스템 작동 제어를 담당할 수 있다. 상기 운영 체제 모듈(1411)은 적어도 하나의 하드웨어 요소 및 적어도 하나의 소프트웨어 구성 요소 간 통신이 원활하게 이루어지도록 제어할 수 있다.
상기 그래픽 모듈(1412)은 상기 터치 스크린(1433) 상에 그래픽을 제공하고 표시하기 위한 적어도 하나의 명령어 집합을 포함할 수 있다 여기서, 그래픽은 텍스트(text), 웹 페이지(web page), 아이콘(icon), 디지털 이미지(digital image), 비디오(video), 애니메이션(animation) 등을 포함할 수 있다 상기 터치 스크린(1433)은 영상을 표시하므로 '표시부'라 지칭될 수 있다.
상기 사용자 인터페이스 모듈(1413)은 사용자 인터페이스를 제공하기 위한 적어도 하나의 명령어 집합을 포함할 수 있다 예를 들어, 상기 사용자 인터페이스 모듈(1413)은 상기 사용자 인터페이스의 상태가 어떻게 변경되는지, 또는, 사용자 인터페이스 상태의 변경이 어떤 조건에서 이루어지는지 등을 제어할 수 있다.
상기 카메라 모듈(1414)은 카메라 관련 프로세스 및 기능들을 수행하기 위한 적어도 하나의 명령어 집합을 포함할 수 있다 예컨대, 상기 카메라 모듈(1414)는 스틸(still) 이미지, 동영상(video) 등을 촬영하기 위해 상기 카메라 서브 시스템(1440)을 동작시키기 위한 명령어 집합을 포함할 수 있다
본 발명의 실시 예에 따라, 상기 메모리(1410)는 상기 도 2에 도시된 바와 같은 본 발명의 실시 예에 따른 노출선도 및 조도 구간에 대한 정보를 저장할 수 있다 예를 들어, 상기 노출선도 및 조도 구간에 대한 정보는 각 조도 구간을 구분하는 임계값들, 각 조도 구간에서의 노출 시간 값 및 센서 감도 값을 포함할 수 있다.
상기 메모리(1410)는 상술한 모듈들(1411 내지 1314) 외에 추가적인 모듈을 포함할 수 있다. 또는, 본 발명의 다른 실시 예에 따라, 상술한 모듈들(1411 내지 1314) 중 일부가 배제될 수 있다.
상기 프로세서 유닛(1420)은 메모리 인터페이스(1421), 프로세서(1422) 및 주변장치 인터페이스(peripheral interface)(1423)를 포함할 수 있다 경우에 따라, 상기 프로세서 유닛(1420) 전체가 '프로세서'로 지칭될 수 있다. 상기 메모리 인터페이스(1421), 상기 프로세서(1422), 상기 주변장치 인터페이스(1423) 각각은 별개의 구성 요소이거나, 또는, 적어도 하나의 집적화된 회로에 포함될 수 있다.
상기 프로세서(1422)는 적어도 하나의 하드웨어 칩(chip)을 포함할 수 있다. 상기 프로세서(1422)는 소프트웨어 모듈을 실행함으로써 상기 전자 장치가 상기 소프트웨어 모듈에 의해 구현되는 기능을 수행하게 할 수 있다. 특히, 상기 프로세서(1422)는 상기 메모리(1410)에 저장된 소프트웨어 모듈들과 연동하여 본 발명의 실시 예를 실시할 수 있다. 또한, 상기 프로세서(1422)는 적어도 하나의 데이터 프로세서, 이미지 프로세서를 포함할 수 있다. 본 발명의 다른 실시 예에 따라, 상기 데이터 프로세서, 상기 이미지 프로세서는 별도의 하드웨어로 구성될 수 있다. 또한, 상기 프로세서(1422)는 서로 다른 기능을 수행하는 다수의 프로세서들로 구성될 수 있다. 상기 프로세서(1422)는 AP(Application Process)로 지칭될 수 있다.
상기 메모리 인터페이스(1421)는 상기 메모리(1410) 및 상기 프로세서(1422) 간 데이터 및 제어 신호의 이동 경로를 제공할 수 있다. 예를 들어, 상기 메모리 인터페이스(1421)는 상기 메모리(1410)에 접근하기 위한 인터페이스를 제공할 수 있다. 상기 주변 장치 인터페이스(1423)는 상기 전자 장치의 상기 입출력 서브 시스템(1430) 및 적어도 하나의 주변 장치를 상기 프로세서(1421) 및 상기 메모리(1410)에 연결할 수 있다.
상기 입출력 서브 시스템(1430)은 터치 스크린 제어기(1431), 기타 입력 제어기(1432), 터치 스크린(1433), 기타 입력/제어 장치(1434)를 포함할 수 있다.
상기 터치 스크린 제어기(1431)는 상기 터치 스크린(1433)에 결합될 수 있다. 상기 터치 스크린(1433) 및 상기 터치 스크린 제어기(1431)는, 이에 한정되지 아니하나, 상기 터치 스크린(1433) 상에서의 적어도 하나의 접촉점을 결정하기 위한 용량성, 저항성, 적외선 및 표면 음향파 기술들 뿐만 아니라 기타 근접 센서 배열 또는 기타 요소들을 포함하는 감지 기술을 이용하여 접촉, 움직임, 상기 접촉 또는 상기 움직임의 중단을 검출할 수 있다.
상기 기타 입력 제어기(1432)는 상기 기타 입력/제어 장치(1434)에 결합될 수 있다. 상기 기타 입력/제어 장치(1434)에 적어도 하나의 볼륨(volumn) 제어를 위한 업/다운(up/down) 버튼이 포함될 수 있다. 또한, 상기 버튼은 푸시 버튼(push button) 또는 로커 버튼(rocker button), 로커(rocker) 스위치, 썸-휠(thumb-wheel), 다이얼(dial), 스틱(stick), 스타일러스(stylus)와 같은 포인터 장치 등의 형태를 가질 수 있다.
상기 터치 스크린(1433)은 상기 전자 장치와 사용자 사이에 입력/출력 인터페이스를 제공할 수 있다. 예를 들어, 상기 터치 스크린(1433)은 사용자의 터치 입력을 상기 전자 장치에 전달할 수 있다. 또한, 상기 터치 스크린(1433)은 상기 전자 장치로부터의 출력을 사용자에게 보여주는 매개체이다. 예를 들어, 상기 터치 스크린(1433)은 사용자에게 시각적 출력을 보여준다. 상기 시각적 출력(visual output)은 텍스트(text), 그래픽(graphic), 비디오(video), 이들의 조합의 형태로 표현될 수 있다. 상기 터치 스크린(1433)을 위해 다양한 디스플레이 수단이 사용될 수 있다. 예를 들면, 이에 한정되지 아니하나, 상기 터치 스크린(1433)은 LCD(liquid crystal display), LED(Light Emitting Diode), LPD(light emitting polymer display), OLED(Organic Light Emitting Diode), AMOLED(Active Matrix Organic Light Emitting Diode), FLED(Flexible LED) 중 적어도 하나를 포함할 수 있다.
상기 카메라 서브 시스템(1440)은 사진 촬영, 동영상 촬영 등의 기능을 수행할 수 있다. 상기 카메라 서브 시스템(1440)은 이미지 센서, 렌즈, 플레쉬 또는 이미지 프로세서(예: image signal processor (ISP)) 중의 적어도 하나를 포함할 수 있다. 상기 이미지 센서로서, CCD(Charge-Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 중 적어도 하나가 사용될 수 있다. 예를 들어, 상기 카메라 서브 시스템(1440)은 렌즈를 통해 입력되는 빛을 상기 이미지 센서로 인식하고, 상기 이미지 센서에서 인식된 이미지를 데이터화할 수 있다.
본 발명의 실시 예에 따라, 상기 프로세서(1422)는 흔들림 없는 이미지를 획득하기 위해 조도에 따라 서로 다른 이미지 처리를 수행할 수 있다. 이를 위해, 상기 프로세서(1422)는 피사체 및 배경의 조도를 분석하는 조도 분석 모듈, 촬영된 이미지들 간 불일치(misalign), 밝기 차이를 분석하는 이미지 분석 모듈, 이미지를 합성하는 이미지 합성 모듈을 포함할 수 있다. 다른 실시 예에 따라, 상기 메모리(1410)는 상기 조도 분석 모듈, 상기 이미지 분석 모듈, 상기 이미지 합성 모듈의 이미지 처리 작업들 위한 명령어 집합을 포함하는 소프트웨어 모듈을 저장하고, 상기 프로세서(1422)는 상기 소프트웨어 모듈을 실행할 수 있다. 즉, 상기 프로세서(1422)는 상기 도 7 내지 상기 도 12의 절차들을 수행할 수 있다. 또 다른 실시 예에 따라, 상기 이미지 처리 작업들을 수행하기 위한 별도의 하드웨어 블록이 구비될 수 있다. 또 다른 실시 예에 따라, 상기 이미지 처리 작업들을 수행하는 기능은 상기 프로세서(1422) 및 별도의 프로세서에 분산되어 구현될 수 있다.
본 발명의 실시 예에 따라, 상기 프로세서(1422)는 피사체에 대응하는 조도를 결정하고, 적어도 상기 조도에 기반하여 촬영 모드를 자동으로 결정하고, 상기 촬영 모드가 제 1 촬영 모드인 경우, 제 1 노출 시간에 기반하여 상기 피사체의 제 1 결과 이미지를 획득하고, 상기 촬영 모드가 제 2 촬영 모드인 경우, 제 2 노출 시간에 기반하여 상기 피사체의 다수의 이미지들을 획득하고, 상기 다수의 이미지들 중 적어도 둘 이상의 이미지들에 기반하여 제 2 결과 이미지를 생성하도록 설정될 수 있다.
본 발명의 다른 실시 예에 따라, 상기 프로세서(1422)는 촬영될 이미지의 조도를 측정하고, 측정된 조도가 속하는 구간에 따라 이미지 촬영 설정을 제어할 수 있다. 구체적으로, 상기 프로세서(1422)는 측정된 조도가 일반 조도, 경 저조도, 중 저조도, 극 저조도 중 어디에 속하는지 판단할 수 있다. 상기 측정된 조도가 상기 일반 조도에 속하면, 상기 프로세서(1422)는 촬영 횟수를, 예컨대, 1회로 설정할 수 있다 상기 측정된 조도가 상기 경 저조도에 속하면, 상기 프로세서(1422)는 이미지 촬영 횟수를 다수로, 노출 시간을 일반 조도의 경우와 동일하게, 센서 감도를 일반 조도에 비하여 크게 설정할 수 있다 이때, 상기 이미지 촬영 횟수는 조도가 낮을수록 단계적으로 증가할 수 있다. 다른 예로, 상기 이미지 촬영 횟수는 조도가 낮을수록 선형적으로 또는 지수적으로 증가할 수 있다. 상기 측정된 조도가 상기 중 저조도에 속하면, 상기 프로세서(1422)는 이미지 촬영 횟수를 다수로, 노출 시간을 일반 조도에 비하여 길게 설정할 수 있다 이때, 상기 이미지 촬영 횟수는 조도가 낮을수록 단계적으로 증가할 수 있다. 다른 예로, 상기 이미지 촬영 횟수는 조도가 낮을수록 선형적으로 또는 지수적으로 증가할 수 있다. 본 발명의 다른 실시 예에 따라, 상기 프로세서(1422)는 센서 감도를 일반 조도에 비하여 크게 설정할 수 있다. 상기 측정된 조도가 상기 극 저조도에 속하면, 상기 프로세서(1422)는 이미지 촬영 횟수를 다수로, 노출 시간을 일반 조도에 비하여 길게 설정하고, 플래쉬 발광을 수반할 촬영 횟수를 선택할 수 있다. 여기서, 상기 노출 시간은 상기 중 저조도의 경우와 동일할 수 있다. 이때, 상기 이미지 촬영 횟수는 조도가 낮을수록 단계적으로, 선형적으로, 또는, 지수적으로 증가할 수 있다. 또한, 상기 플래쉬 발광을 수반할 촬영 횟수는 조도가 낮을수록 단계적으로 증가할 수 있다. 다른 예로, 상기 이미지 촬영 횟수는 조도가 낮을수록 선형적으로 또는 지수적으로 증가할 수 있다. 상술한 바와 같이, 상기 일반 조도가 아닌 경우, 1회의 이미지 촬영 명령에 의해 다수의 이미지 촬영들이 수행될 수 있다.
본 발명의 또 다른 실시 예에 따라, 경 저조도 환경의 경우, 이미지 촬영 명령이 발생하면, 상기 프로세서(1422)는 다수의 이미지들을 촬영한 후, 촬영된 상기 다수의 이미지들을 합성할 수 있다. 상기 이미지 합성을 위해, 상기 프로세서(1422)는 상기 다수의 이미지들 중 기준 이미지를 선택하고, 상기 기준 이미지를 기준으로 나머지 적어도 하나의 이미지를 정렬하고, 상기 기준 이미지의 픽셀 값들을 상기 이미지들의 픽셀 값들을 이용하여 보정할 수 있다.
본 발명의 또 다른 실시 예에 따라, 중 저조도 환경의 경우, 이미지 촬영 명령이 발생하면, 상기 프로세서(1422)는 다수의 이미지들을 촬영한 후, 촬영된 상기 다수의 이미지들을 합성하고, 합성된 이미지의 밝기를 보정할 수 있다. 예를 들어, 상기 프로세서(1432)는 톤 매핑(tone mapping), 히스토그램 평활화(Histogram Equalization), 레티넥스(Retinex) 기법 등과 같은 이미지 개선 알고리즘을 이용하여 이미지의 색정보와 대비 등을 향상 시켜 합성된 이미지의 밝기를 보정할 수 있다.
본 발명의 또 다른 실시 예에 따라, 극 저조도 환경의 경우, 이미지 촬영 명령이 발생하면, 상기 프로세서(1422)는 다수의 이미지들을 촬영하되, 일부 이미지에 대하여는 플래쉬 발광을 수반할 수 있다. 이어, 상기 프로세서(1422)는 촬영된 상기 다수의 이미지들을 합성할 수 있다. 이때, 상기 프로세서(1422)는 플래쉬 발광을 수반한 이미지 및 수반하지 아니한 이미지 간 밝기 차이에 기초하여 피사체 및 배경을 구분하고, 상기 피사체 부분 및 상기 배경 부분을 서로 다른 가중치로 합성할 수 있다. 나아가, 상기 프로세서(1422)는 합성된 이미지의 밝기를 보정할 수 있다.
상술한 이미지 합성 과정에서, 상기 다수의 이미지들에 국부 움직임이 존재하는 경우, 상기 프로세서(1422)는 국부 움직임 부분을 추출하고, 상기 국부 움직임 부분 및 나머지 부분을 구분하여 합성할 수 있다.
본 발명의 또 다른 실시 예에 따라, 상기 프로세서(1422)는 일반 조도 환경하에서 이미지 촬영 명령 발생 시, 예컨데, 1회 이미지 촬영을 수행할 수 있다. 반면, 상기 프로세서(1422)는 저조도 환경에서 이미지 촬영 명령 발생 시 상기 일반 조도의 경우와 동일한 노출 시간으로 다수의 이미지 촬영들을 수행할 수 있다. 즉, 상기 프로세서(1422)는 노출 시간을 유지함으로써 이미지의 흔들림을 방지하되, 미리 정의된 밝기를 확보하기 위해 상기 일반 조도의 경우에 비하여 센서 감도를 높인다. 또한, 센서 감도를 높임에 따라 증가하는 잡음을 감소시키기 위해, 상기 프로세서(1422)는 다수의 이미지들을 합성할 수 있다.
본 발명에 따른 상기 전자 장치의 다양한 기능들은 적어도 하나의 스트림 프로세싱(processing), 어플리케이션 특정 집적 회로(ASIC: Application Specific Integrated Circuit)를 포함하는 하드웨어, 소프트웨어, 이들의 결합으로 실행될 수 있다.
본 발명의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 발명의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM: Read Only Memory), 전기적 삭제가능 프로그램가능 롬(EEPROM: Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM: Compact Disc-ROM), 디지털 다목적 디스크(DVDs: Digital Versatile Discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 상기 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN), 또는 SAN(Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 발명의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 발명의 실시 예를 수행하는 장치에 접속할 수도 있다.
상술한 본 발명의 구체적인 실시 예들에서, 발명에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 발명이 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (25)

  1. 피사체에 대응하는 조도를 결정하는 동작;
    적어도 상기 조도에 기반하여 전자 장치의 촬영 모드를 자동으로 결정하는 동작;
    상기 촬영 모드가 제 1 촬영 모드인 경우, 제 1 노출 시간에 기반하여 상기 피사체의 제 1 결과 이미지를 획득하는 동작; 및
    상기 촬영 모드가 제 2 촬영 모드인 경우, 제 2 노출 시간에 기반하여 상기 피사체의 다수의 이미지들을 획득하는 동작 및 상기 다수의 이미지들 중 적어도 둘 이상의 이미지들에 기반하여 제 2 결과 이미지를 생성하는 동작을 포함하는 방법.
  2. 제1항에 있어서, 상기 제 2 노출 시간은 상기 제 1 노출 시간보다 작은 방법.
  3. 제1항에 있어서, 상기 조도를 결정하는 동작은,
    상기 조도에 기반하여 노출 값(exposure value)를 결정하는 동작을 포함하는 방법.
  4. 제1항에 있어서, 상기 제 1 결과 이미지를 획득하는 동작은, 제 1 센서 이득을 적용하는 동작을 포함하는 방법.
  5. 제4항에 있어서, 상기 제 2 노출 시간에 기반하여 상기 다수의 이미지들을 획득하는 동작은, 상기 제 1 센서 이득과 다른 제 2 센서 이득을 적용하는 동작을 포함하는 방법.
  6. 제1항에 있어서, 상기 제 2 노출 시간에 기반하여 상기 피사체의 다수의 이미지들을 획득하는 동작은,
    상기 조도가 낮을수록 상기 다수의 이미지들의 개수를 증가하거나, 상기 조도가 높을수록 상기 다수의 이미지들의 개수를 감소하는 동작을 포함하는 방법.
  7. 제1항에 있어서, 상기 제 2 노출 시간에 기반하여 상기 피사체의 다수의 이미지들을 획득하는 동작은,
    상기 조도가 제 1 범위(range)인 경우에는 제 1 센서 이득을 적용하고, 상기 조도가 상기 제 1 범위보다 낮은 제 2 범위인 경우에는 상기 제 1 센서 이득보다 높은 제 2 센서 이득을 적용하는 동작을 포함하는 방법.
  8. 제1항에 있어서, 상기 적어도 둘 이상의 이미지들에 기반하여 결과 이미지를 생성하는 동작은,
    상기 적어도 둘 이상의 이미지들을 합성하는 동작을 포함하는 방법.
  9. 제8항에 있어서, 상기 적어도 둘 이상의 이미지들을 합성하는 동작은,
    상기 적어도 둘 이상의 이미지들 중 가장 번짐이 적은 하나의 이미지를 기준 이미지로서 선택하는 동작;
    상기 기준 이미지에 기준하여 나머지 적어도 하나의 이미지를 정렬(alignment)하는 동작;
    상기 기준 이미지의 픽셀 값들을 상기 나머지 적어도 하나의 이미지의 픽셀 값들에 기반하여 보정하는 동작을 포함하는 방법.
  10. 제8항에 있어서, 상기 적어도 둘 이상의 이미지들을 합성하는 동작은,
    상기 적어도 둘 이상의 이미지들의 각각에서 상기 피사체의 적어도 일부와 관련된 국부 움직임(local movement)에 대응하는 영역을 결정하는 동작;
    상기 적어도 둘 이상의 이미지들의 각각에서 상기 영역 외 나머지 영역을 결정하는 동작; 및
    상기 적어도 둘 이상의 이미지들의 각각에서 결정된 상기 영역들을 합성하는 동작; 및
    상기 적어도 둘 이상의 이미지들의 각각에서 결정된 상기 나머지 영역들을 합성하는 동작을 포함하는 방법.
  11. 제10항에 있어서, 상기 영역들을 합성하는 동작은,
    상기 국부 움직임의 방향에 기반하여 상기 영역들의 적어도 일부를 정렬하는 동작을 포함하는 방법.
  12. 제10항에 있어서, 상기 나머지 영역들을 합성하는 동작은,
    상기 나머지 영역들에 포함된 상기 피사체의 적어도 다른 일부(another portion)의 움직임의 방향에 기반하여 상기 나머지 영역들의 적어도 일부를 정렬하는 동작을 포함하는 방법.
  13. 제8항에 있어서, 상기 적어도 둘 이상의 이미지들을 합성하는 동작은,
    상기 조도가 지정된 임계치 미만인 경우, 상기 적어도 둘 이상의 이미지들의 전부 또는 일부, 또는, 상기 제 2 결과 이미지의 밝기를 강화하는 동작을 포함하는 방법.
  14. 제1항에 있어서, 상기 다수의 이미지들을 획득하는 동작은,
    상기 조도가 지정된 임계치 미만인 경우, 상기 다수의 이미지들의 적어도 일부 이미지 획득 시 플래쉬를 발광하는 동작을 포함하는 방법.
  15. 제1항에 있어서, 상기 적어도 둘 이상의 이미지들은, 플래쉬를 발광하여 획득된 이미지를 적어도 하나 포함하고,
    상기 제 2 결과 이미지를 생성하는 동작은,
    상기 적어도 둘 이상의 이미지들 중 상기 플래쉬를 발광하여 획득된 이미지 및 나머지 이미지 간 밝기 차이에 기반하여 상기 피사체의 주 피사체 또는 부 피사체를 구분하는 동작; 및
    상기 적어도 둘 이상의 이미지들의 상기 주 피사체에 대응하는 영역은 제 1 가중치를 적용하여 합성하고, 상기 적어도 둘 이상의 이미지들의 상기 부 피사체에 대응하는 영역은 상기 제 2 가중치를 적용하여 합성하는 동작을 포함하는 방법.
  16. 제1항에 있어서, 상기 적어도 둘 이상의 이미지들은, 플래쉬를 발광하여 획득된 이미지를 적어도 하나 포함하고,
    상기 제 2 결과 이미지를 생성하는 동작은,
    상기 조도가 낮을수록 상기 플래쉬를 발광하여 획득된 이미지의 개수를 증가하거나, 상기 조도가 높을수록 상기 플래쉬를 발광하여 획득된 이미지 개수를 감소하는 동작을 포함하는 방법.
  17. 피사체에 대한 이미지 획득을 위한 이미지 센서; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    상기 피사체에 대응하는 조도를 결정하고,
    적어도 상기 조도에 기반하여 촬영 모드를 자동으로 결정하고,
    상기 촬영 모드가 제 1 촬영 모드인 경우, 제 1 노출 시간에 기반하여 상기 피사체의 제 1 결과 이미지를 획득하고,
    상기 촬영 모드가 제 2 촬영 모드인 경우, 제 2 노출 시간에 기반하여 상기 피사체의 다수의 이미지들을 획득하고, 상기 다수의 이미지들 중 적어도 둘 이상의 이미지들에 기반하여 제 2 결과 이미지를 생성하도록 설정된 전자 장치.
  18. 제17항에 있어서, 상기 제 2 노출 시간은, 상기 제 1 노출 시간보다 작은 전자 장치.
  19. 제17항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 조도에 기반하여 노출 값(exposure value)를 결정하도록 설정된 전자 장치.
  20. 제17항에 있어서, 상기 적어도 하나의 프로세서는,
    제 1 센서 이득을 적용하여 상기 제 1 결과 이미지를 획득하고,
    상기 제 1 센서 이득과 다른 제 2 센서 이득을 적용하여 상기 다수의 이미지들을 획득하도록 설정된 전자 장치.
  21. 제17항에 있어서, 상기 적어도 하나의 프로세서는, 상기 적어도 둘 이상의 이미지들을 합성하여 상기 제 2 결과 이미지를 생성하기 위해,
    상기 적어도 둘 이상의 이미지들 중 가장 번짐이 적은 하나의 이미지를 기준 이미지로서 선택하고,
    상기 기준 이미지에 기준하여 나머지 적어도 하나의 이미지를 정렬(alignment)하고,
    상기 기준 이미지의 픽셀 값들을 상기 나머지 적어도 하나의 이미지의 픽셀 값들에 기반하여 보정하도록 설정된 전자 장치.
  22. 제17항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 조도가 지정된 임계치 미만인 경우, 상기 적어도 둘 이상의 이미지들의 전부 또는 일부, 또는, 상기 제 2 결과 이미지의 밝기를 강화하여 합성하도록 설정된 전자 장치.
  23. 제17항에 있어서, 상기 적어도 하나의 프로세서는,상기 조도가 지정된 임계치 미만인 경우, 상기 다수의 이미지들의 적어도 일부 이미지 획득 시 플래쉬를 발광하도록 설정된 전자 장치.
  24. 제17항에 있어서, 상기 적어도 둘 이상의 이미지들은 플래쉬를 발광하여 획득된 이미지를 적어도 하나 포함하고, 상기 적어도 하나의 프로세서는,
    상기 적어도 둘 이상의 이미지들 중 상기 플래쉬를 발광하여 획득된 이미지 및 나머지 이미지 간 밝기 차이에 기반하여 상기 피사체의 주 피사체 또는 부 피사체를 구분하고,
    상기 적어도 둘 이상의 이미지들의 상기 주 피사체에 대응하는 영역은 제 1 가중치를 적용하여 합성하고, 상기 적어도 둘 이상의 이미지들의 상기 부 피사체에 대응하는 영역은 상기 제 2 가중치를 적용하여 합성하도록 설정된 동작전자 장치.
  25. 명령어들을 저장하고 있는 컴퓨터로 판독 가능한 기록 매체에 있어서,
    피사체에 대응하는 조도를 결정하는 동작;
    적어도 상기 조도에 기반하여 전자 장치의 촬영 모드를 자동으로 결정하는 동작;
    상기 촬영 모드가 제 1 촬영 모드인 경우, 제 1 노출 시간에 기반하여 상기 피사체의 제 1 결과 이미지를 획득하는 동작; 및
    상기 촬영 모드가 제 2 촬영 모드인 경우, 제 2 노출 시간에 기반하여 상기 피사체의 다수의 이미지들을 획득하는 동작 및 상기 다수의 이미지들 중 적어도 둘 이상의 이미지들에 기반하여 제 2 결과 이미지를 생성하는 동작을 수행하는 명령어들을 저장하고 있는, 컴퓨터로 판독 가능한 기록 매체.
KR1020130104861A 2013-09-02 2013-09-02 이미지 안정화 방법 그 전자 장치 KR102124604B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130104861A KR102124604B1 (ko) 2013-09-02 2013-09-02 이미지 안정화 방법 그 전자 장치
US14/304,294 US9609221B2 (en) 2013-09-02 2014-06-13 Image stabilization method and electronic device therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130104861A KR102124604B1 (ko) 2013-09-02 2013-09-02 이미지 안정화 방법 그 전자 장치

Publications (2)

Publication Number Publication Date
KR20150026268A true KR20150026268A (ko) 2015-03-11
KR102124604B1 KR102124604B1 (ko) 2020-06-19

Family

ID=52582718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130104861A KR102124604B1 (ko) 2013-09-02 2013-09-02 이미지 안정화 방법 그 전자 장치

Country Status (2)

Country Link
US (1) US9609221B2 (ko)
KR (1) KR102124604B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017171248A1 (ko) * 2016-03-30 2017-10-05 삼성전자 주식회사 이미지를 처리하기 위한 전자 장치 및 방법
KR102347283B1 (ko) * 2020-11-04 2022-01-07 한국 천문 연구원 변형거울 없는 인공지능 적응광학 시스템

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150039019A (ko) * 2013-10-01 2015-04-09 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9686471B2 (en) * 2013-11-01 2017-06-20 Light Labs Inc. Methods and apparatus relating to image stabilization
US9571720B2 (en) * 2013-12-10 2017-02-14 Olympus Corporation Image processing device, display device, imaging apparatus, image processing method, and program
US9689740B2 (en) * 2014-10-15 2017-06-27 The Boeing Company Diagnostic for spectrally combined laser
KR102208438B1 (ko) * 2014-11-26 2021-01-27 삼성전자주식회사 근접 서비스 데이터 송신 방법 및 그 전자 장치
EP3286915B1 (en) 2015-04-23 2021-12-08 Apple Inc. Digital viewfinder user interface for multiple cameras
JP6521776B2 (ja) * 2015-07-13 2019-05-29 オリンパス株式会社 画像処理装置、画像処理方法
US9716825B1 (en) 2016-06-12 2017-07-25 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11089220B2 (en) * 2019-05-02 2021-08-10 Samsung Electronics Co., Ltd. Electronic test device, method and computer-readable medium
CN111901476B (zh) * 2019-05-06 2022-06-10 苹果公司 用于捕获和管理视觉媒体的用户界面
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
TWI723435B (zh) * 2019-06-24 2021-04-01 聚晶半導體股份有限公司 影像輸出方法與電子裝置
EP3820138A1 (en) 2019-11-06 2021-05-12 Koninklijke Philips N.V. A system for performing image motion compensation
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
KR20220126084A (ko) * 2021-03-08 2022-09-15 삼성전자주식회사 전자 장치의 촬영 방법 및 그 전자 장치
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778210B1 (en) * 1999-07-15 2004-08-17 Olympus Optical Co., Ltd. Image pickup apparatus with blur compensation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1061407B1 (en) * 1999-06-15 2006-02-08 Hewlett-Packard Company, A Delaware Corporation Strobe flash photographic illumination
JP4507855B2 (ja) 2004-11-25 2010-07-21 ソニー株式会社 撮影装置の制御方法および制御装置、並びに制御プログラム
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
JP2007243774A (ja) * 2006-03-10 2007-09-20 Olympus Imaging Corp 電子的ぶれ補正装置
JP4706936B2 (ja) * 2008-09-26 2011-06-22 ソニー株式会社 撮像装置、その制御方法およびプログラム
US8810663B2 (en) * 2011-01-27 2014-08-19 Aptina Imaging Corporation Methods for motion correction for high-dynamic-range imaging systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778210B1 (en) * 1999-07-15 2004-08-17 Olympus Optical Co., Ltd. Image pickup apparatus with blur compensation

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017171248A1 (ko) * 2016-03-30 2017-10-05 삼성전자 주식회사 이미지를 처리하기 위한 전자 장치 및 방법
KR20170112066A (ko) * 2016-03-30 2017-10-12 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
US10893184B2 (en) 2016-03-30 2021-01-12 Samsung Electronics Co., Ltd Electronic device and method for processing image
KR102347283B1 (ko) * 2020-11-04 2022-01-07 한국 천문 연구원 변형거울 없는 인공지능 적응광학 시스템
WO2022097999A1 (ko) * 2020-11-04 2022-05-12 한국 천문 연구원 변형거울 없는 인공지능 적응광학 시스템

Also Published As

Publication number Publication date
US9609221B2 (en) 2017-03-28
US20150062410A1 (en) 2015-03-05
KR102124604B1 (ko) 2020-06-19

Similar Documents

Publication Publication Date Title
KR102124604B1 (ko) 이미지 안정화 방법 그 전자 장치
US11582400B2 (en) Method of image processing based on plurality of frames of images, electronic device, and storage medium
JP7371081B2 (ja) 夜景撮影方法、装置、電子機器および記憶媒体
CN110072052B (zh) 基于多帧图像的图像处理方法、装置、电子设备
CN109565551B (zh) 对齐于参考帧合成图像
JP5136669B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9596398B2 (en) Automatic image capture
WO2019148978A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN109068058B (zh) 超级夜景模式下的拍摄控制方法、装置和电子设备
US9600741B1 (en) Enhanced image generation based on multiple images
CN110191291B (zh) 基于多帧图像的图像处理方法和装置
JP6267502B2 (ja) 撮像装置、撮像装置の制御方法、及び、プログラム
CN110557573A (zh) 用于成像的统一包围曝光方法
US20220222830A1 (en) Subject detecting method and device, electronic device, and non-transitory computer-readable storage medium
US9832390B2 (en) Image capturing device
KR102574649B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
JP5370555B2 (ja) 撮像装置、撮像方法及びプログラム
US9986163B2 (en) Digital photographing apparatus and digital photographing method
US9686470B2 (en) Scene stability detection
JP2017038165A (ja) 画像処理装置、撮像装置、及び画像処理方法
KR20110125077A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP2019144827A (ja) 画像処理装置およびその制御方法ならびにプログラム
JP6529269B2 (ja) 画像処理装置、情報処理方法及びプログラム
JP2017212698A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2016213717A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right