KR102124598B1 - 이미지 획득 방법 및 장치 - Google Patents

이미지 획득 방법 및 장치 Download PDF

Info

Publication number
KR102124598B1
KR102124598B1 KR1020130116306A KR20130116306A KR102124598B1 KR 102124598 B1 KR102124598 B1 KR 102124598B1 KR 1020130116306 A KR1020130116306 A KR 1020130116306A KR 20130116306 A KR20130116306 A KR 20130116306A KR 102124598 B1 KR102124598 B1 KR 102124598B1
Authority
KR
South Korea
Prior art keywords
image
time
brightness
information
light
Prior art date
Application number
KR1020130116306A
Other languages
English (en)
Other versions
KR20150037083A (ko
Inventor
이해선
김문수
신종근
이종협
이주호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130116306A priority Critical patent/KR102124598B1/ko
Priority to US14/501,637 priority patent/US9258489B2/en
Publication of KR20150037083A publication Critical patent/KR20150037083A/ko
Priority to US15/017,205 priority patent/US9635279B2/en
Application granted granted Critical
Publication of KR102124598B1 publication Critical patent/KR102124598B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

이미지를 획득하는 방법 및 장치가 개시되어 있는 바, 다양한 실시예에 따르면, 피사체에 대한 이미지를 획득하는 방법은, 전자 장치와 기능적으로 연결된 이미지 센서를 통하여 피사체에 대한 제 1 준비 이미지와 제 2 준비 이미지를 획득하는 동작, 상기 제 1 준비 이미지의 적어도 일부에 대한 상태 정보와, 상기 제 2 준비 이미지의 적어도 일부에 대한 상태 정보의 차이에 기반하여, 상기 피사체에 대한 출력 이미지 획득과 연관된 후보 발광 시간을 결정하는 동작, 상기 후보 발광 시간을, 상기 이미지 센서를 구성하는 복수의 라인(line)들이 동시에 상기 출력 이미지를 획득하는 동조 구간(period)에 대응하는 시간과 비교하는 동작 및 상기 비교의 결과에 기반하여 상기 피사체에 대한 출력 이미지를 획득하는 동작을 포함하고, 상기 출력 이미지를 획득하는 동작은, 상기 후보 발광 시간이 상기 동조 구간에 대한 시간보다 작거나 같은 경우, 상기 동조 구간에서 상기 후보 발광 시간 동안 상기 전자 장치와 기능적으로 연결된 발광 모듈이 발광하도록 제어하는 동작을 포함할 수 있다. 다른 실시예들이 가능하다.

Description

이미지 획득 방법 및 장치 {Image acquisition method and apparatus}
다양한 실시예는 전자 장치에 관한 것으로서, 예컨대, 이미지 획득을 위한 방법 및 장치에 관한 것이다.
카메라(camera)는 피사체에 대한 사진 또는 동영상 촬영을 할 수 있는 광학 기기로서 예술, 공업 또는 학술 분야에 걸쳐 다양하게 이용되고 있다. 최근에는 기술이 발전함에 따라 다양한 모바일 장치(예: 휴대 전화기, 랩탑 또는 웨어러블 전자 장치(wearable electronic device))에 카메라 기능이 탑재됨으로써, 일반인들도 쉽고 편리하게 카메라를 이용할 수 있다. 카메라는 이미지를 센싱할 수 있는 이미지 센서와 빛을 발산할 수 있는(emitting) 플래쉬(flash)를 포함할 수 있다. 플래쉬의 유형으로는, 예를 들면, light emitting diode(LED) 플래쉬와 제논(zenon) 플래쉬가 있다. 카메라는 플래쉬의 광량 또는 이미지 센서의 노출 시간을 제어함으로써, 피사체에 대한 이미지의 밝기를 조정할 수 있다.
종래 기술에 따르면, 카메라(예: LED 플래쉬를 포함하는 카메라)는 피사체를 획득하기 위해서, 이미지 센서의 노출 시간과 플래쉬의 발광 시간을 일률적으로 적용한다. 예컨대, 카메라는 이미지 센서가 노출되는 시간 전체에 대해서 플래쉬가 발광하도록 플래쉬를 제어한다. 이러한 카메라 제어 방법은 주 피사체와 카메라의 거리 그리고 배경과 카메라의 거리에 따른 빛(예: 플래쉬로부터 제공된 빛)에 대한 노출 차이를 고려하지 않고 이미지 센서 및 플래쉬 발광 시간을 제어함으로써, 주 피사체와 배경 중 어느 하나가 적절한 밝기를 가지지 못하는 결과를 초래할 수 있다.
예를 들면, 주 피사체(예: 인물)는 카메라로부터 가까운 거리에 있고, 부 피사체(예: 배경)는 카메라로부터 먼 거리에 있을 수 있다. 이 경우, 주 피사체(예: 인물)와 부 피사체(예: 배경)의 거리 차이로 인하여, 플래쉬 발광에 따른 해당하는 이미지 영역(예: 주 피사체에 대한 영역 또는 부 피사체에 대한 영역)의 밝기가 달라질 수 있다. 예컨대, 주 피사체는 카메라로부터 근거리에 있기 때문에, 플래쉬로부터 뿜어진 빛을 많이 받을 수 있다. 따라서, 주 피사체에 대응하는 이미지 영역은 원래 사용자가 원했던 밝기보다 더 많이 밝게 표현됨으로써, 주 피사체의 이미지가 뿌옇게 들뜨게 표현될 수 있다.
반면에, 부 피사체는 카메라로부터 원거리에 있기 때문에, 플래쉬로부터 뿜어진 빛을 주 피사체에 비해 적게 받거나 거의 빛을 받지 못할 수 있다. 따라서, 부 피사체에 대응하는 이미지 영역은 부 피사체를 구분할 수 없을 정도로 어둡게 표현될 수 있다. 본 발명의 다양한 실시예는 광원(예: 플래쉬 빛)에 대한 노출 차이를 고려하여 플래쉬의 발광 시간 및 이미지 센서의 노출 시간을 동적으로 결정함으로써, 주 피사체와 부 피사체 각각에 대응하는 이미지 영역이 적절한 밝기를 가질 수 있는 이미지 획득 방법 및 장치를 제공할 수 있다.
전술한 과제를 해결하기 위한 한 실시예에 따르면, 피사체에 대한 이미지를 획득하는 전자 장치는, 빛을 발산하기(emitting) 위한 발광 모듈, 피사체에 대한 제 1 준비 이미지 및 제 2 준비 이미지를 획득하기 위한 이미지 센서, 상기 제 1 준비 이미지의 적어도 일부에 대한 상태 정보와, 상기 제 2 준비 이미지의 적어도 일부에 대한 상태 정보의 차이를 결정하기 위한 계산 모듈 및 상기 차이에 기반하여, 상기 피사체에 대한 출력 이미지 획득과 연관된 후보 발광 시간을 결정하는 결정 모듈을 포함하고, 상기 결정 모듈은, 상기 후보 발광 시간을, 상기 이미지 센서를 구성하는 복수의 라인(line)들이 동시에 상기 출력 이미지를 획득하는 동조 구간(period)에 대응하는 시간과 비교하여, 상기 후보 발광 시간이 상기 동조 구간에 대한 시간보다 작거나 같다고 판단한 경우, 상기 동조 구간에서 상기 후보 발광 시간 동안 상기 발광 모듈이 발광하도록 제어하여 상기 출력 이미지를 획득하도록 설정될 수 있다.
다양한 실시예에 따른 이미지 획득 방법 및 장치는, 예컨대, 플래쉬 빛에 대한 노출 차이를 고려하여 발광 시간 및 이미지 센서의 노출 시간을 결정하는 바, 주 피사체(예: 초점이 맞추어진 인물 또는 사물)와 부 피사체(예: 주 피사체를 제외한 배경)에 대해 적절한 밝기를 가질 수 있는 이미지를 획득할 수 있다. 또한, 다양한 실시예에 따른 이미지 획득 방법 및 장치는, 예컨대, 부 피사체까지 강한 빛을 제공할 수 있는 추가의 제논 플래쉬 등과 같은 별도의 장치 없이 알고리즘을 이용하여 이미지 전체가 적절한 밝기를 가지도록 조정할 수 있는 바, 향상된 촬영 이미지의 생성을 가능하게 하는 카메라 모듈의 제조 비용을 감소시킬 수 있다.
도 1은 다양한 실시예에 따른, 전자 장치의 카메라 모듈을 개략적으로 도시한다.
도 2는 다양한 실시예에 따른 이미지 센서와 이미지 센서에 의해 획득된 이미지 정보에 대한 개념도를 도시한다.
도 3은 다양한 실시예에 따른 복수의 이미지들 사이에 있어서 각 서브 이미지 영역에 대한 밝기 차이를 포함한 이미지 밝기 정보를 보여주는 개념도이다.
도 4는 다양한 실시예에 따른 이미지 센서의 동작 타이밍을 도시한다.
도 5는 다양한 실시예에 따른 전자 장치를 통하여 이미지를 획득하는 방법을 보여주는 순서도이다.
도 6은 다양한 촬영 방법에 의해 촬영된 피사체에 대한 이미지를 도시한다.
도 7은 다양한 실시예에 따른, 전자 장치가 사용되는 네트워크 환경에 대한 블록도를 도시한다.
도 8은 다양한 실시예들에 따른, 전자 장치의 블록도를 도시한다.
이하, 첨부된 도면을 참조하여 본 개시(present disclosure)를 설명한다. 본 개시는 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 따라서, 본 개시는 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경 또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용되었다. 또한 본 개시의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 하기의 설명에서는 본 개시의 다양한 실시 예들에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 개시의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 개시 가운데 사용될 수 있는 "포함한다", "포함할 수 있다" 등의 표현은 개시된 해당 기능, 동작, 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작, 구성요소 등을 제한하지 않는다. 또한, 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에 따른 전자 장치는, 카메라 또는 카메라 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory) 또는 스마트 와치(smart watch) 중의 적어도 하나를) 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 카메라 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중의 적어도 하나를 포함할 수 있다. ,
어떤 실시예들에 따르면, 전자 장치는 카메라 기능을 갖춘 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 가정용 또는 산업용 로봇, 또는 보안 기기 중의 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는, 카메라 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 등) 중의 적어도 하나를 포함할 수 있다. 본 개시에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 개시에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다. 이하, 첨부된 도면을 참조하여 다양한 실시예에 따른, 이미지 획득(예: 촬영)을 위한 전자 장치 및 방법에 대해서 살펴본다.
도 1은 본 발명의 다양한 실시예에 따른, 전자 장치에 기능적으로 연결(operatively coupled)된 카메라 모듈110을 개략적으로 도시한 블록도100이다. 카메라 모듈 110은 카메라 또는 카메라의 모듈(예: 후술되는 도 8의 카메라 모듈 891)일 수 있다. 도 1을 참조하면, 카메라 모듈 110은 렌즈 111, 이미지 센서 113, 제어 모듈 115 및 발광 모듈 121을 포함할 수 있다. 렌즈 111는 피사체에 대한 광 이미지를 입사 받을 수 있는 광학계 부품일 수 있다. 예를 들면, 렌즈 111는 줌 렌즈(zoom lens), 포커스 렌즈(focus lens) 또는 수차 렌즈 중 적어도 하나를 포함할 수 있다. 줌 렌즈는 피사체의 크기를 조정할 수 있으며, 포커스 렌즈는 피사체의 핀트(pint)를 조정할 수 있으며, 수차 렌즈는 피사체의 이미지를 왜곡시킬 수 있다. 각각의 타입의 렌즈는 1장 이상의 렌즈를 포함할 수 있다.
이미지 센서 113는 렌즈 111를 통하여 입사된 광 이미지를 전기 신호로 변환하여 피사체에 대한 이미지(예: 디지털 이미지)를 획득(예: 촬영)할 수 있다. 이미지 센서 113는 카메라 모듈 110의 상태에 따라 속성이 다른 이미지를 획득할 수 있다. 한 실시예에 따르면, 플래쉬 촬영 모드인 경우에는, 이미지 센서 113는, 예를 들면, 발광 모듈 121의 발광 상태(예: 광량)가 다른 상태에서 밝기가 서로 다른 준비 이미지들을 획득할 수 있다. 이미지 센서 113는, 예를 들면, 발광 모듈 121의 광량이 0인 무발광 상태(예: 노 플래쉬(no flash))에서 제 1 밝기를 가지는 제 1 준비 이미지를 획득할 수 있으며, 발광 모듈 121의 광량이 0보다는 많은 광량 상태(예: 프리 플래쉬(pre-flash))에서 제 2 밝기를 가지는 제 2 준비 이미지를 획득할 수 있다.
준비 이미지는, 예를 들면, 사용자가 플래쉬 촬영을 하고자 하는 경우, 사용자에게 최종적으로 출력되는 이미지(이하, 설명의 편의상, "출력 이미지")를 획득하기 위하여, 출력 이미지 획득 전에 임시로 획득되는 이미지일 수 있다. 플래쉬 촬영은 사용자가 카메라 모듈 110의 메뉴를 통해 발광 모듈 121이 설정된 광량으로 발광하도록 지정한 촬영 모드이거나, 외부 밝기에 따라 자동적으로 발광 모듈 121이 발광할 수 있도록 설정된 자동 발광 모드일 수 있다.
이미지 센서 113는 획득된 이미지 정보(예: 캡처된(captured) 이미지 데이터)를 제어 모듈 115로 제공할 수 있다. 또한, 이미지 센서 113는 제어 모듈 115로부터 수신된 노출 시간 정보에 기반하여 이미지를 센싱(예: 캡처)할 수 있다. 한 실시예에 따르면, 플래쉬 촬영 모드인 경우에는, 이미지 센서 113는 제어 모듈 115로부터 제 1 준비 이미지 정보 및 제 2 준비 이미지 정보에 기반하여 결정된 이미지 센서 113의 노출 시간 정보를 수신하고, 노출 시간 정보에 기반하여(예: 결정된 노출 시간 동안) 출력 이미지를 센싱할 수 있다. 이미지 센서 113는, 예를 들면, complementary metal-oxide semiconductor(CMOS) 이미지 센서, charge coupled device(CCD) 이미지 센서 또는 포베온(foveon) 이미지 센서가 될 수 있다. 이미지 센서 113는, 예를 들면, 롤링 셔터(rolling shutter) 또는 글로벌 셔터(global shutter) 중 적어도 하나로 구동될 수 있다.
제어 모듈 115는, 예컨대, 피사체에 대한 이미지를 촬영할 수 있도록 카메라 모듈 110에 포함된 모듈들(예: 렌즈 111, 이미지 센서 113, 및 발광 모듈 121) 중의 적어도 하나의 모듈을 제어할 수 있다. 한 실시예에 따르면, 제어 모듈 115은 계산 모듈 117 및 결정 모듈 119를 포함할 수 있다. 계산 모듈 117은 이미지 센서 113로부터 제공된 주어진(given) 피사체에 대한 이미지 정보(예: 제 1 준비 이미지 또는 제 2 준비 이미지)에 기반하여 상기 이미지 정보에 대한 하나 이상의 밝기 정보를 결정할 수 있다.
예를 들면, 각 이미지(예: 제 1 준비 이미지 또는 제 2 준비 이미지)는 이미지 센서 113를 구성하는 복수의 픽셀(pixel) 그룹들 각각에(respectively) 대응하는 복수의 서브 이미지 영역으로 나뉘어질 수 있다. 복수의 픽셀 그룹들은 각각이 이미지 센서 113를 구성하는 복수의 픽셀들 중 적어도 하나를 포함하여 구분된 그룹들이다. 이런 경우, 계산 모듈 117은 상기 복수의 서브 이미지 영역 각각에 대한 밝기 정보를 결정할 수 있다. 한 실시예에 따르면, 계산 모듈 117은 이미지에 포함된 복수의 서브 이미지 영역에 대한 하나 이상의 밝기 정보에 가중치를 부가하여 상기 이미지에 대한(예: 이미지 전체 또는 이미지 평균) 밝기 정보를 결정할 수 있다.
계산 모듈 117은 한 이미지(예: 제 1 준비 이미지)에 대응하는 복수의 서브 이미지 영역에 대한 하나 이상의 밝기 정보와, 다른 이미지(예: 제 2 준비 이미지)에 대응하는 복수의 서브 이미지 영역에 대한 하나 이상의 밝기 정보에 대한 차이를 결정할 수 있다. 예를 들면, 계산 모듈 117은 제 1 준비 이미지 및 제 2 준비 이미지를 구성하는, 서로 대응하는(예: 동일한 픽셀 그룹에 대응하는) 복수의 서브 이미지 영역들에 대한 복수의 밝기 차이 중 적어도 하나를 계산할 수 있다.
한 실시예에 따르면, 계산 모듈 117은 피사체와 렌즈로부터의 거리 정보에 기반하여 이미지에 대한 복수의 서브 영역에 대한 밝기 정보를 계산할 수도 있다. 예를 들면, 계산 모듈 117은 제 1 준비 이미지와 제 2 준비 이미지에서, 광원(예: 플래쉬 125)와 피사체에 대한 거리 정보가 일치 또는 유사한 서브 이미지 영역들의 밝기 정보 차이를 계산할 수 있다. 예컨대, 계산 모듈 117은, 제 1 준비 이미지에서 피사체와 광원의 거리 정보가 1m 이상 2m 이내의 거리 정보에 대응하는 서브 이미지 영역과 제 2 준비 이미지에서 피사체와 광원의 거리 정보가 1m 이상 2m 이내의 거리 정보에 대응하는 서브 이미지 영역 사이의 밝기 차이를 계산할 수 있다.
계산 모듈 117은 피사체에 대한 이미지(예: 출력 이미지)를 획득(예: 촬영)하기 위하여, 각 이미지(예: 제 1 준비 이미지 또는 제 2 준비 이미지) 획득에 소요된 이미지 센서 113의 노출 시간을 판단할 수 있다. 예를 들면, 이미지 센서 113가 2초 동안 노출되어 제 1 준비 이미지를 획득한 경우, 계산 모듈 117은 제 1 준비 이미지에 대한 노출 시간을 2초라고 결정할 수 있다. 한 실시예에 따르면, 계산 모듈 117은 각 이미지 획득을 위해 노출되었던 이미지 센서 113의 노출 시간뿐만 아니라, 이미지 센서 113의 게인(gain)도 확인할 수 있다. 이미지 센서 113의 게인은, 예를 들면, 렌즈 111를 통하여 입사된 피사체에 대한 광 신호를 어느 정도의 비율로써 전기 신호로 전환할 것인지에 대한 값(예: 광전환 비율)일 수 있다. 한 실시예에 따르면, 게인은 이미지 센서 113의 노출 시간과 함께 이미지 센서 113의 노출량을 결정하는 데 이용될 수 있다. 예컨대, 이미지 센서 113의 노출량은 이미지 센서 113의 노출 시간과 게인이 설정된 알고리즘에 의해 조합된 값일 수 있다.
한 실시예에 따르면, 계산 모듈 117은 피사체에 대한 주어진 이미지(예: 제 1 준비 이미지 또는 제 2 준비 이미지)에 대한 밝기 정보(예: 각 이미지에 대한 전체 밝기 또는 평균 밝기), 상기 이미지를 구성하는 복수의 서브 이미지 영역에 각각(respectively) 대응하는 복수의 밝기 정보, 또는 대응하는 두 이미지(예: 제 1 준비 이미지 및 제 2 준비 이미지)를 구성하는, 서로 대응하는(예: 동일한 픽셀 그룹에 대응하는) 서브 이미지 영역들의 밝기의 차이 중 적어도 하나를 계산하고, 그 값을 결정 모듈 119로 제공할 수 있다. 제어 모듈 115(예: 계산 모듈 117)이 각 이미지의 밝기와 관련된 다양한 정보를 결정하는 방법에 대한 추가 정보는 도 2와 연관되어 아래에 기재되어 있다.
결정 모듈 119은 제 1 준비 이미지와 제 2 준비 이미지 사이의 밝기(예: 제 1 준비 이미지와 제 2 준비 이미지 전체 또는 평균 밝기) 차이에 기반하여 출력 이미지를 획득하기 위한 이미지 센서 113의 노출 시간을 결정할 수 있다. 결정 모듈 119은 노출 시간에 대한 정보를 이미지 센서 113에 제공함으로써, 이미지 센서 113가 노출 시간 동안 출력 이미지에 대한 데이터를 센싱(예: 캡처)할 수 있도록 이미지 센서 113를 제어할 수 있다. 예를 들면, 결정 모듈 119은 노출 시간 정보를 기반으로 이미지 제어 신호를 생성할 수 있다. 또한, 결정 모듈 119는 노출 시간 정보가 포함된 이미지 제어 신호를 이미지 센서 113에 전송함으로써, 이미지 센서 113가 노출 시간 동안 피사체에 대한 출력 이미지를 센싱할 수 있도록 제어할 수 있다.
결정 모듈 119은, 예컨대, 계산 모듈 117로부터 제공된 정보에 기반하여 이미지(예: 출력 이미지) 획득에 필요한 발광 모듈 121의 발광 상태(예: 발광 시간 또는 발광 강도)를 결정할 수 있다. 한 실시예에 따르면, 결정 모듈 119은 피사체에 대한 제 1 준비 이미지와 제 2 준비 이미지 각각의 복수의 서브 이미지 영역들 중 적어도 하나의 서브 영역(예: 서로 대응하는 두 개의 서브 이미지 영역들(예: 이미지 센서 113를 구성하는 복수의 픽셀 그룹들 중 동일한 픽셀 그룹에 대응하는 제 1 준비 이미지의 서브 이미지 영역과 제 2 준비 이미지의 서브 이미지 영역)) 사이의 밝기 차이에 기반하여, 상기 피사체에 대한 출력 이미지 획득에 소요되리라고 예측되는 발광 모듈 121의 발광 시간(이하, 설명의 편의상, "후보 발광 시간"을 결정할 수 있다.
결정 모듈 119은, 예를 들면, 피사체에 대한 출력 이미지 획득을 위해 결정된 이미지 센서 113의 노출 시간과 이미지 센서 113의 구동을 제어하는 구동 신호(예: 한 프레임(frame)에 대한 수직 동기 신호(Vsync))에 기반하여 발광 기준 시간을 결정할 수 있다. 발광 기준 시간은, 예를 들면, 후보 발광 시간이 출력 이미지 획득을 위하여 발광 모듈 121이 실제로 발광하는 시간(이하, 설명의 편의상, "목표 발광 시간")이 될 수 있는 지에 대한 기준이 될 수 있다. 발광 기준 시간에 대한 추가 정보는 도 3과 연관되어 아래에 기재되어 있다.
결정 모듈 119은 후보 발광 시간이 발광 기준 시간을 만족하는 경우에는, 출력 이미지를 획득하기 위하여, 예를 들면, 후보 발광 시간 동안 발광 모듈 121이 발광할 수 있도록 발광 모듈 121을 제어할 수 있다. 한 실시예에 따르면, 후보 발광 시간이 발광 기준 시간보다 작거나 같은 경우, 결정 모듈 119은 후보 발광 시간을 출력 이미지 획득을 위하여 발광 모듈 121이 실제로 발광하게 될 시간, 예를 들면, 목표 발광 시간으로 결정할 수 있다.
한 실시예에 따르면, 후보 발광 시간이 발광 기준 시간보다 큰 경우, 결정 모듈 119은 출력 이미지 획득을 위해 결정된 이미지 센서 113의 노출 시간에 기반하여 목표 발광 시간을 결정할 수 있다. 예를 들면, 후보 발광 시간이 발광 기준 시간보다 큰 경우에는, 결정 모듈 119은 노출 시간과 이미지 센서 113의 이미지 리드아웃 타임(image readout time)을 합산하여 출력 이미지 획득을 위한 목표 발광 시간을 결정할 수 있다. 이에 대한 추가 정보는 도 3과 관련하여 아래에 기재되어 있다.
한 실시예에 따르면, 출력 이미지 획득을 위한 목표 발광 시간을 결정하기 위하여, 결정 모듈 119은 출력 이미지 획득을 위한 노출 시간과 설정된 기준 시간(이하, 설명의 편의상, "노출 기준 시간"을 비교할 수 있다. 노출 기준 시간은, 예를 들면, 노출 시간이 목표 발광 시간을 결정하기 위한 요소로서 이용될 수 있는 지에 대한 기준이 될 수 있다. 예컨대, 결정 모듈 119은 노출 시간과 노출 기준 시간에 대한 비교의 결과에 기반하여 목표 발광 시간을 결정할 수 있다.
예를 들면, 노출 시간이 노출 기준 시간보다 작거나 같은 경우에는, 결정 모듈 119은 노출 시간과 이미지 센서 113의 이미지 리드아웃 타임(image readout time)을 합산하여 출력 이미지 획득을 위한 목표 발광 시간을 결정할 수 있다. 반면에, 노출 시간이 노출 기준 시간보다 큰 경우에는, 결정 모듈 119은, 전술한 바와 같이, 후보 발광 시간과 발광 기준 시간을 비교함으로써 목표 발광 시간을 결정할 수 있다. 목표 발광 시간을 결정하기 위하여, 노출 시간과 노출 기준 시간을 비교하는 동작은 전자 장치 특성 또는 설계에 따라 생략될 수 있다. 노출 기준 시간에 대한 추가 정보는 도 3과 관련하여 아래에 기재되어 있다.
한 실시예에 따르면, 결정 모듈 119은 후보 발광 시간 또는 노출 시간 중 적어도 하나에 기반하여 결정된 목표 발광 시간에 기반하여 플래쉬 제어 신호를 생성할 수 있다. 또한, 결정 모듈 119는 플래쉬 제어 신호를 발광 모듈 121에 전송함으로써, 발광 모듈 121이 출력 이미지 획득을 위하여 목표 발광 시간 동안 발광할 수 있도록 제어할 수 있다.
발광 모듈 121은 결정 모듈 119로부터 수신된 플래쉬 제어 신호에 기반하여 출력 이미지 획득을 위하여 필요한 인공 조명(예: 플래쉬)의 발광 시간을 제어할 수 있다. 한 실시예에 따르면, 발광 모듈 121은 플래쉬 제어 모듈 123 및 플래쉬 125를 포함할 수 있다. 플래쉬 제어 모듈 123은 수신된 플래쉬 제어 신호에 기반하여 플래쉬 125의 광량(예: 발광 시간) 또는 온/오프 타이밍(on/off timing) 중 적어도 하나를 제어할 수 있다. 예를 들면, 플래쉬 제어 모듈 123은 플래쉬 제어 신호에 기반하여 플래쉬 125에 공급되는 전압(또는, 플래쉬 125를 통해 흐르는 전류) 등을 제어함으로써 플래쉬 125의 발광 특성(예: 발광 시간)을 제어할 수 있다. 플래쉬 125는 플래쉬 제어 모듈 123의 제어에 따라 실질적으로 빛을 낼 수 있다. 플래쉬 125는, 예를 들면, LED 플래쉬 또는 제논 플래쉬 중 적어도 하나가 될 수 있다.
이하, 도 2를 참고하여, 카메라 모듈(예: 도 1의 계산 모듈 117)을 통하여 이미지 정보와 관련된 밝기 정보를 결정하는 방법에 대해서 살펴본다. 도 2는 다양한 실시예에 따른 이미지 센서 210에 의해 획득된 이미지 정보 220에 대한 개념도 200를 도시한다. 도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 이미지 센서(예: 도 1의 이미지 센서 113) 210는 제 1 열 211 내지 제 N 열 213과 제 1 행 215 내지 제 M 행 217의 매트릭스로 구성된 복수의 서브 영역들 SA(예: 복수의 픽셀 그룹들)로 구분될 수 있다. 복수의 서브 영역들 SA 각각은, 이미지 센서 210를 구성하는 복수의 픽셀들(미도시) 중 적어도 일부를 포함할 수 있다.
이미지 센서 210로부터 획득된 이미지 정보(예: 제 1 준비 이미지 또는 제 2 준비 이미지) 220는 상기 복수의 서브 영역들 SA에 대응하는 복수의 서브 이미지 영역들 ISA로 구분될 수 있다. 예를 들면, 복수의 서브 이미지 영역들 ISA 중 제 1 행 및 제 1 열에 대한 서브 이미지 영역 229은 이미지 센서 210의 제 1 행 및 제 1 열에 대한 서브 영역 219에 대응할 수 있다. 이 경우, 이미지 정보 210의 서브 이미지 영역 229은, 예를 들면, 이미지 센서 210의 서브 영역 219으로부터 획득된 피사체에 대한 이미지 데이터를 포함할 수 있다.
한 실시예에 따르면, 복수의 서브 이미지 영역들 ISA 각각은, 예를 들면, 자동 노출 윈도우(automatic exposure window)에 대응할 수 있다. 자동 노출 윈도우는 피사체에 대한 밝기(예: 휘도)에 기반하여 카메라 모듈(예: 도 1의 110)의 이미지 센서 210의 노출(예: 게인과 노출 시간에 기반하여 결정되는 노출량)을 자동으로 결정하기 위하여 구분된 서브 블록일 수 있다. 이미지 정보 220를 구성하는 복수의 서브 이미지 영역들 ISA 각각은, 예를 들면, 피사체에 대응하는 영역의 밝기에 기반하여 고유의 밝기 정보를 가질 수 있다. 복수의 서브 이미지 영역들 ISA에 대한 고유의 밝기 정보는, 예를 들면, 자동 노출 윈도우 정보를 이용하거나 설계자에 의해 구현된 알고리즘 등에 따라 다양한 방법으로 판단될 수 있다.
카메라 모듈(예: 도 1의 계산 모듈 117)은 피사체에 대한 이미지 정보 220의 복수의 서브 이미지 영역들 ISA에 대한 밝기 정보를 이용하여, 예를 들면, 이미지 히스토그램(image histogram), 이미지의 가장 밝은 부분, 이미지의 가장 어두운 부분 또는 이미지 밝기(예: 이미지 전체 또는 평균 밝기) 등을 결정할 수 있다. 이미지 밝기에 대한 정보를 결정하기 위해서, 카메라 모듈(예: 도 1의 결정 모듈 119)은, 예를 들면, 이미지 정보 220에 대한 복수의 서브 이미지 영역 ISA에 대한 밝기 정보와 이미지 측광(metering) 방법을 이용할 수 있다. 예컨대, 결정 모듈은 이미지 측광 방법에 따라 서브 이미지 영역 ISA에 대한 복수의 밝기 정보 각각에 다른 가중치(weight)를 적용함으로써 이미지 밝기 정보를 결정할 수 있다.
이미지 측광 방법은 복수의 서브 이미지 영역들 ISA 각각에 부가되는 가중치에 따라 중앙 중점(center weighted) 측광 방법, 평균(average) 측광 방법, 스팟(spot) 측광 방법 또는 평가 측정 방법이 있을 수 있다. 중앙 중점 측광 방법은 이미지의 중앙 부분에 가중치를 가장 높게 주는 방법이며, 평균 측광 방법은 복수의 그룹에 동일한 가중치를 부가하는 방법이며, 스팟 측광 방법은 사용자가 설정한 그룹에 가장 높은 가중치를 부가하는 방법이며, 평가 측정 방법은 이미지의 분석 결과에 따라 결정된 그룹에 높은 가중치를 부가하는 방법이다.
도 3은 본 발명의 다양한 실시예에 따른 복수의 이미지들(예: 제 1 준비 이미지 310와 제 2 준비 이미지 320) 사이에 있어서 각 서브 이미지 영역에 대한 밝기 차이를 포함한 이미지 밝기 정보 330를 보여주는 개념도 300이다. 도 5에 도시된 바와 같이, 제 1 준비 이미지 310는 복수의 제 1 서브 이미지 영역들 ISA1으로 구분될 수 있다. 제 2 준비 이미지 320는 복수의 제 2 서브 이미지 영역들 ISA2로 구분될 수 있다. 복수의 제 1 서브 이미지 영역들 ISA1 및 복수의 제 2 서브 이미지 영역들 ISA2 각각은 피사체의 대응하는 영역에 대한 밝기에 따라 고유의 밝기 값을 가질 수 있다.
카메라 모듈(예: 도 1의 계산 모듈 117)은 제 1 준비 이미지 310의 적어도 일부분(예: 적어도 하나의 제 1 서브 이미지 영역 ISA1)과 제 2 준비 이미지 320의 적어도 일부분(예: 적어도 하나의 제 2 서브 이미지 영역 ISA2) 사이의 밝기를 비교하여, 이미지 밝기 정보 330에서 대응하는 영역에 대한 밝기 차이(예: 휘도 차이) △Y를 결정할 수 있다. 예를 들면, 계산 모듈은 이미지 센서(예: 도 2의 이미지 센서 210)에서 동일한 서브 영역에 대응하는 제 1 준비 이미지 310의 제 1 서브 이미지 영역 311과 제 2 준비 이미지 320의 제 2 서브 이미지 영역 321 사이의 밝기 차이 △Y를 결정할 수 있다. 또한, 계산 모듈은 제 1 서브 이미지 영역 311과 제 2 서브 이미지 영역 321의 밝기 차이를 대응하는 이미지 밝기 정보 330의 영역 331에 대한 밝기 차이 값으로서 결정할 수 있다.
전술한 예에서는, 계산 모듈은 이미지 센서의 동일한 영역에 대응하는 제 1 준비 이미지의 제 1 서브 이미지 영역과 제 2 준비 이미지의 제 2 서브 이미지 영역의 밝기 차이를 결정할 수 있다. 한 실시예에 따르면, 계산 모듈은 이미지 센서의 서로 다른 영역에 대응하는 제 1 준비 이미지의 제 1 서브 이미지 영역과 제 2 준비 이미지의 제 2 서브 이미지 영역의 밝기 차이를 결정할 수 있다. 예컨대, 계산 모듈은 적어도 하나의 제 1 서브 이미지 영역 ISA1과 해당 제 1 서브 이미지 영역 ISA1과 인접하는 제 2 서브 이미지 영역 ISA2(예: 제 1 서브 이미지 영역 ISA1의 접하는 영역에 대응하는 제 2 서브 이미지 영역 ISA2)에 대한 밝기 차이를 결정할 수 있다. 예를 들면, 계산 모듈은, 제 1 준비 이미지 310의 제 1 서브 이미지 영역 311과 제 2 준비 이미지 320의 제 2 서브 이미지 영역 321, 323, 325, 327 중 적어도 하나의 밝기 차이를 비교할 수 있다. 또한, 계산 모듈은, 예를 들면, 결정된 밝기 차이를 제1 서브 이미지 영역 311에 대응하는 이미지 밝기 정보 330의 영역 331에 대한 밝기 차이 △Y로 결정할 수 있다. 한 실시예에 따르면, 카메라 모듈은 밝기 차이 △Y에 그 값이 높은 순에서 낮은 순으로 우선 순위를 부여할 수 있으며, 지정된 우선 순위(예: 지정한 범위 내에 대응하는 우선 순위)에 해당하는 밝기 차이 △Y 값들을 이용하여 후보 발광 시간을 결정할 수 있다.
한 실시예에 따르면, 카메라 모듈(예: 도 1의 결정 모듈 119)은, 출력 이미지 획득을 위한 발광 모듈(예: 도 1의 발광 모듈 121)의 후보 발광 시간을 결정하기 위하여, 제 1준비 이미지 310 및 제 2 준비 이미지 320의 각 서브 이미지 영역 ISA1, ISA2에 대한 복수의 밝기 차이 중 가장 큰 값을 이용할 수 있다. 예를 들면, 결정 모듈은, 제 1 준비 이미지 310의 제 1 서브 이미지 영역 319와 제 2 준비 이미지 320의 제 2 서브 이미지 영역 329에 대한 밝기 차이가 가장 큰 경우에는, 이미지 밝기 정보 330에서 해당 서브 이미지 영역 319, 329에 대응하는 영역 339에 대한 밝기 차이 △Y를 이용할 수 있다.
한 실시예에 따르면, 결정 모듈은, 출력 이미지 획득을 위한 후보 발광 시간 또는 노출 시간 중 적어도 하나를 결정하기 위하여, 예를 들면, 제 1 준비 이미지 310에 대한 밝기(예: 제 1 준비 이미지 310에 대한 전체 밝기 또는 평균 밝기), 제 2 준비 이미지 320에 대한 밝기, 제 1 준비 이미지 및 제 2 준비 이미지 각각에 해당하는 발광 모듈(예: 도 1발광 모듈 121)의 광량 정보, 출력 이미지 획득을 위해 설정된 발광 모듈의 광량 정보 또는 설정된 이미지 밝기 정보(예: 출력 이미지 획득을 위해 사용자에 의해 또는 자동으로 설정된 이미지 밝기) 중 적어도 하나를 이용할 수 있다. 구체적인 식은, 예를 들면, 아래와 같다.
Figure 112013088553669-pat00001
상기 수학식을 구성하는 각 요소의 정의는 아래와 같다.
'Flash_AE_Target'은 출력 이미지를 획득하기 위해 설정된 이미지 밝기 값, 예를 들면, 목표된 출력 이미지 밝기 정보를 나타낼 수 있다. 'N_Flash_Y'는 제 1 준비 이미지 310에 대한 밝기를 나타낼 수 있다. 'P_Flash_△Y'는 제 1 준비 이미지 310와 제 2 준비 이미지 320의 특정 영역에 대한 밝기 차이를 나타낼 수 있다. 'M_Flash_L'은 출력 이미지 획득을 위해 설정된 플래쉬(예: 도 1의 플래쉬 125)의 광량을 나타낼 수 있다.
'P_Flash_L'은 제 2 준비 이미지 320를 획득하기 위해 이용된 플래쉬의 광량을 나타낼 수 있다. 'N_Flash_Exp.Factors'는 제 1 준비 이미지 310를 획득하기 위해 적용된 이미지 센서의 노출량(예: 노출 시간과 게인에 의해 조합된 값)을 나타낼 수 있다. 'M_Flash_Exp.Factors'는 출력 이미지 획득을 위해 적용될 수 있는 후보 발광 시간 또는 이미지 센서의 노출량이 될 수 있다. 한 실시예에 따르면, 'Flash_AE_Target'과 'P_Flash_L'은 프로그램으로 지정될(specified) 수 있다. 'N_Flash_Y', 'N_Flash_Exp.Factors' 또는 'P_Flash_△Y'는 앞에서 설명한 바와 같이, 계산 모듈에서 계산될 수 있다. 'M_Flash_L'은 예를 들면, 특정한 값으로 고정될 수 있다.
한 실시예에 따르면, 출력 이미지 획득을 위한 후보 발광 시간을 결정하기 위하여, 'P_Flash_△Y' 요소에 대한 값은 제 1 준비 이미지 310와 제 2 준비 이미지 320의 각 서브 이미지 영역에 대한 복수의 밝기 차이 중 가장 큰 값(예: 이미지 밝기 정보 330의 식별 번호 339 영역에 대응하는 밝기 차이 값)이 될 수 있다. 출력 이미지 획득을 위한 이미지 센서의 노출 시간을 결정하기 위하여, 'P_Flash_△Y' 요소에 대한 값은 제 1 준비 이미지 310와 제 2 준비 이미지 320의 밝기 차이(예: 제 1 준비 이미지 310와 제 2 준비 이미지 320의 평균 밝기 차이)가 될 수 있다. 이미지 센서의 노출 시간을 결정하기 위하여 이미지 센서의 게인은 특정한 값으로 설정될 수 있다.
후보 발광 시간을 결정하기 위하여 제 1 준비 이미지 310와 제 2 준비 이미지 320의 각 서브 이미지 영역에 대한 복수의 밝기 차이 △Y 중, 예를 들면, 가장 큰 값을 사용하는 이유는, 플래시 발광 시, 피사체에 대한 가장 밝은 영역을 기준으로 발광 모듈이 발광함으로써 피사체에 대한 가장 밝은 영역이 적절한 밝기(예: 빛이 포화되지 않음)를 가질 수 있도록 함이다. 또한, 출력 이미지 획득을 위한 이미지 센서의 노출 시간을 결정하기 위하여, 제 1 준비 이미지 310와 제 2 준비 이미지 320의 밝기 차이를 사용하는 이유는, 이미지 전체의 밝기를 고려하여 이미지 센서를 노출함으로써 출력 이미지의 특정 영역(예: 어두운 영역)도 적절한 밝기를 가질 수 있도록 함이다.
도 4는 다양한 실시예에 따른 이미지 센서 413의 동작 타이밍 400을 도시한다. 제 1 파형도 401는 이미지 센서 413의 구동 신호(예: 수직 동기 신호 Vsync)에 대한 파형도일 수 있다. 제 2 파형도 403는 제 1 파형도 401에서 제 1 점선 405과 제 2 점선 407에 대응하는 부분에 대해서 확대한 파형도일 수 있다. 한 실시예에 따르면, 이미지 센서 413(예: 도 1의 이미지 센서 113)는 복수의 라인들(예: 복수의 수평 라인들) L1 내지 LN을 포함할 수 있다. 도시하지는 않았으나, 복수의 라인들 L1 내지 LN 각각은 복수의 픽셀들을 포함할 수 있다. 이미지 센서 413에 포함된 복수의 라인들 L1 내지 LN은 이미지 센서 413의 구동 신호(예: 수직 동기 신호 Vsync)에 기반하여 순차적으로 이미지 정보(예: 제 1 준비 이미지, 제 2 준비 이미지 또는 출력 이미지)를 획득(예: 캡처)할 수 있다.
예를 들면, 이미지 센서 413에 포함된 복수의 라인들 L1 내지 LN 각각은 출력 이미지에 대한 정보를 획득하기 위해서 노출 시간 t2 동안 노출될 수 있다. 한 실시예에 따르면, 이미지 센서 413에 포함된 각 픽셀(pixel)은 순차적으로 노출이 일어날 수 있다. 현재 라인의 첫 번째 픽셀(예: 제 1 라인 L1의 첫 번째 픽셀)의 노출과 다음 라인의 첫 번째 픽셀(예: 제 2 라인 L2의 첫 번째 필셀) 노출 사이에는 라인 리드아웃 타임(line readout time) 419만큼 시간 차이가 발생할 수 있다. 라인 리드아웃 타임 419은, 예를 들면, 복수의 라인들 L1 내지 LN 각각이 획득한 피사체에 대한 이미지 정보(예: 각 라인에 대응하는 출력 이미지 정보)를 저장하는 시간일 수 있다. 라인 리드아웃 타임 419은, 예를 들면, 설계자 또는 전자 장치의 특성에 따라 다양하게 구현될 수 있다.
한 실시예에 따르면, 시간 t1은 노출 기준 시간이 될 수 있다. 노출 기준 시간 t1은, 예를 들면, 출력 이미지를 획득하기 위해 결정된 노출 시간 t2이 출력 이미지 획득을 위한 발광 모듈(예: 도 1의 발광 모듈 121)의 발광 시간으로 이용될 수 있는 지에 대한 기준이 될 수 있다. 노출 기준 시간 t1은, 예를 들면, 이미지 리드아웃 타임이 될 수 있다. 이는, 이미지 센서 413의 노출 시간 t2이 이미지 리드아웃 타임보다 작거나 같은 경우에는, 이미지 센서 413를 구성하는 복수의 라인들 L1 내지 LN 이 동시에 출력 이미지를 획득할 수 있는 구간(이하, 설명의 편의상 "동조 구간 40"9)이 발생하는 구간이 충분하지 않기 때문이다. 이 경우, 출력 이미지 획득을 위한 발광 시간은 노출 시간 t2 전체와 이미지 리드 아웃 타임을 합산한 시간이 될 수 있다. 노출 시간 t2이 이미지 리드 아웃 타임보다 큰 경우에는, 출력 이미지 획득을 위한 발광 시간은 후보 발광 시간을 기반으로 결정될 수 있음은 전술한 바와 같다.
한 실시예에 따르면, 노출 기준 시간 t1은, 1/FPS(frame per second)_max가 될 수 있다. FPS는 이미지 센서 413가 1초 동안 가질 수 있는 프레임 수를 나타낼 수 있다. 이미지 센서 413는 전자 장치의 설계에 따라 하나의 전자 장치 내에서 1초 동안 다양한 수의 프레임 수를 가질 수 있다. 예를 들면, 이미지 센서 413는, 1초 동안 15 프레임 내지 60 프레임 범위 사이의 프레임을 가질 수 있다. 이 경우, 사용자의 설정 또는 환경 상태 등에 따라 FPS_max는 전술한 범위에서 특정 프레임 수(예: 15프레임)로 결정될 수 있다. 노출 기준 시간 t1은 설계자 또는 전자 장치의 특성에 따라 다양하게 설계될 수 있다.
동시 구간 409에 대한 시간 t3은, 예를 들면, 이미지 센서 413를 구성하는 마지막 라인인 제 N 라인 LN이 이미지 정보(예: 출력 이미지)를 획득하는 것을 시작하는 시점부터 첫 번째 라인인 제 1 라인 L1이 이미지 정보(예: 출력 이미지)를 획득하는 것을 종료한 시점까지의 구간에 대한 시간일 수 있다. 한 실시예에 따르면, 전자 장치의 설계에 따라, 동시 구간 409은, 예를 들면, 약 현재 프레임의 끝나는 시점 415부터 다음 프레임의 시작하는 시점 417 사이에 발생할 수 있다. 동시 구간 409에 대한 시간 t3은 설계에 따라 상기 프레임의 종점 415부터 프레임의 시점 415에 대한 시간에서 지정된 오차(예: 라인 리드아웃 타임)를 가질 수 있다.
동시 구간 409은 수직 동기 신호 Vsync의 SOF(start of frame) 411 또는 EOF(end of frame) 415 중 적어도 하나를 이용하여 결정할 수 있다. 예를 들면, 전체 이미지 센서 413의 노출 시간 t2에서 이미지 리드아웃 타임 t4이 흐른 시점부터 동시 구간 409이 될 수 있다. 이미지 리드아웃 타임 t4은 이미지 센서 413의 픽셀 클럭(pixel clock) 및 이미지 프레임 레지스터 셋팅(setting)에 의해 고정된 값을 가지는 바, 동시 구간 409은 SOF, EOF 또는 타이머(timer) 등을 이용하여 결정될 수 있다. 동시 구간 409은 이미지 리드아웃 타임, 라인 리드아웃 타임 또는 다른 요소(예: 전자 장치의 특성)들에 의해서 다양하게 설계될 수 있다.
한 실시예에 따르면, 동시 구간 409에 대한 시간 t3은 출력 이미지 획득을 위한 발광 기준 시간이 될 수 있다. 한 실시예에 따르면, 피사체에 대한 출력 이미지를 획득하기 위하여, 전자 장치의 제어 모듈(예: 도 1의 제어 모듈 115)은 후보 발광 시간이 동시 구간 409에 대한 시간 t3보다 작거나 같은 경우, 동시 구간 409에서 발광 모듈(예: 도 1의 발광 모듈 121)이 후보 발광 시간 동안 발광할 수 있도록 제어할 수 있다. 이는, 동시 구간 409에서는 이미지 센서 413의 모든 픽셀들이 노출되는 바, 모든 픽셀들이 플래쉬가 발광하는 빛(예: 동일한 광량)을 받아들일 수 있기 때문이다.
다양한 실시예에 따르면, 피사체에 대한 이미지를 획득하기 위한 전자 장치는, 빛을 발산하기(emitting) 위한 발광 모듈, 피사체에 대한 제 1 준비 이미지 및 제 2 준비 이미지를 획득하기 위한 이미지 센서, 상기 제 1 준비 이미지의 적어도 일부에 대한 상태 정보와, 상기 제 2 준비 이미지의 적어도 일부에 대한 상태 정보의 차이를 결정하기 위한 계산 모듈 및 상기 차이에 기반하여, 상기 피사체에 대한 출력 이미지 획득과 연관된 후보 발광 시간을 결정하는 결정 모듈을 포함하고, 상기 결정 모듈은, 상기 후보 발광 시간을, 상기 이미지 센서를 구성하는 복수의 라인(line)들이 동시에 상기 출력 이미지를 획득하는 동조 구간(period)에 대응하는 시간과 비교하여, 상기 후보 발광 시간이 상기 동조 구간에 대한 시간보다 작거나 같다고 판단한 경우, 상기 동조 구간에서 상기 후보 발광 시간 동안 상기 발광 모듈이 발광하도록 제어하여 상기 출력 이미지를 획득하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 이미지 센서는, 상기 발광 모듈의 광량 상태가 무발광인 상태에서, 상기 제 1 준비 이미지를 획득하고, 상기 발광 모듈의 광량 상태가 무발광보다는 큰 지정된 광량에서 상기 제 2 준비 이미지를 획득하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 계산 모듈은, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지에 대한 상태 정보로서 밝기 정보를 이용하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 계산 모듈은, 상기 제 1 준비 이미지의 적어도 일부에 대한 상태 정보를 기반으로 상기 제1 준비 이미지에 대한 밝기 정보를 결정하고, 상기 제 2 준비 이미지의 적어도 일부에 대한 상태 정보를 기반으로 상기 제 2 준비 이미지에 대한 밝기 정보를 결정하며, 상기 제 1 준비 이미지에 대한 밝기 정보와 상기 제 2 준비 이미지에 대한 밝기 정보에 기반하여, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지의 밝기 차이를 결정하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 계산 모듈은, 상기 제 1 준비 이미지의 복수의 제 1 서브 이미지 영역 중 적어도 하나에 대한 밝기 정보를 결정하고, 상기 제 2 준비 이미지의 복수의 제 2 서브 이미지 영역 중 적어도 하나에 대한 밝기 정보를 결정하여, 상기 복수의 제 1 서브 이미지 영역과 상기 복수의 제 2 서브 이미지 영역에 대한 적어도 하나의 밝기 차이를 결정하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 결정 모듈은, 상기 적어도 하나의 밝기 차이 중 최대값을 가지는 밝기 차이를 이용하여 상기 후보 발광 시간을 결정하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 결정 모듈은, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지의 밝기 차이를 기반으로, 상기 출력 이미지 획득을 위한 상기 이미지 센서의 노출 시간을 결정하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 결정 모듈은, 상기 후보 발광 시간이 상기 동조 구간에 대한 시간보다 큰 경우에는, 상기 노출 시간과 상기 복수의 라인들이 상기 출력 이미지를 읽는 시간(image readout time)을 합산한 결과에 기반하여 상기 발광 모듈이 발광하도록 제어할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치(예: 카메라 모듈)는 상기 제 1 준비 이미지와 상기 제 2 준비 이미지를 획득할 수 있고, 상기 출력 이미지를 획득하는 촬영 모드가 상기 발광 모듈이 발광하는 플래쉬 촬영 모드인지를 판단할 수 있으며, 상기 촬영 모드가 상기 플래쉬 촬영 모드인 경우에, 상기 제 1 준비 이미지 및 상기 제 2 준비 이미지를 획득할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 상기 발광 모듈이 제 1 광량을 가지는 상태에서, 상기 제 1 준비 이미지를 획득할 수 있으며, 상기 발광 모듈이 상기 제 1 광량과 다른 제 2 광량을 가지는 상태에서, 상기 제 2 준비 이미지를 획득할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 상기 후보 발광 시간을 결정하기 위하여, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지에 대한 상태 정보로서 밝기 정보를 이용할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 상기 후보 발광 시간을 결정하기 위하여, 상기 제 1 준비 이미지의 적어도 일부에 대한 상태 정보를 기반으로 상기 제1 준비 이미지에 대한 밝기 정보를 결정하고, 상기 제 2 준비 이미지의 적어도 일부에 대한 상태 정보를 기반으로 상기 제 2 준비 이미지에 대한 밝기 정보를 결정하여, 상기 제 1 준비 이미지에 대한 밝기 정보와 상기 제 2 준비 이미지에 대한 밝기 정보에 기반하여, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지의 밝기 차이를 결정할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 상기 후보 발광 시간을 결정하기 위하여, 상기 제 1 준비 이미지의 복수의 제 1 서브 이미지 영역 중 적어도 하나에 대한 밝기 정보를 결정하고, 상기 제 2 준비 이미지의 복수의 제 2 서브 이미지 영역 중 적어도 하나에 대한 밝기 정보를 결정하며, 상기 복수의 제 1 서브 이미지 영역과 상기 복수의 제 2 서브 이미지 영역에 대한 적어도 하나의 밝기 차이를 결정하고, 상기 적어도 하나의 밝기 차이 중 지정된 우선 순위에 해당하는 큰 값들을 가지는 밝기 차이를 이용하여 상기 후보 발광 시간을 결정할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 상기 후보 발광 시간을 결정하기 위하여, 상기 제 1 준비 이미지 및 상기 제 2 준비 이미지 각각에 대한 밝기, 상기 제 1 준비 이미지 및 상기 제 2 준비 이미지 각각에 해당하는 발광 상태의 광량 정보, 상기 출력 이미지 획득을 위해 설정된 광량 정보 또는 상기 출력 이미지 획득을 위해 설정된 이미지 밝기 정보 중 적어도 하나에 기반하여 상기 후보 발광 시간을 결정할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는, 상기 후보 발광 시간을 결정하기 위하여, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지의 밝기 차이에 기반하여, 상기 출력 이미지 획득을 위한 상기 이미지 센서의 노출 시간을 결정할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 상기 출력 이미지를 획득하기 위하여, 상기 노출 시간과, 상기 출력 이미지를 획득하기 위한 발광 시간과 연관된 지정된 기준 시간과 비교하고, 상기 노출 시간이 상기 기준 시간보다 작거나 같은 경우에는, 상기 노출 시간과 상기 복수의 라인들이 상기 제 3 이미지를 읽는 시간(image readout time)을 합산한 결과에 기반하여 상기 발광 모듈이 발광하도록 제어할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 상기 출력 이미지를 획득하기 위하여, 상기 후보 발광 시간이 상기 동조 구간에 대한 시간보다 큰 경우에는, 상기 노출 시간과 상기 복수의 라인들이 상기 출력 이미지를 읽는 시간을 합산한 결과에 기반하여 상기 발광 모듈이 발광하도록 제어할 수 있다.
다양한 실시예에 따르면, 상기 복수의 라인들은 제 1 내지 제 N(1보다 큰 자연수) 라인을 포함하고, 상기 전자 장치는 상기 제 N 라인이 상기 출력 이미지 정보를 획득하기를 시작한 시점부터 상기 제 1 라인이 상기 출력 이미지 정보를 획득하기를 종료한 시점까지의 구간을 상기 동조 구간으로서 이용할 수 있다.
다양한 실시예에 따르면, 전자 장치와 기능적으로 연결된 이미지 센서를 통하여 피사체에 대한 제 1 준비 이미지와 제 2 준비 이미지를 획득하는 동작, 상기 제 1 준비 이미지의 적어도 일부에 대한 상태 정보와, 상기 제 2 준비 이미지의 적어도 일부에 대한 상태 정보의 차이에 기반하여, 상기 피사체에 대한 출력 이미지 획득과 연관된 후보 발광 시간을 결정하는 동작, 상기 후보 발광 시간을, 상기 이미지 센서를 구성하는 복수의 라인(line)들이 동시에 상기 출력 이미지를 획득하는 동조 구간(period)에 대응하는 시간과 비교하는 동작 및 상기 비교의 결과에 기반하여 상기 피사체에 대한 출력 이미지를 획득하는 동작을 포함하고, 상기 출력 이미지를 획득하는 동작은, 상기 후보 발광 시간이 상기 동조 구간보다 작거나 같은 경우, 상기 동조 구간에서 상기 후보 발광 시간 동안 상기 전자 장치와 기능적으로 연결된 발광 모듈이 발광하도록 제어하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체가 제공될 수 있다.
도 5는 다양한 실시예에 따른 전자 장치(예: 도 1의 카메라 모듈 110)를 통하여 이미지(예: 출력 이미지) 획득하는 방법을 보여주는 순서도 500이다. 한 실시예에 따르면, 전자 장치(예: 도 1의 결정 모듈 119)는 출력 이미지 획득을 위한 촬영 모드가 플래쉬 촬영 모드인 지를 판단할 수 있다. 동작 501에서, 플래쉬 촬영 모드라고 판단된 경우, 전자 장치(예: 도 1의 이미지 센서 113)는, 예를 들면, 피사체에 대한 제 1 준비 이미지와 제 2 준비 이미지를 획득할 수 있다. 한 실시예에 따르면, 플래쉬 촬영 모드가 아닌 경우에는, 전자 장치는 제 1 준비 이미지 또는 제 2 준비 이미지 획득 없이 바로 피사체에 대한 출력 이미지를 획득할 수 있다.
동작 503에서, 전자 장치(예: 도 1의 결정 모듈 117)는 제 1 준비 이미지에 대한 상태 정보(예: 제 1 준비 이미지의 적어도 일부 영역에 대한 밝기 정보) 및 제 2 준비 이미지에 대한 상태 정보(예: 제 2 준비 이미지의 적어도 일부 영역에 대한 밝기 정보)의 차이에 기반하여, 피사체에 대한 출력 이미지 획득을 위한 후보 발광 시간을 결정할 수 있다.
동작 505에서, 전자 장치(예: 도 1의 결정 모듈 117)은 후보 발광 시간과 동조 구간에 대한 시간을 비교할 수 있다. 후보 발광 시간이 동조 구간에 대응하는 시간보다 작거나 같다고 판단된 경우, 동작 507에서, 전자 장치는 피사체에 대한 출력 이미지 획득을 위하여 동조 구간에서 후보 발광 시간 동안 발광 모듈(예: 도 1의 발광 모듈 121)이 발광하도록 제어할 수 있다. 후보 발광 시간이 동조 구간에 대응하는 시간보다 큰 경우에는, 동작 509에서, 전자 장치는 피사체에 대한 출력 이미지 획득에 필요한 발광 시간을 이미지 센서의 노출 시간을 기반으로 결정할 수 있다.
도 6은 다양한 촬영 방법에 의해 촬영된 이미지를 도시한다. 이미지 정보 610 및 620은 특정 영역을 중심으로 발광 모듈의 발광 시간과 이미지 센서의 노출 시간을 일률적으로 적용한 예시이다. 이미지 정보 630은 본 발명의 실시예에 따라 촬영된 이미지 정보이다. 이미지 정보 610는 피사체에서 밝은 영역(예: 주 피사체인 얼굴 영역)을 중심으로 결정된 노출 시간과 발광 시간에 기반하여 획득된 이미지 정보이다. 이미지 정보 610을 살펴보면, 피사체에서 밝은 영역(예: 주 피사체인 인물 영역)을 중심으로 노출 시간 및 발광 시간이 결정되어 출력 이미지가 획득된 경우, 인물의 특정 영역(예: 얼굴) 613은 뿌옇게 들뜨게 표시됨으로써 얼굴 영역 613이 불명확하게 나타날 수 있다.
이미지 정보 620는 피사체에서 어두운 영역(예: 부 피사체 배경)을 중심으로 결정된 노출 시간과 발광 시간에 기반하여 획득된 이미지 정보이다. 이미지 정보 620을 살펴보면, 피사체에서 어두운 영역(예: 부 피사체인 도로 영역)을 중심으로 노출 시간 및 발광 시간이 결정되어 출력 이미지가 획득된 경우, 주 피사체(예: 인물)에 대응하는 영역을 제외한 나머지 영역(예: 도로 영역 625)은 어둡게 표현되어 사물을 구별할 수 없을 정도로 표시된다. 이와 같이, 플래쉬에서 발사된 빛이 고르게 적용될 수 없는 상태에서, 발광 시간 및 노출 시간을 일률적으로 적용하게 되면, 이미지 전체에 대한 플래쉬 발광에 대한 노출량이 적절하지 않을 수 있다.
주 피사체에 대한 서브 영역의 상태 정보(예: 밝기 정보)에 따라 동적으로 결정된 노출 시간과 발광 시간에 기반하여 촬영된 이미지 정보 630을 살펴보면, 인물 영역 633은 적절한 밝기를 가짐으로써, 인물을 구체적으로 파악할 수 있다. 또한, 배경 영역 635도 적절한 밝기를 가짐으로써, 구체적인 도로 형상을 파악할 수 있다. 본 발명의 실시예에 따라 피사체를 촬영하는 경우, 이미지 전체가 적절한 밝기를 가질 수 있도록 함으로써 향상된 질을 가진 최종 이미지를 획득할 수 있다.
다양한 실시예에 따르면, 피사체에 대한 이미지를 획득하는 방법은, 전자 장치와 기능적으로 연결된 이미지 센서를 통하여 피사체에 대한 제 1 준비 이미지와 제 2 준비 이미지를 획득하는 동작, 상기 제 1 준비 이미지의 적어도 일부에 대한 상태 정보와, 상기 제 2 준비 이미지의 적어도 일부에 대한 상태 정보의 차이에 기반하여, 상기 피사체에 대한 출력 이미지 획득과 연관된 후보 발광 시간을 결정하는 동작, 상기 후보 발광 시간을, 상기 이미지 센서를 구성하는 복수의 라인(line)들이 동시에 상기 출력 이미지를 획득하는 동조 구간(period)에 대응하는 시간과 비교하는 동작 및 상기 비교의 결과에 기반하여 상기 피사체에 대한 출력 이미지를 획득하는 동작을 포함하고, 상기 출력 이미지를 획득하는 동작은, 상기 후보 발광 시간이 상기 동조 구간에 대한 시간보다 작거나 같은 경우, 상기 동조 구간에서 상기 후보 발광 시간 동안 상기 전자 장치와 기능적으로 연결된 발광 모듈이 발광하도록 제어하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지를 획득하는 동작은, 상기 출력 이미지를 획득하는 촬영 모드가 상기 발광 모듈이 발광하는 플래쉬 촬영 모드인지를 판단하는 동작을 포함하고, 상기 촬영 모드가 상기 플래쉬 촬영 모드인 경우에, 상기 제 1 준비 이미지 및 상기 제 2 준비 이미지를 획득하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지를 획득하는 동작은, 상기 발광 모듈이 제 1 광량을 가지는 상태에서, 상기 제 1 준비 이미지를 획득하는 동작 및 상기 발광 모듈이 상기 제 1 광량과 다른 제 2 광량을 가지는 상태에서, 상기 제 2 준비 이미지를 획득하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 후보 발광 시간을 결정하는 동작은, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지에 대한 상태 정보로서 밝기 정보를 이용하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 후보 발광 시간을 결정하는 동작은, 상기 제 1 준비 이미지의 적어도 일부에 대한 상태 정보를 기반으로 상기 제1 준비 이미지에 대한 밝기 정보를 결정하는 동작, 상기 제 2 준비 이미지의 적어도 일부에 대한 상태 정보를 기반으로 상기 제 2 준비 이미지에 대한 밝기 정보를 결정하는 동작 및 상기 제 1 준비 이미지에 대한 밝기 정보와 상기 제 2 준비 이미지에 대한 밝기 정보에 기반하여, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지의 밝기 차이를 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 후보 발광 시간을 결정하는 동작은, 상기 제 1 준비 이미지의 복수의 제 1 서브 이미지 영역 중 적어도 하나에 대한 밝기 정보를 결정하는 동작, 상기 제 2 준비 이미지의 복수의 제 2 서브 이미지 영역 중 적어도 하나에 대한 밝기 정보를 결정하는 동작, 상기 복수의 제 1 서브 이미지 영역과 상기 복수의 제 2 서브 이미지 영역에 대한 적어도 하나의 밝기 차이를 결정하는 동작 및 상기 적어도 하나의 밝기 차이 중 지정된 우선 순위에 해당하는 큰 값들을 가지는 밝기 차이를 이용하여 상기 후보 발광 시간을 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 후보 발광 시간을 결정하는 동작은, 상기 제 1 준비 이미지 및 상기 제 2 준비 이미지 각각에 대한 밝기, 상기 제 1 준비 이미지 및 상기 제 2 준비 이미지 각각에 해당하는 발광 상태의 광량 정보, 상기 출력 이미지 획득을 위해 설정된 광량 정보 또는 상기 출력 이미지 획득을 위해 설정된 이미지 밝기 정보 중 적어도 하나에 기반하여 상기 후보 발광 시간을 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 후보 발광 시간을 결정하는 동작은, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지의 밝기 차이에 기반하여, 상기 출력 이미지 획득을 위한 상기 이미지 센서의 노출 시간을 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 출력 이미지를 획득하는 동작은, 상기 노출 시간과, 상기 출력 이미지를 획득하기 위한 발광 시간과 연관된 지정된 기준 시간과 비교하는 동작 및 상기 노출 시간이 상기 기준 시간보다 작거나 같은 경우에는, 상기 노출 시간과 상기 복수의 라인들이 상기 제 3 이미지를 읽는 시간(image readout time)을 합산한 결과에 기반하여 상기 발광 모듈이 발광하도록 제어하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 출력 이미지를 획득하는 동작은, 상기 후보 발광 시간이 상기 동조 구간에 대한 시간보다 큰 경우에는, 상기 노출 시간과 상기 복수의 라인들이 상기 출력 이미지를 읽는 시간을 합산한 결과에 기반하여 상기 발광 모듈이 발광하도록 제어하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 복수의 라인들은 제 1 내지 제 N(1보다 큰 자연수) 라인을 포함하고, 상기 출력 이미지를 획득하는 동작은, 상기 제 N 라인이 상기 출력 이미지 정보를 획득하기를 시작한 시점부터 상기 제 1 라인이 상기 출력 이미지 정보를 획득하기를 종료한 시점까지의 구간을 상기 동조 구간으로서 이용하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 발광 모듈의 광량 상태가 무발광인 상태에서, 상기 제 1 준비 이미지를 획득하고, 상기 발광 모듈의 광량 상태가 무발광보다는 큰 지정된 광량에서 상기 제 2 준비 이미지를 획득하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지에 대한 상태 정보로서 밝기 정보를 이용하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제 1 준비 이미지의 적어도 일부에 대한 상태 정보를 기반으로 상기 제1 준비 이미지에 대한 밝기 정보를 결정하고, 상기 제 2 준비 이미지의 적어도 일부에 대한 상태 정보를 기반으로 상기 제 2 준비 이미지에 대한 밝기 정보를 결정하며, 상기 제 1 준비 이미지에 대한 밝기 정보와 상기 제 2 준비 이미지에 대한 밝기 정보에 기반하여, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지의 밝기 차이를 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제 1 준비 이미지의 복수의 제 1 서브 이미지 영역 중 적어도 하나에 대한 밝기 정보를 결정하고, 상기 제 2 준비 이미지의 복수의 제 2 서브 이미지 영역 중 적어도 하나에 대한 밝기 정보를 결정하여, 상기 복수의 제 1 서브 이미지 영역과 상기 복수의 제 2 서브 이미지 영역에 대한 적어도 하나의 밝기 차이를 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 밝기 차이 중 최대값을 가지는 밝기 차이를 이용하여 상기 후보 발광 시간을 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지의 밝기 차이를 기반으로, 상기 출력 이미지 획득을 위한 상기 이미지 센서의 노출 시간을 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 후보 발광 시간이 상기 동조 구간에 대한 시간보다 큰 경우에는, 상기 노출 시간과 상기 복수의 라인들이 상기 출력 이미지를 읽는 시간(image readout time)을 합산한 결과에 기반하여 상기 발광 모듈이 발광하도록 제어하는 동작을 포함할 수 있다.
도 7은 다양한 실시예에 따른, 전자 장치가 사용되는 네트워크 환경에 대한 블록도를 도시한다. 본 실시예에 따른 전자 장치 700은, 예를 들면, 도 1에 도시된 제 1 전자 장치 110일 수 있다. 도 7을 참조하면, 상기 전자 장치 700는 버스 710, 프로세서 720, 메모리 730, 입출력 인터페이스 740, 디스플레이 750 및 통신 인터페이스 760를 포함할 수 있다.
상기 버스 710는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.
상기 프로세서 720는, 예를 들면, 상기 버스 710를 통해 전술한 다른 구성요소들(예: 상기 메모리 730, 상기 입출력 인터페이스 740, 상기 디스플레이 750, 상기 통신 인터페이스 760 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
상기 메모리 730는, 상기 프로세서 720 또는 다른 구성요소들(예: 상기 입출력 인터페이스 740, 상기 디스플레이 750, 상기 통신 인터페이스 760등)로부터 수신되거나, 상기 프로세서 720 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 상기 메모리 730는, 예를 들면, 커널 731, 미들웨어 732, 애플리케이션 프로그래밍 인터페이스(API: application programming interface) 733 또는 애플리케이션 734 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
상기 커널 731은 나머지 다른 프로그래밍 모듈들, 예를 들면, 상기 미들웨어 732, 상기 API 733 또는 상기 애플리케이션 734에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 상기 버스 710, 상기 프로세서 720, 상기 메모리 730 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널 731은 상기 미들웨어 732, 상기 API 733 또는 상기 애플리케이션 734에서 상기 전자 장치 700의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어 732는 상기 API 733 또는 상기 애플리케이션 734이 상기 커널 731과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어 732는 상기 (다수의) 애플리케이션들 734로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 (다수의) 애플리케이션들 734들 중 적어도 하나의 애플리케이션에 상기 전자 장치 700의 시스템 리소스(예: 상기 버스 710, 상기 프로세서 720, 또는 상기 메모리 730 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케쥴링 또는 로드 밸런싱)를 수행할 수 있다.
상기 API 733는 상기 애플리케이션 734이 상기 커널 731 또는 상기 미들웨어 732에서 제공하는 기능을 제어할 수 있는 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
상기 입출력 인터페이스 740은, 예를 들면, 사용자로부터 명령 또는 데이터를 입력 받아 상기 버스 710를 통해 상기 프로세서 720, 또는 상기 메모리 730에 전달할 수 있다. 또한, 상기 버스 710을 통해 상기 메모리 730, 또는 상기 통신 인터페이스 760로부터 수신된 오디오 정보를 출력할 수 있다.
상기 디스플레이 750은 사용자에게 화상, 영상 또는 데이터 등을 표시할 수 있다.
상기 통신 인터페이스 760은 하나 이상의 다른 전자 장치 702와 상기 전자 장치 700 간의 통신을 연결할 수 있다. 상기 통신 인터페이스 760은 소정의 근거리 통신 프로토콜(예: Wifi, Wifi-direct, WiGig, BT, BLE, Zigbee, UWB, NFC, RFID, 오디오 싱크, EFC, HBC 또는 VLC 등) 또는 소정의 네트워크 통신(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등) 762을 지원할 수 있다. 상기 전자 장치 702, 704 각각은 상기 전자 장치 700와 동일한 (예: 같은 타입의) 장치이거나 또는 다른 (예: 다른 타입의) 장치일 수 있다.
도 8은 다양한 실시예들에 따른 전자 장치 800의 블록도를 도시한다. 상기 하드웨어 800는, 예를 들면, 도 1에 도시된 전자 장치 100일 수 있다. 도 8을 참조하면, 상기 하드웨어 800는 하나 이상의 프로세서 810, SIM(subscriber identification module) 카드 814, 메모리 820, 통신 모듈 830, 센서 모듈 840, 사용자 입력 모듈 850, 디스플레이 모듈 860, 인터페이스 870, 오디오 코덱 880, 카메라 모듈 891, 전력관리 모듈 895, 배터리 896, 인디케이터 897 또는 모터 898 를 포함할 수 있다.
상기 프로세서 810(예: 상기 프로세서 220)는 하나 이상의 어플리케이션 프로세서(AP: application processor) 811 또는 하나 이상의 커뮤니케이션 프로세서(CP: communication processor) 813를 포함할 수 있다. 상기 프로세서 810는, 예를 들면, 도 7에 도시된 프로세서 720일 수 있다. 도 8에서는 상기 AP 811 및 상기 CP 813가 프로세서 810 내에 포함된 것으로 도시되었으나, 상기 AP 811 와 상기 CP 813는 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 한 실시예에서는 상기 AP 811 및 상기 CP 813는 하나의 IC 패키지 내에 포함될 수 있다.
상기 AP 811는 운영체제 또는 응용 프로그램을 구동하여 상기 AP 811에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어하고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP 811는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 상기 프로세서 810는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
상기 CP 813는 상기 하드웨어 800를 포함하는 전자 장치(예: 상기 전자 장치 200)와 네트워크로 연결된 다른 전자 장치들 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. 상기 CP 813는, 예를 들면, SoC로 구현될 수 있다. 한 실시예에 따르면, 상기 CP 813는 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다. 상기 CP 813는, 예를 들면, 가입자 식별 모듈(예: SIM 카드 814)을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 또한, 상기 CP 813는 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data) 등의 서비스들을 제공할 수 있다.
또한, 상기 CP 813는 상기 통신 모듈 830의 데이터 송수신을 제어할 수 있다. 도 8에서는, 상기 CP 813, 상기 전력관리 모듈 895 또는 상기 메모리820 등의 구성요소들이 상기 AP 811와 별개의 구성요소로 도시되어 있으나, 한 실시예에 따르면, 상기 AP 811가 전술한 구성요소들의 적어도 일부(예: 상기 CP 813)를 포함하도록 구현될 수 있다.
한 실시예에 따르면, 상기 AP 811 또는 상기 CP 813는 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP 811 또는 상기 CP 813는 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
상기 SIM 카드814는 가입자 식별 모듈을 구현한 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드 814는 고유한 식별 정보(예: ICCID(integrated circuit card identifier))또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
상기 메모리 820는 내장 메모리 822 또는 외장 메모리 824를 포함할 수 있다. 상기 메모리 820는, 예를 들면, 도 7에 도시된 메모리 730일 수 있다. 상기 내장 메모리 822는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 상기 내장 메모리 822는 Solid State Drive (SSD)의 형태를 취할 수도 있다. 상기 외장 메모리 824는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 등을 더 포함할 수 있다.
상기 통신 모듈 830은 무선 통신 모듈 831 또는 RF 모듈 834을 포함할 수 있다. 상기 통신 모듈 830은, 예를 들면, 도 7에 도시된 통신 인터페이스 760일 수 있다. 상기 무선 통신 모듈 831은, 예를 들면, WiFi 833, BT(bluetooth) 835, GPS 837 또는 NFC(near field communication) 839를 포함할 수 있다. 예를 들면, 상기 무선 통신 모듈 831은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다. 추가적으로 또는 대체적으로, 상기 무선 통신 모듈 831은 상기 하드웨어 800를 네트워크(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등)와 연결시키기 위한 네트워크 인터페이스(예: LAN card) 또는 모뎀 등을 포함할 수 있다.
상기 RF 모듈 834은 데이터의 송수신, 예를 들면, RF 신호 또는 호출된 전자 신호의 송수신을 담당할 수 있다. 상기RF 모듈834은, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, 상기 RF 모듈834은 무선통신에서 자유공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.
상기 센서 모듈 840은, 예를 들면, 제스처 센서 840A, 자이로 센서 840B, 기압 센서 840C, 마그네틱 센서 840D, 가속도 센서 840E, 그립 센서 840F, 근접 센서 840G, RGB(red, green, blue) 센서 840H, 생체 센서 840I, 온/습도 센서 840J, 조도 센서 840K 또는 UV(ultra violet) 센서 840M중의 적어도 하나를 포함할 수 있다. 상기 센서 모듈 840은 물리량을 계측하거나 전자 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 추가적으로/대체적으로, 상기 센서 모듈 840은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시) 또는 지문 센서 등을 포함할 수 있다. 상기 센서 모듈840은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어회로를 더 포함할 수 있다.
상기 사용자 입력 모듈 850은 터치 패널(touch panel) 852, (디지털) 펜 센서(pen sensor) 854, 키(key) 856 또는 초음파 입력 장치 858를 포함할 수 있다. 상기 사용자 입력 모듈 850은, 예를 들면, 도 7에 도시된 입출력 인터페이스 740일수 있다. 상기 터치 패널 852은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패널 852은 컨트롤러(미도시)를 더 포함할 수도 있다. 정전식의 경우, 직접 터치뿐만 아니라 근접 인식도 가능하다. 상기 터치 패널 852은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널 852은 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서 854는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 상기 키 856로서, 예를 들면, 키패드 또는 터치 키가 이용될 수 있다. 상기 초음파 입력 장치858는 초음파 신호를 발생하는 펜을 통해, 전자 장치에서 마이크(예: 마이크 888)로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시예에 따르면, 상기 하드웨어 800는 상기 통신 모듈 830를 이용하여 이와 연결된 외부 장치(예: 네트워크, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
상기 디스플레이 모듈 860은 패널 862 또는 홀로그램 864을 포함할 수 있다. 상기 디스플레이 모듈 860은, 예를 들면, 도 7에 도시된 디스플레이 750일 수 있다. 상기 패널 862은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 상기 패널862은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 상기 패널 862은 상기 터치 패널 852과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 864은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 한 실시예에 따르면, 상기 디스플레이 모듈 860은 상기 패널 862 또는 상기 홀로그램 864을 제어하기 위한 제어회로를 더 포함할 수 있다.
상기 인터페이스 870는, 예를 들면, HDMI(high-definition multimedia interface) 872, USB(universal serial bus) 874, 프로젝터 876 또는 D-sub(D-subminiature) 878를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스870는, 예를 들면, SD(secure Digital)/MMC(multi-media card)(미도시) 또는 IrDA(infrared data association, 미도시)를 포함할 수 있다.
상기 오디오 코덱 880은 음성과 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 코덱 880은, 예를 들면, 스피커 882, 리시버 884, 이어폰 886 또는 마이크 888 등을 통해 입력 또는 출력되는 음성 정보를 변환시킬 수 있다.
상기 카메라 모듈 891은 화상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 렌즈 또는 후면 렌즈), ISP(image signal processor, 미도시) 또는 플래쉬 LED(flash LED, 미도시)를 포함할 수 있다.
상기 전력관리 모듈 895은 상기 하드웨어 800의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력관리 모듈 895은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 게이지(battery fuel gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 정류기 등의 회로가 추가될 수 있다.
상기 배터리 게이지는, 예를 들면, 상기 배터리 896의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리 896는 전기를 생성하여 전원을 공급할 수 있고, 예를 들면, 충전식 전지(rechargeable battery)일 수 있다.
상기 인디케이터 897는 상기 하드웨어 800 혹은 그 일부(예: 상기 AP 811)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터898는 전기적 신호를 기계적 진동으로 변환할 수 있다. 상기 MCU 899은, 상기 센서 모듈 840을 제어할 수 있다.
도시되지는 않았으나, 상기 하드웨어 800는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 상기 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다. 본 개시에 따른 하드웨어의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 개시에 따른 하드웨어는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 개시에 따른 하드웨어의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 개시에 사용된 용어"모듈"은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 개시에 따른 "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
본 개시에 따른 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 개시에 따른 모듈, 프로그래밍 모듈, 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 처리될 수 있으며, 또한 일부 동작이 생략되거나, 다른 동작이 추가될 수 있다.
한편, 다양한 실시예들은 다양한 컴퓨터 수단(예: 상기 프로세서)을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체에 기록되는 프로그램 명령은 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 개시의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
그리고, 본 개시의 다양한 실시예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시 예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
110: 카메라 모듈 111: 렌즈
113: 이미지 센서 117: 계산 모듈
119: 결정 모듈 123: 플래쉬 제어 모듈
125: 플래쉬

Claims (20)

  1. 전자 장치와 기능적으로 연결된 이미지 센서를 통하여 피사체에 대한 제 1 준비 이미지와 제 2 준비 이미지를 획득하는 동작;
    상기 제 1 준비 이미지의 적어도 일부에 대한 상태 정보와, 상기 제 2 준비 이미지의 적어도 일부에 대한 상태 정보의 차이에 기반하여, 상기 피사체에 대한 출력 이미지 획득과 연관된 후보 발광 시간을 결정하는 동작;
    상기 후보 발광 시간을, 상기 이미지 센서를 구성하는 복수의 라인(line)들이 동시에 상기 출력 이미지를 획득하는 동조 구간(period)에 대응하는 시간과 비교하는 동작; 및
    상기 비교의 결과에 기반하여 상기 피사체에 대한 출력 이미지를 획득하는 동작을 포함하고, 상기 출력 이미지를 획득하는 동작은,
    상기 후보 발광 시간이 상기 동조 구간에 대한 시간보다 작거나 같은 경우, 상기 동조 구간에서 상기 후보 발광 시간 동안 상기 전자 장치와 기능적으로 연결된 발광 모듈이 발광하도록 제어하는 동작을 포함하는 방법.
  2. 제 1 항에 있어서, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지를 획득하는 동작은,
    상기 출력 이미지를 획득하는 촬영 모드가 상기 발광 모듈이 발광하는 플래쉬 촬영 모드인지를 판단하는 동작을 포함하고,
    상기 촬영 모드가 상기 플래쉬 촬영 모드인 경우에, 상기 제 1 준비 이미지 및 상기 제 2 준비 이미지를 획득하는 동작을 포함하는 방법.
  3. 제 1 항에 있어서, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지를 획득하는 동작은,
    상기 발광 모듈이 제 1 광량을 가지는 상태에서, 상기 제 1 준비 이미지를 획득하는 동작; 및
    상기 발광 모듈이 상기 제 1 광량과 다른 제 2 광량을 가지는 상태에서, 상기 제 2 준비 이미지를 획득하는 동작을 포함하는 방법.
  4. 제 1 항에 있어서, 상기 후보 발광 시간을 결정하는 동작은,
    상기 제 1 준비 이미지와 상기 제 2 준비 이미지에 대한 상태 정보로서 밝기 정보를 이용하는 동작을 포함하는 방법.
  5. 제 1 항에 있어서, 상기 후보 발광 시간을 결정하는 동작은,
    상기 제 1 준비 이미지의 적어도 일부에 대한 상태 정보를 기반으로 상기 제1 준비 이미지에 대한 밝기 정보를 결정하는 동작;
    상기 제 2 준비 이미지의 적어도 일부에 대한 상태 정보를 기반으로 상기 제 2 준비 이미지에 대한 밝기 정보를 결정하는 동작; 및
    상기 제 1 준비 이미지에 대한 밝기 정보와 상기 제 2 준비 이미지에 대한 밝기 정보에 기반하여, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지의 밝기 차이를 결정하는 동작을 포함하는 방법.
  6. 제 1 항에 있어서, 상기 후보 발광 시간을 결정하는 동작은,
    상기 제 1 준비 이미지의 복수의 제 1 서브 이미지 영역 중 적어도 하나에 대한 밝기 정보를 결정하는 동작;
    상기 제 2 준비 이미지의 복수의 제 2 서브 이미지 영역 중 적어도 하나에 대한 밝기 정보를 결정하는 동작;
    상기 복수의 제 1 서브 이미지 영역과 상기 복수의 제 2 서브 이미지 영역에 대한 적어도 하나의 밝기 차이를 결정하는 동작; 및
    상기 적어도 하나의 밝기 차이 중 지정된 우선 순위에 해당하는 밝기 차이를 이용하여 상기 후보 발광 시간을 결정하는 동작을 포함하는 방법.
  7. 제 1 항에 있어서, 상기 후보 발광 시간을 결정하는 동작은,
    상기 제 1 준비 이미지 및 상기 제 2 준비 이미지 각각에 대한 밝기, 상기 제 1 준비 이미지 및 상기 제 2 준비 이미지 각각에 해당하는 발광 상태의 광량 정보, 상기 출력 이미지 획득을 위해 설정된 광량 정보 또는 상기 출력 이미지 획득을 위해 설정된 이미지 밝기 정보 중 적어도 하나에 기반하여 상기 후보 발광 시간을 결정하는 동작을 포함하는 방법.
  8. 제 5 항에 있어서, 상기 후보 발광 시간을 결정하는 동작은,
    상기 제 1 준비 이미지와 상기 제 2 준비 이미지의 밝기 차이에 기반하여, 상기 출력 이미지 획득을 위한 상기 이미지 센서의 노출 시간을 결정하는 동작을 포함하는 방법.
  9. 제 8 항에 있어서, 상기 출력 이미지를 획득하는 동작은,
    상기 노출 시간과, 상기 출력 이미지를 획득하기 위한 발광 시간과 연관된 지정된 기준 시간과 비교하는 동작; 및
    상기 노출 시간이 상기 기준 시간보다 작거나 같은 경우에는, 상기 노출 시간과 상기 복수의 라인들이 제 3 이미지를 읽는 시간(image readout time)을 합산한 결과에 기반하여 상기 발광 모듈이 발광하도록 제어하는 동작을 포함하는 방법.
  10. 제 8 항에 있어서, 상기 출력 이미지를 획득하는 동작은,
    상기 후보 발광 시간이 상기 동조 구간에 대한 시간보다 큰 경우에는, 상기 노출 시간과 상기 복수의 라인들이 상기 출력 이미지를 읽는 시간을 합산한 결과에 기반하여 상기 발광 모듈이 발광하도록 제어하는 동작을 포함하는 방법.
  11. 제 1 항에 있어서, 상기 복수의 라인들은 제 1 내지 제 N(1보다 큰 자연수) 라인을 포함하고, 상기 출력 이미지를 획득하는 동작은,
    상기 제 N 라인이 상기 출력 이미지 정보를 획득하기를 시작한 시점부터 상기 제 1 라인이 상기 출력 이미지 정보를 획득하기를 종료한 시점까지의 구간을 상기 동조 구간으로서 이용하는 동작을 포함하는 방법.
  12. 빛을 발산하기(emitting) 위한 발광 모듈;
    피사체에 대한 제 1 준비 이미지 및 제 2 준비 이미지를 획득하기 위한 이미지 센서;
    상기 제 1 준비 이미지의 적어도 일부에 대한 상태 정보와, 상기 제 2 준비 이미지의 적어도 일부에 대한 상태 정보의 차이를 결정하기 위한 계산 모듈; 및
    상기 차이에 기반하여, 상기 피사체에 대한 출력 이미지 획득과 연관된 후보 발광 시간을 결정하는 결정 모듈을 포함하고, 상기 결정 모듈은,
    상기 후보 발광 시간을, 상기 이미지 센서를 구성하는 복수의 라인(line)들이 동시에 상기 출력 이미지를 획득하는 동조 구간(period)에 대응하는 시간과 비교하여, 상기 후보 발광 시간이 상기 동조 구간에 대한 시간보다 작거나 같다고 판단한 경우, 상기 동조 구간에서 상기 후보 발광 시간 동안 상기 발광 모듈이 발광하도록 제어하여 상기 출력 이미지를 획득하도록 설정된 전자 장치.
  13. 제 12 항에 있어서, 상기 이미지 센서는,
    상기 발광 모듈의 광량 상태가 무발광인 상태에서, 상기 제 1 준비 이미지를 획득하고, 상기 발광 모듈의 광량 상태가 무발광보다는 큰 지정된 광량에서 상기 제 2 준비 이미지를 획득하도록 설정된 전자 장치.
  14. 제 12 항에 있어서, 상기 계산 모듈은,
    상기 제 1 준비 이미지와 상기 제 2 준비 이미지에 대한 상태 정보로서 밝기 정보를 이용하도록 설정된 전자 장치.
  15. 제 12 항에 있어서, 상기 계산 모듈은,
    상기 제 1 준비 이미지의 적어도 일부에 대한 상태 정보를 기반으로 상기 제1 준비 이미지에 대한 밝기 정보를 결정하고, 상기 제 2 준비 이미지의 적어도 일부에 대한 상태 정보를 기반으로 상기 제 2 준비 이미지에 대한 밝기 정보를 결정하며, 상기 제 1 준비 이미지에 대한 밝기 정보와 상기 제 2 준비 이미지에 대한 밝기 정보에 기반하여, 상기 제 1 준비 이미지와 상기 제 2 준비 이미지의 밝기 차이를 결정하도록 설정된 전자 장치.
  16. 제 12 항에 있어서, 상기 계산 모듈은,
    상기 제 1 준비 이미지의 복수의 제 1 서브 이미지 영역 중 적어도 하나에 대한 밝기 정보를 결정하고, 상기 제 2 준비 이미지의 복수의 제 2 서브 이미지 영역 중 적어도 하나에 대한 밝기 정보를 결정하여, 상기 복수의 제 1 서브 이미지 영역과 상기 복수의 제 2 서브 이미지 영역에 대한 적어도 하나의 밝기 차이를 결정하도록 설정된 전자 장치.
  17. 제 16 항에 있어서, 상기 결정 모듈은,
    상기 적어도 하나의 밝기 차이 중 최대값을 가지는 밝기 차이를 이용하여 상기 후보 발광 시간을 결정하도록 설정된 전자 장치.
  18. 제 15 항에 있어서, 상기 결정 모듈은,
    상기 제 1 준비 이미지와 상기 제 2 준비 이미지의 밝기 차이를 기반으로, 상기 출력 이미지 획득을 위한 상기 이미지 센서의 노출 시간을 결정하도록 설정된 전자 장치.
  19. 제 18 항에 있어서, 상기 결정 모듈은,
    상기 후보 발광 시간이 상기 동조 구간에 대한 시간보다 큰 경우에는, 상기 노출 시간과 상기 복수의 라인들이 상기 출력 이미지를 읽는 시간(image readout time)을 합산한 결과에 기반하여 상기 발광 모듈이 발광하도록 제어하는 전자 장치.
  20. 전자 장치와 기능적으로 연결된 이미지 센서를 통하여 피사체에 대한 제 1 준비 이미지와 제 2 준비 이미지를 획득하는 동작;
    상기 제 1 준비 이미지의 적어도 일부에 대한 상태 정보와, 상기 제 2 준비 이미지의 적어도 일부에 대한 상태 정보의 차이에 기반하여, 상기 피사체에 대한 출력 이미지 획득과 연관된 후보 발광 시간을 결정하는 동작;
    상기 후보 발광 시간을, 상기 이미지 센서를 구성하는 복수의 라인(line)들이 동시에 상기 출력 이미지를 획득하는 동조 구간(period)에 대응하는 시간과 비교하는 동작; 및
    상기 비교의 결과에 기반하여 상기 피사체에 대한 출력 이미지를 획득하는 동작을 포함하고, 상기 출력 이미지를 획득하는 동작은, 상기 후보 발광 시간이 상기 동조 구간보다 작거나 같은 경우, 상기 동조 구간에서 상기 후보 발광 시간 동안 상기 전자 장치와 기능적으로 연결된 발광 모듈이 발광하도록 제어하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020130116306A 2013-09-30 2013-09-30 이미지 획득 방법 및 장치 KR102124598B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130116306A KR102124598B1 (ko) 2013-09-30 2013-09-30 이미지 획득 방법 및 장치
US14/501,637 US9258489B2 (en) 2013-09-30 2014-09-30 Image acquisition method and apparatus
US15/017,205 US9635279B2 (en) 2013-09-30 2016-02-05 Image acquisition method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130116306A KR102124598B1 (ko) 2013-09-30 2013-09-30 이미지 획득 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150037083A KR20150037083A (ko) 2015-04-08
KR102124598B1 true KR102124598B1 (ko) 2020-06-19

Family

ID=52739797

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130116306A KR102124598B1 (ko) 2013-09-30 2013-09-30 이미지 획득 방법 및 장치

Country Status (2)

Country Link
US (2) US9258489B2 (ko)
KR (1) KR102124598B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10319287B2 (en) * 2014-09-19 2019-06-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for operating bi-directional display
US9743219B2 (en) * 2014-12-29 2017-08-22 Google Inc. Low-power wireless content communication between devices
JP6551048B2 (ja) * 2015-08-24 2019-07-31 株式会社Ｊｖｃケンウッド 水中撮影装置、水中撮影装置の制御方法、水中撮影装置の制御プログラム
JP6681244B2 (ja) * 2016-03-30 2020-04-15 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
JP2017211483A (ja) * 2016-05-25 2017-11-30 オリンパス株式会社 フラッシュ装置および発光量制御方法
TWI622300B (zh) * 2016-10-27 2018-04-21 財團法人國家實驗研究院 影像感測器讀取裝置
US10834329B2 (en) * 2017-06-02 2020-11-10 Apple Inc. Method and device for balancing foreground-background luminosity
WO2019023868A1 (zh) * 2017-07-31 2019-02-07 深圳市大疆创新科技有限公司 一种图像拍摄的控制方法、控制装置及控制系统
CN109005365B (zh) * 2018-08-22 2020-12-08 浙江大华技术股份有限公司 一种控制补光灯开启的方法及装置
CN111345033A (zh) * 2019-03-12 2020-06-26 深圳市大疆创新科技有限公司 参数同步方法、拍摄装置和可移动平台
CN112129317B (zh) * 2019-06-24 2022-09-02 南京地平线机器人技术有限公司 信息采集时间差确定方法、装置以及电子设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000098458A (ja) 1998-09-17 2000-04-07 Olympus Optical Co Ltd 銀塩撮影及び電子撮像兼用カメラ
JP2001275980A (ja) 2000-03-31 2001-10-09 Nidek Co Ltd 眼底カメラ
JP2011039449A (ja) 2009-08-18 2011-02-24 Canon Inc 撮像装置およびその制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5759190B2 (ja) * 2011-01-26 2015-08-05 キヤノン株式会社 撮像装置及びその制御方法
KR101739380B1 (ko) 2011-04-11 2017-06-08 삼성전자주식회사 디지털 영상 촬영 장치 및 방법
JP6257245B2 (ja) * 2013-09-27 2018-01-10 キヤノン株式会社 撮像装置及びその制御方法
KR102149453B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 획득하기 위한 전자 장치 및 방법
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000098458A (ja) 1998-09-17 2000-04-07 Olympus Optical Co Ltd 銀塩撮影及び電子撮像兼用カメラ
JP2001275980A (ja) 2000-03-31 2001-10-09 Nidek Co Ltd 眼底カメラ
JP2011039449A (ja) 2009-08-18 2011-02-24 Canon Inc 撮像装置およびその制御方法

Also Published As

Publication number Publication date
KR20150037083A (ko) 2015-04-08
US20160165119A1 (en) 2016-06-09
US9258489B2 (en) 2016-02-09
US20150092084A1 (en) 2015-04-02
US9635279B2 (en) 2017-04-25

Similar Documents

Publication Publication Date Title
KR102124598B1 (ko) 이미지 획득 방법 및 장치
US11350033B2 (en) Method for controlling camera and electronic device therefor
US10958850B2 (en) Electronic device and method for capturing image by using display
KR102195311B1 (ko) 이미지의 잡음 특성 개선 방법 및 그 전자 장치
KR102149448B1 (ko) 이미지를 처리하기 위한 전자 장치 및 방법
US10306163B2 (en) Electronic device having camera module, and image processing method for electronic device
EP2958316B1 (en) Electronic device using composition information of picture and shooting method using the same
US10469742B2 (en) Apparatus and method for processing image
KR102149187B1 (ko) 전자 장치와, 그의 제어 방법
KR102570305B1 (ko) 전자 장치 및 그 제어 방법
KR102263537B1 (ko) 전자 장치와, 그의 제어 방법
KR102226177B1 (ko) 사용자 인증 방법 및 그 전자 장치
US20160037067A1 (en) Method for generating image and electronic device thereof
KR102401659B1 (ko) 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법
KR102469426B1 (ko) 이미지 처리 장치 및 이의 동작 방법
KR102326275B1 (ko) 이미지 표시 방법 및 장치
KR102206877B1 (ko) 생체 정보디스플레이 방법 및 장치
KR102267520B1 (ko) 자외선 검출 방법 및 그 전자 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right