KR102149453B1 - 이미지를 획득하기 위한 전자 장치 및 방법 - Google Patents

이미지를 획득하기 위한 전자 장치 및 방법 Download PDF

Info

Publication number
KR102149453B1
KR102149453B1 KR1020140020868A KR20140020868A KR102149453B1 KR 102149453 B1 KR102149453 B1 KR 102149453B1 KR 1020140020868 A KR1020140020868 A KR 1020140020868A KR 20140020868 A KR20140020868 A KR 20140020868A KR 102149453 B1 KR102149453 B1 KR 102149453B1
Authority
KR
South Korea
Prior art keywords
exposure
image
exposure amount
pixels
electronic device
Prior art date
Application number
KR1020140020868A
Other languages
English (en)
Other versions
KR20150099263A (ko
Inventor
이해선
이종협
김문수
신종근
이주호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140020868A priority Critical patent/KR102149453B1/ko
Priority to US14/626,156 priority patent/US9794529B2/en
Publication of KR20150099263A publication Critical patent/KR20150099263A/ko
Application granted granted Critical
Publication of KR102149453B1 publication Critical patent/KR102149453B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 다양한 실시 예는 전자 장치에서 이미지를 획득하기 위한 장치 및 방법에 관한 것이다. 이때, 이미지 획득 방법은, 제 1 노출량을 갖는 제 1 복수의 픽셀들 (a first plurality of pixels), 및 제 2 노출량을 갖는 제 2 복수의 픽셀들 (a second plurality of pixels)을 포함하는 이미지 센서를 이용하여 제 1 이미지를 획득하는 동작과 상기 제 1 이미지의 밝기 값에 기반하여 노출 기준 값을 설정하는 동작과 상기 노출 기준 값에 기반하여, 상기 제 1 노출량 또는 상기 제 2 노출량 중 적어도 하나를 조정하는 동작과 상기 노출량의 조정에 기반하여 상기 이미지 센서를 이용하여 제 2 이미지를 획득하는 동작을 포함할 수 있으며, 다양한 다른 실시 예들도 가능할 수 있다.

Description

이미지를 획득하기 위한 전자 장치 및 방법{ELECTRONIC DEVICE AND METHOD FOR ACQUIRING IMAGE}
본 개시는 전자 장치에 관한 것이며, 전자 장치에서 이미지 센서를 이용하여 이미지를 획득하기 위한 장치 및 방법에 관한 것이다.
정보통신 기술 및 반도체 기술의 발전으로 각종 전자 장치들이 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다. 예를 들어, 휴대용 전자 장치는 방송 서비스, 무선 인터넷 서비스, 카메라 서비스 및 음악 재생 서비스 등의 다양한 멀티미디어 서비스를 제공할 수 있다.
전자 장치는 이미지 센서를 통해 획득한 이미지의 품질을 향상시키기 위한 방안을 필요로 한다.
전자 장치는 이미지 센서를 통해 획득한 이미지의 어두운 부분에서 밝은 부분까지의 휘도를 표현하는 다이나믹 레인지(dynamic range)를 조절하여 해당 이미지의 품질을 향상시킬 수 있다. 예를 들어, 전자 장치는 이미지 센서를 통해 동일 피사체에 대해 노출양이 다른 2장 이상의 이미지들을 촬영하여 합성함으로써 이미지의 품질을 향상시킬 수 있다.
하지만, 전자 장치는 이미지 품질을 향상시키기 위해 다수 개의 이미지들을 촬영하고, 촬영된 이미지들을 합성하기 위한 시간 지연으로 인해 실시간으로 이미지의 동적 범위를 조절하거나, 품질이 향상된 동영상을 촬영하기 어려운 문제점이 있다.
본 개시의 실시 예는 전자 장치에서 이미지 센서를 통해 다이나믹 레인지(dynamic range)가 조절된 이미지를 획득하기 위한 장치 및 방법을 제공할 수 있다.
본 개시의 실시 예는 전자 장치에서 노출 량이 다른 적어도 두 개의 픽셀들을 포함하는 이미지 센서를 이용하여 HDR(High Dynamic Range) 이미지를 획득하기 위한 장치 및 방법을 제공할 수 있다.
본 개시의 실시 예는 전자 장치에서 이미지 센서에 배치된 픽셀들의 노출 량을 제어하기 위한 장치 및 방법을 제공할 수 있다.
본 개시의 실시 예는 전자 장치에서 이미지 센서를 통해 획득한 이미지 정보의 적어도 일부 영역에 대한 밝기 값에 기반하여 결정된 노출 기준 값을 기준으로 이미지의 다이나믹 레인지를 조절하기 위해 사용되는 픽셀들의 노출 량을 제어하기 위한 장치 및 방법을 제공할 수 있다.
본 개시의 실시 예는 전자 장치에서 노출량이 정해진 값 이상 또는 이하인 픽셀(예: 포화 픽셀)들의 비율 또는 개수에 기반하여 하나 이상의 픽셀들의 노출 조정 값을 동적으로 결정하기 위한 장치 및 방법을 제공할 수 있다.
본 개시의 실시 예에 따르면, 전자 장치에서 이미지 획득 방법은, 제 1 노출량을 갖는 제 1 복수의 픽셀들 (a first plurality of pixels), 및 제 2 노출량을 갖는 제 2 복수의 픽셀들 (a second plurality of pixels)을 포함하는 이미지 센서를 이용하여 제 1 이미지를 획득하는 동작과 상기 제 1 이미지의 정보에 기반하여 노출 기준 값을 설정하는 동작과 상기 노출 기준 값에 기반하여, 상기 제 1 노출량 또는 상기 제 2 노출량 중 적어도 하나를 조정하는 동작과 상기 노출량의 조정에 기반하여 상기 이미지 센서를 이용하여 제 2 이미지를 획득하는 동작을 포함할 수 있다.
본 개시의 실시 예에 따르면, 전자 장치는, 픽셀들의 배열을 포함하며, 상기 픽셀들의 배열로부터 이미지 데이터를 획득하는 이미지 센서와 상기 이미지 데이터를 처리하는 적어도 하나의 프로세서를 포함하며, 상기 픽셀들의 배열은, 제 1 노출량을 갖도록 구성된 제 1 복수개의 픽셀들 (a first plurality of pixels), 및 제 2 노출량을 갖도록 구성된 제 2 복수개의 픽셀들 (a second plurality of pixels)을 포함하며, 상기 프로세서는, 상기 이미지 센서를 이용하여 제 1 이미지를 획득하고, 상기 제 1 이미지의 정보에 기반하여 노출 기준 값을 설정하고, 상기 노출 기준 값에 기반하여 상기 제 1 노출량 또는 상기 제 2 노출량 중 적어도 하나를 조정하고, 상기 노출량의 조정에 기반하여 상기 이미지 센서를 이용하여 제 2 이미지를 획득할 수 있다.
다양한 실시 예들에 따른 전자 장치 및 방법의 한 실시 예에서 이미지 센서를 통해 획득한 이미지 정보의 적어도 일부 영역의 밝기 값에 기반하여 이미지의 다이나믹 레인지를 조절하기 위해 사용되는 적어도 하나의 픽셀의 노출 량을 제어함으로써, 이미지(예: HDR 이미지)의 품질을 개선할 수 있다.
한 실시 예에서 전자 장치에서 이미지 센서의 픽셀들의 노출 량에 기반하여 노출 조정 값을 동적으로 결정함으로써, 이미지를 촬영하기 위한 기준 노출 량을 설정하기 위한 시간을 줄일 수 있다.
도 1은 본 개시의 실시 예에 따른 전자 장치의 블록도를 도시한다.
도 2는 본 개시의 실시 예에 따른 이미지 처리 모듈에 대한 상세 블록도를 도시한다.
도 3은 본 개시의 실시 예에 따른 전자 장치의 상세 블록도를 도시한다.
도 4는 본 개시의 실시 예에 따른 이미지 센서 모듈에서 이미지 검출 픽셀들의 다양한 배치를 도시한다.
도 5a 내지 도 5b는 본 개시의 실시 예에 따른 이미지 센서 모듈에 포함되는 픽셀들의 노출 동작과 관련된 그래프들을 도시한다.
도 6a 내지 도 6b는 본 개시의 실시 예에 따른 이미지 센서 모듈에 색상 필터의 특성에 기반한 색상 필터들의 배치를 도시한다.
도 7a 내지 도 7b는 본 개시의 실시 예에 따른 전자 장치에서 다이나믹 레인지를 조절하여 획득한 이미지를 도시한다.
도 8a 내지 도 8c는 본 개시의 실시 예에 따른 다이나믹 레인지의 조절을 위한 히스토그램을 도시한다.
도 9는 본 개시의 실시 예에 따른 전자 장치에서 HDR 이미지를 획득하기 위한 절차를 도시한다.
도 10은 본 개시의 실시 예에 따른 전자 장치에서 촬영 모드에 기반하여 이미지 처리를 선택적으로 수행하기 위한 절차를 도시한다.
도 11은 본 개시의 실시 예에 따른 전자 장치에서 노출 기준 값에 기반하여 픽셀들의 노출량을 결정하기 위한 절차를 도시한다.
도 12a 내지 도 12d는 본 개시의 실시 예에 따른 전자 장치에서 픽셀들의 노출량에 기반하여 촬영된 이미지를 도시한다.
도 13은 본 개시의 실시 예에 따른 전자 장치에서 노출량을 조절하기 위한 절차를 도시한다.
도 14a 내지 도 14b는 본 개시의 실시 예에 따른 전자 장치에서 노출량 조절과 관련된 그래프들을 도시한다.
이하, 첨부된 도면을 참조하여 본 개시(present disclosure)를 설명할 수 있다. 본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 개시 가운데 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 개시에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 개시 가운데 "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들이 본 발명의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제 1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 개시에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 개시의 실시 예에 따른 전자 장치는 카마라 기능을 포함하는 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 카메라 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 예를 들자면, 스마트 가전 제품은 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 또는 산업용 또는 가정용 로봇 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 카메라 기능을 갖춘 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector) 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하 첨부된 도면을 참조하여 다양한 실시 예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시 예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 본 개시의 실시 예는 전자 장치에서 노출량이 다른 적어도 두 개의 픽셀들을 이용하여 이미지 센서를 통해 획득한 이미지의 다이나믹 레인지(dynamic range)를 조절하기 위한 기술에 대해 설명할 수 있다.
도 1은 본 개시의 실시 예에 따른 전자 장치의 블록도를 도시하고 있다. 이하 설명은 도 4에 도시된 이미지 검출 픽셀들의 배치를 참조하여 이미지 센서 모듈(120)을 설명할 수 있다.
도 1을 참조하면 전자장치(100)는 버스(110), 이미지 센서 모듈(120), 프로세서(130), 이미지 처리 모듈(140), 메모리(150), 입력 모듈(입력 인터페이스)(160) 및 표시 모듈(디스플레이)(170)을 포함할 수 있다. 여기서, 프로세서(130) 및 메모리(150) 중 하나 이상은 다수 개 존재할 수 있다.
버스(110)는 전자장치(100)에 포함되는 구성요소들을 서로 연결하고, 전자장치(100)에 포함되는 구성요소들 간의 통신을 제어할 수 있다.
이미지 센서 모듈(120)은 피사체에 대해 촬영을 이미지관련 데이터를 프로세서(130) 및 이미지 처리 모듈(140) 중 적어도 하나로 제공할 수 있다. 예를 들어, 이미지 센서 모듈(120)은 서로 다른 노출 량을 제공할 수 있는 복수의 픽셀들을 포함할 수 있다. 예컨대, 상기 복수의 픽셀들은 노출 량을 기반으로 구분되는 복수의 픽셀 그룹들을 구성할 수 있다. 예를 들어, 도 4a와 같이 이미지 센서 모듈(120)을 이루는 픽셀들(400)은 노출량이 다른 픽셀들보다 많거나 같도록 설정될 수 있는 제 1 픽셀 그룹에 포함되는 적어도 하나의 장노출 픽셀(LEP: Long Exposure Pixel)(410a)과 노출량이 다른 픽셀들보다 적거나 같도록 설정될 수 있는 제 2 픽셀 그룹에 포함되는 적어도 하나의 단노출 픽셀(SEP: Short Exposure Pixel)(410b)이 반복된 패턴으로 배치되거나, 불규칙한 패턴으로 배치될 수 있다. 이미지 센서 모듈(120)은 장노출 픽셀(410a)과 단노출 픽셀(410b)의 배치를 동적으로 할당할 수도 있다. 예를 들어, 도 4b와 같이 이미지 센서 모듈(120)을 이루는 색상 픽셀들(400)은 그레이 픽셀들(412b)을 단노출 픽셀로 설정될 수 있고, 그레이 픽셀들(412b)를 제외한 나머지 색상 픽셀들(412a)을 장노출 픽셀로 설정될 수 있다. 이에 따라, 이미지 센서 모듈(120)을 이루는 색상 픽셀들(400)은 장노출 픽셀들(412a)0과 단노출 픽셀들(412b)이 지그재그의 패턴(420)으로 배치될 수 있다. 어떤 실시 예에 따르면, 이미지 센서 모듈(120)은 장노출 픽셀(410a 또는 412a)에 비해 적고 단노출 픽셀(410b 또는 412b)에 비해 많은 노출량을 획득할 수 있는 추가적인 픽셀 그룹을 포함할 수 있다.
픽셀의 노출량은, 예를 들면, 노출 시간, 픽셀의 광전 변환 효율(또는 감광 속도), 픽셀의 크기, 렌즈나 조리개의 조절, 색상 필터의 배치에 의해 설정될 수 있다. 예컨대, 본 개시의 다양한 실시 예들에 따른 이미지 센서 모듈(120)을 이루는 픽셀들은 구조적으로 또는 기능적으로 수광 효율이 다른 픽셀들보다 높은 픽셀 또는 낮은 픽셀들을 포함할 수 있다. 예를 들면, 노출 시간이 동일하다고 할 때, 수광 효율이 낮은 픽셀은 구조적으로 또는 프로세서(130) 또는 이미지 처리 모듈(140)의 제어에 따라 단위 시간당 픽셀로 유입되는 빛의 양이 적을 수 있다. 어떤 실시 예에 따르면, 수광 효율이 낮은 픽셀은 더 많은 이미지 정보를 획득하기 위해서는 다른 픽셀보다 더 긴 노출 시간을 사용할 수 있다. 한 실시 예에 따르면, 전자 장치(100)는 픽셀의 특성에 관계없이 이미지 센서 모듈(120)을 이루는 픽셀의 노출 시간을 제어할 수도 있다.
이미지 센서 모듈(120)은 전자 장치(100)에 기능적으로 연결된 적어도 하나의 이미지 센서 모듈을 포함할 수 있다.
프로세서(130)는 전자장치(100)가 다양한 서비스를 제공하도록 제어할 수 있다. 예를 들어, 프로세서(130)는 버스(110)를 통해 전자장치(100)에 포함되는 하나 이상의 다른 구성요소(예: 이미지 센서 모듈(120), 이미지 처리 모듈(140), 메모리(150), 입력 모듈(160), 표시 모듈(170))로부터 수신된 명령을 해독할 수 있고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
프로세서(130)는 메모리(150)에 저장된 하나 이상의 프로그램을 실행하여 전자 장치(100)가 다양한 서비스를 제공하도록 제어할 수 있다.
이미지 처리 모듈(140)은 이미지 센서 모듈(120)의 적어도 하나의 단노출 픽셀과 적어도 하나의 장노출 픽셀을 통해 획득한 이미지 정보들을 결합하여 하나의 이미지(예: HDR(High Dynamic Range) 이미지)를 획득할 수 있다. 예를 들어, 이미지 처리 모듈(140)은 적어도 하나의 단노출 픽셀을 통해 획득한 제 1 이미지 정보와 적어도 하나의 장노출 픽셀을 통해 획득한 제 2 이미지 정보에 대한 보간법(interpolation)을 수행하여 하나의 이미지(예: HDR(High Dynamic Range) 이미지)를 획득할 수 있다. 예컨대, 이미지 처리 모듈(140)은 적어도 하나의 단노출 픽셀을 통해 획득한 제 1 이미지 정보를 이용하여 노출 과다로 인해 상대적으로 밝게 표시된 적어도 일부 영역을 보정할 수 있다. 이미지 처리 모듈(140)은 적어도 하나의 장노출 픽셀을 통해 획득한 제 2 이미지 정보를 이용하여 노출 부족으로 인해 상대적으로 어둡게 표시된 적어도 일부 영역을 보정할 수 있다. 노출 과다로 인해 상대적으로 밝게 표시된 적어도 일부 영역 또는 노출 부족으로 인해 상대적으로 어둡게 표시된 적어도 일부 영역에 대한 보정은, 예를 들면, 각 영역에 대한 노출을 정해진 범위로 조정하도록 제어하는 동작을 포함할 수 있다.
이미지 처리 모듈(140)은 이미지 센서 모듈(120)의 픽셀들의 그룹들 중 적어도 하나의 픽셀 그룹에 포함되는 픽셀에 대한 노출량(예: 노출 시간)을 제어할 수 있다. 예를 들어, 이미지 처리 모듈(140)은 이미지 센서 모듈(120)을 통해 획득한 이미지의 적어도 일부에 대한 밝기 분포를 이용하여 노출 기준 값을 설정할 수 있다. 이미지 처리 모듈(140)은 노출 기준 값을 기준으로 적어도 하나의 장노출 픽셀을 포함하는 제 1 픽셀 그룹과 적어도 하나의 단노출 픽셀을 포함하는 제 2 픽셀 그룹의 노출 량(예: 노출 시간)을 결정할 수 있다. 예컨대, 이미지 처리 모듈(140)은 이미지의 적어도 일부에 대한 밝기 분포가 노출 조절 조건을 만족하도록 제 1 픽셀 또는 제 2 픽셀 그룹에 포함되는 각각의 픽셀에 대한 임시 노출량을 결정할 수 있다. 임시 노출량(예: 임시 노출 시간)은 노출 기준 값에 기반하여 픽셀들 노출량을 결정하는데 기준이 되는 노출량을 나타낼 수 있다. 예를 들어, 픽셀의 노출량은 픽셀의 노출 시간에 의해 결정될 수 있으므로 픽셀의 노출 량의 결정은 픽셀의 노출 시간을 결정하는 특징을 포함할 수 있다.
이미지 처리 모듈(140)은 제 1 픽셀 그룹과 제 2 픽셀 그룹 중 적어도 하나의 픽셀 그룹에 포함되는 픽셀의 임시 노출량이 노출 기준 값을 기준으로 설정된 기준 범위 내에 포함되는 경우, 해당 그룹의 노출량을 임시 노출량으로 결정할 수 있다. 이미지 처리 모듈(140)은 제 1 픽셀 그룹과 제 2 픽셀 그룹 중 적어도 하나의 픽셀 그룹에 포함되는 픽셀의 임시 노출량이 노출 기준 값을 기준으로 설정된 기준 범위를 벗어난 경우, 노출 기준 값에 의해 설정된 기준 범위의 노출량을 해당 그룹의 노출량으로 결정할 수 있다. 이미지 처리 모듈(140)은 이미지의 적어도 일부에 대한 밝기 분포에 전자 장치(100)의 위치에 대응하는 가중치, 역광의 정도, 색상(color), 얼굴 인식 정보(face detection auto exposure) 중 적어도 하나를 추가적으로 이용하여 노출 기준 값을 설정할 수 있다. 예를 들어, 이미지 처리 모듈(140)은 이미지의 적어도 일부에 대한 밝기 분포를 기준으로 얼굴이 인식된 적어도 일부 영역에 노출 기준 값을 결정하기 위한 가중치를 할당하여 노출 기준 값을 설정할 수 있다. 예를 들어, 이미지 처리 모듈(140)은 이미지의 적어도 일부에 대한 밝기 분포를 기준으로 역광의 정보에 대응하는 가중치를 할당하여 노출 기준 값을 설정할 수 있다.
이미지 처리 모듈(140)은 이미지 센서 모듈(120)을 통해 획득한 이미지의 밝기 값에 기반하여 제 1 픽셀 그룹 또는 제 2 픽셀 그룹에 포함되는 각각의 픽셀에 대한 노출량(예: 노출 시간)을 조절하는 경우, 노출량이 정해진 값 이상인 픽셀(예: 포화 픽셀)의 비율 또는 개수에 기반하여 픽셀의 노출량을 조정하기 위한 노출 조정 값을 동적으로 설정할 수 있다. 예를 들어, 이미지 처리 모듈(140)은 포화 픽셀의 비율에 대응하는 노출 조정 값의 테이블을 이용하여 포화 픽셀의 비율에 대응하는 노출 조정 값을 결정할 수 있다. 다른 예를 들어, 이미지 처리 모듈(140)은 기 설정된 노출 조정 값을 산출하기 위한 수식을 이용하여 포화 픽셀의 비율에 대응하는 노출 조정 값을 산출할 수 있다. 예컨대, 이미지 처리 모듈(140)은 포화 픽셀의 비율이 높을수록 노출 조정값을 크게 설정할 수 있다.
어떤 실시 예에 따르면, 픽셀의 노출량을 조정하기 위한 노출 조정 값은 노출량이 정해진 값 이하인 픽셀(예: 노출 부족 픽셀)의 비율 또는 개수에 기반하여 산출되는 것도 가능하다.
이미지 처리 모듈(140)은 전자 장치(100)의 촬영 모드에 기반하여 이미지를 처리하기 위한 기능을 동적으로 제어할 수 있다. 예를 들어, 전자 장치(100)가 자동 노출(Auto Exposure) 모드로 동작하는 경우, 이미지 처리 모듈(140)은 이미지 센서 모듈(120)을 통해 획득한 이미지에 대한 복원(reconstruction) 기능 및 다이나믹 레인지 압축(dynamic range compress) 기능 중 적어도 하나의 기능의 구동을 제한할 수 있다. 예를 들어, 전자 장치(100)가 HDR 모드로 동작하는 경우, 이미지 처리 모듈(140)은 이미지 센서 모듈(120)을 통해 획득한 이미지에 대한 복원 기능 및 다이나믹 레인지 압축 기능 중 적어도 하나의 기능을 수행하도록 제어할 수 있다. 이때, 이미지 처리 모듈(140)은 이미지 센서 모듈(120)의 제 1 픽셀 그룹 또는 제 2 픽셀 그룹으로부터 제공받은 이미지 정보를 이용하여 전자 장치(100)의 촬영 모드(예: 자동 노출(Auto Exposure) 모드 또는 HDR 모드 등)를 인지할 수 있다.
다양한 실시예에 따르면, 전자 장치(100)는 촬영 환경 또는 피사체에 따라 다이나믹 레인지의 조절을 다양하게 처리할 수 있다. 한 실시 예에 따르면, 전자 장치(100)는, 노출량이 일정 이상인 픽셀(예: 노출 과다 픽셀) 또는 노출량이 일정 이하인 픽셀(예: 노출 부족 픽셀)을 적정 노출로 촬영되도록 조정할 수 있는 복수의 값들을 산출할 수 있다. 예컨대, 전자 장치(100)는, 상기 복수의 값들 중 하나의 값을 노출 기준 값으로 결정할 수 있다. 한 실시 예에 따르면, 전자 장치(100)는, 상기 복수의 값들 중 적어도 일부를 이용하여 산출한 값을 노출 기준 값으로 결정할 수 있다.
한 실시 예에 따르면, 전자 장치(100)는, 이미지 센서 모듈(120)의 촬영 범위(예: 화각)내에서 이미지 센서 모듈(120)과 일정 거리 이상 떨어진 피사체만 위치하는 것으로 판단되면, 노출량이 일정 이상인 픽셀(예: 노출 과다 픽셀)을 적정 노출로 조정할 수 있는 값을 산출하여 이를 노출 기준 값으로 결정할 수 있다. 또한 예를 들면, 전자 장치(100)는, 이미지 센서 모듈(120)의 촬영 범위(예: 화각)내에서 이미지 센서 모듈(120)와 일정 거리 이하에 피사체가 위치하는 것으로 판단되면 상기 일정 거리 이하에 위치하는 피사체가 적정 노출로 촬영되도록 조정할 수 있는 값을 산출하여 이를 노출 기준 값으로 결정할 수 있다.
메모리(150)는 전자장치(100)에 포함되는 하나 이상의 구성 요소(이미지 센서 모듈(120), 프로세서(130), 이미지 처리 모듈(140), 입력 모듈(160), 표시 모듈(170))로부터 수신되거나 하나 이상의 구성 요소에 의해 생성된 명령 또는 데이터를 저장할 수 있다.
메모리(150)는 전자 장치(100)의 서비스를 위해 프로세서(130) 및 이미지 처리 모듈(140) 중 적어도 하나에서 실행되는 하나 이상의 프로그램을 저장할 수 있다.
입력 모듈(입력 인터페이스)(160)은 사용자의 선택에 의해 발생하는 명령 또는 데이터를 버스(110)를 통해 프로세서(130), 이미지 처리 모듈(140) 및 메모리(150) 중 적어도 하나로 전송할 수 있다. 예를 들어, 입력 모듈(160)은 적어도 하나의 하드웨어 버튼을 포함하는 키패드, 터치 정보를 감지하는 터치 센서 중 하나 이상을 포함할 수 있다.
표시 모듈(170)은 정지 영상, 동영상 또는 텍스트 등의 데이터를 표시할 수 있다. 예를 들어, 표시 모듈(170)은 프로세서(130)에 의해 구동되는 응용프로그램 정보를 표시할 수 있다. 다른 예를 들어, 표시 모듈(170)은 이미지 센서 모듈(120)을 통해 촬영(캡쳐)되어 이미지 처리 모듈(140)에서 이미지 처리된 이미지를 표시할 수 있다.
전자 장치(100)는 적어도 하나의 다른 전자장치 또는 서버 또는 적어도 하나의 주변 기기와 전자 장치(100) 간의 통신을 연결하는 통신 모듈(통신 인터페이스)(미 도시)을 더 포함할 수 있다. 예를 들어, 통신 모듈(통신 인터페이스)은 무선 통신 또는 유선 통신을 통해서 네트워크 에 연결되어 외부 장치와 통신할 수 있다. 무선 통신은, 예를 들어, Wifi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), 위성 통신(예: GPS(global positioning system)) 또는 셀룰라 통신(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등) 중 적어도 하나를 포함할 수 있다. 유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
한 실시 예에 따르면, 네트워크는 통신 네트워크(telecommunications network)일 수 있다. 통신 네트워크 는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things) 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다. 한 실시 예에 따르면, 전자 장치(100)와 외부 장치 간의 통신을 위한 프로토콜(예: transport layer protocol, data link layer protocol 또는 physical layer protocol)은 어플리케이션, 어플리케이션 프로그래밍 인터페이스, 미들웨어, 커널 또는 통신 모듈(통신 인터페이스) 중 적어도 하나에서 지원될 수 있다.
다른 전자장치는 예를 들면, 전자 장치(100)의 주변 기기로 전자 장치(100)와 동일한 타입의 장치이거나 또는 다른 타입의 장치를 포함할 수 있다.
상술한 실시 예에서 이미지 센서 모듈(120)은 전자 장치(100)의 일부에 포함되는 것으로 도시되어 있지만, 이미지 센서 모듈(120)은 전자 장치(100)의 외부에서, 다양한 인터페이스를 통해 유선 또는 무선으로 전자 장치(120)와 연결될 수 있다.
상술한 실시 예에서 이미지 처리 모듈(140)은 하나의 모듈 내에서 이미지 획득 및 이미지 획득을 위한 픽셀들의 노출을 제어할 수 있다. 또한 예컨대, 이미지 처리 모듈(140)의 적어도 일부의 기능은 프로세서(130) 또는 이미지 센서 모듈(120)에서 수행될 수 있다. 한 실시 예에 따르면, 이미지 처리 모듈(140)은 이미지 획득 및 이미지 획득을 위한 픽셀들의 노출을 제어하기 위한 별개의 하드웨어, 소프트웨어 또는 펌웨어 모듈들 또는 이들의 조합을 포함할 수 있다.
도 2는 본 개시의 실시 예에 따른 이미지 처리 모듈에 대한 상세 블록도를 도시하고 있다.
도 2를 참조하면 이미지 처리 모듈(140)은 노출 제어 모듈(200), 이미지 생성 모듈(210)을 포함할 수 있다. 상기 각 모듈은, 하드웨어, 소프트웨어, 또는 펌웨어 또는 이들의 조합을 포함할 수 있다. 예를 들어, 각 모듈이 소프트웨어로 구현되는 경우, 각 모듈은 하나 이상의 프로세서(예를 들어, 이미지 처리 프로세서 또는 어플리케이션 프로세서 또는 이들의 조합)에 의하여 기능적으로 제공될 수 있다.
노출 제어 모듈(200)은 이미지 센서 모듈(120)의 픽셀들의 그룹들 중 적어도 하나의 픽셀 그룹에 포함되는 픽셀에 대한 노출량(예: 노출 시간)을 제어할 수 있다. 예를 들어, 노출 제어 모듈(200)은 이미지 센서 모듈(120)을 통해 획득한 이미지의 적어도 일부에 대한 밝기 분포를 이용하여 노출 기준 값을 설정할 수 있다. 노출 제어 모듈(200)은 노출 기준 값을 기준으로 적어도 하나의 장노출 픽셀을 포함하는 제 1 픽셀 그룹과 적어도 하나의 단노출 픽셀을 포함하는 제 2 픽셀 그룹의 노출 량(예: 노출 시간)을 결정할 수 있다. 노출 제어 모듈(200)은 이미지의 적어도 일부에 대한 밝기 분포에 전자 장치(100)의 위치에 대응하는 가중치, 역광의 정도, 색상(color), 얼굴 인식 정보(face detection auto exposure) 중 적어도 하나를 추가적으로 이용하여 노출 기준 값을 설정할 수 있다.
노출 제어 모듈(200)은 이미지 센서 모듈(120)을 통해 획득한 이미지의 밝기 값에 기반하여 제 1 픽셀 그룹 또는 제 2 픽셀 그룹에 포함되는 각각의 픽셀에 대한 노출량(예: 노출 시간)을 조절하는 경우, 노출량이 정해진 값 이상인 픽셀(예: 포화 픽셀)의 비율 또는 개수에 기반하여 픽셀의 노출량을 조정하기 위한 노출 조정 값을 동적으로 설정할 수 있다. 예를 들어, 노출 제어 모듈(200)은 포화 픽셀의 비율이 높을수록 노출 조정 값을 크게 설정할 수 있다.
이미지 생성 모듈(210)은 이미지 센서 모듈(120)의 적어도 하나의 단노출 픽셀과 적어도 하나의 장노출 픽셀을 통해 획득한 이미지 정보들을 결합하여 하나의 이미지(예: HDR(High Dynamic Range) 이미지)를 획득할 수 있다. 예를 들어, 이미지 생성 모듈(210)은 적어도 하나의 단노출 픽셀을 통해 획득한 제 1 이미지 정보와 적어도 하나의 장노출 픽셀을 통해 획득한 제 2 이미지 정보에 대한 보간법(interpolation)을 수행하여 하나의 이미지(예: HDR(High Dynamic Range) 이미지)를 획득할 수 있다.
이미지 생성 모듈(210)은 전자 장치(100)의 촬영 모드에 기반하여 이미지를 처리하기 위한 기능을 동적으로 제어할 수 있다. 예를 들어, 이미지 생성 모듈(210)은 전자 장치(100)의 촬영 모드에 기반하여 이미지 센서 모듈(120)을 통해 획득한 이미지에 대한 복원 기능 및 다이나믹 레인지 압축 기능 중 적어도 하나의 기능을 동적으로 제한할 수 있다.
이미지 처리 모듈(140)은 표시 모듈(170)에 그래픽으로 사용자 인터페이스를 제공하도록 제어할 수 있다 표시 제어 모듈(220)을 더 포함할 수 있다. 예를 들어, 표시 제어 모듈(220)은 이미지 생성 모듈(210)을 통해 생성한 다이나믹 레인지가 조절된 이미지(예: HDR 이미지)를 표시하도록 표시 모듈(150)을 제어할 수 있다.
상술한 실시 예에서 전자 장치(100)는 프로세서(130)과 별도의 이미지 처리 모듈(140)을 이용하여 이미지 획득 및 이미지 획득을 위한 픽셀들의 노출을 제어할 수 있다.
다른 실시 예에서 전자 장치(100)는 프로세서(130)를 이용하여 이미지 획득 및 이미지 획득을 위한 픽셀들의 노출을 제어할 수 있다.
도 3은 본 개시의 실시 예에 따른 전자 장치의 상세 블록도를 도시하고 있다.
도 3을 참조하면 전자 장치(100)는 이미지 센서 모듈(120), 컴패니언 칩(Companion chip)(300) 및 프로세서(예: Application Processor)(130)를 포함할 수 있다.
이미지 센서 모듈(120)은 피사체에 대한 촬영을 통해 이미지를 획득할 수 있다. 예를 들어, 이미지 센서 모듈(120)은 동적 범위 보정 기능을 구현하기 위해 서로 다른 노출 량을 갖는 적어도 두 개의 그룹으로 구분되는 픽셀들을 포함할 수 있다.
컴패니언 칩(300)은 이미지 센서 모듈(120)로부터 제공받은 이미지 정보(예: 로우 데이터(raw data))에 대한 제 1 이미지 처리를 수행할 수 있다. 예를 들어, 컴패니언 칩(300)은 이미지 센서 모듈(120)로부터 제공받은 이미지 정보에 대한 BPC(Bad Pixel Correction), 복원 기능(Recon: Reconstruction) 및 다이나믹 레인지 압축 기능(DRC: Dynamic Range Compress) 중 적어도 하나의 처리를 수행할 수 있다. 예컨대, 컴패니언 칩(300)은 복원 기능을 통해 적어도 하나의 단노출 픽셀을 통해 획득한 제 1 이미지 정보와 적어도 하나의 장노출 픽셀을 통해 획득한 제 2 이미지 정보를 하나의 이미지로 합성할 수 있다.
프로세서(130)는 이미지 처리 및 이미지 획득을 위한 노출 제어를 위한 이미지 프로세서(ISP: Image Signal Processor)(310)를 포함할 수 있다.
이미지 프로세서(310)는 이미지 센서 모듈(120)의 픽셀들의 그룹들 중 적어도 하나의 픽셀 그룹에 포함되는 픽셀에 대한 노출량(예: 노출 시간)을 결정할 수 있다. 예를 들어, 이미지 프로세서(310)는 이미지 센서 모듈(120)을 통해 획득한 이미지의 적어도 일부에 대한 밝기 분포를 이용하여 노출 기준 값을 설정할 수 있다. 이미지 프로세서(310)는 노출 기준 값을 기준으로 적어도 하나의 장노출 픽셀을 포함하는 제 1 픽셀 그룹과 적어도 하나의 단노출 픽셀을 포함하는 제 2 픽셀 그룹의 노출 량(예: 노출 시간)을 결정할 수 있다. 이미지 프로세서(310)는 이미지의 적어도 일부에 대한 밝기 분포에 전자 장치(100)의 위치에 대응하는 가중치, 역광의 정도, 색상(color), 얼굴 인식 정보(face detection auto exposure) 중 적어도 하나를 추가적으로 이용하여 노출 기준 값을 설정할 수 있다.
이미지 프로세서(310)는 이미지 센서 모듈(120)을 통해 획득한 이미지의 적어도 일부에 대한 밝기 분포에 기반하여 제 1 픽셀 그룹 또는 제 2 픽셀 그룹에 포함되는 각각의 픽셀에 대한 노출량(예: 노출 시간)을 조절하는 경우, 노출량이 정해진 값 이상인 픽셀(예: 포화 픽셀)의 비율 또는 개수에 기반하여 픽셀의 노출량을 조정하기 위한 노출 조정 값을 동적으로 설정할 수 있다. 예를 들어, 이미지 프로세서(310)는 포화 픽셀의 비율이 높을수록 노출 조정 값을 크게 설정할 수 있다.
이미지 프로세서(310)는 컴패니언 칩(300)으로부터 제공받은 이미지에 대한 이미지 처리를 수행할 수 있다. 예를 들어, 이미지 프로세서(310)는 컴패니언 칩(300)에서 처리한 제 1 이미지 처리를 제외한 나머지 이미지 처리를 수행할 수 있다.
이미지 프로세서(310)는 전자 장치(100)의 촬영 모드에 기반하여 컴패니언 칩(300)에서의 이미지를 처리하기 위한 기능을 동적으로 제어할 수 있다. 예를 들어, 이미지 프로세서(310)는 전자 장치(100)의 촬영 모드에 기반하여 이미지 센서 모듈(120)을 통해 획득한 이미지에 대한 컴패니언 칩(300)에서의 복원 기능 및 다이나믹 레인지 압축 기능 중 적어도 하나의 기능을 동적으로 제한할 수 있다.
본 개시의 실시 예에 따르면, 전자 장치는, 픽셀들의 배열을 포함하며, 상기 픽셀들의 배열로부터 이미지 데이터를 획득하는 이미지 센서와 상기 이미지 데이터를 처리하는 적어도 하나의 프로세서를 포함하며, 상기 픽셀들의 배열은, 제 1 노출량을 갖도록 구성된 제 1 복수개의 픽셀들 (a first plurality of pixels), 및 제 2 노출량을 갖도록 구성된 제 2 복수개의 픽셀들 (a second plurality of pixels)을 포함하며, 상기 프로세서는, 상기 이미지 센서를 이용하여 제 1 이미지를 획득하고, 상기 제 1 이미지의 정보에 기반하여 노출 기준 값을 설정하고, 상기 노출 기준 값에 기반하여 상기 제 1 노출량 또는 상기 제 2 노출량 중 적어도 하나를 조정하고, 상기 노출량의 조정에 기반하여 상기 이미지 센서를 이용하여 제 2 이미지를 획득할 수 있다.
본 개시의 실시 예에서 상기 프로세서는, 상기 제 1 복수의 픽셀들을 이용하여 제 3 이미지를 획득하고, 동시에, 상기 제 2 복수의 픽셀들을 이용하여 제 4 이미지를 획득하고, 상기 제 3 이미지 및 상기 제 4 이미지를 합성하여 상기 제 2 이미지를 획득할 수 있다.
본 개시의 실시 예에서 상기 제 1 노출량 및 제 2 노출량의 각각은, 상기 제 1 복수의 픽셀들 및 제 2 복수의 픽셀들 각각에 대한 노출 시간을 포함할 수 있다.
본 개시의 실시 예에서 상기 제 2 노출량은, 상기 제 1 노출량 보다 크거나 같게 설정될 수 있다.
본 개시의 실시 예에서 상기 제 1 복수의 픽셀들은, 적어도 하나의 단노출 픽셀(SEP: Short Exposure Pixel)을 포함하고, 상기 제 2 복수의 픽셀들은, 적어도 하나의 장노출 픽셀(LEP: Long Exposure Pixel)을 포함할 수 있다.
본 개시의 실시 예에서 상기 프로세서는, 상기 제 1 이미지의 밝기 값을 기준으로 상기 전자 장치의 위치에 대응하는 가중치, 역광의 정도, 색상(color), 얼굴 인식 정보(face detection auto exposure) 중 적어도 하나를 더 이용하여 상기 노출 기준 값을 설정할 수 있다.
본 개시의 실시 예에서 상기 프로세서는, 상기 노출 기준 값을 포함하는 기준 범위와 상기 제 1 노출량 및 상기 제 2 노출량의 각각을 비교하고, 상기 제 1 노출량 또는 상기 제 2 노출량 중 상기 기준 범위 내에 있지 않는 적어도 하나의 노출량을 조정할 수 있다.
본 개시의 실시 예에서 상기 프로세서는, 상기 제 1 노출량 또는 상기 제 2 노출량 중 상기 기준 범위 내에 있지 않는 적어도 하나의 노출량을 상기 기준 범위의 최대 값으로 조정할 수 있다.
본 개시의 실시 예에서 상기 프로세서는, 상기 제 1 이미지에 기반하여, 상기 제 1 노출량 및 상기 제 2 노출량을 검출할 수 있다.
본 개시의 실시 예에서 상기 프로세서는, 상기 제 1 이미지를 이용하여 상기 이미지 센서에 포함되는 픽셀들의 포화 정도에 기반하여 상기 이미지 센서에 포함되는 픽셀들의 노출량 조절 여부를 결정하고, 상기 이미지 센서에 포함되는 픽셀들의 노출량을 조절하지 않는 것으로 결정한 경우, 상기 제 1 이미지를 획득하는 시점에 상기 제 1 복수의 픽셀들 및 상기 제 2 복수의 픽셀들에 대하여 설정된 노출량들을 각각 상기 제 1 노출량 및 상기 제 2 노출량으로 검출할 수 있다.
본 개시의 실시 예에서 상기 프로세서는, 상기 이미지 센서에 포함되는 픽셀들의 노출량을 조절하는 것으로 결정한 경우, 상기 제 1 이미지를 상기 이미지 센서의 포화 픽셀을 확인하고, 상기 포화 픽셀의 비율 또는 수량에 기반하여 상기 제 1 노출량 또는 상기 제 2 노출량 중 적어도 하나를 조절할 수 있다.
본 개시의 실시 예에서 상기 프로세서는, 상기 포화 픽셀의 비율 또는 수량에 대응하는 가중치를 이용하여 상기 제 1 노출량 또는 상기 제 2 노출량 중 적어도 하나의 노출 조절량을 결정할 수 있다.
상술한 실시 예에서 이미지 센서 모듈(120)은 노출량이 다른 적어도 하나의 장노출 픽셀과 적어도 하나의 단노출 픽셀을 포함할 수 있다. 예를 들어, 장노출 픽셀과 단노출 픽셀은 노출이 진행되는 시간의 길이를 다르게 설정하여 서로 다른 노출량을 갖도록 구성될 수 있다. 예를 들어, 장노출 픽셀과 단노출 픽셀은 광전 변환 효율을 서로 다르게 설정하여 서로 다른 노출량을 갖도록 구성될 수 있다. 예를 들어, 장노출 픽셀과 단노출 픽셀은 조리개를 서로 다르게 설정하여 서로 다른 노출량을 갖도록 구성될 수 있다. 예를 들어, 장노출 픽셀과 단노출 픽셀은 픽셀의 크기를 서로 다르게 설정하여 서로 다른 노출량을 갖도록 구성될 수 있다. 예를 들어, 장노출 픽셀과 단노출 픽셀은 렌즈나 필터를 조정하여 단위 시간당 픽셀로 유입되는 빛의 양을 조절함으로써 서로 다른 노출량을 갖도록 구성될 수 있다.
도 5a 내지 도 5b는 본 개시의 실시 예에 따른 이미지 센서 모듈에 포함되는 픽셀들의 노출 동작과 관련된 그래프들을 도시하고 있다.
도 5a를 참조하는 경우, 적어도 하나의 장노출 픽셀을 포함하는 제 1 픽셀 그룹의 노출 시작 시간(500) 보다 적어도 하나의 단노출 픽셀을 포함하는 제 2 픽셀 그룹의 노출 시작 시간(502)을 늦게 설정하고, 제 1 픽셀 그룹과 제 2 픽셀 그룹의 노출을 동일한 시점에 종료(510)함으로써, 전자 장치(예: 전자 장치(100))는 장노출 픽셀과 단노출 픽셀이 서로 다른 노출량을 갖도록 제어할 수 있다.
도 5b를 참조하는 경우, 적어도 하나의 장노출 픽셀을 포함하는 제 1 픽셀 그룹과 적어도 하나의 단노출 픽셀을 포함하는 제 2 픽셀 그룹의 노출을 동일한 시점에 시작(520)하지만 제 2 픽셀 그룹의 노출 종료 시간(532) 보다 제 1 픽셀 그룹의 노출 종료 시간(534)을 늦게 설정함으로써, 전자 장치(예: 전자 장치(100))는 장노출 픽셀과 단노출 픽셀이 서로 다른 노출량을 갖도록 제어할 수 있다.
도 6a 내지 도 6b는 본 개시의 실시 예에 따른 이미지 센서 모듈에 색상 필터의 특성에 기반한 색상 필터들의 배치를 도시하고 있다.
도 6a를 참조하면 백색광 필터(W)(600)는 적색광(R) 필터(602), 녹색광(G) 필터(604), 청색광(B) 필터(606)와 비교하여 높은 노출량비를 가지며, 적색광(R) 필터(602), 녹색광(G) 필터(604), 청색광(B) 필터(606)의 노출량비는 서로 유사할 수 있다. 따라서, 동일 노출 시간동안 백색광 필터(W)(600)에 상응하게 배치되는 픽셀들은 다른 색상의 필터에 상응하게 배치되는 픽셀들보다 노출량이 높을 수 있다. 이에 따라, 도 6b와 같이 각각의 픽셀에 노출량비가 다른 필터를 배치하여 서로 다른 노출량을 갖는 장노출 픽셀과 단노출 픽셀을 구성할 수 있다.
도 7a 내지 도 7b는 본 개시의 실시 예에 따른 전자 장치에서 다이나믹 레인지를 조절하여 획득한 이미지를 도시하고 있다.
전자 장치(100)가 역광에서 피사체를 촬영하는 경우, 전자 장치(100)는 도 7a와 같이 상대적으로 앞쪽에 위치하는 피사체(710)는 노출 부족으로 어둡게 표시되고, 배경 영역을 노출 과도로 인해 하얗게 표시될 수 있다.
한 실시 예에 따르면, 전자 장치(100)는 상대적으로 많은 노출량을 갖는 적어도 하나의 장노출 픽셀을 이용하여 획득한 제 1 이미지 정보와 상대적으로 적은 노출량을 갖는 적어도 하나의 단노출 픽셀을 이용하여 획득한 제 2 이미지 정보를 이용하여 도 7b와 같이 적정 노출을 갖는 이미지(720)를 획득할 수 있다. 예를 들어, 전자 장치(100)는 적어도 하나의 단노출 픽셀을 통해 획득한 제 1 이미지 정보를 이용하여 노출 과다로 인해 상대적으로 밝게 표시된 적어도 일부 영역을 보정할 수 있다. 전자 장치(100)는 적어도 하나의 장노출 픽셀을 통해 획득한 제 2 이미지 정보를 이용하여 노출 부족으로 인해 상대적으로 어둡게 표시된 적어도 일부 영역을 보정할 수 있다.
한 실시 예에 따르면, 전자 장치(100)는 이미지 센서 모듈(120)을 이용하여 획득한 이미지 정보에 포함된 적어도 하나의 장노출 픽셀에 대응하는 적어도 일부의 이미지 정보와 적어도 하나의 단노출 픽셀에 대응하는 적어도 일부의 이미지 정보를 이용하여 도 7b와 같이 적정 노출을 갖는 이미지(720)를 획득할 수 있다.
상술한 실시 예와 같이 이미지 센서 모듈(120)을 통해 획득한 이미지의 다이나믹 레인지를 조절하는 경우, 전자 장치는 이미지 센서 모듈(120)을 통해 획득한 이미지에 대한 히스토그램(histogram)을 분석하여 이미지의 노출을 보정할 수 있다.
도 8a 내지 도 8c는 본 개시의 실시 예에 따른 다이나믹 레인지의 조절을 위한 히스토그램을 도시하고 있다.
도 8a를 참조하면 전자 장치(100)에서 자동 노출 모드(AE 모드)를 통해 획득한 이미지의 히스토그램은 노출이 과다한 부분(800)과 노출이 부족한 부분(810)이 나타날 수 있다.
전자 장치(100)는 노출이 과다한 부분(800)의 이미지 센서 모듈(120)에 포함되는 적어도 하나의 단노출 픽셀의 노출을 일반 노출보다 짧게 설정하여 도 8b와 같이 노출이 과다한 부분이 완화(802)된 이미지를 획득할 수 있다.
전자 장치(100)는 노출이 부족한 부분(810)의 이미지 센서 모듈(120)에 포함되는 적어도 하나의 장노출 픽셀의 노출을 일반 노출보다 길게 설정하여 도 8c와 같이 노출이 부족한 부분이 완화(812)된 이미지를 획득할 수 있다.
도 9는 본 개시의 실시 예에 따른 전자 장치에서 HDR 이미지를 획득하기 위한 절차를 도시하고 있다.
도 9를 참조하면 전자 장치(100)는 901 동작에서 이미지 센서 모듈(120)을 구성하는 픽셀들 중 상대적으로 많은 노출량을 갖는 적어도 하나의 장노출 픽셀을 포함하는 제 1 픽셀 그룹과 상대적으로 적은 노출량을 갖는 적어도 하나의 단노출 픽셀을 포함하는 제 2 픽셀 그룹을 설정할 수 있다. 예를 들어, 전자 장치(100)는 이미지 센서 모듈(120)에 결상되는 이미지에서 관심 영역을 설정할 수 있다. 전자 장치(100)는 관심 영역에 대한 이미지 센서 모듈(120)에 포함되는 적어도 하나의 장노출 픽셀의 노출 시간을 상대적으로 길게 설정할 수 있다.
이미지 센서 모듈(120)에 포함되는 픽셀들을 서로 다른 노출량을 갖는 적어도 두 개의 그룹들을 설정한 경우, 전자 장치(100)는 903 동작에서 각각의 그룹에 포함되는 적어도 하나의 픽셀을 통해 획득한 이미지 정보들을 결합하여 하나의 이미지(예: HDR 이미지)를 획득할 수 있다. 예를 들어, 전자 장치(100)는 적어도 하나의 단노출 픽셀을 통해 획득한 제 1 이미지 정보와 적어도 하나의 장노출 픽셀을 통해 획득한 제 2 이미지 정보에 대한 보간법(interpolation)을 수행하여 하나의 이미지(예: HDR 이미지)를 획득할 수 있다.
도 10은 본 개시의 실시 예에 따른 전자 장치에서 촬영 모드에 기반하여 픽셀의 노출량을 조절하기 위한 절차를 도시하고 있다.
도 10을 참조하면 도 9의 903 동작에서 적어도 하나의 단노출 픽셀을 통해 획득한 제 1 이미지 정보와 적어도 하나의 장노출 픽셀을 통해 획득한 제 2 이미지 정보를 이용하여 하나의 이미지를 획득한 경우, 전자 장치(100)는 1001 동작에서 전자 장치(100)의 촬영 모드를 확인할 수 있다. 예를 들어, 전자 장치(100)는 적어도 하나의 단노출 픽셀을 통해 획득한 제 1 이미지 정보와 적어도 하나의 장노출 픽셀을 통해 획득한 제 2 이미지 정보를 이용하여 전자 장치(100)가 자동 노출 모드인지 HDR 모드인지 판단할 수 있다.
전자 장치(100)는 1003 동작에서 촬영 모드에 기반하여 이미지를 처리하기 위한 기능을 동적으로 제어할 수 있다. 예를 들어, 전자 장치(100)가 자동 노출 모드로 동작하는 경우, 전자 장치(100)는 이미지에 대한 복원 기능 및 다이나믹 레인지 압축 기능 중 적어도 하나의 기능의 구동을 제한할 수 있다. 예를 들어, 전자 장치(100)가 HDR 모드로 동작하는 경우, 전자 장치는 이미지에 대한 복원 기능 및 다이나믹 레인지 압축 기능 중 적어도 하나의 기능을 수행하도록 제어할 수 있다.
상술한 실시 예에서 전자 장치(100)는 도 9의 903 동작에서 제 1 이미지 정보와 제 2 이미지 정보를 이용하여 하나의 이미지를 획득한 후, 촬영 모드에 기반하여 이미지 처리 기능을 결정할 수 있다.
다른 실시 예에서 전자 장치(100)는 도 9의 903 동작에서 제 1 이미지 정보와 제 2 이미지 정보를 이용하여 하나의 이미지를 획득하기 이전에 촬영 모드에 기반하여 이미지 처리 기능을 결정할 수도 있다.
도 11은 본 개시의 실시 예에 따른 전자 장치에서 노출 기준 값에 기반하여 픽셀들의 노출량을 결정하기 위한 절차를 도시하고 있다.
도 11을 참조하면 도 9의 901 동작에서 이미지 센서 모듈(120)의 픽셀들을 노출량이 다른 적어도 두 개의 그룹들로 구분한 경우, 전자 장치(100)는, 예를 들면, 1101 동작에서 제 1 픽셀 그룹 또는 제 2 픽셀 그룹 각각에 포함되는 적어도 하나의 픽셀에 대한 노출 량을 검출할 수 있다. 예를 들어, 전자 장치(100)는 이미지 센서 모듈(120)을 통해 획득한 이미지의 적어도 일부에 대한 밝기 분포가 노출 조절 조건을 만족하도록 제 1 픽셀 그룹과 제 2 픽셀 그룹에 포함되는 각각의 픽셀에 대한 임시 노출량(예: 노출 시간)을 결정할 수 있다. 한 실시 예에 따르면, 전자 장치(100)는 이미지 센서 모듈(120)을 통해 획득한 이미지 관련 정보의 통계적인 데이터(예: 평균 밝기값)가 노출 조절 조건(예: 노출량이 정해진 값 이상인 픽셀의 비율)을 만족하도록 제 1 픽셀 그룹과 제 2 픽셀 그룹에 포함되는 각각의 픽셀에 대한 임시 노출량(예: 노출 시간)을 결정할 수 있다. 임시 노출량은 노출 기준 값에 기반하여 픽셀들 노출량을 결정하는데 기준이 되는 노출량을 나타낼 수 있다.
전자 장치(100)는, 예를 들면, 1103 동작에서 이미지 센서 모듈(120)을 통해 획득한 이미지의 적어도 일부에 대한 밝기 분포를 이용하여 노출 기준 값을 설정할 수 있다. 한 실시 예에 따르면, 전자 장치(100)는 1103 동작에서 이미지 센서 모듈(120)을 통해 획득한 이미지 관련 정보의 통계적인 데이터(예: 평균 밝기 값)를 이용하여 노출 기준 값을 설정할 수 있다. 추가적으로 또는 대체적으로, 전자 장치(100)는 전자 장치(100)의 위치에 대응하는 가중치, 역광의 정도, 색상(color), 얼굴 인식 정보(face detection auto exposure) 중 적어도 하나를 추가적으로 이용하여 노출 기준 값을 설정할 수 있다.
노출 기준 값을 설정한 경우, 전자 장치(100)는 1105 동작에서 노출 기준 값에 기반하여 제 1 픽셀 그룹 또는 제 2 픽셀 그룹에 포함되는 적어도 하나의 픽셀에 대한 노출량(예: 노출 시간)을 결정할 수 있다. 예컨대, 전자 장치(100)는 노출 기준 값에 기반하여 1101 동작에서 검출한 제 1 픽셀 그룹 또는 제 2 픽셀 그룹에 포함되는 적어도 하나의 픽셀에 대한 노출량(예: 노출 시간)을 보정할 수 있다. 예를 들어, 제 1 픽셀 그룹과 제 2 픽셀 그룹 중 적어도 하나의 픽셀 그룹에 포함되는 픽셀의 임시 노출량이 노출 기준 값을 기준으로 설정된 기준 범위 내에 포함되는 경우, 전자 장치(100)는 해당 그룹의 노출량을 임시 노출량(1101 동작에서 결정)으로 결정할 수 있다. 예를 들어, 제 1 픽셀 그룹과 제 2 픽셀 그룹 중 적어도 하나의 픽셀 그룹에 포함되는 픽셀의 임시 노출량(1101 동작에서 결정)이 노출 기준 값을 기준으로 설정된 기준 범위를 벗어난 경우, 전자 장치(100)는 노출 기준 값에 의해 설정된 기준 범위의 최대 노출량을 해당 그룹의 노출량으로 결정할 수 있다
1105 동작에서 제 1 픽셀 그룹 및 제 2 픽셀 그룹에 포함되는 적어도 하나의 픽셀에 대한 노출량(예: 노출 시간)을 결정한 경우, 전자 장치(100)는 도 9의 903 동작에서 제 1 픽셀 그룹 및 제 2 픽셀 그룹의 노출량에 기반하여 적어도 하나의 단노출 픽셀을 통해 획득한 제 1 이미지 정보와 적어도 하나의 장노출 픽셀을 통해 획득한 제 2 이미지 정보를 이용하여 하나의 이미지를 획득할 수 있다.
도 12a 내지 도 12d는 본 개시의 실시 예에 따른 전자 장치에서 픽셀들의 노출량에 기반하여 촬영된 이미지를 도시하고 있다.
예를 들면, 이미지의 히스토그램을 분석하여 도 12a와 같이 단노출 픽셀(SEP)(1200)을 기준으로 픽셀들의 노출량(예: 노출시간)(1200, 1210)을 설정하는 경우, 전자 장치(100)는 도 12b와 같이 하여 밝은 부분(1222)은 포화되지 않았으나, 어두운 부분(1224)은 노출이 부족하여 어둡게 표시되는 제 1 이미지(1220)를 획득할 수 있다. 예를 들어, 단노출 픽셀의 적정 노출시간이 1/128초이고, 장노출 픽셀의 적정 노출시간이 1초라고 가정하며, 단노출과 장노출의 최대 노출 비가 1:16으로 제한되는 경우, 전자 장치(100)는 단노출 픽셀의 노출시간(예: 1/128초)을 기준으로 장노출 픽셀의 노출시간은 1/8초로 결정할 수 있다. 이 경우, 장노출 픽셀의 적정 노출시간이 1초이지만, 최대 노출 비에 의해 장노출 픽셀의 노출 시간이 1/8초로 결정되므로 어두운 부분(1224)은 노출이 부족하여 어둡게 표시되는 제 1 이미지(1220)을 획득할 수 있다.
도 12c와 같이 노출 기준 값(1230)을 기준으로 픽셀들의 노출량(예: 노출시간을 설정한 경우, 전자 장치(100)는 도 12d와 같이 밝은 부분(1242)의 픽셀이 도 12b의 밝은 부분(1222)의 픽셀보다 포화되었지만, 피사체(예: 어두운 부분(1244))의 픽셀이 도 12b의 어두운 부분(1224)의 픽셀보다 적정한 노출을 제공하는 제 2 이미지(1240)를 획득할 수 있다. 예컨대, 노출 기준 값(1230)을 기준으로 픽셀들의 노출량을 결정하는 경우, 전자 장치(100)는 제 1 픽셀 그룹과 제 2 픽셀 그룹 중 적어도 하나의 픽셀 그룹에 포함되는 픽셀의 임시 노출량(예: 1200 또는 1210)이 노출 기준 값(1230)을 기준으로 설정된 기준 범위(1232 ~ 1234) 내에 포함되는 경우, 전자 장치(100)는 해당 그룹의 노출량을 임시 노출량(1101 동작에서 결정)으로 결정할 수 있다. 전자 장치(100)는 제 1 픽셀 그룹과 제 2 픽셀 그룹 중 적어도 하나의 픽셀 그룹에 포함되는 픽셀의 임시 노출량(예: 1200 또는 1210)이 노출 기준 값(1230)을 기준으로 설정된 기준 범위(1232 ~ 1234)를 벗어난 경우, 전자 장치(100)는 노출 기준 값에 의해 설정된 기준 범위의 최대 노출량(1232 또는 1234)을 해당 그룹의 노출량으로 결정할 수 있다
도 13은 본 개시의 실시 예에 따른 전자 장치에서 노출량을 조절하기 위한 절차를 도시하고 있다. 이하 설명은 도 14a 내지 도 14b에 도시된 노출량 조절과 관련된 그래프들을 이용하여 노출량을 조절하기 위한 특징에 대해 설명할 수 있다.
도 13을 참조하면 도 9의 901 동작에서 이미지 센서 모듈(120)의 픽셀들을 노출량이 다른 적어도 두 개의 그룹들로 구분한 경우, 전자 장치(100)는 1301 동작에서 이미지 센서 모듈(120)을 통해 이미지를 획득할 수 있다.
전자 장치(100)는 1303 동작에서 이미지 센서 모듈(120)에 포함되는 픽셀들의 노출량을 조절할 것인지 결정할 수 있다. 예를 들어, 전자 장치(100)는 이미지 센서 모듈(120)을 통해 획득한 이미지를 이용하여 이미지 센서 모듈(120)를 구성하는 픽셀들의 노출 과다 정도(예: 노출량이 정해진 값 이상인 픽셀의 비율 또는 개수)에 기반하여 이미지 센서 모듈(120)에 포함되는 픽셀들의 노출량을 조절할 것인지 결정할 수 있다. 예컨대, 전체 픽셀들 중 98%의 픽셀들이 240 코드로 설정되는 노출량 조절 조건을 포함하고, 이미지 센서 모듈(120)에 대한 누적 픽셀 그래프가 도 14a와 같이 노출량 조절 조건을 만족하지 않는 경우, 전자 장치(100)는 이미지 센서 모듈(120)에 포함되는 픽셀들의 노출량을 조절하는 것으로 결정할 수 있다. 어떤 실시 예에 따르면, 전자 장치(100)는 이미지 센서 모듈(120)을 통해 획득한 이미지를 이용하여 이미지 센서 모듈(120)를 구성하는 픽셀들에서 노출량이 부족한 픽셀의 비율 또는 개수에 기반하여 이미지 센서 모듈(120)에 포함되는 픽셀들의 노출량을 조절할 것인지 결정할 수 있다.
1303 동작에서 이미지 센서 모듈(120)에 포함되는 픽셀들의 노출량을 조절하는 것으로 결정한 경우, 전자 장치(100)는 1305 동작에서 이미지 센서 모듈(120)을 통해 획득한 이미지를 이용하여 포화 픽셀(예: 노출량이 정해진 값 이상인 픽셀)을 확인할 수 있다. 여기서, 포화 픽셀은 이미지 센서 모듈(120)을 구성하는 픽셀들 중 전자 장치(100)에서 제공하는 최대 값(예: 255 코드)으로 표시되는 픽셀을 나타낼 수 있다.
전자 장치(100)는 1307 동작에서 포화 픽셀의 비율에 기반하여 노출 조정 값을 결정할 수 있다. 예를 들어, 전자 장치(100)는 <수학식 1>을 이용하여 포화 픽셀의 비율에 기반하여 노출 조정 값을 결정할 수 있다.
Figure 112014017436516-pat00001
여기서, contrl Ev는 다음 프레임에 적용할 노출 값을 나타내고, Evcurrent는 현재 프레임에 적용된 노출 값을 나타내고, △Ev는 노출 조정 값을 나타내고, Lscreen은 이미지 센서 모듈(120)을 통해 획득한 이미지의 휘도(luminance)를 나타내고, Ltarget은 이미지 센서 모듈(120)을 통해 획득한 이미지의 목표 휘도를 나타내고, a는 포화 픽셀 비율에 대응하는 가중치를 나타낼 수 있다. 전자 장치는 <수학식 1>에서 포화 픽셀 비율이 높을수록 가중치(a)를 크게 설정할 수 있다. 예를 들어, 전자 장치는 포화 픽셀의 비율에 대응하는 가중치 테이블을 이용하여 포화 픽셀의 비율에 대응하는 가중치를 결정할 수 있다.
1307 동작에서 포화 픽셀의 비율에 기반하여 노출 조정 값을 결정한 경우, 전자 장치(100)는 1309 동작에서 노출 조정 값에 기반하여 이미지 센서 모듈(120)에 포함되는 픽셀들의 노출량을 제어할 수 있다.
전자 장치는 1301 동작에서 픽셀들의 변경된 노출량에 기반하여 이미지 센서 모듈(120)을 통해 이미지를 획득할 수 있다.
1303 동작에서 이미지 센서 모듈(120)에 포함되는 픽셀들의 노출량을 조절하지 않는 것으로 결정한 경우, 전자 장치(100)는 도 9의 903 동작에서 각각의 그룹에 포함되는 적어도 하나의 픽셀을 통해 획득한 이미지 정보들을 결합하여 하나의 이미지(예: HDR 이미지)를 획득하거나, 도 11의 1103 동작에서 이미지의 적어도 일부에 대한 밝기 분포를 이용하여 노출 기준 값을 설정할 수 있다.
상술한 실시 예와 같이 전자 장치(100)에서 포화 픽셀의 비율에 기반하여 노출 조정 값을 동적으로 제어하는 경우, 전자 장치(100)는 도 14b와 같이 노출 조정 값을 동작으로 제어하기 않는 경우(1401)에 비해 노출 조정 값을 동적으로 제어하는 경우(1403)의 노출 조정 시간이 단축될 수 있다.
본 개시의 실시 예에 따르면, 전자 장치에서 이미지 획득 방법은, 제 1 노출량을 갖는 제 1 복수의 픽셀들 (a first plurality of pixels), 및 제 2 노출량을 갖는 제 2 복수의 픽셀들 (a second plurality of pixels)을 포함하는 이미지 센서를 이용하여 제 1 이미지를 획득하는 동작과 상기 제 1 이미지의 정보에 기반하여 노출 기준 값을 설정하는 동작과 상기 노출 기준 값에 기반하여, 상기 제 1 노출량 또는 상기 제 2 노출량 중 적어도 하나를 조정하는 동작과 상기 노출량의 조정에 기반하여 상기 이미지 센서를 이용하여 제 2 이미지를 획득하는 동작을 포함할 수 있다.
본 개시의 실시 예에서 상기 이미지를 획득하는 동작은, 상기 제 1 복수의 픽셀들을 이용하여 제 3 이미지를 획득하고, 동시에, 상기 제 2 복수의 픽셀들을 이용하여 제 4 이미지를 획득하는 동작과 상기 제 3 이미지 및 상기 제 4 이미지를 합성하여 상기 제 2 이미지를 획득하는 동작을 포함할 수 있다.
본 개시의 실시 예에서 상기 제 1 노출량 및 제 2 노출량의 각각은, 상기 제 1 복수의 픽셀들 및 제 2 복수의 픽셀들 각각에 대한 노출 시간을 포함할 수 있다.
본 개시의 실시 예에서 상기 제 2 노출량은, 상기 제 1 노출량보다 크거나 같게 설정될 수 있다.
본 개시의 실시 예에서 상기 제 1 복수의 픽셀들은, 적어도 하나의 단노출 픽셀(SEP: short exposure pixel)을 포함하고, 상기 제 2 복수의 픽셀들은, 적어도 하나의 장노출 픽셀(LEP: long exposure pixel)을 포함할 수 있다.
본 개시의 실시 예에서 상기 노출 기준 값을 설정하는 동작은, 상기 제 1 이미지의 밝기 값을 기준으로 상기 전자 장치의 위치에 대응하는 가중치, 역광의 정도, 색상(color), 얼굴 인식 정보(face detection auto exposure) 중 적어도 하나를 더 이용하여 상기 노출 기준 값을 설정하는 동작을 포함할 수 있다.
본 개시의 실시 예에서 상기 조정하는 동작은, 상기 노출 기준 값을 포함하는 기준 범위와 상기 제 1 노출량 및 상기 제 2 노출량의 각각을 비교하는 동작과 상기 제 1 노출량 또는 상기 제 2 노출량 중 상기 기준 범위 내에 있지 않는 적어도 하나의 노출량을 조정하는 동작을 포함할 수 있다.
본 개시의 실시 예에서 상기 노출량을 조정하는 동작은, 상기 제 1 노출량 또는 상기 제 2 노출량 중 상기 기준 범위 내에 있지 않는 적어도 하나의 노출량을 상기 기준 범위의 최대 값으로 조정하는 동작을 포함할 수 있다.
본 개시의 실시 예에서 상기 비교하는 동작 이전에 상기 제 1 이미지에 기반하여, 상기 제 1 노출량 및 상기 제 2 노출량을 검출하는 동작을 더 포함할 수 있다.
본 개시의 실시 예에서 상기 검출하는 동작은, 상기 제 1 이미지를 이용하여 상기 이미지 센서에 포함되는 픽셀들의 포화 정도를 확인하는 동작과 상기 포화 정도에 기반하여 상기 이미지 센서에 포함되는 픽셀들의 노출량 조절 여부를 결정하는 동작과 상기 이미지 센서에 포함되는 픽셀들의 노출량을 조절하지 않는 것으로 결정한 경우, 상기 제 1 이미지를 획득하는 시점에 상기 제 1 복수의 픽셀들 및 상기 제 2 복수의 픽셀들에 대하여 설정된 노출량들을 각각 상기 제 1 노출량 및 상기 제 2 노출량으로 검출하는 동작을 포함할 수 있다.
본 개시의 실시 예에서 상기 이미지 센서에 포함되는 픽셀들의 노출량을 조절하는 것으로 결정한 경우, 상기 제 1 이미지를 이용하여 상기 이미지 센서의 포화 픽셀을 확인하는 동작과 상기 포화 픽셀의 비율 또는 수량에 기반하여 상기 제 1 노출량 또는 상기 제 2 노출량 중 적어도 하나를 조절하는 동작을 더 포함할 수 있다.
본 개시의 실시 예에서 상기 조절하는 동작은, 포화 픽셀의 비율 또는 수량에 대응하는 가중치를 이용하여 상기 제 1 노출량 또는 상기 제 2 노출량 중 적어도 하나의 노출 조절량을 결정하는 동작을 포함할 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 전자 장치의 동작 순서가 변경 또는 병합되거나 재사용 가능하며 생략 등과 같이 여러 가지 변형이 가능하다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (24)

  1. 전자 장치에서 이미지 획득 방법에 있어서,
    제 1 노출량을 갖는 제 1 복수의 픽셀들 (a first plurality of pixels), 및 제 2 노출량을 갖는 제 2 복수의 픽셀들 (a second plurality of pixels)을 포함하는 이미지 센서를 이용하여 제 1 이미지를 획득하는 동작;
    상기 제1 이미지의 정보에 기반하여 노출 기준 값을 설정하는 동작;
    상기 노출 기준 값에 기반하여, 상기 제 1 노출량 또는 상기 제 2 노출량을 포함하는 노출량 중 적어도 하나를 조정하는 동작;
    상기 노출 기준 값에 대응하는 기준 범위와 상기 제1 노출량 및 상기 제2 노출량의 각각을 비교하는 동작;
    상기 제1 노출량 또는 상기 제2 노출량 중 상기 기준 범위 내에 있지 않는 적어도 하나의 노출량을 상기 기준 범위의 최대 값으로 조정하는 동작; 및
    상기 노출량의 조정에 기반하여 상기 이미지 센서를 이용하여 제 2 이미지를 획득하는 동작을 포함하는 방법.
  2. 제 1항에 있어서,
    상기 이미지를 획득하는 동작은,
    상기 제 1 복수의 픽셀들을 이용하여 제 3 이미지를 획득하고, 동시에, 상기 제 2 복수의 픽셀들을 이용하여 제 4 이미지를 획득하는 동작; 및
    상기 제 2 이미지 및 상기 제 4 이미지를 합성하여 상기 제 2 이미지를 획득하는 동작을 포함하는 방법.
  3. 제 1항에 있어서,
    상기 제 1 노출량 및 제 2 노출량의 각각은, 상기 제 1 복수의 픽셀들 및 제 2 복수의 픽셀들 각각에 대한 노출 시간을 포함하는 방법.
  4. 제 1항에 있어서,
    상기 제 2 노출량은, 상기 제 1 노출량보다 크거나 같게 설정되는 방법.
  5. 제 1 항에 있어서,
    상기 제 1 복수의 픽셀들은, 적어도 하나의 단노출 픽셀(SEP: short exposure pixel)을 포함하고,
    상기 제 2 복수의 픽셀들은, 적어도 하나의 장노출 픽셀(LEP: long exposure pixel)을 포함하는 방법.
  6. 제 1항에 있어서,
    상기 노출 기준 값을 설정하는 동작은,
    상기 제 1 이미지의 밝기 값을 기준으로 상기 전자 장치의 위치에 대응하는 가중치, 역광의 정도, 색상(color), 얼굴 인식 정보(face detection auto exposure) 중 적어도 하나를 더 이용하여 상기 노출 기준 값을 설정하는 동작을 포함하는 방법.
  7. 삭제
  8. 삭제
  9. 제 1항에 있어서,
    상기 비교하는 동작 이전에 상기 제 1 이미지에 기반하여, 상기 제 1 노출량 및 상기 제 2 노출량을 검출하는 동작을 더 포함하는 방법.
  10. 제 9항에 있어서,
    상기 검출하는 동작은,
    상기 제 1 이미지를 이용하여 상기 이미지 센서에 포함되는 픽셀들의 포화 정도를 확인하는 동작;
    상기 포화 정도에 기반하여 상기 이미지 센서에 포함되는 픽셀들의 노출량 조절 여부를 결정하는 동작;
    상기 이미지 센서에 포함되는 픽셀들의 노출량을 조절하지 않는 것으로 결정한 경우, 상기 제 1 이미지를 획득하는 시점에 상기 제 1 복수의 픽셀들 및 상기 제 2 복수의 픽셀들에 대하여 설정된 노출량들을 각각 상기 제 1 노출량 및 상기 제 2 노출량으로 검출하는 동작을 포함하는 방법.
  11. 제 10항에 있어서,
    상기 이미지 센서에 포함되는 픽셀들의 노출량을 조절하는 것으로 결정한 경우, 상기 제 1 이미지를 이용하여 상기 이미지 센서의 포화 픽셀을 확인하는 동작;
    상기 포화 픽셀의 비율 또는 수량에 기반하여 상기 제 1 노출량 또는 상기 제 2 노출량 중 적어도 하나를 조절하는 동작을 더 포함하는 방법.
  12. 제 11항에 있어서,
    상기 조절하는 동작은,
    포화 픽셀의 비율 또는 수량에 대응하는 가중치를 이용하여 상기 제 1 노출량 또는 상기 제 2 노출량 중 적어도 하나의 노출 조절량을 결정하는 동작을 포함하는 방법.
  13. 전자 장치에 있어서,
    픽셀들의 배열을 포함하며, 상기 픽셀들의 배열로부터 이미지 데이터를 획득하는 이미지 센서; 및
    상기 이미지 데이터를 처리하는 적어도 하나의 프로세서를 포함하며,
    상기 픽셀들의 배열은, 제 1 노출량을 갖도록 구성된 제 1 복수개의 픽셀들 (a first plurality of pixels), 및 제 2 노출량을 갖도록 구성된 제 2 복수개의 픽셀들 (a second plurality of pixels)을 포함하며,
    상기 프로세서는, 상기 이미지 센서를 이용하여 제 1 이미지를 획득하고, 상기 제 1 이미지의 정보에 기반하여 노출 기준 값을 설정하고, 상기 노출 기준 값에 기반하여 상기 제 1 노출량 또는 상기 제 2 노출량 중 적어도 하나를 조정하고, 상기 노출 기준 값에 대응하는 기준 범위와 상기 제1 노출량 및 상기 제2 노출량의 각각을 비교하고, 상기 제1 노출량 또는 상기 제2 노출량 중 상기 기준 범위 내에 있지 않은 적어도 하나의 노출량을 상기 기준 범위의 최대 값으로 조정하고, 상기 노출량의 조정에 기반하여 상기 이미지 센서를 이용하여 제 2 이미지를 획득하는 장치.
  14. 제 13항에 있어서,
    상기 프로세서는, 상기 제 1 복수의 픽셀들을 이용하여 제 3 이미지를 획득하고, 동시에, 상기 제 2 복수의 픽셀들을 이용하여 제 4 이미지를 획득하고, 상기 제 3 이미지 및 상기 제 4 이미지를 합성하여 상기 제 2 이미지를 획득하는 장치.
  15. 제 13항에 있어서,
    상기 제 1 노출량 및 제 2 노출량의 각각은, 상기 제 1 복수의 픽셀들 및 제 2 복수의 픽셀들 각각에 대한 노출 시간을 포함하는 장치.
  16. 제 13항에 있어서,
    상기 제 2 노출량은, 상기 제 1 노출량 보다 크거나 같게 설정되는 장치.
  17. 제 13항에 있어서,
    상기 제 1 복수의 픽셀들은, 적어도 하나의 단노출 픽셀(SEP: Short Exposure Pixel)을 포함하고,
    상기 제 2 복수의 픽셀들은, 적어도 하나의 장노출 픽셀(LEP: Long Exposure Pixel)을 포함하는 장치.
  18. 제 13항에 있어서,
    상기 프로세서는, 상기 제 1 이미지의 밝기 값을 기준으로 상기 전자 장치의 위치에 대응하는 가중치, 역광의 정도, 색상(color), 얼굴 인식 정보(face detection auto exposure) 중 적어도 하나를 더 이용하여 상기 노출 기준 값을 설정하는 장치.
  19. 삭제
  20. 삭제
  21. 제 13 항에 있어서,
    상기 프로세서는, 상기 제 1 이미지에 기반하여, 상기 제 1 노출량 및 상기 제 2 노출량을 검출하는 장치.
  22. 제 21항에 있어서,
    상기 프로세서는, 상기 제 1 이미지를 이용하여 상기 이미지 센서에 포함되는 픽셀들의 포화 정도에 기반하여 상기 이미지 센서에 포함되는 픽셀들의 노출량 조절 여부를 결정하고, 상기 이미지 센서에 포함되는 픽셀들의 노출량을 조절하지 않는 것으로 결정한 경우, 상기 제 1 이미지를 획득하는 시점에 상기 제 1 복수의 픽셀들 및 상기 제 2 복수의 픽셀들에 대하여 설정된 노출량들을 각각 상기 제 1 노출량 및 상기 제 2 노출량으로 검출하는 장치.
  23. 제 22항에 있어서,
    상기 프로세서는, 상기 이미지 센서에 포함되는 픽셀들의 노출량을 조절하는 것으로 결정한 경우, 상기 제 1 이미지를 상기 이미지 센서의 포화 픽셀을 확인하고, 상기 포화 픽셀의 비율 또는 수량에 기반하여 상기 제 1 노출량 또는 상기 제 2 노출량 중 적어도 하나를 조절하는 장치.
  24. 제 23항에 있어서,
    상기 프로세서는, 상기 포화 픽셀의 비율 또는 수량에 대응하는 가중치를 이용하여 상기 제 1 노출량 또는 상기 제 2 노출량 중 적어도 하나의 노출 조절량을 결정하는 장치.
KR1020140020868A 2014-02-21 2014-02-21 이미지를 획득하기 위한 전자 장치 및 방법 KR102149453B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140020868A KR102149453B1 (ko) 2014-02-21 2014-02-21 이미지를 획득하기 위한 전자 장치 및 방법
US14/626,156 US9794529B2 (en) 2014-02-21 2015-02-19 Method for acquiring image and electronic device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140020868A KR102149453B1 (ko) 2014-02-21 2014-02-21 이미지를 획득하기 위한 전자 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150099263A KR20150099263A (ko) 2015-08-31
KR102149453B1 true KR102149453B1 (ko) 2020-08-28

Family

ID=53883466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140020868A KR102149453B1 (ko) 2014-02-21 2014-02-21 이미지를 획득하기 위한 전자 장치 및 방법

Country Status (2)

Country Link
US (1) US9794529B2 (ko)
KR (1) KR102149453B1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012217093A1 (de) * 2012-09-21 2014-04-17 Robert Bosch Gmbh Kamerasystem, insbesondere für ein Fahrzeug, und Verfahren zum Ermitteln von Bildinformationen eines Erfassungsbereichs
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
KR102124598B1 (ko) * 2013-09-30 2020-06-19 삼성전자주식회사 이미지 획득 방법 및 장치
TWI505233B (zh) * 2014-02-20 2015-10-21 Asustek Comp Inc 影像處理方法及影像處理裝置
EP3121637B1 (de) * 2015-07-24 2021-09-01 Leica Instruments (Singapore) Pte. Ltd. Mikroskop und verfahren zum erzeugen eines kombinierten bildes aus mehreren einzelbildern eines objekts
US9848137B2 (en) * 2015-11-24 2017-12-19 Samsung Electronics Co., Ltd. CMOS image sensors having grid array exposure control
JP2017118296A (ja) * 2015-12-24 2017-06-29 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
US10523874B2 (en) * 2016-02-16 2019-12-31 Sony Corporation Image processing apparatus, image processing method, and program
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
US10244180B2 (en) 2016-03-29 2019-03-26 Symbol Technologies, Llc Imaging module and reader for, and method of, expeditiously setting imaging parameters of imagers for imaging targets to be read over a range of working distances
KR102570305B1 (ko) * 2016-05-04 2023-08-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US9646188B1 (en) * 2016-06-02 2017-05-09 Symbol Technologies, Llc Imaging module and reader for, and method of, expeditiously setting imaging parameters of an imager based on the imaging parameters previously set for a default imager
KR20190017303A (ko) * 2017-08-10 2019-02-20 엘지전자 주식회사 이동 단말기
CN107991712B (zh) * 2017-10-25 2024-03-19 深圳市日联科技有限公司 一种基于物联网的人、车、柜分离的纳米波检测系统
US11592536B2 (en) 2018-01-10 2023-02-28 Sony Semiconductor Solutions Corporation Control of image capture
JPWO2020045014A1 (ja) * 2018-08-28 2021-08-12 ソニーグループ株式会社 医療システム、情報処理装置及び情報処理方法
WO2020051305A1 (en) 2018-09-07 2020-03-12 Dolby Laboratories Licensing Corporation Auto exposure of spatially-multiplexed-exposure high-dynamic-range image sensors
KR102574649B1 (ko) * 2018-11-29 2023-09-06 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
KR102585654B1 (ko) 2018-12-07 2023-10-10 삼성전자주식회사 수광 시간이 다른 복수의 픽셀을 이용하여 획득한 데이터의 합성을 통해 이미지를 생성하는 전자 장치 및 방법
US10861885B1 (en) * 2019-05-27 2020-12-08 Novatek Microelectronics Corp. Method of obtaining image data and related image sensing system
US10855931B1 (en) * 2019-11-07 2020-12-01 Novatek Microelectronics Corp. High dynamic range image sensing method for image sensing device
CN110661983B (zh) * 2019-11-12 2021-03-19 腾讯科技（深圳）有限公司 图像采集方法、装置、设备及存储介质
KR20220014150A (ko) * 2020-07-28 2022-02-04 삼성전자주식회사 이미지 센서와 이미지 시그널 프로세서를 포함하는 전자 장치 및 그의 방법
KR102418536B1 (ko) * 2020-09-01 2022-07-08 광주과학기술원 이미지 센서 및 이미지 센서를 사용하는 이미지 인식장치
KR20220131054A (ko) * 2021-03-19 2022-09-27 에스케이하이닉스 주식회사 이미지 처리 장치 및 그 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208138A1 (en) * 2012-02-09 2013-08-15 Aptina Imaging Corporation Imaging systems and methods for generating auto-exposed high-dynamic-range images

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7538801B2 (en) * 2003-09-15 2009-05-26 Micron Technology, Inc. Region-based auto gain control and auto exposure control method and apparatus
US20070285547A1 (en) * 2006-05-30 2007-12-13 Milligan Edward S CMOS image sensor array optimization for both bright and low light conditions
JP2010028596A (ja) * 2008-07-23 2010-02-04 Hitachi Ltd 撮像装置
JP5188453B2 (ja) * 2009-05-25 2013-04-24 パナソニック株式会社 カメラ装置および露光制御方法
KR101643319B1 (ko) 2010-01-11 2016-07-27 삼성전자주식회사 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images
US20150009355A1 (en) * 2013-07-05 2015-01-08 Himax Imaging Limited Motion adaptive cmos imaging system
US9578223B2 (en) * 2013-08-21 2017-02-21 Qualcomm Incorporated System and method for capturing images with multiple image sensing elements
US9432647B2 (en) * 2013-09-09 2016-08-30 Apple Inc. Adaptive auto exposure and dynamic range compensation
JP2015122706A (ja) * 2013-12-25 2015-07-02 ソニー株式会社 制御装置、制御方法および制御システム
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
US9357127B2 (en) * 2014-03-18 2016-05-31 Google Technology Holdings LLC System for auto-HDR capture decision making

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208138A1 (en) * 2012-02-09 2013-08-15 Aptina Imaging Corporation Imaging systems and methods for generating auto-exposed high-dynamic-range images

Also Published As

Publication number Publication date
KR20150099263A (ko) 2015-08-31
US9794529B2 (en) 2017-10-17
US20150244923A1 (en) 2015-08-27

Similar Documents

Publication Publication Date Title
KR102149453B1 (ko) 이미지를 획득하기 위한 전자 장치 및 방법
KR102149187B1 (ko) 전자 장치와, 그의 제어 방법
US9357127B2 (en) System for auto-HDR capture decision making
EP3270583B1 (en) Electronic device having camera module, and image processing method for electronic device
KR102570305B1 (ko) 전자 장치 및 그 제어 방법
US9986171B2 (en) Method and apparatus for dual exposure settings using a pixel array
JP6924901B2 (ja) 写真撮影方法および電子装置
CN112449120B (zh) 高动态范围视频生成方法及装置
US20130208138A1 (en) Imaging systems and methods for generating auto-exposed high-dynamic-range images
KR102124598B1 (ko) 이미지 획득 방법 및 장치
KR20160016068A (ko) 이미지 생성 방법 및 그 전자 장치
US11563889B2 (en) Electronic device and method for controlling camera using external electronic device
KR102207633B1 (ko) 촬영 장치 및 그 제어 방법
CN107147851B (zh) 照片处理方法、装置、计算机可读存储介质及电子设备
CN109547699A (zh) 一种拍照的方法及装置
US10009545B2 (en) Image processing apparatus and method of operating the same
US10033939B2 (en) Method and apparatus for automatic stage scene detection
TW201525942A (zh) 影像處理方法及影像處理裝置
CN107809585A (zh) 视频拍摄方法、终端和计算机可读存储介质
US10742862B2 (en) Information processing device, information processing method, and information processing system
CN115278046A (zh) 拍摄方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant