KR20150099302A - 전자 장치와, 그의 제어 방법 - Google Patents

전자 장치와, 그의 제어 방법 Download PDF

Info

Publication number
KR20150099302A
KR20150099302A KR1020140020912A KR20140020912A KR20150099302A KR 20150099302 A KR20150099302 A KR 20150099302A KR 1020140020912 A KR1020140020912 A KR 1020140020912A KR 20140020912 A KR20140020912 A KR 20140020912A KR 20150099302 A KR20150099302 A KR 20150099302A
Authority
KR
South Korea
Prior art keywords
pixels
exposure time
image data
image
exposure
Prior art date
Application number
KR1020140020912A
Other languages
English (en)
Other versions
KR102149187B1 (ko
Inventor
강화영
윤영권
이종협
김문수
김태호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140020912A priority Critical patent/KR102149187B1/ko
Priority to US14/450,604 priority patent/US9451173B2/en
Priority to CN201510068318.8A priority patent/CN104869320B/zh
Publication of KR20150099302A publication Critical patent/KR20150099302A/ko
Application granted granted Critical
Publication of KR102149187B1 publication Critical patent/KR102149187B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 개시의 다양한 실시 예들 중 하나의 실시 예에 따른 전자 장치의 동작을 제어하는 제어 방법은, 서로 동일한 노출시간을 가지도록 구성된 제 1 복수개의 픽셀들 (a first plurality of pixels), 및 서로 동일한 노출시간을 가지도록 구성된 제 2 복수개의 픽셀들(a second plurality of pixels)을 포함하는, 이미지 센서를 이용하여 이미지 데이터를 획득하는 동작을 포함하며, 상기 이미지 데이터를 획득하는 동작은, 상기 제1 복수개의 픽셀들이 상기 제2 복수개의 픽셀들과 동일한 노출 시간을 갖는 상태에서, 상기 제1 복수개의 픽셀들 및 상기 제2 복수개의 픽셀들을 이용하여 이미지 데이터를 획득하는 동작; 및 상기 획득된 이미지 데이터에 적어도 일부에 기초하여, 상기 제1 복수개의 픽셀들이 상기 제2 복수개의 픽셀들과 상이한 노출 시간을 갖도록 상기 이미지 센서를 제어하는 동작을 포함할 수 있다. 이에 따라 동일 피사체에 대해 다이나믹 레인지를 확장시킨 이미지를 얻을 수 있다.

Description

전자 장치와, 그의 제어 방법{ELECTRONIC DEVICE AND CONTROL METHOD OF THE SAME}
본 개시는 전자 장치에 관한 것이며, 특히, 전자장치를 이용하여 고 다이나믹 레인지(high dynamic range: HDR) 이미지를 처리하는 방법에 관한 것이다.
이미지의 다이나믹 레인지(dynamic range)란 이미지에서 어두운 부분에서 밝은 부분까지의 휘도를 표현할 수 있는 범위로, 가장 밝은 픽셀값과 가장 어두운 픽셀값의 비율로 정의된다. 다이나믹 레인지를 조절하는 과정은 이미지의 휘도 등 밝기를 나타내는 픽셀값을 조정함으로써 이루어진다. 이와 같이 이미지 센서에서 출력된 이미지의 다이나믹 레인지를 향상시킴으로써 화질을 개선하는 기술을 고 다이나믹 레인지(이하, HDR) 방식이라 한다.
이러한 HDR 방식은, 동일 피사체를 2회 이상 촬영하여 서로 다른 노출을 갖는 이미지들을 얻은 후, 이러한 이미지들을 합성함으로써 다이나믹 레인지를 확장하는 방식이다. 이때, 노출량을 다르게 하거나 셔터 속도를 다르게 하여 노출이 서로 다른 2장의 이미지를 얻을 수 있으며, 이러한 이미지들을 합성하고 보정함으로써 HDR 이미지가 획득될 수 있다.
이러한 HDR 이미지는 서로 다른 노출을 갖는 복수의 이미지들을 합성하고 보정을 통해 획득되는 것이므로, 복수의 이미지들을 촬영하고 이들을 합성하는 데 있어 일정 시간이 소요될 수 있다.
본 개시의 다양한 실시 예에서는, 동적 환경에서 고 다이나믹 레인지를 갖는 이미지를 생성하기 위한 전자 센서 및 그의 제어 방법을 제공할 수 있다.
또한 본 개시의 다양한 실시 예에서는, 장노출 픽셀과 단노출 픽셀의 조합을 통해 획득되는 이미지를 실시간으로 처리하기 위한 전자 센서 및 그의 제어 방법을 제공할 수 있다.
또한 본 개시의 다양한 실시 예에서는, 노출 과다 영역과 노출 부족 영역의 보정을 통해 실시간으로 고화질의 이미지를 생성하기 위한 전자 센서 및 그의 제어 방법을 제공할 수 있다.
또한 본 개시의 다양한 실시 예에서는, 자동 노출 모드와 고 다이나믹 레인지 모드 간 전환을 자동으로 수행하기 위한 전자 센서 및 그의 제어 방법을 제공할 수 있다.
본 개시의 다양한 실시 예에 따른 전자 장치는, 픽셀들의 어레이 (an array of pixels)를 포함하며, 상기 어레이로부터 이미지 데이터를 획득하도록 구성된 이미지 센서; 및 상기 이미지 데이터를 처리하도록 구성된 적어도 하나의 프로세서를 포함하며, 상기 어레이는, 서로 동일한 노출시간을 가지도록 구성된 제 1 복수개의 픽셀들 (a first plurality of pixels), 및 서로 동일한 노출시간을 가지도록 구성된 제 2 복수개의 픽셀들 (a second plurality of pixels)을 포함하며, 상기 제 1 복수개의 픽셀들은, 상기 제 2 복수개의 픽셀들과 동일하거나 상이한 노출 시간을 가질 수 있도록 구성되고, 상기 적어도 하나의 프로세서는, 상기 이미지 데이터에 적어도 일부 기초하여, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 동일한 노출 시간을 갖는 상태에서, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖는 상태로 변경하거나, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖는 상태에서, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 동일한 노출 시간을 갖는 상태로 변경하도록 상기 이미지 센서를 제어(control)하도록 구성될 수 있다.
또한 본 개시의 다양한 실시 예에 따른 전자 장치의 동작을 제어하는 제어 방법은, 서로 동일한 노출시간을 가지도록 구성된 제 1 복수개의 픽셀들 (a first plurality of pixels), 및 서로 동일한 노출시간을 가지도록 구성된 제 2 복수개의 픽셀들(a second plurality of pixels)을 포함하는, 이미지 센서를 이용하여 이미지 데이터를 획득하는 동작을 포함하며, 상기 이미지 데이터를 획득하는 동작은, 상기 제1 복수개의 픽셀들이 상기 제2 복수개의 픽셀들과 동일한 노출 시간을 갖는 상태에서, 상기 제1 복수개의 픽셀들 및 상기 제2 복수개의 픽셀들을 이용하여 이미지 데이터를 획득하는 동작; 및 상기 획득된 이미지 데이터에 적어도 일부에 기초하여, 상기 제1 복수개의 픽셀들이 상기 제2 복수개의 픽셀들과 상이한 노출 시간을 갖도록 상기 이미지 센서를 제어하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 촬영하고자 하는 이미지에서의 장노출 픽셀과 단노출 픽셀의 노출 시간 간의 비율을 비교한 결과를 바탕으로 자동 노출 모드와 고 다이나믹 레인지 모드를 선택적으로 수행하여, 실시간으로 고품질 이미지를 생성할 수 있다.
또한 다양한 실시 예들에 따르면, 노출 과다 영역과 노출 부족 영역 간의 비율이 임계값 이상일 경우에 교차 배열된 장노출 픽셀과 단노출 픽셀의 조합을 통해 획득되는 이미지를 처리함으로써 효율적인 고 다이나믹 레인지를 갖는 이미지를 생성할 수 있다.
도 1a는 본 개시의 일 실시 예에 따른 전자 장치의 내부 블록 구성도,
도 1b는 본 개시의 다른 실시 예에 따른 전자 장치의 내부 블록 구성도,
도 2는 본 개시의 다양한 실시 예에 따른 이미지 센서로부터 출력되는 이미지 데이터를 처리하기 위한 이미지 처리 장치의 구성도,
도 3은 본 개시의 일 실시 예에 따른 이미지 센서에서 복수의 픽셀들의 배치를 예시한 도면,
도 4는 본 개시의 다양한 실시 예에 따른 이미지 센서에서 복수의 픽셀들의 다양한 배치를 예시한 도면,
도 5 내지 도 9는 본 개시의 다양한 실시 예들에 따른 이미지 센서의 픽셀들의 노출 동작과 관련된 그래프들을 도시한 도면,
도 10은 본 개시의 다양한 실시 예들에 따른 색상 필터들의 특성을 나타내는 그래프를 도시한 도면,
도 11a는 본 개시의 다양한 실시 예에 따른 자동 노출 모드에서 실시간 HDR 모드로 전환 시 이미지 센서를 제어하는 방법을 보여주는 동작 흐름도,
도 11b는 본 개시의 다양한 실시 예에 따른 제1복수개의 픽셀들 및 제2복수개의 픽셀들의 노출 시간을 설정하는 방법을 보여주는 동작 흐름도,
도 12는 본 개시의 다양한 실시 예에 따른 자동 노출 모드에서 촬영된 이미지 데이터를 기반으로 한 히스토그램 예시도,
도 13은 본 개시의 다양한 실시 예에 따른 노출 시간 조절 방식을 설명하기 위한 예시도,
도 14는 본 개시의 다양한 실시 예에 따른 장노출 시간 조절에 따른 히스토그램 변화를 보인 예시도,
도 15는 본 개시의 다양한 실시 예에 따른 장노출 시간 조절에 따른 이미지 변화를 설명하기 위한 예시도,
도 16은 본 개시의 다양한 실시 예에 따른 단노출 시간 조절에 따른 히스토그램 변화를 보인 예시도,
도 17은 본 개시의 다양한 실시 예에 따른 단노출 시간 조절에 따른 이미지 변화를 설명하기 위한 예시도,
도 18은 본 개시의 다양한 실시 예에 따른 실시간 HDR 모드에서 자동 노출 모드로 전환 시 이미지 센서를 제어하는 방법을 보여주는 동작 흐름도,
도 19는 본 개시의 다양한 실시 예에 따른 전자 장치에 대한 블록도,
도 20은 본 개시의 다양한 실시 예에 따른 하드웨어의 블록도,
도 21은 본 개시의 일 실시 예에 따른 프로그래밍 모듈의 블록도.
이하, 첨부된 도면을 참조하여 본 개시(present disclosure)를 설명한다. 본 개시는 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 따라서, 본 개시는 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경 또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용되었다.
본 개시 가운데 사용될 수 있는“포함한다,”“포함할 수 있다” 등의 표현은 개시된 해당 기능, 동작, 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작, 구성요소 등을 제한하지 않는다. 또한, 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한 본 개시에서 “및/또는” 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, A 및/또는 B는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
또한 본 개시 가운데 “제1,”“제2,”“첫째,”“둘째”등의 표현들이 본 개시의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다. 본 개시에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하, 첨부된 도면을 참조하여 다양한 실시예에 따른 전자 센서에 대해서 살펴본다. 본 개시의 실시 예에 따른 전자 센서 예컨대, 이미지 센서를 포함하는 카메라 모듈이 전자 장치에 장착될 수 있다. 이러한 전자 장치에는 카메라(camera), 캠코드, 웹카메라, 감시카메라, 의료용 카메라, 고속 카메라, 3D 카메라와 같은 멀티 카메라 등이 있을 수 있다.
또한, 본 개시의 다양한 실시예에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 시계(electronic clock), 손목 시계(wrist watch), 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 또는 스마트 와치(smart watch)), 가전 제품(home appliance)(예: 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기 등), 인공 지능 로봇, TV, DVD(digital video disk) 플레이어, 오디오, 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 전자 사전, 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(electronic equipment for ship, 예를 들면, 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 전자 의복, 전자 키, 캠코더(camcorder), 게임 콘솔(game consoles), 평판표시장치(flat panel display device), 전자 액자, 전자 앨범, 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device) 또는 프로젝터(projector) 등의 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 개시의 다양한 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
도 1a는 본 개시의 일 실시 예에 따른 전자 장치를 예시하며, 전자 장치는 이미지 센서(10), 이미지 전처리부(Image Pre-processor)(20), 어플리케이션 프로세서(Application Processor:AP)(30), 이미지 신호 프로세서(Image Signal Processor: ISP)(40), 저장부(50), 표시부(60) 및 자동 노출(Auto Exposure) 제어부(70)를 포함할 수 있다. 도 1a에서는 본 개시의 실시 예와 관련된 구성부들만 도시하였으며, 상기한 구성부들 이외에 다른 구성 요소들도 구비할 수 있음은 물론이다.
카메라 모듈은 기본적으로 이미지 센서(10)를 포함하며, 이러한 이미지 센서(10)는 전자 센서의 일 예로, 피사체로부터 반사된 빛이 렌즈를 통해 입사되면 입사된 빛을 감지하여 감지된 빛에 대응되는 전기적인 이미지 신호를 출력할 수 있다. 이러한 이미지 센서는 프레임 단위로 피사체를 촬영한 이미지 신호를 출력할 수 있다. 이러한 이미지 센서(10)의 종류는 CMOS(Complimentary Metal Oxide Semiconductor) 센서, CCD(Charge Coupled Device) 센서, 포비언(Foveon) 센서, 보색(Complementary) 이미지 센서 등이 있다.
이미지 센서(10)는 복수의 픽셀들로 구성되며, 미리 정해진 규격의 이미지를 얻기 위해서 복수의 픽셀들이 열과 행으로 배치되는 어레이(array)를 포함할 수 있다. 본 개시의 실시 예에 따른 어레이는 제1복수개의 픽셀들과 제2복수개의 픽셀들로 구분될 수 있다. 여기서, 제1복수개의 픽셀들 및 제2복수개의 픽셀들은 본 발명의 다양한 실시 예에 따라 한 그룹의 픽셀들, 한 쌍의 픽셀들, 적어도 두 개의 인접하는 픽셀들, 적어도 하나 건너서 인접하는 픽셀들(every other pixels) 등 다양한 픽셀 배치가 가능한 것을 나타내는 의미로 사용될 수 있다. 이하에서는 제1복수개의 픽셀들 및 제2복수개의 픽셀들을 제1그룹 픽셀들 및 제2그룹 픽셀들이라고 칭한다.
이러한 제1그룹 픽셀들은 제2그룹 픽셀들과 서로 동일한 노출 시간을 갖도록 구성될 수 있으며, 동일한 노출 시간을 갖는 상태에서 자동 노출 제어부(70)에 의해 서로 다른 노출 시간을 갖는 상태로 변경되거나 동일한 시간만큼 노출시간이 변경될 수 있으며,, 서로 다른 노출 시간을 갖는 상태에서는 제1그룹 픽셀들이 제2그룹 픽셀들과 동일한 노출 시간을 갖는 상태 또는 제1그룹 픽셀들 및 제2그룹 픽셀들의 노출 시간들이 동일한 시간만큼 변경될 수 있다.
본 개시의 실시 예에서는 상기 제1그룹 픽셀들과 상기 제2그룹 픽셀들이 동일한 노출 시간을 갖는 상태를 자동 노출 모드라고 하며, 상기 제1그룹 픽셀들이 상기 제2그룹 픽셀들과 상이한 노출 시간을 갖는 상태를 실시간(live) HDR 모드라고 정의할 수 있다. 본 개시의 실시 예에서는 이러한 노출 시간들의 상태 변경을 위한 조건이 충족되면, 제1그룹 픽셀들의 노출 시간과 제2그룹 픽셀들의 노출 시간이 동일한 노출 시간을 갖는 상태에서 서로 다른 노출 시간을 갖는 상태로 변경할 수 있으며, 그 반대의 경우에도 마찬가지로 변경될 수 있다. 이러한 자동 노출 모드에서 HDR 모드로의 전환은 자동 방식에 의해 이루어지며, HDR 모드를 해제하여 자동 노출 모드로 되돌아가는 것도 자동 방식에 의해 이루어질 수 있다.
예를 들면, 자동 방식에서는 촬영된 이미지 데이터를 기반으로 미리 정해진 전환 조건을 체크하여 상기 조건이 충족되면 자동으로 자동 노출 모드에서 HDR 모드로 전환할 수 있다. 일 실시 예에 따르면, 자동 방식의 경우에는 HDR 모드에서 상기 조건을 충족하지 않을 경우에는 자동 노출 모드로 자동으로 전환될 수 있다.
자동 노출 모드에서 이미지 센서(10)는 상기 제1 및 제2그룹 픽셀들의 픽셀값들에 근거한 제1이미지 데이터 및 제2이미지 데이터를 출력할 수 있다. 노출이 같은 시간에서 제1그룹 픽셀들에 근거한 제1이미지 데이터 및 제2그룹 픽셀들의 제2이미지 데이터는 적어도 하나의 서로 다른 픽셀을 포함하는 이미지이며 밝기 차이는 나지 않을 수 있다.
HDR 모드에서 이미지 센서(10)는 제1그룹의 픽셀들의 픽셀들값에 근거한 제3이미지 데이터와, 상기 제2그룹 픽셀들의 픽셀들값에 근거한 제4이미지 데이터를 출력할 수 있다. 여기서, 제3이미지 데이터 및 제4이미지 데이터는 동일한 피사체를 대상으로 하여 상기 제1, 2그룹의 픽셀들의 노출을 달리함으로써 생성된 것이다. 예를 들어, 제3이미지 데이터는 장노출 이미지 데이터이며, 제4이미지 데이터는 단노출 이미지 데이터일 수 있다. 장노출 이미지 데이터는 상기 제1그룹의 픽셀들에 대한 노출을 길게 하여 얻은 이미지 데이터이며, 단노출 이미지 데이터는 상기 제2그룹의 픽셀들에 대한 노출을 짧게 하여 얻은 이미지 데이터일 수 있다. 이러한 장노출 이미지 데이터 및 단노출 이미지 데이터의 보정 및 합성 등의 동작을 통해 하나의 HDR 이미지가 생성될 수 있다.
상기한 바와 같이 이미지 센서(10)는 자동 노출 제어부(70)에 의해 노출량을 조절하는 기능을 가질 수 있다. 즉, 이미지 센서(10)의 상기 제1, 2그룹의 픽셀들에 대한 노출량은 자동 노출 제어부(70)에 의해 조절될 수 있다. 본 개시의 실시 예에서는 상기 제1, 2그룹의 픽셀들에 대한 노출량은 노출 시간에 의해 조절될 수 있다.
이미지 센서(10)를 이루는 복수의 픽셀들(11)은 서로 다른 두 개의 픽셀 그룹(음영으로 표기됨)으로 나누어 배치되며, 이러한 픽셀들(11)에 의해 생성된 이미지 데이터(12)가 이미지 전처리부(20)로 전달될 수 있다.
이미지 전처리부(20)는 이미지 신호 프로세서(40)의 전단에서 이미지 센서(10)로부터의 이미지 데이터(12)를 전처리(pre-processing)할 수 있다. 역광(13) 상태에서 피사체를 촬영하는 경우 그 역광(13)에 비해 상대적으로 앞쪽에 위치하는 피사체(15)는 노출 부족으로 인해 까맣게 되고, 배경 부분(14)은 노출 과다로 인해 하얗게 된 이미지 데이터(12)가 이미지 센서(10)로부터 출력될 수 있다.
또한 이미지 전처리부(20)는 밝기값 데이터 생성(21), 불량 픽셀 보정(Bad Pixel Correction: BPC)(22), 재구성(reconstruction)(23), 다이나믹 레인지 압축(Dynamic Range Compress: DRC)(24) 등의 이미지 처리를 수행할 수 있다.
자동 노출 모드에서 이미지 전처리부(20)는 이미지 센서(10)로부터 하나의 이미지 데이터를 수신하므로 재구성(23) 기능을 수행하지 않을 수 있으며, 다이나믹 레인지 압축(24) 기능도 생략될 수 있다. 반면, HDR 모드에서 노출 시간이 상이한 두 개의 이미지 데이터를 합성하는 경우 합성 처리 과정에서 나타나는 데이터 손실 등의 문제로 인해 합성 이미지인 HDR 이미지의 품질을 저하될 수 있다. 이를 고려하여 이미지 전처리부(20)는 노출 시간이 상이한 두 개의 이미지 데이터에 대한 보정을 수행함으로써 화질 저하를 막을 수 있다.
이를 위해 이미지 전처리부(20)에서 처리 가능한 이미지 처리 기법은, 불량 픽셀 보정(22), 재구성(23), 다이나믹 레인지 압축(24) 등을 예로 들 수 있다. 여기서, 재구성(23) 기능은 장노출 이미지 데이터 및 단노출 이미지 데이터 각각에 포함된 픽셀값들을 이용하여 장노출 이미지 및 단노출 이미지를 형성하고, 보간(interpolation) 및 합성을 통해 하나의 HDR 이미지로 결합(merge)되도록 하는 역할을 할 수 있다.
상기한 바와 같이 이미지 전처리부(20)에서의 일부 구성을 통해 이미지 신호 프로세서(40)의 전단에서 이미지 데이터를 전처리하는 것이 가능하다. 또한 이미지 전처리부(20)에서의 상기 이미지 처리 동작을 제외한 나머지 이미지 처리는 이미지 신호 프로세서(30)에서 수행될 수 있다. 본 개시의 실시 예에서는 이미지 데이터를 처리하도록 구성된 적어도 하나의 프로세서 예컨대, 이미지 전처리부(20), 어플리케이션 프로세서(30) 및 이미지 신호 프로세서(40)는 전자 장치 내에서 서로 독립적으로 존재할 수 있으며, 도 1a에 도시된 바와 같이 이미지 전처리부(20)가 이미지 신호 프로세서(40)의 전단에 배치되며, 이미지 신호 프로세서(40)는 어플리케이션 프로세서(30) 내에 포함되는 것으로 구현될 수 있다.
다르게는 이러한 이미지 전처리부(20)의 전체 구성 또는 일부 구성은 도 1b에 도시된 바와 같이 어플리케이션 프로세서(30) 내에 구현될 수 있다. 도 1b는 본 개시의 다른 실시 예에 따른 전자 장치를 예시하고 있다. 도 1b에서는 어플리케이션 프로세서(30)가 이미지 전처리부(20)와 이미지 신호 프로세서(40)를 포함하는 것으로 도시되어 있지만, 이미지 전처리부(20)에서의 구성은 이미지 신호 프로세서(40)에서 수행되도록 구현될 수도 있으며, 이러한 경우 이미지 전처리부(20)는 생략될 수 있다.
이미지 신호 프로세서(40)는 이미지 센서(10)에 의해 촬영되는 실시간 이미지 데이터를 수신하며, 이미지 데이터를 표시부(60)의 화면 특성(크기, 화질, 해상도 등) 또는 다른 디스플레이 유닛의 화면 특성에 맞도록 처리할 수 있다. 이러한 이미지 처리 기능의 예로, 감마교정, 인터폴레이션, 공간적 변화, 이미지 효과, 이미지 스케일, 자동 화이트 밸런스(Auto White Balance: AWB), 자동 노출(Auto Exposure: AE), 자동 초점(Auto Focus: AF) 등과 같은 기능이 해당된다. 또한, 이미지 신호 프로세서(40)는 자동 노출 모드에서 매트릭스(Matrix) 측광, 터치 자동 노출(Touch AE), 중앙 측광, 스팟(Spot) 측광 중 어느 하나의 측광 방식을 기반으로 동작할 수 있다.
이러한 이미지 신호 프로세서(40)는 카메라 기능, 멀티미디어 데이터 재생 기능 등 다양한 부가 기능의 원활한 실행과 제어를 위한 멀티미디어 기능을 담당하는 어플리케이션 프로세서(Application Processor: AP)(30)내에 포함되도록 구현될 수 있다.
또한 이미지 신호 프로세서(40)는 자동 모드에서의 기준 노출 시간을 설정할 수 있다. 기준 노출 시간이란 이미지 센서(10)의 제1그룹 픽셀들 및 제2그룹 픽셀들이 동일하게 노출되는 시간이 될 수 있다. 이러한 기준 노출 시간을 설정하는 방법으로는 다양한 방법이 이용될 수 있다. 본 개시의 실시 예에 따른 이미지 신호 프로세서(40)는 밝기값 데이터를 기반으로 히스토그램을 생성하고, 이러한 히스토그램을 기준 노출 시간을 비롯하여 장노출 시간, 단노출 시간을 결정짓는 데 사용할 수 있다. 즉, 이러한 히스토그램 분석은 이미지의 포화 정도를 확인하기 위해 이용될 수 있다.
이미지 신호 프로세서(40)는 기준 노출 시간에서 획득된 이미지 센서(10)의 제1그룹 픽셀들 및 제2그룹 픽셀의 픽셀값들을 기반으로 미리 정해진 모드 전환 조건을 충족하는지를 판단할 수 있다. 만일 모드 전환 조건이 충족되면, 이미지 신호 프로세서(40)는 자동 노출 제어부(70)를 제어하여 제1그룹 픽셀들과 제2그룹 픽셀들에 대한 노출 시간을 서로 다르게 설정할 수 있다. 이에 따라 자동 노출 제어부(70)는 설정된 노출 시간들 즉, 장노출 시간 및 단노출 시간을 참조하여 이미지 센서(10)의 노출량을 제어할 수 있다.
예를 들어, 역광 상태에서 피사체를 촬영하는 경우 그 역광(13)에 비해 상대적으로 앞쪽에 위치하는 피사체(15)는 노출 부족으로 인해 까맣게 되고, 배경 부분(14)은 노출 과다로 인해 하얗게 된 이미지 데이터(12)가 이미지 센서(10)로부터 출력될 수 있다. 이러한 경우 이미지 신호 프로세서(40)에서 자동 노출 제어부(70)를 제어하여 자동 노출 모드에서 기준 노출 시간을 조절하더라도 결과적으로 표시부(60) 상에 표시될 이미지는 전체적으로 밝아지거나 어두워지게 된다. 이러한 경우 노출 부족으로 인해 까맣게 된 부분 및 노출 과다로 인해 하얗게 된 부분에 대해서는 서로 다른 밝기로 보정될 필요가 있다. 즉, 까맣게 된 부분에 대해서는 밝게 보정되며, 하얗게 된 부분에 대해서는 다소 어둡게 보정될 필요가 있다.
자동 노출 모드에서 과다 노출(Over Exposure) 영역 및 과소 노출(Under Exposure) 영역이 모두 존재하는 이미지를 얻게 되는 경우 히스토그램 분석을 통하여 모드 전환 조건 만족 시 이미지 신호 프로세서(40)는 HDR 모드로 전환할 수 있다. 여기서, 과다 노출 영역은 히스토그램 상에서 선택된 제1기준을 초과(또는 상기 제1기준 이상의)하는 상기 제1 및 제2그룹의 픽셀들의 픽셀 밝기값들의 수가 제1임계값 이상(또는 초과)하는 경우를 의미하며, 과소 노출 영역은 상기 히스토그램 상에서 선택된 제2기준 미만(또는 상기 제2기준 이하)의 상기 제1 및 제2그룹의 픽셀들의 픽셀 밝기값들의 수가 제2임계값 이하(또는 미만)인 경우를 의미할 수 있다.
상이한 노출 시간에 촬영된 둘 이상의 이미지 데이터가 이미지 센서(10)로부터 출력되며, 이미지 전처리부(20)는 장노출 시간에서 획득된 장노출 이미지와 단노출 시간에서 획득된 단노출 이미지에 대한 이미지 전처리를 수행할 수 있다. 이와 같이 본 개시의 실시 예에 따르면, 이미지 센서(10)에 있는 장노출 그룹의 픽셀들을 이용하여 노출 부족으로 상대적으로 어둡게 표현된 영역에 대해 보상을 수행할 수 있다. 단노출 그룹의 픽셀들에 비해 상대적으로 노출 시간이 길어 빛이 많이 입사되기 때문에 이러한 장노출 그룹의 픽셀들을 이용한다면 적정 노출의 이미지를 얻을 수 있다. 또한 단노출 그룹의 픽셀들을 이용해서는 노출 과다로 상대적으로 밝게 표현된 영역에 대해 보상을 수행할 수 있다. 이러한 단노출 그룹의 픽셀들에 대한 노출 시간은 자동 노출 모드에서 이미지를 촬영했을 때보다 노출 시간을 짧게 설정함으로써, 밝은 부분에 대해 보상을 수행할 수 있다.
이에 따라 이미지 전처리부(20)는 장노출 그룹의 픽셀들을 통해 얻은 장노출 이미지와 단노출 그룹의 픽셀들을 통해 얻은 단노출 이미지를 보간(interpolation)하여 하나의 HDR 이미지를 생성할 수 있다. 이에 따라 이미지 신호 프로세서(40)는 HDR 이미지(61)를 표시부(60) 상에 표시할 수 있다. 이러한 HDR 이미지(61)는 노출 과다로 상대적으로 밝게 표현된 부분에 대한 밝기가 다소 감소되게 조절된 노출(63)의 배경 부분과, 노출 부족으로 인해 어둡게 표현된 부분에 대해 밝기가 다소 증가되도도록 조절된 노출(62)을 가지는 피사체에서와 같이 전체적으로 적정 노출 조정을 통해 얻은 이미지와 같은 이미지를 획득할 수 있다.
저장부(50)는 이미지 센서(10)로부터 획득된 이미지 데이터를 기반으로 형성된 이미지를 프레임별로 저장하는 이미지 버퍼 등을 포함할 수 있다. 또한 저장부(50)는 자동 노출 모드에서 기준 노출 시간을 정하기 위한 자동 노출 테이블 및 HDR 모드에서 장노출 시간 및 단노출 시간을 정하기 위한 HDR 테이블 등을 저장할 수 있다. 예를 들어, 히스토그램 상에 과다 노출 영역 및 과소 노출 영역이 존재하는 경우 그 히스토그램에 따라 상기 HDR 테이블에서 관련된 장노출 시간 및 단노출 시간이 추출되도록 할 수 있다. 이러한 테이블 값들은 예를 들어, 카메라 기본 설정값 등을 비롯하여 실험적으로 측정된 다양한 촬영 환경의 평균값을 취할 수도 있으며, 옵션 메뉴를 통해 사용자에 의해 설정이 가능할 수도 있다.
전술한 도 1a 및 도 1b에서와 같이 전자 장치는 이미지 전처리부, 이미지 신호 프로세서와 같이 세부적인 구성 요소가 포함되도록 구성될 수 있으나, 크게 살펴보면 이미지를 받아 전기적 신호로 변환하는 이미지 센서와 그 변환된 신호를 처리하는 이미지 처리 장치로 나눌 수 있다.
도 2는 본 개시의 다양한 실시 예에 따른 이미지 센서로부터 출력되는 이미지 데이터를 처리하기 위한 이미지 처리 장치의 구성을 예시하고 있다.
도 2를 참조하면, 이미지 센서로부터 출력되는 이미지 데이터는 이미지 획득부(41)로 전달되며, 그 이미지 데이터를 기반으로 한 밝기값 데이터는 히스토그램 계산부(42)로 전달될 수 있다.
자동 노출 모드로 동작하는 경우 이미지 획득부(41)는 동일한 노출 시간에서 상기 제1그룹 픽셀들과 상기 제2그룹 픽셀들을 이용하여 얻어진 적어도 하나의 이미지 데이터를 이미지 센서로부터 획득할 수 있다. 만일 밝은 실외에서 촬영할 경우 동일한 노출 시간에서 상기 제1그룹 픽셀들과 상기 제2그룹 픽셀들을 이용하여 얻어진 이미지 데이터(a, b)에 노출 과다로 하얗게 포화된 부분이 발생할 수 있다. 여기서, 노출 시간이 동일할 경우 상기 제1그룹 픽셀들을 기반으로 얻어지는 이미지 데이터(a) 및 상기 제2그룹 픽셀들을 기반으로 얻어지는 이미지 데이터(b)는 두 이미지 데이터(a, b) 간에 밝기 차이가 없는 이미지 데이터일 수 있다.
히스토그램 계산부(42)는 상기 제1그룹 픽셀들과 상기 제2그룹 픽셀들의 밝기값들을 기반으로 히스토그램을 생성하고, 그 히스토그램을 기반으로 노출 과다 또는 노출 부족이 발생하였는지를 판단할 수 있다.
예를 들어, 히스토그램 계산부(42)는 이미지 센서로부터 받아들인 이미지 데이터(a, b)에 대한 밝기값을 계산하고, 노출 시간 조절부(43)는 계산된 밝기값에 대한 정보를 단계적으로 구분하여 이를 기반으로 기준 노출 시간을 결정할 수 있다. 이러한 기준 노출 시간은 예를 들어, 촬영 전 프리뷰 모드에서 표시되는 이미지 데이터의 히스토그램을 참조하여 설정하는 등 다양한 방법에 의해 설정될 수 있다.
이러한 밝기값은 이미지 전처리부(20)에서 생성된 밝기값 데이터를 기반으로 계산될 수 있다. 히스토그램 계산부(42)는 이러한 밝기값 데이터를 기반으로 히스토그램을 생성하게 되는데, 이러한 히스토그램은 도수 분포를 나타내는 그래프로서, 카메라 분야에서는 이미지의 노출을 측정하기 위해 사용하며 이미지 내에서 픽셀들에 대한 명암 수치의 분포를 나타낸다.
히스토그램 계산부(42)에 의해 과다 노출 또는 과소 노출이 발생하였다고 판단될 경우 노출 시간 조절부(43)는 상기 제1그룹 픽셀들과 상기 제2그룹 픽셀들의 기준 노출 시간을 조절하며, 자동 노출 제어부(70)의 제어하에 이미지 센서의 노출 시간을 조절할 수 있다. 이에 따라 기준 노출 시간이 조절됨에 따라 이미지 획득부(41)로 전달되는 이미지 데이터의 밝기값들도 조절되며, 이미지 보정부(45)를 통한 보정을 거쳐 출력 이미지 생성부(46)에서는 과다 노출 또는 과소 노출에 따른 밝기값을 조절한 이미지(c)가 출력될 수 있다. 따라서 밝은 실외에서 촬영된 이미지 데이터(a, b)에서 발생했던 포화 현상은 기준 노출 시간이 조절됨에 따라 사라지게 되어 밝기가 조절된 출력 이미지(c)를 얻을 수 있다.
하지만 역광 등의 이유로 인해 이미지 데이터 내에 과다 노출 및 과소 노출로 인한 현상이 동시에 발생할 경우에는 밝기 조절만으로는 과다 노출 및 과소 노출 모두를 한번에 해소하기 어려울 수 있다. 본 개시의 실시 예에서는 이러한 과다 노출 및 과소 노출 현상이 동시에 발생할 경우 이미지 센서의 제1그룹의 픽셀들과 제2그룹의 픽셀들의 노출 시간이 서로 상이한 상태를 갖도록 변경할 수 있다. 또한 본 개시의 다른 실시 예에서는 동일한 노출 시간에서 촬영된 이미지 데이터 내에 과다 노출 및 과소 노출 현상 중 어느 하나가 발생할 경우 상기 이미지 센서의 상기 제1그룹의 픽셀들과 제2그룹의 픽셀들의 노출 시간들을 동일한 시간만큼 변경할 수 있다.
이를 위해 히스토그램 계산부(42)에서의 히스토그램을 기반으로 선택된 제1기준 이상(초과)의 픽셀 밝기값들의 수가 제1임계값 이상 또는 초과하는 경우와, 선택된 제2기준 이하(또는 미만)의 픽셀 밝기값들의 수가 제2임계값 이하 또는 미만인 경우를 비교할 수 있다. 여기서, 상기 선택된 제1기준 이상(또는 초과)의 픽셀 밝기값들의 수가 상기 제1임계값 이상 또는 초과하는 정도는 단노출로 처리해야 하는 픽셀들의 노출 시간에 맵핑될 수 있다. 또한, 선택된 제2 기준 이하(또는 미만)의 픽셀 밝기값들의 수가 상기 제2임계값 이하 또는 미만인 정도는 장노출로 처리해야 하는 픽셀들의 노출 시간에 맵핑될 수 있다.
따라서 이러한 장노출 시간 및 단노출 시간의 비율이 임계 비율 이상이 되면 노출 시간 조절부(43)는 제1그룹의 픽셀들과 제2그룹의 픽셀들의 노출 시간들이 서로 상이해지도록 장노출 시간 및 단노출 시간을 결정할 수 있다. 이때, 장노출 시간 및 단노출 시간의 결정 및 조절은 기저장된 HDR 테이블을 참조하여 정해질 수 있다. 예를 들면, 노출 시간을 결정한다고 할 때, 적정 노출을 위한 노출 시간이 1/250이고, 노출 비율이 1:4라고 하면, 장노출 픽셀들은 1/125의 노출 시간을, 단노출 픽셀들은 1/500의 노출 시간을 가질 수 있다. 각 픽셀들로부터 검출된 다수의 이미지 정보는 전자 기기의 제어부를 통해 조합되어 촬영 이미지를 완성할 수 있다.
자동 노출 제어부(70)는 노출 시간 조절부(43)에 의해 정해진 장노출 시간 및 단노출 시간에 따라 이미지 센서를 제어할 수 있다. 이에 따라 정해진 장노출 시간 동안에는 이미지 센서의 장노출 그룹으로 지정된 픽셀들의 픽셀값들을 기반으로 한 장노출 이미지 데이터가 얻어지며, 단노출 시간 동안에는 이미지 센서의 단노출 그룹으로 지정된 픽셀들의 픽셀값들을 기반으로 한 단노출 이미지 데이터가 얻어질 수 있다.
이미지 획득부(41)는 서로 상이한 노출 시간에서 촬영된 2개의 이미지 데이터 즉, 장노출 이미지 데이터(d) 및 단노출 이미지 데이터(e)를 획득할 수 있다. 이때, 상이한 노출 시간에서 촬영된 장노출 이미지 데이터(d)는 역광으로 인한 과소 노출 현상이 발생하여 전체적으로 어두우며, 단노출 이미지 데이터(e)는 과다 노출 현상이 발생하여 전체적으로 밝을 수 있다. 이러한 경우 노출 시간 조절부(43)는 히스토그램 계산부(42)에 의한 히스토그램을 기반으로 장노출 시간 및 단노출 시간을 조절한다. 이에 따라 조절된 장노출 시간 및 단노출 시간에서 촬영된 2개의 장노출 이미지 데이터 및 단노출 이미지 데이터를 획득할 수 있다. 이때, 조절된 장노출 시간에서 촬영된 장노출 이미지 데이터는 과소 노출에 대한 밝기가 보정된 이미지 데이터이며, 조절된 단노출 시간에서 촬영된 단노출 이미지 데이터는 과다 노출에 대한 밝기가 보정된 이미지 데이터일 수 있다.
이미지 보정부(45)는 장노출 이미지 데이터와 단노출 이미지 데이터 간의 차이를 보정하는 등의 동작을 수행할 수 있다. 이에 따라 출력 이미지 생성부(46)에서는 장노출 이미지 데이터 및 단노출 이미지 데이터를 합성할 수 있으며, 합성된 이미지(f)가 HDR 이미지로 사용자에게 보여질 수 있다. HDR 이미지(f)는 상기 보정된 단노출 이미지와 상기 보정된 장노출 이미지를 합성함으로써 생성될 수 있다. HDR 이미지(f)는 노출 과다 부분에 대해서는 밝기가 감소되고 노출 과소 부분에 대해서는 밝기가 증가되어 역광인 상태에서도 전체적으로 실제에 가까운 이미지로 보여질 수 있다. 이에 따라 동일 피사체에 대해 다이나믹 레인지를 확장시킨 이미지를 얻을 수 있다.
이때, 촬영 시점에 따라 또는 피사체에 따라 이미지에서 밝은 영역과 어두운 영역이 달라질 수 있다. 본 개시의 다양한 실시 예들에 따른 이미지 센서를 구비하는 전자 장치는 피사체의 이미지에서 밝은 영역과 어두운 영역을 인식하여 장노출 픽셀과 단노출 픽셀을 재배치할 수도 있다. 또한, 전자 기기를 조작하는 사용자의 의도에 따라 이미지 내의 특정 영역을 관심 영역(region of interest; ROI)으로 설정할 수도 있다. 이를 위해 이미지 처리 장치는 타겟 영역 검출부(44)를 더 포함할 수 있다.
일 예로, 타겟 영역 검출부(44)는 이미지 내에서 얼굴 또는 텍스트가 존재하는 부분에 과소 노출 또는 과다 노출이 발생할 경우에는 그 얼굴 또는 텍스트가 존재하는 부분에 대해서 다른 부분들에 비해 장노출 시간 및/또는 단노출 시간을 다르게 적용할 수 있다.
이를 위해 타겟 영역 검출부(44)는 이미지 데이터에 대한 분석을 수행하여, 얼굴 인식 알고리즘, 문자 인식 알고리즘 등을 기반으로 얼굴 또는 문자가 존재하는 영역을 검출할 수 있다. 예를 들어, 타겟 영역 검출부(44)에 의해 노출이 과다한 부분에서 얼굴이 검출된 경우 노출 시간 조절부(43)는 전체 노출 시간보다 단노출의 비율을 높게 설정할 수도 있으며, 반대로 노출이 부족한 부분에서 얼굴이 검출된 경우에는 전체 노출 시간보다 장노출의 비율을 높게 설정하여 촬영 및 합성을 수행할 수도 있다. 또한, 타겟 영역 검출부(44)는 이미지 데이터 내의 관심 영역에서 장노출의 비율을 높게 설정할 수 있다. 다르게는 타겟 영역 검출부(44)는 이미지 데이터 내의 관심 영역에서 장노출 픽셀들을 단노출 픽셀들보다 더 많이 배치되도록 제어할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 이미지 센서(10)에서 픽셀들의 배치를 예시하고 있다.
도 3(a)에서는 이미지 센서(10)의 제1그룹의 픽셀들 및 제2그룹의 픽셀들이 어레이의 일부 영역에서 선택된 패턴에 따라 배치되는 것을 예시하고 있다. 제1그룹의 픽셀들을 장노출 픽셀들이라고 하며 제2그룹 픽셀들을 단노출 픽셀들이라고 할 경우 이러한 장노출 픽셀들 및 단노출 픽셀들은 다각형 모양을 가질 수 있다. 예를 들어, 장노출 픽셀들 중 적어도 두 개의 바로 인접한 픽셀들(at least two immediately next pixel of the first plurality of pixels)이, 다각형의 일변(one side)를 서로 공유하지 않고, 단노출 픽셀들 중 적어도 두 개의 바로 인접한 픽셀들(at least two immediately next pixel of the first plurality of pixels)이, 다각형의 일변(one side)를 서로 공유하지 않도록 배치될 수 있다.
도 3(b)에서는 마스크의 크기가 4×4일 경우 장노출 픽셀들 및 단노출 픽셀들의 배치를 예시하고 있다. 상기 마스크(300a)에서는 Gr, R, B 픽셀들이 장노출 픽셀들로 지정되며 상기 Gr, R, B 픽셀들을 제외한 나머지 r, b, gb 픽셀들이 단노출 픽셀들로 지정된 경우를 예시하고 있다. 예를 들어, 도 3(b)에서는 홀수행마다 가로 방향으로 세 개의 장노출 픽셀들과 하나의 단노출 픽셀이 교대로 배치되며, 짝수행마다 가로 방향으로 세 개의 단노출 픽셀들과 하나의 장노출 픽셀이 교대로 배치될 수 있다. 이때, 짝수행에 배치되는 장노출 픽셀은 이웃하는 홀수행에 배치되는 장노출 픽셀들과 만나도록 배치될 수 있다.
상기와 같은 배치를 통해 도 3(a)에서와 같이 장노출 픽셀들로 이루어진 가로 및 단노출 픽셀들로 이루어진 세로의 직선이 일정 간격으로 교차해나가는 격자(cross) 무늬 패턴이 나타날 수 있는데, 이때 가로 및 세로의 직선이 교차하는 간격은 서로 상이할 수 있다. 이에 따라 장노출 픽셀들 및 단노출 픽셀들은 사선 방향으로 계단 형태의 패턴으로 보여질 수 있다.
전술한 바에서는 3개씩의 장노출 픽셀들 또는 단노출 픽셀들이 일정 간격으로 배치되는 경우를 예시하였으나, 다양한 배치가 가능하다. 예를 들어, 적어도 두 개의 제1그룹 픽셀들과 하나의 제2그룹 픽셀들이 교대로 배치될 수 있다.
본 개시의 다양한 실시 예에 따르면, 상기 이미지 센서에 결상되는 이미지의 밝은 영역과 어두운 영역의 계조비(Dynamic range)에 따라 상기 제1 그룹의 픽셀들과 제2그룹의 픽셀들의 노출량이 다르게 설정될 수 있다. 어떤 실시 예에 따르면, 상기 제1, 제2 픽셀 그룹의 픽셀 노출량은 노출 시간, 광전 변환 효율, 조리개 설정 중 적어도 하나에 의해 설정될 수 있다.
본 개시의 다양한 실시 예에 따른 이미지 센서는, 상기 이미지 센서를 이루는 픽셀들 중, 일부의 픽셀들을 설정된 노출 시간 동안 피사체 이미지를 검출하는 제1 픽셀 그룹으로 설정하고, 상기 이미지 센서를 이루는 픽셀들 중 나머지의 적어도 일부를 상기 제1 픽셀 그룹보다 더 짧게 설정된 노출 시간 동안 상기 피사체 이미지를 검출하는 제2 픽셀 그룹으로 설정하는 동작을 포함하는 방법으로 제어될 수 있다.
어떤 실시 예에 따르면, 상기 이미지 센서에 결상되는 이미지의 영역의 픽셀들 중 픽셀 출력 값이 높게 설정된 픽셀들을 상기 제1 픽셀 그룹의 픽셀로 배치하고, 낮게 설정된 픽셀들을 상기 제2 픽셀 그룹의 픽셀로 배치할 수 있다.
어떤 실시 예에 따르면, 상기 방법은 상기 제1 픽셀 그룹을 이루는 픽셀들과, 상기 제2 픽셀 그룹을 이루는 픽셀들의 배치를 동적으로 할당할 수 있다.
어떤 실시 예에 따르면, 상기 방법에 의해, 상기 제1 픽셀 그룹을 이루는 픽셀들과, 상기 제2 픽셀 그룹을 이루는 픽셀들이 반복된 패턴으로 배치되거나 불규칙한 패턴으로 배치될 수 있다.
어떤 실시 예에 따르면, 상기 방법은, 상기 제1 픽셀 그룹의 픽셀들이 노출되는 동안, 상기 제2 픽셀 그룹의 픽셀들이 서로 다른 노출 시간으로 적어도 2회에 걸쳐 노출 이미지를 검출하게 할 수 있다.
어떤 실시 예에 따르면, 상기 방법은, 상기 이미지 센서에 결상되는 이미지에서 관심 영역을 설정하고, 상기 관심 영역에서 상기 제1 픽셀 그룹을 이루는 픽셀들을 상기 제2 그룹을 이루는 픽셀들보다 더 많이 배치할 수 있다.
도 4는 본 개시의 다양한 실시 예들에 따른 이미지 센서(10)에서 복수의 픽셀들의 다양한 배치를 예시하고 있다.
도 4에서는 제1그룹 픽셀들(예컨대, 장노출 픽셀들)(400a) 및 제2그룹 픽셀들(예컨대, 단노출 픽셀들(400b)의 다양한 배치(400, 410, 420, 430, 440, 450, 460)를 도시한다. 예컨대, 앞서 언급한 바와 같이, 실시간 HDR 기능은 상기 이미지 센서(10)를 이루는 픽셀들(400)을 노출량 설정이 서로 다른 적어도 두 개의 픽셀 그룹으로 나누어 배치함으로써 가능할 수 있다. 도 4에 도시된 바와 같이, 장노출 픽셀들 및 단노출 픽셀들은 반복된 패턴(400, 410, 420, 430) 또는 불규칙한 패턴(440, 450, 460)으로 배치될 수 있다.
상기 이미지 센서(10)를 이루는 픽셀들(400)을 노출량이 서로 다른 적어도 두 개의 픽셀 그룹으로 나누어 배치하는 것은, 상기 이미지 센서(10)의 생산 과정에서 고정적으로 설정하는 것이 가능하며, 또한, 상기 이미지 센서(10)가 장착된 기기의 촬영 모드에 따라 동적으로 배치할 수 있다.
본 개시의 다양한 실시 예들을 설명함에 있어, '노출량 설정이 서로 다르다'함은, 장노출 픽셀들(400a)의 노출이 진행되는 시간의 길이와, 단노출 픽셀(400b)의 노출이 진행되는 시간의 길이가 다름을 의미할 수 있다. 노출량 설정을 다르게 하기 위해서, 어떤 실시 예들에서는, 단노출 픽셀(400b)의 노출은 장노출 픽셀들(400a)의 노출과 동시에 이루어질 수 있다. 반면에 장노출 픽셀들(400a)의 노출은 단노출 픽셀(400b)의 노출과 동시에 이루어질 필요는 없다. 노출량 설정을 다르게 하기 위해서, 어떤 실시 예들에서는, 장노출 픽셀들(400a)과 단노출 픽셀(400b)의 광전 변환 효율을 서로 다르게 설정할 수 있다. 노출량 설정을 다르게 하기 위해서, 어떤 실시 예들에서는, 장노출 픽셀들(400a)과 단노출 픽셀(400b)의 조리개 설정을 서로 다르게 설정할 수 있다. 노출량 설정을 다르게 하기 위해서, 어떤 실시 예들에서는, 장노출 픽셀들(400a)과 단노출 픽셀(400b)의 픽셀 사이즈를 서로 다르게 설정하거나, 렌즈나 필터를 조정하여 단위 시간당 픽셀로 유입되는 빛의 양을 조절할 수 있다.
도 5 내지 도 9는 본 개시의 다양한 실시 예들에 따른 이미지 센서의 픽셀들의 노출 동작과 관련된 그래프들을 도시한 도면이다.
도 5를 참조하면, 본 개시의 다양한 실시 예들에 따른, 제1의 픽셀들로 이루어진 그룹(Group1), 예컨대, 장노출 픽셀(400a)들의 그룹보다 제2의 픽셀들로 이루어진 그룹(Group2), 예컨대, 단노출 픽셀(400b)들의 그룹이 더 늦게 노출 동작을 시작하며, 상기 제1 픽셀 그룹(Group1)의 픽셀들과 상기 제2 픽셀 그룹(Group2)의 픽셀들이 노출 동작을 동시에 종료할 수 있다.
도 6은 본 개시의 다양한 실시 예들에 따른 이미지 센서(10)에서, 제1, 제2 픽셀 그룹(Group1, 2) 각각의 픽셀들의 노출이 동시에 시작되어 상기 제2 픽셀 그룹(Group2)의 픽셀들의 노출이 먼저 종료되는 구성을 도시하고 있다. 아울러, 도시되지는 않지만, 상기 제1 픽셀 그룹(Group1)의 노출 시작/종료와 비교할 때, 상기 제2 픽셀 그룹(Group2)의 픽셀들의 노출이 늦게 시작되어 먼저 종료될 수도 있다.
도 7은 본 개시의 다양한 실시 예들에 따른 이미지 센서(10)에서, 제1, 제2 픽셀 그룹(Group1, 2) 각각의 픽셀들의 노출이 동시에 시작되며 서로 다른 광전 효율을 가지고 노출을 수행한 후 동시에 종료하는 경우를 도시하고 있다.
도 8은 본 개시의 다양한 실시 예들에 따른 이미지 센서(10)에서, 제1 픽셀 그룹(Group1)보다 제2 픽셀 그룹(Group2)이 더 늦게 노출 동작이 시작되며 서로 다른 광전 효율을 가지고 노출을 수행한 후 동시에 종료되는 경우를 도시하고 있다.
도 9는 본 개시의 다양한 실시 예들에 따른 이미지 센서(10)에서, 제1, 제2 픽셀 그룹(Group1, 2) 각각의 픽셀들의 노출이 동시에 시작되며 서로 다른 광전 효율을 가지고 노출을 수행한 후 제2 픽셀 그룹(Group2)의 노출 동작이 먼저 종료되는 경우를 도시하고 있다. 상기한 바와 같이 제1 픽셀 그룹(Group1)과 제2 픽셀 그룹(Group2)은 서로 다른 광전 효율을 가지고 동작하면서 상이한 노출 시간을 가질 수도 있다.
도 10은 본 개시의 다양한 실시 예들에 따른 색상 필터들의 특성을 나타내는 그래프를 도시한 도면이다.
본 개시의 다양한 다른 실시 예에 따른 이미지 센서(10)는, 각 픽셀들(400a, 400b)에 상응하는 색상 필터들을 구비할 수 있다. 예컨대, 상기 색상 필터들은 백색(white)광 필터(W), 적색(red)광 필터(R), 녹색(green)광 필터(G), 또는 청색(blue)광 필터(B) 또는 다른 색상 광을 투과하거나 차단하는 필터를 포함할 수 있다. 상기 색상 필터들은 입사된 광의 파장에 따라 다른 투과율을 가질 수 있다. 예컨대, 도 10을 참조하면, 백색광 필터(W)는 적색광(R), 녹색광(G), 청색광(B) 필터들과 비교할 때 높은 노출량비를 가지며, 적색광(R), 녹색광(G), 청색광(B) 필터들의 노출량비는 서로 유사할 수 있다. 따라서 동일 노출 시간동안 백색광 필터(W)에 상응하게 배치되는 픽셀들은 다른 픽셀들보다 노출량이 높을 수 있다.
도 11a는 본 개시의 다양한 실시 예에 따른 자동 노출 모드에서 실시간 HDR 모드로 전환 시 이미지 센서를 제어하는 방법을 보여주는 동작 흐름도이며, 도 11a에서의 동작에 대한 이해를 돕기 위해 도 12를 예시하여 설명한다.
도 11a를 참조하면, 전자 장치는 1110단계에서 제1그룹의 픽셀들 및 제2그룹의 픽셀들의 노출량이 동일하도록 하는 기준 노출 시간에서 이미지 센서(10)를 통해 촬영되는 이미지 데이터를 획득하면, 1115단계에서 상기 이미지 데이터에 대한 히스토그램을 생성할 수 있다. 히스토그램은 밝기값(luminance values) 데이터를 기반으로 생성되며, 이러한 히스토그램은 기준 노출 시간을 비롯하여 장노출 시간, 단노출 시간을 결정짓는 데 사용될 수 있다.
도 12에서는 본 개시의 다양한 실시 예에 따른 자동 노출 모드에서 촬영된 이미지 데이터를 기반으로 한 히스토그램을 예시하고 있다. 촬영 시점에 따라 또는 피사체에 따라 이미지에서 밝은 영역과 어두운 영역이 존재할 수 있으며, 예를 들어 역광으로 피사체를 촬영하는 경우에는 촬영된 이미지 내의 밝은 영역과 어두운 영역 간의 밝기 차이가 매우 클 수 있다. 이에 따라 도 12에 도시된 바와 같이 히스토그램 상에 과다 노출(1210) 및 과소 노출(1200) 영역이 존재할 수 있다.
도 12의 히스토그램에서 과다 노출 영역(1210)은 제2기준 밝기값 이상(또는 초과)의 제1 및 제2그룹의 픽셀들의 픽셀 밝기값들의 수가 제1임계값 이상 또는 초과하는 경우를 의미하며, 과소 노출 영역(1200)은 상기 히스토그램 상에서 제1기준 밝기값 미만(또는 이하)의 상기 제1 및 제2그룹의 픽셀들의 픽셀 밝기값들의 수가 제2임계값 이하 또는 미만인 경우를 의미할 수 있다. 따라서 이미지 내에서 노출이 과다한 부분은 상대적으로 밝기가 밝은 값들이 많은 부분으로, 히스토그램 상의 오른쪽에 치우쳐서 높게 분포하게 될 수 있다. 또한 이미지 내에서 노출이 부족한 부분은 히스토그램에서 상대적으로 밝기가 어두운 값이 많은 부분(즉, 왼쪽에 치우진 부분)이 높게 분포될 수 있다.
이에 따라 전자 장치는 1120단계에서 상기 히스토그램 내에 과다 노출 및 과소 노출이 존재하는지를 판단할 수 있다. 만일 과다 노출 및 과소 노출이 모두 존재하는 경우 전자 장치는 1130단계에서 장노출 시간 및/또는 단노출 시간을 조절할 수 있다. 다시 말하면, 상기 제1 그룹의 픽셀들의 노출 시간 및 상기 제2그룹의 픽셀들의 노출 시간이 서로 상이하도록 상기 제1 그룹의 픽셀들의 노출 시간 및 상기 제2그룹의 픽셀들의 노출 시간 중 적어도 하나의 그룹의 픽셀들의 노출 시간을 조절할 수 있다.
하지만 노출 시간이 동일한 상태에서 촬영된 이미지 데이터에서 과다 노출 또는 과다 노출 중 어느 하나의 경우만 발생할 수 있다. 이와 같이 1120단계에서 과다 노출 및 과소 노출이 동시에 존재하지 않는 경우에는 전자 장치는 1125단계에서 기준 노출 시간을 조절할 수 있다. 또한 기준 노출 시간의 조절 기능은 과다 노출 및 과소 노출이 모두 존재하지 않는 경우에는 상기 기준 노출 시간의 유지 기능을 포함할 수 있다. 여기서, 상기 제1 그룹의 픽셀들의 노출 시간 및 상기 제2그룹의 픽셀들의 노출 시간은 기준 노출 시간으로 동일한 상태였으므로, 기준 노출 시간의 조절은 상기 제1 그룹의 픽셀들의 노출 시간 및 상기 제2그룹의 픽셀들의 노출 시간을 동일한 시간만큼 변경하는 것을 의미할 수 있다. 이러한 노출 시간의 변경 정도는 히스토그램을 기반으로 정해질 수 있다. 여기서, 기준 노출 시간 또는 장노출 시간 및 단노출 시간의 조절과는 독립적으로 이미지 신호 프로세서(40)에서는 조절된 기준 노출 시간 또는 조절된 장노출 시간 및 단노출 시간에서 촬영된 이미지 데이터를 기반으로 이미지를 생성하여 표시부(60) 상에 표시되도록 제어할 수 있다.
구체적으로, 전자 장치는 상기 히스토그램을 기반으로 선택된 제1기준 이상(또는 초과)의 픽셀 밝기값들의 수가 제2임계값 이상 또는 초과하는 정도와, 선택된 다른 제2기준 이하(또는 미만)의 픽셀 밝기값들의 수가 제1임계값 이하 또는 미만인 정도를 비교할 수 있다. 따라서 상기 선택된 기준 이상의 픽셀 밝기값들의 수가 제1임계값 이상 또는 초과하는 정도를 단노출 시간에 맵핑하고, 상기 선택된 다른 기준 이하의 픽셀 밝기값들의 수가 제1임계값 이하 또는 미만인 정도를 장노출 시간에 맵핑할 경우, 히스토그램 분석을 통해 장노출 시간과 단노출 시간의 비율을 산출할 수 있다.
따라서 이러한 장노출 시간 및 단노출 시간의 비율이 제1임계 비율 이상(또는 초과)이 되면 장노출 시간 및/또는 단노출 시간을 조절하는 모드로 전환할 수 있다. 여기서, 상기 장노출 시간 및 단노출 시간의 비율이 제1임계 비율 이상(또는 초과)이 아니면 상기 장노출 시간 및 단노출 시간을 동일한 시간만큼 변경할 수 있다. 즉, 기준 노출 시간을 조절할 수 있다. 이때, 장노출 시간 및/또는 단노출 시간을 조절하는 모드로 동작하다가 히스토그램을 기반으로 한 장노출 시간 및 단노출 시간의 비율이 제2임계 비율 이하로 떨어지면 자동 노출 모드로 되돌아갈 수 있으며, 이에 대해서는 도 18에서 후술하기로 한다. 여기서, 제1임계 비율과 제2임계 비율은 같은 값을 가질 수도 있다.
전자 장치는 1135단계에서 조절된 장노출 시간 및 조절된 단노출 시간 각각에서 촬영되는 장노출 이미지 데이터 및 단노출 이미지 데이터를 획득하고, 1140단계에서 각각의 이미지 데이터에 대한 히스토그램을 생성할 수 있다. 1145단계에서 이러한 히스토그램을 기반으로 장노출 시간 및 단노출 시간의 비율을 산출한 후 1150단계에서 장노출 시간 및 단노출 시간의 비율이 임계 비율 이상(또는 초과)인지를 판단할 수 있다. 만일 임계 비율 이상인 경우 전자 장치는 1155단계에서 장노출 시간 및/또는 단노출 시간을 조절하는 모드로 동작하며 임계 비율 이상(또는 초과)이 아닌 경우 1125단계에서 기준 노출 시간을 적용하는 모드로 동작할 수 있다. 이와 같이 본 개시의 다양한 실시 예에 따르면, 상기 장노출 시간 및 단노출 시간의 비율이 상기 임계 비율 이상(또는 초과)할 경우에 이미지 신호 프로세서(40)에서는 조절된 장노출 시간 및 단노출 시간에서 촬영된 이미지 데이터를 기반으로 보간을 통한 HDR 이미지를 생성하여 표시부(60) 상에 표시되도록 제어할 수 있다.
도 11b는 본 개시의 다양한 실시 예에 따른 제1복수개의 픽셀들 및 제2복수개의 픽셀들의 노출 시간을 설정하는 방법을 보여주는 동작 흐름도이다. 여기서, 도 11b에서의 동작에 대한 이해를 돕기 위해 도 13을 예시하여 설명한다.
도 11b를 참조하면, 전자 장치는 1170단계에서 상기 제1복수개의 픽셀들이 상기 제2복수개의 픽셀들과 동일한 노출 시간에서 촬영되는 이미지 데이터를 획득할 수 있다. 이어, 1175단계에서 제1조건 및 제2조건 중 적어도 하나가 만족하는지를 판단한다. 여기서, 제1조건은 상기 이미지 데이터 중에서 제1기준 이상(또는 초과)의 픽셀 밝기값들의 수가 제1임계값 이상(또는 초과)인지를 나타내며, 제2조건은 상기 이미지 데이터 중에서 제2기준 이하(또는 미만)의 픽셀 밝기값들의 수가 제2임계값 이하(또는 미만)인지를 나타낼 수 있다.
전자 장치는 1175단계에서 상기 제1조건 또는 제2조건을 만족하는 경우 1180단계에서 상기 제1복수개의 픽셀들과 상기 제2복수개의 픽셀들의 노출 시간을 동일한 시간만큼 변경할 수 있다. 반면 1175단계에서 상기 제1조건 및 상기 제2조건을 동시에 만족하는 경우에는 1185단계에서 상기 제1복수개의 픽셀들이 상기 제2복수개의 픽셀들과 상이한 노출 시간을 갖도록 변경할 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자 장치는 예컨대, 프로세서는 상기 선택된 제 1 기준 이상 또는 초과인 픽셀 밝기값들의 수가 제 1 임계값(threshold) 이상 또는 초과하는 정도에 대응하는 노출 시간(예컨대, 단노출 시간)과, 상기 선택된 제 2 기준 이하 또는 미만인 픽셀 밝기값들의 수가 제 2 임계값 이상 또는 초과하는 정도에 대응하는 노출 시간(예컨대, 장노출 시간) 간의 비율이 임계 비율 이상 또는 초과인 경우, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖는 상태로 변경하도록 상기 이미지 센서를 제어하도록 구성될 수 있다.
또한 본 발명의 다양한 실시 예에 따르면, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖는 상태로 변경되면, 상기 프로세서는, 상기 제 1 복수개의 픽셀들로부터 얻어진 제 1 이미지 데이터 및 상기 제 2 복수개의 픽셀들로부터 얻어진 제 2 이미지 데이터를 기반으로 재구성 또는 다이나믹 레인지 압축 중 적어도 하나의 이미지 처리를 수행하여 다이나믹 레인지(high dynamic range: HDR) 이미지를 형성하도록 구성될 수 있다.
만일 상기와 같이 서로 다른 노출을 가지는 복수의 픽셀들의 노출 시간들 간의 비율이 상기 임계 비율을 넘어가지 않으면 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 동일한 노출 시간을 갖는 자동 노출 모드로 동작할 수 있다. 이러한 자동 노출 모드에서는 상기 재구성 및 상기 다이나믹 레인지 압축을 포함하는 이미지 처리가 생략될 수 있다.
도 13은 본 개시의 다양한 실시 예에 따른 노출 시간 조절 방식을 설명하기 위한 예시도이다.
도 13을 참조하면, 상기 제1복수개의 픽셀들과 상기 제2복수개의 픽셀들의 노출 시간이 동일한 상태(1300)에서는 상기 제1복수개의 픽셀들과 상기 제2복수개의 픽셀들의 노출 시간이 상이한 상태(1310) 또는 상기 제1복수개의 픽셀들과 상기 제2복수개의 픽셀들의 노출 시간을 동일한 시간만큼 변경하는 노출시간 변경 상태(1325)로 변경될 수 있다. 이러한 상태 변경은 상기 제1복수개의 픽셀들과 상기 제2복수개의 픽셀들의 이미지 데이터를 기반으로 한 히스토그램을 기반으로 이루어질 수 있다.
예를 들어, 노출 시간이 동일한 상태(1300)에서 상기 제1복수개의 픽셀들과 상기 제2복수개의 픽셀들의 이미지 데이터를 기반으로 과다 노출 영역 및 과소 노출 영역이 모두 존재하는 히스토그램(1305)이 생성되면, 노출 시간이 상이한 상태(1310)로 변경될 수 있다. 또한, 노출 시간이 동일한 상태(1300)에서 과다 노출 영역이 존재하는 히스토그램(1315) 또는 과소 노출 영역이 존재하는 히스토그램(1320)이 생성되면, 노출 시간 변경 상태(1325)로 변경될 수 있다.
이와 반대로, 노출 시간이 상이한 상태(1310)에서 상기 제1복수개의 픽셀들과 상기 제2복수개의 픽셀들의 이미지 데이터를 기반으로 픽셀값들이 고르게 분포된 히스토그램(1330)이 생성되면, 다시 노출 시간이 동일한 상태(1300)로 되돌아갈 수 있다. 하지만 노출 시간이 상이한 상태(1310)에서 상기 제1복수개의 픽셀들과 상기 제2복수개의 픽셀들의 이미지 데이터를 기반으로 여전히 과다 노출 영역 및 과소 노출 영역이 존재하는 히스토그램(1335)이 생성되면, 현재의 상이한 노출 시간 각각을 동일한 시간만큼 변경하는 노출시간 변경 상태(1325)로 변경될 수 있다. 만일 노출시간 변경 상태(1325)에서 생성된 히스토그램(1345)의 분포가 고르게 되면 상기 제1복수개의 픽셀들과 상기 제2복수개의 픽셀들의 노출 시간을 동일하게 설정하는 상태(1300)로 변경할 수 있다.
예를 들어, 일부 노출이 부족한 영역에 대응하여, 이미지 센서(10)의 제1그룹의 픽셀들의 노출량 즉, 장노출 픽셀들의 노출량을 조정하게 되면, 도 14에 도시된 바와 같이 과소 노출 부분(1200)은 상대적으로 완만한 밝기값 분포(1400)로 변화될 수 있다. 도 14는 본 개시의 다양한 실시 예에 따른 장노출 시간 조절에 따른 히스토그램 변화를 보인 예시도이다.
도 15는 본 개시의 다양한 실시 예에 따른 장노출 시간 조절에 따른 이미지 변화를 설명하기 위한 예시도이다. 여기서, 노출 시간 조절 이전의 이미지(1500)는 상기 제1 그룹의 픽셀들의 노출 시간 및 상기 제2그룹의 픽셀들의 노출 시간이 동일한 자동 노출 모드에서 촬영된 이미지이며, 노출 시간 조절 이후의 이미지(1520)는 HDR 모드에서 촬영된 장노출 이미지라고 가정하기로 한다.
도 15를 참조하면, 노출 시간 조절 이전의 이미지(1500)에서 피사체(1510)보다 광원이 뒤에 있을 경우 피사체(1510) 부분은 과소 노출로 인해 실제보다 어둡게 나타난다. 하지만 장노출 픽셀에 대한 노출 시간을 늘린 이후에는 피사체(1530)의 밝기가 보정된 장노출 이미지(1520)를 얻을 수 있다. 이와 같이 장노출 픽셀의 노출을 조정하여 일반 노출을 수행했을 때보다 노출을 길게 설정하여 노출이 부족한 부분을 완화한 이미지를 얻을 수 있다.
반면, 일부 노출이 과다한 영역에 대응하여, 이미지 센서(10)의 제2그룹의 픽셀들의 노출량 즉, 단노출 픽셀들의 노출량을 조정하게 되면, 도 16에 도시된 바와 같이 과다 노출 부분(1210)은 상대적으로 완만한 밝기값 분포(1600)로 변화될 수 있다. 도 16은 본 개시의 다양한 실시 예에 따른 단노출 시간 조절에 따른 히스토그램 변화를 보인 예시도이다. 이러한 변화를 도 17을 기반으로 설명하면 다음과 같다.
도 17은 본 개시의 다양한 실시 예에 따른 단노출 시간 조절에 따른 이미지 변화를 설명하기 위한 예시도이다.
도 17을 참조하면, 노출 시간 조절 이전의 이미지(1700)에서 배경(1710) 부분은 과다 노출로 인해 실제보다 매우 밝게 나타난다. 하지만 단노출 픽셀에 대한 노출 시간을 감소시킨 이후에는 노출 시간 조절 이전의 이미지(1700)에 비해 배경(1530)의 밝기가 보정된 단노출 이미지(1720)를 얻을 수 있다. 이와 같이 단노출 픽셀의 노출을 조정하여 일반 노출을 수행했을 때보다 노출을 짧게 설정하여 노출이 과다한 부분을 완화한 이미지를 얻을 수 있다.
한편, 전술한 도 12에서는 자동 노출 모드에서 역광을 인식하였을 때 HDR 모드로 트리거하는 경우의 동작을 설명하였으나, 역광에서 HDR 모드로 동작 중이다가 사이 역광 현상이 사라질 경우에는 그 HDR 모드를 해제하여 자동 노출 모드로 되돌아가는 것이 바람직할 것이다. 따라서 본 개시의 다양한 실시 예에 따른 실시간 HDR 모드에서 자동 노출 모드로 전환 시 이미지 센서를 제어하는 과정은 도 18을 참조하여 설명하기로 한다.
도 18을 참조하면, 전자 장치는 1810단계에서 장노출 시간 및 단노출 시간 각각에서 촬영되는 장노출 이미지 데이터 및 단노출 이미지 데이터를 획득하면, 1811단계에서 각각의 이미지 데이터를 기반으로 한 히스토그램을 생성할 수 있다. 1812단계에서 이러한 히스토그램을 기반으로 장노출 시간 및 단노출 시간의 비율을 산출한 후 1813단계에서 장노출 시간 및 단노출 시간의 비율이 임계 비율 이상(또는 초과)인지를 판단할 수 있다. 만일 임계 비율 이상인 경우 전자 장치는 1814단계에서 장노출 시간 및/또는 단노출 시간을 조절하는 모드로 동작하며 임계 비율 이상(또는 초과)이 아닌 경우 1815단계에서 기준 노출 시간을 적용하는 모드로 동작할 수 있다.
또 다른 실시 예로, 촬영의 목적에 따라 제3임계 비율을 정의할 수도 있다. 예를 들면 OCR(Optical Character Recognition)을 위한 이미지 촬영이 필요한 경우, 이미지의 일부 영역에서 텍스트를 검출하고자 하나 이미지의 단노출 시간 및 장노출 시간의 비율이 제1임계 비율 이하인 경우 HDR 모드로 진입하지 못할 수 있다. 이러한 경우 기준 임계 비율보다 작은 제3임계 비율을 적용함으로써, 텍스트 검출 및 인식을 수행할 수도 있다.
또 다른 실시 예로, 복수의 이미지 센서를 사용하여 히스토그램 분석을 수행할 수도 있다. 예를 들면, 서로 다른 제1이미지 센서와 제2이미지 센서로부터 출력되는 이미지 데이터들을 기반으로 각각 제1단노출 시간 및 제1장노출 시간과 제2단노출 시간 및 제2장노출 시간을 산출할 수 있다. 여기서, 제1단노출 시간: 제1장노출 시간, 제2단노출 시간: 제2장노출 시간을 임계 비율과 비교하여 그 결과에 따라 HDR의 단계를 조절할 수도 있다. 예를 들면 조명의 변화에 따라 HDR 모드와 자동 노출 모드 간의 전환이 빈번하게 이루어질 경우 화면에 표시되는 이미지가 깜박이는 것을 방지하기 위해 제1단노출 시간: 제1장노출 시간 및 제2단노출 시간: 제2장노출 시간 모두가 임계 비율을 넘는 경우에만 HDR 모드로 동작하도록 적용할 수도 있다.
또 다른 실시 예로, 복수의 이미지 센서를 이용한 HDR 모드를 적용할 수도 있다. 예를 들면 제1이미지 센서의 단노출 픽셀과 제2이미지 센서의 장노출 픽셀의 픽셀값들을 기반으로 한 이미지들을 합성하여 HDR 이미지를 제공할 수도 있다.
도 19는 본 개시의 다양한 실시예에 따른 전자 장치에 대한 블록도를 도시한다. 도 19를 참조하면, 상기 전자 장치(100)는 버스(110), 프로세서(120), 메모리(130), 사용자 입력 모듈(140), 디스플레이 모듈(150), 또는 통신 모듈(160)을 포함할 수 있다.
상기 버스(110)는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.
상기 프로세서(120)는, 예를 들면, 상기 버스(110)를 통해 전술한 다른 구성요소들(예: 상기 메모리(130), 상기 사용자 입력 모듈(140), 상기 디스플레이 모듈(150), 상기 통신 모듈(160) 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
상기 메모리(130)는, 상기 프로세서(120) 또는 다른 구성요소들(예: 상기 사용자 입력 모듈(140), 상기 디스플레이 모듈(150), 상기 통신 모듈(160)등)로부터 수신되거나 상기 프로세서(120) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 상기 메모리(130)는, 예를 들면, 커널(131), 미들웨어(132), 어플리케이션 프로그래밍 인터페이스(API: application programming interface)(133) 또는 어플리케이션(134) 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
상기 커널(131)은 나머지 다른 프로그래밍 모듈들, 예를 들면, 상기 미들웨어(132), 상기 API(133) 또는 상기 어플리케이션(134)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 상기 버스(110), 상기 프로세서(120) 또는 상기 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널(131)은 상기 미들웨어(132), 상기 API(133) 또는 상기 어플리케이션(134)에서 상기 전자 장치(100)의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어(132)는 상기 API(133) 또는 상기 어플리케이션(134)이 상기 커널(131)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어(132)는 상기 (다수의) 어플리케이션들(134)로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 (다수의) 어플리케이션들(134)들 중 적어도 하나의 어플리케이션에 상기 전자 장치(100)의 시스템 리소스(예: 상기 버스(110), 상기 프로세서(120) 또는 상기 메모리(130) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 로드 밸런싱을 수행할 수 있다.
상기 API(133)는 상기 어플리케이션(134)이 상기 커널(131) 또는 상기 미들웨어(132)에서 제공하는 기능을 제어할 수 있는 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수를 포함할 수 있다.
상기 사용자 입력 모듈(140)은, 예를 들면, 사용자로부터 명령 또는 데이터를 입력 받아 상기 버스(110)를 통해 상기 프로세서(120) 또는 상기 메모리(130)에 전달할 수 있다. 상기 디스플레이 모듈(150)은 사용자에게 화상, 영상 또는 데이터 등을 표시할 수 있다.
상기 통신 모듈(160)은 다른 전자 장치(104)와 상기 전자 장치(100) 간의 통신을 연결할 수 있다. 상기 통신 모듈(160)은 소정의 근거리 통신 프로토콜(예: Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication) 또는 소정의 네트워크 통신(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등) 162을 지원할 수 있다. 상기 전자 장치(104)는 상기 전자 장치(100)와 동일한 (예: 같은 타입의) 장치이거나 또는 다른 (예: 다른 타입의) 장치일 수 있다.
도 20은 다양한 실시예들에 따른 하드웨어(200)의 블록도를 도시한다. 상기 하드웨어(200)는, 예를 들면, 도 19에 도시된 전자 장치(100)일 수 있다. 도 20을 참조하면, 상기 하드웨어(200)는 하나 이상의 프로세서(210), SIM(subscriber identification module) 카드(214), 메모리(220), 통신 모듈(230), 센서 모듈(240), 사용자 입력 모듈(250), 디스플레이 모듈(260), 인터페이스((270)), 오디오 코덱(280), 카메라 모듈(291), 전력관리 모듈(295), 배터리(296), 인디케이터(297) 또는 모터(298)를 포함할 수 있다.
상기 프로세서(210)(예: 상기 프로세서(120))는 하나 이상의 어플리케이션 프로세서(AP: application processor)(211) 또는 하나 이상의 커뮤니케이션 프로세서(CP: communication processor)(213)를 포함할 수 있다. 상기 프로세서(210)는, 예를 들면, 도 19에 도시된 프로세서(120)일 수 있다. 도 20에서는 상기 AP(211) 및 상기 CP(213)가 프로세서(210) 내에 포함된 것으로 도시되었으나, 상기 AP(211) 와 상기 CP(213)는 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 한 실시예에서는 상기 AP(211) 및 상기 CP(213)는 하나의 IC 패키지 내에 포함될 수 있다.
상기 AP(211)는 운영체제 또는 응용 프로그램을 구동하여 상기 AP(211)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어하고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP(211)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시예에 따르면, 상기 프로세서(210)는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
상기 CP(213)는 상기 하드웨어(200)를 포함하는 전자 장치(예: 상기 전자 장치(100))와 네트워크로 연결된 다른 전자 장치들 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. 상기 CP(213)는, 예를 들면, SoC로 구현될 수 있다. 한 실시예에 따르면, 상기 CP(213)는 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다. 상기 CP(213)는, 예를 들면, 가입자 식별 모듈(예: SIM 카드(214))을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 또한, 상기 CP(213)는 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data) 등의 서비스들을 제공할 수 있다.
또한, 상기 CP(213)는 상기 통신 모듈(230)의 데이터 송수신을 제어할 수 있다. 도 20에서는, 상기 CP(213), 상기 전력관리 모듈(295) 또는 상기 메모리(220) 등의 구성요소들이 상기 AP(211)와 별개의 구성요소로 도시되어 있으나, 한 실시예에 따르면, 상기 AP(211)가 전술한 구성요소들의 적어도 일부(예: 상기 CP(213))를 포함하도록 구현될 수 있다.
한 실시예에 따르면, 상기 AP(211) 또는 상기 CP(213)는 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP(211) 또는 상기 CP(213)는 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
상기 SIM 카드(214)는 가입자 식별 모듈을 구현한 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드(214)는 고유한 식별 정보(예: ICCID(integrated circuit card identifier))또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
상기 메모리(220)는 내장 메모리(222) 또는 외장 메모리(224)를 포함할 수 있다. 상기 메모리(220)는, 예를 들면, 도 19에 도시된 메모리(130)일 수 있다. 상기 내장 메모리(222)는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 상기 내장 메모리(222)는 Solid State Drive (SSD)의 형태를 취할 수도 있다. 상기 외장 메모리(224)는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 등을 더 포함할 수 있다.
상기 통신 모듈(230)은 무선 통신 모듈(231) 또는 RF 모듈(234)을 포함할 수 있다. 상기 통신 모듈(230)은, 예를 들면, 도 19에 도시된 통신 모듈(160)일 수 있다. 상기 무선 통신 모듈(231)은, 예를 들면, WiFi(233), BT(bluetooth)(235), GPS(237) 또는 NFC(near field communication)(239)를 포함할 수 있다. 예를 들면, 상기 무선 통신 모듈(231)은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다. 추가적으로 또는 대체적으로, 상기 무선 통신 모듈(231)은 상기 하드웨어(200)를 네트워크(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등)와 연결시키기 위한 네트워크 인터페이스(예: LAN card) 또는 모뎀 등을 포함할 수 있다.
상기 RF 모듈(234)은 데이터의 송수신, 예를 들면, RF 신호 또는 호출된 전자 신호의 송수신을 담당할 수 있다. 상기 RF 모듈(234)은, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, 상기 RF 모듈(234)은 무선통신에서 자유공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.
상기 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), RGB(red, green, blue) 센서(240H), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K) 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 상기 센서 모듈(240)은 물리량을 계측하거나 전자 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 추가적으로/대체적으로, 상기 센서 모듈(240)은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시) 또는 지문 센서 등을 포함할 수 있다. 상기 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어회로를 더 포함할 수 있다.
상기 사용자 입력 모듈(250)은 터치 패널(touch panel)(252), (디지털) 펜 센서(pen sensor)(254), 키(key)(256) 또는 초음파 입력 장치(258)를 포함할 수 있다. 상기 사용자 입력 모듈(250)은, 예를 들면, 도 19에 도시된 사용자 입력 모듈(140)일수 있다. 상기 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패널(252)은 컨트롤러(미도시)를 더 포함할 수도 있다. 정전식의 경우, 직접 터치뿐만 아니라 근접 인식도 가능하다. 상기 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널(252)은 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서(254)는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 상기 키(256)로서, 예를 들면, 키패드 또는 터치 키가 이용될 수 있다. 상기 초음파 입력 장치(258)는 초음파 신호를 발생하는 펜을 통해, 전자 장치에서 마이크(예: 마이크(288))로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시예에 따르면, 상기 하드웨어(200)는 상기 통신 모듈(230)를 이용하여 이와 연결된 외부 장치(예: 네트워크, 컴퓨터 또는 서버(106))로부터 사용자 입력을 수신할 수도 있다.
상기 디스플레이 모듈(260)은 패널(262) 또는 홀로그램(264)을 포함할 수 있다. 상기 디스플레이 모듈(260)은, 예를 들면, 도 19에 도시된 디스플레이 모듈(150)일 수 있다. 상기 패널(262)은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 상기 패널(262)은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 상기 패널(262)은 상기 터치 패널(252)과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램(264)은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 한 실시예에 따르면, 상기 디스플레이 모듈(260)은 상기 패널(262) 또는 상기 홀로그램(264)을 제어하기 위한 제어회로를 더 포함할 수 있다.
상기 인터페이스((270))는, 예를 들면, HDMI(high-definition multimedia interface)(272), USB(universal serial bus)(274), 프로젝터(276) 또는 D-sub(D-subminiature)(278)를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스(270)는, 예를 들면, SD(secure Digital)/MMC(multi-media card)(미도시) 또는 IrDA(infrared data association, 미도시)를 포함할 수 있다.
상기 오디오 코덱(280)은 음성과 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 코덱(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286) 또는 마이크(288) 등을 통해 입력 또는 출력되는 음성 정보를 변환시킬 수 있다.
상기 카메라 모듈(291)은 화상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 렌즈 또는 후면 렌즈), ISP(image signal processor, 미도시) 또는 플래쉬 LED(flash LED, 미도시)를 포함할 수 있다.
상기 전력관리 모듈(295)은 상기 하드웨어(200)의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력관리 모듈(295)은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 게이지(battery fuel gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 정류기 등의 회로가 추가될 수 있다.
상기 배터리 게이지는, 예를 들면, 상기 배터리(296)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리(296)는 전기를 생성하여 전원을 공급할 수 있고, 예를 들면, 충전식 전지(rechargeable battery)일 수 있다.
상기 인디케이터(297)는 상기 하드웨어(200) 혹은 그 일부(예: 상기 AP(211))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있다. 상기 MCU(299)은, 상기 센서 모듈(240)을 제어할 수 있다.
도시되지는 않았으나, 상기 하드웨어(200)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 상기 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 개시에 따른 하드웨어의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 개시에 따른 하드웨어는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 개시에 따른 하드웨어의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 개시에 사용된 용어“모듈”은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈”은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈”은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. “모듈”은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈”은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 개시에 따른 “모듈”은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
도 21은 한 실시예에 따른 프로그래밍 모듈(300)의 블록도를 도시한다. 상기 프로그래밍 모듈(300)은 도 19에 도시된 전자 장치100(예: 상기 메모리(130))에 포함(예: 저장)될 수 있다. 상기 프로그래밍 모듈(300)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다. 상기 프로그래밍 모듈(300)은 하드웨어(예: 상기 하드웨어(200))에 구현되어 전자 장치(예: 상기 전자 장치(100))에 관련된 자원을 제어하는 운영체제(OS: operation system) 또는 운영체제 상에서 구동되는 다양한 어플리케이션(예: 상기 어플리케이션(370))을 포함할 수 있다. 예를 들면, 상기 운영체제는 안드로이드(Android), iOS, 윈도우즈(Windows), 심비안(Symbian), 타이젠(Tizen) 또는 바다(Bada) 등이 될 수 있다. 도 21을 참조하면, 상기 프로그래밍 모듈(300)은 커널(310), 미들웨어(330), API(application programming interface)(360) 또는 어플리케이션(370)을 포함할 수 있다.
상기 커널(310)(예: 상기 커널(131))은 시스템 리소스 매니저(311) 또는 디바이스 드라이버(312)를 포함할 수 있다. 상기 시스템 리소스 매니저(311)는, 예를 들면, 프로세스관리부(313), 메모리관리부(315) 또는 파일시스템관리부(317) 등을 포함할 수 있다. 상기 시스템 리소스 매니저(311)는 시스템 리소스의 제어, 할당 또는 회수 등을 수행할 수 있다. 상기 디바이스 드라이버(312)는, 예를 들면, 디스플레이 드라이버(314), 카메라 드라이버(316), 블루투스 드라이버(318), 공유 메모리 드라이버(320), USB 드라이버(322), 키패드 드라이버(324), WiFi 드라이버(326) 또는 오디오 드라이버 328를 포함할 수 있다. 또한, 한 실시예에 따르면, 상기 디바이스 드라이버(312)는 IPC (inter-process communication, 미도시) 드라이버를 포함할 수 있다.
상기 미들웨어(330)는 상기 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하기 위해 미리 구현해 놓은 복수의 모듈들을 포함할 수 있다. 또한, 상기 미들웨어(330)는 상기 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 상기 API(360)를 통해 기능을 제공할 수 있다. 예를 들면, 도 21에 도시된 바와 같이, 상기 미들웨어(330)(예: 상기 미들웨어(132))는 런타임 라이브러리(335), 어플리케이션 매니저(application manager)(341), 윈도우 매니저(window manager)(342), 멀티미디어 매니저(multimedia manager)(343), 리소스 매니저(resource manager)(344), 파워 매니저(power manager)(345), 데이터베이스 매니저(database manager)(346), 패키지 매니저(347), 연결 매니저(connectivity manager)(348), 통지 매니저(notification manager)(349), 위치 매니저(location manager)(350), 그래픽 매니저(graphic manager)(351) 또는 보안 매니저(security manager)(352) 중 적어도 하나를 포함할 수 있다.
상기 런타임 라이브러리(335)는, 예를 들면, 상기 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 한 실시예에 따르면, 상기 런타임 라이브러리(335)는 입출력, 메모리 관리 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
상기 어플리케이션 매니저(341)는, 예를 들면, 상기 어플리케이션(370)중 적어도 하나의 어플리케이션의 생명주기(life cycle)를 관리할 수 있다. 상기 윈도우 매니저(342)는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 상기 멀티미디어 매니저(343)는 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 상기 리소스 매니저(344)는 상기 어플리케이션(370)중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
상기 파워 매니저(345)는 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 동작에 필요한 전력 정보 등을 제공할 수 있다. 상기 데이터베이스 매니저(346)는 상기 어플리케이션(370) 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색 또는 변경할 수 있도록 관리할 수 있다. 상기 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.
상기 연결 매니저(348)는, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 상기 통지 매니저(349)는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 상기 위치 매니저(350)는 전자 장치의 위치 정보를 관리할 수 있다. 상기 그래픽 매니저(351)는 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 상기 보안 매니저(352)는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시예에 따르면, 전자 장치(예: 상기 전자 장치(100))가 전화 기능을 구비한 경우에는, 상기 미들웨어(330)는 상기 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager, 미도시)를 더 포함할 수 있다.
상기 미들웨어(330)는 전술한 내부 구성요소 모듈들의 다양한 기능 조합을 통해 새로운 미들웨어 모듈을 생성하여 사용할 수 있다. 상기 미들웨어(330)는 차별화된 기능을 제공하기 위해 운영체제의 종류 별로 특화된 모듈을 제공할 수 있다. 또한, 상기 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 따라서, 본 개시의 실시예에 기재된 구성요소를 일부 생략하거나 다른 구성요소를 더 구비하거나 또는 유사한 기능을 수행하는 다른 명칭을 갖는 구성요소로 대체할 수 있다.
상기 API(360)(예: 상기 API(133))는 API 프로그래밍 함수들의 집합으로, 운영체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 예를 들면, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠(Tizen)의 경우, 예를 들면, 두 개 이상의 API 셋을 제공할 수 있다.
상기 어플리케이션(370)(예: 상기 어플리케이션(134))은, 예를 들면, 프리로드 어플리케이션(preloaded Application) 또는 제 삼자 어플리케이션(third party application)을 포함할 수 있다.
상기 프로그래밍 모듈(300)의 적어도 일부는 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 상기 프로세서(210))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리 260가 될 수 있다. 상기 프로그래밍 모듈(300)의 적어도 일부는, 예를 들면, 상기 프로세서(210)에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈(300)의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 및/또는 프로세스 등을 포함할 수 있다.
본 개시에 따른 프로그래밍 모듈(예: 상기 프로그래밍 모듈(300))의 구성요소들의 명칭은 운영체제의 종류에 따라서 달라질 수 있다. 본 개시에 따른 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 개시에 따른 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 처리될 수 있으며, 또한 일부 동작이 생략되거나, 다른 동작이 추가될 수 있다.

Claims (26)

  1. 전자 장치에 있어서,
    픽셀들의 어레이 (an array of pixels)를 포함하며, 상기 어레이로부터 이미지 데이터를 획득하도록 구성된 이미지 센서; 및
    상기 이미지 데이터를 처리하도록 구성된 적어도 하나의 프로세서를 포함하며,
    상기 어레이는, 서로 동일한 노출시간을 가지도록 구성된 제 1 복수개의 픽셀들 (a first plurality of pixels), 및 서로 동일한 노출시간을 가지도록 구성된 제 2 복수개의 픽셀들 (a second plurality of pixels)을 포함하며,
    상기 제 1 복수개의 픽셀들은, 상기 제 2 복수개의 픽셀들과 동일하거나 상이한 노출 시간을 가질 수 있도록 구성되고,
    상기 적어도 하나의 프로세서는, 상기 이미지 데이터에 적어도 일부 기초하여,
    상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 동일한 노출 시간을 갖는 상태에서, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖는 상태로 변경하거나,
    상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖는 상태에서, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 동일한 노출 시간을 갖는 상태로 변경하도록 상기 이미지 센서를 제어(control)하도록 구성된 것을 특징으로 하는 전자 장치.
  2. 제 1 항에 있어서, 상기 프로세서는, 상기 이미지 데이터에 포함된 픽셀 밝기값들(luminance values)의 적어도 일부에 기초하여, 상기 이미지 센서를 제어하도록 구성된 것을 특징으로 하는 전자 장치.
  3. 제 2 항에 있어서, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 동일한 노출 시간을 갖는 상태에서,
    상기 프로세서는,
    상기 이미지 데이터 중에서, 선택된 제 1기준을 초과하는 픽셀 밝기값들의 수가 제 1 임계값(threshold) 이상 또는 초과하는지 여부에 적어도 일부 기초하여, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖는 상태로 변경하도록 상기 이미지 센서를 제어하도록 구성된 것을 특징으로 하는 전자 장치.
  4. 제 3 항에 있어서, 상기 이미지 데이터 중에서, 선택된 제 2 기준 이하 또는 미만인 픽셀 밝기값들의 수가 제 2 임계값 이하 또는 미만인 경우, 상기 제 1복수개의 픽셀들 및 상기 제 2 복수개의 픽셀들의 노출시간을 동일한 시간만큼 변경하도록 상기 이미지 센서를 제어하도록 구성된 것을 특징으로 하는 전자 장치.
  5. 제 2 항에 있어서, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 동일한 노출 시간을 갖는 상태에서, 상기 프로세서는,
    상기 이미지 데이터 중에서, 선택된 제 1 기준 이상 또는 초과인 픽셀 밝기값들의 수가 제 1 임계값(threshold) 이상 또는 초과이고,
    상기 이미지 데이터 중에서, 선택된 제 2 기준 이하 또는 미만인 픽셀 밝기값들의 수가 제 2 임계값 이상 또는 초과인 경우,
    상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖는 상태로 변경하도록 상기 이미지 센서를 제어하도록 구성된 것을 특징으로 하는 전자 장치.
  6. 제 5 항에 있어서,
    상기 선택된 제 1 기준 이상 또는 초과인 픽셀 밝기값들의 수가 제 1 임계값(threshold) 이상 또는 초과하는 정도에 대응하는 노출 시간과, 상기 선택된 제 2 기준 이하 또는 미만인 픽셀 밝기값들의 수가 제 2 임계값 이상 또는 초과하는 정도에 대응하는 노출 시간 간의 비율이 임계 비율 이상 또는 초과인 경우,
    상기 프로세서는,
    상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖는 상태로 변경하도록 상기 이미지 센서를 제어하도록 구성된 것을 특징으로 하는 전자 장치.
  7. 제 6 항에 있어서, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖는 상태로 변경되면,
    상기 프로세서는,
    상기 제 1 복수개의 픽셀들로부터 얻어진 제 1 이미지 데이터 및 상기 제 2 복수개의 픽셀들로부터 얻어진 제 2 이미지 데이터를 기반으로 재구성(reconstruction) 또는 다이나믹 레인지 압축(Dynamic Range Compress: DRC) 중 적어도 하나의 이미지 처리를 수행하여 다이나믹 레인지(high dynamic range: HDR) 이미지를 형성하도록 구성된 것을 특징으로 하는 전자 장치.
  8. 제 3 항에 있어서, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖는 상태에서, 상기 프로세서는, 상기 제 1 복수개의 픽셀들로부터 얻어진 제 1 이미지 데이터 및 상기 제 2 복수개의 픽셀들로부터 얻어진 제 2 이미지 데이터를 처리하도록 구성된 것을 특징으로 하는 전자 장치.
  9. 제 8 항에 있어서, 상기 프로세서는, 상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터에 적어도 일부 기초하여, 상기 제 1 복수개의 픽셀들의 노출시간 및/또는 상기 제 2 복수개의 픽셀들의 노출시간을 조절하도록 구성된 것을 특징으로 하는 장치.
  10. 제 8 항에 있어서, 상기 프로세서는, 상기 제 1 이미지 데이터 및/또는 상기 제 2 이미지 데이터에 적어도 일부 기초하여, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 동일한 노출 시간을 갖는 상태로 변경하도록 상기 이미지 센서를 제어(control)하도록 구성된 것을 특징으로 하는 전자 장치.
  11. 제 8 항에 있어서, 상기 프로세서는, 상기 제 1 이미지 데이터에 포함된 픽셀값들을 이용하여 제 1 이미지를 형성하고, 상기 제 2 이미지 데이터에 기초하여 제 2 이미지를 형성하도록 구성된 것을 특징으로 하는 전자 장치.
  12. 제 11 항에 있어서, 상기 프로세서는, 보간(interpolation)을 이용하여 상기 제 1 또는 제 2 이미지들 중 적어도 하나를 형성하도록 구성된 것을 특징으로 하는 전자 장치.
  13. 제 11 항에 있어서, 상기 프로세서는, 상기 제 1 이미지 및 제 2 이미지를 합성하여, 제 3 이미지를 형성하도록 구성된 것을 특징으로 하는 전자 장치.
  14. 제 13 항에 있어서, 상기 전자 장치는 디스플레이를 더 포함하며, 상기 프로세서는 상기 제 3 이미지를 상기 디스플레이상에 표시하도록 구성된 것을 특징으로 하는 장치.
  15. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는, 어플리케이션 프로세서, 이미지 처리 프로세서, 또는 이미지 프리프로세서 (pre-processor) 중 하나 또는 그 이상을 포함하는 것을 특징으로 하는 전자 장치.
  16. 제 1 항에 있어서, 상기 제 1 복수개의 픽셀들 및 상기 제 2 복수개의 픽셀들은 상기 어레이의 일부 영역에서, 선택된 패턴에 따라 배치(arranged)되는 것을 특징으로 하는 전자 장치.
  17. 제 1 항에 있어서, 상기 픽셀들은 다각형 모양을 가지며,
    상기 제 1 복수개의 픽셀들 중 적어도 두 개의 바로 인접한 픽셀들(at least two immediately next pixel of the first plurality of pixels)이, 다각형의 일변(one side)를 서로 공유하지 않고,
    상기 제 2 복수개의 픽셀들 중 적어도 두 개의 바로 인접한 픽셀들(at least two immediately next pixel of the first plurality of pixels)이, 다각형의 일변(one side)를 서로 공유하지 않도록 배치된 것을 특징으로 하는 전자 장치.
  18. 전자 장치의 동작을 제어하는 제어 방법에 있어서,
    서로 동일한 노출시간을 가지도록 구성된 제 1 복수개의 픽셀들 (a first plurality of pixels), 및 서로 동일한 노출시간을 가지도록 구성된 제 2 복수개의 픽셀들(a second plurality of pixels)을 포함하는, 이미지 센서를 이용하여 이미지 데이터를 획득하는 동작을 포함하며,
    상기 이미지 데이터를 획득하는 동작은,
    상기 제1 복수개의 픽셀들이 상기 제2 복수개의 픽셀들과 동일한 노출 시간을 갖는 상태에서, 상기 제1 복수개의 픽셀들 및 상기 제2 복수개의 픽셀들을 이용하여 이미지 데이터를 획득하는 동작; 및
    상기 획득된 이미지 데이터에 적어도 일부에 기초하여, 상기 제1 복수개의 픽셀들이 상기 제2 복수개의 픽셀들과 상이한 노출 시간을 갖도록 상기 이미지 센서를 제어하는 동작을 포함하는 것을 특징으로 하는 전자 장치의 동작을 제어하는 제어 방법.
  19. 제 18 항에 있어서, 상기 이미지 데이터를 획득하는 동작은,
    상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖는 상태에서,
    상기 획득된 이미지 데이터에 포함된 픽셀 밝기값들(luminance values)의 적어도 일부에 기초하여, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 동일한 노출 시간을 갖는 상태로 변경하도록 상기 이미지 센서를 제어(control)하는 동작을 포함하는 것을 특징으로 하는 전자 장치의 동작을 제어하는 제어 방법.
  20. 제 18 항에 있어서, 상기 이미지 데이터를 획득하는 동작은,
    상기 이미지 데이터에 포함된 픽셀 밝기값들의 적어도 일부에 기초하여 상기 제 1 복수개의 픽셀들의 노출 시간 및/또는 상기 제 2 복수개의 픽셀들의 노출 시간을 조절하는 동작을 포함함을 특징으로 하는 전자 장치의 동작을 제어하는 제어 방법.
  21. 제 20 항에 있어서, 상기 이미지 데이터를 획득하는 동작은,
    상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 동일한 노출 시간을 갖는 상태에서, 상기 이미지 데이터 중에서 선택된 제 1 기준을 초과하는 픽셀 밝기값들의 수가 제 1 임계값 이상 또는 초과하는지 여부에 적어도 일부 기초하여, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖도록 조절하는 동작을 포함함을 특징으로 하는 전자 장치의 동작을 제어하는 제어 방법.
  22. 제 21 항에 있어서, 상기 이미지 데이터 중에서 선택된 제 2 기준 이하 또는 미만인 픽셀 밝기값들의 수가 제 2 임계값 이하 또는 미만인 경우, 상기 제 1 복수개의 픽셀들 및 상기 제 2 복수개의 픽셀들의 노출 시간을 동일한 시간만큼 변경하도록 제어하는 동작을 포함함을 특징으로 하는 전자 장치의 동작을 제어하는 제어 방법.
  23. 제 20 항에 있어서, 상기 이미지 데이터를 획득하는 동작은,
    상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 동일한 노출 시간을 갖는 상태에서,
    상기 이미지 데이터 중에서, 선택된 제 1 기준 이상 또는 초과인 픽셀 밝기값들의 수가 제 1 임계값(threshold) 이상 또는 초과이고,
    상기 이미지 데이터 중에서, 선택된 제 2 기준 이하 또는 미만인 픽셀 밝기값들의 수가 제 2 임계값 이상 또는 초과인 경우,
    상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖는 상태로 변경하도록 제어하는 동작을 더 포함함을 특징으로 하는 전자 장치의 동작을 제어하는 제어 방법.
  24. 제23항에 있어서, 상기 이미지 데이터를 획득하는 동작은,
    상기 선택된 제 1 기준 이상 또는 초과인 픽셀 밝기값들의 수가 제 1 임계값(threshold) 이상 또는 초과하는 정도에 대응하는 노출 시간과, 상기 선택된 제 2 기준 이하 또는 미만인 픽셀 밝기값들의 수가 제 2 임계값 이상 또는 초과하는 정도에 대응하는 노출 시간 간의 비율이 임계 비율 이상 또는 초과인 경우,
    상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖는 상태로 변경하도록 제어하는 동작을 더 포함함을 특징으로 하는 전자 장치의 동작을 제어하는 제어 방법.
  25. 제24항에 있어서, 상기 제 1 복수개의 픽셀들이 상기 제 2 복수개의 픽셀들과 상이한 노출 시간을 갖는 상태로 변경되면,
    상기 제 1 복수개의 픽셀들로부터 얻어진 제 1 이미지 데이터 및 상기 제 2 복수개의 픽셀들로부터 얻어진 제 2 이미지 데이터를 기반으로 재구성(reconstruction) 또는 다이나믹 레인지 압축(Dynamic Range Compress: DRC) 중 적어도 하나의 이미지 처리를 수행하여 다이나믹 레인지(high dynamic range: HDR) 이미지를 형성하는 동작을 더 포함함을 특징으로 하는 전자 장치의 동작을 제어하는 제어 방법.
  26. 제 20 항에 있어서,
    상기 제1 복수개의 픽셀들 및 상기 제2 복수개의 픽셀들에 의한 이미지 데이터를 기반으로 제3이미지를 형성하는 동작과,
    상기 제3이미지를 표시하는 동작을 더 포함함을 특징으로 하는 전자 장치의 동작을 제어하는 제어 방법.
KR1020140020912A 2014-02-21 2014-02-21 전자 장치와, 그의 제어 방법 KR102149187B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140020912A KR102149187B1 (ko) 2014-02-21 2014-02-21 전자 장치와, 그의 제어 방법
US14/450,604 US9451173B2 (en) 2014-02-21 2014-08-04 Electronic device and control method of the same
CN201510068318.8A CN104869320B (zh) 2014-02-21 2015-02-10 电子设备和控制电子设备操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140020912A KR102149187B1 (ko) 2014-02-21 2014-02-21 전자 장치와, 그의 제어 방법

Publications (2)

Publication Number Publication Date
KR20150099302A true KR20150099302A (ko) 2015-08-31
KR102149187B1 KR102149187B1 (ko) 2020-08-28

Family

ID=53883463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140020912A KR102149187B1 (ko) 2014-02-21 2014-02-21 전자 장치와, 그의 제어 방법

Country Status (3)

Country Link
US (1) US9451173B2 (ko)
KR (1) KR102149187B1 (ko)
CN (1) CN104869320B (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073852A1 (en) * 2015-10-30 2017-05-04 Samsung Electronics Co., Ltd. Photographing apparatus using multiple exposure sensor and photographing method thereof
KR20170125604A (ko) * 2016-05-04 2017-11-15 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2018062599A1 (ko) * 2016-09-27 2018-04-05 주식회사 켐트로닉스 Svm 시스템 및 그의 영상입력 및 처리방법
WO2019017698A1 (ko) * 2017-07-20 2019-01-24 삼성전자 주식회사 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
KR20200069828A (ko) * 2018-12-07 2020-06-17 삼성전자주식회사 수광 시간이 다른 복수의 픽셀을 이용하여 획득한 데이터의 합성을 통해 이미지를 생성하는 전자 장치 및 방법
US11379997B2 (en) 2019-11-01 2022-07-05 Samsung Electronics Co., Ltd. Image devices including image sensors and image signal processors, and operation methods of image sensors
US11496689B2 (en) 2020-02-05 2022-11-08 Samsung Electronics Co., Ltd. Image sensor module image compression method thereof and electronic device

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6218389B2 (ja) * 2013-02-07 2017-10-25 キヤノン株式会社 画像処理装置及び画像処理方法
TWI644568B (zh) 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
KR102124598B1 (ko) * 2013-09-30 2020-06-19 삼성전자주식회사 이미지 획득 방법 및 장치
US9894287B2 (en) * 2013-12-06 2018-02-13 Huawei Device (Dongguan) Co., Ltd. Method and apparatus for acquiring a high dynamic image using multiple cameras
TWI505233B (zh) * 2014-02-20 2015-10-21 Asustek Comp Inc 影像處理方法及影像處理裝置
KR102149453B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 획득하기 위한 전자 장치 및 방법
US9307162B2 (en) * 2014-05-21 2016-04-05 Himax Imaging Limited Local enhancement apparatus and method to generate high dynamic range images by blending brightness-preserved and brightness-adjusted blocks
JP6444073B2 (ja) 2014-06-25 2018-12-26 キヤノン株式会社 画像処理装置
JP6520035B2 (ja) * 2014-09-30 2019-05-29 株式会社ニコン 電子機器
JP6579868B2 (ja) * 2015-09-01 2019-09-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6570384B2 (ja) * 2015-09-11 2019-09-04 キヤノン株式会社 撮像装置及び撮像システム
KR101737518B1 (ko) * 2015-10-27 2017-05-18 성균관대학교산학협력단 구조광 기반 3차원 카메라의 최적 노출 시간 및 횟수 결정 방법과 시스템
CN105472266A (zh) * 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN106303269A (zh) * 2015-12-28 2017-01-04 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置、图像采集设备
JP6610290B2 (ja) * 2016-01-28 2019-11-27 セイコーエプソン株式会社 電気光学装置、及び、電気光学装置の制御方法
JP7000861B2 (ja) * 2016-02-16 2022-02-04 ソニーグループ株式会社 画像処理装置、医療機器の作動方法及びプログラム
CN113507568A (zh) * 2016-05-30 2021-10-15 索尼公司 图像拾取装置
JP6914633B2 (ja) * 2016-09-30 2021-08-04 キヤノン株式会社 撮像装置及び撮像方法
CN108694368B (zh) * 2017-03-30 2022-01-25 神盾股份有限公司 影像感测装置及感测方法
US10645302B2 (en) * 2017-03-30 2020-05-05 Egis Technology Inc. Image sensing device having adjustable exposure periods and sensing method using the same
US10158797B2 (en) * 2017-03-31 2018-12-18 Motorola Mobility Llc Combining images when a face is present
US20180376087A1 (en) * 2017-06-23 2018-12-27 Qualcomm Incorporated Using the same pixels to capture both short and long exposure data for hdr image and video
CN107347139B (zh) * 2017-06-30 2019-01-29 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
KR102070745B1 (ko) * 2017-07-05 2020-01-29 선전 구딕스 테크놀로지 컴퍼니, 리미티드 지문 수집 방법, 장치, 다이 및 단말 장치
CN109407521B (zh) * 2017-08-15 2022-03-29 无锡小天鹅电器有限公司 家电控制方法、装置和洗衣机
JP6840247B2 (ja) * 2017-08-18 2021-03-10 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
TW201915818A (zh) * 2017-10-05 2019-04-16 香港商印芯科技股份有限公司 光學識別模組
WO2019176391A1 (ja) * 2018-03-15 2019-09-19 株式会社Ｊｖｃケンウッド ドライブレコーダ、表示制御方法およびプログラム
US10447951B1 (en) * 2018-04-11 2019-10-15 Qualcomm Incorporated Dynamic range estimation with fast and slow sensor pixels
CN108616689B (zh) * 2018-04-12 2020-10-02 Oppo广东移动通信有限公司 基于人像的高动态范围图像获取方法、装置及设备
CN110708468B (zh) * 2018-07-10 2021-10-12 瑞芯微电子股份有限公司 摄像方法和装置
CN108683863B (zh) * 2018-08-13 2020-01-10 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及可读存储介质
CN109005346B (zh) * 2018-08-13 2020-04-03 Oppo广东移动通信有限公司 控制方法、装置、电子设备和计算机可读存储介质
US20210235968A1 (en) * 2018-08-28 2021-08-05 Sony Corporation Medical system, information processing apparatus, and information processing method
TWI695622B (zh) * 2018-09-06 2020-06-01 華晶科技股份有限公司 影像處理方法及影像處理裝置
CN112840637B (zh) 2018-09-07 2022-04-05 杜比实验室特许公司 自动曝光方法
CN109348124B (zh) * 2018-10-23 2021-06-11 Oppo广东移动通信有限公司 图像传输方法、装置、电子设备和存储介质
JP7260990B2 (ja) * 2018-10-26 2023-04-19 キヤノン株式会社 撮像装置及び撮像システム
KR102648747B1 (ko) * 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
US12022589B2 (en) * 2019-04-30 2024-06-25 Signify Holding B.V. Camera-based lighting control
WO2020227980A1 (zh) * 2019-05-15 2020-11-19 合刃科技（深圳）有限公司 图像传感器、光强感知系统及方法
US11653101B2 (en) 2019-05-17 2023-05-16 Samsung Electronics Co., Ltd. Imaging system for generating high dynamic range image
US11064134B2 (en) 2019-06-05 2021-07-13 Omnivision Technologies, Inc. High-dynamic range image sensor and image-capture method
US11102422B2 (en) * 2019-06-05 2021-08-24 Omnivision Technologies, Inc. High-dynamic range image sensor and image-capture method
KR20210009255A (ko) 2019-07-16 2021-01-26 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 시스템
CN112243090A (zh) * 2019-07-16 2021-01-19 三星电子株式会社 图像传感器和图像处理系统
CN110381263B (zh) * 2019-08-20 2021-04-13 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110661983B (zh) * 2019-11-12 2021-03-19 腾讯科技（深圳）有限公司 图像采集方法、装置、设备及存储介质
JP2021082934A (ja) * 2019-11-19 2021-05-27 キヤノン株式会社 撮像装置及び撮像システム
US11232284B2 (en) * 2019-12-27 2022-01-25 Omnivision Technologies, Inc. Techniques for robust anti-spoofing in biometrics using polarization cues for NIR and visible wavelength band
EP4078943A4 (en) * 2020-01-09 2023-01-18 Huawei Technologies Co., Ltd. IMAGE SENSOR AND DEVICE COMPRISING AN IMAGE SENSOR
CN115516522A (zh) * 2020-03-30 2022-12-23 华为技术有限公司 目标识别方法及装置
CN111462021B (zh) * 2020-04-27 2023-08-29 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112217999B (zh) * 2020-09-23 2022-02-18 浙江大华技术股份有限公司 一种宽动态模式的调整方法、装置、电子设备和存储介质
JP2023044339A (ja) * 2021-09-17 2023-03-30 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラムおよび記憶媒体
WO2023050029A1 (zh) * 2021-09-28 2023-04-06 迪克创新科技有限公司 曝光控制电路及相关图像传感器及电子装置
CN114363525B (zh) * 2022-03-17 2022-06-28 杭州灵西机器人智能科技有限公司 Hdr快速自动成像方法、结构光相机、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012234393A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100843087B1 (ko) * 2006-09-06 2008-07-02 삼성전자주식회사 영상 생성 장치 및 방법
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US7825966B2 (en) * 2007-06-29 2010-11-02 Omnivision Technologies, Inc. High dynamic range sensor with blooming drain
JP5171434B2 (ja) * 2007-09-13 2013-03-27 パナソニック株式会社 撮像装置、撮像方法、プログラム、および集積回路
JP4661922B2 (ja) 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP4561912B2 (ja) 2008-09-12 2010-10-13 ソニー株式会社 撮像装置、撮像方法及びプログラム
KR101643319B1 (ko) * 2010-01-11 2016-07-27 삼성전자주식회사 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법
US8994843B2 (en) * 2010-09-01 2015-03-31 Qualcomm Incorporated High dynamic range image sensor
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
JP2015041150A (ja) * 2013-08-20 2015-03-02 キヤノン株式会社 表示制御装置及びその制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012234393A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073852A1 (en) * 2015-10-30 2017-05-04 Samsung Electronics Co., Ltd. Photographing apparatus using multiple exposure sensor and photographing method thereof
US10447940B2 (en) 2015-10-30 2019-10-15 Samsung Electronics Co., Ltd. Photographing apparatus using multiple exposure sensor and photographing method thereof
KR20170125604A (ko) * 2016-05-04 2017-11-15 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2018062599A1 (ko) * 2016-09-27 2018-04-05 주식회사 켐트로닉스 Svm 시스템 및 그의 영상입력 및 처리방법
CN109792475A (zh) * 2016-09-27 2019-05-21 科恩托罗尼丝株式会社 Svm系统及其图像输入和处理方法
CN109792475B (zh) * 2016-09-27 2021-05-11 科恩托罗尼丝株式会社 Svm系统及其图像输入和处理方法
WO2019017698A1 (ko) * 2017-07-20 2019-01-24 삼성전자 주식회사 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
KR20190010040A (ko) * 2017-07-20 2019-01-30 삼성전자주식회사 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
US11394892B2 (en) 2017-07-20 2022-07-19 Samsung Electronics Co., Ltd. Electronic device, and method for electronic device compressing high dynamic range image data
KR20200069828A (ko) * 2018-12-07 2020-06-17 삼성전자주식회사 수광 시간이 다른 복수의 픽셀을 이용하여 획득한 데이터의 합성을 통해 이미지를 생성하는 전자 장치 및 방법
US11379997B2 (en) 2019-11-01 2022-07-05 Samsung Electronics Co., Ltd. Image devices including image sensors and image signal processors, and operation methods of image sensors
US11496689B2 (en) 2020-02-05 2022-11-08 Samsung Electronics Co., Ltd. Image sensor module image compression method thereof and electronic device

Also Published As

Publication number Publication date
KR102149187B1 (ko) 2020-08-28
CN104869320A (zh) 2015-08-26
US20150244916A1 (en) 2015-08-27
US9451173B2 (en) 2016-09-20
CN104869320B (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
KR102149187B1 (ko) 전자 장치와, 그의 제어 방법
CN111418201B (zh) 一种拍摄方法及设备
CN108322646B (zh) 图像处理方法、装置、存储介质及电子设备
US8994845B2 (en) System and method of adjusting a camera based on image data
KR101916355B1 (ko) 듀얼-렌즈 장치의 촬영 방법, 및 듀얼-렌즈 장치
KR102263537B1 (ko) 전자 장치와, 그의 제어 방법
KR102570305B1 (ko) 전자 장치 및 그 제어 방법
CN111028189A (zh) 图像处理方法、装置、存储介质及电子设备
CN110213502B (zh) 图像处理方法、装置、存储介质及电子设备
CN108391060B (zh) 一种图像处理方法、图像处理装置和终端
JP6924901B2 (ja) 写真撮影方法および電子装置
KR20150099263A (ko) 이미지를 획득하기 위한 전자 장치 및 방법
KR20150077646A (ko) 이미지 처리 장치 및 방법
KR20160108928A (ko) 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
KR102124598B1 (ko) 이미지 획득 방법 및 장치
CN104917973B (zh) 动态曝光调整方法及其电子装置
KR20160016068A (ko) 이미지 생성 방법 및 그 전자 장치
CN110264473B (zh) 基于多帧图像的图像处理方法、装置及电子设备
CN110830730B (zh) 电子装置中用于生成移动图像数据的设备和方法
CN110012227B (zh) 图像处理方法、装置、存储介质及电子设备
EP3836532A1 (en) Control method and apparatus, electronic device, and computer readable storage medium
KR20200117695A (ko) 외부 전자 장치를 이용하여 카메라를 제어하는 전자 장치 및 방법
KR20160063794A (ko) 촬영 장치 및 그 제어 방법
KR20170011876A (ko) 영상 처리 장치 및 그 동작 방법
EP2658245B1 (en) System and method of adjusting camera image data

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant