KR20220017649A - 이미지 센서를 포함하는 전자 장치 - Google Patents

이미지 센서를 포함하는 전자 장치 Download PDF

Info

Publication number
KR20220017649A
KR20220017649A KR1020200097880A KR20200097880A KR20220017649A KR 20220017649 A KR20220017649 A KR 20220017649A KR 1020200097880 A KR1020200097880 A KR 1020200097880A KR 20200097880 A KR20200097880 A KR 20200097880A KR 20220017649 A KR20220017649 A KR 20220017649A
Authority
KR
South Korea
Prior art keywords
image
image signal
value
processor
signal
Prior art date
Application number
KR1020200097880A
Other languages
English (en)
Inventor
차승호
김성수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200097880A priority Critical patent/KR20220017649A/ko
Priority to US17/330,003 priority patent/US11412197B2/en
Priority to CN202110855654.2A priority patent/CN114070972A/zh
Publication of KR20220017649A publication Critical patent/KR20220017649A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/735—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H04N5/2257—
    • H04N5/2258—
    • H04N5/2351—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

이미지의 화질 열화를 감소시킴으로써 제품 신뢰성이 향상되는 이미지 센서 및 프로세서를 포함한 전자 장치가 제공된다. 전자 장치는 디스플레이를 투과하는 빛을 센싱하여 제1 이미지 신호를 출력하는 제1 이미지 센서, 디스플레이를 투과하지 않는 빛을 센싱하여 제2 이미지 신호를 출력하는 제2 이미지 센서, 및 제1 및 제2 이미지 센서와 연결되고, 제1 및 제2 이미지 신호를 제공받는 프로세서를 포함하고, 프로세서는, 제2 이미지 신호를 기초로 하여 제1 광학 값과, 제1 광학 값과 다른 제2 광학 값을 생성하고, 제1 광학 값을 기초로 하여 제1 이미지 신호에 대한 보정 여부를 결정하고, 제1 이미지 신호에 대한 보정 여부 결정에 응답하여, 제2 광학 값을 이용하여 제1 이미지 신호를 보정한다.

Description

이미지 센서를 포함하는 전자 장치 {ELECTRONIC DEVICE INCLUDING AN IMAGE SENSOR}
본 발명은 이미지 센서를 포함하는 전자 장치에 대한 것이다. 상세히, 본 발명은 복수의 이미지 센서와 이미지 신호 프로세서를 포함하는 전자 장치에 대한 것이다.
이미지 센싱 장치(image sensing device)는 광학 정보를 전기 신호로 변환시키는 반도체 소자 중 하나이다. 이러한 이미지 센싱 장치는 전하 결합형(CCD; Charge Coupled Device) 이미지 센싱 장치와 씨모스형(CMOS; Complementary Metal-Oxide Semiconductor) 이미지 센싱 장치를 포함할 수 있다.
CMOS 형 이미지 센서는 CIS(CMOS image sensor)라고 약칭될 수 있다. CIS는 2차원적으로 배열된 복수개의 픽셀들을 구비할 수 있다. 픽셀들 각각은 예를 들어, 포토 다이오드(photodiode, PD)를 포함할 수 있다. 포토다이오드는 입사되는 광을 전기 신호로 변환해주는 역할을 할 수 있다.
최근 들어, 컴퓨터 산업과 통신 산업의 발달에 따라 디지털 카메라, 캠코더, 스마트폰, 게임 기기, 경비용 카메라, 의료용 마이크로 카메라, 로봇, 자율주행 자동차, 드론 등 다양한 분야에서 성능이 향상된 이미지 센서의 수요가 증대되고 있다.
최근, 이미지 센서는 전자 장치의 디스플레이 패널 아래에 위치할 수 있다. 이미지 센서가 디스플레이 패널을 투과하는 빛을 센싱함에 따라, 센싱되는 빛에 대한 정보는 실제의 빛에 대한 정보와 다를 수 있다. 예를 들어, 디스플레이 패널을 투과하는 빛을 센싱한 이미지 센서가 출력한 이미지의 화질은, 디스플레이 패널을 투과하지 않는 빛을 센싱한 이미지 센서가 출력한 이미지의 화질보다 열화될 수 있다. 따라서, 이와 같은 문제를 해결하기 위한 방법이 요구된다.
본 발명이 해결하고자 하는 기술적 과제는, 이미지의 화질 열화를 감소시킴으로써 제품 신뢰성이 향상되는 이미지 센서 및 프로세서를 포함한 전자 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 이미지의 화질을 개선시킴으로써 제품 신뢰성이 향상되는 이미지 센서 및 프로세서를 포함한 전자 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 전자 장치는 디스플레이를 투과하는 빛을 센싱하여 제1 이미지 신호를 출력하는 제1 이미지 센서, 디스플레이를 투과하지 않는 빛을 센싱하여 제2 이미지 신호를 출력하는 제2 이미지 센서, 및 제1 및 제2 이미지 센서와 연결되고, 제1 및 제2 이미지 신호를 제공받는 프로세서를 포함하고, 프로세서는, 제2 이미지 신호를 기초로 하여 제1 광학 값과, 제1 광학 값과 다른 제2 광학 값을 생성하고, 제1 광학 값을 기초로 하여 제1 이미지 신호에 대한 보정 여부를 결정하고, 제1 이미지 신호에 대한 보정 여부 결정에 응답하여, 제2 광학 값을 이용하여 제1 이미지 신호를 보정할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 전자 장치는 전면 및 후면을 포함하는 전자 장치로서, 전면으로 입사되는 빛을 센싱하여 제1 이미지 신호를 출력하는 제1 이미지 센서, 후면으로 입사되는 빛을 센싱하여 제2 이미지 신호를 출력하는 제2 이미지 센서, 제1 및 제2 이미지 센서와 연결되고, 제1 및 제2 이미지 신호를 제공받는 프로세서, 및 전면에 배치되고, 제1 및 제2 이미지 신호에 기초하여 생성된 이미지를 출력하는 디스플레이를 포함하고, 프로세서는, 제2 이미지 신호에 기초하여 제1 색온도 값을 생성하고, 생성된 제1 색온도 값을 이용하여 제1 이미지 신호를 보정할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 전자 장치는, 디스플레이, 디스플레이를 투과하는 빛을 센싱하여 제1 이미지 신호를 출력하는 제1 이미지 센서를 포함하는 제1 카메라 모듈, 디스플레이를 투과하지 않는 빛을 센싱하여 제2 이미지 신호를 출력하는 제2 이미지 센서를 포함하는 제2 카메라 모듈, 및 제1 및 제2 카메라 모듈과 분리되어 배치되고, 제1 카메라 모듈과 제1 카메라 직렬 인터페이스(camera serial interface, CSI)를 통해 연결되고, 제2 카메라 모듈과 제2 카메라 직렬 인터페이스를 통해 연결되는 이미지 신호 프로세서(image signal processor)를 포함하는 어플리케이션 프로세서(application processor)를 포함하고, 이미지 신호 프로세서는, 제1 카메라 직렬 인터페이스를 통해 제1 카메라 모듈로부터 제1 이미지 신호를 제공받고, 제2 카메라 직렬 인터페이스를 통해 제2 카메라 모듈로부터 제2 이미지 신호를 제공받고, 제1 이미지 신호에 기초하여 제1 색온도 값을 생성하고, 제2 이미지 신호에 기초하여 휘도 값 또는 조도 값과 제2 색온도 값을 생성하고, 휘도 값 또는 조도 값이 임계 값 이상인 경우 제1 이미지 신호를 제2 색온도 값에 기초하여 보정하고, 휘도 값 또는 조도 값이 임계 값 미만인 경우 제1 이미지 신호를 제1 색온도 값에 기초하여 보정할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 몇몇 실시예에 따른 전자 장치를 설명하기 위한 사시도이다.
도 2는 도 1의 A-A를 따라 절단한 전자 장치의 단면도이다.
도 3은 도 1의 전자 장치를 제1 방향에서 바라본 사시도이다.
도 4는 도 3의 B-B를 따라 절단한 전자 장치의 단면도이다.
도 5는 몇몇 실시예에 따른 이미지 센싱 시스템을 설명하기 위한 블록도이다.
도 6은 도 5의 이미지 센서의 개념적인(conceptual) 레이아웃을 설명하기 위한 도면이다.
도 7은 도 5의 제1 이미지 신호 프로세서와 제2 이미지 신호 프로세서를 설명하기 위한 블록도이다.
도 8은 도 7의 후처리 회로를 설명하기 위한 블록도이다.
도 9는 도 8의 후처리 회로를 설명하기 위한 블록도이다.
도 10은 몇몇 실시예에 따른 후처리 회로의 이미지 보정 방법을 설명하기 위한 순서도이다.
도 11은 도 8의 후처리 회로를 설명하기 위한 블록도이다.
도 12는 몇몇 실시예에 따른 이미지의 보정 조건을 나타내는 도면이다.
도 13은 몇몇 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 14는 다른 몇몇 실시예에 따른 이미지 센싱 시스템을 설명하기 위한 블록도이다.
도 15는 몇몇 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치를 설명하기 위한 블록도이다.
도 16은 도 15의 카메라 모듈의 상세 블록도이다.
이하 첨부된 도면을 참조하여, 본 발명의 기술적 사상에 따른 실시예들에 대해 설명한다.
이하 도 1 내지 도 4를 참조하여 제1 이미지 센서 및 제2 이미지 센서를 포함하는 전자 장치에 대해 설명한다.
도 1은 몇몇 실시예에 따른 전자 장치를 설명하기 위한 사시도이다. 도 2는 도 1의 A-A를 따라 절단한 전자 장치의 단면도이다. 도 3은 도 1의 전자 장치를 제1 방향에서 바라본 사시도이다. 도 4는 도 3의 B-B를 따라 절단한 전자 장치의 단면도이다.
도 1 내지 도 4를 참조하면, 전자 장치(1)는 커버 글래스(10), 디스플레이(20), 후면 글래스(30), 백 커버(40), 제1 이미지 센서(100) 및 제2 이미지 센서(200) 등을 포함할 수 있다.
몇몇 실시예에서, 전자 장치(1)는 하우징을 포함할 수 있다. 예를 들어, 하우징은 제1 방향(D1)을 향하도록 배치된 커버 글래스(10) 및 제1 방향(D1)과 반대되는 제4 방향을 향하도록 배치된 후면 글래스(30)를 포함할 수 있다. 또한, 예를 들어 하우징은 커버 글래스(10)와 후면 글래스(30)를 연결하는 연결부를 포함할 수 있다. 하우징은 외부로부터 전자 장치(1)의 내부의 부품들을 보호할 수 있다.
커버 글래스(10)는 디스플레이(20)가 표시하는 전기적 정보 신호를 외부에서 인식할 수 있도록, 투명한 소재를 포함할 수 있다. 예를 들어, 커버 글래스(10)는 유리 또는 플라스틱 등을 포함할 수 있다.
커버 글래스(10) 및 후면 글래스(30)는 평평한 형상일 수 있다. 예를 들어, 커버 글래스(10) 및 후면 글래스(30)는 제2 방향(D2)으로의 길이 및 제3 방향(D3)으로의 길이가 제1 방향(D1)으로의 길이 또는 두께보다 클 수 있다. 이에 따라, 전자 장치(1)는 평평한 형상을 가질 수 있다. 하지만 본 발명의 기술적 사상에 따른 실시예는 이에 제한되지 않는다.
제1 방향(D1)으로의 전자 장치(1)의 면은 전면일 수 있고, 제4 방향(D4)으로의 전자 장치(1)의 면은 후면일 수 있다. 하지만, 이는 예시적인 것이며, 본 발명의 기술적 사상에 따른 실시예는 제한되지 않는다.
도 1 및 도 2를 참조하면, 커버 글래스(10)는 디스플레이(20)를 덮을 수 있다. 예를 들어, 디스플레이(20)는 커버 글래스(10)로부터 제4 방향(D4)으로 배치될 수 있다.
디스플레이(20)는 행(row)과 열(column)을 따라 배치된 복수 개의 픽셀들을 포함할 수 있다. 예를 들어, 디스플레이(20)는 유기 발광 표시 장치(organic light emitting diode display)(OLED), 액정 표시 장치(liquid crystal display)(LCD), DP(plasma display panel) 장치, ECD(Electrochromic Display), DMD(Digital Mirror Device), AMD(Actuated Mirror Device), GLV(Grating Light Value), PDP(Plasma Display Panel), ELD(Electro Luminescent Display) 등을 포함할 수 있다.
디스플레이(20)는 전자 장치(1)로부터 제공되는 이미지를 출력할 수 있다. 예를 들어, 복수 개의 픽셀들에 신호가 전달됨으로써, 디스플레이(20)는 해당 이미지를 출력할 수 있다. 예를 들어, 디스플레이(20)는 영상을 표시하거나 사용자의 터치에 의한 입력을 하는 터치 스크린 또는 터치 패널을 포함할 수 있다.
제1 이미지 센서(100)는 전자 장치(1)의 외부에서 디스플레이(20)를 투과하여 입사되는 빛 또는 디스플레이(20)가 출력한 빛의 일부를 센싱할 수 있다. 예를 들어, 제1 이미지 센서(100)는 디스플레이(20)에 의해 커버될 수 있고, 전자 장치(1)의 내부에서 전자 장치(1)의 외부로부터 입사되는 빛을 센싱할 수 있다. 예를 들어, 제1 이미지 센서(100)는 디스플레이(20)가 출력한 빛이 커버 글래스(10)에 반사된 빛을 센싱할 수 있다.
예를 들어, 제1 이미지 센서(100)는 커버 글래스(10), 디스플레이(20)의 픽셀 및 디스플레이(20)의 복수의 픽셀들 사이를 투과하는 빛을 센싱할 수 있다.
이에 따라, 디스플레이(20)를 투과하는 빛은 커버 글래스(10) 및 디스플레이(20)의 픽셀 등에 의하여 휘도 값 및 색온도 값이 변화될 수 있다. 예를 들어, 제1 이미지 센서(100)가 디스플레이(20)를 투과하는 빛을 센싱하여 출력한 신호를 처리한 결과 생성되는 휘도 값 및 색온도 값은 실제 휘도 값 및 색온도 값보다 작을 수 있다. 하지만, 본 발명의 기술적 사상에 따른 실시예는 이에 제한되지 않는다.
여기서, 휘도 값(luminance value)은 조도 값(illuminance value)과 유사한 의미일 수 있다. 즉, 휘도 값은 조도 값과 함께 사용될 수 있다. 이하, 발명의 기술적 사상에 따른 실시예는 휘도 값을 이용하는 것으로 표현되지만, 조도 값 또한 휘도 값과 동일하게 사용될 수 있다.
제1 이미지 센서(100)는 디스플레이(20)에 의해 커버되고, 제1 이미지 센서(100)의 주위를 백 커버(40)가 둘러쌀 수 있다. 예를 들어, 백 커버(40)에 형성된 개구부에 제1 이미지 센서(100)가 배치될 수 있다.
백 커버(40)는 전자 장치(1) 내부에서 발생한 빛이 디스플레이(20)에 영향을 주는 것을 방지할 수 있다. 또한, 백 커버(40)는 디스플레이(20)에서 출력되는 빛이 전자 장치(1) 내부로 입사되는 것을 방지할 수 있다.
도 3 및 도 4를 참조하면, 후면 글래스(30)는 전자 장치(1)의 후면(예를 들어, 전자 장치(1)의 제4 방향(D4)으로의 면)에 배치될 수 있다. 또한, 제2 이미지 센서(200)는 전자 장치(1)의 후면(예를 들어, 전자 장치(1)의 제4 방향(D4)으로의 면)에 배치될 수 있다. 하지만, 본 발명의 기술적 사상에 따른 실시예는 이에 제한되지 않으며, 제2 이미지 센서(200)는 측면 또는 전면 등에 배치될 수도 있다.
후면 글래스(30)는 제2 이미지 센서(200)를 둘러싸도록 배치될 수 있다. 예를 들어, 후면 글래스(30)에 형성된 개구부에 제2 이미지 센서(200)가 배치될 수 있다. 제2 이미지 센서(200)의 표면은 제4 방향(D4)을 향할 수 있다. 예를 들어, 제2 이미지 센서(200)의 수광부는 제4 방향(D4)(예를 들어 후면으로의 방향)을 향할 수 있다.
제2 이미지 센서(200)는 전자 장치(1)의 후면으로 입사되는 빛을 센싱할 수 있다. 예를 들어, 제2 이미지 센서(200)는 전면에 배치된 디스플레이(20)를 투과하지 않는 빛을 센싱할 수 있다. 즉, 제1 이미지 센서(100)가 디스플레이(20)를 투과한 빛을 센싱하는 반면에, 제2 이미지 센서(200)의 수광부는 디스플레이(20) 또는 전자 장치(1)의 다른 구성에 의해 덮혀지지 않아 디스플레이(20)를 투과하지 않는 빛을 센싱할 수 있다.
제2 이미지 센서(200)는 1 개로 도시되었으나, 제2 이미지 센서(200)는 복수 개의 이미지 센서를 포함할 수 있다. 예를 들어, 제2 이미지 센서(200)는 일반 카메라, 광각 카메라 및 망원 카메라 등을 포함할 수 있다.
후면 글래스(30)는 외부로부터 전자 장치(1)에 빛이 입사되는 것을 방지할 수 있다. 즉, 제2 이미지 센서(200)가 배치된 개구부를 제외한 부분에 빛이 입사되는 것을 방지할 수 있다.
이하 도 5 내지 도 9를 참조하여 제1 이미지 센서(100), 제2 이미지 센서(200) 및 어플리케이션 프로세서(300)를 포함하는 이미지 센싱 시스템(2)에 대해 설명한다.
도 5는 몇몇 실시예에 따른 이미지 센싱 시스템을 설명하기 위한 블록도이다.
도 5를 참조하면, 이미지 센싱 시스템(2)은 제1 이미지 센서(100), 제2 이미지 센서(200) 및 어플리케이션 프로세서(300)를 포함할 수 있다.
제1 이미지 센서(100)는 입사되는 빛을 이용하여 센싱 대상의 이미지를 센싱하여 제1 이미지 신호(S1)를 생성할 수 있다. 예를 들어, 제1 이미지 센서(100)는 디스플레이(20)를 투과하는 빛을 센싱하여 제1 이미지 신호(S1)를 생성할 수 있다.
제2 이미지 센서(200)는 입사되는 빛을 이용하여 센싱 대상의 이미지를 센싱하여 제2 이미지 신호(S2)를 생성할 수 있다. 예를 들어, 제2 이미지 센서(200)는 디스플레이(20)를 투과하지 않는 빛을 센싱하여 제2 이미지 신호(S2)를 생성할 수 있다.
제1 이미지 신호(S1) 및 제2 이미지 신호(S2)는 어플리케이션 프로세서(300)(application processor, AP)에 제공되어 처리될 수 있다. 예를 들어, 제1 이미지 신호(S1)는 제1 이미지 신호 프로세서(310)(image signal processor)에 제공되어 처리될 수 있고, 제2 이미지 신호(S2)는 제2 이미지 신호 프로세서(330)에 제공되어 처리될 수 있다. 하지만 본 발명의 기술적 사상에 따른 실시예는 이에 제한되지 않고, 제1 및 제2 이미지 신호 프로세서(310, 330)는 하나의 이미지 신호 프로세서로 구현될 수 있다.
제1 이미지 신호 프로세서(310)는 제1 이미지 센서(100)의 버퍼(170)로부터 출력된 제1 이미지 신호(S1)를 수신하고, 수신된 제1 이미지 신호(S1)를 디스플레이에 용이하도록 가공하거나 처리할 수 있다.
제2 이미지 신호 프로세서(330)는 제2 이미지 센서(200)의 버퍼(270)로부터 출력된 제2 이미지 신호(S2)를 수신하고, 수신된 제2 이미지 신호(S2)를 디스플레이에 용이하도록 가공하거나 처리할 수 있다.
몇몇 실시예에서 제1 및 제2 이미지 신호 프로세서(310, 330)는 제1 및 제2 이미지 신호(S1, S2)에 대해 디지털 비닝을 수행할 수 있다. 제1 및 제2 이미지 신호(S1, S2)는 아날로그 비닝 없이 픽셀 어레이(140, 240)로부터의 로우(raw) 이미지 신호일 수도 있고, 아날로그 비닝이 이미 수행된 제1 및 제2 이미지 신호(S1, S2)일 수도 있다.
몇몇 실시예에서, 제1 및 제2 이미지 센서(100, 200)와 어플리케이션 프로세서(300)는 서로 분리되어 배치될 수 있다. 예를 들어, 제1 및 제2 이미지 센서(100, 200)가 제1 칩에 탑재되고, 어플리케이션 프로세서(300)가 제2 칩에 탑재되어 인터페이스를 통해 서로 통신할 수 있다. 하지만, 본 발명의 기술적 사상에 따른 실시예는 이에 제한되지 않고, 제1 및 제2 이미지 센서(100, 200)와 어플리케이션 프로세서(300)는 하나의 패키지, 예를 들어 MCP(multi-chip package)로 구현될 수 있다.
제1 이미지 센서(100)는 컨트롤 레지스터 블록(110), 타이밍 제네레이터(120), 로우(row) 드라이버(130), 픽셀 어레이(140), 리드 아웃 회로(150), 램프 신호 생성기(160) 및 버퍼(170)를 포함할 수 있다.
컨트롤 레지스터 블록(110)은 이미지 센서(100)의 동작을 전체적으로 제어할 수 있다. 특히, 컨트롤 레지스터 블록(110)은 타이밍 제네레이터(120), 램프 신호 생성기(160) 및 버퍼(170)에 직접적으로 동작 신호를 전송할 수 있다.
타이밍 제네레이터(120)는 이미지 센서(100)의 여러 구성 요소들의 동작 타이밍의 기준이 되는 신호를 발생할 수 있다. 타이밍 제네레이터(120)에서 발생된 동작 타이밍 기준 신호는 로우 드라이버(130), 리드 아웃 회로(150), 램프 신호 생성기(160) 등에 전달될 수 있다.
램프 신호 생성기(160)는 리드 아웃 회로(150)에 사용되는 램프 신호를 생성하고 전송할 수 있다. 예를 들어, 리드 아웃 회로(150)는 상관 이중 샘플러(CDS), 비교기 등을 포함할 수 있는데, 램프 신호 생성기(160)는 상관 이중 샘플러(CDS), 비교기 등에 사용되는 램프 신호를 생성하고 전송할 수 있다.
버퍼(170)는 예를 들어, 래치부를 포함할 수 있다. 버퍼(170)는 외부로 제공할 제1 이미지 신호(S1)를 임시적으로 저장할 수 있으며, 제1 이미지 신호(S1)를 외부 메모리 또는 외부 장치로 전송할 수 있다.
픽셀 어레이(140)는 외부 이미지를 센싱할 수 있다. 픽셀 어레이(140)는 복수의 픽셀(또는 단위 픽셀)을 포함할 수 있다. 로우 드라이버(130)는 픽셀 어레이(140)의 로우(row)를 선택적으로 활성화시킬 수 있다. 픽셀 어레이(140)는 디스플레이(20)를 투과하여 입사되는 빛을 획득할 수 있다.
리드 아웃 회로(150)는 픽셀 어레이(140)로부터 제공받은 픽셀 신호를 샘플링하고, 이를 램프 신호와 비교한 후, 비교 결과를 바탕으로 아날로그 이미지 신호(데이터)를 디지털 이미지 신호(데이터)로 변환할 수 있다.
도 6은 도 5의 이미지 센서의 개념적인(conceptual) 레이아웃을 설명하기 위한 도면이다.
도 6을 참조하면, 제1 이미지 센서(100)는 제1 방향(예를 들어, 수직 방향)으로 적층된 제1 및 제2 영역(R1, R2)을 포함할 수 있다. 제1 및 제2 영역(R1, R2)은 도시된 것과 같이 제1 방향과 교차하는 제2 방향과, 제1 및 제2 방향과 교차하는 제3 방향으로 연장될 수 있으며, 제1 및 제2 영역(R1, R2)에 도 5에 도시된 블록들이 배치될 수 있다.
도면에 도시하지는 않았으나, 제2 영역(R2) 하부에는 메모리가 배치된 제3 영역이 배치될 수도 있다. 이 때, 제3 영역에 배치된 메모리는 제1 및 제2 영역(R1, R2)으로부터 이미지 데이터를 전송받아, 이를 저장하거나 처리하고, 이미지 데이터를 제1 및 제2 영역(R1, R2)으로 재전송할 수 있다. 이 때, 메모리는 DRAM(dynamic random access memory) 소자, SRAM(static random access memory) 소자, STT-MRAM(spin transfer torque magnetic random access memory) 소자 및 플래시(flash) 메모리 소자와 같은 메모리 소자를 포함할 수 있다. 메모리가 예를 들어, DRAM 소자를 포함하는 경우, 이미지 데이터를 상대적으로 고속으로 전송받아 처리할 수 있다. 또한, 몇몇 실시예에서, 메모리는 제2 영역(R2)에 배치될 수도 있다.
제1 영역(R1)은 픽셀 어레이 영역(PA) 및 제1 주변 영역(PH1)을 포함하고, 제2 영역(R2)은 로직회로 영역(LC) 및 제2 주변 영역(PH2)을 포함할 수 있다. 제1 및 제2 영역(R1, R2)은 순차적으로 상하로 적층되어 배치될 수 있다.
제1 영역(R1)에서, 픽셀 어레이 영역(PA)은 도 5를 참조하여 설명한 픽셀 어레이(도 5의 140)가 배치되는 영역일 수 있다. 픽셀 어레이 영역(PA)은 매트릭스(matrix) 형태로 배열된 복수의 단위 픽셀들을 포함할 수 있다. 각 픽셀은 포토 다이오드 및 트랜지스터들을 포함할 수 있다.
제1 주변 영역(PH1)은 복수의 패드들을 포함할 수 있으며, 픽셀 어레이 영역(PA)의 주변에 배치될 수 있다. 복수의 패드들은 외부 장치 등과 전기적 신호를 송수신할 수 있다.
제2 영역(R2)에서, 로직 회로 영역(LC)은 복수의 트랜지스터들을 포함하는 전자 소자들을 포함할 수 있다. 로직 회로 영역(LC)에 포함된 전자 소자들은 픽셀 어레이 영역(PA)과 전기적으로 연결되어, 픽셀 어레이 영역(PA)의 각 단위 픽셀(PX)에 일정한 신호를 제공하거나 출력 신호를 제어할 수 있다.
로직 회로 영역(LC)에는 예를 들어, 도 5를 참조하여 설명한 컨트롤 레지스터 블록(110), 타이밍 제네레이터(120), 로우 드라이버(130), 리드 아웃 회로(150), 램프 신호 생성기(160), 버퍼(170) 등이 배치될 수 있다. 로직 회로 영역(LC)에는 예를 들어, 도 5의 블록들에서, 픽셀 어레이(140) 이외의 블록들이 배치될 수 있다.
제2 영역(R2)에도 제1 영역(R1)의 제1 주변 영역(PH1)에 대응되는 영역에 제2 주변 영역(PH2)이 배치될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
이상, 제1 이미지 센서(100)에 대하여 설명하였지만, 이와 동일한 설명이 제2 이미지 센서(200)에 대하여도 적용될 수 있다. 예를 들어, 제1 이미지 센서(100)의 컨트롤 레지스터 블록(110), 타이밍 제네레이터(120), 로우 드라이버(130), 픽셀 어레이(140), 리드 아웃 회로(150), 램프 신호 생성기(160) 및 버퍼(170)의 구성 및 동작은, 제2 이미지 센서(200)의 컨트롤 레지스터 블록(210), 타이밍 제네레이터(220), 로우 드라이버(230), 픽셀 어레이(240), 리드 아웃 회로(250), 램프 신호 생성기(260) 및 버퍼(270)의 구성 및 동작과 실질적으로 동일할 수 있다.
또한 제2 이미지 센서(200)의 로직 회로 영역(LC)에 컨트롤 레지스터 블록(110), 타이밍 제네레이터(120), 로우 드라이버(130), 리드 아웃 회로(150), 램프 신호 생성기(160) 및 버퍼(170) 등이 배치될 수 있다.
다만, 제1 이미지 센서(100)는 제1 이미지 신호(S1)를 출력하고, 제2 이미지 센서(200)는 제2 이미지 신호(S2)를 출력하는 점이 다르다. 또한, 셀 어레이(240)는 디스플레이(20)를 투과하지 않는 빛을 획득할 수 있는 점이 다르다.
도 7은 도 5의 제1 이미지 신호 프로세서와 제2 이미지 신호 프로세서를 설명하기 위한 블록도이다.
도 7을 참조하면, 제1 이미지 신호 프로세서(310)는 제1 이미지 센서(100)로부터 제1 이미지 신호(S1)를 수신할 수 있다. 제2 이미지 신호 프로세서(330)는 제2 이미지 센서(200)로부터 제2 이미지 신호(S2)를 수신할 수 있다.
제1 이미지 신호 프로세서(310)는 전처리 회로(311), 이미지 메모리(317), 후처리 회로(321), 변환 회로(327), 데이터 압축 회로(328) 및 메모리(329)를 포함할 수 있다. 제2 이미지 신호 프로세서(330)는 전처리 회로(331), 이미지 메모리(337), 후처리 회로(341), 변환 회로(347), 데이터 압축 회로(348) 및 메모리(349)를 포함할 수 있다.
몇몇 실시예에서, 전처리 회로(311)는 제1 이미지 신호(S1)에 대해 전처리를 수행할 수 있다. 전처리 회로(311)는 흑 레벨 보정 회로(312), 결함 화소 보정 회로(313), 셰이딩 보정 회로(314), AE(Auto Exposure) 평가값 산출부(315) 및 AWB(Auto White Balance) 평가값 산출부(316)를 포함할 수 잇다.
제1 이미지 센서(100)로부터 출력된 제1 이미지 신호(S1)는 흑 레벨 보정 회로(312)에 의한 흑 레벨 보정 처리에 의해 흑 레벨이 일정해지도록 보정될 수 있다. 제1 이미지 신호(S1)는 결함 화소 보정 회로(313)에 의해 제1 이미지 신호(S1)에 화소 결함이 존재하는 경우 화소 결함 주변의 정보에 기초하여, 정보가 보간될 수 있다. 또한, 제1 이미지 신호(S1)는 셰이딩 보정 회로(314)에 의해 화상의 주변 등에 발생하는 휘도 누락에 의한 화상의 휘도 차가 보정될 수 있다.
AE 평가값 산출부(315)는, 흑 레벨 보정 회로(312), 결함 화소 보정 회로(313) 및 셰이딩 보정 회로(314)의 보정이 수행된 제1 변환 신호(S1a)에 기초하여 AE 평가값(AE1)을 산출할 수 있다. 예를 들어, AE 평가값 산출부(315)는 제1 이미지 센서(100)에 의해 센싱된 휘도 값(luminance value)을 적산(integration)함으로써 밝기를 나타내는 AE 평가값(AE1)을 산출할 수 있다. 예를 들어, AE 평가값(AE1)은 제1 이미지 센서(100)에 의해 센싱된 휘도 값을 포함할 수 있다.
AWB 평가값 산출부(316)는, 흑 레벨 보정 회로(312), 결함 화소 보정 회로(313) 및 셰이딩 보정 회로(314)의 보정이 수행된 제1 변환 신호(S1a)와 AE 평가값(AE1)에 기초하여, 특정 알고리즘에 의해 AWB 평가값(AWB1)을 산출할 수 있다. 예를 들어, AWB 평가값(AWB1)은 화이트 밸런스 보정 처리에 이용되는 화이트 밸런스 게인을 포함할 수 있다. 예를 들어, AWB 평가값(AWB1)은 제1 이미지 센서(100)에 의해 센싱된 색온도 값(color temperature value)을 포함할 수 있다.
여기서 색온도 값이란, 센싱한 빛의 색을 온도로 나타낸 것을 의미한다. 예를 들어, 붉은 빛의 경우 색온도 값은 약 2000도일 수 있고, 푸른 빛의 경우 색온도 값은 약 10000도일 수 있으나, 본 발명의 기술적 사상에 따른 실시예는 이에 제한되지 않는다.
흑 레벨 보정 회로(312), 결함 화소 보정 회로(313) 및 셰이딩 보정 회로(314)의 보정이 수행된 제1 변환 신호(S1a), AE 평가값 산출부(315)에 의해 출력된 AE 평가값(AE1) 및 AWB 평가값 산출부(316)에 의해 출력된 AWB 평가값(AWB1)은 이미지 메모리(317)에 일시적으로 저장되었다가 후처리 회로(321)에 전달될 수 있다.
하지만 본 발명의 기술적 사상에 따른 실시예는 이에 제한되지 않고, 제1 변환 신호(S1a), AE 평가값(AE1) 및 AWB 평가값(AWB1)은 이미지 메모리(317)에 저장되지 않고, 후처리 회로(321)에 전달될 수도 있다.
후처리 회로(321)는 전처리 회로(311)에 의해 전처리가 수행된 제1 변환 신호(S1a)에 대해 후처리를 수행할 수 있다. 후처리 회로(321)는 디모자이크 프로세서(322), 엣지 강조 프로세서(323), 감마 보정 프로세서(324), 화이트 밸런스 보상 프로세서(325) 및 색 보정 프로세서(326) 등을 포함할 수 있다.
디모자이크 프로세서(322)는 후처리 회로(321)로부터 전달되는 제1 변환 신호(S1a)에 대해 디모자이크 처리(베이어 색 보간 처리)를 수행할 수 있다. 엣지 강조 프로세서(323)는 후처리 회로(321)로부터 전달되는 제1 변환 신호(S1a)에 대해 엣지 강조 처리를 수행할 수 있다. 감마 보정 프로세서(324)는 후처리 회로(321)로부터 전달되는 제1 변환 신호(S1a)에 대해 감마 보정을 수행할 수 있다.
화이트 밸런스 보상 프로세서(325)는 전처리 회로(311)로부터 제1 변환 신호(S1a) 및 AWB 평가값(AWB1)을 전달받을 수 있다. 화이트 밸런스 보상 프로세서(325)는 AWB 평가값(AWB1) 중 포함된 화이트 밸런스 게인을 이용하여 제1 변환 신호(S1a)에 대해 화이트 밸런스 보정 처리를 수행할 수 있다.
색 보정 프로세서(326)는 전처리 회로(311)로부터 제1 변환 신호(S1a) 및 AWB 평가값(AWB1)을 전달받을 수 있다. 색 보정 프로세서(326)는 AWB 평가값(AWB1) 중 포함된 제1 이미지 센서(100)에 의해 센싱된 색온도 값을 이용하여 제1 변환 신호(S1a)에 대해 색 보정 처리를 수행할 수 있다. 또한, 색 보정 프로세서(326)는 AWB 평가값(AWB1) 중 포함된 제1 이미지 센서(100)에 의해 센싱된 색온도 값을 이용하여 화이트 밸런스 보정 처리가 수행된 신호에 대해 색 보정 처리를 수행할 수 있다.
하지만, 본 발명의 기술적 사상에 따른 실시예는 이에 제한되지 않으며, 색 보정 프로세서(326)는 다른 신호를 이용하여 색 보정을 수행할 수 있다.
후처리 회로(321)에 의해 후처리가 수행된 제1 변환 신호(S1a)는 변환 회로(327)에 전달될 수 있다. 변환 회로(327)는 RGB 화상 신호를 YCC 화상 신호로 변환할 수 있다. 변환 처리에 의해, 촬상된 화상의 색 공간이 RGB 색 공간에서 YCC(YCrCb) 색 공간으로 변환될 수 있다.
변환 회로(327)에 의해 변환된 YCC 화상 신호는 데이터 압축 회로(328)에 전달될 수 있다. 데이터 압축 회로(328)는 YCC 화상 신호를 JPEG 등의 압축 형식으로 압축할 수 있다. 압축된 YCC 화상 신호는 메모리(329)에 저장될 수 있다. 또는 압축된 YCC 화상 신호는 어플리케이션 프로세서(300)에서 처리될 수 있고, 처리된 이미지는 디스플레이(20)를 통하여 출력될 수 있다.
이상 제1 이미지 신호 프로세서(310)와 이에 포함되는 구성들을 예로 들어 설명하였지만, 이와 동일한 설명이 제2 이미지 신호 프로세서(330)에 적용될 수 있음은 물론이다. 즉, 제1 이미지 신호 프로세서(310)의 전처리 회로(311), 이미지 메모리(317), 후처리 회로(321), 변환 회로(327), 데이터 압축 회로(328) 및 메모리(329)의 구성 및 동작은 제2 이미지 신호 프로세서(330)의 전처리 회로(331), 이미지 메모리(337), 후처리 회로(341), 변환 회로(347), 데이터 압축 회로(348) 및 메모리(349)의 구성 및 동작과 동일할 수 있다.
하지만, 제1 이미지 신호 프로세서(310)가 제1 이미지 신호(S1)를 처리하여 데이터를 생성하는 반면에, 제2 이미지 신호 프로세서(330)는 제2 이미지 신호(S2)를 처리하여 데이터를 생성하는 점이 다르다. 즉, 제1 이미지 신호 프로세서(310)는 디스플레이(20)를 투과하여 입사된 빛을 센싱하여 출력된 제1 이미지 신호(S1)를 처리하지만, 제2 이미지 신호 프로세서(330)는 디스플레이(20)를 투과하지 않고 입사된 빛을 센싱하여 출력된 제2 이미지 신호(S2)를 처리할 수 있다.
예를 들어, 제2 이미지 신호 프로세서(330)의 전처리 회로(331)는 제2 이미지 신호(S2)를 수신할 수 있다.
전처리 회로(331)의 AE 평가값 산출부(335)는, 흑 레벨 보정 회로(332), 결함 화소 보정 회로(333) 및 셰이딩 보정 회로(334)의 보정이 수행된 신호에 기초하여 AE 평가값(AE2)을 산출할 수 있다. 예를 들어, AE 평가값 산출부(335)는 제2 이미지 센서(200)에 의해 센싱된 휘도 값을 적산함으로써 밝기를 나타내는 AE 평가값(AE2)을 산출할 수 있다. 예를 들어, AE 평가값(AE2)은 제2 이미지 센서(200)에 의해 센싱된 휘도 값을 포함할 수 있다.
AE 평가값 산출부(335)는 제1 이미지 신호 프로세서(310)의 후처리 회로(321)에 산출된 AE 평가값(AE2)을 전달할 수 있다.
AWB 평가값 산출부(336)는, 흑 레벨 보정 회로(332), 결함 화소 보정 회로(333) 및 셰이딩 보정 회로(334)의 보정이 수행된 신호와 AE 평가값(AE2)에 기초하여, 특정 알고리즘에 의해 AWB 평가값(AWB2)을 산출할 수 있다. 예를 들어, AWB 평가값(AWB2)은 화이트 밸런스 보정 처리에 이용되는 화이트 밸런스 게인을 포함할 수 있다. 예를 들어, AWB 평가값(AWB2)은 제2 이미지 센서(200)에 의해 센싱된 색온도 값을 포함할 수 있다.
AWB 평가값 산출부(336)는 제1 이미지 신호 프로세서(310)의 후처리 회로(321)에 산출된 AWB 평가값(AWB2)을 전달할 수 있다.
도면에서는 제1 이미지 신호 프로세서(310)와 제2 이미지 신호 프로세서(330)가 분리된 것으로 도시되었으나, 이는 설명을 위한 것이고, AE 평가값(AE1), AE 평가값(AE2), AWB 평가값(AWB1) 및 AWB 평가값(AWB2)은 모두 하나의 프로세서(예를 들어, 어플리케이션 프로세서(300))에 의해 생성되고 공유될 수 있다.
이하 도 8을 참조하여 도 7의 후처리 회로(321)를 보다 상세히 설명한다.
도 8은 도 7의 후처리 회로를 설명하기 위한 블록도이다.
몇몇 실시예에서, 후처리 회로(321)는 화이트 밸런스 보상 프로세서(325) 및 색 보정 프로세서(326)를 포함할 수 있다.
후처리 회로(321)에 전달되는 제1 변환 신호(S1a)는 전처리 회로(311)로부터 전달된 신호일 수도 있고, 전처리 회로(311)로부터 전달된 신호를 디모자이크 프로세서(322), 엣지 강조 프로세서(323) 및 감마 보정 프로세서(324) 등에 의해 보정한 신호일 수도 있다.
화이트 밸런스 보상 프로세서(325)는 AWB 평가값(AWB1) 중 포함된 화이트 밸런스 게인을 이용하여 제1 변환 신호(S1a)에 대해 화이트 밸런스 보정 처리를 수행하여 제2 변환 신호(S1b)를 생성할 수 있다. 화이트 밸런스 보상 프로세서(325)는 생성된 제2 변환 신호(S1b)를 제1 결정기(318)에 전달할 수 있다.
색 보정 프로세서(326)는 제2 변환 신호(S1b)를 화이트 밸런스 보상 프로세서(325)로부터 전달받을 수 있다. 하지만, 본 발명의 기술적 사상에 따른 실시예는 이에 제한되지 않고, 색 보정 프로세서(326)는 제2 변환 신호(S1b) 대신에 화이트 밸런스 보정되지 않은 제1 변환 신호(S1a)를 전달받을 수도 있다.
색 보정 프로세서(326)는 제2 이미지 신호 프로세서(330)로부터 AE 평가값(AE2) 및 AWB 평가값(AWB2)을 전달받을 수 있다. 예를 들어, 색 보정 프로세서(326)는 전처리 회로(331)로부터 제2 이미지 센서(200)가 센싱하여 출력한 신호에 대한 AE 평가값(AE2) 및 AWB 평가값(AWB2)을 전달받을 수 있다.
색 보정 프로세서(326)는 전달받은 AE 평가값(AE1), AE 평가값(AE2), AWB 평가값(AWB1) 및 AWB 평가값(AWB2) 및 제2 변환 신호(S1b) 중 적어도 하나에 기초하여 색 보정 처리를 수행하여 제3 변환 신호(S1c)를 생성할 수 있다. 색 보정 프로세서(326)는 생성된 제3 변환 신호(S1c)를 제1 결정기(318)에 전달할 수 있다.
제1 결정기(318)는 전달받은 제2 변환 신호(S1b) 및 제3 변환 신호(S1c) 중 적어도 하나를 선택하여 출력할 수 있다. 예를 들어, 제4 변환 신호(S1d)는 제2 변환 신호(S1b) 및 제3 변환 신호(S1c) 중 적어도 하나를 포함할 수 있다. 제4 변환 신호(S1d)는 어플리케이션 프로세서(300)의 다른 구성 등에 전달될 수 있다. 예를 들어, 제4 변환 신호(S1d)가 처리된 이미지 데이터는 디스플레이(20)에 출력될 수 있다.
이하 도 9 내지 도 12를 참조하여 도 8의 후처리 회로(321)를 보다 상세히 설명한다.
도 9는 도 8의 후처리 회로를 설명하기 위한 블록도이다. 도 10은 몇몇 실시예에 따른 후처리 회로의 이미지 보정 방법을 설명하기 위한 순서도이다. 도 11은 도 8의 후처리 회로를 설명하기 위한 블록도이다. 도 12는 몇몇 실시예에 따른 이미지의 보정 조건을 나타내는 도면이다.
도 9를 참조하면, 후처리 회로(321)는 제2 결정기(319)를 더 포함할 수 있다. 예를 들어, AWB 평가값(AWB1) 및 AWB 평가값(AWB2)은 색 보정 프로세서(326)에 전달되기 전에 제2 결정기(319)에 전달될 수 있다. 또한, AE 평가값(AE2)은 제2 결정기(319)에 전달될 수 있다.
여기서, AE 평가값(AE1)은 제1 이미지 센서(100)에서 센싱한 디스플레이(20)를 투과하는 빛에 대한 휘도 값을 포함할 수 있고, AE 평가값(AE2)은 제2 이미지 센서(200)에서 센싱한 디스플레이(20)를 투과하지 않는 빛에 대한 휘도 값을 포함할 수 있다.
또한, AWB 평가값(AWB1)은 제1 이미지 센서(100)에서 센싱한 디스플레이(20)를 투과하는 빛에 대한 색온도 값을 포함할 수 있고, AWB 평가값(AWB2)은 제2 이미지 센서(200) 센싱한 디스플레이(20)를 투과하지 않는 빛에 대한 색온도 값을 포함할 수 있다.
도 9 및 도 10을 참조하면, 후처리 회로(321)는 제1 및 제2 이미지 센서(100, 200)로부터 신호를 전달받을 수 있다(S350). 예를 들어, 제2 결정기(319)는 제2 이미지 센서(100)로부터 센싱된 신호를 처리한 결과 생성된 AE 평가값(AE2) 및 AWB 평가값(AWB2)을 전달받을 수 있다. 예를 들어, 제2 결정기(319)는 제1 이미지 센서(200)로부터 센싱된 신호를 처리한 결과 생성된 AWB 평가값(AWB1) 및 제2 변환 신호(S1b)(또는 제1 변환 신호(S1a))를 전달받을 수 있다.
제2 결정기(319)는 AE 평가값(AE2)이 임계 값보다 큰지 판단할 수 있다(S351). 여기서, AE 평가값(AE2)은 제2 이미지 센서(200)에서 센싱한 디스플레이(20)를 투과하지 않는 빛에 대한 휘도 값을 포함할 수 있다. 즉, 전자 장치(1)가 노출되는 환경이 밝은 경우, AE 평가값(AE2)은 보다 커질 수 있다.
예를 들어, 도 12를 참조하면, 임계 값이 X1 lux인 경우, AE 평가값(AE2)이 X1 lux보다 크면(S351-YES), 결정기(319)는 색 보정 프로세서(326)에 AWB 평가값(AWB2)을 전달할 수 있다(S352). 즉, 전자 장치(1)가 노출되는 환경이 밝은 경우에, 색 보정 프로세서(326)는 제1 이미지 센서(100)가 아닌 제2 이미지 센서(200)가 센싱하여 생성된 AWB 평가값(AWB2)을 이용하여 색을 보정할 수 있다.
제1 이미지 센서(100)가 디스플레이(20)를 투과한 빛을 센싱하는 경우, 디스플레이(20) 등에 의해 빛에 대한 정보가 왜곡될 수 있다. 따라서, AE 평가값(AE2)이 임계 값보다 큰 경우에 한하여, 색 보정 프로세서(326)는 제2 이미지 센서(200)가 센싱하여 생성된 AWB 평가값(AWB2)을 이용하여 색을 보정할 수 있다.
AWB 평가값(AWB2)을 이용함에 따라서, 보다 정확한 색온도 값을 이용할 수 있고, 색 보정 프로세서(326)에 의해 이미지의 화질이 개선될 수 있다.
다시 도 10을 참조하면, AE 평가값(AE2)이 임계 값보다 크지 않으면(S351-NO), 결정기(319)는 색 보정 프로세서(326)에 AWB 평가값(AWB1)을 전달할 수 있다(S353). 즉, 전자 장치(1)가 노출되는 환경이 밝지 않은 경우에, 제1 이미지 센서(100)가 센싱하는 빛과 제2 이미지 센서(200)가 센싱하는 빛은 많이 상이할 수 있다. 따라서, 이 경우에는 제1 이미지 센서(100)가 센싱하여 생성된 AWB 평가값(AWB1)을 이용하여 색을 보정할 수 있다.
결정기(319)로부터 AWB 평가값(AWB1) 및 AWB 평가값(AWB2) 중 하나가 전달된 후에, 색 보정 프로세서(326)는 AWB 평가값(AWB1) 및 AWB 평가값(AWB2) 중 하나를 이용하여 제2 변환 신호(S1b)를 보정할 수 있다.
색 보정 프로세서(326)는 AWB 평가값(AWB1) 및 AWB 평가값(AWB2) 중 하나로부터 도출한 색온도 값이 경계 영역 내에 속하는지 판단할 수 있다(S354).
도 12를 참조하면, AWB 평가값(AWB1) 및 AWB 평가값(AWB2) 중 하나로부터 도출한 색온도 값이 제1 온도(T1)보다 작거나 제2 온도(T2)보다 큰 경우에, 색 보정 프로세서(326)는 제2 변환 신호(S1b)를 보정할 수 있다.
다시 도 10을 참조하면, AWB 평가값(AWB1) 및 AWB 평가값(AWB2) 중 하나로부터 도출한 색온도 값이 제1 온도(T1)보다 작거나 제2 온도(T2)보다 큰 경우(S354-NO), 색 보정 프로세서(326)는 색 보정을 수행할 수 있다. 예를 들어, 색온도 값이 약 3000K보다 작은 경우, 색 보정 프로세서(326)는 제2 변환 신호(S1b)를 더 붉은 색으로 보정할 수 있다. 또한, 예를 들어, 색온도 값이 약 10000K보다 큰 경우, 색 보정 프로세서(326)는 제2 변환 신호(S1b)를 더 푸른 색으로 보정할 수 있다. 하지만 본 발명의 기술적 사상에 따른 실시예는 이에 제한되지 않고, 색 보정 프로세서(326)의 색 보정 방법은 다르게 수행될 수 있다.
AWB 평가값(AWB1) 및 AWB 평가값(AWB2) 중 하나로부터 도출한 색온도 값이 제1 온도(T1) 이상이고 제2 온도(T2) 이하인 경우(S354-YES), 색 보정 프로세서(326)는 색 보정을 수행하지 않고 과정을 종료할 수 있다.
색 보정 프로세서(326)의 제2 변환 신호(S1b)에 대한 색 보정으로 인하여, 제2 변환 신호(S1b)에 해당되는 이미지는 화질이 개선될 수 있다. 즉, 특정 조건(예를 들어 야외 환경인 경우)에서만 제1 이미지 신호 프로세서(310)가 제2 이미지 센서(200) 및 제2 이미지 신호 프로세서(330)로부터 생성된 AWB 평가값(AWB2)을 이용하여 색 보정을 수행함으로써, 정확한 보정을 할 수 있다.
다시 도 9를 참조하면, 색 보정 프로세서(326)는 색 보정을 수행한 신호인 제3 변환 신호(S1c)를 출력할 수 있다. 제3 변환 신호(S1c)는 도 8의 제1 결정기(318)에 전달될 수 있다.
도 11을 참조하면, 후처리 회로(321)는 제3 결정기(320)를 더 포함할 수 있다. 예를 들어, 도 9 및 도 10을 이용하여 설명한 제2 결정기(319)로부터 출력된 신호가 제3 결정기(320)에 전달될 수 있다. 또한, AWB 평가값(AWB1)이 제3 결정기(320)에 전달될 수 있다.
제3 결정기(320)는 AE 평가값(AE1) 및 AE 평가값(AE2)의 차이에 기초하여 AWB 평가값(AWB1)과 AWB 평가값(AWB2) 중 무엇을 색 보정 프로세서(326)에 전달할 것인지 결정할 수 있다.
예를 들어, AE 평가값(AE2)이 AE 평가값(AE1)보다 일정 차이 이상으로 큰 경우(예를 들어, 전자 장치(1)의 후면에 입사되는 빛의 휘도가 전자 장치(1)의 전면에 입사되는 빛의 휘도보다 큰 경우), 제3 결정기(320)는 AE 평가값(AE1)을 색 보정 프로세서(326)에 전달할 수 있다. 또한, AE 평가값(AE2)이 AE 평가값(AE1)과 거의 비슷한 경우(예를 들어, 전자 장치(1)의 후면에 입사되는 빛의 휘도가 전자 장치(1)의 전면에 입사되는 빛의 휘도와 비슷한 경우), 제3 결정기(320)는 제2 결정기(319)에서 전달된 AE 평가값(AE2)을 색 보정 프로세서(326)에 전달할 수 있다.
도 12를 참조하면, 예를 들어, AE 평가값(AE2)과 AE 평가값(AE1)의 차이가 X2 lux 이상인 경우, 제3 결정기(320)는 AE 평가값(AE1)을 색 보정 프로세서(326)에 전달하고, AE 평가값(AE2)과 AE 평가값(AE1)의 차이가 X2 lux 보다 작은 경우, 제3 결정기(320)는 제2 결정기(319)에서 전달된 AE 평가값(AE2)을 색 보정 프로세서(326)에 전달할 수 있다.
즉, 제1 이미지 센서(100)에 의해 측정한 전면의 빛에 대한 휘도와 제2 이미지 센서(200)에 의해 측정한 후면의 빛에 대한 휘도의 차이가 클 경우에, 색 보정 프로세서(326)는 AE 평가값(AE2)을 이용하지 않고, AE 평가값(AE1)을 이용하여 색을 보정할 수 있다. 이를 통해 더욱 엄격한 조건 하에서, 이미지에 대한 색 보정이 수행될 수 있다.
도 13은 몇몇 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 13을 참조하면, 전자 장치(1)에 포함되는 제1 이미지 센서(100), 제2 이미지 센서(200), 화이트 밸런스 보상 프로세서(325), 색 보정 프로세서(326), 어플리케이션 프로세서(300) 및 디스플레이(20) 간에 신호가 전달될 수 있다.
제1 이미지 센서(100)는 화이트 밸런스 보상 프로세서(325)에 AWB 평가값(AWB1), AE 평가값(AE1) 및 제1 변환 신호(S1a)를 제공할 수 있다(S360). 예를 들어, AWB 평가값(AWB1), AE 평가값(AE1) 및 제1 변환 신호(S1a)는 전처리 회로(311)에서 생성되어, 후처리 회로(321)의 화이트 밸런스 보상 프로세서(325)에 전달될 수 있다.
화이트 밸런스 보상 프로세서(325)는 AWB 평가값(AWB1), AE 평가값(AE1) 및 제1 변환 신호(S1a)를 전달받고, AE 평가값(AE1)에 기초하여 제1 변환 신호(S1a)에 대한 화이트 밸런스 보상을 수행할 수 있다. 화이트 밸런스 보상 프로세서(325)는 이를 통하여 제2 변환 신호(S1b)를 생성할 수 있다(S361).
화이트 밸런스 보상 프로세서(325)는 생성된 제2 변환 신호(S1b)를 색 보정 프로세서(326)에 제공할 수 있다(S362).
제1 이미지 센서(100)는 색 보정 프로세서(326)에 AWB 평가값(AWB1) 및 AE 평가값(AE1)을 제공할 수 있다(S363).
제2 이미지 센서(200)는 색 보정 프로세서(326)에 AWB 평가값(AWB2) 및 AE 평가값(AE2)을 제공할 수 있다(S364). 예를 들어, AWB 평가값(AWB2) 및 AE 평가값(AE2)은 전처리 회로(331)에서 생성되어, 후처리 회로(321)의 색 보정 프로세서(326)에 전달될 수 있다.
색 보정 프로세서(326)는 AE 평가값(AE1), AE 평가값(AE2), AWB 평가값(AWB1), AWB 평가값(AWB2) 및 제2 변환 신호(S1b)를 수신할 수 있다(S365).
색 보정 프로세서(326)는 수신된 신호들에 기초하여 제2 변환 신호(S1b)에 대한 색 보정을 수행할 수 있다(S366). 예를 들어, 도 8 내지 도 12를 이용하여 설명한 색 보정 프로세서(326)의 색 보정 과정이 수행될 수 있다. 색 보정 프로세서(326)는 이를 통해 제3 변환 신호(S1c)를 생성할 수 있다.
색 보정 프로세서(326)는 제3 변환 신호(S1c)를 어플리케이션 프로세서(300)에 제공할 수 있다(S367). 예를 들어, 어플리케이션 프로세서(300)는 제3 변환 신호(S1c)를 제공받을 수 있다. 예를 들어, 어플리케이션 프로세서(300)에 포함되는 디스플레이 구동 회로는 제3 변환 신호(S1c)를 이용하여 이미지 신호를 생성할 수 있다.
어플리케이션 프로세서(300)는 생성한 이미지 신호를 디스플레이(20)에 제공할 수 있다(S368). 예를 들어, 디스플레이 구동 회로로부터 생성된 이미지 신호는 디스플레이(20)에 전달될 수 있다. 그 결과, 디스플레이(20)는 이미지 신호에 기초하여 이미지를 출력할 수 있다.
이하, 도 14를 이용하여 다른 몇몇 실시예에 따른 이미지 센싱 시스템을 설명한다.
도 14는 다른 몇몇 실시예에 따른 이미지 센싱 시스템을 설명하기 위한 블록도이다. 설명의 편의를 위해, 도 1 내지 도 13을 이용하여 설명한 것과 중복되는 부분은 간략히 설명하거나 생략한다.
도 14를 참조하면, 이미지 센싱 시스템(3)은 제1 이미지 센서(100), 제2 이미지 센서(200) 및 어플리케이션 프로세서(300)를 포함할 수 있다.
제1 이미지 센서(100)는 입사되는 빛을 이용하여 센싱 대상의 이미지를 센싱하여 제1 이미지 신호(S1)를 생성할 수 있다. 예를 들어, 제1 이미지 센서(100)는 디스플레이(20)를 투과하는 빛을 센싱하여 제1 이미지 신호(S1)를 생성할 수 있다.
제2 이미지 센서(200)는 입사되는 빛을 이용하여 센싱 대상의 이미지를 센싱하여 제2 이미지 신호(S2)를 생성할 수 있다. 예를 들어, 제2 이미지 센서(200)는 디스플레이(20)를 투과하지 않는 빛을 센싱하여 제2 이미지 신호(S2)를 생성할 수 있다.
제1 이미지 신호(S1) 및 제2 이미지 신호(S2)는 어플리케이션 프로세서(300)에 제공되어 처리될 수 있다. 예를 들어, 제1 이미지 신호(S1) 및 제2 이미지 신호(S2)는 어플리케이션 프로세서(300)에 포함되는 이미지 신호 프로세서(390)에 제공되어, 처리될 수 있다.
이미지 신호 프로세서(390)는 도 5 내지 도 13을 이용하여 설명한 것과 같이, 제1 이미지 신호(S1) 및 제2 이미지 신호(S2)를 처리할 수 있다.
예를 들어, 제1 이미지 신호(S1)를 처리하는 경우에 일정 조건 하에 제2 이미지 신호(S2)의 처리 결과 생성된 신호를 사용할 수 있다. 즉, 제1 이미지 신호(S1)를 처리하는 경우, 제2 이미지 신호(S2)를 처리하여 생성된 신호가 이미지 신호 프로세서(390) 내에서 공유될 수 있고, 제2 이미지 신호(S2)를 처리하는 경우, 제1 이미지 신호(S1)를 처리하여 생성된 신호가 이미지 신호 프로세서(390) 내에서 공유될 수도 있다.
즉, 도 5 내지 도 13을 이용하여 설명한 이미지 센싱 시스템(2)의 제1 이미지 신호 프로세서(310) 및 제2 이미지 신호 프로세서(330)가 수행하는 처리 과정이, 도 14의 이미지 센싱 시스템(3)의 이미지 신호 프로세서(390)만으로 수행될 수 있다.
여기서 공유되는 신호는 제1 이미지 신호(S1) 및 제2 이미지 신호(S2)에 한정되지 않고 다른 여러 정보를 포함할 수 있다. 예를 들어, 공유되는 신호는 복수의 이미지 데이터의 HDR(high dynamic range) 처리에 대한 신호일 수 있다.
이하, 도 15 및 도 16을 이용하여 다른 몇몇 실시예에 따른 전자 장치를 설명한다.
도 15는 몇몇 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치를 설명하기 위한 블록도이다. 도 16은 도 15의 카메라 모듈의 상세 블록도이다. 설명의 편의를 위해, 도 1 내지 도 14를 이용하여 설명한 것과 중복되는 부분은 간략히 설명하거나 생략한다.
도 15를 참조하면, 전자 장치(4)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 외부 메모리(1400)를 포함할 수 있다.
카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.
여기서 3개의 카메라 모듈(1100a, 1100b, 1100c) 중 하나는 도 1 내지 도 14를 이용하여 설명한 제1 이미지 센서(100)를 포함하는 카메라 모듈일 수 있다. 예를 들어, 카메라 모듈(1100b)은 제1 이미지 센서(100)를 포함하는 카메라 모듈일 수 있고, 전자 장치(1, 4)의 전면을 향하도록 배치될 수 있다. 또한, 카메라 모듈(1100b)은 디스플레이(20, 1500)에 의하여 덮혀질 수 있고, 디스플레이(20, 1500)을 투과하여 입사된 빛을 센싱할 수 있다.
이하, 도 16을 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100c)에 대해서도 동일하게 적용될 수 있다.
도 16을 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝OPFE˝)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.
프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.
몇몇 실시예에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.
몇몇 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.
몇몇 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.
OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.
액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.
이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)를 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 몇몇 실시예에서, 이미지 센서(1142)는 앞서 설명한 이미지 센서(100, 200) 중 적어도 하나를 포함할 수 있다.
제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.
메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.
저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.
도 15와 도 16을 함께 참조하면, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100c)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100c)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
또한, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.
몇몇 실시예에서, 예를 들어, 카메라 모듈(1100a)에 포함된 이미지 센서(1142)는 앞서 설명한 이미지 센서(200)를 포함할 수 있고, 카메라 모듈(1100b)에 포함된 이미지 센서(1142)는 앞서 설명한 이미지 센서(100)를 포함할 수 있다.
다시 도 15을 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.
이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다. 몇몇 실시예에서, 이미지 처리 장치(1210)는 앞서 설명한 제1 이미지 신호 프로세서(310), 제2 이미지 신호 프로세서(330) 및 이미지 신호 프로세서(390)를 포함할 수 있다.
이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다. 몇몇 실시예에서, 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)는 앞서 설명한 제1 이미지 신호 프로세서(310), 제2 이미지 신호 프로세서(330) 및 이미지 신호 프로세서(390) 중 하나를 포함할 수 있다.
각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
한편, 몇몇 실시예에서, 하나의 서브 이미지 프로세서가 복수의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.
각각의 서브 이미지 프로세서(1212a, 1212b 및 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b 및 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다. 몇몇 실시예에서, 이미지 생성기(1214)는 앞서 설명한 후처리 회로(321)를 포함할 수 있다. 이미지 생성기(1214)는 앞서 설명한 보정 과정을 수행할 수 있다.
구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b 및 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b 및 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.
몇몇 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.
이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b 및 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b 및 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.
몇몇 실시예에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b 및 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로서, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.
카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b 및 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb 및 CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b 및 1100c)에 제공될 수 있다.
복수의 카메라 모듈(1100a, 1100b 및 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100a)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100b 및 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb 및 CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b 및 1100c)에 제공될 수 있다.
줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100c)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100c)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100c)이 슬레이브로서 동작할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b 및 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a 및 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a 및 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 어플리케이션 프로세서(1200)에 전송할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b 및 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b 및 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.
복수의 카메라 모듈(1100a, 1100b 및 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 어플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.
어플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 어플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다. 예를 들어 디스플레이(1500)에 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터가 디스플레이될 수 있다.
복수의 카메라 모듈(1100a, 1100b 및 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 어플리케이션 프로세서(1200)에 전송할 수 있다. 어플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 어플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.
PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b 및 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 어플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.
PMIC(1300)는 어플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b 및 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b 및 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b 및 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1: 전자 장치 10: 커버 글래스
20: 디스플레이 30: 후면 글래스
40: 백 커버 100: 제1 이미지 센서
200: 제2 이미지 센서 300: 어플리케이션 프로세서
310: 제1 이미지 신호 프로세서 330: 제2 이미지 신호 프로세서
325: 화이트 밸런스 보상 프로세서 326: 색 보정 프로세서

Claims (10)

  1. 디스플레이를 투과하는 빛을 센싱하여 제1 이미지 신호를 출력하는 제1 이미지 센서;
    상기 디스플레이를 투과하지 않는 빛을 센싱하여 제2 이미지 신호를 출력하는 제2 이미지 센서; 및
    상기 제1 및 제2 이미지 센서와 연결되고, 상기 제1 및 제2 이미지 신호를 제공받는 프로세서를 포함하고,
    상기 프로세서는,
    상기 제2 이미지 신호를 기초로 하여 제1 광학 값과, 상기 제1 광학 값과 다른 제2 광학 값을 생성하고,
    상기 제1 광학 값을 기초로 하여 상기 제1 이미지 신호에 대한 보정 여부를 결정하고,
    상기 제1 이미지 신호에 대한 보정 여부 결정에 응답하여, 상기 제2 광학 값을 이용하여 상기 제1 이미지 신호를 보정하는 전자 장치.
  2. 제 1항에 있어서,
    상기 제1 광학 값은 상기 제2 이미지 신호에 기초하여 생성된 휘도 값(luminance value) 또는 조도 값(illuminance value)을 포함하고,
    상기 제2 광학 값은 상기 제2 이미지 신호에 기초하여 생성된 색온도 값(color temperature)을 포함하는 전자 장치.
  3. 제 1항에 있어서,
    상기 프로세서는,
    상기 제1 이미지 신호에 대한 보정을 수행하는 보정기(compensator)를 포함하고,
    상기 제1 이미지 신호를 기초로 하여 제3 광학 값과, 상기 제3 광학 값과 다른 제4 광학 값을 생성하는 전자 장치.
  4. 제 3항에 있어서,
    상기 프로세서는 상기 제1 이미지 신호에 대한 보정 여부를 결정하는 제1 결정기(determiner)를 포함하고,
    상기 제1 결정기는,
    상기 제1 광학 값, 상기 제2 광학 값 및 상기 제4 광학 값을 제공받고,
    상기 제1 광학 값이 임계 값(threshold value) 이상인 경우, 상기 제2 광학 값을 상기 보정기에 제공하는 전자 장치.
  5. 제 3항에 있어서,
    상기 프로세서는 상기 제1 이미지 신호에 대한 보정 여부를 결정하는 제2 결정기를 포함하고,
    상기 제2 결정기는,
    상기 제1 내지 제4 광학 값을 제공받고,
    상기 제1 및 제3 광학 값의 차이가 임계 값 미만인 경우, 상기 제2 광학 값을 상기 보정기에 제공하는 전자 장치.
  6. 제 1항에 있어서,
    상기 디스플레이는 상기 보정된 제1 이미지 신호에 기초하여 생성된 이미지를 출력하는 전자 장치.
  7. 제 1항에 있어서,
    상기 프로세서는,
    상기 제1 이미지 신호에 대한 자동 화이트 밸런스(auto white balance)를 수행하여 제3 이미지 신호를 출력하고,
    상기 제1 광학 값을 기초로 하여 상기 제3 이미지 신호에 대한 보정 여부를 결정하고,
    상기 제3 이미지 신호에 대한 보정 여부 결정에 응답하여, 상기 제2 광학 값을 이용하여 상기 제3 이미지 신호를 보정한 제4 이미지 신호를 출력하는 전자 장치.
  8. 전면 및 후면을 포함하는 전자 장치로서,
    상기 전면으로 입사되는 빛을 센싱하여 제1 이미지 신호를 출력하는 제1 이미지 센서;
    상기 후면으로 입사되는 빛을 센싱하여 제2 이미지 신호를 출력하는 제2 이미지 센서;
    상기 제1 및 제2 이미지 센서와 연결되고, 상기 제1 및 제2 이미지 신호를 제공받는 프로세서; 및
    상기 전면에 배치되고, 상기 제1 및 제2 이미지 신호에 기초하여 생성된 이미지를 출력하는 디스플레이를 포함하고,
    상기 프로세서는,
    상기 제2 이미지 신호에 기초하여 제1 색온도 값을 생성하고,
    상기 생성된 제1 색온도 값을 이용하여 상기 제1 이미지 신호를 보정하는 전자 장치.
  9. 제 8항에 있어서,
    상기 디스플레이는 상기 제1 이미지 센서를 덮고,
    상기 제1 이미지 센서는 상기 디스플레이를 투과하는 빛을 센싱하는 전자 장치.
  10. 디스플레이;
    상기 디스플레이를 투과하는 빛을 센싱하여 제1 이미지 신호를 출력하는 제1 이미지 센서를 포함하는 제1 카메라 모듈;
    상기 디스플레이를 투과하지 않는 빛을 센싱하여 제2 이미지 신호를 출력하는 제2 이미지 센서를 포함하는 제2 카메라 모듈; 및
    상기 제1 및 제2 카메라 모듈과 분리되어 배치되고, 상기 제1 카메라 모듈과 제1 카메라 직렬 인터페이스(camera serial interface, CSI)를 통해 연결되고, 상기 제2 카메라 모듈과 제2 카메라 직렬 인터페이스를 통해 연결되는 이미지 신호 프로세서(image signal processor)를 포함하는 어플리케이션 프로세서(application processor)를 포함하고,
    상기 이미지 신호 프로세서는,
    상기 제1 카메라 직렬 인터페이스를 통해 상기 제1 카메라 모듈로부터 상기 제1 이미지 신호를 제공받고,
    상기 제2 카메라 직렬 인터페이스를 통해 상기 제2 카메라 모듈로부터 상기 제2 이미지 신호를 제공받고,
    상기 제1 이미지 신호에 기초하여 제1 색온도 값을 생성하고,
    상기 제2 이미지 신호에 기초하여 휘도 값 또는 조도 값과 제2 색온도 값을 생성하고,
    상기 휘도 값 또는 조도 값이 임계 값 이상인 경우 상기 제1 이미지 신호를 상기 제2 색온도 값에 기초하여 보정하고, 상기 휘도 값 또는 조도 값이 임계 값 미만인 경우 상기 제1 이미지 신호를 상기 제1 색온도 값에 기초하여 보정하는 전자 장치.
KR1020200097880A 2020-08-05 2020-08-05 이미지 센서를 포함하는 전자 장치 KR20220017649A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200097880A KR20220017649A (ko) 2020-08-05 2020-08-05 이미지 센서를 포함하는 전자 장치
US17/330,003 US11412197B2 (en) 2020-08-05 2021-05-25 Electronic device including image sensor
CN202110855654.2A CN114070972A (zh) 2020-08-05 2021-07-28 包括图像传感器的电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200097880A KR20220017649A (ko) 2020-08-05 2020-08-05 이미지 센서를 포함하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20220017649A true KR20220017649A (ko) 2022-02-14

Family

ID=80114375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200097880A KR20220017649A (ko) 2020-08-05 2020-08-05 이미지 센서를 포함하는 전자 장치

Country Status (3)

Country Link
US (1) US11412197B2 (ko)
KR (1) KR20220017649A (ko)
CN (1) CN114070972A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11460894B2 (en) 2020-12-31 2022-10-04 Samsung Electronics Co., Ltd. Under-display camera
WO2024101970A1 (ko) * 2022-11-10 2024-05-16 주식회사 윌로그 다중 영역 센싱 가능한 멀티 모달 기반 전자 장치, 및 이의 동작 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0779444A (ja) 1993-09-06 1995-03-20 Asahi Optical Co Ltd スチルビデオカメラ
JP5426262B2 (ja) 2009-07-17 2014-02-26 富士フイルム株式会社 複眼撮像装置
KR101888970B1 (ko) 2011-12-02 2018-08-16 엘지이노텍 주식회사 자동밝기조절 카메라 모듈
US9253433B2 (en) 2012-11-27 2016-02-02 International Business Machines Corporation Method and apparatus for tagging media with identity of creator or scene
US9247223B2 (en) * 2013-01-25 2016-01-26 Blackberry Limited Reduce operating environment effect using multiple cameras
JP2014165608A (ja) 2013-02-22 2014-09-08 Canon Inc 撮像装置およびその制御方法
KR102013331B1 (ko) 2013-02-23 2019-10-21 삼성전자 주식회사 듀얼 카메라를 구비하는 휴대 단말기의 이미지 합성 장치 및 방법
KR102397044B1 (ko) 2017-09-04 2022-05-16 삼성전자 주식회사 디스플레이를 포함하는 전자 장치 및 이를 보정하는 방법
US11516374B2 (en) * 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
US11153513B2 (en) * 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
US11893482B2 (en) * 2019-11-14 2024-02-06 Microsoft Technology Licensing, Llc Image restoration for through-display imaging
KR20210143063A (ko) * 2020-05-19 2021-11-26 삼성전자주식회사 복수의 카메라들을 포함하는 전자 장치
KR102669934B1 (ko) * 2020-09-17 2024-05-28 삼성전자주식회사 이미지 신호 프로세서 및, 이미지 신호 프로세서를 포함하는 전자 장치 및 전자 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11460894B2 (en) 2020-12-31 2022-10-04 Samsung Electronics Co., Ltd. Under-display camera
WO2024101970A1 (ko) * 2022-11-10 2024-05-16 주식회사 윌로그 다중 영역 센싱 가능한 멀티 모달 기반 전자 장치, 및 이의 동작 방법

Also Published As

Publication number Publication date
CN114070972A (zh) 2022-02-18
US11412197B2 (en) 2022-08-09
US20220046215A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
US8502911B2 (en) Image pickup apparatus, display and image processing apparatus
KR102632474B1 (ko) 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
US11412197B2 (en) Electronic device including image sensor
KR20220079123A (ko) 이미지 장치 및 이미지 장치의 동작 방법
US11418737B2 (en) Image signal processor and electronic device and electronic system including the same
US11700460B2 (en) Image sensing apparatus and image binning method thereof
US11729374B2 (en) Camera module test apparatus, camera module test method and image generating device
US20220344389A1 (en) Image sensor
US20230143333A1 (en) Image sensor, application processor and image sensing device
EP4096217A1 (en) Image sensor and image signal processing method
US11758288B2 (en) Device for improving image resolution in camera system having lens that permits distortion and operation method thereof
US20230169629A1 (en) Image signal processor, method for operating image signal processor and image sensing device
US20230108491A1 (en) Image signal processor, image sensing device, image sensing method and electronic device
US20240185558A1 (en) Image signal processor and image sensing device thereof
US20240005448A1 (en) Imaging device and image processing method
US20240186349A1 (en) Image sensing device and method of image signal processing
US20230300481A1 (en) Image sensing device and image processing method of the same
US20240251185A1 (en) Imaging apparatus and an imaging system including the imaging apparatus
US20240098387A1 (en) Image sensor, mobile device, and image sensor operation method for reducing data transmission latency
KR20230067491A (ko) 이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치
KR20220161110A (ko) 이미지 센서 및 이미지 신호 처리 방법
KR20230152464A (ko) 이미지 센서의 비닝 방법 및 이를 수행하는 이미지 센서
KR20230174127A (ko) 크로스토크를 정정하는 이미지 센서, 이미지 센서의 동작 방법, 그리고 이미지 센서를 포함하는 전자 장치
KR20220085156A (ko) 디지털 픽셀 센서 및 아날로그 디지털 변환기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal