KR20220048496A - 이미지 센서의 프로세서, 이미지 처리 장치 및 이의 제어 방법 - Google Patents

이미지 센서의 프로세서, 이미지 처리 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20220048496A
KR20220048496A KR1020200130885A KR20200130885A KR20220048496A KR 20220048496 A KR20220048496 A KR 20220048496A KR 1020200130885 A KR1020200130885 A KR 1020200130885A KR 20200130885 A KR20200130885 A KR 20200130885A KR 20220048496 A KR20220048496 A KR 20220048496A
Authority
KR
South Korea
Prior art keywords
image data
image
bad pixel
pixel
bad
Prior art date
Application number
KR1020200130885A
Other languages
English (en)
Inventor
신덕하
최영준
정은지
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200130885A priority Critical patent/KR20220048496A/ko
Priority to US17/319,528 priority patent/US11770622B2/en
Publication of KR20220048496A publication Critical patent/KR20220048496A/ko

Links

Images

Classifications

    • H04N5/367—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/08—Fault-tolerant or redundant circuits, or circuits in which repair of defects is prepared
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/10—Dealing with defective pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/12—Test circuits or failure detection circuits included in a display system, as permanent part thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

개시된 이미지 처리 장치는: 이미지 센서로부터 제1 영상 데이터를 입력 받고, 상기 제1 영상 데이터에서 제1 불량 화소를 검출하기 위한 제1 검출을 실행하고, 상기 제1 불량 화소의 주변 화소들의 값들에 기반하여 상기 제1 불량 화소를 보정하는 프로세서; 그리고 상기 제1 불량 화소의 보정 결과를 저장하는 버퍼를 포함한다. 상기 프로세서는, 상기 제1 영상 데이터에서 상기 제1 불량 화소 및 상기 제1 불량 화소와 인접한 제2 불량 화소를 검출하기 위한 제2 검출을 실행하고, 상기 제2 불량 화소의 주변 화소들의 값들에 기반하여 상기 제2 불량 화소를 보정하고, 상기 버퍼에 저장된 상기 제1 불량 화소의 보정 결과를 이용하여 상기 제1 불량 화소를 보정한다.

Description

이미지 센서의 프로세서, 이미지 처리 장치 및 이의 제어 방법{Image sensor processor, image sensor device, and control method thereof}
본 발명은 이미지 센서의 프로세서, 이미지 처리 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 영상에서 불량 화소를 검출하고 보정하는 방법에 관한 것이다.
종래 이미지 센서가 감지한 영상에서 불량 화소를 검출하기 위해서 센서의 픽셀 어레이를 형성하고 플로팅 노드(floating node)를 복수의 센서가 공유하여 입력된 영상에서 불량 화소를 검출하는 방식을 활용하였다.
그러나, 상술한 방법은 영상의 불량화소 검출시 노이즈의 영향을 많이 받고, 결과적으로 이미지 센서의 수율 감소를 가져오는 문제점이 있었다.
상술한 기술적 과제를 해결하기 위하여 본 발명은 버퍼에 미리 불량 화소에 대한 정보 및 불량 화소가 보정된 영상의 정보를 저장하고, 영상을 보정하는 경우, 버퍼에 저장된 정보를 활용하는 이미지 처리 장치를 제공하고자 한다.
상술한 기술적 과제를 해결하기 위하여 본 발명에 따른 이미지 처리 장치는, 이미지 센서로부터 제1 영상 데이터를 입력 받고, 상기 제1 영상 데이터에서 미리 설정된 기준에 따라 타겟 패턴(Target pattern)에 대응하는 불량 화소의 패턴의 존재여부를 판단하고, 판단 결과에 기초하여 상기 불량 화소가 보정된 제1 보정 영상 데이터를 생성하는 프로세서; 상기 제1 보정 영상 데이터를 저장하는 버퍼를 포함하되, 상기 프로세서는, 상기 제1 영상 데이터에 대한 보정을 하는 경우, 상기 버퍼에 저장된 제1 보정 영상 데이터를 활용한다.
또한, 상기 프로세서는, 이미지 센서로부터 제1 영상 데이터의 입력 이후 제2 영상 데이터를 입력 받는 경우, 제1 영상 데이터의 불량 화소와 제2 영상 데이터의 불량 화소의 동일성을 판단할 수 있다.
또한, 상기 프로세서는, 미지 센서로부터 제1 영상 데이터와 다른 제2 영상 데이터를 입력 받는 경우, 1 영상 데이터의 불량 화소와 제2 영상 데이터의 불량화소가 같은 것으로 판단되면, 상기 버퍼에서 제1 보정 영상 데이터에 기초하여 상기 제2 영상 데이터를 보정할 수 있다.
또한, 상기 프로세서는, 이미지 센서로부터 상기 제1 영상 데이터와 다른 제2 영상 데이터를 입력 받는 경우, 상기 제1 영상 데이터의 불량 화소와 상기 제2 영상 데이터의 불량 화소가 다른 것으로 판단되면, 상기 버퍼에서 상기 제2 영상 데이터의 불량 화소가 보정된 제2 보정 영상 데이터를 생성하고, 생성된 상기 제2 보정 영상 데이터를 상기 버퍼에 저장할 수 있다.
또한, 상기 프로세서는, 상기 불량 화소가 세로 패턴을 갖는 경우, 상기 불량 화소에 대한 보정 영상 데이터를 생성하고, 생성된 상기 보정 영상 데이터를 상기 버퍼에 저장할 수 있다.
또한, 상기 프로세서는, 상기 제1 영상 데이터에서 불량 화소가 존재하는 부분을 추출하고, 상기 추출된 부분에 대하여만 보정 영상 데이터를 생성할 수 있다.
또한, 상기 프로세서는, 상기 제1 영상 데이터에 존재하는 각각의 픽셀의 위치 데이터에 기반하여 상기 불량 화소가 존재하는 부분을 추출할 수 있다.
본 발명에 따른 이미지 처리 장치의 제어방법은 프로세서에 의하여 이미지 센서로부터 제1 영상 데이터를 입력 받고, 상기 제1 영상 데이터에서 미리 설정된 기준에 따라 타겟 패턴(Target pattern)에 대응하는 불량 화소의 패턴의 존재여부를 판단하고, 판단 결과에 기초하여 상기 불량 화소가 보정된 제1 보정 영상 데이터를 생성하고, 버퍼에 의하여 상기 제1 보정 영상 데이터를 저장하고, 상기 제1 보정 영상 데이터를 생성하는 것은, 상기 제1 영상 데이터에 대한 보정을 하는 경우, 상기 버퍼에 저장된 제1 보정 영상 데이터를 활용하는 것을 포함한다.
또한, 상기 제1 보정 영상 데이터를 생성하는 것은, 상기 이미지 센서로부터 제1 영상 데이터의 입력 이후 제2 영상 데이터를 입력 받는 경우, 제1 영상 데이터의 불량 화소와 제2 영상 데이터의 불량 화소의 동일성을 판단하는 것을 포함할 수 있다.
또한, 상기 제1 보정 영상 데이터를 생성하는 것은, 제1 영상 데이터와 다른 제2 영상 데이터를 입력 받는 경우, 제1 영상 데이터의 불량 화소와 제2 영상 데이터의 불량 화소가 같은 것으로 판단되면, 상기 버퍼에서 제1 보정 영상 데이터에 기초하여 상기 제2 영상 데이터를 보정하는 것을 포함할 수 있다.
또한, 상기 제1 보정 영상 데이터를 생성하는 것은, 상기 제1 영상 데이터와 다른 제2 영상 데이터를 입력 받는 경우, 상기 제1 영상 데이터의 불량 화소와 상기 제2 영상 데이터의 불량 화소가 다른 것으로 판단되면, 상기 버퍼에서 상기 제2 영상 데이터의 불량 화소가 보정된 제2 보정 영상 데이터를 생성하고, 생성된 상기 제2 보정 영상 데이터를 상기 버퍼에 저장하는 것을 포함할 수 있다.
또한, 상기 제1 보정 영상 데이터를 생성하는 것은, 상기 불량 화소가 세로 패턴을 갖는 경우, 상기 불량 화소에 대한 보정 영상 데이터를 생성하고, 생성된 상기 보정 영상 데이터를 상기 버퍼에 저장하는 것을 포함할 수 있다.
또한, 상기 제1 보정 영상 데이터를 생성하는 것은, 상기 제1 영상 데이터에서 불량 화소가 존재하는 부분을 추출하고, 상기 추출된 부분에 대하여만 보정 영상 데이터를 생성하는 것을 포함할 수 있다.
또한, 상기 제1 보정 영상 데이터를 생성하는 것은, 상기 제1 영상 데이터에 존재하는 각각의 픽셀의 위치 데이터에 기반하여 상기 불량 화소가 존재하는 부분을 추출하는 것을 포함할 수 있다.
본 발명에 따른 이미지 센서의 프로세서는 이미지 센서로부터 제1 영상 데이터를 입력 받고, 상기 제1 영상 데이터에서 미리 설정된 기준에 따라 타겟 패턴(Target pattern)에 대응하는 불량 화소의 패턴의 존재여부를 판단하는 영상 판단 장치; 및 상기 불량 화소의 존재여부에 대한 판단 결과에 기초하여 상기 불량 화소가 보정된 제1 보정 영상 데이터를 생성하되, 상기 제1 영상 데이터에 대한 보정을 하는 경우, 상기 버퍼에 저장된 제1 보정 영상 데이터를 활용하는 영상 보정 장치를 포함한다.
또한, 상기 영상 판단 장치는, 이미지 센서로부터 제1 영상 데이터의 입력 이후 제2 영상 데이터를 입력 받는 경우, 제1 영상 데이터의 불량 화소와 제2 영상 데이터의 불량 화소의 동일성을 판단할 수 있다.
또한, 상기 영상 보정 장치는, 이미지 센서로부터 제1 영상 데이터와 다른 제2 영상 데이터를 입력 받는 경우, 제1 영상 데이터의 불량 화소와 제2 영상 데이터의 불량화소가 같은 것으로 판단되면, 버퍼에서 제1 보정 영상 데이터에 기초하여 상기 제2 영상 데이터를 보정할 수 있다.
또한, 상기 영상 보정 장치는, 이미지 센서로부터 상기 제1 영상 데이터와 다른 제2 영상 데이터를 입력 받는 경우, 상기 제1 영상 데이터의 불량 화소와 상기 제2 영상 데이터의 불량 화소가 다른 것으로 판단되면, 상기 버퍼에서 상기 제2 영상 데이터의 불량 화소가 보정된 제2 보정 영상 데이터를 생성하고, 생성된 상기 제2 보정 영상 데이터를 상기 버퍼에 저장할 수 있다.
또한, 상기 영상 보정 장치는, 상기 불량 화소가 세로 패턴을 갖는 경우, 상기 불량 화소에 대한 보정 영상 데이터를 생성하고, 생성된 상기 보정 영상 데이터를 상기 버퍼에 저장할 수 있다.
또한, 상기 영상 보정 장치는, 상기 제1 영상 데이터에서 불량 화소가 존재하는 부분을 추출하고, 상기 추출된 부분에 대하여만 보정 영상 데이터를 생성할 수 있다.
상술한 구성을 포함함으로써, 본 발명은 버퍼에 미리 불량 화소에 대한 정보 및 불량 화소가 보정된 영상의 정보를 저장하고, 영상을 보정하는 경우, 버퍼에 저장된 정보를 활용하는 이미지 처리 장치를 제공하는 효과가 존재한다.
또한, 본 발명은 버퍼에 저장된 정보를 활용함으로써, 효율적으로 영상을 보정할 수 있는 효과가 존재한다.
도 1은 본 발명에 따른 이미지 처리 장치의 블록도이다.
도 2는 본 발명에 따른 이미지 처리 장치의 실시예이다.
도 3은 본 발명에 따른 이미지 센서(110)로부터 출력된 이미지 데이터들의 예를 도시한 것이다.
도 4는 본 발명에 따른 이미지 처리 장치의 프로세서의 블록도이다.
도 5는 본 발명에 따른 이미지 처리 장치에서 불량화소를 보정하는 것을 도시한 것이다.
도 6은 본 발명에 따른 이미지 처리 장치에서 보정 영상을 생성하는 것을 도시한 것이다.
도 7은 본 발명에 따른 이미지 처리 장치에서 이미지 데이터의 일부를 이용하여 이미지 센서의 교정 동작이 수행되는 예를 도시한 것이다.
도 8은 본 발명에 따른 이미지 처리 장치에서 영상 데이터를 보정하는 과정을 도시한 순서도이다..
도 9는 본 발명에 따른 이미지 처리 장치에 복수의 영상에 대한 데이터가 입력되는 경우 영상 데이터를 보정하는 과정을 도시한 것이다.
도 10은 멀티 카메라 모듈을 포함하는 이미지 처리 장치(100)의 실시예이다.
도 11은 도 10의 카메라 모듈의 상세 블록도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 본 발명에 따른 이미지 처리 장치(100)의 블록도이다.
도 1을 참조하면, 이미지 처리 장치는 이미지 센서(110), 프로세서(120) 및 버퍼(130)를 포함한다.
이미지 센서(110)는 외부 환경을 감지하고, 이미지 데이터를 출력한다. 구체적으로, 이미지 센서(110)는 외부의 환경을 이미지 또는 영상으로 감지하고, 이미지 데이터를 프로세서(120)로 전달한다.
프로세서(120)는 입력된 영상에서 불량화소가 존재하는지 판단할 수 있으며, 입력된 영상에 불량 화소가 존재하는 것으로 판단되면, 보정 영상을 생성할 수 있다.
프로세서(120)는 이미지 센서로부터 영상 데이터들을 입력 받고, 영상 데이터에서 미리 설정된 기준에 따라 타겟 패턴(Target pattern)에 대응하는 불량 화소의 패턴의 존재여부를 판단하고, 판단 결과에 기초하여 불량 화소가 보정된 제1 보정 영상 데이터를 생성한다. 또한, 프로세서(120)는 여기서, 이미지 센서로부터 입력되는 영상 데이터는 제1 영상 데이터 및 제2 영상 데이터로 구분하여 정의한다. 제2 영상 데이터는 제1 영상 데이터와는 시간차이를 두고 입력되는 영상 데이터로서, 제1 영상 데이터와 같거나 다를 수 있다. 또한, 프로세서(120)는 입력된 영상 데이터에 대하여 보정을 수행하는 경우 버퍼(130)에 저장된 정보를 활용할 수 있다. 프로세서(120)의 동작에 대한 구체적인 설명은 도 4에서 상세히 설명한다.
버퍼(130)는 프로세서(120)의 영상 보정 데이터를 저장한다. 구체적으로, 프로세서(120)가 입력된 영상 데이터에 불량 화소에 대응하는 데이터가 존재하는 것으로 판단하여 보정 영상을 생성하면, 버퍼(130)는 프로세서(120)가 보정한 불량 화소에 대응하는 데이터 및 불량 화소가 보정된 영상에 대응하는 데이터를 저장하고, 새로운 영상 데이터가 프로세서(120)에 입력되면, 프로세서(120)에 보정 영상 데이터를 제공할 수 있다. 또한, 버퍼(130)는 입력된 영상에서 새로운 불량 화소가 있는 것으로 판단되면, 새로운 불량 화소에 대응하는 데이터를 저장할 수 있으나, 입력된 영상에서 새로운 불량 화소가 없는 것으로 판단되면, 새로운 불량 화소에 대응하는 데이터를 저장하지 않는다.
도 2는 도 1의 이미지 센서(110)의 실시예이고, 도 3은 본 발명에 따른 이미지 센서(110)로부터 출력된 이미지 데이터들을 가공한 예를 도시한 것이다.
이미지 센서(110)는 램프 신호를 생성하는 제너레이터(140), 타이밍 컨트롤러(150), 드라이버(160), 픽셀 어레이(170), 아날로그 디지털 컨버팅 블록(이하, ADC 블록, 180) 및 데이터 출력단(190)를 포함할 수 있다.
제너레이터(140)는 램프 신호를 생성할 수 있다. 제너레이터(140)는 타이밍 컨트롤러(150)의 제어 하에 동작할 수 있다. 예를 들어, 제너레이터(140)는 램프 인에이블 신호, 모드 신호 등과 같은 제어 신호 하에 동작할 수 있다. 제너레이터(140)는 램프 인에이블 신호가 활성화되면, 모드 신호에 기초하여 설정되는 기울기를 가지는 램프 신호를 생성할 수 있다.
타이밍 컨트롤러(150)는 로우 드라이버(120), 램프 신호 생성기(130), ADC 블록(140), 및 카운터(CNT) 각각의 동작 및/또는 타이밍을 제어하기 위한 제어 신호 및/또는 클럭을 생성할 수 있다.
드라이버(160)는 픽셀 어레이(170)의 행을 선택하고 구동할 수 있다. 로우 드라이버(160)는 타이밍 컨트롤러(150)에 의해 생성된 어드레스 및/또는 제어 신호를 디코딩하여, 픽셀 어레이(170)의 행을 선택하고 구동하기 위한 제어 신호들을 생성할 수 있다. 예를 들어, 제어 신호들, 픽셀을 선택하기 위한 신호, 플로팅 확산 노드를 리셋하기 위한 신호, 컬럼 라인을 선택하기 위한 신호 등을 포함할 수 있다.
픽셀 어레이(170)는 행과 열을 따라 매트릭스 형태로 배치된 복수의 픽셀들을 포함할 수 있으며, 액티브 액티브 픽셀 영역(170a)과 옵티컬 블랙 영역(170b)으로 구분될 수 있다. 복수의 픽셀들 각각은 광전 변환 소자를 포함할 수 있다. 액티브 픽셀 영역(170a)의 픽셀은 광전 변환 소자를 이용하여 빛을 감지하고, 감지된 빛을 전기 신호(이하, 픽셀 신호)로 변환시킬 수 있다. 예를 들어, 광전 변환 소자는 포토 다이오드, 포토 트랜지스터, 포토 게이트, 또는 핀드 포토 다이오드(pinned photodiode) 등을 포함할 수 있다. 예시적으로, 옵티컬 블랙 영역은 픽셀 어레이(170)의 탑 로우(top row)에 배치된 것으로 도시되었으나, 이에 한정되지 않는다.
픽셀 어레이(170)는 복수의 픽셀 그룹들을 포함할 수 있다. 각 픽셀 그룹(PG)은 적어도 둘 또는 그 이상의 픽셀들을 포함할 수 있다. 예시적으로, 픽셀 그룹(PG)은 2행 2열로 배치된 픽셀들을 포함하는 것으로 도시되었다. 픽셀 그룹(PG)을 구성하는 픽셀들은 하나의 플로팅 확산 노드를(floating diffusion region)을 공유할 수 있다. 그러나, 본 개시는 이에 한정되지 않으며, 픽셀 그룹(PG)을 구성하는 픽셀들은 복수의 플로팅 확산 노드들을 공유할 수도 있다. 나아가, 예시적으로, 픽셀 어레이(170)는 4개의 행들과 2개의 열들(즉, 4Ⅹ2)의 픽셀 그룹들을 포함하는 것으로 도시되었으나, 이에 한정되지 않는다.
픽셀 그룹(PG)은 동일한 컬러의 픽셀들을 포함할 수 있다. 예를 들어, 픽셀 그룹(PG)은 붉은 스펙트럼 영역의 빛을 전기 신호로 변환시키는 레드 픽셀(R), 녹색 스펙트럼 영역의 빛을 전기 신호로 변환시키는 그린 픽셀(Gr, Gb), 또는 파란 스펙트럼 영역의 빛을 전기 신호로 변환시키는 블루 픽셀(B)을 포함할 수 있다. 예를 들어, 픽셀 어레이(170)를 구성하는 픽셀들은 테트라-베이어 패턴(Tetra-Bayer Pattern) 형태로 배치될 수 있다.
한편, 픽셀 어레이(170)를 구성하는 픽셀 그룹(PG)들 상에는 복수의 컬러 필터들이 형성되어, 멀티-컬러 필터 어레이(Multi-color filter array; Multi-CFA)가 형성될 수 있으며, 공정 순서에 따라 컬러 필터가 생성되는 높이가 서로 다를 수 있다. 예를 들어, 비교적 빨리 형성된 컬러 필터가 기판으로부터 형성되는 높이는 상대적으로 낮을 수 있다. 반면, 비교적 늦게 형성된 컬러 필터가 기판으로부터 형성되는 높이는 상대적으로 높을 수 있다. 상대적으로 높게 형성된 컬러 필터에 의해, 상대적으로 낮게 형성된 컬러 필터가 영향을 받을 수 있으며, 이는 픽셀들 간의 크로스토크를 발생시키는 요인이 된다. .
하나의 컬럼을 따라 배치되는 픽셀 그룹들은 두 개의 컬럼 라인들에 교대로 연결될 수 있다. 예를 들어, 제 1 열에 배치되는 픽셀 그룹들 중, 일부는 제 1 컬럼 라인(CL1)에 연결될 수 있으며, 다른 일부는 제 2 컬럼 라인(CL2)에 연결될 수 있다. 유사하게, 제 2 열에 배치되는 픽셀 그룹들 중, 일부는 제 3 컬럼 라인(CL3)에 연결될 수 있으며, 다른 일부는 제 4 컬럼 라인(CL4)에 연결될 수 있다.
ADC 블록(180)은 픽셀 어레이(170)로부터 출력되는 아날로그 신호(즉, 픽셀 신호)를 디지털 신호로 변환할 수 있다.
예시적으로, ADC 블록(180)은 4개의 ADC들(180_1, 180_2, 180_3, 180_4)을 포함할 수 있으며, 각 ADC는 비교기(COMP) 및 카운터(CNT)를 포함할 수 있다. 비교기(COMP)는 비교기(COMP)에 연결된 컬럼 라인(즉, CL1~CL4 중 어느 하나)을 통하여 출력되는 픽셀 신호와 램프 신호(RAMP)를 비교할 수 있으며, 비교 결과를 출력할 수 있다. 예를 들어, 비교기(COMP)는 픽셀 신호에 대하여 리셋 신호 및 이미지 신호를 획득하고, 그 차이를 유효한 신호 성분으로 추출하는 상관 이중 샘플링(correlated-double sampling; CDS) 기법에 기반하여 동작할 수 있다.
카운터(CNT)는 타이밍 컨트롤러(150)의 제어 하에 동작할 수 있으며, 대응하는 비교기(COMP) 출력 신호의 펄스들을 카운팅 수 있다. 예를 들어, 카운터(CNT)는 카운터 클럭 신호, 카운터(CNT)의 리셋(reset) 을 제어하는 카운터 리셋 신호, 및 카운터(CNT)의 내부 비트를 반전시키는 반전 신호 등과 같은 제어 신호 하에 동작할 수 있다. 카운터(CNT)는 카운터 클럭 신호에 따라 비교 결과 신호를 카운팅하여 디지털 신호로써 출력할 수 있다.
카운터(CNT)는 업/다운 카운터(Up/Down Counter) 및 비트-와이즈 카운터(Bit-wise Inversion Counter)등을 포함할 수 있다. 비트-와이즈 카운터는 업/다운 카운터와 비슷한 동작을 수행할 수 있다. 예컨대, 비트-와이즈 카운터는 업 카운트만 수행하는 기능 및 특정 신호가 들어오면 카운터 내부의 모든 비트를 반전하여 1의 보수(1's complement)로 만드는 기능을 수행할 수 있다. 비트-와이즈 카운터는 리셋 카운트(reset count)를 수행한 후 이를 반전하여 1의 보수, 즉, 음수 값으로 변환할 수 있다.
데이터 출력단(190)은 메모리들(MEMs)의 집합(191) 및 감지 증폭기(SA)를 포함할 수 있다. 메모리들(MEMs)은 대응하는 ADC로부터 출력된 디지털 신호를 저장할 수 있다. 감지 증폭기(SA)는 저장된 디지털 신호를 감지 및 증폭할 수 있다. 감지 증폭기(SA)는 증폭된 디지털 신호를 이미지 데이터(IDAT)로서 출력할 수 있다. 예를 들어, 이미지 데이터(IDAT)는 11비트로 구성될 수 있다.
또한, 도 3을 참조하면, 프로세서(120)는 이미지 데이터들에 대해 리모자이크(remosaic) 동작을 수행할 수 있다. 여기서 프로세서(120)는 미리 설정된 필섹 단위(BU1)을 프레임으로 하여 불량화소를 검출할 수 있다. 구체적으로, 프로세서(120)는 영상 보정 작업을 수행하기 위하여 RGB 포맷을 사용할 수 있고, 도 2에서 도시된 이미지 센서(110)로부터 영상 데이터를 입력받고, 입력된 이미지 데이터를 리모자이크 할 수 있다. 프로세서(120)가 이미지 센서(110)로부터 출력된 이미지 데이터에 대해 리모자이크를 수행함으로써, 도면에 도시된 것과 같은 베이어 패턴(bayer pattern)의 이미지 데이터가 생성될 수 있다.
도 4는 본 발명에 따른 이미지 처리 장치의 프로세서(120)의 블록도이다.
도 4를 참조하면, 프로세서(120)는 영상 판단 장치(121) 및 영상 보정 장치(122)를 포함할 수 있다.
영상 판단 장치(121)는 입력된 영상에 불량 화소가 존재하는지 판단하고, 불량 화소의 패턴을 판단할 수 있다. 구체적으로, 영상 판단 장치(121)는 영상의 특정 위치를 선정하고, 특정 위치에 존재하는 픽셀에서 불량 화소가 존재하는지 판단할 수 있다. 여기서 불량 화소는 하나의 픽셀 또는 복수의 픽셀을 포함할 수 있다. 또한, 특정 위치는 미리 설정된 픽셀 단위의 정사각형 프레임을 포함할 수 있고, 영상 판단 장치(121)는 각각의 픽셀의 위치 데이터에 기반하여 상기 불량 화소가 존재하는 부분을 추출할 수 있다. 불량 화소는 가로 또는 세로의 불량 화소 픽셀 열을 포함할 수 있다. 또한, 영상 판단 장치(121)는 불량 화소의 패턴이 산발적인지, 세로인지 또는 가로인지 여부를 판단할 수 있따. 즉, 영상 판단 장치(121) 가로열 또는 세로열의 불량 화소의 집합의 존재를 판단할 수 있고, 불량 화소의 패턴을 판단할 수 있다.
또한, 영상 판단 장치(121)는 복수의 영상 데이터들이 입력되는 경우, 입력된 영상 데이터들의 동일성을 판단할 수 있다. 예를 들면, 제1 영상 데이터가 입력되고, 제1 영상 데이터가 입력된 이후 제2 영상 데이터가 입력되면, 영상 판단 장치(121)는 제1 영상과 제2 영상의 동일성을 판단할 수 있다. 또한, 영상 판단 장치(121)는 제1 영상 및 제2 영상에 불량 화소가 존재하는 것으로 판단되면, 제1 영상의 불량 화소 및 제2 영상의 불량 화소의 동일성을 판단할 수 있다.
영상 보정 장치(122)는 영상 판단 장치(121)의 판단 결과를 입력 받고 영상을 보정한다. 구체적으로, 영상 보정 장치(122)는 영상 판단 장치(121)의 판단 결과에 따라서 버퍼(130)에 저장된 정보를 활용할지 여부를 결정할 수 있다. 영상 판단 장치(121)가 제1 영상 데이터의 불량 화소와 제2 영상 데이터의 불량 화소가 같은 것으로 판단하면, 영상 보정 장치(122)는 버퍼에서 제1 보정 영상 데이터와 동일하게 제2 영상 데이터를 보정할 수 있다. 그러나, 제1 영상 데이터의 불량 화소와 제2 영상 데이터의 불량 화소가 다른 것으로 판단되면, 영상 보정 장치(122)는 버퍼(130)에서 제2 영상 데이터의 불량 화소가 보정된 제2 보정 영상 데이터를 생성하고, 생성된 제2 보정 영상 데이터를 버퍼(130)에 저장한다. 여기서 제1 및 제2 는 영상 및 데이터를 구분하기 위한 것이다.
또한, 영상 보정 장치(122)는 불량 화소의 패턴에 기초하여 불량 화소를 보정할 수 있다. 예를 들면, 불량 화소가 세로 패턴을 갖는 경우, 영상 보정 장치(122)는 불량 화소에 대한 보정 영상 데이터를 생성하고, 생성된 보정 영상 데이터를 버퍼(130)에 저장할 수 있다. 이는 불량 화소가 가로 패턴 또는 산발적인 패턴을 갖는 경우에도 마찬가지이다.
즉, 영상 판단 장치(121)가 제1 영상과 제2 영상이 동일한 영상으로 판단하거나, 입력된 영상들의 불량 화소가 동일 패턴인 것으로 판단되면, 영상 보정 장치(122)는 버퍼(130)에 저장된 정보를 활용하여 입력된 영상을 보정할 수 있다. 그러나, 제1 영상과 제2 영상이 동일하지 않은 영상으로 판단되거나, 입력된 영상들의 불량 화소가 상이한 패턴인 것으로 판단되면, 영상 보정 장치(122)는 새로운 보정 영상 데이터를 생성하고, 새로운 보정 영상 데이터를 버퍼(130)에 저장할 수 있다.
도 5는 본 발명에 따른 프로세서(120)에서 불량 화소를 보정하는 것을 도시한 것이고, 도 6은 본 발명에 따른 이미지 처리 장치(100)에서 보정 영상을 생성하는 것을 도시한 것이다. 여기서, 배드 픽셀(B)은 해칭표시가 된 부분이고, 프로세서(120)는 버퍼(130)에 저장된 정보를 활용하여 배드 픽셀(B)을 보정하고, 보정 픽셀(N)을 생성할 수 있다.
도 5 및 도 6을 참조하면, 본 발명에 따른 이미지 처리 장치(100)의 프로세서(120)는 세로열의 픽셀을 입력 받고, 입력된 픽셀들에 불량 화소가 존재하는지 판단할 수 있다. 상술한 바와 같이 프로세서(120)는 입력된 픽셀이 불량 화소를 포함하는 것으로 판단되고, 불량 화소가 버퍼(130)에 저장된 것으로 판단되면, 버퍼(130)에 저장된 데이터를 활용하여 보정 영상을 생성할 수 있다. 그러나, 입력된 픽셀의 불량화소가 버퍼(130)에 저장되어 있지 않은 것으로 판단되면, 프로세서(120)는 새로운 보정 영상을 생성하고, 생성된 보정 영상 및 불량 화소의 정보를 버퍼(130)에 저장할 수 있다.
도 6의 예시를 참조하면, 프로세서(120)는 특정 프레임을 단위로 하여 입력된 영상에 불량 화소가 존재하는지 여부를 판단할 수 있다. 여기서 특정 프레임은 정사각형의 프레임으로 표현되었으나, 이에 한정되지 않는다. 프로세서(120)는 입력된 이미지 데이터에서 제1 검출, 제2 검출 … 제n 검출 과정을 통하여 불량 화소의 존재 여부 및 불량 화소의 패턴을 판단할 수 있다. 예를 들어, 제1 검출 내지 제n 검출은 행 방향, 열 방향, 또는 이들의 조합으로의 불량 화소들을 검출하기 위한 것과 관련될 수 있다.
프로세서(120)에 의해, 제1 검출 당시 입력된 영상 데이터에 불량 화소가 존재하는 것으로 판단되면, 프로세서(120)는 주변의 화소들을 참조하여 불량 화소를 보정하고 보정 결과를 버퍼(130)에 저장할 수 있다. 예를 들어, 도 6의 제1 불량은 레드 픽셀의 불량과 관련되며, 프로세서(120)는 주위의 레드 픽셀들의 값들을 참조하여 레드 픽셀의 값을 계산할 수 있다.
또한, 프로세서(120)에 의해, 제2 검출 당시 입력된 영상에 존재하는 불량화소가 제1 검출 당시 검출된 불량화소와 동일한 것으로 판단되면, 프로세서(120)는 버퍼(130)에 저장된 정보에 기초하여 입력된 영상을 보정할 수 있다. 예를 들어, 도 6의 제2 불량에 대한 처리 시, 프로세서(120)는 레드 픽셀의 불량을 처리하기 위해 (130)에 저장된 레드 픽셀의 값을 사용할 수 있다. 나아가, 프로세서(120)는 그린 픽셀의 불량을 처리하기 위해 주위의 그린 픽셀들의 값들을 참조하여 그린 픽셀의 값을 계산할 수 있다. 결론적으로, 프로세서(120)는 버퍼(130)에 저장된 레드 픽셀의 값을 참조하고, 그린 픽셀의 값을 계산함으로써, 제2 검출에서 검출된 불량 픽셀들(즉, 레드 픽셀 및 그린 픽셀)을 보정할 수 있다.
전술된 보정은 다른 검출 과정(즉, 제n 검출)에서도 동일하게 수행될 것이다.
도 7은 본 발명에 따른 이미지 처리 장치(100)에서 이미지 데이터의 일부를 이용하여 이미지 센서의 보정 동작이 수행되는 것의 실시예를 개념적으로 도시한 것이다.
본 발명에 따른 이미지 처리 장치(100)는 하나의 프레임만을 활용하여 불량화소를 찾아낼 수 있고, 복수의 프레임들을 동시에 활용하여 입력 영상에 불량 화소의 존재여부 및 불량 화소의 패턴을 판단할 수 있다.
여기서, 이미지 데이터는 이미지 센서(110)의 출력에 대해 리모자이크가 수행된 결과(예컨대, 도 3의 픽셀 맵)일 수 있다. 예시적으로, 이미지 데이터의 제1 부분 이미지 데이터 및 제2 부분 이미지 데이터에 기반하여, 서로 다른 제1 보정 및 제2 보정이 수행될 수 있다.
도 8은 본 발명에 따른 이미지 처리 장치에서 영상 데이터를 보정하는 과정을 도시한 순서도이다.
도 8을 참조하면, 이미지 센서(110)는 외부 환경을 감지하고, 이미지 데이터를 출력한다(S1001). 여기서 편의상, 출력된 이미지 데이터를 제1 영상 데이터로 설명한다.
이미지 데이터가 출력되면, 프로세서(120)는 제1 영상 데이터를 수신한다(S1002). 제1 영상 데이터는 RGB(Red Green Blue)포맷을 갖는 데이터일 수 있다.
제1 영상 데이터가 수신되면, 프로세서(120)는 제1 영상에 타겟 패턴이 존재하는지 판단한다(S1003). 여기서 타겟 패턴은 행 방향, 열 방향, 또는 이들의 조합으로의 불량 화소들의 집합일 수 있다.
제1 영상에 타겟 패턴이 존재하는 것으로 판단되면, 프로세서(120)는 버퍼(130)에 제1 보정 영상 데이터가 존재하는지 판단한다(S1004). 여기서 제1 보정 영상은 기 입력된 제1 영상에 기초하여 미리 생성된 제1 영상의 보정 영상을 의미한다. 제1 영상에 타겟 패턴이 존재하지 않는 것으로 판단되면, 프로세서(120)는 영상의 보정 없이 영상 보정 과정을 종료한다.
버퍼(130)에 제1 보정 영상 데이터가 존재하지 않는 것으로 판단되면, 프로세서(120)는 버퍼(130)의 정보를 활용하지 않고 제1 보정 영상을 생성한다(S1005). 그러나, 버퍼(130)에 제1 보정 영상 데이터가 존재하는 것으로 판단되면, 프로세서(120)는 버퍼(130)의 제1 보정 영상 데이터를 활용하여 영상 데이터를 보정한다(S1006).
도 9는 본 발명에 따른 이미지 처리 장치(100)에 복수의 영상에 대한 데이터가 입력되는 경우 영상 데이터를 보정하는 과정을 도시한 것이다.
도 9를 참조하면, 이미지 센서(11)는 외부 환경을 감지하고 영상 데이터를 출력한다(S2001).
영상 데이터를 출력되면, 프로세서(120)는 제2 영상 데이터를 수신한다(S2002). 여기서, 제2 영상 데이터는 제1 영상 데이터 이후에 입력되는 영상 데이터를 의미한다. 제2 영상 데이터는 제1 영상 데이터와 같거나 다를 수 있다.
제2 영상 데이터가 수신되면, 프로세서(120)는 제2 영상에 타겟 패턴이 존재하는지 판단한다(S2003). 여기서 타겟 패턴은 행 방향, 열 방향, 또는 이들의 조합으로의 불량 화소들의 집합일 수 있다.
제2 영상에 타겟 패턴이 존재하는 것으로 판단되면, 프로세서(120)는 제2 영상과 제1 영상이 동일한 영상인지 판단할 수 있다(S2004). 구체적으로, 프로세서(120)는 상술한 특정 프레임을 활용하여 제2 영상의 픽셀 패턴을 추출하고, 추출된 픽셀 패턴에 기초하여 제1 영상과 제2 영상이 동일한 영상인지 판단할 수 있다. 또한, 프로세서(120)는 상술한 방법을 통하여, 제1 영상 및 제2 영상의 타겟 패턴이 동일한 불량 화소인지 판단할 수 있다.
제2 영상과 제1 영상이 동일하지 않은 것으로 판단되면, 프로세서(120)는 버퍼(130)에 저장된 정보를 활용하지 않고 제2 보정 영상을 생성한다(S2005). 여기서제2 보정 영상은 제2 영상의 불량 화소가 보정된 영상을 의미한다. 그러나, 제2 영상과 제1 영상이 동일한 것으로 판단되면, 프로세서(120)는 버퍼(130)에 저장된 불량 화소의 정보를 활용하여 제2 보정 영상을 생성한다(S2006).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
도 10은 멀티 카메라 모듈을 포함하는 이미지 처리 장치(100)의 실시예이다. 도 11은 도 10의 카메라 모듈의 상세 블록도이다.
도 10을 참조하면, 이미지 처리 장치(100)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 외부 메모리(1400)를 포함할 수 있다.
카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.
이하, 도 11을 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100b)에 대해서도 동일하게 적용될 수 있다.
도 11을 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝OPFE˝)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.
프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.
몇몇 실시예에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.
몇몇 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.
몇몇 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.
OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.
액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.
이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)을 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.
메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.
저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.
도 10과 도 11을 함께 참조하면, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100b)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
또한, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.
다시 도 10을 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.
이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다.
이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.
각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
한편, 몇몇 실시예에서, 하나의 서브 이미지 프로세서가 복수의의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.
각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.
구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.
몇몇 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.
이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.
몇몇 실시예에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로서, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.
카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.
애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.
PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.
PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 이미지 처리 장치
110: 이미지 센서
120: 프로세서 121: 영상 판단 장치 122: 영상 보정 장치
130: 버퍼
140: 제너레이터
150: 타이밍 컨트롤러
160: 드라이버
170: 픽셀 어레이
180: 아날로그 디지털 컨버팅 블록
190: 데이터 출력단

Claims (10)

  1. 이미지 센서로부터 제1 영상 데이터를 입력 받고, 상기 제1 영상 데이터에서 제1 불량 화소를 검출하기 위한 제1 검출을 실행하고, 상기 제1 불량 화소의 주변 화소들의 값들에 기반하여 상기 제1 불량 화소를 보정하는 프로세서; 그리고
    상기 제1 불량 화소의 보정 결과를 저장하는 버퍼를 포함하되,
    상기 프로세서는,
    상기 제1 영상 데이터에서 상기 제1 불량 화소 및 상기 제1 불량 화소와 인접한 제2 불량 화소를 검출하기 위한 제2 검출을 실행하고, 상기 제2 불량 화소의 주변 화소들의 값들에 기반하여 상기 제2 불량 화소를 보정하고, 상기 버퍼에 저장된 상기 제1 불량 화소의 보정 결과를 이용하여 상기 제1 불량 화소를 보정하는 이미지 처리 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 이미지 센서로부터 제1 영상 데이터의 입력 이후 제2 영상 데이터를 입력 받는 경우,
    제1 영상 데이터의 불량 화소와 제2 영상 데이터의 불량 화소의 동일성을 판단하는 이미지 처리 장치.
  3. 제2 항에 있어서,
    상기 프로세서는,
    상기 이미지 센서로부터 제1 영상 데이터와 다른 제2 영상 데이터를 입력 받는 경우,
    제1 영상 데이터의 불량 화소와 제2 영상 데이터의 불량화소가 같은 것으로 판단되면, 상기 버퍼에서 제1 보정 영상 데이터에 기초하여 상기 제2 영상 데이터를 보정하는 이미지 처리 장치.
  4. 제2 항에 있어서,
    상기 프로세서는,
    상기 이미지 센서로부터 상기 제1 영상 데이터와 다른 제2 영상 데이터를 입력 받는 경우,
    상기 제1 영상 데이터의 불량 화소와 상기 제2 영상 데이터의 불량 화소가 다른 것으로 판단되면, 상기 버퍼에서 상기 제2 영상 데이터의 불량 화소가 보정된 제2 보정 영상 데이터를 생성하고, 생성된 상기 제2 보정 영상 데이터를 상기 버퍼에 저장하는 이미지 처리 장치.
  5. 프로세서에 의하여 이미지 센서로부터 제1 영상 데이터를 입력 받고, 상기 제1 영상 데이터에서 제1 불량 화소를 검출하기 위한 제1 검출을 실행하고, 상기 제1 불량 화소의 주변 화소들의 값들에 기반하여 상기 제1 불량 화소를 보정하고; 그리고
    버퍼에 의해 상기 제1 불량 화소의 보정 결과를 저장하는 것을 포함하되,
    상기 제1 불량 화소를 보정하는 것은,
    상기 제1 영상 데이터에서 상기 제1 불량 화소 및 상기 제1 불량 화소와 인접한 제2 불량 화소를 검출하기 위한 제2 검출을 실행하고, 상기 제2 불량 화소의 주변 화소들의 값들에 기반하여 상기 제2 불량 화소를 보정하고, 상기 버퍼에 저장된 상기 제1 불량 화소의 보정 결과를 이용하여 상기 제1 불량 화소를 보정하는 이미지 처리 장치의 제어방법.
  6. 제5 항에 있어서,
    상기 제1 보정 영상 데이터를 생성하는 것은,
    상기 이미지 센서로부터 제1 영상 데이터의 입력 이후 제2 영상 데이터를 입력 받는 경우, 제1 영상 데이터의 불량 화소와 제2 영상 데이터의 불량 화소의 동일성을 판단하는 이미지 처리 장치의 제어방법.
  7. 제5 항에 있어서,
    상기 제1 보정 영상 데이터를 생성하는 것은,
    상기 불량 화소가 세로 패턴을 갖는 경우, 상기 불량 화소에 대한 보정 영상 데이터를 생성하고, 생성된 상기 보정 영상 데이터를 상기 버퍼에 저장하는 것을 포함하는 이미지 처리 장치의 제어방법.
  8. 제5 항에 있어서,
    상기 제1 보정 영상 데이터를 생성하는 것은,
    상기 제1 영상 데이터에서 불량 화소가 존재하는 부분을 추출하고, 상기 추출된 부분에 대하여만 보정 영상 데이터를 생성하는 것을 포함하는 이미지 처리 장치의 제어방법.
  9. 이미지 센서로부터 제1 영상 데이터를 입력 받고, 상기 제1 영상 데이터에서 제1 불량 화소를 검출하기 위한 제1 검출을 실행하고, 상기 제1 영상 데이터에서 상기 제1 불량 화소 및 상기 제1 불량 화소와 인접한 제2 불량 화소를 검출하기 위한 제2 검출을 실행하는 영상 판단 장치; 및
    상기 제1 불량 화소의 주변 화소들의 값들에 기반하여 상기 제1 불량 화소를 보정하고, 상기 제2 불량 화소의 주변 화소들의 값들에 기반하여 상기 제2 불량 화소를 보정하고, 외부 버퍼에 저장된 상기 제1 불량 화소의 보정 결과를 이용하여 상기 제1 불량 화소를 보정하는 영상 보정 장치를 포함하는 이미지 처리 장치의 프로세서.
  10. 제9 항에 있어서,
    상기 영상 보정 장치는,
    상기 제1 영상 데이터에서 불량 화소가 존재하는 부분을 추출하고, 상기 추출된 부분에 대하여만 보정 영상 데이터를 생성하는 이미지 처리 장치의 프로세서.
KR1020200130885A 2020-10-12 2020-10-12 이미지 센서의 프로세서, 이미지 처리 장치 및 이의 제어 방법 KR20220048496A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200130885A KR20220048496A (ko) 2020-10-12 2020-10-12 이미지 센서의 프로세서, 이미지 처리 장치 및 이의 제어 방법
US17/319,528 US11770622B2 (en) 2020-10-12 2021-05-13 Processor, image processing device including the same, and control method of image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200130885A KR20220048496A (ko) 2020-10-12 2020-10-12 이미지 센서의 프로세서, 이미지 처리 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
KR20220048496A true KR20220048496A (ko) 2022-04-20

Family

ID=81078052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200130885A KR20220048496A (ko) 2020-10-12 2020-10-12 이미지 센서의 프로세서, 이미지 처리 장치 및 이의 제어 방법

Country Status (2)

Country Link
US (1) US11770622B2 (ko)
KR (1) KR20220048496A (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618084B1 (en) * 1997-11-05 2003-09-09 Stmicroelectronics, Inc. Pixel correction system and method for CMOS imagers
US6665009B1 (en) 1998-05-20 2003-12-16 Omnivision Technologies, Inc. On-chip dead pixel correction in a CMOS imaging sensor
US6737625B2 (en) 2001-06-28 2004-05-18 Agilent Technologies, Inc. Bad pixel detection and correction in an image sensing device
US7034873B2 (en) 2001-06-29 2006-04-25 Vanguard International Semiconductor Corporation Pixel defect correction in a CMOS active pixel image sensor
US7015961B2 (en) 2002-08-16 2006-03-21 Ramakrishna Kakarala Digital image system and method for combining demosaicing and bad pixel correction
US8971659B2 (en) 2008-08-05 2015-03-03 Qualcomm Incorporated Bad pixel cluster detection
US9124829B2 (en) 2012-07-26 2015-09-01 Altasens, Inc. Optical black pixel readout for image sensor data correction

Also Published As

Publication number Publication date
US11770622B2 (en) 2023-09-26
US20220116534A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
US20080278609A1 (en) Imaging apparatus, defective pixel correcting apparatus, processing method in the apparatuses, and program
US11640670B2 (en) Device and method for compensating crosstalk of image sensor having multi-color filter array
US11616934B2 (en) Image sensor
KR20220038972A (ko) 전자 장치 및 그 이미지 비닝방법
KR20210135380A (ko) 이미지 센서
US11785355B2 (en) Image sensor configured to improve artifact in binning mode
KR20220122008A (ko) 이미지 신호 프로세싱 방법, 이미지 신호 프로세서 및 그 이미지 센싱 장치
KR20220017649A (ko) 이미지 센서를 포함하는 전자 장치
KR20220048496A (ko) 이미지 센서의 프로세서, 이미지 처리 장치 및 이의 제어 방법
US11700460B2 (en) Image sensing apparatus and image binning method thereof
JP2022070246A (ja) 均等に配置された位相検出ピクセルを含むピクセルアレイ及びそれを含むイメージセンサ
KR20210116168A (ko) 이미지 데이터를 생성하고 그리고 생성된 이미지 데이터를 변환하는 전자 장치 및 전자 장치의 동작 방법
KR20230000673A (ko) 듀얼 컨버전 게인을 이용한 노이즈 감소를 위한 이미지 처리 장치 및 그 동작 방법
KR20220033550A (ko) 이미지 센서
US20220247949A1 (en) Image sensor and electronic device including the same
JP6851744B2 (ja) 信号処理装置、信号処理方法、プログラムおよび記憶媒体
US20220337771A1 (en) Camera module and operating method of camera module
US20230412939A1 (en) Image sensor correcting crosstalk, operating method of image sensor, and electronic device including image sensor
US20230154945A1 (en) Image sensor
EP4096217A1 (en) Image sensor and image signal processing method
KR20230174127A (ko) 크로스토크를 정정하는 이미지 센서, 이미지 센서의 동작 방법, 그리고 이미지 센서를 포함하는 전자 장치
US20230353891A1 (en) Method of binning image sensor, and image sensor performing the same
KR20220141971A (ko) 이미지 장치 및 동작 방법
US20220286629A1 (en) Image sensor, operating method of image sensor, and electronic device including image sensor
US20240185558A1 (en) Image signal processor and image sensing device thereof