KR20230037237A - 이미지 처리 시스템 및 그 동작 방법 - Google Patents

이미지 처리 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR20230037237A
KR20230037237A KR1020210120293A KR20210120293A KR20230037237A KR 20230037237 A KR20230037237 A KR 20230037237A KR 1020210120293 A KR1020210120293 A KR 1020210120293A KR 20210120293 A KR20210120293 A KR 20210120293A KR 20230037237 A KR20230037237 A KR 20230037237A
Authority
KR
South Korea
Prior art keywords
value
pixel
pixels
target
values
Prior art date
Application number
KR1020210120293A
Other languages
English (en)
Inventor
장철존
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020210120293A priority Critical patent/KR20230037237A/ko
Priority to US17/683,000 priority patent/US11962923B2/en
Priority to CN202210322371.6A priority patent/CN115802181A/zh
Priority to JP2022082000A priority patent/JP2023039900A/ja
Publication of KR20230037237A publication Critical patent/KR20230037237A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 기술은 이미지 처리 시스템에 관한 것으로, 본 기술에 따른 이미지 처리장치는, 이미지 센서에 포함된 복수의 픽셀들 중 노이즈가 발생한 복수의 타겟 픽셀들을 검출하는 타겟 픽셀 검출부, 상기 복수의 타겟 픽셀들의 각각의 위치를 기준으로 미리 설정된 범위에 포함된 주변 픽셀들의 픽셀값들의 평균값들을 이용하여 상기 복수의 타겟 픽셀들의 픽셀값들인 타겟 픽셀값들을 변경하는 타겟 픽셀 보정부 및 상기 평균값들의 소수 부분에 대응하는 값들을 누적한 누적값을 이용하여 상기 타겟 픽셀값들을 보상하는 타겟 픽셀 보상부를 포함할 수 있다.

Description

이미지 처리 시스템 및 그 동작 방법{IMAGE PROCESSING SYSTEM AND OPERATING METHOD THEREOF}
본 발명은 이미지 처리 시스템에 관한 것으로, 보다 구체적으로 본 발명은 이미지 처리 시스템 및 그 동작 방법에 관한 것이다.
이미지 센서는 빛에 반응하는 반도체의 성질을 이용하여 이미지를 캡쳐(capture)하는 장치이다. 최근 들어, 컴퓨터 산업과 통신 산업의 발달에 따라 스마트폰, 디지털 카메라, 게임기기, 사물 인터넷(Internet of Things), 로봇, 경비용 카메라, 의료용 마이크로 카메라 등 다양한 분야에서 성능이 향상된 이미지 센서의 수요가 증대되고 있다.
이미지 센서는 크게 CCD(Charge Coupled Device) 이미지 센서와, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로 구분될 수 있다. CCD 이미지 센서는 CMOS 이미지 센서에 비해 잡음(noise)이 적고, 화질이 우수하다. 하지만, CMOS 이미지 센서는 구동 방식이 간편하고 다양한 스캐닝(scanning) 방식으로 구현 가능하다. 또한, CMOS 이미지 센서는 신호 처리 회로를 단일 칩에 집적할 수 있어 제품의 소형화가 용이하고 전력 소모가 매우 낮으며, CMOS 공정 기술을 호환하여 사용할 수 있어 제조 단가가 낮다. 최근에는 모바일 기기에 보다 적합한 특성으로 인하여 CMOS 이미지 센싱 시스템이 많이 이용되고 있다.
본 발명의 실시 예는 이미지에 발생한 노이즈를 제거한 이후에도 이미지의 평균 픽셀값을 유지하는 이미지 처리 시스템 및 그 동작 방법을 제공한다.
본 발명의 실시 예에 따른 이미지 처리장치는, 이미지 센서에 포함된 복수의 픽셀들 중 노이즈가 발생한 복수의 타겟 픽셀들을 검출하는 타겟 픽셀 검출부, 상기 복수의 타겟 픽셀들의 각각의 위치를 기준으로 미리 설정된 범위에 포함된 주변 픽셀들의 픽셀값들의 평균값들을 이용하여 상기 복수의 타겟 픽셀들의 픽셀값들인 타겟 픽셀값들을 변경하는 타겟 픽셀 보정부 및 상기 평균값들의 소수 부분에 대응하는 값들을 누적한 누적값을 이용하여 상기 타겟 픽셀값들을 보상하는 타겟 픽셀 보상부를 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 처리장치는, 이미지 센서에 포함된 복수의 픽셀들 중 노이즈가 발생한 복수의 타겟 픽셀들을 검출하는 타겟 픽셀 검출부, 상기 복수의 타겟 픽셀들의 각각의 위치를 기준으로 가로방향으로 접촉된 접촉 픽셀들의 픽셀값들의 평균값들을 이용하여 상기 복수의 타겟 픽셀들의 픽셀값들인 타겟 픽셀값들을 변경하는 타겟 픽셀 보정부 및 상기 접촉 픽셀들의 픽셀값들의 합산값들을 기초로 상기 타겟 픽셀값들을 보상하는 타겟 픽셀 보상부를 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 처리장치의 동작방법은, 이미지를 나타내는 복수의 픽셀들의 픽셀값들을 수신하는 단계, 상기 복수의 픽셀들 중 노이즈가 발생한 제1 타겟 픽셀의 미리 결정된 범위 내에 포함된 주변 픽셀들의 픽셀값들의 평균값을 이용하여 상기 제1 타겟 픽셀의 픽셀값을 변경하는 단계, 상기 제1 타겟 픽셀에 대응하는 평균값의 소수 부분에 대응하는 값인 제1 소수값을 획득하는 단계, 상기 복수의 픽셀들 중 상기 노이즈가 발생한 제2 타겟 픽셀의 미리 결정된 범위 내에 포함된 주변 픽셀들의 픽셀값들의 평균값을 이용하여 상기 제2 타겟 픽셀의 픽셀값을 변경하는 단계, 상기 제2 타겟 픽셀에 대응하는 평균값의 소수 부분에 대응하는 값인 제2 소수값과 상기 제1 소수값을 누적한 누적값을 생성하는 단계 및 상기 누적값을 기초로 상기 제1 타겟 픽셀의 픽셀값 또는 상기 제2 타겟 픽셀의 픽셀값을 보상하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 처리장치의 동작방법은, 이미지를 나타내는 복수의 픽셀들의 픽셀값들을 수신하는 단계, 상기 복수의 픽셀들 중 노이즈가 발생한 복수의 타겟 픽셀들을 검출하는 단계, 상기 복수의 타겟 픽셀들의 각각의 위치를 기준으로 세로방향으로 접촉된 접촉 픽셀들의 픽셀값들의 합산값들을 계산하는 단계, 상기 합산값들의 각각의 평균값들을 이용하여 상기 복수의 타겟 픽셀들의 픽셀값들인 타겟 픽셀값들을 변경하는 단계, 상기 합산값들 중 홀수인 합산값들에 대응하여 1만큼 증가하는 누적값을 생성하는 단계, 상기 복수의 타겟 픽셀들 중 상기 누적값을 홀수에서 짝수로 증가시킨 합산값에 대응하는 타겟 픽셀을 보상 픽셀로 결정하는 단계 및 상기 보상 픽셀의 픽셀값에 미리 결정된 보상값을 합산하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 처리 시스템은, 이미지를 나타내는 제1 픽셀들의 픽셀값들을 전송하는 이미지 센서, 상기 제1 픽셀들의 픽셀값들을 기초로 상기 제1 픽셀들 중 노이즈가 발생한 제2 픽셀들을 검출하는 타겟 픽셀 검출부, 상기 이미지에서 상기 제2 픽셀들의 위치에 따라 각각 결정되는 제3 픽셀들의 픽셀값들의 평균값들을 이용하여 상기 제2 픽셀들의 픽셀값들인 타겟 픽셀값들을 변경하는 타겟 픽셀 보정부, 상기 평균값들의 소수 부분에 대응하는 값들을 누적한 누적값을 이용하여 상기 타겟 픽셀값들을 보상하는 타겟 픽셀 보상부 및 픽셀값들이 보상된 상기 제2 픽셀들이 포함된 상기 제1 픽셀들의 픽셀값들을 출력하는 출력 관리부를 포함할 수 있다.
본 기술에 따르면 이미지에 발생한 노이즈를 제거한 이후에도 이미지의 평균 픽셀값을 유지하는 이미지 처리 시스템이 제공될 수 있다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 도 1의 이미지 센서를 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 이미지에 발생한 노이즈를 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 위상 검출 자동 초점 픽셀들에서 발생되는 노이즈를 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
도 6은 본 발명의 실시 예에 따른 타겟 픽셀 및 주변 픽셀들을 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른 타겟 픽셀 및 타겟 픽셀과 인접한 픽셀들을 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예에 따른 랜덤하게 결정되는 보상값을 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예에 따른 누적값을 기초로 변경된 타겟 픽셀의 픽셀값을 보상하는 방법을 설명하기 위한 순서도이다.
도 10은 본 발명의 실시 예에 따른 보상값을 결정하는 방법을 설명하기 위한 순서도이다.
도 11은 본 발명의 다른 실시 예에 따른 누적값을 기초로 변경된 타겟 픽셀의 픽셀값을 보상하는 방법을 설명하기 위한 순서도이다.
도 12는 본 발명의 또 다른 실시 예에 따른 타겟 픽셀의 픽셀값을 보상하는 방법을 설명하기 위한 순서도이다.
도 13은 본 발명의 실시 예에 따른　이미지　센서를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
이하에서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 이미지 처리 시스템(10)은 이미지 센서(100), 및 이미지 처리장치(200)를 포함할 수 있다.
일 실시 예에 따른 이미지 처리 시스템(10)은 이미지를 획득할 수 있다. 그리고, 이미지 처리 시스템(10)은 이미지를 처리한 출력 이미지를 저장하거나, 표시하거나, 또는 외부 장치로 출력할 수 있다. 일 실시 예에 따른 이미지 처리 시스템(10)은 호스트의 요청에 따라 호스트로 출력 이미지를 출력할 수 있다.
일 실시 예에서, 이미지 처리 시스템(10)은 패키징된 모듈, 부품 등의 형태로 구현될 수 있다. 이 경우, 이미지 처리 시스템(10)은 호스트에 탑재될 수 있다. 호스트는 다양한 전자 장치로 구현될 수 있다. 예를 들어, 호스트는 디지털 카메라, 모바일 장치, 스마트폰(smart phone), PC(Personal Computer), 태블릿 PC(tablet personal computer), 노트북(notebook), PDA(personal digital assistant), EDA(enterprise digital assistant), PMP(portable multimedia player), 웨어러블 디바이스(wearable device), 블랙박스, 로봇, 자율주행 차량 등으로 구현될 수 있다.
다른 일 실시 예에서, 이미지 처리 시스템(10)은 호스트와는 별개의 전자 장치로 구현될 수 있다. 예를 들어, 이미지 처리 시스템(10)은 촬상 장치, 디지털 카메라, 캠코더, CCTV(Closed-circuit Television), 웹캠, 보안 카메라, 산업용 비전 카메라, 모바일 장치, 스마트폰(smart phone), PC(Personal Computer), 태블릿 PC(tablet personal computer), 노트북(notebook), PDA(personal digital assistant), EDA(enterprise digital assistant), PMP(portable multimedia player), 웨어러블 디바이스(wearable device), 블랙박스, 로봇, 자율주행 차량, 차량용 비전 카메라, 셋톱 박스, 게임 콘솔, 전자 사전, 전자책 리더기, 데스크탑 컴퓨터, 서버, MP3 플레이어, 스마트 의료기기, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 스마트 미러, 스마트 윈도우, 전자 키, 전자 액자, 디지털 광고판, 보안 컨트롤 패널 등일 수 있다. 여기서, 웨어러블 디바이스는 스마트 워치, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 헤드 마운티드 장치(head-mounted-device; HMD), 스킨 패드, 문신, 또는 생체 이식형 회로 등일 수 있다.
이미지 센서(100)는 이미지 센서는 CCD(Charge Coupled Device) 이미지 센서와, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로 구현될 수 있다. 이미지 센서(100)는 렌즈(미도시)를 통하여 입력된(또는 캡쳐된(captured)) 오브젝트(미도시)에 대한 이미지 데이터를 생성할 수 있다. 렌즈(미도시)는 광학계를 형성하는 적어도 하나의 렌즈를 포함할 수 있다.
이미지 센서(100)는 복수 개의 픽셀들을 포함할 수 있다. 이미지 센서(100)는 촬영된 이미지에 대응하는 복수의 픽셀 값(DPXs)들을 복수 개의 픽셀들에서 생성할 수 있다. 이미지 센서(100)에서 생성된 복수의 픽셀 값(DPXs)들은 이미지 처리장치(200)로 전송될 수 있다. 즉, 이미지 센서(100)는 싱글 프레임(single frame)에 대응하는 복수의 픽셀 값(DPXs)들을 생성할 수 있다.
이미지 처리장치(200)는 이미지 센서(100)로부터 수신되는 픽셀 데이터의 이미지 품질을 개선할 수 있는 처리를 수행하고, 처리된 이미지 데이터를 출력할 수 있다. 여기서, 처리는 EIS(Electronic Image Stabilization), 보간, 색조 보정, 화질 보정, 크기 조정 등일 수 있다.
도 1에서는 이미지 처리장치(200)가 이미지 센서(100)와는 독립적인 칩으로 구현될 수 있다. 이 경우, 이미지 센서(100)의 칩과 이미지 처리장치(200)의 칩은 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package)로 구현될 수 있다. 본 발명의 다른 실시 예에서는 이미지 처리장치(200)가 이미지 센서(100)의 일부로 포함되어 하나의 칩으로 구현될 수 있다.
일 실시 예에서, 이미지 처리 시스템(10)은 메모리를 더 포함할 수 있다. 메모리는 비휘발성 메모리 소자로 구현될 수 있다. 예를 들어, 메모리는 데이터의 읽기만 가능한 ROM(Read Only Memory), 1회만 쓰기가 가능한 OTP(one time programmable) 메모리, 저장된 데이터를 지우고 쓸 수 있는 EPROM(Erasable and Programmable ROM), 낸드 플래시 메모리(NAND Flash Memory), 노어(NOR) 플래시 메모리 등과 같은 다양한 비휘발성 메모리 소자로 구성될 수 있다.
도 2는 본 발명의 실시 예에 따른 도 1의 이미지 센서를 설명하기 위한 도면이다.
도 2를 참조하면, 이미지 센서(100)는 픽셀 어레이(110), 로우 디코더(120), 타이밍 생성기(130) 및 신호 변환기(140)를 포함할 수 있다.
픽셀 어레이(110)는 실시 예에 따른 컬러 필터 어레이(111) 및 컬러 필터 어레이(111) 하부에 형성되어 컬러 필터 어레이(111) 각각의 픽셀에 대응하는 복수의 광전 변환 소자(photoelectric conversion element)를 포함하는 광전변환층(113)을 포함할 수 있다. 픽셀 어레이(110)는 입사광에 포함한 컬러 정보를 출력하기 위한 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들 각각은 대응하는 컬러 필터 어레이(111)를 통과한 입사광에 상응하는 픽셀 신호를 출력할 수 있다.
컬러 필터 어레이(111)는 각 픽셀로 입사되는 광의 특정 파장(예컨대, 레드, 블루, 그린) 만을 통과시키는 컬러 필터들을 포함할 수 있다. 본 발명에서 컬러 필터는 컬러 채널이라고 표현될 수 있다. 컬러 필터 어레이(111)로 인해, 각 픽셀의 픽셀 데이터는 특정 파장의 광의 세기에 대응하는 값을 나타낼 수 있다.
구체적으로, 복수의 픽셀들 각각은 입사광에 따라 생성된 광 전하들을 축적하고, 축적된 광 전하들에 상응하는 픽셀 신호를 생성할 수 있다. 픽셀들 각각은 광 신호를 전기적 신호로 변환하는 광전 변환 소자(예컨대, 포토 다이오드(photo diode), 포토트랜지스터(photo transistor), 포토게이트(photogate), 또는 핀드 포토다이오드 (pinned photo diode)) 및 전기적 신호를 처리하기 위한 적어도 하나의 트랜지스터를 포함할 수 있다.
픽셀 어레이(110)는 로우(row) 방향과 컬럼(column) 방향으로 배열된 복수의 픽셀들을 포함할 수 있다. 픽셀 어레이(110)는 로우 별로 복수의 픽셀신호(VPXs)를 생성할 수 있다. 복수의 픽셀신호(VPXs)는 각각 아날로그 타입의 픽셀신호(VPXs)일 수 있다.
로우 디코더(120)는 타이밍 생성기(130)로부터 출력된 어드레스와 제어 신호들에 응답하여 픽셀 어레이(110)에서 복수의 픽셀들이 배열된 다수의 로우들 중에서 하나의 로우(row)를 선택할 수 있다.
신호 변환기(140)는 아날로그 타입의 복수의 픽셀신호(VPXs)를 디지털 타입의 복수의 픽셀값(DPXs)로 변환할 수 있다. 디지털 타입의 복수의 픽셀값(DPXs)은 다양한 패턴으로 출력될 수 있다. 신호 변환기(140)는 타이밍 생성기(130)로부터 출력된 제어 신호들에 응답하여 픽셀 어레이(110)로부터 출력된 신호들 각각에 대하여 CDS(correlated double sampling)을 수행하고 CDS된 신호들 각각을 아날로그-디지털 변환하여 디지털 신호들 각각을 출력할 수 있다. 디지털 신호들 각각은 대응하는 컬러 필터 어레이(111)를 통과한 입사광 파장들의 세기에 대응하는 신호들일 수 있다.
신호 변환기(140)는 CDS(correlated double sampling) 블록과 ADC(analog to digital converter) 블록을 포함할 수 있다. CDS 블록은 픽셀 어레이(110)에 포함된 복수의 컬럼 라인들 각각으로 제공되는 기준 신호와 영상 신호 세트를 순차적으로 샘플링 및 홀딩(Sampling and Holding)할 수 있다. 즉, CDS 블록은 컬럼들 각각에 대응하는 기준 신호와 영상 신호의 레벨을 샘플링하고 유지할 수 있다. ADC 블록은 CDS 블록으로부터 출력되는 각각의 컬럼에 대한 상관 이중 샘플링 신호를 디지털 신호로 변환한 픽셀 데이터를 출력할 수 있다. 이를 위해 ADC 블록은 각 컬럼에 대응하는 비교기 및 카운터를 포함할 수 있다.
또한, 본 발명의 실시 예에 따른 이미지 센서(100)는 출력 버퍼(150)를 더 포함할 수 있다. 출력 버퍼(150)는 신호 변환기(140)로부터 출력된 디지털 신호들을 저장하는 다수의 버퍼들로 구현될 수 있다. 구체적으로, 출력 버퍼(150)는 신호 변환기(140)로부터 제공되는 각각의 컬럼 단위의 픽셀 데이터를 래치(latch)하여 출력할 수 있다. 출력 버퍼(150)는 신호 변환기(140)에서 출력되는 픽셀 데이터를 임시 저장하고, 타이밍 생성기(130)의 제어에 따라 픽셀 데이터를 순차적으로 출력할 수 있다. 본 발명의 실시 예에 따라 출력 버퍼(150)는 생략될 수 있다.
도 3은 본 발명의 실시 예에 따른 이미지에 발생한 노이즈를 설명하기 위한 도면이다.
도 3을 참조하면, 복수의 픽셀을 포함하는 이미지(300)에 노이즈가 발생될 수 있다. 복수의 픽셀들 중 주변 픽셀의 픽셀값보다 미리 정해진 문턱값 이상 차이 나는 픽셀은 노이즈가 발생한 픽셀로 판단될 수 있다. 도 3은 노이즈가 발생한 이미지를 예시적으로 나타낼 수 있다.
복수의 픽셀을 포함하는 이미지(300)는 주변 픽셀들과 선형적 특성이 유지되지 않는 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀들(310, 320, 330, 340)을 포함할 수 있다. 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀들(310, 320, 330, 340)은 포토 다이오드(Photo Diode, PD) 픽셀들일 수 있다. 포토 다이오드 픽셀은 위치에 따라 픽셀의 특성이 변화하기 때문에 인접하는 픽셀과 선형적 특성이 유지되지 않을 수 있다. 즉, 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀들(310, 320, 330, 340)의 픽셀값들이 노이즈로 판단될 수 있다.
복수의 픽셀을 포함하는 이미지(300)는 복수의 결함 픽셀들(350, 356)을 포함할 수 있다. 복수의 결함 픽셀들(350, 356)은 다양한 이유로 발생될 수 있다. 예를 들어, CMOS 이미지 센서에 포함되는 복수의 픽셀들 각각은 입사광에 따라 생성된 광 전하들을 축적하고, 축적된 광 전하들에 상응하는 픽셀 신호를 생성할 수 있다. 복수의 픽셀들의 간격에 따라 간섭광이 발생될 수 있다. 간섭광과 입사광이 CMOS 이미지 센서에 입사되면 CMOS 이미지 센서의 출력에 노이즈가 발생될 수 있다.
노이즈가 발생한 픽셀의 픽셀값과 주변 픽셀들의 픽셀값들의 차이가 미리 정해진 문턱값 이상일 수 있다. 이미지 처리장치는 미리 정해진 문턱값 이상으로 차이가 발생하는 픽셀을 노이즈가 발생한 픽셀로 판단할 수 있다. 예를 들어, 이미지 처리장치는 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀들(310, 320, 330, 340)과 결함 픽셀들(350, 356)에 노이즈가 발생했다고 판단할 수 있다.
CMOS 이미지 센서 생산시 발생하는 불균일성에 의해 고정 패턴 노이즈가 유발될 수 있다. 불균일성에 의한 고정 패턴 노이즈는 수직방향 또는 수평방향으로 줄무늬 형태의 노이즈일 수 있다. CMOS 이미지 센서에 포함된 결함 픽셀 또는 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀은 고정 패턴 노이즈를 유발할 수 있다.
도 4는 본 발명의 실시 예에 따른 위상 검출 자동 초점 픽셀들에서 발생되는 노이즈를 설명하기 위한 도면이다.
도 4를 참조하면, 픽셀에 광을 입사시키는 온 칩 렌즈(on chip lens; OCL)가 위치할 수 있다. 온 칩 렌즈(on chip lens; OCL)의 하부에 위치하는 픽셀에 대응하여 온 칩 렌즈(on chip lens; OCL)의 크기가 달라질 수 있다.
하나의 노말 픽셀(421)에 하나의 온 칩 렌즈(on chip lens; OCL, 420)가 대응될 수 있다. 하나의 온 칩 렌즈(on chip lens; OCL, 420)를 통해 광이 입사될 때 하나의 노말 픽셀(421)로부터 픽셀값이 출력될 수 있다.
위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀들(310, 320)이 하나의 온 칩 렌즈(on chip lens; OCL, 410)에 대응될 수 있다. 하나의 온 칩 렌즈(on chip lens; OCL, 410)를 통해 광이 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀들(310, 320)로 입사되므로, 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀들(310, 320)의 픽셀값들은 하나의 노말 픽셀(421)의 픽셀값과 차이가 날 수 있다.
위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀들(310, 320)의 픽셀값들과 하나의 노말 픽셀(421)의 픽셀값의 차이가 미리 결정된 문턱값 이상일 때 이미지 처리장치는 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀들(310, 320)을 노이즈가 발생한 픽셀로 판단할 수 있다. 온 칩 렌즈(on chip lens; OCL)의 차이로 인하여 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀들(310, 320)에 노이즈가 발생할 수 있다.
도 5는 본 발명의 실시 예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
도 5를 참조하면, 이미지 처리장치(200)는 복수의 픽셀들을 포함하는 이미지 센서(100)로부터 복수의 픽셀값들을 수신할 수 있다. 이미지 처리장치(200)는 수신한 복수의 픽셀값들을 기초로 노이즈를 제거할 수 있다. 이미지 처리장치(200)는 타겟 픽셀 검출부(210), 타겟 픽셀 보정부(220) 및 타겟 픽셀 보상부(230)를 포함할 수 있다.
타겟 픽셀 검출부(210)는 이미지 센서(100)에 포함된 복수의 픽셀들 중 노이즈가 발생한 복수의 타겟 픽셀들을 검출할 수 있다. 타겟 픽셀 검출부(210)는 주변 픽셀들의 픽셀값과 미리 결정된 문턱값 이상 차이 나는 픽셀값에 대응하는 픽셀을 타겟 픽셀로 검출할 수 있다. 결함 픽셀의 픽셀값 또는 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀의 픽셀값과 주변 픽셀의 픽셀값의 차이가 미리 결정된 문턱값보다 클 수 있다. 타겟 픽셀 검출부(210)는 결함 픽셀 또는 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀을 타겟 픽셀로 검출할 수 있다.
타겟 픽셀 보정부(220)는 복수의 타겟 픽셀들의 각각의 위치를 기준으로 미리 설정된 범위에 포함된 주변 픽셀들의 픽셀값들의 평균값들을 이용하여 복수의 타겟 픽셀들의 픽셀값들인 타겟 픽셀값들을 변경할 수 있다. 타겟 픽셀 보정부(220)는 타겟 픽셀값들을 복수의 타겟 픽셀들에 각각 대응되는 평균값들의 정수 부분에 대응하는 값들인 정수값들로 변경할 수 있다. 타겟 픽셀 보정부(220)가 복수의 타겟 픽셀들의 픽셀값들 보정시 평균값들의 정수값들만을 사용하므로, 평균값들의 소수 부분에 대응하는 값들인 소수값들은 사용되지 않을 수 있다. 소수값들이 사용되지 않음으로 인해, 복수의 타겟 픽셀들이 보정된 이후 이미지의 전체 평균 픽셀수가 복수의 타겟 픽셀들이 보정되기 이전 이미지의 전체 평균 픽셀수보다 작아질 수 있다.
타겟 픽셀들의 배열이 규칙적일 경우, 이미지에서 타겟 픽셀들이 포함되는 행 또는 열의 평균 픽셀수가 감소될 수 있다. 행 또는 열의 평균 픽셀수가 감소되면, 규칙적인 배열을 갖는 고정 패턴 노이즈가 발생될 수 있다. 이미지에 포함되는 타겟 픽셀의 밀도에 대응하여 이미지에 발생된 고정 패턴 노이즈가 증가될 수 있다. 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀이 이미지에 포함될 때, 타겟 픽셀의 배열이 규칙적일 수 있다.
타겟 픽셀 보상부(230)는 평균값들의 소수 부분에 대응하는 값들을 누적한 누적값을 이용하여 타겟 픽셀값들을 보상할 수 있다. 타겟 픽셀 보상부(230)는 타겟 픽셀값들에 보상값을 합산할 수 있다. 본 발명의 실시 예에서, 보상값은 0 또는 1일 수 있다.
타겟 픽셀 보상부(230)는 누적값 관리부(231), 감지부(232) 및 보상 결정부(233)를 더 포함할 수 있다. 누적값 관리부(231)는 복수의 타겟 픽셀들에 각각 대응되는 평균값들의 소수 부분에 대응하는 값들인 소수값들을 누적한 누적값을 생성할 수 있다. 감지부(232)는 평균값과 평균값의 정수값이 서로 다를 때 소수값의 발생을 감지할 수 있다. 보상 결정부(233)는 누적값을 기초로 타겟 픽셀값들에 더해지는 보상값을 각각 결정할 수 있다.
누적값 관리부(231)는 타겟 픽셀 보정부(220)가 타겟 픽셀의 픽셀값을 변경할 때마다 평균값의 소수값을 누적한 누적값을 생성할 수 있다. 누적값 관리부(231)는 타겟 픽셀의 픽셀값을 변경하는데 사용되지 않은 평균값의 소수값을 누적할 수 있다. 픽셀값이 변경된 타겟 픽셀들의 개수가 증가할수록 누적값이 증가될 수 있다.
보상 결정부(233)는 소수값의 발생에 대응하여 누적값과 미리 결정된 기준값을 비교할 수 있다. 보상 결정부(233)는 누적값이 미리 결정된 기준값보다 크거나 같다면 보상값을 1로 결정할 수 있다. 누적값 관리부(231)는 보상값이 1로 결정된 것에 대응하여 누적값에서 기준값을 차감할 수 있다. 타겟 픽셀 보상부(230)는 1로 결정된 보상값을 정수값으로 변경된 타겟 픽셀의 픽셀값에 더할 수 있다. 즉, 타겟 픽셀의 픽셀값이 1만큼 증가될 수 있다. 보상 결정부(233)는 누적값이 기준값보다 작다면 보상값을 0으로 결정할 수 있다. 보상값이 0인 타겟 픽셀의 픽셀값은 유지될 수 있다.
본 발명의 다른 실시 예에서, 보상 결정부(233)는 타겟 픽셀 검출부(210)가 검출한 복수의 타겟 픽셀들 중 위치가 미리 정해진 타겟 픽셀의 픽셀값에 대응하는 보상값을 1로 결정할 수 있다. 예를 들어, 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀은 위치가 미리 정해진 타겟 픽셀일 수 있다.
본 발명의 다른 실시 예에서, 보상 결정부(233)는 타겟 픽셀 검출부(210)가 검출한 타겟 픽셀들 중 위치가 랜덤한 타겟 픽셀의 픽셀값에 대응하는 보상값을 1로 결정할 수 있다. 예를 들어, 결함 픽셀은 위치가 랜덤한 타겟 픽셀일 수 있다.
누적값 관리부(231)는 보상값이 1로 결정된 것에 대응하여 누적값에서 기준값을 차감할 수 있다. 보상값이 1로 결정되면 누적값이 감소될 수 있다. 본 발명의 실시 예에서, 누적값은 일정한 범위 내에서 유지될 수 있다.
본 발명의 실시 예에서, 미리 결정된 기준값은 1일 수 있다. 첫 번째 타겟 픽셀의 픽셀값을 보정할 때 평균값의 소수값이 발생할 수 있다. 이때 누적값은 첫 번째 타겟 픽셀에 대응하는 소수값일 수 있다. 누적값이 미리 결정된 기준값 1보다 작으므로, 첫 번째 타겟 픽셀에 대응하는 보상값은 0으로 결정될 수 있다. 첫 번째 타겟 픽셀에 대응하는 보상값이 0이므로, 정수값으로 변경된 첫 번째 타겟 픽셀의 픽셀값은 유지될 수 있다. 복수의 타겟 픽셀들의 픽셀값들이 보정되면, 누적값이 증가될 수 있다. 누적값이 1보다 크거나 같을 때 정수값으로 변경되는 타겟 픽셀의 픽셀값이 1 증가될 수 있다. 누적값 관리부(231)는 보상값이 1로 결정될 때 누적값에서 1을 뺄 수 있다.
본 발명의 다른 실시 예에서, 보상 결정부(233)는 소수값의 발생에 대응하여 보상값을 0 또는 1로 랜덤하게 결정할 수 있다. 감지부(232)는 평균값과 평균값의 정수값이 서로 다를 때 소수값의 발생을 감지할 수 있다. 예를 들어, 첫 번째 타겟 픽셀의 픽셀값을 보정할 때 평균값의 소수값이 발생할 수 있다. 이때 누적값은 첫 번째 타겟 픽셀에 대응하는 소수값일 수 있다. 보상 결정부(233)는 소수값의 발생에 대응하여 보상값을 1로 결정할 수있다.
보상 결정부(233)는 누적값을 기초로 결정된 비율에 따라서 보상값을 0 또는 1로 결정할 수 있다. 누적값에 대응하여 1로 결정된 보상값들의 수가 달라질 수 있다. 예를 들어, 타겟 픽셀들의 개수가 10개일 수 있다. 10개의 타겟 픽셀들 중 누적값에 대응하여 1로 결정될 보상값의 수가 3개일 수 있다. 타겟 픽셀들 중 보상값이 1로 결정되는 타겟 픽셀들은 랜덤하게 선택되지만, 개수는 3개로 동일할 수 있다.
본 발명의 또 다른 실시 예에서, 이미지 처리장치(200)는 이미지 센서(100)가 획득한 이미지에 발생된 노이즈를 제거할 수 있다. 이미지 처리장치(200)는 타겟 픽셀 검출부(210), 타겟 픽셀 보정부(220) 및 타겟 픽셀 보상부(230)를 포함할 수 있다.
타겟 픽셀 보정부(220)는 복수의 타겟 픽셀들의 각각의 위치를 기준으로 가로방향으로 접촉된 접촉 픽셀들의 픽셀값들의 평균값들을 이용하여 복수의 타겟 픽셀들의 픽셀값들인 타겟 픽셀값들을 변경할 수 있다. 접촉 픽셀들은 복수의 타겟 픽셀들의 각각의 위치를 기준으로 가로방향 또는 세로방향으로 접촉된 2개의 픽셀들 일 수 있다. 타겟 픽셀 보정부(220)는 타겟 픽셀값들을 복수의 타겟 픽셀들에 각각 대응되는 평균값들의 정수 부분에 대응하는 값들인 정수값들로 변경할 수 있다.
타겟 픽셀 보상부(230)는 접촉 픽셀들의 픽셀값들의 합산값들을 기초로 타겟 픽셀값들을 보상할 수 있다. 합산값은 타겟 픽셀과 가로방향으로 인접한 2개의 픽셀들의 픽셀값들을 합한 값이거나, 타겟 픽셀과 세로방향으로 인접한 2개의 픽셀들의 픽셀값들을 합한 값일 수 있다.
타겟 픽셀 보상부(230)는 누적값 관리부(231), 감지부(232) 및 보상 결정부(233)를 더 포함할 수 있다. 누적값 관리부(231)는 합산값들 중 홀수인 합산값들에 대응하여 1만큼 증가하는 누적값을 생성할 수 있다. 감지부(232)는 누적값의 증가를 감지할 수 있다. 보상 결정부(233)는 누적값을 기초로 복수의 타겟 픽셀들 중 미리 결정된 보상값이 더해지는 적어도 하나 이상의 보상 픽셀을 결정할 수 있다.
보상 결정부(233)는 누적값을 홀수에서 짝수로 증가시키는 합산값에 대응하는 타겟 픽셀을 보상 픽셀로 결정할 수 있다. 누적값은 합산값이 홀수일 때만 증가될 수 있다. 보상 결정부(233)는 복수의 타겟 픽셀들 중 누적값을 짝수로 증가시킨 타겟 픽셀을 보상 픽셀로 결정할 수 있다. 타겟 픽셀 보상부(230)는 보상 픽셀의 픽셀값에 미리 결정된 보상값인 1을 합산할 수 있다. 본 발명의 실시 예에서 누적값은 합산값에 대응하여 증가되면서 짝수 또는 홀수가 될 수 있다. 복수의 타겟 픽셀들 중 누적값에 따라 보상 픽셀이 결정될 수 있다. 보상 픽셀의 픽셀값이 1만큼 증가될 수 있다.
본 발명의 다른 실시 예에서, 보상 결정부(233)는 누적값을 기초로 결정된 비율에 따라 보상 픽셀을 랜덤하게 결정할 수 있다. 보상 픽셀의 픽셀값에는 미리 결정된 보상값인 1이 합산될 수 있다. 복수의 타겟 픽셀들 중 보상 픽셀은 랜덤하게 결정될 수 있지만, 복수의 타겟 픽셀들 중 보상 픽셀로 결정되는 비율은 일정할 수 있다.
도 6은 본 발명의 실시 예에 따른 타겟 픽셀 및 주변 픽셀들을 설명하기 위한 도면이다.
도 6을 참조하면, 이미지의 일부(600)는 타겟 픽셀(610)과 타겟 픽셀(610)의 주변에 위치한 주변 픽셀들(620)을 포함할 수 있다. 주변 픽셀들(620)의 범위는 달라질 수 있다. 도 6의 타겟 픽셀(610)의 픽셀값을 보정하는 방법은 도 5의 설명에 대응될 수 있다.
주변 픽셀들(620)의 픽셀값들이 각각 10, 11, 11, 12, 13, 10, 10, 15라고 가정될 수 있다. 타겟 픽셀 보정부(220)는 주변 픽셀들(620)의 픽셀값들의 평균값을 계산할 수 있다. 구체적으로, 평균값은 11.5 일 수 있다. 타겟 픽셀 보정부(220)는 타겟 픽셀(610)의 픽셀값을 11로 변경할 수 있다. 평균값의 정수값 11은 타겟 픽셀의 픽셀값이 되고, 평균값의 소수값 0.5는 누적값 관리부(231)에 의해 누적될 수 있다.
누적값 관리부(231)에 누적된 값 0.25가 존재한다고 가정될 수 있다. 누적값 관리부(231)는 0.25와 평균값의 소수값 0.5를 더해 0.75를 누적값으로 생성할 수 있다. 감지부(232)는 평균값의 소수값 0.5의 발생을 감지할 수 있다. 보상 결정부(233)는 감지부(232)가 소수값 0.5의 발생을 감지할 때, 누적값 0.75와 미리 결정된 기준값 1을 비교할 수 있다. 누적값 0.75가 기준값 1보다 작으므로, 보상 결정부(233)는 보상값을 0으로 결정할 수 있다. 보상값이 0이므로, 타겟 픽셀의 픽셀값은 11로 유지될 수 있다.
누적값 관리부(231)에 누적된 값 0.75가 존재한다고 가정될 수 있다. 누적값 관리부(231)는 0.75와 평균값의 소수값 0.5를 더해 1.25를 누적값으로 생성할 수 있다. 감지부(232)는 평균값의 소수값 0.5의 발생을 감지할 수 있다. 보상 결정부(233)는 감지부(232)가 소수값 0.5의 발생을 감지할 때, 누적값 1.25와 미리 결정된 기준값 1을 비교할 수 있다. 누적값 1.25가 기준값 1보다 크므로, 보상 결정부(233)는 보상값을 1로 결정할 수 있다.
타겟 픽셀 보상부(230)는 보상값 1을 타겟 픽셀의 픽셀값인 11에 더할 수 있다. 보상값이더해진 타겟 픽셀의 픽셀값은 12가 될 수 있다. 누적값 관리부(231)는 보상값 결정부(233)가 보상값을 1로 결정할 때 누적값 1.25에서 1을 차감할 수 있다. 누적값 관리부(231)에 누적된 값은 0.25일 수 있다.
본 발명의 다른 실시 예에서, 누적값 관리부(231)에 누적된 값 0.75가 존재하고, 타겟 픽셀(610)에 대한 소수값이 0.5라고 가정할 수 있다. 누적값 관리부(231)는 0.75와 평균값의 소수값 0.5를 더해 1.25를 누적값으로 생성할 수 있다. 보상 결정부(233)는 타겟 픽셀(610)을 보상 픽셀로 결정할 수 있다. 타겟 픽셀 보상부(230)는 보상값을 보상 픽셀의 픽셀값에 합산할 수 있다.
도 7은 본 발명의 실시 예에 따른 타겟 픽셀 및 타겟 픽셀과 인접한 픽셀들을 설명하기 위한 도면이다.
도 7을 참조하면, 이미지의 일부(700)는 타겟 픽셀(710), 타겟 픽셀(710)의 세로방향으로 인접한 픽셀들(720, 730) 및 타겟 픽셀(710)의 가로방향으로 인접한 픽셀들(740, 750)을 포함할 수 있다. 타겟 픽셀(710)의 세로방향으로 인접한 픽셀들(720, 730)의 픽셀값들은 각각 11, 15이고, 타겟 픽셀(710)의 가로방향으로 인접한 픽셀들(740, 750)의 픽셀값들은 13, 14 일 수 있다.
타겟 픽셀 보정부(220)가 타겟 픽셀(710)의 세로방향으로 인접한 픽셀들(720, 730)의 픽셀값을 기초로 타겟 픽셀(710)의 픽셀값을 보정할 수 있다. 타겟 픽셀(710)의 세로방향으로 인접한 픽셀들(720, 730)의 픽셀값들을 더한 합산값은 26일 수 있다. 타겟 픽셀 보정부(220)는 타겟 픽셀(710)의 픽셀값을 합산값 26의 평균값인 13으로 변경할 수 있다. 합산값 26은 짝수이므로, 타겟 픽셀(710)의 픽셀값은 보정되지 않을 수 있다.
타겟 픽셀 보정부(220)가 타겟 픽셀(710)의 가로방향으로 인접한 픽셀들(740, 750)의 픽셀값을 기초로 타겟 픽셀(710)의 픽셀값을 보정할 수 있다. 타겟 픽셀(710)의 가로방향으로 인접한 픽셀들(740, 750)의 픽셀값들을 더한 합산값은 27일 수 있다. 이때 합산값의 평균값은 13.5 일 수 있다. 타겟 픽셀 보정부(220)는 타겟 픽셀(710)의 픽셀값을 평균값의 정수값인 13으로 변경할 수 있다. 합산값 27은 홀수이므로, 누적값 관리부(231)는 이미 누적된 값에 1을 더한 누적값을 생성할 수 있다. 이미 누적된 값이 1인 경우, 누적값은 2가 될 수 있다.
합산값 27은 홀수이므로, 감지부(232)는 누적값의 증가를 감지할 수 있다. 누적값 2는 0이 아닌 짝수이므로, 보상 결정부(233)는 보상값을 1로 결정할 수 있다. 타겟 픽셀 보상부(230)는 타겟 픽셀(710)의 픽셀값 13에 보상값 1을 더할 수 있다. 보상값이 더해진 타겟 픽셀(710)의 픽셀값은 14일 수 있다. 본 발명의 실시 예에서, 픽셀값 보정에 이용되는 픽셀들에 대응하여 타겟 픽셀(710)의 픽셀값이 달라질 수 있다.
본 발명의 다른 실시 예에서, 누적값 관리부(231)에 누적된 값이 홀수이고, 타겟 픽셀(710)에 대한 합산값이 27라고 가정할 수 있다. 합산값 27은 누적값을 홀수에서 짝수로 증가시킬 수 있다. 보상 결정부(233)는 타겟 픽셀(710)을 보상 픽셀로 결정할 수 있다. 타겟 픽셀 보상부(230)는 보상값을 보상 픽셀의 픽셀값에 합산할 수 있다.
도 8은 본 발명의 실시 예에 따른 랜덤하게 결정되는 보상값을 설명하기 위한 도면이다.
도 8을 참조하면, 이미지의 일부(800)는 6개의 타겟 픽셀들(810, 820, 830, 840, 850, 860)을 포함할 수 있다. 6개의 타겟 픽셀들(810, 820, 830, 840, 850, 860)들 중 810, 820, 850, 860은 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀에 대응될 수 있다. 6개의 타겟 픽셀들(810, 820, 830, 840, 850, 860)들 중 830, 840은 결함 픽셀에 대응될 수 있다. 도 8에서 보상값을 결정하는 방법은 도 5의 설명에 대응될 수 있다.
주변 픽셀들의 픽셀값의 평균값이 정수값인 경우, 타겟 픽셀에 보상값이 더해지지 않을 수 있다. 주변 픽셀들의 픽셀값의 평균값에 소수값이 포함될 때 타겟 픽셀 보상부(230)는 타겟 픽셀에 보상값을 더할 수 있다. 감지부(232)가 소수값의 발생을 감지할 때 보상 결정부(233)는 타겟 픽셀에 더할 보상값을 0 또는 1로 랜덤하게 결정할 수 있다.
구체적으로, 6개의 타겟 픽셀들(810, 820, 830, 840, 850, 860)들 중 810, 820, 830, 840에 대응하는 평균값에는 소수값이 포함될 수 있다. 되고, 6개의 타겟 픽셀들(810, 820, 830, 840, 850, 860)들 중 850, 860에 대응하는 평균값은 정수값일 수 있다. 타겟 픽셀들(850, 860)은 보상값이 더해지지 않을 수 있다.
보상 결정부(233)는 타겟 픽셀들(810, 820, 830, 840)에 대응하는 보상값을 결정할 수 있다. 보상값은 0 또는 1 일 수 있다. 보상값은 랜덤하게 결정될 수 있지만, 1로 결정되는 보상값의 개수는 미리 결정될 수 있다. 예를 들어, 1로 결정되는 보상값의 개수가 1개일 수 있다. 타겟 픽셀들(810, 820, 830, 840)들 중 타겟 픽셀 820에 대응하는 보상값이 1로 결정되면, 나머지 타겟 픽셀들(810, 830, 840)에 대응하는 보상값들은 0으로 결정될 수 있다. 마찬가지로, 타겟 픽셀들(810, 820, 830)에 대응하는 보상값들이 모두 0인 경우, 타겟 픽셀(840)에 대응하는 보상값은 1로 결정된다.
보상 결정부(233)는 누적값을 기초로 결정된 비율에 따라서 보상값을 0 또는 1로 결정할 수 있다. 누적값 관리부(231)가 생성한 누적값에 대응하여 1로 결정된 보상값의 개수가 달라 수 있다. 예를 들어, 누적값이 3일 때 1로 결정되는 보상값의 개수가 3개일 수 있다.
본 발명의 다른 실시 예에서, 보상 결정부(233)는 타겟 픽셀들(810, 820, 830, 840) 중 보상값이 합산되는 보상 픽셀들을 결정할 수 있다. 보상 픽셀들은 랜덤하게 결정될 수 있지만, 보상 픽셀들의 개수는 미리 결정될 수 있다. 타겟 픽셀 보상부(230)는 보상 픽셀들의 픽셀값들에 보상값을 합산할 수 있다.
본 발명의 또 다른 실시 예에서, 보상 결정부(233)는 타겟 픽셀 검출부(210)가 검출한 타겟 픽셀들 중 위치가 미리 정해진 타겟 픽셀의 픽셀값에 대응하는 보상값을 1로 결정할 수 있다. 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀은 위치가 미리 정해진 타겟 픽셀일 수 있다. 보상 결정부(233)는 위치가 미리 정해진 타겟 픽셀들(810, 820, 850, 860)의 보상값을 1로 결정할 수 있다.
본 발명의 또 다른 실시 예에서, 보상 결정부(233)는 타겟 픽셀 검출부(210)가 검출한 타겟 픽셀들 중 위치가 랜덤한 타겟 픽셀의 픽셀값에 대응하는 보상값을 1로 결정할 수 있다. 결함 픽셀은 위치가 랜덤한 타겟 픽셀일 수 있다. 보상 결정부(233)는 위치가 랜덤한 타겟 픽셀들(830, 840)의 보상값을 1로 결정할 수 있다.
도 9는 본 발명의 실시 예에 따른 누적값을 기초로 변경된 타겟 픽셀의 픽셀값을 보상하는 방법을 설명하기 위한 순서도이다.
도 9를 참조하면, 이미지 처리장치는 이미지에 발생한 노이즈를 제거할 수 있다.
S910 단계에서, 타겟 픽셀 검출부는 이미지 센서에 포함된 복수의 픽셀들 중 노이즈가 발생한 복수의 타겟 픽셀들을 검출할 수 있다. 타겟 픽셀 검출부는 주변 픽셀들의 픽셀값과 미리 결정된 문턱값 이상 차이 나는 픽셀값에 대응하는 픽셀을 타겟 픽셀로 검출할 수 있다. 결함 픽셀의 픽셀값 또는 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀의 픽셀값과 주변 픽셀의 픽셀값의 차이가 미리 결정된 문턱값보다 클 수 있다. 타겟 픽셀 검출부는 결함 픽셀 또는 위상 검출 자동 초점(Phase Detection Auto Focus, PDAF) 픽셀을 타겟 픽셀로 검출할 수 있다.
S920 단계에서, 타겟 픽셀 보정부는 복수의 타겟 픽셀들의 각각의 위치를 기준으로 미리 설정된 범위에 포함된 주변 픽셀들의 픽셀값들의 평균값들을 이용하여 복수의 타겟 픽셀들의 픽셀값들인 타겟 픽셀값들을 변경할 수 있다. 타겟 픽셀 보정부는 타겟 픽셀값들을 복수의 타겟 픽셀들에 각각 대응되는 평균값들의 정수 부분에 대응하는 값들인 정수값들로 변경할 수 있다. 타겟 픽셀 보정부가 복수의 타겟 픽셀들의 픽셀값들 보정시 평균값들의 정수값들만을 사용하므로, 평균값들의 소수 부분에 대응하는 값들인 소수값들은 사용되지 않을 수 있다. 소수값들이 사용되지 않음으로 인해, 복수의 타겟 픽셀들이 보정된 이후 이미지의 전체 평균 픽셀수가 복수의 타겟 픽셀들이 보정되기 이전 이미지의 전체 평균 픽셀수보다 작아질 수 있다.
S930 단계에서, 타겟 픽셀 보상부는 평균값들의 소수 부분에 대응하는 값들을 누적한 누적값을 이용하여 타겟 픽셀값들을 보상할 수 있다. 타겟 픽셀 보상부는 누적값을 기초로 결정된 보상값을 타겟 픽셀값들에 각각 합산할 수 있다. 본 발명의 다른 실시 예에서 타겟 픽셀 보상부는 복수의 타겟 픽셀들 중 미리 결정된 보상값이 합산되는 적어도 하나의 보상 픽셀을 결정할 수 있다.
도 10은 본 발명의 실시 예에 따른 보상값을 결정하는 방법을 설명하기 위한 순서도이다.
도 10을 참조하면, 보상 결정부는 누적값을 기초로 타겟 픽셀에 대응하는 보상값을 0 또는 1로 결정할 수 있다.
S1010 단계에서, 누적값 관리부는 복수의 타겟 픽셀들에 각각 대응되는 평균값들의 소수 부분에 대응하는 값들인 소수값들을 누적한 누적값을 생성할 수 있다. 누적값 관리부는 타겟 픽셀의 픽셀값을 변경하는데 사용되지 않은 평균값의 소수값을 누적할 수 있다. 픽셀값이 변경된 타겟 픽셀들의 개수가 증가할수록 누적값이 증가될 수 있다.
S1020 단계에서, 보상 결정부는 소수값의 발생에 대응하여 누적값과 미리 결정된 기준값을 비교할 수 있다. 본 발명의 실시 예에서 미리 결정된 기준값을 1일 수 있다.
S1030 단계에서, 보상 결정부는 누적값이 미리 결정된 기준값보다 크거나 같다면 보상값을 1로 결정할 수 있다. 타겟 픽셀 보상부는 1로 결정된 보상값을 정수값으로 변경된 타겟 픽셀의 픽셀값에 더할 수 있다. 즉, 타겟 픽셀의 픽셀값이 1만큼 증가될 수 있다.
S1040 단계에서, 누적값 관리부는 보상값이 1로 결정된 것에 대응하여 누적값에서 기준값을 차감할 수 있다. 보상값이 1로 결정되면 누적값이 감소될 수 있다. 본 발명의 실시 예에서, 누적값은 일정한 범위 내에서 유지될 수 있다.
S1050 단계에서, 보상 결정부는 누적값이 기준값보다 작다면 보상값을 0으로 결정할 수 있다. 보상값이 0인 타겟 픽셀의 픽셀값은 유지될 수 있다.
예를 들어, 첫 번째 타겟 픽셀의 픽셀값을 보정할 때 평균값의 소수값이 발생할 수 있다. 이때 누적값은 첫 번째 타겟 픽셀에 대응하는 소수값일 수 있다. 누적값이 미리 결정된 기준값 1보다 작으므로, 보상값은 0이고, 정수값으로 변경된 첫 번째 타겟 픽셀의 픽셀값은 유지될 수 있다. 복수의 타겟 픽셀들의 픽셀값들이 보정되면, 누적값이 증가될 수 있다. 누적값이 1보다 크거나 같을 때 정수값으로 변경되는 타겟 픽셀의 픽셀값이 1 증가될 수 있다.
도 10의 보상값을 결정하는 방법은 도 6에 대한 설명에 대응될 수 있다.
도 11은 본 발명의 다른 실시 예에 따른 누적값을 기초로 변경된 타겟 픽셀의 픽셀값을 보상하는 방법을 설명하기 위한 순서도이다.
도 11을 참조하면, 보상 결정부는 누적값을 기초로 복수의 타겟 픽셀들 중 보상값이 합산되는 적어도 하나 이상의 보상 픽셀을 결정할 수 있다.
S1110 단계에서, 타겟 픽셀 검출부는 이미지 센서에 포함된 복수의 픽셀들 중 노이즈가 발생한 복수의 타겟 픽셀들을 검출할 수 있다. 타겟 픽셀 검출부는 주변 픽셀들의 픽셀값과 미리 결정된 문턱값 이상 차이 나는 픽셀값에 대응하는 픽셀을 타겟 픽셀로 검출할 수 있다.
S1120 단계에서, 복수의 타겟 픽셀들의 각각의 위치를 기준으로 가로방향으로 접촉된 접촉 픽셀들의 픽셀값들의 평균값들을 이용하여 복수의 타겟 픽셀들의 픽셀값들인 타겟 픽셀값들을 변경할 수 있다. 접촉 픽셀들은 복수의 타겟 픽셀들의 각각의 위치를 기준으로 가로방향 또는 세로방향으로 접촉된 2개의 픽셀들 일 수 있다. 타겟 픽셀 보정부는 타겟 픽셀값들을 복수의 타겟 픽셀들에 각각 대응되는 평균값들의 정수 부분에 대응하는 값들인 정수값들로 변경할 수 있다.
S1130 단계에서, 누적값 관리부는 접촉 픽셀들의 합산값들을 이용하여 누적값을 생성할 수 있다. 누적값 관리부는 합산값들 중 홀수인 합산값들에 대응하여 1만큼 증가하는 누적값을 생성할 수 있다.
S1140 단계에서, 보상 결정부는 누적값을 기초로 복수의 타겟 픽셀들 중 미리 결정된 보상값이 더해지는 적어도 하나 이상의 보상 픽셀을 결정할 수 있다. 보상 결정부는 누적값을 홀수에서 짝수로 증가시키는 합산값에 대응하는 타겟 픽셀을 보상 픽셀로 결정할 수 있다. 누적값은 합산값이 홀수일 때만 증가될 수 있다.
S1150 단계에서, 타겟 픽셀 보상부(230)는 보상 픽셀의 픽셀값에 미리 결정된 보상값인 1을 합산할 수 있다. 본 발명의 실시 예에서 누적값은 합산값에 대응하여 증가되면서 짝수 또는 홀수가 될 수 있다. 복수의 타겟 픽셀들 중 누적값에 따라 보상 픽셀이 결정될 수 있다. 보상 픽셀의 픽셀값이 1만큼 증가될 수 있다.
도 11의 보정값을 결정하는 방법은 도 7에 대한 설명에 대응될 수 있다.
도 12는 본 발명의 또 다른 실시 예에 따른 타겟 픽셀의 픽셀값을 보상하는 방법을 설명하기 위한 순서도이다.
도 12를 참조하면, 제1 타겟 픽셀값 또는 제2 타겟 픽셀값이 보상될 수 있다.
S1210 단계에서, 타겟 픽셀 보정부는 복수의 픽셀들 중 노이즈가 발생한 제1 타겟 픽셀의 미리 결정된 범위 내에 포함된 주변 픽셀들의 픽셀값들의 평균값을 이용하여 제1 타겟 픽셀의 픽셀값을 변경할 수 있다. 타겟 픽셀 보정부는 제1 타겟 픽셀의 미리 결정된 범위 내에 포함된 주변 픽셀들의 픽셀값들의 평균값을 계산하고, 제1 타겟 픽셀의 픽셀값을 평균값의 정수값으로 변경할 수 있다.
S1220 단계에서, 타겟 픽셀 보정부는 복수의 픽셀들 중 노이즈가 발생한 제2 타겟 픽셀의 미리 결정된 범위 내에 포함된 주변 픽셀들의 픽셀값들의 평균값을 이용하여 제2 타겟 픽셀의 픽셀값을 변경할 수 있다. 타겟 픽셀 보정부는 제2 타겟 픽셀의 미리 결정된 범위 내에 포함된 주변 픽셀들의 픽셀값들의 평균값을 계산하고, 제2 타겟 픽셀의 픽셀값을 평균값의 정수값으로 변경할 수 있다.
S1230 단계에서, 누적값 관리부는 제1 타겟 픽셀에 대응하는 평균값의 소수 부분에 대응하는 값인 제1 소수값과 제2 타겟 픽셀에 대응하는 평균값의 소수 부분에 대응하는 값인 제2 소수값을 누적한 누적값을 생성할 수 있다.
S1240 단계에서, 타겟 픽셀 보상부는 누적값을 기초로 제1 타겟 픽셀의 픽셀값 또는 제2 타겟 픽셀의 픽셀값을 보상할 수 있다. 보상 결정부는 제1 타겟 픽셀 또는 제2 타겟 픽셀 중 어느 하나의 타겟 픽셀을 선택할 수 있다. 보상 결정부는 누적값이 미리 결정된 기준값보다 크거나 같다면 선택된 어느 하나의 타겟 픽셀의 픽셀값에 1을 합산할 수 있다. 누적값 관리부는 누적값에서 1을 차감할 수 있다. 본 발명의 실시 예에서 보상 결정부는 누적값이 기준값보다 작다면 선택된 어느 하나의 타겟 픽셀의 픽셀값에 0을 합산할 수 있다.
타겟 픽셀 보상부는 누적값이 기준값보다 작다면, 복수의 픽셀들 중 노이즈가 발생한 제3 타겟 픽셀의 픽셀값을 보상할 수 있다. 구체적으로, 타겟 픽셀 보정부는 제3 타겟 픽셀의 미리 결정된 범위 내에 포함된 주변 픽셀들의 픽셀값들의 평균값을 이용하여 제3 타겟 픽셀의 픽셀값을 변경할 수 있다. 누적값 관리부는 제3 타겟 픽셀에 대응하는 평균값의 소수 부분에 대응하는 값인 제3 소수값과 누적값을 누적한 추가 누적값을 생성할 수 있다. 타겟 픽셀 보상부는 누적값을 기초로 결정된 보상값을 제3 타겟 픽셀의 픽셀값에 합산할 수 있다.
도 13은 본 발명의 실시 예에 따른　이미지　센서를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.
도 13을 참조하면, 컴퓨팅 시스템(2000)은　이미지　센서(2010), 프로세서(2020), 저장 장치(STORAGE DEVICE)(2030), 메모리 장치(MEMORY DEVICE)(2040), 입출력 장치(2050) 및 디스플레이 장치(2060)를 포함한다. 도 13에는 도시되지 않았지만, 컴퓨팅 시스템(2000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
이미지　센서(2010)는 입사광에 상응하는　이미지　데이터를 생성할 수 있다. 디스플레이 장치(2060)는 이미지　데이터를 표시할 수 있다. 저장 장치(2030)는 이미지　데이터를 저장할 수 있다. 프로세서(2020)는　이미지　센서(2010), 디스플레이 장치(2060) 및 저장 장치(2030)의 동작을 제어할 수 있다.
프로세서(2020)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 본 발명의 실시 예에 따르면, 프로세서(2020)는 마이크로프로세서(microprocessor), 중앙 처리 장치(CPU, Central Processing Unit)일 수 있다. 프로세서(2020)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 저장 장치(2030), 메모리 장치(2040) 및 입출력 장치(2050)에 연결되어 통신을 수행할 수 있다. 본 발명의 실시 예에 따르면, 프로세서(2020)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.
저장 장치(2030)는 플래시 메모리 장치(flash memory device), 솔리드 스테이트 드라이브(Solid State Drive; SSD), 하드 디스크 드라이브(Hard Disk Drive; HDD), 씨디롬(CD-ROM) 및 모든 형태의 비휘발성 메모리 장치 등을 포함할 수 있다.
메모리 장치(2040)는 컴퓨팅 시스템(2000)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(2040)는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory; DRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory; SRAM) 등과 같은 휘발성 메모리 장치 및 이피롬(Erasable Programmable Read-Only Memory; EPROM), 이이피롬(Electrically Erasable Programmable Read-Only Memory; EEPROM) 및 플래시 메모리 장치(flash memory device) 등과 같은 비휘발성 메모리 장치를 포함할 수 있다.
입출력 장치(2050)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다.
이미지　센서(2010)는 상기 버스들 또는 다른 통신 링크를 통해서 프로세서(2020)와 연결되어 통신을 수행할 수 있다.
이미지　센서(2010)는　픽셀　어레이에 포함되는 복수의　픽셀들로부터 생성되는 복수의　픽셀　데이터들에 대해 비닝을 수행하여 상기　픽셀　어레이에 균등하게 분산되는 비닝　픽셀　데이터들을 생성할 수 있다.
이미지　센서(2010)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어,　이미지　센서(2010)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 구현될 수 있다.
실시 예에 따라서,　이미지　센서(2010)는 프로세서(2020)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.
한편, 컴퓨팅 시스템(2000)은　이미지　센서(2010)를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(2000)은 디지털 카메라, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트폰 등을 포함할 수 있다.
본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 이미지 처리 시스템
100: 이미지 센서
200: 이미지 처리장치

Claims (21)

  1. 이미지 센서에 포함된 복수의 픽셀들 중 노이즈가 발생한 복수의 타겟 픽셀들을 검출하는 타겟 픽셀 검출부;
    상기 복수의 타겟 픽셀들의 각각의 위치를 기준으로 미리 설정된 범위에 포함된 주변 픽셀들의 픽셀값들의 평균값들을 이용하여 상기 복수의 타겟 픽셀들의 픽셀값들인 타겟 픽셀값들을 변경하는 타겟 픽셀 보정부; 및
    상기 평균값들의 소수 부분에 대응하는 값들을 누적한 누적값을 이용하여 상기 타겟 픽셀값들을 보상하는 타겟 픽셀 보상부를 포함하는 이미지 처리장치.
  2. 제1항에 있어서, 상기 타겟 픽셀 보정부는,
    상기 타겟 픽셀값들을 상기 복수의 타겟 픽셀들에 각각 대응되는 평균값들의 정수 부분에 대응하는 값들인 정수값들로 변경하는 이미지 처리장치.
  3. 제1항에 있어서, 상기 타겟 픽셀 보상부는,
    상기 복수의 타겟 픽셀들에 각각 대응되는 평균값들의 소수 부분에 대응하는 값들인 소수값들을 누적한 상기 누적값을 생성하는 누적값 관리부; 및
    상기 누적값을 기초로 상기 복수의 타겟 픽셀들 중 보상값이 픽셀값에 더해지는 보상 픽셀들을 결정하고, 상기 보상 픽셀들의 픽셀값들에 더해지는 상기 보상값을 각각 결정하는 보상 결정부를 포함하는 이미지 처리장치.
  4. 제3항에 있어서, 상기 타겟 픽셀 보상부는,
    상기 소수값의 발생을 감지하는 감지부를 더 포함하는 이미지 처리장치.
  5. 제3항에 있어서, 상기 보상 결정부는,
    상기 소수값의 발생에 대응하여 상기 누적값과 미리 결정된 기준값을 비교하고, 상기 누적값이 상기 기준값보다 크거나 같다면 상기 보상값을 1로 결정하고,
    상기 누적값 관리부는,
    상기 보상값이 1로 결정된 것에 대응하여 상기 누적값에서 상기 기준값을 차감하는 이미지 처리장치.
  6. 제5항에 있어서, 상기 보상 결정부는,
    상기 누적값이 상기 기준값보다 작다면 상기 보상값을 0으로 결정하는 이미지 처리장치.
  7. 제4항에 있어서, 상기 보상 결정부는,
    상기 소수값의 발생에 대응하여 상기 보상값을 0 또는 1로 랜덤하게 결정하는 이미지 처리장치.
  8. 제7항에 있어서, 상기 보상 결정부는,
    상기 누적값을 기초로 결정된 비율에 따라 상기 보상값을 0 또는 1로 결정하는 이미지 처리장치.
  9. 제1항에 있어서, 상기 타겟 픽셀 보상부는,
    상기 복수의 타겟 픽셀들 중 위치가 미리 정해진 타겟 픽셀들의 픽셀값들에 1을 합산하는 이미지 처리장치.
  10. 제1항에 있어서, 상기 타겟 픽셀 보상부는,
    상기 복수의 타겟 픽셀들 중 위치가 랜덤한 타겟 픽셀들의 픽셀값들에 1을 합산하는 이미지 처리장치.
  11. 이미지 센서에 포함된 복수의 픽셀들 중 노이즈가 발생한 복수의 타겟 픽셀들을 검출하는 타겟 픽셀 검출부;
    상기 복수의 타겟 픽셀들의 각각의 위치를 기준으로 가로방향으로 접촉된 접촉 픽셀들의 픽셀값들의 평균값들을 이용하여 상기 복수의 타겟 픽셀들의 픽셀값들인 타겟 픽셀값들을 변경하는 타겟 픽셀 보정부; 및
    상기 접촉 픽셀들의 픽셀값들의 합산값들을 기초로 상기 타겟 픽셀값들을 보상하는 타겟 픽셀 보상부;를 포함하는 이미지 처리장치.
  12. 제11항에 있어서, 상기 타겟 픽셀 보정부는,
    상기 타겟 픽셀값들을 상기 복수의 타겟 픽셀들에 각각 대응되는 평균값들의 정수 부분에 대응하는 값들인 정수값들로 변경하는 이미지 처리장치.
  13. 제11항에 있어서, 상기 타겟 픽셀 보상부는,
    상기 합산값들 중 홀수인 합산값들에 대응하여 1만큼 증가하는 누적값을 생성하는 누적값 관리부;
    상기 누적값의 증가를 감지하는 감지부; 및
    상기 누적값을 기초로 상기 복수의 타겟 픽셀들 중 미리 결정된 보상값이 더해지는 적어도 하나 이상의 보상 픽셀을 결정하는 보상 결정부를 더 포함하는 이미지 처리장치.
  14. 제13항에 있어서, 상기 보상 결정부는,
    상기 누적값을 홀수에서 짝수로 증가시키는 합산값에 대응하는 타겟 픽셀을 상기 보상 픽셀로 결정하는 이미지 처리장치.
  15. 제13항에 있어섯, 상기 보상 결정부는,
    상기 누적값을 기초로 결정된 비율에 따라 상기 보상 픽셀을 랜덤하게 결정하는 이미지 처리장치.
  16. 이미지를 나타내는 복수의 픽셀들의 픽셀값들을 수신하는 단계;
    상기 복수의 픽셀들 중 노이즈가 발생한 제1 타겟 픽셀의 미리 결정된 범위 내에 포함된 주변 픽셀들의 픽셀값들의 평균값을 이용하여 상기 제1 타겟 픽셀의 픽셀값을 변경하는 단계;
    상기 제1 타겟 픽셀에 대응하는 평균값의 소수 부분에 대응하는 값인 제1 소수값을 획득하는 단계;
    상기 복수의 픽셀들 중 상기 노이즈가 발생한 제2 타겟 픽셀의 미리 결정된 범위 내에 포함된 주변 픽셀들의 픽셀값들의 평균값을 이용하여 상기 제2 타겟 픽셀의 픽셀값을 변경하는 단계;
    상기 제2 타겟 픽셀에 대응하는 평균값의 소수 부분에 대응하는 값인 제2 소수값과 상기 제1 소수값을 누적한 누적값을 생성하는 단계; 및
    상기 누적값을 기초로 상기 제1 타겟 픽셀의 픽셀값 또는 상기 제2 타겟 픽셀의 픽셀값을 보상하는 단계를 포함하는 이미지 처리장치의 동작방법.
  17. 제16항에 있어서, 상기 제1 타겟 픽셀의 픽셀값 또는 상기 제2 타겟 픽셀의 픽셀값을 보상하는 단계는,
    상기 제1 타겟 픽셀 또는 상기 제2 타겟 픽셀 중 어느 하나의 타겟 픽셀을 선택하는 단계; 및
    상기 누적값이 미리 결정된 기준값보다 크거나 같다면 상기 어느 하나의 타겟 픽셀의 픽셀값에 1을 합산하고, 상기 누적값에서 1을 차감하는 단계를 포함하는 이미지 처리장치의 동작방법.
  18. 제17항에 있어서, 상기 제1 타겟 픽셀의 픽셀값 또는 상기 제2 타겟 픽셀의 픽셀값을 선택하는 단계는,
    상기 누적값이 상기 기준값보다 작다면 상기 어느 하나의 타겟 픽셀의 픽셀값에 0을 합산하는 단계를 더 포함하는 이미지 처리장치의 동작방법.
  19. 제18항에 있어서,
    상기 누적값이 상기 기준값보다 작다면, 상기 복수의 픽셀들 중 상기 노이즈가 발생한 제3 타겟 픽셀의 픽셀값을 보상하는 단계를 더 포함하고,
    상기 제3 타겟 픽셀의 픽셀값을 보상하는 단계는,
    상기 제3 타겟 픽셀의 미리 결정된 범위 내에 포함된 주변 픽셀들의 픽셀값들의 평균값을 이용하여 상기 제3 타겟 픽셀의 픽셀값을 변경하는 단계;
    상기 제3 타겟 픽셀에 대응하는 평균값의 소수 부분에 대응하는 값인 제3 소수값과 상기 누적값을 누적한 추가 누적값을 생성하는 단계; 및
    상기 누적값을 기초로 결정된 보상값을 상기 제3 타겟 픽셀의 픽셀값에 합산하는 단계를 포함하는 이미지 처리장치의 동작방법.
  20. 이미지를 나타내는 복수의 픽셀들의 픽셀값들을 수신하는 단계;
    상기 복수의 픽셀들 중 노이즈가 발생한 복수의 타겟 픽셀들을 검출하는 단계;
    상기 복수의 타겟 픽셀들의 각각의 위치를 기준으로 세로방향으로 접촉된 접촉 픽셀들의 픽셀값들의 합산값들을 계산하는 단계;
    상기 합산값들의 각각의 평균값들을 이용하여 상기 복수의 타겟 픽셀들의 픽셀값들인 타겟 픽셀값들을 변경하는 단계;
    상기 합산값들 중 홀수인 합산값들에 대응하여 1만큼 증가하는 누적값을 생성하는 단계;
    상기 복수의 타겟 픽셀들 중 상기 누적값을 홀수에서 짝수로 증가시킨 합산값에 대응하는 타겟 픽셀을 보상 픽셀로 결정하는 단계; 및
    상기 보상 픽셀의 픽셀값에 미리 결정된 보상값을 합산하는 단계를 포함하는 이미지 처리장치의 동작방법.
  21. 이미지를 나타내는 제1 픽셀들의 픽셀값들을 전송하는 이미지 센서;
    상기 제1 픽셀들의 픽셀값들을 기초로 상기 제1 픽셀들 중 노이즈가 발생한 제2 픽셀들을 검출하는 타겟 픽셀 검출부;
    상기 이미지에서 상기 제2 픽셀들의 위치에 따라 각각 결정되는 제3 픽셀들의 픽셀값들의 평균값들을 이용하여 상기 제2 픽셀들의 픽셀값들인 타겟 픽셀값들을 변경하는 타겟 픽셀 보정부;
    상기 평균값들의 소수 부분에 대응하는 값들을 누적한 누적값을 이용하여 상기 타겟 픽셀값들을 보상하는 타겟 픽셀 보상부; 및
    픽셀값들이 보상된 상기 제2 픽셀들이 포함된 상기 제1 픽셀들의 픽셀값들을 출력하는 출력 관리부를 포함하는 이미지 처리 시스템.
KR1020210120293A 2021-09-09 2021-09-09 이미지 처리 시스템 및 그 동작 방법 KR20230037237A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210120293A KR20230037237A (ko) 2021-09-09 2021-09-09 이미지 처리 시스템 및 그 동작 방법
US17/683,000 US11962923B2 (en) 2021-09-09 2022-02-28 Image processing system and method of operating the same
CN202210322371.6A CN115802181A (zh) 2021-09-09 2022-03-30 图像处理装置及其操作方法
JP2022082000A JP2023039900A (ja) 2021-09-09 2022-05-19 画像処理システム及びその動作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210120293A KR20230037237A (ko) 2021-09-09 2021-09-09 이미지 처리 시스템 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20230037237A true KR20230037237A (ko) 2023-03-16

Family

ID=85385153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210120293A KR20230037237A (ko) 2021-09-09 2021-09-09 이미지 처리 시스템 및 그 동작 방법

Country Status (4)

Country Link
US (1) US11962923B2 (ko)
JP (1) JP2023039900A (ko)
KR (1) KR20230037237A (ko)
CN (1) CN115802181A (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070066466A (ko) 2005-12-22 2007-06-27 매그나칩 반도체 유한회사 불량 화소 보정기능을 갖는 이미지 센서 및 불량 화소보정방법
WO2011135158A1 (en) * 2010-04-30 2011-11-03 Nokia Corporation Method, apparatus and computer program product for compensating eye color defects
KR102575281B1 (ko) 2016-10-14 2023-09-06 한화비전 주식회사 결함화소 정보 기록장치, 결함화소 보정장치 및 방법

Also Published As

Publication number Publication date
US11962923B2 (en) 2024-04-16
US20230076522A1 (en) 2023-03-09
CN115802181A (zh) 2023-03-14
JP2023039900A (ja) 2023-03-22

Similar Documents

Publication Publication Date Title
JP4798400B2 (ja) 光学的黒画素と電圧固定画素とを用いて撮像装置の黒レベルを設定する方法および装置
US20140267839A1 (en) Signal processing unit and signal processing method
US11159722B2 (en) Method for processing image signal, image signal processor, and image sensor chip
JPWO2019078340A1 (ja) 撮像装置および方法、並びに、画像処理装置および方法
US11546565B2 (en) Image sensing device and operating method thereof
US11962923B2 (en) Image processing system and method of operating the same
EP3700187B1 (en) Signal processing device and imaging device
US20230020674A1 (en) Electronic apparatus and operating method thereof
EP3780594B1 (en) Imaging device and method, image processing device and method, and imaging element
US20230262328A1 (en) Image processing system and operating method thereof
US12008789B2 (en) Image sensing device and method of operating the same
KR20220166013A (ko) 이미지 센싱 장치 및 그 동작 방법
US20230353884A1 (en) Image processing system and image processing method
US20230050561A1 (en) Electronic apparatus and operating method of the electronic apparatus
US20230109055A1 (en) Electronic apparatus and operating method of the electronic apparatus
US20240129641A1 (en) Image processing device and image correcting method
US20240179263A1 (en) Image processing device and image processing method
KR20240079752A (ko) 이미지 처리 장치 및 이미지 처리 방법
TW202409966A (zh) 圖像處理裝置、圖像處理系統及圖像處理方法
KR20230120371A (ko) 이미지 처리 장치 및 이를 이용한 이미지 처리 방법