KR101488074B1 - 이미지 센서와 이를 이용한 비닝 이미지 생성 방법 - Google Patents

이미지 센서와 이를 이용한 비닝 이미지 생성 방법 Download PDF

Info

Publication number
KR101488074B1
KR101488074B1 KR20130012259A KR20130012259A KR101488074B1 KR 101488074 B1 KR101488074 B1 KR 101488074B1 KR 20130012259 A KR20130012259 A KR 20130012259A KR 20130012259 A KR20130012259 A KR 20130012259A KR 101488074 B1 KR101488074 B1 KR 101488074B1
Authority
KR
South Korea
Prior art keywords
image
binning
pixel
vertical
unit
Prior art date
Application number
KR20130012259A
Other languages
English (en)
Other versions
KR20140099625A (ko
Inventor
한용인
Original Assignee
주식회사 동부하이텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 동부하이텍 filed Critical 주식회사 동부하이텍
Priority to KR20130012259A priority Critical patent/KR101488074B1/ko
Priority to US13/827,875 priority patent/US9137452B2/en
Publication of KR20140099625A publication Critical patent/KR20140099625A/ko
Application granted granted Critical
Publication of KR101488074B1 publication Critical patent/KR101488074B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 이미지의 해상도를 개선할 수 있는 이미지 센서와 이를 이용한 비닝 이미지 생성 방법에 관한 것이다.
이를 위하여 본 발명의 실시 예에 따른 이미지 센서는 피사체의 광학적 신호를 전기적인 신호로 변환하여 베이어 패턴을 출력하는 픽셀부와, 베이어 패턴의 각 로우 영역에 설정된 가중치 정보를 기반으로 베이어 패턴의 수직 방향 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지를 생성하는 수직 보간부와, 베이어 패턴의 각 콜럼(column) 영역에 설정된 가중치 정보를 기반으로 베이어 패턴의 수평 방향의 픽셀 값을 합하거나 평균하여 수평 방향 비닝 이미지를 생성하는 수평 보간부와, 수직 및 수평 방향 비닝 이미지를 합성하여 가중치 기반의 비닝 이미지를 생성하는 이미지 합성부를 포함할 수 있다.

Description

이미지 센서와 이를 이용한 비닝 이미지 생성 방법{IMAGE SENSORAND METHOD FOR GENERATING BINNING IMAGE USING THE SAME}
본 발명은 이미지 센서에 관한 것으로, 더욱 상세하게는 가중치 기반의 비닝(binning)을 통해 이미지의 해상도를 향상시킬 수 있는 이미지 센서와 이를 이용한 비닝 이미지 생성 방법에 관한 것이다.
최근 이미지 센서 분야에서 많이 요구되는 성능 중 하나가 고감도이다. 고감도 센서는 빛이 어두운 상태에서도 양질의 영상을 얻을 수 있을 뿐만 아니라 빠르게 움직이는 물체를 촬영하기 위해 프레임 속도를 증가시켰을 때에도 상대적으로 고 품질의 영상을 얻을 수 있다.
고감도 센서를 위해 많이 채용되는 기술이 비닝(binning) 기법이다. 비닝 기법은 기본적으로 인접 픽셀들의 값을 합쳐서 고품질 고감도의 영상을 얻는 방법이다. 비닝 동작은 인접한 픽셀의 신호 값을 픽셀 안에서 누적된 전하(charge)를 합치는 동작을 구현할 수도 있고, 컬럼(column) 회로에서 픽셀의 아날로그 출력값을 합치는 동작으로도 구현할 수 있다. 또는 비닝은 디지털 영상 처리부에서 수행될 수도 있다.
일반적으로, 비닝 기법은 베이어 패턴을 이용하며, 베이어 영상 단계에서 2개 이상의 동일 색상 픽셀을 합하거나 평균하는 방법으로 화면의 해상도를 낮추고 SNR을 개선한다.
이하, 첨부된 도면을 참조하여 종래의 비닝 기법에 대해 설명한다.
베이어 패턴을 이용하는 이미지 센서에서 일반적으로 사용하는 2:1 비닝 기법은, 도 1a 내지 도 1d에 도시된 바와 같다. 즉, 2:1 비닝 기법은 도 1a에 도시된 바와 같은 베이어 패턴을 입력받아 동일한 색상을 갖는 픽셀들을 수직 및 수평 방향으로 짝을 지어 값을 1:1의 비율로 합하거나 평균하여 픽셀의 값을 결정하여 도 1b 및 도 1c에 도시된 바와 같은 수직 및 수평 방향의 비닝 이미지를 생성한 후 이를 이용하여 도 1d에 도시된 바와 같이, 픽셀들의 위치가 균일하게 놓이지 않고, 무리(cluster)가 지는 것과 같은 형태로 변형된 이미지를 획득한다.
상기와 같은 과정을 통해 얻어진 픽셀들의 위치와 일반적으로 사용되는 디모자이킹(demosaicing) 기법에서 가정하는 이상적인 샘플링의 위치를 비교하면, 도 2a 및 도 2b와 같다. 도 2a는 일반적은 비닝 기반에 따라 획득한 이미지를 도시한 도면이며, 도 2b는 디모자이킹 기법에 의해 획득한 이미지를 도시한 도면이다. 여기에서, 디모자이킹 기법은 하나의 픽셀에 RGB 중 하나의 칼라 값만이 주어지는 베이어 패턴 영상으로부터 모든 픽셀에 대해 RGB 전체 칼라를 복원하는 방법이다.
상기와 같은 비닝 기법을 수행하지 않고, 디모자이킹 기법만을 적용한 후 일반적인 스케일 기법을 통해 획득한 영상은, 도 3a에 도시된 바와 같이, 화질면에서 우수하나 원래의 화면으로 ISP 처리를 수행한 후 사이즈를 줄이기 때문에 전력 소모가 많은 문제점이 있다.
한편, 상기와 같은 비닝 기법을 수행한 후 디모자이킹 기법을 적용한 경우에는, 도 3b에 도시된 바와 같이, 비닝 영상의 나뭇가지 등 기울어진 에지(edge)가 거칠게 표현, 즉 "jagged edge" 현상이 발생되는 것을 알 수 있다. 이는 비닝에 의해 샘플링의 위치가 불규칙하게 변하면서 발생되는 현상이다.
상기와 같은 문제점을 해결하기 위해 비닝 후 디모자이킹을 적용하기 전 샘플링 위치를 보정하기 위한 보정 필터를 사용하는 방법이 있다. 즉, 도 4에 도시된 바와 같이, 보정 필터를 통해 "jagged edge" 현상이 완화되었으나, 화면의 해상도가 저하되는 것을 알 수 있다.
상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 이미지의 해상도를 개선할 수 있는 이미지 센서와 이를 이용한 비닝 이미지 생성 방법을 제공하는데 있다.
또한, 본 발명은 가중치 기반의 비닝을 수행한 후 선형 보정을 통해 다이나믹 레인지를 확장할 수 있는 이미지 센서와 이를 이용한 비닝 이미지 생성 방법을 제공하는데 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 이미지 센서는 피사체의 광학적 신호를 전기적인 신호로 변환하여 베이어 패턴을 출력하는 픽셀부와, 상기 베이어 패턴의 각 로우 영역에 설정된 가중치 정보를 기반으로 상기 베이어 패턴의 수직 방향 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지를 생성하는 수직 보간부와, 상기 베이어 패턴의 각 콜럼(column) 영역에 설정된 가중치 정보를 기반으로 상기 베이어 패턴의 수평 방향의 픽셀 값을 합하거나 평균하여 수평 방향 비닝 이미지를 생성하는 수평 보간부와, 상기 수직 및 수평 방향 비닝 이미지를 합성하여 가중치 기반의 비닝 이미지를 생성하는 이미지 합성부를 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 센서에서 상기 픽셀부는 레드 픽셀 및 그린 픽셀이 교대로 배열되는 어느 하나의 라인과, 블루 픽셀 및 그린 픽셀이 교대로 배열되는 다음 라인으로 구성된 베이어 패턴으로 배열되는 것을 특징으로 한다.
본 발명의 실시 예에 따른 이미지 센서는 상기 베이어 패턴의 로우 영역 또는 콜럼 영역 각각 대해 가중치를 설정할 수 있는 인터페이스를 제공하며, 상기 인터페이스를 통해 설정된 가중치를 상기 수직 또는 수평 보간부에 제공하는 가중치 설정부를 더 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 센서에서 상기 가중치 설정부는, 상기 로우 영역 또는 콜럼 영역의 어느 하나의 라인과 다음 라인이 1:3 또는3:1 비율을 갖도록 상기 가중치를 설정하는 것을 특징으로 한다.
본 발명의 다른 측면에 따르면, 본 발명의 실시 예에 따른 이미지 센서는 각 로우 및 콜럼 영역에 설정된 가중치에 의거하여 상기 각 로우 및 콜럼 영역의 노출 시간을 제어하는 노출 시간 제어부와, 상기 노출 시간에 따른 베이어 패턴을 출력하는 픽셀부와, 상기 베이어 패턴에서 수직 방향의 픽셀 값을 합하거나 평균하는 방법으로 수직 방향 비닝 이미지를 생성하는 수직 보간부와, 상기 베이어 패턴에서 수평 방향의 픽셀 값을 합하거나 평균하는 방법으로 수평 방향 비닝 이미지를 생성하는 수평 보간부와, 상기 수직 및 수평 비닝 이미지를 합성하여 가중치 기반의 비닝 이미지를 생성하는 이미지 합성부를 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 센서는 상기 노출 시간 제어부에 의해 설정된 노출 시간에 따라 상기 픽셀부 내 각 픽셀을 노출시키는 노출부를 더 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 센서는 상기 수직 방향 비닝 이미지의 픽셀 값과 기 설정된 값간의 비교를 통해 상기 수직 방향 비닝 이미지 내 각 픽셀 값을 보정하여 보정된 수평 방향 비닝 이미지를 생성하는 선형 보정부를 더 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 이미지 센서에서 상기 기 설정된 값은, 상기 픽셀부의 최대 픽셀 값에 의해 결정되는 것을 특징으로 한다.
본 발명의 실시 예에 따른 이미지 센서에서 상기 선형 보정부는, 상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 이상인 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하고, 그렇지 않을 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 유지시키는 것을 특징으로 한다.
본 발명의 실시 예에 따른 이미지 센서에서 상기 가중치 설정부는, 상기 로우 영역별 또는 콜럼 영역별에 대한 조도 정보를 기반으로 상기 로우 영역 또는 콜럼 영역별 가중치를 설정하는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따르면, 본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법은 로우 영역별 또는 콜럼 영역별로 설정된 가중치에 의거하여 상기 로우 영역별 또는 콜럼 영역별 노출 시간을 설정하는 단계와, 상기 설정된 노출 시간에 따라 픽셀부로부터 노출 시간이 상이한 베이어 패턴을 제공받는 단계와, 상기 베이어 패턴에서 동일 색상을 갖는 수직 방향의 두 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지를 생성하는 단계와, 상기 베이어 패턴에서 동일한 색상을 갖는 수평 방향의 두 픽셀 값을 합하거나 평균하여 수평 방향 비닝 이미지를 생성하는 단계와, 상기 수직 및 수평 방향 비닝 이미지를 이용하여 가중치 기반의 비닝 이미지를 생성하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법은 상기 로우 영역별 또는 콜럼 영역별 가중치를 설정하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법에서 상기 가중치를 설정하는 단계는, 상기 로우 영역 또는 콜럼 영역의 어느 하나의 라인과 동일한 색상을 갖는 다음 라인이 1:3 또는 3:1 비율의 갖도록 가중치를 설정하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법은 상기 가중치를 설정하는 단계는, 상기 픽셀부의 로우 및 콜럼 영역에 대한 조도 정보를 추출하는 단계와, 상기 추출된 조도 정보를 기반으로 상기 로우 영역별 또는 콜럼 영역별 상기 가중치를 설정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법은 상기 수직 방향 비닝 이미지의 픽셀 값과 기 설정된 값간의 비교를 통해 상기 수직 방향 비닝 이미지 내 각 픽셀 값을 보정하는 단계를 더 포함하며, 상기 가중치 기반의 비닝 이미지를 생성하는 단계는, 상기 보정을 통해 생성된 수직 방향 비닝 이미지와 상기 수평 방향 비닝 이미지를 이용하여 생성하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법에서 상기 보정하는 단계는, 상기 수직 방향 비닝 이미지의 픽셀 값과 상기 기 설정된 값과 비교하는 단계와, 상기 비교 결과, 상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 이상인 경우 상기 수직 비닝 이미지의 픽셀 값을 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하는 단계와, 상기 비교 결과, 상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 미만인 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 유지시키는 단계를 통해 상기 수직 방향 비닝 이미지의 픽셀 값들을 보정하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 이미지 센서의 비닝 이미지 생성 방법에서 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하는 단계는, 수학식((PWB_org - M) * 4, M은 픽셀부의 최대 픽셀 값, PWB_org는 수직 방향 비닝에 합해진 픽셀 값)에 의거하여 상기 수직 비닝 이미지의 픽셀 값을 보정하는 것을 특징으로 한다.
본 발명은 가중치 기반으로 수직 방향 비닝 이미지와 수평 방향 비닝 이미지를 생성한 후 이를 합성하여 비닝 이미지를 생성함으로써, 종래의 비닝 기법에 의해 해상도 저하를 막을 수 있다.
또한, 본 발명은 가중치 기반의 비닝을 수행한 후 선형 보정을 통해 다이나믹 레인지를 확장할 수 있다.
도 1a 내지 도 1d는 일반적인 비닝 방법을 설명하기 위한 도면,
도 2a는 일반적인 비닝 후 샘플 위치를 도시한 도면,
도 2b는 디모자이킹 기법 후 샘플 위치를 도시한 도면,
도 3a는 일반적인 디모지아킹 기법 후 스케일링 과정을 거친 이미지 예시도,
도 3b는 일반적인 비닝 이후 디모자이킹 과정을 거친 이미지 예시도,
도 4는 일반적인 비닝 후 샘플링 위치 보정과 디모자이킹 과정을 거친 이미지 예시도,
도 5는 본 발명의 일 실시 예에 따른 이미지 센서의 블록도,
도 6a는 본 발명의 일 실시 예에서 이용되는 베이어 패턴을 도시한 도면,
도 6b는 본 발명의 일 실시 예에 따라 수직 방향 비닝 이미지를 도시한 도면,
도 6c는 본 발명의 일 실시 예에 따라 수평 방향 비닝 이미지를 도시한 도면,
도 7은 본 발명의 다른 실시 예에 따른 이미지 센서를 도시한 블록도,
도 8a는 종래의 비닝 방법을 수행한 후 이미지를 도시한 도면,
도 8b는 비닝 후 샘플링 보정 방법을 수행하고, 디모자이킹 과정을 수행한 이미지를 도시한 도면,
도 8c는 본 발명의 실시 예에 따른 가중치 기반의 비닝 이미지를 이용한 이미지이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시 예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
또한, 이하에서는 첨부 도면을 참조하여 설명함에 있어서 동일하거나 대응하는 구성 요소는 도면 부호에 상관없이 동일한 참조번호를 부여하여 설명하기로 한다.
도 5는 본 발명의 일 실시 예에 따른 이미지 센서의 블록도이며, 도 6a는 본 발명의 일 실시 예에서 이용되는 베이어 패턴을 도시한 도면이며, 도 6b는 본 발명의 일 실시 예에 따라 수직 방향 비닝 이미지를 도시한 도면이며, 도 6c는 본 발명의 일 실시 예에 따라 수평 방향 비닝 이미지를 도시한 도면이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 이미지 센서는 픽셀부(100), 보간부(120) 및 이미지 합성부(130)를 포함할 수 있다. 여기에서, 보간부(120)는 수직 보간부(122) 및 수평 보간부(124)로 구성될 수 있다.
픽셀부(100)는 렌즈를 통해 입력되는 광학적 피사체의 신호를 전기적 신호로 출력하는 기능을 수행할 수 있다. 이러한 픽셀부(100)에는 동일한 피사체에 해상도면에서 유리한 베이어 패턴이 사용되며, 각 픽셀마다 하나의 색 정보를 갖는 이미지 데이터가 출력된다. 예를 들어 , R 패턴에 해당하는 픽셀에서는 R 성분만을 가지는 이미지 데이터가 출력되고, G 패턴에 해당하는 픽셀에서는 G 성분만을 가지는 이미지 데이터가 출력되며, B 패턴에 해당하는 픽셀에서는 B 성분만을 가지는 이미지 데이터가 출력될 수 있다. 베이어 패턴에 상응하여 각각 하나의 색상 성분만을 가지는 이미지 데이터가 출력된 예가 도 6a에 예시되어 있다. 물론, 픽셀부(100)에 의해 출력되는 아날로그 이미지 데이터를 디지털 이미지 데이터로 변환하여 출력하는 A/D 변환부(미도시)가 픽셀부(100)에 연결된다. 즉, A/D 변환부는 픽셀부(410)를 통해 출력된 아날로그 베이어 이미지 데이터를 디지털 베이어 이미지 데이터로 변환하여 보간부(120)로 전달한다.
예를 들어, 다수의 픽셀부(100)가 배열되어 있는 경우 각각의 픽셀부(100)는 하나의 포토다이오드와 포토다이오드에 모인 전하를 읽기 위한 MOS 트랜지스터로 이루어진다. 이와 같은 픽셀부(100)는 연속적으로 이미지를 읽어내기 위해서 컬럼 또는 로우별로 빛에 노출을 시키어 즉시 읽어내는 방법을 사용한다.
가중치 설정부(110)는 픽셀부(100)의 라인(row)별 또는 콜럼(column)별 가중치를 설정할 수 있는 인터페이스를 제공하며, 인터페이스를 통해 설정된 라인별 가중치를 보간부(120)에 제공할 수 있다. 즉, 가중치 설정부(110)는 픽셀의 로우 또는 콜럼 영역 각각에 대한 가중치 정보, 예컨대 1:3 또는 3:1의 가중치 정보를 보간부(120)에 제공할 수 있다.
한편, 가중치 설정부(110)는 조도 정보를 기반으로 로우별 또는 콜럼별 가중치를 설정할 수 있다.
보간부(120)는 픽셀부(100)로부터 도 6a에 도시된 바와 같은 베이어 패턴(600)을 입력받고, 가중치 설정부(110)에서 설정된 가중치 정보를 기반으로 베이어 패턴(600)에 대한 수직 및 수평 비닝을 수행하여 수직 및 수평 비닝 이미지로 변환한 후 이를 이미지 합성부(130)에 출력한다. 이를 위하여 보간부(120)는 수직 및 수평 보간부(122, 124)를 포함할 수 있다.
수직 보간부(122)는 가중치 설정부(110)로부터 제공받은 로우 영역별 가중치 정보를 기반으로 베이어 패턴(600)에서 수직 방향으로 두 픽셀 값을 합하거나 평균할 때 로우 영역의 픽셀에 따라 서로 다른 가중치를 부여하는 방식으로 두 픽셀 값을 합하거나 평균한다. 예를 들어, 동일한 색상은 갖는 라인과 그 사이 라인에 대해 3:1(또는 1:3)의 가중치가 부여된 경우 동일한 색상을 갖는 수직 방향의 두 픽셀 값을 합하거나 평균하는 방법으로 도 6b에 도시된 바와 같은 수직 방향 비닝 이미지(610)를 생성할 수 있다. 이렇게 생성된 수직 방향 비닝 이미지(610)는 이미지 합성부(130)에 출력된다. 다시 말해서, 도 6a의 베이어 패턴(600)에서 동일 색상을 갖는 수직 방향의 77과 78에서 출력되는 픽셀 값에 3:1 또는 1:3의 가중치를 부여한 후 이를 합하거나 평균하여 하나의 픽셀을 결정하고, 78과 79의 픽셀 값에3:1 또는 1:3의 가중치를 부여하여 합하거나 평균하는 방식으로 수직 방향 비닝 이미지(610)를 생성할 수 있다.
수평 보간부(124)는 가중치 설정부(110)로부터 제공받은 콜럼 영역별 가중치 정보를 기반으로 베이어 패턴(600)에서 수평 방향으로 두 픽셀 값을 합하거나 평균하는 방식으로 수평 방향 비닝 이미지를 생성한다. 예를 들어, 동일한 색상은 갖는 콜럼과 그 사이 콜럼에 대해 3:1(또는 1:3)의 가중치가 부여된 경우 동일한 색상을 갖는 수평 방향의 두 픽셀 값을 합하거나 평균하는 방법으로 도 6c에 도시된 바와 같은 수평 방향 비닝 이미지(620)를 생성할 수 있다. 이렇게 생성된 수평 방향 비닝 이미지(620)는 이미지 합성부(130)에 출력된다. 다시 말해서, 도 6a의 베이어 패턴(600)에서 동일 색상을 갖는 수평 방향의 77과 78에서 출력되는 픽셀 값에 3:1 또는 1:3의 가중치를 부여한 후 이를 합하거나 평균하여 하나의 픽셀을 결정하고, 78과 79의 픽셀 값에 3:1 또는 1:3의 가중치를 부여하여 합하거나 평균하는 방식으로 수평 방향 비닝 이미지(620)를 생성할 수 있다.다.
이미지 합성부(130)는 수직 방향의 비닝 이미지와 수평 방향의 비닝 이미지 데이터를 합성하여 가중치 기반의 비닝 이미지를 출력한다.
상기와 같은 구성을 갖는 이미지 센서가 가중치 기반의 비닝 이미지를 생성하는 과정에 대해 설명하면 아래와 같다.
먼저, 픽셀부(100)는 노출 시간이 동일한 상태에서 도 6a에 도시된 바와 같은 베이어 패턴(600)을 보간부(120)에 출력한다. 더불어 가중치 설정부(110)에 의해 설정된 가중치 정보가 보간부(120)에 입력된다. 여기에서, 동일한 색상을 갖는 첫 번째 로우(콜럼) 영역과 세 번째 로우(콜럼) 영역 및 다섯 번째 로우(콜럼) 영역과 일곱 번째 로우(콜럼) 영역의 가중치는 0.75:0.25이며, 두 번째 로우(콜럼) 영역과 네 번째 로우(콜럼) 영역 및 여섯 번째 로우(콜럼) 영역과 여덟 번째 로우(콜럼) 영역의 가중치는 0.25:0.75이다.
이에 따라, 보간부(120)의 수직 보간부(122)는 로우 영역별 가중치 정보를 기반으로 베이어 패턴에서 수직 방향으로 동일한 색상을 갖는 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지의 픽셀 값을 결정한다. 즉, 수직 보간부(122)는 도 6a의 첫 번째 로우 영역의 첫 번째 픽셀 1에 대해 가중치 0.75를 부여하고, 세 번째 로우 영역의 첫 번째 픽셀에 3에 대해 0.25의 가중치를 부여한 후 이를 합하거나 합한 평균을 산출하는 방식으로 도 6b에 도시된 바와 같은 수직 방향 비닝 이미지(610)의 첫 번째 픽셀 20의 값을 계산하며, 두 번째 로우 영역의 첫 번째 픽셀 2에 대해 0.25의 가중치를 부여하고, 네 번째 로우 영역의 첫 번째 픽셀 4에 대해 가중치 0.75를 부여하여 수직 방향 비닝 이미지의 두 번째 로우 영역의 첫 번째 픽셀 21의 값을 계산한다. 이런 방식으로 수직 방향 비닝 이미지(610)의 각 픽셀에 대한 값을 계산할 수 있다.
수평 보간부(124)는 콜럼 영역별 가중치 정보를 기반으로 베이어 패턴에서 수평 방향으로 동일한 색상을 갖는 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지의 픽셀 값을 결정한다. 즉, 수평 보간부(124)는 도 6a의 첫 번째 콜럼 영역의 첫 번째 픽셀 1에 대해 가중치 0.75를 부여하고, 세 번째 콜럼 영역의 첫 번째 픽셀에 3에 대해 0.25의 가중치를 부여한 후 이를 합하거나 합한 평균을 산출하는 방식으로 도 6c에 도시된 바와 같은 수직 방향 비닝 이미지(620)의 첫 번째 픽셀 40의 값을 계산한다. 이런 방식으로 수평 방향 비닝 이미지(620)의 각 픽셀에 대한 값을 계산할 수 있다.
상술한 바와 같은 과정을 통해 생성된 수직 및 수평 방향 비닝 이미지(610, 620)는 이미지 합성부(130)에 의해 합성됨으로써, 가중치 기반의 비닝 이미지가 생성될 수 있다.
도 7은 본 발명의 다른 실시 예에 따른 이미지 센서를 도시한 블록도이다.
도 7에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 이미지 센서는 픽셀부(100), 가중치 설정부(110), 노출 시간 제어부(200), 노출부(210), 보간부(120) 및 선형 보정부(220) 등을 포함할 수 있다.
가중치 설정부(110)는 픽셀부(100)의 라인(row)별 또는 콜럼(column)별 가중치를 설정할 수 있는 인터페이스를 제공하며, 인터페이스를 통해 설정된 라인별 가중치를 노출 시간 제어부(200)에 제공할 수 있다. 즉, 가중치 설정부(110)는 픽셀의 로우 또는 콜럼 영역 각각에 대한 가중치 정보, 예컨대 1:3 또는 3:1의 가중치 정보를 노출 시간 제어부(200)에 제공할 수 있다.
한편, 가중치 설정부(110)는 로우별 또는 콜럼별 조도 정보를 기반으로 가중치를 설정할 수 있으며, 설정된 가중치를 노출 시간 제어부(200)에 제공할 수 있다.
노출 시간 제어부(200)는 가중치에 따라 로우별 또는 콜럼별로 서로 다른 노출 시간을 갖도록 노출부(210)를 제어한다. 즉, 노출 시간 제어부(200)는 가중치 설정부(110)로부터 제공받은 가중치에 의거하여 로우별 또는 콜럼별 노출 시간 값을 설정한 후 이를 기반으로 노출부(210)를 제어한다.
노출부(210)는 노출 시간 제어부(200)의 제어에 따라 로우별 또는 콜럼별로 빛의 노출 시간을 조절하기 위한 것으로서, 그 예로 셔터를 들 수 있으며, 이에 한정하지 않는다.
이에 따라, 픽셀부(100)는 노출 시간이 서로 상이한 베이어 패턴을 보간부(120)에 출력한다.
보간부(120)는 상이한 베이어 패턴에 대해 수직 및 수평 방향으로 비닝을 수행하여 수직 및 수평 방향 비닝 이미지를 생성할 수 있으며, 이를 위하여 수직 보간부(122) 및 수평 보간부(124)로 구성될 수 있다.
수직 보간부(122)는 서로 상이한 베이어 패턴에서 수직 방향으로 두 픽셀 값을 합하거나 평균한다. 즉, 수직 보간부(122)는 동일한 색상을 갖는 두 픽셀의 값을 합하거나 평균하는 방법으로 수직 방향 비닝 이미지를 생성할 수 있다. 이렇게 생성된 수직 방향 비닝 이미지는 선형 보정부(220)에 출력된다.
선형 보정부(220)는 컬러 처리를 위한 선형성(linearity)을 확보하기 위한 것으로, 아래와 같은 수학식 1에 의해 보정을 수행한다.
Figure 112013010180570-pat00001
상기의 수학식 1에서 PWB_org는 수직 방향 비닝 과정에 합해진 픽셀 값, M은 수직 보간부(122)에 의해 비닝되기 이전의 오리지널 픽셀의 최대 값, PWB_corr는 선형성을 갖도록 보정된 픽셀의 값이다. 여기에서, M은 픽셀이 10비트일 경우 1023이다.
즉, 선형 보정부(220)는 PWB_org가 "M/3" 보다 작은 경우 수직 방향 비닝 과정에서 합해진 픽셀 값인 PWB_org를 유지하고, 그렇지 않을 경우 상기의 수학식 1에서 "(PWB_org - M) * 4"를 이용하여 보정된 값을 PWB_corr를 계산한다.
선형 보정부(220)에서 보정 과정을 거친 수직 방향 비닝 이미지는 이미지 합성부(130) 또는 수평 보간부(124)에 입력된다.
수평 보간부(124)는 서로 상이한 베이어 패턴에서 수평 방향으로 두 픽셀 값을 합하거나 평균한다. 즉, 수평 보간부(124)는 동일한 색상을 갖는 수평 방향의 두 픽셀 값을 합하거나 평균하는 방법으로 수평 방향 비닝 이미지를 생성할 수 있다. 이렇게 생성된 수평 방향 비닝 이미지는 이미지 합성부(130)에 출력된다.
이미지 합성부(130)는 보정된 수직 방향의 비닝 이미지와 수평 방향 비닝 이미지를 합성한 후 결과 이미지를 출력한다.
상기와 같은 구성을 갖는 이미지 센서가 가중치 기반의 비닝 이미지를 생성하는 과정에 대해 설명하면 아래와 같다.
먼저, 가중치 설정부(110)에 의해 설정된 가중치에 의거하여 노출 시간 제어부(200)는 각 로우 영역 또는 각 콜럼 영역에 대한 노출 시간을 제어하기 위한 제어 신호를 노출부(210)에 출력한다. 여기에서, 가중치 설정부(110)는 픽셀부(100)의 로우 및 콜럼 영역에 대한 조도 정보를 추출하고, 추출된 조도 정보를 기반으로 로우 영역별 또는 콜럼 영역별 가중치를 설정할 수 있다.
노출부(210)는 제어 신호에 의거하여 각 로우 영역 또는 각 콜럼 영역에 대한 노출 시간을 제어하며, 이에 따라 픽셀부(100)는 노출 시간이 상이한 베이어 패턴을 보간부(120)에 출력한다.
보간부(120)의 수직 보간부(122)는 픽셀부(100)로부터 입력받은 상이한 베이어 패턴에서 수직 방향으로 동일한 색상을 갖는 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지의 픽셀 값을 결정한다. 이러한 과정을 통해 생성된 수직 방향 비닝 이미지는 선형 보정부(220)에 입력된다.
이후, 선형 보정부(220)는 상기의 수학식 1과 같이 PWB_org가 "M/3" 보다 작은 경우 수직 방향 비닝 과정에서 합해진 픽셀 값인 PWB_org를 유지하고, 그렇지 않을 경우 상기의 수학식 1에서 "(PWB_org - M) * 4"를 이용하여 보정된 값을 PWB_corr를 계산한 후 계산된 PWB_corr를 이용하여 PWB_org 값을 보정한다. 이러한 보정 과정을 통해 선형 보정부(220)는 보정된 수평 방향 비닝 이미지를 이미지 합성부(130)에 출력한다.
수평 보간부(124)는 픽셀부(100)로부터 입력받은 상이한 베이어 패턴에서 수평 방향으로 동일한 색상을 갖는 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지의 픽셀 값을 결정하는 방식으로 수직 방향 비닝 이미지를 생성한 후 이를 이미지 합성부(130)에 출력한다.
상술한 바와 같은 과정을 통해 생성된 수직 및 수평 방향 비닝 이미지는 이미지 합성부(130)에 의해 합성됨으로써, 가중치 기반의 비닝 이미지가 생성될 수 있다.
또한, 수직 방향 비닝 과정을 수행한 후 보정을 통해 선형성을 확보함으로서, 다이나믹 레인지를 3배 이상 확장시킬 수 있다.
상술한 바와 같은 이미지 센서를 이용하여 가중치 기반의 비닝 이미지와 일반적인 비닝 방법을 통해 생성된 비닝 이미지간의 차이점에 대해 도 8a 내지 도 8c를 참조하여 설명한다.
도 8a는 종래의 비닝 방법을 수행한 후 이미지이며, 도 8b는 비닝 후 샘플링 보정 방법을 수행하고, 디모자이킹 과정을 수행한 이미지이며, 도 8c는 본 발명의 실시 예에 따른 가중치 기반의 비닝 이미지를 이용한 이미지이다.
도 8a 및 도 8b와 도 8c를 비교해 보면, 도 8c의 가중치 기반 비닝 이미지가 종래의 도 8a 및 도 8b의 영상에 비해 종래의 "jagged edge"와 해상도 면에서 모두 개선되는 것을 알 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
100 : 픽셀부
110 : 가중치 설정부
120 : 보간부
122 : 수직 보간부
124 : 수평 보간부
130 : 이미지 합성부
200 : 노출 시간 제어부
210 : 노출부
220 : 선형 보정부

Claims (20)

  1. 피사체의 광학적 신호를 전기적인 신호로 변환하여 베이어 패턴을 출력하는 픽셀부와,
    상기 베이어 패턴의 각 로우(row) 영역에 설정된 가중치 정보를 기반으로 상기 베이어 패턴의 수직 방향 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지를 생성하는 수직 보간부와,
    상기 베이어 패턴의 각 콜럼(column) 영역에 설정된 가중치 정보를 기반으로 상기 베이어 패턴의 수평 방향의 픽셀 값을 합하거나 평균하여 수평 방향 비닝 이미지를 생성하는 수평 보간부와,
    상기 수직 및 수평 방향 비닝 이미지를 합성하여 가중치 기반의 비닝 이미지를 생성하는 이미지 합성부와,
    상기 수직 방향 비닝 이미지의 픽셀 값과 기 설정된 값간의 비교를 통해 상기 수직 방향 비닝 이미지 내 각 픽셀 값을 보정하여 보정된 수평 방향 비닝 이미지를 생성하는 선형 보정부를 포함하고,
    상기 선형 보정부는,
    상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 이상인 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하고, 그렇지 않을 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 유지시키는 것을 특징으로하는
    이미지 센서.
  2. 제 1 항에 있어서,
    상기 픽셀부는 레드 픽셀 및 그린 픽셀이 교대로 배열되는 어느 하나의 라인과, 블루 픽셀 및 그린 픽셀이 교대로 배열되는 다음 라인으로 구성된 베이어 패턴으로 배열되는 것을 특징으로 하는
    이미지 센서.
  3. 제 2 항에 있어서,
    상기 베이어 패턴의 로우 영역 또는 콜럼 영역 각각 대해 가중치를 설정할 수 있는 인터페이스를 제공하며, 상기 인터페이스를 통해 설정된 가중치를 상기 수직 또는 수평 보간부에 제공하는 가중치 설정부를 더 포함하는
    이미지 센서.
  4. 제 3 항에 있어서,
    상기 가중치 설정부는, 상기 로우 영역 또는 콜럼 영역의 어느 하나의 라인과 다음 라인이 1:3 또는 3:1 비율을 갖도록 상기 가중치를 설정하는 것을 특징으로 하는
    이미지 센서.
  5. 각 로우 및 콜럼 영역에 설정된 가중치에 의거하여 상기 각 로우 및 콜럼 영역의 노출 시간을 제어하는 노출 시간 제어부와,
    상기 노출 시간에 따른 베이어 패턴을 출력하는 픽셀부와,
    상기 베이어 패턴에서 수직 방향의 픽셀 값을 합하거나 평균하는 방법으로 수직 방향 비닝 이미지를 생성하는 수직 보간부와,
    상기 베이어 패턴에서 수평 방향의 픽셀 값을 합하거나 평균하는 방법으로 수평 방향 비닝 이미지를 생성하는 수평 보간부와,
    상기 수직 및 수평 비닝 이미지를 합성하여 가중치 기반의 비닝 이미지를 생성하는 이미지 합성부와,
    상기 수직 방향 비닝 이미지의 픽셀 값과 기 설정된 값간의 비교를 통해 상기 수직 방향 비닝 이미지 내 각 픽셀 값을 보정하여 보정된 수평 방향 비닝 이미지를 생성하는 선형 보정부를 포함하고,
    상기 선형 보정부는,
    상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 이상인 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하고, 그렇지 않을 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 유지시키는 것을 특징으로하는
    이미지 센서.
  6. 제 5 항에 있어서,
    상기 픽셀부는, 레드 픽셀 및 그린 픽셀이 교대로 배열되는 어느 하나의 라인과, 블루 픽셀 및 그린 픽셀이 교대로 배열되는 다음 라인으로 구성되는 것을 특징으로 하는
    이미지 센서.
  7. 제 5 항에 있어서,
    상기 노출 시간 제어부에 의해 설정된 노출 시간에 따라 상기 픽셀부 내 각 픽셀을 노출시키는 노출부를 더 포함하는
    이미지 센서.
  8. 삭제
  9. 제 5 항에 있어서,
    상기 기 설정된 값은, 상기 픽셀부의 최대 픽셀 값에 의해 결정되는 것을 특징으로 하는
    이미지 센서.
  10. 삭제
  11. 제 5 항에 있어서,
    상기 각 로우 및 콜럼 영역의 가중치를 설정할 수 있는 인터페이스를 제공하며, 상기 설정된 가중치를 상기 노출 시간 제어부에 제공하는 가중치 설정부를 더 포함하는
    이미지 센서.
  12. 제 11 항에 있어서,
    상기 가중치 설정부는, 상기 로우 영역별 또는 콜럼 영역별에 대한 조도 정보를 기반으로 상기 로우 영역 또는 콜럼 영역별 가중치를 설정하는 것을 특징으로 하는
    이미지 센서.

  13. 제 11 항에 있어서,
    상기 가중치 설정부는, 상기 로우 영역 또는 콜럼 영역의 어느 하나의 라인과 다음 라인이 1:3 또는 3:1 비율을 갖도록 상기 가중치를 설정하는 것을 특징으로 하는
    이미지 센서.
  14. 로우 영역별 또는 콜럼 영역별로 설정된 가중치에 의거하여 상기 로우 영역별 또는 콜럼 영역별 노출 시간을 설정하는 단계와,
    상기 설정된 노출 시간에 따라 픽셀부로부터 노출 시간이 상이한 베이어 패턴을 제공받는 단계와,
    상기 베이어 패턴에서 동일 색상을 갖는 수직 방향의 두 픽셀 값을 합하거나 평균하여 수직 방향 비닝 이미지를 생성하는 단계와,
    상기 베이어 패턴에서 동일한 색상을 갖는 수평 방향의 두 픽셀 값을 합하거나 평균하여 수평 방향 비닝 이미지를 생성하는 단계와,
    상기 수직 및 수평 방향 비닝 이미지를 이용하여 가중치 기반의 비닝 이미지를 생성하는 단계와,
    상기 수직 방향 비닝 이미지의 픽셀 값과 기 설정된 값간의 비교를 통해 상기 수직 방향
    비닝 이미지 내 각 픽셀 값을 보정하는 단계를 포함하고,
    상기 보정하는 단계는,
    상기 수직 방향 비닝 이미지의 픽셀 값과 상기 기 설정된 값과 비교하는 단계와,
    상기 비교 결과, 상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 이상인 경우 상기 수직 비닝 이미지의 픽셀 값을 상기 픽셀부의 최대 픽셀 값을 이용하여 보정하는 단계와,
    상기 비교 결과, 상기 수직 방향 비닝 이미지의 픽셀 값이 상기 기 설정된 값 미만인 경우 상기 수직 방향 비닝 이미지의 픽셀 값을 유지시키는 단계를 통해 상기 수직 방향 비닝 이미지의 픽셀 값들을 보정하는 것을 특징으로 하는
    이미지 센서의 비닝 이미지 생성 방법.
  15. 제 14 항에 있어서,
    상기 로우 영역별 또는 콜럼 영역별 가중치를 설정하는 단계를 더 포함하는
    이미지 센서의 비닝 이미지 생성 방법.
  16. 제 15 항에 있어서,
    상기 가중치를 설정하는 단계는, 상기 로우 영역 또는 콜럼 영역의 어느 하나의 라인과 동일한 색상을 갖는 다음 라인이 1:3 또는 3:1 비율의 갖도록 가중치를 설정하는 것을 특징으로 하는
    이미지 센서의 비닝 이미지 생성 방법.
  17. 제 15 항에 있어서,
    상기 가중치를 설정하는 단계는, 상기 픽셀부의 로우 및 콜럼 영역에 대한 조도 정보를 추출하는 단계와,
    상기 추출된 조도 정보를 기반으로 상기 로우 영역별 또는 콜럼 영역별 상기 가중치를 설정하는 단계를 포함하는 것을 특징으로 하는
    이미지 센서의 비닝 이미지 생성 방법.
  18. 제 14 항에 있어서,
    상기 가중치 기반의 비닝 이미지를 생성하는 단계는, 상기 보정을 통해 생성된 수직 방향 비닝 이미지와 상기 수평 방향 비닝 이미지를 이용하여 생성하는 것을 특징으로 하는
    이미지 센서의 비닝 이미지 생성 방법.
  19. 삭제
  20. 제 14 항에 있어서,
    상기 픽셀부의 최대 픽셀 값을 이용하여 보정하는 단계는,
    수학식((PWB_org - M) * 4, M은 픽셀부의 최대 픽셀 값, PWB_org는 수직 방향 비닝에 합해진 픽셀 값)에 의거하여 상기 수직 비닝 이미지의 픽셀 값을 보정하는 것을 특징으로 하는
    이미지 센서의 비닝 이미지 생성 방법.
KR20130012259A 2013-02-04 2013-02-04 이미지 센서와 이를 이용한 비닝 이미지 생성 방법 KR101488074B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130012259A KR101488074B1 (ko) 2013-02-04 2013-02-04 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
US13/827,875 US9137452B2 (en) 2013-02-04 2013-03-14 Image sensor and method of generating binning image using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130012259A KR101488074B1 (ko) 2013-02-04 2013-02-04 이미지 센서와 이를 이용한 비닝 이미지 생성 방법

Publications (2)

Publication Number Publication Date
KR20140099625A KR20140099625A (ko) 2014-08-13
KR101488074B1 true KR101488074B1 (ko) 2015-01-29

Family

ID=51258935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130012259A KR101488074B1 (ko) 2013-02-04 2013-02-04 이미지 센서와 이를 이용한 비닝 이미지 생성 방법

Country Status (2)

Country Link
US (1) US9137452B2 (ko)
KR (1) KR101488074B1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9711553B2 (en) 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
JP2015216454A (ja) * 2014-05-08 2015-12-03 株式会社ソシオネクスト 画像処理装置及び画像処理方法
KR101585978B1 (ko) * 2014-07-29 2016-01-15 주식회사 동부하이텍 이미지 센서
US10109037B1 (en) * 2015-06-02 2018-10-23 Marvell International Ltd. Systems and methods for Bayer image scaling based on edge detection
KR20170089535A (ko) * 2016-01-27 2017-08-04 주식회사 동부하이텍 이미지 센서
CN109314749B (zh) * 2016-06-28 2022-04-05 索尼公司 成像设备、成像方法和程序
US10306191B2 (en) * 2016-11-29 2019-05-28 Cista System Corp. System and method for high dynamic range image sensing
US10638054B2 (en) * 2017-01-25 2020-04-28 Cista System Corp. System and method for visible and infrared high dynamic range sensing
US11010877B2 (en) * 2017-01-27 2021-05-18 Canon U.S.A., Inc. Apparatus, system and method for dynamic in-line spectrum compensation of an image
JP7063199B2 (ja) * 2018-08-31 2022-05-09 コニカミノルタ株式会社 放射線画像撮影システム
WO2020111369A1 (ko) * 2018-11-30 2020-06-04 엘지전자 주식회사 이미지 센서 및 그 제어 방법
KR102648747B1 (ko) * 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
US11544873B2 (en) * 2019-03-05 2023-01-03 Artilux, Inc. High resolution 3D image processing apparatus and method thereof
WO2020196934A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 이미지 센서 및 그 제어 방법
JP7261642B2 (ja) * 2019-03-29 2023-04-20 株式会社ソニー・インタラクティブエンタテインメント 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ
EP3869793B1 (en) * 2020-02-19 2022-10-12 Sick IVP AB Method for reducing effects of laser speckles
US11350045B2 (en) 2020-03-10 2022-05-31 Samsung Electronics Co., Ltd. Image sensing apparatus and image binning method thereof
KR20210135380A (ko) 2020-05-04 2021-11-15 삼성전자주식회사 이미지 센서
KR20220000761A (ko) 2020-06-26 2022-01-04 삼성전자주식회사 이미지 센서 및 이미지 센서의 비닝 방법
KR20220053320A (ko) 2020-10-22 2022-04-29 삼성전자주식회사 이미지 센서 및 이의 동작 방법
RU2757667C1 (ru) * 2020-12-02 2021-10-20 Федеральное государственное унитарное предприятие «Государственный научно-исследовательский институт авиационных систем» (ФГУП «ГосНИИАС») Способ повышения чувствительности и частоты кадров видеокамер
US11778337B2 (en) 2021-11-09 2023-10-03 Samsung Electronics Co., Ltd. Image sensor and method for sensing image
US11678067B1 (en) * 2022-02-17 2023-06-13 Omnivision Technologies, Inc. System and method for maintaining pixel intensity when rounding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070099238A (ko) * 2006-04-04 2007-10-09 엠텍비젼 주식회사 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서
KR20090035204A (ko) * 2007-10-05 2009-04-09 삼성전자주식회사 고체 촬상 장치, 고체 촬상 장치의 픽셀 배열 방법 및 고체촬상 장치의 신호 처리 방법
KR20100086987A (ko) * 2007-10-26 2010-08-02 옴니비전 테크놀러지즈 인코포레이티드 색상 보간을 위한 감소된 라인 메모리를 갖는 높은 동적 범위의 이미지 센서

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3392564B2 (ja) * 1995-02-27 2003-03-31 三洋電機株式会社 単板式カラービデオカメラ
US6611287B1 (en) * 1997-11-28 2003-08-26 Sony Corporation Camera signal processing apparatus and camera signal processing method
JP2008187615A (ja) * 2007-01-31 2008-08-14 Canon Inc 撮像素子、撮像装置、制御方法、及びプログラム
JP4946581B2 (ja) * 2007-04-05 2012-06-06 ソニー株式会社 画像処理装置
JP5574615B2 (ja) * 2009-04-20 2014-08-20 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
US8780238B2 (en) * 2011-01-28 2014-07-15 Aptina Imaging Corporation Systems and methods for binning pixels
JP2012175600A (ja) * 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2012253624A (ja) * 2011-06-03 2012-12-20 Sony Corp 固体撮像装置およびカメラシステム
JP5634331B2 (ja) * 2011-06-07 2014-12-03 株式会社東芝 画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070099238A (ko) * 2006-04-04 2007-10-09 엠텍비젼 주식회사 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서
KR20090035204A (ko) * 2007-10-05 2009-04-09 삼성전자주식회사 고체 촬상 장치, 고체 촬상 장치의 픽셀 배열 방법 및 고체촬상 장치의 신호 처리 방법
KR20100086987A (ko) * 2007-10-26 2010-08-02 옴니비전 테크놀러지즈 인코포레이티드 색상 보간을 위한 감소된 라인 메모리를 갖는 높은 동적 범위의 이미지 센서

Also Published As

Publication number Publication date
US20140218567A1 (en) 2014-08-07
US9137452B2 (en) 2015-09-15
KR20140099625A (ko) 2014-08-13

Similar Documents

Publication Publication Date Title
KR101488074B1 (ko) 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
JP5935876B2 (ja) 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
JP6584131B2 (ja) 撮像装置、撮像システム、および信号処理方法
EP3093819B1 (en) Imaging apparatus, imaging system, and signal processing method
US7668391B2 (en) Image signal processor and image signal processing method
JP4985584B2 (ja) 撮像装置及び映像信号処理方法
RU2519829C2 (ru) Устройство обработки изображений
US7970231B2 (en) Image processing method
US20110234864A1 (en) Imaging device
JP2005136766A (ja) 画像処理装置および画像処理方法
JP2009005232A (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
KR20190100792A (ko) 이미지 센싱 장치
KR100731812B1 (ko) 색상 편차 보정 장치 및 그 보정 방법, 이를 이용한 이미지프로세서, 기록 매체
US9270954B2 (en) Imaging device
JP4635769B2 (ja) 画像処理装置、画像処理方法および撮像装置
US8896731B2 (en) Image processing apparatus, image processing method, and camera module
JP2009100150A (ja) 画像処理装置及び画像処理方法、画像処理プログラム
KR100810155B1 (ko) 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서
JP2013207427A (ja) 撮像装置および撮像方法
JP2009033699A (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP4478981B2 (ja) 色雑音低減手法およびカラー撮像装置
JP4197821B2 (ja) 画像処理装置
KR101204921B1 (ko) 이미지 처리장치 및 그를 이용한 데이터 처리 방법
JP4253095B2 (ja) 画像データ・フィルタリング装置および方法
JP2009017583A (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181221

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 6