KR100810155B1 - 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서 - Google Patents

다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서 Download PDF

Info

Publication number
KR100810155B1
KR100810155B1 KR1020060030388A KR20060030388A KR100810155B1 KR 100810155 B1 KR100810155 B1 KR 100810155B1 KR 1020060030388 A KR1020060030388 A KR 1020060030388A KR 20060030388 A KR20060030388 A KR 20060030388A KR 100810155 B1 KR100810155 B1 KR 100810155B1
Authority
KR
South Korea
Prior art keywords
pixel
image
bayer
component
pattern data
Prior art date
Application number
KR1020060030388A
Other languages
English (en)
Other versions
KR20070099238A (ko
Inventor
전정범
남승준
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020060030388A priority Critical patent/KR100810155B1/ko
Publication of KR20070099238A publication Critical patent/KR20070099238A/ko
Application granted granted Critical
Publication of KR100810155B1 publication Critical patent/KR100810155B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 노출 시간이 상이한 두 이미지를 합성하여 다이내믹 레인지를 넓힌 후 베이어 이미지를 출력할 수 있는 이미지 센서에 관한 것이다. 본 발명의 바람직한 일 실시예에 따르면, 렌즈를 통해 입력되는 피사체의 광학적 신호를 전기적인 신호로 변환하여 베이어 패턴 데이터를 출력하는 픽셀부; 상기 픽셀부로부터 고노출 베이어 패턴 데이터를 입력받아 제1 RGB 이미지로 변환하는 고노출 보간부; 상기 픽셀부로부터 저노출 베이어 패턴 데이터를 입력받아 제2 RGB 이미지로 변환하는 저노출 보간부; 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 합성하는 이미지 합성부; 및 상기 합성된 이미지를 미리 정해진 베이어 형식에 상응하는 베이어 데이터로 변환하여 출력하는 RGB-베이어 변환부를 포함하는 이미지 센서가 제공될 수 있다. 따라서, 본 발명에 의해, 다이내믹 레인지를 넓힌 후 베이어 이미지를 출력할 수 있다.
WDR, wide dynamic range, 이미지 센서

Description

다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는 이미지 센서{Image sensor for expanding wide dynamic range and output Bayer-pattern image}
도 1 및 도 2는 각각 빛에 대한 노출이 상이한 RGB 이미지.
도 3은 도 1 및 도 2의 RGB 이미지를 WDR을 적용한 이미지.
도 4는 본 발명의 바람직한 일 실시예에 따른 이미지 센서의 블록도.
도 5는 본 발명의 바람직한 일 실시예에 따른 이미지 센서의 CFA를 통해 출력되는 베이어 이미지의 색상 정보를 예시한 도면.
도 6은 본 발명의 바람직한 일 실시예에 따른 이미지 센서의 칼라 보간부를 통해 RGB 이미지에 상응하여 보간된 색상 정보를 예시한 도면.
도 7은 본 발명의 바람직한 일 실시예에 따른 이미지 센서에 미리 설정된 베이어 형식을 예시한 도면.
도 8은 본 발명의 바람직한 일 실시예에 따른 WDR에서의 이미지 데이터 합성 연산 수행을 위해 필요한 컬러 게인 곡선을 예시한 도면.
도 9는 본 발명의 바람직한 일 실시예에 따른 이미지 센서에서 WDR을 수행한 후 베이어 이미지 데이터를 출력하는 방법을 나타낸 순서도.
도 10은 노출 시간이 상이한 RGB 형식의 두 이미지를 합성한 RGB 이미지.
도 11은 도 10과 같이 합성된 RGB 이미지를 베이어 형식으로 변환한 이미지.
<도면의 주요 부분에 대한 부호의 설명>
410 : 픽셀부
422 : 고노출 보간부
425 : 저노출 보간부
430 : 이미지 합성부
440 : RGB-베이어 변환부
본 발명은 이미지 센서에 관한 것으로, 특히 노출 시간이 상이한 두 이미지를 합성하여 다이내믹 레인지를 넓힌 후 베이어 이미지를 출력할 수 있는 이미지 센서에 관한 것이다.
최근 이미지 센서를 구비한 휴대용 장치(예를 들어, 디지털 카메라, 이동 통신 단말기 등)가 개발되어 판매되고 있다. 이미지 센서는 픽셀(pixel)들 또는 포토사이트(Photosite)들로 불리는 작은 감광 다이오드들의 어레이로서 구성된다. 픽셀들 자체는 보통 광으로부터 컬러를 추출하지 않으며, 넓은 스펙트럼 밴드로부터의 광자들을 전자들로 변환한다. 따라서, 단일 센서를 가지고 컬러 이미지들을 기록하기 위해서 센서는 상이한 픽셀들이 상이한 컬러 조명을 수신하도록 필터링된다. 이러한 타입의 센서는 컬러 필터 어레이 또는 CFA(Color Filter Array)로 알려져 있으며, 각각의 상이한 칼라 필터들이 센서를 가로질러 미리 정의된 패턴으로 배열된다.
이미지 센서의 품질을 나타내는 데 있어, 중요한 판단 기준이 되는 것 중에 하나가 다이내믹 레인지(Dynamic Range)이다. 다이내믹 레인지는 일반적으로 입력 신호를 왜곡하지 않으면서 신호를 처리할 수 있는 최대 범위를 나타낸다. 이미지 센서의 경우에는 다이내믹 레인지가 넓을수록 넓은 범위의 명도 변화에 관계없이 좋은 이미지를 얻을 수 있다. 그러나 기존의 컬러 이미지 센서는 다이내믹 레인지가 좁아서 레드(Red), 그린(Green) 및 블루(Blue) 중 어느 하나 이상의 컬러가 포화상태인 경우 이미지 원래의 색을 잘 표현하지 못하는 단점이 있다. 이러한 다이내믹 레인지가 좁은 단점을 극복하기 위하여 노출 시간이 다른 이미지를 합성하는 방법이 시도되고 있다. 즉, 도 1 내지 도 2와 같이 노출 시간이 다른 각각 상이한 이미지를 도 3과 같이 합성하는 방법이 시도되고 있다. 그러나, 이와 같은 이미지 센서는 RGB 이미지 데이터를 출력함으로 인해 베이어 형식의 이미지 데이터를 입력받는 기존의 영상 처리 소자들과의 인터페이스가 맞지 않는 문제점이 발생하였다.
따라서, 상술한 문제점을 해결하기 위한 본 발명의 목적은 노출 시간이 다른 두 이미지를 합성하여 다이내믹 레인지를 넓힌 후 베이어 형식의 이미지를 출력할 수 있는 이미지 센서를 제공하는 것이다.
이외의 본 발명의 목적들은 하기의 실시예에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면, 동일한 피사체에 노출 시간을 달리하여 획득한 두 이미지 신호를 합성하여 다이내믹 레인지를 넓힌 후 베이어 이미지로 출력할 수 있는 이미지 센서가 제공된다.
본 발명의 바람직한 일 실시예에 따르면, 렌즈를 통해 입력되는 피사체의 광학적 신호를 전기적인 신호로 변환하여 베이어 패턴 데이터를 출력하는 픽셀부; 상기 픽셀부로부터 고노출 베이어 패턴 데이터를 입력받아 제1 RGB 이미지로 변환하는 고노출 보간부; 상기 픽셀부로부터 저노출 베이어 패턴 데이터를 입력받아 제2 RGB 이미지로 변환하는 저노출 보간부; 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 합성하는 이미지 합성부; 및 상기 합성된 이미지를 미리 정해진 베이어 형식에 상응하는 베이어 데이터로 변환하여 출력하는 RGB-베이어 변환부를 포함하는 이미지 센서가 제공될 수 있다.
상기 픽셀부는 소정의 시간동안 광원에 노출되어 생성된 두 종류의 베이어 패턴 데이터를 출력할 수 있다.
상기 RGB-베이어 변환부는 상기 합성된 이미지의 변환 대상 픽셀이 R 픽셀이면 G성분 및 B 성분을 제거하며, 상기 변환 대상 픽셀이 G 픽셀이면 R 성분 및 B 성분을 제거하고 상기 변환 대상 픽셀이 B 픽셀이면 R 성분 및 G 성분을 제거할 수 있다.
상기 저노출 보간부 및 고노출 보간부는 G 픽셀의 R 성분을 하기 수학식을 이용하여 산출할 수 있다.
Figure 112006023477687-pat00001
, 여기서, Kr1, Kr2는 상기 G 픽셀에 인접한 R 픽셀에 인접한 4개의 G 픽셀들의 평균값을 산출한 후 상기 R 픽셀의 값을 감산하여 산출된 값일 수 있다.
상기 저노출 보간부 및 상기 고노출 보간부는 상기 G 픽셀의 B 성분을 하기 수학식을 이용하여 산출할 수 있다.
Figure 112006023477687-pat00002
, 여기서, Kr1, Kr2는 상기 G 픽셀에 인접한 B 픽셀에 인접한 4개의 G 픽셀들의 평균값을 산출한 후 상기 B 픽셀의 값을 감산하여 산출된 값일 수 있다.
상기 저노출 보간부 및 상기 고노출 보간부는 상기 B 픽셀의 G 성분을 하기 수학식을 이용하여 산출할 수 있다.
Figure 112006023477687-pat00003
여기서, B2는 보간 대상 픽셀이며, B1, B3는 B2 픽셀에 가로축으로 인접한 픽셀이고, B1', B3'는 B2 픽셀에 세로축으로 인접한 픽셀이며, B2 픽셀에 인접한 G 픽셀일 수 있다.
상기 저노출 보간부 및 상기 고노출 보간부는 상기 B 픽셀의 상기 R 성분을 하기 수학식을 이용하여 산출할 수 있다.
Figure 112006023477687-pat00004
, 여기서, G는 상기 B 픽셀에 상응하여 산출된 G 성분이며, R1, R2, R3, R4는 상기 B 픽셀에 인접한 4개의 R 픽셀들이고, g1, g2, g3, g4는 상기 B픽셀에 인접한 4개의 R 픽셀에 인접한 4개의 G 픽셀들의 평균값일 수 있다.
이미지 합성부는 하기 수학식을 이용하여 보간 대상 픽셀을 합성할 수 있다.
Figure 112006023477687-pat00005
여기서, M은 보간 대상 픽셀의 색상 성분 중 최소값이며, r, g, b는 고노출 보간부로부터 입력된 이미지 데이터의 픽셀의 색상 성분값이고,
Figure 112006023477687-pat00006
,
Figure 112006023477687-pat00007
,
Figure 112006023477687-pat00008
는 칼라 게인 곡선에 의해 산출된 칼라 게인값이며, S는 '0' 초과 '1' 미만의 임의의 실수값일 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
또한, 이하에서는 첨부 도면을 참조하여 설명함에 있어서 동일하거나 대응하는 구성요소는 도면 부호에 상관없이 동일한 참조번호를 부여하여 설명하기로 한다.
도 4는 본 발명의 바람직한 일 실시예에 따른 이미지 센서의 블록도이며, 도 5는 본 발명의 바람직한 일 실시예에 따른 이미지 센서의 CFA를 통해 출력되는 베이어 이미지의 색상 정보를 예시한 도면이고, 도 6은 본 발명의 바람직한 일 실시예에 따른 이미지 센서의 칼라 보간부를 통해 RGB 이미지에 상응하여 보간된 색상 정보를 예시한 도면이며, 도 7은 본 발명의 바람직한 일 실시예에 따른 이미지 센서에 미리 설정된 베이어 형식을 예시한 도면이고, 도 8은 본 발명의 바람직한 일 실시예에 따른 WDR에서의 이미지 데이터 합성 연산 수행을 위해 필요한 컬러 게인 곡선을 예시한 도면이다.
도 4를 참조하면, 본 발명의 바람직한 일 실시예에 따른 이미지 센서(400)는 픽셀부(410), 고노출 보간부(422), 저노출 보간부(425), 이미지 합성부(430) 및 RGB-베이어 변환부(440)를 포함하여 구성된다.
픽셀부(410)(color filter array)는 렌즈를 통해 입력되는 광학적 피사체의 신호를 전기적인 신호로 변환하여 출력하는 기능을 수행한다. 즉, 픽셀부(410)는 동일한 피사체에 노출 시간을 달리하여 획득한 두 이미지 신호를 칼라 보간부(420)로 전달하는 기능을 수행한다. 픽셀부(410)는 해상도면에서 유리한 베이어(Bayer) 패턴을 사용하며, 각 픽셀마다 하나의 색 정보를 가지는 이미지 데이터가 출력된다. 예를 들어, R 패턴에 해당하는 픽셀에서는 R 성분만을 가지는 이미지 데이터가 출력되고, G 패턴에 해당하는 픽셀에서는 G 성분만을 가지는 이미지 데이터가 출력되며, B 패턴에 해당하는 픽셀에서는 B 성분만을 가지는 이미지 데이터가 출력될 수 있다. 베이어 패턴에 상응하여 각각 하나의 색상 성분만을 가지는 이미지 데이터가 출력된 예가 도 5에 예시되어 있다. 물론, 픽셀부(410)에 의해 출력되는 아날로그 이미지 데이터를 디지털 이미지 데이터로 변환하여 출력하는 A/D 변환부(미도시)가 픽셀부(410)에 연결된다. 즉, A/D 변환부는 픽셀부(410)를 통해 출력된 아날로그 베이어 이미지 데이터를 디지털 베이어 이미지 데이터로 변환하여 고노출 보간부(422) 및 저노출 보간부(425)로 전달한다.
예를 들어, 픽셀부(410)는 다수의 픽셀부가 배열되어 있으며, 각각의 픽셀부는 하나의 포토 다이오드(photo diode)와 포토 다이오드에 모인 전하를 읽기 위한 MOS 트랜지스터로 이루어진다. 이와 같은 픽셀부(410)는 저장부를 별도로 구비하지 않으므로 연속적으로 이미지를 읽어내기 위해서 컬럼별로 빛에 노출을 시키고 즉시 읽어내는 방법을 사용한다.
칼라 보간부(420)는 고노출 보간부(422) 및 저노출 보간부(425)를 포함하며, 픽셀부(410)로부터 노출 시간을 달리하여 획득된 상이한 두 베이어 패턴 데이터를 입력받아 미리 정해진 방법에 의해 RGB 이미지로 변환하여 이미지 합성부(430)로 출력한다.
여기서, 칼라 보간부(420)는 바이리니어 인터폴레이션(bilinear interpolation), 근접픽셀 인터폴레이션(nearest interpolation), 효과적인 인터폴레이션(effective interpolation) 등과 같은 인터폴레이션 방법에 의해 각각의 픽셀에 필요한 색상 정보를 보간할 수 있다. 본 명세서에서는 칼라 보간부(420)가 효과적인 인터폴레이션 방법을 사용하여 각각의 픽셀에 없는 색상 정보를 보간하는 것을 중점으로 설명하기로 한다.
예를 들어, 픽셀부(410)에서 출력되는 베이어 이미지 데이터를 출력하기 위해 사용하는 베이어 패턴이 도 7과 같다고 가정하자. 이때, 픽셀부(410)는 도 5와 같은 베이어 이미지 데이터를 생성하여 고노출 보간부(422) 또는 저노출 보간부(425)로 전달할 수 있다. 이하, 고노출 보간부(422) 및 저노출 보간부(425)에서 베이어 패턴 데이터를 RGB 이미지로 변환하는 방법은 동일하므로 고노출 보간부(422)를 중점으로 RGB 이미지로 변환하는 설명하기로 한다.
우선, G 성분만을 가진 픽셀을 중점으로 R 성분 및 B 성분을 산출하는 방법에 대해 간략히 설명하기로 한다. 설명의 편의를 위해, 도 7에서 중심 픽셀(즉, (3,3) 픽셀)(533)의 R 성분 및 B 성분을 보간하는 방법을 우선 간략히 설명하기로 한다. (3,3) 픽셀을 중점으로 (2,3) 픽셀(523)을 "R1 픽셀"이라 정의하며, (3,2) 픽셀(532)을 "B1 픽셀"이라 정의하고, (4,3) 픽셀(543)을 "R2 픽셀"이라 정의하고, (3,4) 픽셀을 "B2 픽셀"이라 정의하자. 그리고, R1 픽셀을 기준으로 4개의 인접한 G 성분들의 평균값을 g1, B1 픽셀을 기준으로 4개의 인접한 G 성분들의 평균값을 g2, R2 픽셀을 기준으로 4개의 인접한 G 성분들의 평균값을 g3, B2 픽셀들을 기준으로 4개의 인접한 G 성분들의 평균값을 g4라고 정의하자.
본 명세서에서 R1, B2, R3, B4와 같이 근접한 G 성분들의 평균값을 구하는데 사용되는 픽셀들을 "기준 픽셀"이라 정의하기로 하자.
이와 같이, 기준 픽셀들을 중점으로 산출된 G 성분들의 픽셀값에서 기준 픽셀의 성분값을 감산하여 새로운 변수를 정의한다. 예를 들어, g1에서 R1 픽셀에 상응하는 픽셀값을 감산하여 Kr1이라 정의하고, g2 에서 B2 픽셀에 상응하는 픽셀값을 감산하여 Kb2이라 정의하며, g3에서 R3 픽셀에 상응하는 픽셀값을 감산하여 Kr3라 정의하고, g4에서 B4 픽셀에 상응하는 픽셀값을 감산하여 Kb4라 정의하자.
이와 같은 상태에서, (3,3) 픽셀의 R 성분은 예를 들어, 하기 수학식1을 이용하여 산출될 수 있으며, (3,3) 픽셀의 B 성분은 예를 들어, 하기 수학식 2를 이용하여 산출될 수 있다.
Figure 112006023477687-pat00009
Figure 112006023477687-pat00010
이와 같은 방식으로 모든 G 성분만을 가진 픽셀들의 R 성분 및 B 성분을 산출할 수가 있다.
이하에서는 B 성분만을 가진 픽셀을 "B 픽셀"이라 칭하며, R 성분만을 가진 픽셀을 R 픽셀이라 칭하고, G 성분만을 가진 픽셀을 G 픽셀이라 칭하기로 하자.
다음으로, B 픽셀 또는 R 픽셀의 R 성분 및 G 성분 또는 B 성분 및 G 성분을 산출하는 방법을 설명하기로 한다.
(3,4) 픽셀의 R 성분 및 G 성분 산출하는 방법을 우선 설명하기로 하자. (3,4) 픽셀의 G 성분을 산출하기 위해, 우선 (3,4) 픽셀에 인접한 가로 및 세로 축으로의 B 성분들의 델타(delta)값을 산출한다. 예를 들어, (3,4) 픽셀을 중점으로 가로축 B 성분의 델타는 (3,4) 픽셀값에서 (3,2) 및 (3,6)의 픽셀의 평균값을 감산한 후 1/2하여 B 성분의 한 픽셀당 델타를 산출할 수 있다. 이와 같은 식으로 세로축으로도 B 성분의 한 픽셀당 델타를 산출한다. 각각의 가로축 및 세로축의로의 B 성분의 한 픽셀당 델타의 평균값을 편의상 "X"라 정의하기로 한다. 이와 같은 상태에서, (3,4) 픽셀에 인접한 4개의 G 픽셀들의 평균값을 산출하여 X에 더하면 (3,4) 픽셀의 G 성분을 산출할 수 있다.
예를 들어, 고노출 보간부(422)는 수학식 3을 이용하여 B 픽셀의 G 성분을 산출할 수 있다.
Figure 112006023477687-pat00011
여기서, B2는 (3,4) 픽셀값이며, B1, B3는 B2 픽셀에 상응하여 가로축으로 인접한 B 픽셀에 상응하는 픽셀값이며, B1', B3'는 B2 픽셀에 상응하여 세로축으로 인접한 B 픽셀에 상응하는 픽셀값이고, G1, G2, G3, G4는 B2 픽셀에 인접한 G 픽셀에 상응하는 픽셀값이다.
(3,4) 픽셀의 R 성분을 산출하는 방법은 다음과 같다. (3,4) 픽셀에 인접한 R 픽셀들을 설명의 편의를 위해, R1, R2, R3, R4라고 정의하자. R1, R2, R3, R4를 기준으로 인접한 4개의 G 성분들의 평균값을 산출하여, g1, g2, g3, g4라고 정의하자. 이는 G 픽셀의 R성분 및 B 성분을 산출하는 방법에서 설명한 것과 유사하므로 상세한 설명은 생략하기로 한다.
이와 같이, (3,4) 픽셀의 G 성분값에서 g1, g2, g3, g4를 산출한 평균값에서 각각의 기준 픽셀 값을 감한 평균값을 산출한 값을 감하여 R 성분을 산출할 수 있다. 예를 들어, 고노출 보간부(422)는 하기 수학식 4를 이용하여 B 픽셀의 R 성분을 산출할 수 있다.
Figure 112006023477687-pat00012
R 픽셀의 B 성분 및 G 성분을 산출하는 방법은 B 픽셀의 R 성분 및 G 성분을 산출하는 방법과 동일하다. 따라서 이에 대한 중복되는 설명은 생략하기로 한다.
고노출 보간부(422)는 상술한 바와 같은 방법으로 픽셀부(410)로부터 입력된 베이어 데이터를 각각의 픽셀에 상응하는 색상 정보를 보간하여 이미지 데이터를 생성하여 이미지 합성부(430)로 전달할 수 있다.
본 명세서에서는 고노출 보간부(422) 및 저노출 보간부(425)는 각각 상이한 이미지를 이용하여 동일한 방법으로 색상 정보를 보간한다. 따라서, 저노출 보간부(425)에 대한 설명은 고노출 보간부(422)와 중복되므로 이에 대한 설명은 생략하기로 한다.
고노출 보간부(422) 및 저노출 보간부(425)는 픽셀부(410)로부터 각각 상이한 베이어 패턴 이미지를 입력받아 동일한 방법에 의해 각각의 픽셀의 색상 정보를 미리 정해진 형식에 상응하는(즉, 정해진 이미지 형식에 상응하는) 색상 정보로 보간하여 이미지 합성부(430)로 출력하는 기능을 수행한다.
이미지 합성부(430)는 고노출 보간부(422) 및 저노출 보간부(425)로부터 입력된 이미지 데이터를 합성하여 RGB-베이어 변환부(440)로 전달하는 기능을 수행한다. 즉, 이미지 합성부(430)는 WDR(wide dynamic range)를 수행하여 각각 상이하게 광원에 노출된 이미지 데이터를 합성할 수 있다.
이하, 본 명세서에서, 고노출 보간부(422)에서 보간된 이미지 데이터를 "제1 이미지 데이터"라 정의하며, 저노출 보간부(425)에서 보간된 이미지 데이터를 "제2 이미지 데이터"라 정의하기로 한다.
예를 들어, 제1 이미지 데이터는 빛에 많이 노출된 고노출 이미지 데이터 일 수 있으며, 제2 이미지 데이터는 고노출 이미지 데이터에 비해 상대적으로 적은 빛에 노출된 저노출 이미지 데이터일 수 있다.
또한, 이미지 합성부(430)에서 합성되어 출력되는 이미지 데이터를 "합성 이미지 데이터"라 정의하기로 한다.
각각의 픽셀의 R 성분, G 성분, B 성분들 중에서 최소값을 M이라고 정의하면, 각각의 픽셀별 컬러 게인은
Figure 112006023477687-pat00013
과 같이 정의될 수 있다. 여기서, 컬러 게인을 S라 정의하면, S는
Figure 112006023477687-pat00014
을 만족하는 임의의 값일 수 있으며 고정된 상수 값이 아닐 수도 있다.
이미지 합성부(430)는 제1 이미지 데이터와 제2 이미지 데이터를 합성하기 위해 예를 들어, 하기 수학식 5를 이용하여 합성할 수 있다.
Figure 112006023477687-pat00015
여기서, R', G', B'는 제1 이미지 데이터와 제2 이미지 데이터의 각각의 색상 정보를 합성하여 생성된 색상 정보이다.
우선, 도 8은 R성분에 관한
Figure 112006023477687-pat00016
성분을 산출하기 위한 곡선이다. 여기서, 이해와 설명의 편의를 위해, 본 명세서에서는 제1 이미지 데이터는 고노출 이미지인것으로 가정하며, 제2 이미지 데이터는 저노출 이미지인것으로 가정하여 설명하기로 한다. 도 8을 참조하면, R1과 R2는 그래프의 영역을 나누기 위한 경계값이며, 제1
Figure 112006023477687-pat00017
과 제2
Figure 112006023477687-pat00018
에서 제1
Figure 112006023477687-pat00019
이 클수도 있으며, 제2
Figure 112006023477687-pat00020
이 클수도 있다. 도 8과 같이, 제1 이미지 데이터의 R 성분과 제2 이미지 데이터의 r성분에 상응하여 제1 이미지 데이터의 색상 정보에 의존하는 제1 영역, 제2 이미지 데이터의 색상 정보에 의존하는 제3 영역, 제1 영역과 제3 영역의 중간 영역인 제2 영역으로 각각의 구간을 분리할 수 있다. 도 8에서 제1 영역을 구분하기 위한 R1의 값이 예를 들어, 250(예를 들어, 제1 이미지 데이터 및 제2 이미지 데이터가 8비트 이미지 데이터라고 가정하면)이며, 제3 영역을 구분하기 위한 R2의 값이 예를 들어, 350이라고 가정하자. 이때, 제1 이미지 데이터의 R성분과 제2 이미지 데이터의 r성분을 합산한 R+r의 값이 250이라고 한다면, 제1 이미지 데이터의 R 성분이 포화(saturation)에 근접하지만 아직 미치지 못하였다는 것을 의미한다. 따라서, 이와 같이 제1 이미지 데이터 및 제2 이미지 데이터의 각각의 성분을 합산한 값이 R1 이하이면, 제1 이미지 데이터의 색상 성분이 신뢰도가 더 높다. 따라서, 이 경우, 제1 이미지 데이터의 색상 성분으로 해당 픽셀의 색상 성분을 결정할 수 있다.
또한, 제1 이미지 데이터 및 제2 이미지 데이터의 각각의 성분을 합산한 값이 R2 이상이면, 제1 이미지 데이터의 색상 성분의 포화(saturation)에 다다랐음을 의미한다. 따라서, 이 경우에는 제2 이미지 데이터의 색상 성분이 신뢰도가 더 높으므로, 제2 이미지 데이터의 색상 성분으로 해당 픽셀의 색상 성분을 결정할 수 있다. 제2 영역은 제1 영역과 제3 영역의 중간 영역으로 미리 정의된(실험적으로 산출된) 함수에 의해 직선 또는 곡선으로 나타낼 수 있다. 도 8에서는 R성분의 컬러 게인을 획득하는 방법만을 설명하였으나, B 성분 및 G 성분도 R성분과 동일한 방법으로 컬러 게인 곡선을 생성하여 컬러 게인을 획득할 수 있다. 이와 같은 방식으로 이미지 합성부(430)는 제1 이미지 데이터 및 제2 이미지 데이터를 합산하여 하나의 이미지 데이터(즉, 합성 이미지 데이터)를 생성하여 RGB-베이어 변환부(440)로 전달할 수 있다.
RGB-베이어 변환부(440)는 이미지 합성부(430)를 통해 입력된 합성 이미지 데이터를 베이어 이미지 데이터로 변환하여 이미지 프로세서부(미도시)로 출력한다. 예를 들어, RGB-베이어 변환부(440)는 RGB 이미지 데이터에서 미리 정해진 베이어 패턴에 상응하여 각각의 픽셀당 두개의 색상 정보를 버림으로써 베이어 이미지 데이터로 변환할 수 있다.
예를 들어, 도 6의 RGB 이미지 데이터를 도 7의 베이어 패턴에 상응하는 베이어 이미지 데이터로 변경한다고 가정하자. RGB-베이어 변환부(440)는 611 픽셀을 G 성분만을 남기고 R 성분 및 B 성분을 버림으로써 G성분만을 가진 픽셀로 생성할 수 있다. 이와 같은 식으로, RGB-베이어 변환부(440)는 도 7의 베이어 형식을 이용 하여 RGB 이미지 데이터의 각각의 픽셀에 하나의 색상 성분의 정보만 남기고 나머지 두개의 색상 성분을 버리는 연산을 수행하여 원하는 베이어 패턴에 상응하는 베이어 이미지 데이터로 변환할 수 있다.
도 9는 본 발명의 바람직한 일 실시예에 따른 이미지 센서에서 WDR을 수행한 후 베이어 이미지 데이터를 출력하는 방법을 나타낸 순서도이며, 도 10은 본 발명의 바람직한 일 실시예에 따른 노출 시간이 상이한 RGB 형식의 두 이미지를 합성한 이미지(RGB 형식)이고, 도 11은 본 발명의 바람직한 일 실시예에 따른 도 10의 합성된 이미지를 베이어 형식으로 변환한 이미지의 예시도이다. 이하에서는 픽셀부(410)에서 광 노출이 상이한 두개의 영상이 소정의 시간차에 의해 생성되어 출력되는 과정 이후부터 설명하기로 한다.
단계 910에서 픽셀부(410)는 피사체에 노출 시간을 달리하여 획득한 두 베이어 패턴 데이터를 고노출 보간부(422) 및 저노출 보간부(425)로 출력한다.
예를 들어, 픽셀부(410)는 렌즈를 통해 입력되는 광학적 피사체의 신호를 전기적인 신호로 변환하여 출력할 수 있다.
단계 915에서 고노출 보간부(422) 또는 저노출 보간부(425)는 픽셀부(410)를 통해 입력된 각각의 상이한 베이어 패턴 데이터를 미리 설정된 방법에 의해 보간하여 제1 이미지 데이터 또는 제2 이미지 데이터로 변환하여 이미지 합성부(430)로 전달한다.
예를 들어, 칼라 보간부(420)는 대상 픽셀을 중심으로 주변 픽셀들의 색상 정보를 이용하여 대상 픽셀의 나머지 색상 정보를 보간할 수 있다. 칼라 보간부(420)에서 대상 픽셀의 각각의 색상 정보를 보간하는 방법은 도 4를 참조하여 칼라 보간부(420)를 설명하면서 상세히 설명하였으므로 중복되는 설명은 생략하기로 한다.
단계 920에서 이미지 합성부(430)는 고노출 보간부(422) 및 저노출 보간부(425)로부터 입력된 제1 이미지 데이터 및 제2 이미지 데이터를 미리 정해진 알고리즘을 이용하여 합성하여 RGB-베이어 변환부(440)로 전달한다.
단계 925에서 RGB-베이어 변환부(440)는 이미지 합성부(430)로부터 입력된 합성 이미지 데이터의 각각의 픽셀의 색상 성분을 미리 정해진 베이어 패턴에 상응하는 색상 성분만 남기고 나머지 색상 성분은 제거하여 베이어 이미지로 변환한다. 즉, RGB-베이어 변환부(440)는 이미지 합성부(430)로부터 RGB 형식으로 입력된 합성 이미지 데이터를 미리 정해진 베이어 패턴에 상응하는 베이어 이미지 데이터로 변환하여 이미지 프로세서부(미도시)로 출력할 수 있다.
도10 내지 도 11에서 보여지는 바와 같이, 육안으로는 그 차이점을 확인할 수 없음을 알 수 있다. 보다 정교한 비교를 위해, MSE(mean square error) 분석을 이용하여 각각의 픽셀의 색상별 비교치를 살펴보면, 두 이미지의 MSE가 '1'정도로 획득되었다. 여기서, MSE는 두 이미지를 가지고 모든 픽셀에 대하여 각 픽셀당의 오차를 절대값화하기 위해 제곱을 하여 모두 더한 것을 픽셀의 개수로 나눈 수치이다. 따라서, 동일한 두 이미지를 이용하여 MSE를 산출하면 "0"이 획득된다. 두 이미지가 상이할 수록 큰 수치의 MSE값이 획득된다.
따라서, 도 10 내지 도 11의 이미지를 비교하여 획득된 MSE가 '1'이므로, 두 이미지는 거의 일치되는 이미지임을 알 수 있다.
상술한 바와 같이, 본 발명에 따른 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는 이미지 센서 및 그 방법을 제공함으로써, 노출 시간이 다른 두 이미지를 합성하여 다이내믹 레인지를 넓힐 수 있으며, 기존의 인터페이스에 상이한 베이어 형식의 이미지 데이터를 출력할 수 있는 효과가 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (8)

  1. 렌즈를 통해 입력되는 피사체의 광학적 신호를 전기적인 신호로 변환하여 베이어 패턴 데이터를 출력하는 픽셀부;
    상기 픽셀부로부터 고노출 베이어 패턴 데이터를 입력받아 제1 RGB 이미지로 변환하는 고노출 보간부;
    상기 픽셀부로부터 저노출 베이어 패턴 데이터를 입력받아 제2 RGB 이미지로 변환하는 저노출 보간부;
    상기 제1 RGB 이미지 및 상기 제2 RGB 이미지를 합성하는 이미지 합성부; 및
    상기 합성된 이미지를 미리 정해진 베이어 형식에 상응하는 베이어 데이터로 변환하여 출력하는 RGB-베이어 변환부를 포함하되,
    상기 픽셀부는 미리 정해진 일정 시간 동안 광원에 노출되어 생성된 두 종류의 베이어 패턴 데이터를 출력하는 것을 특징으로 하는 이미지 센서.
  2. 삭제
  3. 제 1항에 있어서,
    상기 RGB-베이어 변환부는 상기 합성된 이미지의 변환 대상 픽셀이 R 픽셀이 면 G성분 및 B 성분을 제거하며, 상기 변환 대상 픽셀이 G 픽셀이면 R 성분 및 B 성분을 제거하고 상기 변환 대상 픽셀이 B 픽셀이면 R 성분 및 G 성분을 제거하는 것을 특징으로 하는 이미지 센서.
  4. 제 1항에 있어서,
    상기 저노출 보간부 및 상기 고노출 보간부는 G 픽셀의 R 성분을 하기 수학식을 이용하여 산출하는 것을 특징으로 하는 이미지 센서.
    Figure 112007060689718-pat00021
    상기 Kr1은 상기 베이어 패턴 데이터에서 상기 G 픽셀에 인접한 복수의 R 픽셀 중 제1R 픽셀에 인접한 p개의 G 픽셀들의 평균값을 산출한 후 상기 제1R 픽셀의 값을 감산하여 산출된 값이며,
    상기 Kr2는 상기 베이어 패턴 데이터에서 상기 G 픽셀에 인접한 복수의 R 픽셀 중 제2R 픽셀에 인접한 p개의 G 픽셀들의 평균값을 산출한 후 상기 제2R 픽셀의 값을 감사하여 산출된 값이고, 상기 p는 임의의 자연수임.
  5. 제 1항에 있어서,
    상기 저노출 보간부 및 상기 고노출 보간부는 상기 G 픽셀의 B 성분을 하기 수학식을 이용하여 산출하는 것을 특징으로 하는 이미지 센서.
    Figure 112007060689718-pat00022
    여기서, Kb1은 상기 베이어 패턴 데이터에서 상기 G픽셀에 인접한 복수의 B 픽셀 중 제1B 픽셀에 인접한 p개의 G 픽셀들의 평균값을 산출한후 상기 제1B 픽셀의 값을 감산하여 산출된 값이며,
    상기 Kb2는 상기 베이어 패턴 데이터에서 상기 G픽셀에 인접한 복수의 B 픽셀 중 제2B 픽셀에 인접한 p개의 G 픽셀들의 평균값을 산출한후 상기 제2B 픽셀의 값을 감산하여 산출된 값이고, 상기 p는 임의의 자연수임.
  6. 제 1항에 있어서,
    상기 저노출 보간부 및 상기 고노출 보간부는 상기 B 픽셀의 G 성분을 하기 수학식을 이용하여 산출하는 것을 특징으로 하는 이미지 센서.
    Figure 112006023477687-pat00023
    여기서, B2는 보간 대상 픽셀이며, B1, B3는 B2 픽셀에 가로축으로 인접한 픽셀이고, B1', B3'는 B2 픽셀에 세로축으로 인접한 픽셀이며, B2 픽셀에 인접한 G 픽셀임.
  7. 제 6항에 있어서,
    상기 저노출 보간부 및 상기 고노출 보간부는 상기 B 픽셀의 상기 R 성분을 하기 수학식을 이용하여 산출하는 것을 특징으로 하는 이미지 센서.
    Figure 112006023477687-pat00024
    여기서, G는 상기 B 픽셀에 상응하여 산출된 G 성분이며, R1, R2, R3, R4는 상기 B 픽셀에 인접한 4개의 R 픽셀들이고, g1, g2, g3, g4는 상기 B픽셀에 인접한 4개의 R 픽셀에 인접한 4개의 G 픽셀들의 평균값임.
  8. 제 1항에 있어서,
    이미지 합성부는 하기 수학식을 이용하여 보간 대상 픽셀을 합성하는 것을 특징으로 하는 이미지 센서.
    Figure 112006023477687-pat00025
    여기서, M은 보간 대상 픽셀의 색상 성분 중 최소값이며, r, g, b는 고노출 보간부로부터 입력된 이미지 데이터의 픽셀의 색상 성분값이고,
    Figure 112006023477687-pat00026
    ,
    Figure 112006023477687-pat00027
    ,
    Figure 112006023477687-pat00028
    는 칼라 게인 곡선에 의해 산출된 칼라 게인값이며, S는 '0' 초과 '1' 미만의 임의의 실수값임.
KR1020060030388A 2006-04-04 2006-04-04 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서 KR100810155B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060030388A KR100810155B1 (ko) 2006-04-04 2006-04-04 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060030388A KR100810155B1 (ko) 2006-04-04 2006-04-04 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서

Publications (2)

Publication Number Publication Date
KR20070099238A KR20070099238A (ko) 2007-10-09
KR100810155B1 true KR100810155B1 (ko) 2008-03-06

Family

ID=38804722

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060030388A KR100810155B1 (ko) 2006-04-04 2006-04-04 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서

Country Status (1)

Country Link
KR (1) KR100810155B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101604068B1 (ko) 2009-09-22 2016-03-17 삼성전자주식회사 고대비 영상 생성 장치 및 방법
KR101488074B1 (ko) * 2013-02-04 2015-01-29 주식회사 동부하이텍 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
KR102051538B1 (ko) 2013-09-13 2020-01-08 에스케이하이닉스 주식회사 신호 처리 장치 및 그의 동작 방법
KR20230024566A (ko) * 2021-08-12 2023-02-21 삼성전자주식회사 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000188717A (ja) * 1998-12-21 2000-07-04 Sony Corp 撮像方法及び撮像装置、画像処理方法及び画像処理装置
JP2002271686A (ja) 2001-03-12 2002-09-20 Olympus Optical Co Ltd 撮像装置
JP2006086978A (ja) 2004-09-17 2006-03-30 Canon Inc カメラシステム、カメラ本体及び交換レンズ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000188717A (ja) * 1998-12-21 2000-07-04 Sony Corp 撮像方法及び撮像装置、画像処理方法及び画像処理装置
JP2002271686A (ja) 2001-03-12 2002-09-20 Olympus Optical Co Ltd 撮像装置
JP2006086978A (ja) 2004-09-17 2006-03-30 Canon Inc カメラシステム、カメラ本体及び交換レンズ

Also Published As

Publication number Publication date
KR20070099238A (ko) 2007-10-09

Similar Documents

Publication Publication Date Title
JP4351825B2 (ja) カラーのディジタルイメージを収集する方法
US8547472B2 (en) Image pickup device and camera module using the same
TWI644568B (zh) 攝像元件、攝像方法及攝像程式
CN106161890B (zh) 成像装置、成像系统以及信号处理方法
US9288454B2 (en) Color imaging apparatus having color imaging element
JP3946492B2 (ja) 低解像度イメージの生成方法
KR100468169B1 (ko) 위색(僞色)신호발생이억제가능한단판식컬러카메라
JP5075795B2 (ja) 固体撮像装置
US20070159542A1 (en) Color filter array with neutral elements and color image formation
US20080068477A1 (en) Solid-state imaging device
JP2005136766A (ja) 画像処理装置および画像処理方法
US20030063185A1 (en) Three-dimensional imaging with complementary color filter arrays
CN101494795A (zh) 使用绿色光谱范围重叠的单位像素群的图像传感器及方法
KR100810155B1 (ko) 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서
US8077234B2 (en) Image pickup device and method for processing an interpolated color signal
KR100731812B1 (ko) 색상 편차 보정 장치 및 그 보정 방법, 이를 이용한 이미지프로세서, 기록 매체
JP4556102B2 (ja) 画像処理装置および画像処理方法、並びに、プログラム
US6747698B2 (en) Image interpolating device
KR100763656B1 (ko) 이미지 센서 및 이미지 처리 방법
JP4962293B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2010233241A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
US20220150450A1 (en) Image capturing method, camera assembly, and mobile terminal
JP4934991B2 (ja) 撮像信号処理装置及び方法並びに撮像装置
US20130038772A1 (en) Image processing apparatus and image processing method
JP2005117540A (ja) 画像処理装置および画像処理方法、並びに、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20060404

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20070523

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20071203

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20080227

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20080228

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction
PR1001 Payment of annual fee

Payment date: 20110225

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20120224

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20130214

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20130214

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20140214

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20140214

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20150227

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20150227

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20160225

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20160225

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20200220

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20200220

Start annual number: 13

End annual number: 13

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20211209