KR20180050803A - 가시광선 칼라 및 근적외선 영상 촬영용 영상 센서 및 센싱 방법 - Google Patents

가시광선 칼라 및 근적외선 영상 촬영용 영상 센서 및 센싱 방법 Download PDF

Info

Publication number
KR20180050803A
KR20180050803A KR1020160147278A KR20160147278A KR20180050803A KR 20180050803 A KR20180050803 A KR 20180050803A KR 1020160147278 A KR1020160147278 A KR 1020160147278A KR 20160147278 A KR20160147278 A KR 20160147278A KR 20180050803 A KR20180050803 A KR 20180050803A
Authority
KR
South Korea
Prior art keywords
pixel
image
color
light
infrared
Prior art date
Application number
KR1020160147278A
Other languages
English (en)
Other versions
KR101921995B1 (ko
Inventor
이재웅
이희성
이봉주
최종범
신정순
조준희
Original Assignee
(주) 지안
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 지안 filed Critical (주) 지안
Priority to KR1020160147278A priority Critical patent/KR101921995B1/ko
Publication of KR20180050803A publication Critical patent/KR20180050803A/ko
Application granted granted Critical
Publication of KR101921995B1 publication Critical patent/KR101921995B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N5/3535—
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H04N5/378—
    • H04N9/045—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명의 가시광선 칼라 영상 및 근적외선 영상 촬영용 영상 센서는, 가시광선의 제1 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제1 픽셀; 가시광선의 제2 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제2 픽셀; 가시광선의 전체 파장 영역의 빛을 감지하고 근적외선 빛에는 반응하지 않는 제3 픽셀; 가시광선의 전체 파장 영역의 빛 및 근적외선 빛을 감지하는 제4 픽셀; 조명 환경에 따라 상기 제1 내지 제4 픽셀을 2개 이상의 그룹으로 구분하는 적응적 픽셀 그룹화 조정부; 상기 구분된 그룹들에 대하여 각 그룹마다 노출시간을 서로 다르게 조정하는 다중 노출 조정부; 및 상기 다중 노출 조정부가 출력하는 상기 각 그룹의 노출시간을 조정하는 신호를 상기 각 그룹에 속하는 픽셀들에게 전달하는 픽셀 그룹 연결 소자를 포함할 수 있다.

Description

가시광선 칼라 및 근적외선 영상 촬영용 영상 센서 및 센싱 방법{image sensor for visible color and near infrared imaging and sensing method}
본 발명은 가시광선 칼라 영상과 근적외선 영상을 동시에 또는 선택적으로 촬영할 수 있는 영상 센서에 관한 것이다.
영상 센서 중 CMOS 영상 센서는 반도체 CMOS 제조 기술을 이용하여 제작된 영상촬영 소자이다. CMOS 영상 센서는 빛을 받아서 전압 신호로 바꾸는 기능을 갖는 픽셀(pixel)들의 2차원 배열을 포함한다. 2차원 배열의 각 픽셀은 그 픽셀로 입사하는 빛 신호를 포토다이오드를 이용하여 광전자들(photoelectrons)로 바꾼 후에, 광전자들의 개수에 비례하는 전압 신호를 출력한다. CMOS 영상 센서를 만드는 반도체 재료는 실리콘(Si)이다. 실리콘이 반응하는 빛의 파장 λ의 영역은 실리콘이 빛을 흡수할 수 있는 한계인 1100 nm 미만으로 제한된다.즉, CMOS 영상센서는 빛의 파장 λ가 1100 nm 미만인 가시광선(visible light)과 근적외선(near infrared)에 반응한다.
종래의 기술에서는 CMOS 영상센서를 이용하여 칼라 영상을 촬영하기 위하여 R, G, B 세 종류의 칼라 필터들을 Bayer 패턴의 형태로 픽셀 배열 위에 구성한다. Bayer 패턴을 구성하는 단위 셀(unit cell)은 대각선 위치에 있는 2개의 G(green)픽셀과 또 다른 대각선 위치에 있는 1개의 R(red)픽셀, 1개의 B(blue)픽셀로 구성된다. 이와 같은 2×2 단위 셀을 필요한 개수만큼 2 차원으로 반복하여 원하는 픽셀 배열을 구성한다.
CMOS 영상 센서는 입사하는 빛의 밝기에 따라서 픽셀이 빛을 받아서 신호 전자로 바꾸어 축적하는 픽셀의 노출시간(exposure time)을 조정한다. 대부분의 CMOS 영상센서는 다양한 밝기의 상황에서 최적의 영상을 촬영할 수 있도록 픽셀의 노출시간을 자동으로 제어하는 자동 노출조정 AEC(auto exposure control) 회로를 포함하고 있다. 기존의 RGB Bayer 패턴 CMOS 영상센서는 R픽셀, G픽셀, B픽셀을 구별하지 않고 동일한 하나의 노출시간으로 구동한다. 따라서 이와 같은 CMOS 영상센서는 1개의 AEC 회로만을 포함한다.
현재 픽셀 위에 증착 되는 R, G, B 칼라 필터들은 각각 목표로 하는 가시광선의 R, G, B 파장의 영역 이외에 적외선 영역의 빛도 통과시키는 물질적 특성을 가지고 있다. 따라서 RGB Bayer 패턴의 픽셀 배열을 이용하여 정확한 가시광선 칼라 영상을 획득하기 위하여 외부에 적외선 차단 필터(IR cutoff filter)를 추가로 배치하여 적외선 빛이 픽셀 배열로 입사하는 것을 차단하는 방법을 사용한다. 물론 이 경우에는 근적외선 영상은 촬영할 수가 없다.
일반적으로 이용되고 있는 많은 감시용 카메라는 적외선 차단 필터를 기계적으로 광로에 삽입 또는 제거하는 장치를 갖추고 있다. 주간에는 적외선 차단 필터를 광로에 삽입하여 적외선을 차단한 상태로 정확한 가시광선 칼라 영상을 촬영하고, 야간에는 적외선 차단 필터를 광로에서 제거하고 근적외선 광원으로 물체를 조명하면서 근적외선 영상을 촬영하는 방법을 쓰고 있다.
상술한 종래 기술 구조는 구조가 복잡하여 비용이 증가하고, 반복되는 기계적 동작으로 인하여 고장 발생 확률이 높아진다. 또한, 가시광선 칼라 영상 및 근적외선 영상을 동시에 촬영할 수가 없다.
US 3971065 US 20130242148 A1
본 발명은 가시광선 및 근적외선을 동시에 이용하여 가시광선 칼라 영상 및 근적외선 영상을 동시에 또는 선택적으로 촬영할 수 있는 영상 센서를 제공하고자 한다.
보다 구체적으로, 본 발명은, 가시광선 영역의 칼라 영상을 획득하기 위하여 외부에 적외선 차단 필터를 별도로 사용하지 않아도 되는 가시광선 및 근적외선 겸용 영상 센서를 제공하고자 한다.
보다 구체적으로, 본 발명은, 가시광선의 전 영역 및 근적외선 영역의 빛을 함께 이용함으로써 감도가 높은 영상 센서를 제공하고자 한다.
본 발명의 일 측면에 따른 가시광선 칼라 영상 및 근적외선 영상 촬영용 영상 센서는, 가시광선의 제1 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제1 픽셀; 가시광선의 제2 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제2 픽셀; 가시광선의 전체 파장 영역의 빛을 감지하고 근적외선 빛에는 반응하지 않는 제3 픽셀; 가시광선의 전체 파장 영역의 빛 및 근적외선 빛을 감지하는 제4 픽셀; 조명 환경에 따라 상기 제1 내지 제4 픽셀을 2개 이상의 그룹으로 구분하는 적응적 픽셀 그룹화 조정부; 상기 구분된 그룹들에 대하여 각 그룹마다 노출시간을 서로 별개로 조정하는 다중 노출 조정부; 및 상기 다중 노출 조정부가 출력하는 상기 각 그룹의 노출시간을 조정하는 신호를 상기 각 그룹에 속하는 픽셀들에게 전달하는 픽셀 그룹 연결 소자를 포함한다.
여기서, 상기 제4 픽셀의 출력 신호와 상기 제3 픽셀의 출력 신호의 차이로부터 상기 근적외선 영상신호를 추출하고; 상기 제1 픽셀의 출력 신호와 상기 근적외선 영상신호의 차이로부터 상기 제1 색상의 영상신호를 추출하고; 상기 제2 픽셀의 출력 신호와 상기 근적외선 영상신호의 차이로부터 상기 제2 색상의 영상신호를 추출하고; 상기 제1 색상의 영상신호와 상기 제2 색상의 영상신호를 합한 값과 상기 제3 픽셀의 출력 신호의 차이로부터 상기 제1 색상 및 상기 제2 색상과 다른 제3 색상의 영상신호를 추출하는 칼라/IR 영상 추출부를 더 포함할 수 있다.
여기서, 상기 영상센서를 가시광선 영상 촬영 모드 또는 근적외선 영상 촬영 모드 또는 가시광선 영상 및 근적외선 영상을 동시에 촬영하는 모드로 조정하는 모드 조정부를 더 포함할 수 있다.
여기서, 상기 적응적 픽셀 그룹화 조정부가 구분한 그룹 및 상기 다중 노출 조정부가 각 그룹마다 서로 별개로 조정한 노출시간에 대한 정보를 기록하는 노출 속성정보 기록부를 더 포함할 수 있다.
본 발명의 다른 측면에 따른 가시광선 칼라 영상 및 근적외선 영상 촬영을 위한 센싱 방법은, 가시광선의 제1 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제1 픽셀; 가시광선의 제2 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제2 픽셀; 가시광선의 전체 파장 영역의 빛을 감지하고 근적외선 빛에는 반응하지 않는 제3 픽셀; 및 가시광선의 전체 파장 영역의 빛 및 근적외선 빛을 감지하는 제4 픽셀을 포함하는 이미지 센서에 대한 센싱 방법에 있어서, 상기 조명 환경에 따라 적응적으로 상기 제1 내지 제4 픽셀을 2개 이상의 그룹으로 구분하는 단계; 상기 2개 이상의 각 그룹들에 적용할 노출 시간들을 서로 별개로 결정하는 단계; 상기 결정된 노출 시간들로 상기 제1 내지 제4 픽셀을 노출하고 픽셀 신호를 획득하는 단계; 상기 제1 내지 제4 픽셀의 출력 신호들로부터 가시광선 칼라 영상 및 근적외선 영상을 추출하는 단계를 포함할 수 있다.
여기서, 상기 가시광선 칼라 영상 및 근적외선 영상을 추출하는 단계에서는, 상기 제4 픽셀의 출력 신호와 상기 제3 픽셀의 출력 신호의 차이로부터 상기 근적외선 영상신호를 추출하고; 상기 제1 픽셀의 출력 신호와 상기 근적외선 영상신호의 차이로부터 상기 제1 색상의 영상신호를 추출하고; 상기 제2 픽셀의 출력 신호와 상기 근적외선 영상신호의 차이로부터 상기 제2 색상의 영상신호를 추출하고; 상기 제1 색상의 영상신호와 상기 제2 색상의 영상신호를 합한 값과 상기 제3 픽셀의 출력 신호의 차이로부터 상기 제1 색상 및 상기 제2 색상과 다른 제3 색상의 영상신호를 추출할 수 있다.
여기서, 상기 조명 환경에 따라 가시광선 영상 촬영 모드 또는 근적외선 영상 촬영 모드 또는 상기 가시광선 영상 및 근적외 영상을 동시에 촬영하는 모드로 조정하는 단계를 더 포함할 수 있다.
상술한 구성의 본 발명의 가시광선 칼라 영상 및 근적외선 영상 촬영용 영상 센서를 실시하면, 가시광선 및 근적외선을 동시에 이용하여 가시광선 칼라영상 및 근적외선 영상을 동시에 또는 선택적으로 촬영할 수 있는 이점이 있다.
본 발명의 가시광선 칼라 영상 및 근적외선 영상 촬영용 영상 센서는 가시광선 영역의 칼라 영상을 획득하기 위하여 외부에 적외선 차단 필터를 별도로 사용하지 않는 기술을 구현함으로써, 영상센서를 사용하는 영상 시스템을 간략화하고 비용을 절감하며 내구성을 높이는 이점이 있다.
본 발명의 가시광선 칼라 영상 및 근적외선 영상 촬영용 영상 센서는 가시광선의 전 영역 및 근적외선 영역의 빛을 함께 이용함으로써 촬영 감도를 높일 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 가시광선 칼라 영상 및 근적외선 영상 촬영용 영상 센서를 도시한 블록도.
도 2는 도 1의 영상 센서를 구성하는 픽셀 배열의 RBWVC 단위 셀 및 픽셀을 그룹화하여 노출시간을 조정하는 적응적 픽셀 그룹화 조정부, 다중 자동노출 조정부, 픽셀 그룹 연결 소자를 도시한 회로 개념도.
도 3은 도 2의 적응적 픽셀 그룹화 조정부, 다중 자동노출 조정부, 픽셀그룹 연결 소자에 의하여 노출시간이 조정되는 MNRBWVC 픽셀배열의 개념도.
도 4는 도 1의 영상 센서에서 수행할 수 있는 센싱 방법의 일 실시예를 도시한 흐름도.
도 5는 상기 수학식 1 내지 16까지 근적외선 영상과 가시광선 칼라 영상을 계산하는 과정의 일 실시예를 나타내는 흐름도.
도 6은 도 5에서 디모자익킹 전과 후에 신호의 잡음을 줄이기 위한 잡음 필터링 과정을 추가한 다른 실시예를 나타내는 흐름도.
본 발명은 가시광선 및 근적외선 빛을 이용하여 가시광선 영역의 칼라 영상과 근적외선 영상을 동시에 촬영할 수 있는 영상 센서, 특히, CMOS 영상센서에 관한 기술이다. 가시광선 및 근적외선 파장 영역의 빛에 대하여 고유의 특성을 갖는 몇 종류의 칼라 필터의 배열(color filter array)을 영상센서의 2차원 픽셀 배열 위에 배치한다. 픽셀 위에 구성된 칼라 필터의 종류에 따라서 그 픽셀의 빛에 대한 감도가 크게 차이가 날 수 있다. 그러한 픽셀의 종류에 따른 감도 차이를 극복하고 최적의 가시광선 칼라 영상 및 근적외선 영상을 획득하기 위하여 픽셀의 노출시간(exposure time)을 적응적으로 조정하는 장치로서 적응적 픽셀 그룹화 조정부(adaptive pixel grouping control part, 다중 노출 조정부(multiple auto exposure control part), 픽셀 그룹 연결 소자(pixel group connecting device)를 포함하는 영상센서를 제시한다. 가시광선과 근적외선이 섞인 빛을 입력으로 받아서 가시광선 칼라 영상과 근적외선 영상을 동시에 출력할 수 있는 칼라 필터의 배열을 고안하고, 각 칼라 채널 신호들을 이용하여 가시광선 칼라 영상과 근적외선 영상을 추출하는 방법을 제시한다.
이하, 본 발명의 실시를 위한 구체적인 실시예를 첨부된 도면들을 참조하여 설명한다.
본 발명을 설명함에 있어서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지 않을 수 있다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 연결되어 있거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
또한, 도면에서의 요소들의 형상 및 크기 등은 발명의 설명을 명확하게 하기 위해 과장될 수 있다.
[실시예]
도 1은 본 발명의 일 실시예에 따른 가시광선 칼라 영상 및 근적외선 영상 촬영용 영상센서를 도시한다. 도시한 영상센서(100)는 가시광선의 제1 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제1 픽셀(111); 가시광선의 제2 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제2 픽셀(112); 가시광선의 전체 파장 영역의 빛을 감지하고 근적외선 빛에는 반응하지 않는 제3 픽셀(113); 가시광선의 전체 파장 영역의 빛 및 근적외선 빛을 감지하는 제4 픽셀(114)을 포함한다. 여기서 상기 제1 색상과 제2 색상은 가시광선 영역의 레드(R), 블루(B), 그린(G) 색상 중 임의로 선택한 두 개의 색상일 수 있다. 예를 들어서 상기 제1 색상은 레드(R), 상기 제2 색상은 블루(B)일 수 있다. 이 경우에 그린(G) 색상은 전체 가시광선 출력 신호에서 상기 레드(R) 및 블루(B)의 출력 신호를 빼는 방식으로 산출된다. 이하, 본 실시예의 설명에서는 상기 제1 색상 및 제2 색상을 R 및 B로 구체화하여 설명하겠다. 픽셀 배열(130)은 R픽셀, B픽셀, WV픽셀, C픽셀로 이루어진 2×2 RBWVC 단위 셀(120)을 필요한 개수만큼 2차원적으로 반복하여 구성한다.
도시한 영상 센서(100)는, 조명 환경에 따라 상기 제1 내지 제4 픽셀을 2개 이상의 그룹으로 구분하는 적응적 픽셀 그룹화 조정부(160), 상기 구분된 그룹들에 대하여 각 그룹마다 노출시간을 서로 별개로 조정하는 다중 자동노출 조정부(180) 및 상기 다중 자동노출 조정부(160)가 출력하는 상기 각 그룹의 노출시간을 조정하는 신호를 상기 각 그룹에 속하는 픽셀들에게 전달하는 픽셀 그룹 연결 소자(150)를 포함한다.
상기 적응적 픽셀 그룹화 조정부(adaptive pixel grouping control part)(160)는 조명 환경이 변하는 것에 따라서 적응적으로 상기 제1 내지 제4 픽셀(111 ~ 114)을 2개 이상의 그룹으로 구분하여 그룹화 하는 기능을 갖는다. 상기 적응적 픽셀 그룹화 조정부(160)는 영상센서(100) 외부의 명령(또는 설정)에 따라서 수동적으로 작동하거나 또는 영상센서(100) 내부의 영상신호 정보 등을 이용한 자체 판단으로 능동적으로 작동할 수 있다.
상기 적응적 픽셀 그룹화 조정부(160)가 수동적으로 작동하는 경우는 외부에서 조명환경에 대한 정보를 아는 사용자가 영상의 촬영 목적에 알맞게 픽셀을 그룹화 하는 설정을 할 수 있다. 상기 조명환경에 대한 정보는 조명장치가 발광하는 빛의 파장 성분 및 세기에 대한 정보이다. 상기 외부 명령은 외부의 조도계나 색온도계 또는 색 분석 장치로부터 출력되는 신호에 의한 명령을 포함한다. 또 다른 예로 자연 태양광 조명일 경우에는 영상 촬영 시각이나 날짜 정보일 수 있다.
상기 적응적 픽셀 그룹화 조정부(160)가 능동적으로 작동하는 경우는 영상을 촬영하면서 조명 환경이 변화하는 것에 따라서 이전 영상 프레임들의 영상신호 정보를 수집하고 분석함으로써 적절한 순간에 새로운 영상 프레임의 시작 직전에 픽셀 그룹을 바꿀 수 있다. 즉, 영상 촬영 중에 조명환경의 변화에 따라서 실시간으로 픽셀 그룹을 조정할 수 있다. 또 다른 예로 촬영을 위하여 인위적으로 조명하는 광원을 상기 픽셀 배열(130)에 직접 조사 또는 간접 조사(반사광 조사)를 한 상태에서 상기 픽셀 배열(130)으로부터 나오는 각 픽셀별 출력 신호의 상대적 크기를 상기 적응적 픽셀 그룹화 조정부(160)가 자체적으로 분석함으로써 영상 촬영 전에 픽셀을 그룹화 할 수도 있다.
다중 자동노출 조정부(multiple auto exposure control part)(180)는 적응적 픽셀 그룹화 조정부(160)가 픽셀들을 그룹화 한 것에 따라서 각 그룹마다 픽셀의 노출시간(exposure time)을 서로 별개로 독립적으로 자동 조정한다. 적응적 픽셀 그룹화 조정부(160)와 다중 자동노출 조정부(180)은 신호선 또는 신호선 다발(161)을 통하여 필요한 정보들을 교환한다. 도 1에서는, 적응적 픽셀 그룹화 조정부(160)와 다중 자동노출 조정부(180)가 그 기능에 따라서 명시적으로 두 블록으로 나누어 표현되었지만 하나의 블록으로 통합하여 각 기능을 수행하는 것으로 구현될 수도 있다.
상기 픽셀 그룹 연결 소자(pixel group connecting device)(150)는 적응적 픽셀 그룹화 조정부(160)의 제어 신호를 받아서 다중 자동노출 조정부(180)가 생성하는 각 그룹의 노출시간 조정 신호를 해당 그룹에 속하는 픽셀들에게 연결하여 전달하는 기능을 갖는다. 픽셀 그룹 연결소자(150)는 신호선 다발(170)을 통하여 적응적 픽셀 그룹화 조정부(160)의 제어를 받는다. 다중 자동노출 조정부(180)의 출력인 노출시간 조정 신호들은 신호선 다발(190)을 통하여 픽셀 그룹 연결 소자(150)의 입력단으로 전달된다. 도시한 바와 같이, 상기 픽셀 그룹 연결 소자(150)는 픽셀 배열(130)구동을 위한 로우 드라이버(row driver)(200)의 부분구조를 이룰 수 있다.
상기 로우 드라이버(row driver)(200)는 픽셀 배열(130)에서 각 행을 따라서 각 행에 속하는 픽셀들의 동작을 동시에 제어하는 기능을 한다.
도시한 컬럼 신호읽기 회로(column signal reading circuit)(210)는 픽셀 배열(130)에서 각 행(row)의 동작이 진행됨에 따라서 그 행에 속한 픽셀들의 신호를 열 병행(column parallel)적으로 읽어내는 기능을 수행한다.
도시한 영상 센서(100)는, 촬영된 픽셀들의 출력 신호들을 이용하여 가시광선 영역의 칼라 영상 및/또는 근적외선 영상을 추출하는 칼라/IR 영상 추출부(220); 상기 영상센서(100)를 가시광선 영상 촬영 모드 또는 근적외선 영상 촬영 모드 또는 가시광선 영상 및 근적외선 영상을 동시에 촬영하는 모드로 조정하는 모드 조정부(230); 및 상기 적응적 픽셀 그룹화 조정부(160)가 구분한 그룹 및 상기 다중 자동노출 조정부(180)가 각 그룹마다 서로 다르게 별개로 조정한 노출시간에 대한 정보를 기록하는 노출 속성정보 기록부(exposure meta data writter)(240) 중 하나 이상을 더 포함할 수 있다.
상기 칼라/IR 영상 추출부(color/IR image extraction part)(220)는 컬럼 신호읽기 회로(210)의 출력 신호들을 연산하여 가시광선의 칼라 영상신호 및 근적외선 영상신호를 추출하는 기능을 수행한다.
상기 모드 조정부(mode control part)(230)는 가시광선 칼라 영상 촬영 모드, 근적외선 영상 촬영 모드, 가시광선 칼라 영상 및 근적외선 영상을 동시에 촬영하는 모드 중에서 선택적으로 영상센서(100)모드를 조정한다. 상기 모드 조정은 영상센서(100) 외부의 명령에 따라서 수동적으로 작동하거나 또는 영상 센서(100) 내부의 영상신호 정보 등을 이용한 자체적 판단으로 능동적으로 작동할 수 있다.
도 1에서는, 칼라/IR 영상 추출부(220)와 모드 조정부(230)가 그 기능에 따라서 명시적으로 두 블록으로 나누어 표현되었지만 하나의 블록으로 통합하여 각 기능을 수행하는 것으로 구현될 수도 있다.
본 발명의 사상에 따른 영상 센서로 촬영된 영상은 특정 파장 대역의 빛에 대하여 차별적 노출시간에 의한 가중치가 부여된 영상으로 볼 수 있다. 일반적으로는 본 영상 센서는 내부에서 자체적으로 각 픽셀 그룹의 노출시간의 차이를 고려하여 픽셀들의 출력 신호 값을 규격화하는 과정을 먼저 수행하고 후속되는 영상 신호처리를 진행한다. 그러나 보다 심화된 영상 분석이나 영상 변환에서 본 발명의 사상에 따른 영상 센서로 촬영된 영상 데이터가 사용되는 경우, 상기 가중치로 인하여 조작자가 원하지 않는 결과를 유발할 수 있다. 이러한 부작용을 방지하기 위해 상기 노출 속성정보 기록부(240)는, 본 발명의 사상에 따른 영상 센서(100)로 촬영된 영상 데이터에 헤더나 메타 데이터 형식으로 차별적 노출시간에 대한 속성정보(예: 상기 적응적 픽셀 그룹화 조정부(160)가 구분한 그룹과 상기 다중 자동노출 조정부(180)가 각 그룹마다 서로 다르게 조정한 노출시간에 대한 정보)를 기록하는 역할을 수행할 수 있다.
도 2는 도 1의 영상센서(100)에서 픽셀 배열(130)을 생성하는 단위 셀(120)에 대하여 설명한다. 또한, 단위 셀(120)의 픽셀들과 픽셀 그룹 연결 소자(150), 적응적 픽셀 그룹화 조정부(160), 다중 자동노출 조정부(180)들의 신호 연결 구조를 명시적으로 도시한다.
상기 단위 셀(120)은 4개의 픽셀로 구성되어 있다. R픽셀(111)과 B픽셀(112)은 서로 대각선 방향에 위치하고, WV픽셀(113)과 C픽셀(114)은 서로 대각선 방향에 위치한 예를 제시하였다. 그러나 단위 셀의 서로 다른 4개의 픽셀들은 필요에 따라서 그 위치를 임의로 바꿀 수 있음은 물론이다.
R픽셀(red pixel)(111)은 가시광선의 R(red) 파장 영역과 근적외선 빛에 반응하는 픽셀이다. 일반적인 R픽셀은 실리콘 반도체소자로 구성된 픽셀 위에 R필터(red filter)를 배치하여 만든다. R필터는 가시광선 영역에서 R 파장 영역을 밴드패스(band pass)하여 픽셀로 전달한다. 현재 픽셀위에 증착되는 R필터는 필터 물질의 특성상 적외선을 투과시키는 것이 실제 상황이다. R필터가 적외선 영역의 파장을 통과 시키더라도 픽셀의 광소자의 재질인 실리콘 반도체 물질의 특성상 픽셀은 파장이 1100nm 미만인 근적외선 영역까지 반응한다. 따라서, 외부에 별도의 적외선 차단 필터를 사용하지 않는 경우에는 R픽셀로부터 얻는 출력신호는 R+IRR로 표현할 수 있다. 여기서 R은 R필터가 투과시킨 가시광선의 빨간 빛에 기인한 출력이고, IRR은 R필터가 투과시킨 근적외선에 기인한 출력이다.
B픽셀(blue pixel)(112)은 가시광선의 B(blue) 파장 영역과 근적외선 빛에 반응하는 픽셀이다. 일반적인 B픽셀은 실리콘 반도체소자로 구성된 픽셀 위에 B필터(blue filter)를 배치하여 만든다. B필터는 가시광선 영역에서 B 파장 영역을 밴드패스하여 픽셀로 전달한다. 현재 픽셀 위에 증착되는 B필터는 필터 물질의 특성상 적외선을 투과시키는 것이 실제 상황이다. B필터가 적외선 영역의 파장을 통과 시키더라도 픽셀의 광소자의 재질인 실리콘 반도체 물질의 특성상 픽셀은 파장이 1100nm 미만인 근적외선 영역까지 반응한다. 따라서, 외부에 별도의 적외선 차단 필터를 사용하지 않는 경우에는 B픽셀로부터 얻는 출력신호는 B+IRB로 표현할 수 있다. 여기서 B는 B필터가 투과시킨 가시광선의 파란 빛에 기인한 출력이고, IRB는 B필터가 투과시킨 근적외선에 기인한 출력이다.
WV(visible white)픽셀(113)은 가시광선 영역의 전체 파장 영역의 빛에 반응하고 근적외선 영역의 빛에는 반응하지 않는 픽셀이다. 픽셀 위에 WV필터(visible white filter)를 배치한 픽셀이다. WV필터는 가시광선 파장 영역의 빛은 모두 통과시키고 적외선 영역의 빛은 차단하는 필터이다. 가시광선에는 투명하고 적외선은 차단하는 물질로 만들어진 필터이다. 따라서, 본 발명과 같이 외부에 별도의 적외선 차단 필터를 사용하지 않는 경우에도 WV 픽셀로부터 얻는 출력신호는 근적외선에 의한 신호성분이 없이 백색 가시광선에만 기인한 것으로서 W로 표현할 수 있다.
C(clear)픽셀(114)은 가시광선 및 적외선 전체 파장 영역의 빛에 반응하는 픽셀이다. 픽셀 위에 C필터(clear filter)를 배치한 픽셀이다. C필터는 입사하는 가시광선과 적외선 영역의 모든 빛을 통과시키는 투명한 물질로 구성된 필터이다. C필터가 적외선 영역의 파장을 통과시키더라도 픽셀의 광소자의 재질인 실리콘 반도체 물질의 특성상 픽셀은 파장이 1100nm 미만인 근적외선 영역까지 반응한다. 따라서, 외부에 별도의 적외선 차단 필터를 사용하지 않는 경우에는 C픽셀로부터 얻는 출력신호는 W+IR로 표현할 수 있다. 여기서, W는 백색 가시광선 기인한 출력이고 IR은 근적외선에 기인한 출력이다.
요약하면 R픽셀, B픽셀, WV픽셀, C픽셀로부터 각각 출력되는 신호 R+P, B+P, WVP, C+P는 하기 수학식 1 내지 4와 같다.
[수학식 1]
R+P = R + IRR
[수학식 2]
B+P = B + IRB
[수학식 3]
WVP = W
[수학식 4]
C+P = W + IR
상술한 기호 R+P, B+P, C+P에서 아래 첨자 +는 가시광선과 근적외선 신호가 섞여 있음을 나타내고, WVP에서 아래 첨자 V는 가시광선 신호만 있음을 나타낸다. 아래 첨자 P는 픽셀로부터 출력된 상태로서 아직 후속 신호처리에 의하여 가공되지 않은 신호임을 나타낸다.
단위 셀을 이루는 R픽셀(111), B픽셀(112), WV픽셀(113), C픽셀(114)은 각각 빛에 반응하는 빛의 파장 영역의 넓이 차이가 크다. 예를 들어서 가시광선의 전 파장 영역을 고르게 포함하고 근적외선 영역의 성분은 미약한 광원으로 사물을 조명하는 환경에서는 R픽셀이나 B픽셀에 비하여 WV픽셀과 C픽셀의 평균 출력신호 값들이 상당히 크게 나올 것이 예상된다. 이때 기존의 기술처럼 하나의 AEC(auto exposure control) 회로를 이용하여 모든 픽셀의 노출시간(exposure time)을 동일하게 조정하는 경우를 고찰하면 다음과 같은 문제에 직면한다. R픽셀 또는 B픽셀이 충분하게 출력신호가 나오게 노출시간을 조정하면 WV픽셀과 C픽셀의 출력신호는 포화되어서 영상정보를 잃어버리게 된다. 반대로 WV픽셀과 C픽셀이 알맞은 출력신호가 나오도록 노출시간을 조정하면 R픽셀과 B픽셀은 픽셀의 수광소자에서 빛에 의하여 생성되는 광전자의 개수가 줄어들어서 회로의 잡음 전자 개수에 비교하여 충분히 크지 못한 상황이 된다. 즉, R픽셀이나 B픽셀의 출력신호들의 신호대비 잡음의 비율 SNR(signal to noise ratio)가 작아져서 영상의 화질을 악화시키는 결과를 초래한다. 따라서, 이러한 조명환경에서는 R픽셀과B픽셀을 하나의 그룹으로 하여 함께 픽셀의 노출시간을 조정한고, WV픽셀과 C픽셀을 또 다른 하나의 그룹으로 하여 함께 픽셀의 노출시간을 조정하는 것이 바람직하다. 이 때 두 그룹의 노출시간은 독립적으로 조정한다.
또 다른 예로 조명이 가시광선은 미약하게 포함하고 있고, 근적외선을 주로 포함하는 경우를 살펴보자. 이 경우에는 근적외선에는 반응하지 않는 WV픽셀의 출력신호 값은 R픽셀, B픽셀, C픽셀의 값보다 많이 작아진다. 이 경우 WV픽셀에 노출시간을 알맞게 조정하면 R픽셀, B픽셀, C픽셀은 포화되어서 근적외선 영상정보를 잃어버리게 된다. 반대로 R픽셀, B픽셀, C픽셀에 알맞게 노출시간을 조정하면 WV픽셀의 출력신호의 SNR이 줄어들어서 가시광선 영역의 화질이 악화 된다. 따라서 이러한 조명환경에서는 R픽셀, B픽셀, C픽셀을 하나의 그룹으로 하여 함께 픽셀의 노출시간을 조정하고, WV픽셀은 또 다른 하나의 그룹으로 하여 픽셀의 노출시간을 조정하는 것이 바람직하다. 이 때 두 그룹의 노출시간은 독립적으로 조정한다.
또 다른 예로 조명이 다른 파장 영역의 빛보다 근적외선 영역 및 가시광선의 R(red) 파장 영역을 주로 포함하는 경우를 살펴보자. 일출 및 일몰시 야외 감시 카메라 등에서 발생될 수 있는 경우이다. 이 경우에는 R픽셀의 값과 C픽셀의 값이 B픽셀의 값이나 WV픽셀의 값보다 상당히 크게 나올 것이다. 따라서, 이러한 조명환경에서는 R픽셀, C픽셀을 하나의 그룹으로 하여 함께 픽셀의 노출시간을 조정하고, B픽셀, WV픽셀은 또 다른 하나의 그룹으로 하여 픽셀의 노출시간을 조정하는 것이 바람직하다. 이 때 두 그룹의 노출시간은 독립적으로 조정한다.
본 발명에서는 다양한 조명환경에 따라서 적응적으로 픽셀을 그룹화 하여 각 그룹의 노출시간을 독립적으로 조정하는 방법을 제시한다.
적응적 픽셀 그룹화 조정부(adaptive pixel grouping control part)(160)는조명 환경이 변하는 것에 따라서 적응적으로 상기 제1 내지 제4 픽셀(111 ~ 114)을 2개 이상의 그룹으로 구분하여 그룹화 하는 기능을 갖는다. 다중 자동노출 조정부(multiple auto exposure control part)(180)는 적응적 픽셀 그룹화 조정부(160)가 픽셀들을 그룹화 한 것에 따라서 각 그룹마다 노출시간을 서로 별개로 독립적으로 자동 조정한다.
구체적인 예를 이용하여 도 2에 표시된 구조들이 연계 작동하여 픽셀의 노출시간을 조정하는 동작을 설명한다. 첫 번째 예로 가시광선의 전 파장 영역을 고르게 포함하고 근적외선 영역의 성분은 미약한 광원으로 사물을 조명하는 환경을 고찰한다. 이러한 경우 적응적 픽셀 그룹화 조정부(160)은 R픽셀(111)과 B픽셀(112)를 제1 그룹으로 지정하고, WV픽셀(113)과 C픽셀(114)을 제2그룹으로 지정하여 2개의 그룹으로 나눈다. 이와 같은 적응적 픽셀 그룹화 조정부(160)의 픽셀 그룹화는 외부의 명령에 따라서 수동적으로 작동하거나 또는 영상센서의 픽셀들로부터 출력되는 영상신호의 정보를 이용한 판단으로 능동적으로 작동할 수 있다.
이렇게 정하여진 그룹화 정보를 신호선 또는 신호선 다발(161)을 통하여 다중 자동노출 조정부(multiple auto exposure control part)(180)에 전달한다. 다중자동노출 조정부(multiple auto exposure control part)(180)의 제1자동 노출조정 회로 AEC1(181)은 도1의 픽셀배열(130)로부터 출력되는 픽셀 영상신호들 중 상기 제1 그룹에 속하는 다수의 R픽셀(111)과 B픽셀(112)의 영상신호를 이용하여 제1그룹 노출시간 T1의 적정 값을 결정한다. 이어서 제1 그룹 노출 조정신호를 신호선(191)으로 출력한다. 제2자동 노출조정 회로 AEC2(182)는 도 1의 픽셀배열(130)로부터 출력되는 픽셀 영상신호들 중 상기 제2 그룹에 속하는 다수의 WV픽셀(113)과 C픽셀(114)의 영상신호를 이용하여 적정한 제2그룹 노출시간T2의 적정 값을 결정한다. 이어서 제2그룹 노출조정 신호를 신호선(192)로 출력한다.
한편, 픽셀 그룹 연결 소자(pixel group connecting device)(150)는 적응적 픽셀 그룹화 조정부(160)로부터 신호선 다발(170)을 통하여 제어 신호를 받는다. 그 제어 신호에 따라 픽셀 그룹 연결 소자(150)은 다중 자동노출 조정부(180)가 생성하여 신호선 다발(190)을 통하여 픽셀 그룹 연결 소자(150)의 입력단으로 전달하는 각 그룹의 노출시간 조정 신호를 정확하게 해당 그룹에 속하는 픽셀들에게 전달하는 기능을 갖는다.
본 실시예에서는 4개의 mux 소자를 이용하여 구현한 픽셀 그룹 연결 소자를 설명한다. 상기 다중 자동노출 조정부(180)에 속하는 제1자동 노출조정 회로AEC1(181)의 출력 신호선(191)과 제2자동 노출조정 회로 AEC2(182)의 출력 신호선(192)은 각각 4개의 mux 소자인 MUX1(151), MUX2(152), MUX3(153), MUX4(154)의 입력단으로 연결되어 있다. 그리고 상기 MUX1(151), MUX2(152), MUX3(153), MUX4(154)의 출력은 각각 신호선(141, 142, 143, 144)을 통하여 차례대로 R픽셀(111), B픽셀(112), WV픽셀(113), C픽셀(114)로 연결되어 있다. 한편, 적응적 픽셀 그룹화 조정부(160)는 신호선(171, 172, 173, 174)을 통하여 차례대로 상기 MUX1(151), MUX2(152), MUX3(153), MUX4(154)의 입력단과 출력단의 연결 상태를 조정하는 제어신호를 각 mux에 전달한다. 상기 제어신호에 따라서 각 mux의 출력단은 상기 신호선(191) 또는 신호선(192)중에서 한 쪽과 연결된다.
현재의 예시에서는 R픽셀(111)과 B픽셀(112)이 제1그룹에 속함으로, MUX1(151)과 MUX2(152)의 출력은 신호선(191)과 연결된다. 즉, R픽셀(111)과 B픽셀(112)의 노출시간은 제1자동 노출 조정회로AEC1(181)에 의하여 노출시간이 T1이 되도록 조정된다. 한편 WV픽셀(113)과 C픽셀(114)은 제2 그룹에 속함으로, MUX3(153)과 MUX4(154)의 출력은 신호선(192)과 연결된다. 즉, WV픽셀(113)과 C픽셀(114)의 노출시간은 제2자동 노출 조정회로 AEC2(182)에 의하여 노출시간이 T2가 되도록 조정된다.
또 다른 예로 조명이 가시광선은 미약하게 포함하고 있고, 근적외선을 주로 포함하는 경우를 살펴보자. 이 경우에는 적응적 픽셀 그룹화 조정부(160)는 근적외선에 반응하여 영상신호가 크게 나오는 R픽셀(111), B(112), C픽셀(114)을 하나의 그룹으로 지정하고, 근적외선에 반응하지 않아 영상신호가 작게 나오는 WV픽셀(113)을 또 다른 그룹으로 지정하게 된다. 즉, R픽셀(111), B(112), C픽셀(114)을 제1그룹으로 지정하고, WV픽셀(113)을 제2그룹으로 지정한다. 이에 따라 다중 자동노출 조정부(180)의 제1 자동 노출 조정회로 AEC1(181)은 도 1의 픽셀배열(130)로부터 출력되는 픽셀 영상신호들 중 상기 제1 그룹에 속하는 다수의 R픽셀(111), B픽셀(112), C픽셀(114)의 영상신호를 이용하여 제1그룹 노출시간 T1의 적정 값을 결정한다. 이어서 제1 그룹 노출 조정신호를 신호선(191)으로 출력한다. 제2 자동 노출조정 회로 AEC2(182)는 도 1의 픽셀배열(130)로부터 출력되는 픽셀 영상신호들 중 상기 제2 그룹에 속하는 다수의 WV픽셀(113)의 영상신호를 이용하여 제2그룹 노출시간 T2의 적정 값을 결정한다. 이어서 제2그룹 노출 조정신호를 신호선(192)으로 출력한다. 한편 적응적 픽셀 그룹화 조정부(160)는 신호선(171, 172, 173,174)를 통하여 제어신호를 보내어, MUX1(151), MUX2(152), MUX4(154)의 출력은 신호선(191)과 연결되고 MUX3(153)의 출력은 신호선(192)와 연결되도록 제어한다. 이에 따라 신호선(191)의 노출 조정신호들이 신호선(141,142,144)를 거쳐서 R픽셀(111), B(112), C픽셀(114)에 전달되고, 신호선(192)의 노출 조정신호들은 신호선(143)을 거쳐서 WV픽셀(113)과 연결된다. 즉, R픽셀(111), B픽셀(112), C픽셀(114)의 노출시간은 제1자동 노출 조정회로 AEC1(181)에 의하여 노출시간이 T1이 되도록 조정되고, WV픽셀(113)의 노출시간은 제2자동 노출 조정회로 AEC2(182)에 의하여 노출시간이 T2가 되도록 조정된다.
도 3은 위에서 서술한 도 2의 RBWVC 단위 셀을 반복하여 만든 MN픽셀 배열의 개념도이다. 행 구조(row structure)(131)는 N개의 2×2 RBWVC 단위 셀(120) 및 픽셀배열(130) 영역을 횡으로 가로지르며 각 단위 셀의 R픽셀들과 연결된 신호선(141), B픽셀들과 연결된 신호선(142), WV픽셀들과 연결된 신호선(143), C픽셀들과 연결된 신호선(144)을 포함한다. 또한, 행 구조(row structure)(131)는 픽셀 그룹 연결 소자(150)를 포함한다. 픽셀 그룹 연결 소자(150)를 구성하는 4개의 mux 소자(151, 152, 153,154)의 출력과 단위 셀의 픽셀들의 연결 구조는 앞의 도 2와 동일하다. 또한 4개의 mux 소자(151, 152, 153,154)와 적응적 픽셀 그룹화 조정부(160), 다중 자동노출 조정부(180)의 신호 연결 구조 역시 앞의 도 2와 동일하다. 이러한 행 구조(row structure)(131)를 M번 반복하여 M×N 픽셀배열(130)을 갖는 영상센서를 형성한다.
도 2와 도 3에서는 다중 자동노출 조정부(180)가 2개의 독립적인 자동 노출 조정회로 AEC1(181)과 AEC2(182)를 포함하는 예시를 표현하였다. 그러나, 다중 자동노출부(180)가 2개 이상의 독립적인 자동 노출 조정회로를 포함하도록 확장할 수 있음은 물론이다. 또한, 이렇게 확장된 경우에는 상기 적응적 픽셀 그룹화 조정부(160)는 픽셀 배열(130)에 속하여 있는 픽셀들을 2개 이상의 그룹으로 구분하여 그룹화 할 수 있는 것도 물론이다.
아래에서는 도 1에서와 같이 RBWVC 단위 셀을 반복하여 만든 픽셀 배열(130)로부터 컬럼 신호 읽기회로(210)를 거쳐서 출력된 픽셀 신호들을 이용하여 근적외선 영상과 가시광선 칼라 영상을 구하는 영상신호처리 방법을 설명한다. 후술하는 영상신호 처리 방법은 도 1의 칼라/IR 영상 추출부(220)에서 수행할 수 있다.
본 발명과 같이 각 픽셀들의 노출시간이 다른 경우에는 픽셀로부터 나온 출력신호를 노출시간의 비율로 규격화(normalization)하는 것이 영상신호처리의 첫 단계이다. 제1 그룹에 속한 픽셀들의 노출시간을 T1, 제2그룹에 속한 노출시간을 T2로 명칭한다. 편의상 상기 제1그룹의 노출시간 T1을 기준으로 하여 각 픽셀들의 출력 신호를 규격화 하는 것을 서술한다. 그러나, 상기 제2그룹의 노출시간 T2를 기준으로 규격화하고 수식을 전개하더라도 결과적으로 동등한 영상을 얻는다. 단, 계산과정에서 포화된 영상신호들의 포화 상태가 풀리는 것을 방지하기 위해서는 노출 시간이 가장 긴 그룹의 노출 시간을 기준으로 규격화 하는 것이 바람직하다.
일반성을 잃지 않고 임의로 제1그룹에 R픽셀과 B픽셀이 소속되고 제2그룹에 WV픽셀, C픽셀이 소속된 경우를 예로 하여 수식을 전개한다. 이때 R픽셀과 B픽셀의 노출시간은 T1이고 WV픽셀과 C픽셀의 노출시간은 T2가 된다.
R픽셀, B픽셀, WV픽셀, C픽셀로부터 출력되는 신호 R+P, B+P, WVP, C+P는 상기 수학식 1 내지 4와 같다. 이러한 신호 들을 상기 제1그룹 노출시간 T1으로 규격화할 경우에 규격화된 R픽셀, B픽셀, WV픽셀, C픽셀 신호들은 하기 수학식 5 내지 수학식 8과 같다.
[수학식 5]
Figure pat00001
[수학식 6]
Figure pat00002
[수학식 7]
Figure pat00003
[수학식 8]
Figure pat00004
아래 첨자 N은 노출시간 비율에 따라서 규격화된 값을 표시한다.
RBWVC 단위 셀을 반복하여 도 3과 같이 2차원 픽셀 배열을 만들면 R픽셀, B픽셀, WV픽셀, C픽셀은 각각 한 행(row)과 한 열(column) 걸러서 한 번씩 배치된다. 구현에 따라서, 2차원 픽셀 배열의 모든 (i, j) 위치에 R+N, B+N, WVN, C+ N값을 모두 대응시키기 위하여 디모자익킹(demosaicking)을 수행할 수 있다. 본 발명의 목적을 달성하기 위한 영상신호처리의 여러 과정들 중에서 지금 단계에서 디모자익킹을 수행하는 것이 필요하다. 디모자익킹 방법은 수 회에 걸쳐 공지된 다양한 종래기술에 따른 디모자익킹의 여러 방법들 중 어느 하나를 선택하거나 또는 조합하여 사용하면 된다. 그러므로, 본 실시예에서는 디모자익킹 방법을 구체적으로 설명하는 것을 생략하겠다. 디모자익킹을 수행하여 배열의 (i, j) 위치에 대하여 얻은 각 칼라 채널의 값은 하기 수학식 9 내지 수학식 12로 표현될 수 있다.
[수학식 9]
Figure pat00005
[수학식 10]
Figure pat00006
[수학식 11]
Figure pat00007
[수학식 12]
Figure pat00008
상기 수학식들에서 아래 첨자 D는 디모자익된(demosaicked) 신호 값을 표현한다.
근적외선 영상과 가시광선 칼라 영상을 구하는 것은 바로 2차원 픽셀 배열의 모든 위치 (i, j)에서 IR 값과 R, G, B 값들을 구하는 것을 의미한다. 상기 수학식 9 내지 12로부터 다음과 같이 근적외선 영상과 가시광선 칼라 영상을 계산할 수 있다.
먼저, 상기 수학식 11 및 수학식 12에서 C 채널 값과 WV채널 값의 차이로 근적외선 IR 값을 하기 수학식 13과 같이 계산한다.
[수학식 13]
Figure pat00009
여기서, 조절 변수(adjusting parameter) aW는 WV픽셀과 C 픽셀이 가시광선의 전체 파장영역인 W(white)영역에서 파장 별 반응도(spectral responsivity)가 차이가 나는 데서 기인하는 색 오차를 보정하기 위한 변수이다. 조절 변수 aW값은 두 픽셀의 파장별 반응도 측정분석이나 또는 실제 영상의 칼라 튜닝(color tuning) 과정으로 그 값을 결정할 수 있다.
다음, 상기 수학식 9, 수학식 10 및 수학식 13을 이용하여 R, B 값을 하기 수학식 14 및 수학식 15와 같이 계산한다.
[수학식 14]
Figure pat00010
[수학식 15]
Figure pat00011
상기 수학식 14 및 15에서 조절 변수 aRIR과 aBIR는 각각 R픽셀과 B픽셀 및 C픽셀의 근적외선에 대한 파장 별 반응도 차이에 따라서 정해지는 값들이다. 해당 픽셀들의 근적외선 파장 별 반응도 측정분석이나 또는 실제 영상의 칼라 튜닝과정으로 그 값을 결정할 수 있다.
다음, 상기 수학식 11, 수학식 14 및 수학식 15를 이용하여 G 값을 하기 수학식 16과 같이 계산한다.
[수학식 16]
Figure pat00012
상기 수학식 16에서 조절변수 aR은 R픽셀과 WV픽셀이 가시광선의R(red) 파장 영역에서 파장 별 반응도가 차이가 나는 데서 기인하는 색 오차를 보정하기 위한 변수이다. 조절변수 aB는 B픽셀과 WV픽셀이 가시광선의 B(blue) 파장 영역에서 파장 별 반응도가 차이가 나는 데서 기인하는 색 오차를 보정하기 위한 변수이다. 조절변수 aR과 aB는 R픽셀, B픽셀, WV픽셀의 가시광선 영역 파장 별 반응도 측정분석이나 또는 실제 영상의 칼라 튜닝 과정으로 그 값을 결정할 수 있다. 2차원 픽셀 배열의 모든 위치 (i, j)에 대하여, 상기 수학식 13으로 계산한 IRD(i,j) 값들이 바로 근적외선 영상이고, 상기 수학식 14 내지 16으로 계산한 RD(i, j), BD(i, j), GD(i, j) 값들이 바로 칼라 영상이다.
도 4는 본 발명의 사상에 따른 영상 센서에서 수행할 수 있는 가시광선 칼라 영상과 근적외선 영상을 생성하는 과정으로서 센싱 방법의 일 실시예를 도시한 흐름도이다.
도시한 센싱 방법은, 조명 환경에 따라서 적응적으로 도 1 내지 3의 제1 내지 제4 픽셀을 2개 이상의 그룹으로 구분하는 단계(S1); 상기 2개 이상의 각 그룹들에 적용할 노출 시간들을 서로 별개로 결정하는 단계(S3); 상기 결정된 노출 시간들로 상기 제1 내지 제4 픽셀을 노출시키고 픽셀의 신호를 획득하는 단계(S5); 상기 제1내지 제4픽셀의 출력 신호들로부터 가시광선 칼라 영상 및/또는 근적외선 영상을 추출하는 단계(S7); 상기 영상을 추출하는 단계에서 획득한 영상 신호를 외부로 출력하는 단계(S9)를 포함할 수 있다.
구현에 따라 조명 환경에 적응적으로 가시광선 영상 촬영 모드 또는 근적외선 영상 촬영 모드 또는 상기 가시광선 영상 및 근적외선 영상을 동시에 촬영하는 모드로 조정하는 단계(S6)를 더 포함할 수 있다. 상기 S6단계의 모드 선택에 따라서 상기 S5단계의 영상신호 처리과정 및 상기 S9단계의 신호 출력 형태가 변경된다.
상기 S1 단계는 도 1의 적응적 픽셀 그룹화 조정부(160)에 의해 수행될 수 있으며, 상기 S3 단계는 도 1의 다중 자동노출부(180)에 의해 수행될 수 있다.
상기 S5 단계는 도 1의 픽셀 배열(130), 픽셀 그룹 연결 소자(150), 로우 드라이버(row driver)(200) 및 컬럼 신호읽기 회로(column signal reading circuit)(210)를 이용하여 수행될 수 있다.
상기 S7 단계는 도 1의 칼라/IR 영상 추출부(color/IR image extraction part)(220)에 의해 수행될 수 있다.
상기 S6 단계는 도 1의 모드 조정부(230)에 의해 수행될 수 있다.
도 5는 상기 수학식 1 내지 16까지 근적외선 영상과 칼라 영상을 계산하는 과정의 일 실시예를 나타내는 흐름도이다. 2차원 픽셀 배열의 R픽셀, B픽셀, WV픽셀, C픽셀들로부터 출력되는 신호 R+P, B+P, WVP, C+ P신호들을 시작으로 해서 근적외선 영상 IRD와 칼라 영상 RD, GD, BD를 얻는 과정이다.
도시한 영상 산출 방법은, 2차원 픽셀 배열의 R픽셀, B픽셀, WV픽셀, C픽셀 로부터 출력 신호를 획득하는 단계(S10); 상기 획득된 출력 신호들을 규격화하는 단계(S20); 상기 규격화된 신호들을 디모자익킹하는 단계(S30); 상기 디모자익킹된 신호들로부터 근적외선 영상을 산출하는 단계(S40); 상기 디모자익킹된 신호들로부터R 영상 및 B 영상을 산출하는 단계(S50); 상기 디모자익킹된 WV신호들 및 상기 R 영상 및 B 영상으로부터 G 영상을 산출하는 단계(S60)를 포함할 수 있다.
상기 규격화하는 단계(S20)에서는, 상술한 수학식 5 내지 8에 따른 규격화 과정을 수행할 수 있다. 상기 디모자익킹하는 단계(S30)에서는, 상술한 수학식 9 내지 12에 따른 디모자익킹 과정을 수행할 수 있다.
영상의 해상도가 문제가 되지 않는 응용에서는 디모자이킹하는 단계(S30)을 생략하고 하나의 단위 셀에 속하여 있는 R, B, WV, C 4개의 픽셀 출력 신호만을 이용하여 각 단위 셀별로 근 적외선 영상 및 가시광선 칼라 영상의 정보를 추출할 수 있다. 그러나 이 경우에는 영상의 해상도가 가로 세로 방향 모두 대략 반으로 줄어든다.
도 6은 도 5에서 디모자익킹 전과 후에 신호의 잡음을 줄이기 위한 잡음 필터링 과정을 추가한 다른 실시예를 나타내는 흐름도이다.
도시한 흐름도에 따른 영상 산출 방법은, 상기 규격화하는 단계(S20) 이후 제1 필터링 단계(S25)를 수행하고, 상기 디모자익킹하는 단계(S30) 이후 제2 필터링 단계(S35)를 수행하는 것 외에는 상기 도 4의 경우와 거의 동일하다.
도 6 또는 도 5에서 도시한 영상 산출 방법은 도 1의 칼라/IR 영상 추출부(220)에서 수행한다.
상술한 바와 같이, 본 실시예에서는 가시광선과 근적외선을 동시에 수광 할 수 있는 RBWVC 패턴의 단위 셀을 반복하여 구성한 2차원 픽셀 배열을 이용하는 CMOS 영상센서를 제시한다. 그리고 2차원 픽셀배열의 R픽셀, B픽셀, WV픽셀, C픽셀들로부터 출력되는 신호들을 이용하여 근적외선 영상과 가시광선 칼라 영상을 획득하는 방법을 제시한다. 특히 적응적 픽셀 그룹화 조정부(160), 다중 자동노출 조정부(180)및 픽셀 그룹 연결 소자(150)를 결합하여 픽셀을 조명환경에 따라서 적응적으로 그룹화하고 각 그룹의 노출시간을 독립적으로 조정함으로써 다양한 조명 환경에서 영상정보의 손실이 없으며 SNR이 높은 최적의 근적외선 영상과 칼라 영상을 얻는 방법을 제시한다.
본 실시예에서는 가시광선의 파장 영역 전체에 반응하는 WV픽셀과 C 픽셀을 단위 셀 당 각각 하나씩 배치한다. 따라서, 가시광선의 G파장 영역에 반응하는 G픽셀이 단위 셀 당 2개가 있는 기존의 RGB Bayer픽셀 패턴을 이용하는 영상센서들에 비하여 가시광선에 대한 센서의 감도(sensitivity)가 증가한다.
또한, 본 발명의 영상센서는 가시광선 칼라 영상을 얻기 위하여 영상센서 외부에 적외선 차단 필터를 사용할 필요가 없다.
종래에는 근적외선 영상 및 가시광선 칼라 영상을 선택적으로 촬영할 수 있는 영상센서의 경우, 근적외선 영상 촬영 모드 및 가시광선 칼라 영상 촬영 모드를 스위칭하기 위해서, 카메라 시스템에 적외선 차단 필터를 광로에 삽입 또는 제거하는 기계적 장치를 구비하여야 한다.
반면, 본 실시예의 영상센서를 이용하면 카메라 시스템에 적외선 차단 필터를 광로에 삽입 또는 제거하는 기계적 장치를 제거할 수 있다. 그에 따라, 카메라 시스템을 간략화하고 비용을 절감하며 내구성을 향상시킬 수 있다.
이 경우, 도 1의 모드 조정부(230)는 가시광선 칼라 영상 촬영 모드 및 근적외선 영상 촬영 모드로 전환함에 있어서, 영상센서 외부에서 적외선 차단 필터의 삽입 제거 등의 광학적 조정을 수행함이 없이, 칼라/IR 영상 추출부의 영상처리 과정 및 영상처리 과정을 거치고 난 영상신호들의 출력형태를 조정한다.
근적외선 영상 촬영 모드인 경우 상기 수학식 13에 따른 근적외선 신호 값을 산출하고, 가시광선 칼라 영상 촬영 모드인 경우 상기 수학식 14 내지 16에 따른 R, B, G 값을 산출한다. 다시 말해, 상기 모드 조정부(230)는, 근적외선 영상 촬영 모드인 경우 도 6 또는 도 5의 흐름도에서 S40까지 수행하고, 칼라 영상 촬영 모드인 경우 S60까지의 모든 단계를 수행하도록 칼라/IR 영상 추출부의 과정을 조절할 수 있다.
상기한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
100 : 영상센서
111 : 가시광선의 제1 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 픽셀
112 : 가시광선의 제2 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 픽셀
113 : 가시광선의 전체 파장 영역의 빛을 감지하고 근적외선 빛에는 반응하지 않는 픽셀
114 : 가시광선의 전체 파장 영역의 빛 및 근적외선 빛을 감지하는 픽셀
150 : 픽셀 그룹 연결 소자(pixel group connecting device)
160 : 적응적 픽셀 그룹화 조정부(adaptive pixel group connecting device)
180: 다중 자동노출 조정부(multiple auto exposure control part)
200 : 로우 드라이버(row driver)
210 : 컬럼 신호읽기 회로(column signal reading circuit)
220 : 칼라/IR 영상 추출부(color/IR image extraction part)
230 : 모드조정부 mode control part)
240 : 노출 속성정부 기록부(exposure meta data writter)

Claims (7)

  1. 가시광선의 제1 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제1 픽셀;
    가시광선의 제2 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제2 픽셀;
    가시광선의 전체 파장 영역의 빛을 감지하고 근적외선 빛에는 반응하지 않는 제3 픽셀;
    가시광선의 전체 파장 영역의 빛 및 근적외선 빛을 감지하는 제4 픽셀;
    조명 환경에 따라 상기 제1 내지 제4 픽셀을 2개 이상의 그룹으로 구분하는 적응적 픽셀 그룹화 조정부;
    상기 구분된 그룹들에 대하여 각 그룹마다 노출시간을 서로 별개로 조정하는 다중 노출 조정부; 및
    상기 다중 노출 조정부가 출력하는 상기 각 그룹의 노출시간을 조정하는 신호를 상기 각 그룹에 속하는 픽셀들에게 전달하는 픽셀 그룹 연결 소자
    를 포함하는 영상센서.
  2. 제1항에 있어서,
    상기 제4 픽셀의 출력 신호와 상기 제3 픽셀의 출력 신호의 차이로부터 상기 근적외선 영상신호를 추출하고;
    상기 제1 픽셀의 출력 신호와 상기 근적외선 영상신호의 차이로부터 상기 제1 색상의 영상신호를 추출하고;
    상기 제2 픽셀의 출력 신호와 상기 근적외선 영상신호의 차이로부터 상기 제2 색상의 영상신호를 추출하고;
    상기 제1 색상의 영상신호와 상기 제2 색상의 영상신호를 합한 값과 상기 제3 픽셀의 출력 신호의 차이로부터 상기 제1 색상 및 상기 제2 색상과 다른 제3 색상의 영상신호를 추출하는 칼라/IR 영상 추출부
    를 더 포함하는 영상센서.
  3. 제1항에 있어서,
    상기 영상센서를 가시광선 영상 촬영 모드 또는 근적외선 영상 촬영 모드 또는 가시광선 영상 및 근적외선 영상을 동시에 촬영하는 모드로 조정하는 모드 조정부를 더 포함하는 영상센서.
  4. 제 1항에 있어서,
    상기 적응적 픽셀 그룹화 조정부가 구분한 그룹 및 상기 다중 노출 조정부가 각 그룹마다 서로 다르게 조정한 노출시간에 대한 정보를 기록하는 노출 속성정보 기록부
    를 더 포함하는 영상 센서.
  5. 가시광선의 제1 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제1 픽셀;
    가시광선의 제2 색상에 해당하는 파장 영역의 빛 및 근적외선 빛을 감지하는 제2 픽셀;
    가시광선의 전체 파장 영역의 빛을 감지하고 근적외선 빛에는 반응하지 않는 제3 픽셀; 및
    가시광선의 전체 파장 영역의 빛 및 근적외선 빛을 감지하는 제4 픽셀을 포함하는 이미지 센서에 대한 센싱 방법에 있어서,
    상기 조명 환경에 따라 적응적으로 상기 제1 내지 제4 픽셀을 2개 이상의 그룹으로 구분하는 단계;
    상기 2개 이상의 각 그룹들에 적용할 노출 시간들을 서로 별개로 결정하는 단계;
    상기 결정된 노출 시간들로 상기 제1 내지 제4 픽셀을 노출하고 픽셀 신호를 획득하는 단계;
    상기 제1 내지 제4 픽셀의 출력 신호들로부터 가시광선 칼라 영상 및 근적외선 영상을 추출하는 단계를 포함하는 센싱 방법.
  6. 제5항에 있어서,
    상기 가시광선 칼라 영상 및 근적외선 영상을 추출하는 단계에서는,
    상기 제4 픽셀의 출력 신호와 상기 제3 픽셀의 출력 신호의 차이로부터 상기 근적외선 영상신호를 추출하고;
    상기 제1 픽셀의 출력 신호와 상기 근적외선 영상신호의 차이로부터 상기 제1 색상의 영상신호를 추출하고;
    상기 제2 픽셀의 출력 신호와 상기 근적외선 영상신호의 차이로부터 상기 제2 색상의 영상신호를 추출하고;
    상기 제1 색상의 영상신호와 상기 제2 색상의 영상신호를 합한 값과 상기 제3 픽셀의 출력 신호의 차이로부터 상기 제1 색상 및 상기 제2 색상과 다른 제3 색상의 영상신호를 추출하는 센싱 방법.
  7. 제5항에 있어서,
    가시광선 영상 촬영 모드 또는 근적외선 영상 촬영 모드 또는 상기 가시광선 영상 및 근적외선 영상을 동시에 촬영하는 모드로 조정하는 단계
    를 더 포함하는 센싱 방법.
KR1020160147278A 2016-11-07 2016-11-07 가시광선 칼라 및 근적외선 영상 촬영용 영상 센서 및 센싱 방법 KR101921995B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160147278A KR101921995B1 (ko) 2016-11-07 2016-11-07 가시광선 칼라 및 근적외선 영상 촬영용 영상 센서 및 센싱 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160147278A KR101921995B1 (ko) 2016-11-07 2016-11-07 가시광선 칼라 및 근적외선 영상 촬영용 영상 센서 및 센싱 방법

Publications (2)

Publication Number Publication Date
KR20180050803A true KR20180050803A (ko) 2018-05-16
KR101921995B1 KR101921995B1 (ko) 2018-11-27

Family

ID=62451746

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160147278A KR101921995B1 (ko) 2016-11-07 2016-11-07 가시광선 칼라 및 근적외선 영상 촬영용 영상 센서 및 센싱 방법

Country Status (1)

Country Link
KR (1) KR101921995B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210103016A (ko) 2020-02-12 2021-08-23 전주대학교 산학협력단 실외 공기질 정화 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5718138B2 (ja) * 2011-04-20 2015-05-13 株式会社豊田中央研究所 画像信号処理装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210103016A (ko) 2020-02-12 2021-08-23 전주대학교 산학협력단 실외 공기질 정화 시스템

Also Published As

Publication number Publication date
KR101921995B1 (ko) 2018-11-27

Similar Documents

Publication Publication Date Title
CN205726019U (zh) 成像系统、成像设备和图像传感器
CN103327342B (zh) 具有透明滤波器像素的成像系统
US8198574B2 (en) Large dynamic range cameras
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
US8564688B2 (en) Methods, systems and apparatuses for white balance calibration
CN101433095B (zh) 摄像设备及其控制方法
US8629919B2 (en) Image capture with identification of illuminant
US20050128509A1 (en) Image creating method and imaging device
EP1255410A2 (en) System and method for capturing color images that extends the dynamic range of an image sensor
US20130258168A1 (en) Image capturing apparatus and in-focus position detection method thereof
US8243164B2 (en) Method, apparatus, and system for selecting pixels for automatic white balance processing
EP1730946A2 (en) The reproduction of alternative forms of light from an object using a digital imaging system
JP2005198319A (ja) 撮像素子および方法
US20090016638A1 (en) Defective pixel detector, imaging device, and defective pixel detection method
US20130088623A1 (en) Imaging apparatus and method of calculating white balance gain
TWI514894B (zh) 攝取數位影像中的白平衡校正技術
CN113992868A (zh) 图像传感器、摄像模组和电子设备
US20140307130A1 (en) Imaging device
KR101921995B1 (ko) 가시광선 칼라 및 근적외선 영상 촬영용 영상 센서 및 센싱 방법
US7146040B2 (en) Automatic white balance technique
JP2005033609A (ja) 固体撮像装置及びデジタルカメラ
KR101848284B1 (ko) 가시광선 칼라 및 근적외선 영상 촬영용 영상 센서
JP4649734B2 (ja) 映像信号処理装置および映像信号処理プログラムを記録した記録媒体
CN115187559A (zh) 用于图像的光照检测方法、装置、存储介质与电子设备
CN115242949A (zh) 摄像模组与电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration