KR20140019157A - Camera with spectrometric sensor operating method - Google Patents

Camera with spectrometric sensor operating method Download PDF

Info

Publication number
KR20140019157A
KR20140019157A KR1020120085744A KR20120085744A KR20140019157A KR 20140019157 A KR20140019157 A KR 20140019157A KR 1020120085744 A KR1020120085744 A KR 1020120085744A KR 20120085744 A KR20120085744 A KR 20120085744A KR 20140019157 A KR20140019157 A KR 20140019157A
Authority
KR
South Korea
Prior art keywords
sensor
image
color
projected
spectral
Prior art date
Application number
KR1020120085744A
Other languages
Korean (ko)
Inventor
최병일
Original Assignee
주식회사 나노람다코리아
최병일
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 나노람다코리아, 최병일 filed Critical 주식회사 나노람다코리아
Priority to KR1020120085744A priority Critical patent/KR20140019157A/en
Publication of KR20140019157A publication Critical patent/KR20140019157A/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

The present invention relates to a method for operating a camera with a spectrometric sensor. A subject image is projected to a color image sensor through a lens system of the camera. A beam splitter is disposed between the lens system and the color image sensor. The same image projected to the color image sensor is projected to the spectrometric sensor (120) through the beam splitter (150). A diffuser is disposed between the spectrometric sensor and the beam splitter. Until the same image projected to the color image sensor is projected to the spectrometric sensor (120) through the beam splitter (150), the image passes through the diffuser (121) mixing the wavelength energy of the entire image. The spectrometric sensor (120) catches and measures the spectral power density of the entire landscape of the projected image without catching a spatial image. A raw color image before red, green, blue (RGB) color correction photographed by the color image sensor (110) is supplied to a signal processing unit (130). The color of the raw color image before RGB color correction is corrected considering the spectral power density of the entire landscape of the image measured by the spectrometric sensor. The color-corrected image data is displayed with the raw image data before correction or separately on a display unit, stored in a storage medium, or transmitted to the outside through a transmission medium. Thus, it can be possible to cut down size, reduce costs, and be applicable to various fields. [Reference numerals] (110) Image sensor; (120) Spectrometric sensor; (130) Signal processing; (140) Display/storage/transmission device

Description

분광센서가 설치된 카메라의 작동방법{camera with spectrometric sensor operating method}Camera with spectrometric sensor operating method

본발명은 모바일 등 가전기기, 수질 등 환경감시센서, 개인의료기기 분야 등 다양한 분야에 적용할 수 있는 분광센서가 설치된 카메라의 작동방법에 관한 것이다.The present invention relates to a method of operating a camera equipped with a spectroscopic sensor that can be applied to various fields, such as home appliances, such as mobile, environmental monitoring sensors such as water quality, and personal medical devices.

모든 물질은 빛의 파장에 대한 고유의 반응 특성(흡수 또는 반사)을 가지고 있으며, 이를 그 물질의 스펙터를 핑거프린트(spectral fingerprint)라고 부른다. 따라서 빛을 타겟 물질에 비추고, 그 물질에서 흡수 반사 또는 투과되는 빛의 ‘파장스펙트럼’을 분석하여, 해당 물질의 생화학적 특성을 파악하는 분광분석 기술이 오래 전부터 개발 이용되고 있으며, 특히 비파괴 비침습 방식으로 물질 분석이 가능하기 때문에 제약, 의료, 화학, 환경, 국방 심지어는 우주과학 등에 까지 널리 쓰이고 있다. 또한 LCD 디스플레이, LED등 정밀한 컬러측정에도 사용되고 있다. All materials have inherent response properties (absorption or reflection) to the wavelength of light, and the material's specter is called a spectral fingerprint. Therefore, the spectroscopic analysis technique that analyzes the 'wavelength spectrum' of the light that is reflected and transmitted or absorbed from the material, and finds the biochemical characteristics of the material has been developed and used for a long time. It is widely used in pharmaceuticals, medicine, chemistry, the environment, defense and even space science because it can be analyzed in such a way. It is also used for precise color measurement such as LCD displays and LEDs.

이렇게 유용하고 강력한 수단 및 기능임에도 불구하고 일반인에게는 전혀 알려져 있지도 않았다. 그 이유는 빛의 파장 스펙트럼을 분석하기 위한 장치인 분광기(optical spectrometer)가 사이즈도 크고, 가격 또한 매우 비싸, 전문 연구실에서나 사용되고 있을 뿐이며, 실생활에의 사용은 불가능하고 실제 응용 또한 전무한 상태이다. 종래의 장치는 분광을 하기 위해 크고 환경에 민감한 광학부품인 회절격자(diffraction grating)를 사용했다.      Despite these useful and powerful means and functions, they were not known to the public at all. The reason is that the optical spectrometer, a device for analyzing the wavelength spectrum of light, is large in size and very expensive, and is only used in specialized laboratories. It is impossible to use in real life and there is no practical application. Conventional devices used diffraction gratings, which are large, environmentally sensitive optical components for spectroscopy.

그러나 최근 첨단 나노광학 분야인 플라즈모닉스 기술을 이용하여 기존광학 기술의 한계를 극복하고, 지능 소프트웨어 기술과 융합하는 혁신적인 발상으로 기존의 분광기(Optical Spectrometer) 장비 기능을, 초소형 칩(chip)안에서 구현 한 나노분광센서 구현이 가능하게 되었다.   However, by utilizing plasmonic technology, which is an advanced nano-optical field, the innovative concept of overcoming the limitations of existing optical technology and integrating with intelligent software technology, the function of the existing optical spectrometer equipment is realized in a tiny chip. One nanospectral sensor can be implemented.

상기 나노분광센서에 대해서는 본발명인이 개발한 미국공개특허공보 2010/0182598호(2010. 7. 22공개 ), 및 세계특허공개공보 WO 2010108086호(2010년09월23일 공개)에서도 당업자가 용이하게 실시할 수 있게 기술이 공개되어 있음으로, 자세한 기재는 생략 한다.      Regarding the nanospectral sensor, a person skilled in the art can also easily find it in US Patent Publication No. 2010/0182598 (published on July 22, 2010) and World Patent Publication No. WO 2010108086 (published on September 23, 2010) developed by the present inventor. Since the technology is disclosed to be able to implement, detailed description is omitted.

따라서 본 발명은, 상기와 같이 이미 알려진 나노분광센서를 이용하여, RED(적), GREEN(녹), BLUE(청) 3색 필터에 의존하는 컬러 카메라의 색 정확도를 높여주는 카메라 및 사진촬영 방법에 대한 것이다.     Therefore, the present invention, a camera and a photographing method for improving the color accuracy of the color camera relying on the RED (red), GREEN (green), BLUE (blue) three-color filter by using the nano-spectral sensor already known as described above It is about.

따라서 본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로서, 크기가 적고, 가격이 저렴하며, 다양한 분야에 적용 가능한 분광센서가 설치된 카메라의 작동방법을 제공하고자 하는 것이다.Accordingly, the present invention has been made to solve the above problems, to provide a method of operating a camera equipped with a small size, low cost, and a spectroscopic sensor applicable to various fields.

본발명은 분광센서가 설치된 카메라의 작동방법에 관한 것으로, 피사체(170)의 이미지가 카메라의 렌즈시스템(160)을 통해 컬러이미지센서(110)에 투영되되, 렌즈시스템(160)과 컬러이미지센서(110) 사이에 빔스프리터(150)가 설치되어 있어서, 상기 컬러이미지센서(110)에 투영되는 동일한 이미지가 빔스프리터(150)를 통하여 분광센서(120)쪽으로도 투영되되, 상기 분광센서(120)와 빔스프리터(150) 사이에는 디퓨져(121)가 설치되어 있어서, 상기 컬러이미지센서(110)에 투영되는 동일한 이미지가 빔스프리터(150)를 통하여 분광센서(120)에 투영되기 전에, 이미지전체의 파장에너지를 섞어주는 기능을 하는 디퓨저(121)를 통과하여 투영됨으로써, 분광센서(120)는 공간적인 이미지를 보는 것이 아니라, 피사되는 이미지 전체 풍경의 분광분포(spectral power density)을 보게 되고 측정하게 되는 것으로, 컬러이미지센서(110)가 촬영한 적(RED), 녹(GREEN), 청(BLUE) 3색 보정전 순수(RAW) 컬러 이미지가 신호처리유니트(130)으로 공급되고, 상기 신호처리유니트(130)는 상기 보정전 순수(RAW) 컬러 이미지를 분광센서가 측정한 이미지 전체 풍경의 분광분포를 반영하여, 컬러 처리를 보정하는 것으로, 보정방법은 관용적으로 사용되는 방법으로서, 보정전 순수(RAW) 컬러 이미지를 전기적 신호로 변환하고, 상기 분광센서가 측정한 이미지 전체 풍경의 분광분포 역시 전기적 신호로 변환하여, 상기 분광센서가 측정한 이미지 전체 풍경의 분광분포의 전기적 신호들을 보정전 순수(RAW) 컬러 이미지를 변환한 전기적 신호에 반영하여 컬러보정처리된 이미지 데이터를 만들어, 디스플레이 유니트에 디스플레이 하거나, 저장매체에 저장하거나, 전송매체를 통해 외부로 전송하는 것이며, 또한, 상기 분광센서는 나노광학 필터를 직접 수광소자인 CCD/CMOS 센서에 집적한 것으로, 각각의 픽셀에 특정파장의 나노광학필터가 부착되어 있으며, 그 픽셀은 해당 파장에 대한 정보만 받아들이도록 설계가 되어 있고, 그렇게 입력된 모든 픽셀의 정보를 신호처리 소프트웨어를 이용하여 처리함으로써, 입력 광신호의 분광특성을 해석해내는 것인 것을 특징으로 한다.The present invention relates to a method of operating a camera equipped with a spectroscopic sensor, the image of the subject 170 is projected onto the color image sensor 110 through the lens system 160 of the camera, the lens system 160 and the color image sensor The beam splitter 150 is installed between the 110, and the same image projected on the color image sensor 110 is also projected toward the spectroscopic sensor 120 through the beam splitter 150. ) And a diffuser 121 is installed between the beam splitter 150 and before the same image projected on the color image sensor 110 is projected onto the spectroscopic sensor 120 through the beam splitter 150. By projecting through a diffuser 121 that mixes the wavelength energy of the spectroscopy, the spectroscopy sensor 120 does not see the spatial image, but rather sees the spectral power density of the entire landscape to be projected. In order to measure, the red, green, and blue tricolor corrected color images taken by the color image sensor 110 are supplied to the signal processing unit 130. The signal processing unit 130 corrects the color processing by reflecting the spectral distribution of the entire landscape of the image measured by the spectroscopic sensor in the raw color (RAW) color image before correction, and the correction method is conventionally used. Converts a full color (RAW) color image into an electrical signal and converts the spectral distribution of the entire landscape measured by the spectral sensor into an electrical signal to correct the electrical signals of the spectral distribution of the entire landscape measured by the spectral sensor. Generates color-corrected image data by reflecting the entire raw (RAW) color image on the converted electrical signal, and displays it on a display unit, saves it on a storage medium, or transfer medium. In addition, the spectroscopy sensor is a direct integration of a nano-optic filter into a CCD / CMOS sensor, which is a light-receiving element. Each pixel has a specific wavelength nano-optic filter attached to the pixel. It is designed to accept only the information on the wavelength, and the spectral characteristics of the input optical signal are analyzed by processing the information of all the inputted pixels using signal processing software.

따라서 본발명은 크기가 적고, 가격이 저렴하며, 다양한 분야에 적용 가능하다는 현저한 효과가 있다.Therefore, the present invention has a remarkable effect that it is small in size, low in price, and applicable to various fields.

도 1은 본발명 분광센서가 이미지 센서와 동일 렌즈를 통해 촬영하는 이미지의 컬러를 측정하여, 촬영하는 이미지의 컬러특성을 향상 시키는 카메라 구조 설명도
도 2는 분광센서가 카메라가 사진촬영을 위해 위치한 환경의 분광특성을 spectral power density를 측정하여 촬영하는 이미지의 컬러특성을 향상 시키는 카메라 구조 설명도1 is an explanatory diagram of a camera structure in which the present invention measures color of an image photographed through the same lens as an image sensor, thereby improving color characteristics of the photographed image;
2 is an explanatory diagram of a camera structure in which a spectroscopic sensor improves color characteristics of an image photographed by measuring spectral power density of spectral characteristics of an environment where a camera is positioned for photographing;

본발명은 분광센서가 설치된 카메라의 작동방법에 관한 것으로, 피사체(170)의 이미지가 카메라의 렌즈시스템(160)을 통해 컬러이미지센서(110)에 투영되되, 렌즈시스템(160)과 컬러이미지센서(110) 사이에 빔스프리터(150)가 설치되어 있어서, 상기 컬러이미지센서(110)에 투영되는 동일한 이미지가 빔스프리터(150)를 통하여 분광센서(120)쪽으로도 투영되되, 상기 분광센서(120)와 빔스프리터(150) 사이에는 디퓨져(121)가 설치되어 있어서, 상기 컬러이미지센서(110)에 투영되는 동일한 이미지가 빔스프리터(150)를 통하여 분광센서(120)에 투영되기 전에, 이미지전체의 파장에너지를 섞어주는 기능을 하는 디퓨저(121)를 통과하여 투영됨으로써, 분광센서(120)는 공간적인 이미지를 보는 것이 아니라, 피사되는 이미지 전체 풍경의 분광분포(spectral power density)을 보게 되고 측정하게 되는 것으로, 컬러이미지센서(110)가 촬영한 적(RED), 녹(GREEN), 청(BLUE) 3색 보정전 순수(RAW) 컬러 이미지가 신호처리유니트(130)으로 공급되고, 상기 신호처리유니트(130)는 상기 보정전 순수(RAW) 컬러 이미지를 분광센서가 측정한 이미지 전체 풍경의 분광분포를 반영하여, 컬러 처리를 보정하는 것으로, 상기 보정방법은 관용적으로 사용되는 방법으로서, 보정전 순수(RAW) 컬러 이미지를 전기적 신호로 변환하고, 상기 분광센서가 측정한 이미지 전체 풍경의 분광분포 역시 전기적 신호로 변환하여, 상기 분광센서가 측정한 이미지 전체 풍경의 분광분포의 전기적 신호들을 보정전 순수(RAW) 컬러 이미지를 변환한 전기적 신호에 반영하여 컬러보정처리된 이미지 데이터를 만들어, 디스플레이 유니트에 디스플레이 하거나, 저장매체에 저장하거나, 전송매체를 통해 외부로 전송하는 것이며, 또한, 상기 분광센서는 나노광학 필터를 직접 수광소자인 CCD/CMOS 센서에 집적한 것으로, 각각의 픽셀에 특정파장의 나노광학필터가 부착되어 있으며, 그 픽셀은 해당 파장에 대한 정보만 받아들이도록 설계가 되어 있고, 그렇게 입력된 모든 픽셀의 정보를 신호처리 소프트웨어를 이용하여 처리함으로써, 입력 광신호의 분광특성을 해석해내는 것인 것을 특징으로 한다.The present invention relates to a method of operating a camera equipped with a spectroscopic sensor, the image of the subject 170 is projected onto the color image sensor 110 through the lens system 160 of the camera, the lens system 160 and the color image sensor The beam splitter 150 is installed between the 110, and the same image projected on the color image sensor 110 is also projected toward the spectroscopic sensor 120 through the beam splitter 150. ) And a diffuser 121 is installed between the beam splitter 150 and before the same image projected on the color image sensor 110 is projected onto the spectroscopic sensor 120 through the beam splitter 150. By projecting through a diffuser 121 that mixes the wavelength energy of the spectroscopy, the spectroscopy sensor 120 does not see the spatial image, but rather sees the spectral power density of the entire landscape to be projected. In order to measure, the red, green, and blue tricolor corrected color images taken by the color image sensor 110 are supplied to the signal processing unit 130. The signal processing unit 130 corrects the color processing by reflecting the spectral distribution of the entire landscape of the image measured by the spectroscopic sensor in the raw color (RAW) color image before the correction, and the correction method is conventionally used. Converts the raw color (RAW) color image before the correction into an electrical signal and converts the spectral distribution of the entire landscape measured by the spectral sensor into an electrical signal, thereby converting the electrical signals of the spectral distribution of the entire landscape measured by the spectral sensor. The raw color (RAW) color image before the correction is reflected in the converted electrical signal to produce color corrected image data, display it on the display unit, save it to a storage medium, In addition, the spectroscopic sensor integrates a nano-optic filter directly into a CCD / CMOS sensor, which is a light-receiving element, and has a specific wavelength nano-optic filter attached to each pixel. Is designed to accept only the information on the wavelength and is characterized by analyzing the spectral characteristics of the input optical signal by processing the information of all the inputted pixels using signal processing software.

또한, 피사체(270)의 이미지가 카메라(200)의 렌즈시스템(260)을 통하여 컬러이미지센서(210)에 투영되되, 카메라가 위치한 환경의 빛(280)이 카메라에 부착된 디퓨저(221)를 통하여 분광센서(220)에 투영되는 것으로, 분광센서(220)에 투영되기 전에, 환경 전체의 파장에너지를 섞어주는 기능을 하는 디퓨저(221)를 통과하여 투영됨으로써, 분광센서(220)는 특정한 공간적인 이미지를 보는 것이 아니라, 카메라가 위치한 곳의 환경 분광분포(spectral power density)를 보게 되고 측정하게 되며, 컬러이미지센서(210)가 촬영한 적(RED), 녹(GREEN), 청(BLUE) 3색 보정전 순수(RAW) 컬러 이미지가 신호처리유니트(230)으로 공급되고, 상기 신호처리유니트(230)는 상기 보정전 순수(RAW) 컬러 이미지를 분광센서가 측정한 이미지 전체 풍경의 분광분포를 반영하여, 컬러 처리를 보정하는 것으로, 상기 보정방법은 관용적으로 사용되는 방법으로서, 보정전 순수(RAW) 컬러 이미지를 전기적 신호로 변환하고, 상기 분광센서가 측정한 이미지 전체 풍경의 분광분포 역시 전기적 신호로 변환하여, 상기 분광센서가 측정한 이미지 전체 풍경의 분광분포의 전기적 신호들을 보정전 순수(RAW) 컬러 이미지를 변환한 전기적 신호에 반영하여 컬러보정처리된 이미지 데이터를 만들어, 디스플레이 유니트에 디스플레이 하거나, 저장매체에 저장하거나, 전송매체를 통해 외부로 전송하는 것이며, 또한, 상기 분광센서는 나노광학 필터를 직접 수광소자인 CCD/CMOS 센서에 집적한 것으로, 각각의 픽셀에 특정파장의 나노광학필터가 부착되어 있으며, 그 픽셀은 해당 파장에 대한 정보만 받아들이도록 설계가 되어 있고, 그렇게 입력된 모든 픽셀의 정보를 신호처리 소프트웨어를 이용하여 처리함으로써, 입력 광신호의 분광특성을 해석해내는 것인 것을 특징으로 한다.     In addition, the image of the subject 270 is projected to the color image sensor 210 through the lens system 260 of the camera 200, the light 280 of the environment where the camera is located to the diffuser 221 attached to the camera. Projected through the spectroscopy sensor 220 through the diffuser 221, which projects the wavelength energy of the whole environment before being projected onto the spectroscopy sensor 220, the spectroscopy sensor 220 is a specific space Rather than looking at the normal image, the environmental spectral power density where the camera is located is measured and measured, and the red, green, and blue images captured by the color image sensor 210 are measured. The pre-correction color raw (RAW) color image is supplied to the signal processing unit 230, and the signal processing unit 230 is a spectral distribution of the entire landscape of the image measured by the spectroscopic sensor to the raw color correction (RAW) color image To correct the color processing. The correction method is a conventionally used method, converting a raw color (RAW) color image before correction into an electrical signal, and converting the spectral distribution of the entire landscape measured by the spectroscopic sensor into an electrical signal, Reflects the electrical signals of the spectral distribution of the entire landscape to the electrical signals converted from the raw (RAW) color image before the correction, to produce color-corrected image data, display them on a display unit, or store them on a storage medium, In addition, the spectroscopic sensor is a direct integration of a nano-optic filter into a CCD / CMOS sensor, which is a light-receiving element, and each pixel is attached with a nano-optic filter having a specific wavelength. Is designed to accept only information about the wavelength and signalizes all the input pixel information. By processing using software, the spectral characteristics of the input optical signal are analyzed.

본발명을 첨부도면에 의해 상세히 설명하면 다음과 같다. 도 1은 본발명 분광센서가 이미지 센서와 동일 렌즈를 통해 촬영하는 이미지의 컬러를 측정하여, 촬영하는 이미지의 컬러특성을 향상 시키는 카메라 구조 설명도, 도 2는 분광센서가 카메라가 사진촬영을 위해 위치한 환경의 분광특성을 (spectral power density)를 측정하여 촬영하는 이미지의 컬러특성을 향상 시키는 카메라 구조 설명도이다.
The present invention will be described in detail with reference to the accompanying drawings. 1 is an explanatory view of a camera structure in which the present invention measures color of an image photographed through the same lens as an image sensor, thereby improving color characteristics of the image to be photographed, and FIG. This is an explanatory diagram of a camera structure that improves the color characteristics of an image taken by measuring the spectral power density of a located environment.

나노스펙트럼센서를 사용하는 방식에 따라 측정방식은 3가지로 나눌 수 있는데, 첫째 기기 또는 환경으로부터 방사 입력되는 빛 그 자체를 측정하는 이미션 타입(emission type), 측정하고자 하는 목표물에 빛을 쏘아서 반사되는 빛의 파장을 측정하는 리플렉션 타입(reflection type), 그리고 빛이 목표물을 투과한 후 투과된 파장을 측정하는 트랜스미션 타입(transmission type)으로 나눌 수 있다.
Depending on how the nanospectral sensor is used, the measurement method can be divided into three types: first, an emission type for measuring light itself emitted from a device or environment, and reflecting light by shooting light at a target to be measured. It can be divided into a reflection type for measuring the wavelength of light to be transmitted, and a transmission type for measuring the wavelength transmitted after the light has passed through the target.

분광센서 기술로서는 다양한 종류의 기술이 있으며, 대표적인 것으로 나노필터 어레이(array) 기반, 포토닉 크리스탈 필터 어레이(Photonic crystal filter array) 기반, 패턴드 디코릭 필터 어레인(Patterned Dichroic Filter array) 기반, 페브리- 페롯 필터 어레이(Fabry-Perot Filter array) 기반, MEMS기술을 이용한 디프렉션 그레이팅(diffraction grating) 방식 분광센서 등이 있다.
There are various types of spectral sensor technologies, and representative ones are nano filter array based, photonic crystal filter array based, patterned dichroic filter array based, and There is a diffraction grating spectroscopic sensor based on a Fabry-Perot Filter array and MEMS technology.

본발명은 나노광학 필터를 직접 수광소자인 CCD/CMOS 센서에 집적하여, 그 크기가 소형 이미지센서보다도 더 작게 구현이 가능하다. 각각의 픽셀에 특정파장의 나노광학필터가 부착되어 있으며, 그 픽셀은 해당 파장에 대한 정보만 받아들이도록 설계가 되어 있고, 그렇게 입력된 모든 픽셀의 정보를 고도의 신호처리 소프트웨어를 이용하여 처리함으로써, 입력 광신호의 분광특성을 해석해내는 분광센서(Spectrum Sensor) 이다.      The present invention integrates a nano-optic filter directly into a CCD / CMOS sensor, which is a light receiving element, so that its size can be made smaller than that of a small image sensor. Each pixel is equipped with a specific wavelength nano-optic filter, and the pixel is designed to accept only information about that wavelength, and by processing the information of all the pixels so input using advanced signal processing software, Spectrum sensor that analyzes the spectral characteristics of the input optical signal.

또한 나노광학 필터는 최소 사이즈(size) 가 50nm 정도의 고정밀 금속 나노구조물로 구성되어 있으며, 50nm 급 나노임프린트 리쏘크라피(nanoimprint lithography)를 사용하여 표준 CMOS 웨이퍼(wafer) 공정을 통하여 제작함으로써, 초저가로 양산이 가능하다. 이렇게 양산되는 분광센서(Spectrum Sensor) 는 나노임프린트(nanoimprint) 공정을 CMOS 반도체 공정에 병행 사용하여 부품을 양산하게 된다.     In addition, the nano-optic filter is composed of high-precision metal nanostructures with a minimum size of about 50 nm, and is manufactured through a standard CMOS wafer process using 50 nm-scale nanoimprint lithography. Mass production is possible. The mass-produced Spectrum Sensor will mass-produce parts using a nanoimprint process in parallel to CMOS semiconductor processes.

기술적 성능 또한 소형 저가의 센서로서는 획기적으로 우수하며, 일반 실험실용 소형 optical spectrometer 의 성능에 근접하는 수준이다.
Technical performance is also remarkable for small, low cost sensors, close to the performance of small optical spectrometers for general laboratories.

본발명 나노 분광센서(Spectrum Sensor)는, 나노기술을 이용하여 이러한 실험실 장비인 광학 분광계(optical spectrometer) 기능을 센서칩에 구현하는 것이다.      The present invention is a nano-spectral sensor (Spectrum Sensor), by using a nano technology to implement the optical spectrometer function of the laboratory equipment on the sensor chip.

이렇게 소형 저가가 가능한 이유는 분광을 하기 위해 기존의 광학부품인 회절격자(diffraction grating)을 쓰지 않고, 나노광학기술을 활용하여, 격자(grating)를 대체할 수 있는 소형 저가 필터 어래이 기술을 사용하기 때문이다.
The reason for such a small low cost is to use a small low-cost filter array technology that can replace grating by using nano-optic technology without using diffraction grating, which is a conventional optical component, for spectroscopy. Because.

도면 1에서 피사체의 이미지가 카메라의 렌즈시스템을 통해 컬러이미지센서에 투영된다. 이때 컬러이미지센서에 투영되는 동일한 이미지가 빔스프리터(150)를 통하여 분광센서(120)쪽으로도 투영된다. 분광센서(120)에 투영되기 전에, 이미지전체의 파장에너지를 섞어주는 기능을 하는 디퓨저(121)를 통과하여 투영됨으로써, 분광센서(120)는 공간적인 이미지를 보는 것이 아니라, 피사되는 이미지 전체 풍경의 분광분포(spectral power density)을 보게 되고 측정하게 된다.     In FIG. 1, an image of a subject is projected onto a color image sensor through a lens system of a camera. In this case, the same image projected onto the color image sensor is also projected toward the spectroscopic sensor 120 through the beam splitter 150. Before being projected onto the spectroscopy sensor 120, the light is projected through the diffuser 121, which functions to mix the wavelength energy of the entire image, so that the spectroscopy sensor 120 does not see the spatial image, but rather the entire landscape of the image to be projected. The spectral power density of is seen and measured.

컬러이미지센서(110)가 촬영한 적(RED), 녹(GREEN), 청(BLUE) 3색 보정전 순수(RAW) 컬러 이미지가 신호처리유니트(130)으로 공급되고, 상기 신호처리유니트(130)는 상기 보정전 순수(RAW) 컬러 이미지를 분광센서가 측정한 이미지 전체 풍경의 분광분포를 반영하여, 컬러 처리를 보정하는 것으로, 보정전 순수(RAW) 컬러 이미지를 전기적 신호로 변환하고, 상기 분광센서가 측정한 이미지 전체 풍경의 분광분포 역시 전기적 신호로 변환하고 상기 전기적 신호들을 합치거나 하여 보정하게 되며, 상기와 같이 이미지를 전기적 신호로 변환하여 보정하는 방법은 광학기계분야에서 널리 알려진 기술이며, 또한 관용적으로 사용되는 방법이므로, 이에 대한 자세한 기재는 생략한다.      Red, green, and blue color images captured by the color image sensor 110 are supplied to the signal processing unit 130 before the three-color corrected raw color image is supplied to the signal processing unit 130. ) Corrects the color processing by reflecting the spectral distribution of the entire landscape of the image measured by the spectroscopy sensor, converting the raw color (RAW) color image into an electrical signal. The spectral distribution of the entire landscape of the image measured by the spectroscopy sensor is also converted into an electrical signal, and the electrical signals are summed or corrected. In addition, since the method is conventionally used, a detailed description thereof will be omitted.

그러므로 상기 분광센서가 측정한 이미지 전체 풍경의 분광분포의 전기적 신호들을 보정전 순수(RAW) 컬러 이미지를 변환한 전기적 신호에 반영하여 컬러보정처리된 이미지 데이터를 만들어, 디스플레이 유니트에 디스플레이 하거나, 저장매체에 저장하거나, 전송매체를 통해 외부로 전송하는 것이다.
Therefore, by reflecting the electrical signals of the spectral distribution of the entire landscape image measured by the spectroscopy sensor to the electrical signals converted from the raw (RAW) color image before correction, color correction processed image data is displayed and displayed on the display unit or the storage medium. It is stored in or transmitted to the outside through a transmission medium.

도면 2에서, 피사체(270)의 이미지가 카메라(200)의 렌즈시스템(260)을 통하여 컬러이미지센서(210)에 투영된다. 이때 카메라가 위치한 환경의 빛(280)이 카메라에 부착된 디퓨저(diffuser, 221)을 통하여 분광센서(220)에 투영된다.      In FIG. 2, an image of the subject 270 is projected onto the color image sensor 210 through the lens system 260 of the camera 200. At this time, the light 280 of the environment in which the camera is located is projected onto the spectroscopy sensor 220 through a diffuser 221 attached to the camera.

분광센서(220)에 투영되기 전에, 환경 전체의 파장에너지를 섞어주는 기능을 하는 디퓨저(Diffuser, 221)를 통과하여 투영됨으로써, 분광센서(220)는 특정한 공간적인 이미지를 보는 것이 아니라, 카메라가 위치한 곳의 환경 분광분포(spectral power density)을 보게 되고 측정하게 된다.     Before being projected onto the spectroscopy sensor 220, the light is projected through a diffuser 221 that mixes the wavelength energy of the entire environment, so that the spectroscopy sensor 220 does not see a particular spatial image, but rather the camera. You will see and measure the environmental spectral power density where it is located.

컬러이미지센서(210)가 촬영한 적(RED), 녹(GREEN), 청(BLUE) 3색 보정전 순수(RAW) 컬러 이미지가 신호처리유니트(230)으로 공급되고, 상기 신호처리유니트(230)는 상기 보정전 순수(RAW) 컬러 이미지를 분광센서가 측정한 이미지 전체 풍경의 분광분포를 반영하여, 컬러 처리를 보정하는 것으로, 상기 보정방법은 관용적으로 사용되는 방법으로서, 보정전 순수(RAW) 컬러 이미지를 전기적 신호로 변환하고, 상기 분광센서가 측정한 이미지 전체 풍경의 분광분포 역시 전기적 신호로 변환하여, 상기 분광센서가 측정한 이미지 전체 풍경의 분광분포의 전기적 신호들을 보정전 순수(RAW) 컬러 이미지를 변환한 전기적 신호에 반영하여 컬러보정처리된 이미지 데이터를 만든다.     RED, GREEN, and BLUE color images taken by the color image sensor 210 are supplied to the signal processing unit 230, and the signal processing unit 230 is supplied to the signal processing unit 230. ) Corrects color processing by reflecting the spectral distribution of the entire landscape of the image measured by the spectroscopy sensor, and the correction method is conventionally used. ) The color image is converted into an electrical signal, and the spectral distribution of the entire landscape measured by the spectral sensor is also converted into an electrical signal, so that the electrical signals of the spectral distribution of the entire landscape measured by the spectral sensor are corrected. ) Color correction processed image data is reflected to the converted electrical signal.

이렇게 컬러보정처리된 이미지 데이터는 디스플레이 유니트에 디스플레이 하거나, 저장매체에 저장하거나, 전송매체를 통해 외부로 전송한다.     The image data subjected to the color correction process is displayed on a display unit, stored in a storage medium, or transmitted externally through a transmission medium.

그림 1과 그림 2에 있는 분광센서 각각이 동시에 같은 카메라에 부착되어 이미지 컬러 향상에 사용될 수도 있다.
Each of the spectroscopic sensors shown in Figure 1 and Figure 2 can be attached to the same camera at the same time and used to improve image color.

따라서 본발명은 그 크기가 5mm x 5mm x 2mm 보다 적으며, 가격 또한 파격적이어서, 모바일등 가전기기, 수질등 환경감시센서, 개인의료기기 분야 등 다양한 분야에 적용 가능하여, NT, IT, BT, CS(인지과학)와의 협력을 통한, 나노 융합기술의 새로운 시장 창출이 가능하다.     Therefore, the present invention is less than 5mm x 5mm x 2mm in size, and the price is also unprecedented, so it can be applied to various fields such as home appliances such as mobile, environmental monitoring sensor such as water quality, personal medical equipment, NT, IT, BT, Through cooperation with CS (cognitive science), it is possible to create a new market for nano convergence technology.

100 : 카메라 110 : 컬러이미지센서
120 : 분광센서 121 : 디퓨저
130 : 신호처리유니트 140 : 디스플레이 저장 전송장치
150 : 빔스프리터 160 : 렌즈시스템
170 : 피사체 200 : 카메라
210 : 컬러이미지센서 220 : 분광센서
221 : 디퓨저 230 : 신호처리유니트
240 : 디스플레이 저장 전송장치 260 : 렌즈시스템
270 : 피사체 280 : 빛100: camera 110: color image sensor
120: spectroscopy sensor 121: diffuser
130: signal processing unit 140: display storage transmission device
150: beam splitter 160: lens system
170: subject 200: camera
210: color image sensor 220: spectroscopy sensor
221: diffuser 230: signal processing unit
240: display storage transmission device 260: lens system
270: subject 280: light

Claims (2)

본발명은 분광센서가 설치된 카메라의 작동방법에 관한 것으로, 피사체(170)의 이미지가 카메라의 렌즈시스템(160)을 통해 컬러이미지센서(110)에 투영되되, 렌즈시스템(160)과 컬러이미지센서(110) 사이에 빔스프리터(150)가 설치되어 있어서, 상기 컬러이미지센서(110)에 투영되는 동일한 이미지가 빔스프리터(150)를 통하여 분광센서(120)쪽으로도 투영되되, 상기 분광센서(120)와 빔스프리터(150) 사이에는 디퓨져(121)가 설치되어 있어서, 상기 컬러이미지센서(110)에 투영되는 동일한 이미지가 빔스프리터(150)를 통하여 분광센서(120)에 투영되기 전에, 이미지전체의 파장에너지를 섞어주는 기능을 하는 디퓨저(121)를 통과하여 투영됨으로써, 분광센서(120)는 공간적인 이미지를 보는 것이 아니라, 피사되는 이미지 전체 풍경의 분광분포(spectral power density)을 보게 되고 측정하게 되는 것으로, 컬러이미지센서(110)가 촬영한 적(RED), 녹(GREEN), 청(BLUE) 3색 보정전 순수(RAW) 컬러 이미지가 신호처리유니트(130)으로 공급되고, 상기 신호처리유니트(130)는 상기 보정전 순수(RAW) 컬러 이미지를 분광센서가 측정한 이미지 전체 풍경의 분광분포를 반영하여, 컬러 처리를 보정하는 것으로, 보정방법은 관용적으로 사용되는 방법으로서, 보정전 순수(RAW) 컬러 이미지를 전기적 신호로 변환하고, 상기 분광센서가 측정한 이미지 전체 풍경의 분광분포 역시 전기적 신호로 변환하여, 상기 분광센서가 측정한 이미지 전체 풍경의 분광분포의 전기적 신호들을 보정전 순수(RAW) 컬러 이미지를 변환한 전기적 신호에 반영하여 컬러보정처리된 이미지 데이터를 만들어, 디스플레이 유니트에 디스플레이 하거나, 저장매체에 저장하거나, 전송매체를 통해 외부로 전송하는 것이며,
또한, 상기 분광센서는 나노광학 필터를 직접 수광소자인 CCD/CMOS 센서에 집적한 것으로, 각각의 픽셀에 특정파장의 나노광학필터가 부착되어 있으며, 그 픽셀은 해당 파장에 대한 정보만 받아들이도록 설계가 되어 있고, 그렇게 입력된 모든 픽셀의 정보를 신호처리 소프트웨어를 이용하여 처리함으로써, 입력 광신호의 분광특성을 해석해내는 것인 것을 특징으로 하는 분광센서가 설치된 카메라의 작동방법 The present invention relates to a method of operating a camera equipped with a spectroscopic sensor, the image of the subject 170 is projected onto the color image sensor 110 through the lens system 160 of the camera, the lens system 160 and the color image sensor The beam splitter 150 is installed between the 110, and the same image projected on the color image sensor 110 is also projected toward the spectroscopic sensor 120 through the beam splitter 150. ) And a diffuser 121 is installed between the beam splitter 150 and before the same image projected on the color image sensor 110 is projected onto the spectroscopic sensor 120 through the beam splitter 150. By projecting through a diffuser 121 that mixes the wavelength energy of the spectroscopy, the spectroscopy sensor 120 does not see the spatial image, but rather sees the spectral power density of the entire landscape to be projected. In order to measure, the red, green, and blue tricolor corrected color images taken by the color image sensor 110 are supplied to the signal processing unit 130. The signal processing unit 130 corrects the color processing by reflecting the spectral distribution of the entire landscape of the image measured by the spectroscopic sensor in the raw color (RAW) color image before correction, and the correction method is conventionally used. Converts a full color (RAW) color image into an electrical signal and converts the spectral distribution of the entire landscape measured by the spectral sensor into an electrical signal to correct the electrical signals of the spectral distribution of the entire landscape measured by the spectral sensor. Generates color-corrected image data by reflecting the entire raw (RAW) color image on the converted electrical signal, and displays it on a display unit, saves it on a storage medium, or transfer medium. To the outside through a sieve,
In addition, the spectroscopy sensor is a direct integration of the nano-optic filter in the CCD / CMOS sensor that is a light receiving element, each pixel is attached with a nano-optic filter of a specific wavelength, the pixel is designed to accept only information about the wavelength And processing the information of all the inputted pixels using signal processing software to analyze the spectral characteristics of the input optical signal. 본발명은 분광센서가 설치된 카메라의 작동방법에 관한 것으로, 피사체(270)의 이미지가 카메라(200)의 렌즈시스템(260)을 통하여 컬러이미지센서(210)에 투영되되, 카메라가 위치한 환경의 빛(280)이 카메라에 부착된 디퓨저(221)를 통하여 분광센서(220)에 투영되는 것으로, 분광센서(220)에 투영되기 전에, 환경 전체의 파장에너지를 섞어주는 기능을 하는 디퓨저(221)를 통과하여 투영됨으로써, 분광센서(220)는 특정한 공간적인 이미지를 보는 것이 아니라, 카메라가 위치한 곳의 환경 분광분포(spectral power density)를 보게 되고 측정하게 되며, 컬러이미지센서(210)가 촬영한 적(RED), 녹(GREEN), 청(BLUE) 3색 보정전 순수(RAW) 컬러 이미지가 신호처리유니트(230)으로 공급되고, 상기 신호처리유니트(230)는 상기 보정전 순수(RAW) 컬러 이미지를 분광센서가 측정한 이미지 전체 풍경의 분광분포를 반영하여, 컬러 처리를 보정하는 것으로, 보정방법은 관용적으로 사용되는 방법으로서, 보정전 순수(RAW) 컬러 이미지를 전기적 신호로 변환하고, 상기 분광센서가 측정한 이미지 전체 풍경의 분광분포 역시 전기적 신호로 변환하여, 상기 분광센서가 측정한 이미지 전체 풍경의 분광분포의 전기적 신호들을 보정전 순수(RAW) 컬러 이미지를 변환한 전기적 신호에 반영하여 컬러보정처리된 이미지 데이터를 만들어, 디스플레이 유니트에 디스플레이 하거나, 저장매체에 저장하거나, 전송매체를 통해 외부로 전송하는 것이며,
또한, 상기 분광센서는 나노광학 필터를 직접 수광소자인 CCD/CMOS 센서에 집적한 것으로, 각각의 픽셀에 특정파장의 나노광학필터가 부착되어 있으며, 그 픽셀은 해당 파장에 대한 정보만 받아들이도록 설계가 되어 있고, 그렇게 입력된 모든 픽셀의 정보를 신호처리 소프트웨어를 이용하여 처리함으로써, 입력 광신호의 분광특성을 해석해내는 것인 것을 특징으로 하는 분광센서가 설치된 카메라의 작동방법The present invention relates to a method of operating a camera equipped with a spectroscopic sensor, the image of the subject 270 is projected to the color image sensor 210 through the lens system 260 of the camera 200, the light of the environment where the camera is located 280 is projected onto the spectroscopy sensor 220 through the diffuser 221 attached to the camera, and before the projection to the spectroscopy sensor 220, the diffuser 221 which functions to mix wavelength energy of the whole environment. By projecting through, the spectral sensor 220 does not see a specific spatial image, but rather sees and measures the environmental spectral power density where the camera is located. RED, GREEN, BLUE 3-color pre-correction color image is supplied to the signal processing unit 230, and the signal processing unit 230 is the pre-correction color. Before the image measured by the spectroscopy sensor By correcting color processing by reflecting the spectral distribution of the landscape, the correction method is conventionally used to convert a raw color (RAW) color image before the correction into an electrical signal and to measure the overall landscape of the image measured by the spectral sensor. The spectral distribution is also converted into an electrical signal, and reflects the electrical signals of the spectral distribution of the entire landscape measured by the spectral sensor to the converted electrical signal to produce a color corrected image data. Display on the display unit, save to the storage medium, or transmit to the outside through the transmission medium,
In addition, the spectroscopy sensor is a direct integration of the nano-optic filter in the CCD / CMOS sensor that is a light receiving element, each pixel is attached with a nano-optic filter of a specific wavelength, the pixel is designed to accept only information about the wavelength And processing the information of all the inputted pixels using signal processing software to analyze the spectral characteristics of the input optical signal.
KR1020120085744A 2012-08-06 2012-08-06 Camera with spectrometric sensor operating method KR20140019157A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120085744A KR20140019157A (en) 2012-08-06 2012-08-06 Camera with spectrometric sensor operating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120085744A KR20140019157A (en) 2012-08-06 2012-08-06 Camera with spectrometric sensor operating method

Publications (1)

Publication Number Publication Date
KR20140019157A true KR20140019157A (en) 2014-02-14

Family

ID=50266838

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120085744A KR20140019157A (en) 2012-08-06 2012-08-06 Camera with spectrometric sensor operating method

Country Status (1)

Country Link
KR (1) KR20140019157A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203438B2 (en) 2014-07-17 2019-02-12 Samsung Electronics Co., Ltd. Optical filter including plates for filtering light and optical measuring device employing optical filter

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203438B2 (en) 2014-07-17 2019-02-12 Samsung Electronics Co., Ltd. Optical filter including plates for filtering light and optical measuring device employing optical filter
US10379275B2 (en) 2014-07-17 2019-08-13 Samsung Electronics Co., Ltd. Optical filter including plates for filtering light and optical measuring device employing optical filter

Similar Documents

Publication Publication Date Title
US9360366B1 (en) Self-referencing spectrometer on mobile computing device
KR102069935B1 (en) Colorimetry system for display testing
US10642056B2 (en) Multispectral or hyperspectral imaging and imaging system based on birefringent subwavelength resonating structure
EP2720014B1 (en) A method for determining calibration parameters for a spectrometer
US10514335B2 (en) Systems and methods for optical spectrometer calibration
US6760475B1 (en) Colorimetric imaging system
US9076363B2 (en) Parallel sensing configuration covers spectrum and colorimetric quantities with spatial resolution
KR20170023797A (en) Imaging device and method
US9188841B2 (en) Imaging device
Tominaga et al. Spectral imaging by synchronizing capture and illumination
BE1012272A5 (en) Device and method for measuring image colored.
Jenkins et al. Digital imaging colorimeter for fast measurement of chromaticity coordinate and luminance uniformity of displays
KR101204996B1 (en) camera with spectrometric sensor
KR20140019157A (en) Camera with spectrometric sensor operating method
CN116879233A (en) Multispectral imaging device based on smart phone and calibration detection method
Spooren et al. RGB-NIR active gated imaging
JP2014089075A (en) Spectral reflectance measuring system
CN114216573B (en) Color temperature detection method and device, computer readable medium and electronic equipment
CN214407768U (en) Multispectral imaging system
US11079277B2 (en) Spectral imaging device and method
JP2007147507A (en) Spectrometry and optical spectrometer
CN214951793U (en) Micro-imaging type color luminance meter and calibration device
Zhou et al. Spectral lens enables a minimalist framework for hyperspectral imaging
KR100982896B1 (en) Spectro-photometric system for color analysis of displays
Soldevila et al. Compressive single-pixel multispectral Stokes polarimeter

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid