KR102040368B1 - 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너 - Google Patents

하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너 Download PDF

Info

Publication number
KR102040368B1
KR102040368B1 KR1020170092041A KR20170092041A KR102040368B1 KR 102040368 B1 KR102040368 B1 KR 102040368B1 KR 1020170092041 A KR1020170092041 A KR 1020170092041A KR 20170092041 A KR20170092041 A KR 20170092041A KR 102040368 B1 KR102040368 B1 KR 102040368B1
Authority
KR
South Korea
Prior art keywords
light
wavelength
lens
image sensor
hyperspectral image
Prior art date
Application number
KR1020170092041A
Other languages
English (en)
Other versions
KR20170106251A (ko
Inventor
이영종
Original Assignee
이영종
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이영종 filed Critical 이영종
Priority to KR1020170092041A priority Critical patent/KR102040368B1/ko
Publication of KR20170106251A publication Critical patent/KR20170106251A/ko
Application granted granted Critical
Publication of KR102040368B1 publication Critical patent/KR102040368B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Input (AREA)

Abstract

하이퍼스펙트럴 이미지센서 픽셀을 구성하는 포토다이오드를 수직으로 형성되게 식각, 도핑 공정을 반복하여 계단형태로 각 층단위 포토다이오드를 배치 제작한다. 액시콘렌즈(Axicon Lens) 혹은 사각뿔이나 다각뿔 입체도형 형태의 렌즈로 이루어진 마이크로렌즈 어레이를 픽셀이 계단형태로 수직 배치 제작된 반도체 웨이퍼위에 부착한다. 이렇게 함으로써 하이퍼스펙트럴 이미지센서에 입사되는 빛은 마이크로 액시콘렌즈어레이 혹은 마이크로다각뿔렌즈어레이의 각 개별 렌즈에서 각 파장대별로 다른 굴절률로 굴절되어 계단형태로 제작된 포토다이오드 구멍 구조물의 특정 계단층에 있는 포토다이오드로 수광된다. 이를 통해 반도체 제작공정에서 수직으로 계단형태의 포토다이오드를 적층하는 수만큼 개별 픽셀에 입사되는 빛의 각 파장별 성분을 세밀하게 나누어서 검출할 수 있게 된다. 이를 통해 고해상도 하이퍼스펙트럴 이미지 센서를 구현할 수 있고 이를 이용해 3차원 스캐너에 있어서 각 개별 픽셀에서 분광 감지 능력이 필수적인 색수차공초점3차원 스캐너나 색수차포커스3차원 스캐너에 고해상도, 고정밀도를 구현할 수 있다.

Description

하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너{Hyper spectral image sensor and 3D Scanner using it}
본 발명은 각 파장대별 분광이미지를 측정하는 하이퍼스펙트럴 이미지 센서의 구조와 이를 이용한 3차원 스캔 장치에 관한 것이다.
이미지 센서는 광학 신호를 전기적인 신호로 변환하여 시스템에 전달하는 반도체 칩으로 많은 응용 제품에 사용되고 있다. 현재 이미지 센서는 크게 CCD(Charge Coupled Device) 이미지 센서와 CMOS 공정에서 구현되는 CIS(CMOS Image Sensor) 이미지 센서로 나누어진다. 화질 면에서의 장점으로 CCD 방식 이미지센서가 많이 사용되다가 최근에는 화질 개선에 따라 경량화, 집적화에 유리한 CIS 이미지 센서가 많이 사용되고 있다. 하이퍼스펙트럴 이미지센서는 CCD나 CIS 방식으로 제작된 범용 컬러 이미지센서가 RGB 3가지 색상만을 감지하는 것과 달리 RGB외의 가시광선 파장대의 세분화된 색상이나 IR, UV까지 감지하는 이미지센서를 말한다. 하이퍼스펙트럴 이미지 센서는 주로 농수산물검사, 잔류농약검사, 미용, 건강 등의 식품 건강 산업 분야나 화장품, 염료와 같은 화학 산업, 디스플레이 같은 전자 산업 등에서 사람 눈으로 볼 수 없는 파장대의 빛을 이용한 검사에 주로 사용된다.
한편, 3차원 스캐너는 CMM(Coordinate Mmeasuring Machine)과 같이 스타일러스 프로브를 측정하고자하는 대상물 표면에 접촉시키면서 접촉 감지를 통해 3차원 표면 정보를 얻는 기계식 방식과 레이저나 가시광을 대상물에 투사하여 얻은 이미지를 통해 대상물의 형상 정보를 얻는 광학식 방식이 있다. 3차원 스캐너로부터 얻어진 3차원 형상 정보는 다양한 산업군에 필요한 역설계(Reverse Engineering)나 품질 관리(Quality inspection)분야에서 활용된다.
사람에게 보이지 않거나 사람이 인식하기 힘든 다양한 파장대의 빛에 의한 이미지를 활용할 수 있는 산업분야에 하이퍼스펙트럴 이미지센서가 사용된다. 농수산물 잔류농약, 신선도 검사 등에 분광기로서 사용할 수도 있고, 피부 노화도 측정과 같은 의료용이나 눈에 보이지 않는 마킹이나 자국등을 찾는 보안, 수사 등의 분야에도 활용할 수 있다. 종래의 하이퍼스펙트럴 이미지센서는 주로 수광되는 빛을 각 파장대별로 공간적으로 분리 배치된 컬러 필터겸 스플리터를 거치게 하여 이를 복수개의 이미지센서를 이용하여 파장대별 혹은 컬러별로 검출하는 방식을 사용하거나, 복수개의 다면체 프리즘을 이용해 수광된 빛을 파장대별로 굴절에 의해 각기 다른 면에 상이 맺히게 하여 이를 복수개의 이미지센서를 통해 파장대별 혹은 컬러별로 검출하였다. 이런 방식은 복수개의 이미지센서간의 조립시 공차로 인한 정렬이 어려워 검출된 각 파장대별 빛이 동일 2차원 지점에서 수광된 것으로 보기 어려운 면이 있고, 이러한 문제를 해결하기 위해 이미지센서간 정렬을 보장하는 난이도 높은 조립 공정이나 보정 과정을 거쳐야 하므로 생산비용이 비싸고, 근본적으로 복수개의 2차원 이미지센서가 사용되어 저가화가 불가능한 문제점이 있다. 이와 달리 최근의 하이퍼스펙트럴 이미지센서들은 수백만~수억 화소 CCD, CIS 이미지센서를 제작가능하게 한 고도화된 반도체 미세공정을 이용하여 고해상도 이미지센서의 각 개별 픽셀들을 모아 하나의 서브셀로 묶어 서브셀 내부 각 픽셀에 별도의 컬러필터를 모자이크(Mosaic) 방식으로 배치하는 방식을 사용하고 있다. 이는 컬러 이미지센서에서 보편적으로 사용되는 RGB 컬러 필터의 Bayer 패턴 배치와 같은 컬러 필터 어레이 패턴 배치방식을 확장, 세분화한 것이라고 할 수 있다. 이런 방식 역시 2차원의 서브셀 영역 만큼을 다시 2차원으로 분할해서 서브셀에 입사되는 빛의 색상을 구분함으로써 하이퍼스펙트럴 이미지 해상도가 서브셀 갯수 수준으로 저하될 수 밖에 없고, 엄밀히 한 지점의 빛의 성분을 측정한 것이라고 할 수 없고 또한 서브셀 영역에 입사되는 빛중 각 개별 픽셀영역 만큼만을 한 파장대 신호로 측정하고 그것 역시 컬러 필터를 거치됨으로써 전체 입사되는 빛(광자) 성분 중에서 픽셀면적/서브셀면적 비율만큼 줄어든 광량 값에서 다시 컬러 필터 감쇠비율만큼 감쇠되고 남은 성분만이 해당 컬러 픽셀에 도달해 전자로 바뀌므로 수광효율이 낮은 문제점이 있다. 낮은 수광효율은 결과적으로 이미지 화질 저하를 야기하고 프레임 고속화를 어렵게하는 요소로 작용하게 된다. 또한 측정 컬러(파장) 대역을 세분화 할수록 서브셀의 사이즈가 커질수 밖에 없어서 전체 이미지센서 크기를 고정하면 해상도 저하 문제를 피할 수 없고, 해상도를 유지하면서 측정 파장대를 세분화하면 전체적인 이미지센서 크기가 커지는 것을 피할 수 없다.
광학식 3차원 스캔 기술에는 스테레오비젼, 구조광원(Structured Light) 3차원스캔, 공초점(Confocal) 3차원스캔, 포커스(Focus/Defocus)3차원스캔, 다중조리개(Multi Aperture)혹은 코디드조리개(Coded Aperture) 3차원 스캔 등의 다양한 기술들이 있다. 이러한 기술들 중 대물렌즈에 의도적으로 색수차를 증가시켜 컬러(파장)별로 다른 초점거리를 만들어 이용하는 색수차공초점(Chromatic Confocal) 3차원스캔이나 색수차포커스(Chromatic Focus/Defocus) 3차원스캔 등의 기술은 단일 2차원 평면 이미지센서만으로도 1축 기계적 움직임 없이 3차원 데이터를 획득할 수 있다. 이러한 색수차를 이용하는 3차원 측정방식에서는 3차원측정값(Z)인 높이(혹은 깊이값)는 곧 파장(색상)값과 직접적인 상관관계를 가지게 된다. 이러한 기술에 기존의 RGB 3가지 색상만이 검출가능한 이미지센서를 사용하는 것은 높이값 측정에 필요한 파장대의 빛의 세기를 직접 측정하는 것이 아니라 RGB 파장값을 측정하고 측정이 필요한 파장대의 빛을 값을 추정하는 것에 그치는 한계를 가진다. 즉 세분화된 파장별 측정이 가능한 하이퍼스펙트럴 이미지센서의 파장대별 측정 해상도가 위와 같은 3차원 스캔 방식에서는 곧 측정 정밀도와 해상도로 직결되게 된다.
하이퍼스펙트럴 이미지센서 픽셀을 구성하는 포토다이오드를 수직으로 형성되게 식각, 도핑 공정을 반복하여 계단형태로 각 층단위 포토다이오드를 배치 제작한다. 이미지센서의 수광효율을 높이기 위해 반도체 공정으로 제조된 이미지센서 포토다이오드(Photo Diode) 픽셀(Pixel)위에 볼록렌즈(Convex Lens)형태의 마이크로 렌즈어레이(Micro Lens Array)를 통상적으로 부착하는데 하이퍼스펙트럴 이미지센서 구현을 위해서 일반적으로 부착되는 볼록렌즈(Convex Lens) 형태의 마이크로렌즈어레이 대신 액시콘렌즈(Axicon Lens) 혹은 사각뿔이나 다각뿔 입체도형 형태의 렌즈로 이루어진 마이크로렌즈 어레이를 픽셀이 계단형태로 수직 배치 제작된 반도체 웨이퍼위에 부착한다. 이렇게 함으로써 하이퍼스펙트럴 이미지센서에 입사되는 빛은 마이크로 액시콘렌즈어레이 혹은 마이크로다각뿔렌즈어레이의 각 개별 렌즈에서 각 파장대별로 다른 굴절률로 굴절되어 계단형태로 제작된 포토다이오드 구멍 구조물의 특정 계단층에 있는 포토다이오드로 수광된다. 이를 통해 반도체 제작공정에서 수직으로 계단형태의 포토다이오드를 적층하는 수만큼 개별 픽셀에 입사되는 빛의 각 파장별 성분을 세밀하게 나누어서 검출할 수 있게 된다. 이를 통해 고해상도 하이퍼스펙트럴 이미지 센서를 구현할 수 있고 이를 이용해 3차원 스캐너에 있어서 각 개별 픽셀에서 분광 감지 능력이 필수적인 색수차공초점3차원 스캐너나 색수차포커스3차원 스캐너에 고해상도, 고정밀도를 구현할 수 있다.
본 발명을 통해 고해상도 분광능력을 가지면서도 2차원적으로 고해상도를 갖는 하이퍼스펙트럴 이미지 센서를 구현할 수 있고, 이를 이용하여 고해상도, 고정밀도, 고속 측정이 가능한 3차원 스캐너를 구현할 수 있다.
도1은 종래의 컬러필터 스플리터를 이용한 하이퍼스펙트럴 이미지센서의 구
조를 나타낸 도면
도2는 종래의 다수 컬러필터픽셀을 이용한 모자이크 방식의 하이퍼스펙트럴
이미지 센서를 나타낸 도면
도3은 보편적인 이미지센서의 블럭도, 픽셀회로도, 수직 단면을 나타낸 도면
도4는 액시콘렌즈와 사각뿔 렌즈의 기능을 나타내는 도면
도5는 본 발명의 바람직한 실시 예에 다른 액시콘렌즈어레이와 계단식으로
포토다이오드들이 수직 배치된 픽셀 구조를 갖는 하이퍼스펙트럴 이미지센서
를 나타낸 도면
도6a은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를
이용한 패시브(Passive)형 색수차포커스(Chromatic Focus/Defocus) 3차원 스
캐너를 나타낸 도면
도6b은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를
이용한 능동광원(Active)형 색수차포커스(Chromatic Focus/Defocus) 3차원
스캐너를 나타낸 도면
도6c은 본 발명의 또 다른 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지
센서를 이용한 능동광원(Active)형 색수차포커스(Chromatic Focus/Defocus)
3차원 스캐너를 나타낸 도면
도6d은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를
이용한 능동광원(Active)형 색수차포커스(Chromatic Focus/Defocus) 3차원
스캐너에서 어크로매틱 이미지를 획득하는 것을 나타낸 도면
도6e은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를
이용한 능동광원(Active)형 색수차포커스(Chromatic Focus/Defocus) 3차원
스캐너에서 하이퍼크로매틱 이미지를 획득하는 것을 나타낸 도면
도7a은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를
이용한 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너가 높이값이
다르고, 해당 높이값을 초점거리로 갖는 파장의 빛과 해당 지점 표면 고유
색상이 상관관계가 없는 두 지점을 스캐닝하는 것을 나타낸 도면
도7b은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를
이용한 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너가 높이값이
다르고, 해당 높이값을 초점거리로 갖는 파장의 빛과 해당 지점 표면 고유
색상이 상보(Complementary)관계를 갖는 두 지점을 스캐닝하는 것을 나타낸
도면
도7c은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를
이용한 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너가 높이값이
다르고, 해당 높이값을 초점거리로 갖는 파장의 빛과 해당 지점 표면 고유
색상광이 비례하는 두 지점을 스캐닝하는 것을 나타낸 도면
도8은 기존의 WTA(Winner Takes All) 회로와 WTA회로에서 전류원을
포토다이오드로 대신한 WTA CELL을 나타낸 회로
도9는 본 발명의 바람직한 실시 예에 다른 액시콘렌즈어레이와 계단식으로
포토다이오드들이 수직 배치된 픽셀 구조와 WTA 회로를 내장하여 빠르게 최
대 세기를 갖는 파장의 빛을 검출할수 있는 하이퍼스펙트럴 이미지센서를 나
타낸 도면
도10은 종래의 구조광원 3차원 스캐너(A)와 본 발명의 바람직한 실시예에 따
른 하이퍼스펙트럴 이미지센서와 액시콘렌즈 프로젝션을 이용한 액티브 스테
레오 비젼방식의 3차원 스캐너(B)와 동작(B-1, B-2)을 나타낸 도면
도11은 본 발명의 바람직한 본 발명의 바람직한 실시 예에 따른 하이퍼스펙
트럴 이미지 센서와 핀홀, 하이퍼크로매틱 마이크로렌즈어레이를 이용한 색
수차병렬공초점(Chromatic Parallel Confocal) 3차원 스캐너를 나타낸 도면
도12는 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서와
핀홀 어레이, 일반 마이크로렌즈어레이를 이용한 색수차병렬공초점
(Chromatic Parallel Confocal) 3차원 스캐너를 나타낸 도면
도13은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서와
핀홀 어레이, DMD(Digital Micro-mirror Device)를 이용한
색수차병렬공초점(Chromatic Parallel Confocal)3차원 스캐너를 나타낸 도면
본 발명의 바람직한 실시 예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각도 면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도1은 종래의 하이퍼스펙트럴 이미지센서의 구조를 나타낸 도면이다. 종래의 하이퍼스펙트럴 이미지센서는 피사체(101)에서 반사되는 빛이 대물렌즈(102)를 거쳐 센서 내부로 입사되면 이 빛을 공간적으로 분할 배치된 컬러필터 스플리터(105)들을 단계적으로 거치게하여 각 색상별로 별도의 복수개의 센서렌즈들(104)과 이미지센서(103)들을 통해 파장별 빛을 감지한다. 이와 비슷하게 컬러필터 스플리터(105)들 대신에 프리즘 다면체를 사용하여 입사된 빛을 파장별로 다른 공간으로 향하도록 하여 복수개의 이미지센서들로 감지하는 방법도 있다. 이러한 종래의 하이퍼스펙트럴 이미지세선의 경우 복수개의 이미지 센서들의 각 개별 픽셀들이 1대1 매핑이 되도록 정밀하게 배치, 조립해야 하므로 실제 제작시 공차로 인해 측정한 각 파장별 이미지간의 정렬 문제를 피하기 어렵다. 이러한 오차를 피하려면 정밀한 제작 공정을 거쳐야 해 제작비용이 비싼 단점이 있고, 복수개의 광학부품과 이미지 센서를 사용해야하므로 원가적 측면에서도 비용이 비싼 문제가 있다.
도2는 종래의 다수 컬러필터픽셀을 이용한 모자이크 방식의 하이퍼스펙트럴이미지 센서를 나타낸 도면이다. 다수의 컬러필터(202)가 한 세트를 이루는 컬러필터 서브셀(203) 한 묶음이 하이퍼스펙트럴 이미지의 하나의 2차원 픽셀이 되는 방식으로 이러한 방식은 비용적 측면에서 장점이 있으나 하이퍼스펙트럴 이미지를 위한 분광 해상도를 높이려면 서브셀(203)을 구성하는 컬러필터(202)의 종류가 늘어나 서브셀(203) 면적이 커지게 되어서 제한된 픽셀(201) 갯수와 해상도를 갖는 이미지센서(103)로 인해 하이퍼스펙트럴 이미지 해상도가 저하되게된다. 하이퍼스펙트럴 이미지 해상도(서브셀 갯수)를 늘리려면 결과적으로 이미지센서(103) 크기와 픽셀수(201)를 늘려야하는 문제가 생긴다. 게다가 하이퍼스펙트럴 이미지의 한 지점(개별 서브셀)의 각 파장대별 신호가 엄밀히 2차원 공간상의 같은 지점이 아니기 때문에 각 파장대별 이미지를 정렬하여 사용하는데 오차 유발요인이 된다. 그리고 수광효율 측면에서도 서브셀(203) 단위에 입사되는 빛의 양을 실제 컬러 필터 종류수 만큼 나누어서 수광하게 되고, 거기다 컬러 필터도 거치게 되므로 입사된 빛 중 실제로 픽셀(201)의 포토다이오드에 도달하여 전기신호로 변환되는 빛의 비율이 낮은 단점이 있다. 수광효율 저하는 화질 문제와 이미지 프레임 속도 문제를 유발하게 된다.
도3은 보편적인 이미지센서의 블럭도, 픽셀회로도, 수직 단면을 나타낸 도면이다. CCD나 CIS 이미지센서 모두 PIXEL ARRAY(301); 각 픽셀(201)의 수광 동작과 광신호 검출을 위한 제어를 담당하는 MAIN CONTROL LOGIC(305); 상기 제어에 따라 각 픽셀(201)을 지정하는 ROW SELECTOR(302), COLUMN SELECTOR(303); 각 개별 픽셀에 수광된 광을 디지털 코드화 하는 ADC(Aanalog to Digital Converter: 306); ADC(306)와 픽셀(201)을 순차적으로 연결해주는 COLUMN MUX(304); 디지털 코드화된 데이터를 동기화하여 외부 시스템으로 전달해주는 LINE DRIVER & BUFFER(307)로 도식화 할 수 있다. 이하 본 발명의 설명과 관련해 CIS 기준으로 설명을 계속하나 CCD 방식의 이미지센서에도 본 발명의 사상과 내용은 그대로 적용가능하다. 이미지 센서의 각 개별 픽셀은 여러 기능과 동작을 위해 다양한 설계와 구조가 존재한다. 보편적으로 PASSIVE PIXEL(317), 노이즈 감소를 위한 3TR ACTIVE PIXEL(318), CDS(Correlated Double Sampling)에 유리한 4TR ACTIVE PIXEL(319) 구조가 흔히 사용 된다. 이러한 이미지센서(300,103)들이 실제 물리적 구조로 반도체 공정을 통해 제작된 모습이 도3의 320, 321과 같다. 320은 기존의 보편적인 FSI(Front Side Illumination) 구조의 이미지센서 단면이고, 321은 최근의 수광 효율을 개선한 BSI(Back Side Illumination) 구조의 이미지센서 단면이다. BSI 구조의 경우 입사되는 빛(315)을 수광하는 포토다이오드(314)가 웨이퍼 후면에 위치해서 FSI구조에서 입사되는 빛이 메탈층(312)을 지나는 것과 달리 마이크로렌즈(311)를 거쳐 바로 포토다이오드(314)에 수광되어 효율이 높다. 모노타입의 단색 이미지센서라면 컬러필터(202)가 없고, 보편적인 컬러 이미지센서의 경우 각 개별 포토다이오드(314)위에 R,G,B나 다른 컬러필터 몇 종을 규칙적으로 반복 배열해 놓는다. 각 개별 픽셀(201)들은 실리콘기판(316)위에 반도체 공정을 통해 포토다이오드(314)와 트랜지스터, 절연층벽(313) 등을 제작하여 구현된다.
도4는 액시콘렌즈와 사각뿔 렌즈의 기능을 나타내는 도면이다. 액시콘렌즈(Axicon Lens)는 원뿔모양의 렌즈로 도4와 같이 렌즈 원형 렌즈 밑바닥 방향으로 다파장 빛(315)을 입사하면 입사된 빛들을 각 파장대 성분별로 다른 굴절률로 굴절시켜 원형무지개 스펙트럼(404)으로 분광시키는 역할을 한다. 비슷하게 사각뿔렌즈(Square Pyramid Lens)의 경우 사각형 렌즈 밑바닥 방향으로 다파장 빛(315)을 입사하면 입사된 빛들을 각 파장대별로 다르게 굴절시켜 사각형무지개 스펙트럼(405)으로 분광시킨다. 액시콘렌즈(401)에 만약 단색광 혹은 단파장 빛의 빔(409)이 입사되면 해당 파장성분에 대한 일정한 굴절률이 작용하여 단색광밴드 형태를 띠는 빛으로 바뀌게 된다. 또한 이러한 단색광 혹은 단파장 빛의 빔이 액시콘렌즈(401) 바닥면이 평평한 원형이 아닌 볼록렌즈면(Convex curve)을 갖는 액시콘렌즈(407)에 입사되면 단색광 빔은 볼록렌즈면의 집광효과로 일정 초점거리 지점에 집광된 강한 빛의 선으로 이루어진 원형 띠모양 빛이 된다.
도5는 본 발명의 바람직한 실시 예에 다른 액시콘렌즈어레이와 계단식으로 포토다이오드들이 수직 배치된 픽셀 구조를 갖는 하이퍼스펙트럴 이미지센서를 나타낸 도면이다. 먼저 반도체 공정으로 제조되는 본 발명의 하이퍼스펙트럴 이미지센서(500,900)의 물리적 구조를 살펴보면, 일반 이미지센서의 경우 픽셀당 하나의 포토다이오드들이 웨이퍼상 같은 높이에 위치하는 것과 달리 한 픽셀(506)내에서 계단식으로 단계적으로 수직으로 검출하고자 하는 파장광 수만큼 복수개의 포토다이오드들이 배치된다. 단계적인 식각, 도핑 등의 반도체 공정을 통해 계단식 수직 포토 다이오드 픽셀구조(504)를 실리콘기판(316)위에 형성시킨다. 제작된 계단식 수직 포토다이오드의 입체적인 모습은 505와 같다. 이 입체도에서는 사각형 형태의 계단식 형태이지만, 필요에 따라서는 원형 형태의 계단식 구조이거나 다각형 형태의 계단식 구조일 수도 있다. 제작된 계단식 수직 포토다이오드 픽셀(504) 사이에는 절연층벽(313)을 형성시켜 상호 간섭을 배제한다. 이와 같이 반도체 공정으로 제작된 계단식 수직 포토다이오드들로 이루어진 픽셀(504)위에 픽셀 사이즈에 대응되는 마이크로액시콘렌즈(401)나 마이크로사각뿔렌즈(403) 혹은 마이크로다각형뿔렌즈를 배치시킨다. 공간 효율적 측면에서 픽셀은 사각형이 일반적이므로 마이크로사각뿔렌즈(403)가 공간 효율적, 수광효율 측면에서 유리하다. 계단식 수직 포토다이오드 픽셀(504)위에 배치되는 마이크로액시콘렌즈(401)나 마이크로사각뿔렌즈(403)의 바닥면(도5 그림에서는 윗방향 상단면)은 평평한 형태이어도 되나 계단식 수직 포토다이오드 픽셀(504)내 특정 높이 계단 상단면에 특정 파장의 빛을 효율적으로 집광하여 수광하기 위해 마이크로액시콘렌즈(401)나 마이크로사각뿔렌즈(403)의 바닥면(도5 그림에서는 윗방향 상단면)이 볼록렌즈(Convex)형상을 가지는 것이 유리하다. 계단식 수직 포토다이오드 픽셀(504)을 2차원 평면으로 배치하고 그 위에 뒷면이 볼록한 마이크로사각뿔렌즈(407)를 픽셀어레이에 맞춰 렌즈어레이 행태로 배치한다. 이렇게 함으로써 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서(500, 900)에 입사되는 빛은 뒷면이 볼록한 마이크로사각뿔렌즈(407)에 의해 옆에서 보면 삼각형 모양으로 각 파장대별로 분광된 형태로 계단식 수직 포토다이오드 픽셀(504)에 전달되고 각 계단 높이에 따른 분광된 성분의 빛을 수직 포토다이오드(501, 502, 503)들이 수광하게 된다. 계단식 수직 구조 포토다이오드 픽셀(504)내에서 WL1 파장 선택신호에 의해 검출회로로 연결되거나 수광동작 제어가 되는 포토다이오드(501)는 도5에서 뒷면이 볼록한 마이크로사각뿔렌즈(407)에 입사된 빛 성분 중 굴절률이 가장 큰 파장성분의 빛에 의해 빛이 수광되고, WL2 파장 선택신호에 의해 검출회로로 연결되거나 수광동작 제어가 되는 포토다이오드(502)은 도5에서 뒷면이 볼록한 마이크로사각뿔렌즈(407)에 입사된 빛 성분 중 굴절률이 두번째로 큰 파장성분의 빛에 의해 빛이 수광되는 계단 위치에 놓인다. 이렇게 뒷면이 볼록한 마이크로사각뿔렌즈(407)에 의해 분광된 특정 파장 성분의 빛들은 단계적으로 각 파장 성분에 대응되는 계단 높이에 배치된 포토다이오들에 의해 수광된고, 마지막으로 볼록한 마이크로사각뿔렌즈(407)에 입사된 빛중 굴절률이 가장 작은 파장대역 성분만이 계단식 수직 포토다이오드 픽셀(504)내 가장 깊은 바닥면에 배치된 포토다이오드(503)에 수광되며 가장 깊은 위치에 있는 포토다이오드(503)는 파장 선택 신호 WLn에 의해 검출회로 연결 및 수광동작이 제어된다. 계단식 수직 포토다이오드 픽셀(504)내부의 포토다이오드들(501,502,503)을 검출회로에 연결하거 수광동작 제어를 하는 등의 이미지센서 기능 구현에 필요한 트랜지스터들(예를 들자면 파장대별 선택 신호에 따라 해당 계단층의 포토다이오드를 ADC(304)에 연결하는 트랜지스터 등) 역시 반도체 공정을 통해 실리콘기판(316)층의 각 픽셀(504)별 위치에 같이 제작하고 필요한 배선은 금속 배선층(316)을 통해 연결한다. 이렇게 이미지센서 동작에 필요한 트랜지스터까지 같이 제작된 계단식 수직 포토다이오드 픽셀 회로도의 한예는 506과 같다. 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서는 액시콘렌즈(401)나 마이크로사각뿔렌즈(403) 혹은 상기 각각 렌즈의 뒷면이 볼록한 마이크로렌즈(407)와 계단식 수직 포토다이오드 픽셀(504)과 부가적인 트랜지스터 회로들로 이루어진 픽셀부(506)가 2차원으로 반복 배열된 ARRAY; 각 픽셀부(506)내부의 포토다이오드들(501,502,503)의 수광 동작과 광신호 검출을 위한 제어를 담당하는 MAIN CONTROL LOGIC(515); 상기 제어에 따라 각 픽셀부(506)내부의 포토다이오드들(501,502,503)중 하나를 지정하는 ROW SELECTOR(302), COLUMN SELECTOR(303), WAVE LENGTH SELECTOR(512); 각 개별 픽셀에 수광된 광을 디지털 코드화 하는 ADC(Aanalog to Digital Converter: 306); ADC(306)와 픽셀(201)을 순차적으로 연결해주는 COLUMN MUX(304); 디지털 코드화된 데이터를 동기화하여 외부 시스템으로 전달해주는 LINE DRIVER & BUFFER(307)로 구성된다.
이러한 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를 통해 고해상도 분광능력을 갖는 고해상도 2차원 이미지센서를 저가로 구현할 수 있고, 종래의 보편적인 모자이크 방식 스펙트럴 이미지센서에서 서브셀(203)에 입사되는 빛 성분이 픽셀/서브셀 면적비 만큼 나뉘어져 컬러 필터의 감쇠를 거쳐 수광되는 것과 달리 픽셀부(506)에 입사되는 빛 전체 성분중 특정 파장성분 빛 모두가 분광되어 별도의 컬러필터와 같은 감쇠작용 없이 포토다이오드에 수광되어 높은 수광효율을 갖게하여 결과적으로 짧은 노출시간(exposure time)이 요구되어 고속 동작에도 유리하다.
도6a은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를 이용한 패시브(Passive)형 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너를 나타낸 도면이다. 렌즈 초점거리에 따른 이미지 선명도(Sharpness: 인접 픽셀과의 값 변화율 혹은 대조비)를 이용하여 피사체와의 거리를 측정하는 방식은 광학식 3차원 스캔기술의 오래된 원류 중 하나이다. 카메라렌즈를 움직여가며 카메라 촬영 초점을 인위로 변화시켜가면서 측정되는 이미지에서 선명도가 충분히 큰 영역을 찾아내고 그 영역의 거리값을 렌즈 이동거리에서 구하는 방식이다. 이러한 포커스(Focus/Defocus) 방식으로는 각 개별 이미지센서 픽셀에 대응하는 거리값을 개별적으로 구하기 어려워 오차가 크고, 렌즈를 기계적으로 일정 스트로크 거리값에 따라 움직여가면서 측정해야하므로 기계적 구성이 필요하고 움직는 단위 거리값 마다 촬영을 자주 빠르게 하기 어려워 전체 3차원 스캔 속도가 느린 문제가 있다. 이러한 문제점 들 중 렌즈를 이동시켜야만 하는 1축 스트로크 운동의 기계적 구성 요소를 제거하기 위해 카메라 렌즈의 색수차를 의도적으로 증가시켜 각 색상(파장)별 다른 초점거리에서 이미지를 얻게하여 각 색상(파장)별 이미지에서 선명도를 비교하여 거리값을 구하는 색수차포커스(Chromatic Focus/Defocus)방식이 등장하기도 했다. 하지만 RGB 3색만을 촬영하는 보편적인 컬러 이미지센서나 분광 해상도가 제한적인 이미지센서를 사용하여서는 특정 거리값에 대한 측정을 바탕으로 세부 거리 값을 추정만 할뿐 측정한다고 할수 없으며 실제 오차도 큰 문제가 있다. 또한 초점거리가 맞는 특정 색상(파장)광과 피사체 표면의 색상과의 상관관계를 독립적으로 처리하기 힘들어 정확한 거리값 계산도 어렵다. 이런 방식은 기계적 구성부 없이 1 샷(Shot) 촬영 프레임 데이터만으로 컬러별 선명도 연산을 통해 3차원 얼개를 얻을 수 있다는 장점이 있지만 피사체 3차원 형상의 얼개 정도를 얻는 등의 정밀도가 요구되지 않는 제한적인 용도로만 사용된다. 이러한 종래의 포커스(Focus/Defocus) 3차원 스캔 방식과 달리, 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를 이용한 패시브(Passive)형 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너는 색수차가 억제된 어크로매틱렌즈(Achromatic Lens: 601); 색수차가 의도적으로 높게 설계된 하이퍼크로매틱렌즈(Hyperchromatic Lens: 602); 상기 각각의 렌즈를 통해 입사되는 빛들이 중복되거나 상호 간섭되지 않게 각각의 렌즈의 이미지센서 입사 여부를 결정 제어하는 2개의 셔터(Shutter: 603: 셔터는 기계적 셔터 일수도 있고 전기적으로 제어되는 액정판일수도 있음); 수직으로 배치되어 상기 각각의 렌즈로부터 집광되어 입사되는 빛을 이미지센서쪽으로 반사시켜 주는 2개의 빔스플리터(Beam Splitter: 604) 혹은 1개의 빔스플리터와 1개의 거울(604); 입사된 빛을 고해상도 분광 이미지로 검출하는 하이퍼스펙트럴 이미지센서(500,900); 상기 어크로매틱렌즈(601)와 상기 이미지센서(500,900)를 통해 얻은 어크로매틱샷 파장별 분광 이미지와 상기하이퍼크로매틱렌즈(602)와 상기 이미지센서(500,900)를 통해 얻은 하이퍼크로매틱샷 파장별 분광 이미지를 이용하여 어크로매틱샷 이미지를 통해 피사체 표면의 고유 색상을 확인하여 이 값을 하이퍼크로매틱샷 이미지에서 차감하여 피사체 표면 고유 색상으로 인한 거리값 오차를 제거하고 하이퍼크로매틱샷 이미지에서 각 파장대별 이미지에서 선명도(Sharpness)를 산출하여 해당 파장대 빛의 하이퍼크로매틱렌즈(602)에서의 초점거리를 바탕으로 거리값을 산출하여 3차원 이미지 데이터를 산출하는 제어연산부(606)로 구성되어 피사체 표면 색상으로 인한 오차없이 세분화된 분광 해상도를 바탕으로 높은 거리값 해상도를 통해 얻은 고해상도 3차원 형상 데이터를 얻을 수 있다. 이러한 하이퍼스펙트럴 이미지센서를 이용한 패시브(Passive)형 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너에서 잡음으로 인한 오차를 줄이기 위해서 추가적으로 어크로매틱렌즈(601)를 통한 이미지 획득 경로에 조리개(609)를 추가하거나 하이퍼크로매틱렌즈(602)를 통한 이미지 획득 경로에는 크로매틱다중조리개(Chromatic Multi Aperture)를 추가할 수 있다.
도6b은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를 이용한 능동광원(Active)형 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너를 나타낸 도면이다.
도6c은 본 발명의 또 다른 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를 이용한 능동광원(Active)형 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너를 나타낸 도면이다.
도6c의 구성은 도6b의 구성에 비해 광원(605)을 1개 줄이고, 하이퍼스펙트럴 이미지센서(500,900)의 영역을 반으로 나눠쓴다는 비용상의 이점을 제외하고는 동일한 동작원리를 갖는 구성이다. 상기 도6a와 같은 하이퍼스펙트럴 이미지센서를 이용한 패시브(Passive)형 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너의 경우 피사체 표면 고유 색상으로 인한 문제를 제거하고 파장대를 세분화하여 얻은 이미지를 바탕으로 선명도(Sharpness)를 산출하여 거리값을 구한다고 하더라도 패시브(Passive)형의 원천적인 한계로 인해 외부 광원 없이 촬영된 이미지의 경우 신호대 잡음비 등의 문제로 산출된 선명도(Sharpness)가 전반적으로 낮아 거리값으로 환산하는데 한계가 존재한다. 이러한 문제를 해결하기 위해 도6b와 도6c의 하이퍼스펙트럴 이미지센서를 이용한 능동광원(Active)형 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너는 내부에 다파장 대역 광원(Broadband Light Source: 605)를 갖는다. 별도 다파장 대역 광원(Broadband Light Source: 605)을 이미지 촬영시 조사하여 충분한 신호대 잡음비를 갖는 이미지를 획득함으로써 거리값을 확인하기 위한 충분한 선명도(Sharpness)를 갖는 이미지를 얻을 수 있으며 더 나아가 추가적으로 다파장 대역 광원(Broadband Light Source: 605) 앞에 DMD(Digital Micromirror Devie)나 LCoS(Liquid Crystal on Silicon), 액정판(LCD) 등으로 구현되는 광변조기(SLM: Spatial Light Modulator: 607)를 배치하여 이미지 촬영시 조사되는 광에 체크무늬 명암과 같은 패턴을 조사하여 획득된 이미지의 선명도(Sharpness) 연산 결과값이 렌즈 초점거리에 따라 극명하게 차이가 발생하도록하여 파장대별로 취득한 스펙트럴 이미지의 선명도(Sharpness) 연산값을 바탕으로 환산한 거리값의 정확도를 높여 3차원 스캔 정밀도를 높일 수 있다. 그리고 어크로매틱 렌즈(601)의 초점거리는 다파장 광원(605)의 최대 파장광과 최소 파장광이 하이퍼크로매틱렌즈(602)에 의해 만들어진 초점 거리 범위차 내에 있거나 중간값을 가지는 것이 유리하다.
도6d은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를 이용한 능동광원(Active)형 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너(도6b 기준 구성)에서 어크로매틱 이미지 샷(Shot)을 획득하는 것을 나타낸 도면이고, 도6e은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를 이용한 능동광원(Active)형 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너(도6b 기준 구성)에서 하이퍼크로매틱 이미지 샷(Shot)을 획득하는 것을 나타낸 도면이다. 도6d와 도6e의 동작은 도6b나 도6c 스캐너 구성 모두에 적용될 수 있다. 설명은 도6b 구성을 기준으로 한다. 도6d는 어크로매틱렌즈(601)를 통한 광조사 및 입사 경로에 있는 다파장대역 광원(605)과 셔터(603)를 ON시켜 조사된 광원의 빛이 피사체에 반사되어 다시 어크로매틱렌즈(601)를 통해 입사되고 빔스플리터(604)에 반사되어 하이퍼스펙트럴 이미지센서로 수광되는 것을 보여준다. 이렇게 3차원 측정을 위한 어크로매틱 샷을 얻는다. 도6e는 하이퍼크로매틱렌즈(602)를 통한 광조사 및 입사 경로에 있는 다파장대역 광원(605)과 셔터(603)를 ON시켜 조사된 광원의 빛이 피사체에 반사되어 다시 하이퍼크로매틱렌즈(602)를 통해 입사되고 빔스플리터(604)에 반사되어 하이퍼스펙트럴 이미지센서로 수광되는 것을 보여준다. 이렇게 3차원 측정을 위한 하이퍼크로매틱 샷을 얻는다.
도7a, 도7b, 도7c는 상기 도6a, 도6b, 도6의 본 발명의 바람직한 실시 예에따른 하이퍼스펙트럴 이미지센서를 이용한 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너(600)에서 얻은 어크로매틱 샷과 하이퍼크로매틱 샷을 이용하여 피사체 표면 고유 색상으로 인한 측정 오차를 제거하는 방법을 설명하는 도면이다.
도7a은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를 이용한 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너가 높이값이 다르고, 해당 높이값을 초점거리로 갖는 파장의 빛과 해당 지점 표면 고유 색상이 상관관계가 없는 두 지점을 스캐닝하는 것을 나타낸 도면이다. 도7a와 같이 측정 지점의 피사체 표면 고유 색상과 해당 측정 지점의 높이 값에서 하이퍼크로매틱렌즈(602) 초점 거리를 갖는 색상(파장)광이 상관 관계가 없을 경우에는 파장 별로 측정된 이미지에서 선명도(Sharpness)를 계산하여 선명도가 가장 높게 나오는 색상(파장)광을 선택하고 해당 색상(파장)광의 하이퍼크로매틱렌즈(602)에서의 초점거리가 해당 지점의 거리값으로 환산하여 측정 지점들의 3차원 거리값을 구함으로써 3차원 형상 정보를 얻는 3차원 스캔을 수행할 수 있다. 도7a에서 피사체 A지점은 3차원스캐너(600)와 ZA거리만큼에 있고, B지점은 ZB만큼의 거리에 있다. 동시에 A지점은 3차원스캐너(600) 하이퍼크로매틱렌즈(602)의 파장 λA 인 광의 초점거리 있고, B지점은 3차원스캐너(600) 하이퍼크로매틱렌즈(602)의 파장 λB 인 광의 초점거리 있다면, 하이퍼스펙트럴 샷으로 얻은 데이터의 각 파장대별 이미지에서 선명도(Sharpness) 계산값을 하고, 각 지점별로 가장 높게 계산된 선명도값을 갖는 파장을 찾아 해당지점의 높이값을 해당 파장의 하이퍼크로매틱렌즈(602)의 초점거리로 치환하게 되면 원하는 3차원 데이터를 얻게 되는 것이다. 도7a와 같이 측정 지점 고유 표면 색상과 초점거리 색상(파장)광의 상관관계가 없다면 문제가 간단하지만, 실제 피사체의 표면 색상은 어떤 색상을 가질 지 알수 없으므로 피사체 표면 고유 색상을 고려하여야 한다.
도7b은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를 이용한 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너가 높이값이 다르고, 해당 높이값을 초점거리로 갖는 파장의 빛과 해당 지점 표면 고유 색상이 상보(Complementary)관계를 갖는 두 지점을 스캐닝하는 것을 나타낸 도면이다. 도7b와 같이 피사체 A지점은 3차원스캐너(600)과 ZA거리만큼에 있고, B지점은 ZB만큼의 거리에 있고; 동시에 A지점은 3차원스캐너(600) 하이퍼크로매틱렌즈(602)의 파장 λA 인 광의 초점거리 있고, B지점은 3차원스캐너(600)하이퍼크로매틱렌즈(602)의 파장 λB 인 광의 초점거리 있으면서; A지점의 피사체 고유 표면 색상이 파장λB 인 광에 대해 반사율 높은 색상이고, B지점의 피사체 고유 표면 색상이 파장λA 인 광에 대해 반사율이 높은 색상이라면; 하이퍼스펙트럴 샷 데이터의 파장별 선명도 계산 결과로 구한 A,B 두 지점에 대한 파장별 선명도 값 그래프는 λA , λB 두 파장 지점에서 극대값을 갖는 그래프가 된다. 두 극대값의 선명도값 크기 여부는 표면색상 반사율에 따라 두 극대값 중 어느 것이 더 크게 나타날지 알 수 없다. 결국 선명도 계산 결과값을 이용해 바로 거리값 ZA , ZB를 구할 수는 없다. 이때 도6d에서 처럼 얻은 어크로매틱샷을 이용하여 피사체표면컬러와 초점거리색상광과의 상관관계로 인한 문제를 풀수 있다. 어크로매틱 샷 데이터에서 A 지점의 파장별 빛의 세기값중 최대값을 갖는 파장λB를 확인한다. 어크로매틱 샷은 조사된 다파장 광원(605)이 동일초점 거리를 갖고 조사 될때 얻은 파장별 이미지이기 때문에 이때 얻은 픽셀의 파장대별 빛의 세기값은 해당 픽셀에 대응된 피사체 표면 지점의 색상 정보를 그대로 담고 있는 것이다. 따라서 어크로매틱 샷을 통해 확인한 A지점의 색상은 파장λB인 광에 해당하는 색상임을 알고 있음으로 상기 하이퍼스펙트럴 샷의 파장대별 이미지 선명도 계산 결과로 구한 A 지점에 대한 파장별 선명도 값 그래프 중 각 λA , λB 지점에서의 두극대값 중 거리 ZA를 구하기 위한 초점거리값으로 인해 선명도가 큰 λA 값을 어크로매틱 샷의 빛의 세기정보를 이용해 파장λB를 소거함으로써 확인하여 λA 광의 하이퍼크로매틱렌즈(602) 초점거리를 통해 ZA를 구할 수 있다. A지점에 표면 색상에 영향이 큰 다른 2차 파장광이 존재하더라도 이역시 어크로매틱 샷의 2차 최대값을 찾고 하이퍼크로매틱 샷의 극대값 파장 지점 값에서 소거함으로써 거리 환산에 필요한 파장값을 찾을 수 있다. B지점 역시 A지점과 마찬가지이다.
도7c은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서를 이용한 색수차포커스(Chromatic Focus/Defocus) 3차원 스캐너가 높이값이 다르고, 해당 높이값을 초점거리로 갖는 파장의 빛과 해당 지점 표면 고유 색상광이 비례하는 두 지점을 스캐닝하는 것을 나타낸 도면이다. 도7c의 경우에는 피사체 표면 고유 색상으로 인한 효과나 특정 초점 거리 파장광의 색상으로 인한 효과가 같은 위치에서 결과적으로 이미지의 선명도를 높게 나타나게 함으로써 도7a와 같이 하이퍼스펙트럴 샷 데이터의 파장별 선명도 값 계산 후 픽셀 지점별 최대 선명도를 갖는 파장을 찾고 그 파장의 초점거리를 환산하는 방식으로 거리값 ZA , ZB 구할수 있다. 도7b에서와 같이 어크로매틱 샷을 통해 피사체 대상 물체 표면 고유 색상을 확인하더라도 이 경우는 선명도가 2개의 극대값 형태를 띄지 않으므로 어크로매틱 샷을 통해 확인한 물체 표면 고유색상에 해당하느 파장값의 소거 과정없이 선명도 계산만으로 거리값 ZA , ZB 환산하면 된다.
이와 같이, 도7a,도7b,도7c의 경우와 같이 어크로매틱 샷과 하이퍼크로매틱 샷데이터를 통해 물체 표면 색상으로 인한 오차를 제거함으로써 1축 기계적 구동부 없이도 하이퍼스펙트럴 이미지센서(500,900) 1개만으로 색수차를 이용해 정밀도 높은 3차원 데이터를 얻을 수 있다.
한편, 하이퍼스펙트럴 이미지센서(500,900)는 XY 2차원에 λ 1차원이 추가된 3차원 형태 데이터를 가지게 됨으로써 1프레임 샷의 데이터사이즈가 크고 측정해야할 개별 포토다이오드들의 숫자가 많아 1프레임 속도를 높이기가 어려운 문제가 있다. 따라서 하이퍼스펙트럴 이미지센서(500,900)를 3차원 스캔에 이용할 경우 3차원 데이터 획득을 위해 필요한 이미지센서 프레임 수를 줄일 필요가 있다. 3차원 데이터 획득을 위해 여러 프레임의 하이퍼스펙트럴 이미지센서(500,900) 프레임이 요구되면 한 프레임의 획득 시간이 길어 전체 3차원 형상 1프레임 획득도 비례해 느려지는 문제가 생기기 때문이다. 하이퍼스텍트럴 이미지센서(500, 900)를 3차원 측정에 이용하려면 몇 가지 예외적인 방식을 제외하고는 필연적으로 피사체 표면 색상과의 측정에 이용하는 파장광의 색상과의 상관관계로 인한 오차문제는 필연적이다. 따라서 하이퍼스텍트럴 이미지센서(500, 900)를 이용하는 경우라면 피사체 표면 색상을 구분하긴 위한 기법들이 필요한데 그러한 기법들중에 하나로 색상확인을 위한 이미지 프레임(본 발명의 경우 어크로매틱샷)을 3차원 형상 정보 취득을 위한 이미지 프레임(본 발명의 경우 하이퍼크로매틱샷)와 구분하여 취득하여 활용하는 방법이 있다. 피사체 표면 색상을 구분하긴 위한 이미지 프레임의 경우에는 분광 해상도에 해당하는 전체 파장대의 빛을 검출할 필요가 없다. 표면 색상에 지배적인 영향을 주는 색상광만을 검출하면 되기 때문이다. 즉 특정 XY지점 픽셀부(506)의 포토다이오드들에서 1차 최대값 혹은 1차 최대값과 2차 최대값을 갖는 파장광만 찾더라도 3차원 측정에서 피사체 표면의 고유 색상으로 인한 간섭효과를 배제할 수 있다. 최대값을 효과적으로 빠르게 찾는 하드웨어적인 방법으로 WTA(Winner Takes All)회로가 알려져 있다.
도8은 기존의 WTA(Winner Takes All) 회로와 WTA회로에서 전류원을 포토다이오드로 대신한 WTA CELL을 나타낸 회로 도면이다. 도8의 좌측회로가 보편적인 WTA 회로이다. 입력은 전류원 형태로 표현되며 각각 Iin1, Iin2, Iin3 ... IinN으로 표기되어 있고 해당 입력에 대해 최대값 여부를 출력하는 출력 노드는 Iout1, Iout2, Iout3 ... IoutN으로 표기되어 있다. 상기 각 입력 전류원 중 최대값을 갖는 전류원이 IinX (1≤X≤<N)라면 IinX에 연결된 출력노드 IoutX (1≤X≤<N)로 전체 바이어스 전류 IBIAS가 전부 흐르게 되고 나머지 모든 Iout 노드들에는 전류가 흐르지 않게 된다. 이렇게 각 개별 입력값들 간의 상호비교 확인과정이 필요없이 입력 즉시 입력값들중 최대값을 WTA 회로를 통해 확인 할 수 있다. 이러한 WTA 회로에서 입력 전류원을 도8의 우측과 같이 포토다이오드와 트랜지스터1개로 대체할 수 있다. 이렇게 구성한 WTA CELL(801)은 이미지센서에 그대로 적용할 수 있다. WTA CELL의 O는 출력노드, B는 공통 바이어스전류원 연결 노드, P는 포토다이오드 연결노드이다.
도9는 본 발명의 바람직한 실시 예에 다른 액시콘렌즈어레이(혹은 사각뿔렌즈 혹은 각각 바닥면이 볼록면인 경우도 포함)와 계단식으로 포토다이오드들이 수직 배치된 픽셀 구조와 WTA 회로를 내장하여 빠르게 최대 세기를 갖는 파장의 빛을 검출할수 있는 하이퍼스펙트럴 이미지센서를 나타낸 도면이다. 도5에서의 픽셀부(506) 회로는 도9에서 경우 WTA회로기능을 갖는 픽셀부(916)으로 대체된다. 상기 픽셀부(916)는 각 파장광을 검출하는 포토다이오드(501,502,503)에 병렬연결된 WTA CELL(801)을 가지고 있으며 각 WTA CELL(801)의 출력노드 O는 I-V COVERTER ARRAY(902)에 연결된다. I-V CONVERTER는 각 파장광을 검출하는 포토다이오드들(501,502,503) 중 최대 파장광이 입사되어 가장 큰 전류값을 가지는 WTA CELL(801)을 통해 흐르는 전류를 전압값으로 바꾸고 이 전압값은 ADRESS DECODER(903)에서 각 파장광을 검출하는 포토다이오드들(501,502,503)중 어느 포토다이오드에 최대광이 입사되었는지 표시하는 디지털코드로 변환되어 WTA COLOR DATA BUS(904)를 통해 PIXEL COLOR WTA CONTROLLER(901)에 전달된다. 전달된 최대광을 갖는 파장정보는 PIXEL COLOR WTA CONTROLLER(901)내의 PK_REG1에 저장되고 필요에 따라 하이퍼스펙트럴 이미지센서(500,900) MAIN CONTROL LOGIC(915)로부터 2차 최대값을 갖는 파장광 정보가 요청되면 PIXEL COLOR WTA CONTROLLER(901)은 먼저 찾은 1차 최대값 파장에 해당하는 파장 선택 신호 출력 WLox을 비활성화시켜 WTA검출에서 배제시킨채 WTA CELL 간에 동작을 시킴으로써 2차 최대값을 찾아서 PK_REG2에 저장하고 MAIN CONTROL LOGIC(915)에 전달할 수 있다. 한편 비WTA 동작 모드(일반동작)에서 PIXEL COLOR WTA CONTROLLER(901)는 하이퍼스펙트럴 이미지센서(500,900) MAIN CONTROL LOGIC(915)에 의한 제어신호나 동작 타이밍 클럭의 제어를 받아 파장 선택 신호 WLx를 출력하는 WAVE LENGTH SLECTOR(812)의 파장 출력신호 WLx를 WLix로 입력받아 바이패스 출력해 WLox로 출력함과 동시에 WTA CELL의 B노드에 공통으로 연결된 바이어스 전류원을 제어하는 VBIAS_EN출력을 OFF함으로써 WTA회로의 바이어스 전류원을 제거하여 WTA 기능을 OFF시켜 전체 픽셀부(916)가 일반 하이스펙트럴 이미지센서(500)과 같이 동작하도록 한다. 본 발명의 바람직한 실시 예에 다른 액시콘렌즈어레이(혹은 사각뿔렌즈 혹은 각각 바닥면이 볼록면인 경우도 포함)와 계단식으로 포토다이오드들이 수직 배치된 픽셀 구조와 WTA 회로를 내장하여 빠르게 최대 세기를 갖는 파장의 빛을 검출할수 있는 하이퍼스펙트럴 이미지센서(900)는 보다 빠른 동작을 위해 포토다이오드를 디지털코드화하는 ADC(306)가 복수개로 병렬화 될수도 있고, 이를 위한 COLUMN MUX(304)나 COLUMN SELECTOR(303)가 같이 복수개로 병렬화 될수도 있다. 또한 본 발명에서 설명하는 ROW(Y), COLUMN(X), WAVE LENGTH(λ) 좌표 축에 따른 동작은 편의상의 분류에 따른 것으로 해당 XYλ값의 선택과 스위칭에 관련된 동작은 필요에 따라 손쉽게 변경 가능하다. 이러한 도9와 같은 WTA기능이 내장된 하이퍼스펙트럴 이미지센서(900)를 통해 3차원 스캐너에 적용시 피사체 컬러값 검출을 위한 프레임샷 시간을 줄일 수 있어서 3차원 스캐너 고속화에 유리하다.
도10은 종래의 구조광원 3차원 스캐너(A)와 본 발명의 바람직한 실시예에 따른 하이퍼스펙트럴 이미지센서와 액시콘렌즈 프로젝션을 이용한 액티브 스테레오 비젼방식의 3차원 스캐너(B)와 동작(B-1, B-2)을 나타낸 도면이다. 종래의 구조광원(Structured Light) 3차원 스캐너는 보통 1개 이상의 카메라(1001)와 하나의 프로젝터(1002)로 구성된다. 보편적으로 2개의 카메라(1001)와 하나의 프로젝터(1002), 제어연산부(1004)로 구성되며 여기에 사용되는 카메라(1001)는 일반 이미지센서(103)와 색수차가 억제된 어크로매틱렌즈(601)로 구성된다. 프로젝터(1002)는 DMD나 LCos, LCD등으로 구현되며 보통 높은 명암대조비를 위해 DMD를 사용한 프로젝터가 유리하다. 프로젝터(1002)에서 바이너리코드, 그레이코드 혹은 사인파 형태의 패턴 구조광(1003)을 측정하고자 하는 피사체에 조사하여 피사체 표면에 맺힌 해당 패턴 상(1010)을 양쪽의 카메라로 찍어서 양 카메라에서 얻은 이미지상의 구조광원 패턴을 통해 위상을 확인하여 양 카메라에서 얻은 이미지에서 에피폴라 라인 상의 동일 지점을 찾아 매칭시킴으로써 실제 측정점과 양 카메라상의 픽셀 두 지점을 잇는 삼각형을 만들어 삼각법으로 피사체 측정지점의 거리값을 찾음으로서 3차원 형상 데이터를 얻는다. 이러한 종래의 구조광원 3차원 스캐너의 경우 정교한 구조광원을 만들어서 뿌려야하므로 프로젝터(1002)의 해상도와 성능이 중요해 주로 DMD나 LCoS, LCD같은 디스플레이 디바이스 기반하여 제작되는 이유로 소형화, 저가화 하는 것이 어려운 단점이 있다. 또한 한번의 구조광원 조사와 카메라 촬영만으로는 원하는 3차원 데이터 취득이 어렵고 구조광원의 위상을 천이시키면서 몇 차례 촬영하던가 아니면 패턴 간격 주기를 좁히거나 넓혀가면서 몇 차례 촬영한 데이터를 통해서만 고해상도 3차원 데이터를 얻을 수 있다. 결과적으로 종래의 구조광원 3차원 스캐너는 소형화, 저가화가 어렵고 고속 3차원 데이터 취득이 어려운 단점이 있다. 이러한 종래의 구조광원 3차원 스캐너(도10의 A경우)달리 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서와 액시콘렌즈 프로젝션을 이용한 액티브 스테레오 비젼방식의 3차원 스캐너(도10의 B경우)는 3차원 데이터 획득을 위한 광을 조사하는 프로젝터(1009)가 DMD등의 복잡한 디스플레이 장치가 필요없이 다파장 LED 소자 등으로 구성되는 2개의 광원(1008)과 프로젝터 액시콘렌즈(1006), 조명렌즈(1007)만으로 간단히 구성되므로 소형화하기 쉽고 저가로 만들 수 있다. 또한 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서와 액시콘렌즈 프로젝션을 이용한 액티브 스테레오 비젼방식의 3차원 스캐너는 색수차가 억제된 보편적인 일반 어크로매틱렌즈(601)로 구성된 2개의 카메라(1105)를 사용함으로써 앞서 설명한 도6a, 도6b, 도6c의 구성에서 비교적 고가 부품인 하이퍼크로매틱 렌즈(602)를 사용하지 않는 장점도 있다. 상기 본 발명의 3차원 스캐너(도10의B)는 3차원 스캔을 위해 액시콘렌즈 프로젝션 샷(도10 B-1경우)과 일반 조명 샷(도10 B-2경우) 2프레임의 데이터만을 필요함으로써 종래의 구조광원 3차원 스캐너들이 구조광원 위상별, 주기별 여러 이미지 프레임을 요구한 것에 비해 속도면에서도 유리하다. 프로젝션 액시콘레즈(1006)를 거쳐 피사체에 표면에 조사되는 광원은 각 파장대별로 다른 굴절률로 원형띠 형태광(1011)으로 조사된다. 결과적으로 피사체 표면에는 원형띠 모양의 무지개 스펙트럼(1012)의 상이 맺히게 된다. 이는 스테레오 비젼의 매칭에서 양 카메랑 이미지에서 공통 지점을 찾는데 필요한 구조광원 상 이미지를 대체하는 효과적인 근거로 사용할 수 있다. 이때 파장(색상)별광을 사용해야하므로 피사체 표면의 고유 색상으로 인한 오차를 배제할 필요가 있다. 앞에서의 어크로매틱샷과 마찬가지로 도10 B-2경우와 같이 다파장 광원(1008)을 조명렌즈(1007)로 통해 출력을 조정한 광(1013)을 조사하고 촬영한 이미지 프레임을 얻는다. 도10 B-1와 같이 각 카메라에서의 얻은 원형무지개스펙트럼상(1012)이 맺힌 피사체 하이퍼스펙트럴 이미지에서 도10 B-2와 같이 얻은 각 카메라 하이퍼스펙트럴 이미지를 간단히 빼거나 표준화된 통계처리를 통한 차감 처리를 통해 피사체 표면 고유 색상으로 인한 오차를 제거한다. 이렇게 표면 고유 색상으로 인한 오차 유발 인자가 제거된 원형무지개스펙트럼상(1012)이 맺힌 피사체를 양 스테레오 카메라(1105)로 촬영한 하이퍼스펙트럴 이미지 데이터에서 각 파장별 이미지를 추출하면 피사체에 해당 파장(색상)광 상 원형띠 형태로 나타난 이미지를 얻게 된다. 양 스테레오 카메라의 같은 파장 이미지에서는 원형 형태는 피사체 3차원 형상에 따라 양쪽 이미지에서 다르게 찌그러진 형태로 나타나지만, 양 스테레오 카메라(1105)간의 에피폴라 라인 조건에 따라 원형 이미지를 가로지르는 선은 양 카메라 이미지에서 동일하게 같은 높이 픽셀에 위치하므로 손쉽게 양 스테레오 카메라 이미지상의 원형띠와 에피폴라라인간의 교점에 따라 매칭을 수행할 수 있다. 전체 파장별로 이 작업을 수행하면 각 파장대별로 원형상이 커지거나 줄어드는 형태로 2D면을 원형 라인으로 스캔하는 것과 처럼 거리값을 환산하여 3차원 1 프레임 데이터를 얻을 수 있다. 이러한 과정은 보편적인 스테레오 비젼 기술에서 깊이값(거리값) 추출을 위해서 복잡한 여러 불완전한 매칭 알고리즘이 사용되는 것(느리고 부정확함)과 달리 좌우 스테레오 카메라의 하이퍼스펙트럴 이미지에서 파장별 원과 에피폴라 라인과의 교점 2지점간의 매칭만을 다루므로 매우 쉽게 찾아 매칭을 수행해 삼각법을 통해 거리값을 환산하므로 매우빠르게 3차원 스캔을 수행하면서도 정확한 파장광에 따라 매칭된 점을 찾아 삼각법을 적용함으로써 측정 정밀도 또한 우수하다.
본 발명의 3차원 하이퍼스펙트럴 이미지센서(500,900)를 3차원 스캔에 적용함에 있어서 피사체 표면 고유 색상정보로 인한 오차로부터 상대적으로 자유로운 방식으로 공초점(Confocal) 3차원 스캔 기법을 들 수 있다. 종래의 보편적인 공초점(Confocal) 3차원 스캔은 한점 한점씩 스캔이 이루어져 너무 드린 단점이 있어서 마이크로렌즈 어레이나 DMD 등을 이용한 병렬공초점(Confocal) 3차원 스캔방식이 실제 3차원 스캐너에 주로 적용된다. 여기서 더 나아가 공초점(Confocal)를 찾는 기계적 1축 운동의 필요를 없애기 위해 앞에서 설명한 것과 같은 색수차를 이용한 색수차병렬공초점(Chromatic Parallel Confocal) 3차원 스캔 기법이 이미 알려져 있다.
도11은 본 발명의 바람직한 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지 센서와 핀홀, 하이퍼크로매틱 마이크로렌즈어레이를 이용한 색수차병렬공초점(Chromatic Parallel Confocal) 3차원 스캐너를 나타낸 도면이다. 다파장 광원(605)에서 1120지점을 향하게 조사된 빛(1121)은 광원레즈(1102)를 거쳐 평형광으로 정렬되어 빔스플리터(604) 경계면에서 반사되어 측정 피사체(101) 방향으로 향하게 되고, 하이퍼크로매틱 마이크로렌즈어레이(1101)에서 파장대별로 다른 거리의 초점을 갖은 형태로 측정 피사체(101) 표면에 집광 조사된다. 측정 피사체 표면 1120지점에서 반사된 광(1122)는 다시 스캐너내부로 입사되어 빔스플리터(604)를 거쳐 핀홀입사렌즈(1103)에서 집광되어 핀홀(1104)로 향하게 된다. 이때 1120지점에서 초점거리가 맺히는 파장 성분의 빛(1123)만이 핀홀(1104)을 통과하게 되고 나머지 파장 성분은 대부분 핀홀(1104)에 막혀 필터링된다. 피사체(101) 반사지점에 초점거리는 파장성분인가에 따라서 핀홀(1104) 통과 여부가 결정되므로 상대적으로 해당 피사체 지점의 고유 색상은 이와 같은 공초점 측정 방식에서는 문제가 되지 않는다. 핀홀(1104)을 거친 1120지점에서 초점거리 맺힌 파장 성분 빛(1123)은 센서렌즈(1105)에 의해 다시 평형집광되어 하이퍼스펙트럴 이미지센서(500,900)의 특정 픽셀부(506, 916)에 입사된다. 이렇게 입사된 파장 성분의 빛(1123)은 본 발명의 하이퍼스펙트럴 이미지센서(500)에서 파장별 빛의 세기값을 검출함으로써 해당 파장성분을 찾아 해당 파장성분의 초점거리를 환산함으로써 1120지점의 높이값(깊이값)을 제어연산부(1106)가 구할 수 있다. 이때 본 발명의 WTA 회로가 내장된 하이퍼스펙트럴 이미지센서(900)를 사용하면 센서에 입사된 1120지점에서 초점거리 맺힌 파장 성분 빛(1123)을 매우 빠르게 고속으로 찾아 1120 지점의 높이값을 매우 빠르게 구할 수 있다. 도11의 1130은 피사체의 또 다른 측정 지점을 나타내고, 광원(605)에서 1130지점을 향하게 조사된 빛(1131)은 이 지점(1130)에서 반사되어 스캐너(1100)으로 입사되는 빛(1132) 역시 핀홀입사렌즈(1103)에서 집광되어 핀홀(1104)을 향하게 되고 1130지점에서 초점거리가 맺히는 파장 성분의 빛(1133)만이 핀홀(1104)을 통과하게 되고 나머지 파장 성분은 대부분 핀홀(1104)에 막혀 필터링된다. 하이퍼스펙트럴 이미지센서(500,900)에 입사된 1130지점에서 초점거리가 맺히는 파장 성분의 빛(1133)의 파장을 확인하여 초점거리를 구함으로써 역시 1130지점의 높이값(깊이값)을 구할 수 있다. 이렇게 피사체(101) 여러 지점에 하이퍼크로매틱 마이크로 렌즈(1101)를 통해 집광된 병렬광을 조사하여 동시에 2차원 면에 대한 높이값(깊이값)을 측정함으로써 고속 3차원 형상 데이터 취득이 가능하다.
도12는 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서와 핀홀 어레이, 일반 마이크로렌즈어레이를 이용한 색수차병렬공초점(Chromatic Parallel Confocal) 3차원 스캐너를 나타낸 도면이다. 도11의 3차원 스캐너(1100)에 사용된 하이퍼크로매틱 마이크로렌즈어레이(1101)를 필요한 3차원 측정 거리를 갖도록 만드는 것은 현존하는 제조기술로 매우 어렵고 비용이 많이 드는 문제가 있다. 도12는 고가의 하이퍼크로매틱 마이크로렌즈어레이(1101)를 사용하지 않고 파장별 짧은 초점거리를 갖는 일반적인 마이크로렌즈어레이(1201)를 사용한 색수차병렬공초점(Chromatic Parallel Confocal) 3차원 스캐너(1200)이다. 이 경우는 도11의 스캐너(1100)가 단일 핀홀(1104)를 사용한 것과 달리 복수개의 구멍이 일정간격에 따라 배치된 핀홀어레이(1202)와 색수차를 만들어 내는 단일 하이퍼크로매틱렌즈(602)를 사용한다. 다파장 광원(605)에서 1120지점을 향하게 조사된 빛(1121)은 광원레즈(1102)를 거쳐 평형광으로 정렬되어 입사되고 일반 마이크로렌즈 어레이(1201)에서 각 평형광들은 병렬 집광되어 초점거리를 지나 확산 전달되면서 빔스플리터(604) 경계면에서 반사되어 측정 피사체(101) 방향으로 향하게 되고, 하이퍼크로매틱 렌즈(602)에서 파장대별로 다른 거리의 초점을 갖은 형태로 측정 피사체(101) 표면에 집광 조사된다. 측정 피사체 표면 1120지점에서 반사된 광(1122)는 다시 스캐너내부로 입사되어 빔스플리터(604)를 거쳐 핀홀어레이(1202)로 향하게 된다. 이때 1120지점에서 초점거리가 맺히는 파장 성분의 빛(1123)만이 핀홀어레이(1202)의 특정 핀홀을 통과하게 되고 나머지 파장 성분은 대부분 핀홀어레이(1202)에 막혀 필터링된다. 핀홀어레이(1202)을 거친 1120지점에서 초점거리 맺힌 파장 성분 빛(1123)은 센서렌즈(1105)에 의해 다시 평형집광되어 하이퍼스펙트럴 이미지센서(500,900)의 특정 픽셀부(506, 916)에 입사된다. 이렇게 입사된 파장 성분의 빛(1123)은 본 발명의 하이퍼스펙트럴 이미지센서(500)에서 파장별 빛의 세기값을 검출함으로써 해당 파장성분을 찾아 해당 파장성분의 초점거리를 환산함으로써 1120지점의 높이값(깊이값)을 제어연산부(1106)가 구할 수 있다. 이때 본 발명의 WTA 회로가 내장된 하이퍼스펙트럴 이미지센서(900)를 사용하면 센서에 입사된 1120지점에서 초점거리 맺힌 파장 성분 빛(1123)을 매우 빠르게 고속으로 찾아 1120 지점의 높이값을 매우 빠르게 구할 수 있다. 도12의 1130은 피사체의 또 다른 측정 지점을 나타내고, 광원(605)에서 1130지점을 향하게 조사된 빛(1131)은 이 지점(1130)에서 반사되어 스캐너(1200)으로 입사되는 빛(1132) 역시 빔스플리터(604)를 거쳐 핀홀어레이(1202)에 의해 1130지점에서 초점거리가 맺히는 파장 성분의 빛(1133)만이 핀홀어레이(1202)의 특정 핀홀을 통과하게 되고 나머지 파장 성분은 대부분 핀홀어레이(1202)에 막혀 필터링된다. 통과된 빛은 센서렌즈(1105)에서 집광되어 하이퍼스펙트럴 이미지센서(500,900)에 입사되어 1130지점에서 초점거리가 맺히는 파장 성분의 빛(1133)의 파장을 확인하여 초점거리를 구함으로써 역시 1130지점의 높이값(깊이값)을 구할 수 있다. 이렇게 피사체(101) 여러 지점에 하이퍼크로매틱 마이크로 렌즈(1101)를 통해 집광된 병렬광을 조사하여 동시에 2차원 면에 대한 높이값(깊이값)을 측정함으로써 고속 3차원 형상 데이터 취득이 가능하다.
도13은 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서와 핀홀 어레이, DMD(Digital Micro-mirror Device)를 이용한 색수차병렬공초점(Chromatic Parallel Confocal)3차원 스캐너를 나타낸 도면이다. 도12의 3차원 스캐너(1200)는 마이크로렌즈어레이(1201)와 핀홀어레이(1202)간의 정렬이 매우 중요하다. 이 둘간의 정렬 위치가 맞지 않으면 3차원 스캔을 수행할 수 없는 문제가 있어 조립 제작 과정에서 이 둘간의 정밀 정렬 조립 공정을 요구되는 문제가 있다. 도13는 마이크로렌즈어레이(1101)를 사용하지 않고 DMD(Digital Micromirror Device: 1301)를 사용하여 정밀 정렬 조립공정을 필요치 않는 색수차병렬공초점(Chromatic Parallel Confocal) 3차원 스캐너(1300)이다. 이 3차원 스캐너(1300)의 경우 핀홀어레이(1202)의 각각 핀홀 위치에 대응되는 DMD(1301) 픽셀의 마이크로미러(1302) 위치를 스캐너(1300) 조립후 검수 과정에서 확인하여 DMD 콘트롤러를 내장한 제어연산부(1303)에 저장하였다가 3차원 스캔시 해당 픽셀들을 제어함으로써 조립 제작 과정에서 각 디바이스간 정렬 문제를 피할 수 있다. 만약 3차원 스캔 시 DMD(1301)의 마이크로미러(1302)간 간격을 띄우고 충분히 멀리해서 병렬로 동시에 스캔한다면 측정광간의 상호 간섭이 배제되므로 픽셀어레이(1202)없이도 3차원스캔을 할수가 있으나 이 경우에는 DMD에서 스캔하는 픽셀간 간격을 충분히 확보해야하므로 동시에 얻는 병렬 측정점 수가 줄어들어 3차원 스캔 속도가 저하되고 핀홀어레이(1202)가 없으면 피사체(101) 측정 지점 표면 고유 색상 효과에 의한 오차가 커지는 문제가 발생한다. 따라서 DMD(1301)를 사용한 색수차병렬공초점(Chromatic Parellel Confocal) 3차원 스캐너(1300)에서도 핀홀어레이(1202)를 사용하는 것이 유리하다. 다파장 광원(605)에서 1120지점을 향하게 조사된 빛(1121)은 광원레즈(1102)를 거쳐 정렬되어 DMD(1301)에 조사되고 제어연산부의 제어에 따라 선택적으로 마이크로미러에 의해 광원으로부터 조사된 빛을 선택적으로 제2 광원렌즈(1304)로 보내져 집광되어 초점거리를 지나 확산 전달되면서 빔스플리터(604) 경계면에서 반사되어 측정 피사체(101) 방향으로 향하게 되고, 하이퍼크로매틱 렌즈(602)에서 파장대별로 다른 거리의 초점을 갖은 형태로 측정 피사체(101) 표면에 집광 조사된다. 측정 피사체 표면 1120지점에서 반사된 광(1122)는 다시 스캐너내부로 입사되어 빔스플리터(604)를 거쳐 핀홀어레이(1202)로 향하게 된다. 이때 1120지점에서 초점거리가 맺히는 파장 성분의 빛(1123)만이 핀홀어레이(1202)의 특정 핀홀을 통과하게 되고 나머지 파장 성분은 대부분 핀홀어레이(1202)에 막혀 필터링된다. 핀홀어레이(1202)을 거친 1120지점에서 초점거리 맺힌 파장 성분 빛(1123)은 센서렌즈(1105)에 의해 다시 평형집광되어 하이퍼스펙트럴 이미지센서(500,900)의 특정 픽셀부(506, 916)에 입사된다. 이렇게 입사된 파장 성분의 빛(1123)은 본 발명의 하이퍼스펙트럴 이미지센서(500)에서 파장별 빛의 세기값을 검출함으로써 해당 파장성분을 찾아 해당 파장성분의 초점거리를 환산함으로써 1120지점의 높이값(깊이값)을 제어연산부(1303)가 구할 수 있다. 이때 본 발명의 WTA 회로가 내장된 하이퍼스펙트럴 이미지센서(900)를 사용하면 센서에 입사된 1120지점에서 초점거리 맺힌 파장 성분 빛(1123)을 매우 빠르게 고속으로 찾아 1120 지점의 높이값을 매우 빠르게 구할 수 있다. 도13의 1130은 피사체의 또 다른 측정 지점을 나타내고, 제어연산부(1303)의 제어따라 DMD(1301) 마이크로미러(1302)에 의해 1130지점을 향하게 조사된 빛(1131)이 지점(1130)에서 반사되어 스캐너(1300)으로 입사되는 빛(1132) 역시 빔스플리터(604)를 거쳐 핀홀어레이(1202)에 의해 1130지점에서 초점거리가 맺히는 파장 성분의 빛(1133)만이 핀홀어레이(1202)의 특정 핀홀을 통과하게 되고 나머지 파장 성분은 대부분 핀홀어레이(1202)에 막혀 필터링된다. 통과된 빛은 센서렌즈(1105)에서 집광되어 하이퍼스펙트럴 이미지센서(500,900)에 입사되어 1130지점에서 초점거리가 맺히는 파장 성분의 빛(1133)의 파장을 확인하여 초점거리를 구함으로써 역시 1130지점의 높이값(깊이값)을 구할 수 있다. 이렇게 피사체(101) 여러 지점에 하이퍼크로매틱 마이크로 렌즈(1101)를 통해 집광된 병렬광을 조사하여 동시에 2차원 면에 대한 높이값(깊이값)을 측정함으로써 고속 3차원 형상 데이터 취득이 가능하다.
101: 피사체 102: 대물렌즈
103: 이미지센서 104: 센서렌즈
105: 컬러필터 스플리터
201: 이미지센서 픽셀 202: 픽셀컬러필터
203: 서브셀
300: 이미지센서 블럭도 301: 픽셀어레이(PIXEL ARRAY)
302: ROW SELECTOR 303: COLUMN SELECTOR
304: COLUMN MUX 305: MAIN CONTROL LOGIC
306: ADC 307: LINE DRIVER & BUFFER
311: 마이크로렌즈어레이 312: 금속배선층
313: 절연층벽 314: 포토다이오드
315: 다파장 대역 빛 316: 실리콘기판층
317: PASSIVE 픽셀구조 318: 3TR ACTIVE 픽셀구조
319: 4TR ACTIVE 픽셀구조
320: 일반(FSI:Front Side Illumination)이미지센서 수직단면
321: BSI(Back Side Illumination)이미지센서 수직단면
401: 액시콘렌즈(Axicon Lens) 402: 프로젝션 화면
403: 사각뿔렌즈 404: 원형무지개스펙트럼무늬
405: 사각형무지개스펙트럼무늬 406: 원형밴드 단색무늬
407: 볼록렌즈면을 가지는 액시콘렌즈(Convex Axicon Lens)
408: 원형띠 단색무늬 409: 단일파장(단색) 빛
500: 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서 블럭도
501: 파장선택 신호 WL1에 의해 선택되는 포토다이오드
502: 파장선택 신호 WL2에 의해 선택되는 포토다이오드
503: 파장선택 신호 WLn에 의해 선택되는 포토다이오드
504: 포토다이오드들이 계단식으로 수직 배치된 픽셀
505: 포토다이오드들이 계단식으로 수직 배치된 픽셀 구조 입체도
506: 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서에서
포토다이오드가 계단식으로 적층 된 픽셀
512: 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서의
WAVE LENGTH SELECTOR
515: 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서의
MAIN CONTROL LOGIC
600: 본 발명의 바람직한 실시 예에 따른 어크로매틱렌즈(Achromatic Lens),
하이퍼크로매틱렌즈(Hyperchromatic Lens), 하이퍼스펙트럴 이미지센서
를 이용한 색수차포커스(Chromatic Focus/Defocus)방식 3차원 스캐너
601: 어크로매틱 렌즈(Achromatic Lens)
602: 하이퍼크로매틱 렌즈(Hyperchromatic Lens)
603: 카메라셔터 604: 빔스플리터(Beam Splitter)
605: 다파장 광원(Broadband Light Source)
606: 제어연산부(Processing Unit)
607: 광변조기 (SLM: Spatial Light Modulator)
608: 거울 609: 조리개(Aperture)
610: 크로매틱멀티조리개 (Chromatic Multi Aperture)
800: WTA(Winner Takes All) 회로 801: WTA CELL
900: 본 발명의 바람직한 실시 예에 따른 WTA 회로를 내장한 하이퍼스펙트럴
이미지센서 블럭도
901: PIXEL COLOR WTA CONTROLLER 902: I-V CONVERTER ARRAY
903: ADDRESS DECODER 904: WTA COLOR DATA BUS
915: 본 발명의 바람직한 실시 예에 따른 WTA 회로를 내장한 하이퍼스펙트럴
이미지센서의 MAIN CONTROL LOGIC
916: 본 발명의 또 다른 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센
서에서 포토다이오드가 계단식으로 적층 되고 WTA 회로가 장착된 픽셀
1001: 카메라 1002: 프로젝터
1003: 구조광(Structured Light) 1004: 3차원 스캐너 제어연산부
1006: 프로젝터 액시콘렌즈(Axicon Lens) 1007: 조명 렌즈
1008: 다파장 프로젝터 광원
1009: 본 발명의 바람직한 실시 예에 따른 액시콘렌즈를 이용한 원형무지개
스펙트럼 스테레오비젼 3차원 스캐너용 프로젝터
1010: 피사체에 맺힌 구조광원(Structured Light) 상 이미지
1011: 액시콘렌즈(Axicon Lens)에 의한 원형 무지개 스펙트럼 빛
1012: 액시콘렌즈(Axicon Lens)에 의한 원형 무지개 스펙트럼이 피사체에 맺
힌 원형띠 무늬 상 이미지
1013: 다파장 광원 조명 빛
1100: 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지 센서와
핀홀, 하이퍼크로매틱 마이크로렌즈어레이를 이용한 색수차병렬공초점
(Chromatic Parallel Confocal) 3차원 스캐너
1101: 하이퍼크로매틱 마이크로렌즈어레이
1102: 광원 렌즈 1103: 핀홀 입사 렌즈
1104: 핀홀 1105: 센서렌즈
1106: 색수차병렬공초점(Chromatic Parallel Confocal) 3차원 스캐너
제어연산부
1120: 피사체의 특정지점 1130: 피사체의 또다른 특정지점
1121: 1120지점을 향하는 광원성분 1131: 1130지점을 향하는 광원성분
1122: 1120지점에서 반사된 광 1132: 1130지점에서 반사된 광
1123: 1122중 핀홀을 통과한 광 1133: 1132중 핀홀을 통과한 광
1200: 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서와
핀홀 어레이, 일반 마이크로렌즈어레이를 이용한 색수차병렬공초점
(Chromatic Parallel Confocal) 3차원 스캐너
1201: 일반 마이크로렌즈 어레이
1202: 핀홀 어레이
1300: 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서와
핀홀 어레이, DMD를 이용한 색수차병렬공초점(Chromatic Parallel
Confocal) 3차원 스캐너
1301: DMD (Digital Micro-mirror Device)
1302: 마이크로미러
1303: 본 발명의 바람직한 실시 예에 따른 하이퍼스펙트럴 이미지센서와
핀홀 어레이, DMD를 이용한 색수차병렬공초점(Chromatic Parallel
Confocal) 3차원 스캐너의 제어연산부
1304: 제2 광원렌즈

Claims (18)

  1. 마이크로액시콘렌즈 혹은 마이크로다각뿔렌즈 혹은 반대면이 볼록한 마이크로액시콘렌즈 혹은 반대면이 볼록한 마이크로다각뿔렌즈; 상기 렌즈 아래 위치하면서, 계단식으로 수직 배치되면서, 상기 렌즈에 입사된 빛이 굴절 분광되어 아래로 전달되면 각각의 계단층에서 각기 분광된 특정 파장의 빛을 파장별로 수광하는 포토다이오드들로 이루어진 픽셀구조를 갖는 하이퍼스펙트럴 이미지 센서
  2. 제1항의 하이퍼스펙트럴 이미지 센서에 있어서,
    2차원 배열 형태로 배치된 픽셀어레이; 상기 픽셀어레이의 각 개별 픽셀은 각 파장대별 분광된 빛을 검출할 수 있는 복수개의 포토다이오드들로 구성되고, 전체 픽셀어레이의 파장별 복수개의 포토다이오드들 중 이미지의 X위치 픽셀을 지정하는 COLUMN SELECTOR와 CDS(Correlated Double Sampling)을 수행하는 COLUMN MUX; Y위치를 지정하는 ROW SELECTOR; 특정 파장 λ를 지정하는 WAVE LENGTH SELECTOR; 상기 SELECTOR들을 제어하여 특정 포토다이오드에 수광된 빛을 디지털 코드화하는 과정 전체를 제어하는 MAIN CONTROL LOGIC; 상기 MAIN CONTROL LOGIC의 제어에 의해 연결된 포토다이오드로부터 수광빛에 의한 발생한 전기적 신호를 디지털 코드화하는 ADC; 디지털 코드화된 데이터를 외부로 전달하는 LINE DRIVER & BUFFER로 구성되는 것을 특징으로 하는 하이퍼스펙트럴 이미지센서
  3. 제2항의 하이퍼스펙트럴 이미지 센서에 있어서,
    하나의 픽셀내부에서 분광된 특정 파장을 각각 검출하는 복수개의 포토다이오들은 각각 WTA CELL회로와 병렬 연결되고, 각각의 WTA CELL 출력은 I-V CONVERTER ARRAY에 연결되고 I-V CONVERTER ARRAY 출력은 ADDRESS DECODER 입력으로 연결되어 상기 픽셀내부에 입사되는 광 성분중 가장 강한 파장의 광에 의해 WTA CELL 전류 출력이 발생하면 이 값이 I-V CONVERTER에서 전압으로 변환되고 ADDRESS DECODER는 이 값을 이용하여 가장 강한 파장 성분을 나타내는 디지털코드로 코딩하여 최대 파장 값을 빠르게 찾는 WTA 기능을 제어하는 PIXEL COLOR WTA CONTROLLER에 전달하고, PIXEL COLOR WTA CONTROLLER는 찾은 최대 세기를 갖는 파장광 정보를 내부 레지스터에 저장해두었다가 하이퍼스펙트럴 이미지센서 MAIN CONTROL LOGIC의 제어에 따라 가장 강한 파장광 정보를 LINE DRIVER & BUFFER를 통해 이미지센서를 사용하는 장치에 전달할 수 있는 기능을 갖는 것을 특징으로 하는 하이퍼스펙트럴 이미지센서
  4. 색수차를 갖도록 설계된 하이퍼크로매틱렌즈; 색수차 억제된 어크로매틱렌즈; 상기 하이퍼크로매틱렌즈와 상기 어크로매틱렌즈에 각각 대응되고, 기계적 셔터나 액정판으로 구현되어 상기 렌즈들을 통한 광을 제어연산부의 제어신호에 따라 통과 혹은 차단시키는 역할을 하는 2개의 셔터; 상기 하이퍼크로매틱렌즈와 상기 어크로매틱렌즈를 통해 입사되는 각각의 광 경로를 하나의 하이퍼스펙트럴 이미지센서에 입사시킬수 있도록 나란히 배치된 2개의 빔스플리터; 제어 연산부의 순차적인 제어에 따라 상기 어크로매틱 렌즈를 통해 입사되는 광과 상기 하이퍼크로매틱 렌즈를 통해 입사되는 광을 파장성분별로 검출할 수 있는 하이퍼스펙트럴 이미지센서; 상기 2개의 셔터를 제어하여 순차적으로 상기 하이퍼크로매틱 렌즈를 통한 하이퍼크로매틱 이미지와 상기 어크로매틱 렌즈를 통한 어크로매틱 이미지 데이터를 취득하여 측정 대상체 표면 고유색상 정보를 어크로매틱 이미지 데이터를 사용하여 하이퍼크로매틱 이미지 데이터에서 제거하고 제거된 하이퍼크로매틱 이미지 데이터에서 각 파장별 이미지의 선명도 검출 연산을 통해 상기 파장별 이미지에서 해당 파장광의 초점거리에서 측정된 지점을 찾아 3차원 측정 형상 정보를 생성하는 제어연산부로 이루어진 3차원 스캐너
  5. 제4항의 3차원 스캐너에 있어서,
    파장별 측정광 이미지를 획득하는 하이퍼스펙트럴 이미지센서는 제1항의 하이퍼스펙트럴 이미지센서의 특징을 갖는 3차원 스캐너
  6. 제4항의 3차원 스캐너에 있어서,
    파장별 측정광 이미지를 획득하는 하이퍼스펙트럴 이미지센서는 제3항의 하이퍼스펙트럴 이미지센서의 특징을 갖추어 측정 속도를 높인 것을 특징으로 하는 3차원 스캐너
  7. 제4항의 3차원 스캐너에 있어서,
    한개 이상이 설치되어 제어연산부의 제어에 의해 선택적으로 켜질 수 있고, 하이퍼스펙트럴 이미지센서와는 빔스플리터를 기준으로 수직 방향으로 배치되는 다파장 광원을 갖는 것을 특징으로 하고, 어크로매틱 이미지와 하이퍼크로매틱 이미지 취득시 각각에 맞게 상기 한개 이상의 다파장 광원을 조사하여 측정광 이미지의 조도 및 신호대 잡음비를 개선하여 3차원 측정 정밀도를 향상시키는 것을 특징으로 하는 3차원 스캐너
  8. 제7항의 3차원 스캐너에 있어서,
    다파장 광원과 빔스플리터 사이에는 광변조기가 배치되어 변조된 광이 이미지 촬영시 피사체에 조사되게 하여 3차원 측정을 위한 3차원 하이퍼스펙트럴 이미지의 파장별 이미지 선명도 계산 결과가 초점거리 일치 여부에 따라 크게 차이나도록 만들어줘서 선명도 계산 결과를 바탕으로 환산한 3차원 측정 정밀도를 개선해주는 것을 특징으로 하는 3차원 스캐너
  9. 제8항의 3차원 스캐너에 있어서,
    어크로매틱 렌즈와 셔터 사이에는 조리개, 하이퍼크로매틱 렌즈와 셔터 사이에는 크로매틱멀티조리개가 존재하여 각각의 렌즈를 거치는 이미지의 화질이 개선되는 것을 특징으로 하고; 파장별 이미지를 검출하는 하이퍼스펙트럴 이미지센서는 제1항의 하이퍼스펙트럴 이미지센서로 구성된 것을 특징으로 하는 3차원 스캐너
  10. 복수개의 카메라와 프로젝터, 제어 연산부로 구성되는 액티브 스테레오 비젼 3차원 스캐너에 있어서; 상기 프로젝터는 액시콘렌즈와 범용 프로젝션렌즈를 갖고 각각의 렌즈에 결합된 다파장 광원 디바이스로 구성되는 것을 특징으로하고; 상기 카메라의 이미지센서는 하이퍼스펙트럴 이미지센서로 구성되는 것을 특징으로 하고; 상기 제어 연산부는 상기 프로젝터에서 액시콘렌즈를 통해 조사되는 다파장 광원을 제어하여 분광된 무지개무늬가 피사체 조사되도록 제어하여 상기 복수개의 카메라를 통해 원형무지개스펙트럼 상이 맺힌 피사체 스테레오 이미지를 획득하고, 순차적으로 범용프로젝션를 통해 조사되는 다파장 광원 빛을 조명으로 피사체 조사되도록 제어하여 상기 복수개의 카메라를 통해 이미지를 획득하여 각 카메라 별 이미지에서 피사체 표면 고유 색상에 의한 영향을 배제시키고, 상기 원형무지개스펙트럼 상이 맺힌 피사체 스테레오 이미지에서 파장별 이미지를 분리해 상기 파장별 이미지에서 존재하는 원형 조사광 정보와 스테레오 에피폴라 라인 정보를 이용해 스테레오 매칭을 수행하여 3차원 거리값을 계산하는 것을 특징으로 하는 액티브 스테레오 비젼 3차원 스캐너
  11. 제10항의 액티브 스테레오 3차원 스캐너에 있어서,
    복수개의 카메라에 내장된 이미지센서는 제1항의 하이퍼스펙트럴 이미지센서인 것을 특징으로 하여 정밀도가 향사된 것을 특징으로 하는 액티브 스테레오 3차원 스캐너
  12. 제10항의 액티브 스테레오 3차원 스캐너에 있어서,
    복수개의 카메라에 내장된 이미지센서는 제3항의 하이퍼스펙트럴 이미지센서인 것을 특징으로 하여 고정밀 고속인 것을 특징으로 하는 액티브 스테레오 3차원 스캐너
  13. 다파장 성분의 빛을 발생시키는 광원; 상기 광원의 빛을 평행 정렬하는 조명렌즈; 상기 조명렌즈에서 평행 정렬된 빛을 경계면에서 반사시켜 측정 피사체를 향하게 하는 빔스플리터; 상기 빔스플리터에서 반사된 빛을 파장별로 다른 초점거리에 다중 집광시켜 피사체에 조사하는 하이퍼크로매틱 마이크로렌즈어레이; 상기 하이퍼크로매틱 마이크로렌즈어레이에서 조사된 빛이 피사체에 반사되어 다시 상기 빔스플리터를 거쳐 입사되면 이를 다시 집광하여 핀홀로 보내는 핀홀집광렌즈; 핀홀집광렌즈에서 집광된 빛을 피사체에 반사된 지점의 파장별 초점거리 일치여부에 따라 걸러주는 핀홀; 상기 핀홀을 통과한 빛을 다시 평행집광 시켜주는 센서렌즈; 상기 센서렌즈를 통해 전달되는 빛의 파장별 빛의 세기를 검출하는 하이퍼스펙트럴 센서로서 제1항의 특징을 갖는 하이퍼스펙트럴 이미지센서; 상기 광원과 상기 하이퍼스펙트럴 이미지센서를 제어하여 취득한 병렬 공초점 데이터에서 각 픽셀별로 최대 세기를 갖는 파장을 검출하여 해당 파장의 상기 하이퍼크로매틱 마이크로렌즈 어레이에서의 초점거리로 상기 픽셀의 높이값을 환산하여서 3차원 형상 정보를 생성하는 제어연산부;로 구성되는 것을 특징으로 하는 병렬공초점 3차원 스캐너
  14. 제13항의 병렬공초점 3차원 스캐너에 있어서,
    하이퍼스펙트럴 이미지센서는 제3항의 특징을 갖추어서 측정 속도가 고속인 것을 특징으로 하는 병렬공초점 3차원 스캐너
  15. 다파장 성분의 빛을 발생시키는 광원; 상기 광원의 빛을 평행 정렬하는 조명렌즈; 상기 조명렌즈에서 평행 정렬된 빛을 다중 병렬화시켜주는 마이크로렌즈 어레이; 상기 마이크로렌즈 어레이에서 다중 병렬화되어 전달되는 빛을 경계면에서 반사시켜 측정 피사체를 향하게 하는 빔스플리터; 상기 빔스플리터에서 반사되어 전달되는 다중 병렬화된 빛을 파장별로 다른 초점거리에 집광시켜 피사체에 조사하는 하이퍼크로매틱 렌즈; 상기 하이퍼크로매틱 렌즈에서 조사된 다중 병렬화된 빛이 피사체에 반사되어 다시 상기 빔스플리터를 거쳐 입사되면 이 빛들을 파장별 초점거리 일치여부에 따라 걸러주는 핀홀어레이; 상기 핀홀을 통과한 빛들을 다시 평행집광 시켜주는 센서렌즈; 상기 센서렌즈를 통해 전달되는 빛의 파장별 빛의 세기를 검출하는 하이퍼스펙트럴 센서로서 제1항의 특징을 갖는 하이퍼스펙트럴 이미지센서; 상기 광원과 상기 하이퍼스펙트럴 이미지센서를 제어하여 취득한 병렬 공초점 데이터에서 각 픽셀별로 최대 세기를 갖는 파장을 검출하여 해당 파장의 상기 하이퍼크로매틱 렌즈에서의 초점거리로 상기 픽셀의 높이값을 환산하여서 3차원 형상 정보를 생성하는 제어연산부;로 구성되는 것을 특징으로 하는 병렬공초점 3차원 스캐너
  16. 제15항의 병렬공초점 3차원 스캐너에 있어서,
    하이퍼스펙트럴 이미지센서는 제3항의 특징을 갖추어서 측정 속도가 고속인 것을 특징으로 하는 병렬공초점 3차원 스캐너
  17. 다파장 성분의 빛을 발생시키는 광원; 상기 광원의 빛을 평행 정렬 집광하는 제1조명렌즈; 상기 제1조명렌즈에서 평행 정렬 집광된 빛을 제어연사부의 제어신호에 따라 픽셀단위로 선택적으로 반사하여 다중 병렬화 시키는 디지털 마이크로미러 디바이스; 상기 디지털 마이크로미러 디바이스에서 픽셀단위로 반사되어 전달되는 다중 병렬화된 빛들을 각각 집광하는 제2조명렌즈; 제2조명렌즈에서 집광된 빛들을 경계면에서 반사시켜 측정 피사체를 향하게 하는 빔스플리터; 상기 빔스플리터에서 반사되어 전달되는 다중 병렬화된 빛들을 파장별로 다른 초점거리에 집광시켜 피사체에 조사하는 하이퍼크로매틱 렌즈; 상기 하이퍼크로매틱 렌즈에서 조사된 다중 병렬화된 빛이 피사체에 반사되어 다시 상기 빔스플리터를 거쳐 입사되면 이 빛들을 파장별 초점거리 일치여부에 따라 걸러주는 핀홀어레이; 상기 핀홀을 통과한 빛들을 다시 평행집광 시켜주는 센서렌즈; 상기 센서렌즈를 통해 전달되는 빛의 파장별 빛의 세기를 검출하는 하이퍼스펙트럴 센서로서 제1항의 특징을 갖는 하이퍼스펙트럴 이미지센서; 상기 광원, 상기 디지털 마이크로미러 디바이스, 상기 하이퍼스펙트럴 이미지센서를 제어하여 취득한 병렬 공초점 데이터에서 각 픽셀별로 최대 세기를 갖는 파장을 검출하여 해당 파장의 상기 하이퍼크로매틱 렌즈에서의 초점거리로 상기 픽셀의 높이값을 환산하여서 3차원 형상 정보를 생성하는 제어연산부;로 구성되는 것을 특징으로 하는 병렬공초점 3차원 스캐너
  18. 제17항의 병렬공초점 3차원 스캐너에 있어서,
    하이퍼스펙트럴 이미지센서는 제3항의 특징을 갖추어서 측정 속도가 고속인 것을 특징으로 하는 병렬공초점 3차원 스캐너
KR1020170092041A 2017-07-20 2017-07-20 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너 KR102040368B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170092041A KR102040368B1 (ko) 2017-07-20 2017-07-20 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170092041A KR102040368B1 (ko) 2017-07-20 2017-07-20 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너

Publications (2)

Publication Number Publication Date
KR20170106251A KR20170106251A (ko) 2017-09-20
KR102040368B1 true KR102040368B1 (ko) 2019-11-04

Family

ID=60034004

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170092041A KR102040368B1 (ko) 2017-07-20 2017-07-20 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너

Country Status (1)

Country Link
KR (1) KR102040368B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102064593B1 (ko) * 2017-09-27 2020-02-11 연세대학교 산학협력단 표면 진단기
KR102012479B1 (ko) 2017-11-29 2019-11-04 울산과학기술원 모바일을 이용한 식품 성분 분석장치
CN108446042A (zh) * 2018-01-31 2018-08-24 北京他山科技有限公司 一种电容式触摸传感器、电子皮肤和智能机器人
CN108362427A (zh) * 2018-01-31 2018-08-03 北京他山科技有限公司 一种具有多功能层的接触传感器、电子皮肤和智能机器人
WO2019190122A1 (ko) 2018-03-30 2019-10-03 삼성전자 주식회사 대상체의 상태정보를 획득하는 전자장치 및 그 제어 방법
KR102136717B1 (ko) 2018-10-01 2020-07-22 롯데정밀화학 주식회사 소수성 실리카를 포함하는 시멘트 모르타르용 첨가제 및 그의 제조방법
EP3671147A1 (en) * 2018-12-21 2020-06-24 IMEC vzw Apparatus for depth-resolved hyperspectral imgaging
US11335726B2 (en) 2019-10-31 2022-05-17 Taiwan Semiconductor Manufacturing Company, Ltd. Lens structure configured to increase quantum efficiency of image sensor
KR102420729B1 (ko) * 2019-10-31 2022-07-15 타이완 세미콘덕터 매뉴팩쳐링 컴퍼니 리미티드 이미지 센서의 양자 효율을 증가시키도록 구성되는 렌즈 구조물
KR102607610B1 (ko) * 2021-05-20 2023-11-29 주식회사 디오에프연구소 3d 스캐너
CN113776459A (zh) * 2021-09-01 2021-12-10 上海美沃精密仪器股份有限公司 一种共聚焦三维测量系统和坐标、颜色测量方法
CN114460020B (zh) * 2022-01-30 2023-11-17 清华大学深圳国际研究生院 一种基于数字微反射镜的高光谱扫描系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193284A (ja) * 2002-12-10 2004-07-08 Canon Inc 撮像装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100958633B1 (ko) * 2008-07-14 2010-05-19 주식회사 동부하이텍 이미지 센서 및 그 제조 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193284A (ja) * 2002-12-10 2004-07-08 Canon Inc 撮像装置

Also Published As

Publication number Publication date
KR20170106251A (ko) 2017-09-20

Similar Documents

Publication Publication Date Title
KR102040368B1 (ko) 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너
US11172186B2 (en) Time-Of-Flight camera system
KR102624537B1 (ko) 공간적으로 코딩된 이미지를 생성하는 이미지 분산부를 갖는 이미징 디바이스
JP5723881B2 (ja) マルチスペクトル撮像
Geelen et al. A snapshot multispectral imager with integrated tiled filters and optical duplication
US20170276545A1 (en) An imaging system parallelizing compressive sensing imaging
US20090185173A1 (en) Apparatus and method for determining characteristics of a light source
JP2019523910A (ja) 深度取得及び３次元撮像のためのライトフィールド撮像デバイス及び方法
US9605944B2 (en) Distance measuring device and distance measuring method
US20190394407A1 (en) Detecting apparatus and detecting method
US10783652B2 (en) Plenoptic imaging apparatus, method, and applications
US11902494B2 (en) System and method for glint reduction
Beraldin et al. Optimized position sensors for flying-spot active triangulation systems
US8334908B2 (en) Method and apparatus for high dynamic range image measurement
JP2005522920A (ja) 測定システムにおける装置
US10609361B2 (en) Imaging systems with depth detection
US20040085549A1 (en) Method and an apparatus for measuring positions of contact elements of an electronic component
JP2010127723A (ja) 形状測定装置
WO2023283742A1 (en) Imager and spot sampler with translatable stage
JP2023547699A (ja) 重なる視野を有するセンサを有する三次元スキャナ
JP7146477B2 (ja) 検出装置および検出方法
JP2006177813A (ja) 迷光補正法及びそれを用いた二次元分光輝度計
JPH0233124B2 (ko)
US20230402485A1 (en) Imaging system using spatially separated spectral arrays
US20240179428A1 (en) Compensation of imaging sensor

Legal Events

Date Code Title Description
G15R Request for early opening
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant