KR20230085797A - 풀 스토크스 파라미터를 획득하기 위한 편광 카메라 및 편광 이미지 획득 방법 - Google Patents

풀 스토크스 파라미터를 획득하기 위한 편광 카메라 및 편광 이미지 획득 방법 Download PDF

Info

Publication number
KR20230085797A
KR20230085797A KR1020220021932A KR20220021932A KR20230085797A KR 20230085797 A KR20230085797 A KR 20230085797A KR 1020220021932 A KR1020220021932 A KR 1020220021932A KR 20220021932 A KR20220021932 A KR 20220021932A KR 20230085797 A KR20230085797 A KR 20230085797A
Authority
KR
South Korea
Prior art keywords
polarization
image
phase
image sensor
degree
Prior art date
Application number
KR1020220021932A
Other languages
English (en)
Other versions
KR102676333B1 (ko
Inventor
이승아
백낙규
김태영
정재우
이유진
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of KR20230085797A publication Critical patent/KR20230085797A/ko
Application granted granted Critical
Publication of KR102676333B1 publication Critical patent/KR102676333B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G02B5/3033—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state in the form of a thin sheet or foil, e.g. Polaroid
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3083—Birefringent or phase retarding elements

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Blocking Light For Cameras (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 이미지 센서, 이미지 센서의 전방에 배치되고, 풀 스토크스 파라미터를 획득하기 위해 요구되는 편광 방향 별 광 세기 이미지의 개수에 따라 서로 다른 편광 방향을 갖는 다수의 편광 영역으로 구분되어, 이미지 센서로 입사되는 광을 구분된 편광 영역의 편광 방향에 따라 필터링하는 편광 필터 및 이미지 센서의 전방에 편광 필터와 중첩되도록 배치되고, 미리 형성된 위상 변환 패턴에 따라 입사되는 광을 위상 변환하는 위상 마스크를 포함하여, 저비용으로 제조 가능하며, 1회 촬영으로 풀 스토크스 파라미터를 용이하게 획득할 수 있는 편광 카메라 및 이를 이용한 이미지 획득 방법을 제공한다.

Description

풀 스토크스 파라미터를 획득하기 위한 편광 카메라 및 편광 이미지 획득 방법{Polarization Camera for Acquiring Full Stokes Polarized Image, and Polarized Image Acquisition Method using the Same}
본 발명은 편광 카메라 및 이를 이용한 이미지 획득 방법에 관한 것으로, 단일 촬영으로 풀 스토크스 파라미터를 획득할 수 있는 편광 카메라 및 이를 이용한 편광 이미지 획득 방법에 관한 것이다.
편광 이미징(polarization imaging)은 물체의 복굴절(birefringence) 또는 표면 속성 등에 따라 달라지는 편광 특성을 관찰하기 위해, 여러 편광 방향으로 물체에 대한 이미지를 획득하여 추가적인 대비(contrast)가 나타나도록 하는 이미징 기법이다.
도 1은 편광 이미징의 적용 예를 나타낸다.
도 1에서 (a)는 통상의 이미징 기법으로 획득된 이미지이고, (b)는 편광 이미징 기법에 따라 획득된 이미지이다. 도 1의 (b)에 도시된 바와 같이, 편광 이미징 기법을 이용하면, 인간의 눈 또는 기존의 카메라에서 획득하기 힘든 숨겨진 정보를 확인할 수 있다는 장점으로 인해 널리 보급되고 있다. 편광 이미징은 재료 분석, 투명 물체 검사 및 3D 이미징 등과 같은 다양한 머신 비전 애플리케이션세서 주로 이용되고 있다.
기존에 대부분의 편광 카메라는 여러 편광 방향으로의 편광 이미지를 획득하기 위해 센서 평면의 공간 다중화 또는 순차 편광 필터링의 두 가지 기술 중 하나를 이용한다. 공간 다중화는 온칩(on-chip) 픽셀 레벨의 편광 필터 어레이를 이용하는 방식으로 이미지 센서와 편광 필터가 일체형으로 제조된 편광 이미지 센서를 이용하므로 스냅샷 편광 이미징을 가능하게 한다.
도 2는 기존의 편광 이미지 센서 구성의 일 예를 나타낸다.
도 2에 도시된 바와 같이, 공간 다중화 방식에 이용되는 편광 이미지 센서에서는 편광 필터(12)가 픽셀 단위로 구성되어 이미지 센서(11)와 결합되어 온칩으로 구성되어야 한다. 이때 렌즈(13) 또한 픽셀 레벨로 제조되어 결합될 수 있다. 또한 도 2에서는 4개 방향의 선형 편광(linear polarization)을 획득하는 선형 편광 필터로 구성되어 있으나, 원형 편광(circular polarization) 또는 타원 편광(elliptical polarization)을 함께 획득하기 위해서는 1/4 위상 지연판(Quarter-Wave Plate: 이하 QWP)이 추가적으로 온칩으로 구성되어야 한다. 따라서 제조 과정이 매우 복잡하고 비용이 매우 높다. 뿐만 아니라 편광 이미징을 위한 전용 칩으로 제조되어야 하므로, 다른 용도로 이용될 수 없다는 한계가 있다.
그에 반해 순차 편광 필터링은 통상의 카메라의 전면에 서로 다른 편광 방향을 갖는 편광 필름을 교체 또는 회전시키면서 반복하여 다수 횟수로 촬영하는 방식이다. 순차 편광 필터링은 기존 카메라를 이용하면서 회전 편광판만 추가로 필요하므로 저비용으로 편광 이미지를 획득할 수 있다는 장점이 있다. 그러나 순차 편광 필터링 방식은 서로 다른 편광 방향에 따라 다수 횟수로 촬영한 해야 하므로 시간이 많이 소요되며, 촬영 간격 사이에 물체의 움직임이 발생해서는 안된다. 이로 인해 정적 및/또는 매우 느리게 움직이는 물체에만 적용할 수 있다는 한계가 있다.
한국 등록 특허 제10-1999224호 (2019.07.05 등록)
본 발명의 목적은 렌즈리스 카메라를 이용하여 1회 촬영으로 풀 스토크스 파라미터를 획득할 수 있는 편광 카메라 및 이를 이용한 편광 이미지 획득 방법을 제공하는데 있다.
본 발명의 다른 목적은 렌즈를 대신하여 위상 마스크와 편광 필름을 이용하여 저비용으로 풀 스토크스 파라미터를 획득할 수 있는 편광 카메라 및 이를 이용한 편광 이미지 획득 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 편광 카메라는 이미지 센서; 상기 이미지 센서의 전방에 배치되고, 풀 스토크스 파라미터를 획득하기 위해 요구되는 편광 방향 별 광 세기 이미지의 개수에 따라 서로 다른 편광 방향을 갖는 다수의 편광 영역으로 구분되어, 상기 이미지 센서로 입사되는 광을 구분된 편광 영역의 편광 방향에 따라 필터링하는 편광 필터; 및 상기 이미지 센서의 전방에 상기 편광 필터와 중첩되도록 배치되고, 미리 형성된 위상 변환 패턴에 따라 입사되는 광을 위상 변환하는 위상 마스크를 포함한다.
상기 편광 필터는 상기 이미지 센서의 광 감지 영역에 구분된 편광 영역에 따른 편광이 입사되도록 각각 지정된 편광 방향을 갖는 다수의 편광 영역으로 구분된 편광 필름; 및 상기 편광 필름의 구분된 편광 영역 중 적어도 하나의 편광 영역에 중첩되어 배치되어 입사되는 광의 위상을 지연하는 위상 지연판을 포함할 수 있다.
상기 위상 마스크는 상기 위상 변환 패턴에 따라 일면에 위치별로 상이한 높이를 갖도록 형성된 투명 필름으로 구현될 수 있다.
상기 편광 카메라는 상기 위상 마스크의 위상 변환 패턴에 대응하는 점 확산 함수를 상기 편광 필터의 다수의 편광 영역에 따라 다수의 부분 점 확산 함수로 구분하고, 상기 이미지 센서에서 획득된 로우 이미지에 대해 다수의 부분 점 확산 함수 각각을 개별적으로 적용하여 상기 다수의 광 세기 이미지를 재구성하는 프로세서를 더 포함할 수 있다.
상기 프로세서는 상기 다수의 광 세기 이미지를 조합하여 상기 풀 스토크스 파라미터를 획득할 수 있다.
상기 편광 필름은 4개의 편광 영역으로 구분되고, 4개의 편광 영역은 0도, 45도, 90도 및 135도 편광 방향 또는 0도, 90도 및 2개의 45도 편광 방향을 가질 수 있다.
상기 위상 지연판은 상기 편광 필름에서 2개의 45도 편광 방향을 갖는 편광 영역 중 하나 또는 135도 편광 방향을 갖는 편광 영역에 중첩 배치될 수 있다.
상기 프로세서는 0도, 45도, 90도 편광 방향을 갖는 편광 영역을 통해 상기 이미지 센서에 입사된 광에 의해 획득된 3개의 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°))와 상기 45도 편광 방향을 갖는 편광 영역과 상기 위상 지연판을 통해 상기 이미지 센서에 입사된 광에 의해 획득된 광 세기 이미지(I(45°,90°))로부터 풀 스토크스 파라미터를 구성하는 4개의 스토크스 파라미터(S0, S1, S2, S3)를 수학식
Figure pat00001
에 따라 획득할 수 있다.
상기 편광 카메라는 상기 편광 필터와 상기 위상 마스크가 일면 및 타면에 각각 결합되는 조리개; 및 상기 편광 필터와 상기 위상 마스크가 결합된 상기 조리개가 상기 이미지 센서의 전면으로부터 이격 배치되도록 지지하는 스페이서를 더 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 편광 이미지 획득 방법은 풀 스토크스 파라미터를 획득하기 위해 요구되는 편광 방향 별 광 세기 이미지의 개수에 따라 서로 다른 편광 방향을 갖는 다수의 편광 영역으로 구분되어 입사되는 광을 구분된 편광 영역의 편광 방향에 따라 필터링하는 편광 필터와, 미리 형성된 위상 변환 패턴에 따라 입사되는 광을 위상 변환하는 위상 마스크를 통해 입사된 광을 상기 이미지 센서가 감지하여 로우 이미지를 획득하는 단계; 상기 위상 마스크의 위상 변환 패턴에 대응하는 점 확산 함수를 상기 편광 필터의 다수의 편광 영역에 따라 다수의 부분 점 확산 함수로 구분하고, 상기 로우 이미지에 대해 다수의 부분 점 확산 함수 각각을 개별적으로 적용하여 다수의 광 세기 이미지를 재구성하는 단계; 및 상기 다수의 광 세기 이미지를 조합하여 상기 풀 스토크스 파라미터를 획득하는 단계를 포함한다.
따라서, 본 발명의 실시예에 따른 편광 카메라 및 이를 이용한 편광 이미지 획득 방법은 렌즈리스 카메라에서 위상 마스크와 편광 필름을 이용하여 1회 촬영으로 서로 다른 편광 방향의 다양한 편광 이미지를 획득할 수 있도록 한다. 그러므로 저비용으로 제조 가능하며, 1회 촬영으로 풀 스토크스 파라미터를 용이하게 획득하여 편광 상태를 설명하기 위한 편광도 이미지와 편광 각 이미지 및 타원율 이미지를 획득할 수 있다.
도 1은 편광 이미징의 적용 예를 나타낸다.
도 2는 기존의 편광 이미징 카메라 구성의 일 예를 나타낸다.
도 3은 렌즈 기반 이미징 방식과 위상 마스크 기반 렌즈리스 이미징 방식의 동작을 설명하기 위한 도면이다.
도 4는 위상 마스크 기반 렌즈리스 이미징 방식의 원리를 설명하기 위한 도면이다.
도 5는 위상 마스크 기반 렌즈리스 이미지를 복원하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 편광 카메라의 개략적 구조를 나타낸다.
도 7은 도 6의 편광 카메라를 이용하여 다양한 편광 방향에 따른 세기 이미지를 재구성하는 개념을 설명하기 위한 도면이다.
도 8은 도 7의 재구성 세기 이미지를 기반으로 편광 상태 이미지를 획득하는 방법을 설명하기 위한 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 실시예의 풀 스토크스 파라미터를 획득하기 위한 편광 카메라 및 편광 이미지 획득 방법에서는 편광 필름과 함께 위상 마스크 기반 렌즈리스 카메라를 이용하여 풀 스토크스 파라미터를 획득할 수 있도록 한다.
이에 여기서는 위상 마스크 기반 렌즈리스 카메라에 대해 우선 설명하도록 한다.
도 3은 렌즈 기반 이미징 방식과 위상 마스크 기반 렌즈리스 이미징 방식의 동작을 설명하기 위한 도면이고, 도 4는 위상 마스크 기반 렌즈리스 이미징 방식의 원리를 설명하기 위한 도면이며, 도 5는 위상 마스크 기반 렌즈리스 이미지를 복원하는 방법을 설명하기 위한 도면이다.
도 3에서 (a)는 렌즈 기반 이미징 방식을 나타내고, (b)는 위상 마스크 기반 렌즈리스 이미징 방식을 나타낸다.
도 3의 (a)에 도시된 바와 같이, 렌즈 기반 이미징 방식에서는 이미지 센서(22)의 전방에 적어도 하나의 렌즈가 포함된 렌즈 모듈(21)이 배치된다. 렌즈즈 모듈(21)은 특정 위치로부터 입사되는 광을 이미지 센서(22)의 특정 위치에 결상되도록 한다. 즉 점 광원이 렌즈 모듈(21)에 의해 이미지 센서(22)에 다시 점 형태로 맺히게 되므로, 이미지 센서(22)는 물체의 형상의 이미지(23)를 획득할 수 있다. 반면 위상 마스크 기반 렌즈리스 이미징 방식에서는 (b)에 도시된 바와 같이, 렌즈 대신 위상 마스크(Phase mask)(24)가 이미지 센서(25)의 전방에 위치한다. 여기서 위상 마스크(24)는 광이 투과될 수 있는 투명 소재로서 투명 필름 등을 이용하여 구현될 수 있으며, 도 3의 (b)에 도시된 바와 같이, 위상 마스크(24)의 일면은 불규칙적인 형태의 위상 변환 패턴에 따라 위치별로 상이한 높이를 갖도록 형성된다.
일면에 크기, 높이, 모양이 상이한 다양한 패턴이 형성된 위상 마스크(24)는 광이 입사되는 위치에 따라 서로 다른 굴절율로 광을 굴절시켜, 도 4의 (a)에 도시된 바와 같이, 입사된 점 광원이 물결 무늬와 유사한 패턴으로 확산되도록 변환한다. 즉 점 광원이 위상 마스크(24)에 형성된 위상 변환 패턴에 따라 이미지 센서의 전체 영역으로 확산된 이미지로 획득된다.
여기서 기지정된 기준 위치의 점 광원에서 방사된 광이 광학계(여기서는 위상 마스크)를 통과하여 이미지 센서(25)에 입사되는 광량 분포를 나타내는 함수인 점 확산 함수(Point Spread Function: PSF)(28)는 도 4의 (a)에 도시된 바와 같이, 위상 마스크(24)의 위상 변환 패턴에 대응하는 패턴으로 미리 획득된다.
그리고 입사되는 점 광원의 위치가 변화하면, 도 4의 (b)에 도시된 바와 같이, 이미지 센서(25)에 투영되는 점 확산 함수(PSF) 전체가 평행 시프트(Lateral Shift)되는 형태로 변화하게 된다. 그러므로 서로 다른 위치의 점 광원에서 입사되는 광은 각각 점 확산 함수(PSF)에 따라 확산 변환되고, 이미지 센서(25)에 중첩되어 입사되므로, 이미지 센서(25)는 도 4의 (b)와 같이 점 확산 함수(PSF)가 평행 시프트되어 중첩된 로우 이미지(raw image)(26)를 획득하게 된다.
이와 같이 위상 마스크(24)를 이용하는 경우, 점 광원은 위상 변환 패턴에 따라 이미지 센서(25)의 전체 영역에 확산되어 투영되므로, 이미지 센서(25)에서 획득된 로우 이미지의 일부 영역만으로도 점 광원을 일정 수준까지 재구성할 수 있다.
그리고 점이 아닌 크기를 갖는 물체를 촬영하는 경우, 다수의 위치별 점 광원에서 방사된 광이 위상 마스크(24)를 통해 이미지 센서(25)에 중첩되어 입사된 것으로 볼 수 있다. 따라서 다수의 점 확산 함수(PSF)가 시프트되어 중첩된 도 3의 (b)와 같은 로우 이미지(26)로 획득된다. 이때 로우 이미지(26)의 일부 영역에도 다수의 점 광원의 성분이 중첩된 형태로 포함되어 있으므로, 로우 이미지(26)의 일부 영역만으로도 물체에 대한 이미지를 일정 수준 재구성 가능하다.
여기서 렌즈리스 이미징 방식으로 획득된 로우 이미지(26)를 렌즈 기반 이미징 방식과 동일한 형태의 이미지로 변환하기 위해서는 로우 이미지(26)에 대해 점 확산 함수(PSF)를 이용하여 콘볼루션 연산을 우선 수행하여 각 점 광원에 의한 이미지를 추출한 후, 다시 점 확산 함수(PSF)를 기반으로 디콘볼루션 연산을 수행해야 한다.
다만 점 확산 함수(PSF)에 기반한 디콘볼루션 연산은 복잡도가 매우 높고, 이미지 센서(25)가 광을 감지할 수 있는 영역의 제한이 있어 통상적인 방식으로 수행할 수 없다. 이에 일반적으로는 ADMM(alternating direction method of multipliers) 알고리즘 등을 이용하여 위상 변환된 로우 이미지(26)를 렌즈 기반 이미지 형태(29)로 재구성한다. 이 경우, 이미지 변환 모델을 미리 설정하고, 이미지 변환 모델에서 변환된 이미지와 렌즈 기반 이미지 사이의 오차가 최소가 되도록 이미지 변환 모델을 반복적으로 업데이트하는 최적화 방법을 이용하여, 위상 마스크(24)를 통해 획득된 로우 이미지(26)를 도 5와 같은 렌즈 기반 이미지 형태(29)로 재구성할 수 있다.
한편 편광 이미징에서 순차 편광 필터링 방식은 상기한 바와 같이, 편광 필름을 교체 또는 회전시키면서 반복하여 다수 횟수로 촬영해야 한다. 이는 통상의 렌즈 카메라를 이용하는 경우, 서로 다른 각 편광 방향의 편광 필름으로 물체 전체 형상에 대한 이미지를 동시에 획득할 수 없기 때문이다. 그러나 위상 마스크(24)가 적용되는 경우, 상기한 바와 같이 위상 마스크(24)가 위상 변환 패턴에 따라 각 위치의 다수의 점 광원을 확산 및 변환하여 이미지 센서에서 투영하므로, 이미지 센서는 다수의 점 확산 함수(PSF)가 시프트되고 중첩된 형태의 로우 이미지(26)를 획득한다. 이와 같이 점 확산 함수(PSF)가 시프트되고 중첩된 형태의 로우 이미지(26)의 경우 일부 영역만으로도 물체의 개략적인 형상을 획득할 수 있다.
그러므로, 위상 마스크(24)를 통과한 광을 감지하는 이미지 센서(25)의 전체 영역을 구분하고, 구분된 각 영역에 대해 서로 다른 방향의 편광 필터를 적용한 후, 구분된 각 영역에서 획득된 로우 이미지를 독립적으로 복원하면, 1회의 촬영으로 서로 다른 다수의 편광 방향에 대한 물체 이미지를 획득할 수 있다.
도 6은 본 발명의 일 실시예에 따른 편광 카메라의 개략적 구조를 나타낸다.
도 6을 참조하면, 본 실시예에 따른 편광 카메라는 기판(500) 상에 이미지 센서(100)가 배치되고, 이미지 센서(100)의 전방으로 기지정된 간격(여기서는 초점 간격으로 일 예로 6mm)만큼 이격되어 위상 마스크(300)가 배치된다. 위상 마스크(300)는 상기한 바와 같이, 일면에 크기, 높이, 모양이 상이한 다양한 패턴이 형성되어 입사되는 광이 점 확산 함수에 따라 확산 변환되도록 한다. 위상 마스크(300)는 도 6에 도시된 바와 같이, 조리개(410)에 결합되고, 조리개(410)에 결합된 위상 마스크(300)는 편광 필터(200)는 스페이서(420)에 의해 이미지 센서(100)로부터 기지정된 간격만큼 이격되어 배치될 수 있다.
한편 필름 형태의 편광 필터(200) 또한 조리개(410)에 결합되어 이미지 센서(100)로부터 기지정된 간격만큼 이격되어 배치될 수 있다. 따라서 본 실시예의 편광 카메라에서는 편광 필터(200)가 이미지 센서(100)와 온칩으로 구성되지 않고 별도의 필름 형태로 구성되어 이미지 센서(100)로부터 이격되어 배치된다. 그리고 편광 필터(200)는 편광 필름(210)과 위상 지연판(Quarter-Wave Plate: QWP)(220)을 포함할 수 있다.
우선 편광 필름(210)은 이미지 센서(100)에서 광을 감지하는 전체 영역에 대해 기지정된 개수로 분할된 영역 각각에 기지정된 편광 방향을 갖도록 구성된다. 여기서는 일 예로서 편광 필름(210)이 각각 지정된 편광 방향을 갖는 4개의 편광 영역(211 ~ 214)을 갖는 경우를 가정하였으나, 편광 영역은 6개 또는 8개 등으로 구분될 수도 있다. 그리고 4개의 편광 영역(211 ~ 214) 중 제1 편광 영역(211)은 0도의 편광 방향을 갖고, 제3 편광 영역(213)은 90도 편광 방향을 가지며, 제2 및 제4 편광 영역(212, 214)은 동일하게 45도 편광 방향을 갖는 것으로 가정한다. 여기서 4개의 편광 영역(211 ~ 214) 중 제2 및 제4 편광 영역(212, 214)이 동일하게 45도 편광 방향을 갖는 것은, 제4 편광 영역(214)과 함께 위상 지연판(220)을 이용하여 원 편광 이미지를 획득하기 위해서이다. 즉 제1 내지 제3 편광 영역(211 ~ 213)은 각각 서로 다른 방향의 선형 편광 이미지를 획득하기 위해 이용되고, 제4 편광 영역(214)은 원 편광 이미지를 획득하기 위해 이용된다. 다만 제4 편광 영역(214)은 다른 편광 방향(예를 들면 135도)을 가질 수도 있다.
한편 위상 지연판(220)은 원 편광을 획득하기 위해 편광 필름(210)의 다수의 편광 영역(211 ~ 214) 중 적어도 하나의 편광 영역(여기서는 일 예로 제4 편광 영역(214))에 중첩되도록 배치된다. 선형 편광 필터와 위상 지연판(220)의 조합은 원형 편광을 획득하기 위한 기법으로 잘 알려져 있다. 45도 선형 편광 필터와 위상 지연판(220)은 좌원 편광을 획득할 수 있으며, 135도 선형 편광 필터와 위상 지연판(220)은 우원 편광을 획득할 수 있다.
일반적으로 편광 상태는 도 1에 도시된 바와 같이 편광의 정도를 나타내는 편광도(Degree of Polarization: 이하 DoP) 이미지와 선형 편광의 각도를 나타내는 편광각(Angle of Polarization: 이하 AoP) 이미지와 함께 원형 편광의 타원도를 나타내는 타원율(Ellipticity) 이미지로 표현될 수 있다. 그리고 DoP 이미지와 AoP 이미지 및 타원율 이미지는 4개의 스토크스 파라미터(S0, S1, S2, S3)로 구성된 풀 스토크스 파라미터로부터 획득될 수 있으며, 풀 스토크스 파라미터의 4개의 스토크스 파라미터(S0, S1, S2, S3)는 선형 편광 각도(θ)와 위상 지연각(φ)에 따른 다수의 광 세기 이미지(Intensity image)(I(θ, φ))로부터 획득될 수 있다.
4개의 스토크스 파라미터(S0, S1, S2, S3)는 8개의 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°), I(135°,0°), I(0°,90°), I(45°,90°), I(90°,90°), I(135°,90°))로부터 획득될 수 있다. 즉 4개의 선형 편광에 따른 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°), I(135°,0°))와 90도 위상 지연이 추가 반영된 원편광에 따른 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°), I(135°,0°))를 기반으로 4개의 스토크스 파라미터(S0, S1, S2, S3)가 획득될 수 있다.
여기서 4개의 스토크스 파라미터(S0, S1, S2, S3)와 8개의 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°), I(135°,0°), I(0°,90°), I(45°,90°), I(90°,90°), I(135°,90°)) 사이의 관계는 수학식 1과 같다.
Figure pat00002
그리고 수학식 1은 수학식 2와 같이, 4개의 스토크스 파라미터(S0, S1, S2, S3)에 대한 식으로 정리될 수 있다.
Figure pat00003
수학식 2에 따르면, 8개의 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°), I(135°,0°), I(0°,90°), I(45°,90°), I(90°,90°), I(135°,90°)) 중 4개의 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°), I(45°,90°)) 만으로도 4개의 스토크스 파라미터(S0, S1, S2, S3)를 획득하여, 편광 상태를 설명하기 위한 DoP 이미지와 AoP 이미지 및 타원율 이미지를 획득할 수 있음을 알 수 있다.
이에 본 실시예에서는 편광 필터(200)가 선형 편광을 갖는 4개의 편광 영역(211 ~ 214)과 위상 지연판(220)을 구비하여, 4개의 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°), I(45°,90°))를 획득할 수 있도록 구성하는 경우를 가정하여 도시하였다.
그러나 서로 다른 편광 방향에 따른 광 세기 이미지의 개수가 6개 또는 8개이면, 더 적은 연산으로 4개의 스토크스 파라미터(S0, S1, S2, S3)를 획득할 수 있으므로, 상기한 바와 같이, 편광 필름(210)이 6개 또는 8개의 영역으로 구분될 수도 있다.
편광 필름(210)이 6개의 영역으로 구분되는 경우, 2개의 45도 및 135도 방향의 편광 영역을 포함할 수 있으며, 8개의 영역으로 구분되는 경우에는 0도, 45도, 90도 및 135도 방향으로 각각 2개씩의 편광 영역을 포함할 수도 있다. 이에 위상 지연판(220)은 편광 필름(210)이 6개의 영역으로 구분되는 경우, 2개씩의 45도 및 135도 방향의 편광 영역의 하나씩에 중첩되도록 배치될 수 있으며, 8개의 영역으로 구분되는 경우에는 2개씩의 0도, 45도, 90도 및 135도 방향 각각 중 하나씩의 편광 영역에 중첩되도록 배치되어 원 편광 이미지를 획득할 수도 있다.
따라서 본 실시예에서는 도 6에 도시된 바와 같이, 편광 필터(200)가 이미지 센서(100)의 픽셀 레벨로 서로 다른 편광 방향을 갖도록 구성되지 않고, 획득되어야 하는 편광 이미지의 편광 방향에 따라 이미지 센서(100)의 전체 영역을 분할하여 구성된다. 또한 위상 마스크(300)는 PDMS(Polydimethylsiloxane) 등으로 용이하게 구현될 수 있다. 따라서 본 발명의 편광 카메라는 렌즈가 포함되지 않은 일반 카메라와 편광 필터(200) 및 위상 마스크(300)로 구성되어 매우 저비용으로 제조될 수 있다.
한편 본 실시예의 편광 카메라는 도시하지 않았으나, 이미지 센서(100)에서 획득된 로우 이미지(600)를 다수의 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°), I(45°,90°))로 변환하기 위한 프로세서(미도시)를 더 포함할 수 있다. 그리고 프로세서는 다수의 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°), I(45°,90°))로부터 풀 스토크스 파라미터(S0, S1, S2, S3)를 획득할 수 있으며, 경우에 따라서는 풀 스토크스 파라미터(S0, S1, S2, S3)로부터 DoP 이미지와 AoP 이미지 및 타원율 이미지를 획득할 수도 있다.
도 7은 도 6의 편광 카메라를 이용하여 다양한 편광 방향에 따른 세기 이미지를 재구성하는 개념을 설명하기 위한 도면이다.
도 6에서는 편광 필터(200)가 위상 마스크(300)와 이미지 센서(100) 사이에 배치되는 것으로 도시하였으나, 위상 마스크(300)는 도 7에 도시된 바와 같이, 편광 필터(200)와 이미지 센서(100) 사이에 배치되어도 무방하다.
도 7을 참조하면, 본 발명의 편광 카메라에서 입사되는 광은 위상 마스크(300)를 통해 확산 변환되어 이미지 센서(100)에 영역에 입사되며, 이때 광은 점 확산 함수(PSF)에 따라 확산 변환된다. 이에 점 확산 함수(PSF)를 이용하여 이미지 센서(100)에서 검출되는 로우 이미지(600)를 렌즈 카메라에서의 이미지 형태로 재구성할 수 있다. 그러나 본 실시예에서는 편광 필터(200)가 입사되는 광을 구분된 영역별로 서로 다른 편광으로 필터링하므로, 이미지 센서(100)에서 검출되는 로우 이미지(600) 또한 편광 필터(200)의 구분된 영역에 따라 구분되어 재구성되어야 한다.
이에 본 실시예에서는 위상 마스크(300)의 점 확산 함수(PSF)를 편광 필터(200)의 구분된 다수의 영역에 따라 다수개로 구분한다. 여기서는 편광 필터(200)의 4개의 구분된 영역에 대응하여 위상 마스크(300)의 점 확산 함수(PSF)를 4개의 부분 점 확산 함수(PSF(0°,0°), PSF(45°,0°), PSF(90°,0°), PSF(45°,90°))로 구분한다. 그리고 구분된 제1 내지 제4 부분 점 확산 함수(PSF(0°,0°), PSF(45°,0°), PSF(90°,0°), PSF(45°,90°)) 각각을 로우 이미지(600)의 대응하는 영역에 개별적으로 적용하여 4개의 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°), I(45°,90°))를 재구성할 수 있다. 이때 4개의 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°), I(45°,90°))은 ADMM 알고리즘 등을 이용하여 획득될 수 있으며, 이는 공지된 기술이므로 여기서는 상세하게 설명하지 않는다.
도 8은 도 7의 재구성 세기 이미지를 기반으로 편광 상태 이미지를 획득하는 방법과 획득된 편광 상태 이미지의 예를 나타낸다.
로우 이미지(600)로부터 4개의 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°), I(45°,90°))가 재구성되어 획득되면, 수학식 2에 따라 4개의 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°), I(45°,90°))를 조합함으로써, 풀 스토크스 파라미터, 즉 4개의 스토크스 파라미터(S0, S1, S2, S3)를 획득할 수 있다. 그리고 4개의 스토크스 파라미터(S0, S1, S2, S3)가 획득되면, 4개의 스토크스 파라미터(S0, S1, S2, S3)로부터 공지된 방식에 따라 DoP 이미지와 AoP 이미지 및 타원 편광 이미지를 획득한다.
도 7 및 도 8에 도시된 바와 같이, 본 실시예에서는 위상 마스크(300)와 영역 구분된 편광 필터(200)를 포함하는 렌즈 리스 카메라를 이용하여 로우 이미지(600)를 획득한다. 그리고 획득된 로우 이미지(600)에 대해 위상 마스크(300)에 따른 점 확산 함수(PSF)를 편광 필터(200)의 구분된 영역에 대응하여 분할한 다수의 부분 점 확산 함수(PSF(0°,0°), PSF(45°,0°), PSF(90°,0°), PSF(45°,90°))를 이용하여 렌즈 이미지를 재구성함으로써, 1회 촬영으로 DoP 이미지와 AoP 이미지 및 타원 편광 이미지를 획득할 수 있는 풀 스토크스 파라미터(S0, S1, S2, S3)를 ??득할 수 있다.
본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 이미지 센서 200: 편광 필터
210: 편광 필름 211 ~ 214: 편광 영역
220: 위상 지연판 300: 위상 마스크
410: 조리개 420: 스페이서
500: 기판

Claims (16)

  1. 이미지 센서;
    상기 이미지 센서의 전방에 배치되고, 풀 스토크스 파라미터를 획득하기 위해 요구되는 편광 방향 별 광 세기 이미지의 개수에 따라 서로 다른 편광 방향을 갖는 다수의 편광 영역으로 구분되어, 상기 이미지 센서로 입사되는 광을 구분된 편광 영역의 편광 방향에 따라 필터링하는 편광 필터; 및
    상기 이미지 센서의 전방에 상기 편광 필터와 중첩되도록 배치되고, 미리 형성된 위상 변환 패턴에 따라 입사되는 광을 위상 변환하는 위상 마스크를 포함하는 편광 카메라.
  2. 제1항에 있어서, 상기 편광 필터는
    상기 이미지 센서의 광 감지 영역에 구분된 편광 영역에 따른 편광이 입사되도록 각각 지정된 편광 방향을 갖는 다수의 편광 영역으로 구분된 편광 필름; 및
    상기 편광 필름의 구분된 편광 영역 중 적어도 하나의 편광 영역에 중첩되어 배치되어 입사되는 광의 위상을 지연하는 위상 지연판을 포함하는 편광 카메라.
  3. 제2항에 있어서, 상기 위상 마스크는
    상기 위상 변환 패턴에 따라 일면에 위치별로 상이한 높이를 갖도록 형성된 투명 필름으로 구현되는 편광 카메라.
  4. 제3항에 있어서, 상기 편광 카메라는
    상기 위상 마스크의 위상 변환 패턴에 대응하는 점 확산 함수를 상기 편광 필터의 다수의 편광 영역에 따라 다수의 부분 점 확산 함수로 구분하고, 상기 이미지 센서에서 획득된 로우 이미지에 대해 다수의 부분 점 확산 함수 각각을 개별적으로 적용하여 상기 다수의 광 세기 이미지를 재구성하는 프로세서를 더 포함하는 편광 카메라.
  5. 제4항에 있어서, 상기 프로세서는
    상기 다수의 광 세기 이미지를 조합하여 상기 풀 스토크스 파라미터를 획득하는 편광 카메라.
  6. 제5항에 있어서, 상기 편광 필름은
    4개의 편광 영역으로 구분되고, 4개의 편광 영역은 0도, 45도, 90도 및 135도 편광 방향 또는 0도, 90도 및 2개의 45도 편광 방향을 갖는 편광 카메라.
  7. 제6항에 있어서, 상기 위상 지연판은
    상기 편광 필름에서 2개의 45도 편광 방향을 갖는 편광 영역 중 하나 또는 135도 편광 방향을 갖는 편광 영역에 중첩 배치되는 편광 카메라.
  8. 제7항에 있어서, 상기 프로세서는
    0도, 45도, 90도 편광 방향을 갖는 편광 영역을 통해 상기 이미지 센서에 입사된 광에 의해 획득된 3개의 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°))와 상기 45도 편광 방향을 갖는 편광 영역과 상기 위상 지연판을 통해 상기 이미지 센서에 입사된 광에 의해 획득된 광 세기 이미지(I(45°,90°))로부터 풀 스토크스 파라미터를 구성하는 4개의 스토크스 파라미터(S0, S1, S2, S3)를 수학식
    Figure pat00004

    에 따라 획득하는 편광 카메라.
  9. 제1항에 있어서, 상기 편광 카메라는
    상기 편광 필터와 상기 위상 마스크가 일면 및 타면에 각각 결합되는 조리개; 및
    상기 편광 필터와 상기 위상 마스크가 결합된 상기 조리개가 상기 이미지 센서의 전면으로부터 이격 배치되도록 지지하는 스페이서를 더 포함하는 편광 카메라.
  10. 이미지 센서에서 획득된 로우 이미지를 처리하는 프로세서를 포함하는 편광 카메라의 편광 이미지 획득 방법에 있어서,
    풀 스토크스 파라미터를 획득하기 위해 요구되는 편광 방향 별 광 세기 이미지의 개수에 따라 서로 다른 편광 방향을 갖는 다수의 편광 영역으로 구분되어 입사되는 광을 구분된 편광 영역의 편광 방향에 따라 필터링하는 편광 필터와, 미리 형성된 위상 변환 패턴에 따라 입사되는 광을 위상 변환하는 위상 마스크를 통해 입사된 광을 상기 이미지 센서가 감지하여 로우 이미지를 획득하는 단계;
    상기 위상 마스크의 위상 변환 패턴에 대응하는 점 확산 함수를 상기 편광 필터의 다수의 편광 영역에 따라 다수의 부분 점 확산 함수로 구분하고, 상기 로우 이미지에 대해 다수의 부분 점 확산 함수 각각을 개별적으로 적용하여 다수의 광 세기 이미지를 재구성하는 단계; 및
    상기 다수의 광 세기 이미지를 조합하여 상기 풀 스토크스 파라미터를 획득하는 단계를 포함하는 편광 이미지 획득 방법.
  11. 제10항에 있어서, 상기 로우 이미지를 획득하는 단계는
    상기 편광 필터의 다수의 편광 영역을 통해 필터링된 편광이 상기 위상 마스크를 통해 위상 변환되어 위상 변환된 영역별 편광을 상기 이미지 센서가 감지하여 상기 로우 이미지를 생성하는 편광 이미지 획득 방법.
  12. 제10항에 있어서, 상기 로우 이미지를 획득하는 단계는
    상기 위상 마스크를 통해 위상 변환된 광이 상기 편광 필터의 다수의 편광 영역을 통해 필터링된 편광을 상기 이미지 센서가 감지하여 상기 로우 이미지를 생성하는 편광 이미지 획득 방법.
  13. 제10항에 있어서, 상기 위상 마스크는
    상기 위상 변환 패턴에 따라 일면에 위치별로 상이한 높이를 갖도록 형성된 투명 필름으로 구현되는 편광 이미지 획득 방법.
  14. 제10항에 있어서, 상기 로우 이미지를 획득하는 단계는
    상기 이미지 센서가 상기 편광 필터에 의해 필터링된 0도, 45도, 90도 선형 편광 및 45도 선형 편광으로 필터링된 후 위상 지연된 타원 편광을 인가받아 상기 로우 이미지를 획득하는 편광 이미지 획득 방법.
  15. 제14항에 있어서, 상기 광 세기 이미지를 획득하는 단계는
    상기 로우 이미지에서 상기 0도, 45도, 90도 선형 편광이 상기 이미지 센서에 입사되어 획득된 영역 각각에 상기 다수의 부분 점 확산 함수 중 대응하는 부분 점 확산 함수를 적용하여 3개의 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°))를 재구성하는 단계; 및
    상기 로우 이미지에서 상기 타원 편광이 상기 이미지 센서에 입사되어 획득된 영역에 대응하는 부분 점 확산 함수를 적용하여 하나의 광 세기 이미지(I(45°,90°))를 재구성하는 단계를 포함하는 편광 이미지 획득 방법.
  16. 제15항에 있어서, 상기 풀 스토크스 파라미터를 획득하는 단계는
    4개의 광 세기 이미지(I(0°,0°), I(45°,0°), I(90°,0°), I(45°,90°))로부터 풀 스토크스 파라미터를 구성하는 4개의 스토크스 파라미터(S0, S1, S2, S3)를 수학식
    Figure pat00005

    에 따라 획득하는 편광 이미지 획득 방법.
KR1020220021932A 2021-12-07 2022-02-21 풀 스토크스 파라미터를 획득하기 위한 편광 카메라 및 편광 이미지 획득 방법 KR102676333B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210173610 2021-12-07
KR20210173610 2021-12-07

Publications (2)

Publication Number Publication Date
KR20230085797A true KR20230085797A (ko) 2023-06-14
KR102676333B1 KR102676333B1 (ko) 2024-06-19

Family

ID=86745114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220021932A KR102676333B1 (ko) 2021-12-07 2022-02-21 풀 스토크스 파라미터를 획득하기 위한 편광 카메라 및 편광 이미지 획득 방법

Country Status (1)

Country Link
KR (1) KR102676333B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021020A (ja) * 2015-07-10 2017-01-26 ヤマト科学株式会社 組織試料分析装置及び組織試料分析システム
KR101999224B1 (ko) 2017-07-07 2019-07-11 주식회사 에이아이인사이트 내부 반사를 효과적으로 억제하기 위한 편광 빔 스플리터와 선형 편광필터를 사용한 안저카메라
KR20210047486A (ko) * 2019-10-22 2021-04-30 연세대학교 산학협력단 렌즈리스 카메라 기반 고속 이미지 획득 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021020A (ja) * 2015-07-10 2017-01-26 ヤマト科学株式会社 組織試料分析装置及び組織試料分析システム
KR101999224B1 (ko) 2017-07-07 2019-07-11 주식회사 에이아이인사이트 내부 반사를 효과적으로 억제하기 위한 편광 빔 스플리터와 선형 편광필터를 사용한 안저카메라
KR20210047486A (ko) * 2019-10-22 2021-04-30 연세대학교 산학협력단 렌즈리스 카메라 기반 고속 이미지 획득 방법

Also Published As

Publication number Publication date
KR102676333B1 (ko) 2024-06-19

Similar Documents

Publication Publication Date Title
JP3481631B2 (ja) 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
WO2017145348A1 (ja) 撮像装置
US9690112B2 (en) Image capturing apparatus
US10516874B2 (en) Enhancing imaging performance through the use of active illumination
CN108700472B (zh) 使用相对的滤光器掩模进行相位检测自动聚焦
US5322998A (en) Conical blur filter for reducing artifacts in imaging apparatus
JP6482308B2 (ja) 光学装置および撮像装置
TW201822145A (zh) 攝像裝置
JP6836321B2 (ja) 移動物体からのスペクトル情報の取得
WO2011066275A2 (en) Actively addressable aperture light field camera
US9613417B2 (en) Calibration of plenoptic imaging systems using fourier transform
US20190107730A1 (en) Imaging system and imaging method
US10863120B2 (en) Imaging device, imaging module, and imaging method
CN203587939U (zh) 宽视场体积紧凑型偏振成像相机
KR20230085797A (ko) 풀 스토크스 파라미터를 획득하기 위한 편광 카메라 및 편광 이미지 획득 방법
KR20220092248A (ko) 파면을 측정하기 위한 장치 및 이를 이용한 측정 방법
EP3888347B1 (en) Switched polarization imaging to detect display screen
US10042324B2 (en) Optical fingerprint imaging using holography
JP2023016864A (ja) 撮像装置および方法
EP3888349B1 (en) Polarization imaging to detect display screen
CN113141493A (zh) 一种重叠型复眼
Honda et al. Restoration of defocused pictures by image-scanning method
KR102532302B1 (ko) 풀컬러 홀로그래픽 이미지 생성 방법 및 장치
JP7348858B2 (ja) ホログラム撮影装置及び像再構成システム
Birch Computational and design methods for advanced imaging

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right