KR20220134484A - 마이크로 렌즈 어레이를 포함하는 초소형 라이트 필드 카메라와 그 제작방법 및 초소형 라이트 필드 카메라를 이용하는 표정 인식 방법 - Google Patents

마이크로 렌즈 어레이를 포함하는 초소형 라이트 필드 카메라와 그 제작방법 및 초소형 라이트 필드 카메라를 이용하는 표정 인식 방법 Download PDF

Info

Publication number
KR20220134484A
KR20220134484A KR1020220037468A KR20220037468A KR20220134484A KR 20220134484 A KR20220134484 A KR 20220134484A KR 1020220037468 A KR1020220037468 A KR 1020220037468A KR 20220037468 A KR20220037468 A KR 20220037468A KR 20220134484 A KR20220134484 A KR 20220134484A
Authority
KR
South Korea
Prior art keywords
field camera
light field
micro
image
light
Prior art date
Application number
KR1020220037468A
Other languages
English (en)
Inventor
정기훈
배상인
권재명
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20220134484A publication Critical patent/KR20220134484A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H04N5/22541—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H04N5/2253—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

본 발명은 라이트 필드 카메라에 관한 것으로, 보다 상세하게는 표정을 인식하는 라이트 필드 카메라 및 그 제작방법에 관한 것이다. 본 발명의 마이크로 렌즈 어레이를 포함하는 초소형 라이트 필드 카메라와 그 제작방법 및 초소형 라이트 필드 카메라를 이용하는 표정 인식 방법은 대물렌즈와 마이크로렌즈 어레이의 초점 위치를 이미지 센서의 후방으로 조절하고, 마이크로 렌즈 어레이의 볼록면이 이미지 센서와 마주보도록 각 구성을 결합함으로써 반복된 정립상을 형성할 수 있고 전체 시스템의 크기를 줄일 수 있으며, 마이크로 렌즈의 사이에 노이즈를 감쇠하는 금속층 및 절연층을 배치함으로써 보다 깔끔한 영상을 획득할 수 있는 효과가 있다.

Description

마이크로 렌즈 어레이를 포함하는 초소형 라이트 필드 카메라와 그 제작방법 및 초소형 라이트 필드 카메라를 이용하는 표정 인식 방법{Micro-light field camera including micro lens array and manufacturing method thereof, and expression recognition method using micro-light field camera}
본 발명은 라이트 필드 카메라에 관한 것으로, 보다 상세하게는 표정을 인식하는 라이트 필드 카메라 및 그 제작방법에 관한 것이다.
깊이감 있는 영상을 표시할 수 있는 3D 디스플레이 장치의 발전 및 수요 증가와 함께 3D 컨텐츠의 중요성이 부각되고 있다. 이에 따라, 일반 사용자가 3D 컨텐츠를 직접 제작할 수 있는 다양한 3차원 영상 획득 장치가 연구되고 있다.
3차원 영상 획득 장치는 구조광 방식, 양안시차 방식, 체공시간 방식, 라이트 필드 방식으로 나뉠 수 있고, 그 중 구조광 방식은 격자무늬나 수평막대 형태의 빛을 투사하는 과정을 말하며 평상시 네모 반듯하게 투사되어야 하는 빛이 굴곡면을 만나 특정한 패턴을 이루는 것을 파악하여 독특한 면이 가진 심도를 파악할 때 사용된다. 양안 시차 방식은 서로 일정 간격 이격된 2개의 카메라 간의 시차를 조합하여 입체 영상을 형성하는 방식이고, 체공시간 방식은 펄스를 발생시키고 펄스의 반사 시간을 측정하여 대상체와 카메라 간의 거리를 확인함으로써 3차원 영상을 형성하는 방식이다.
그러나, 구조광 방식의 경우 소프트웨어의 구축에 높은 비용이 소요되고, 폐색(Occuluson)영역의 깊이 획득이 어려우며 외부광의 차단이 어렵다는 문제점이 있었고, 양안시차 방식의 경우 역시 폐색 영역의 깊이 획득이 어렵고 시스템의 크기가 크다는 문제점이 있었다. 또한, 체공시간 방식의 경우 소요 비용이 높고, 광 소스에 따라 획득하는 영상의 질이 일정하지 않으며 측정대상과 이상적인 거리 설정이 어렵다는 문제점이 있었다.
최근에는, 이러한 단점을 보완하기 위해 별도의 광원과 광학계를 사용하지 않으면서 정확한 거리 정보를 얻기 위하여 라이트 필드 영상 획득 방식이 제안되고 있다. 라이트 필드 영상 획득 방식은 다수의 마이크로 렌즈들을 이용하여 많은 시점의 영상들을 한꺼번에 취득한 후에, 각각의 영상들을 분석하여 깊이 정보를 추출하는 방식이다. 예를 들어, 마이크로 렌즈 어레이 내의 다수의 마이크로 렌즈들은 그 상대적인 위치에 따라 조금씩 서로 다른 시점들을 가지므로, 각각의 마이크로 렌즈들로부터 얻은 다수의 영상들은 서로 다른 깊이감을 가질 수 있다.
이렇게 획득된 영상을 기존 카메라와 같이 (x,y)평면에 방향성을 갖는 (u,v)정보를 포함하여 4D영상이라고 부른다. 따라서, 획득한 영상에서의 시점이동이 광학적으로 계산되고, 초점을 촬영 후에 맞출 수 있고, 다양한 위치에 초점을 맞출 수 있는 재초점 기능도 제공한다.
이와 같이 라이트 필드 카메라는 다수의 마이크로 렌즈 어레이를 포함하고, 대물렌즈 및 마이크로 렌즈 어레이와 이미지 센서 간의 초점 거리를 유지하기 위해 전체 시스템의 크기가 커지는 경향이 있었다. 이에 따라 다양한 상황에서의 적용이 어렵다는 문제점이 있었다.
대한민국 등록특허 10-2106540 "반사굴절식 라이트 필드 렌즈 및 이를 포함하는 촬상 장치"
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서 본 발명의 목적은, 대물렌즈와 마이크로렌즈 어레이의 초점 위치를 이미지 센서의 후방으로 조절하고, 마이크로 렌즈 어레이의 볼록면이 이미지 센서와 마주보도록 각 구성을 결합함으로써 반복된 정립상을 형성할 수 있고 전체 시스템의 크기를 줄일 수 있는 마이크로 렌즈 어레이를 포함하는 초소형 라이트 필드 카메라와 그 제작방법 및 초소형 라이트 필드 카메라를 이용하는 표정 인식 방법을 제공함에 있다.
또한, 마이크로 렌즈의 사이에 노이즈를 감쇠하는 금속층 및 절연층을 배치함으로써 보다 깔끔한 영상을 획득할 수 있는 초소형 라이트 필드 카메라와 그 제작방법 및 초소형 라이트 필드 카메라를 이용하는 표정 인식 방법을 제공함에 있다.
상기한 바와 같은 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따른 초소형 라이트 필드 카메라의 제작 방법은 얼굴 표정을 인식하는 초소형 라이트 필드 카메라의 제작 방법에 있어서, (a) 외부 환경 정보를 수신하고, 수신한 환경 정보를 바탕으로 초소형 라이트 필드 카메라의 시야각, F-수, 작동거리, 피사계 심도 중 적어도 어느 하나를 포함하는 사양을 결정하는 단계, (b) (a) 단계에서 설계된 사양을 기반으로 마이크로 렌즈 어레이를 제작하는 단계, 및 (c) (b) 단계에서 제작된 마이크로 렌즈 어레이와 대물렌즈, 이미지 센서, 광 발생장치 및 하우징을 (a) 단계에서 설계된 사양을 기반으로 배치 및 결합하는 단계를 포함하는 것을 특징으로 한다.
또한, (a) 단계는, (a1) 측정 대상의 크기, 깊이 맵 범위, 측정 대상과 초소형 라이트 필드 카메라 간 거리 및 각도 중 적어도 어느 하나를 포함하는 외부 환경 정보를 수신하는 단계, (a2) (a1) 단계를 기반으로 초소형 라이트 필드 카메라의 시야각, F-수, 작동거리, 피사계 심도 중 적어도 어느 하나를 포함하는 사양을 결정하는 단계, (a3) (a1) 단계를 기반으로 마이크로 렌즈 어레이에 포함되는 마이크로 렌즈의 직경, 마이크로 렌즈 사이 간격, 마이크로 렌즈의 수, 마이크로 렌즈의 배치 중 적어도 어느 하나의 사양을 결정하는 단계를 포함하는 것을 특징으로 한다.
또한, (b) 단계는, (b1) 유리층의 일측면 중 마이크로 렌즈가 삽입될 위치를 마스킹하고 제 1 금속층을 적층하는 단계, (b2) (b1) 단계에서 마스킹한 물질을 제거하고 절연층을 제 1 금속층의 일측면 전면에 적층하는 단계, (b3) 절연층의 일측면 중 마이크로 렌즈가 삽입될 위치를 마스킹하고 제 2 금속층을 적층한 후 마스킹 물질을 제거하는 단계, (b4) 마이크로 렌즈가 삽입될 위치에 상 형성부를 적층하는 단계 및 (b5) (a) 단계에서 결정된 사양을 기반으로 설계된 스페이서를 유리층에 결합하는 단계를 포함하는 것을 특징으로 한다.
또한, (b1) 단계 및 (b3) 단계는, 유리층을 마스킹하는 물질로 LOR(Lift off Resist)을 사용하는 것을 특징으로 한다.
또한, (b4) 단계는, 마이크로 렌즈를 포토리소그래피 공정을 통해 적층하고, 열재유동을 이용하여 마이크로 렌즈의 표면을 일측방향으로 볼록하게 형성하는 것을 특징으로 한다.
또한, (b5) 단계는, 스페이서가 마이크로 렌즈가 볼록형성되는 방향으로 연장되도록 스페이서와 마이크로 렌즈를 조립하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 마이크로 렌즈 어레이는 유리층, 유리층의 일면에 적층되고 서로 일정 간격 이격된 2개 이상의 마이크로 렌즈를 포함하고 광을 수신하여 소정의 초점위치에 상을 형성하는 상 형성부, 유리층의 일면에 적층되되, 마이크로 렌즈의 사이에 배치되며 입사된 광을 흡수하는 노이즈 제거부를 포함하는 것을 특징으로 한다.
또한, 노이즈 제거부는 유리층의 일면에 적층되는 제 1 금속층, 제 1 금속층의 일면에 적층되는 절연층, 절연층의 일면에 적층되는 제 2 금속층을 포함하는 것을 특징으로 한다.
또한, 마이크로 렌즈 어레이는, 유리층에 수직하되 상 형성부 및 노이즈 제거부가 적층되는 방향으로 연장되되, 상 형성부의 최대 높이보다 소정 길이만큼 길게 형성되는 스페이서를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 초소형 라이트 필드 카메라는 제 7항의 특징을 갖는 마이크로 렌즈 어레이, 측정 대상의 표면에 레이저를 조사하는 광 발생장치, 측정 대상의 표면으로부터 반사된 레이저를 수신하여 마이크로 렌즈 어레이로 전달하는 대물렌즈, 마이크로 렌즈 어레이로부터 형성된 상으로부터 이미지를 수신하는 이미지 센서가 내장된 기판, 및 광 발생장치와 대물렌즈의 위치를 고정하는 하우징을 포함하는 것을 특징으로 한다.
또한, 이미지 센서는, 대물렌즈와의 이격 거리가 대물렌즈의 초점거리보다 짧고, 마이크로 렌즈와의 이격 거리가 마이크로 렌즈 어레이의 초점거리보다 짧도록 배치된 것을 특징으로 한다.
또한, 하우징은, 광 발생장치가 끼워져 고정되는 제 1 홀과, 제 1 홀로부터 소정 간격 이격되어 형성되되, 대물렌즈가 끼워져 고정되는 제 2 홀을 포함하는 것을 특징으로 한다.
또한, (d) 광 발생장치가 측정 대상의 표면에 레이저를 조사하는 단계, (e) 대물렌즈가 측정 대상의 표면으로부터 반사된 레이저 광을 수신하고, 마이크로 렌즈 어레이 및 이미지 센서로 전달하여 이미지 센서가 이미지를 수신하는 단계, (f) 연산부가 이미지 센서로부터 수신한 이미지를 토대로 이미지 구역 별 3차원 깊이를 추출하고 추출된 정보를 토대로 깊이 맵을 생성하는 단계, 및 (g) 연산부가 (f) 단계에서 생성된 깊이 맵을 토대로 미리 내정된 표정 판별 기준치와 비교하여 측정 대상의 표정을 판별하는 단계를 포함하는 것을 특징으로 한다.
또한, (g) 단계에서, 연산부가, (g1) 수신된 이미지를 토대로 측정 대상의 눈썹, 눈, 동공, 코, 입 중 적어도 하나와 대응되는 위치에 특징점을 추출하는 단계, (g2) (g1) 단계에서 추출된 각 특징점에서의 깊이 값을 측정하는 단계 및 (g3) 각각의 특징점의 상대 위치 및 깊이 값을 기 저장된 표정 판별 기준치와 비교하여 측정 대상의 표정을 판단하는 단계를 포함하는 것을 특징으로 한다.
상기와 같은 구성에 의한 본 발명의 마이크로 렌즈 어레이를 포함하는 초소형 라이트 필드 카메라와 그 제작방법 및 초소형 라이트 필드 카메라를 이용하는 표정 인식 방법은 대물렌즈와 마이크로렌즈 어레이의 초점 위치를 이미지 센서의 후방으로 조절하고, 마이크로 렌즈 어레이의 볼록면이 이미지 센서와 마주보도록 각 구성을 결합함으로써 반복된 정립상을 형성할 수 있고 전체 시스템의 크기를 줄일 수 있는 효과가 있다.
또한, 마이크로 렌즈의 사이에 노이즈를 감쇠하는 금속층 및 절연층을 배치함으로써 보다 깔끔한 영상을 획득할 수 있는 효과가 있다.
도 1은 본 발명의 초소형 라이트 필드 카메라의 분해사시도이다.
도 2는 본 발명의 초소형 라이트 필드 카메라의 기본 원리를 도시한 개략도이다.
도 3은 본 발명이 마이크로 렌즈 어레이의 단면도이다.
도 4는 본 발명의 마이크로 렌즈를 촬영한 사진이다.
도 5는 본 발명의 마이크로 렌즈 어레이와 이미지 센서의 결합관계를 도시한 개념도이다.
도 6은 본 발명의 초소형 라이트 필드 카메라의 제작 방법을 도시한 순서도이다.
도 7은 본 발명의 초소형 라이트 필드 카메라의 사양 결정 단계의 세부 단계를 도시한 순서도이다.
도 8은 본 발명의 마이크로 렌즈 어레이 제작 단계의 세부 단계를 도시한 순서도이다.
도 9는 본 발명의 마이크로 렌즈 어레이의 노이즈 제거부의 제작 과정을 도시한 개략도이다.
도 10은 본 발명의 마이크로 렌즈 어레이마이크로 렌즈의 제작 과정을 도시한 개략도이다.
도 11은 본 발명의 초소형 라이트 필드 카메라를 이용하여 표정을 인식하는 방법을 도시한 순서도이다.
도 12는 본 발명의 광 발생장치의 기능을 도시한 개략도이다.
도 13은 본 발명의 측정대상 표정 판별 단계의 세부 단계를 도시한 순서도이다.
도 14는 본 발명의 연산부가 추출한 측정 대상의 특징점 실시 예를 도시한 개략도이다.
도 15는 본 발명의 연산부에 의해 작성된 깊이 맵을 도시한 도면이다.
이하, 본 발명의 기술적 사상을 첨부된 도면을 사용하여 더욱 구체적으로 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 하나의 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 본 발명의 기술적 사상을 첨부된 도면을 사용하여 더욱 구체적으로 설명한다. 첨부된 도면은 본 발명의 기술적 사상을 더욱 구체적으로 설명하기 위하여 도시한 일예에 불과하므로 본 발명의 기술적 사상이 첨부된 도면의 형태에 한정되는 것은 아니다.
이하로, 도 1을 참조하여 본 발명의 초소형 라이트 필드 카메라(1000)의 기본 구성에 대해 설명한다.
본 발명은 측정 대상(F)의 표면에 레이저를 조사하는 광 발생장치(200), 측정 대상(F)의 표면으로부터 반사된 레이저를 수신하여 마이크로 렌즈 어레이(100)로 전달하는 대물렌즈(300), 이미지를 수신하는 이미지 센서(410)가 내장된 기판(400), 대물렌즈(300)로부터 광을 수신하고 이를 변환하여 이미지 센서(410)에 상을 형성하는 마이크로 렌즈 어레이(100)를 포함하는 것이 바람직하다. 또한, 본원발명의 초소형 라이트 필드 카메라(1000)는 광 발생장치(200)와 대물렌즈(300), 기판(400) 또는 마이크로 렌즈 어레이(100)의 위치를 고정하는 하우징(500)을 포함하는 것이 바람직하다. 더하여, 본원발명의 초소형 라이트 필드 카메라(1000)는 이미지 센서(410)를 통해 수신된 정보를 3차원 이미지화하는 연산부를 포함할 수 있다. 이 때, 대물렌즈(300)와 이미지 센서(410) 사이에 마이크로 렌즈 어레이(100)를 배치함으로써 본원발명의 초소형 라이트 필드 카메라(1000)로 들어오는 빛의 공간 정보뿐만 아니라 방향정보까지 분리할 수 있다. 이미지 센서(410)를 이와 같은 정보를 센싱하여 연산부로 전달할 수 있다.
본원발명의 광 발생장치는 LED 등 다양한 광원일 수 있으며, 특히, 근적외선 수직 캐비티 표면 광방출 레이저 (VCSEL)와 근적외선 투과 필터를 이용하는 경우, 조명 방향에 따른 영상 재구성 오차를 줄임으로써 3차원 영상 처리의 정확도를 높일 수 있다.
이 때, 하우징(500)은, 플라스틱 재질로 제조될 수 있으며, 광 발생장치(200)가 끼워져 고정되는 제 1 홀(510)과, 제 1 홀(510)로부터 소정 간격 이격되어 형성되되, 대물렌즈(300)가 끼워져 고정되는 제 2 홀(520)을 포함하는 것이 바람직하다. 이와 같이 하우징(500)에 제 1 홀(510) 및 제 2 홀(520)이 형성됨으로써, 제 1 홀(510)을 통해 조사된 레이저가 제 2를 통해 대물렌즈(300)로 전달될 수 있다.
또한, 이미지 센서(410)는, 대물렌즈(300)와의 이격 거리가 대물렌즈(300)의 초점거리보다 짧고, 마이크로 렌즈와의 이격 거리가 마이크로 렌즈 어레이(100)의 초점거리보다 짧도록 배치된 것이 바람직하다. 이에 따라 본원발명의 초소형 라이트 필드 카메라(1000)는 종래의 라이트 필드 카메라와 달리 Galilean 영상 획득 방식을 통해 3차원 영상을 수신할 수 있다. 이는 본원발명의 도 2에 도시되어 있다. 즉, 본원발명의 초소형 라이트 필드 카메라(1000)는 대물렌즈(300)에 의한 상이 이미지 센서(410) 뒤에 생성되며, 반복된 정립상을 형성할 수 있다. 이와 같은 구조를 채택함으로서, 대물렌즈(300)와 마이크로 렌즈 어레이(100), 이미지 센서(410) 간의 거리를 단축할 수 있어 전체 초소형 라이트 필드 카메라(1000)의 길이를 줄임으로써 종래의 라이트 필드 카메라보다 카메라의 스케일을 줄일 수 있다. 최종적으로, 전체 높이 5.1 mm 수준 (전체 크기: 8.4 mm * 8.4mm * 5.1 mm)의 초소형 라이트 필드 카메라(1000)를 형성할 수 있다.
이하로, 도 3 내지 5를 참조하여 본 발명의 마이크로 렌즈 어레이(100)에대해 보다 자세히 설명한다.
도 3에 도시된 바와 같이, 본 발명의 마이크로 렌즈 어레이(100)는 유리층(110)과, 유리층(110)의 일면에 적층되고 서로 일정 간격 이격된 2개 이상의 마이크로 렌즈를 포함하고 광을 수신하여 소정의 초점위치에 상을 형성하는 상 형성부(120)를 포함할 수 있다. 상 형성부(120)를 포함함으로써 대물렌즈(300)로부터 수신된 광을 공간 정보에 따라 분해하여 이미지 센서(410)로 전달할 수 있다. 또한, 본원발명의 마이크로 렌즈 어레이(100)는 유리층(110)의 일면에 적층되되, 마이크로 렌즈의 사이에 배치되며 입사된 광을 흡수하는 노이즈 제거부(130)를 포함하는 것이 바람직하다. 이와 같은 본원발명의 마이크로 렌즈 어레이(100)는 도 4의 사진과 같이 유리층(110) 위에 적층되어 형성될 수 있다.
보다 자세히, 노이즈 제거부(130)는 유리층(110)의 일면에 적층되는 제 1 금속층(131), 제 1 금속층(131)의 일면에 적층되는 절연층(132), 절연층(132)의 일면에 적층되는 제 2 금속층(133)을 포함하는 것이 바람직하다. 제 1 금속층(131) 및 제 2 금속층(133)은 크롬으로 이루어지는 것이 바람직하고, 절연층(132)은 이산화 규소(실리카)로 이루어지는 것이 바람직하다. 또한, 제 1 금속층(131)은 3 내지 7nm 두께로 적층되는 것이 바람직하고, 절연층(132)은 90 내지 100nm 두께로 적층되는 것이 바람직하며, 제 2 금속층(133)은 95nm 내지 105nm 두께로 적층되는 것이 바람직하다. 보다 포괄적으로, 노이즈 제거부(130)의 각 층의 두께는 제 1 금속층(131). 절연층(132), 제 2 금속층(133) 순서로 얇은 것이 바람직하다.
이와 같이 노이즈 제거부(130)가 형성됨으로써, 도 5에 도시된 바와 같이, 상 형성부(120)를 통과하지 않는 광은 노이즈 제거부(130)에 의해 차단되어 이미지 센서(410)로전달되지 않을 수 있다. 상 형성부(120)의 마이크로 렌즈는 광을 분해하기 위해 볼록 형성되고, 이에 따라 다수의 마이크로 렌즈의 사이에는 필연적으로 공간이 발생하고, 마이크로 렌즈가 아닌 사이 공간을 통해 광이 이미지 센서(410)로 전달될 시 광의 분해가 제대로 이루어지지 않아 최종 획득 이미지에 노이즈가 발생할 수 있다. 이에 따라 마이크로 렌즈를 제외한 영역은 이와 같이 금속 및 절연재를 포함하는 노이즈 제거부(130)를 배치함으로써 노이즈를 효과적으로 제거할 수 있다.
본원발명의 상 형성부(120)에 포함된 각각의 마이크로 렌즈는 이미지 센서(410)의 픽셀 크기의 5배 내지 30배 수준인 것이 바람직하다. 이 때 마이크로 렌즈 크기 범위는 10 um ~ 100 um이다. 이에 따라 마이크로 렌즈를 통과하는 광량이 상대적으로 증가하여 광학적 손실(Optical crosstalk)를 최소화 할 수 있다. 이와 같이 마이크로 렌즈의 크기를 크게 제작하기 위해 상 형성부(120)의 마이크로 렌즈는 열 가소성 포토레지스트 (thermoplastic photo resist)로 이루어지는 것이 바람직하고, 각각의 마이크로 렌즈가 볼록한 면을 형성하기 위해 열 재유동 (thermal reflow)을 활용하여 포토레지스트의 표면을 가공할 수 있다.
더 나아가, 본원발명의 마이크로 렌즈 어레이(100)는, 유리층(110)에 수직하되 상 형성부(120) 및 노이즈 제거부(130)가 적층되는 방향으로 연장되되, 상 형성부(120)의 최대 높이보다 소정 길이만큼 길게 형성되는 스페이서(140)를 포함하는 것이 바람직하다. 스페이서(140)의 두께 B는 마이크로 렌즈의 초점 거리 또는 대물렌즈(300)의 초점 거리
Figure pat00001
보다 더 짧은 것이 바람직하다. 이에 따라 기판(400) 및 이미지 센서(410)가 마이크로 렌즈의 초점거리 또는 대물렌즈(300)의 초점거리보다 더 가까이 위치하여 본원발명의 초소형 라이트 필드 카메라(1000)의 사이즈를 줄일 수 있다.
이하로, 도 6을 참조하여 본 발명의 초소형 라이트 필드 카메라(1000)의 제작 방법에 대해 보다 자세히 설명한다.
도 6에 도시된 바와 같이, 본 발명은 얼굴 표정을 인식하는 초소형 라이트 필드 카메라(1000)의 제작 방법에 있어서, (a) 외부 환경 정보를 수신하고, 수신한 환경 정보를 바탕으로 초소형 라이트 필드 카메라(1000)의 시야각, F-수, 작동거리, 피사계 심도 중 적어도 어느 하나를 포함하는 사양을 결정하는 단계, (b) (a) 단계에서 설계된 사양을 기반으로 마이크로 렌즈 어레이(100)를 제작하는 단계, 및 (c) (b) 단계에서 제작된 마이크로 렌즈 어레이(100)와 대물렌즈(300), 이미지 센서(410), 광 발생장치(200) 및 하우징(500)을 (a) 단계에서 설계된 사양을 기반으로 배치 및 결합하는 단계를 포함하는 것이 바람직하다. 이하의 문단에서 각 단계의 세부 단계 및 구체적인 공정에 대해 보다 자세히 설명한다.
이하로, 도 7을 참조하여 (a) 초소형 라이트 필드 카메라(1000)의 사양을 결정하는 단계의 세부 단계에 대해 보다 자세히 설명한다.
도 7에 도시된 바와 같이, (a) 단계는, (a1) 측정 대상(F)의 크기, 깊이 맵 범위, 측정 대상(F)과 초소형 라이트 필드 카메라(1000) 사이 거리 및 각도 중 적어도 어느 하나를 포함하는 외부 환경 정보를 수신하는 단계를 포함할 수 있다. 보다 자세히, 측정 대상(F)의 크기, 깊이 맵 범위 및 측정 대상(F)과 카메라 사이 거리 및 각도는 외부 입력 정보일 수 있다.
또한, (a) 단계는, (a2) (a1) 단계에서 수신한 사양 정보를 기반으로 초소형 라이트 필드 카메라(1000)의 시야각, F-수, 작동거리, 피사계 심도 중 적어도 어느 하나를 포함하는 사양을 결정하는 단계를 포함할 수 있다. 보다 자세히, 측정 대상(F)의 크기나 측정 대상(F)과 초소형 라이트 필드 카메라(1000) 간의 거리 및 각도를 따라 초소형 라이트 필드 카메라(1000)의 시야각을 결정하는 것이 바람직하며, 이에 따라 대물렌즈(300)의 크기 및 사양을 결정할 수 있다. F-수는 결정된 대물렌즈(300)의 사양을 참조하여 이미지 센서(410)와 대물렌즈(300) 간의 간격을 최소화 할 수 있는 수치로 결정되는 것이 바람직하다. 통상적으로 F-수는 4.0 미만으로 결정되는 것이 바람직하다.
또한, (a) 단계는, (a3) (a1) 단계를 기반으로 마이크로 렌즈 어레이(100)에 포함되는 마이크로 렌즈의 직경, 마이크로 렌즈 사이 간격, 마이크로 렌즈의 수, 마이크로 렌즈의 배치 중 적어도 어느 하나의 사양을 결정하는 단계를 포함하는 것이 바람직하다. 마이크로 렌즈의 직경은 최대한 큰 수로 결정되되 이미지 센서(410)의 픽셀 크기의 5배 내지 30배 범위 내에서 결정되는 것이 바람직하고, 마이크로 렌즈 사이 간격은 최소 5nm 이상인 것이 바람직하다. 또한, 마이크로 렌즈의 수는 하우징(500)의 크기 및 마이크로 렌즈 사이 간격을 토대로 결정되는 것이 바람직하며, 마이크로 렌즈의 배치는 균일한 상의 도출을 위해 서로 동일 간격으로 이격되도록 배치되는 것이 바람직하다.
이하로, 도 8 내지 10을 참조하여 (b) 마이크로 렌즈 어레이(100)를 제작하는 단계의 세부 단계에 대해 보다 자세히 설명한다.
도 8에 도시된 바와 같이, (b) 단계는, (b1) 유리층(110)의 일측면 중 마이크로 렌즈가 삽입될 위치를 마스킹하고 제 1 금속층(131)을 적층하는 단계, (b2) (b1) 단계에서 마스킹한 물질을 제거하고 절연층(132)을 제 1 금속층(131)의 일측면 전면에 적층하는 단계, (b3) 절연층(132)의 일측면 중 마이크로 렌즈가 삽입될 위치를 마스킹하고 제 2 금속층(133)을 적층한 후 마스킹 물질(M)을 제거하는 단계, (b4) 마이크로 렌즈가 삽입될 위치에 상 형성부(120)를 적층하는 단계 및 (b5) (a) 단계에서 결정된 사양을 기반으로 설계된 스페이서(140)를 유리층(110)에 결합하는 단계의 세부 단계를 포함하는 것이 바람직하다.
보다 자세히, (b1) 단계는 도 9의 (a)에 도시된 바와 같이, 마이크로 렌즈가 삽입될 위치에 LOR(Lift Off Resist)를 도포하고 그 위에 크롬으로 이루어진 제 1 금속층(131)을 3 내지 7nm 두께로 적층하는 것이 바람직하다. 이 때, 제 1 금속층(131)은 균일한 도포를 위해 증착(Evaporation) 방식을 통해 적층되는 것이 바람직하다.
이후 (b2) 단계는 도 9의 (b)에 도시된 바와 같이, 마스킹 물질(M)과 그 위에 도포된 금속층을 제거하고, 이후 절연층(132)을 전면에 도포하는 것이 바람직하다. 절연층(132)은 이산화 규소(실리카)로 이루어지는 것이 바람직하며. 90 내지 100nm 두께로 적층되는 것이 바람직하다. 제 2 금속층(133)은 95nm 내지 105nm 두께로 적층되는 것이 바람직하다. 이 때 절연층(132)은 보다 균일한 도포를 위해 플라즈마 박막 증착법(PECVD, Plasma Enhanced Chemical Vapor Deposition)을 통해 적층되는 것이 바람직하다.
이후, (b3) 단계는 도 9의 (c)에 도시된 바와 같이, 마이크로 렌즈가 삽입될 위치에 LOR(Lift Off Resist)를 도포하고 그 위에 크롬으로 이루어진 제 2 금속층(133)을 95 내지 105nm 두께로 적층하는 것이 바람직하다. 이 때, 제 1 금속층(131)은 균일한 도포를 위해 증착(Evaporation) 방식을 통해 적층되는 것이 바람직하다. 이후 마스킹 물질(M) 및 그 위의 금속층은 제거되는 것이 바람직하다. 마스킹 물질(M)이 제거된 형상은 도 9의 (d)에 도시되어 있다.
더 나아가, 본원발명의 (b) 단계의 (b4) 단계는 도 10의 (a)에 도시된 바와 같이, 마이크로 렌즈를 포토리소그래피 공정을 통해 적층하고, 도 10의 (b)에 도시된 바와 같이 열재유동을 이용하여 마이크로 렌즈의 표면을 일측방향으로 볼록하게 형성하는 것이 바람직하다.
또한, (b5) 단계에서는, 스페이서(140)가 마이크로 렌즈가 볼록형성되는 방향으로 연장되도록 스페이서(140)와 마이크로 렌즈를 조립하는 것이 바람직하다. 이에 따라, 마이크로 렌즈와 이미지 센서(410)가 스페이서(140)의 양단에 결합될 수 있고, 이미지 센서(410)와 마이크로 렌즈의 볼록한 면이 마주볼 수 있고, 마이크로 렌즈에 의해 변환된 상이 이미지 센서(410)로 전달될 수 있다. 이 때 스페이서(140)의 두께는 마이크로 렌즈의 초점 거리 또는 대물렌즈(300)의 초점 거리보다 더 짧은 것이 바람직하다. 이에 따라 기판(400) 및 이미지 센서(410)가 마이크로 렌즈의 초점거리 또는 대물렌즈(300)의 초점거리보다 더 가까이 위치하여 본원발명의 초소형 라이트 필드 카메라(1000)의 사이즈를 줄일 수 있다.
이하로, 도 11 내지 14를 참조하여 초소형 라이트 필드 카메라(1000)를 이용하여 표정을 인식하는 방법에 대해 설명한다.
도 11에 도시된 바와 같이, 본원발명의 초소형 라이트 필드 카메라(1000)를 이용하여 표정을 인식하는 방법은 (d) 광 발생장치(200)가 측정 대상(F)의 표면에 레이저를 조사하는 단계, 보다 자세히, (d) 단계는 도 12에 도시된 바와 같이, 레이저 센서가 측정 대상(F)인 얼굴에 레이저를 조사함으로써 이루어지는 것이 바람직하다. 또한 도 11에 도시된 바와 같이 본원발명의 초소형 라이트 필드 카메라(1000)를 이용하여 표정을 인식하는 방법은 (e) 대물렌즈(300)가 측정 대상(F)의 표면으로부터 반사된 레이저 광을 수신하고, 마이크로 렌즈 어레이(100) 및 이미지 센서(410)로 전달하여 이미지 센서(410)가 이미지를 수신하는 단계, (f) 연산부가 이미지 센서(410)로부터 수신한 이미지를 토대로 이미지 구역 별 3차원 깊이를 추출하고 추출된 정보를 토대로 깊이 맵을 생성하는 단계 및 (g) 연산부가 (f) 단계에서 생성된 깊이 맵을 토대로 미리 내정된 표정 판별 기준치와 비교하여 측정 대상(F)의 표정을 판별하는 단계를 포함하는 것이 바람직하다.
이후 도 13에 도시된 바와 같이,(g) 단계는 연산부가 (g1) 수신된 이미지를 토대로 측정 대상(F)의 눈썹, 눈, 동공, 코, 입 중 적어도 하나와 대응되는 위치에 특징점(P)을 추출하는 단계, (g2) (g1) 단계에서 추출된 각 특징점(P)에서의 깊이 값을 측정하는 단계 및 (g3) 각각의 특징점(P)의 상대 위치 및 깊이 값을 기 저장된 표정 판별 기준치와 비교하여 측정 대상(F)의 표정을 판단하는 단계를 포함하는 것이 바람직하다.
보다 자세히, 도 14에 도시된 바와 같이 (g1) 단계의 특징점(P)은 측정 대상(F)의 눈썹 중심점, 눈의 좌우 양단, 눈의 최하단, 콧불, 입술의 좌우 양단, 입술의 최상단 및 최하단으로 판단되는 위치에서 추출되는 것이 바람직하다. 연산부는 이와 같이 특징점(P)을 추출하고 이후 도 15에 도시된 바와 같이 깊이 맵을 산출하여 (g2) 단계에서 각 특징점(P) 간의 상대위치 및 상대깊이를 분석함으로써, 눈꼬리가 올라갔는지 유무, 입의 모양, 코와 입술 사이의 주름의 깊이 등을 판단할 수 있다. 이후 (g3) 단계에서 기 저장된 표정 판별 기준치에 따라 측정 대상(F)의 표정을 최종적으로 판단할 수 있다.
본 발명의 상기한 실시 예에 한정하여 기술적 사상을 해석해서는 안된다. 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당업자의 수준에서 다양한 변형 실시가 가능하다. 따라서 이러한 개량 및 변경은 당업자에게 자명한 것인 한 본 발명의 보호범위에 속하게 된다.
1000 : 초소형 라이트 필드 카메라
100 : 마이크로 렌즈 어레이
110 : 유리층
120 : 상 형성부
130 : 노이즈 제거부
131 : 제 1 금속층
132 : 절연층
133 : 제 2 금속층
140 : 스페이서
200 : 광 발생장치
300 : 대물렌즈
400 : 기판
410 : 이미지 센서
500 : 하우징
510 : 제 1 홀
520 : 제 2 홀
M : 마스킹 물질
P : 특징점
F : 측정 대상

Claims (14)

  1. 얼굴 표정을 인식하는 초소형 라이트 필드 카메라의 제작 방법에 있어서,
    (a) 외부 환경 정보를 수신하고, 수신한 환경 정보를 바탕으로 초소형 라이트 필드 카메라의 시야각, F-수, 작동거리, 피사계 심도 중 적어도 어느 하나를 포함하는 사양을 결정하는 단계;
    (b) 상기 (a) 단계에서 설계된 사양을 기반으로 마이크로 렌즈 어레이를 제작하는 단계; 및
    (c) 상기 (b) 단계에서 제작된 마이크로 렌즈 어레이와 대물렌즈, 이미지 센서, 광 발생장치 및 하우징을 상기 (a) 단계에서 설계된 사양을 기반으로 배치 및 결합하는 단계;를 포함하는 것을 특징으로 하는 초소형 라이트 필드 카메라의 제작 방법.
  2. 제 1항에 있어서,
    상기 (a) 단계는,
    (a1) 측정 대상의 크기, 깊이 맵 범위, 측정 대상과 상기 초소형 라이트 필드 카메라 간 거리 및 각도 중 적어도 어느 하나를 포함하는 외부 환경 정보를 수신하는 단계,
    (a2) 상기 (a1) 단계를 기반으로 상기 초소형 라이트 필드 카메라의 시야각, F-수, 작동거리, 피사계 심도 중 적어도 어느 하나를 포함하는 사양을 결정하는 단계,
    (a3) 상기 (a1) 단계를 기반으로 상기 마이크로 렌즈 어레이에 포함되는 마이크로 렌즈의 직경, 상기 마이크로 렌즈 사이 간격, 상기 마이크로 렌즈의 수, 상기 마이크로 렌즈의 배치 중 적어도 어느 하나의 사양을 결정하는 단계;를 포함하는 것을 특징으로 하는 초소형 라이트 필드 카메라의 제작 방법.
  3. 제 1항에 있어서,
    상기 (b) 단계는,
    (b1) 유리층의 일측면 중 마이크로 렌즈가 삽입될 위치를 마스킹하고 제 1 금속층을 적층하는 단계,
    (b2) 상기 (b1) 단계에서 마스킹한 물질을 제거하고 절연층을 상기 제 1 금속층의 일측면 전면에 적층하는 단계,
    (b3) 상기 절연층의 일측면 중 마이크로 렌즈가 삽입될 위치를 마스킹하고 제 2 금속층을 적층한 후 마스킹 물질을 제거하는 단계,
    (b4) 상기 마이크로 렌즈가 삽입될 위치에 상 형성부를 적층하는 단계 및
    (b5) 상기 (a) 단계에서 결정된 사양을 기반으로 설계된 스페이서를 상기 유리층에 결합하는 단계를 포함하는 것을 특징으로 하는 초소형 라이트 필드 카메라의 제작 방법.
  4. 제 3항에 있어서,
    상기 (b1) 단계 및 상기 (b3) 단계는,
    상기 유리층을 마스킹하는 물질로 LOR(Lift off Resist)을 사용하는 것을 특징으로 하는 초소형 라이트 필드 카메라의 제작 방법.
  5. 제 3항에 있어서,
    상기 (b4) 단계는,
    상기 마이크로 렌즈를 포토리소그래피 공정을 통해 적층하고, 열재유동을 이용하여 상기 마이크로 렌즈의 표면을 일측방향으로 볼록하게 형성하는 것을 특징으로 하는 초소형 라이트 필드 카메라의 제작 방법.
  6. 제 3항에 있어서,
    상기 (b5) 단계는,
    상기 스페이서가 상기 마이크로 렌즈가 볼록형성되는 방향으로 연장되도록 상기 스페이서와 상기 마이크로 렌즈를 조립하는 것을 특징으로 하는 초소형 라이트 필드 카메라의 제작 방법.
  7. 유리층;
    상기 유리층의 일면에 적층되고 서로 일정 간격 이격된 2개 이상의 마이크로 렌즈를 포함하고 광을 수신하여 소정의 초점위치에 상을 형성하는 상 형성부;
    상기 유리층의 일면에 적층되되, 상기 마이크로 렌즈의 사이에 배치되며 입사된 광을 흡수하는 노이즈 제거부;를 포함하는 것을 특징으로 하는 마이크로 렌즈 어레이.
  8. 제 7항에 있어서,
    상기 노이즈 제거부는
    상기 유리층의 일면에 적층되는 제 1 금속층,
    상기 제 1 금속층의 일면에 적층되는 절연층,
    상기 절연층의 일면에 적층되는 제 2 금속층을 포함하는 것을 특징으로 하는 마이크로 렌즈 어레이.
  9. 제 7항에 있어서,
    상기 마이크로 렌즈 어레이는,
    상기 유리층에 수직하되 상기 상 형성부 및 상기 노이즈 제거부가 적층되는 방향으로 연장되되, 상기 상 형성부의 최대 높이보다 소정 길이만큼 길게 형성되는 스페이서;를 포함하는 것을 특징으로 하는 마이크로 렌즈 어레이.
  10. 제 7항의 특징을 갖는 마이크로 렌즈 어레이;
    측정 대상의 표면에 레이저를 조사하는 광 발생장치;
    상기 측정 대상의 표면으로부터 반사된 레이저를 수신하여 상기 마이크로 렌즈 어레이로 전달하는 대물렌즈;
    상기 마이크로 렌즈 어레이로부터 형성된 상으로부터 이미지를 수신하는 이미지 센서가 내장된 기판; 및
    상기 광 발생장치와 상기 대물렌즈의 위치를 고정하는 하우징;을 포함하는 것을 특징으로 하는 초소형 라이트 필드 카메라.
  11. 제 10항에 있어서,
    상기 이미지 센서는,
    상기 대물렌즈와의 이격 거리가 상기 대물렌즈의 초점거리보다 짧고,
    상기 마이크로 렌즈와의 이격 거리가 상기 마이크로 렌즈 어레이의 초점거리보다 짧도록 배치된 것
    을 특징으로 하는 초소형 라이트 필드 카메라.
  12. 제 10항에 있어서,
    상기 하우징은,
    상기 광 발생장치가 끼워져 고정되는 제 1 홀과,
    상기 제 1 홀로부터 소정 간격 이격되어 형성되되, 상기 대물렌즈가 끼워져 고정되는 제 2 홀을 포함하는 것을 특징으로 하는 초소형 라이트 필드 카메라.
  13. 제 10항의 특징을 갖는 초소형 라이트 필드 카메라를 이용하는 표정 인식 방법에 있어서,
    (d) 상기 광 발생장치가 측정 대상의 표면에 레이저를 조사하는 단계;
    (e) 상기 대물렌즈가 상기 측정 대상의 표면으로부터 반사된 레이저 광을 수신하고, 상기 마이크로 렌즈 어레이 및 상기 이미지 센서로 전달하여 상기 이미지 센서가 이미지를 수신하는 단계;
    (f) 연산부가 상기 이미지 센서로부터 수신한 이미지를 토대로 이미지 구역 별 3차원 깊이를 추출하고 추출된 정보를 토대로 깊이 맵을 생성하는 단계; 및
    (g) 상기 연산부가 상기 (f) 단계에서 생성된 깊이 맵을 토대로 미리 내정된 표정 판별 기준치와 비교하여 측정 대상의 표정을 판별하는 단계;를 포함하는 것을 특징으로 하는 초소형 라이트 필드 카메라를 이용하는 표정 인식 방법.
  14. 제 13항에 있어서,
    상기 (g) 단계에서,
    상기 연산부가,
    (g1) 수신된 이미지를 토대로 측정 대상의 눈썹, 눈, 동공, 코, 입 중 적어도 하나와 대응되는 위치에 특징점을 추출하는 단계,
    (g2) 상기 (g1) 단계에서 추출된 각 특징점에서의 깊이 값을 측정하는 단계 및
    (g3) 각각의 상기 특징점의 상대 위치 및 깊이 값을 기 저장된 표정 판별 기준치와 비교하여 측정 대상의 표정을 판단하는 단계를 포함하는 것을 특징으로 하는 초소형 라이트 필드 카메라를 이용하는 표정 인식 방법.
KR1020220037468A 2021-03-26 2022-03-25 마이크로 렌즈 어레이를 포함하는 초소형 라이트 필드 카메라와 그 제작방법 및 초소형 라이트 필드 카메라를 이용하는 표정 인식 방법 KR20220134484A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210039685 2021-03-26
KR1020210039685 2021-03-26

Publications (1)

Publication Number Publication Date
KR20220134484A true KR20220134484A (ko) 2022-10-05

Family

ID=83596843

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220037468A KR20220134484A (ko) 2021-03-26 2022-03-25 마이크로 렌즈 어레이를 포함하는 초소형 라이트 필드 카메라와 그 제작방법 및 초소형 라이트 필드 카메라를 이용하는 표정 인식 방법

Country Status (1)

Country Link
KR (1) KR20220134484A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102106540B1 (ko) 2013-12-12 2020-05-04 삼성전자주식회사 반사굴절식 라이트 필드 렌즈 및 이를 포함하는 촬상 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102106540B1 (ko) 2013-12-12 2020-05-04 삼성전자주식회사 반사굴절식 라이트 필드 렌즈 및 이를 포함하는 촬상 장치

Similar Documents

Publication Publication Date Title
TWI634360B (zh) 電子裝置
US10715711B2 (en) Adaptive three-dimensional imaging system and methods and uses thereof
US10007122B2 (en) Three-dimensional display substrate, its Manufacturing method and three-dimensional display device
KR102213728B1 (ko) 근안 디스플레이를 위한 동적 양안 정렬
JP5507585B2 (ja) 多数のマイクロ光電子デバイスを製造する方法およびマイクロ光電子デバイス
JP5589107B2 (ja) 光学画像処理装置
US9402067B2 (en) Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system
US20200075652A1 (en) Pixel cell with multiple photodiodes
CN111221101B (zh) 镜片系统、投射装置、感测模组及电子装置
EP2458424A1 (en) Beam splitter for 3D camera, and 3D image acquisition apparatus employing the beam splitter
KR102297488B1 (ko) 라이트 필드 카메라
KR101974578B1 (ko) 3차원 영상 획득 장치용 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
JP2018525684A (ja) 積層レンズ構造体およびその製造方法、並びに電子機器
KR20150084656A (ko) 정보 처리 장치 및 방법
CN112005150B (zh) 用于移动设备的全光相机
JP2009300268A (ja) ３次元情報検出装置
KR102508561B1 (ko) 적층 렌즈 구조체, 카메라 모듈, 및, 전자 기기
KR101691156B1 (ko) 조명 광학계와 결상 광학계가 통합된 광학계 및 이를 포함하는 3차원 영상 획득 장치
WO2018173794A1 (ja) 積層レンズ構造体及びその製造方法、並びに、電子機器
JP2018120114A (ja) カメラモジュールおよびその製造方法、並びに電子機器
JP2018120113A (ja) カメラモジュールおよびその製造方法、並びに電子機器
CN108881717A (zh) 一种深度成像方法及系统
CN108924408A (zh) 一种深度成像方法及系统
EP3248037B1 (en) Image-acquiring equipment equipped with telecentric optical objective with primary cylindrical lens
JP2019502415A (ja) ライトフィールド顕微鏡法を用いる眼科手術

Legal Events

Date Code Title Description
E902 Notification of reason for refusal