KR20190025643A - 더 풍부한 컬러 샘플링을 위한 플렌옵틱 서브 애퍼처 뷰 셔플링 - Google Patents

더 풍부한 컬러 샘플링을 위한 플렌옵틱 서브 애퍼처 뷰 셔플링 Download PDF

Info

Publication number
KR20190025643A
KR20190025643A KR1020197002581A KR20197002581A KR20190025643A KR 20190025643 A KR20190025643 A KR 20190025643A KR 1020197002581 A KR1020197002581 A KR 1020197002581A KR 20197002581 A KR20197002581 A KR 20197002581A KR 20190025643 A KR20190025643 A KR 20190025643A
Authority
KR
South Korea
Prior art keywords
images
electro
state
optic
generating
Prior art date
Application number
KR1020197002581A
Other languages
English (en)
Other versions
KR102437510B1 (ko
Inventor
발터 드라직
아르노 슈베르트
니꼴라 르 스꾸아르넥
Original Assignee
인터디지털 씨이 페이튼트 홀딩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 씨이 페이튼트 홀딩스 filed Critical 인터디지털 씨이 페이튼트 홀딩스
Publication of KR20190025643A publication Critical patent/KR20190025643A/ko
Application granted granted Critical
Publication of KR102437510B1 publication Critical patent/KR102437510B1/ko

Links

Images

Classifications

    • H04N9/04515
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/957Light-field or plenoptic cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N5/22541
    • H04N5/23232
    • H04N9/07

Abstract

렌즈들의 마이크로 어레이 전면에 배치된 메인 렌즈, 모자이크 컬러 필터 어레이 및 이미지 센서를 갖는 플렌옵틱 카메라를 사용하여 풍부한 컬러 포착에 의해 다수의 이미지들을 생성하기 위한 시스템 및 방법으로서, 상기 메인 렌즈와 렌즈들의 상기 마이크로 어레이 사이에 배치된 전기적으로 제어가능한 복굴절 매질의 정상 상태를 사용하여 제1 세트의 이미지들을 캡처하는 단계 - 상기 정상 상태는 정상 광선을 각각의 픽셀에 제공함 -; 상기 전기적으로 제어가능한 복굴절 매질의 이상 상태를 사용하여 제2 세트의 이미지들을 캡처하고 - 상기 이상 상태는 상기 메인 렌즈로부터의 광을, 상이한 컬러들의 2개의 인접 픽셀들 상에 각각 충돌하는 정상 광선 및 이상 광선으로 분리하고, 상기 이상 광선은 상기 이미지 센서 상의 하나의 픽셀의 거리만큼 시프트됨 -; 상기 제1 세트의 이미지들에 대한 정보로부터 상기 제2 세트의 이미지들에 대한 정보의 가중된 감산을 수행하는 단계; 및 상기 가중된 감산 및 상기 제1 세트의 이미지들로부터 풍부한 컬러 정보를 갖는 최종 세트의 이미지들을 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

더 풍부한 컬러 샘플링을 위한 플렌옵틱 서브 애퍼처 뷰 셔플링
본 개시내용은 일반적으로 디지털 이미지 프로세싱에 관한 것이고, 더 상세하게는 디모자이킹(demosaicing)을 사용한 플렌옵틱 이미징 기술들에 관한 것이다.
본 섹션은, 아래에서 설명되고 그리고/또는 청구되는 본 발명의 다양한 양태들과 관련될 수 있는 본 기술분야의 다양한 양태들을 독자에게 소개하도록 의도된다. 이러한 논의는 더 양호한 이해를 돕기 위한 배경 정보를 독자에게 제공하는데 도움이 될 것으로 여겨진다. 따라서, 이러한 설명들은 종래 기술의 인정이 아니라 이러한 관점에서 읽혀져야 함을 이해해야 한다.
장면의 명시야를 캡처하는 것은 계산 사진 분야에서 오랜 관심사였다. 그러나, 핸드 헬드 플렌옵틱 카메라들의 최근의 릴리스는 대중 시장에 명시야 이미징의 잠재성을 도입하였다. 플렌옵틱 카메라는, 메인 렌즈의 이미지 평면에 그리고 하나의 마이크로-이미지(또한 서브-이미지로 지칭됨)가 투사되는 광 센서들의 어레이 전에 위치되는 마이크로 렌즈 어레이를 사용한다. 마이크로 렌즈 어레이를 메인 렌즈와 센서 사이에 배치함으로써, 플렌옵틱 카메라는 카메라에 진입하는 광 번들(bundle)들 위치, 강도 및 컬러에 추가로 이들의 방향을 캡처한다. 그 다음, 캡처된 데이터는 장면에 걸쳐 약간 상이한 시점들로부터 수평 및 수직으로 정렬된 뷰들의 매트릭스를 제공하기 위해 디멀티플렉싱된다. 결과적으로, 각각의 마이크로-이미지는 캡처된 장면의 영역을 묘사하고, 그 마이크로-이미지와 연관된 각각의 픽셀은 메인 렌즈 출구 퓨필 상의 특정 서브 애퍼처 위치의 시점으로부터 이러한 특정 영역을 나타낸다. 그 다음, 장면의 원시 이미지는 광 센서들의 어레이의 각각의 부분들로부터 포착된 모든 마이크로-이미지들의 합의 결과로서 획득된다.
명시야들에 있어서, 깊이 추정 또는 포스트-캡처 리포커싱과 같은 다수의 자연스러운 애플리케이션들이 증가하였다. 원시 데이터 변환은 복잡하고, 해결이 필요한 몇몇 문제들을 수반한다. 하나의 이러한 문제는 정확한 컬러 변환의 문제이다. 디모자이킹 프로세스들은 모자이크된 캡처된 원시 데이터로부터 장면의 컬러 콘텐츠를 복원하는 것을 목적으로 한다. 불행하게도, 전체 컬러 이미지 재구성과 간섭하는 많은 실제 문제들이 존재한다. 다른 문제는 기하학적 연산들을 수행할 때 발생한다. 이러한 연산들은 종종 보간된 컬러 값들의 불량한 계산으로 인한 에러들을 초래한다. 이러한 및 다른 문제들은 디모자이킹 프로세스들에 의해 처리되는 것들과 같은 완전한 복원 및 컬러 변환들에 영향을 미친다. 결국, 캡처된 원시 데이터를 사용하여 더 양호한 컬러 복원을 제공할 수 있는 개선된 기술들에 대한 필요성이 존재한다.
복수의 애퍼처들을 갖는 렌즈들의 마이크로 어레이의 전면에 배치된 메인 렌즈를 갖는 플렌옵틱 카메라를 사용하여 상이한 컬러 강도 및 특성들의 다수의 이미지들을 생성하기 위한 시스템 및 방법. 일 실시예에서, 방법은 전기 광학 편광 변조기의 제1 상태를 사용하여 제1 세트의 이미지들을 캡처하는 단계 및 전기 광학 편광 변조기의 제2 상태를 사용하여 제2 세트의 이미지들을 캡처하는 단계를 포함한다. 변조기는 상기 메인 렌즈와 복수의 애퍼처들을 갖는 렌즈들의 어레이 사이에 배치된다. 후속적으로, 제2 세트의 이미지들에 대한 정보가 제1 세트에 대한 정보로부터 감산된다. 최종 세트의 이미지들은, 최종 세트의 이미지들이 강화된 컬러 강도 및 특성들을 갖도록 감산 이후 생성된다.
다른 실시예에서, 상이한 컬러 강도 및 특성들의 다수의 이미지들을 생성하기 위한 시스템이 제공되며, 복수의 애퍼처들과 연관된 렌즈들의 마이크로 어레이의 전면에 배치된 메인 렌즈 및 마이크로 렌즈와 렌즈들의 어레이 사이에 배치된 전기적으로 제어되는 전기 광학 변조기를 포함한다. 전기 광학 변조기는 전압의 인가 시 제1 상태와 제2 상태 사이에서 기능한다. 전기 광학 편광 변조기의 상기 제1 상태를 사용하여 제1 세트의 이미지들을 캡처하기 위한 수단 및 전기 광학 편광 변조기의 제2 상태를 사용하여 제2 세트의 이미지들을 캡처하기 위한 수단이 제공된다. 강화된 컬러 강도 및 특성들을 갖는 최종 세트의 이미지들을 생성하기 위해 제2 세트의 이미지들에 대한 정보를 제1 세트의 캡처된 이미지들에 대한 정보로부터 감산하도록 구성되는 프로세서가 또한 제공된다.
추가적인 특징들 및 이점들은 본 개시내용의 기술들을 통해 실현된다. 본 발명의 다른 실시예들 및 양상들은 본원에서 상세히 설명되고, 청구된 발명의 일부로 고려된다. 이점들 및 특징들에 의한 본 발명의 더 양호한 이해를 위해, 설명 및 도면들을 참조한다.
본 개시내용은, 어떠한 제한도 없이, 첨부된 도면들을 참조하여 다음의 실시예 및 실행 예들에 의해 더 양호하게 이해되고 예시될 것이다.
도 1은 디모자이킹 프로세스에서 사용되는 컬러 필터 어레이(CFA)를 도시하는 블록도 도면이다.
도 2a는 컬러 필터 어레이(CFA) 패턴으로 캡처된 이미지 및 마이크로 렌즈 어레이의 도시이다.
도 2b는 컬러 필터 및 마이크로 렌즈 어레이를 사용하여 캡처된 디멀티플렉스 이미지의 예시이다.
도 3a는 일 실시예에 따른 정상 및 이상 상태들 둘 모두의 서브 애퍼처 대 픽셀 매핑에 대한 도면의 도시이다.
도 3b는 도 3a에 도시된 실시예의 확대되고 더 상세한 도시를 제공한다.
도 4는 일 실시예에 따라 앞서 설명된 프로세스의 흐름도 도시이다.
도 1 내지 도 4에서, 표현된 도면들은 순수하게 기능적 엔티티들이고 물리적으로 별개인 엔티티들에 반드시 대응하는 것은 아닌 예들을 제공한다. 즉, 이들은 소프트웨어, 하드웨어의 형태로 개발될 수 있거나, 하나 이상의 프로세서들을 포함하는 하나의 또는 몇몇 집적 회로들로 구현될 수 있다.
가능한 경우에는 항상, 동일하거나 유사한 부분들을 지칭하기 위해 도면들 전반에 걸쳐 동일한 참조 번호들이 사용될 것이다.
본 발명의 도면들 및 설명들은, 명료성을 위해, 전형적인 디지털 멀티미디어 콘텐츠 전달 방법들 및 시스템들에서 발견되는 많은 다른 엘리먼트들을 제거하면서, 본 발명의 명확한 이해와 관련된 엘리먼트들을 예시하기 위해 단순화되었음을 이해해야 한다. 그러나, 이러한 엘리먼트들은 본 기술분야에 널리 공지되어 있기 때문에, 이러한 엘리먼트들의 상세한 논의는 본원에 제공되지 않는다. 본원의 개시내용은 모든 이러한 변화들 및 수정에 관한 것이다.
정규의 카메라들에서, 렌즈는 적시의 노출 동안 객체들로부터 반사 또는 방출된 광을 카메라 내부의 감광성 표면 상의 실상으로 포커싱하기 위해 사용된다. 전자 이미지 센서를 사용하여, 각각의 픽셀에서 전하가 생성되고, 그 다음 추가적 사용을 위해 디지털 이미지 파일에서 프로세싱 및 저장된다. 전통적인 사진에서, 초점면은 대략 평면 또는 초점 평면이다. 초점면은 카메라의 광 축에 수직이다.
반대로, 플렌옵틱 카메라에서, 각각의 마이크로-이미지는 캡처된 장면의 영역을 묘사하고, 그 마이크로-이미지와 연관된 각각의 픽셀은 메인 렌즈 출구 퓨필 상의 특정 서브 애퍼처 위치의 시점으로부터 이러한 특정 영역을 나타낸다. 그 다음, 장면의 원시 이미지는 모든 마이크로 이미지들의 합의 결과로서 획득되고, 원시 이미지는 명시야의 각도 정보를 포함한다. 결과적으로, 각각의 픽셀이 상이한 뷰에 대응하기 때문에 원시 이미지의 이웃 픽셀들은 상이한 각도 정보를 포함한다.
도 1은 디모자이킹 프로세스에서 사용되는 컬러 필터 어레이(CFA)를 사용하는 플렌옵틱 마이크로 이미지 매트릭스의 도시이다. 불완전한 컬러 샘플들로부터 전체 컬러 이미지를 재구성하기 위해 컬러 필터 어레이를 사용하는 디지털 이미지 프로세싱 기술들인 디모자이킹 프로세스들에서 컬러 필터 어레이들이 사용된다. 컬러 샘플들은 종종 CFA와 오버레이되는 하나 이상의 이미지 센서들의 출력이다. 컬러 필터 어레이는 하나 이상의 이미지 센서들의 전면에서 컬러 필터들의 모자이크이다. 상업적으로, 가장 통상적으로 사용되는 CFA 구성은 베이어 필터이다. 도 1의 예는 이러한 필터의 예를 제공한다. 도시된 바와 같이, 홀수 행들에 대해 교번하는 적색(R) 및 녹색(G) 필터들이, 사이에 배치된 녹색(G) 및 청색(B) 필터들을 포함하는 개재 행들을 갖는 짝수 행들에서 추가로 교번된다.
이러한 예에서, 적색 또는 청색 필터들보다 2배 많은 녹색 필터들이 존재하여 녹색 광에 대한 인간의 눈의 더 높은 감도를 케이터링(catering)한다. CFA의 성질에 의해 이의 컬러 서브 샘플링은 에일리어싱을 유발하고, 따라서 이미지 센서와 렌즈 사이의 광학 경로에 광학 안티 에일리어싱 필터들이 배치되어, 보간에 의해 도입되는 잘못된 컬러 아티팩트들(크로마틱 에일리어스들)을 감소시킨다. 센서의 각각의 픽셀은 컬러 필터 뒤에 있기 때문에, 출력은 픽셀 값들의 어레이이고, 각각 3개의 필터 컬러들 중 하나의 원시 강도를 표시한다. 베이어 필터는 균일한 그리드 상에서 다변량 보간을 사용하는 CFA의 예이다. 따라서, 각각의 픽셀에 대해 단일 성분보다 모든 컬러 성분들에 대해 컬러 레벨들을 추정하는 알고리즘이 필요하다. 종래의 디모자이킹 알고리즘은 CFA 또는 다른 필터들로부터 출력된 그러한 공간적으로 언더 샘플링된 컬러 채널들로부터 전체 컬러 이미지를 재구성한다.
이러한 알고리즘들에 수반되는 수학적 연산들은 동일한 컬러 성분의 인근 인스턴스들에 기초하기 때문에 간단하다. 이러한 보간 알고리즘의 가장 간단한 방법은 동일한 컬러 채널의 인접 픽셀을 단순히 복사하는 가장 가까운 이웃 보간에 의존한다. 그러나, 이러한 필터들은 이미지의 세부사항들 및 품질이 중요한 임의의 애플리케이션에 대해 적합하지 않다. 또한, 이러한 방법들은 균질한 이미지 영역들에서 양호한 결과들을 획득할 수 있지만, 순수한 컬러 CFA와 함께 사용되는 경우 에지들 및 세부사항들을 갖는 영역들에서 심각한 디모자이킹 아티팩트들에 취약하다. 더 정교한 디모자이킹 알고리즘들은 컬러 이미지 내의 픽셀들의 공간적 및/또는 스펙트럼 상관을 이용하지만, 도 2b를 참조함으로써 더 상세히 알게 될 것처럼 이들은 여전히 문제가 있다.
도 2a는 컬러 필터 어레이(CFA) 패턴 및 플렌옵틱 카메라를 사용한 육각형 렌즈 그리드로 획득되는 이미지를 도시하는 예시적인 실시예이다. 도 2a는 플렌옵틱 카메라에서 마이크로 이미지들의 외관을 묘사한다. 더 밝은 음영은 녹색(G)을 표현하는 한편, 가장 어두운 음영은 청색(B)을 표현하고 중간 회색 음영은 적색(R)을 표현한다. 이러한 예에서, 각각의 픽셀은 메인 렌즈의 출구 퓨필의 서브 애퍼처에 의해 조명된다. 육각형 샘플링, 렌즈와 픽셀 그리드들 사이의 잔여 회전 및 CFA로 인해, 서브 애퍼처 뷰들이 디멀티플렉싱되면, 후속 뷰들은 일부 영역들에서 그로부터 누락된 정보 또는 컬러를 가질 수 있다.
장면에서 뷰들 또는 객체들의 누락된 부분들을 복원하기 위해, 플렌옵틱 카메라에 의해 획득된 원시 데이터를 모자이크하고 그 다음 디멀티플렉싱하여 뷰들을 복원하는 것이 가능하다. 문제는 대부분의 경우들에서, 이것이 뷰들 상의 컬러 아티팩트들을 초래한다는 점이다. 상이한 각도 정보를 포함하는 플렌옵틱 원시 이미지 상에서 이웃 픽셀 구성이 사용되는 경우를 고려한다(마이크로 렌즈 하의 각각의 픽셀은 상이한 뷰에 대응한다). 이러한 경우 원시 플렌옵틱 이미지를 디모자이킹하는 것은 각도 정보를 잠재적으로 잘못 혼합할 것이다. 소위 뷰 크로스-토크 아티팩트들을 생성하는 이웃 컬러 값들을 보간하는 종래의 알고리즘에서, 이는 에러 결과들을 초래한다. 또한, 디모자이킹된 원시 이미지로부터 획득된 뷰들로부터의 디스패리티 추정은 심지어 더 큰 에러들에 취약한 것으로 나타났다.
도 2b는 논의된 바와 같은 디멀티플렉스 이미지의 예시이다. 도 2b에 예시된 예에서, 하나 이상의 객체들의 뷰들 또는 이미지들을 갖는 장면이 제공된다. 이미지는 이러한 도 2b에서 플렌옵틱 카메라에 의해 캡처되었다. 도 2b의 뷰를 보면, 제시되고 있는 장면에서 이미지를 인식하는 것은 곤란하다. 객체의 전체 윤곽들이 도 2b에서 가시적이지만, 상세한 객체 인식을 허용하는 충분한 정보는 이미지에 제공되지 않는다. 음영, 강도 및 컬러들이 완전히 누락되지 않은 경우들에서도, 대부분의 경우들에서 문제가 되는 멀리 있는 픽셀들로부터 보색 정보가 보간되어야 한다. 후자는, 누락된 컬러가 심지어 이미지에 국부적이 아닐 수 있는 다른 객체들로부터 최상으로 추정됨(또는 심지어 추측됨)을 의미한다.
도 2b에서, 이미지는 누락된 컬러 정보가 있어서 아직 디모자이킹되지만, 이미지는 적절한 방식으로 디멀티플렉싱된다. 디모자이킹이 없으면, 원시 데이터는 디모자이킹 없이 장면의 뷰들로 디멀티플렉싱되도록 요구된다. 이는 컬러 아티팩트들의 발생을 회피하도록 도울 것이고, 크로스토크에 의해 생성되는 것과 같은 누락된 컬러 정보를 복원하는 것을 도울 것이다. 픽셀 디스패리티들을 추정하기 위해 블록-매칭 기술이 사용될 수 있다. 후속적으로, 이미지들 및 뷰들을 디모자이킹하여 장면의 여분의 샘플링을 이용하기 위해 신뢰가능한 추정된 디스패리티들이 사용될 필요가 있다. 결과들은 종래 기술의 방법들에 비해 컬러 아티팩트들을 포함하지 않는다. 추정된 디스패리티들의 정확한 뷰 디멀티플렉싱 및 서브-픽셀 정확도는 더 높은 품질의 디모자이킹된 뷰들의 공간적 해상도를 도출한다. 품질에서의 이러한 개선은 추가적인 초해상도 단계들의 복잡도를 포함하지 않고 달성될 수 있다. 일 실시예에서, 이러한 개념은 훨씬 더 풍부한 컬러 포착을 위한 수단을 제공하기 위해 사용될 수 있다. 이러한 실시예에서, 전기 광학 편광 변조기가 사용된다. 일 실시예에서, 전기 광학 편광 변조기는 전압이 인가된 경우 복굴절이 되는 매질이다.
복굴절은 광선이 이에 히트될 때 2개의 굴절된 광선들의 생성을 유발하는 결정질 재료의 특성이다. 이러한 특성은 매질 내의 원자들의 비 등방성 분포로 인한 것이고, 강하게 비등방성인 결정질 메시 구조를 갖는 결정질 매질에서 발생한다. 석영 및 방해석은 복굴절을 나타내는 천연 재료이다. 그러한 매질들에 있어서, 비편광된 광선이 특수한 배향인 이들의 표면들 중 하나에 히트되는 경우, 굴절 시에 생성되는 2개의 광선들이 존재한다. 이러한 광선들 중 하나는 일 편광 특성을 갖고 다른 하나는 약간 상이한 편광 특성을 갖는다. 스넬-데카르트 법칙에 따르면:
Figure pct00001
이고, 여기서 ni 및 nr은 입사 및 굴절된 매질의 각각의 (상이한) 굴절률들이고, θi 및 θr은 입사각 및 굴절각이다.
복굴절 매질들에서, 스넬-데카르트 법칙을 준수하는 광선은 정상 광선으로 지칭되고, 매질은 하나의 정상 굴절률 no를 갖는다. 생성된 제2 광선은 다른 굴절 ne를 겪고, 이는 정상 광선에 수직으로 편광되고 이상 인덱스 ne를 가진 재료 내에서의 방향으로 전파된다. 복굴절 매질에서, 상이한 전파 방향들을 갖는 2개의 광선들이 생성된다.
복굴절 재료들은 스넬의 법칙에 따라 광선들을 굴절시키지만, 매질 내의 유효 굴절률은 입력 편광 상태 및 굴절된 광선이 결정 축에 대해 이루는 각도에 의존한다. 복굴절 재료들에서, 2가지 타입의 광선들은 정상 및 이상으로 정의될 수 있다. 정상 광선들은 스넬의 원리
Figure pct00002
에 따라 굴절되고, 여기서 "O"은 정상 인덱스를 표시한다. 이상 광선들의 경우, 복굴절의 경우들에서, 굴절 법칙은
Figure pct00003
Figure pct00004
을 제공하고, 여기서 복굴절 재료들의 유효 굴절률은 각도 θw의 함수이다. 각도 θw는 결정 축 벡터 "a"와 굴절된 파수 벡터 "k" 사이의 각도이다. 추가적으로, 에너지 전파 방향으로 향하는 벡터인 광선 벡터 "s"는 파수 벡터 "k"를 따르지 않지만 벡터 "k"에 대해 작은 각도들을 형성한다. 등방성 매질에서, 벡터들 "k" 및 "s"는 동일하다. 따라서, 대부분의 광학 설계들의 경우, 벡터 "k"가 고려사항으로 취급되어야 한다. 이러한 경우들에서, 각도 θw는 다음과 같이 정의된다:
Figure pct00005
유효 굴절률은 다음과 같이 정의되고;
Figure pct00006
여기서 no는 정상 굴절률이고 ne는 이상 굴절률이다.
Figure pct00007
Figure pct00008
사이의 각도 α는,
Figure pct00009
여기서
Figure pct00010
이고, 벡터들
Figure pct00011
Figure pct00012
둘 모두는 결정 축 벡터
Figure pct00013
와 동일평면이다. 파수 벡터
Figure pct00014
는 파면에 대한 법선을 향하며,
Figure pct00015
는 에너지 전파 방향을 향한다.
도 3a는 정상 및 이상 상태들 둘 모두의 서브 애퍼처 대 픽셀 매핑에 대한 도면을 예시한다. 도시된 바와 같이, (일반적으로 320으로 도시된) 복수의 광선들이 참조 번호 325로 도시된 전기 광학 변조기를 통과한다. 도면의 우측에, 일반적으로 참조 번호 327로 도시된 메인 렌즈의 출구 퓨필이 존재한다. 이러한 메인 렌즈 출구는 총괄적으로 참조 번호들 352로 도시된 바와 같이 서브 애퍼처들 V1 내지 V12로 추가로 분할된다. 이러한 실시예에서, 전기적으로 제어가능할 수 있는 복굴절 매질이 제공된다. 본 기술분야의 통상의 기술자들에 의해 인식될 수 있는 바와 같이 다양한 이러한 매질들이 이용가능하다. 하나의 이러한 예는 트위스트된 액정 네마틱(TN)을 통합한 것일 수 있다. TN 액정은 일 실시예에서 투명한 인듐 주석 산화물(ITO) 전극들을 갖는 2개의 유리판들 사이에 개재될 수 있다. 일례에서, 이의 접지 상태에서, TN 셀에 어떠한 전압도 인가되지 않으면, 서브 애퍼처들은 정상 광선들을 도시하는 녹색 라인들을 따라 마이크로 이미지 당 하나의 단독 픽셀 상으로 각각 이미징된다.
도 3b는 라인(310)에 걸쳐 도시된 바와 같이 영역(310)을 도시하는 확대되고 더 상세한 픽처를 제공한다. 이러한 확대된 픽처(310)에서, 하나의 마이크로 렌즈 및 CFA(예를 들어, 베이어 CFA)로부터 적색-녹색 픽셀들의 하나의 열이 도시된다. 적색 부분들은 312로 예시되고 녹색 부분들은 참조 번호들 315로 예시된다. 310의 예시는 각각의 서브 애퍼처가 하나의 픽셀에 정렬되도록 정상 광선이 매핑될 수 있는 방법을 도시한다. 이해를 돕기 위해, 먼저 도 3a에 제공된 바와 같은 이상 광선들(330)을 따라 시작하고 도 3b의 더 상세한 영역에 대해 다시 역순으로 이들을 따르는 것이 더 좋다. 이는, 픽셀들로부터 서브 애퍼처들 방향으로 이어지는 흐름을 도출할 것이다.
도 3a를 보고 좌측으로부터 우측으로 광선들을 따르면, 이상 광선(320)은 전기 광학 변조기의 녹색 광선 경로를 따른다. 이는 마이크로 렌즈의 광학 중심과 교차하고, 그 다음 복굴절 셀에 히트된다. 셀은 인가된 전압을 갖는 "이상" 상태에 있고, 따라서 이 때, 2개의 광선들, 즉 정상 광선으로서 굴절하는 녹색 및 이상 광선으로 굴절하는 청색 광선이 생성된다. 둘 모두가 메인 렌즈의 출구 퓨필에 히트되는 경우, 정상은 하나의 서브 애퍼처에서 종료되는 한편 이상은 위에 있는 하나의 서브 애퍼처에 매핑된다. 이는, 출구 퓨필로부터 시작하면 서브 애퍼처 V11의 정상 광선이 녹색인 가장 바닥의 픽셀에 히트할 것임을 의미한다. 동일한 V11 서브 애퍼처로부터, 이상 광선은 적색인 바닥으로부터 제2 픽셀에 히트될 것이다.
플렌옵틱 이미지에 컬러 정보를 추가하는 것은 2개의 이미지들이 순차적으로 취해지도록 요구한다. 제1 이미지는 t0에서 정상 상태인 셀에 의해 취해진다. 센서 상의 픽셀들은 하기 상태들을 기록한다:
Figure pct00016
...
제2 이미지는 t1에서 이상 상태인 셀에 의해 취해진다. 장면에 어떠한 편광 현상도 없으면 2개의 동일한 강도들의 광선들이 생성된다.
Figure pct00017
도 3을 보면, 애퍼처의 경계들은 증가된 컬러 정보로부터 유리하지 않을 것이지만, 경계 픽셀들은 마이크로 이미지 크로스토크 및 비네팅(vignetting)으로 인해 어쨌든 폐기된다. 따라서 일 실시예에서, 제1 이미지는 경계 라인이 아닌 픽셀들에 대한 제2 샷의 2배로부터 감산된다. 이는 바닥으로부터 제2 픽셀일 것이고 다음과 같이 정의될 수 있다:
Figure pct00018
Figure pct00019
t=0 및 t=1(t0 및 t1)에서 2개의 장면들 사이에 어떠한 움직임들도 없으면,
Figure pct00020
따라서, 서브 애퍼처 V11에 대한 적색 성분이 생성되는 한편, t0에서의 샷으로부터 서브 애퍼처 V11에 대한 녹색 성분이 또한 존재한다.
픽셀들의 나머지에 대해 이러한 개념을 적용하여, 2개의 장면 샷들이 t0 및 t1에서 생성되면, 이들로부터 종래의 방법들을 사용하여 통상적으로 제공되는 것보다 2배 더 많은 컬러 정보를 허용하는 픽셀 값들의 선형 조합이 획득될 수 있다. 일례에서, 이러한 시스템에서 사용되는 추가적인 성분은 트위스트된 네마틱(TN) 셀이다.
액정(LC)은 정상 굴절률 no와 이상 굴절률 ne 사이의 값에서 큰 차이를 가질 수 있다. 일부 경우들에서, MLC-9200-100(디스플레이 애플리케이션들에 대한 액정들의 굴절률들)로 명명된 LC 혼합물은, 매우 큰 차이지만 도 3으로부터의 셀의 두께를 감소시키기 위해 필요한 ne-nO>0.2를 갖는 것으로 공지되어 있다. 이러한 두께는 마이크로 렌즈 어레이와 센서 사이의 셀의 배치에 아직 양립적이지 않지만, 두께에서 수 mm로 감소되기 때문에 출구 퓨필과 마이크로 렌즈 어레이 사이에 배치될 수 있다(마이크로 렌즈 대 센서 거리는 10-100 마이크론의 범위이다).
도 4는 일 실시예에 따라 앞서 설명된 프로세스의 흐름도 도시이다. 도 4는, 복수의 애퍼처들을 갖는 렌즈들의 어레이의 앞에 배치된 메인 렌즈를 갖는 플렌옵틱 카메라를 사용하여 상이한 컬러 강도 및 특성들의 다수의 이미지들을 생성하는 방법에 대한 단계들을 예시한다. 도 4에 도시된 바와 같이, 단계(410)에서, 제1 세트의 이미지들은 전기 광학 편광 변조기의 제1 상태를 사용하여 캡처된다. 일 실시예에서, 변조기는 상기 메인 렌즈와 복수의 애퍼처들을 갖는 렌즈들의 어레이 사이에 배치된다. 단계(420)에서, 제2 세트의 이미지들은 전기 광학 편광 변조기의 제2 상태를 사용하여 캡처된다. 단계(430)에서, 예를 들어, 구성된 프로세서로 제2 세트의 이미지들에 대한 정보가 제1 세트에 대한 정보로부터 감산된다. 단계(440)에서, 최종 세트의 이미지들은, 상기 최종 세트의 이미지들이 강화된 컬러 강도 및 특성들을 갖도록 감산 이후 생성된다. 일 실시예에서, 도 4의 방법 단계들 및 도 3a 및 도 3b의 배열을 수행하기 위해 상이한 컬러 강도 및 특성들의 다수의 이미지들을 생성하기 위한 시스템이 사용될 수 있다. 이러한 실시예에서, 메인 렌즈(310)는 복수의 애퍼처들과 연관된 렌즈들의 어레이(352) 전면에 배치된다. 도 3a에 도시된 바와 같은 전기적으로 제어된 전기 광학 변조기(325)는 마이크로 렌즈와 도시된 렌즈들의 어레이 사이에 배치될 수 있다. 전기 광학 변조기는 전압의 인가 시에 2개의 상태들(도 3a의 330 및 340) 사이에서 기능한다. 그 다음, 도 4과 관련하여 논의된 바와 같이 제1 세트의 이미지들은 전기 광학 편광 변조기의 제1 상태를 사용하여 캡처되고, 제2 세트의 이미지들은 또한 전기 광학 편광 변조기의 제2 상태를 사용하여 캡처된다. 후속적으로, 프로세서는, 강화된 컬러 강도 및 특성들을 갖는 최종 세트의 이미지들을 생성하기 위해(도 4의 440) 상기 제2 세트의 이미지들에 대한 정보를 제1 세트의 캡처된 이미지들에 대한 정보로부터 감산하도록 구성되는 시스템에 통합될 수 있다. 이러한 방식으로, 심지어 매우 복잡한 상황에서 플렌옵틱 카메라가 매우 희박한 컬러 정보를 전달하는 경우에도 풍부한 컬러 정보가 획득될 수 있다.

Claims (14)

  1. 다수의 이미지들을 생성하는 방법으로서,
    전기 광학 편광 변조기의 제1 상태를 사용하여 제1 세트의 이미지들을 생성하는 단계(410) - 상기 변조기는 메인 렌즈와 복수의 애퍼처들을 갖는 렌즈들의 마이크로 어레이 사이에 배치됨 -;
    전기 광학 편광 변조기의 제2 상태를 사용하여 제2 세트의 이미지들을 생성하는 단계(420);
    상기 제1 세트에 대한 정보로부터 상기 제2 세트의 이미지들에 대한 정보를 계산하는 단계(430); 및
    상기 감산 이후 최종 세트의 이미지들을 생성하는 단계(440)
    를 포함하는, 방법.
  2. 다수의 이미지들을 생성하기 위한 시스템으로서,
    복수의 애퍼처들과 연관된 렌즈들의 마이크로 어레이(352) 전면에 배치되는 메인 렌즈(310);
    상기 렌즈의 마이크로 어레이와 상기 메인 렌즈 사이에 배치되는 전기적으로 제어되는 전기 광학 변조기(325) - 상기 전기 광학 변조기는 전압의 인가 시에 제1 상태(340)와 제2 상태(330) 사이에서 기능함 -;
    전기 광학 편광 변조기의 상기 제1 상태를 사용하여 제1 세트의 이미지들을 생성하기 위한 수단;
    전기 광학 편광 변조기의 제2 상태를 사용하여 제2 세트의 이미지들을 생성하기 위한 수단; 및
    강화된 컬러 강도 및 특성들을 갖는 최종 세트의 이미지들을 생성(440)하기 위해 상기 제1 세트의 캡처된 이미지들에 대한 정보로부터 상기 제2 세트의 이미지들에 대한 정보를 계산하도록 구성되는 프로세서(430)
    를 포함하는, 시스템.
  3. 제1항의 방법 또는 제2항의 시스템에 있어서,
    마이크로 이미지 크로스 토크를 생성하는 애퍼처들로부터 생성된 경계 픽셀들은 상기 계산 단계 전에 폐기되는, 방법 또는 시스템.
  4. 제1항 또는 제3항의 방법 또는 제2항 또는 제3항의 시스템에 있어서,
    상기 전기 광학 편광 변조기는 원래 제1 상태이고, 상기 전기 광학 편광 변조기에 전압이 인가된 후 제2 상태로 변화하는, 방법 또는 시스템.
  5. 제4항의 방법 또는 제4항의 시스템에 있어서,
    상기 전기 광학 편광 변조기는 전압의 부재 시에 그 제1, 원래 상태로 다시 복귀하는, 방법 또는 시스템.
  6. 제1항 또는 제4항의 방법 또는 제2항 또는 제4항의 시스템에 있어서,
    상기 전기 광학 편광 변조기는 복굴절 결정질 재료로 제조되는, 방법 또는 시스템.
  7. 제6항의 방법 또는 제6항의 시스템에 있어서,
    상기 복굴절 결정질 재료는 액정(Liquid Crystal: LC)인, 방법 또는 시스템.
  8. 제1항 또는 제7항의 방법 또는 제2항 또는 제6항의 시스템에 있어서,
    상기 전기 광학 편광 변조기는 상기 메인 렌즈로부터 수신된 광의 2개의 동시적 광선들을 생성하여, 제1 광선은 제1 하부 애퍼처에 매핑되고 제2 애퍼처는 상기 제1 하부 애퍼처 위에 위치되는, 방법 또는 시스템.
  9. 제1항의 방법 또는 제2항의 시스템에 있어서,
    상기 플렌옵틱 카메라는 상기 마이크로 렌즈 어레이와 상기 메인 렌즈 사이에 배치된 센서를 갖는, 방법 또는 시스템.
  10. 제9항의 방법 또는 제9항의 시스템에 있어서,
    상기 마이크로 렌즈 어레이와 상기 센서 사이의 거리는 10 마이크론 초과 100 마이크론 미만인, 방법 또는 시스템.
  11. 제8항의 방법 또는 제8항의 시스템에 있어서,
    상기 제1 및 상기 제2 광선들은 상이한 굴절 각도들을 갖는, 방법 또는 시스템.
  12. 제11항의 방법 또는 제11항의 시스템에 있어서,
    상기 제1 및 상기 제2 광선들은 상이한 굴절률을 갖는, 방법 또는 시스템.
  13. 제12항의 방법 또는 제12항의 시스템에 있어서,
    상기 제1 정상 광선 및 상기 제2 이상 광선들은 서로 수직인 방향으로 편광되는, 방법 또는 시스템.
  14. 제13항의 방법 또는 제13항의 시스템에 있어서,
    상기 2개의 정상 및 이상 광선들은 상이한 전파 거리들로 생성되는, 방법 또는 시스템.
KR1020197002581A 2016-06-30 2017-06-27 더 풍부한 컬러 샘플링을 위한 플렌옵틱 서브 애퍼처 뷰 셔플링 KR102437510B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16305822.5 2016-06-30
EP16305822.5A EP3264755A1 (en) 2016-06-30 2016-06-30 Plenoptic sub aperture view shuffling for a richer color sampling
PCT/EP2017/065922 WO2018002097A1 (en) 2016-06-30 2017-06-27 Plenoptic sub aperture view shuffling for a richer color sampling

Publications (2)

Publication Number Publication Date
KR20190025643A true KR20190025643A (ko) 2019-03-11
KR102437510B1 KR102437510B1 (ko) 2022-08-29

Family

ID=56411559

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197002581A KR102437510B1 (ko) 2016-06-30 2017-06-27 더 풍부한 컬러 샘플링을 위한 플렌옵틱 서브 애퍼처 뷰 셔플링

Country Status (6)

Country Link
US (1) US10931936B2 (ko)
EP (2) EP3264755A1 (ko)
JP (1) JP7049274B2 (ko)
KR (1) KR102437510B1 (ko)
CN (1) CN109792511B (ko)
WO (1) WO2018002097A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230082554A (ko) 2021-12-01 2023-06-08 한국전자통신연구원 포인트 클라우드의 플렌옵틱 색상 정보 부호화/복호화 방법, 장치 및 기록

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018112875A1 (en) * 2016-12-23 2018-06-28 Intel Corporation Efficient sub-pixel disparity estimation for all sub-aperture images from densely sampled light field cameras
RU2690757C1 (ru) 2018-08-21 2019-06-05 Самсунг Электроникс Ко., Лтд. Система синтеза промежуточных видов светового поля и способ ее функционирования

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011217411A (ja) * 2011-07-19 2011-10-27 Nikon Corp 画像合成方法及び撮像装置
KR20130038388A (ko) * 2010-07-19 2013-04-17 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. 이미지를 기록하기 위한 이미지 기록 장치 및 방법
US20130270421A1 (en) * 2011-09-02 2013-10-17 Panasonic Corporation Polarization image sensor and endoscope
KR20140061234A (ko) * 2012-11-13 2014-05-21 삼성전자주식회사 이미지 생성 장치 및 이미지 생성 방법
JP2015046744A (ja) * 2013-08-28 2015-03-12 ソニー株式会社 光学的ローパスフィルタ、撮像デバイスおよび撮像装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4589030A (en) * 1983-07-25 1986-05-13 Kley Victor B Solid state camera
JPH0595517A (ja) * 1991-03-26 1993-04-16 Olympus Optical Co Ltd 高解像度撮像装置
JPH09130818A (ja) * 1995-08-29 1997-05-16 Casio Comput Co Ltd 撮像装置と撮像方法
US6909554B2 (en) * 2000-12-27 2005-06-21 Finisar Corporation Wafer integration of micro-optics
JP4059066B2 (ja) * 2002-11-15 2008-03-12 セイコーエプソン株式会社 プロジェクタ
WO2006039486A2 (en) * 2004-10-01 2006-04-13 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
JP2006350177A (ja) * 2005-06-20 2006-12-28 Seiko Epson Corp 光学シートの製造方法、光学シート、面状照明装置、電気光学装置
JP5453958B2 (ja) * 2009-07-01 2014-03-26 ソニー株式会社 撮像装置
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
CA2781534A1 (en) 2009-11-20 2011-05-26 Mritunjay Singh Method and system for compressive color image sampling and reconstruction
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US20140183334A1 (en) * 2013-01-03 2014-07-03 Visera Technologies Company Limited Image sensor for light field device and manufacturing method thereof
JP6098196B2 (ja) * 2013-02-05 2017-03-22 セイコーエプソン株式会社 電気光学装置および電子機器
US9936188B2 (en) * 2013-02-13 2018-04-03 Universität des Saarlandes Plenoptic imaging device
CN105637320B (zh) * 2013-08-19 2018-12-14 巴斯夫欧洲公司 光学检测器
CN206301242U (zh) * 2016-10-27 2017-07-04 珠海市魅族科技有限公司 显示组件及移动终端
CN108833618B (zh) * 2018-05-28 2021-01-01 Oppo广东移动通信有限公司 电子装置
CN109618033A (zh) * 2018-12-29 2019-04-12 河海大学 一种折叠全面屏手机
CN110545342A (zh) * 2019-09-03 2019-12-06 深圳传音控股股份有限公司 一种移动终端
CN112839115B (zh) * 2019-11-22 2022-04-08 北京小米移动软件有限公司 柔性屏模组、终端设备及拍摄方法
CN111641743A (zh) * 2020-06-04 2020-09-08 Oppo广东移动通信有限公司 电子设备
CN111984063A (zh) * 2020-08-11 2020-11-24 捷开通讯(深圳)有限公司 一种用于伸缩屏幕的伸缩结构、方法及终端
CN213043713U (zh) * 2020-10-26 2021-04-23 Oppo广东移动通信有限公司 电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130038388A (ko) * 2010-07-19 2013-04-17 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. 이미지를 기록하기 위한 이미지 기록 장치 및 방법
JP2011217411A (ja) * 2011-07-19 2011-10-27 Nikon Corp 画像合成方法及び撮像装置
US20130270421A1 (en) * 2011-09-02 2013-10-17 Panasonic Corporation Polarization image sensor and endoscope
KR20140061234A (ko) * 2012-11-13 2014-05-21 삼성전자주식회사 이미지 생성 장치 및 이미지 생성 방법
JP2015046744A (ja) * 2013-08-28 2015-03-12 ソニー株式会社 光学的ローパスフィルタ、撮像デバイスおよび撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230082554A (ko) 2021-12-01 2023-06-08 한국전자통신연구원 포인트 클라우드의 플렌옵틱 색상 정보 부호화/복호화 방법, 장치 및 기록

Also Published As

Publication number Publication date
US10931936B2 (en) 2021-02-23
EP3479569A1 (en) 2019-05-08
JP2019519996A (ja) 2019-07-11
KR102437510B1 (ko) 2022-08-29
US20190166335A1 (en) 2019-05-30
CN109792511A (zh) 2019-05-21
CN109792511B (zh) 2021-10-12
WO2018002097A1 (en) 2018-01-04
EP3264755A1 (en) 2018-01-03
EP3479569B1 (en) 2023-08-30
JP7049274B2 (ja) 2022-04-06

Similar Documents

Publication Publication Date Title
CN102917235B (zh) 图像处理装置和图像处理方法
JP5421365B2 (ja) 3次元撮像装置
JP4706882B2 (ja) 撮像装置
JP5227368B2 (ja) 3次元撮像装置
US11438503B2 (en) Plenoptic sub aperture view shuffling with improved resolution
JP5995084B2 (ja) 3次元撮像装置、撮像素子、光透過部、および画像処理装置
KR102437510B1 (ko) 더 풍부한 컬러 샘플링을 위한 플렌옵틱 서브 애퍼처 뷰 셔플링
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant