KR20190032568A - 블록 기반 렌즈리스 압축 이미지 획득 - Google Patents

블록 기반 렌즈리스 압축 이미지 획득 Download PDF

Info

Publication number
KR20190032568A
KR20190032568A KR1020197006030A KR20197006030A KR20190032568A KR 20190032568 A KR20190032568 A KR 20190032568A KR 1020197006030 A KR1020197006030 A KR 1020197006030A KR 20197006030 A KR20197006030 A KR 20197006030A KR 20190032568 A KR20190032568 A KR 20190032568A
Authority
KR
South Korea
Prior art keywords
aperture
block
sensor
image acquisition
lensless
Prior art date
Application number
KR1020197006030A
Other languages
English (en)
Inventor
신 유안
강 후앙
홍 지앙
폴 윌포드
Original Assignee
노키아 오브 아메리카 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 오브 아메리카 코포레이션 filed Critical 노키아 오브 아메리카 코포레이션
Publication of KR20190032568A publication Critical patent/KR20190032568A/ko

Links

Images

Classifications

    • H04N5/2253—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N5/2254—
    • H04N5/2258—
    • H04N5/23238—
    • H04N5/335—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

본 개시는 일반적으로 블록 기반 렌즈리스 압축 이미지 획득 능력들을 개시한다. 블록 기반 렌즈리스 압축 이미지 획득 능력들은 블록 기반 렌즈리스 카메라를 포함할 수 있다. 블록 기반 렌즈리스 카메라는 블록 기반 렌즈리스 카메라에 의해 캡처될 이미지의 각각의 이미지 부분들에 대하여 이미지 데이터의 각각의 세트들(예를 들면, 검출기 출력들 또는 검출기 출력들로부터 생성된 압축 측정치들)을 캡처하도록 구성된 2개 이상의 이미지 획득 블록의 세트를 포함할 수 있다. 블록-기반 렌즈리스 카메라의 블록들은 애퍼처 요소들의 세트를 포함하는 애퍼처, 센서, 및 블록의 광과 다른 블록들의 광의 혼합을 방지하면서 애퍼처로부터 센서로 광을 지향시키도록 센서와 애퍼처 사이에 배치된 격리 챔버를 각각 포함할 수 있다.

Description

블록 기반 렌즈리스 압축 이미지 획득
본 개시는 일반적으로 이미지 획득에 관한 것이고, 특히 렌즈리스 압축 이미지 획득에 관한 것이지만, 그에 한정되는 것은 아니다.
현대 디지털 이미지 또는 비디오 시스템들에 의해 수행되는 이미지 획득은 일반적으로 많은 양의 원시 이미지 또는 비디오 데이터의 획득 및 즉시 압축을 포함한다. 이는 일반적으로 상당한 수의 센서들의 사용과 상당한 계산 능력들을 필요로 한다.
본 발명은 일반적으로 블록 기반 렌즈리스 압축 이미지 획득을 개시한다.
적어도 일부 실시예들에서, 렌즈리스 압축 카메라(lensless compressive camera)는 적어도 2개의 이미지 획득 블록들을 포함한다. 이미지 획득 블록들은 애퍼처 요소들의 세트를 포함하는 애퍼처로서, 애퍼처 요소들의 각각은 그를 통한 광의 통과를 허용 또는 방지하도록 제어되도록 구성되는, 상기 애퍼처, 애퍼처를 통과하는 광을 검출하도록 구성된 센서, 및 애퍼처와 센서 사이에 배치된 격리 챔버를 각각 포함하고, 격리 챔버는 센서상에 입사될 애퍼처를 통과한 광을 격리시키고 다른 이미지 획득 블록들의 광과 애퍼처를 통과하는 광의 혼합을 방지하도록 구성된다.
적어도 일부 실시예들에서, 렌즈리스 압축 이미지 획득 장치는 렌즈리스 압축 카메라, 메모리, 및 프로세서를 포함한다. 렌즈리스 압축 카메라는 적어도 2개의 이미지 획득 블록들을 포함한다. 이미지 획득 블록들은 애퍼처 요소들의 세트를 포함하는 애퍼처로서, 애퍼처 요소들의 각각은 그를 통한 광의 통과를 허용 또는 방지하기 위해 제어되도록 구성된, 상기 애퍼처, 애퍼처를 통과하는 광을 검출하도록 구성된 센서, 및 애퍼처와 센서 사이에 배치된 격리 챔버를 각각 포함하고, 격리 챔버는 센서상에 입사될 애퍼처를 통과하는 광을 격리시키고 다른 이미지 획득 블록들의 광과 애퍼처를 통과하는 광의 혼합을 방지하도록 구성된다. 메모리는 각각의 이미지 획득 블록들과 연관된 압축 측정치들의 각 세트들을 저장하도록 구성된다. 프로세서는 각각의 이미지 획득 블록들의 압축 측정치들의 각각의 세트들의 처리에 기초하여 이미지를 재구성하도록 구성된다.
적어도 일부 실시예들에서, 렌즈리스 압축 카메라는 애퍼처 어셈블리, 센서 어셈블리, 및 격리 어셈블리를 포함한다. 애퍼처 어셈블리는 애퍼처들의 세트를 포함하고, 애퍼처들의 각각은 그를 통한 광의 통과를 허용 또는 방지하도록 제어되도록 구성된 애퍼처 요소들의 각각의 세트를 포함한다. 센서 어셈블리는 센서들의 세트를 포함하고, 센서들의 각각은 그에 입사되는 광을 검출하도록 구성된다. 격리 어셈블리는 애퍼처 어셈블리와 센서 어셈블리 사이에 배치된다. 격리 어셈블리는 센서 어셈블리의 각각의 센서들에 입사될 애퍼처 어셈블리의 각각의 애퍼처들을 통과하는 광을 격리시키도록 구성되고 격리 챔버들 사이에 광의 혼합을 방지하도록 구성된 격리 챔버들의 세트를 포함한다.
본 명세서의 교시들은 첨부된 도면들과 함께 다음의 상세한 설명을 고려함으로써 쉽게 이해될 수 있다:
도 1은 일 예시적인 블록 기반 렌즈리스 압축 이미지 획득 시스템을 도시하는 도면.
도 2는 도 1의 블록 기반 렌즈리스 압축 이미지 획득 시스템에 사용하기 위한 일 예시적인 블록 기반 렌즈리스 카메라를 도시하는 도면.
도 3은 블록 기반 렌즈리스 카메라에 대한 측정 기반 정보 및 압축 측정치들을 예시하기 위한 애퍼처들 및 연관 센서들을 포함하는 일 예시적인 애퍼처 어셈블리를 도시하는 도면.
도 4a 내지 도 4c는 블록 기반 렌즈리스 카메라용 애퍼처 어셈블리들 및 센서 어셈블리들의 예시적인 단면도들.
도 5a 내지 도 5c는 셀룰러 형상 애퍼처들 및 셀룰러 형상 센서들을 사용하는 블록 기반 렌즈리스 카메라의 일 예시적인 집중-센서 구성을 도시하는 도면들.
도 6은 블록 기반 렌즈리스 카메라에 의해 캡처된 이미지를 재구성하기 위한 이미지 재구성 프로세스를 포함하는 일 예시적인 블록 기반 렌즈리스 압축 이미지 획득 시스템을 도시하는 도면.
도 7은 이미지 재구성 프로세스의 일 예시적인 실시예를 도시하는 도면.
도 8은 본 명세서에 설명된 다양한 기능들을 수행할 때 사용하기에 적합한 컴퓨터의 고레벨 블록도.
이해를 돕기 위해, 가능한 경우, 동일한 도면 번호들은 도면들에 공통인 동일한 요소들을 나타내기 위해 사용되었다.
본 개시는 일반적으로 블록 기반 렌즈리스 압축 이미지 획득 능력들을 개시한다. 블록 기반 렌즈리스 압축 이미지 획득 능력들은 블록 기반 렌즈리스 카메라를 포함할 수 있다. 블록 기반 렌즈리스 카메라는 블록 기반 렌즈리스 카메라에 의해 캡처될 이미지의 각각의 이미지 부분들에 대해 이미지 데이터의 각각의 세트들(예를 들면, 검출기 출력들 또는 검출기 출력들로부터 생성된 압축 측정치들)을 캡처하도록 구성된 2개 이상의 이미지 획득 블록들(이는 블록들로서 본 명세서에서 더 일반적으로 또한 지칭될 수 있다)의 세트를 포함할 수 있다. 블록 기반 렌즈리스 카메라의 블록들은 애퍼처 요소들의 세트를 포함하는 애퍼처, 센서, 및 애퍼처와 센서 사이에 배치되고 센서상에 입사될 애퍼처를 통과하는 광을 격리시키고 다른 블록들의 광과 애퍼처를 통과하는 광의 혼합을 방지하도록 구성된 격리 챔버를 각각 포함할 수 있다. 블록 기반 렌즈리스 카메라는 애퍼처 어셈블리, 센서 어셈블리, 및 격리 어셈블리를 포함할 수 있고, 격리 어셈블리는 애퍼처 어셈블리와 센서 어셈블리 사이에 배치될 수 있고, 격리 어셈블리는 그에 의해 각각의 블록들을 제공하기 위해 애퍼처 어셈블리의 각각의 부분들과 센서 어셈블리의 각각의 부분들을 격리하도록 구성된 격리 챔버들의 세트를 포함할 수 있다. 애퍼처 어셈블리는 애퍼처들의 세트를 포함할 수 있고, 센서 어셈블리는 센서들의 세트를 포함할 수 있어서, 격리 어셈블리의 각각의 격리 챔버들은 그에 의해 각각의 블록들을 제공하기 위해 애퍼처 어셈블리의 각각의 애퍼처들과 센서 어셈블리의 센서들의 각각의 서브세트들을 격리시킨다. 애퍼처 어셈블리, 센서 어셈블리, 및 격리 어셈블리는, 각각의 블록들의 각각에 대해, 각각의 격리 챔버가 각각의 블록에 대한 각각의 애퍼처를 통과하는 광이 각각의 블록의 센서상에만 입사하고 다른 블록들로부터의 광과 혼합되지 않는 것을 보장하도록 구성될 수 있다. 블록 기반 렌즈리스 압축 이미지 획득 능력들의 이들 및 다양한 다른 실시예들 및 이점들은 도 1의 예시적인 렌즈리스 압축 이미지 획득 시스템을 참조하여 더욱 이해될 수 있다.
도 1은 일 예시적인 블록 기반 렌즈리스 압축 이미지 획득 시스템을 도시한다.
도 1에 도시된 바와 같이, 물체(102)로부터 반사하는 입사광(101)은 물체(102)를 묘사하는 이미지를 캡처하기 위해 블록 기반 압축 이미지 획득을 수행하도록 구성된 블록 기반 렌즈리스 압축 이미지 획득 시스템(100)에 의해 수신된다.
블록 기반 렌즈리스 압축 이미지 획득 시스템(100)은 블록 기반 렌즈리스 카메라(110), 메모리(120), 및 프로세서(130)를 포함한다. 프로세서(130)는 블록 기반 렌즈리스 카메라(110) 및 메모리(120)에 통신 가능하게 연결된다.
블록 기반 렌즈리스 카메라(110)는 압축 이미지 획득을 위한 블록 기반 압축 샘플링을 수행하도록 구성된다. 일 예시적인 블록 기반 렌즈리스 카메라(110)가 도 2와 관련하여 도시되고 설명된다. 블록 기반 렌즈리스 카메라(110)가 압축 이미지 획득을 위한 압축 측정치들을 생성하는 실시예들과 관련하여 주로 제시되지만, 적어도 일부 실시예들에서, 압축 이미지 획득을 위한 압축 측정치들은 블록 기반 렌즈리스 카메라(110)에 의해 생성된 검출기 출력 데이터(예를 들면, 블록 기반 렌즈리스 카메라(110)의 검출기들에 의해 생성된 검출기 출력 데이터)에 기초한 블록 기반 렌즈리스 카메라(110)(예를 들면, 프로세서(130) 또는 원격 요소)와 다른 요소에 의해 생성될 수 있다는 것이 이해될 것이다.
메모리(120)는 블록 기반 렌즈리스 압축 이미지 획득과 연관된 정보를 저장하도록 구성된다. 메모리(120)는 블록 기반 압축 샘플링을 수행할 때 블록 기반 렌즈리스 카메라(110)에 의한 사용을 위한 측정 기반 정보(122)를 저장하도록 구성된다. 메모리(120)는 블록 기반 압축 샘플링을 수행하는 동안 블록 기반 렌즈리스 카메라(110)에 의해 생성되는 압축 측정치들(124)을 저장하도록 구성된다.
프로세서(130)는 압축 이미지 획득을 위한 블록 기반 압축 샘플링을 수행하기 위해 블록 기반 렌즈리스 카메라(110)의 작동을 제어하도록 구성된다. 프로세서(130)는 블록 기반 렌즈리스 카메라(110)에 의한 블록 기반 압축 샘플링을 제어하거나 가능하게 하기 위해 측정 기반 정보(122)를 사용하도록 구성될 수 있다. 프로세서(130)는 블록 기반 압축 샘플링을 수행하는 동안 블록 기반 렌즈리스 카메라(110)에 의해 생성된 압축 측정치들(124)을 수신하고 메모리(120)로의 블록 기반 렌즈리스 카메라(110)에 의해 생성된 압축 측정치들(124)의 저장을 제어하도록 구성될 수 있다. 프로세서(130)는, 블록 기반 렌즈리스 카메라(110)에 의해 캡처된 이미지를 재구성하기 위해 이미지 재구성 처리를 수행하는 것, 블록 기반 렌즈리스 카메라(110)에 의해 캡처된 이미지의 조작을 제공하는 것(예를 들면, 저장, 디스플레이, 송신 등) 등과 같은, 블록-기반 렌즈리스 카메라(110)에 의한 블록 기반 렌즈리스 압축 이미지 획득에 관련된 추가 처리 기능들을 제공하도록 또한 구성될 수 있다.
블록 기반 렌즈리스 압축 이미지 획득 시스템(100)은 다양한 환경들 내에 제공될 수 있음이 이해될 것이다. 예를 들면, 블록 기반 렌즈리스 압축 이미지 획득 시스템(100)은 태블릿, 스마트폰, 사물 인터넷(Internet-of-Things; IoT) 장치 등의 일부를 형성할 수 있다.
블록 기반 렌즈리스 카메라(110), 메모리(120), 및 프로세서(130)의 기능들이 하나의 장치 또는 시스템에 집적되는 실시예와 관련하여 주로 제시되지만(예시적으로, 블록 기반 렌즈리스 압축 이미지 획득 시스템(100)), 블록 기반 렌즈리스 카메라(110), 메모리(120), 및 프로세서(130)의 다양한 기능들은 중앙 집중화되거나 분산될 수 있는(예를 들면, 물리적으로, 지리적으로 등, 뿐만 아니라 그들의 다양한 조합들) 다수의 장치들 또는 시스템들로 분리될 수 있다는 것이 이해될 것이다.
도 2는 도 1의 블록 기반 렌즈리스 압축 이미지 획득 시스템에서 사용을 위한 일 예시적인 블록 기반 렌즈리스 카메라를 도시한다.
블록 기반 렌즈리스 카메라(200)는 애퍼처 어셈블리(210), 센서 어셈블리(220), 및 격리 어셈블리(230)를 포함한다. 격리 어셈블리(230)는 애퍼처 어셈블리(210)와 센서 어셈블리(220) 사이에 배열된다.
이하에 더 논의되는 바와 같이, 블록 기반 렌즈리스 카메라(200)는 더 일반적으로 블록들(251)로 지칭되는 4개의 동일한 크기의 이미지 획득 블록들(251)로 배열된다(그러나, 더 적은 또는 더 많은 블록들(251)이 사용될 수 있고, 블록들(251)은 상이한 블록 크기들(예를 들면, 애퍼처당 애퍼처 요소들의 수, 지원되는 픽셀들의 수, 물리적 크기 등, 뿐만 아니라 그의 다양한 조합들의 관점에서) 등 또는 그의 다양한 조합들을 가질 수 있다는 것이 이해될 것이다).
애퍼처 어셈블리(210)는 애퍼처들(211)의 세트를 포함한다. 애퍼처 어셈블리(210)는 블록 기반 렌즈리스 카메라(200)의 4개의 블록들(251)에 대응하는 4개의 애퍼처들(211)(예시적으로, 애퍼처들(211-1, 211-2, 211-3, 211-4))을 포함한다. 애퍼처들(211) 각각은 애퍼처 요소들(212)(본 명세서에서는 프로그램 가능한 애퍼처 요소들 또는 프로그램 가능한 요소들이라고도 지칭될 수 있다)의 어레이를 각각 포함한다. 애퍼처 어셈블리(210)의 애퍼처들(211)은 애퍼처 요소들(212)의 2차원 어레이(8x8)로서 각각 배열된다(표기[x, y]는 각각의 애퍼처(211)의 애퍼처 요소들(212)의 각각의 어레이의 행 x/열 y에 애퍼처 요소(212)를 표시하기 위해 사용될 수 있다). 애퍼처 어셈블리(210)의 애퍼처 요소들(212)은 광이 통과하도록 허용하거나 광이 통과하는 것을 방지하도록 개별적으로 제어되도록 구성된다. 애퍼처 요소들(212)의 각각의 투과율(transmittance)은 특정값이 되도록 프로그램 가능할 수 있다. 애퍼처 요소들(212)의 각각의 투과율은 측정 기반 정보를 사용하여 특정값이 되도록 프로그램 가능할 수 있다. 예를 들면, 측정 기반 정보는 프로그램 가능 애퍼처(210)의 애퍼처 요소들(212)에 각각 대응하는 엔트리들의 세트를 갖는 행렬(또는 다른 적절한 데이터 구조)의 형태일 수 있다. 애퍼처 소자들(212)에 대한 투과율 값들은, 각각의 엔트리가 0의 값(예를 들면, 각각의 애퍼처 요소(212)를 통한 광의 투과율 없음) 또는 1의 값(예를 들면, 각각의 애퍼처 요소(212)를 통한 광의 완전 투과율)을 가질 수 있는 것과 같이 이진 값들일 수 있다. 애퍼처 요소들(212)에 대한 투과율 값들은 주어진 애퍼처 요소(212)의 투과율 값이 애퍼처 요소(212)의 투과율의 양을 나타내는(예를 들면, 중간 값들은 광의 일부 투과율을 제공하지만, 전체 투과율을 제공하지 않는다) 값들의 범위(예를 들면, 0과 1 사이 또는 임의의 다른 적절한 범위의 값들 사이)를 지원할 수 있다. 애퍼처 어셈블리(210)의 애퍼처들(211)의 애퍼처 요소들(212)을 제어하기 위해 다른 값들이 사용될 수 있다는 것이 이해될 것이다. 애퍼처 어셈블리(210)의 애퍼처들(211)의 애퍼처 요소들(212)은 전기적으로(예를 들면, 프로세서 또는 다른 제어 요소의 제어하에서), 기계적으로(예를 들면, 디지털 마이크로미러 장치(DMD) 또는 다른 적절한 장치를 사용하여) 등, 뿐만 아니라 그의 다양한 조합들로 제어될 수 있다. 예를 들면, 애퍼처 요소들(212)은 프로그램 가능한 LCD 요소들을 갖는 투명한 액정 디스플레이(LCD) 장치, 프로그램 가능한 실리콘 액정 표시(liquid crystal on silicon; LCoS) 요소들을 갖는 투명한 LCoS 장치등일 수 있다. 애퍼처 요소들(212)은 도 3과 관련하여 추가로 상세히 제시되는 바와 같이 측정 기반 정보를 사용하여 제어된다. 애퍼처 어셈블리(210)가 애퍼처 요소들(212)의 각각의 세트들을 갖는 애퍼처들(211)로 구성되는 것으로 주로 나타내지지만, 적어도 일부 실시예들에서, 애퍼처 요소들(212) 자체는 애퍼처들인 것으로 고려될 수 있다는 것이 이해될 것이다(예를 들면, 애퍼처 어셈블리(210)는 애퍼처들의 2차원 어레이(64×64)가 되도록 고려될 수 있고, 이는, 애퍼처들의 4개의 서브세트들(예를 들면, 애퍼처들의 4개의 2차원 어레이들(8×8)로서, 애퍼처들의 각각의 서브세트는 256개의 애퍼처들 중 64개의 애퍼처들을 각각 포함)로 논리적으로 분할되도록 고려될 수 있는, 256개의 애퍼처들을 포함한다(예를 들면, 이는 [1,1]-[16,16]으로 표시될 수 있다)는 것이 이해될 것이다.
센서 어셈블리(220)는 센서들(221-1 내지 221-4)의 세트(집합적으로, 센서들(221))를 포함한다. 센서들(221)의 세트의 4개의 센서들(221-1 내지 221-4)은 각각 블록 기반 렌즈리스 카메라(200)의 4개의 블록들(251)에 대응한다. 센서들(221)은 그에 입사된 광을 검출하고(애퍼처 어셈블리(210)의 각각의 애퍼처들(211)의 애퍼처 요소들(212)을 통과하여) 그에 입사된 광의 검출에 기초하여 압축 측정치들을 생성하도록 각각 구성된다. 더 구체적으로, 제 1 센서(221-1)는 제 1 애퍼처(211-1)의 애퍼처 요소들(212)을 통과하는 광을 검출하도록 배열되고, 제 2 센서(221-2)는 제 2 애퍼처(211-2)의 애퍼처 요소들(212)를 통과하는 광을 검출하도록 배열되고, 제 3 센서(221-3)는 제 3 애퍼처(211-3)의 애퍼처 요소들(212)을 통과하는 광을 검출하도록 배열되고, 제 4 센서(221-4)는 제 4 애퍼처(211-4)의 애퍼처 요소들(212)을 통과하는 광을 검출하도록 배열된다. 애퍼처(211)의 애퍼처 요소들(212)을 통과하는 광은, 이하에 더 논의되는, 격리 어셈블리(230)(블록 기반 렌즈리스 카메라(200)의 블록들(251) 간에 광의 혼합을 방지함)를 사용하여, 센서들(221)에 각각 입사된다. 센서들(221)은 (1) 광을 검출하고 검출된 광에 기초하여 검출기 출력을 생성하도록 구성된 검출기 및 (2) 검출기의 검출기 출력에 기초하여 압축 측정치를 생성하도록 구성된 압축 측정 장치를 각각 포함할 수 있다. 예를 들면, 검출기는 광자 검출기(또는 다른 적절한 장치)일 수 있고, 압축 측정 장치는 검출기 출력에 기초하여 이산화된 압축 측정치들을 생성하도록 구성된 아날로그 대 디지털(A/D) 변환기(또는 다른 적절한 장치)일 수 있다. 센서들(221)이 압축 이미지 획득을 위한 압축 측정치들을 생성하는 실시예들과 관련하여 주로 제시되지만, 적어도 일부 실시예들에서, 압축 이미지 획득을 위한 압축 측정치들은 센서들(221) 이외의 요소(예를 들면, 센서들(221)로부터 검출기 출력들을 수신하는 프로세서 또는 다른 장치 또는 요소로서, 센서들(221)은 광자 검출기들을 포함하지만 A/D 변환기들과 같은 압축 측정 장치들을 포함하지 않는다)에 의해 생성될 수 있음이 이해될 것이다.
격리 어셈블리(230)는 격리 챔버들(231-1 내지 231-4)의 세트(집합적으로, 격리 챔버들(231))를 포함한다. 4개의 격리 챔버들(231-1 내지 231-4)은 블록 기반 렌즈리스 카메라(200)의 4개의 블록들(251)에 각각 대응한다. 격리 챔버들(231)은 그 내부에 포함된 격리 챔버들을 통과하는 광을 유지하도록 구성되어, 그에 의해 격리 챔버들(231) 사이에 광의 혼합을 방지한다. 더 구체적으로, 제 1 격리 챔버(231-1)는 제 1 센서(221-1)에 의한 검출을 위해 애퍼처(211-1)의 애퍼처 요소들(212)을 통과하는 광을 포함하도록 구성되고, 제 2 격리 챔버(231-2)는 제 2 센서(221-2)에 의한 검출을 위해 제 2 애퍼처(211-2)의 애퍼처 요소들(212)을 통과하는 광을 포함하도록 구성되고, 제 3 격리 챔버(231-3)는 제 3 센서(221-3)에 의한 검출을 위해 제 3 애퍼처(211-3)의 애퍼처 요소들(212)을 통과하는 광을 포함하도록 구성되고, 제 4 격리 챔버(231-4)는 제 4 센서(221-4)에 의한 검출을 위해 제 4 애퍼처(211-4)의 애퍼처 요소들(212)을 통과하는 광을 포함하도록 구성된다. 격리 어셈블리(230)는 다양한 방식들로 구성될 수 있다(예를 들면, 격리 어셈블리(230)는 격리 챔버들(231)을 수용하도록 구성된 하우징으로 구성될 수 있고, 격리 어셈블리는 격리 챔버들(231)을 제공하도록 분할될 수 있는 하우징으로 구성될 수 있는, 등).
상기에 나타내진 바와 같이, 블록 기반 렌즈리스 카메라(200)의 블록들(251) 각각은 애퍼처(211-x)(애퍼처 요소들(212-x)의 각각의 세트를 포함), 센서(221-x), 및 격리 챔버(231-x)를 포함한다. 도 2에 도시된 바와 같이, 제 1 블록(251)은 제 1 애퍼처(211-1)의 애퍼처 요소들(212), 제 1 센서(221-1), 및 제 1 격리 챔버(231-1)를 포함하고, 이는 또한 제 1 센서(231-1)에 의해서만 검출되도록(그리고 다른 센서들(231-2, 231-3, 231-4) 중 어느 것에 의해서도 검출되지 않도록) 제 1 애퍼처(211-1)의 개방된 애퍼처 요소들(212)을 통과하는 광이 또한 제 1 격리 챔버(231-1)를 통과하도록 구성된다. 유사하게, 도 2에 도시된 바와 같이, 제 2 블록(251-2)은 제 2 애퍼처(211-2)의 애퍼처 요소들(212), 제 2 센서(221-2), 및 제 2 격리 챔버(231-2)를 포함하고, 이는 또한 제 2 센서(231-2)에 의해서만 검출되도록(그리고 다른 센서들(231-1, 231-3, 231-4) 중 어느 것에 의해서도 검출되지 않도록) 제 2 애퍼처(211-2)의 개방된 애퍼처 요소들(212)을 통과하는 광이 또한 제 2 격리 챔버(231-2)를 통과하도록 구성된다. 유사하게, 도 2에 도시된 바와 같이, 제 3 블록(251-3)은 제 3 애퍼처(211-3)의 애퍼처 요소들(212), 제 3 센서(221-3), 및 제 3 격리 챔버(231-3)를 포함하고, 이는 또한 제 3 센서(231-3)에 의해서만 검출되도록(그리고 다른 센서들(231-1, 231-2, 231-4) 중 어느 것에 의해서도 검출되지 않도록) 제 3 애퍼처(211-3)의 개방된 애퍼처 요소들(212)을 통과하는 광이 또한 제 3 격리 챔버(231-3)를 통과하도록 구성된다. 유사하게, 도 2에 도시된 바와 같이, 제 4 블록(251-4)은 제 4 애퍼처(211-4)의 애퍼처 요소들(212), 제 4 센서(221-4), 및 제 4 격리 챔버(231-4)를 포함하고, 이는 또한 제 4 센서(231-4)에 의해서만 검출되도록(그리고 다른 센서들(231-1, 231-2 및 231-3) 중 어느 것에 의해서도 검출되지 않도록) 제 4 애퍼처(211-4)의 애퍼처 요소들(212)을 통과하는 광이 또한 제 4 격리 챔버(231-4)를 통과하도록 구성된다.
도 2에 도시된 바와 같이, 블록 기반 렌즈리스 카메라(200)의 블록들(251)은, 각각 블록 기반 렌즈리스 카메라(200)에 의해 캡처될 이미지의 각각의 부분(이미지 부분들로 표시됨)을 캡처한다. 블록 기반 렌즈리스 카메라(200)에 의해 캡처될 이미지가 각각 블록 기반 렌즈리스 카메라(200)의 블록들(251)에 의해 캡처된 이미지 부분들을 함께 스티칭(stitching)하여 재구성될 수 있도록 블록들(251)에 의해 캡처된 이미지 부분들은 중첩된다. 이미지 부분들의 재구성 및 이미지 부분들로부터의 이미지의 관련된 재구성은 도 6을 참조로 하여 더 이해될 수 있다.
단일의 애퍼처 어셈블리(예시적으로, 애퍼처 어셈블리(210))가 블록 기반 렌즈리스 카메라(200)의 다수의 블록들(251)을 제공하기 위해 논리적으로 분할되고 작동되는(예시적으로, 다수의 애퍼처들(211) 각각은 애퍼처 구성요소들(212)로 구성되기 때문에) 실시예들과 관련하여 주로 제시되지만, 적어도 일부 실시예들에서 다수의 애퍼처 어셈블리들이 블록 기반 렌즈리스 카메라(200)의 다수의 블록들(251)을 제공하기 위해 사용될 수 있다는 것이 이해될 것이다. 예를 들면, 2개의 애퍼처 어셈블리들이 사용될 수 있고, 2개의 애퍼처 어셈블리들 중 어느 하나 또는 둘 모두는 블록 기반 렌즈리스 카메라(200)의 다수의 블록들(251)을 제공하기 위해 논리적으로 분할되고 작동될 수 있다. 예를 들면, 개별적인 애퍼처 어셈블리들은 블록 기반 렌즈리스 카메라(200)의 블록들(251)의 각각을 제공하기 위해 사용될 수 있다. 다양한 다른 수의 애퍼처 어셈블리들이 블록 기반 렌즈리스 카메라의 다양한 수의 블록들을 지원하기 위해 사용될 수 있다는 것이 이해될 것이다.
단일의 센서 어셈블리(예시적으로, 센서 어셈블리(220))가 블록 기반 렌즈리스 카메라(200)의 다수의 블록들(251)을 제공하기 위해 다수의 센서들(예시적으로, 센서들(221))을 포함하는 실시예들과 관련하여 주로 제시되지만, 적어도 일부 실시예들에서 다수의 센서 어셈블리들이 블록 기반 렌즈리스 카메라(200)의 다수의 블록들(251)을 제공하기 위해 사용될 수 있다는 것이 이해될 것이다. 예를 들면, 2개의 센서 어셈블리들이 사용될 수 있고, 2개의 센서 어셈블리들의 각각은 블록 기반 렌즈리스 카메라(200)의 다수의 블록들(251)을 제공하기 위해 하나 이상의 센서들을 포함할 수 있다. 예를 들면, 블록 기반 렌즈리스 카메라(200)의 블록들(251)의 각각을 제공하기 위해 별개의 센서 어셈블리들이 사용될 수 있다. 다양한 다른 수들의 센서 어셈블리들이 블록 기반 렌즈리스 카메라의 다양한 수의 블록들을 지원하기 위해 사용될 수 있다는 것이 이해될 것이다.
단일 격리 어셈블리(예시적으로, 격리 어셈블리(230))가 블록 기반 렌즈리스 카메라(200)의 다수의 블록들(251)을 제공하기 위해 다수의 격리 챔버들(예를 들면, 격리 챔버(231))을 포함하는 실시예들에 관련하여 주로 제시되지만, 적어도 일부 실시예들에서 다수의 격리 어셈블리들이 블록 기반 렌즈리스 카메라(200)의 다수의 블록들(251)을 제공하기 위해 사용될 수 있다는 것이 이해될 것이다. 예를 들면, 2개의 격리 어셈블리들이 사용될 수 있고, 2개의 격리 어셈블리들의 각각은 블록 기반 렌즈리스 카메라(200)의 다수의 블록들(251)을 제공하기 위해 하나 이상의 격리 챔버들을 포함할 수 있다. 예를 들면, 블록 기반 렌즈리스 카메라(200)의 블록들(251)의 각각을 제공하기 위해 별개의 격리 어셈블리들이 사용될 수 있다. 다양한 다른 수의 격리 어셈블리들이 블록 기반 렌즈리스 카메라의 다양한 수의 블록들을 지원하기 위해 사용될 수 있다는 것이 이해될 것이다.
블록 기반 렌즈리스 카메라(200)가 블록들(251)의 특정 배열을 포함하는 실시예들과 관련하여 주로 제시되지만(예를 들면, 각각이 동일한 크기로, 특정 패턴으로 배열되는 등의 4개의 블록들(251)을 포함하여), 적어도 일부 실시예들에서 블록 기반 렌즈리스 카메라(200)는 블록들(251)의 다양한 다른 배열들을 포함할 수 있다(예를 들면, 더 적은 또는 더 많은 블록을 사용하는, 상이한 블록 크기들을 갖는 블록들을 사용하는, 서로에 관하여 블록들의 상이한 배열들을 사용하는, 등, 뿐만 아니라 이들의 다양한 조합들)는 것이 이해될 것이다.
도 3은 블록 기반 렌즈리스 카메라에 대한 측정 기반 정보 및 압축 측정치들을 예시하기 위한 블록 기반 렌즈리스 카메라의 예시적인 블록들을 도시한다.
블록 기반 렌즈리스 카메라(300)는 4개의 블록들(310-1 내지 310-4)(집합적으로, 블록들(310))을 포함한다. 블록들(310-1 내지 310-4)은 애퍼처들(320-1 내지 320-4)(집합적으로, 애퍼처들(320))을 각각 포함한다. 블록들(310-1 내지 310-4)은 또한 센서들(330-1 내지 330-4)(집합적으로, 센서들(330))을 각각 포함한다. 블록들(310)을 위한 격리 챔버들은 명확성의 목적들을 위해 도 3에서 생략되었다는 것이 주의된다.
애퍼처들(320-1 내지 320-4) 각각은 애퍼처 요소들(321)을 각각 포함한다. 도 3에 도시된 바와 같이, 애퍼처들(320)의 각각은 애퍼처 요소들(321)의 8×8 어레이를 각각 포함한다(그러나 상술된 바와 같이, 애퍼처들(320)의 각각은 더 적은 또는 더 많은 애퍼처 요소들(321)을 포함할 수 있다). 애퍼처들(320-1 내지 320-4)의 각각의 애퍼처 요소들(321)의 폐쇄(광이 통과하는 것을 방지하기 위해) 및 개방(광이 통과하도록 허용하기 위해)은 애퍼처들(320-1 내지 320-4)과 각각 연관되는 측정 기반 정보(322-1 내지 322-4)(집합적으로, 측정 기반 정보(322))에 기초하여 제어된다.
일반적으로, 주어진 애퍼처(320-x)에 대한 측정 기반 정보(322-x)는 주어진 압축 애퍼처(320-x)의 애퍼처 요소들(321)을 통과하는 광의 검출에 기초하여 m 개의 압축 측정들이 행해질 때, 측정 기반 값들의 m개의 어레이들(표기법 Bx-y를 사용하여 표시됨)을 포함하고, 측정 기반 값들의 각각의 어레이는 주어진 애퍼처(320-x)의 각각의 애퍼처 요소들(321)(표기법 Bx-y-z로 표시됨)의 각각의 애퍼처 요소들(321)의 각각에 대응하는 각각의 비트값을 포함한다. 예를 들면, 애퍼처(320-1)에 대한 측정 기반 정보(322-1)는 측정 기반 값들의 m개의 어레이들(B1-1, B1-2, ..., B1-m)을 포함하고, 측정 기반 값 어레이(B1-1)는 64개의 값들(B1-1-1 내지 B1-1-64로 표시)을 포함하고, 측정 기반 값 어레이(B1-2)는 64개의 값들(B1-2-1 내지 B1-2-64로 표시)을 포함하는 등, 측정 기반값 어레이(B1-m)까지 그러하다. 주어진 애퍼처(320)에 대하여, 주어진 애퍼처(320)의 측정 기반 값 어레이들(Bx-y)의 적어도 일부는 주어진 애퍼처(320-x)와 연관된 m개의 압축 측정들 동안 상이한 양들 및 패턴들의 광이 주어진 애퍼처(320-x)의 연관된 센서(330-x)상에 입사되게 하도록 상이할 수 있다(즉, 주어진 애퍼처(320-x)에 대하여 측정 기반 값 어레이들(Bx-y)의 비트 값들의 세트들은 상이할 수 있다).
일반적으로, 애퍼처와 연관된 대응하는 센서(330)에 의한 광의 획득에 기초하여 행해진 주어진 압축 측정에 대하여, 애퍼처(320)의 특정 애퍼처 요소(321)에 대응하는 측정 기반 값 어레이(Bx-y)의 비트 값은 애퍼처 요소(321)의 투과율을 나타내는 값으로 설정될 수 있다(예를 들면, 애퍼처 요소(321)를 통해 광의 투과율이 없는 것을 나타내기 위해 "0"의 값 또는 애퍼처 요소(321)를 통한 광의 완전한 투과율인 것을 나타내기 위해 "1"의 값). 도 3에서, 명확성을 위해, 애퍼처(320)의 특정 애퍼처 요소(321)에 대응하는 측정 기반 값 어레이(Bx-y)의 비트 값은 특정 애퍼처 요소(321)가 압축 측정 동안 폐쇄된다는 것을 나타내기 위해 제 1 값(예를 들면, "0" 또는 다른 적절한 값)으로 설정될 수 있거나 특정 애퍼처 요소(321)가 압축 측정 동안 개방되어 있음을 나타내기 위해 제 2 값(예를 들면, "1" 또는 다른 적절한 값)으로 설정될 수 있다는 것이 가정된다(즉, 명확성을 위해 중간 값들(예를 들면, 광의 투과율은 부분적이지만 전체는 아님)은 지원되지 않는다고 가정된다). 예를 들면, 애퍼처(320-1)에 대한 측정 기반 정보(322-1)는 측정 기반 값 어레이들의 세트들(예를 들면, 제 1 측정 기반 값 어레이(B1-1)[0, 1, 1, 0, 1, ...], 제 2 측정 기반 값 어레이(B1-1)[1, 1, 0, 0, 0, ...] 등 측정 기준값 어레이(B1-m)까지)을 포함할 수 있고, 애퍼처(320-2)에 대한 측정 기반 정보(322-2)는 측정 기반 값 어레이들의 세트들(예를 들면, 제 1 측정 기반 값 어레이(B2-1)[1, 1, 1, 1, 0, ...], 제 2 측정 기반 값 어레이(B2-1)[1, 0, 1, 0, 1, ...] 등 측정 기준값 어레이(B2-m)까지)을 포함할 수 있고, 애퍼처(320-3)에 대한 측정 기반 정보(322-3)는 측정 기반 값 어레이들의 세트들(예를 들면, 제 1 측정 기반 값 어레이(B3-1)[0, 0, 1, 1, 0, ...], 제 2 측정 기반 값 어레이(B3-1)[0, 0, 0, 1, 1, ...], 등 측정 기반 값 어레이(B3-m)까지)을 포함할 수 있고, 애퍼처(320-4)에 대한 측정 기반 정보(322-4)는 측정 기반 값 어레이들의 세트들(예를 들면, 제 1 측정 기반 값 어레이(B4-1)[1, 0, 1, 1, 0, ...], 제 2 측정 기반 값 어레이(B4-1) [1, 0, 0, 0, 1, ...] 등, 측정 기준 값 어레이(B4-m)까지)을 포함할 수 있다. 예시적인 블록 기반 렌즈리스 카메라(300)에서, 애퍼처들(320) 각각은 애퍼처 요소들(321)의 8x8 어레이를 포함하고, 주어진 애퍼처(320)에 대한 측정 기반 값 어레이들(Bx-y) 각각은 주어진 애퍼처(320)의 64개의 애퍼처 요소들에 대응하는 64 비트 값들(전술한 예들에서 제공된 것들 중 일부만)을 포함할 수 있다는 것이 이해될 것이다. 적어도 일부 실시예들에서, 애퍼처 요소들(321)은 부분적으로 개방/폐쇄되도록 제어되도록 구성될 수 있어서(예를 들면, "0"과 "1" 사이의 값들을 사용하거나 다른 적절한 값들을 사용하여), 주어진 애퍼처 요소(321)에 대하여, 애퍼처 요소(321)상에 입사하는 광의 일부는 애퍼처 요소(321)를 통과하도록 허용되고 애퍼처 요소(321)상에 입사하는 광의 일부는 애퍼처 요소(321)를 통과하는 것이 방지된다는 것이 이해될 것이다.
상이한 애퍼처 제어 패턴들이 각각의 애퍼처들(320-1 내지 320-4)을 통과하는 광의 통과를 제어하기 위해 사용되는 경우, 측정 기반 정보(322-1 내지 322-4)의 상이한 세트들은 애퍼처들(320-1 내지 320-4)의 각각의 애퍼처 요소들(321)을 제어하기 위해 사용될 필요가 있다는 것이 이해될 것이다(그에 의해, 애퍼처들(320-1 내지 320-4)에 대한 측정 기반 정보(322-1 내지 322-4)의 상이한 세트들의 저장 및 사용을 필요로 하고, 따라서 블록 기반 렌즈리스 카메라(300)에서의 저장 요건들을 증가시킴). 동일한 애퍼처 제어 패턴들이 애퍼처들(320-1 내지 320-4) 각각을 제어하기 위해 사용되는 경우, 애퍼처들(320-1 내지 320-4)의 각각의 애퍼처 요소들(321)을 제어하기 위해 사용된 측정 기반 정보(322-1 내지 322-4)의 세트들은 동일하고, 따라서 애퍼처들(320-1 내지 320-4)의 각각의 애퍼처 요소들(321)을 제어하기 위해 측정 기반 정보(322-x)의 단일 세트만이 필요하다(그에 의해 애퍼처들(320-1 내지 320-4)에 대한 측정 기반 정보(322-x)의 단일 세트만의 저장 및 사용이 요구되고, 따라서 블록 기반 렌즈리스 카메라(300)에서의 저장 요건을 상당히 감소시키면서 이미지 재구성 시간도 또한 감소시킴). 다른 중간 배열들(예를 들면, 애퍼처들(320)의 일부이지만 전부는 아닌 것에 의한 측정 기반 정보의 공유 또는 다른 형태들의 공유)에 의한 측정 기반 정보의 공유)이 고려될 수 있음이 주의된다.
센서들(330)은 그에 입사된 광을 검출하고 그에 입사된 광의 검출에 기초하여 압축 측정치들(332)의 세트들을 생성하도록 각각 구성된다. 예를 들면, 상기에 논의된 바와 같이, 각각의 센서(330)는 센서(330)에 입사된 광을 검출하도록 구성된 광자 검출기를 포함할 수 있고, 압축 측정치들(332)의 세트들을 생성하도록 구성된 압축 측장 장치(예를 들면, A/D 컨버터 등)를 포함할 수 있다. 더 상세하게는, 센서(330-1)는 측정 기반 정보(322-1)에 기초하여 애퍼처(320-1)의 애퍼처 요소들(321)을 통과하는 광의 검출에 기초하여 압축 측정치 세트(332-1)를 생성하고, 센서(330-2)는 측정 기반 정보(322-2)에 기초하여 애퍼처(320-2)의 애퍼처 요소들(321)을 통과하는 광의 검출에 기초하여 압축 측정치 세트(332-2)를 생성하고, 센서(330-3)는 측정 기반 정보(322-3)에 기초하여 애퍼처(320-3)의 애퍼처 요소들(321)을 통과 통과하는 광의 검출에 기초하여 압축 측정치 세트(332-3)를 생성하고, 센서(330-4)는 측정 기반 정보(322-4)에 기초하여 애퍼처(320-4)의 애퍼처 요소들(321)을 통과하는 광의 검출에 기초하여 압축 측정치(332-4)를 생성한다. 일반적으로, 주어진 센서(330-x)는 연관된 애퍼처(320-x)의 m개의 측정 기반 값 어레이들(Bx-y)의 각각에 대해 연관된 애퍼처(320-x)의 개방된(또는 적어도 부분적으로 개방된) 애퍼처 요소들(321)을 통과하는 광을 검출하고 연관된 애퍼처(320-x)의 m개의 측정 기반 값 어레이들(Bx-y)에 대한 m개의 압축 측정치들의 세트(Yx-1 내지 Yx-m으로 표시됨)를 각각 생성하도록 구성된다. 예를 들면, 센서(330-1)는 연관된 애퍼처(320-1)의 측정 기반 정보(322-1)의 m개의 측정 기반 값 어레이들(B1-y)(즉, B1-1 내지 B1-m) 각각에 대한 연관된 애퍼처 세트(320-1)의 개방 애퍼처 요소들(321)을 통과하는 광을 검출하고 연관된 애퍼처(320-1)의 m개의 측정 기반 값 어레이들(B1-y)에 대한 m개의 압축 측정치들의 세트(Y1-1 내지 Y1-m으로 표시됨)를 생성하도록 구성된다. 센서들(330-2, 330-3, 330-4)은 연관된 애퍼처들(320-2, 320-3, 320-4) 각각에 대해 측정 기반 정보(322-2, 322-3 및 322-4)의 세트들의 m개의 측정 기반 값 어레이들에 대한 m개의 압축 측정치들의 각각의 세트를 생성하도록 유사하게 구성된다.
블록 기반 렌즈리스 카메라(300)의 블록들의 m개의 압축 측정치들의 세트들은 블록 기반 렌즈리스 카메라(300)에 의해 캡처된 이미지의 각각의 압축된 이미지 부분들을 나타내고(즉, 블록의 m개의 압축 측정치들은 집합적으로 블록에 의해 캡처된 압축된 이미지 부분을 나타낸다), 따라서 블록 기반 렌즈리스 카메라(300)에 의해 캡처된 압축 이미지를 함께(여기서 집합적인 세트는 M개의 압축 측정치들로 표시될 수 있음) 나타낸다는 것이 이해될 수 있다. 압축 감지 이미징에서, 획득되는 압축 측정치들의 수 M은 일반적으로 N-픽셀 이미지를 생성하고, 따라서 획득 후 원시 데이터 값들의 추가 압축에 대한 필요를 감소시키거나 제거하기 위해 N-픽셀 센서를 갖는 종래의 카메라 시스템에서 일반적으로 획득되는 N개의 원시 데이터 값들보다 상당히 작다는 것이 이해될 것이다. 적어도 일부 실시예들에서, 압축 측정치들의 수 M(및 유사하게, 블록당 압축 측정치들의 수 m)은 압축 레벨과 이미지 품질 간의 미리 결정된(예를 들면, 원하는 또는 필요한) 균형에 기초하여 애퍼처 요소들(321)의 수에 대하여 미리 선택될 수 있다는 것이 주의된다.
블록 기반 렌즈리스 카메라(300)의 다양한 요소들의 특정 수들 및 배열들에 관련하여 주로 나타내지만(예를 들면, 4개의 블록들, 각각의 블록은 64개의 애퍼처 요소들(321)를 포함하는 애퍼처(320) 및 센서(330-x)를 각각 갖는다), 블록 기반 렌즈리스 카메라(300)는 애퍼처(320)를 각각 갖는 블록 및)를 포함할 수 있지만, 블록 기반 렌즈리스 카메라(300)는 다양한 다른 수들 및/또는 배열들의 요소들을 포함할 수 있다.
도 4a 내지 도 4c는 블록 기반 렌즈리스 카메라용 애퍼처 어셈블리들 및 센서 어셈블리들의 예시적인 단면도들을 도시한다.
도 4a는 블록 기반 렌즈리스 카메라(410)의 일 예시적인 단면도를 도시한다. 블록 기반 렌즈리스 카메라(410)는 평면 애퍼처 어셈블리(411) 및 평면 센서 어셈블리(412)를 갖는다. 평면 애퍼처 어셈블리(411)는 평면 표면상에 배열된 애퍼처들의 세트를 포함한다. 평면 센서 어셈블리(412)는 평면 표면상에 배열된 센서들의 세트를 포함한다. 격리 챔버(413)는 평면 센서 어셈블리(412)의 각 센서들에 입사될 평면 애퍼처 어셈블리(411)의 각 애퍼처들로부터 광을 격리시키면서 다른 격리 챔버들(413)과 광의 혼합을 방지(및 따라서 블록들 사이에 광의 혼합을 방지)하도록 구성된다.
도 4b는 블록 기반 렌즈리스 카메라(420)에 대한 일 예시적인 단면도를 도시한다. 블록 기반 렌즈리스 카메라(420)는 평면 애퍼처 어셈블리(421) 및 구면 센서 어셈블리(422)를 갖는다. 평면 애퍼처 어셈블리(421)는 평면 표면상에 배열된 애퍼처들의 세트를 포함한다. 구면 센서 어셈블리(422)는 구면 표면상(예시적으로, 구의 외부 표면상)에 배열된 센서들의 세트를 포함한다. 격리 챔버(423)는 구면 센서 어셈블리(422)의 각 센서들상에 입사될 평면 애퍼처 어셈블리(421)의 각각의 애퍼처들로부터의 광을 격리시키면서 다른 격리 챔버들(423)과 광의 혼합을 방지(및 따라서, 블록들 사이의 광의 혼합을 방지)하도록 구성된다. 블록 기반 렌즈리스 카메라(420)는 원거리 장면들에 대해 증가된 각도 해상도를 제공하도록(예를 들면, 도 4a의 블록 기반 렌즈리스 카메라(410)와 비교하여) 구성될 수 있는 것이 주의된다.
도 4c는 블록 기반 렌즈리스 카메라(430)에 대한 일 예시적인 단면도를 도시한다. 블록 기반 렌즈리스 카메라(430)는 구면 애퍼처 어셈블리(431) 및 구면 센서 어셈블리(432)를 갖는다. 구면 애퍼처 어셈블리(431)는 구면 표면상에 배열된 애퍼처들을 포함한다. 구면 센서 어셈블리(432)는 구면 표면상(예시적으로, 구의 외부 표면 상에)에 배열된 센서들의 세트를 포함한다. 격리 챔버들(433)은 구면 센서 어셈블리(432)의 각 센서들상에 입사될 구면 애퍼처 어셈블리(431)의 각 애퍼처들로부터의 광을 격리시키면서 다른 격리 챔버들(433)과 광의 혼합을 방지(및 따라서, 블록들 사이의 광의 혼합을 방지)하도록 구성된다. 블록 기반 렌즈리스 카메라(430)는 광각 카메라(구면 애퍼처 어셈블리(431)의 각각의 애퍼처들과 구면 센서 어셈블리(432)의 각각의 센서들 사이의 시선들에 의해 주어진 넓은 커버리지 영역에서 보여질 수 있는)로서 사용될 수 있다. 블록 기반 렌즈리스 카메라(430)는 원거리 장면들에 대해 증가된 각도 해상도(예를 들면, 도 4a의 블록 기반 렌즈리스 카메라(410)와 비교할 때)를 제공하도록 구성될 수 있음이 주의된다. 적어도 일부 실시예들에서, 그의 일 예시적인 실시예는 도 5a 내지 도 5c와 관련하여 나타내지고, 블록-기반 렌즈리스 카메라(430)는 구면 애퍼처 어셈블리(431)의 셀룰러 형상 애퍼처들 및 구면 센서 어셈블리(432)의 셀룰러 형상 센서들을 사용하도록 구성될 수 있다.
도 5a 내지 도 5c는 셀룰러 형상 애퍼처들 및 셀룰러 형상 센서들을 사용하는 블록-기반 렌즈리스 카메라의 예시적인 집중-센서 구성을 도시한다.
도 5a는 셀룰러형 애퍼처 및 센서들을 사용하는 블록 기반 렌즈리스 카메라에 대한 집중-센서형의 일 예시적인 레이아웃(510)을 도시한다. 레이아웃(510)은 요소들의 셀룰러 배열을 도시하고, 요소들은 애퍼처 어셈블리의 애퍼처들 또는 센서 어셈블리의 센서들일 수 있다. 요소들의 셀룰러 형상들은 육각형 또는 대략 육각형일 수 있다. 요소들이 블록 기반 렌즈리스 카메라의 애퍼처들인 경우, 각각의 요소는, 애퍼처 요소들의 형상(예를 들면, 육각형, 정사각형, 직사각형, 등) 및/또는 다른 팩터들에 따라, 전체 요소를 채울 수도 있고 채우지 않을 수도 있는 애퍼처 요소들의 각각의 세트를 포함할 수 있다는 것이 이해될 것이다.
도 5b는 셀룰러 형상 애퍼처들 및 센서들을 사용하는 블록 기반 렌즈리스 카메라에 대한 집중-센서형의 일 예시적인 구면 배열(520)을 도시한다. 구면 배열(520)는 도 4c와 관련하여 제시된 바와 같이 애퍼처 어셈블리의 애퍼처들의 구면 배열을 제공하기 위해 사용될 수 있다. 예를 들면, 구면 배열(520)이 애퍼처 어셈블리의 애퍼처들의 구면 배열을 제공하기 위해 사용되는 경우, 구면 배열(520)은 곡선형 LCD로 구현되거나 또는 셀룰러 형상 애퍼처들의 다른 적절한 구면 배열들을 사용하여 구현될 수 있다. 구면 배열(520)은 도 4c와 관련하여 나타낸 바와 같이 센서 어셈블리의 센서들의 구면 배열을 제공하기 위해 사용될 수 있다. 구면 배열(520)의 육각형 요소들이 블록 기반 렌즈리스 카메라의 애퍼처들인 경우, 각각의 육각형 요소는, 애퍼처 요소들의 형상(예를 들면, 육각형, 정사각형, 직사각형 등) 및/또는 다른 팩터들에 따라, 전체 육각형 요소를 채울 수도 있고 채우지 않을 수도 있는, 애퍼처 요소들의 각각의 세트를 포함할 수 있다는 것이 이해될 것이다.
도 5c는 셀룰러 형상 애퍼처들 및 센서들을 사용하는 블록 기반 렌즈리스 카메라에 대한 집중-센서형의 일 예시적인 블록(530)을 도시한다. 블록(530)은 셀룰러 형상 애퍼처(531), 셀룰러 형상 센서(532), 및 육각형 "트럼펫" 형상 격리 챔버(533)를 갖는다. "트럼펫" 형상 셀룰러 형상 격리 챔버(533)는 셀룰러 형상 애퍼처(531)로부터 셀룰러 형상 센서(532)를 향하여 연장하면서 셀룰러 형상 애퍼처(531)로부터 셀룰러 형상 센서(532)를 향한 방향으로 점차 작아지는 연장된 셀룰러 형상 챔버이다.
도 6은 블록 기반 렌즈리스 카메라에 의해 캡처된 이미지를 재구성하기 위한 이미지 재구성 프로세스를 포함하는 일 예시적인 블록 기반 렌즈리스 압축 이미지 획득 시스템을 도시한다.
도 6에 도시된 바와 같이, 도 6의 블록 기반 렌즈리스 압축 이미지 획득 시스템(600)은 도 1의 블록 기반 렌즈리스 압축 이미지 획득 시스템(100)과 유사하다. 도 6에 도시된 바와 같이, 블록 기반 렌즈리스 압축 이미지 획득 시스템(600)은 도 1의 블록 기반 렌즈리스 압축 이미지 획득 시스템(100)의 블록 기반 렌즈리스 카메라(110), 메모리(120), 및 프로세서(130) 각각과 유사한 블록 기반 렌즈리스 카메라(610), 메모리(620), 및 프로세서(630)를 포함한다. 도 6에 또한 도시된 바와 같이, 메모리(620)는 도 1의 블록 기반 렌즈리스 압축 이미지 획득 시스템(100)의 메모리(120)에 저장된 측정 기반 정보(122) 및 압축 측정치들(124)과 유사한, 측정 기반 정보(622) 및 압축 측정치들(624)을 저장한다. 추가로, 도 6에 또한 도시된 바와 같이, 메모리(620)는 또한 이미지 재구성 프로세스(626) 및 이미지 재구성 프로세스(626)(명료성을 위해 도 1에서 생략됨)에 기초하여 생성된 연관된 이미지(627)를 저장한다.
이미지 재구성 프로세스(626)는 블록 기반 렌즈리스 카메라(610)에 의해 캡처된 압축 측정치들(624)에 기초하여 이미지(627)를 재구성하도록 구성된다. 이미지 재구성 프로세스(626)는 블록 기반 렌즈리스 카메라(610)의 블록들과 연관된 이미지 부분들을 재구성하고, 블록 기반 렌즈리스 카메라(610)의 블록들과 연관된 이미지 부분들을 함께 스티칭함으로써 이미지(627)를 재구성하도록 구성된다.
블록 기반 렌즈리스 카메라(110)의 각각의 블록에 대한 이미지 재구성 프로세스(626)는, 블록 기반 렌즈리스 카메라(110)의 블록에 의해 캡처된 압축 측정치들의 세트에 기초하여 블록 기반 렌즈리스 카메라(110)의 블록에 의해 캡처된 이미지 부분을 재구성하도록 구성된다.
블록 기반 렌즈리스 카메라(610)의 주어진 블록에 대한 이미지 재구성 프로세스(626)는 사전 기반 반전 및 가우시안 혼합 모델(GMM)을 사용함으로써 블록 기반 렌즈리스 카메라(610)의 블록에 의해 캡처된 이미지 부분을 재구성하도록 구성될 수 있고, 그의 논의는 후속된다.
동일한 패턴(측정 기반 정보의 동일한 세트)이 블록들 각각에 대해 사용되는 적어도 일부 실시예들에서, 압축 측정치는 다음과 같이 고려될 수 있다: Y = AX + N, 여기서, (1)
Figure pct00001
, P는 블록의 치수(크기
Figure pct00002
를 가짐)를 나타내고, Np는 블록 기반 렌즈리스 카메라에서 사용되는 블록들의 수, (2)
Figure pct00003
,
Figure pct00004
는 블록들의 각각에 대해 캡처된 압축 측정치들을 나타냄, 및 (3) N은 추가 잡음을 나타낸다. 여기서,
Figure pct00005
는 각각의 열이 블록들의 각각에 대응하는 측정치들을 표시하는 측정 행렬이다.
동일한 패턴들(측정 기반 정보의 동일한 세트들)이 각각의 블록에 대해 사용되는 적어도 일부 실시예들에서, 이미지의 재구성은 사전 기반 반전을 사용하여 수행될 수 있다. 예를 들면, 기반(또는 블록 기반) 사전 D를 도입함으로써, 압축 측정 수식 Y = AX + N은 Y = ADS + N으로 재공식화될 수 있고, 여기서
Figure pct00006
는 Q=P인 정규 직교 기저 또는 완전 완성 사전(over-complete dictionary)일 수 있다. 이 사전은 빠른 반전을 위해 미리 학습될 수 있다. 다양한 li 알고리즘들이 다음의 문제를 해결하기 위해 사용될 수 있도록
Figure pct00007
가 희박한 것이 바람직할 수 있음이 주의된다:
Figure pct00008
, A 및 D가 주어진 Y = ADS를 조건으로 하여. 다양한 알고리즘들이 이 문제를 해결하기 위해 사용될 수 있음을 주의된다. 적어도 몇몇 실시예들에서, 이하에서 더 논의되는 바와 같이, 폐쇄 형태 분석 솔루션이 존재하기 때문에, GMM은 GMM이 일반적으로 반복을 요구하지 않기 때문에, 이 문제를 해결하기 위해 GMM이 사용될 수 있다.
동일한 패턴들(측정 기반 정보의 동일한 세트들)이 블록들의 각각에 대해 사용되는, 적어도 일부 실시예들에서, 이미지의 재구성은 GMM에 기초한 사전 기반 반전을 사용하여 수행될 수 있다. GMM은 최근 효율적인 사전 학습 알고리즘으로 재인식되었다. 상술한 바와 같이, 이미지로부터 재추출된 이미지 블록들은
Figure pct00009
로 표시될 수 있다. i번째 패치(xi)에 대하여,
Figure pct00010
로서 K 가우시안들을 갖는 GMM으로 모델링될 수 있고, 여기서
Figure pct00011
는 k번째 가우시안의 평균 및 공분산 행렬을 나타내고,
Figure pct00012
은 이들 가우시안 구성 요소들의 가중치들을 나타낸다. 선형 모델
Figure pct00013
,
Figure pct00014
에서, 블록 인덱스(i)를 드롭하면,
Figure pct00015
에서
Figure pct00016
인 경우,
Figure pct00017
는 다음의 분석 형태
Figure pct00018
를 가지고, 여기서,
Figure pct00019
,
Figure pct00020
, 및
Figure pct00021
이다.
Figure pct00022
가
Figure pct00023
에 대한 사후 분포를 제공하는 동안, 사후 평균
Figure pct00024
을 통한
Figure pct00025
의 점 추정치를 얻고, 이것은 폐쇄형 솔루션이다.
Figure pct00026
는 다른 데이터 세트들에 대해 사전 훈련되고, A가 주어지면,
Figure pct00027
는 단지 한 번 계산되어 저장될 필요가 있다는 것이 주의된다. 동일한 기술들이
Figure pct00028
에 대하여 사용될 수 있다. 이후, 각각의 블록에 남겨진 모든 것이
Figure pct00029
를 계산할 것이고, 이는 매우 효율적으로 얻어질 수 있다. 이러한 GMM 프로세스를 사용하면, 반복이 필요하지 않고, 결과적으로 블록들의 실시간 재구성이 실현될 수 있다는 것이 주의된다. 추가로, 적어도 일부 실시예들에서, 각각의 블록은 하나 이상의 그래픽 처리 유닛들(GPUs)을 사용하여 동시에 재구성될 수 있다.
이미지 재구성 프로세스(626)는 블록 기반 렌즈리스 카메라(110)의 블록들 각각에 대해 재구성된 이미지 부분들을 함께 스티칭함으로써 이미지(627)를 재구성하도록 구성된다. 이미지 부분들의 스티칭은 실시간 스티칭 알고리즘들을 사용하여 수행될 수 있어서, 이미지(627)는 거의 즉시 획득될 수 있다.
도 7은 이미지 재구성 프로세스의 일 예시적인 실시예를 도시한다. 도 7의 방법(700)은 블록 기반 렌즈리스 카메라에 로컬일 수 있거나(예를 들면, 도 6의 블록 기반 렌즈리스 카메라(600)의 프로세서(630)에 의해서와 같이, 블록 기반 렌즈리스 카메라를 포함하는 블록 기반 렌즈리스 압축 이미지 획득 시스템의 프로세서), 블록 기반 렌즈리스 카메라로부터 원격일 수 있는(예를 들면, 블록 기반 렌즈리스 카메라에 의해 캡처된 압축 측정치들이 블록 기반 렌즈리스 카메라에 의해 처리를 위해 원격 컴퓨팅 요소로 송신될 수 있는 것과 같은, 원격 컴퓨팅 요소) 컴퓨팅 요소에 의해 수행될 수 있다. 순차적으로 수행되는 것으로 주로 나타내지지만, 도 7의 방법(700)의 기능들 중 적어도 일부는, 도 7에 나타내진 것과 다른 순서로 또는 동시에 수행될 수 있다는 것이 이해될 것이다.
단계(701)에서, 방법(700)이 시작된다.
단계(710)에서, 압축 측정치들의 세트들이 수신된다. 압축 측정치들의 세트들은 블록 기반 렌즈리스 카메라의 블록들에 의해 생성되거나 블록 기반 렌즈리스 카메라의 블록들에 의해 생성된 검출기 출력 데이터에 기초하여 하나 이상의 다른 장치들에 의해 생성된 압축 측정치들의 세트들일 수 있다. 압축 측정치들의 세트들 각각은 블록 기반 렌즈리스 카메라의 각각의 블록들의 애퍼처 세트들의 광 캡처 패턴들을 제어하기 위해 사용된 측정 기반 정보의 각각의 세트들에 기초하여 생성된 압축 측정치들을 포함한다(이는, 여기서 논의되는 바와 같이, 블록 기반 렌즈리스 카메라의 각각의 블록들에 대해 동일하거나 상이할 수 있다).
단계(720)에서, 블록 기반 렌즈리스 카메라의 각각의 블록들과 연관된 압축 측정치들의 세트들은 블록 기반 렌즈리스 카메라의 각각의 블록들에 의해 캡처된 각각의 이미지 부분들을 재구성하도록 처리된다. 블록 기반 렌즈리스 카메라의 각각의 블록들과 연관된 압축 측정치들의 세트들은, 도 6과 관련하여 나타낸 바와 같이, 블록 기반 렌즈리스 카메라의 각각의 블록들에 의해 캡처된 각각의 이미지 부분들을 재구성하기 위해 처리될 수 있다.
단계(730)에서, 블록 기반 렌즈리스 카메라의 각각의 블록들에 대해 재구성된 이미지 부분들은 블록-기반 렌즈리스 카메라에 의해 캡처된 이미지를 재구성하도록 처리된다. 블록 기반 렌즈리스 카메라의 각각의 블록들에 대해 재구성된 이미지 부분들은 블록 기반 렌즈리스 카메라에 의해 캡처된 이미지를 재구성하기 위해 이미지 부분들을 함께 스티칭함으로써 처리된다. 이미지 부분들은 도 6과 관련하여 나타낸 바와 같이 이미지를 재구성하기 위해 함께 스티칭될 수 있다.
단계(740)에서, 블록-기반 렌즈리스 카메라에 의해 캡처된 이미지가 저장될 수 있다. 이미지는 다른 방식들로 처리될 수도 있다. 예를 들면, 이미지는 블록 기반 렌즈리스 카메라와 연관된 프리젠테이션 인터페이스를 통해 제공될 수 있다(예를 들면, 블록 기반 렌즈리스 카메라와 연관된 태블릿의 디스플레이를 통해, 블록 기반 렌즈리스 카메라가 배치되는 스마트폰의 디스플레이를 통해, 등). 예를 들면, 이미지는 (예를 들면, 하나 이상의 원격 장치들에서의 저장 및/또는 표시를 위한) 하나 이상의 통신 경로들을 통해 송신될 수 있다. 이미지는 일반적으로 이미지들이 조작될 수 있는 다양한 다른 방식들로 조작될 수 있다.
단계(799)에서, 방법(700)이 종료된다.
블록 기반 렌즈리스 카메라의 센서들이 압축 이미지 획득을 위한 압축 측정치들을 생성하는 실시예들과 관련하여 본 명세서에서 주로 제시되었지만, 적어도 일부 실시예들에서, 압축 이미지 획득을 위한 압축 측정치들은 블록 기반 렌즈리스 카메라의 센서들 이외의 하나 이상의 장치들에 의해 생성될 수 있다는 것이 이해될 것이다. 예를 들면, 블록 기반 렌즈리스 카메라의 센서들이 광자 검출기들을 포함하는 경우, 블록 기반 렌즈리스 카메라의 센서들로부터의 검출기 출력 데이터는 블록 기반 렌즈리스 카메라(예를 들면, 하나 이상의 A/D 변환기들, A/D 변환 기능들을 지원하도록 구성된 하나 이상의 프로세서들 등, 뿐만 아니라 그의 다양한 조합들과 같은 하나 이상의 장치들)의 센서들로부터의 검출기 출력 데이터에 기초하여 압축 측정치들을 생성하도록 구성된 (예를 들면, 블록 기반 렌즈리스 카메라 내, 블록 기반 렌즈리스 카메라 외부이지만 가까이에, 블록 기반 렌즈리스 카메라의 외부이고 멀리 배치될 수 있는 등, 뿐만 아니라 그의 다양한 조합들) 하나 이상의 다른 장치들에 제공될 수 있다.
블록 기반 렌즈리스 압축 이미지 획득 기능들의 다양한 실시예들은 다양한 이점들을 제공할 수 있다. 예를 들면, 각각의 블록이 비교적 작을 수 있기 때문에(예를 들면, 8×8, 16×16 등), 이미지의 비교적 양호한 재구성을 달성하기 위해 단지 비교적 적은 수의 압축 측정치들(예를 들면, 8×8 블록에 대해 약 10개의 압축 측정치들)만이 필요하고, 따라서 캡처 시간이 매우 짧을 수 있다. 예를 들면, 다수의 동일한 크기의 블록의 사용은 각각의 블록에 대한 측정 기준이 동일하고, 따라서 단지 블록 크기만이도록 블록들의 각각에 대해 동일한 애퍼처 패턴의 재사용을 가능하게 하여, 그에 의해 측정 기반 정보를 유지하기 위해 필요한 메모리 양을 감소시킨다(메모리 요구 사항들을 감소시키고 이미지 재구성 시간의 감소를 가능하게 함). 예를 들면, 중첩하는 이미지 부분들에 대한 압축 측정치를 생성하는 다수의 블록들의 사용은 거의 실시간 또는 실시간 이미지 재구성을 위한 실시간 이미지 스티칭 알고리즘의 사용뿐만 아니라 이미지 부분들을 생성하는 동시 처리를 가능하게 한다. 예를 들면, 다수의 블록들의 사용은, 각각의 블록의 제한된 픽셀에서만 발생하기 때문에, 회절 효과가 약해진다. 예를 들면, 블록 기반 렌즈리스 카메라에서 사용되는 블록들의 수는 캡처 속도를 낮게 유지하고 빠른 이미지 재구성을 유지하면서 이미지 해상도를 증가시키기 위해 증가될 수 있다(다시, 각각의 블록들에 의한 이미지 캡처는 블록들의 수를 증가시키는 것이 이미지 재구성 시간을 증가시키지 않거나(또는 적어도 현저하게 증가시키지 않도록) 동시에 수행될 수 있기 때문이다). 다양한 다른 잠재적인 이점들이 고려된다는 것이 주의된다.
도 8은 여기에 제시된 다양한 기능들을 수행하는데 사용하기에 적합한 컴퓨터의 고레벨 블록도를 도시한다.
컴퓨터(800)는 프로세서(802)(예를 들면, 중앙 처리 장치(CPU), 프로세서 코어들의 세트를 갖는 프로세서, 프로세서의 프로세서 코어 등) 및 메모리(804)(예를 들면, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM) 등)를 포함한다. 프로세서(802) 및 메모리(804)는 통신 가능하게 접속된다.
컴퓨터(800)는 또한 협력 요소(805)를 포함할 수 있다. 협력 요소(805)는 하드웨어 장치일 수 있다. 협력 요소(805)는 본 명세서에서 논의된 기능들을 구현하기 위해 메모리(804)에 로딩될 수 있고 프로세서(802)에 의해 실행될 수 있는 프로세스일 수 있다(이 경우, 예를 들면, (연관된 데이터 구조를 포함하는) 협력 요소(805)는 저장 장치 또는 다른 저장 요소(예를 들면, 자기 드라이브, 광학 드라이브 등)와 같은 비일시적 컴퓨터-판독 가능 저장 매체상에 저장될 수 있다.
컴퓨터(800)는 하나 이상의 입력/출력 장치들(806)을 또한 포함할 수 있다. 입력/출력 장치들(806)은 사용자 입력 장치(예를 들면, 키보드, 키패드, 마우스, 마이크로폰, 카메라 등), 사용자 출력 장치(예를 들면, 디스플레이, 스피커 등), 하나 이상의 네트워크 통신 장치들 또는 요소들(예를 들면, 입력 포트, 출력 포트, 수신기, 송신기, 송수신기 등), 하나 이상의 저장 장치들(예를 들면, 테이프 드라이브, 플로피 드라이브, 하드 디스크 드라이브, 콤팩트 디스크 드라이브 등) 등 중 하나 이상, 뿐만 아니라 그의 다양한 조합들을 포함할 수 있다.
도 8의 컴퓨터(800)는 본 명세서에 기술된 기능적 요소들, 본 명세서에 기술된 기능적 요소들의 부분들 등, 뿐만 아니라 그의 다양한 조합들을 구현하기에 적합한 일반적인 아키텍처 및 기능을 나타낼 수 있다는 것이 이해될 것이다. 예를 들면, 컴퓨터(800)는 블록 기반 렌즈리스 압축 이미지 획득 시스템(100), 블록 기반 렌즈리스 압축 이미지 획득 시스템(600) 등의 전부 또는 일부를 구현하기에 적합한 일반적인 아키텍처 및 기능을 제공할 수 있다.
본 명세서에 도시되고 설명된 기능들 중 적어도 일부는 소프트웨어에서 구현될 수 있고(예를 들면, 특수 목적 컴퓨터 등을 제공하기 위해 범용 목적 컴퓨터상에 실행하기 위한(예를 들면, 하나 이상의 프로세서들에 의한 실행을 통해), 하나 이상의 프로세서들상에 소프트웨어의 구현을 통해), 및/또는 하드웨어에서 구현될 수 있다(예를 들면, 범용 컴퓨터, 하나 이상의 주문형 집적 회로들(ASIC), 및/또는 임의의 다른 하드웨어 등가물들을 사용하여)는 것이 이해될 것이다.
본 명세서에서 소프트웨어 방법들로서 논의된 기능들 중 적어도 일부는 하드웨어 내에서, 예를 들면, 다양한 기능들을 수행하기 위해 프로세서와 협력하는 회로로서 구현될 수 있다는 것이 이해될 것이다. 본 명세서에 설명된 기능들/요소들의 부분들은 컴퓨터 프로그램 제품으로서 구현될 수 있고, 컴퓨터 명령들은, 컴퓨터에 의해 처리될 때, 본 명세서에 기술된 방법들 및/또는 기술들이 호출되거나 그렇지 않으면 제공되도록 컴퓨터의 작동을 적응시킨다. 다양한 방법들을 호출하기 위한 명령들은 고정식 또는 착탈식 매체(예를 들면, 비일시적 컴퓨터-판독 가능 매체)에 저장되거나, 방송 또는 다른 신호 포함 매체에서 데이터 스트림을 통해 송신되거나, 및/또는 명령들에 따라 작동하는 컴퓨팅 장치내의 메모리 내에 저장될 수 있다.
본 명세서에 사용된 용어 "또는"은 달리 명시되지 않는 한 비배타적인 "또는"을 지칭한다(예를 들면, "그렇지 않으면" 또는 "대안적으로"의 사용)는 것이 이해될 것이다.
다양한 실시예들의 양태들이 청구 범위에 명시된다. 다양한 실시예들의 이들 및 다른 양태들은 다음의 번호가 매겨진 조항에서 명시된다:
1. 렌즈리스 압축 카메라는:
적어도 2개의 이미지 획득 블록들을 포함하고, 이미지 획득 블록들 각각은:
애퍼처 요소들의 세트를 포함하는 애퍼처로서, 애퍼처 요소들 각각은 그것을 통한 광의 통과를 허용 또는 방지하도록 제어되도록 구성되는, 상기 애퍼처;
애퍼처를 통과하는 광을 검출하도록 구성된 센서; 및
애퍼처와 센서 사이에 배치된 격리 챔버로서, 센서상에 입사될 애퍼처를 통과한 광을 격리시키도록 구성되고 다른 이미지 획득 블록들의 광과 애퍼처를 통과한 광의 혼합을 방지하도록 구성된 격리 챔버를 포함한다.
2. 제 1 항의 렌즈리스 압축 카메라에서, 이미지 획득 블록들 각각에 대해, 각각의 애퍼처는 그를 통과하도록 허용된 광의 양 및 그를 통과하도록 허용된 광의 패턴을 조정하도록 구성된다.
3. 제 1 항의 렌즈리스 압축 카메라에서, 이미지 획득 블록들 각각에 대해, 각각의 애퍼처의 애퍼처 요소들은 2차원 어레이로서 배열된다.
4. 제 1 항의 렌즈리스 압축 카메라에서, 애퍼처 요소들은 측정 기반 정보에 기초하여 개별적으로 제어되도록 구성된다.
5. 제 1 항의 렌즈리스 압축 카메라에서, 애퍼처는 프로그램 가능한 액정 디스플레이(LCD) 요소들을 갖는 투명한 LCD 장치 또는 프로그래밍 가능한 실리콘 액정 표시(LCoS) 요소들을 갖는 투명한 LCoS 장치를 포함한다.
6. 제 1 항의 렌즈리스 압축 카메라에서, 애퍼처는 평면 표면상에 배열되고, 센서는 평면 표면 또는 구면 표면상에 배열된다.
7. 제 1 항의 렌즈리스 압축 카메라에서, 애퍼처는 구면 표면상에 배열되고, 센서는 구면 표면상에 배열된다.
8. 제 1 항의 렌즈리스 압축 카메라에서, 센서는 평면 표면상에 배열되고, 애퍼처는 평면 표면상에 배열된다.
9. 제 1 항의 렌즈리스 압축 카메라에서, 센서는 구면 표면상에 배치되고, 애퍼처는 평면 표면 또는 구면 표면상에 배열된다.
10. 제 1 항의 렌즈리스 압축 카메라에서, 이미지 획득 블록들 각각에 대하여, 각각의 이미지 획득 블록의 애퍼처는 셀룰러 형상을 가지고, 각각의 이미지 획득 블록의 센서는 셀룰러 형상을 가진다.
11. 제 1 항의 렌즈리스 압축 카메라에서, 이미지 획득 블록들 각각에 대하여, 각각의 이미지 획득 블록의 격리 챔버는 트럼펫형(trumpet-like) 형상을 가진다.
12. 제 1 항의 렌즈리스 압축 카메라에서, 이미지 획득 블록들은 이미지 획득 블록들의 각각의 애퍼처들의 애퍼처 요소들의 각각의 세트들을 제어하기 위해 측정 기반 정보의 공통 세트를 사용하도록 구성된다.
13. 제 1 항의 렌즈리스 압축 카메라에서, 이미지 획득 블록들 각각에 대하여, 이미지 획득 블록의 각각의 센서는 각각의 애퍼처를 통과하는 광의 검출에 기초하여 각각의 압축 측정치를 생성하도록 구성된다.
14. 제 13 항의 렌즈리스 압축 카메라에서, 이미지 획득 블록들 각각에 대해, 상기 각각의 센서는:
각각의 애퍼처를 통과하는 광을 검출하고 각각의 애퍼처를 통과하는 광의 검출에 기초하여 검출기 출력을 생성하도록 구성된 광자 검출기; 및
검출기 출력의 이산화에 기초하여 압축 측정치를 생성하도록 구성된 장치를 포함한다.
15. 제 1 항의 렌즈리스 압축 카메라에서, 이미지 획득 블록들 각각에 대하여, 이미지 획득 블록의 각각의 센서는 각각의 이미지 획득 블록의 각각의 애퍼처를 제어하도록 구성된 측정 기반 정보의 세트에 기초하여 압축 측정치들의 세트를 생성하도록 구성된다.
16. 제 1 항의 렌즈리스 압축 카메라에서, 이미지 획득 블록들 각각에 대하여, 각각의 센서는:
각각의 애퍼처를 통과하는 광의 검출에 기초하여 각각의 검출기 출력을 생성하고;
검출기 출력의 이산화에 기초하여 압축 측정치를 생성하도록 구성된 장치를 향해 검출기 출력을 전송하도록 구성된다.
17. 제 16 항의 렌즈리스 압축 카메라에서, 이미지 획득 블록들 각각에 대하여, 각각의 센서는 광자 검출기를 포함한다.
18. 제 1 항의 렌즈리스 압축 카메라에서, 렌즈리스 압축 카메라는 태블릿, 스마트폰, 또는 사물 인터넷 장치 내에 배치되도록 구성된다.
19. 렌즈리스 압축 이미지 획득 장치에서,
렌즈리스 압축 카메라로서, 렌즈리스 압축 카메라는 적어도 2개의 이미지 획득 블록들을 포함하고, 이미지 획득 블록들 각각은:
애퍼처 요소들의 세트를 포함하는 애퍼처로서, 애퍼처 요소들의 각각은 그를 통한 광의 통과를 허용 또는 방지하도록 제어되도록 구성되는, 상기 애퍼처;
애퍼처를 통과하는 광을 검출하도록 구성된 센서; 및
애퍼처와 센서 사이에 배치되고, 센서상에 입사될 애퍼처를 통과한 광을 격리시키고 다른 이미지 획득 블록의 광과 애퍼처를 통과한 광의 혼합을 방지하도록 구성된 격리 챔버를 포함하는, 상기 렌즈리스 압축 카메라;
각각의 이미지 획득 블록들과 연관된 압축 측정치들의 각각의 세트들을 저장하도록 구성된 메모리; 및
각각의 이미지 획득 블록들의 압축 측정치들의 각각의 세트들의 처리에 기초하여 이미지를 재구성하도록 구성된 프로세서를 포함한다.
20. 렌즈리스 압축 카메라에서,
애퍼처들의 세트를 포함하는 애퍼처 어셈블리로서, 애퍼처들 각각은 그를 통하여 광의 통과를 허용 또는 방지하도록 제어되도록 구성된 애퍼처 요소들의 각각의 세트를 포함하는, 상기 애퍼처 어셈블리;
센서들의 세트를 포함하는 센서 어셈블리로서, 센서들 각각은 그에 입사된 광을 검출하도록 구성되는, 상기 센서 어셈블리; 및
애퍼처 어셈블리와 센서 어셈블리 사이에 배치된 격리 어셈블리로서, 격리 어셈블리는 센서 어셈블리의 센서들의 각각의 센서들상에 입사될 애퍼처 어셈블리의 애퍼처들의 각각 애퍼처들을 통과하는 광을 격리시키도록 구성되고 격리 챔버들 사이에 광의 혼합을 방지하도록 구성된 격리 챔버들의 세트를 포함하는, 상기 격리 어셈블리를 포함한다.
여기에 제시된 교시를 통합하는 다양한 실시예들이 본 명세서에 상세하게 도시되고 기술되었지만, 당업자는 이들 교시를 여전히 통합하는 많은 다른 다양한 실시예들을 쉽게 생각할 수 있음이 이해될 것이다.

Claims (10)

  1. 렌즈리스 압축 카메라에 있어서,
    적어도 2개의 이미지 획득 블록들을 포함하고, 상기 이미지 획득 블록들 각각은:
    애퍼처 요소들의 세트를 포함하는 애퍼처(aperture)로서, 각각의 애퍼처 요소들은 그를 통한 광의 통과를 허용 또는 방지하기 위해 제어되도록 구성되는, 상기 애퍼처;
    상기 애퍼처를 통과하는 광을 검출하도록 구성된 센서; 및
    상기 애퍼처와 상기 센서 사이에 배치된 격리 챔버로서, 상기 센서상에 입사될 상기 애퍼처를 통과한 광을 격리시키고 다른 이미지 획득 블록들의 광과 상기 애퍼처를 통과한 광의 혼합을 방지하도록 구성된, 상기 격리 챔버를 포함하는, 렌즈리스 압축 카메라.
  2. 제 1 항에 있어서,
    상기 애퍼처는 평면 표면상에 배열되고, 상기 센서는 평면 표면 또는 구면 표면상에 배열되는, 렌즈리스 압축 카메라.
  3. 제 1 항에 있어서,
    상기 애퍼처는 구면 표면상에 배열되고, 상기 센서는 구면 표면상에 배열되는, 렌즈리스 압축 카메라.
  4. 제 1 항에 있어서,
    상기 센서는 평면 표면상에 배열되고, 상기 애퍼처는 평면 표면상에 배열되는, 렌즈리스 압축 카메라.
  5. 제 1 항에 있어서,
    상기 센서는 구면 표면상에 배열되고, 상기 애퍼처는 평면 표면 또는 구면 표면상에 배열되는, 렌즈리스 압축 카메라.
  6. 제 1 항에 있어서,
    상기 이미지 획득 블록들 각각에 대해, 각각의 이미지 획득 블록의 애퍼처는 셀룰러 형상을 가지고, 각각의 이미지 획득 블록의 센서는 셀룰러 형상을 가지는, 렌즈리스 압축 카메라.
  7. 제 1 항에 있어서,
    상기 이미지 획득 블록들 각각에 대해, 각각의 이미지 획득 블록의 상기 격리 챔버는 트럼펫형(trumpet-like) 형상을 가지는, 렌즈리스 압축 카메라.
  8. 제 1 항에 있어서,
    상기 이미지 획득 블록들은 상기 이미지 획득 블록들의 각각의 애퍼처들의 애퍼처 요소들의 각각의 세트들을 제어하기 위해 측정 기반 정보의 공통 세트를 사용하도록 구성되는, 렌즈리스 압축 카메라.
  9. 렌즈리스 압축 이미지 획득 장치에 있어서,
    렌즈리스 압축 카메라로서, 상기 렌즈리스 압축 카메라는 적어도 2개의 이미지 획득 블록들을 포함하고, 상기 이미지 획득 블록들 각각은:
    애퍼처 요소들의 세트를 포함하는 애퍼처로서, 상기 애퍼처 요소들 각각은 그를 통한 광의 통과를 허용 또는 방지하기 위해 제어되도록 구성되는, 상기 애퍼처;
    상기 애퍼처를 통과하는 광을 검출하도록 구성된 센서; 및
    상기 애퍼처와 상기 센서 사이에 배치되고, 상기 센서에 입사될 상기 애퍼처를 통과하는 광을 격리시키고, 다른 이미지 획득 블록들의 광과 상기 애퍼처를 통과하는 광의 혼합을 방지하도록 구성된 격리 챔버를 포함하는, 상기 렌즈리스 압축 카메라;
    각각의 이미지 획득 블록들과 연관된 압축 측정치들의 각각의 세트들을 저장하도록 구성된 메모리; 및
    상기 각각의 이미지 획득 블록들의 압축 측정치들의 각각의 세트들의 처리에 기초하여 이미지를 재구성하도록 구성된 프로세서를 포함하는, 렌즈리스 압축 이미지 획득 장치.
  10. 렌즈리스 압축 카메라에 있어서,
    애퍼처들의 세트를 포함하는 애퍼처 어셈블리로서, 상기 애퍼처들 각각은 그를 통한 광의 통과를 허용 또는 방지하기 위해 제어되도록 구성된 애퍼처 요소들의 각각의 세트를 포함하는, 상기 애퍼처 어셈블리;
    센서들의 세트를 포함하는 센서 어셈블리로서, 상기 센서들 각각은 그에 입사될 광을 검출하도록 구성되는, 상기 센서 어셈블리; 및
    상기 애퍼처 어셈블리와 상기 센서 어셈블리 사이에 배치된 격리 어셈블리로서, 상기 센서 어셈블리의 상기 센서들의 각각에 입사될 상기 애퍼처 어셈블리의 애퍼처들의 각각을 통과하는 광을 격리시키도록 구성되고 격리 챔버들 사이에 광의 혼합을 방지하도록 구성된 상기 격리 챔버들의 세트를 포함하는, 상기 격리 어셈블리를 포함하는, 렌즈리스 압축 카메라.
KR1020197006030A 2016-07-29 2017-07-17 블록 기반 렌즈리스 압축 이미지 획득 KR20190032568A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/223,204 US20180035046A1 (en) 2016-07-29 2016-07-29 Block-based lensless compressive image acquisition
US15/223,204 2016-07-29
PCT/US2017/042300 WO2018022337A1 (en) 2016-07-29 2017-07-17 Block-based lensless compressive image acquisition

Publications (1)

Publication Number Publication Date
KR20190032568A true KR20190032568A (ko) 2019-03-27

Family

ID=59656156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197006030A KR20190032568A (ko) 2016-07-29 2017-07-17 블록 기반 렌즈리스 압축 이미지 획득

Country Status (5)

Country Link
US (1) US20180035046A1 (ko)
EP (1) EP3491816A1 (ko)
KR (1) KR20190032568A (ko)
CN (1) CN109644232A (ko)
WO (1) WO2018022337A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373278B2 (en) * 2016-09-30 2022-06-28 University Of Utah Research Foundation Lensless imaging device
WO2019078336A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 撮像装置および信号処理装置
JP7215473B2 (ja) 2018-03-14 2023-01-31 ソニーグループ株式会社 画像処理装置、および撮像装置、並びに画像処理方法
JP2020182139A (ja) * 2019-04-26 2020-11-05 ソニー株式会社 撮像システム及び撮像素子
CN110174176B (zh) * 2019-05-13 2020-06-30 浙江大学 一种分块式多波段滤镜的掩膜板成像系统
US20220377275A1 (en) * 2019-10-30 2022-11-24 Sony Group Corporation Imaging device, display device, and imaging system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO305728B1 (no) * 1997-11-14 1999-07-12 Reidar E Tangen Optoelektronisk kamera og fremgangsmÕte ved bildeformatering i samme
JP5252770B2 (ja) * 2004-06-10 2013-07-31 三星電子株式会社 イメージセンサーパッケージの組立方法
JP4147273B2 (ja) * 2006-01-20 2008-09-10 松下電器産業株式会社 複眼方式のカメラモジュール及びその製造方法
JP4864632B2 (ja) * 2006-10-12 2012-02-01 株式会社リコー 画像入力装置、画像入力方法、個人認証装置及び電子機器
US8860835B2 (en) * 2010-08-11 2014-10-14 Inview Technology Corporation Decreasing image acquisition time for compressive imaging devices
US9344736B2 (en) * 2010-09-30 2016-05-17 Alcatel Lucent Systems and methods for compressive sense imaging
ITRM20120329A1 (it) * 2012-07-12 2012-10-11 Virtualmind Di Davide Angelelli Videocamera per riprese immersive/sferiche a 360° con 6-11 ottiche a 5-10 megapixel con geolocalizzazione gps
US9894324B2 (en) * 2014-07-15 2018-02-13 Alcatel-Lucent Usa Inc. Method and system for modifying compressive sensing block sizes for video monitoring using distance information
CN105611128A (zh) * 2015-12-28 2016-05-25 上海集成电路研发中心有限公司 一种全景摄像机

Also Published As

Publication number Publication date
EP3491816A1 (en) 2019-06-05
CN109644232A (zh) 2019-04-16
WO2018022337A1 (en) 2018-02-01
US20180035046A1 (en) 2018-02-01

Similar Documents

Publication Publication Date Title
KR20190032568A (ko) 블록 기반 렌즈리스 압축 이미지 획득
Ben-Ezra et al. Video super-resolution using controlled subpixel detector shifts
US20210006755A1 (en) Image processing device including neural network processor and operating method thereof
US9344736B2 (en) Systems and methods for compressive sense imaging
US20140240532A1 (en) Methods and Apparatus for Light Field Photography
DE102018130086A1 (de) Mehrkameraprozessor mit merkmalsabgleich
EP3700194A1 (en) Imaging device and method, and image processing device and method
US10089719B2 (en) Signal observation device and signal observation method
US10462377B2 (en) Single-aperture multi-sensor lensless compressive image acquisition
US20150348222A1 (en) Method and apparatus for parallel pixel shading
AU2018357828A2 (en) Method and apparatus for super-resolution using line unit operation
KR102644944B1 (ko) 이미지 센서 및 이미지 센싱 방법
CN114650373A (zh) 成像方法及装置、图像传感器、成像设备和电子设备
US20170070747A1 (en) Image processing device for adjusting computational complexity of interpolation filter, image interpolation method, and image encoding method
Harmany et al. Compressive coded aperture keyed exposure imaging with optical flow reconstruction
Huang et al. High-Fidelity Hyperspectral Snapshot of Physical World: System Architecture, Dataset and Model
EP3162073A1 (en) Compressive sense imaging
KR20190062203A (ko) 쌍둥이 심층 신경망을 이용한 영상의 기저 레이어 추출 방법 및 장치
Kashani Towards Real-Time High-Resolution Interferometric Imaging with Bluebild
Vallduriola et al. High performance data processor (hpdp)–image processing applications of a new generation space processor
York et al. A comparison of polarization image processing across different platforms
US10868957B2 (en) Apparatus and method for processing image to reconstruct image
Shu Advanced imaging via multiplexed sensing and compressive sensing
US11796393B2 (en) Polarimetry camera for high fidelity surface characterization measurements
Gong et al. Model-based multiscale gigapixel image formation pipeline on GPU

Legal Events

Date Code Title Description
A201 Request for examination