KR102434554B1

KR102434554B1 - 공동 희소성을 활용하는 저 해상도 센서들 및 압축 감지를 사용하는 고 해상도 이미징 디바이스들

Info

Publication number: KR102434554B1
Application number: KR1020150166060A
Authority: KR
Inventors: 에이. 버날 에드가; 웬 슈진; 리 쿤; 발라 라자
Original assignee: 제록스 코포레이션
Priority date: 2014-12-11
Filing date: 2015-11-26
Publication date: 2022-08-23
Also published as: US9615022B2; US20160173771A1; DE102015223121A1; KR20160071318A

Abstract

장면의 이미지를 재구성하기 위한 방법 및 시스템은 공간적으로 다양한 패턴에 따라 디지털 광 변조기를 구성하는 단계를 포함한다. 장면과 연관되고 공간적으로 다양한 패턴으로 입사하는 광 에너지가 수집되고 광검출기들 상에 광학적으로 포커싱(focusing)된다. 상기 적어도 2개의 광검출기들 각각으로부터의 포커싱된 광 에너지의 세기를 나타내는 데이터가 수집된다. 광검출기들로부터의 데이터는 그 다음, 장면의 이미지를 재구성하기 위해 조합된다.

Description

공동 희소성을 활용하는 저 해상도 센서들 및 압축 감지를 사용하는 고 해상도 이미징 디바이스들{HIGH-RESOLUTION IMAGING DEVICES USING LOW-RESOLUTION SENSORS AND COMPRESSIVE SENSING EXPLOITING JOINT SPARSITY}

실시예들은 일반적으로 이미징(imaging)의 분야에 관한 것이다. 실시예들은 또한, 저 해상도 센서들 및 압축 감지 기술을 사용하는 고 화질(high-definition) 이미징을 위한 방법들 및 시스템들에 관한 것이다. 실시예들은 추가로, 공동 희소성(joint sparsity)을 활용함으로써, 저 해상도 센서들 및 압축 감지 기술을 사용하는 고 해상도 이미징 디바이스들을 위한 방법들 및 시스템들에 관한 것이다.

이미징 기술들을 갖는 이미지 프로세싱 및 컴퓨터 비전 기술들의 상호작용은 다른 분야들 중 교통수단 모니터링, 감시, 및 의료 이미징과 같은 분야들에서의 진보들을 야기했다. 일부 애플리케이션들에서, 매우 고-해상도 이미지들은 공간적 특징 추출을 위한 알고리즘을 지원하도록 요구되어, 객체(object) 궤적들이 특정 정확도, 등을 갖고 공지될 필요가 있는 애플리케이션들을 추적한다.

예를 들면, 사람 몸에서 암성 종양(cancerous tumor)의 윤곽을 검출하는 것과 같은 애플리케이션들에서, 고 해상도 열 이미징이 요구된다. 전하 결합 디바이스(CCD) 및 상보성 금속 산화막 반도체(CMOS)와 같은 실리콘 기반 가시 및 근적외선(NIR) 이미징 센서들은 공통 및 저렴한 실리콘 프로세싱 기술들을 통해 제조될 수 있다. 실리콘이 가시적 전자기(EM) 범위에서 감광성이기 때문에, 그 후에 35mm(대각선 길이) 칩 상에 최대 10000(H)×7096(V) 픽셀들의 해상도들을 갖는 적색-녹색-청색(RGB) 및 NIR 센서들을 상대적으로 저렴하게 제작하는 것이 가능하다. 그러나, 열 이미징(및 다른 애플리케이션들)에 대해, 요구된 픽셀 크기는 본래 그 치수가 크고, 그들의 EM 대역들에서의 감도를 갖는 감광성 물질은 실리콘 제조 기술들과 호환가능하지 않다. 따라서, 열 대역에서 민감한 고-해상도 이미징 센서 칩들은 생산하기 어렵고 비싸다.

따라서, 공동 희소성 가정들을 활용하는 저 해상도 센서 칩들 및 압축 감지 개념들을 레버리징(leveraging)함으로써 가시적 EM 범위 이상의 고 화질 이미징을 가능하게 하는 방법들, 시스템들, 및 장치들에 대한 필요성이 존재한다.

다음의 요약은 개시된 실시예들에 대해 고유한 혁신적인 특징들 중 일부의 이해를 용이하게 하기 위해 제공되고 완전한 설명인 것으로 의도되지 않는다. 실시예들의 다양한 양태들의 완전한 이해는 명세서, 청구범위, 도면들, 및 요약서를 전체적으로 취함으로써 얻어질 수 있다.

따라서, 개시된 실시예들의 하나의 양태는 이미징을 위한 방법 및 시스템을 제공하는 것이다.

개시된 실시예들의 또 다른 양태는 저 해상도 센서들을 사용하는 고 해상도 이미징을 위한 방법 및 시스템을 제공하는 것이다.

개시된 실시예들의 또 다른 양태는 압축 감지 기술들을 사용하고 공동 희소성을 활용하는 저 해상도 센서들을 사용하는 고 해상도 이미징을 위한 증진된 방법 및 시스템을 제공하는 것이다.

상기 언급된 양태들 및 다른 목적들 및 장점들은 이제 본 명세서에서 설명된 바와 같이 성취될 수 있다. 장면의 이미지를 재구성하기 위한 방법 및 시스템은 공간적으로 다양한 패턴에 따라 디지털 광 변조기를 구성하는 단계, 적어도 2개의 광검출기들 각각 상에 공간적으로 다양한 패턴으로 입사하는 장면과 연관된 광 에너지를 수집하고 광학적으로 포커싱(focusing)하는 단계; 적어도 2개의 광검출기들 각각으로부터의 포커싱된 광 에너지의 세기를 나타내는 데이터를 수집하는 단계; 및 장면의 이미지를 재구성하기 위해 적어도 2개의 광검출기들로부터의 데이터를 조합하는 단계를 포함한다.

유사한 참조 부호들이 별개의 뷰(view)들에 걸쳐 동일하거나 기능적으로 유사한 요소들을 언급하고 명세서의 일부에 통합되며 상기 명세서의 일부를 형성하는, 첨부된 도면들은 추가로, 실시예들을 도시하고 상세한 설명과 함께, 본 명세서에 개시된 실시예들을 설명하기 위해 제공된다.
도 1a는 개시된 실시예들에 따라 구현되는 컴퓨터 시스템의 블록도.
도 1b는 개시된 실시예들에 따라 구현되는 연관된 계산 시스템을 갖는 이미지 캡처링(capturing) 디바이스의 블록도.
도 2는 본 발명의 양태들이 구현될 수 있는 데이터 프로세싱 디바이스들의 네트워크의 그래픽 표현을 묘사한 도면.
도 3은 일 예시적인 실시예에 따른, 도 1에서 묘사된 데이터 프로세싱 시스템의 동작을 지시하기 위한 컴퓨터 소프트웨어 시스템을 도시한 도면.
도 4a는 개시된 실시예들에 따라 저 해상도 센서들을 사용하는 고 해상도 이미징을 위한 시스템을 묘사한 도면.
도 4b는 개시된 실시예들에 따라 저 해상도 센서들을 사용하는 고 해상도 이미징을 위한 시스템의 일 대안적인 실시예를 묘사한 도면.
도 5a는 개시된 실시예들에 따라 저 해상도 센서들을 사용하는 고 해상도 이미징을 위한 시스템 및 방법과 연관된 이미지 센서와 디지털 광 변조기 사이의 매핑을 묘사한 도면.
도 5b는 개시된 실시예들에 따라 저 해상도 센서들을 사용하는 고 해상도 이미징을 위한 시스템 및 방법과 연관된 이미지 센서를 묘사한 도면.
도 6은 개시된 실시예들에 따라 저 해상도 센서들을 사용하는 고 해상도 이미징을 위한 방법과 연관된 논리 동작 단계들의 흐름도.
도 7은 개시된 실시예들에 따라 저 해상도 센서들을 사용하는 고 해상도 이미징을 위한 일 대안적인 방법과 연관된 논리 동작 단계들의 흐름도.
도 8은 개시된 실시예들에 따라 저 해상도 센서들을 사용하는 고 해상도 이미징을 위한 또 다른 대안적인 방법과 연관된 논리 동작 단계들의 흐름도.
도 9a는 개시된 실시예들에 따라 저 해상도 센서들을 사용하는 고 해상도 이미징을 위한 방법을 구현하기 위한 시스템 및 장치와 연관된 모듈들의 블록도.
도 9b는 개시된 실시예들에 따라 저 해상도 센서들을 사용하는 고 해상도 이미징을 위한 방법을 구현하기 위한 시스템 및 장치의 일 대안적인 실시예와 연관된 모듈들의 블록도.

이들 비 제한적 예들에서 논의된 특정한 값들 및 구성들이 달라질 수 있고 단지 적어도 하나의 실시예를 도시하기 위해 인용되며 그의 범위를 제한하도록 의도되지 않는다.

도 1 내지 도 3은 본 발명의 예들이 구현될 수 있는 데이터 프로세싱 환경들의 예시적인 도면들로서 제공된다. 도 1 내지 도 3이 단지 예시적인 것이고 개시된 실시예들의 양태들 또는 실시예들이 구현될 수 있는 환경들에 관하여 임의의 제한을 주장하거나 암시하도록 의도되지 않음이 이해되어야 한다. 묘사된 환경들에 대한 많은 수정들은 개시된 실시예들의 사상 및 범위로부터 벗어나지 않고 행해질 수 있다.

본 명세서에 개시된 방법들 및 시스템들의 부분들을 구현하기 위한 프로그래밍을 실행하는 컴퓨터 시스템(100)의 블록도가 도 1에 도시된다. 본 명세서에 개시된 센서들 및 다른 요소들과 인터페이싱(interfacing)하도록 구성된 컴퓨터(110)의 형태의 계산 디바이스는 프로세싱 유닛(102), 메모리(104), 착탈가능한 저장장치(112), 및 비 착탈가능한 저장장치(114)를 포함할 수 있다. 메모리(104)는 휘발성 메모리(106) 및 비 휘발성 메모리(108)를 포함할 수 있다. 컴퓨터(110)는 휘발성 메모리(106) 및 비 휘발성 메모리(108)와 같은 다양한 일시적 및 비 일시적 컴퓨터 판독가능한 매체들, 착탈가능한 저장장치(112) 및 비 착탈가능한 저장장치(114)를 포함하는 계산 환경을 포함할 수 있거나 이에 액세스할 수 있다. 컴퓨터 저장장치는 예를 들면, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거가능한 프로그래밍가능한 판독 전용 메모리(EPROM) 및 전기적으로 소거가능한 프로그래밍가능한 판독 전용 메모리(EEPROM), 플래시 메모리 또는 다른 메모리 기술들, 콤팩트 디스크 판독 전용 메모리(CD ROM), 디지털 다기능 디스크들(DVD) 또는 다른 광학 디스크 저장장치, 자기 카세트들, 자기 테이프, 자기 디스크 저장장치, 또는 다른 자기 저장 디바이스들, 또는 컴퓨터 판독가능한 지시들 뿐만 아니라, 이미지 데이터를 포함하는 데이터를 저장할 수 있는 임의의 다른 매체를 포함한다.

컴퓨터(110)는 입력부(116), 출력부(118), 및 통신 접속부(120)를 포함하는 계산 환경을 포함할 수 있거나 이에 액세스할 수 있다. 컴퓨터는 하나 이상의 원격 컴퓨터들 또는 디바이스들에 접속하기 위해 통신 접속부를 사용하여 네트워킹된 환경에서 동작할 수 있다. 원격 컴퓨터는 개인용 컴퓨터(PC), 서버, 라우터, 네트워크 PC, 피어 디바이스 또는 다른 공통 네트워크 노드, 등을 포함할 수 있다. 원격 디바이스는 카메라, 비디오 카메라, 추적 디바이스, 이미지 센서, 등을 포함할 수 있다. 통신 접속부는 근거리 통신망(LAN), 광역 통신망(WAN) 또는 다른 네트워크들을 포함할 수 있다. 이 기능은 아래 도 2와 연관된 설명에서 더 완전하게 설명된다.

출력부(118)는 컴퓨터 모니터로서 가장 공통적으로 제공되지만, 임의의 컴퓨터 출력 디바이스를 포함할 수 있다. 출력부(118)는 또한, 컴퓨터 시스템(100)과 연관된 데이터 접속 장치를 포함할 수 있다. 게다가, 컴퓨터 키보드 및/또는 컴퓨터 마우스, 컴퓨트 트랙 패드, 등과 같은 포인팅(pointing) 디바이스를 공통적으로 포함하는 입력부(116)는 사용자가 컴퓨터 시스템(100)을 선택하고 이에 지시하도록 허용한다. 사용자 인터페이스는 출력부(118) 및 입력부(116)를 사용하여 제공될 수 있다. 출력부(118)는 사용자를 위해 데이터 및 정보를 디스플레이하고 그래픽 사용자 인터페이스(GUI)(130)를 대화식으로 디스플레이하기 위한 디스플레이로서 기능할 수 있다.

용어 "GUI"는 일반적으로 컴퓨터 모니터 스크린 상에 그래픽으로 디스플레이된 아이콘들, 메뉴들, 및 대화 상자들에 의해 프로그램들, 파일들, 옵션들, 등을 표현하는 환경의 일 유형을 언급하는 것임에 주의한다. 사용자는 스크린을 직접적으로 터치하고/하거나 예를 들면, 마우스와 같은 포인팅 디바이스와 같은 사용자 입력 디바이스(116) 및/또는 키보드로 포인팅하고 클릭함으로써 이러한 옵션들을 선택하고 활성화시키기 위해 GUI와 상호작용할 수 있다. 특정한 아이템(item)은 모든 애플리케이션들에서의 사용자에 대해 동일한 방식으로 기능할 수 있는데, 이는 GUI가 이들 요소들을 취급하고 사용자의 동작들을 보고하기 위해 표준 소프트웨어 루틴들(예로서, 모듈(125))을 제공하기 때문이다. GUI는 추가로, 아래에 논의된 바와 같이 전자 서비스 이미지 프레임들을 디스플레이하기 위해 사용될 수 있다.

본 명세서에 설명된 다른 모듈들을 표현할 수 있는 예를 들면, 프로그램 모듈(125)의 컴퓨터 판독가능한 지시들은 컴퓨터 판독가능한 매체 상에 저장되고 컴퓨터(100)의 프로세싱 유닛(102)에 의해 실행가능하다. 프로그램 모듈(125)은 컴퓨터 애플리케이션을 포함할 수 있다. 하드 드라이브, CD-ROM, RAM, 플래시 메모리, 및 USB 드라이브는 컴퓨터 판독가능한 매체를 포함하는 항목들의 단지 일부 예들이다.

도 1b는 컴퓨터 시스템(110)이 이미지 캡처링 디바이스(204)에 통합되는 일 대안적인 실시예를 도시한다. 이 실시예에서, 이미지 캡처링 디바이스(204)는 프로세서(102), 휘발성 메모리(106) 및 비 휘발성 메모리(108), 착탈가능한 저장장치(112), 비 착탈가능한 저장장치(114), 및 통신 접속부(120)를 구비한다. 이미지 캡처링 디바이스(204)는 또한, 연관된 입력부(116) 및 출력부(118)를 가질 수 있다.

도 1b에 도시된 예에서, 프로그램(125)은 온보드(onboard) 컴퓨터 시스템(110)과 연관된 내부 하드웨어를 사용하여 구현될 수 있다. 이것은 아래에 설명된 프로세싱이 외부 컴퓨터 시스템 없이 또는 외부 컴퓨터 시스템과 연관하여 구현되는 것을 가능하게 한다. 대안적인 실시예들에서, 온보드 컴퓨터 시스템과 연관된 하드웨어는 이미지 캡처링 디바이스로부터 물리적으로 분리될 수 있고, 디바이스들 둘 모두는 통신 네트워크를 통해 연결된다.

도 2는 본 발명의 양태들이 구현될 수 있는 데이터 프로세싱 시스템들(200)의 네트워크의 그래픽 표현을 묘사한다. 네트워크 데이터 프로세싱 시스템(200)은 본 발명의 실시예들이 구현될 수 있는 컴퓨터들의 네트워크이다. 시스템(200)이 프로그램 모듈(125)과 같은 소프트웨어 모듈의 맥락에서 구현될 수 있음에 주의한다. 시스템(200)은 하나 이상의 클라이언트들(210, 212, 및 214)과 통신하는 네트워크(202)를 포함한다. 네트워크(202)는 컴퓨터 시스템(100)과 같은 네트워킹된 데이터 프로세싱 시스템 내에서 함께 접속된 다양한 디바이스들과 컴퓨터들 사이에 통신 링크들을 제공하기 위해 사용될 수 있는 매체이다. 네트워크(202)는 유선 통신 링크들, 무선 통신 링크들, 또는 광섬유 케이블들과 같은 접속부들을 포함할 수 있다. 네트워크(202)는 추가로, 하나 이상의 서버들(206), 센서(204)와 같은 하나 이상의 외부 디바이스들, 및 예를 들면, 메모리 또는 데이터베이스(208)와 같은 메모리 저장 유닛과 통신할 수 있다.

묘사된 예에서, 센서(204) 및 서버(206)는 저장 유닛(208)과 함께 네트워크(202)에 접속한다. 게다가, 클라이언트들(210, 212, 및 214)은 네트워크(202)에 접속한다. 이들 클라이언트들(210, 212, 및 214)은 예를 들면, 개인용 컴퓨터들 및 네트워크 컴퓨터들일 수 있다. 도 1에 묘사된 컴퓨터 시스템(100)은 예를 들면, 클라이언트(210, 212, 및/또는 214)와 같은 클라이언트일 수 있다. 대안적으로, 클라이언트들(210, 212, 및 214)은 또한, 예를 들면, 사진 카메라, 비디오 카메라, 추적 디바이스, 의료 이미징 디바이스, 등일 수 있다.

컴퓨터 시스템(100)은 또한, 설계 고려들에 의존하여, 서버(206)와 같은 서버로서 구현될 수 있다. 묘사된 예에서, 서버(206)는 부트 파일들과 같은 데이터, 운영 체제 이미지들, 애플리케이션들, 및 애플리케이션 업데이트들을 클라이언트들(210, 212, 및 214)에, 및/또는 비디오 카메라(204)에 제공한다. 클라이언트들(210, 212, 및 214) 및 센서(204)는 이 예에서 서버(206)에 대한 클라이언트들이다. 네트워크 데이터 프로세싱 시스템(200)은 도시되지 않은 부가적인 서버들, 클라이언트들, 및 다른 디바이스들을 포함할 수 있다. 구체적으로, 클라이언트들은 임의의 수의 서버들의 네트워크에 접속할 수 있고, 상기 서버는 등가의 콘텐트를 제공한다.

묘사된 예에서, 네트워크 데이터 프로세싱 시스템(200)은 서로 통신하기 위해 프로토콜들의 송신 제어 프로토콜/인터넷 프로토콜(TCP/IP) 세트를 사용하는 네트워크들 및 게이트웨이들의 월드와이드 컬렉션(worldwide collection)을 표현하는 네트워크를 갖는 인터넷이다. 인터넷의 핵심은 데이터 및 메시지들을 라우팅(routing)하는 수천의 상업, 정부, 교육, 및 다른 컴퓨터 시스템들로 구성된 주요 노드들 또는 호스트 컴퓨터들 사이의 고속 데이터 통신 라인들의 백본(backbone)이다. 물론, 네트워크 데이터 프로세싱 시스템(200)은 또한 예를 들면, 인트라넷, 근거리 통신망(LAN), 또는 광역 통신망(WAN)과 같은 복수의 상이한 유형들의 네트워크들로서 구현될 수 있다. 도 1 및 도 2는 본 발명의 상이한 실시예들에 대해 아키텍처 제한(architecture limitation)들로서가 아니라 예들로서 의도된다.

도 3은 도 1에 묘사된 컴퓨터 시스템(100)과 같은 데이터 프로세싱 시스템들의 동작을 지시하기 위해 이용될 수 있는 컴퓨터 소프트웨어 시스템(300)을 도시한다. 도 1에 도시된 착탈가능한 저장장치(112) 상의, 또는 비 착탈가능한 저장장치(114) 상의 소프트웨어 애플리케이션(305)은 메모리(104)에 저장될 수 있고, 일반적으로 커널 또는 운영 체제(310) 및 쉘(shell) 또는 인터페이스(315)를 포함하고/하거나 이들과 연관된다. 모듈(들)(125)과 같은, 하나 이상의 애플리케이션 프로그램들은 데이터 프로세싱 시스템(100)에 의한 실행을 위해 "로딩(loading)"될(즉, 착탈가능한 저장장치(114)로부터 메모리(104)로 전달될) 수 있다. 데이터 프로세싱 시스템(100)은 사용자(320)에 의해 액세스가능한 사용자 인터페이스(315)를 통해 사용자 명령들 및 데이터를 수신할 수 있고, 상기 사용자 인터페이스(315)는 입력부(116) 및 출력부(118)를 포함할 수 있다. 이들 입력부들은 그 다음, 운영 체제(310) 및/또는 그의 소프트웨어 애플리케이션(305) 및 임의의 소프트웨어 모듈(들)(125)로부터의 지시들에 따라 컴퓨터 시스템(100)에 의해 동작될 수 있다.

일반적으로, 프로그램 모듈들(예로서, 모듈(125))은 특정한 업무들을 수행하거나 특정한 추상 데이터 유형들 및 지시들을 구현하는 루틴들, 하위루틴들, 소프트웨어 애플리케이션들, 프로그램들, 객체들, 구성요소들, 데이터 구조들, 등을 포함할 수 있지만, 이에 제한되지 않는다. 게다가, 당업자들은, 개시된 방법 및 시스템이 예를 들면, 핸드 헬드(hand-held) 디바이스들, 다중 프로세서 시스템들, 데이터 네트워크들, 마이크로프로세서 기반 또는 프로그래밍가능한 소비자 전자장치, 네트워킹된 개인용 컴퓨터들, 미니컴퓨터들, 메인프레임 컴퓨터들, 서버들, 등과 같은 다른 컴퓨터 시스템 구성들로 실행될 수 있음을 이해할 것이다.

본 명세서에서 이용된 바와 같이 용어 모듈이 특정한 업무를 수행하거나 특정한 추상 데이터 유형을 구현하는 루틴들 및 데이터 구조들의 컬렉션을 언급할 수 있음에 주의한다. 모듈들은 2개의 부분들로 구성될 수 있다: 상수들, 데이터 유형들, 변수, 및 다른 모듈들 또는 루틴들에 의해 액세스될 수 있는 루틴들을 열거하는 인터페이스; 및 (단지 그 모듈에 액세스가능한) 전형적으로 전용이고 모듈에서 루틴들을 실제로 구현하는 소스 코드를 포함하는 일 구현. 용어 모듈은 또한, 워드 프로세싱, 회계, 재고 관리, 등과 같은 특정 업무의 수행에 도움을 주도록 설계된 컴퓨터 프로그램과 같은 애플리케이션을 단순하게 언급할 수 있다.

인터페이스(315)(예로서, 그래픽 사용자 인터페이스(130))는 결과들을 디스플레이하기 위해 제공될 수 있고, 그 결과 사용자(320)는 부가적인 입력들을 공급하거나 특정한 세션을 종료할 수 있다. 일부 실시예들에서, 운영 체제(310) 및 GUI(130)는 "윈도우즈(windows)" 시스템의 맥락에서 구현될 수 있다. 물론, 다른 유형들의 시스템들이 가능함이 이해될 수 있다. 예를 들면, 전통적인 "윈도우즈" 시스템보다, 예를 들면, 무선 시스템들에서 더 공통적으로 이용되는 실시간 운영 체제(RTOS)와 같은 다른 운영 체제들이 또한, 운영 체제(310) 및 인터페이스(315)에 대해 이용될 수 있다. 소프트웨어 애플리케이션(305)은 예를 들면, 본 명세서에 도시되고 설명된 것들과 같은 단계들 또는 논리 동작들을 실행하기 위한 지시들을 포함할 수 있는 모듈(들)(125)을 포함할 수 있다.

도 1 내지 도 3에 묘사된 프로그램 모듈(125), 데이터 프로세싱 시스템(200), 및 네트워크(202)와 결부하여, 컴퓨터 시스템(100)과 같은 데이터 프로세싱 시스템의 사용을 요구할 수 있거나, 그의 맥락에서 구현될 수 있는, 본 발명의 실시예들에 대한 다음 설명이 제공된다. 그러나, 본 발명은 임의의 특정한 애플리케이션 또는 임의의 특정한 환경으로 제한되지 않는다. 대신에, 당업자들은, 본 발명의 시스템 및 방법이 다양한 시스템 및 데이터베이스 관리 시스템들, 워드 프로세서들, 등을 포함하는 애플리케이션 소프트웨어에 이롭게 적용될 수 있음을 발견할 것이다. 게다가, 본 발명은 윈도우즈, 매킨토시, 유닉스, 리눅스, 안드로이드, 등을 포함하는 다양한 상이한 플랫폼(platform)들 상에 구현될 수 있다. 따라서, 다음의 예시적인 실시예들의 설명들은 예시의 목적들을 위한 것이고 제한하는 것으로서 고려되지 않는다.

본 명세서에 개시된 실시예들은 이미징 센서 또는 공간 또는 다차원 디지털 광 변조기(DLM)에 결합된 광검출기 어레이를 사용하여 이미지들을 재구성하기 위해 압축 감지 기술들을 이용한다. 이미징 센서는 복수의 감광성 픽셀들을 포함할 수 있다.

본 발명의 하나의 실시예에서, 객체/장면으로부터의 광은 먼저, 렌즈 또는 다른 광학 시스템을 통해 DLM의 표면 상에 포커싱된다. DLM은 노출 주기 당 하나의 패턴인, 일련의 샘플링 패턴들(일반적으로 랜덤 또는 의사 랜덤)에 따라 구성된다. 하나의 실시예에서, 디지털 마이크로미러 디바이스(DMD) 또는 반사 실리콘 액정 표시 장치(liquid crystal on silicon; LCOS) 디바이스와 같은 DLM이 사용될 때, DLM은 마이크로미러들의 세트로 구성된 하위 부분(sub-section)들의 어레이로 구성되는 것으로 간주될 수 있다. 다른 실시예들에서, 투과성 액정(LC)에 기초한 것들과 같은 투과성 DLM들이 사용될 수 있고; 이들 경우들에서, DLM은 투과성 광 변조기들의 세트로 구성된 하위 부분들의 어레이로 구성되는 것으로 간주될 수 있다. 하위 부분들 각각은 연관된 광검출기에서의 요소에 매핑될 수 있다.

단일 노출 주기에서, DLM 상에 입사하는 광은, 어떤 DLM이 구성되는지(또는 특히 DLM의 하위 부분들 각각에 의해) 그리고 광학 경로의 다운스트림(downstream)에 위치된 이미징 센서와 연관된 광 검출기에 의해 수집된 변조된 광에 따라 공간 패턴에 의해 공간적으로 변조된다. DLM의 각각의 하위 부분은 광검출기 또는 이미징 센서에서의 개별적인 픽셀 상에 광을 포커싱하는 렌즈와 같은 연관된 광학 요소를 갖는다. 각각의 광검출기 또는 픽셀은 하나의 측정된 광 세기 값을 출력하고, 상기 광 세기 값은 DLM의 대응하는 하위 부분에서 생성된 랜덤 패턴에 따라 변조된 광의 세기에 대응한다.

DLM은 상이한 공간 패턴에 따라 재배열될 수 있고 그 다음, 노출 주기는 반복될 수 있다. 각각의 노출 주기 동안, 대응하는 공간 패턴들과 함께 다양한 측정된 값들, 및 선택적으로, 측정된 값들 및 이웃하는 광검출기들 또는 픽셀들에 걸친 대응하는 패턴들에 따르는 공동 희소성 가정들은 압축 감지 이론을 사용하는 이미징 센서에서의 각각의 픽셀의 시야(field of view) 내에서 이미지들을 재구성하기 위해 사용된다. 개별적인 픽셀들의 이미지들은 그 다음, 원래 객체/장면의 이미지를 형성하기 위해 함께 스티칭(stitching)되거나 모자이크(mosaick)된다.

도 4a는 공동 희소성 가정들을 활용함으로써 저 해상도 센서들 및 압축 감지 기술을 사용하는 고 해상도 이미지들을 렌더링하기 위한 시스템들 및 방법들과 연관된 블록도(400)를 도시한다.

도 4a에서, 이미징 시스템(425)은 DLM(410)이 뒤따르는 제 1 렌즈(405)를 포함하는 광학 경로를 갖는다. DLM(410)은 예를 들면, 반사 경우에서 마이크로미러들과 같은, 반사 또는 투과 요소들의 어레이일 수 있거나, 대안적으로 투과 경우에서 액정(LC) 디바이스 어레이의 픽셀들일 수 있다. DLM(410)은 크기(l×k)의 하위 부분들의 어레이에 따라 분할될 수 있다(도 5a에 도시된 바와 같이). 렌즈들(415)의 세트는 픽셀들(예로서, 도 5b에 도시된 크기(m×n)의 픽셀들의 어레이)을 포함하는 상대적으로 저 해상도 이미징 센서(420)(또는 광검출기 어레이)로 DLM(410)의 각각의 하위 부분으로부터의 광을 포커싱한다. 하나의 실시예에서, m≤640 및 n≤480이지만, 다른 픽셀 어레이 크기들이 대안적으로 사용될 수 있다. 본 발명이 설계 고려들에 따라 DLM들 및 다양한 크기들의 픽셀 어레이들을 갖는 이미징 센서들을 포함할 수 있음이 이해되어야 한다.

DLM(410)은 공간 패턴 구성에 따라 인입하는 광(402)을 변조하고, 렌즈 어레이(415)를 통해 변조된 광을 이미지 센서(420) 상에 투사한다(예로서, 반사 또는 투과시킨다). 바람직한 일 실시예에서, 복수의 노출들이 취해진다. 어떤 DLM(410)이 구성되는지에 따른 공간 패턴의 특성들은 각각의 노출에 대해 달라진다. 이것은 각각의 노출 사이에 DLM(410)의 하위 부분들(610)의 구성을 수정함으로써 성취될 수 있다. 새로운 DLM(410) 구성이 매우 빠르게 달성될 수 있고 각각의 노출이 그 다음, 마이크로 내지 밀리 초 시간 척도에 대해 취해질 수 있음이 이해되어야 한다. DLM(410)의 하위 부분들(610) 각각에 의해 변조된 광은 이미지 센서(420)에서의 별개의 픽셀들 상에 투사된다. 이것은 광학 투사 시스템의 적절한 설계에 의해 달성된다. 이것은 단일 렌즈, 렌즈들(415)의 어레이, 또는 광학 구성요소들의 하위시스템(도시되지 않음)일 수 있다.

바람직한 일 실시예에서, 다수의 노출들(즉, 상이한 구성들 예를 들면, DLM(410)의 l×k-요소의 510A, 510B,..., 510H[여기서, 510A, 510B,..., 510H는 일반적으로 l

k보다 적은, 구성들의 정수를 나타낸다]에 대응하는 노출들)이 취해진다. 구성들(510A, 510B,..., 510H)에 대응하는 노출들 각각에 대해, 이미지 센서(420)에서의 각각의 픽셀로부터의 데이터가 저장된다.

광학 투사 시스템의 배율은 DLM(410)의 액티브 치수(active dimension)로 나누어진 이미지 센서(420)의 액티브 치수에 의해 정의되고, 여기서 액티브 치수는 각각의 디바이스 상의 이미지의 치수를 언급한다. 이미지 센서(420)의 각각의 픽셀에 의해 수집된 데이터는 그 다음, 본 명세서에 개시된 방법들에 따라 프로세싱하기 위한 컴퓨터(100)로 송신된다. 이러한 프로세싱이 외부 컴퓨터 시스템에 의해 성취될 수 있거나, 이미징 시스템(425)이 이미지 프로세싱을 위해 사용된 온보드 계산 디바이스를 갖는 디바이스(204)와 같은 이미지 캡처링 디바이스로 통합될 수 있음이 이해되어야 한다.

이미징 시스템(425)의 해상도는 시스템 구성에 의존하여, DLM(410)의 해상도 및 이미징 센서(420)의 해상도에 의해 결정될 수 있다. 따라서, DLM(410)은 센서의 해상도에 비해 고 해상도를 갖는 이미지들을 생성하기 위해 상대적으로 저 해상도 이미지 센서(420)와 결부하여 사용될 수 있다. 하나의 실시예에서, 개별적인 이미징 센서(420) 픽셀들 또는 광검출기들과 연관된 DLM(410)의 하위 부분들(610)은 컴퓨터 시스템(100)에 의해 정의되거나 얻어질 수 있다. 이 실시예에서, 이미징 시스템(425)의 해상도는 각각의 DLM 하위 부분(610)에서의 픽셀들의 수 및 이미지 센서(420)에서의 픽셀들의 수에 의해 결정될 수 있다. 예를 들면, 각각의 DLM 하위 부분(610)이 32×32개의 픽셀들로 구성되고, 하위 부분들의 모두가 임의의 중첩 없이 이미징 센서에서의 픽셀에 할당되면, 최종 재구성된 이미지에서의 픽셀 총수는 32×32(또는 1024)배 만큼 곱해진 이미징 센서의 픽셀 총수와 같을 것이다. 하위 부분들의 모두가 이미징 센서에서의 픽셀에 할당되지 않지만, 여전히 하위 부분들 사이에 어떠한 중첩도 없다면, 최종 재구성된 이미지에서의 픽셀 총수는 DLM 하위 부분이 할당되게 하는 이미징 센서에서의 픽셀들의 수 곱하기 대응하는 하위 부분의 크기와 같을 것이다. 이미징 센서에서의 픽셀에 할당된 DLM 하위 부분들 사이에 중첩이 존재하면, 최종 재구성된 이미지에서의 픽셀 총수는 DLM 하위 부분이 할당되게 하는 이미징 센서에서의 픽셀들의 수 곱하기 그것의 대응하는 하위 부분의 크기와 같을 것이다; 이 경우에, 최종 픽셀 총수는 DLM에서의 요소 총수보다 클 수 있다. 일부 실시예들에서, 이미징 센서에서의 픽셀들에 할당된 상이한 DLM 하위 부분들의 크기들은 같지 않을 수 있다. 예를 들면, 하나의 실시예에서, 더 큰 하위 부분들은 이미징 센서의 중심에서의 픽셀들에 할당될 수 있고, 하위 부분들의 크기는 이미징 센서의 중심에 대한 간격이 증가함에 따라 감소할 수 있다.

도 4b는 또한, 본 발명의 실시예들에 따라 이미징 시스템(425)을 사용하는 이미지 측정 프로세스를 도시한다. 객체(505)로부터 반사된 광(402)은 먼저, 렌즈(405) 상에 입사된다. 렌즈(405)는 그 광을 수집하고 DLM(410) 상에 포커싱한다. 이미지 센서(420)에 대한 DLM(410)의 매핑은 도 5a에서 제공된다. 단순성을 위해, 실시예에 의존하여 하위 부분들이 중첩할 수 있을지라도, 도시된 매핑에서 DLM 하위 부분들은 중첩하지 않는다. l×k-요소 DLM 하위 부분들(610) 각각은 샘플링 패턴에 따라 구성된다. 예를 들면, DLM(610)의 제 1 하위 부분(즉, 하위 부분(1,1)에서, DLM(410)은 샘플링 패턴(510A)을 갖는다)에서. l×k 픽셀 하위 부분(610) 상에 입사하는 광에 대응하는 객체(505)의 이미지는 따라서, 샘플링 패턴(510A)에 의해 변조된다. 그 변조된 광은 그 다음, 이미지 센서(420)와 연관된 특정 픽셀 또는 광검출기(픽셀(1, 1)와 같은) 상에 어레이의 렌즈들(415) 중 하나에 의해 투사된다. 이미지 센서(420)의 분해도는 도 5b에 도시된다. 광 세기(V1)(403)는 샘플링 패턴(510A)에 의해 하위 부분(1, 1)으로 인입하는 광을 변조하는 것으로부터 야기되는 이미징 픽셀(1, 1)에서의 광 세기에 대응한다. 이 세기는 카메라에 집적된 프로세싱 시스템의 독립 컴퓨터 시스템일 수 있는 컴퓨터 시스템(100)에 의해 기록된다. 이 동일한 프로세스는, 이미지 센서(420)에서의 각각의 픽셀이 세기 값을 기록하도록 DLM(410)의 각각의 하위 부분(610)에 대해 동시에 행해진다.

샘플링 시점(2)에서, 즉 제 2 노출 주기 동안, DLM(410)은 제 2 샘플링 패턴에 따라 재배열된다. 예를 들면, DLM(410)의 하위 부분(610)에서, 제 2 샘플링 패턴(510B)은 제 2 노출 주기 동안 사용된다. 하위 부분(610) 상에 입사하고 샘플링 패턴(510B)에 의해 변조된 광에 대응하는 객체(505)의 이미지는 렌즈 어레이(415)에서의 렌즈들 중 하나에 의해 이미지 센서의 픽셀 또는 광검출기 상에 투사된다. 제 2 노출 주기와 연관된 픽셀(1, 1)에서의 광 세기(V2)(도시되지 않음)는 이미지 센서(420)에 의해 측정되고 컴퓨터 시스템(100)에 의해 기록된다. 동시에, 광은 DLM(410)의 하위 부분들 각각에 의해 변조되고 제 2 노출 주기 동안 이미지 센서(420)에서의 각각의 요소 상에 별개로 투사된다.

이 프로세스는 원하는 만큼(예로서, "M" 횟수들) 많은 횟수들로 반복될 수 있다. 하나가 각각의 노출 주기에 대응하는 M번의 측정들 후에, M개의 랜덤 패턴들(510A, 510B,..., 510H)이 사용될 것이고, M개의 광 세기들은 예를 들면, DLM 하위 부분(610)과 연관된 픽셀(1, 1)에서 기록될 것이다. 이 프로세스는, M개의 광 세기들이 이미지 센서(420)에서의 각각의 광검출기 요소 또는 픽셀에 대해 측정되도록 반복되고, 여기서 1≤i≤m, 1≤j≤n이다.

일단 이미지 센서(420)로부터의 모든 측정들이 행해졌으면, 이미지 재구성 프로세스가 개시될 수 있다. 일반적으로, 이미지 재구성 프로세스는 컴퓨터 시스템(100)과 같은 컴퓨터에 의해 완료된다.

이미지 재구성은 복수의 방식들로 성취될 수 있다. 하나의 실시예에서, (도 5a에서 도시된) DLM(410)에서의 각각의 l×k 픽셀 그룹에 대응하는 객체 하위 이미지 영역은 전통적인 압축 감지 알고리즘들을 사용하여 독립적으로 재구성될 것이다. 압축 감지는 이미지를 재구성하기 위해 일부 도메인(domain)(예로서, 공간 도메인, 이산 코사인 변환 도메인, 웨이블렛(wavelet) 변환 도메인, 등)에서 장면의 상기 이미지의 희소성에 관한 가정들과 함께, M개의 샘플링 패턴들 및 기록된 대응하는 M개의 광 세기들의 지식을 사용한다. 일 대안적인 실시예에서, 자연 이미지들에서 이웃하는 픽셀들 사이에 발생하는 상관을 활용하는 것은 더 효율적인 재구성 프로세스를 야기할 수 있다.

제 1 실시예에서, 압축 감지 프레임워크는 이미지 또는 장면을 재구성하기 위해 이용될 수 있다. 압축 감지는 M개의 연속적인 노출 주기들에 걸쳐 어떤 광 변조기가 구성되는지에 따라 M개의 공간 패턴들에 대응하는 M개의 샘플링 함수들의 세트의 사용에 의존한다.

(1)

각각의 샘플링 함수는 DLM(410)의 픽셀 총수와 같은 차원성(dimensionality)을 갖는다. 예를 들면, DLM(410)이 L×K 픽셀 크기이면, 각각의 함수(ψ_i)는 L×K개의 요소들을 갖고 따라서, r개의 l×k-요소 하위 부분들 즉, ψ_i1, ψ_i2,..., ψ_ir로 분할될 수 있으며, 여기서 r은 DLM에서 하위 부분들의 수를 나타내는 양의 정수이다. m×n 센서 어레이에서의 모든 광검출기가 DLM 하위 부분에 할당될 때,

임에 주의한다.

인입하는 광(402)은 샘플링 함수들에 대응하는 복수의 공간 패턴들에 따라 DLM(410)에 의해 변조된다. DLM(410)의 하위 부분들로부터 반사된/투과된 광은 그 다음, 이미지 센서(420)의 복수의 렌즈들(415) 중 하나에 의해, 그것의 대응하는 픽셀들 상에 포커싱된다(여기서, 1≤s≤r). 이미지 센서들(420)에서의 픽셀들은 그것이 캡처하는 광의 순차적 측정치들을 샘플링하여, 내적의 배율을 효과적으로 측정한다:

(2)

여기서, X_s는 픽셀(s)에 의해 이미징되는 장면의 부분의 l×k-픽셀 샘플링된 버전을 표현하는 벡터화된 l×k-차원 행렬을 나타내고, y_is는 픽셀(s)에 의해 얻어진 i번째 측정치를 나타낸다. 장면 이미지(X)가 하위 이미지들(X₁, X₂,..., X_r)과 함께 스티칭함으로써 형성됨에 주의한다.

픽셀에 의해 캡처된 장면의 이미지는 그 다음, 바람직하게 M번의 측정들 후에 재구성될 수 있고, 여기서 M << L×K이다. 이것은 본 명세서에 설명된 압축 감지를 제공한다.

행렬 표현을 이용하여, 측정치들은 단일 표현으로 스택(stack)될 수 있고:

(3)

여기서, vec(

)은 행렬 벡터화를 나타내고,

및 Y _s=[y_1s,...,y_Ms]^T이다. 재구성은 최적화 문제점을 해결함으로써 달성된다:

(4)는 수학식 (3)에 영향을 받고, 여기서

은 l₁ 놈(norm) 연산자이고,

는 픽셀(s)에 의해 얻어진 측정치들로부터 복원(recover)된 X_s의 추정치이다. 압축 감지는, X가 일부 도메인(Φ)에서 희소하다고 가정함에 주의한다(예로서, 자연 이미지들은 이산 코사인 변환(DCT) 및 웨이블렛 도메인들에서 대략 희소한 것으로 가정된다). N개의 엔트리(entry)들을 갖는 신호는, 그것이 기껏해야 k개의 비제로 엔트리들을 갖는 경우에 소위 k-희소하다(k-sparse). 수학적으로, 이것은 계수들(x)의 일부 세트에 대해

이면, x는 기껏해야 k개의 비제로 엔트리들을 갖음을 의미한다. 실제로, 신호는, 대부분의 그것의 엔트리들이 제로 또는 제로에 가까운 경우 희소한 것으로 고려된다.

이 실시예에서, 어떠한 중첩도 DLM의 하위 부분들 사이에 존재하지 않는 경우에, 상기 설명된 압축 감지 조작은, 각각이 l×k개의 픽셀들의 해상도를 갖는 m×n개의 하위 이미지들을 독립적으로 재구성하기 위해 DLM 그룹/센서 픽셀 쌍의 각각에 대해 독립적으로, 컴퓨터 시스템(100)에 의해 적용될 수 있다. m×n개의 하위 이미지들은 그 다음, 장면의 고 해상도 이미지를 얻기 위해 함께 스티칭되거나 모자이크되고, 스티칭 프로세스에서 하위 이미지들의 상대적 배치는 대응하는 이미징 픽셀들의 상대적 배치에 의해 결정된다.

또 다른 실시예에서, 재구성 시에 각각의 DLM 그룹/센서 픽셀 쌍을 독립적으로 처리하는 대신에, 자연 이미지들의 근접 위치들에 존재하는 상관이 공동 희소성을 활용하는 압축 감지 프레임워크를 통해 활용될 수 있다. 공동 희소성은, 2개의 신호들이 매우 상관되면, 그들이 둘 모두 Φ와 같은, 공통 도메인에서 희소한 것일 가능성이 있다는 사실을 언급한다. 2개의 신호들은, 그들이 독립적이 아니면 상관된다. 2개의 신호들 또는 데이터 포인트들의 세트들 사이의 상관의 정도는 상관 계수로 측정될 수 있다. X₁ 및 X₂를 2개의 N-픽셀 이미지들의 벡터화된 버전 즉, i=1, 2에 대해

을 나타내도록 두자. X₁와 X₂사이의 상관 계수는 다음으로서 기록될 수 있다:

하나의 실시예에서, 2개의 신호들은, 그들의 상관 계수가 미리 결정된 임계치(T)를 초과하면 매우 상관된 것으로 고려된다. 하나의 실시예에서, T=0.6이다. 2개의 신호들이 매우 상관될 때, 하나의 신호의 재구성을 위해 사용된 측정치들은 제 1 신호와 공동으로 희소한 또 다른 신호에 관한 정보를 지닐 수 있다. 공동으로 희소한 모델들은 각각의 신호를 공통 평균 및 개별적인 변동의 조합으로서 표현하는 희소한 공통 구성요소 모델; 및 모든 신호들이 기저 벡터들의 동일한 희소 세트로부터 재구성되지만, 상이한 계수들을 갖는 공통 지원 모델을 포함한다. 다른 공동 희소성 모델들이 또한, 본 발명의 다른 실시예들에서 이용될 수 있음이 이해되어야 한다. 공동 희소성 가정이 유지될 때, 이미지의 더 효율적인 재구성이 가능하다.

하나의 실시예에서, 공통 구성요소 모델이 가정될 때, 공간적으로 이웃하는 l×k개의 픽셀 하위 이미지들(X_s)은 s의 상이한 값들에 대해 공통 희소 구성요소를 공유하는 반면에, 각각의 개별적인 하위 이미지는 희소 개선 구성요소를 포함한다. 즉,

이다. 이 관계는 국부적으로 이웃하는 하위 이미지들에 걸쳐, 또는 1≤s≤r인 모든 하위 이미지들(X_s)에 대해 유지하도록 가정될 수 있다. 이 경우에, Z, 즉 하위 이미지들에 걸친 공통 구성요소는 일부 도메인(Φ)에서 희소하다. 2개의 하위 이미지들(X_s 및 X_t)의 복원은 최적화 문제점을 해결함으로써 공동으로 수행될 수 있다.

는

에 영향을 받고, 여기서 샘플링 행렬(ψ)에 대해

이고,

이다. 대안적인 실시예들에서, 공통 구성요소는 희소한 것이 아닐 수 있다.

또 다른 실시예에서, 공통 희소 지원 모델이 가정될 때, 공간적으로 이웃하는 l×k개의 픽셀 하위 이미지들(X_s)은 공통 도메인(Φ)에서 희소하다. 즉, 공간 인덱스들(s 및 t)을 갖는 2개의 이웃하는 하위 이미지들에 대해

및

이면, 도메인(Φ)에서 X_s 및 X_t를 표현하기 위해 요구된 계수들 둘 모두 즉, x_s 및 x_t는 기껏해야 k개의 비제로 엔트리들을 갖는다. 이들 가정들 하에서, 하위 이미지들은 최적화 문제점을 해결함으로써 복원될 수 있다.

는 수학식 (3)에 영향을 받고, 여기서

는 열들에 걸친 l₂ 놈 및 열들에 걸친 l₀ 놈의 계산을 나타낸다. 즉, 미결정된 시스템에 대한 해결책은 가장 큰 열 희소성을 갖는 것이다. 일 대안적인 실시예에서, 하위 이미지들(X_s)은 s의 상이한 값들에 대해 공통 구성요소를 공유하는 반면에, 각각의 개별적인 하위 이미지는 희소 개선 구성요소를 포함하고, 공유된 개선 구성요소들은 공통 도메인에서 희소하다.

하나의 실시예에서, 인접 또는 인근 DLM 그룹/센서 픽셀 쌍들과 연관된 이미지들의 재구성에서 공동 희소성 프레임워크가 사용될 수 있다. 먼저, p×q개의 DLM 그룹들의 중첩하지 않는 수퍼그룹들이 형성될 수 있다. p×q개의 하위 이미지들의 재구성은 공동으로 수행된다. 이 실시예에서, p×q개의 하위 이미지들의 세트들은 장면의 고 해상도 이미지를 얻기 위해 함께 모자이크되거나 스티칭될 것이다.

또 다른 실시예에서, 수퍼그룹들이 중첩할 수 있다. 주어진 픽셀 그룹이 P개의 중첩하는 수퍼그룹들에 속하면, 최종 이미지 픽셀 값들은 P개의 공동 희소 재구성들로부터 얻어진 픽셀 추정치들을 (평균화 또는 다른 분석 조합 방법을 통해) 종합함으로써 얻어질 수 있다. 이러한 접근법은 로컬 이웃들 내의 상관을 활용하고, 따라서 부가된 계산 비용으로 더 큰 압축을 제공한다.

도 6은 본 명세서에 개시된 실시예들에 따라 이미지(700)를 캡처하기 위한 제 1 접근법과 연관된 논리 동작 단계들을 도시한다. 방법은 단계(705)에서 시작한다.

단계(710)에서, 디지털 광 변조기와 연관된 복수의 공간적으로 다양한 패턴들이 생성될 수 있다. 다음 단계(715)에서, 객체로부터 반사된 광은 DLM 상에 광을 광학적으로 포커싱하기 위해 렌즈(또는 렌즈들의 시스템)를 통과할 수 있다. 각각의 별개의 DLM 요소 그룹으로부터의 광은 그 다음, 단계(720)에서 도시된 바와 같이 적어도 하나, 및 아마도 많은 픽셀들을 포함하는 광검출기 어레이와 연관된, 별개의 광검출기 요소 상에 광을 포커싱하는 별개의 렌즈(또는 다른 광학 시스템)로 이동한다. 각각의 별개의 광검출기 요소는 입사 광의 광 세기를 측정한다. 이 프로세스는 화살표(722)로 도시된 바와 같이 "M"번의 노출 주기들 동안 반복된다. "M"번의 노출 주기들 각각이 연속적으로 완료될 수 있고 모든 노출 주기들이 완료하기에 상당히 최대한 빠른 시간을 취할 수 있음이 이해되어야 한다. 상기 설명된 바와 같이, 압축 감지 알고리즘들은 단계(725)에서, 노출 주기들 각각으로부터의 수집된 데이터에 적용될 수 있다. 이것은 관심 있는 객체 또는 장면의 작은 부분을 표현하는 각각의 픽셀과 연관된 이미지를 야기한다. 개별적인 픽셀들 각각으로부터의 이미지들은 그 다음, 원래 객체 또는 장면의 이미지를 형성하기 위해, 단계(730)에서 도시된 바와 같이 함께 스티칭될 수 있다. 방법은 단계(735)에서 종료된다.

유사하게, 도 7은 본 명세서에 개시된 일 대안적인 실시예에 따라 이미지(800)를 캡처하기 위한 또 다른 접근법과 연관된 논리 동작 단계들을 도시한다. 방법은 단계(805)에서 시작한다. 단계들(710, 715, 720, 및 722)은 방법(700)의 단계들과 같고 그와 같이 라벨링(labelling)된다.

단계(825)에서, 광검출기에서의 픽셀들은 광검출기에서 그들의 상대적인 위치에 따라 함께 그룹핑(grouping)될 수 있다. 이 할당은 광학 시스템의 설계에 따라 성취될 수 있다. 일단 픽셀들의 그룹들이 정의되었으면, 압축 감지 방법들은 단계(830)에서 도시된 바와 같이, 픽셀들의 각각의 그룹에 대해 수집된 데이터에 적용될 수 있다. 이 단계는 각각의 픽셀 그룹과 연관된 이미지를 야기한다. 픽셀 그룹들로부터의 인접 이미지들은 그 다음, 단계(835)에서 도시된 바와 같이, 원래 객체 또는 장면의 이미지를 형성하기 위해 함께 모자이크될 수 있다. 방법은 단계(840)에서 종료된다.

마지막으로, 도 8은 본 명세서에 개시된 일 대안적인 실시예에 따라 이미지(900)를 캡처하기 위한 또 다른 접근법과 연관된 논리 동작 단계들의 또 다른 세트를 도시한다. 방법은 단계(705)에서 시작한다. 단계들(710, 715, 720, 및 722)은 방법(700)의 단계들과 같고 그와 같이 라벨링된다. 단계(925)에서, 광검출기에서의 픽셀들은 서로 중첩하는 그룹들에 할당될 수 있다. 이것은 광학 시스템의 설계에 따라 성취될 수 있다. 단계(930)에서, 각각의 그룹으로부터 수집된 데이터는 종합될 수 있고 그 다음, 압축 감지는 단계(935)에서 도시된 바와 같이 각각의 중첩하는 픽셀 그룹과 연관된 이미지를 복원하기 위해 사용될 수 있다. 일단 다시 단계(940)에서, 각각의 픽셀 그룹으로부터의 이미지가 그 다음, 원래 객체 또는 장면의 이미지를 형성하기 위해 함께 스티칭되거나 모자이크될 수 있고 방법은 그 다음, 단계(945)에서 종료된다.

도 9a는 도 6 내지 도 8에서 설명된 바와 같은 방법 단계들을 구현하기 위해 사용될 수 있는 모듈들의 블록도(1000)를 도시한다. 입사 광(402)이 이미징 시스템(425)을 통해 광학 경로를 따른 후에, 광검출기들에서 기록된 결과로 발생하는 세기들은 컴퓨터 시스템(110)에 제공될 수 있다. 컴퓨터 시스템(110)은, 어떤 픽셀들이 공동 희소성 요구조건들의 세트에 따라 그룹핑될 것인지를 정의하기 위해 사용되는 픽셀 그룹핑 모듈(1005)을 포함할 수 있다. 압축 감지 모듈(1010)은 이미징 시스템(425)에 의해 수집된 데이터에 압축 감지 알고리즘들을 적용하기 위해 사용될 수 있다. 압축 감지 모듈(1010)로부터의 출력은 픽셀 그룹핑 모듈(1005)에 의해 정의된 각각의 광검출기 또는 광검출기들의 그룹과 연관된 이미지들을 포함한다. 이 출력은 전자 스티칭 모듈(1015)에 제공될 수 있고, 상기 전자 스티칭 모듈은 광검출기들 각각으로부터 모든 이미지들을 취하며 관심 있는 객체 또는 장면의 최종 이미지를 생성하기 위해 함께 그들을 스티칭한다.

도 9b는 도 6 내지 도 8에서 설명된 방법 단계들을 구현하기 위해 사용될 수 있는 모듈들의 일 대안적인 실시예의 블록도(1100)를 도시한다. 이 예에서, 픽셀 그룹핑 모듈(1005), 압축 감지 모듈(1010), 및 전자 스티칭 모듈(1015)은 모두 이미지 캡처링 디바이스(204)에 집적된 (컴퓨터 시스템(110)과 같은) 계산 모듈에 통합된다. 게다가, 이미징 시스템(425)은 이미징 캡처링 디바이스(204)에 집적될 수 있다. 이 실시예에서, 이미지 캡처링 디바이스(204)는 공동 희소성을 활용함으로써 저 해상도 센서들 및 압축 감지 기술을 사용하는 고 해상도 이미징을 위해 구성된 독립형(standalone) 유닛을 포함한다.

상기 내용에 기초하여, 바람직하고 대안적인 복수의 실시예들이 본 명세서에 개시됨이 이해될 수 있다. 예를 들면, 하나의 실시예에서, 장면의 이미지를 재구성하기 위한 방법은 공간적으로 다양한 패턴에 따라 디지털 광 변조기를 구성하는 단계, 적어도 2개의 광검출기들 각각 상에 공간적으로 다양한 패턴으로 입사하는 장면과 연관된 광 에너지를 수집하고 광학적으로 포커싱하는 단계; 적어도 2개의 광검출기들 각각으로부터의 포커싱된 광 에너지의 세기를 나타내는 데이터를 수집하는 단계; 및 장면의 이미지를 재구성하기 위해 적어도 2개의 광검출기들로부터의 데이터를 조합하는 단계를 포함한다.

하나의 실시예에서, 장면의 이미지를 재구성하기 위해 적어도 2개의 광검출기들로부터의 데이터를 조합하는 단계는 광검출기들 각각과 연관된 이미지를 생성하기 위해 적어도 2개의 광검출기들 각각으로부터의 데이터에 압축 감지 재구성 알고리즘을 독립적으로 적용하는 단계, 및 광검출기들의 상대적인 위치에 따라 적어도 2개의 광검출기들 각각과 연관된 이미지들을 배열하는 단계를 더 포함한다.

또 다른 실시예에서, 장면의 이미지를 재구성하기 위해 적어도 2개의 광검출기들로부터의 데이터를 조합하는 단계는 적어도 2개의 광검출기들을 디지털 광 변조기에서의 요소들의 적어도 2개의 그룹들과 연관시킴으로써 복수의 광검출기 그룹들을 형성하는 단계를 더 포함하고, 여기서 각각의 광검출기와 연관된 장면의 이미지는 희소성 요구조건을 충족시킨다. 실시예는 광검출기 그룹들 각각과 연관된 이미지를 생성하기 위해 광검출기 그룹들 각각으로부터의 수집된 데이터에 압축 감지 알고리즘을 적용하는 단계, 및 광검출기 그룹들의 상대적인 위치에 따라 광검출기 그룹들 각각과 연관된 이미지들을 배열하는 단계를 더 포함한다.

희소성 요구조건은 공동 희소성 요구조건일 수 있고, 희소 공통 구성요소 모델 및 공통 지원 모델 중 하나일 수 있다. 적어도 2개의 광검출기들은 센서와 연관된 적어도 2개의 픽셀들을 포함한다.

또 다른 실시예에서, 장면의 이미지를 재구성하기 위해 적어도 2개의 광검출기들로부터의 데이터를 조합하는 단계는 적어도 2개의 광검출기들을 디지털 광 변조기에서의 요소들의 적어도 2개의 중첩하는 그룹들과 연관시킴으로써 복수의 광검출기 그룹들을 형성하는 단계를 더 포함하고, 여기서 각각의 광검출기와 연관된 장면의 이미지는 희소성 요구조건을 충족시킨다. 실시예는 광검출기 그룹들 각각과 연관된 데이터를 종합하는 단계 및 광검출기 그룹들 각각과 연관된 이미지를 생성하기 위해 광검출기 그룹들 각각으로부터의 종합된 데이터에 압축 감지 알고리즘을 적용하는 단계를 포함한다. 마지막으로, 서로 인접하는 광검출기 그룹들 각각과 연관된 이미지들은 이미지를 형성하기 위해 배열된다. 희소성 요구조건은 희소 공통 구성요소 모델 및 공통 지원 모델 중 하나를 포함하는 공동 희소성 요구조건이다.

또 다른 실시예에서, 디지털 광 변조기는 적어도 하나의 픽셀의 어레이; 적어도 하나의 투과성 광 변조기의 어레이; 적어도 하나의 반사성 광 변조기의 어레이; 및 마이크로미러들의 어레이 중 적어도 하나를 포함한다.

또 다른 실시예에서, 장면의 이미지를 재구성하기 위한 방법은 공간적으로 다양한 패턴에 따라 디지털 광 변조기를 구성하는 단계; 센서와 연관된 픽셀들을 포함하는 적어도 2개의 광검출기들 각각 상에 공간적으로 다양한 스캔 패턴으로 입사하는 장면과 연관된 광 에너지를 수집하고 광학적으로 포커싱하는 단계; 적어도 2개의 픽셀들 각각으로부터의 포커싱된 광 에너지의 세기를 나타내는 데이터를 수집하는 단계; 적어도 2개의 광검출기들을 디지털 광 변조기에서의 요소들의 적어도 2개의 중첩하는 그룹들과 연관시킴으로써 복수의 광검출기 그룹들을 형성하는 단계로서, 각각의 광검출기와 연관된 장면의 이미지는 희소성 요구조건을 충족시키는, 상기 복수의 광검출기 그룹들을 형성하는 단계; 광검출기 그룹들 각각과 연관된 데이터를 종합하는 단계; 광검출기 그룹들 각각과 연관된 이미지를 생성하기 위해 광검출기 그룹들 각각으로부터의 종합된 데이터에 압축 감지 알고리즘을 적용하는 단계; 및 서로 인접하는 광검출기 그룹들 각각과 연관된 이미지들을 배열하는 단계를 포함한다.

센서와 연관된 픽셀들을 포함하는 적어도 2개의 광검출기들 각각 상에 공간적으로 다양한 패턴으로 입사하는 장면과 연관된 광 에너지를 수집하고 광학적으로 포커싱하는 단계는 적어도 2개의 광검출기들 중 별개의 하나 상에 공간적으로 다양한 패턴의 적어도 하나의 별개의 하위 부분을 통과하는 광 에너지를 지향시키는 단계를 더 포함한다. 희소성 요구조건은 희소 공통 구성요소 모델 및 공통 지원 모델 중 하나를 포함하는 공동 희소성 요구조건일 수 있다.

부가적으로, 디지털 광 변조기는 적어도 하나의 픽셀의 어레이; 적어도 하나의 투과성 광 변조기의 어레이; 적어도 하나의 반사성 광 변조기의 어레이; 및 마이크로미러들의 어레이 중 적어도 하나를 포함한다.

또 다른 실시예에서, 장면의 이미지를 재구성하기 위한 시스템은 공간적으로 다양한 패턴에 따라 구성된 디지털 광 변조기; 적어도 2개의 광검출기들 각각 상에 공간적으로 다양한 패턴으로 입사하는 장면과 연관된 광 에너지를 광학적으로 포커싱하도록 구성된 렌즈 시스템으로서, 적어도 2개의 광검출기들은 포커싱된 광 에너지의 세기를 나타내는 데이터를 수집하는, 상기 렌즈 시스템; 및 장면의 이미지를 재구성하기 위해 적어도 2개의 광검출기들로부터의 데이터를 조합하도록 구성된 프로세싱 모듈을 포함한다.

하나의 실시예에서, 장면의 이미지를 재구성하기 위해 적어도 2개의 광검출기들로부터의 데이터를 조합하도록 구성된 프로세싱 모듈은 광검출기들 각각과 연관된 이미지를 생성하기 위해 적어도 2개의 광검출기들 각각으로부터의 데이터에 압축 감지 재구성 알고리즘을 독립적으로 적용하도록 구성된 압축 감지 모듈; 및 광검출기들의 상대적인 위치에 따라 적어도 2개의 광검출기들 각각과 연관된 이미지들을 배열하도록 구성된 전자 스티칭 모듈을 더 포함한다.

또 다른 실시예에서, 장면의 이미지를 재구성하기 위해 적어도 2개의 광검출기들로부터의 데이터를 조합하도록 구성된 프로세싱 모듈은 적어도 2개의 광검출기들을 디지털 광 변조기에서의 요소들의 적어도 2개의 그룹들과 연관시킴으로써 복수의 광검출기 그룹들을 형성하도록 구성된 픽셀 그룹핑 모듈로서, 각각의 광검출기와 연관된 장면의 이미지는 희소성 요구조건을 충족시키는, 상기 픽셀 그룹핑 모듈; 광검출기 그룹들 각각과 연관된 이미지를 생성하기 위해 광검출기 그룹들 각각으로부터의 수집된 데이터에 압축 감지 알고리즘을 적용하도록 구성된 압축 감지 모듈; 및 광검출기 그룹들의 상대적인 위치에 따라 광검출기 그룹들 각각과 연관된 이미지들을 배열하도록 구성된 전자 스티칭 모듈을 더 포함한다.

희소성 요구조건은 희소 공통 구성요소 모델 및 공통 지원 모델 중 하나를 포함하는 공동 희소성 요구조건일 수 있다. 적어도 2개의 광검출기들은 센서와 연관된 적어도 2개의 픽셀들을 포함한다.

또 다른 실시예에서, 디지털 광 변조기, 렌즈 시스템, 적어도 2개의 픽셀들, 및 프로세싱 모듈은 이미지 캡처링 디바이스에 집적된다.

Claims

장면의 이미지를 재구성하기 위한 방법에 있어서:
공간적으로 변화되는 패턴에 따라 디지털 광 변조기를 구성하는 단계;
적어도 2개의 광검출기들 각각 상에 상기 공간적으로 변화되는 패턴 위로 입사하는 상기 장면과 연관된 광 에너지를 수집하고 광학적으로 집속(focusing)하는 단계;
공간적으로 변화되는 패턴을 적어도 한번 변경하고, 적어도 2개의 광검출기들 각각 상에 적어도 하나의 공간적으로 변화되는 패턴 위로 입사하는 상기 장면과 연관된 광 에너지를 수집하고 광학적으로 집속하는 단계;
상기 적어도 한번 변경된 공간적으로 변화되는 패턴 각각에 대해 상기 적어도 2개의 광검출기들 각각으로부터의 상기 집속된 광 에너지의 세기를 나타내는 데이터를 수집하는 단계; 및
상기 장면의 이미지를 재구성하기 위해 상기 적어도 2개의 광검출기들로부터의 상기 데이터를 조합하는 단계를 포함하고,
상기 데이터를 조합하는 단계는,
적어도 2개의 광검출기들을 상기 디지털 광 변조기에서의 요소들의 적어도 2개의 그룹들과 연관시킴으로써 복수의 광검출기 그룹들을 형성하는 단계로서, 각각의 광검출기와 연관된 상기 장면의 이미지는 공간 요구에 적합한, 상기 복수의 광검출기 그룹들을 형성하는 단계;
상기 광검출기 그룹들 각각과 연관된 데이터를 결집시키는 단계;
상기 광검출기 그룹들 각각과 연관된 이미지를 생성하기 위해 상기 광검출기 그룹들 각각으로부터 결집된 데이터에 압축 감지 알고리즘을 적용하는 단계; 및
상기 광검출기 그룹들의 상대적인 위치에 따라 광검출기 그룹들 각각과 연관된 이미지들을 배열하는 단계를 더 포함하는, 장면의 이미지를 재구성하기 위한 방법.
제 1 항에 있어서,
상기 장면의 이미지를 재구성하기 위해 상기 적어도 2개의 광검출기들로부터의 상기 데이터를 조합하는 단계는:
상기 광검출기들 각각과 연관된 이미지를 생성하기 위해 독립적으로 상기 적어도 2개의 광검출기들 각각으로부터의 상기 데이터에 압축 감지 재구성 알고리즘을 적용하는 단계; 및
상기 광검출기들의 상대적인 위치에 따라 상기 적어도 2개의 광검출기들 각각과 연관된 상기 이미지들을 배열하는 단계를 더 포함하는, 장면의 이미지를 재구성하기 위한 방법.
제 1 항에 있어서,
상기 장면의 이미지를 재구성하기 위해 상기 적어도 2개의 광검출기들로부터의 상기 데이터를 조합하는 단계는:
상기 적어도 2개의 광검출기들을 상기 디지털 광 변조기에서의 요소들의 적어도 2개의 그룹들과 연관시킴으로써 복수의 광검출기 그룹들을 형성하는 단계로서, 각각의 광검출기와 연관된 상기 장면의 상기 이미지는 희소성(sparsity) 요구조건을 충족시키는, 상기 복수의 광검출기 그룹들을 형성하는 단계;
상기 광검출기 그룹들 각각과 연관된 이미지를 생성하기 위해 상기 광검출기 그룹들 각각으로부터의 상기 수집된 데이터에 압축 감지 알고리즘을 적용하는 단계; 및
상기 광검출기 그룹들의 상대적인 위치에 따라 상기 광검출기 그룹들 각각과 연관된 상기 이미지들을 배열하는 단계를 더 포함하는, 장면의 이미지를 재구성하기 위한 방법.
제 3 항에 있어서,
상기 희소성 요구조건은 공동 희소성 요구조건인, 장면의 이미지를 재구성하기 위한 방법.
장면의 이미지를 재구성하기 위한 방법에 있어서:
공간적으로 변화되는 패턴에 따라 디지털 광 변조기를 구성하는 단계;
센서와 연관된 픽셀들을 포함하는 적어도 2개의 광검출기들 각각 상에 상기 공간적으로 변화되는 스캔 패턴위로 입사하는 상기 장면과 연관된 광 에너지를 수집하고 광학적으로 집속하는 단계;
공간적으로 변화되는 패턴을 적어도 한번 변경하고, 적어도 2개의 광검출기들 각각 상의 적어도 하나의 공간적으로 변화되는 패턴에 입사하는 상기 장면과 연관된 광 에너지를 수집하고 광학적으로 집속하는 단계;
상기 적어도 하나의 변경된 공간적으로 변화되는 패턴 각각에 대해 상기 적어도 2개의 픽셀들 각각으로부터의 상기 집속된 광 에너지의 세기를 나타내는 데이터를 수집하는 단계;
적어도 2개의 광검출기들을 상기 디지털 광 변조기에서의 요소들의 적어도 2개의 중첩하는 그룹들과 연관시킴으로써 복수의 광검출기 그룹들을 형성하는 단계로서, 각각의 광검출기와 연관된 상기 장면의 상기 이미지는 희소성 요구조건을 충족시키는, 상기 복수의 광검출기 그룹들을 형성하는 단계;
상기 광검출기 그룹들 각각과 연관된 상기 데이터를 결집시키는 단계;
상기 광검출기 그룹들 각각과 연관된 이미지를 생성하기 위해 상기 광검출기 그룹들 각각으로부터의 상기 결집된 데이터에 압축 감지 알고리즘을 적용하는 단계; 및
상기 장면의 상기 이미지를 재구성하기 위해 서로 인접하는 상기 광검출기 그룹들 각각과 연관된 상기 이미지들을 배열하는 단계를 포함하는, 장면의 이미지를 재구성하기 위한 방법.
제 5 항에 있어서,
센서와 연관된 픽셀들을 포함하는 적어도 2개의 광검출기들 각각 상에 상기 공간적으로 변화하는 패턴 위에 입사하는 장면과 연관된 광 에너지를 수집하고 광학적으로 집속하는 단계는:
상기 적어도 2개의 광검출기들 각각 위로 상기 공간적으로 변화하는 패턴의 적어도 하나의 별개의 서브-섹션을 통과하게 상기 광 에너지를 지향시키는 단계를 더 포함하는, 장면의 이미지를 재구성하기 위한 방법.
제 6 항에 있어서,
상기 희소성 요구조건은 공동 희소성 요구조건인, 장면의 이미지를 재구성하기 위한 방법.
장면의 이미지를 재구성하기 위한 시스템에 있어서:
공간적으로 변화되는 패턴에 따라 구성된 디지털 광 변조기로서, 상기 공간적으로 변화되는 패턴은 적어도 한번 변경되는, 상기 디지털 광 변조기;
적어도 2개의 광검출기들 각각 상에 상기 적어도 2개의 공간적으로 변화되는 패턴 위로 입사하는 상기 장면과 연관된 광 에너지를 광학적으로 집속하도록 구성된 렌즈 시스템으로서, 상기 적어도 2개의 광검출기들은 상기 집속된 광 에너지의 세기를 나타내는 데이터를 수집하는, 상기 렌즈 시스템; 및
상기 장면의 이미지를 재구성하기 위해 상기 적어도 한번 변경된 공간적으로 변하되는 패턴 각각에 대해 상기 적어도 2개의 광검출기들로부터의 상기 데이터를 조합하도록 구성된 프로세싱 모듈을 포함하고,
상기 프로세싱 모듈은:
상기 적어도 2개의 광검출기들을 상기 디지털 광 변조기에서의 요소들의 적어도 2개의 그룹들과 연관시킴으로써 복수의 광검출기 그룹들을 형성하도록 구성된 픽셀 그룹핑 모듈(pixel grouping module)로서, 각각의 광검출기와 연관된 상기 장면의 상기 이미지는 희소성 요구조건을 충족시키는, 상기 픽셀 그룹핑 모듈;
상기 광검출기 그룹들 각각과 연관된 이미지를 생성하기 위해 상기 광검출기 그룹들 각각으로부터의 상기 수집된 데이터에 압축 감지 알고리즘을 적용하도록 구성된 압축 감지 모듈; 및
상기 광검출기 그룹들의 상대적인 위치에 따라 상기 광검출기 그룹들 각각과 연관된 상기 이미지들을 배열하도록 구성된 전자 스티칭 모듈을 더 포함하는, 장면의 이미지를 재구성하기 위한 시스템.
제 8 항에 있어서,
상기 장면의 이미지를 재구성하기 위해 상기 적어도 2개의 광검출기들로부터의 상기 데이터를 조합하도록 구성된 상기 프로세싱 모듈은:
상기 광검출기들 각각과 연관된 이미지를 생성하기 위해 독립적으로 상기 적어도 2개의 광검출기들 각각으로부터의 상기 데이터에 압축 감지 재구성 알고리즘을 적용하도록 구성된 압축 감지 모듈; 및
상기 광검출기들의 상대적인 위치에 따라 상기 적어도 2개의 광검출기들 각각과 연관된 상기 이미지들을 배열하도록 구성된 전자 스티칭 모듈(electronic stitching module)을 더 포함하는, 장면의 이미지를 재구성하기 위한 시스템.
삭제