KR101397351B1 - 공간적으로 변화하는 임계치들을 갖는 ２진 센서 어레이를 사용한 강도 추정 - Google Patents

공간적으로 변화하는 임계치들을 갖는 ２진 센서 어레이를 사용한 강도 추정 Download PDF

Info

Publication number
KR101397351B1
KR101397351B1 KR1020127019506A KR20127019506A KR101397351B1 KR 101397351 B1 KR101397351 B1 KR 101397351B1 KR 1020127019506 A KR1020127019506 A KR 1020127019506A KR 20127019506 A KR20127019506 A KR 20127019506A KR 101397351 B1 KR101397351 B1 KR 101397351B1
Authority
KR
South Korea
Prior art keywords
sensors
state
sensor
distribution
activation thresholds
Prior art date
Application number
KR1020127019506A
Other languages
English (en)
Other versions
KR20120096594A (ko
Inventor
테로 리사
사무 코스키넨
마티 비킨코스키
투오모 매키-마르투넨
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20120096594A publication Critical patent/KR20120096594A/ko
Application granted granted Critical
Publication of KR101397351B1 publication Critical patent/KR101397351B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J1/46—Electric circuits using a capacitor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/10—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
    • G01J1/16—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void using electric radiation detectors
    • G01J1/18—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void using electric radiation detectors using comparison with a reference electric value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

장치는 각각이 리셋 상태로부터 활성화된 상태로 스위칭하기 위한 연관된 광 흡수 활성화 임계치를 갖는 N개의 부-회절 제한 광 센서들을 포함하는 어레이로서, 상기 광 흡수 활성화 값들은 소정값 범위 내에 놓인다. 상기 장치는 컴퓨터 프로그램 코드를 포함하는 메모리와 연결된 프로세서를 더 포함하며, 상기 메모리 및 컴퓨터 프로그램 코드는, 상기 프로세서와 함께, 상기 어레이의 전기적 출력들에 기초하여 상기 어레이를 조명하는 광의 강도를 추정하는 것을 적어도 수행하게 하도록 구성된다.

Description

공간적으로 변화하는 임계치들을 갖는 ２진 센서 어레이를 사용한 강도 추정{Intensity estimation using binary sensor array with spatially varying thresholds}
본 발명의 예시적이고 비-제한적인 실시예들은 일반적으로 이미징 시스템들, 방법들, 장치들 및 컴퓨터 프로그램들과 관련되고, 더욱 구체적으로, 2진 출력 신호를 생성하는 광 센서들의 어레이로 구성된 광 센서 어레이를 사용하는 이미징 시스템들과 관련된다.
이 절은 청구항에 기재된 본 발명의 배경기술 또는 전후관계를 제공하도록 의도된 것이다. 여기의 설명은 추구될 수 있는 개념들을 포함할 수 있지만, 필연적으로 종래에 착안된, 구현된, 또는 설명된 것들이라고 볼 수는 없다. 따라서, 여기에 다르게 명시하고 있지 않는 한, 이 절에서 설명된 것은 이 출원서의 청구항들 및 설명에 대한 선행기술이 아니며, 이 절에 포함됨으로써 선행기술로 인정되는 것이 아니다.
최근의 관심사는 종래의 CCD(charge coupled device) 포토센서를 소형 2진 포토센서들의 2-차원의 어레이로 대체하는 것이다. 이 분야에서의 참고문헌은, 예를 들어, Karuizawa의 "E.R. Fossum, What to do with Sub-Diffraction-Limit (SDL) Pixels? A Proposal for a Gigapixel Digital Film Sensor"라는 제목의 회의록(Proc. of the 2005 IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors, Karuizawa, Japan, June 2005) , L. Sbaiz, F. Yang , E. Charbon, S. Susstrunk, M. Vetterli의, "The gigavision camera"라는 제목의 회의록(Proc. of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2009, p. 1093 - 1096); 및 L. Sbaiz, F. Yang , E. Charbon, S. Susstrunk, M. Vetterli의 "Image reconstruction in gigavision camera"라는 제목의 자료(ICCV workshop OMNIVIS 2009)등일 수 있다.
2진 포토센서의 크기가 종래 포토센서(예를 들어, CCD 포토센서)에 비해 작기 때문에, 2진 센서 어레이의 많은 센서 부재들(예를 들어, 16-256 부재들)이 (예를 들어, 에어리 디스크의 크기 내에 위치될 수 있는) 에어리 디스크(Airy disc)의 그것보다 작다고 무리 없이 추측할 수 있다. 따라서, 센서 어레이 상의 광자 분포(photon distribution)가 균질 2차원 공간 프아송 프로세스(homogenous two-dimensional spatial Poisson process)로 모델링될 수 있음을 추측하는 것도 무리가 없다. 이후 다음 업무는 2진 센서 어레이의 출력을 기초로 광의 강도를 결정하는 것이 된다.
2진 센서는 2개의 상태들을 갖는 단순한 센서이다: 초기에는 0(zero)이고, 임의의 정해진 임계치를 초과하는 많은 검출된 광자들 이후, 상기 상태는 1(one)로 변화한다. 2진 센서 시스템들의 선행 기술은 고정된 임계치 2진 센서들만을 고려하였다.
본 발명이 해결하려는 과제는, 다양한 임계치들을 갖는 2진 센서들을 포함하는 2진 센서 어레이를 사용한 광 강도 추정을 수행할 수 있는 이미징 시스템들, 방법들, 장치들 및 컴퓨터 프로그램들을 제공하는 것이다.
본 발명의 예시적인 실시예들에 따라, 전술한 그리고 다른 문제들이 해결되고, 다른 이점들이 실현된다.
본 발명의 예시적인 실시예들의 제1 측면에서, 상기 예시적인 실시예들은 N개의 부-회절 제한 광 센서들을 포함하는 어레이를 포함하는 장치를 제공하며, 각각의 N개의 부-회절 제한 광 센서들은 리셋 상태로부터 활성화된 상태로 스위칭하는 연관된 광 흡수 활성화 임계치를 갖고, 상기 광 흡수 활성화 값들은 소정값 범위(range of values) 내에 놓인다. 상기 장치는 컴퓨터 프로그램 코드를 포함하는 메모리와 연결된 프로세서를 더 포함하며, 여기서 상기 메모리 및 컴퓨터 프로그램 코드는, 프로세서와 함께, 상기 장치가 적어도 상기 어레이의 전기적 출력들에 기초하여 상기 어레이를 조명하는 광의 강도를 추정하는 것을 수행하게 하도록 구성될 수 있다.
본 발명의 예시적인 실시예들의 추가적인 측면에서, 상기 예시적인 실시예들은은 N개의 부-회절 광 제한 센서들을 포함하는 어레이를 제공하는 것으로서, 각각의 N개의 부-회절 제한 광 센서들은 리셋 상태로부터 활성화된 상태로 스위칭하는 연관된 광 흡수 활성화 임계치를 갖고, 상기 광 흡수 활성화 값들은 소정값 범위(range of values) 내에 놓이는 어레이를 제공하는 것; 및 상기 어레이의 전기적 출력들에 기초하여 상기 어레이를 조명하는 광의 강도를 추정하는 것을 포함하는 방법을 제공한다.
실시예들의 추가적인 예들은 제출된 바와 같이 청구항들 1 내지 30에 제공된다.
본 발명의 예시적인 실시예들의 사용 및 적용은 많은 기술적 이점들 및 효과들을 제공한다. 예를 들어, (선천적으로) 다양한 임계치들을 갖는 2진 센서들을 포함하는 2진 센서 어레이는, 종래의 접근법들이 일부 알려진 (일정한) 센서 임계치들을 가정하였을 것이기 때문에 종래 사용불가능한 것으로 여겨졌지만, 그럼에도 불구하고 이미지들을 형성하는데 사용될 수 있다. 나아가, 임계치들의 분포를 선택함으로써, 제어불가능한 변동성(variability)이 있는 경우에도, 2진 센서들의 어레이의 이미징 성능(품질)이 개선될 수 있다.
본 발명의 예시적인 실시예들의 전술한 그리고 다른 측면들이 첨부된 도면들과 함께 이하의 상세한 설명을 읽음으로써 더욱 명백해질 것이다.
도 1a는 예시적인 2진 센서들의 어레이의 평면도를 나타낸다.
도 1b는 2진 센서들의 활성화를 나타낸다.
도 2는 강도에 대해 활성화된 센서들의 개수의 기대값을 그래프로 도시한다.
도 3은 강도에 대해 활성화된 센서들의 개수의 기대값들의 미분값들을 그래프로 도시한다.
도 4는 도 1a의 광 센서의 리셉터들을 구현하기 위한 적절하고 비-제한적인 종류의 일 회로구성을 도시한다.
도 5는 본 발명의 예시적인 실시예들에 따른 이미지 센서를 포함하도록 구성될 수 있는 장치의 블록도를 도시한다.
도 6은 본 발명의 예시적인 실시예들에 따른, 컴퓨터 리더블 메모리(computer readable memory) 상에서 구체화된 컴퓨터 프로그램 명령들의 실행의 결과, 및 방법의 동작을 도시하는 논리 흐름도이다.
본 발명의 예시적인 실시예들은 디지털 카메라 광 센서 기술들과 관련되며, 더욱 구체적으로는, 가능하다면 10억("기가", lxl09)을 초과하는, 잠재적으로 매우 큰 카운트의 픽셀들("비트 부재들(bit elements)")을 갖는 2진 타입 센서("리셉터(receptor)")와 관련된다. 이전에 언급된 바와 같이, "2진(binary)"은 그러한 센서 또는 리셉터 부재 각각이 2개의 가능한 값들: 0(노출되지 않음) 또는 1(도출됨), 만을 가질 수 있음을 의미한다. 또한, 본 발명의 예시적인 실시예들은 소위 부-회절 한계 센서들 또는 리셉터들(sub-diffraction limit sensors or receptors)과도 관련된다. 이는 리셉터 상에 투사된 이미지가 완전히 뚜렷(perfectly sharp)하지 않고, 센서 부재의 크기에 비하여 다소 "퍼지(fuzzy)"하다는 것을 의미한다.
본 발명의 예시적인 실시예들은 이전 고려된 것들에 비하여 더욱 많은 일반적인 사례들을 고려하여, 어레이 내의 각각의 2진 센서가 고정되지만 한편으로는 임의적인 임계치(arbitrary threshold)를 갖는다고 본다. 상기 어레이 내 각각의 2진 센서의 임계치는 초기 알려지지 않은 것으로 가정될 수 있다.
이하의 설명에서 2개의 다른 사례들이 고려된다. 제1 사례에서는 일부 트레이닝 데이터(training data)가 이용 가능하다고 가정한다, 즉, 2진 센서 어레이가 테스트되고 광의 강도 값들 및 상기 2진 센서 어레이의 상응하는 출력들이 기록된다. 이후, 각각의 2진 센서의 임계치들은, 예를 들어, 베이시안 추론(Bayesian inference)을 사용하여 결정될 수 있다. 제2 사례에서는 트레이닝 데이터가 이용 가능하지 않다고 가정한다. 이 제2 사례는 2개의 하위 사례들로 더 나누어질 수 있는데, (본 발명의 예시적인 실시예들 중 가장 관심사인) 제1 하위 사례에서는 임계치들의 확률 질량 함수(probability mass function)가 알려져 있거나, 적어도 추정(approximated)된다. 제2 하위 사례에서는, 임계치에 대해 알려진 것이 없다.
본 발명의 예시적인 실시예들은 유한(finite) 2진 센서 어레이를 사용한 광자 강도 추정 문제를 검토하며 해결한다. 균일(homogenous) 2진 센서들의 어레이를 사용하는 것과 대조적으로, 공간적으로 변화하는 임계치들을 갖는 2진 센서들의 어레이가 제공된다.
2진 센서들(2)의 예시적인 어레이(1)의 평면도를 나타내는 도 1A에 대한 참조가 이루어질 수 있다. (비-제한적인 실시예에서) 센서들(2)은 x 및 y 축들에 의해 정의된 정규 그리드 패턴으로 배열된다. 총 N개의 센서들이 있고, 여기서 N은 예를 들어, 약 106 내지 약 109 또는 더 큰 범위의 값을 갖는다. 어레이(1)와 관련된 것은, 센서들(2)을 어드레스(address) 하고 센서 값들을 독출하도록 구성된 독출 전자부들(readout electronics)(3)의 블록, 및 메모리(5)로 구체화된 데이터 저장 매체와 관련된 데이터 프로세서(4)이다. 메모리(5)는 컴퓨터 소프트웨어 프로그램(Prog)(6)을 저장하고, 상기 컴퓨터 소프트웨어 프로그램(6)은, 데이터 프로세서(4)에 의해 실행된 경우, 독출 전자부들(5)을 통해 수신된 센서 출력들이 처리되는 것을 가능케 한다.
도 1a에 나타난 여러 구성요소들은, 이미지 캡쳐 (카메라) 칩으로 구체화되거나, 독자적인(stand-alone) 방식으로 사용될 수 있는, 또는 다른 소자 또는 장치에 포함될 수 있는, 칩-셋 모듈(8)로 구체화될 수 있다. 일 예시적인 실시예가 도 5에 나타나며, 여기서 도 1a의 카메라 모듈(8)은 사용자 장비 내로(예를 들어, 휴대폰(cellular phone) 내로) 포함될 수 있는 카메라(28)의 전부 또는 일부를 형성할 수 있다.
도 1b는 2진 센서들(2) 중 일부의 활성화의 예를 나타낸다. 센서들(F, H)은, 그들 상으로 광자들이 침범(impinge)하지 않았기 때문에, 활성화되지 않는다. 센서들(B, C, D, G)은, 그들이 그들 각각의 임계치 값 이상의 많은 수의 광자들을 수신(흡수)하기 때문에, 활성화된다(즉, 논리 1 상태를 갖는다(assume)). 센서들(A, E)은, 그들이 그들 각각의 임계치 값 미만의 많은 수의 광자들을 수신(흡수)하기 때문에, 비활성을 유지한다(즉, 논리 0 상태를 유지한다).
각각의 2진 센서(2)의 임계치가 고정되었지만 알려지지 않은 경우를 가정한다. 나아가, 트레이닝 데이터가 이용 가능함을 가정한다. 먼저 상기 트레이닝 데이터가 각각의 2진 센서(2)의 임계치를 해석(solve)하는데 (또는 데이터의 양에 따라, 추정하는데) 사용된다. 이후, 노출된 2진 센서 어레이(1)의 출력을 전제로, 강도는, 2진 센서들(2)의 임계치들 및 그들의 배치들(위치들)의 정보(knowledge)를 사용하여 추정된다.
1 내지 N 으로 넘버링(enumerated)된, 2-차원의 어레이(1) 내 N 센서들(2)이 있음을 가정한다. i번째 2진 센서의 상태
Figure 112012058810672-pct00001
는 베르누이 랜덤 변수(Bernoulli random variable)이고, 상기 센서 i의 임계치
Figure 112012058810672-pct00002
는 이산 양성 랜덤 변수(discrete positive random variable)이다. 특정 2진 센서(2)의 상태가 다른 센서들(2)의 상태들과는 독립적임을 가정한다. 우리의 첫째 업무는, 2진 센서들의 출력들
Figure 112012058810672-pct00003
을 포함하는, 트레이닝 데이터의 세트(S) 및 상응하는 강도들
Figure 112012058810672-pct00004
를 기초로, 각각의 센서의 임계치를 결정하는 것이며, 여기서 i = 1, ..., N 이고 j = 1, ..., |S|이다. 각각의 센서(2)의 임계치는 다른 것들의 임계치와 독립적으로 결정된다. 그것의 임계치
Figure 112012058810672-pct00005
및 광 강도
Figure 112012058810672-pct00006
에서 센서 i가 활성화되는 확률은,
Figure 112012058810672-pct00007
이로부터 임계치
Figure 112012058810672-pct00008
에 대한 우도 함수(likelihood function)가 다음과 같이 기재될 수 있음이 뒤따른다.
Figure 112012058810672-pct00009
여기서
Figure 112012058810672-pct00010
는 i번째 센서와 상응하는 S의 부분집합(subset)이다. 센서 i의 임계치
Figure 112012058810672-pct00011
의 사후부분(posterior)의 상태(mode)는, 예를 들어, 최대 우도 추정(maximum likelihood estimate)을 사용하여 추정될 수 있다.
센서들(2)의 임계치들이 서로 독립적이다는 가정이 이루어졌었다. 인접 센서들의 임계치들이 독립적이지 않은 경우, 학습 속도를 증가시키는데 마코프 랜덤 필드(Markov random fields)의 이론이 사용될 수 있다(예를 들어,, Winkler의 "Image Analysis, Random Fields and Markov chain Monte Carlo methods Springer, 2003" 참조).
이제 i번째 2진 센서의 임계치
Figure 112012058810672-pct00012
가 모든 i = 1, ..., N에 대해 결정되었다고 가정한다. 다음 단계는, 2진 센서 어레이(1)의 출력
Figure 112012058810672-pct00013
을 기초로, 광 강도를 추정하는 것이다. 이전과 같이, 강도
Figure 112012058810672-pct00014
에 대한 우도 함수는 다음과 같이 기재될 수 있다.
Figure 112012058810672-pct00015
이제 상기 강도
Figure 112012058810672-pct00016
에 대한 추정치는, 예를 들어, 사전 분포(prior distribution)
Figure 112012058810672-pct00017
을 갖는 최대 사후 추정(maximum a posteriori estimation)을 이용하여 얻어질 수 있다.
이전의 분석에서, 광 강도를 추정하는데 베이시안 방법들이 사용되었다. 그러나, 피드포워드 신경회로망(feedforward neural networks)의 사용도 상기 업무에 잘 맞는다(예를 들어, S. Haykin의 "Neural Networks: Comprehensive Foundation, IEEE Press, 2nd edition, 1999" 참조). 일반적으로, 이용 가능한 트레이닝 데이터는 상기 센서 어레이 출력으로부터의 광을 추정하는 신경망(neural network)을 트레인(train) 시키는데 사용될 수 있다.
트레이닝 데이터의 사용 없는 추정을 고려한다. 더욱 구체적으로, 2진 센서 어레이(1)의 출력 및 임계치들의 확률 질량 함수를 기초로, 광을 결정하는 방법을 고려한다. 이 특정 사례는, 2진 센서들(2)의 임계치들이 구체적으로 결정되지 않았기 때문에, 이전의 사례들과 다르다. 대신, 확률 질량 함수 및 활성화된 센서들(2)의 개수에 대한 정보가 강도의 추정을 산출하는데 사용된다.
2진 센서 어레이(1)의 임계치들이 확률 질량 함수
Figure 112012058810672-pct00018
에 따라 분포됨을 가정한다. 목표는, 2진 센서 어레이(1)의 출력에 기초하여, 강도를 결정하는 것이다. 주어진 강도
Figure 112012058810672-pct00019
에서 특정 센서(2)가 활성화되는 확률은,
Figure 112012058810672-pct00020
여기서 M은 센서 2진 어레이(1) 내 최대 임계치이고,
Figure 112012058810672-pct00021
주어진 강도
Figure 112012058810672-pct00022
에서 l개의 반응된 센서들(lit sensors)(2)이 있는 확률은
Figure 112012058810672-pct00023
Figure 112012058810672-pct00024
에 대한 최대 우도 추정은 이전 실들을 최대화하는 값이다. 본 발명의 예시적인 실시예들이 이전의 추정법(estimator)에 제한되지 않고, 다른 추정법들도 사용될 수 있음에 유의한다.
도 2는 다음 사항: 강도
Figure 112012058810672-pct00025
에 대해 활성화된 센서들(2)의 개수의 기대값을 그래프로 보여준다. 실선의 경우, 센서 임계치는 T=l, T=2, T=3, 및 T=4 값들로 일정하게 유지되었고, 점선의 경우 임계 값들은 1 내지 4 사이에 균일하게 분포되었다.
도 3에서 다른 2진 센서 어레이들(1)의 성능이 비교된다. 더욱 구체적으로, 도 3은 강도
Figure 112012058810672-pct00026
에 대해 활성화된 센서들(2)의 개수의 기대값들의 미분값들을 그래프로 표사한다. 실선의 경우, 센서 임계치는 T=l, T=2, T=3, 및 T=4 값들로 일정하게 유지되었고, 점선의 경우, 임계 값들은 1 내지 4 사이에 균일하게 분포되었다.
예상될 수 있는 바와 같이, 모든 임계 값들이 1로 동일한 경우의 2진 센서 어레이(1)는 광 강도가 낮은 경우에 최고의 성능을 나타낸다. 반면에, 모든 임계 값들이 4로 동일한 경우, 광 강도가 높은 경우에는 성능이 좋지만, 낮은 강도에서는 수용 가능한 정도 미만의 성능을 나타낸다. 임계치들이 균일하게 분포된 경우의 센서 어레이(1)는, 양자 타입 모두에서의 센서 어레이들의 바람직한 특징들을 결합시킨다, 즉 임계치(1)를 갖는 어레이가 대부분 포화(saturated)된 경우에도 정보를 산출할 수 있고, 어레이(1)는 낮은 강도 레벨들에서도 상대적으로 감도가 좋으며, 여기서 모든 임계치들이 4로 동일한 어레이는 기본적으로 비-함수적(non-functional)이다.
공간적으로 변화하는 임계치들을 갖는 2진 센서 어레이(1)의 경우는 중요하다. 예를 들어, 단일 광자 감도(single photon sensitivity)를 갖는 2진 센서 어레이(1)가 예를 들어 포토리소그래피 기술을 사용함으로써 구성되기로 한 경우, 어레이(1) 내 2진 센서들(2)의 임계치들은 제조 공정 내 결함들(imperfections)의 결과로서 다소 변화할 것이다. 위에서 나타난 바와 같이, 이를 고려함으로써 2진 센서 어레이의 성능이 개선될 수 있다. 임계치들은 목적별로 다를 수도 있고 제어가능성의 다른 정도들에 따라 다를 수 있음에 유의한다(예를 들어, 알려진 분포를 사용하지만 위치들을 모름(using a known distribution but unknown locations)). 성능을 개선시키기 위해 제조 공정으로부터의 정보가 상기 방법에 입력(fed)될 수 있음에 더욱 유의한다.
리셉터들(2)을 구현하는 적절하고 비-제한적인 일 종류의 회로가 도 4에 나타난다. 이 경우 각각의 리셉터(2)는, 1-비트 크기 정량화(quantification)를 위한 단순 인버터-베이스 비교부 회로(simple inverter-based comparator circuit)(2B)와 연결된 포토다이오드(2A)를 포함한다. 조절 가능한 임계 전류는 배후 조명으로 인한 트리거링을 방지하는데 사용될 수 있다. 신호 전류(더하기 배후 전류(background current)가 임계 전류
Figure 112012058810672-pct00027
를 초과하는 경우 리셉터(픽셀)가 트리거되고, 방전 전류(discharging current)
Figure 112012058810672-pct00028
에 기인한
Figure 112012058810672-pct00029
사이에 걸친 전압
Figure 112012058810672-pct00030
은 비교부(2B)의 임계 전압
Figure 112012058810672-pct00031
밑으로 간다.
Figure 112012058810672-pct00032
가 신호 펄스의 크기에 비교하여 작음을 가정할 때, 픽셀의 감도는 픽셀의 입력 커패시턴스를 방전하는데 필요한 광 에너지
Figure 112012058810672-pct00033
에 의해 결정된다.
Figure 112012058810672-pct00034
여기서
Figure 112012058810672-pct00035
는, 포토다이오드 및 회로 입력 커패시턴스들을 포함하는, 픽셀의 총 입력 커패시턴스이고,
Figure 112012058810672-pct00036
는 비교부(2B)를 트리거시키는데 필요한 입력단(input)에서의 전압 변화이며,
Figure 112012058810672-pct00037
는 포토다이오드 반응도(responsivity) 및
Figure 112012058810672-pct00038
는 픽셀 필 팩터(pixel fill factor)이다. 비-제한적인 예들로서, 다른 가능한 접근들은, 인-픽셀 게인(in-pixel gain)을 제공하기 위해 아발란쉐(avalanche) 또는 충격 이온화(impact ionization)를 사용하는 것, 또는 퀀텀 닷들(quantum dots)을 사용하는 것을 포함한다.
지금까지 설명한 바와 같이 어레이(1) 내 개별적인 센서들(2)의 임계치 변동성(variability)이 어레이(1) 제조 공정 내 고유의 변동성(예를 들어, 물질 균일성에서의 차이들, 포토리소그래피 마스크 균일성의 차이들, 불순물 농도들, 불순물 레벨에서의 차이들 등)으로부터 기인한 것으로 가정될 수 있음에 유의한다. 그러나, 센서들(1) 중에서 의도적으로 임계치 변동성을 유도하는 예시적인 실시예들도 본 발명의 범위 내이다. 이는, 예를 들어, 센서들(1) 사이 및/또는 센서들(1)의 그룹들 사이가 서로 다르게 되도록 상기-언급된 임계 전류를 선택적으로 세팅하는 것에 의한 것과 같은 전기적인 방법으로 달성될 수 있다. 이 방법으로 도 2 및 도 3에 나타난 점선의 형태로 어느 정도 조절하거나 변경하는 것이 가능하게 될 수 있다.
도 5는, 평면도(좌측) 및 단면도(우측) 모두, 사용자 기기(UE)(10)와 같은, 장치의 예시적이고 비-제한적인 실시예를 도시한다. 도 5에서 UE(10)는 그래픽 디스플레이 인터페이스(20) 및 키패드로 도시된 유저 인터페이스(22)를 가지지만, 그래픽 디스플레이 인터페이스(20)에서의 터치 스크린 기술 및 마이크(24)에서 수신된 음성 인식 기술을 포함하는 것으로도 이해된다. 파워 액츄에이터(26)는 사용자에 의해 턴 온 및 오프 되는 장치를 제어한다.
예시적인 UE(10)는 카메라(28)를 포함하며, 이는 (예를 들어, 영상 통화를 위해) 전방을 향하는 것으로 나타났지만, 선택적으로 또는 추가적으로 (별도 저장용 비디오 및 이미지 캡쳐를 위해) 후방을 향할 수 있다. 카메라(28)는 셔터 액츄에이터(30)에 의해 제어되고 선택적으로 줌 액츄에이터(30)에 의해 제어되며 이는 양자택일적으로 카메라(28)가 활성 모드가 아닌 경우 스피커(들)을 위한 볼륨 조절로서 기능할 수 있다.
카메라(28)는, 전술한 바와 같은, 본 발명의 예시적인 실시예들에 따라 동작되고 구성된 이미지 센서 어레이(1)를 포함하도록 가정될 수 있다. 이전 언급한 바와 같이, 카메라(28)는 도 1a에 나타난 카메라 모듈(8)을 포함할 수 있다.
도 5의 단면도 내에서 전형적으로 셀룰러 통신에 사용되는 다중 전송/수신 안테나들(36)이 나타난다. 안테나들(36)은 UE 내 다른 무선통신들(radios)과의 사용을 위한 다중-밴드(multi-band)일 수 있다. 파워 칩(38)은, 동시에 공간 다양성이 사용되는 곳에서 전파송신(transmit)하는 안테나들 사이의 및/또는 전송되는 채널들 상의 전력 증폭을 제어하며, 수신된 신호들을 증폭한다. 전력 칩(38)은 베이스밴드 프로세싱을 위한 신호를 복조 및 다운컨버팅하는(downconcerts) 라디오 주파수(RF) 칩(40)으로 증폭된 수신된 신호를 출력한다. 베이스밴드(BB) 칩(42)은 신호를 감지하고, 상기 신호는 이후 비트 스트림으로 컨버팅되며 최종 디코딩된다. 장비(10) 내에서 생성되고 그로부터 전송된 신호들에 대해 역으로 유사한 프로세싱이 일어난다.
카메라(28)로부터 및 그로 가는 신호들은 다양한 이미지 프레임들을 인코딩하고 디코딩하는 이미지/비디오 프로세서(44)를 통과할 수 있다. 또한, 개별적인 오디오 프로세서(46)도 스피커들(34) 및 마이크(24)로부터 및 그들로 가는 신호들을 제어하도록 나타날 수 있다. 그래픽 디스플레이 인터페이스(20)는 유저 인터페이스 칩(50)에 의해 제어되어 프레임 메모리(48)로부터 리프레쉬되고, 유저 인터페이스 칩(50)은 디스플레이 인터페이스(20)로부터 및 그로 신호들을 처리할 수 있고 및/또는 키패드(22) 및 다른 곳으로부터의 사용자 입력들을 추가적으로 처리할 수 있다.
UE(10)의 특정 실시예들은 또한 무선 로컬 영역 네트워크 라디오(WLAN)(37) 및 블루투스 라디오(39)와 같은 1개 이상의 제2 라디오들을 포함할 수도 있고, 이들은 칩 상의 안테나에 포함되거나 칩 밖의 안테나와 체결될 수 있다.
랜덤 액세스 메모리(RAM)(43), 리드 온니 메모리(ROM)(45)와 같은 다양한 메모리들이 장치들 도처에 존재하고, 일부 실시예들에서 도시된 메모리 카드(47)와 같은 제거 가능 메모리(removable memory)가 있을 수 있으며, 상기 메모리 카드(47) 상에는 다양한 프로그램들(IOC)이 저장된다. UE(10) 내 이러한 구성요소들 모두는 일반적으로 배터리(49)와 같은 휴대용 전원에 의해 주로 전원 공급된다.
프로세서들(38, 42, 44, 46, 50)은, UE(10) 내 개별적인 개체들로 구체화된 경우, 메인 프로세서들(10A, 12A)에 대한 종(slave) 관계로 동작할 수 있고, 이 경우 메인 프로세서들(10A, 12A)은 그들에 대해 주(master) 관계일 수 있다. 본 발명의 실시예들은 나타난 바와 같이 다양한 칩들 및 메모리들에 걸쳐서 배치될 수 있거나, 또는 도 5에서 설명된 기능들 중 일부를 조합한 다른 프로세서 내로 배치될 수 있다. 도 5의 이러한 다양한 프로세서들 중 일부 또는 모두가 하나 이상의 다양한 메모리들을 엑세스하고, 상기 다양한 메모리들은 프로세서를 포함하는 칩 상에 있거나 그들로부터 분리될 수 있다.
전술되었던 다양한 집적 회로들(예를 들어, 칩들(38, 40, 42, 등))은 설명되었던 것보다 더 작은 수로 조합될 수 있고, 가장 소형인 경우, 모두가 물리적으로 단일 칩 내에 구체화될 수 있다.
다른 실시예들에서 사용자 장비는 무선 통신 능력을 가지지 않을 수 있다. 일반적으로 사용자 장비는, 예를 들어, 다양한 비-제한적인 예들로서, 카메라(28), 상기 카메라(28)를 포함하는 퍼스널 컴퓨터(예를 들어, 랩탑(laptop) 또는 노트북 컴퓨터), 상기 카메라(28)를 포함하는 게임 기기, 또는 단순히 디지털 카메라 장치일 수 있다.
본 발명의 예시적인 실시예들의 사용 및 적용은 많은 기술적 이점들 및 효과들을 제공한다. 예를 들어, (선천적으로) 다양한 임계치들을 갖는 2진 센서들(2)을 포함하는 2진 센서 어레이(1)는, 종래의 접근법들이 일부 알려진 (일정한) 센서 임계치들을 가정하였을 것이기 때문에 종래 사용불가능한 것으로 여겨졌지만, 그럼에도 불구하고 이미지들을 형성하는데 사용될 수 있다. 나아가, 임계치들의 분포를 선택함으로써, 제어불가능한 변동성(variability)이 있는 경우에도, 2진 센서들(2)의 어레이(1)의 이미징 성능(품질)이 개선될 수 있다.
이상의 설명을 기초로, 본 발명의 예시적인 실시예들이 N개의 부-회절 한계 광 센서들을 포함하는 어레이를 조명하는 광 강도를 추정하는 방법, 장치 및 컴퓨터 프로그램(들)을 제공한다는 것이 명백해졌을 것이다.
도 6은, 본 발명의 예시적인 실시예들에 따른, 방법의 동작 및 컴퓨터 프로그램 명령들의 실행 결과를 도시하는 논리 흐름도이다. 이러한 예시적인 실시예들에 다르면, 방법은, 블록(6A)에서 N 부-회절 한계 광 센서들을 포함하는 어레이를 제공하는 단계를 수행하며, 상기 N 부-회절 한계 광 센서들은 리셋 상태에서 활성화된 상태로 스위칭하기 위한 관련된 광 흡수 활성화 임계치를 갖고, 상기 광 흡수 활성화 값들은 소정값 범위(range of values) 내에 놓인다. 블록(6B)에는, 상기 어레이의 전기적 출력들에 기초하여, 상기 어레이를 조명하는 광의 강도를 추정하는 단계가 있다.
이전 단락에서 설명된 방법에서, 추정 단계는, 각각의 센서의 광 흡수 활성화 임계치를 결정하기 위해, 상기 어레이의 전기적 출력들에 기초하여, 상기 센서들의 상기 결정된 광 흡수 활성화 임계치들 및 그들의 위치들을 사용하여 상기 강도를 추정하기 위해, 트레이닝 데이터를 사용한다. 추정 단계는 베이시안 방법을 사용할 수 있거나, 또는 피드포워드 신경회로망(feedforward neural network)을 사용할 수 있고, 여기서 상기 트레이닝 데이터는 어레이의 전기적 출력들로부터 강도를 추정하기 위해 상기 신경망을 트레이닝 하는데 사용된다.
도 6에서 설명된 방법에서, 추정 단계는, 활성화된 센서들의 개수(a number of activated sensors)를 결정하기 위한 어레이의 전기적 출력과 센서들의 광 흡수 활성화 임계치들의 분포를 결정하기 위한 확률 질량 함수를 사용한다. 상기 강도의 추정은 최대 우도 추정을 사용할 수 있다.
이전 단락들에서 설명된 방법에서, N은 약 106 내지 약 109 또는 더 큰 범위이고, 광 흡수 활성화 값들은 약 1 내지 약 4의 값들의 범위 내에 놓인다.
이전 단락들에서 설명된 방법에서, 상기 방법은 사용자 장치 내에 구체화된 카메라 모듈에서 실행된다.
도 6에서 나타난 다양한 블록들은, 방법 단계들로, 및/또는 컴퓨터 프로그램 코드의 동작으로부터 나타난 동작들로, 및/또는 상기 관련된 기능(들)을 수행하도록 구성된 복수의 논리 회로 부재들이 체결된 것으로 간주될 수 있다.
일반적으로, 다양한 예시적인 실시예들은, 하드웨어 또는 특정 목적의 회로들, 소프트웨어, 로직 또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 일부 측면들은 하드웨어로 구현될 수 있고, 반면에 다른 측면들은 컨트롤러, 마이크로프로세서 또는 다른 컴퓨팅 장치에 의해 실행될 수 있는 펌웨어 또는 소프트웨어 내에 구현될 수 있으며, 다만 본 발명은 이에 제한되지 않는다.비록 본 발명의 예시적인 실시예들의 다양한 측면들이 블록도들, 흐름도들, 또는 일부 다른 삽화 도시(pictorial representation)를 사용하여 도시될 수 있지만, 여기에 설명된 이러한 블록들, 장치들, 시스템들, 기술들 또는 방법들이, 비-제한적인 예들로서, 하드웨어, 소프트웨어, 펌웨어, 특정 목적의 회로들 또는 로직, 일반적 목적의 하드웨어 또는 컨트롤러 또는 다른 컴퓨팅 장치들, 또는 이들의 일부 조합으로 구현될 수 있음이 잘 이해된다.
따라서, 본 발명의 예시적인 실시예들의 적어도 일부 측면들이 집적 회로 칩들 및 모듈들과 같은 다양한 구성요소들에서 활용될 수 있고, 본 발명의 예시적인 실시예들이 집적 회로로 구체화된 장치 내에 구현될 수 있음이 이해되어야 한다. 상기 집적 회로, 또는 회로들은, 본 발명의 예시적인 실시예들에 따라 동작하도록 구성될 수 있는 디지털 신호 프로세서 또는 프로세서들 및 데이터 프로세서 또는 데이터 프로세서들 중 적어도 하나 이상을 구체화하기 위한 회로구성(및 가능하다면 펌웨어)을 포함할 수 있다.
첨부된 도면들과 함께 읽을 경우, 이전의 설명들을 기초로 본 발명의 이전의 예시적인 실시예들에 대한 다양한 수정들 및 개조들(adaptations)이 당업자에게 명백해질 수 있다. 그러나, 임의의 그리고 모든 수정들은 여전히 본 발명의 비-제한적이고 예시적인 실시예들의 범위 내에 해당될 것이다.
예를 들어, 비록 도 1a에서 2진 광 센서들(2)의 2차원 어레이(1)들이 나타났지만, 다른 실시예들에서, 상기 어레이(1)는 2진 광 센서들의 3차원 어레이일 수 있다(즉, Ossi M. Kalevo, Samu T. Koskinen, Terro Rissa의 "Image Sensor"라는 제목의 2009년 6월 4일 출원된, 동시진행(copending) 중인 미국 특허 출원 일련번호 제12/384,549호에서 설명된 바와 같이, 어레이(1)의 z-축을 따라 배치된 이미지 센서들(2)이 추가로 있을 수 있다).
용어들 "연결된(connected)", "체결된(copuled)" 또는 임의의 이들의 변형 용어들은, 2개 이상의 요소들 사이의 직접적 또는 간접적 임의의 연결 또는 체결을 의미하며, 서로 "연결된" 또는 "체결된" 2개의 요소들 사이에 1개 이상의 중간 요소들의 존재를 포함할 수 있다. 요소들 사이의 체결 또는 연결은 물리적, 논리적이거나, 또는 이들의 조합으로 이루어질 수 있다. 여기에 사용된 2개의 요소들은, 많은 비-제한적인 및 비-배타적인 예들로서, 1개 이상의 와이어들, 케이블들 및/또는 인쇄된 전기적 연결들의 사용에 의해, 또한 전자기 에너지의 사용에 의해 서로 "연결된" 또는 "체결된" 것으로 여겨질 수 있으며, 여기서 상기 전자기 에너지는 예를 들어 라디오 주파수 영역, 마이크로웨이브 영역 및 광 영역(가시 및 비가시 모두)에서의 파장들을 갖는 전자기 에너지이다.
나아가, 본 발명의 다양한 비-제한적인 및 예시적인 실시예들의 특징들 일부는, 다른 특징들에 대한 상응하는 사용 없이도, 효과를 달성하는데 사용될 수 있다. 따라서, 이전의 설명은 원칙들, 가르침들 및 본 발명의 예시적인 실시예들을 단순히 도시하는 것으로 여겨져야 하며, 이들의 제한을 하는 것이 아니다.

Claims (30)

  1. 장치로서,
    복수의 부-회절 제한 광 센서들(sub-diffraction limit light sensors)－각각의 센서는 자신의 출력 상태를 제1 상태로부터 제2 상태로 스위칭하기 위한 연관된 활성화 임계치를 갖고, 상기 센서들의 적어도 일부의 상기 활성화 임계치들은 상이한 개수의 광자들(photons)에 의해 정의됨－과,
    프로세서와,
    컴퓨터 프로그램 코드를 포함하는 메모리를 포함하되,
    상기 메모리 및 컴퓨터 프로그램 코드는, 상기 프로세서와 함께, 상기 장치로 하여금 상기 센서들의 상이한 활성화 임계치들－상기 상이한 활성화 임계치들은 상이한 개수의 광자들에 의해 정의됨－의 분포에 기초하여 상기 복수의 센서들의 출력 상태들을 해석함으로써 상기 복수의 센서들 상에 투사된 광을 추정하는 것을 적어도 수행하도록 하게 하는
    장치.
  2. 제1항에 있어서,
    상기 센서는 상기 제1 상태 및 상기 제2 상태만을 출력 상태로 갖는 2진 센서인
    장치.
  3. 제1항 또는 제2항에 있어서,
    상기 장치는, 상기 센서들의 상이한 활성화 임계치들의 분포에 기초하여, 출력 상태들의 공간 분포(spatial distribution)를 투사된 광의 공간 분포로 변환하는
    장치.
  4. 제1항 또는 제2항에 있어서,
    상기 추정은 베이시안 방법(Bayesian method)을 사용하는
    장치.
  5. 삭제
  6. 제1항 또는 제2항에 있어서,
    상기 활성화 임계치는 상기 센서의 임계 전류를 선택적으로 설정함으로써 전기적인 방법으로 능동적으로 제어되는
    장치.
  7. 제1항 또는 제2항에 있어서,
    상기 복수의 센서들은 규칙적인 격자(regular grid)로 배열되는
    장치.
  8. 제1항 또는 제2항에 있어서,
    상기 복수의 센서들은 106 개가 넘는 센서들을 포함하는
    장치.
  9. 제1항 또는 제2항에 있어서,
    상기 장치는 사용자 디바이스 내의 카메라로서 구현되는
    장치.
  10. 복수의 부-회절 제한 광 센서들을 제공하는 단계－각각의 센서는 자신의 출력 상태를 제1 상태로부터 제2 상태로 스위칭하기 위한 연관된 활성화 임계치를 갖고, 상기 센서들의 적어도 일부의 상기 활성화 임계치들은 상이한 개수의 광자들에 의해 정의됨－와,
    상기 센서들의 상이한 활성화 임계치들－상기 상이한 활성화 임계치들은 상이한 개수의 광자들에 의해 정의됨－의 분포에 기초하여 상기 복수의 센서들의 출력 상태들을 해석함으로써 상기 복수의 센서들 상에 투사된 광을 추정하는 단계를 포함하는
    방법.
  11. 제10항에 있어서,
    상기 제1 상태 및 상기 제2 상태만을 출력 상태로 갖는 2진 센서들을 사용하는 단계를 포함하는
    방법.
  12. 제10항 또는 제11항에 있어서,
    상기 센서들의 상이한 활성화 임계치들의 분포에 기초하여, 출력 상태들의 공간 분포를 투사된 광의 공간 분포로 변환하는 단계를 포함하는
    방법.
  13. 제10항 또는 제11항에 있어서,
    상기 추정하는 단계는 베이시안 방법(Bayesian method)을 사용하는
    방법.
  14. 제10항 또는 제11항에 있어서,
    상기 복수의 센서들의 상이한 활성화 임계치들의 분포를 결정하기 위해 트레이닝 데이터를 사용하는 단계와, 상기 센서들의 상이한 활성화 임계치들의 결정된 분포를 사용하여 광을 추정하기 위해 상기 복수의 센서들의 전기적 출력들 및 상기 센서들의 위치들을 사용하는 단계를 포함하는
    방법.
  15. 제10항 또는 제11항에 있어서,
    상기 추정하는 단계는, 상기 복수의 센서들의 전기적 출력을 사용하여 상기 센서들의 상이한 활성화 임계치들의 분포를 결정하기 위한 확률 질량 함수와 활성화된 센서들의 개수(a number of activated sensors)를 결정하는
    방법.
  16. 명령어들로 인코딩된 비-일시적(non-transitory) 컴퓨터-판독가능 저장 매체로서,
    프로세서에 의해 실행되는 경우, 상기 명령어들은, 각각의 센서가 자신의 출력 상태를 제1 상태로부터 제2 상태로 스위칭하기 위한 연관된 활성화 임계치를 갖는 복수의 센서들의 상이한 활성화 임계치들의 분포에 기초하여, 상기 복수의 센서들의 출력 상태들을 해석함으로써 상기 복수의 센서들 상에 투사된 광의 추정을 적어도 수행하고,
    상기 상이한 활성화 임계치들은 상이한 개수의 광자들에 의해 정의되는
    비-일시적 컴퓨터-판독가능 저장 매체.
  17. 제16항에 있어서,
    상기 센서는 상기 제1 상태 및 상기 제2 상태만을 출력 상태로 갖는 2진 센서인
    비-일시적 컴퓨터-판독가능 저장 매체.
  18. 제16항 또는 제17항에 있어서,
    상기 명령어들이 상기 프로세서에 의해 실행되는 경우, 상기 명령어들은 상기 센서들의 상이한 활성화 임계치들의 분포에 기초하여, 출력 상태들의 공간 분포를 투사된 광의 공간 분포로 변환하는
    비-일시적 컴퓨터-판독가능 저장 매체.
  19. 제16항 또는 제17항에 있어서,
    상기 추정은 베이시안 방법(Bayesian method)을 사용하는
    비-일시적 컴퓨터-판독가능 저장 매체.
  20. 제16항 또는 제17항에 있어서,
    상기 명령어들이 상기 프로세서에 의해 실행되는 경우, 상기 명령어들은 상기 센서들의 상이한 활성화 임계치들의 분포를 결정하는
    비-일시적 컴퓨터-판독가능 저장 매체.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
KR1020127019506A 2009-12-23 2010-12-22 공간적으로 변화하는 임계치들을 갖는 ２진 센서 어레이를 사용한 강도 추정 KR101397351B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/645,721 US8420996B2 (en) 2009-12-23 2009-12-23 Intensity estimation using binary sensor array with spatially varying thresholds
US12/645,721 2009-12-23
PCT/IB2010/056033 WO2011077398A1 (en) 2009-12-23 2010-12-22 Intensity estimation using binary sensor array with spatially varying thresholds

Publications (2)

Publication Number Publication Date
KR20120096594A KR20120096594A (ko) 2012-08-30
KR101397351B1 true KR101397351B1 (ko) 2014-05-21

Family

ID=44150616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127019506A KR101397351B1 (ko) 2009-12-23 2010-12-22 공간적으로 변화하는 임계치들을 갖는 ２진 센서 어레이를 사용한 강도 추정

Country Status (7)

Country Link
US (1) US8420996B2 (ko)
EP (1) EP2517459B1 (ko)
KR (1) KR101397351B1 (ko)
CN (1) CN102741670B (ko)
BR (1) BR112012015711B1 (ko)
CA (1) CA2784873C (ko)
WO (1) WO2011077398A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8319855B2 (en) * 2010-01-19 2012-11-27 Rambus Inc. Method, apparatus and system for image acquisition and conversion
WO2013070942A1 (en) 2011-11-08 2013-05-16 Rambus Inc. Image sensor sampled at non-uniform intervals
WO2013070932A1 (en) * 2011-11-08 2013-05-16 Rambus Inc. Conditional-reset, temporally oversampled image sensor
US9185311B2 (en) 2012-07-31 2015-11-10 Rambus Inc. Image sensor with a split-counter architecture
US9036065B1 (en) 2012-08-16 2015-05-19 Rambus Inc. Shared-counter image sensor
US9177987B2 (en) 2012-10-12 2015-11-03 Samsung Electronics Co., Ltd. Binary CMOS image sensors, methods of operating same, and image processing systems including same
US9432604B2 (en) 2012-10-12 2016-08-30 Samsung Electronics Co., Ltd. Image sensor chips
US9679929B2 (en) 2012-10-12 2017-06-13 Samsung Electronics Co., Ltd. Binary image sensors including quantum dots and unit pixels thereof
US9462202B2 (en) 2013-06-06 2016-10-04 Samsung Electronics Co., Ltd. Pixel arrays and imaging devices with reduced blooming, controllers and methods
KR20150081093A (ko) * 2014-01-03 2015-07-13 삼성전자주식회사 이미지 센서, 및 이를 포함하는 이미지 처리 시스템
US10387743B2 (en) * 2016-03-16 2019-08-20 Ramot At Tel-Aviv University Ltd. Reconstruction of high-quality images from a binary sensor array
US10823611B2 (en) * 2018-09-12 2020-11-03 Bae Systems Information And Electronic Systems Integration Inc. Light sensing apparatus with automatic gain control
CN115667886A (zh) * 2020-05-20 2023-01-31 Ysi公司 扩展式立体角浊度传感器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050074590A (ko) * 2002-11-12 2005-07-18 소니 가부시끼 가이샤 광원 추정 장치, 광원 추정 방법, 촬상 장치 및 화상 처리방법
KR20080029226A (ko) * 2006-09-28 2008-04-03 삼성전자주식회사 광원 추정 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5036546A (en) * 1986-10-06 1991-07-30 Grumman Aerospace Corporation Pseudo-noise product coded aperture arrays and method for designing same
EP1258740A2 (en) * 1994-12-23 2002-11-20 Digirad Corporation Semiconductor gamma-ray camera and medical imaging system
US7106377B2 (en) * 2001-07-25 2006-09-12 Hewlett-Packard Development Company, L.P. Image capturing device capable of single pixel exposure duration control
US7095439B2 (en) * 2002-04-04 2006-08-22 Motorola, Inc. Image sensor circuit and method
US20040096820A1 (en) * 2002-05-31 2004-05-20 Ciphergen Biosystems, Inc. Comparative proteomics of progressor and nonprogressor populations
KR100835380B1 (ko) * 2007-01-15 2008-06-05 한국과학기술원 영상의 경계를 검출하는 방법 및 그 장치와 이를 구현할 수있는 컴퓨터로 읽을 수 있는 기록 매체
US7923801B2 (en) * 2007-04-18 2011-04-12 Invisage Technologies, Inc. Materials, systems and methods for optoelectronic devices
WO2009136989A1 (en) 2008-05-09 2009-11-12 Ecole Polytechnique Federale De Lausanne Image sensor having nonlinear response
US8816460B2 (en) * 2009-04-06 2014-08-26 Nokia Corporation Image sensor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050074590A (ko) * 2002-11-12 2005-07-18 소니 가부시끼 가이샤 광원 추정 장치, 광원 추정 방법, 촬상 장치 및 화상 처리방법
KR20080029226A (ko) * 2006-09-28 2008-04-03 삼성전자주식회사 광원 추정 방법 및 장치

Also Published As

Publication number Publication date
CN102741670B (zh) 2015-03-04
BR112012015711B1 (pt) 2022-02-08
KR20120096594A (ko) 2012-08-30
CA2784873A1 (en) 2011-06-30
EP2517459A1 (en) 2012-10-31
EP2517459B1 (en) 2021-02-17
US8420996B2 (en) 2013-04-16
US20110149274A1 (en) 2011-06-23
EP2517459A4 (en) 2018-01-03
WO2011077398A1 (en) 2011-06-30
CA2784873C (en) 2014-08-19
CN102741670A (zh) 2012-10-17
BR112012015711A2 (pt) 2021-07-20

Similar Documents

Publication Publication Date Title
KR101397351B1 (ko) 공간적으로 변화하는 임계치들을 갖는 ２진 센서 어레이를 사용한 강도 추정
CN104054327B (zh) 具有集成周围光检测的图像传感器
JP4685120B2 (ja) 光電変換装置及び撮像システム
Chen et al. Pulse-modulation imaging—Review and performance analysis
CN102970493B (zh) 多重转换增益图像传感器的多电平复位电压
US8969775B2 (en) High dynamic range pixel having a plurality of amplifier transistors
CN102460700B (zh) 用于子衍射极限传感器的滤色器
TWI556418B (zh) 影像感測器
US10313610B2 (en) Image sensors with dynamic pixel binning
US8970731B2 (en) Method and apparatus for controlling adaptive exposure and image sensor having the same
TW201043018A (en) Solid-state image pickup element and control method thereof
CN113812141A (zh) 固态成像装置与电子器件
US9157794B2 (en) Imaging device and imaging method having saturation determination for an illuminance calculation
KR101621048B1 (ko) 가변 해상도를 갖는 저전력 cmos 이미지 센서
US20230139967A1 (en) Image sensor, image acquisition apparatus, and electronic apparatus including the image acquisition apparatus
Park et al. A simple and robust self-reset CMOS image sensor
US11997401B2 (en) Image sensor, image acquisition apparatus, and electronic apparatus with improved performance
JP5258806B2 (ja) 光電変換装置
US12010444B2 (en) Image sensor, image acquisition apparatus, and electronic apparatus including the image acquisition apparatus for synchronization and serialization of generated pulses
Ma et al. Wide-angle lens array spatial acquisition with ultrawide field of view in optical links under atmospheric scintillation and background radiation
Kisku et al. AI driven Wide Dynamic Range CMOS Image Sensor
SUZUKI et al. A 4T-PWM CMOS image sensor for low power
JP2018192062A (ja) 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180417

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190417

Year of fee payment: 6