KR101711097B1 - 실시간 이미지들의 획득 및 디스플레이 - Google Patents

실시간 이미지들의 획득 및 디스플레이 Download PDF

Info

Publication number
KR101711097B1
KR101711097B1 KR1020137025280A KR20137025280A KR101711097B1 KR 101711097 B1 KR101711097 B1 KR 101711097B1 KR 1020137025280 A KR1020137025280 A KR 1020137025280A KR 20137025280 A KR20137025280 A KR 20137025280A KR 101711097 B1 KR101711097 B1 KR 101711097B1
Authority
KR
South Korea
Prior art keywords
pixels
image
subset
display
additional
Prior art date
Application number
KR1020137025280A
Other languages
English (en)
Other versions
KR20140008415A (ko
Inventor
아르얀 윌레엄 데 그루트
Original Assignee
포토니스 네덜란드 비.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포토니스 네덜란드 비.브이. filed Critical 포토니스 네덜란드 비.브이.
Publication of KR20140008415A publication Critical patent/KR20140008415A/ko
Application granted granted Critical
Publication of KR101711097B1 publication Critical patent/KR101711097B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/12—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification
    • G02B23/125—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification head-mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

실시간으로 이미지들을 획득하고 디스플레이하기 위한 이미징 디바이스(100)로서, 이미징 디바이스는 i) 이미지(142)를 획득하기 위한 방사선 감지 어레이(120)를 포함하는 이미징 센서(110), ii) 이미지를 판독하기 위해 방사선 감지 어레이에 연결된 판독 회로(140), iii) 프로세싱된 이미지(162, 262)를 획득하기 위해 이미지를 프로세싱하기 위한 신호 프로세서(160, 260), 및 iv) 프로세싱된 이미지를 디스플레이하기 위한 디스플레이(180)를 포함하고, 방사선 감지 어레이는 센서 픽셀들의 로우들로 배열되고, 디스플레이는 디스플레이 픽셀들의 로우들로 배열되며, 여기서 판독 회로는 픽셀들의 서브세트들을 순차적으로 제공하기 위해 센서 픽셀들의 로우들을 순차적으로 판독하기 위한 롤링 셔터 회로이고, 신호 프로세서는 픽셀들의 서브세트들 중 하나의 이용가능성에 대해 픽셀들의 프로세싱된 서브세트를 제공하기 위한 픽셀들의 서브세트를 프로세싱하도록 구성되고, 디스플레이는 픽셀들의 프로세싱된 서브세트의 이용가능성에 대해 디스플레이 픽셀들의 로우들 상에 프로세싱된 이미지를 순차적으로 디스플레이하기 위해 디스플레이 픽셀들의 그에 대응하는 서브세트 상에 픽셀들의 프로세싱된 서브세트를 디스플레이하도록 구성된다.

Description

실시간 이미지들의 획득 및 디스플레이{ACQUIRING AND DISPLAYING IMAGES IN REAL-TIME}
본 발명은 실시간으로 이미지들을 획득하고 디스플레이하기 위한 이미징 디바이스 및 그 방법에 관한 것이다. 본 발명은 또한 설명된 이미징 디바이스를 구비하는 헬멧, 헤드 마운트, 라이플 사이트(rifle sight) 또는 휴대용 디바이스에 관한 것이다.
직시형 시스템(direct view system)들은, 이미지들이 이미징 컴포넌트에 의해 획득된 후 디스플레이 컴포넌트에 의해 실시간으로 사용자에게 제공된 이미징 디바이스들이다. 이러한 직시형 시스템들에서는, 이미지의 획득과 이미지의 디스플레이 사이의 시간차가 존재할 수 있다. 이러한 시간차는 통상적으로 레이턴시(latency)로 지칭된다. 직시형 시스템들의 예들은 나이트 비전 디바이스(night vision device)들 및 텔레스코픽 뷰잉 디바이스(telescopic viewing device)들이다.
레이턴시는 대부분 특히 직시형 시스템이 휴대용으로 의도되는 경우에 바람직하지 않다. 이러한 이유는, 직시형 시스템을 이용할 때 사용자가 이동할 수 있기 때문이다. 레이턴시는 사용자로 하여금 디스플레이 컴포넌트를 통해서 보다는 사용자의 다른 모션의 감지들, 예컨대, 사용자의 전정계(vestibular system)를 통해서 상이한 모션을 인지하게 할 수 있다. 만약 레이턴시, 즉 결과적으로는 인지된 모션과 그렇지 않으면 경험된 모션 사이의 미스매치(mismatch)가 너무 높으면, 사용자는 메스꺼움(nausea) 또는 멀미(motion sickness)를 경험할 수 있다.
수많은 직시형 시스템들은 대부분 광학적 또는 광-전자적 기반이다. 예를 들어, 나이트 비전 디바이스는 이미징 컴포넌트로서 옵틱스 및 이미지 증배관(image intensifier tube) 그리고 디스플레이 컴포넌트로서 형광면(phosphor screen)을 포함한다. 동작 동안, 낮은 광 레벨 장면으로부터의 광자들은 광전자들로 변환되고, 이미지 증배관에 의해 증식되어, 최종적으로 그들의 변환에 대한 형광면을 향해서 다시 가시광으로 가속된다. 이러한 직시형 시스템의 레이턴시는 통상적으로 형광면(phosphorous screen)의 부식(decay)에 의해 정의되는 바와 같이, 휴대 사용 동안 사용자가 멀미를 경험하게 하는 것을 회피하기 위해 충분히 낮은 수 밀리초이다.
이미지가 중간에 디지털 형태로, 즉, 디지털 신호 도메인으로 표현된 것으로 이용가능한 직시형 시스템을 갖추는 것이 바람직할 수 있다. 이는, 이미지의 품질을 개선시키고, 관련 정보를 그 이미지에 오버레이 시키는 등을 위해 디지털 신호 프로세싱을 직시형 시스템으로 하여금 채용하도록 허용할 수 있다. 이러한 직시형 시스템은 이미지를 획득하기 위한 반도체 센서, 이미지를 프로세싱하기 위한 신호 프로세서 및 이미지를 디스플레이하기 위한 전자 디스플레이를 이용할 수 있다.
이러한 디지털 신호 도메인 기반 직시형 시스템의 전반적인 레이턴시는 비교적 높을 수 있다. 불리하게, 사용자는 이러한 직시형 시스템의 휴대 사용 동안 멀미를 경험할 수 있다.
본 발명의 목적은, 감소된 레이턴시를 통해서 실시간으로 이미지들을 획득하고 디스플레이하기 위한 이미징 디바이스, 및 그 방법을 제공하는 것이며, 여기서 이미지는 신호 프로세싱을 허용하기 위해 디지털 형태로 개재하여 이용가능하다.
본 발명에 따르면, 이러한 목적은, 이미징 디바이스가 실시간으로 이미지들을 획득하고 디스플레이하기 위해 제공되어 실현되며, 여기서 이미징 디바이스는 i) 이미지를 획득하기 위한 방사선 감지 어레이를 포함하는 이미징 센서, ii) 이미지를 판독하기 위해 방사선 감지 어레이에 연결된 판독 회로, iii) 프로세싱된 이미지를 획득하기 위해 이미지를 프로세싱하기 위한 신호 프로세서, 및 iv) 프로세싱된 이미지를 디스플레이하기 위한 디스플레이를 포함하고, 방사선 감지 어레이는 센서 픽셀들의 로우(row)들로 배열되고, 디스플레이는 디스플레이 픽셀들의 로우들로 배열되며, 여기서 판독 회로는 픽셀들의 서브세트들을 순차적으로 제공하기 위해 센서 픽셀들의 로우들을 순차적으로 판독하기 위한 롤링 셔터 회로(rolling shutter circuit)이고, 신호 프로세서는 픽셀들의 서브세트들 중 하나의 이용가능성에 대해 픽셀들의 프로세싱된 서브세트를 제공하기 위해 픽셀들의 서브세트를 프로세싱하도록 구성되고, 디스플레이는 픽셀둘의 프로세싱된 서브세트의 이용가능성에 대해 디스플레이 픽셀들의 로우들 상에 프로세싱된 이미지를 순차적으로 디스플레이하기 위해 디스플레이 픽셀들의 그에 대응하는 서브세트 상에 픽셀들의 프로세싱된 서브세트를 디스플레이하도록 구성된다.
본 발명의 추가적인 양상에서, 설명된 이미징 디바이스를 포함하는 헬멧, 헤드 마운트, 라이플 사이트 또는 휴대용 디바이스가 제공된다.
본 발명의 추가적인 양상에서, 이미징 디바이스를 통해서 실시간으로 이미지들을 획득하고 디스플레이하는 방법이 제공되며, 여기서 이미징 디바이스는 i) 이미지를 획득하기 위한 방사선 감지 어레이를 포함하는 이미징 센서, ii) 이미지를 판독하기 위해 방사선 감지 어레이에 연결된 판독 회로, iii) 프로세싱된 이미지를 획득하기 위해 이미지를 프로세싱하기 위한 신호 프로세서, 및 iv) 프로세싱된 이미지를 디스플레이하기 위한 디스플레이를 포함하고, 방사선 감지 어레이는 센서 픽셀들의 로우들로 배열되고, 디스플레이는 디스플레이 픽셀들의 로우들로 배열되며, 여기서 이 방법은 픽셀들의 서브세트들 중 하나의 이용가능성에 대해 픽셀들의 서브세트들을 순차적으로 제공하기 위해 판독 회로를 통해서 센서 픽셀들의 로우들을 순차적으로 판독하는 단계, 픽셀들의 프로세싱된 서브세트를 제공하기 위해 신호 프로세서를 통해서 픽셀들의 서브세트를 프로세싱하는 단계, 및 픽셀들의 프로세싱된 서브세트의 이용가능성에 대해 디스플레이 픽셀들의 로우들 상에 프로세싱된 이미지를 순차적으로 디스플레이하기 위해 디스플레이 픽셀들의 그에 대응하는 서브세트 상에 디스플레이를 통해서 픽셀들의 프로세싱된 서브세트를 디스플레이하는 단계를 포함한다.
본 발명의 추가적인 양상에서, 컴퓨터-판독가능 매체 상에 저장된 컴퓨터 프로그램이 제공되며, 이 컴퓨터 프로그램은 설명된 방법을 프로세서 시스템으로 하여금 수행하게 하기 위한 명령들을 포함한다.
본 발명에 따른 측정법들은, 실시간으로 이미지들을 획득하고 디스플레이하기 위한 이미징 디바이스, 즉, 직시형 시스템, 및 이미징 디바이스를 동작시키는 방법을 제공한다. 여기서, 실시간은 가능한 한 시간상으로 밀접한 현재 장면을 반사시키는 장면의 이미지들을 관찰하기 위해 사용자가 이미징 디바이스를 사용하는 것을 지칭한다. 이미징 디바이스는, 이미징 센서, 예컨대, CMOS(Complementary Metal-Oxide-Semiconductor) 센서와 같은 반도체 센서를 포함한다. 이미징 센서는 장면으로부터 방출된 또는 반사된 방사선을 장면의 디지털 표현, 즉, 이미지로 변환하는데 이용된다. 이 목적을 위해, 이미징 센서는 센서 픽셀들의 로우들로 배열된 방사선 감지 어레이를 포함한다. 이미징 디바이스는 또한 센서 픽셀들의 로우들로부터 이미지를 순차적으로 판독하고 어드레싱함으로써 방사선 감지 어레이로부터 이미지를 판독하는 판독 회로, 즉, 회로망(circuitry)을 포함한다. 이미징 디바이스는 또한 디지털 신호 프로세싱을 이용하여 이미징 센서로부터 획득된 이미지를 프로세싱하도록 구성된 신호 프로세서를 포함한다. 그 결과, 프로세싱된 이미지가 제공되며, 그 후 디스플레이 상에 디스플레이된다. 디스플레이는 디스플레이 픽셀들의 로우들로 배열된다. 이와 같이, 디스플레이 픽셀들의 로우들이 방사선 감지 어레이의 센서 픽셀들의 대응하는 로우들에 의해 획득된 이미지를 디스플레이하는데 이용된다.
이미징 디바이스는 획득된 이미지와 디스플레이된 프로세싱된 이미지 사이의 레이턴시를 감소시키도록 구성된다. 그 목적을 위해, 판독 회로는 롤링 셔터 회로이다. 롤링 셔터는 또한 라인 스캔으로 알려져 있으며, 센서 픽셀들의 로우들이 순차적으로, 즉, 서로 이후에 하나의 로우, 또는 서로 이후에 로우들의 서브세트이 판독되는 방사선 감지 어레이를 판독하는 방식을 지칭한다. 결과적으로, 판독된 로우들 또는 로우들의 서브세트는 시간상으로 상이한 시점들에 대응한다. 센서 픽셀들의 로우들의 판독 결과로서, 롤링 셔터 회로는 신호 프로세서에 픽셀들의 서브세트들을 순차적으로 제공한다. 차례로, 픽셀들의 서브세트를 수신할 때, 신호 프로세서는 픽셀들의 서브세트를 프로세싱하고, 그후 프로세싱의 결과, 즉, 픽셀들의 프로세싱된 서브세트를 디스플레이에 제공한다. 다음으로, 픽셀들의 각각의 프로세싱된 서브세트는 디스플레이 픽셀들의 그에 대응하는 서브세트 상에 디스플레이에 의해 디스플레이된다. 따라서, 센서 픽셀들의 로우들은 픽셀들의 서브세트들의 시퀀스를 제공하기 위해 순차적으로 판독되며, 여기서 픽셀들의 서브세트는 신호 프로세서의 수신 이후에 프로세싱되고 디스플레이에 의한 수신 이후에 디스플레이된다.
본 발명이 픽셀들의 로우의 판독, 프로세싱 및 디스플레이를 지칭한다는 것이 이해될 것이다. 그 이유는, 센서들 및 디스플레이들이 로우-기반 방식으로 공통으로 판독되거나 또는 기입되기 때문이다. 그러나, 본 발명은 픽셀들의 컬럼(column)들의 판독, 프로세싱 및 디스플레이에 동등하게 적용가능하며, 예를 들어, 판독 회로는 센서 픽셀들의 컬럼들을 순차적으로 판독하도록 배열될 수 있다.
본 발명은, 통상적인 직시형 시스템들에서 방사선 감지 어레이로부터 이미지를 판독하기 위해 소위 스냅샷 모드라는 용어가 이용된다는 인식에 부분적으로 기초한다. 여기서, 전체 이미지가 먼저 판독되고 프레임 버퍼 메모리 내에 저장되고, 전체 이미지가 저장되었을 때에만, 이미지가 프로세싱되고 그 전체가 순차적으로 디스플레이된다. 불리하게, 프로세싱 이전에 또는 프로세싱 동안 프레임 버퍼에 이미지를 저장함으로써 도입된 레이턴시는 사용자로 하여금 직시형 시스템의 휴대 사용 동안 사용자로 하여금 멀미를 경험하게 할 수 있다.
앞서 언급된 측정법들의 효과는, 센서 픽셀들의 대응하는 서브세트가 판독된 바로 직후에 이미징 디바이스가 디스플레이 픽셀들의 서브세트 상에 픽셀들의 서브세트를 디스플레이하도록 구성된다는 것이다. 따라서, 이미징 디바이스는 판독된 이미지의 각각의 부분, 즉, 픽셀들의 각각의 서브세트를 직접 신호 프로세서에 제공하고, 후속하여 각각 프로세싱된 부분을 디스플레이에 제공하도록 구성된다. 그 결과, 이미징 디바이스의 전반적인 레이턴시는 감소된다. 유리하게, 이미징 디바이스의 레이턴시는 이미징 디바이스의 휴대 사용 동안 사용자가 멀미를 경험하는 것을 회피하기 위해 상당히 감소된다.
선택적으로, 이미징 디바이스는 추가 이미징 센서 및 추가 판독 회로를 포함하고, 추가 이미징 센서는 추가 이미지를 획득하기 위해 추가 방사선 감지 어레이를 포함하고, 추가 판독 회로는 추가 이미지를 판독하기 위해 추가 방사선 감지 어레이에 연결되며, 추가 방사선 감지 어레이는 추가 센서 픽셀들의 로우들로 배열되고, 추가 판독 회로는 픽셀들의 추가 서브세트들을 순차적으로 제공하기 위해 추가 센서 픽셀들의 로우를 순차적으로 판독하기 위한 추가 롤링 셔터 회로이며, 여기서 이미징 디바이스는 롤링 셔터 회로에 의해 디스플레이 상에 이미지와 추가 이미지를 동시에 디스플레이하도록 구성되고, 추가 폴링 셔터 회로는 이미지와 추가 이미지의 대응하는 부분들을 실질적으로 동시에 판독함으로써 픽셀들의 서브세트 및 픽셀들의 추가적인 서브세트들 중 하나를 동시에 제공하도록 구성되며, 신호 프로세서는 픽셀들의 서브세트 및 픽셀들의 추가 서브세트의 이용가능성에 대해 픽셀들의 프로세싱된 서브세트를 획득하기 위해 픽셀들의 서브세트와 픽셀들의 추가 서브세트를 조합하도록 구성된다.
이미징 디바이스는 디스플레이 상에 이미지 및 추가 이미지를 동시에 디스플레이하도록 구성된다. 추가 이미지를 획득하기 위해, 이미징 디바이스는 추가 이미징 디바이스를 포함한다. 프로세싱 및 후속 디스플레이를 위해 둘 다의 이미지들의 대응하는 부분들을 신호 프로세서에 동시에 제공하기 위해, 롤링 셔터 회로 및 추가 롤링 셔터 회로가 이미지와 추가 이미지의 대응하는 부분들을 실질적으로 동시에 판독하도록 구성된다. 그 결과, 픽셀들의 서브세트 및 픽셀들의 추가 서브세트가 동시에 제공된다.
앞서 언급된 측정법들의 효과는, 이미징 디바이스가, 2개의 이미지들을 동시에 획득하고 디스플레이하도록 구성되는 것과 동시에 상기 획득과 상기 디스플레이 사이에 레이턴시를 또한 감소시킨다는 것이다. 유리하게, 후속 프로세싱 및 디스플레이에 이용가능하게 되는 이미지의 부분들과 추가 이미지의 부분들의 타이밍에 있어서의 미스매치에 대해 보상하기 위한 필요성이 덜 존재하거나 또는 어떠한 필요성도 존재하지 않기 때문에, 이미징 디바이스 내에 더 적은 수의 버퍼 메모리들이 필요하게 된다. 결과적으로, 이미징 디바이스의 비용 및/또는 복잡성이 감소된다.
선택적으로, 이미징 센서는 가시광을 감지하기 위한 가시광 이미징 센서이며, 추가 이미징 센서는 디스플레이 상에 가시광 이미지 및 열(thermal) 이미지를 동시에 디스플레이하는 것을 가능하게 하기 위한 적외 방사선을 감지하기 위한 열 이미징 센서이다. 유리하게, 이미징 디바이스는 감소된 레이턴시를 제공하면서 장면의 가시광 및 열 방사선을 동시에 획득하고 디스플레이한다.
선택적으로, 신호 프로세서는 이미지와 추가 이미지의 이미지 융합(image fusion)을 프로세싱된 이미지로서 획득하기 위해 픽셀들의 서브세트와 픽셀들의 추가 서브세트를 융합함으로써 픽셀들의 서브세트와 픽셀들의 추가 서브세트를 조합하도록 구성된다. 이미지 융합은 2개의 이미지들, 특히 동일한 장면의 2개의 관련 이미지들을 조합하는 지각적(intuitive) 방법을 제안한다. 유리하게, 장면의 열 방사선은 사용자에게 장면의 열 방사선 및 가시광을 디스플레이하는 직관적 방법을 제안하기 위해 장면의 가시광 위에 겹쳐진(overlaid) 색상들로서 가시화될 수 있다.
선택적으로, 방사선 감지 어레이는 제 1 공간 해상도를 갖고, 추가 방사선 감지 어레이는 제 2 공간 해상도를 가지며, 제 2 공간 해상도는 제 1 공간 해상도 보다 낮고, 추가 롤링 셔터 회로는 픽셀들의 서브세트와 픽셀들의 추가 서브세트를 상기 동시에 제공하는 것을 가능하게 하기 위해 롤링 셔터 회로의 제 1 판독 속도 보다 낮은 제 2 판독 속도로 추가 이미지를 판독하도록 구성된다.
따라서, 추가 롤링 셔터 회로는 이미지와 추가 이미지의 대응하는 부분들을 신호 프로세서에 동시에 제공하는 것을 가능하게 하기 위해 더 낮은 판독 속도를 이용한다. 판독 속도를 적응시키는 것은, 예를 들어, 동일한 판독 속도가 앞서 언급된 동시성(synchronicity)을 확보하기 위해 판독하는 빈번한 중간 정지(frequent intermediate pausing)를 통상적으로 요구하기 때문에, 공간 해상도들에 있어서 상기 차이에 대해 보상하는 효율적인 방식이다. 유리하게, 더 낮은 판독 속도는 추가 롤링 셔터 회로의, 결과적으로는 이미징 디바이스의 더 낮은 전력 소모를 결과로 초래한다.
선택적으로, 롤링 셔터 회로는 이미징 프레임 시간 내에 제 1 판독 속도로 이미지를 판독하도록 구성되고, 추가 롤링 셔터 회로는 이미징 프레임 시간 내에 제 2 판독 속도로 추가 이미지를 판독하도록 구성된다. 따라서, 판독 속도들은 동일한 이미징 프레임 시간 내에 이미지와 추가 이미지를 판독하도록 적응된다. 그 결과, 제 1 판독 속도 대 제 2 판독 속도의 비율은 제 1 공간 해상도 대 제 2 공간 해상도의 비율과 동일하다. 유리하게, 앞서 언급된 동시성을 확보하기 위해 판독의 어떠한 중간 정지도 필요하지 않다.
선택적으로, 롤링 셔터 회로는 제 1 판독 속도를 제공하기 위해 제 1 픽셀 클록에서 클록되고, 추가 롤링 셔터 회로는 제 2 판독 속도를 제공하기 위해 제 2 픽셀 클록에서 클록된다. 따라서, 각각의 롤링 셔터 회로의 픽셀 클록은 요구되는 판독 속도로 적응된다. 유리하게, 추가 롤링 셔터 회로의 더 낮은 픽셀 클록은 더 낮은 전력 소모를 결과로 초래한다.
선택적으로, 이미징 디바이스는 제 1 공간 해상도를 갖는 스케일링된 이미지를 추가 이미지로서 제공하기 위해 픽셀들의 추가 서브세트를 공간적으로 스케일링하기 위한 스케일러를 포함한다. 스케일러는 추가 이미지의 공간 해상도를 이미지의 공간 해상도로 조절하는 효율적인 방법을 제공한다. 유리하게, 추가 롤링 셔터 회로는 픽셀들의 추가 서브세트를 버퍼에 제공함으로써 공간 해상도에 있어서의 차이에 대해 보상할 필요가 없을 수 있으며, 공간 프로세서는 버퍼로부터 픽셀들의 동일한 추가 서브세트를 반복적으로 판독한다. 유리하게, 추가 이미지가 더 나은 이미지 품질로, 특히 에지들의 더 나은 공간적 정의로 디스플레이된다. 유리하게, 추가 이미지는 이미지상에 오버레이될 수 있고, 여기서 양 이미지들의 오버레이된 부분들은 장면의 동일한 부분과 관련된다.
선택적으로, 스케일러는: 픽셀 반복성, 1차 선형 보간 기법, 더 높은 차수의 선형 보간 기법 및 비-선형 보간 기법의 그룹 중 적어도 하나의 기법을 이용하여 공간 스케일링을 수행하도록 구성된다. 앞서 언급된 보간 기법들은 공간 스케일링에 대해 특히 매우-적합하다.
선택적으로, 신호 프로세서는 픽셀들의 서브세트들의 파이프라인식 프로세싱을 획득하기 위해 이미지 프로세싱 파이프라인을 포함한다. 파이프라인 방식으로 이미지 프로세싱을 수행하는 것은, 프로세서 설계 및 아키텍쳐의 기술적 분야로부터 알려진 바와 같이, 프로세싱의 더 높은 쓰루풋을 제공한다. 유리하게, 신호 프로세서는 각각의 클록 사이클에서 픽셀들의 새로운 서브세트들, 또는 픽셀들의 새로운 서브세트의 개별적인 픽셀들을 받아들일 수 있다. 유리하게, 이전 픽셀들의 프로세싱으로 점유되는 것으로 인해 새로운 픽셀들을 받아들일 수 없는 신호 프로세서에 대해 대처하기 위해 버퍼링을 덜하는 것이 요구된다.
선택적으로, 롤링 셔터 회로는 제 1 판독 속도로 이미지를 판독하도록 구성되며, 이미징 디바이스는 방사선 감지 어레이 상에 나쁜 영향을 주는 방사선의 양에 의존하여 제 1 판독 속도를 확립하도록 구성된다. 방사선 감지 디바이스 상에 나쁜 영향을 주는 방사선의 양에 의존하여 제 1 판독 속도를 확립함으로써, 방사선 감지 어레이의 요구되는 노출 시간과 이미지의 상부 부분과 하부 부분 사이의 획득 차이 사이의 트레이드-오프(trade-off)가 확립될 수 있으며, 이는 소위 왜곡 영향들을 초래한다. 유리하게, 제 1 판독 속도는, 충분한 방사선이 방사선 감지 어레이 상에 충돌하는 경우에 증가될 수 있으며, 이에 의해 상기 왜곡 영향들을 감소시킬 수 있다.
선택적으로, 이미징 디바이스는 이미징 센서에 증배된 가시광을 제공하기 위한 이미지 증배기를 포함한다. 이미지 증배기를 이용함으로써, 이미지 센서는 개선된 신호-대-잡음비를 이용하여 낮은 광 조건들에서 이미지를 획득할 수 있다. 이미지 증배기를 포함하는 이미징 디바이스는 통상적으로 나이트 비전 디바이스(night vision device) 또는 낮은 광 레벨의 이미지 증배기로서 또한 알려져 있다.
본 발명의 이러한 그리고 다른 양상들은 이하 설명된 실시예들로부터 명백하게 되며, 이하 설명된 실시예들을 참조하여 설명될 것이다. 도면들에서,
도 1은 직시형 시스템의 타이밍도를 나타낸다.
도 2는 이미징 센서를 포함하는 이미징 디바이스를 나타낸다.
도 3은 이미징 센서 및 디스플레이를 나타낸다.
도 4는 이미징 디바이스의 타이밍도를 나타낸다.
도 5는 도 4의 타이밍도의 대안적인 표현을 나타낸다.
도 6은 추가 이미징 센서를 포함하는 이미징 디바이스를 나타낸다.
도 7은 이미징 센서 및 추가 이미징 센서를 나타낸다.
도 8은 이미징 디바이스의 타이밍도를 나타낸다.
도 9는 스케일러를 포함하는 이미징 디바이스를 나타낸다.
도 10은 판독 회로의 개략적인 기능을 나타낸다.
도 11은 실시간으로 이미지들을 획득 및 디스플레이하기 위한 방법을 나타낸다.
도 12는 컴퓨터-판독가능 매체 상에 저장된 컴퓨터 프로그램을 나타낸다.
도 1은 프레임 버퍼 메모리를 포함하는 직시형 시스템의 타이밍도를 나타낸다. 여기서, 수평축은 시간을 나타내는 한편, 수직축은 이미지의 판독의 타이밍들, 이미지의 프로세싱 및 이미지의 디스플레이를 시각적으로 구별하도록 이용된다. 여기서, SS1은 이미징 센서로부터 이미지를 판독하기 위한 시간 기간(time period)을 나타낸다. 판독하는 것(SS1)은 프레임 버퍼 메모리 내에 판독 이미지를 저장하는 것을 포함한다. 이러한 직시형 시스템에서, 이미지가 프레임 버퍼 메모리에 전체적으로 저장될 때에만, 프로세싱이 발생한다. 이에 따라, 판독하는 것(SS1)이 완료된 후, 직시형 시스템은 이미지를 프로세싱하는 것(PP1)을 개시한다. 통상적으로, 이미지의 부분들은 프레임 버퍼 메모리로부터 판독되고, 프로세싱된 후, 프레임 버퍼 메모리 도는 추가 프레임 버퍼 메모리에 다시 기입된다. 최종적으로, 프로세싱하는 것(PP1)이 완료된 후, 직시형 시스템은 이미지를 디스플레이하는 것(DD1)을 개시한다. 결과적으로, 이미지의 판독(SS1)의 시작(TT1)와 이미지의 디스플레이(DD1)의 시작(TT2) 사이의 시간 기간은, 사용자가 장면에 있어서의 변화와 상기 변화를 반영하는 디스플레이된 이미지 사이를 경험하는, 최소 딜레이, 또는 레이턴시(LL)를 나타낸다.
직시형 시스템의 쓰루풋을 증가시키기 위해, 판독, 프로세싱 및 디스플레이가 파이프라이닝될 수 있다. 이는, 이미지의 프로세싱(PP1)이 일어나는 동안, 후속하는 이미지의 판독(SS2)이 발생할 수 있다는 것을 의미한다. 유사하게, 이미지의 디스플레이(DD1)가 일어나는 동안, 후속하는 이미지의 프로세싱(PP2)이 발생할 수 있는 식이다. 이러한 파이프라이닝은 직시형 시스템의 쓰루풋을 증가시키고, 즉, 시스템으로 하여금 주어진 시간 기간 내에 더욱 많은 이미지들을 판독하고, 프로세싱하고 디스플레이하도록 허용한다는 것에 유의한다. 그러나, 이러한 파이프라이닝은 직시형 시스템의 레이턴시(LL)에 영향을 주지 않는다.
도 2는 실시간으로 이미지들을 획득 및 디스플레이하기 위한 이미징 디바이스(100)를 나타낸다. 이미징 디바이스(100)는 이미징 센서(110)를 포함하고, 이미징 센서(110)는 이미지(142)를 획득하기 위해 방사선 감지 어레이(120)를 포함한다. 이미징 디바이스(100)는 이미지(142)를 판독하기 위해 방사선 감지 어레이(120)에 연결된 판독 회로(140), 및 프로세싱된 이미지(162)를 획득하기 위해 이미지(142)를 프로세싱하기 위한 신호 프로세서(160)를 더 포함한다. 그 목적을 위해, 판독 회로(140)는 신호 프로세서(160)에 연결되어 있는 것으로 나타난다. 이미징 디바이스(100)는 디스플레이(180) 상에 프로세싱된 이미지(162)를 최종적으로 디스플레이하기 위해 디스플레이(180)를 더 포함한다.
도 3은 방사선 감지 어레이(120)를 포함하는 이미징 센서(110)를 나타낸다. 또한, 방사선 감지 어레이(120)가 센서 픽셀들(122)의 로우(row)들로 배열되는 것으로 도시된다. 도 3에는 명백하게 나타내지 않았지만, 방사선 감지 어레이(120)는 결과적으로는 어레이가 되는 결과로서 센서 픽셀들의 컬럼(column)들로 배열된다는 것에 유의한다. 디스플레이 픽셀들(182)의 로우들로 배열된 디스플레이 픽셀 어레이로서 도 3에 디스플레이(180)가 도시된다. 도 3에 명백하게 나타내지 않았지만, 디스플레이(180)는 어레이가 되는 결과로서 디스플레이 픽셀들의 컬럼들로 배열된다는 것에 유의한다.
이미징 디바이스(100)의 동작 동안, 판독 회로(140)는 픽셀들(124)의 서브세트를 순차적으로 제공하기 위해 센서 픽셀들(122)의 로우들을 순차적으로 판독한다. 이러한 판독은 도 4 및 도 5에 도시된 타이밍도들로 나타난다. 여기서, S1은 이미징 센서(110)로부터 이미지(142)를 판독하기 위한 시간 기간을 나타낸다. 도 4는 앞서 언급된 직시형 시스템과의 비교를 허용하기 위해 도 1과 유사한 방식으로 시간 기간을 나타낸다. 도 5에서, 수평축은 시간을 나타내는 한편, 수직축은 로우 개수를 나타내고, 여기서 Rn은 방사선 감지 어레이(120)의 최상부 로우를 나타내고, Ro는 최하부 로우를 나타낸다. 따라서, 도 5는 시간 기간 S1의 시작에서 로우 Rn을 그리고 그 말단에서 로우 Ro를 판독하는 판독 회로(140)를 나타낸다. 결과적으로, 판독하는(S1) 동안, 모든 로우들(Rn 내지 Ro)이 순차적으로 판독된다.
방사선 감지 어레이(120)의 앞서 설명된 판독(S1)은 롤링 셔터 회로인 판독 회로(140)에 의해 달성된다. 롤링 셔터 회로(140)는 스냅샷 셔터를 이용하여 방사선 감지 어레이(120)를 판독하도록 구성된 회로와는 상이하다. 롤링 셔터 회로의 기본적인 동작 원리는, 방사선 감지 어레이(120)가, i) 로우의 노출을 초기화하기 위해 그리고 ii) 상기 노출 이후에 그 자체 콘텐츠를 판독하기 위해, 로우-대-로우로, 즉, 라인-대-라인 기준으로 어드레싱되는 것이다. 이는, 통상적으로 2개의 포인터들의 이용에 의해 달성되고, 2개의 포인터들 각각은 방사선 감지 어레이(120) 내의 개별적인 로우들을 어드레싱한다. 하나의 포인터는 로우의 노출을 초기화하기 위해 현재 어드레싱된 로우의 리셋을 제공하는 반면, 다른 포인터는 판독될 로우를 어드레싱한다. 2개의 포인터들 사이의 위치에 있어서의 차이는 효율적인 노출 시간이며, 즉, '리셋' 포인터가 다른 로우에 의해서만 '판독' 포인터를 트레일링하는 경우에, 노출 시간은 최대화된다.
대조적으로, 스냅샷 셔터를 이용하는 회로는 방사선 감지 어레이로부터 프레임 버퍼 메모리로 전체 이미지를 판독하기 전에 동시에 전체 방사선 감지 어레이에 통상적으로 노출한다. 전체 이미지를 판독하기 위해 요구되는 시간 동안, 방사선 감지 어레이는 더 이상 노출을 위해 구성되지 않는다.
불리하게, 상기 회로에 의해 제공된 노출 시간은 롤링 셔터 회로의 노출 시간 미만이다. 더 짧은 노출 시간은 통상적으로 더 나쁜 신호-대-잡음비를 갖는 즉, 노이저(noisier)인 이미지를 초래한다. 프랑스 파리에서 열린 OPTRO 2005 심포지엄에서 Intevac Corporation의 Aebi 등의 공개 문헌 "EBAPS : Next Generation , Low Power , Digital Night Vision" 은 카메라 센서의 노출 시간을 최대화하기 위해 롤링 셔터 회로를 이용하는 것을 설명한다.
롤링 셔터 회로(140)의 포인터들은 이미징 센서(110) 그 자체 내의 내부 상태 머신에 의해 증가될 수 있다, 즉, 롤링 셔터 회로(140)는 이미징 센서(110)의 일부일 수 있다. 이미징 센서(110)의 외부에 위치된 외부 로직, 예컨대, FPGA(Field Programmable Gate Array)는 상태 머신을 클록하기 위해, 그리고 노출 시간을 결정하기 위한 2개의 포인터들 사이의 거리를 프로그래밍하기 위해 이용될 수 있다.
센서 픽셀들(122)의 로우들을 순차적으로 판독함으로써, 롤링 셔터 회로(140)는 픽셀들(124)의 서브세트를 순차적으로 제공한다. 픽셀들(124)의 서브세트는 전체 로우의, 또는 로우들의 서브세트의 픽셀들을 포함할 수 있다. 픽셀들의 서브세트는 또한 단일 로우로부터의 픽셀들의 서브세트, 예컨대, 단일 픽셀 또는 다수의 이웃 픽셀들을 포함할 수 있다. 롤링 셔터 회로(140)는, 픽셀들(124)의 서브세트의 이용가능성에 대해, 픽셀들의 프로세싱된 서브세트를 제공하기 위해 픽셀들의 서브세트를 프로세싱하는 신호 프로세서(160)에 픽셀들(124)의 서브세트를 제공한다. 픽셀들의 순차적으로 제공된 서브세트를 프로세싱함으로써, 신호 프로세서(160)는 이미지(142)를 효과적으로 프로세싱하고 프로세싱된 이미지(162)를 제공한다. 이러한 프로세싱은 도 4 및 도 5에 나타난 타이밍도들로 나타낸다. 여기서, P1은 이미지(142)를 프로세싱하기 위한 시간 기간을 나타낸다. 도 5는 시간 기간(P1)의 시작에서 로우(Rn) 그리고 그 말단에서 로우(Ro)를 프로세싱하는 판독 회로(140)를 나타낸다. 결과적으로, 프로세싱(P1) 동안, 모든 로우들(Rn 내지 Ro)은 순차적으로 프로세싱된다.
도 4 및 도 5에 나타난 바와 같은 판독(S1) 및 프로세싱(P1) 사이의 시간 딜레이는, 다른 것들 중에서, 픽셀(124)의 서브세트의 사이즈에 의존한다. 예를 들어, 픽셀들(124)의 서브세트가 센서 픽셀들(122)의 로우의 픽셀들을 포함하는 경우, 프로세싱(P1)은 픽셀들(124)의 상기 서브세트를 신호 프로세서(160)로 판독하고 제공하기 위해 필요한 최소한의 시간 기간 만큼 판독(S1)에 대해 딜레이된다. 그러나, 상기 시간 딜레이는 픽셀들(124)의 서브세트의 순차적 제공으로 인해 이미지(142)의 전체적인 판독에 대응하는 시간 딜레이보다 현저하게 짧다는 것을 인식해야 할 것이다.
픽셀들의 프로세싱된 서브세트의 이용가능성에 대해, 디스플레이(180)는 디스플레이 픽셀들(184)의 그에 대응하는 서브세트 상에 픽셀들의 프로세싱된 서브세트를 디스플레이한다. 픽셀들의 순차적으로 제공된 프로세싱된 서브세트를 디스플레이함으로써, 디스플레이(180)는 프로세싱된 이미지(162)를 효율적으로 디스플레이한다. 이 디스플레잉은 도 4 및 도 5에 도시된 타이밍도들로 나타난다. 여기서, D1은 프로세싱된 이미지(162)를 디스플레이하기 위한 시간 기간을 나타낸다. 도 5는 시간 기간 D1의 시작시에 로우 Rn 그리고 그 말단에서 로우 Ro를 디스플레이하는 디스플레이(180)를 나타낸다. 디스플레이(D1)와 프로세싱(P1) 사이의 시간 딜레이에 대해, 유사한 고려사항들이 판독(S1)과 프로세싱(P1) 사이의 시간 딜레이에 대해서도 유지된다는 것을 인식할 것이다. 따라서, 도 2에 나타난 이미징 디바이스는 판독(S1)과 디스플레이(D1) 사이의 시간 딜레이에 대응하는 레이턴시(L)를 제공한다. 게다가, 후속하는 이미지의 판독(S2)은 이미지의 판독(S1)이 완료된 후에 개시할 것이라는 것을 인식할 것이다. 유사하게, 프로세싱(P2)은 프로세싱(P1)이 완료된 후에 개시할 것이며, 디스플레이(D2)도 디스플레이(D1)이 완료된 후에 개시할 것이다.
도 6은 이미징 디바이스(200)를 나타낸다. 이미징 디바이스는, 이미징 센서(110) 및 판독 회로(140) 옆에, 또한 추가 이미징 센서(210) 및 추가 판독 회로(240)를 포함한다. 추가 이미징 센서(210)는 추가 이미지(242)를 획득하기 위한 추가 방사선 감지 어레이(220)를 포함한다. 추가 이미지(242)를 판독하기 위해, 추가 판독 회로(240)는 추가 방사선 감지 어레이(220)에 연결된다.
도 7은 앞서 언급된 이미징 센서(110) 및 방사선 감지 어레이(120) 옆에 추가 방사선 감지 어레이(220)를 포함하는 추가 이미징 센서(210)를 나타낸다. 추가 방사선 감지 어레이(220)는 추가 센서 픽셀들(222)의 로우들로 배열되는 것으로 또한 도시된다. 도 7에 명백하게 표시되지는 않았지만, 추가 방사선 감지 어레이(220)는 결과적으로 어레이가 되는 결과로서 센서 픽셀들의 컬럼으로 배열된다는 것에 유의해야 한다. 도 7은 또한 제 1 공간 해상도를 갖는 방사선 감지 어레이(120)를 나타내고, 추가 방사선 감지 어레이(220)는 제 2 공간 해상도를 가지며, 제 2 공간 해상도는 제 1 공간 해상도 보다 낮다. 결과적으로, 방사선 감지 어레이(120)는 n+1 로우들 만큼, 즉, 로우 Ro에서 로우 Rn로 구축되는 반면에, 방사선 감지 어레이(220)는 m+1 로우들 만큼, 즉, 로우 Ro에서 로우 Rn로 구축되며, 여기서 m은 n보다 작다. 이러한 구성은, 도 6의 이미징 디바이스의 설명의 리마인더로서 가정된다. 그러나, 제 2 공간 해상도는 도한 제 1 공간 해상도와 동일하거나 도는 더 클 수 있다는 것에 유의해야 한다. 게다가, 공간 해상도는 조합 해상도, 예컨대, 1.3 메가픽셀 이미지, 또는 예컨대, 1280 픽셀들 또는 1024 라인들을 갖는 이미지의 수평 해상도 또는 수직 해상도를 지칭할 수 있다는 것에 유의해야 한다.
도 6을 다시 참조하여, 판독 회로(140)는 추가 센서 픽셀들(222)의 로우들을 순차적으로 판독하기 위해 추가 롤링 셔터 푀로로서 구성된다. 이미징 디바이스(200)의 동작 동안, 롤링 셔터 회로(140) 및 추가 롤링 셔터 회로(240)는 이미지(142)와 추가 이미지(242)의 대응하는 부분들을 실질적으로 동시에 판독함으로써 픽셀들(124)의 서브세트 및 픽셀들(224)의 추가 서브세트를 동시에 제공한다. 여기서, 대응하는 부분들은 관련 이미지 컨텐츠를 갖는 이미지의 부분들을 지치.ㅇ한다. 예를 들어, 이미징 센서(110)가 가시광(112)을 감지하기 위한 가시광 이미징 센서이고 추가 이미징 센서(210)는 적외 방사선(212)을 감지하기 위한 열 이미징 센서인 경우, 이미지(142)는 장면의 가시광 이미지일 수 있고 추가 이미지(242)는 동일한 장면의 열 이미지일 수 있다. 결과적으로, 대응하는 부분들은, 예컨대, 이미지(142)의 최상부 로우(Rn)는 추가 이미지(242)의 최상부 로우(Rm)에 대응하고, 이미지(142)의 최하부 로우(Ro)는 추가 이미지(242)의 최하부 로우(Ro)에 대응하는 식으로 참조될 수 있다. 이는, 픽셀들(124)의 서브세트 및 픽셀들(220)의 추가 서브세트의 이용가능성에 대해, 예를 들어, 신호 프로세서(260)로 하여금 열 이미지가 가시광 이미지의 상부에 오버레이된 프로세싱된 이미지(262)를 제공하기 위한 픽셀들의 프로세싱된 서브세트를 획득하기 위해 픽셀들의 서브세트들 모두를 조합하는 것을 가능하게 한다. 이는, 대응하는 부분들도 또한, 예를 들어, 이미징 센서(110)가 좌측 뷰를 획득하고 추가 이미징 센서(210)가 우측 뷰를 획득하는 경우에, 둘 다의 이미지에서 동일한 수직 위치를 갖는 부분들을 지칭할 수 있는 것에 유의해야 한다.
제 1 공간 해상도보다 낮은 제 2 공간 해상도에 대해 보상하기 위해, 추가 롤링 셔터 회로(240)는 롤링 셔터 회로(140)의 제 1 판독 속도보다 낮은 제 2 판독 속도를 이용하여 추가 이미지(242)를 판독하도록 구성된다. 유사한 타이밍도가 도 5에서 도시되고, 여기서 추가 이미지(242)의 판독(I1)의 시간 기간이 추가적으로 나타낸 것으로, 도 8에 도시된다. 추가 이미지(242)의 로우들(Rm)의 수는 이미지(142)의 로우들(Rn)의 수보다 적으며, 제 2 판독 속도는 이미지(142)의 판독(S1)과 동일한 시간 인터벌 내에서 추가 이미지(242)의 판독(I1)이 가능하게 하기 위해 더 낮을 필요가 있다는 것을 이해할 것이다. 이는, 판독(S1)과 비교할 때, 수평축에 대해 판독(I1)의 더 낮은 슬로프에 반사된다.
도 8은 이미징 프레임 시간(T1) 내에 이미지(142)를 판독(S1)하기 위해 선택되는 제 1 판독 속도 및 동일한 이미징 프레임 시간(T1) 내에서 추가 이미지(242)를 판독하기 위해 선택되는 제 2 판독 속도를 나타낸다. 이미징 프레임 시간(T1)은, 이미징 프레임 레이트에, 예를 들어, 60Hz 이미징 프레임 레이트를 갖는 1/60s = 0.0167ms에 직접 커플링된다. 방사선 감지 어레이(120)의 노출을 최대화하기 위해, 제 1 판독 속도는 실질적으로 상기 이미징 프레임 시간(T1) 내에 이미지(142)를 판독(S1)하기 위해 선택된다. 게다가, 제 2 판독 속도는 동일한 이미징 프레임 시간(T1) 내에 추가 이미지(242)를 실질적으로 판독(I1)하기 위해 선택된다. 이는, 제 1 판독 속도와 제 2 판독 속도 사이의 결과 비율이 이미지(142)와 추가 이미지(242)의 대응하는 부분들을 동시에 판독하기 위한 이미징 디바이스(200)의 앞서 언급된 구성으로부터 본질적으로 뒤따른다는 것을 이해할 것이다.
더욱이, 도 8에 도시된 예시에서, 제 1 판독 속도 및 제 2 판독 속도는 전체 이미징 프레임 시간(Ti)을 커버하는 추가 이미지(242)의 판독(I1) 및 이미지(142)의 판독(S1)을 제공하도록 선택된다. 이는, 방사선 감지 어레이(120) 및/또는 추가 방사선 감지 어레이(220)의 노출 시간의 앞서 언급된 최대화에 대한 선호에 뒤따를 수 있다. 그러나, 판독(S1) 및 판독(I1)은 또한 더 빠를 수 있고, 예를 들어, 이미징 프레임 시간(Ti)의 종료 이전에 완성될 수 있다. 이는, 이미지(142)의 최상부 및 최하부 부분의 판독(S1) 사이의 시간차를 감소시키고, 이에 따라 이미지(142) 내에서 소위 왜곡 아티팩트를 감소 또는 회피할 수 있다. 이러한 아티팩트들은, 상기 시간차가 비교적 클 때 발생하는 것으로 알려져 있다. 또한, 이미징 디바이스(200)는 방사선 감지 어레이(120)에 나쁜 영향을 주는 방사선(112)의 양에 의존하여 제 1 판독 속도를 확립하도록 구성될 수 있다. 이와 같이, 이미징 디바이스(200)는 요구되는 노출 시간과 앞서 언급된 왜곡 효과들 사이에 절충점을 동적으로 결정할 수 있다.
롤링 셔터 회로(140)는 제 1 판독 속도를 제공하기 위해 제 1 픽셀 클록에서 클록될 수 있고, 추가 롤링 셔터 회로(240)는 제 2 판독 속도를 제공하기 위해 제 2 픽셀 클록에서 클록될 수 있다. 제 2 판독 속도가 제 2 판독 속도보다 느리기 때문에, 제 2 픽셀 클록도 또한 제 1 픽셀 클록보다 낮다. 예를 들어, 추가 이미지(242)의 제 2 공간 해상도가 이미지(142)의 제 1 공간 해상도보다 수평으로 그리고 수직으로 1/4, 예를 들어, 1280×1024 픽셀들에 대해 320×256 픽셀들인 경우, 제 1 판독 회로(140)는 예컨대, 44MHz의 시스템 클록에서 클록될 수 있는 반면, 제 2 판독 회로(240)는 그 시스템 클록의 1/16, 즉, 2.75MHz 픽셀 클록에서 클록될 수 있다. 낮은 클록 레이트가 통상적으로 낮은 전력 소모를 초래하기 때문에, 이미징 디바이스(200)의 전력 소모가 감소될 수 있다. 대안적으로, 제 2 판독 회로(240)도 또한 44MHz에서 클록될 수 있지만, 평균적으로, 매 16개 클록 사이클 마다 한개의 픽셀만을 제공하도록 구성될 수 있다.
제 2 공간 해상도가 제 1 공간 해상도보다 낮기 때문에, 디스플레이(180)의 공간 해상도로 또는 제 1 공간 해상도로 추가 이미지(242)를 스케일링하도록 요구될 수 있다. 이는, 모든 경우에서, 예를 들어, 추가 이미지(242)가 소위 픽쳐-인-픽쳐(PiP)로서 이미지(142)에 삽입될 때, 필요하지 않을 수 있다는 것에 유의해야 한다. 도 9는 제 1 공간 해상도를 갖는 스케일링된 이미지(252)를 추가 이미지(242)로서 제공하기 위한 스케일러(250)를 포함하는 이미징 디바이스(300)를 나타낸다. 여기서, 추가 롤링 셔터 회로(240)는 추기 이미지(242)를 스케일러(250)에 제공하기 위해 스케일러(250)에 연결되는 것으로 도시되고, 스케일러(250)는 스케일링된 이미지(252)를 신호 프로세서(260)에 제공하기 위해 신호 프로세서(260)에 연결되는 것으로 도시된다. 스케일러(250)는 공간 스케일링을 수직 방향으로 가능하게 하기 위한 라인 버퍼 메모리들을 포함할 수 있다. 공간 스케일링은, 이미지 프로세싱의 기술적 분야로부터 알려진 바와 같이, 0차 선형 보간 기법, 즉, 소위 픽셀 반복성 또는 가장 가까운 이웃 보간을 수행하는 것을 포함할 수 있다. 공간 스케일링은 또한 1차 선형 보간, 예컨대, 양선형(bilinear) 보간, 더 높은 차수의 선형 보간과 같은 기법들, 및 비-선형 보간 기법들을 또한 포함할 수 있다. 이러한 기법들은 통상적으로 더 적은 수의 보간 아티팩트들을 도입한다.
이미징 디바이스(300)는 명백한(explicit) 스케일러(250)를 포함할 필요는 없다는 것에 유의해야 한다. 대신에, 스케일러로서 효율적으로 기능하는 버퍼가 이용될 수 있다. 예를 들어, 추가 롤링 셔터 회로(240)는, 프로세서 설계 및 아키텍쳐들의 기술 분야로부터 알려진 바와 같이, 소위 선입선출(FIFO; First-In-First-Out) 버퍼를 포함할 수 있다. 다음으로, 추가 롤링 셔터 회로(240)는, 도 10에 개략적으로 도시된 바와 같이, 추가 방사선 감지 어레이(220)로부터의 로우 (Rm)를 판독할 수 있다. 2.75MHz 픽셀 클록을 이용하여 판독이 수행될 수 있다. 그후, 로우(Rm)의 판독은 FIFO에서 버퍼링될 수 있고, 롤링 셔터 회로(140)에 의해 판독된 로우(Rn)와 동일한 판독 속도로 반복적으로 로우(Rm)를 제공하기 위해, 더 높은 픽셀 클록, 예컨대, 44MHz 픽셀 클록으로 판독될 수 있다. FIFO 버퍼의 이러한 이용은, 통상적으로는 스케일러인 것으로 고려되지 않을 수 있지만, 가장 가까운 이웃 보간을 효율적으로 수행한다는 것에 유의해야 한다. 또한, 이러한 기능은 신호 프로세서(260) 그 자체로 구현될 수 있다, 즉 신호 프로세서(260)는 상기 버퍼링을 수행하기 위해 FIFO를 포함할 수 있다는 것을 이해해야 할 것이다.
도 11은 이미징 디바이스를 이용하여 실시간으로 이미지들을 획득 및 디스플레이하는 방법(300)을 나타내며, 상기 이미징 디바이스는 i) 이미지를 획득하기 위한 방사선 감지 어레이를 포함하는 이미징 센서, ii) 이미지를 판독하기 위한 방사선 감지 어레이에 연결된 판독 회로, iii) 프로세싱된 이미지를 획득하기 위해 이미지를 프로세싱하기 위한 신호 프로세서, 및 iv) 프로세싱된 이미지를 디스플레이하기 위한 디스플레이를 포함하고, 방사선 감지 어레이는 센서 픽셀들의 로우들로 배열되고, 디스플레이는 디스플레이 픽셀들의 로우들로 배열되며, 여기서 이 방법은 픽셀들의 서브세트를 순차적으로 제공하기 위해 판독 회로를 이용하여 센서 픽셀들의 로우를 순차적으로 판독하는 단계(340), 픽셀들의 서브세트의 이용가능성에 대해, 픽셀들의 프로세싱된 서브세트를 제공하기 위해 신호 프로세서를 이용하여 픽셀들의 서브세트를 프로세싱하는 단계(360), 및 픽셀들의 프로세싱된 서브세트의 이용가능성에 대해, 디스플레이 픽셀들의 로우들 상에 프로세싱된 이미지를 순차적으로 디스플레이하기 위해 디스플레이 픽셀들의 그에 대응하는 서브세트 상에 디스플레이를 이용하여 픽셀들의 프로세싱된 서브세트를 디스플레이하는 단계(380)를 포함한다.
도 12는 컴퓨터 프로그램(420)을 포함하는 컴퓨터 판독가능 매체(400)를 나타내고, 컴퓨터 프로그램(420)은 도 11에 도시된 바와 같이 방법(300)을 프로세서 시스템으로 하여금 수행하게 하기 위한 명령들을 포함한다. 컴퓨터 프로그램(420)은 컴퓨터 판독가능 매체(400)의 자기화에 의해 또는 물리적 마크들로서 컴퓨터 판독가능 매체(400) 상에 포함될 수 있다. 그러나, 임의의 다른 적절한 실시예도 또한 가능하다. 게다가, 컴퓨터 판독가능 매체(400)가 도 12에서 광학 디스크(optical disc)로서 도시되지만, 컴퓨터 판독가능 매체(400)는 임의의 적절한 컴퓨터 판독가능 매체, 예컨대, 판독-전용 메모리 또는 랜덤-액세스 메모리, 예컨대, 고체 상태 메모리, 플래시 메모리 등일 수 있다.
본 발명은 다앙한 종류의 이미징 센서들에 이용될 수 있고, 이에 따라, 예컨대, 가시광 이미징 센서들 또는 열 센서들로 제한되지 않는다는 것을 이해할 것이다. 더욱이, 이미지(142)를 추가 이미지(242)와 조합하는 것은, 예컨대, 이미지(142)의 상부에 추가 이미지(242)의 특정 엘리먼트들을 오버레이함으로써, 추가 이미지(242)와 이미지(142)를 융합시키는 것을 포함할 수 있다. 그러나, 이 조합은 또한 이미지(142)와 추가 이미지(242)의 측면-대-측면, 픽쳐-인-픽쳐 또는 유사 공간 어레인지먼트를 포함하는 프로세싱된 이미지(262)를 생성하는 것을 포함할 수 있다.
신호 프로세서(160)는 이미지(142)와 추가 이미지(242)의 융합의 앞서 언급된 조합 다음에 다양한 종류의 신호 프로세싱을 구현할 수 있다. 예를 들어, 신호 프로세서(160)는 이미지 프로세싱의 기술적 분야로부터 알려진 바와 같이, 비-균일성 정정, 히스토그램 균등화, 잡음 감소, 선명화(sharpening), 컬러 매핑 등과 같은, 다양한 종류들의 이미징 프로세싱을 수행할 수 있다. 게다가, 신호 프로세서(160)의 쓰루풋을 증가시키기 위해, 신호 프로세싱은 픽셀들(124)의 서브세트의 파이프라인식 프로세싱을 획득하기 위해 이미지 프로세싱 파이프라인을 포함할 수 있다.
디스플레이(180)는 마이크로 OLED(Organic Light Emitting Diode) 또는 액정(LC; Liquid Crystal) 기반 디스플레이일 수 있다. 이미징 센서(110)는 CMOS 센서일 수 있다. 신호 프로세서(160)는 FPGA에 포함될 수 있다. 이미징 센서(160)는 동기화 정보, 예를 들어, 소위 수평 및 수직 SYNC 신호들을 제공하도록 구성될 수 있다. 이들은 이미지(142)의 판독, 프로세싱 및 디스플레이를 동기화하기 위해 이미징 디바이스(100)에 의해 이용될 수 있다. 또한, 동기화 정보는 추가 판독 회로(240)를 이용하여 추가 이미지(242)를 판독하는 것을 동기화하기 위해 이용될 수 있다.
명백함을 위해 전술한 설명은 상이한 기능 유닛들에 대해 본 발명의 실시예들을 설명한 것으로 이해할 것이다. 그러나, 상이한 기능적 유닛들 도는 프로세서들 사이의 기능의 임의의 적절한 분배가 본 발명으로부터 벗어나지 않고 이용될 수 있다는 것이 명백할 것이다. 예를 들어, 별도의 프로세서들 또는 컨트롤러들에 의해 수행되는 것으로 도시된 기능은 동일한 프로세서 또는 컨트롤러들에 의해 수행될 수 있다. 이에 의해, 특정 기능 유닛들에 대한 참조들은 엄격한 논리적 또는 물리적 구조 또는 조직을 나타내는 것보다는 오직 설명된 기능을 제공하기 위한 적절한 수단을 참조하는 것으로 이해되어야 한다.
본 발명은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함하는 임의의 적절한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 또는 그 초과의 데이터 프로세서들 및/또는 디지털 신호 프로세서들 상에서 구동하는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 엘리먼트들 및 컴포넌트들은 임의의 적절한 방법으로 물리적으로, 기능적으로, 그리고 논리적으로 구현될 수 있다. 사실상, 기능은 단일 유닛으로, 복수의 유닛들로, 또는 다른 기능 유닛들의 일부로서 구현될 수 있다. 이와 같이, 본 발명은 단일 유닛에서 구현될 수 있고 또는 상이한 유닛들 및 프로세서들 사이에서 물리적으로 그리고 기능적으로 분포될 수 있다.
본 발명이 몇몇 실시예들과 관련하여 설명되지만, 본 명세서에 설명된 특정 형태로 제한하는 것으로 의도되지 않는다. 오히려, 본 발명의 범위는 첨부된 청구항들에 의해서만 한정된다.
추가적으로, 특징은 특정 실시예들과 관련하여 설명되는 것으로 나타나지만, 당업자는 설명된 실시예들의 다양한 특징들이 본 발명에 따라서 조합될 수 있다는 것을 인식할 것이다. 청구항에서, "does not"을 포함하는 용어는 다른 엘리먼트들 또는 단계들의 존재를 배제한다.
게다가, 개별적으로 열거되지만, 복수의 수단들, 엘리먼트들 또는 방법 단계들이, 예컨대, 단일 유닛 또는 프로세서에 의해 구현될 수 있다. 추가적으로, 개별적인 특징들이 상이한 청구항들에 포함될 수 있지만, 이들은 가능한 한 유리하게 조합될 수 있으며, 상이한 청구항들에 포함되는 것은 특징들의 조합이 실현가능하지 않고 및/또는 유리하지 않다는 것을 함축하지는 않는다. 청구항들의 하나의 카테고리 내에 특징의 포함은, 오히려 이 카테고리로의 제한이, 특징이 적절한 것으로서 다른 청구항 카테고리들에 동등하게 적용가능한지를 나타낸다는 것을 함축하지 않는다. 게다가, 청구항들에서의 특징들의 순서는, 특징들이 동작되어야만 하는 임의의 특정 순서를 함축하지 않고, 특히 방법 청구항에서의 개별적인 단계들의 순서가 그 단계들이 그 순서로 수행되어야만 한다는 것을 함축하지 않는다. 오히려, 단계들은 임의의 적절한 순서로 수행될 수 있다. 또한, 단수 참조들은 복수를 배제하지 않는다. 따라서, "a", "an", "제 1(first)", "제 2(second)" 등에 대한 참조들은 복수를 배제하지 않는다. 명확화하는 예시가 임의의 방법으로 청구항들의 범위를 제한하는 것으로서 구성되지 않아야 하기 때문에, 청구항들에서 참조 부호들이 단지 제공된다.
삭제
삭제
삭제

Claims (18)

  1. 실시간으로 이미지들을 획득하고 디스플레이하기 위해 배열된 나이트 비전 디바이스(night vision device)로서,
    상기 나이트 비전 디바이스는,
    i) 이미지를 획득하기 위한 방사선 감지 어레이를 포함하는 이미징 센서,
    ⅱ) 상기 이미지를 판독하기 위해 상기 방사선 감지 어레이에 연결된 판독 회로,
    ⅲ) 프로세싱된 이미지를 획득하기 위해 상기 이미지를 프로세싱하기 위한 신호 프로세서, 및
    ⅳ) 상기 프로세싱된 이미지를 디스플레이하기 위한 디스플레이
    를 포함하고,
    상기 방사선 감지 어레이는 센서 픽셀들의 로우(row)들로 배열되고, 상기 디스플레이는 디스플레이 픽셀들의 로우들로 배열되며,
    상기 판독 회로는, 픽셀들의 서브세트들을 순차적으로 제공하기 위해, a) 로우의 노출을 초기화하고 b) 상기 노출 이후에 그 자체 콘텐츠를 판독함으로써, 센서 픽셀들의 상기 로우들을 순차적으로 판독하기 위한 롤링 셔터 회로(rolling shutter circuit)이고, 픽셀들의 각 서브세트는 센서 픽셀들의 로우들 중 하나의 로우 또는 센서 픽셀들의 로우들의 서브세트 또는 단일 로우로부터의 픽셀들의 서브세트에 대응하며;
    상기 신호 프로세서는, 픽셀들의 서브세트들 중 하나의 이용가능성에 대해, 픽셀들의 프로세싱된 서브세트를 제공하기 위해 픽셀들의 서브세트를 프로세싱하도록 구성되며;
    상기 디스플레이는, 픽셀들의 상기 프로세싱된 서브세트의 이용가능성에 대해, 디스플레이 픽셀들의 로우들 상에서 상기 프로세싱된 이미지를 순차적으로 디스플레이하기 위해 픽셀들의 상기 프로세싱된 서브세트를 그에 대응하는 디스플레이 픽셀들의 서브세트 상에 디스플레이하도록 구성되는,
    나이트 비전 디바이스.
  2. 제 1 항에 있어서,
    추가 이미징 센서 및 추가 판독 회로
    를 더 포함하고, 상기 추가 이미징 센서는 추가 이미지를 획득하기 위한 추가 방사선 감지 어레이를 포함하고, 상기 추가 판독 회로는 상기 추가 이미지를 판독하기 위한 상기 추가 방사선 감지 어레이에 연결되며, 상기 추가 방사선 감지 어레이는 추가 센서 픽셀들의 로우들로 배열되고, 상기 추가 판독 회로는 픽셀들의 추가 서브세트들을 순차적으로 제공하기 위해 추가 센서 픽셀들의 로우들을 순차적으로 판독하기 위한 추가 롤링 셔터 회로이며,
    상기 나이트 비전 디바이스는,
    상기 롤링 셔터 회로 및 상기 추가 롤링 셔터 회로가 상기 이미지 및 상기 추가 이미지의 대응하는 부분들을 실질적으로 동시에 판독함으로써 픽셀들의 서브세트 및 픽셀들의 상기 추가 서브세트들 중 하나를 동시에 제공하도록 구성되고; 그리고
    상기 신호 프로세서가, 픽셀들의 서브세트 및 픽셀들의 추가 서브세트의 이용가능성에 대해, 픽셀들의 프로세싱된 서브세트를 획득하기 위해 픽셀들의 상기 서브세트와 픽셀들의 상기 추가 서브세트를 조합하도록 구성됨으로써,
    상기 이미지 및 상기 추가 이미지를 상기 디스플레이 상에 동시에 디스플레이하도록 구성되는,
    나이트 비전 디바이스.
  3. 제 2 항에 있어서,
    상기 이미징 센서는 가시광을 감지하기 위한 가시광 이미징 센서이고,
    상기 추가 이미징 센서는 상기 디스플레이 상에 가시광 이미지 및 열(thermal) 이미지를 동시에 디스플레이하는 것을 가능하게 하기 위한 적외 방사선을 감지하기 위한 열 이미징 센서인,
    나이트 비전 디바이스.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 신호 프로세서는 상기 이미지와 상기 추가 이미지의 이미지 융합을 프로세싱된 이미지로서 획득하기 위해 픽셀들의 서브세트와 픽셀들의 추가 서브세트를 융합함으로써 픽셀들의 서브세트와 픽셀들의 추가 서브세트를 조합하도록 구성되는,
    나이트 비전 디바이스.
  5. 제 2 항 또는 제 3 항에 있어서,
    상기 방사선 감지 어레이는 제 1 공간 해상도를 갖고, 상기 추가 방사선 감지 어레이는 제 2 공간 해상도를 갖고, 상기 제 2 공간 해상도는 상기 제 1 공간 해상도보다 낮으며, 상기 추가 롤링 셔터 회로는 픽셀들의 서브세트 및 픽셀들의 추가 서브세트를 상기 동시에 제공하는 것을 가능하게 하기 위해 상기 롤링 셔터 회로의 제 1 판독 속도보다 낮은 제 2 판독 속도로 추가 이미지를 판독하도록 구성되는,
    나이트 비전 디바이스.
  6. 제 5 항에 있어서,
    상기 롤링 셔터 회로는 이미징 프레임 시간(Ti) 내의 제 1 판독 속도로 상기 이미지를 판독하도록 구성되고, 상기 추가 롤링 셔터 회로는 상기 이미징 프레임 시간 내의 제 2 판독 속도로 상기 추가 이미지를 판독하도록 구성되는,
    나이트 비전 디바이스.
  7. 제 5 항에 있어서,
    상기 롤링 셔터 회로는 상기 판독 속도를 제공하기 위한 제 1 픽셀 클록으로 클록되고, 상기 추가 롤링 셔터 회로는 상기 제 2 판독 속도를 제공하기 위한 제 2 픽셀 클록으로 클록되는,
    나이트 비전 디바이스.
  8. 제 5 항에 있어서,
    상기 나이트 비전 디바이스는 상기 제 1 공간 해상도를 갖는 스케일링된 이미지를 추가 이미지로서 제공하기 위해 픽셀들의 추가 서브세트를 공간적으로 스케일링하기 위한 스케일러를 포함하는,
    나이트 비전 디바이스.
  9. 제 8 항에 있어서,
    상기 스케일러는, 픽셀 반복성, 1차 선형 보간 기법, 더 높은 차수의 선형 보간 기법 및 비-선형 보간 기법들의 그룹 중 적어도 하나의 기법을 이용하여 상기 공간 스케일링을 수행하도록 구성되는,
    나이트 비전 디바이스.
  10. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 신호 프로세서는 픽셀들의 상기 서브세트들의 파이프라인식 프로세싱을 획득하기 위한 이미지 프로세싱 파이프라인을 포함하는,
    나이트 비전 디바이스.
  11. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 롤링 셔터 회로는 제 1 판독 속도로 상기 이미지를 판독하도록 구성되고,
    상기 나이트 비전 디바이스는 상기 방사선 감지 어레이 상에 나쁜 영향을 주는 방사선의 양의 의존하여 상기 제 1 판독 속도를 확립하도록 구성되는,
    나이트 비전 디바이스.
  12. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 나이트 비전 디바이스는 상기 이미징 센서에 증배된 가시광을 제공하기 위한 이미지 증배기를 포함하는,
    나이트 비전 디바이스.
  13. 제 1 항 내지 제 3 항 중 어느 한 항에 따른 나이트 비전 디바이스를 포함하는, 헬멧.
  14. 나이트 비전 디바이스를 이용하여 실시간으로 이미지들을 획득하고 디스플레이하는 방법으로서,
    상기 나이트 비전 디바이스는,
    i) 이미지를 획득하기 위한 방사선 감지 어레이를 포함하는 이미징 센서,
    ⅱ) 상기 이미지를 판독하기 위한 상기 방사선 감지 센서에 연결된 판독 회로,
    ⅲ) 프로세싱된 이미지를 획득하기 위해 상기 이미지를 프로세싱하기 위한 신호 프로세서, 및
    ⅳ) 상기 프로세싱된 이미지를 디스플레이하기 위한 디스플레이를 포함하고,
    상기 방사선 감지 어레이는 센서 픽셀들의 로우들로 배열되고, 상기 디스플레이는 디스플레이 픽셀들의 로우들로 배열되며,
    상기 방법은:
    픽셀들의 서브세트들을 순차적으로 제공하기 위해, a) 로우의 노출을 초기화하고 b) 상기 노출 이후에 그 자체 콘텐츠를 판독함으로써, 상기 판독 회로를 이용하여 센서 픽셀들의 로우들을 순차적으로 판독하는 단계 ― 픽셀들의 각 서브세트는 센서 픽셀들의 로우들 중 하나의 로우 또는 센서 픽셀들의 로우들의 서브세트 또는 단일 로우로부터의 픽셀들의 서브세트에 대응함 ―;
    픽셀들의 서브세트들 중 하나의 이용가능성에 대해, 픽셀들의 프로세싱된 서브세트를 제공하기 위해 상기 신호 프로세서를 이용하여 픽셀들의 상기 서브세트를 프로세싱하는 단계; 및
    픽셀들의 상기 프로세싱된 서브세트의 이용가능성에 대해, 디스플레이 픽셀들의 로우들 상에 상기 프로세싱된 이미지를 순차적으로 디스플레이하기 위해 픽셀들의 상기 프로세싱된 서브세트를 그에 대응하는 디스플레이 픽셀들의 서브세트 상에 상기 디스플레이를 이용하여 디스플레이하는 단계
    를 포함하는,
    나이트 비전 디바이스를 이용하여 실시간으로 이미지들을 획득하고 디스플레이하는 방법.
  15. 컴퓨터 프로그램이 저장된 컴퓨터-판독가능 매체로서,
    상기 컴퓨터 프로그램은 프로세서 시스템으로 하여금 제 14 항에 기재된 방법을 수행하게 하기 위한 명령들을 포함하는, 컴퓨터-판독가능 매체.
  16. 제 1 항 내지 제 3 항 중 어느 한 항에 따른 나이트 비전 디바이스를 포함하는, 헤드 마운트(head mount).
  17. 제 1 항 내지 제 3 항 중 어느 한 항에 따른 나이트 비전 디바이스를 포함하는, 라이플 사이트(rifle sight).
  18. 제 1 항 내지 제 3 항 중 어느 한 항에 따른 나이트 비전 디바이스를 포함하는, 휴대용 디바이스.
KR1020137025280A 2011-02-25 2011-02-25 실시간 이미지들의 획득 및 디스플레이 KR101711097B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2011/052853 WO2012113459A1 (en) 2011-02-25 2011-02-25 Acquiring and displaying images in real-time

Publications (2)

Publication Number Publication Date
KR20140008415A KR20140008415A (ko) 2014-01-21
KR101711097B1 true KR101711097B1 (ko) 2017-02-28

Family

ID=44625386

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137025280A KR101711097B1 (ko) 2011-02-25 2011-02-25 실시간 이미지들의 획득 및 디스플레이

Country Status (13)

Country Link
US (1) US9787918B2 (ko)
EP (1) EP2679000B1 (ko)
JP (1) JP5925812B2 (ko)
KR (1) KR101711097B1 (ko)
CN (1) CN103392335B (ko)
AU (1) AU2011359859B2 (ko)
BR (1) BR112013021410A2 (ko)
CA (1) CA2826675C (ko)
IL (1) IL227845A (ko)
MY (1) MY165813A (ko)
RU (1) RU2570354C2 (ko)
SG (1) SG192767A1 (ko)
WO (1) WO2012113459A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5929712B2 (ja) * 2012-11-06 2016-06-08 セイコーエプソン株式会社 撮影装置、撮影装置の制御方法
US9307161B2 (en) 2014-01-10 2016-04-05 Qualcomm Incorporated System and method for capturing digital images using multiple short exposures
FR3020735B1 (fr) * 2014-04-30 2017-09-15 Ulis Procede de traitement d'une image infrarouge pour une correction des non uniformites
GB2558345B (en) * 2015-05-04 2021-05-12 Google Llc Pass-through display of captured imagery
JP2018121092A (ja) * 2015-05-28 2018-08-02 株式会社ジャパンディスプレイ 撮像表示システム
US20170094190A1 (en) * 2015-09-30 2017-03-30 Microsoft Technology Licensing, Llc Processing display of digital camera readout with minimal latency
US10432840B2 (en) * 2015-10-08 2019-10-01 L-3 Communication-Insight Technology Division Fusion night vision system
KR102425895B1 (ko) * 2015-12-24 2022-07-27 삼성전자주식회사 전자장치의 데이터 동기 장치 및 방법
JP6645949B2 (ja) * 2016-11-01 2020-02-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
CN106449716B (zh) * 2016-11-11 2021-11-26 京东方科技集团股份有限公司 显示面板及其制作方法、显示设备
CN106653802B (zh) * 2016-11-11 2019-07-30 京东方科技集团股份有限公司 显示面板及其制作方法、显示设备
CN107800978B (zh) * 2017-10-26 2020-05-12 天津大学 异步复位同步读出的pwm像素架构
US10768047B2 (en) * 2018-02-15 2020-09-08 Viavi Solutions Inc. Sensor device and methods of use
CN111372038B (zh) * 2018-12-26 2021-06-18 厦门星宸科技有限公司 多串流影像处理装置及方法
CN110392149A (zh) 2019-07-23 2019-10-29 华为技术有限公司 图像摄取显示终端
KR102502153B1 (ko) * 2020-10-23 2023-02-20 조선대학교산학협력단 콘크리트 강도 측정시스템 및 측정방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050077450A1 (en) 2003-10-09 2005-04-14 Baer Richard L. CMOS stereo imaging system & method
US20060289772A1 (en) 2004-12-03 2006-12-28 Johnson Kirk R Visible light and IR combined image camera with a laser pointer
JP2008085738A (ja) 2006-09-28 2008-04-10 Nikon Corp 撮像装置
US7428378B1 (en) 2005-07-29 2008-09-23 Pure Digital Technologies, Inc. Controlling an exposure time for digital cameras

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4797751A (en) 1985-06-19 1989-01-10 Yamaguchi Cinema Corporation Electronic camera apparatus for recording and reproducing moving object images
JPH09247519A (ja) * 1996-03-08 1997-09-19 Sony Corp 撮像装置
EP0907931B1 (en) 1996-06-28 2002-05-08 T. Eric Hopkins Image acquisition system and method
US6560029B1 (en) 2001-12-21 2003-05-06 Itt Manufacturing Enterprises, Inc. Video enhanced night vision goggle
US20030222987A1 (en) 2002-05-30 2003-12-04 Karazuba Paul M. Line scan image recording device with internal system for delaying signals from multiple photosensor arrays
JP4189252B2 (ja) * 2003-04-02 2008-12-03 パナソニック株式会社 画像処理装置及びカメラ
JP2005159596A (ja) * 2003-11-25 2005-06-16 Mega Chips Corp デジタルカメラ
KR100594236B1 (ko) * 2003-12-30 2006-06-30 삼성전자주식회사 프레임 메모리 버퍼 없이 영상신호처리를 가능하게 하는고체 촬상 소자 및 그 구동 방법
US7121036B1 (en) * 2004-12-23 2006-10-17 Raytheon Company Method and apparatus for safe operation of an electronic firearm sight depending upon the detection of a selected color
JP4561353B2 (ja) 2004-12-24 2010-10-13 日産自動車株式会社 映像信号処理装置とその方法及び車載カメラシステム
US7969462B2 (en) 2005-03-30 2011-06-28 L-3 Communications Corporation Digitally enhanced night vision device
JP4795813B2 (ja) * 2006-02-23 2011-10-19 クラリオン株式会社 車両周囲監視装置
JP5105907B2 (ja) * 2007-03-06 2012-12-26 キヤノン株式会社 撮像システム
JP2008252331A (ja) 2007-03-29 2008-10-16 Victor Co Of Japan Ltd デジタル監視システム
KR101409769B1 (ko) 2007-08-01 2014-06-19 삼성전자주식회사 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법
RU2389154C1 (ru) * 2008-11-01 2010-05-10 Вячеслав Михайлович Смелков Устройство панорамного телевизионного наблюдения
JP2010134743A (ja) * 2008-12-05 2010-06-17 Panasonic Corp 画像処理装置
CN101459829B (zh) 2008-12-25 2011-05-04 杭州恒生数字设备科技有限公司 一种低延迟的全数字监控系统
JP2010154171A (ja) * 2008-12-25 2010-07-08 Olympus Imaging Corp 撮像装置および撮像方法
US8994837B2 (en) * 2010-11-26 2015-03-31 Intel Mobile Communications GmbH Image processing devices and image processing methods of moving objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050077450A1 (en) 2003-10-09 2005-04-14 Baer Richard L. CMOS stereo imaging system & method
US20060289772A1 (en) 2004-12-03 2006-12-28 Johnson Kirk R Visible light and IR combined image camera with a laser pointer
US7428378B1 (en) 2005-07-29 2008-09-23 Pure Digital Technologies, Inc. Controlling an exposure time for digital cameras
JP2008085738A (ja) 2006-09-28 2008-04-10 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
IL227845A0 (en) 2013-09-30
WO2012113459A1 (en) 2012-08-30
RU2013143314A (ru) 2015-03-27
IL227845A (en) 2017-03-30
US9787918B2 (en) 2017-10-10
AU2011359859B2 (en) 2016-06-16
AU2011359859A1 (en) 2013-08-29
MY165813A (en) 2018-04-27
CN103392335B (zh) 2017-06-13
CA2826675C (en) 2018-04-10
EP2679000B1 (en) 2016-11-02
US20130314546A1 (en) 2013-11-28
BR112013021410A2 (pt) 2016-10-25
CN103392335A (zh) 2013-11-13
JP2014511606A (ja) 2014-05-15
JP5925812B2 (ja) 2016-05-25
RU2570354C2 (ru) 2015-12-10
KR20140008415A (ko) 2014-01-21
EP2679000A1 (en) 2014-01-01
SG192767A1 (en) 2013-09-30
CA2826675A1 (en) 2012-08-30

Similar Documents

Publication Publication Date Title
KR101711097B1 (ko) 실시간 이미지들의 획득 및 디스플레이
US11722784B2 (en) Imaging device that generates multiple-exposure image data
US8804002B2 (en) Display control device
US9661210B2 (en) Image pickup device and image pickup apparatus
JP6601020B2 (ja) 撮像表示装置
CN106068642A (zh) 成像装置、图像处理装置、显示控制装置以及成像显示设备
JP2017219872A (ja) 撮像表示装置、撮像表示装置の制御方法
JP2019526992A (ja) 差動デジタル二重サンプリング方法およびこの方法を実行するためのｃｍｏｓイメージ・センサ
EP1942660A1 (en) Improvements in image sensor noise reduction
US8368778B2 (en) Image-signal processor capable of supporting a plurality of CCD image sensors and method for processing image signals using the image-signal processor
JP2006060496A (ja) 画像表示装置
JP2002199281A (ja) 画像処理装置
JP2011259269A (ja) 撮影装置
JP3854455B2 (ja) ビューファインダ装置
US9978122B2 (en) Electronic endoscope
JP2020031385A (ja) 撮像装置
JP2017055360A (ja) 撮像装置、画像処理装置及びそれらの制御方法
JPH05183883A (ja) 赤外線撮像装置の表示方法
JP2012095215A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200213

Year of fee payment: 4