KR20220143967A - 이벤트 카메라를 이용한 정적 이미지들의 생성 - Google Patents

이벤트 카메라를 이용한 정적 이미지들의 생성 Download PDF

Info

Publication number
KR20220143967A
KR20220143967A KR1020227035688A KR20227035688A KR20220143967A KR 20220143967 A KR20220143967 A KR 20220143967A KR 1020227035688 A KR1020227035688 A KR 1020227035688A KR 20227035688 A KR20227035688 A KR 20227035688A KR 20220143967 A KR20220143967 A KR 20220143967A
Authority
KR
South Korea
Prior art keywords
event
events
event camera
luminance
illumination signal
Prior art date
Application number
KR1020227035688A
Other languages
English (en)
Other versions
KR102668130B1 (ko
Inventor
알렉산드르 엠. 모브소비치
아서 야성 장
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20220143967A publication Critical patent/KR20220143967A/ko
Application granted granted Critical
Publication of KR102668130B1 publication Critical patent/KR102668130B1/ko

Links

Images

Classifications

    • H04N5/2351—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H04N5/2354—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

일부 실시예들에 따르면, 방법은 프로세서 및 비일시적 메모리를 갖는 이미지 프로세싱 디바이스에서 수행된다. 방법은 제1 방출 지속기간에 걸쳐, 시간의 함수로서 특성화 세기를 갖는 광 방출을 트리거링하는 단계를 포함한다. 방법은 이벤트 카메라로부터 제1 방출 지속기간 동안 광 방출의 반사들에 대응하는 각자의 픽셀 이벤트들을 획득하는 단계를 추가로 포함하고 각각의 각자의 픽셀 이벤트는 밝기 레벨을 나타내는 각자의 비교기 임계치의 침범에 대응하고, 각각의 각자의 픽셀 이벤트는 각자의 전기적 임계 값 및 각자의 전기적 임계 값이 침범되었던 타임스탬프에 의해 특성화된다. 방법은 또한 각자의 픽셀 이벤트들로부터 복수의 휘도 추정 값들을 결정함으로써 정적 이미지를 생성하게 하는 단계를 포함하고, 복수의 휘도 추정 값들은 이벤트 카메라의 부분들에 의해 수신된 반사된 광의 양에 각각 대응한다.

Description

이벤트 카메라를 이용한 정적 이미지들의 생성{GENERATING STATIC IMAGES WITH AN EVENT CAMERA}
관련 출원에 대한 상호 참조
본 출원은, 2017년 9월 28일자로 출원되고 이로써 전체적으로 참조로 통합된 미국 가특허 출원 제62/564,823호에 대한 우선권을 주장한다.
기술분야
본 개시내용은 일반적으로 디지털 이미지 프로세싱 분야에 관한 것으로, 보다 구체적으로는 이벤트 카메라를 이용하여 정적 이미지를 생성하는 것에 관한 것이다.
전통적인 카메라들은 장면으로부터 시각적 정보를 획득하기 위해 클러킹된(clocked) 이미지 센서들을 사용한다. 이러한 방법들은 소정의 프레임 레이트로 시간-정량화된다. 기록된 데이터의 각각의 프레임은 전형적으로 일부 방식으로 후처리된다. 많은 전통적인 카메라들에서, 데이터의 각각의 프레임은 모든 픽셀들로부터 정보를 전달한다. 모든 픽셀들로부터 정보를 전달하는 것은 종종 리던던시(redundancy)로 이어지고, 리던던시는 전형적으로 장면 내의 동적 콘텐츠의 양이 증가함에 따라 증가한다. 이미지 센서들이 더 높은 공간적 및/또는 시간적 해상도를 활용함에 따라, 프레임에 포함된 데이터의 양은 대부분 증가하기 쉬울 것이다. 더 많은 데이터를 갖는 프레임들은 전형적으로 증가된 커패시턴스를 갖는 추가적인 하드웨어를 요구하며, 이는 복잡성, 비용, 및/또는 전력 소비를 증가시키는 경향이 있다. 후처리가 배터리-전력공급되는 모바일 디바이스에서 수행되는 경우, 상당히 더 많은 데이터를 이용하여 프레임들을 후처리하는 것은 통상적으로 모바일 디바이스의 배터리를 훨씬 더 빠르게 소모한다.
본 개시내용은 정적 이미지들을 생성하기 위해 이벤트 카메라 센서들(이하 간결함을 위해 "이벤트 카메라들")을 활용한다. 일부 실시예들에서, 이벤트 카메라는 그의 시야에서의 변화를 검출한 것에 응답하여 이벤트 이미지 데이터를 생성한다. 일부 실시예들에서, 이벤트 카메라는 개별적인 픽셀들에서의 변화들을 나타낸다. 예를 들어, 이벤트 카메라의 출력은 (예컨대, 표준 세기 프레임들 대신에) 픽셀-레벨 밝기 변화들을 포함한다. 일부 실시예들에서, 이벤트 카메라의 출력 생성은 이벤트-제어된다. 이와 같이, 이벤트 카메라는 그의 시야에서의 변화를 검출한 것에 응답하여 데이터를 출력한다. 예를 들어, 이벤트 카메라는 이벤트 카메라의 시야 내에 있는 장면에서의 변화를 검출한 것에 응답하여 데이터를 출력한다. 일부 실시예들에서, 이벤트 카메라는 개별적인 픽셀들에서의 변화들을 검출함으로써 개별적인 픽셀들이 자율적으로 동작하게 하는 픽셀 이벤트 센서들을 포함한다. 그들의 세기에서의 변화들을 등록하지 않는 픽셀들은 어떠한 데이터도 생성하지 않는다. 그 결과, 정적 객체들(예컨대, 이동하지 않는 객체들)에 대응하는 픽셀들은 픽셀 이벤트 센서에 의한 출력을 트리거링하지 않는 반면, 가변 객체들(예컨대, 이동하고 있는 객체들)에 대응하는 픽셀들은 픽셀 이벤트 센서에 의한 출력을 트리거링한다. 다시 말하면, 픽셀 이벤트 센서에 의해 제공되는 데이터 스트림은 이동하는 객체들에 대응하는 픽셀들을 나타낸다. 균질한 표면 또는 모션 없는 배경을 검출한 것에 응답하여 그레이-레벨 정보를 출력하는 전통적인 카메라들과는 달리, 이벤트 카메라는 시야가 균질한 표면 또는 모션 없는 배경을 포함할 때 데이터를 생성하지 않는다.
본 개시내용은 이벤트 카메라를 이용하여 고해상도 정적 이미지들을 생성하기 위한 시스템들, 디바이스들, 및/또는 방법들을 제공한다. 일부 실시예들에 따르면, 본 명세서에 기술된 시스템들 및 방법들은 제어된 광원(예컨대, 플래시 또는 스트로브)을 트리거링하여 광을 방출한다. 광의 반사들은 이벤트 카메라에 의해 수신되고, 타임스탬프된 픽셀 이벤트들이 출력된다. 픽셀 이벤트들은, 타임스탬프된 픽셀 이벤트들을 제어된 광원의 특성화에 대응하는 곡선들에 피팅함으로써 복수의 휘도 추정 값들을 생성하는 휘도 추정기로 전송된다. 이어서, 복수의 휘도 추정 값들을 배열함으로써 정적 이미지가 형성된다. 따라서, 본 명세서에 기술된 실시예들에 따른 시스템들 및 방법들은 이벤트 카메라들에 의해 생성된 정적 이미지들의 해상도를 효과적으로 증가시킨다.
일부 실시예들에 따르면, 디바이스는 플래시 제어기, 이벤트 카메라, 및 이미지 프로세서를 포함한다. 플래시 제어기는 제어가능한 광원에 연결가능하고, 제어 신호의 함수로서 제1 방출 지속기간에 걸쳐 광을 방출하도록 제어가능한 광원을 구동시키기 위해 제어가능한 광원에 제어 신호를 제공한다. 이벤트 카메라는 제1 방출 지속기간 동안 제어가능한 광원에 의해 방출된 광의 반사들을 수신하도록 배열된 복수의 픽셀 요소들을 갖는다. 일부 실시예들에서, 복수의 픽셀 요소들 각각은 밝기 레벨을 나타내는 비교기 임계치의 침범에 응답하여 각자의 픽셀 이벤트를 출력한다. 일부 실시예들에서, 각각의 이벤트는 각자의 전기적 임계 값 및 각자의 전기적 임계 값이 침범되었던 타임스탬프에 의해 특성화된다. 이어서, 이미지 프로세서는 이벤트 카메라로부터 수신된 각자의 픽셀 이벤트들로부터 정적 이미지를 생성한다. 일부 실시예들에서, 이미지 프로세서는 대응하는 복수의 픽셀 요소들에 의해 수신된 반사된 광의 양에 각각 대응하는 각자의 픽셀 이벤트들로부터 복수의 휘도 추정 값들을 생성하기 위한 휘도 추정기를 포함하고, 정적 이미지는 복수의 휘도 추정 값들의 대응하는 배열을 포함한다.
일부 실시예들에 따르면, 방법은 프로세서 및 비일시적 메모리를 갖는 이미지 프로세싱 디바이스에서 수행된다. 방법은 제1 방출 지속기간에 걸쳐, 시간의 함수로서 특성화 세기를 갖는 광 방출을 트리거링하는 단계를 포함한다. 방법은 이벤트 카메라로부터 제1 방출 지속기간 동안 광 방출의 반사들에 대응하는 각자의 픽셀 이벤트들을 획득하는 단계를 추가로 포함하고 각각의 각자의 픽셀 이벤트는 밝기 레벨을 나타내는 각자의 비교기 임계치의 침범에 대응하고, 각각의 각자의 픽셀 이벤트는 각자의 전기적 임계 값 및 각자의 전기적 임계 값이 침범되었던 타임스탬프에 의해 특성화된다. 방법은 또한 각자의 픽셀 이벤트들로부터 복수의 휘도 추정 값들을 결정함으로써 정적 이미지를 생성하게 하는 단계를 포함하고, 복수의 휘도 추정 값들은 이벤트 카메라의 부분들에 의해 수신된 반사된 광의 양에 각각 대응한다.
일부 실시예들에 따르면, 디바이스는 하나 이상의 프로세서들, 비일시적 메모리, 및 하나 이상의 프로그램들을 포함한다. 하나 이상의 프로그램들은 비일시적 메모리에 저장되고, 하나 이상의 프로세서들에 의해 실행가능하다. 하나 이상의 프로그램들은 본 명세서에 설명된 방법들 중 임의의 방법의 동작들을 수행하거나 수행을 야기하기 위한 명령어들을 포함한다. 일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체는, 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 디바이스로 하여금, 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하게 하거나 수행을 야기하는 명령어들을 내부에 저장한다. 일부 구현예들에 따르면, 디바이스는 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 수행을 야기하기 위한 수단을 포함한다.
다양하게 기술된 실시예들의 보다 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 설명이 참조되어야 한다.
도 1은 일부 실시예들에 따른 예시적인 전자 디바이스를 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 이벤트 카메라 센서들의 블록도 및 이벤트 카메라 센서의 예시적인 회로도이다.
도 3은 일부 실시예들에 따른 이벤트 카메라를 이용한 이미지 생성을 예시하는 흐름도이다.
도 4는 일부 실시예들에 따른 정적 이미지들을 생성하는 방법을 예시하는 흐름도이다.
도 5는 일부 실시예들에 따른 정적 이미지들에 대한 휘도 추정 값들을 유도하는 방법을 예시하는 흐름도이다.
도 6은 일부 실시예들에 따른 계단 함수에 의해 특성화되는 플래시 이벤트에 응답하는 예시적인 휘도 추정 곡선들을 예시한다.
도 7은 일부 실시예들에 따른 램프 함수에 의해 특성화되는 플래시 이벤트에 응답하는 예시적인 휘도 추정 곡선들을 예시한다.
도 8은 일부 실시예들에 따른 예시적인 다기능 디바이스를 예시하는 블록도이다.
도면들에 도시된 예시적인 구현예들의 완전한 이해를 제공하기 위해 다수의 세부사항들이 설명된다. 그러나, 도면들은 단지 본 개시내용의 일부 예시적인 양태들만을 도시할 뿐이며, 따라서 제한적인 것으로 고려되지 않는다. 통상의 기술자는 다른 효과적인 양태들 및/또는 변형들이 본 명세서에 설명되는 특정 세부사항들 모두를 포함하지는 않음을 인식할 것이다. 또한, 잘 알려진 시스템들, 방법들, 컴포넌트들, 디바이스들 및 회로들은 본 명세서에 설명되는 예시적인 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 철저히 상세하게 설명되지 않았다.
도 1을 참조하면, 일부 실시예들에 따른 예시적인 전자 디바이스(100)의 블록도가 도시된다. 일부 실시예들에서, 전자 디바이스(100)는 모바일 폰, 태블릿 컴퓨터, 개인 휴대 정보 단말기, 휴대용 음악/비디오 플레이어, 웨어러블 디바이스, 또는 이미지 프로세싱 디바이스를 포함하는 임의의 다른 전자 디바이스와 같은 다기능 디바이스의 일부이다. 도 1에 도시되지는 않았지만, 일부 실시예들에서, 전자 디바이스(100)는 네트워크에 걸쳐 다른 디바이스들, 예를 들어, 다른 모바일 디바이스들, 태블릿 디바이스들, 데스크톱 디바이스들 뿐만 아니라 서버들을 포함하는 네트워크 저장 디바이스들 등에 접속된다.
일부 실시예들에서, 전자 디바이스(100)는 중앙 프로세싱 유닛(CPU)(130) 및 디바이스 센서들(175)(예를 들어, 근접 센서/주변 광 센서, 가속도계 및/또는 자이로스코프 등)을 포함한다. 프로세서(130)는 모바일 디바이스들에서 발견되는 시스템-온-칩과 같은 일부 실시예들에 따른 시스템-온-칩이고, 하나 이상의 전용 그래픽 프로세싱 유닛들(GPU들)을 포함한다. 또한, 일부 실시예들에서, 프로세서(130)는 동일한 유형 또는 상이한 유형들의 다수의 프로세서들을 포함한다.
일부 실시예들에서, 전자 디바이스(100)는 메모리(140)를 포함한다. 메모리(140)는 프로세서(130)와 함께 디바이스 기능들을 수행하기 위해 사용되는 하나 이상의 유형들의 메모리를 포함한다. 일부 실시예들에서, 메모리(140)는 캐시, ROM, 및/또는 RAM을 포함한다. 일부 실시예들에서, 메모리(140)는 실행 동안 다양한 프로그래밍 모듈들을 저장한다. 일부 실시예들에서, 메모리(140)는 인라인 이미지 프로세싱 동안 하나 이상의 이미지들을 저장하기 위한 버퍼(142)로서의 역할을 한다. 일부 실시예들에서, 메모리(140)는 CPU(130)에 의해 실행가능한 컴퓨터 판독가능 명령어들을 저장한다.
일부 실시예들에서, 전자 디바이스(100)는 이벤트 카메라(예컨대, 이벤트 카메라 센서들(110), 예를 들어, 픽셀 센서들 또는 픽셀 요소들)를 포함하는 하나 이상의 카메라들을 포함한다. 도 2에 도시된 바와 같이, 일부 실시예들에서, 이벤트 카메라 센서들(110)은 이벤트 카메라의 동작가능한 영역에 걸쳐 분산된다. 본 명세서에 기술된 바와 같이, 일부 실시예들에서, 이벤트 카메라 센서(110)는 주어진 픽셀에서 밝기(예컨대, 세기)에서의 변화를 식별하고, 밝기에서의 변화가 식별될 때 이벤트를 기록한다.
일부 실시예들에서, 전자 디바이스(100)는 플래시 제어기(150)를 포함한다. 플래시 제어기(150)는 제어가능한 광원(160)을 구동하여 광을 방출하기 위해 제어가능한 광원(160)에 제어 신호를 제공한다. 점선에 의해 표시된 바와 같이, 일부 실시예들에서, 제어가능한 광원(160)은 전자 디바이스(100)의 내부에 있다(예컨대, 제어가능한 광원(160)은 전자 디바이스(100)의 일부이다). 일부 실시예들에서, 제어가능한 광원(160)은 전자 디바이스(100)의 외부에 있다(예컨대, 제어가능한 광원(160)은 전자 디바이스(100) 외부에 있다). 일부 실시예들에서, 제어가능한 광원(160)은 플래시 제어기(150)에 결합되거나, 전자 디바이스(100)의 일체형 부분이다. 일부 실시예들에서, 제어가능한 광원(160)은 전자 디바이스(100)의 외부에 있고, 플래시 제어기(150)에 연결가능하다(예컨대, 제어가능한 광원(160)은 유선 연결을 통해 또는 무선으로 전자 디바이스(100)에 연결되도록 전자 디바이스(100) 내로 슬라이딩된다). 일부 실시예들에서, 제어가능한 광원(160)은 제어 노드(162)를 포함하고, 제어 노드(162)는 플래시 제어기(150)에 의해 제공되는 제어 신호를 수신하고 제어가능한 광원(160)을 구동시켜서 제어 신호의 함수로서 광을 방출한다.
일부 실시예들에서, 전자 디바이스(100)는 픽셀 휘도 추정기(120)를 포함한다. 픽셀 휘도 추정기(120)는 이벤트 카메라 센서(들)(110)에 의해 출력되는 픽셀 이벤트들에 기초하여 휘도 추정 값들을 계산하고, 휘도 추정 값들을 사용하여 정적 이미지들을 합성한다. 이어서, 일부 실시예들에서, 합성된 정적 이미지들은 이미지 버퍼(142) 내에 저장된다.
도 2는 일부 실시예들에 따른 이벤트 카메라 센서들(110)의 블록도 및 예시적인 이벤트 카메라 센서(110)의 예시적인 회로도이다. 도 2에 예시된 바와 같이, 일부 실시예들에서, 이벤트 카메라 센서들(110)은 2차원 어레이로 배열되고 이벤트 카메라의 동작가능한 영역에 걸쳐 분산된다. 도 2의 예에서, 각각의 이벤트 카메라 센서(110)는 어드레스 식별자로서의 2차원 좌표(X, Y)를 갖는다. 일부 실시예들에서, 이벤트 카메라 센서(110) 각각은 집적 회로이다.
도 2는 이벤트 카메라 센서(110)(예컨대, 픽셀 요소)에 대한 회로(112)(예컨대, 집적 회로)의 예시적인 회로도를 예시한다. 도 2의 예에서, 회로(112)는 포토다이오드(1a), 커패시터들(C1, C2), 게이트(G), 비교기(1b), 및 이벤트 레코더(1c)(예를 들어, 시간 기계)를 포함하는 다양한 회로 요소들을 포함한다. 일부 실시예들에서, 포토다이오드(1a)는 픽셀에서 광 세기에서의 임계 변화를 검출한 것에 응답하여 광전류를 생성한다. 일부 실시예들에서, 포토다이오드(1a)는 커패시터(C1) 내에 통합된다. 게이트(G)가 폐쇄될 때, 전류가 흐르기 시작하고, 커패시터(C1)는 전하를 축적하기 시작한다. 일부 실시예들에서, 비교기(1b)는 C1에 걸친 전압을 커패시터(C2)에 걸친 이전 전압과 비교한다. 비교 결과가 비교기 임계치를 만족시키면, 비교기(1b)는 이벤트 레코더(1c)에 대한 전기적 응답을 출력한다. 일부 실시예들에서, 전기적 응답은 전압이다. 그러한 실시예들에서, 전기적 응답의 전압은 반사된 광의 밝기를 나타낸다. 일부 실시예들에서, 이벤트 레코더(1c)는 이벤트 타임스탬프를 갖는 이벤트로서 각각의 출력을 라벨링한다. 이와 같이, 각각의 픽셀 요소에서 포토다이오드 조명에서의 변화가 이벤트들로서 검출 및 출력되고, 이벤트들과 연관된 타임스탬프들이 기록된다.
도 3은 일부 실시예들에 따른 전자 디바이스(100)를 사용하여 정적 이미지(들)를 생성하는 흐름도를 예시한다. 일부 실시예들에서, 프로세스는 전자 디바이스(100)의 플래시 제어기(150)가 제어가능한 광원(160)(예컨대, 플래시 또는 스트로브)에 제어 신호(152)를 제공하는 것으로 시작한다. 일부 실시예들에서, 제어가능한 광원(160)은 제어 신호(152)를 수신한 것에 응답하여 광(164)(예컨대, 광선들)을 방출한다. 도 3에 예시된 바와 같이, 광선들은 대상(302)에 충돌하고, 대상(302)을 포함하는 장면을 조명한다. 일부 실시예들에서, 반사된 광(166)(예컨대, 대상(302)에 의해 반사된 광(164)의 일부분)이 이벤트 카메라 센서들(110)에 의해 검출되고 이벤트들이 (예컨대, 도 2를 참조하여 본 명세서에 기술된 바와 같이) 생성된다. 이벤트 시간 레코더(312)(예컨대, 도 2에 도시된 이벤트 레코더(1c))는 타임스탬프들을 갖는 이벤트(314)들을 생성(예컨대, 라벨링)하고 타임스탬프된 이벤트들(314)은 픽셀 휘도 추정기(120)에 입력들로서 제공된다. 픽셀 휘도 추정기(120)는 또한 계단 함수로서 광의 방출, 예컨대, 광 버스트들을 달성하거나 플래시 세기를 램프 함수로서 증가시키는 제어 신호(152)의 특성화를 기술하는 입력(154)을 플래시 제어기(150)로부터 수신한다. 입력(154)에 기초하여, 픽셀 휘도 추정기(120)는 휘도 추정 값들을 결정한다. 일부 실시예들에서, 픽셀 휘도 추정기(120)는 (예를 들어, 도 4 및 도 5를 참조하여 본 명세서에 기술된 바와 같은) 곡선 피팅 프로세스를 활용함으로써 휘도 추정 값들을 결정한다. 일부 실시예들에서, 전자 디바이스(100)는 휘도 추정 값들에 기초하여 정적 이미지들을 합성한다. 일부 실시예들에서, 전자 디바이스(100)는 합성된 정적 이미지들을 메모리(140)에 (예컨대, 메모리(140)의 이미지 버퍼(142) 내에 이미지 데이터 1, 이미지 데이터 2, ... 이미지 데이터 N으로서) 저장한다.
도 4는 일부 실시예들에 따른 정적 이미지들을 생성하는 방법(400)을 예시하는 흐름도이다. 일부 실시예들에서, 방법(400)은 프로세서(예컨대, 도 1에 도시된 프로세서(130)) 및 비일시적 메모리(예컨대, 도 1 및 도 3에 도시된 메모리(140))를 갖는 이미지 프로세싱 디바이스(예컨대, 도 1 및 도 3에 도시된 전자 디바이스(100))에서 수행된다. 일부 실시예들에서, 이미지 프로세싱 디바이스는 제어가능한 광원(예컨대, 도 1 및 도 3에 도시된 제어가능한 광원(160))에 연결가능한 플래시 제어기(예컨대, 도 1 및 도 3에 도시된 플래시 제어기(150))를 추가로 포함한다. 본 명세서에 기술된 바와 같이, 일부 실시예들에서, 플래시 제어기는 제어가능한 광원을 구동시켜 제어 신호의 함수로서 제1 방출 지속기간에 걸쳐 광(예컨대, 도 3에 도시된 광(164))을 방출하기 위해 제어 신호(예컨대, 도 3에 도시된 제어 신호(152))를 제어가능한 광원에 제공한다. 일부 실시예들에서, 이미지 프로세싱 디바이스는 광의 반사들을 수신하도록 배열된 제1 영역(예컨대, 도 2에 도시된 음영 영역 내부의 동작가능한 영역, 또는 이벤트 카메라의 동작가능한 영역의 서브-부분)에 걸쳐 분산된 복수의 픽셀 요소들(예컨대, 도 1 내지 도 3에 도시된 이벤트 카메라 센서들(110))을 갖는 이벤트 카메라를 추가로 포함한다.
일부 실시예들에서, 방법(400)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일부 실시예들에서, 방법(400)은 비일시적 컴퓨터-판독가능 매체(예를 들어, 메모리)에 저장된 프로세서 실행 코드(예컨대, 컴퓨터 판독가능 명령어들)에 의해 수행된다.
블록(410)에 의해 표현되는 바와 같이, 일부 실시예들에서, 방법(400)은 제1 방출 지속기간에 걸쳐, 시간의 함수로서 특성화 세기를 갖는 광 방출을 트리거링하는 단계를 포함한다. 블록(412)에 의해 표현되는 바와 같이, 일부 실시예들에서, 방법(400)은 제1 방출 지속기간 동안 광 방출(예컨대, 도 3에 도시된 광(164))을 달성하기 위해 제어 신호(예컨대, 도 3에 도시된 제어 신호(152))를 생성하도록 플래시 제어기(예컨대, 도 1 및 도 3에 도시된 플래시 제어기(150))를 트리거링함으로써 광 방출을 트리거링하는 단계를 포함한다. 블록(414)에 의해 표현되는 바와 같이, 일부 실시예들에서, 방법(400)은 제어 신호를 제어가능한 광원의 제어 노드에 결합시키는 단계(예컨대, 제어 신호(152)를 도 3에 도시된 제어가능한 광원(160)의 제어 노드(162)에 결합시키는 단계)를 포함한다. 예를 들어, 본 명세서에 (예컨대, 도 3과 관련하여) 기술된 바와 같이, 플래시 제어기(150)는 제어 신호(152)를 생성하고 제어 신호(152)를 제어가능한 광원(160)의 제어 노드(162)에 결합시켜 광 방출(예컨대, 광(164))을 트리거링한다. 일부 실시예들에서, 시간의 함수로서의 광 방출의 특성화 세기는 소정 기간 동안 도 6에 도시된 계단과 같은 계단 함수이다. 일부 실시예들에서, 시간의 함수로서의 광 방출의 특성화 세기는 램프 함수이고, 예컨대 광 세기는 도 7에 도시된 바와 같이 시간의 함수로서 증가한다.
블록(420)에 의해 표현되는 바와 같이, 일부 실시예들에서, 방법(400)은 제1 방출 지속기간 동안 광 방출의 반사들에 대응하는 각자의 픽셀 이벤트들을 획득하는 단계(예컨대, 도 3에 도시된 이벤트들(314)을 획득하는 단계)를 포함한다. 일부 실시예들에서, 방법(400)은 이벤트 카메라로부터 픽셀 이벤트들을 획득하는 단계(예컨대, 도 3에 도시된 이벤트 시간 레코더(312) 및/또는 이벤트 카메라 센서들(110)로부터 픽셀 이벤트들을 획득하는 단계)를 포함한다. 일부 실시예들에서, 각각의 각자의 픽셀 이벤트는 밝기 레벨을 나타내는 각자의 비교기 임계치의 침범에 대응한다. 일부 실시예들에서, 각각의 각자의 픽셀 이벤트는 각자의 전기적 임계 값 및 각자의 전기적 임계 값이 침범되었던 타임스탬프에 의해 특성화된다.
블록(422)에 의해 표현되는 바와 같이, 일부 실시예들에서, 비교기 임계치는 조정가능하다. 예를 들어, 일부 실시예들에서, 비교기 임계치는 조작자(예컨대, 인간 조작자)에 의해 수동으로 조정된다. 일부 실시예들에서, 비교기 임계치는 프로그램(예컨대, 프로세서에 의해 실행되는 컴퓨터 판독가능 명령어)에 의해 프로그램 방식으로 조정(예컨대, 자동으로 조정)된다. 이와 같이, 일부 실시예들에서, 비교기 임계치는 이벤트들 사이에서 변한다. 일부 실시예들에서, 비교기 임계치는 고정된다(예컨대, 일정하게 유지된다). 예를 들어, 도 6을 참조하면, 전기적 임계치 레벨 값들(th1 및 th2) 사이의 차이를 표현하는 비교기 임계치(2)는 전기적 임계치 레벨 값들(th2 및 th3) 사이의 차이를 표현하는 비교기 임계치(3)와 동일하다. 도 6의 예에서, 전기적 임계치 레벨 값들(th2 및 th3) 사이의 차이를 표현하는 비교기 임계치(4)는 비교기 임계치(3) 및 비교기 임계치(2)와는 상이하다.
블록(424)에 의해 표현되는 바와 같이, 일부 실시예들에서, 방법(400)은 (예컨대, 도 3에 도시된 바와 같이) 방출된 광의 반사들을 수신하도록 배열된 이벤트 카메라의 (예컨대, 도 2에 도시된 바와 같은) 동작가능한 영역에 걸쳐 분산된 복수의 픽셀 요소들로부터 각자의 픽셀 이벤트들을 획득하는 단계를 포함한다. 일부 실시예들에서, 각자의 픽셀 이벤트들을 획득하는 단계는 이벤트 카메라의 동작가능한 영역의 서브-부분으로부터 각자의 픽셀 이벤트들을 획득하는 단계를 포함한다.
블록(430)에 의해 표현되는 바와 같이, 일부 실시예들에서, 방법(400)은 각자의 픽셀 이벤트들로부터 휘도 추정 값들의 수를 결정함으로써 정적 이미지를 생성하는 단계를 포함한다. 일부 실시예들에서, 휘도 추정 값들은 이벤트 카메라의 부분들에 의해 수신된 반사된 광의 양에 각각 대응한다. 블록(432)에 의해 표현된 바와 같이, 일부 실시예들에서, 방법(400)은 픽셀 이벤트들을 곡선 피팅하고 피팅된 곡선에 기초하여 반사된 광의 밝기를 나타내는 전압을 추정함으로써 휘도 추정 값들을 결정하는 단계를 포함한다. 도 5는 곡선 피팅 프로세스의 예를 예시한다. 일부 실시예들에서, 곡선들은 (예컨대, 도 6 및 도 7에 예시된 바와 같이) 광 방출의 특성화 세기를 상관시킨다.
블록(440)에 의해 표현되는 바와 같이, 일부 실시예들에서, 방법(400)은 메모리 내에 정적 이미지(들)를 저장하는 단계(예컨대, 도 3에 도시된 메모리(140)의 이미지 버퍼(142)에 이미지들을 저장하는 단계, 예를 들어, 이미지 데이터 1, 이미지 데이터 2,... 이미지 데이터 N을 저장하는 단계)를 포함한다.
도 5는 일부 실시예들에 따라 휘도 추정 값(들)을 유도하기 위해 픽셀 이벤트(들)를 곡선 피팅하는 방법(500)을 예시하는 흐름도이다. 일부 실시예들에서, 방법(500)은 프로세서(예컨대, 도 1에 도시된 프로세서(130)) 및 비일시적 메모리(예컨대, 도 1에 도시된 메모리(140))를 갖는 이미지 프로세싱 디바이스(예컨대, 도 1 및 도 3에 도시된 전자 디바이스(100))에서 수행된다. 일부 실시예들에서, 이미지 프로세싱 디바이스는 제어가능한 광원(예컨대, 도 1 및 도 3에 도시된 제어가능한 광원(160))에 연결가능한 플래시 제어기(예컨대, 도 1 및 도 3에 도시된 플래시 제어기(150))를 추가로 포함한다. 일부 실시예들에서, 플래시 제어기는 제어가능한 광원을 구동시켜 제어 신호의 함수로서 제1 방출 지속기간에 걸쳐 광을 방출하기 위해 제어 신호(예컨대, 도 3에 도시된 제어 신호(152))를 제어가능한 광원에 제공한다. 일부 실시예들에서, 이미지 프로세싱 디바이스는 광의 반사들을 수신하도록 배열된 제1 영역(예컨대, 도 2에 도시된 음영 영역 내부의 동작가능한 영역, 또는 이벤트 카메라의 동작가능한 영역의 서브-부분)에 걸쳐 분산된 다수의 픽셀 요소들(예컨대, 도 1 내지 도 3에 도시된 이벤트 카메라 센서들(110))을 갖는 이벤트 카메라를 추가로 포함한다.
일부 실시예들에서, 방법(500)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일부 실시예들에서, 방법(500)은 비일시적 컴퓨터-판독가능 매체(예를 들어, 메모리)에 저장된 프로세서 실행 코드(예컨대, 컴퓨터 판독가능 명령어들)에 의해 수행된다.
블록(510)에 의해 표현되는 바와 같이, 일부 실시예들에서, 방법(500)은 시간의 함수로서 특성화 세기를 갖는, 제1 방출 지속기간에 걸친 광 방출(예컨대, 도 3에 도시된 광(164))을 트리거링하기 위해 제어 신호(예컨대, 도 3에 도시된 제어 신호(152))를 제어가능한 광원(예컨대, 도 1 및 도 3에 도시된 제어가능한 광원(160))에 전송하는 단계를 포함한다. 일부 실시예들에서, 시간의 함수로서의 광 방출의 특성화 세기는 일부 실시예들에 따른 기간 동안의 계단 함수 또는 램프 함수이다.
블록(520)에 의해 표현되는 바와 같이, 일부 실시예들에서, 방법(500)은 휘도 추정을 위해 시간 기록을 트리거링하고 특성화 세기를 전송하는 단계를 포함한다. 예를 들어, 플래시 제어기(150)는, 도 3에 도시된 바와 같이, 시간을 기록하는 것 및 광 방출(예컨대, 계단 함수 또는 램프 함수)의 특성화 세기를 픽셀 휘도 추정기(120)로 전송하는 것을 시작하도록 이벤트 레코더(1c)(도 2)에게 지시한다.
블록(530)에 의해 표현되는 바와 같이, 일부 실시예들에서, 방법(500)은 이벤트 카메라에 의해 출력되는 이벤트들을 라벨링하는 단계를 포함한다. 본 명세서에 기술된 바와 같이, 일부 실시예들에서, 이벤트 카메라는 제1 방출 지속기간 동안 광 방출로부터의 광의 반사들을 수신하도록 배열되는 픽셀 요소들을 포함한다. 본 명세서에 기술된 바와 같이, 일부 실시예들에서, 이벤트는 비교기 임계치가 침범될 때 생성된다. 일부 실시예들에 따르면, 이벤트는 침범 시간에서의 각자의 전압, 침범의 타임스탬프(예컨대, 도 2에 도시된 이벤트 레코더(1c)에 의해 추가됨), 및 픽셀 요소의 위치(예를 들어, 도 2에 도시된 바와 같은 2차원 픽셀 어레이에서의 x-좌표 및 y-좌표)에 의해 특성화된다.
도 6을 참조하면, 이벤트들(610, 620 및 630)은 회로들 내의 전압들이 비교기 임계치(1)를 침범할 때 생성된다. 이벤트(610)는 밝은 픽셀(이하, "밝은 픽셀 요소")에 대응하는 위치 (X1, Y1)에서 픽셀 요소에 의해 검출되고, 이벤트(620)는 어두운 픽셀(이하, "어두운 픽셀 요소")에 대응하는 위치 (X2, Y2)에서 픽셀 요소에 의해 검출되고, 이벤트(630)는 더 어두운 픽셀(이하, "더 어두운 픽셀 요소")에 대응하는 위치 (X3, Y3)에서 픽셀 요소에 의해 검출된다. 침범 시간, 예를 들어, t1, t1-Dark, and t1-Darker에서, 전기적 임계치 값은 th1이다. 일부 실시예에서, 이벤트(610, 620 및 630)는 하기 데이터에 의해 표현된다:
{(t1, (X1, Y1), th1),
(t2, (X2, Y2), th2),
(t3, (X3, Y3), th3)}.
도 6에 도시된 바와 같이, 밝은 픽셀 요소에 비해, 어두운 픽셀 요소 회로가 비교기 임계치(1)를 침범하기 위해 전하를 축적하는 데 더 오래 걸린다. 마찬가지로, 더 어두운 픽셀 요소 회로는 비교기 임계치(1)를 침범하기 위해 전하를 축적하는 데 훨씬 더 오래 걸리는데, 즉 t1 < t1-Dark < t1-Darker이다.
도 5를 다시 참조하면, 블록(540)에 의해 표현되는 바와 같이, 일부 실시예들에서, 제어 신호의 특성화 세기에 기초하여, 방법(500)은 제1 방출 지속기간 동안 타겟 픽셀 요소(예컨대, 이상적인 픽셀 요소)에 대한 타겟 이벤트 곡선(예컨대, 이상적인 이벤트 곡선)을 유도하는 단계를 포함한다. 본 명세서에 사용되는 바와 같이, 타겟 픽셀 요소는 대부분의 광 반사를 캡처한다. 타겟 이벤트 곡선은 광에 응답하여 시간의 함수로서 타겟 픽셀 요소에 의해 출력되는 전기적 레벨들을 표현한다. 블록(550)에 의해 표현되는 바와 같이, 일부 실시예들에서, 방법(500)은 하나 이상의 각자의 픽셀 이벤트들을 유사하게 형상화된 곡선들에 피팅함으로써 제1 방출 지속기간 동안 라벨링된 이벤트들에 대한 유사하게 형상화된 이벤트 곡선들을 생성하는 단계를 포함한다. 블록(560)에 의해 표현되는 바와 같이, 일부 실시예들에서, 방법(500)은 이벤트 곡선들에 기초하여 휘도 추정 값들을 결정하는 단계(예컨대, 이벤트 곡선들로부터 휘도 추정 값들을 유도하는 단계)를 포함한다. 블록(570)에 의해 표현되는 바와 같이, 일부 실시예들에서, 방법(500)은 휘도 추정 값들의 대응하는 배열을 포함하는 정적 이미지를 합성하는 단계(예를 들어, 발생시키는 단계, 예를 들어, 생성하는 단계)를 포함한다.
예를 들어, 도 6에서, 픽셀 요소에 대한 회로(예컨대, 도 2에 도시된 회로(112))에서 광이 버스트할 때, 커패시터(C1)는 전하를 축적하기 시작하고, 커패시터(C1)로부터의 전압 측정치가 증가한다. 일부 실시예들에서, 커패시터에 걸친 순간 전압 대 시간은 (
Figure pat00001
)의 함수이며, 여기서 t는 회로 전압들이 변경된 경과 시간이고, τ는 회로의 시상수이다. 일부 실시예들에서, 방법(500)은 시간의 함수로서 커패시터에 걸친 순간 전압에 기초하여 타겟 이벤트 곡선(예컨대, 이상적 이벤트 곡선)을 생성하는 단계를 포함한다.
일부 실시예들에서, 방법(500)은 타겟 이벤트 곡선에 기초하여 다른 이벤트 곡선들을 생성하는 단계를 포함한다. 일부 실시예들에서, 다른 이벤트 곡선들은, 예컨대 (
Figure pat00002
)의 함수로서)타겟 이벤트 곡선과 유사한 형상들인 형상들을 갖는다. 일부 실시예들에서, 방법(500)은 픽셀 요소에 의해 검출된 이벤트(들)를 표현하는 하나 이상의 데이터 포인트들을 피팅함으로써 픽셀 요소에 대한 이벤트 곡선을 생성하는 단계를 포함한다. 예를 들어, 도 6에서, 밝은 픽셀 요소에 대한 곡선은 (
Figure pat00003
)의 함수를 표현하는 곡선 상에 데이터 포인트(t1, (X1, Y1), th1)를 피팅함으로써 생성된다. 유사하게, 어두운 픽셀 요소 및 더 어두운 픽셀 요소에 대한 곡선들은 (
Figure pat00004
)의 함수에 따라 그리고 데이터 포인트들(t2, (X2, Y2), th2) 및 (t3, (X3, Y3), th3)을 각각 피팅함으로써 생성된다.
일부 실시예들에서, 하나 초과의 비교기 임계치가 침범되고, 신호 대 잡음비를 개선하기 위해 하나 초과의 이벤트가 곡선 상에 피팅된다. 예를 들어, 도 6에서, 밝은 픽셀 요소에 대응하는 곡선은 비교기 임계치들이 4번 침범되었음을 나타낸다. 다시 말하면, 시간 t1에서 이벤트(610)를 검출한 후에, 밝은 픽셀 요소는 시간 t2에서의 이벤트(612), t3에서 이벤트(614), 및 t4에서 이벤트(616)를 추가로 검출한다. 일부 실시예들에서, 4개의 이벤트들(예컨대, 이벤트들(610, 612, 614 및 616))은 신호-대-잡음비를 개선하기 위해 밝은 픽셀 요소 곡선 상에 피팅된다.
일부 실시예들에서, 방법(500)은, 픽셀 요소들에 대한 곡선들을 생성한 후에, 각각의 곡선의 점근적 한계(예를 들어, 정상 상태 전압)를 추정하는 단계를 포함한다. 일부 실시예들에서, 타겟 픽셀 요소의 경우, 정상 상태 전압은 광 방출 전압과 대략 동일하며, 이는 타겟 픽셀 요소가 증가된 양의 반사된 광(BM)(예컨대, 광의 최대량)을 검출함을 나타낸다. 밝은 픽셀 요소에 대해, 곡선은 이상적인 곡선 아래로 떨어진다. 이와 같이, 일부 실시예들에서, 밝은 픽셀 요소 곡선의 점근적 한계는 이상적인 곡선의 점근적 한계보다 낮으며, 이는 위치 (X1, Y1)에서 검출되는 반사된 광, Bbright의 보다 작은 밝기를 나타낸다. 마찬가지로, 어두운 픽셀 요소 곡선 및 더 어두운 픽셀 요소 곡선의 보다 낮은 점근적 한계들은 위치 (X3, Y3)에서의 Bdarker < 위치 (X2, Y2)에서의 Bdark < 위치 (X1, Y1)에서의 Bbright를 나타낸다. 도 6의 예에서, 위치 (X1, Y1)에서의 Bbright, 위치 (X2, Y2)에서의 Bdark, 및 위치 (X3, Y3)에서의 Bdarker의 대응하는 배열에 기초하여 정적 이미지가 생성된다.
도 6의 예는 일부 실시예들에 따른 계단 함수로서 특성화되는 광 방출에 대한 전기적 응답을 예시한다. 일부 실시예들에서, 광 방출의 특성화 세기는 램프 함수이고, 예를 들어, 광 세기는 시간 경과에 따라 증가한다. 그러한 실시예들에서, 디바이스는 이벤트 카메라의 각자의 픽셀 요소와 연관된 하나 이상의 각자의 픽셀 이벤트들의 함수에 기초하여 임계 정확도 기준 내에서 램프 함수를 추적하는 각자의 곡선을 피팅하고, 각자의 곡선에 기초하여 복수의 휘도 추정 값들의 각자의 휘도 추정 값을 합성한다.
도 7은 시간의 함수로서 증가하는 광 세기를 표현하는 플래시 이벤트(예컨대, 광 방출)에 대응하는 플래시 이벤트 라인(700)을 예시한다. 밝은 픽셀 요소 및 어두운 픽셀 요소에 대한 곡선들(702 및 704)은 임계 거리 내에서 플래시 이벤트 라인(700)을 각각 추적한다. 일부 실시예들에서, 곡선들(702 및 704)은, 이벤트들을 표현하는 데이터 포인트들을 곡선들(702 및 704)에 피팅함으로써, 예를 들어, 하나 이상의 이벤트들(710 내지 716)을 표현하는 데이터 포인트(들)를 밝은 픽셀 요소를 표현하는 곡선(702)에 피팅함으로써, 위의 도 6과 관련하여 설명된 바와 같이 생성된다. 일부 실시예들에서, 휘도 추정 값은 예컨대 시간의 함수로서 밝기 값들 B1, B2, B3, 및 B4를 유도하는 곡선(702)으로부터 추정된다.
이제 도 8을 참조하면, 일부 실시예들에 따른 예시적인 다기능 디바이스(800)의 기능 블록도가 도시된다. 일부 실시예들에서, 다기능 전자 디바이스(800)는 프로세서(805), 디스플레이(810), 사용자 인터페이스(815), 그래픽 하드웨어(820), 디바이스 센서들(825)(예컨대, 근접 센서/주변 광 센서, 가속도계 및/또는 자이로스코프), 마이크로폰(830), 오디오 코덱(들)(835), 스피커(들)(840), 통신 회로부(845), (예컨대, 카메라 시스템(100)을 포함하는) 디지털 이미지 캡처 회로부(850), (예컨대, 디지털 이미지 캡처 유닛(850)을 지원하는) 비디오 코덱(들)(855), 메모리(860), 저장 디바이스(865), 및 통신 버스(870)를 포함한다. 일부 실시예들에서, 다기능 전자 디바이스(800)는 디지털 카메라 또는 개인용 전자 디바이스, 예를 들어, 개인 휴대 정보 단말기(PDA), 개인 음악 플레이어, 모바일 전화, 또는 태블릿 컴퓨터이다. 일부 실시예들에서, 다기능 전자 디바이스(800)는 도 1 및 도 3에 도시된 전자 디바이스(100)를 구현한다. 일부 실시예들에서, 다기능 전자 디바이스(800)는 본 명세서에 기술된 동작들 및/또는 방법들을 수행한다(예컨대, 다기능 전자 디바이스(800)는 도 4에 도시된 방법(400) 및/또는 도 5에 도시된 방법(500)을 수행한다).
일부 실시예들에서, 프로세서(805)는 디바이스(800)에 의해 수행되는 많은 기능들의 동작(예컨대, 본 명세서에 개시된 바와 같은 이미지들의 생성 및/또는 프로세싱)을 수행하거나 제어하는 데 필요한 명령어들을 실행한다. 프로세서(805)는, 예를 들어, 디스플레이(810)를 구동하고 사용자 인터페이스(815)로부터 사용자 입력을 수신한다. 사용자 인터페이스(815)는 일부 실시예들에서, 사용자가 디바이스(800)와 상호작용할 수 있게 한다. 예를 들어, 사용자 인터페이스(815)는 버튼, 키패드, 다이얼, 클릭 휠, 키보드, 디스플레이 스크린 및/또는 터치 스크린을 포함한다. 일부 실시예들에서, 프로세서(805)는 모바일 디바이스에서 발견되는 것들과 같은 시스템-온-칩을 포함하고 전용 그래픽 프로세싱 유닛(GPU)을 포함한다. 일부 실시예들에서, 프로세서(805)는 감소된 명령어-세트 컴퓨터(reduced instruction-set computer, RISC) 또는 복합 명령어-세트-컴퓨터(complex instruction-set computer, CISC) 아키텍처들 또는 임의의 다른 적합한 아키텍처에 기초하며, 하나 이상의 프로세싱 코어들을 포함할 수 있다. 그래픽 하드웨어(820)는 일부 실시예들에서, 그래픽을 프로세싱하고/하거나 프로세서(805)가 그래픽 정보를 프로세싱하는 것을 보조하기 위한 특수 목적의 연산 하드웨어이다. 일부 실시예에서, 그래픽 하드웨어(820)는 프로그래밍가능 GPU를 포함한다.
일부 실시예들에서, 렌즈(854)를 통해, 이미지 캡처 회로부(850)는 이미지들 및/또는 이벤트들을 캡처하기 위해 센서들(또는 픽셀 센서들, 또는 센서 요소들, 또는 픽셀 요소들)(852)을 사용한다. 이미지 캡처 회로부(850)로부터의 출력은 비디오 코덱(들)(865) 및/또는 프로세서(805) 및/또는 그래픽 하드웨어(820), 및/또는 회로부(865) 내에 통합된 전용 이미지 프로세싱 유닛 또는 파이프라인에 의해, 적어도 부분적으로 프로세싱된다. 그렇게 캡처된 이미지들은 메모리(860) 및/또는 저장소(855)에 저장된다. 일부 실시예들에서, 이미지 캡처 회로부(850) 및/또는 센서들(852)은 하나 이상의 이벤트 카메라 센서들(예컨대, 도 1 내지 도 3에 도시된 이벤트 카메라 센서들(110))을 포함한다.
일부 실시예들에서, 센서들(852) 및 카메라 회로부(850)에 의해 캡처된 이미지들은, 적어도 부분적으로, 비디오 코덱(들)(855) 및/또는 프로세서(805) 및/또는 그래픽 하드웨어(820), 및/또는 회로부(850) 내에 통합된 전용 이미지 프로세싱 유닛에 의해 본 명세서에 기술된 방법들에 따라 프로세싱된다. 그렇게 캡처된 및/또는 프로세싱된 이미지들은 메모리(860) 및/또는 저장소(865)에 저장된다. 메모리(860)는 디바이스 기능들을 수행하기 위해 프로세서(805) 및 그래픽 하드웨어(820)에 의해 사용된 하나 이상의 상이한 유형들의 미디어를 포함한다. 예를 들어, 메모리(860)는 메모리 캐시, 판독 전용 메모리(ROM) 및/또는 랜덤 액세스 메모리(RAM)를 포함한다. 일부 실시예들에서, 저장소(865)는 미디어(예컨대, 오디오, 이벤트 카메라 및 비디오 파일들에 의해 제공되는 데이터에 기초하여 다기능 전자 디바이스(800)에 의해 생성된 정적 이미지들과 같은 이미지들), 컴퓨터 프로그램 명령어들 또는 소프트웨어, 선호도 정보, 디바이스 프로파일 정보 및 임의의 다른 적합한 데이터를 저장한다. 일부 실시예들에서, 저장소(865)는, 예를 들어 자기 디스크들(고정형, 플로피, 및 이동형) 및 테이프, CD-ROM들 및 DVD(digital video disk)들과 같은 광학 미디어, 및 EPROM(Electrically Programmable Read-Only Memory) 및 EEPROM(Electrically Erasable Programmable Read-Only Memory)과 같은 반도체 메모리 디바이스들을 포함하는, 하나 이상의 비일시적 저장 매체들을 포함한다. 일부 실시예들에서, 메모리(860) 및 저장소(865)는 하나 이상의 모듈들로 조직화되고 임의의 원하는 컴퓨터 프로그래밍 언어로 기록되는 컴퓨터 프로그램 명령어들 또는 코드를 유형적으로 보유하기 위해 사용된다. 예를 들어, 프로세서(805)에 의해 실행될 때, 그러한 컴퓨터 프로그램 코드는 본 명세서에 설명된 방법들 중 하나 이상을 구현한다.
첨부된 청구범위의 범주 내의 구현예들의 다양한 양태들이 전술되지만, 전술된 구현들의 다양한 특징들이 매우 다양한 형태들로 구현될 수 있고 전술된 임의의 특정 구조 및/또는 기능이 단지 예시적이라는 것이 명백할 것이다. 본 개시내용에 기초하여, 당업자는 본 명세서에 기술된 양태가 임의의 다른 양태들과 독립적으로 구현될 수 있고 이들 양태들 중 둘 이상이 다양한 방식으로 조합될 수 있음을 이해해야 한다. 예를 들어, 본 명세서에 기재된 임의의 수의 양태들을 사용하여 장치가 구현될 수 있고/있거나 방법이 실시될 수 있다. 또한, 본 명세서에 기술된 양태들 중 하나 이상에 추가로 또는 그 이외의 다른 구조물 및/또는 기능을 사용하여 그러한 장치가 구현될 수 있고/있거나 그러한 방법이 실시될 수 있다.
용어들 "제1", "제2" 등이 다양한 요소들을 설명하기 위해 본 명세서에서 사용될 수 있지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이러한 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 모든 "제1 노드"의 발생이 일관되게 재명명되고 모든 "제2 노드"의 발생이 일관되게 재명명되기만 한다면, 제1 노드는 제2 노드로 지칭될 수 있고, 유사하게, 제2 노드는 제1 노드로 지칭될 수 있으며, 이는 설명의 의미를 변경한다. 제1 노드 및 제2 노드는 둘 모두 노드들이지만, 그것들은 동일한 노드가 아니다.
본 명세서에서 사용되는 용어는 단지 특정 실시예들만을 설명하는 목적을 위한 것이고, 청구범위를 제한하도록 의도되지 않는다. 본 실시예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수의 형태들("a", "an" 및 "the")은 문맥상 명백히 다르게 나타나지 않는다면 복수의 형태들도 또한 포함하는 것으로 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "및/또는"은 열거되는 연관된 항목들 중 하나 이상의 항목들의 임의의 그리고 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 본 명세서에서 사용될 때 "포함한다(comprise)" 및/또는 "포함하는(comprising)"이라는 용어들은 진술되는 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본 명세서에서 사용되는 바와 같이, 상황에 따라 진술된 선행 조건이 사실"인 경우(if)"라는 용어는 그가 사실"일 때(when)", 그가 사실"일 시(upon)" 또는 그가 사실"이라는 판정에 응답하여(in response to determining)" 또는 그가 사실"이라는 판정에 따라(in accordance with a determination)" 또는 그가 사실"임을 검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석될 수 있다. 유사하게, "[진술된 상태 선례가 사실]로 판정되는 경우" 또는 "[진술된 상태 선례가 사실]인 경우" 또는 "[진술된 상태 선례가 사실]일 때"라는 구는 진술된 상태 선례가 상황에 따라 사실"인 것으로 판정할 시(upon determining)" 또는 그가 사실"인 것으로 판정하는 것에 응답하여(in response to determining)" 또는 그가 사실"이라는 판정에 따라(in accordance with a determination)" 또는 그가 사실"이라는 것을 검출할 시(upon detecting)" 또는 그가 사실"이라는 것을 검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 이해될 수 있다.

Claims (20)

  1. 방법으로서,
    프로세서 및 비일시적 메모리를 갖는 디바이스에서:
    이벤트 카메라로부터, 복수의 이벤트를 획득하는 단계 - 상기 복수의 이벤트 각각은 각자의 임계값이 침범된 시각을 나타내는 타임스탬프를 포함함 -;
    상기 타임스탬프들에 기초하여, 상기 이벤트 카메라의 부분들에 의해 수신된 광의 양에 대응하는 복수의 휘도 추정 값을 결정하는 단계; 및
    상기 복수의 휘도 추정 값에 기초하여 장면의 정적 이미지를 생성하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 복수의 이벤트의 각각은 상기 각자의 임계값을 나타내는 임계 표시자를 더 포함하는, 방법.
  3. 제1항에 있어서, 상기 복수의 이벤트의 각각은 상기 이벤트 카메라의 픽셀 요소의 위치를 나타내는 위치 표시자를 더 포함하는, 방법.
  4. 제3항에 있어서, 상기 장면의 상기 정적 이미지를 생성하는 단계는 상기 위치 표시자들에 기초하여 상기 휘도 추정 값들을 배열하는 단계를 포함하는, 방법.
  5. 제1항에 있어서, 상기 장면의 조명의 변화를 특징짓는 조명 신호를 수신하는 단계를 더 포함하고, 상기 복수의 휘도 추정 값을 결정하는 단계는 상기 조명 신호에 기초하는, 방법.
  6. 제5항에 있어서, 상기 조명 신호는 주변 광 센서로부터 수신되는, 방법.
  7. 제5항에 있어서, 상기 조명 신호는 제어 신호를 특징짓는 - 상기 제어 신호는 상기 제어 신호에 기초하여 광을 방출하는 제어 가능한 광원에 제공됨 - , 방법.
  8. 제5항에 있어서, 상기 복수의 휘도 추정 값을 결정하는 단계는 상기 조명 신호에 기초하여 상기 이벤트들을 곡선들에 피팅하는 단계를 포함하는, 방법.
  9. 제8항에 있어서, 상기 조명 신호에 기초한 상기 곡선들은 유사하게 형상화되는(similarly shaped), 방법.
  10. 제8항에 있어서, 상기 복수의 휘도 추정 값을 결정하는 단계는 상기 조명 신호에 기초하여 상기 곡선들의 각자의 점근적 한계들(asymptotic limits)을 추정하는 단계를 포함하는 방법.
  11. 제1항에 있어서, 상기 복수의 이벤트는 상기 이벤트 카메라의 제1 픽셀 요소 및 제1 각자의 임계값과 연관된 제1 이벤트 및 상기 이벤트 카메라의 상기 제1 픽셀 요소 및 상기 제1 각자의 임계값과 상이한 제2 각자의 임계값과 연관된 제2 이벤트를 포함하는, 방법.
  12. 디바이스로서,
    복수의 이벤트를 생성하는 이벤트 카메라 - 상기 복수의 이벤트 각각은 각자의 임계값이 침범되었던 시각을 나타내는 타임스탬프를 포함함 -; 및
    상기 타임스탬프들에 기초하여, 상기 이벤트 카메라의 부분들에 의해 수신된 광의 양에 대응하는 복수의 휘도 추정 값을 결정하고, 상기 복수의 휘도 추정 값에 기초하여 장면의 정적 이미지를 생성하는 이미지 프로세서를 포함하는, 디바이스.
  13. 제12항에 있어서, 상기 이미지 프로세서는 상기 장면의 조명의 변화를 특징짓는 조명 신호를 더 수신하고, 상기 이미지 프로세서는 상기 조명 신호에 기초하여 상기 복수의 휘도 추정 값을 결정하는, 디바이스.
  14. 제13항에 있어서, 상기 조명 신호를 생성하기 위한 주변 광 센서를 더 포함하는, 디바이스.
  15. 제13항에 있어서, 상기 조명 신호에 의해 특징지어지는 제어 신호에 기초하여 광을 방출하는 제어가능한 광원을 더 포함하는, 디바이스.
  16. 제13항에 있어서, 상기 이미지 프로세서는 상기 조명 신호에 기초하여 상기 이벤트들을 곡선들에 피팅함으로써 상기 복수의 휘도 추정 값을 결정하는, 디바이스.
  17. 제16항에 있어서, 상기 조명 신호에 기초한 상기 곡선들은 유사하게 형상화되는, 디바이스.
  18. 제16항에 있어서, 상기 복수의 휘도 추정 값을 결정하는 것은 상기 조명 신호에 기초하여 상기 곡선들의 각자의 점근적 한계들을 추정하는 것을 포함하는, 디바이스.
  19. 제12항에 있어서, 상기 복수의 이벤트는 상기 이벤트 카메라의 제1 픽셀 요소 및 제1 각자의 임계값와 연관된 제1 이벤트, 및 상기 이벤트 카메라의 제1 픽셀 요소 및 상기 제1 각자의 임계값과 상이한 제2 각자의 임계값과 연관된 제2 이벤트를 포함하는, 디바이스.
  20. 명령어들을 저장한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은, 디바이스의 하나 이상의 프로세서에 의해 실행될 때, 상기 디바이스로 하여금,
    이벤트 카메라로부터, 복수의 이벤트를 획득하고 - 상기 복수의 이벤트의 각각은 각자의 임계값이 침범된 시각을 나타내는 타임스탬프를 포함함 -;
    상기 타임스탬프들에 기초하여, 상기 이벤트 카메라의 부분들에 의해 수신된 광의 양에 대응하는 복수의 휘도 추정 값을 결정하고;
    상기 복수의 휘도 추정 값에 기초하여 장면의 정적 이미지를 생성하도록하는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020227035688A 2017-09-28 2018-06-28 이벤트 카메라를 이용한 정적 이미지들의 생성 KR102668130B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762564823P 2017-09-28 2017-09-28
US62/564,823 2017-09-28
KR1020207008781A KR102523510B1 (ko) 2017-09-28 2018-06-28 이벤트 카메라를 이용한 정적 이미지들의 생성
PCT/US2018/039933 WO2019067054A1 (en) 2017-09-28 2018-06-28 GENERATING STATIC IMAGES USING AN EVENT CAMERA

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207008781A Division KR102523510B1 (ko) 2017-09-28 2018-06-28 이벤트 카메라를 이용한 정적 이미지들의 생성

Publications (2)

Publication Number Publication Date
KR20220143967A true KR20220143967A (ko) 2022-10-25
KR102668130B1 KR102668130B1 (ko) 2024-05-23

Family

ID=

Also Published As

Publication number Publication date
CN111149350A (zh) 2020-05-12
US20200252533A1 (en) 2020-08-06
KR20200041991A (ko) 2020-04-22
US20210243347A1 (en) 2021-08-05
CN111149350B (zh) 2022-02-22
US11770619B2 (en) 2023-09-26
WO2019067054A1 (en) 2019-04-04
KR102523510B1 (ko) 2023-04-18
US11019273B2 (en) 2021-05-25

Similar Documents

Publication Publication Date Title
KR102523510B1 (ko) 이벤트 카메라를 이용한 정적 이미지들의 생성
KR102373261B1 (ko) 이벤트 카메라 데이터 프로세싱을 위한 시스템 및 방법
US11172126B2 (en) Methods for reducing power consumption of a 3D image capture system
CN108513078B (zh) 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和系统
KR20140128885A (ko) 전력 효율적인 이미지 감지 장치, 이미지 감지 장치의 작동 방법 및 눈/시선 추적 시스템
CN109903324B (zh) 一种深度图像获取方法及装置
US20170308174A1 (en) Method for recognizing motion gesture commands
US10791252B2 (en) Image monitoring device, image monitoring method, and recording medium
CN108873005B (zh) 接近检测方法及装置、电子装置、存储介质和设备
JP2009284462A (ja) 撮像装置及び測距領域制御方法
CN110572636B (zh) 摄像头脏污检测方法、装置、存储介质及电子设备
US8928626B2 (en) Optical navigation system with object detection
CN101179725A (zh) 一种运动检测方法与装置
CN113099122A (zh) 拍摄方法、装置、设备和存储介质
CN109714539B (zh) 基于姿态识别的图像采集方法、装置及电子设备
KR20110080074A (ko) 이미지 처리 장치 및 방법
US10198088B2 (en) Non-transitory computer readable recording medium can perform optical movement quality determining method and related optical movement detecting system
KR102668130B1 (ko) 이벤트 카메라를 이용한 정적 이미지들의 생성
CN107667522B (zh) 形成活动图像的方法和装置
US9628720B2 (en) System and method to control an imaging process
US20170318241A1 (en) Information processing system, image processing apparatus, storage medium and information processing method
JP2022076837A (ja) 情報処理装置、情報処理方法およびプログラム
US20230161403A1 (en) Method for managing tracking sensors, tracking device, and computer readable storage medium
JP2006135838A (ja) 動き検出装置
CN110677581A (zh) 一种镜头切换方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)