KR20230162928A - Dvs 프레임을 생성하기 위한 방법 및 시스템 - Google Patents

Abstract

DVS에 대한 프레임을 생성하기 위한 방법 및 시스템이 개시된다. 방법은 DVS로부터 객체의 DVS 픽셀을 수신하는 단계, 타임스팬을 타임스팬 값으로 초기화하는 단계, 타임스팬 내에서 캡처된 DVS 픽셀을 통합함으로써 프레임을 생성하는 단계, 객체의 이동 속도를 평가하는 단계, 평가된 이동 속도가 제1 임계 값보다 낮을 때 복수의 연속 프레임을 하나의 조합된 프레임으로 조합하는 단계를 포함한다. 상기 시스템은 객체의 DVS 픽셀을 캡처하도록 구성된 DVS, 및 상기 DVS로부터 DVS 픽셀을 수신하고 상기 방법을 수행하도록 구성된 프로세서를 포함한다.

Description

DVS 프레임을 생성하기 위한 방법 및 시스템

본 개시는 일반적으로 DVS 프레임을 생성하기 위한 방법 및 시스템에 관한 것이다.

DVS(Dynamic Vision Sensor)라는 새로운 최첨단 센서가 있다. DVS는 광도 변화만 캡처한 다음 비동기 DVS 픽셀(픽셀 이벤트)을 생성한다. 종래의 카메라와 비교할 때, DVS는 대기시간이 짧고 모션 블러가 없으며 다이내믹 레인지가 높으며 전력 소비가 낮다는 장점이 있다.

연속 픽셀로 구성된 전체 이미지 또는 프레임을 생성하는 종래의 카메라와 달리, DVS는 시공간적으로 이산적이고 불연속적일 수 있는 비동기 DVS 픽셀만 생성하므로 이미지 또는 프레임을 만들기 위해서는 타임스팬 내에서 DVS가 캡처한 DVS 픽셀(픽셀 이벤트)을 통합할 필요가 있다. DVS는 광도 변화만 캡처하기 때문에, DVS가 촬영한 장면이 안정적인 경우, 가령, 검출될 객체가 거의 정지해 있거나 천천히 움직이는 경우, 특정 타임스팬 내에 만족스러운 이미지 또는 프레임을 위한 충분한 픽셀을 캡처하지 못할 수 있다. 반면에, 장면이 빠르게 변할 때, 가령, 검출될 객체가 장면에서 빠르게 움직일 때, DVS는 특정 타임스팬 내에서 지나치게 많은 중복 DVS 픽셀을 캡처할 수 있다.

따라서, 검출될 객체의 이동 속도에 관계 없이 만족스러운 DVS용 이미지나 프레임을 획득할 수 있는 방법이나 시스템이 필요하다.

또한, 장면의 일부는 빠르게 변하고 다른 부분은 느리게 변하는 상황, 가령, 장면에서 검출될 일부 객체가 빠르게 움직일 수 있고 장면에서 검출될 다른 객체가 느리게 움직이거나 움직이지 않을 때가 존재할 수 있다. 이 상황에서, DVS는 빠르게 움직이는 객체에서 너무 많은 중복 DVS 픽셀을 캡처했지만 느리게 움직이거나 정지해 있는 객체에서 충분한 DVS 픽셀을 캡처하지 않았을 수 있다. 따라서 빠른 물체와 느린 물체 모두에 대해 만족스러운 이미지나 프레임을 얻는 데 약간의 어려움이 있을 수 있다.

따라서, 장면 내의 객체들이 상이한 이동 속도를 가질 때 검출될 모든 객체에 대해 만족스러운 DVS 이미지 또는 프레임을 획득할 수 있는 방법 또는 시스템이 필요하다.

본 개시의 양태들 중 하나에 따라, DVS에 대한 프레임을 생성하기 위한 방법이 제공되며, 상기 방법은 DVS로부터 객체의 DVS 픽셀에 수신하는 단계, 타임스팬을 타임스팬 값으로 초기화하는 단계, 타임스팬 내에서 캡처된 DVS 픽셀을 통합함으로써 프레임을 생성하는 단계, 객체의 이동 속도를 평가하는 단계, 평가된 이동 속도가 제1 임계 값보다 낮을 때 복수의 연속 프레임을 하나의 조합된 프레임으로 조합하는 단계를 포함한다.

본 발명의 양태 중 하나에 따르면, DVS 프레임을 생성하기 위한 시스템이 제공되며, 상기 시스템은 객체의 DVS 픽셀을 캡처하도록 구성된 DVS, 상기 DVS로부터 DVS 픽셀을 수신하고 앞서 언급된 방법을 수행하도록 구성된 프로세서를 포함한다.

본 개시의 양태들 중 하나에 따르면, 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체가 제공되며, 컴퓨터 프로그램은 프로세서에 의해 실행되어 앞서 언급된 방법을 수행할 수 있다.

본 발명의 다른 시스템, 방법, 특징 및 장점은 다음 도면 및 상세한 설명을 검토할 때 통상의 기술자에게 자명하거나 자명해질 것이다. 이러한 모든 추가 시스템, 방법, 특징 및 이점은 본 설명 내에 포함되고, 본 개시의 범위 내에 있으며, 다음 청구범위에 의해 보호될 것으로 의도된다.

본 발명은 다음의 도면 및 설명을 참조하여 더 잘 이해될 수 있다. 도면의 구성요소는 반드시 축척에 따른 것은 아니며, 대신에 본 발명의 원리를 설명하는 데 중점을 둔다. 또한, 도면에서 동일한 도면부호는 서로 다른 도면에서 대응하는 부분을 나타낸다.
도 1a-1c는 상이한 이동 속도를 갖는 객체의 이미지 또는 프레임의 개략도를 도시하는데, 도 1a의 객체(100)는 화살표로 나타난 방향으로 적당한 속도로 이동하며, 도 1b의 객체(100)는 화살표로 나타난 방향으로 매우 빠르게 이동하고, 도 1c의 객체(100)는 매우 느리게 이동하거나 실질적으로 정지되어 있다.
도 2a-2b, 3a-3b는 물을 마시는 시나리오에서 사람 검출을 보여주는 이미지 또는 프레임이며, 도 2a-2b는 사람(200)이 물을 마시기 위해 컵을 들어올릴 때의 이미지 또는 프레임을 나타내고, 도 3a-3b는 사람(200)이 물을 다 마시고 테이블 위에 컵을 내려놓을 때의 이미지 또는 프레임을 보여준다.
도 4는 연속 DVS 프레임을 하나의 조합된 프레임으로 조합하는 예를 도시한다.
도 5는 본 발명의 일부 실시예에 따른 방법의 흐름도를 도시한다.
도 6은 본 발명의 일부 실시예에 따른 도 5의 단계(S05)의 예시적인 프로세스를 도시한다.
도 7은 본 발명의 일부 실시예에 따른 도 6의 단계(S53)의 예시적인 프로세스를 도시한다.
도 8은 본 발명의 일부 다른 실시예에 따른 방법의 흐름도를 도시한다.

이하에서, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 보다 상세하게 설명한다.

본 명세서에서 사용될 때 단수형 "a", "an" 및 "the"는 문맥상 명백하게 달리 나타내지 않는 한 복수형도 포함하는 것으로 의도된다. 본 명세서에서 사용될 때 "포함하다", "포함하는", "포함하다" 및/또는 "포함하는"이라는 용어는 명시된 특징, 정수, 단계, 동작, 요소 및/또는 구성요소의 존재를 특정하지만, 하나 이상의 다른 특징, 정수, 단계, 작업, 요소, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 사용되는 바와 같이, 용어 "및/또는" 및 기호 "/"는 연관된 나열 항목 중 하나 이상의 임의의 것 및 모든 조합을 포함하는 것을 의미한다. 또한, 제1, 제2 등의 용어가 다양한 요소, 구성요소, 단계 또는 계산을 설명하기 위해 본 명세서에서 사용될 수 있지만, 이들 요소, 구성요소, 단계 또는 계산은 이들 용어에 의해 제한되어서는 안 되며, 오히려 이들 용어는 하나의 요소, 구성요소, 단계 또는 계산을 또 다른 것과 구별하기 위해서만 사용된다. 예를 들어, 본 개시의 범위 내에서, 제1 구성요소는 제2 구성요소로 명명될 수 있으며, 마찬가지로, 제1 계산은 제2 계산으로 명명될 수 있고, 마찬가지로 제1 단계는 제2 단계라고 명명될 수 있다.

본 명세서에서 사용될 때, "DVS 픽셀", "픽셀 이벤트", "이벤트"라는 용어는 상호 교환 가능하게 사용될 수 있으며 DVS에 의해 캡처된 광도 변화를 지칭한다. DVS 픽셀 또는 픽셀 이벤트 또는 이벤트는 일반적으로 [x, y, t, p] 형식을 취하는 픽셀 또는 이벤트 데이터로 표현될 수 있는데 여기서 x 및 y는 x 좌표 및 y 좌표를 나타내고, t는 이 이벤트의 타임 스탬프를 나타내며, p는 광도 변화가 더 밝아지는지 또는 더 어두워지는지를 의미하는 극성을 나타낸다. DVS의 "이미지" 또는 "프레임" 또는 "DVS 프레임"이라는 용어는 타임스팬 내에서 DVS가 취한 모든 픽셀이 통합된 이미지 또는 프레임을 지칭한다. "조합된 프레임"이라는 용어는 연속된 여러 DVS 프레임을 조합함으로써 생성된 프레임을 지칭한다.

출원 중인 청구항의 용도를 명확히 하고 이에 따라 대중에게 통지를 제공하기 위해 "<A>, <B>, ... 및 <N>" 또는 "<A>, <B>, ... <N>, 또는 이들의 조합"의 구절이 출원인에 의해 달리 명확히 표현되지 않는 한 앞서 또는 이하에서의 그 밖의 다른 임의의 정의를 대체하면서, A, B, ... 및 N으로 구성된 군 중에서 선택된 하나 이상의 요소, 즉, 요소 A, B, ... 또는 N 중 하나 이상의 임의의 조합, 가령, 임의의 하나의 요소 홀로 또는 조합하여, 나열되지 않는 추가 요소도 포함할 수 있는 다른 요소들 중 하나 이상과의 조합을 의미하도록 출원인에 의해 가장 넓은 범위로 정의된다.　

DVS는 광도 변화만 캡처한 다음 비동기 DVS 픽셀(픽셀 이벤트)을 생성한다. 보기 또는 추가 처리, 가령, 객체 인식 또는 움직임 검출을 위한 이미지 또는 프레임을 생성하기 위해, 타임스팬 내에서 DVS가 캡처한 DVS 픽셀(픽셀 이벤트)을 하나의 이미지 또는 프레임으로 통합할 필요가 있다.

DVS는 광도 변화만 캡처하기 때문에, 타임스팬 내에서 DVS에 의해 캡처된 DVS 픽셀의 수는 장면의 변하는 속도, 가령, 장면에서 인식되거나 검출될 객체의 이동 속도에 따라 달라질 수 있다. 예를 들어, 장면에서 인식 또는 검출될 객체가 실질적으로 정지해 있거나 매우 느리게 움직이는 경우, DVS는 특정 타임스팬 내에서 객체의 매우 적은 DVS 픽셀(픽셀 이벤트)만 캡처할 수 있으므로 만족스러운 이미지 또는 프레임을 생성하기에 불충분할 수 있다. 반면에, 인식 또는 검출될 물체가 장면에서 빠르게 움직이는 경우, DVS는 타임스팬 내에서 물체의 이동 경로에서 너무 많은 중복 픽셀을 캡처하여 흐릿한 이미지 또는 프레임을 생성할 수 있다.

도 1a-1c는 상이한 이동 속도를 갖는 객체(100)의 이미지 또는 프레임의 개략도를 도시하는데, 도 1a의 객체(100)는 화살표로 나타난 방향으로 적당한 속도로 이동하며, 도 1b의 객체(100)는 화살표로 나타난 방향으로 매우 빠르게 이동하고, 도 1c의 객체(100)는 매우 느리게 이동하거나 실질적으로 정지되어 있다. 도 1a에서, 물체(100)는 적당한 속도로 움직이므로 물체(100)의 움직임으로 인해 타임스팬에서 광도 변화의 충분한 이벤트가 있으므로 DVS는 타임스팬에서 물체(100)의 충분한 DVS 픽셀을 캡처할 수 있다. 한편, 물체(100)는 타임스팬 동안 짧은 거리(D1)만 이동하므로 타임스팬에서 모든 DVS 픽셀을 통합하여 생성된 이미지 또는 프레임은 실질적으로 선명하고 객체의 형태(원)를 명확하게 보여줄 수 있다.

도 1b에서, 물체(100)는 타임스팬에서 빠르게 움직이고, D2의 상대적으로 큰 거리를 이동한다. 객체(100)는 타임스팬 내에서 상대적으로 큰 거리를 이동하기 때문에, DVS는 타임스팬 내에서 객체의 이동 경로에 있는 많은 중복 픽셀을 캡처할 수 있으므로 타임스팬 내 모든 DVS 픽셀을 통합함으로써 생성된 이미지 또는 프레임이 흐릿하고 물체(100)의 형태를 명확하게 나타내지 않아 바람직하지 않거나 불만족스럽다.

도 1c에서 물체(100)는 느리게 움직이거나 거의 정지해 있다. 물체(100)의 느린 움직임으로 인해, 타임스팬 내에서 객체(100)의 광도 변화 이벤트는 많지 않다. 따라서, DVS는 타임스팬에서 물체(100)의 DVS 픽셀을 충분히 포착하지 못하므로, 타임스팬에서 모든 DVS 픽셀을 통합함으로써 생성된 이미지 또는 프레임에는 도 1c에서 점선 원으로 나타난 물체의 형태(원)를 명확하게 보여줄 만큼 충분한 DVS 픽셀이 없다.

따라서 도 1a-1c에 따라, 만족스러운 이미지 또는 프레임을 획득하기 위해, DVS 픽셀을 통합하는 데 사용되는 타임스팬이 객체의 이동 속도와 일치해야 한다.

도 2a-2b, 3a-3b는 물을 마시는 시나리오에서 사람 검출을 보여주는 이미지 또는 프레임이며, 도 2a-2b는 사람(200)이 물을 마시기 위해 컵을 들어올릴 때의 이미지 또는 프레임을 나타내고, 도 3a-3b는 사람(200)이 물을 다 마시고 테이블 위에 컵을 내려놓을 때의 이미지 또는 프레임을 보여준다.

도 2a-2b에 나타난 순간에서, 즉, 사람(200)이 물을 마시기 위해 컵(212)을 들어 올릴 때, 컵(212) 및 사람(200)의 일부분, 가령, 팔(202) 및 머리(204)가 비교적 빠른 속도로 움직인다. 도 2a에 도시된 이미지 또는 프레임은 제1 타임스팬에서 DVS에 의해 캡처된 DVS 픽셀을 통합함으로써 생성되고 도 2b에 나타난 이미지 또는 프레임은 제2 타임스팬에서 DVS에 의해 캡처된 DVS 픽셀을 통합함으로써 생성되며, 제1 타임스팬은 제2 타임스팬보다 길다. 컵(212), 머리(204) 및 팔(202)은 비교적 빠르게 움직이고 제1 타임스팬은 비교적 길기 때문에, 컵(212), 머리(204) 및 팔(202)은 제1 타임스팬에서 비교적 큰 거리를 이동한다. 따라서, DVS는 제1 타임스팬에서 컵(212), 머리(204) 및 팔(202)의 이동 경로에서 많은 중복 픽셀을 캡처할 수 있으므로 제1 타임스팬에서 DVS 픽셀을 통합함으로써 생성된 이미지 또는 프레임이 흐려질 수 있으며, 이는 바람직하지 않거나 만족스럽지 않다. 또한, 컵(212), 머리(204) 및 팔(202) 중에서, 컵(212)이 가장 빠르게 움직일 수 있으므로, 도 2a에서 컵이 가장 흐릿하고 가장 잘 알아볼 수 없다. 비교로서, 제1 타임스팬보다 작은 제2 타임스팬이 DVS 픽셀을 도 2b의 이미지 또는 프레임으로 통합하는 데 사용된다. 도 2b에 도시된 바와 같이, 컵(212), 머리(204) 및 팔(202)은 도 2a에 도시된 것보다 훨씬 덜 흐려지고 더 잘 인식된다. 따라서 도 2a-2b에 나타난 순간에 대해, 즉, 사람(200)이 물을 마시기 위해 컵(212)을 들어올릴 때, 컵(212), 머리(204) 및 팔(202)의 상대적으로 빠른 이동 속도로 인해 상대적으로 짧은 타임스팬이 더 적절하고, 비교적 짧은 제2 타임스팬을 사용함으로써 생성된 이미지 또는 프레임이 훨씬 더 인식되고 만족스러울 수 있다.

도 3a-3b에 나타난 순간에서, 즉 사람(200)이 물을 다 마시고 테이블 위에 컵을 내려놓고 있을 때, 컵(212)과 사람(200), 가령, 그의 팔(202) 및 그의 머리(204)는 상대적으로 느린 속도로 움직인다. 도 3a에 도시된 이미지 또는 프레임은 도 2a의 제1 타임스팬과 동일한 타임스팬을 이용함으로써 생성되며 도 3b에 나타난 이미지 또는 프레임은 도 2b의 제2 타임스팬과 동일한 타임스팬을 이용함으로써 생성된다. 컵(212) 및 사람(200), 가령, 그의 팔(202) 및 그의 머리(204)가 비교적 느린 속도로 이동하지만, 비교적 긴 제1 타임스팬으로 인해 광도 변화의 충분한 이벤트가 여전히 존재한다. 한편, 컵(212)과 사람(200)은 비교적 느린 속도로 인해 제1 타임스팬 동안 짧은 거리만 이동하므로 제1 타임스팬에서 모든 DVS 픽셀을 통합함으로써 생성된 이미지 또는 프레임은 컵(212) 및 사람(200)의 형태를 명확하게 보여줄 수 있다. 비교하자면, 비교적 느린 이동 속도와 비교적 짧은 제2 타임스팬으로 인해 광도 변화 이벤트가 많지 않다. 따라서, 도 3b에서, 컵(122) 및 사람(200)의 형태를 명확하게 나타내기에 충분한 DVS 픽셀이 없으며, 이는 바람직하지 않거나 만족스럽지 못하다.

따라서 도 2a-2b, 3a-3b에 따라, 전체 음용 과정에서 만족스러운 프레임을 얻기 위해, 컵과 사람이 비교적 느린 속도로 움직일 때는 비교적 긴 타임스팬이 사용될 수 있으며, 컵 및 사람이 비교적 빠른 속도로 움직일 때는 비교적 짧은 타임스팬이 사용될 수 있다.

본 발명의 발명자는 사람의 눈에는, 도 3b에서 나타난 것처럼, 픽셀이 짧은 타임스팬을 갖는 연속 DVS 프레임에서 안정한 객체에 대해 연속인 것처럼 보이지만, 실제로는 픽셀이 불연속적임을 발견했다. 타임스팬이 짧은 연속 DVS 프레임에서 안정적이거나 느린 객체의 픽셀을 분석함으로써, 연속적인 DVS 프레임 중, 연속 프레임 중 하나가 하나의 특정 좌표 위치에서 DVS 픽셀을 갖는 경우, 이웃하는 프레임 또는 프레임들에서 동일한 좌표 위치에서 또 다른 DVS 픽셀을 가질 가능성이 매우 작다는 사실이 발견되었다. 즉, 연속 DVS 프레임의 DVS 픽셀은 일반적으로 상이한 좌표 위치에 있다. 두 개 이상의 연속 DVS 프레임이 매우 유사하게 보일 수 있지만, 각각의 연속적인 DVS 프레임은 주로 상이한 좌표 위치에 있는 DVS 픽셀을 포함한다. 따라서, 연속 DVS 프레임에 포함된 DVS 픽셀이 서로 보완하여 충분한 정보 또는 DVS 픽셀이 있는 조합된 프레임을 제공할 수 있도록 불충분한 정보 또는 DVS 픽셀이 있는 연속 DVS 프레임 함께 조합하는 것이 가능하다.

도 4는 연속 DVS 프레임을 하나의 조합된 프레임으로 조합하는 예를 도시한다. 도 4에 도시된 프레임(402, 404, 406)은 각각 도 3b에 도시된 프레임과 유사한 연속적인 DVS 프레임이다. 본 발명의 발명자는 프레임(402, 404, 406)이 서로 매우 유사하게 보이지만 연속 프레임(402, 404, 406) 중 하나가 하나의 특정 좌표 위치에 DVS 픽셀을 가질 때 프레임(402, 404, 406) 중 다른 두 개에서 동일한 좌표 위치에 또 다른 DVS 픽셀을 가질 가능성이 매우 작음을 발견했다. 즉, 프레임(402, 404, 406)이 서로 유사하게 보이지만, 프레임(402, 404, 406) 중 하나에서의 DVS 픽셀의 좌표 위치는 프레임(402, 404, 406) 중 나머지 두 개에서의 좌표 위치와 실질적으로 또는 거의 완전히 상이할 수 있으며, 이는 예상치 못한 반직관적일 수 있다. 따라서, 프레임(402, 404, 406)이 하나의 조합된 프레임(400)으로 조합될 때, 각 프레임(402, 404, 406)의 DVS 픽셀은 서로 보완적일 수 있어, 충분한 정보 또는 DVS 픽셀을 갖는 만족스러운 조합된 프레임을 도출한다.

본 개시는 DVS에 대한 프레임을 생성하기 위한 방법 및 시스템을 제공한다. 본 개시의 방법은 DVS로부터 객체의 DVS 픽셀을 수신하는 단계, 타임스팬을 작은 타임스팬 값으로 초기화하는 단계, 타임스팬 내에서 캡처된 DVS 픽셀을 통합함으로써 프레임을 생성하는 단계, 객체의 이동 속도를 평가하는 단계, 평가된 이동 속도가 제1 임계 값보다 낮을 때 복수의 연속 프레임을 하나의 조합된 프레임으로 조합하는 단계를 포함한다. 타임스팬이 작은 값으로 설정되어 있기 때문에, 객체가 짧은 거리를 이동하므로 객체가 비교적 빠른 속도로 이동하더라도 프레임을 흐리게 할 수 있는 움직이는 개체의 중복 픽셀이 많지 않다.한편, 본 발명의 방법에서 객체의 이동 속도가 느릴 때 복수의 연속 프레임이 하나의 프레임으로 조합된다. 복수의 연속 프레임을 하나의 조합된 프레임으로 조합함으로써, 객체가 매우 느리게 움직이거나 실질적으로 정지해 있을 때에도 객체의 형태를 선명하게 보여주기에 충분한 DVS 픽셀이 조합된 프레임에 있을 것이다.

도 5는 본 개시의 일부 실시예에 따른 방법의 흐름도를 도시한다. 프로세스는 (S01)에서 시작한 다음 (S02)로 이동한다. (S02)에서, 비교적 작은 타임스팬이 설정된다. 비교적 작은 타임스팬은 객체의 이동 속도가 비교적 큰 경우에도 중복 DVS 픽셀로 인해 프레임이 흐려지는 것을 방지하기 위해 설정된다. 그런 다음 프로세스는 (S03)으로 이동하며, 여기서 타임스팬 내에서 DVS에 의해 캡처된 DVS 픽셀을 통합함으로써 프레임이 생성된다. 그런 다음 프로세스는 (S04)로 이동하며, 여기서 객체의 이동 속도가 평가된다. 객체의 평가된 이동 속도가 충분히 빠른 경우 프로세스는 (S03)로 돌아가며, 여기서 다음 프레임이 다음 타임스팬 내에서 DVS에 의해 캡처된 DVS 픽셀을 통합함으로써 생성된다. 평가된 이동 속도가 충분히 빠르지 않으면, 프로세스는 (S05)로 진행하고, 여기서, 복수의 연속 프레임이 하나의 조합된 프레임으로 조합될 수 있다. 그런 다음 프로세스는 (S06)로 이동하며, 여기서 조합된 프레임이 원하는 효과에 도달했는지 여부에 대한 평가가 수행된다. 조합된 프레임이 원하는 효과에 도달하지 못한 경우(아니오), 프로세스는 (S05)로 되돌아가며, 여기서 더 많은 연속 프레임이 조합된 프레임으로 조합된다. 조합된 프레임이 이미 원하는 효과에 도달한 경우(예) 프로세스는 (S03)으로 되돌아가며, 여기서 다음 프레임이 다음 타임스팬 내에서 DVS에 의해 캡처된 DVS 픽셀을 통합함으로써 생성된다.

(S02)에서 설정된 작은 타임스팬의 특정 값은 특정 애플리케이션 시나리오에 따라 달라질 수 있으며 시나리오에서 객체의 이동 속도가 비교적 클 때에도 중복 DVS 픽셀로 인해 흐릿한 프레임을 피하기에 충분히 타임스팬이 작은 한, 임의의 적절한 값을 가질 수 있다. 본 발명의 일부 실시예에서, (S02)에서 설정된 작은 타임스팬이 500 마이크로초 이하, 1 밀리초 이하, 2 밀리초 이하, 3 밀리초 이하, 4 밀리초 이하일 수 있다.

(S04)에서의 객체의 이동 속도의 평가가 다양한 방식으로 수행될 수 있다. 본 발명의 일부 실시예에서, 객체의 이동 속도는 (S03)에서 생성된 프레임 내의 DVS 픽셀의 수 또는 밀도에 기초하여 평가될 수 있다. 프레임의 일부 또는 전체 프레임에 있는 DVS 픽셀의 수 또는 밀도가 지정 값을 초과하는 경우 객체의 이동 속도가 빠른 것으로 평가될 수 있다. 그렇지 않으면, 객체의 이동 속도가 안정적이거나 느린 것으로 평가될 수 있다. 본 개시의 일부 다른 실시예에서, 객체의 이동 속도는 적절한 속도 센서에 의해 검출되거나 평가될 수 있다. 본 발명의 다른 실시예에서, 객체의 이동 속도에 대한 평가 또는 추정은 딥 러닝 알고리즘 또는 모델을 사용하여 수행될 수 있다. 딥 러닝 알고리즘 또는 모델은 당업계에 공지되어 있으므로 상세한 설명은 생략한다.

본 발명의 일부 실시예에 따르면, (S05)에서 2개, 3개, 4개 또는 5개의 연속 프레임이 하나의 조합된 프레임으로 조합될 수 있다. 그러나, 본 발명은 이에 제한되지 않으며 (S05)에서 하나의 프레임으로 조합될 연속 프레임의 수는 임의의 적절한 수일 수 있다. 일부 다른 실시예에서, (S05)에서 하나의 프레임으로 조합될 연속 프레임의 수는 (S04)로부터의 평가 결과에 따라 달라질 수 있다. 예를 들어, (S04)에서 평가된 이동 속도가 매우 낮을 때, (S05)에서 비교적 많은 수의 연속 프레임, 예를 들어 4개 또는 5개 이상의 연속 프레임이 하나의 프레임으로 조합될 수 있다. 그렇지 않은 경우, (S05)에서 비교적 적은 수의 연속 프레임, 가령, 둘 이상의 연속 프레임이 하나의 프레임으로 조합될 수 있다.

(S06)에서 조합된 프레임이 원하는 효과에 도달했는지 여부에 대한 평가는 다양한 방식으로 수행될 수 있다. 본 개시의 일부 실시예에서, 평가는 (S05)에서 생성된 조합된 프레임 내의 DVS 픽셀의 수 또는 밀도에 기초하여 수행될 수 있다. 조합된 프레임의 일부 또는 전체 조합된 프레임의 DVS 픽셀의 수 또는 밀도가 지정 값을 초과하는 경우, 원하는 효과에 도달한 것으로 결정된다. 그렇지 않은 경우, 원하는 효과에 도달하지 못한 것으로 결정된다. 일부 다른 실시예에서, 고밀도 DVS 픽셀을 갖는 영역이 식별될 수 있고, 프레임 내의 고밀도 DVS 픽셀 영역의 비율에 기초하여 평가가 수행될 수 있다. 예를 들어, 일부 실시예에서, 프레임은 복수의 영역, 예를 들어, 100개의 영역으로 분할될 수 있고, 지정 수보다 많은 DVS 픽셀을 갖는 각 영역은 고밀도 DVS 픽셀 영역으로 식별될 수 있고, 평가는 고밀도 DVS 픽셀 영역의 수에 기초하여 수행될 수 있다. 예를 들어, 조합된 프레임 내 고밀도 DVS 픽셀 영역의 수가 지정 수를 초과하는 경우 원하는 효과가 달성된 것으로 결정된다. 그렇지 않은 경우, 원하는 효과에 도달하지 못한 것으로 결정된다. 본 발명의 일부 다른 실시예에서, 조합된 프레임이 원하는 효과에 도달했는지 여부에 대한 평가는 딥 러닝 알고리즘 또는 모델을 사용하여 수행될 수 있다. 딥 러닝 알고리즘 또는 모델이 사용되어 원하는 객체를 검출할 수 있다. 검출이 성공하면, 즉, 딥 러닝 알고리즘이나 모델이 원하는 물체를 인식할 수 있으면, 원하는 효과가 도달한 것으로 결정된다. 그렇지 않은 경우, 원하는 효과에 도달하지 못한 것으로 결정된다.

도 6은 본 개시의 일부 실시예에 따른 도 5의 단계(S05)의 예시적인 프로세스를 도시한다. 프로세스는 (S51)에서 시작하여 (S52)로 진행하며, 여기서, 출력 프레임의 모든 픽셀을 배경 색상(그레이 레벨)으로 설정함으로써 출력 프레임이 초기화된다. 이어서 프로세스는 (S53)으로 진행되며, 여기서 복수의 연속 프레임 중 하나가 출력 프레임으로 조합된다. 그런 다음, 프로세스는 (S54)로 진행되고, 여기서 복수의 연속된 프레임 모두가 출력 프레임으로 조합되었는지 여부를 결정한다. 복수의 연속된 프레임 중 모두가 출력 프레임으로 조합되었다고 결정되는 경우, 프로세스가 (S55)로 진행되며, 여기서 출력 프레임이 조합된 프레임으로서 출력된다. 그렇지 않은 경우, 프로세스는 (S53)으로 되돌아가며, 여기서 복수의 연속 프레임 중 다음 프레임이 출력 프레임으로 조합된다.

도 6은 도 5의 단계(S05)의 예시적인 프로세스를 도시하지만, 본 발명은 이에 제한되지 않는다. 예를 들어, 일부 다른 실시예에서, 복수의 연속 프레임 중 하나는 출력 프레임으로 설정되고 복수의 연속 프레임 중 나머지 프레임 각각은 출력 프레임으로 조합될 수 있다.

도 7은 본 개시의 일부 실시예에 따른 도 6의 단계(S53)의 예시적인 프로세스를 도시한다. 프로세스는 (S531)에서 시작하여 (S532)으로 진행되며, 여기서, 현재 프레임으로부터의 하나의 DVS 픽셀이 출력 프레임으로 조합된다. 그런 다음 프로세스는(S533)으로 진행되며, 여기서 현재 프레임의 모든 DVS 픽셀이 출력 프레임으로 조합되었는지 여부가 결정된다. 현재 프레임의 모든 DVS 픽셀이 출력 프레임에 조합되었다고 결정되는 경우 프로세스가 종료된다. 그렇지 않은 경우, 프로세스는 (S532)로 되돌아가며, 여기서, 현재 프레임 내 DVS 픽셀 중 다음 하나가 출력 프레임으로 조합된다.

도 6에 도시된 실시예에서, (S53)에서, 복수의 연속 프레임의 전체 프레임이 출력 프레임으로 조합된다. 그러나, 본 발명은 이에 제한되지 않는다. 일부 다른 실시예에서, 프레임의 일부만이 조합된 프레임으로 조합된다. 이는 검출될 일부 물체가 빠르게 움직일 수 있고 검출될 일부 다른 물체는 느리게 움직이거나 심지어 장면에서 정지해 있을 수 있는 상황에서 특히 유익하고 유리하다. 이 경우, 느린 객체를 포함하는 프레임의 부분이 조합된 프레임으로 조합될 수 있지만 빠른 객체를 포함하는 프레임의 부분이 조합된 프레임으로 조합되지 않을 수 있다. 즉, 느린 객체를 포함하는 프레임의 부분의 경우, 더 많은 연속 프레임이 조합된 프레임으로 조합되며, 빠른 객체(들)를 포함하는 프레임의 부분의 경우 더 적은 연속 프레임이 조합된 프레임으로 조합된다. 따라서 빠른 물체와 느린 물체 모두에 대해 만족스러운 프레임을 얻을 수 있다.

본 발명의 일부 실시예에서, DVS 프레임 또는 조합된 프레임은 그레이스케일로 시각화될 수 있고, DVS 프레임 또는 조합된 프레임의 각 픽셀은 다중 그레이 레벨을 가진다. 일반적으로, 그레이스케일의 각 픽셀은 256개의 그레이 레벨, 즉 그레이 레벨 0에서 그레이 레벨 255까지 가질 수 있으며, 여기서 그레이 레벨 0은 흰색이고 그레이 레벨 255는 검정색이고 그레이 레벨 1-254는 흰색과 검정색 사이의 그레이 레벨이다. 그러나 본 발명은 이에 한정되지 않으며 본 개시의 DVS 프레임 또는 조합된 프레임은 임의의 적절한 그레이 레벨을 갖는 그레이스케일일 수 있다. 본 개시의 일부 실시예에서, 배경 색상은 그레이 레벨 0과 그레이 레벨 255 사이의 중간 그레이 레벨이다. 본 개시의 일부 실시예에서, 배경 색상은 그레이 레벨 128일 수 있다. 본 발명의 일부 실시예에서, DVS 픽셀의 [x, y, t, p]의 p가 광도가 어두워짐을 나타내는 경우, 프레임 내 대응하는 DVS 픽셀의 그레이 레벨은 그레이 레벨 255로 설정될 수 있고, DVS 픽셀의 [x, y, t, p]의 p가 광도가 밝아지고 있음을 나타내는 경우, 프레임 내 대응하는 DVS 픽셀의 그레이 레벨은 그레이 레벨 0으로 설정될 수 있다. 이러한 실시예에서, DVS 프레임 또는 조합된 프레임 내 임의의 픽셀은 3개의 가능한 그레이 레벨, 즉, 그레이 레벨 0, 그레이 레벨 128 및 그레이 레벨 255 중 하나일 수 있다. 본 발명의 다른 실시예에서, 세 개의 가능한 그레이 레벨이 서로 쉽게 구별 가능한 한, 세 개의 가능한 그레이 레벨은 그레이 레벨 0, 그레이 레벨 128 및 그레이 레벨 255 이외의 그레이 레벨일 수 있다.

본 발명의 일부 실시예에서, 도 7에 도시된 단계(S532)는 현재 DVS 픽셀의 그레이 레벨을 출력 프레임(조합된 프레임)의 대응하는 픽셀에 복사하는 것, 즉, 출력 프레임(조합된 프레임) 내 픽셀의 그레이 레벨을 현재 프레임 내 대응하는 DVS 픽셀의 그레이 레벨로 교체하는 것을 포함한다. 이러한 실시예에서, 조합된 프레임 내 DVS 픽셀의 그레이 레벨은 연속 프레임에서 소스 프레임의 순차적인 위치와 무관하다. 본 발명의 일부 다른 실시예에서, 조합된 프레임 내의 DVS 픽셀의 그레이 레벨은 연속적인 DVS 프레임 내의 소스 프레임의 순차적인 위치에 따라 달라질 수 있다. 소스 프레임이 연속 DVS 프레임에서 나중에 있을수록, 조합된 프레임의 결과 DVS 픽셀의 그레이 레벨이 배경 색상(그레이 레벨)에서 멀어진다. 예를 들어, 연속 DVS 프레임이 세 개의 프레임, 즉 프레임 1, 프레임 2 및 프레임 3을 포함할 때 소스 DVS 픽셀이 프레임 3에 있는 경우 결과 DVS 픽셀은 배경 색상에서 가장 먼 그레이 레벨을 가질 것이고, 소스 DVS 픽셀이 프레임 1에 있는 경우 결과 DVS 픽셀은 배경 색상에 가장 가까운 그레이 레벨을 가질 것이다.

도 8은 본 발명의 일부 다른 실시예에 따른 방법의 흐름도를 도시한다. 도 8에 도시된 방법은 단계(S04' 및 S07)을 제외하고는 도 5에 도시된 것과 유사하다. (S04')에서, 객체의 이동 속도가 평가된다. 평가된 객체의 이동 속도가 너무 빠른 경우, 프로세스가 (S07)로 진행되며, 여기서, 타임스팬이 단축, 가령, 타임스팬이 현재 값의 1/2이도록 설정된다. 그런 다음, 프로세스는 (S03)으로 되돌아가며, 여기서, 단축된 타임스팬 내에서 DVS에 의해 캡처되는 DVS 픽셀을 통합함으로써 다음 프레임이 생성되거나 단축된 타임스팬 내에서 DVS에 의해 캡처되는 DVS 픽셀을 통합함으로써 현재 프레임이 재생된다. 평가된 이동 속도가 느린 경우, 프로세스는 (S05)로 진행하고, 여기서, 복수의 연속 프레임이 하나의 조합된 프레임으로 조합될 수 있다. 평가된 이동 속도가 정상 또는 중간 값인 경우, 프로세스는 (S03)로 되돌아가며, 여기서, 타임스팬 내에서 DVS에 의해 캡처된 DVS 픽셀을 통합함으로써 다음 프레임이 생성된다. 도 8에 도시된 방법의 다른 단계는 도 5에 도시된 것과 유사하므로, 그에 대한 상세한 설명은 생략한다.

본 개시의 일부 실시예에 따르면, 본 개시는 다음과 같이 구현될 수 있다.

항목 1: DVS에 대한 프레임을 생성하기 위한 방법으로서, 다음을 포함함:

DVS로부터 객체의 DVS 픽셀을 수신하는 단계,

타임스팬을 타임스팬 값으로 초기화하는 단계,

타임스팬 내에서 캡처된 DVS 픽셀을 통합함으로써 프레임을 생성하는 단계,

상기 객체의 이동 속도를 평가하는 단계,

평가된 이동 속도가 제1 임계값보다 낮을 때 복수의 연속 프레임을 하나의 조합된 프레임으로 조합하는 단계.

항목 2: 항목 1에 있어서, 복수의 연속 프레임을 하나의 조합된 프레임으로 조합하는 단계는 복수의 연속 프레임의 각각의 연속 프레임을 조합된 프레임으로 하나씩 조합하는 단계를 포함하는, 프레임을 생성하기 위한 방법.

항목 3: 항목 1-2 중 어느 하나에 있어서, 프레임을 하나의 조합된 프레임으로 조합하는 단계는 상기 프레임 내 각 DVS 픽셀을 조합된 프레임으로 조합하는 단계를 포함하는, 프레임을 생성하기 위한 방법.

항목 4: 항목 1-3 중 어느 하나에 있어서, 조합된 프레임 내 각 픽셀을 배경 색상으로 초기화하는 단계를 더 포함하는, 프레임을 생성하기 위한 방법.

항목 5: 항목 1-4 중 어느 하나에 있어서, DVS 픽셀을 조합된 프레임으로 조합하는 것은 DVS 픽셀의 그레이 레벨을 조합된 프레임 내 대응하는 픽셀로 복사하는 것을 포함하는, 프레임을 생성하기 위한 방법.

항목 6: 항목 1-5 중 어느 하나에 있어서, 상기 이동 속도는 프레임의 적어도 일부분 내 DVS 픽셀의 수 또는 밀도에 기초하여 평가되는, 프레임을 생성하기 위한 방법.

항목 7: 항목 1-6 중 어느 하나에 있어서, 상기 이동 속도는 프레임 내 고밀도 DVS 픽셀 영역의 비율에 기초하여 평가되는, 프레임을 생성하기 위한 방법.

항목 8: 항목 1-7 중 어느 하나에 있어서, 복수의 연속 프레임을 하나의 조합된 프레임으로 조합하는 단계는 조합된 프레임의 적어도 일부분 내 픽셀의 수 또는 밀도가 임계값만큼일 때까지 연속 프레임을 하나의 조합된 프레임으로 조합하는 단계를 포함하는, 프레임을 생성하기 위한 방법.

항목 9: 항목 1-8 중 어느 하나에 있어서, 평가된 이동 속도가 상기 제1 임계값보다 높은 제2 임계값보다 높을 때 상기 타임스팬을 더 작은 타임스팬 값으로 재설정하는 단계를 더 포함하는, 프레임을 생성하기 위한 방법.

항목 10: 항목 1-9 중 어느 하나에 있어서, 복수의 연속 프레임을 하나의 프레임으로 조합하는 단계는 상기 복수의 연속 프레임 중 적어도 하나의 프레임의 일부분을 조합된 프레임으로 조합하는 단계를 포함하는, 프레임을 생성하기 위한 방법.

항목 11: DVS 프레임을 생성하기 위한 시스템으로서, 다음을 포함함:

객체의 DVS 픽셀을 캡처하도록 구성된 DVS,

항목 1-10 중 어느 한 항목의 방법을 수행하도록 구성된 프로세서.

항목 12: 항목 1-10 중 어느 한 항목의 방법을 수행하도록 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램을 저장하는 컴퓨터 판독형 저장 매체.

본 발명의 양태는 전체 하드웨어 실시예, 전체 소프트웨어 실시예(가령, 펌웨어, 상주 소프트웨어, 마이크로-코드 등 포함) 또는 소프트웨어 및 하드웨어 양태를 결합한 실시예의 형태를 취할 수 있으며, 이들은 모두 일반적으로 본 명세서에서 "회로", "모듈" 또는 "시스템"으로 지칭될 수 있다.

본 개시는 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 프로세서로 하여금 본 개시의 양태를 수행하게 하기 위한 컴퓨터 판독형 프로그램 명령을 갖는 컴퓨터 판독형 저장 매체(또는 매체)를 포함할 수 있다.

컴퓨터 판독형 저장 매체는 명령 실행 장치에 의한 사용을 위해 명령을 유지하고 저장할 수 있는 유형의 장치일 수 있다. 컴퓨터 판독형 저장 매체는 예를 들어, 전자 저장 장치, 자기 저장 장치, 광학 저장 장치, 전자기 저장 장치, 반도체 저장 장치 또는 이들의 임의의 적절한 조합일 수 있지만, 이에 제한되지 않는다. 컴퓨터가 읽을 수 있는 저장 매체의 보다 구체적인 예의 비제한적 목록에는 휴대용 컴퓨터 디스켓, 하드 디스크, RAM(Random Access Memory), ROM(Read-Only Memory), 소거 가능한 프로그램 가능한 전용 메모리(EPROM(erasable programmable read-only memory) 또는 플래시 메모리), SRAM(static random access memory), 휴대용 CD-ROM(compact disc read-only memory), DVD(digital versatile disk), 메모리 스틱, 플로피 디스크, 기계 인코딩된 장치, 가령, 천공 카드 또는 그 위에 기록된 지침이 있는 홈의 융기 구조 및 전술한 것의 임의의 적절한 조합을 포함한다. 본 명세서에서 사용될 때 컴퓨터 판독형 저장 매체는 일시적 신호 자체, 가령, 라디오 파 또는 그 밖의 다른 자유롭게 전파되는 전자기 파, 도파관 또는 그 밖의 다른 전송 매체를 통해 전파되는 전자기 파(가령, 광섬유 케이블을 통과하는 광 펄스), 또는 와이어를 통해 전송되는 전기 신호로 해석되지는 않는다.

이들 컴퓨터 판독형 프로그램 명령이 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그래밍 가능한 데이터 처리 장치의 프로세서에 제공되어 컴퓨터 또는 그 밖의 다른 프로그램 가능한 데이터 처리 장치의 프로세서를 통해 실행되는 명령이 순서도에서 특정된 기능/동작 및/또는 블록 다이어그램의 블록 또는 블록도를 구현하기 위한 수단을 생성하도록 하는 기계를 생성할 수 있다. 이들 컴퓨터 판독형 프로그램 명령은 또한 컴퓨터, 프로그램 가능 데이터 처리 장치 및/또는 그 밖의 다른 장치가 특정 방식으로 기능하도록 지시할 수 있는 컴퓨터 판독형 저장 매체에 저장될 수 있으므로, 저장된 명령을 갖는 컴퓨터 판독형 저장 매체는 흐름도에 특정된 기능/동작 및/또는 블록 다이어그램 블록 또는 블록도의 양태를 구현하는 명령을 포함하는 제조 물품을 포함한다.

도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 예시한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 특정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령을 포함하는 모듈, 세그먼트 또는 명령의 일부를 나타낼 수 있다. 일부 대안적인 구현에서, 블록에 언급된 기능은 도면에 언급된 순서를 벗어나 발생할 수 있다. 예를 들어, 연속으로 표시된 두 개의 블록은 실제로 실질적으로 동시에 실행될 수 있거나 관련된 기능에 따라 블록이 때때로 역순으로 실행될 수 있다. 블록 다이어그램 및/또는 순서도 그림의 각 블록과 블록 다이어그램 및/또는 순서도 그림의 블록 조합은 지정된 기능 또는 동작을 수행하거나 특수 목적 하드웨어와 컴퓨터 명령의 조합을 수행하는 특수 목적 하드웨어 기반 시스템에 의해 구현될 수 있다.

시스템 및 방법은 개시 내용의 세부 사항을 이해하는 데 도움이 되도록 일반적인 용어로 설명되었다. 일부 예에서, 잘 알려진 구조, 재료 및/또는 동작은 개시 내용의 측면을 모호하게 하는 것을 피하기 위해 구체적으로 나타내거나 자세히 설명하지 않았다. 다른 경우에, 개시 내용의 완전한 이해를 제공하기 위해 특정 세부 사항이 제공되었다. 관련 기술 분야의 숙련자는 본 개시 내용이 그 정신 또는 본질적인 특성을 벗어나지 않고 예를 들어 특정 시스템 또는 장치 또는 상황 또는 재료 또는 구성요소에 적응하기 위해 다른 특정 형태로 구현될 수 있음을 인식할 것이다. 따라서 본 명세서의 개시 및 설명은 개시의 범위를 제한하는 것이 아니라 설명하기 위한 것이다. 따라서, 본 개시는 첨부된 청구범위 및 그 등가물에 비추어 제한되지 않는다.

Claims (12)

1. DVS에 대한 프레임을 생성하기 위한 방법으로서,
   DVS로부터 객체의 DVS 픽셀을 수신하는 단계,
   타임스팬을 타임스팬 값으로 초기화하는 단계,
   타임스팬 내에서 캡처된 DVS 픽셀을 통합함으로써 프레임을 생성하는 단계,
   상기 객체의 이동 속도를 평가하는 단계,
   평가된 이동 속도가 제1 임계값보다 낮을 때 복수의 연속 프레임을 하나의 조합된 프레임으로 조합하는 단계를 포함하는, 프레임을 생성하기 위한 방법.
2. 제1항에 있어서, 복수의 연속 프레임을 하나의 조합된 프레임으로 조합하는 단계는 복수의 연속 프레임의 각각의 연속 프레임을 조합된 프레임으로 하나씩 조합하는 단계를 포함하는, 프레임을 생성하기 위한 방법.
3. 제2항에 있어서, 프레임을 하나의 조합된 프레임으로 조합하는 단계는 상기 프레임 내 각 DVS 픽셀을 조합된 프레임으로 조합하는 단계를 포함하는, 프레임을 생성하기 위한 방법.
4. 제3항에 있어서, 조합된 프레임 내 각 픽셀을 배경 색상으로 초기화하는 단계를 더 포함하는, 프레임을 생성하기 위한 방법.
5. 제4항에 있어서, DVS 픽셀을 조합된 프레임으로 조합하는 것은 DVS 픽셀의 그레이 레벨을 조합된 프레임 내 대응하는 픽셀로 복사하는 것을 포함하는, 프레임을 생성하기 위한 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 이동 속도는 프레임의 적어도 일부분 내 DVS 픽셀의 수 또는 밀도에 기초하여 평가되는, 프레임을 생성하기 위한 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 이동 속도는 프레임 내 고밀도 DVS 픽셀 영역의 비율에 기초하여 평가되는, 프레임을 생성하기 위한 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 복수의 연속 프레임을 하나의 조합된 프레임으로 조합하는 단계는 조합된 프레임의 적어도 일부분 내 픽셀의 수 또는 밀도가 임계값만큼일 때까지 연속 프레임을 하나의 조합된 프레임으로 조합하는 단계를 포함하는, 프레임을 생성하기 위한 방법.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 평가된 이동 속도가 상기 제1 임계값보다 높은 제2 임계값보다 높을 때 상기 타임스팬을 더 작은 타임스팬 값으로 재설정하는 단계를 더 포함하는, 프레임을 생성하기 위한 방법.
10. 제1항 내지 제9항 중 어느 한 항에 있어서, 복수의 연속 프레임을 하나의 프레임으로 조합하는 단계는 상기 복수의 연속 프레임 중 적어도 하나의 프레임의 일부분을 조합된 프레임으로 조합하는 단계를 포함하는, 프레임을 생성하기 위한 방법.
11. DVS 프레임을 생성하기 위한 시스템으로서,
    객체의 DVS 픽셀을 캡처하도록 구성된 DVS,
    청구항 제1항 내지 제10항 중 어느 한 항의 방법을 수행하도록 구성된 프로세서를 포함하는, 시스템.
12. 청구항 제1항 내지 제10항 중 어느 한 항의 방법을 수행하도록 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램을 저장하는 컴퓨터 판독형 저장 매체.