KR20220096328A - 이벤트 기반 영상 센싱 장치 및 방법 - Google Patents
이벤트 기반 영상 센싱 장치 및 방법 Download PDFInfo
- Publication number
- KR20220096328A KR20220096328A KR1020200188660A KR20200188660A KR20220096328A KR 20220096328 A KR20220096328 A KR 20220096328A KR 1020200188660 A KR1020200188660 A KR 1020200188660A KR 20200188660 A KR20200188660 A KR 20200188660A KR 20220096328 A KR20220096328 A KR 20220096328A
- Authority
- KR
- South Korea
- Prior art keywords
- difference value
- information
- transformed
- image
- brightness
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000006243 chemical reaction Methods 0.000 claims abstract description 36
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims description 46
- 230000009467 reduction Effects 0.000 claims description 11
- 230000001131 transforming effect Effects 0.000 claims description 10
- 230000003321 amplification Effects 0.000 claims description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 8
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000013139 quantization Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 8
- 238000011551 log transformation method Methods 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H04N5/345—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H04N5/2351—
-
- H04N5/357—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
- H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
이벤트 기반 영상 센싱 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 이벤트 기반 영상 센싱 장치는, 적어도 하나의 프로그램이 기록된 메모리 및 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 입력된 영상 신호로부터 밝기 정보 또는 색상 정보 중 적어도 하나를 획득하는 단계, 획득된 밝기 정보 또는 색상 정보 중 적어도 하나를 필터링, 색상 변환 및 밝기 변환 중 적어도 하나를 포함하는 변환을 수행하는 단계, 현재 입력된 영상 신호로부터 변환된 제1 변환 영상과 이전에 입력된 영상 신호로부터 변환된 제2 변환 영상 간의 양자화된 차이값을 산출하는 단계 및 양자화된 차이값을 기반으로 입력된 영상 신호에 대한 이벤트 정보를 비트스트림으로 생성하는 단계를 수행할 수 있다.
Description
기재된 실시예는 시간축 방향으로 변화하는 영상 이벤트 정보를 획득하는 기술에 관한 것이다.
일반적으로 영상 신호 획득 장치는 렌즈를 통하여 획득되는 영역 내의 밝기 및 색상 값을 픽셀 형태로 획득한다.
이와 달리 이벤트 기반 영상 센서(event-based visual sensor)는 영상 신호에 대해서 시간축 방향으로 변화가 발생하는 픽셀들만을 선택적으로 획득한다. 즉, 이벤트 기반 영상 센서는 변화가 존재하는 영역이 변화가 없는 영역들에 비해 상대적으로 높은 중요도를 가지는 영상 특성을 이용하는 것이다. 이는 기존의 영상 획득 방식에 비해 신속한 정보 추출이 가능하고, 발생되는 데이터량의 감소, 또한 전력 소비가 감소되는 장점을 지닌다.
이러한 이벤트 기반 영상 획득 장치 중에서 대표적인 예로 동적 영상 센서(DVS, dynamic vision sensor)가 있는데, 이는 다양한 응용 분야에 걸쳐 널리 적용되고 있다.
일반적인 영상 센서(또는 비전센서)인 색상 카메라는 프레임이라고 불리는 사진들을 연속으로 획득하여 동영상을 구성한다. 이러한 색상 카메라를 통하여 획득되는 프레임은 렌즈를 통하여 보여지는 모든 영역의 밝기와 색상 정보를 포함하게 되고, 이 정보들은 영상 정보를 활용하는 다양한 응용 분야에서 이용된다.
하지만 이러한 기존의 영상 획득 방법이 일부 응용 분야에 적용하기에는 근본적인 한계를 가질 수 있다.
우선, 렌즈를 통하여 보여지는 모든 영역에 대하여 모든 픽셀이 동일한 과정을 통하여 밝기값과 색상값을 획득하기 때문에 각 영역별 중요도의 차이가 고려되지 못한다.
또한, 프레임 내의 모든 픽셀들은 동일한 노출 시간을 가지기 때문에 영상 내에 밝은 영역과 어두운 영역이 함께 존재하는 경우, 노출 시간이 상대적으로 긴 경우에는 밝은 영역에서 정확한 색상 정보를 획득하기 어렵고, 그 반대로 노출 시간이 상대적으로 짧은 경우에는 어두운 영역에서 정확한 색상 정보를 획득하기 어렵다.
또한, 일반적인 동영상 획득 방식이 가지는 근본적인 문제점으로 물체의 움직임에 의한 화질 저하인 모션 블러(motion blur) 현상이 있다. 여기서, 모션 블러는 영상 내에 움직이는 물체가 존재하는 경우, 프레임을 구성하기 위한 개별 픽셀을 하나씩 스캔하면서 발생하는 시간차로 인하여 움직임이 있는 물체가 움직임 방향으로 흐리게 되는 현상을 의미하며, 물체의 움직임 속도에 비례하여 그 정도가 달라진다. 이러한 모션 블러 현상을 완화하기 위한 근본적인 방법은 영상 획득 프레임율을 일반적인 30fps(frame-per-second)보다 높이는 방법(예: 100~1000 fps)을 들 수 있으나, 획득 프레임율이 높은 카메라는 상대적으로 가격이 높기 때문에 저비용 응용에는 적합하지 않다.
반면, 동적 영상 센서는 움직임이 빠른 물체를 대상으로 하는 응용 분야에 대한 새로운 해결 방법을 제시하고 있다. 사람의 홍채와 같은 원리를 가진 동적영상센서는 기존에 프레임들을 이미지 처리 장치로 계속 보내는 것이 아니라, 픽셀 단위에서 움직임에 의해 밝기 값의 국소적인 변화가 있을 때에만 그 정보를 전송하는 형태를 지닌다. 즉, 동적 영상 센서는 기존의 카메라와 같이 렌즈를 통하여 보여지는 모든 영역의 밝기 값을 동일한 설정으로 획득하는 것이 아니라, 시간축 방향으로 밝기값의 변화가 존재하는 픽셀들 만을 선택하여 그 위치에 대한 정보를 전송하는 방식을 취한다.
이를 위해 동적 영상 센서는 입력되는 영상의 밝기 성분에 대하여, 인간의 시각 특성에 적합하도록 로그변환 과정을 적용하고, 로그 변환된 이전 영상과의 차이가 특정 문턱값(threshold value) 보다 큰 픽셀들을 추출하고, 이때 밝기 값이 증가하는 형태로 변화하는지 아니면 감소하는 형태로 변화하는지를 파악하여 출력값을 생성한다.
그런데, 이러한 기존의 동적 영상 센서는 다음과 같은 한계를 가질 수 있다.
우선, 기존의 동적영상센서는 이전 영상과 현재 영상에 대하여 로그 변환을 취하고, 그 값의 차이가 일정 문턱치 이상인 경우에 대해서만 화소값을 생성시킨다. 이러한 방식에 의하여 영상내 변화가 존재하는 화소만을 색출할 수 있고, 또한 적은 데이터 생성에 의한 빠른 프레임율을 성취할 수 있는 장점을 지닌다. 하지만, 만일 화면 내의 조명의 원하는 않는 형태로의 변화라던가(예, 어두운 화면에서 갑자기 차량이 이동하면서 조명의 급작스러운 변화가 발생하는 경우), 밝기/색상 정보 획득 시에 획득장치의 성능한계 등에 의해 노이즈가 발생하는 경우에 대해서도 그 값을 그대로 출력하는 한계를 지닌다.
다음으로, 기존의 동적영상센서가 색상 정보를 효과적으로 활용하지 못하는 한계를 가진다. 즉, 획득된 밝기 값을 기준으로 로그 변환과 차이를 구하는 과정을 수행하기 때문에, 예를 들어 적색의 물체에 대한 이벤트 화소를 구하는 형태의 응용에는 특별한 추가적인 장치를 부착하는 등의 과정 없이 그대로 해당 응용에 적용할 수 없다.
마지막으로, 기존의 동적영상센서에서는 물체의 움직임 속도가 느린 경우, 이에 따라 발생하는 화소의 수도 감소하게 된다. 이러한 화소수의 감소는 최근 각광받고 있는 신경망을 활용한 물체 검출 방법과의 결함에 큰 성능 저하 요소로 작용하게 된다. 이는 신경망을 통한 물체 검출에 있어서, 신경망에 입력되는 영상 정보가 어느 정도 이상의 양으로 제공이 되어야 신경망 출력 결과에 대한 신뢰를 보장할 수 있기 때문이다.
실시예는 조명의 원하는 않는 형태로의 변화 또는 밝기/색상 정보 획득 시에 획득 장치의 성능 한계 등에 의해 노이즈가 발생에 따른 영향을 최소화하는데 그 목적이 있다.
실시예는 별도의 추가적인 장치를 사용함 없이 영상 신호의 색상 정보를 효과적으로 활용하여 관심 물체의 색상 또는 패턴에 따라 선택적인 이벤트 화소 추출이 가능하게 하는데 그 목적이 있다.
실시예는 영상 신호에서 물체의 움직임 속도가 느리거나 밝기 변화가 미미한 경우 추출되는 화소의 수의 감소에 따른 신경망 기반 물체 검출 성능 저하를 방지하는데 그 목적이 있다.
실시예에 따른 이벤트 기반 영상 센싱 장치는, 적어도 하나의 프로그램이 기록된 메모리 및 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 입력된 영상 신호로부터 밝기 정보 또는 색상 정보 중 적어도 하나를 획득하는 단계, 획득된 밝기 정보 또는 색상 정보 중 적어도 하나를 필터링, 색상 변환 및 밝기 변환 중 적어도 하나를 포함하는 변환을 수행하는 단계, 현재 입력된 영상 신호로부터 변환된 제1 변환 영상과 이전에 입력된 영상 신호로부터 변환된 제2 변환 영상 간의 픽셀 별 양자화된 차이값을 산출하는 단계 및 양자화된 차이값을 기반으로 시간축으로 변화가 존재하는 픽셀에 대한 비트스트림을 생성하는 단계를 수행할 수 있다.
이때, 변환하는 단계는, 색상 정보로부터 흑백 밝기 정보로 변환하는 단계, 원래 색상 정보로부터 다른 색상 정보로 변환하는 단계, 감마 조정, 밝기값 증폭 및 밝기값 감소를 포함하는 밝기값 기반 변환하는 단계, 저역 필터, 고역 필터 및 대역 필터 중 적어도 하나를 포함하는 주파수 기반 변환하는 단계, 웨이블릿 필터를 기반으로 변환하는 단계 및 양방향 필터 및 형체 기반 필터를 포함하는 비선형 필터 기반 변환하는 단계 중 적어도 하나를 포함할 수 있다.
이때, 제2 변환 영상이, 복수 개일 경우, 양자화된 차이값을 산출하는 단계는, 복수 개의 제2 변환 영상들 각각에 부여된 가중치를 기반으로 합산한 후, 제1 변환 영상과의 차이값을 산출하되, 가중치의 합은 '1'일 수 있다.
이때, 제2 변환 영상이, 복수 개일 경우, 양자화된 차이값을 산출하는 단계는, 복수 개의 제 2 변환 영상들에 대해 이진 영상(binary image)에 대한 연산인 AND 또는 OR를 포함하는 이진 연산들 중 적어도 하나를 수행할 수 있다.
이때, 양자화된 차이값을 산출하는 단계는, 그 절대값이 소정 임계치 이상인 차이값을 양자화할 수 있다.
이때, 소정 임계치는, 영상 신호에 포함된 물체의 움직임 속도 또는 밝기 변화에 따라 조절될 수 있다.
이때, 양자화된 차이값을 산출하는 단계는, 양자화된 차이값을 필터링하는 단계를 더 포함할 수 있다.
이때, 비트스트림을 출력하는 단계는, 영상 신호가 입력된 시간 정보, 양자화된 차이값이 0이 아닌 값을 가지는 픽셀에 대한 위치 정보 및 양자화된 차이값의 이진화 정보를 출력할 수 있다.
이때, 양자화된 차이값의 이진화 정보는, 양자화된 차이값이 양수일 경우, '1'이고, 양자화된 차이값이 음수일 경우, '0'일 수 있다.
실시예에 따른 영상 이벤트 정보 생성 방법은, 입력된 영상 신호로부터 밝기 정보 또는 색상 정보 중 적어도 하나를 획득하는 단계, 획득된 밝기 정보 또는 색상 정보 중 적어도 하나를 필터링, 색상 변환 및 밝기 변환 중 적어도 하나를 포함하는 변환을 수행하는 단계, 현재 입력된 영상 신호로부터 변환된 제1 변환 영상과 이전에 입력된 영상 신호로부터 변환된 제2 변환 영상 간의 픽셀별 양자화된 차이값을 산출하는 단계 및 양자화된 차이값을 기반으로 시간축으로 변화가 존재하는 픽셀에 대한 비트스트림을 생성하는 단계를 포함할 수 있다.
이때, 변환하는 단계는, 색상 정보로부터 흑백 밝기 정보로 변환하는 단계, 원래 색상 정보로부터 다른 색상 정보로 변환하는 단계, 감마 조정, 밝기값 증폭 및 밝기값 감소를 포함하는 밝기값 기반 변환하는 단계, 저역 필터, 고역 필터 및 대역 필터 중 적어도 하나를 포함하는 주파수 기반 변환하는 단계, 웨이블릿 필터를 기반으로 변환하는 단계 및 양방향 필터 및 형체 기반 필터를 포함하는 비선형 필터 기반 변환하는 단계 중 적어도 하나를 포함할 수 있다.
이때, 제2 변환 영상이, 복수 개일 경우, 양자화된 차이값을 산출하는 단계는, 복수 개의 제2 변환 영상들 각각에 부여된 가중치를 기반으로 합산한 후, 제1 변환 영상과의 차이값을 산출하되, 가중치의 합은 '1'일 수 있다.
이때, 제2 변환 영상이, 복수 개일 경우, 양자화된 차이값을 산출하는 단계는, 복수 개의 제 2 변환 영상들에 대해 이진 영상(binary image)에 대한 연산인 AND 또는 OR를 포함하는 이진 연산들 중 적어도 하나를 수행할 수 있다.이때, 양자화된 차이값을 산출하는 단계는, 그 절대값이 소정 임계치 이상인 차이값을 양자화할 수 있다.
이때, 소정 임계치는, 영상 신호에 포함된 물체의 움직임 속도 또는 밝기 변화에 따라 조절될 수 있다.
이때, 양자화된 차이값을 산출하는 단계는, 양자화된 차이값을 필터링하는 단계를 더 포함할 수 있다.
이때, 비트스트림을 출력하는 단계는, 영상 신호가 입력된 시간 정보, 양자화된 차이값이 '0'이 아닌 값을 가지는 픽셀에 대한 위치 정보 및 양자화된 차이값의 이진화 정보를 출력할 수 있다.
이때, 양자화된 차이값의 이진화 정보는, 양자화된 차이값이 양수일 경우, '1'이고, 양자화된 차이값이 음수일 수 있다.
실시예에 따른 영상 이벤트 정보 생성 방법은, 입력된 영상 신호로부터 밝기 정보 또는 색상 정보 중 적어도 하나를 획득하는 단계, 획득된 밝기 정보 또는 색상 정보 중 적어도 하나를 필터링, 색상 변환 및 밝기 변환 중 적어도 하나를 포함하는 변환을 수행하는 단계, 현재 입력된 영상 신호로부터 변환된 제1 변환 영상과 이전에 입력된 영상 신호로부터 변환된 제2 변환 영상 간의 차이값을 산출하는 단계, 그 절대값이 소정 임계치 이상인 차이값을 양자화하는 단계, 양자화된 차이값을 필터링하는 단계 및 영상 신호가 입력된 시간 정보, 필터링된 양자화된 차이값이 '0'이 아닌 값을 가지는 픽셀에 대한 위치 정보 및 양자화된 차이값의 이진화 정보를 비트스트림으로 생성하는 단계를 포함할 수 있다.
이때, 변환하는 단계는, 색상 정보로부터 흑백 밝기 정보로 변환하는 단계, 원래 색상 정보로부터 다른 색상 정보로 변환하는 단계, 감마 조정, 밝기값 증폭 및 밝기값 감소를 포함하는 밝기값 기반 변환하는 단계, 저역 필터, 고역 필터 및 대역 필터 중 적어도 하나를 포함하는 주파수 기반 변환하는 단계, 웨이블릿 필터를 기반으로 변환하는 단계 및 양방향 필터 및 형체 기반 필터를 포함하는 비선형 필터 기반 변환하는 단계 중 적어도 하나를 포함할 수 있다.
이때, 제2 변환 영상이, 복수 개일 경우, 양자화된 차이값을 산출하는 단계는, 복수 개의 제2 변환 영상들 각각에 부여된 가중치를 기반으로 합산한 후, 제1 변환 영상과의 차이값을 산출하되, 가중치의 합은 '1'일 수 있다.
이때, 제2 변환 영상이, 복수 개일 경우, 양자화된 차이값을 산출하는 단계는,복수 개의 제 2 변환 영상들에 대해 이진 영상(binary image)에 대한 연산인 AND 또는 OR를 포함하는 이진 연산들 중 적어도 하나를 수행할 수 있다.
이때, 양자화된 차이값의 이진화 정보는, 양자화된 차이값이 양수일 경우, '1'이고, 양자화된 차이값이 음수일 경우, '0'일 수 있다.
실시예에 따라, 조명의 원하는 않는 형태로의 변화 또는 밝기/색상 정보 획득 시에 획득 장치의 성능 한계 등에 의해 노이즈가 발생에 따른 영향을 최소화할 수 있다.
실시예에 따라, 별도의 추가적인 장치를 사용함없이 영상 신호의 색상 정보를 효과적으로 활용하여 관심 물체의 색상 또는 패턴에 따라 선택적인 이벤트 화소 추출이 가능하게 할 수 있다
실시예에 따라, 영상 신호에서 물체의 움직임 속도가 느리거나 밝기 변화가 미미한 경우 추출되는 화소의 수의 감소에 따른 신경망 기반 물체 검출 성능 저하를 방지할 수 있다.
도 1은 일반적인 카메라와 실시예가 적용되는 동적 영상 센서의 획득 방식의 비교도이다.
도 2는 실시예에 따른 이벤트 기반 영상 센싱 장치의 개략적인 블록 구성도이다.
도 3은 실시예에 따른 변화 검출부의 개략적인 블록 구성도이다.
도 4는 실시예에 따른 양자화된 차이값에 따른 출력 비트 관계를 도시한 도면이다.
도 5는 실시예에 따른 이벤트 기반 영상 센싱 방법을 설명하기 위한 순서도이다.
도 6은 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다.
도 2는 실시예에 따른 이벤트 기반 영상 센싱 장치의 개략적인 블록 구성도이다.
도 3은 실시예에 따른 변화 검출부의 개략적인 블록 구성도이다.
도 4는 실시예에 따른 양자화된 차이값에 따른 출력 비트 관계를 도시한 도면이다.
도 5는 실시예에 따른 이벤트 기반 영상 센싱 방법을 설명하기 위한 순서도이다.
도 6은 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는, 도 1 내지 도 6을 참조하여 실시예에 따른 이벤트 기반 영상 센싱 장치 및 방법이 상세히 설명된다.
우선, 실시예에 따른 이벤트 기반 영상 센싱 장치가 적용되는 동적 영상 센서에 대한 예를 들어 개략적으로 살펴보기로 한다.
도 1은 일반적인 카메라와 실시예가 적용되는 동적 영상 센서의 획득 방식의 비교도이다.
도 1을 참조하면, 원형 판에 검은색 점이 존재하고 그 원판이 회전하는 경우를 가정한다.
이때, 일반적인 카메라(STANDARD CAMERA)의 경우, 시간축 방향의 모든 영역의 영상 신호를 획득하여 출력한다.
반면, 동적영상센서(DVS)는 시간축 방향으로 밝기가 변화하는 영역인 원판 위의 점만을 선택적으로 추출하고 그 위치 데이터를 전송한다. 이러한 방식의 이미지 획득 방식은 마이크로 초 단위의 시간축 해상도를 갖게 해주어, 1초당 수천 프레임을 찍는 초고속 카메라보다 더 뛰어난 시간 분해능을 가지게 할 수 있다. 뿐만 아니라 전력 소모 및 데이터 저장 요구 조건 또한 획기적으로 감소시킬 수 있으므로 센서가 구분할 수 있는 밝기의 범위인 센서의 동적 범위(dynamic range) 또한 획기적으로 증가시킬 수 있는 장점을 지닌다.
기재된 실시예는 이러한 일반적인 동적 영상 센서에서 조명의 원하는 않는 형태로의 변화 또는 밝기/색상 정보 획득 시에 획득 장치의 성능 한계 등에 의해 노이즈가 발생에 따른 영향을 최소화할 수 있는 이벤트 기반 영상 센싱장치 및 방법을 제안한다.
또한, 기재된 실시예는 일반적인 동적 영상 센서가 색상 정보를 활용하지 못하는 한계를 극복하고자, 별도의 추가적인 장치를 사용함없이 영상 신호의 색상 정보를 효과적으로 활용하여 관심 물체의 색상 또는 패턴에 따라 선택적인 이벤트 화소 추출이 가능하게 하는 이벤트 기반 영상 센싱장치 및 방법을 제안한다.
또한, 기재된 실시예에 따라, 일반적인 동적 영상 센서에서의 영상 신호에서 물체의 움직임 속도가 느리거나 밝기 변화가 미미한 경우 추출되는 화소의 수의 감소에 따른 신경망 기반 물체 검출 성능 저하를 방지할 수 있는 이벤트 기반 영상 센싱장치 및 방법을 제안한다.
도 2는 실시예에 따른 이벤트 기반 영상 센싱 장치의 개략적인 블록 구성도이고, 도 3은 실시예에 따른 변화 검출부의 개략적인 블록 구성도이고, 도 4는 실시예에 따른 양자화된 차이값에 따른 출력 비트 관계를 도시한 도면이다.
도 2를 참조하면, 실시예에 따른 이벤트 기반 영상 센싱 장치는 영상 획득부(110), 영상 변환부(120), 변화 검출부(130), 비트스트림 생성부(140) 및 변환 영상 저장부(150)를 포함할 수 있다.
영상 획득부(110)는, 입력된 영상 신호로부터 밝기 또는 색상 정보 중 적어도 하나를 포함하는 영상 정보를 획득할 수 있다.
이때, 영상 획득부(110)는, 광학 렌즈와 광감 센서(Photo-Sensitive Device)로 구성되어 디지털 형태로 형상 정보가 획득될 수 있다. 즉, 광학렌즈를 통하여 획득되는 영역에 대하여 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)와 같은 광감 반도체 장치를 이용하여 2차원 화소(pixel)로 구성된 영상이 획득될 수 있다.
이때, 획득되는 영상 정보는, 단순한 흑백 밝기 영상일 수도 있고, RGB로 구성되는 색상 영상일 수도 있다.
영상 변환부(120)는, 획득된 밝기 정보 또는 색상 정보 중 적어도 하나를 필터링, 색상 변환 및 밝기 변환 중 적어도 하나를 포함하는 변환을 수행할 수 있다.
즉, 실시예에서는 종래의 단순한 로그 변환을 통한 밝기의 변환량 증감만을 표현하는 것이 아니라, 로그 변환 이외의 다른 변환들을 적용하여 갑작스러운 밝기 변화에 따른 영향을 감소시킬 수 있으며, 노이즈에 의한 이벤트 화소에서의 생성을 최소화시킬 수 있다. 또한, 실시예에서는 색상 변환을 수행하여 관심 물체의 색상 또는 패턴에 따라 선택적인 이벤트 화소 추출이 가능하게 할 수 있다.
이때, 영상 변환부(120)는, 복수의 변환부들을 포함하여, 이 중 적어도 하나 이상을 선택적으로 연속 수행할 수 있다.
일 실시예에 따라, 영상 변환부(120)는, 색상 정보를 흑백 밝기 정보로 변환하는 변환부, 원래 색상 정보를 다른 색상 정보로 변환하는 변환부, 감마 조정, 밝기값 증폭 및 밝기값 감소를 포함하는 밝기값 기반 변환하는 변환부, 저역 필터, 고역 필터 및 대역 필터 중 적어도 하나를 포함하는 주파수 기반 변환하는 변환부, 웨이블릿 필터(Wavelet Filter)를 기반으로 변환하는 변환부, 양방향 필터(Bilateral Filter) 및 형체 기반 필터(Morphological Filter)를 포함하는 비선형 필터(Nonlinear Filter) 기반 변환하는 변환부 중 적어도 하나를 포함할 수 있다.
변화 검출부(130)는, 현재 입력된 영상 신호로부터 변환된 제1 변환 영상과 바로 이전에 입력된 영상 신호로부터 변환된 제2 변환 영상 간의 픽셀 별 양자화된 차이값을 산출할 수 있다. 즉, 시간축으로의 영상들 간의 픽셀 별 변화 정도가 산출되는 것이다.
이때, 제1 변환 영상은, 영상 변환부(120)에 의해 출력된 것이고, 제2 변환 영상은 변환 영상 저장부(150)로부터 추출된 것일 수 있다.
이때, 변환 영상 저장부(150)는, 영상 변환부(120)에 의해 변환된 변환 영상을 시간 정보와 함께 저장할 수 있다. 따라서, 변환 영상 저장부(150)에는 시간의 경과에 따른 소정 시간 단위 별 변환 영상이 순차적으로 저장될 수 있다. 이때, 소정 시간 단위는, 예컨대 1초일 있다.
이러한 변환영상 저장을 통해 순간적으로 발생하는 노이즈나 카메라의 흔들림 등에 대해서도 강인하게(robust) 영상 이벤트를 획득하고 처리하는 효과를 기대할 수 있다.
도 3을 참조하면, 변화 검출부(130)는, 차이값 산출부(131), 양자화부(133) 및 필터부(135)를 포함할 수 있다.
차이값 산출부(131)는, 제1 변환 영상과 제2 변환 영상 간의 차이값을 픽셀별로 산출할 수 있다.
이때, 제2 변환 영상은 하나 또는 복수 개 추출될 수 있다.
이때, 제2 변환 영상이 복수 개가 추출될 경우, 차이값 산출부(131)는, 제2 변환 영상들 각각에 부여된 가중치를 기반으로 합산한 후, 제1 변환 영상과의 차이값을 산출할 수 있다. 즉, 차이값 D(t)는 다음의 <수학식 1>과 같이 산출될 수 있다.
<수학식 1>에서 T(t)는 제1 변환 영상 값을 나타내고, T(t-1), T(t-2), ..., T(t-m)는 복수의 제2 변환 영상들 값을 나타내고, 
는 i번째 제2 변환 영상에 부여된 가중치일 수 있다. 이때, 가중치의 합은 '1'일 수 있다.
이때, 제2 변환 영상이 복수 개가 추출될 경우, 차이값 산출부(131)는, 복수 개의 제2 변환 영상들에 대해 이진 영상(binary image)에 대한 연산인 AND 또는 OR를 포함하는 이진 연산들 중 적어도 하나를 수행할 수 있다.
즉, 차이값 산출부(131)는, OR 연산을 수행할 경우, 복수 개의 제2 변환 영상들에서 시간축으로의 변화가 적어도 한번 이상인 픽셀 모두를 선택하고, 선택된 픽셀 각각에 대한 제1 변환 영상과 제2 변환 영상들 간의 차이값을 산출할 수 있다.
또한, 차이값 산출부(131)는, AND 연산을 수행할 경우, 복수 개의 제2 변환 영상들에서 시간축으로의 변화가 항상 존재하는 픽셀만을 선택하고, 선택된 픽셀 각각에 대한 제1 변환 영상과 제2 변환 영상들 간의 차이값을 산출할 수 있다.
한편, 양자화부(133)는, 차이값 산출부(131)에 의해 산출된 픽셀별 차이값을 양자화한다. 이는 정보의 손실을 최소화하며 제한된 비트를 이용하여 표현하기 위함이다.
이때, 양자화부(133)는, 그 절대값이 소정 임계치 이상인 차이값을 양자화할 수 있다.
즉, 변환 영상 값의 범위가 
일 경우, 차이값 D(t)의 범위는 다음의 <수학식 2>와 같이 정의될 수 있다.
양자화부(133)는, <수학식 2>와 같은 범위를 갖는 차이값 D(t)에서 영(zero)값을 중심으로 소정 임계치 이내 범위를 데드 존(dead zone)로 하여 제외시키고, 소정 임계치 이상인 값을 양자화하는 것이다.
이때, 소정 임계치는, 영상 신호에 포함된 물체의 움직임 속도 또는 밝기 변화에 따라 조절될 수 있다.
물체의 움직임 속도가 느리거나 밝기 변화가 작은 경우, 이에 따라 발생하는 화소의 수도 감소될 수 있는데, 이러한 화소수의 감소는 최근 각광받고 있는 신경망을 활용한 물체 검출 기술과의 결합에 큰 성능 저하 요소로 작용하게 된다. 이는 신경망을 통한 물체 검출에 있어서, 신경망에 입력되는 영상 정보가 일정 양 이상 제공되어야 신경망 출력 결과에 대한 신뢰를 보장할 수 있기 때문이다. 따라서, 실시예에 따라, 물체의 움직임 속도 또는 밝기 변화에 따라 임계치가 조절되어 신뢰할 수 있는 수준의 충분한 이벤트 화소를 지니는 영상을 발생시키도록 할 수 있다.
한편, 양자화부(133)는, 양자화 간격이 일정한 균일(uniform) 양자화 또는 양자화 간격이 가변적인 비균일(non-uniform) 양자화를 수행할 수 있다.
필터부(135)는, 양자화부(133)로부터 출력된 픽셀별 양자화된 차이값을 필터링한다.
필터부(135)는, 특정 픽셀의 양자화된 차이값을 제거 또는 복사하여 주변값들과 유사하게 만들어 줄 수 있다.
또한, 필터부(135)는, 픽셀들의 덩어리(cluster)가 단순한 모양을 가지도록형체 기반(morphological) 필터링을 수행할 수도 있다.
이러한 필터부(135)의 동작을 통해, 움직임이 적거나 밝기값의 변화가 적은 경우에 대해서도 다양한 응용분야에서 요구하는 이벤트 정보를 적절히 조절할 수 있는 효과를 기대할 수 있다.
비트스트림 생성부(140)는, 양자화된 차이값을 기반으로 시간축으로 변화가 존재하는 픽셀에 대한 정보를 비트스트림으로 생성한다.
이때, 시간축으로 변화가 존재하는 픽셀에 대한 정보는, 영상 신호가 입력된 시간 정보, 양자화된 차이값이 0이 아닌 값을 가지는 픽셀에 대한 위치 정보 및 양자화된 차이값의 이진화 정보를 포함할 수 있다.
예컨대, 픽셀의 위치 정보는, 값이 없을 경우 "0", 값이 있을 경우 "1"의 값을 가지는 "0"과 "1"로 구성된 영상 프레임으로 표현될 수 있다.
예컨대, 양자화된 차이값의 이진화 정보는, 도 4를 참조하면, 양자화된 차이값이 데드 존(deadzone)에 해당할 경우 이진화된 정보는 생성되지 않고, 양수 영역에 포함되는 경우 비트 "1"이고, 음수 영역에서 포함되는 경우 비트 "0"이 될 수 있다.
도 5는 실시예에 따른 이벤트 기반 영상 센싱 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 실시예에 따른 이벤트 기반 영상 센싱 방법은 입력된 영상 신호로부터 밝기 정보 또는 색상 정보 중 적어도 하나를 획득하는 단계(S210), 획득된 밝기 정보 또는 색상 정보 중 적어도 하나를 필터링, 색상 변환 및 밝기 변환 중 적어도 하나를 포함하는 변환을 수행하는 단계(S220), 현재 입력된 영상 신호로부터 변환된 제1 변환 영상과 이전에 입력된 영상 신호로부터 변환된 제2 변환 영상 간의 양자화된 차이값을 산출하는 단계(S230) 및 양자화된 차이값을 기반으로 시간축으로 변화가 존재하는 픽셀에 대한 비트스트림으로 생성하는 단계(S240)를 포함할 수 있다.
이때, 변환을 수행하는 단계(S220)에서, 색상 정보를 흑백 밝기 정보로 변환하는 단계, 원래 색상 정보를 다른 색상 정보로 변환하는 단계, 감마 조정, 밝기값 증폭 및 밝기값 감소를 포함하는 밝기값 기반 변환하는 단계, 저역 필터, 고역 필터 및 대역 필터 중 적어도 하나를 포함하는 주파수 기반 변환하는 단계, 웨이블릿 필터(Wavelet Filter)를 기반으로 변환하는 단계, 양방향 필터(Bilateral Filter) 및 형체 기반 필터(Morphological Filter)를 포함하는 비선형 필터(Nonlinear Filter) 기반 변환하는 단계 중 적어도 하나를 연속적으로 수행할 수 있다.
이때, 양자화된 차이값을 산출하는 단계(S230)는, 시간축으로의 영상들 간의 픽셀 별 변화 정도가 산출하는 것으로, 제1 변환 영상과 제2 변환 영상 간의 픽셀 별 차이값을 산출하는 단계(S231), 산출된 픽셀별 차이값을 양자화하는 단계(S233) 및 픽셀별 양자화된 차이값을 필터링하는 단계(S235)를 포함할 수 있다.
이때, 제2 변환 영상은 소정 시간 단위 별로 미리 저장된 것일 수 있다.
이때, 제2 변환 영상은 하나 또는 복수 개 추출될 수 있다.
이때, 제2 변환 영상이 복수 개가 추출될 경우, 픽셀 별 차이값을 산출하는 단계(S231), 제2 변환 영상들 각각에 부여된 가중치를 기반으로 합산한 후, 제1 변환 영상과의 차이값을 산출할 수 있다. 이때, 가중치의 합은 '1'일 수 있다. 즉, 차이값 D(t)는 전술한 <수학식 1>과 같이 산출될 수 있다.
또한, 산출된 픽셀별 차이값을 양자화하는 단계(S233)에서, 그 절대값이 소정 임계치 이상인 차이값을 양자화할 수 있다. 즉, 전술한 <수학식 2>와 같은 범위를 갖는 차이값 D(t)에서 영(zero)값을 중심으로 소정 임계치 이내 범위를 데드 존(dead zone)로 하여 제외시키고, 소정 임계치 이상인 값을 양자화하는 것이다.
이때, 소정 임계치는, 영상 신호에 포함된 물체의 움직임 속도 또는 밝기 변화에 따라 조절될 수 있다.
또한, 산출된 픽셀별 차이값을 양자화하는 단계(S233)에서, 양자화 간격이 일정한 균일(uniform) 양자화 또는 양자화 간격이 가변적인 비균일(non-uniform) 양자화를 수행할 수 있다.
한편, 픽셀별 양자화된 차이값을 필터링하는 단계(S235)에서, 상대적으로 양자화된 차이값이 작은 픽셀들을 제거하거나, 특정 픽셀의 양자화된 차이값을 제거 또는 복사하여 주변값들과 유사하게 만들어 줄 수 있다.또한, 픽셀별 양자화된 차이값을 필터링하는 단계(S235)에서, 픽셀들의 덩어리(cluster)가 단순한 모양을 가지도록형체 기반(morphological) 필터링을 수행할 수도 있다.
이때, 비트스트림으로 생성하는 단계(S240)에서, 영상 신호가 입력된 시간 정보를 생성하는 단계(S241), 양자화된 차이값이 0이 아닌 값을 가지는 픽셀에 대한 위치 정보를 생성하는 단계(S243) 및 양자화된 차이값이 0이 아닌 값을 가지는 픽셀에 대한 양자화된 차이값의 이진화 정보 생성하는 단계(S245)를 포함할 수 있다.
도 6은 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다.
실시예에 따른 이벤트 기반 영상 센싱 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다.
컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
110 : 영상 획득부
120 : 영상 변환부
130 : 변화 검출부 140 : 비트스트림 생성부
150 : 변환 영상 저장부
130 : 변화 검출부 140 : 비트스트림 생성부
150 : 변환 영상 저장부
Claims (20)
- 적어도 하나의 프로그램이 기록된 메모리; 및
프로그램을 실행하는 프로세서를 포함하며,
프로그램은,
입력된 영상 신호로부터 밝기 정보 또는 색상 정보 중 적어도 하나를 획득하는 단계;
획득된 밝기 정보 또는 색상 정보 중 적어도 하나를 필터링, 밝기 변환 및 색상 변환 중 적어도 하나를 포함하는 변환을 수행하는 단계;
현재 입력된 영상 신호로부터 변환된 제1 변환 영상과 이전에 입력된 영상 신호로부터 변환된 제2 변환 영상 간의 픽셀 별 양자화된 차이값을 산출하는 단계; 및
양자화된 차이값을 기반으로 시간축으로 변화가 존재하는 픽셀에 대한 비트스트림을 생성하는 단계를 수행하는, 이벤트 기반 영상 센싱 장치. - 제1 항에 있어서, 변환하는 단계는,
색상 정보로부터 흑백 밝기 정보로 변환하는 단계;
원래 색상 정보로부터 다른 색상 정보로 변환하는 단계;
감마 조정, 밝기값 증폭 및 밝기값 감소를 포함하는 밝기값 기반 변환하는 단계;
저역 필터, 고역 필터 및 대역 필터 중 적어도 하나를 포함하는 주파수 기반 변환하는 단계;
웨이블릿 필터를 기반으로 변환하는 단계; 및
양방향 필터 및 형체 기반 필터를 포함하는 비선형 필터 기반 변환하는 단계 중 적어도 하나를 포함하는, 이벤트 기반 영상 센싱 장치. - 제1 항에 있어서, 제2 변환 영상이,
복수 개일 경우,
양자화된 차이값을 산출하는 단계는,
복수 개의 제2 변환 영상들 각각에 부여된 가중치를 기반으로 합산한 후, 제1 변환 영상과의 차이값을 산출하되,
가중치의 합은 '1'인, 이벤트 기반 영상 센싱 장치. - 제1 항에 있어서, 제2 변환 영상이,
복수 개일 경우,
양자화된 차이값을 산출하는 단계는,
복수 개의 제2 변환 영상들에서 시간축으로의 변화가 적어도 한번 이상인 픽셀 모두를 선택하고, 선택된 픽셀 각각에 대한 제1 변환 영상과 제2 변환 영상들 간의 차이값을 산출하거나,
복수 개의 제2 변환 영상들에서 시간축으로의 변화가 항상 존재하는 픽셀만을 선택하고, 선택된 픽셀 각각에 대한 제1 변환 영상과 제2 변환 영상들 간의 차이값을 산출하는, 이벤트 기반 영상 센싱 장치. - 제1 항에 있어서, 양자화된 차이값을 산출하는 단계는,
그 절대값이 소정 임계치 이상인 차이값을 양자화하되,
소정 임계치는,
영상 신호에 포함된 물체의 움직임 속도 또는 밝기 변화에 따라 조절되는, 이벤트 기반 영상 센싱 장치. - 제1 항에 있어서, 양자화된 차이값을 산출하는 단계는,
양자화된 차이값을 필터링하는 단계를 더 포함하는, 이벤트 기반 영상 센싱 장치. - 제1 항에 있어서, 비트스트림을 출력하는 단계는,
영상 신호가 입력된 시간 정보, 양자화된 차이값이 0이 아닌 값을 가지는 픽셀에 대한 위치 정보 및 양자화된 차이값의 이진화 정보를 출력하는, 이벤트 기반 영상 센싱 장치. - 제7 항에 있어서, 양자화된 차이값의 이진화 정보는,
양자화된 차이값이 양수일 경우, '1'이고,
양자화된 차이값이 음수일 경우, '0'인, 이벤트 기반 영상 센싱 장치. - 입력된 영상 신호로부터 밝기 정보 또는 색상 정보 중 적어도 하나를 획득하는 단계;
획득된 밝기 정보 또는 색상 정보 중 적어도 하나를 필터링, 색상 변환 및 밝기 변환 중 적어도 하나를 포함하는 변환을 수행하는 단계;
현재 입력된 영상 신호로부터 변환된 제1 변환 영상과 이전에 입력된 영상 신호로부터 변환된 제2 변환 영상 간의 픽셀 별 양자화된 차이값을 산출하는 단계; 및
양자화된 차이값을 기반으로 시간축으로 변화가 존재하는 픽셀에 대한 정보를 비트스트림으로 생성하는 단계를 포함하는, 이벤트 기반 영상 센싱 방법. - 제9 항에 있어서, 변환하는 단계는,
색상 정보로부터 흑백 밝기 정보로 변환하는 단계;
원래 색상 정보로부터 다른 색상 정보로 변환하는 단계;
감마 조정, 밝기값 증폭 및 밝기값 감소를 포함하는 밝기값 기반 변환하는 단계;
저역 필터, 고역 필터 및 대역 필터 중 적어도 하나를 포함하는 주파수 기반 변환하는 단계;
웨이블릿 필터를 기반으로 변환하는 단계; 및
양방향 필터 및 형체 기반 필터를 포함하는 비선형 필터 기반 변환하는 단계 중 적어도 하나를 포함하는, 이벤트 기반 영상 센싱 방법. - 제9 항에 있어서, 제2 변환 영상이,
복수 개일 경우,
양자화된 차이값을 산출하는 단계는,
복수 개의 제2 변환 영상들 각각에 부여된 가중치를 기반으로 합산한 후, 제1 변환 영상과의 차이값을 산출하되,
가중치의 합은 '1'인, 이벤트 기반 영상 센싱 방법. - 제9 항에 있어서, 제2 변환 영상이,
복수 개일 경우,
양자화된 차이값을 산출하는 단계는,
복수 개의 제2 변환 영상들에서 시간축으로의 변화가 적어도 한번 이상인 픽셀 모두를 선택하고, 선택된 픽셀 각각에 대한 제1 변환 영상과 제2 변환 영상들 간의 차이값을 산출하거나,
복수 개의 제2 변환 영상들에서 시간축으로의 변화가 항상 존재하는 픽셀만을 선택하고, 선택된 픽셀 각각에 대한 제1 변환 영상과 제2 변환 영상들 간의 차이값을 산출하는, 이벤트 기반 영상 센싱 방법. - 제9 항에 있어서, 양자화된 차이값을 산출하는 단계는,
그 절대값이 소정 임계치 이상인 차이값을 양자화하되, 소정 임계치는,
영상 신호에 포함된 물체의 움직임 속도 또는 밝기 변화에 따라 조절되는, 이벤트 기반 영상 센싱 방법. - 제9 항에 있어서, 양자화된 차이값을 산출하는 단계는,
양자화된 차이값을 필터링하는 단계를 더 포함하는, 이벤트 기반 영상 센싱 방법. - 제9 항에 있어서, 비트스트림을 출력하는 단계는,
영상 신호가 입력된 시간 정보, 양자화된 차이값이 '0'이 아닌 값을 가지는 픽셀에 대한 위치 정보 및 양자화된 차이값의 이진화 정보를 출력하는, 이벤트 기반 영상 센싱 방법. - 제15 항에 있어서, 양자화된 차이값의 이진화 정보는,
양자화된 차이값이 양수일 경우, '1'이고,
양자화된 차이값이 음수일 경우, '0'인, 이벤트 기반 영상 센싱 방법. - 입력된 영상 신호로부터 밝기 정보 또는 색상 정보 중 적어도 하나를 획득하는 단계;
획득된 밝기 정보 또는 색상 정보 중 적어도 하나를 필터링, 색상 변환 및 밝기 변환 중 적어도 하나를 포함하는 변환을 수행하는 단계;
현재 입력된 영상 신호로부터 변환된 제1 변환 영상과 이전에 입력된 영상 신호로부터 변환된 제2 변환 영상 간의 픽셀 별 차이값을 산출하는 단계;
그 절대값이 소정 임계치 이상인 차이값을 양자화하는 단계;
양자화된 차이값을 필터링하는 단계; 및
영상 신호가 입력된 시간 정보, 필터링된 양자화된 차이값이 '0'이 아닌 값을 가지는 픽셀에 대한 위치 정보 및 양자화된 차이값의 이진화 정보를 비트스트림으로 생성하는 단계를 포함하는, 이벤트 기반 영상 센싱 방법. - 제17 항에 있어서, 변환하는 단계는,
색상 정보로부터 흑백 밝기 정보로 변환하는 단계;
원래 색상 정보로부터 다른 색상 정보로 변환하는 단계;
감마 조정, 밝기값 증폭 및 밝기값 감소를 포함하는 밝기값 기반 변환하는 단계;
저역 필터, 고역 필터 및 대역 필터 중 적어도 하나를 포함하는 주파수 기반 변환하는 단계;
웨이블릿 필터를 기반으로 변환하는 단계; 및
양방향 필터 및 형체 기반 필터를 포함하는 비선형 필터 기반 변환하는 단계 중 적어도 하나를 포함하는, 이벤트 기반 영상 센싱 방법. - 제17 항에 있어서, 제2 변환 영상이,
복수 개일 경우,
양자화된 차이값을 산출하는 단계는,
복수 개의 제2 변환 영상들 각각에 부여된 가중치를 기반으로 합산한 후, 제1 변환 영상과의 차이값을 산출하거나,
복수 개의 제2 변환 영상들에서 시간축으로의 변화가 적어도 한번 이상인 픽셀 모두를 선택하고, 선택된 픽셀 각각에 대한 제1 변환 영상과 제2 변환 영상들 간의 차이값을 산출하거나,
복수 개의 제2 변환 영상들에서 시간축으로의 변화가 항상 존재하는 픽셀만을 선택하고, 선택된 픽셀 각각에 대한 제1 변환 영상과 제2 변환 영상들 간의 차이값을 산출하는, 이벤트 기반 영상 센싱 방법. - 제17 항에 있어서, 양자화된 차이값의 이진화 정보는,
양자화된 차이값이 양수일 경우, '1'이고,
양자화된 차이값이 음수일 경우, '0'인, 이벤트 기반 영상 센싱 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200188660A KR102445008B1 (ko) | 2020-12-31 | 2020-12-31 | 이벤트 기반 영상 센싱 장치 및 방법 |
| US17/318,828 US11861814B2 (en) | 2020-12-31 | 2021-05-12 | Apparatus and method for sensing image based on event |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200188660A KR102445008B1 (ko) | 2020-12-31 | 2020-12-31 | 이벤트 기반 영상 센싱 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220096328A true KR20220096328A (ko) | 2022-07-07 |
| KR102445008B1 KR102445008B1 (ko) | 2022-09-21 |
Family
ID=82118852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200188660A KR102445008B1 (ko) | 2020-12-31 | 2020-12-31 | 이벤트 기반 영상 센싱 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11861814B2 (ko) |
| KR (1) | KR102445008B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102584501B1 (ko) * | 2018-10-05 | 2023-10-04 | 삼성전자주식회사 | 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100102021A (ko) | 2009-03-10 | 2010-09-20 | 민승기 | 지중 매설되는 빗물용 저수조 |
| KR20140138537A (ko) * | 2013-05-24 | 2014-12-04 | 한국전자통신연구원 | 픽셀블록 필터링 방법 및 장치 |
| KR101778461B1 (ko) * | 2016-09-02 | 2017-09-26 | 광운대학교 산학협력단 | 저조도 영상의 노이즈 제거 방법 및 이의 제조 장치 |
| JP2020161993A (ja) * | 2019-03-27 | 2020-10-01 | ソニー株式会社 | 撮像システム及び物体認識システム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7453382B2 (en) * | 2007-01-10 | 2008-11-18 | Infineon Technologies Ag | Method and apparatus for A/D conversion |
| KR101469543B1 (ko) * | 2008-08-06 | 2014-12-12 | 삼성전자주식회사 | 손 떨림 보정을 행하는 디지털 영상 신호 처리 장치의 제어방법, 상기 제어 방법을 수행하는 디지털 영상 신호 처리장치 및 상기 제어 방법을 기록한 기록 매체 |
| US9106925B2 (en) * | 2010-01-11 | 2015-08-11 | Ubiquity Holdings, Inc. | WEAV video compression system |
| FR2973552A1 (fr) * | 2011-03-29 | 2012-10-05 | France Telecom | Traitement dans le domaine code d'un signal audio code par codage micda |
| US9510021B2 (en) * | 2013-05-24 | 2016-11-29 | Electronics And Telecommunications Research Institute | Method and apparatus for filtering pixel blocks |
| US20160093273A1 (en) * | 2014-09-30 | 2016-03-31 | Samsung Electronics Co., Ltd. | Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data |
| US9934557B2 (en) | 2016-03-22 | 2018-04-03 | Samsung Electronics Co., Ltd | Method and apparatus of image representation and processing for dynamic vision sensor |
| JP7074954B2 (ja) | 2016-12-30 | 2022-05-25 | ソニー アドバンスト ビジュアル センシング アーゲー | 動的ビジョンセンサアーキテクチャ |
-
2020
- 2020-12-31 KR KR1020200188660A patent/KR102445008B1/ko active IP Right Grant
-
2021
- 2021-05-12 US US17/318,828 patent/US11861814B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100102021A (ko) | 2009-03-10 | 2010-09-20 | 민승기 | 지중 매설되는 빗물용 저수조 |
| KR20140138537A (ko) * | 2013-05-24 | 2014-12-04 | 한국전자통신연구원 | 픽셀블록 필터링 방법 및 장치 |
| KR101778461B1 (ko) * | 2016-09-02 | 2017-09-26 | 광운대학교 산학협력단 | 저조도 영상의 노이즈 제거 방법 및 이의 제조 장치 |
| JP2020161993A (ja) * | 2019-03-27 | 2020-10-01 | ソニー株式会社 | 撮像システム及び物体認識システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US11861814B2 (en) | 2024-01-02 |
| US20220207672A1 (en) | 2022-06-30 |
| KR102445008B1 (ko) | 2022-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10997696B2 (en) | Image processing method, apparatus and device | |
| US8605185B2 (en) | Capture of video with motion-speed determination and variable capture rate | |
| CN110473185B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| EP3793188A1 (en) | Image processing method, electronic device, and computer readable storage medium | |
| JP2022501982A (ja) | ニューラルネットワークを使用した写真の露出不足補正 | |
| CN110366048B (zh) | 视频传输方法、装置、电子设备和计算机可读存储介质 | |
| US10298853B2 (en) | Image processing apparatus, method of controlling image processing apparatus, and imaging apparatus | |
| US8085316B2 (en) | Image-processing unit, imaging apparatus, and computer program product | |
| CN108717530B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| US10091422B2 (en) | Image processing device and recording medium | |
| US10235972B2 (en) | Bit rate controller and a method for limiting output bit rate | |
| JP6531542B2 (ja) | 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
| KR102445008B1 (ko) | 이벤트 기반 영상 센싱 장치 및 방법 | |
| CN110365897B (zh) | 图像修正方法和装置、电子设备、计算机可读存储介质 | |
| US11640654B2 (en) | Image processing method and apparatus | |
| US10049436B1 (en) | Adaptive denoising for real-time video on mobile devices | |
| Froehlich et al. | Content aware quantization: Requantization of high dynamic range baseband signals based on visual masking by noise and texture | |
| JP6786273B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN110475044B (zh) | 图像传输方法和装置、电子设备、计算机可读存储介质 | |
| JP2006197005A (ja) | 画像符号化装置および符号化方法 | |
| KR20100018336A (ko) | 손 떨림 보정을 행하는 디지털 영상 신호 처리 장치의 제어방법, 상기 제어 방법을 수행하는 디지털 영상 신호 처리장치 및 상기 제어 방법을 기록한 기록 매체 | |
| CN114298912B (zh) | 图像采集方法、装置、电子设备及存储介质 | |
| US20220408013A1 (en) | DNN Assisted Object Detection and Image Optimization | |
| CN114450934B (zh) | 获取图像的方法、装置、设备及计算机可读存储介质 | |
| JP2011175608A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |