KR101869000B1 - 장면을 모니터링하기 위한 비디오 프로세싱 알고리즘에 의해 이용되는 적어도 하나의 파라미터에 대한 변경 - Google Patents
장면을 모니터링하기 위한 비디오 프로세싱 알고리즘에 의해 이용되는 적어도 하나의 파라미터에 대한 변경 Download PDFInfo
- Publication number
- KR101869000B1 KR101869000B1 KR1020150145379A KR20150145379A KR101869000B1 KR 101869000 B1 KR101869000 B1 KR 101869000B1 KR 1020150145379 A KR1020150145379 A KR 1020150145379A KR 20150145379 A KR20150145379 A KR 20150145379A KR 101869000 B1 KR101869000 B1 KR 101869000B1
- Authority
- KR
- South Korea
- Prior art keywords
- video sequence
- parameter
- video
- processing algorithm
- video processing
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 124
- 238000012544 monitoring process Methods 0.000 title claims abstract description 13
- 230000004048 modification Effects 0.000 title description 3
- 238000012986 modification Methods 0.000 title description 3
- 238000001514 detection method Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000008859 change Effects 0.000 claims description 32
- 238000001914 filtration Methods 0.000 claims description 17
- 238000009499 grossing Methods 0.000 claims description 14
- 230000036760 body temperature Effects 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 14
- 230000008901 benefit Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000014155 detection of activity Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000003628 erosive effect Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H04N5/23216—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G06K9/00369—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
장면(102)을 모니터링하기 위한, 모션 검출 알고리즘, 객체 검출 알고리즘 혹은 객체 트랙킹 알고리즘 등과 같은 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터를 변경하는 방법, 디바이스, 및 시스템이 제공된다. 상기 방법은, 상기 장면(102)의 제 1 비디오 시퀀스(105a) 및 제 2 비디오 시퀀스(105b)를 수신하는 단계(S02), 상기 제 1 비디오 시퀀스(105a)가 상기 장면(102) 내의 온도들을 나타내는 열 정보를 포함하도록 상기 제 1 비디오 시퀀스(105a)는 열 카메라(104a)를 이용하여 캡춰되며; 그리고 상기 제 2 비디오 시퀀스(105b)에 상기 비디오 프로세싱 알고리즘을 적용하는 단계(S06)를 포함하며, 상기 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터는 상기 제 1 비디오 시퀀스(105a)에 포함된 상기 열 정보에 기초하여 변경된다.
Description
본 발명은 비디오 감시 분야에 관한 발명이다. 특히, 본 발명은 장면을 모니터링하기 위한 비디오 프로세싱 알고리즘에 의해 이용되는 적어도 하나의 파라미터를 변경하는 방법, 디바이스, 및 시스템에 관한 것이다.
다양한 카메라 감시 상황들에서, 객체들 혹은 움직임의 존재와 같은 활동(activity)을 먼 거리에서 검출하는 것은 매우 중요하다. 자연적인 연유로, 카메라로부터 멀리 떨어져 위치한 객체들은 카메라에 의해서 캡춰된 이미지들에서 매우 작을 것이다. 예를 들면, 이들은 이미지들의 픽셀들에서 겨우 몇몇개의 픽셀들 만을 커버할 수도 있다. 따라서, 먼 거리에서 활동을 검출하기 위해서는, 캡춰된 이미지들에서 매우 작게 보이는 객체들을 검출할 수 있어야 한다.
하지만, 작은 객체들을 검출하는 것은, 오류 검출(false detection)이 증가하는 희생을 치루는 것이 일반적이다. 이것은, 카메라에 의해서 캡춰된 이미지들에는 노이즈가 존재한다라는 사실과 관계가 있다. 노이즈는 작은 객체로 쉽게 혼동될 수 있으며 따라서, 오류 검출을 야기한다. 오류 검출을 감소시키기 위해서, 객체 검출을 위한 비디오 프로세싱 알고리즘, 모션 검출, 및/또는 객체 트랙킹은, 강도(intensity) 변화 임계값들 및 작은 검출들(small detections)을 제거하기 위한 형체기반 필터(morphological filter)를 포함하는 노이즈 필터링 등에 대한 파라미터들을 포함한다. 상기 파라미터들은, 실제 활동을 검출할 수 있는 충분한 민감도(sensitivity)가 여전히 존재하면서도 노이즈에 의해 야기되는 오류 검출이 제거되도록 설정되는 것이 일반적이다. 달리 말하면, 검출 범위와 오류 검출 회피 사이에는 트레이드-오프가 존재한다.
먼 거리에서 객체를 검출 및 식별하는 것의 문제는 인식되어 왔다. 이러한 문제를 해결하기 위하여, 사람의 위치 좌표를 식별하도록 열 카메라(thermal camera)를 사용하는 것이 제안되어 왔다. 다음으로, 위치 좌표는 제 2 카메라를 제어하는 제어 방법에 입력되어, 특히, 방향 및 줌(zoom)이 입력되어, 사람의 확대된 이미지를 캡춰한다.
이러한 방법은, 특정한 타겟 객체를 따르도록 방향 및 줌 레벨을 변경하기 위해서 제 2 카메라가 제어된다라는 단점을 갖는다. 결과적으로, 이러한 방법은 한번에 하나의 객체를 검출하는 경우에만 적절하다.
따라서, 개선의 여지가 존재한다. 특히, 오류 검출들이 감소함과 동시에 장거리에서 검출이 가능한 대안적인 방법들에 대한 요구들이 존재한다.
전술한 바를 감안하면, 본 발명의 목적은 오류 검출들이 감소됨과 동시에 객체들 및/또는 활동을 큰 범위(large range)에서 검출할 수 있는 방법들 및 디바이스들을 제공하는 것이다.
본 발명의 제 1 양상에 따르면, 상기의 목적은 장면을 모니터링하기 위한, 모션 검출 알고리즘, 객체 검출 알고리즘 혹은 객체 트랙킹 알고리즘 등과 같은 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터를 변경하는 방법에 의해서 성취되며, 상기 방법은,
상기 장면(102)의 제 1 비디오 시퀀스(105a) 및 제 2 비디오 시퀀스(105b)를 수신하는 단계(S02), 상기 제 1 비디오 시퀀스(105a)가 상기 장면(102) 내의 온도들을 나타내는 열 정보를 포함하도록 상기 제 1 비디오 시퀀스(105a)는 열 카메라(104a)를 이용하여 캡춰되며; 그리고
상기 제 2 비디오 시퀀스(105b)에 상기 비디오 프로세싱 알고리즘을 적용하는 단계(S06)를 포함하며, 상기 비디오 프로세싱 알고리즘의 상기 적어도 하나의 파라미터(309, 409)가 온도 의존적(temperature dependent)이 되도록, 상기 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터(309, 409)는 상기 제 1 비디오 시퀀스(105a)에 포함된 상기 열 정보에 기초하여 변경된다.
전술한 방법에 따르면, 열 카메라에 의해서 캡춰된 제 1 비디오 시퀀스의 열 정보(thermal information)가, 제 2 비디오 시퀀스에 적용되는 비디오 프로세싱 알고리즘의 적어도 하나의 파라미터를 수정(즉, 변경)하는데 이용된다. 이러한 방법으로, 적어도 하나의 파라미터는 상기 장면의 온도에 의존하게 된다. 예를 들어, 관심있는 온도들(가령, 사람의 체온)을 갖는 선택 영역들 내의 작은 검출들에 대해서는 비디오 프로세싱 알고리즘이 더 민감해지지만 다른 영역들에서는 덜 민감해지도록, 상기 적어도 하나의 파라미터에 대한 수정이 조정될 수 있다. 그 결과, 관심있는 온도들에 대응하는 영역들에서는 더 먼 거리의 검출 범위가 가능한 반면에, 다른 온도 번위들에 대응하는 영역들에서는 오류 검출들이 낮게 유지될 수 있다.
이미지들의 시퀀스에 적용되는 이미지 프로세싱 알고리즘인 비디오 프로세싱 알고리즘은, 장면에서 활동을 검출하기 위한 알고리즘이 될 수 있다. 이는 객체 검출, 모션 검출, 및/또는 객체 트랙킹을 위한 알고리즘들을 포함한다. 다음을 유의해야 하는바, 비디오 프로세싱 알고리즘은 카메라 자체의 기능을 제어하는 알고리즘이 아니다.
적어도 하나의 파라미터를 변경한다는 것은 파라미터의 값이 수정(즉, 변경)됨을 의미한다. 예를 들어, 파라미터의 값이 증가되거나 또는 감소될 수 있다.
일반적으로, 적어도 하나의 파라미터는 제 2 비디오 시퀀스의 전체 이미지에 대하여 변경될 수 있다. 예를 들어, 관심있는 온도를 갖는 객체가 장면 내에 존재함을 제 1 비디오 시퀀스 내의 열 정보가 나타낸다면, 제 2 비디오 시퀀스의 이미지들의 전체 이미지 평면에 걸쳐 있는 작은 검출들에 상기 비디오 프로세싱 알고리즘이 더 민감해지도록, 상기 적어도 하나의 파라미터가 변경될 수 있다.
또한, 적어도 하나의 파라미터는 전체 이미지에 대하여 변경될 수 있다(온도의 함수로서가 아니라). 즉, 비-관심 온도 영역들에서는 파라미터의 숫자 값에 아무일도 발생하지 않으며, 그리고 이것은 관심있는 온도 영역들에서는 새로운 값을 갖는다.
특히, 비디오 프로세싱 알고리즘에 의해 이용되는 적어도 하나의 파라미터는 제 2 비디오 시퀀스의 이미지들의 영역들에 대하여 변경될 수 있는바, 제 1 비디오 시퀀스의 이미지들의 대응 영역들의 열 정보에 기초하여 변경될 수 있다. 이러한 방식으로, 비디오 프로세싱 알고리즘은 소정 영역들(관심있는 열 콘텐트를 갖고 있을 수도 있는) 내의 작은 검출들에 대해 보다 민감해지도록 수정될 수 있으며, 그리고 다른 영역들 내의 작은 검출들에 대해서는 덜 민감해지도록 수정될 수 있다(따라서, 노이즈에 덜 민감해진다).
열 정보라 함은, 장면 내의 온도들을 나타내는 임의의 정보를 의미한다. 예를 들어, 열 정보는 제 1 비디오 시퀀스내의 이미지들의 강도 값들을 포함할 수 있으며, 상기 강도 값들은 장면 내의 온도들을 나타낸다. 따라서, 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터는, 제 1 비디오 시퀀스내의 이미지들의 강도 값들에 기초하여 변경될 수 있다.
비디오 프로세싱 알고리즘은 특정한 혹은 여러 다른 유형들의 객체들의 존재 혹은 움직임 등과 같은, 장면 내의 서로 다른 유형들의 활동들을 검출하고자 하는 목적을 가질 수 있다. 서로 다른 유형들의 객체들은 서로 다른 온도 범위들에 관련될 수 있으며, 따라서 제 1 비디오 시퀀스의 열 정보에 기초하여 구별될 수 있다. 예를 들어, 인체는 하나의 온도 범위에 관련될 수 있는 반면에, 달리는 자동차의 엔진은 다른 온도 범위에 관련될 수 있다. 비디오 프로세싱 알고리즘의 특정 목적에 따라, 하나 이상의 기결정된 관심있는 온도 범위들이 존재할 수 있으며, 이는 제 1 비디오 시퀀스의 이미지들에서 서로 다른 영역들을 구별하는데 이용될 수 있다. 하나 이상의 기결정된 관심있는 온도 범위들은 인간의 체온에 대응하는 온도 범위를 포함할 수 있다. 이러한 기결정된 온도 범위들은 사용자에 의해서 특정될 수도 있다.
상기 방법은,
상기 열 카메라에 의해서 캡춰되는 상기 제 1 비디오 시퀀스의 이미지들에서, 기결정된 하나 이상의 관심있는 온도 범위들 내의 온도를 나타내는 강도 값을 갖는 픽셀들을 식별하는 단계를 포함할 수 있으며,
상기 제 1 비디오 시퀀스의 이미지들에서 식별되었던 상기 픽셀들에 대응하는, 상기 제 2 비디오 시퀀스의 이미지들 내의 영역들에 대하여 상기 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터가 변경된다.
달리 말하면, 관심있는 열 콘텐트를 갖는 픽셀 영역들이 제 1 비디오 시퀀스에서 식별되며, 그리고 제 2 비디오 시퀀스의 대응 영역들에 대하여 적어도 하나의 파라미터가 변경된다. 따라서, 적어도 하나의 파라미터는 특별하게 관심있는 온도 콘텐트를 갖는 영역들(가령, 인간이 존재하는 영역들)에서 변경될 수 있는데, 이는 이러한 영역들에서의 활동의 검출에 대해 비디오 프로세싱 알고리즘을 보다 민감하게 만들기 위함이다.
이해되는 바와 같이, 제 1 및 제 2 비디오 시퀀스는 서로 다른 해상도들을 가질 수 있으며 그리고 소정의 다른 시야각들(viewing angles)로부터 캡춰될 수 있다. 하지만, 제 1 및 제 2 비디오 시퀀스 사이에는 관련성(correspondence)이 여전히 존재한다. 보다 상세하게는, 제 1 비디오 시퀀스의 이미지 내의 픽셀 혹은 영역은 제 2 비디오 시퀀스의 이미지 내의 픽셀 혹은 영역에 대응한다(만일, 이들이 장면(scene)에서 동일 포인트를 나타낸다면).
전술한 바에 따르면, 적어도 하나의 파라미터는 제 2 비디오 시퀀스의 이미지들 내의 서로 다른 영역들에 대하여 변경될 수 있는데, 여기서 상기 영역들은 제 1 비디오 시퀀스의 열 정보에 기초하여 식별된다. 따라서, 적어도 하나의 파라미터는 제 2 비디오 시퀀스의 이미지들에 걸쳐서 변동될 수 있으며 여기서 상기 변동은 제 1 비디오 시퀀스의 열 정보에 의해서 정의된다. 특히, 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터는, 상기 적어도 하나의 파라미터가 제 1 비디오 시퀀스의 이미지들의 강도 값들의 함수로서, 제 2 비디오 시퀀스의 이미지들에 걸쳐서 변화하도록, 제 1 비디오 시퀀스의 이미지들의 강도 값들에 기초하여 변경될 수 있다. 이러한 변동은 예컨대, 연속적일 수도 있으며 또는 계단식(step-wise)일 수도 있다. 상기 적어도 하나의 파라미터가 제 1 비디오 시퀀스의 온도들에 따라 조정될 수 있다는 점에서 이는 매우 유용한 장점이다.
다음을 유의해야 하는바, 제 1 비디오 시퀀스 내의 열 정보는 적어도 하나의 파라미터를 어디에서(즉, 어떤 영역에서) 변경하는지를 결정하는데 이용될 수 있을 뿐만 아니라, 적어도 하나의 파라미터를 얼마나 혹은 얼마나 많이 변경하는지를 결정하는데도 이용될 수 있다. 적어도 하나의 파라미터가 제 1 비디오 시퀀스의 이미지들의 강도 값들의 함수로서, 제 2 비디오 시퀀스의 이미지들에 걸쳐서 변경되게 함으로써, 변경의 사이즈(size)도 또한, 제 1 비디오 시퀀스의 이미지들의 강도 값들의 함수이다. 예를 들면, 파라미터의 증가량 혹은 감소량은 제 1 비디오 시퀀스의 이미지들의 강도 값들의 함수가 될 수 있다.
상기 적어도 하나의 파라미터는 장면에서 활동을 검출하는 것에 관련된 파라미터가 될 수 있다. 이것은 객체 검출, 모션 검출 및 객체 트랙킹을 위한 파라미터들을 포함한다.
예를 들어, 적어도 하나의 파라미터는 가령, 움직임 혹은 객체의 존재 여부와 같은 활동을 검출하기 위한 임계값을 포함할 수 있다. 특히, 비디오 프로세싱 알고리즘은, 제 2 비디오 시퀀스의 후속 이미지들 간의 강도 값들의 차이값들을 임계값과 비교하는 것을 포함할 수 있는데, 여기서 상기 임계값은 제 1 비디오 시퀀스의 열 정보에 기초하여 변경된다. 예를 들어, 상기 임계값은 관심있는 열 콘텐트들에 대응하는 영역들에서 증가될 수 있다. 이러한 방식으로, 비디오 프로세싱 알고리즘은, 관심있는 영역에서의 활동의 검출에 더 민감해질 수 있으며(또한 노이즈에 더 민감해짐), 그리고 다른 영역들에서는 덜 민감해질 수 있다.
적어도 하나의 파라미터는, 픽셀들의 클러스터들이라고 지칭되는, 픽셀들의 작은 인접한(contiguous) 혹은 연결된 그룹들을 제거하는 것 등과 같은, 작은 검출들(노이즈로 의심됨)을 제거를 위한 필터에서 이용되는 파라미터를 포함할 수 있다. 예를 들어, 적어도 하나의 파라미터는 픽셀들의 인접한 그룹(contiguous group)의 크기에 대한 임계값을 포함할 수 있는바, 따라서 임계값 미만의 크기를 갖는 픽셀들의 인접한 그룹들은 제거될 수 있다. 이러한 방식으로, 비디오 프로세싱 알고리즘은 관심 영역에서의 활동의 검출에 더 민감해질 수 있으며(또한, 노이즈에 더 민감해짐), 그리고 다른 영역에서는 덜 민감해질 수 있다.
본 발명의 일례들에 따르면, 비디오 프로세싱 알고리즘은 스무딩 필터링(smoothing filtering)을 포함하며, 스무딩 필터링의 적어도 하나의 파라미터는 제 1 비디오 시퀀스의 열 정보에 기초하여 변경될 수 있다. 스무딩 필터링이라 함은, 스무딩 필터를 적용함을 의미한다. 스무딩 필터링은 제 2 비디오 시퀀스의 이미지들에 적용될 수 있다. 스무딩 필터는 시간형 필터(temporal filter)(시간 방향으로의 스무딩 효과를 가짐) 및/또는 공간형 필터(spatial filter)(공간에서 스무딩 효과를 가짐)가 될 수 있다. 공간형 스무딩 필터의 일례들은, 형체기반 필터(morphological filter) 및 중앙값 필터(median filter)이다.
따라서, 스무딩 필터링은 작은 검출들(노이즈로 의심됨)을 제거하기 위한 형체기판 필터링을 포함할 수 있다. 특히, 스무딩 필터링은 구조적 요소(structuring element)를 이용한 제 2 비디오 시퀀스의 이미지들에 대한 형체기반 필터링을 포함할 수 있는데, 여기서 상기 구조적 요소들은 제 1 비디오 시퀀스 열 정보에 기초하여 변경된다. 이러한 변경은 구조적 요소의 사이즈 및 형상 중 적어도 하나를 변경하는 것을 포함할 수 있다. 이러한 방식으로, 비디오 프로세싱 알고리즘은 관심 영역에서의 활동의 검출에 더 민감해질 수 있으며(또한, 노이즈에 더 민감해짐), 그리고 다른 영역에서는 덜 민감해질 수 있다.
열 카메라는 장파장 적외선(long wave infrared: LWIR) 센서를 포함할 수 있다. LWIR 센서들은, 다른 적외선 센서들이 할 수 없는 방식으로 가시광 센서들을 보완한다는 점에서 매우 유용하다.
제 2 비디오 시퀀스는 가시광선 카메라에 의해서 캡춰될 수 있다. 가시광선 카메라는 통상적으로 열 카메라 보다 높은 해상도를 가지며, 따라서 검출 및 트랙킹을 간소화할 수 있다는 장점을 갖는다. 제 2 비디오 시퀀스는 열 카메라에 의해서 캡춰될 수 있다. 열 카메라는 예컨대, 야간 및 다른 저조도 환경에서 유용한 이미지들을 캡춰하기 위하여 외부 광을 필요로 하지 않는다는 장점을 갖는다. 다른 장점은 오직 하나의 카메라만이 제공될 필요가 있다는 점이다.
본 발명의 제 2 양상에 따르면, 전술한 목적은, 프로세서에 의해서 실행되는 때에 상기 제 1 양상에 따른 방법을 실행하도록 된 명령들을 구비한 컴퓨터-판독가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품에 의해서 성취될 수 있다.
본 발명의 제 3 양상에 따르면, 전술한 목적은 장면을 모니터링하기 위한, 모션 검출 알고리즘, 객체 검출 알고리즘 혹은 객체 트랙킹 알고리즘과 같은 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터를 변경하는 프로세싱 디바이스에 의해서 성취될 수 있다. 상기 프로세싱 디바이스는:
상기 장면의 제 1 비디오 시퀀스 및 제 2 비디오 시퀀스를 수신하도록 된 수신기, 상기 제 1 비디오 시퀀스가 상기 장면 내의 온도들을 나타내는 열 정보를 포함하도록 상기 제 1 비디오 시퀀스는 열 카메라를 이용하여 캡춰되며, 그리고
상기 장면을 모니터링하기 위하여 상기 비디오 프로세싱 알고리즘을 상기 제 2 비디오 시퀀스에 적용하도록 된 비디오 프로세싱 컴포넌트를 포함하며, 상기 비디오 프로세싱 알고리즘의 상기 적어도 하나의 파라미터가 온도 의존적이 되도록, 상기 비디오 프로세싱 컴포넌트는 상기 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터를 상기 제 1 비디오 시퀀스에 포함된 상기 열 정보에 기초하여 변경한다.
본 발명의 제 4 양상에 따르면, 전술한 목적은 장면을 모니터링하기 위한, 모션 검출 알고리즘, 객체 검출 알고리즘 혹은 객체 트랙킹 알고리즘과 같은 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터를 변경하는 시스템에 의해서 성취되며, 상기 시스템은:
상기 장면의 제 1 비디오 시퀀스 및 제 2 비디오 시퀀스를 캡춰하는 하나 이상의 카메라들, 상기 하나 이상의 카메라들은 상기 제 1 비디오 시퀀스가 상기 장면 내의 온도들을 나타내는 열 정보를 포함하도록 상기 제 1 비디오 시퀀스를 캡춰하는 열 카메라를 포함하며, 그리고
상기 비디오 프로세싱 알고리즘에 의해서 이용되는 파라미터들을 변경하기 위하여, 상기 제 1 비디오 시퀀스 및 상기 제 2 비디오 시퀀스를 수신 및 프로세싱하도록 된 본 발명의 제 3 양상에 따른 프로세싱 디바이스를 포함한다.
통상적으로, 상기 제 2 , 제 3 및 제 4 양상들은 제 1 양상과 동일한 피처들 및 장점들을 갖는다. 또한, 다음을 유의해야 하는바, 본 발명은 명확하게 달리 언급되지 않는 한, 피처들의 가능한 모든 조합들에 관련된다.
본 발명의 전술한 바와 같은 목적들, 피처들 및 장점들 뿐만 아니라 추가적인 목적들, 피처들 및 장점들은 본 발명의 선호되는 실시예들에 대한 다음의 예시적이고 비제한적인 상세한 설명을 통해 첨부된 도면들을 참고하여 보다 양호하게 이해될 것인바, 도면들에서 유사한 요소들에는 유사한 도면부호들이 이용된다.
도1은 본 발명의 실시예에 따른, 장면을 모니터링하기 위한 비디오 프로세싱 알고리즘에 의해 이용되는 적어도 하나의 파라미터를 변경하는 시스템을 예시한다.
도2는 본 발명의 실시예에 따른, 장면을 모니터링하기 위한 비디오 프로세싱 알고리즘에 의해 이용되는 적어도 하나의 파라미터를 변경하는 방법의 순서도를 예시한다.
도3은 본 발명의 실시예에 따른, 열 정보에 기초하여 비디오 프로세싱 알고리즘에 의해서 이용될 파라미터를 변경하는 것을 예시한다.
도4a는 객체 검출 알고리즘이 적용되기 전에 파라미터가 변경되지 않는 객체 검출의 일례를 예시한다.
도4b는 객체 검출 알고리즘이 적용되기 전에 실시예들에 따라 파라미터가 변경되는 객체 검출의 일례를 예시한다.
도2는 본 발명의 실시예에 따른, 장면을 모니터링하기 위한 비디오 프로세싱 알고리즘에 의해 이용되는 적어도 하나의 파라미터를 변경하는 방법의 순서도를 예시한다.
도3은 본 발명의 실시예에 따른, 열 정보에 기초하여 비디오 프로세싱 알고리즘에 의해서 이용될 파라미터를 변경하는 것을 예시한다.
도4a는 객체 검출 알고리즘이 적용되기 전에 파라미터가 변경되지 않는 객체 검출의 일례를 예시한다.
도4b는 객체 검출 알고리즘이 적용되기 전에 실시예들에 따라 파라미터가 변경되는 객체 검출의 일례를 예시한다.
본 발명의 실시예들이 도시된 첨부된 도면들을 참조하여 이하에서 본 발명이 보다 상세히 설명될 것이다. 본 명세서에 개시된 시스템 및 디바이스들은 동작 동안에 서술될 것이다.
도1은 장면(102)을 모니터링하기 위한 시스템(100)을 예시한다. 시스템(100)은 하나 이상의 카메라들(104a, 104b)(본 명세서에는 2개의 카메라들이 예시됨)과 프로세싱 디바이스(106)를 포함한다.
상기 장면(102)은 다수의 객체들(102a-102f)을 포함하는바, 본 일례에서는 사람들(102a, 102b), 자동차들(102c, 102d), 도로(102e), 및 나무(102f)로 예시된다. 사람들(102a, 102b) 및 자동차들(102c, 102d)과 같은 일부 객체는 움직일 수 있으며, 다른 객체들, 가령 도로(102e) 및 나무(102f)는 정적일 수 있다(적어도, 바람이 불지 않는다면). 또한, 상기 객체들(102a-102f)은 서로 다른 사이즈들을 가질 수 있으며 그리고 카메라(104a, 104b)로부터 서로 다른 거리들에 위치할 수 있다. 예를 들어, 객체들(102a, 102c)은 객체들(102b, 102d, 102f)에 비하여 카메라(104a, 104b)로부터 더 멀리 위치할 수 있다.
작거나 및/또는 카메라(104a, 104b)로부터 멀리 떨어져 위치한 객체들은 카메라들(104a, 104b) 중 적어도 일부에 의해서 캡춰된 이미지들에서 식별하기 곤란할 수도 있다. 또한, 상기 객체들(102a-102f)은 서로 다른 온도 범위들에 관련될 수 있다. 예를 들어, 사람들(102a, 102b)은 사람의 체온에 대응하는 온도 범위에 관련될 수 있으며, 자동차들(102c, 102d)은 구동중인 모터의 온도에 대응하는 온도 범위에 관련될 수 있다. 나무(102f) 등의 다른 객체들은 자체적으로 열을 생성하지는 않으며, 따라서 대기의 온도에 대응하는 온도 범위에 관련되는 것이 일반적이다.
하나 이상의 카메라들(104a, 104b) 중 하나의 카메라(본 일례에서는 카메라 104a)는, 열 카메라이다. 바람직하게는, 카메라(104a)는 장파장 적외선(LWIR) 센서를 포함한다. LWIR 센서는 다른 적외선 센서들과는 다른 방법으로 가시광선 카메라를 보완하는 장점을 갖는다. 상기 하나의 이상의 카메라들(104a,104b) 중 다른 하나의 카메라(즉, 카메라 104b)는 가시광선 카메라이다. 다른 일례들에 따르면, 제 2 카메라(104b) 역시도 열 카메라일 수도 있다. 카메라들(104a,104b)은, 주로 예시를 위한 목적으로, 별도의 카메라들로 도시되었다. 하지만, 상기 하나 이상의 카메라들(104a,104b)은 결합된 열 및 가시광선 카메라 등과 같이, 단일 유닛으로 결합될 수도 있다.
하나 이상의 카메라들(104a,104b)은 장면(102)을 바라보도록 구성되며 그리고 모니터링 목적으로 상기 장면(102)의 비디오 시퀀스들을 캡춰하도록 구성된다. 보다 상세하게는, 상기 하나 이상의 카메라들(104a,104b)은 상기 장면(102)의 제 1 비디오 시퀀스(105a) 및 제 2 비디오 시퀀스(105b)를 캡춰하도록 구성된다. 시스템이 오직 하나의 카메라(104a)(이는 열 카메라임)만을 포함하는 경우, 제 1 비디오 시퀀스(105a) 및 제 2 비디오 시퀀스(105b)는 동일한 카메라에 의해서 캡춰될 수 있다. 상기 제 1 비디오 시퀀스(105a) 및 제 2 비디오 시퀀스(105b)는 심지어 동일한 비디오 시퀀스일 수도 있다. 하지만, 예시된 일례에서는, 제 1 비디오 시퀀스(105a)는 제 1 카메라(104a)(열 카메라)에 의해 캡춰되며 그리고 제 2 비디오 시퀀스(105b)는 제 2 카메라(104b)에 의해 캡춰된다.
프로세싱 디바이스(106)는 수신기(108) 및 상기 수신기(108)와 통신하는 비디오 프로세싱 컴포넌트(110)를 포함한다. 프로세싱 디바이스(106)는 상기 하나 이상의 카메라들(104a,104b)과 별도로 제공될 수도 있으며 또는 상기 카메라들(104a,104b) 중 하나에 포함될 수도 있다. 임의의 경우에 있어서, 프로세싱 디바이스(106)는 유선 혹은 무선 연결을 통해 하나 이상의 카메라들(104a,104b)에 동작가능하게 연결되며 따라서, 수신기(108)를 통해 하나 이상의 카메라들(104a,104b)로부터 제 1 비디오 시퀀스(105a) 및 제 2 비디오 시퀀스(105b)를 수신할 수 있다.
비디오 프로세싱 컴포넌트(110)는 장면(102)을 모니터링할 목적으로 비디오 프로세싱 알고리즘을 제 2 비디오 시퀀스(105b)에 적용하도록 구성된다. 예를 들어, 비디오 프로세싱 컴포넌트(110)는 장면(102)에서 객체들의 존재 및/또는 모션 등과 같은 활동을 검출하도록 구성될 뿐만 아니라, 객체 트랙킹을 수행한다. 이러한 목적으로 적용되는 비디오 프로세싱 알고리즘은, 모션 검출, 객체 검출, 및/또는 객체 트랙킹을 위한 임의의 공지된 알고리즘이 될 수 있다.
전술한 유형의 비디오 프로세싱 알고리즘들은 통상적으로, 임계값 등과 같은 활동의 검출에 관한 파라미터들 및 서로 다른 필터들에 관한 파라미터들을 포함하는 적어도 하나의 파라미터에 관련된다. 비디오 프로세싱 컴포넌트(110)는 비디오 프로세싱 알고리즘의 적용 전에, 상기 적어도 하나의 파라미터를 변경하도록 구성된다. 적어도 하나의 파라미터에 대한 이러한 변경은, 제 1 비디오 시퀀스(105a) 내의 정보에 기초하는바, 이에 대해서 나중에 상술될 것이다.
비디오 프로세싱 컴포넌트(110)는 하드웨어, 소프트웨어, 혹은 이들의 조합으로 구현될 수 있다 특히, 비디오 프로세싱 컴포넌트(110)는 메모리(112) 및 중앙처리유닛(CPU)과 같은 프로세서(114)를 포함할 수 있다. 메모리(112)는 (비-일시적인) 컴퓨터 판독가능한 매체 혹은 저장 디바이스로서 역할을 할 수 있으며, 그리고 본 명세서에 서술된 임의의 방법에 관련된 컴퓨터-코드 명령들을 저장할 수 있다. 특히, 프로세서(114)에 의해 실행되는 때, 상기 컴퓨터-코드 명령들은 본 명세서에 서술된 임의의 방법을 실행하도록 될 수 있다.
시스템(100)의 동작, 특히 프로세싱 디바이스(106)의 동작이 도1 및 도3과 도2의 순서도를 참조하여 설명될 것이다.
단계 S02에서, 프로세싱 디바이스(106)는 수신기(108)를 통해, 하나 이상의 카메라들(104a,104b)로부터 제 1 비디오 시퀀스(105a) 및 제 2 비디오 시퀀스(105b)를 수신한다. 다음의 일례들에서는, 제 1 비디오 시퀀스(105a)는 열 카메라(104a)로부터 수신되고 그리고 제 2 비디오 시퀀스(105b)는 가시광선 카메라(104b)로부터 수신되는 것으로 가정된다.
열 카메라(104a)에 의해서 캡춰된 제 1 비디오 시퀀스(105a), 및 특히 제 1 비디오 시퀀스(105a) 내의 이미지들은, 열 정보를 포함하는바, 열 정보는 장면(102) 내의 온도들을 나타낸다. 열 정보는 예컨대, 제 1 비디오 시퀀스(105a) 내의 이미지들의 강도 값들을 포함할 수 있는데, 상기 강도 값들은 장면(102) 내의 온도들을 나타낸다. 온도들은 절대 온도가 될 수도 있으며 또는 상기 장면의 나머지 부분으로부터의 소정의 온도 편차들을 단지 나타낼 수도 있다. 도3은 제 1 비디오 시퀀스(105a)의 장면(102)의 이미지(305a)를 예시한다. 이미지(305a)에서, 사람들(102a, 102b)은, 사람의 체온에 해당하는 온도 범위인 제 1 온도 범위에 대응하는 강도로 이미지화된다. 이미지(305a)에서는, 제 1 패턴을 갖는 사람들에 의해서 이러한 것이 예시된다. 이와 유사하게, 자동차들(102c, 102d)은 구동 중인 엔진의 온도에 해당하는 온도 범위인 제 2 온도 범위에 대응하는 강도로 이미지화된다. 이미지(305a)에서는, 제 2 패턴을 갖는 자동차들에 의해서 이러한 것이 예시된다.
단계 S04에서, 프로세싱 디바이스(108)의 비디오 프로세싱 컴포넌트(110)는 제 2 비디오 시퀀스(105b)에 적용될 비디오 프로세싱 알고리즘의 적어도 하나의 파라미터를 변경한다.
디폴트로(그리고 종래 기술에서 알려진 바와 같이), 비디오 프로세싱 알고리즘은 제 2 비디오 시퀀스(105b) 내의 이미지들의 전체 이미지 평면에 걸쳐서 적어도 하나의 파라미터의 동일한 값을 적용할 것이다. 이것은 도3에 더 도시되며, 도3은 제 2 비디오 시퀀스(105b)로부터의 이미지(307a)를 도시한다. 이미지(307a)에서, 비디오 프로세싱 알고리즘의 파라미터(309)의 값은 도트 패턴으로 예시된 바와 같이, 오버레이된다. 상기 파라미터의 값은 이미지(307a)의 전체 이미지 평면에 걸쳐서 동일하다.
비디오 프로세싱 컴포넌트(110)는 파라미터(309)가 장면(102) 내의 온도에 의존하게 되도록, 적어도 하나의 파라미터(309)를 변경한다. 이러한 목적으로, 예컨대, 이미지(305a)에 의해 예시된 바와 같은, 제 1 비디오 시퀀스(105a) 내에 포함된 열 정보에 기초하여 비디오 프로세싱 컴포넌트(110)는 파라미터(309)를 변경한다. 예를 들어, 파라미터(309)가 제 2 비디오 시퀀스(105b)의 이미지들의 전체 이미지 평면에 걸쳐서 업데이트된 값을 취하도록, 비디오 프로세싱 컴포넌트(110)는 파라미터(309)를 변경할 수 있다.
보다 바람직하게는, 제 2 비디오 시퀀스(105b)의 이미지(307a)의 서로 다른 부분들 혹은 영역들에서 서로 다른 값들을 갖도록, 파라미터(309)가 변경될 수 있다. 예를 들면, 도3의 이미지(307b)에 예시된 바와 같이, 파라미터(309)는 제 1 영역에서는 제 1 값(309a), 제 2 영역에서는 제 2 값(309b), 및 제 3 영역에서는 제 3 값(309c)을 취할 수 있다.
이미지(305a)에서와 같은 제 1 비디오 시퀀스의 열 정보를 고려함으로써, 상기 영역들이 발견될 수 있다. 보다 상세하게는, 제 2 비디오 시퀀스(105b) 내의 이미지(307b)의 영역들은, 제 1 비디오 시퀀스(105a)의 이미지(305a) 내의 소정 영역들에 대응할 수 있다. 여기서, 상기 이미지들(305a, 307b)은 시간적으로 정렬(temporally aligned)된다라고 가정된다. 이미지(305a) 내의 영역들은 열 정보에 기초하여 식별될 수 있다. 예를 들어, 이미지(305a) 내의 일 영역은, 기결정된 관심있는 온도 범위(가령, 사람의 체온에 해당하는 온도 범위 혹은 구동 중인 엔진의 온도에 해당하는 온도 범위 등)에 대응하는 강도 값(intensity value)(즉, 온도 값)을 갖는 픽셀들로서 식별될 수 있다. 이러한 방식으로 영역들을 식별함으로써, 제 1 영역은 사람들(102a, 102b)에 대응하는 픽셀들로 식별될 수 있으며, 그리고 제 2 영역은 자동차들(102c, 102d)에 대응하는 픽셀들로 식별될 수 있다. 따라서, 비디오 프로세싱 컴포넌트(110)는 서로 다른 영역들에서 서로 다른 값들을 취하도록, 파라미터(309)를 변경할 수 있다. 따라서, 예시된 일례에서는, 사람을 찾을 것이라 예상되는 영역들에서 제 1 값(309a)을 취하고 그리고 구동 중인 엔진을 갖는 자동차를 찾을 것이라 예상되는 영역들에서 제 2 값(309b)을 취하도록, 파라미터가 변경될 것이다.
제 1 비디오 시퀀스(105a) 내의 열 정보는, 오직 이미지 평면의 어디에서 파라미터(309)를 변경하는지를 결정하기 위해서만 이용되는 것은 아닐 수도 있다. 이는 또한, 변경의 사이즈(즉, 파라미터 309가 얼마나 많이 변경 혹은 조절되어야 하는지)를 결정하는데도 이용될 수 있다. 일반적으로는, 제 1 비디오 시퀀스(105a) 내의 열 정보의 함수로서 변경의 사이즈가 설정될 수 있다. 보다 상세하게는, 가령, 제 1 비디오 시퀀스(105a)의 이미지(305a)와 같은, 이미지들의 강도 값들은 온도를 나타낸다. 따라서, 파라미터 변경의 사이즈는 제 1 비디오 시퀀스(105a)의 이미지들(305a)의 강도의 함수로서 설정될 수 있다. 예시된 일례에서, 제 1 값(309a)은 이미지(305a) 내의 사람들(102a, 102b)에 해당하는 픽셀들의 강도 값들에 따라 설정될 수 있으며, 그리고 제 2 값(309b)은 이미지(305a) 내의 자동차들(102c, 102d)에 해당하는 픽셀들의 강도 값들에 따라 설정될 수 있다.
전술한 일례들에서, 파라미터(309)는 이미지 평면의 서로 다른 부분들 혹은 영역들에서 서로 다른 값들을 취할 수 있는 것으로 서술되었다. 이는, 이미지 평면의 상기 부분들 혹은 영역들이 엄격한 경계들을 갖는 것임을 반드시 암시하는 것은 아니다. 보다 일반적으로는, 파라미터(309)는, 이미지(305a)의 대응 픽셀들의 강도 값들의 함수로서 이미지(307b)에 걸쳐서 변화하도록 변경될 수 있다. 이러한 방식으로, 이미지(305a) 내의 강도 값들(온도)이 이미지(305a)의 이미지 평면에서 공간적으로(spatially) 변하기 때문에, 파라미터(309)의 값은 이미지(307b)의 이미지 평면에서 공간적으로 변할 것이다.
적어도 하나의 파라미터(309)는 모션 검출, 객체 검출 및/또는 객체 트랙킹을 위해 이용되는 임계값이 될 수도 있다. 보다 상세하게는, 제 2 비디오 시퀀스(105b)의 연속적인 이미지들 사이에서 강도 값들의 변화를 검출하기 위한 임계값이 존재할 수 있다. 예를 들어, 비디오 프로세싱 알고리즘은 제 2 비디오 시퀀스(105b)의 후속 이미지들 사이에서 강도 값들에서의 차이값들을 임계값과 비교할 수 있는데, 이는 상기 장면(102)에서 모션 등의 활동을 검출하기 위한 것이다. 이러한 강도 변화 임계값은, 비디오 프로세싱 알고리즘을 적용하기 전에, 비디오 프로세싱 컴포넌트(110)에 의해서 단계 S04 에서 변경될 수도 있다. 예를 들어, 강도 변화 임계값은 이미지(307b)의 부분들 혹은 영역들(309a 및/또는 309b)에서 낮춰질 수 있는바, 상기 부분들 혹은 영역들(309a 및/또는 309b)에서는 열 카메라(104a)의 이미지(305a)에 의해서 주어지는 온도가 관심있는 온도 범위 내에 속하는 것으로 발견된다. 이러한 방식으로, 비디오 프로세싱 알고리즘은, 제 2 비디오 시퀀스(105b)의 이미지(307b)의 이들 부분들 혹은 영역들에서의 강도 변화에 보다 민감해질 것이다. 다른 영역들에서, 강도 변화 임계값은 예컨대, 상승되거나 혹은 변경되지 않을 수도 있다. 이러한 방식으로, 다른 온도 범위들에서의 활동에 의해서 야기되는 오류 검출들은 낮게 유지될 수 있다. 또한, 전술한 바와 같이, 비디오 프로세싱 컴포넌트(110)는 제 1 비디오 시퀀스(105a)의 이미지(305a) 내의 강도의 함수로서, 강도 변화 임계값을 변경(즉, 증가 혹은 감소)시킬 수 있다.
하나 이상의 파라미터들은 또한, 노이즈 필터링 및 작은 검출들(이는 짐작건대 노이즈에 의해 야기됨)을 제거하기 위한 필터들에 관련될 수 있다. 일례로서, 픽셀들의 인접한 그룹의 사이즈에 대한 임계값을 설정하는 파라미터가 존재할 수 있다. 만일, 비디오 프로세싱 컴포넌트(110)가 하나의 이미지에서 혹은 제 2 비디오 시퀀스의 이미지들 간의 차이값들에서, 임계값 보다 큰 픽셀들의 인접한 그룹을 검출한다면, 객체 혹은 모션이 존재한다라고 판별될 수 있다. 만일, 상기 사이즈가 임계값 보다 작다면, 다음이 결정되는바, 상기 픽셀들의 인접한 그룹은 너무 작으며 따라서 오류 검출을 방지하도록 제거되어야 한다.
비디오 프로세싱 컴포넌트(110)는 또한, 가령, 침식을 위한 필터(filter for erosion) 등과 같은 형체기반 필터들을, 이미지들 혹은 제 2 비디오 시퀀스(105b)의 이미지들 간의 차이값들에 적용함으로써, 작은 객체들 및/또는 모션의 검출을 제거할 수 있다. 특히, 비디오 프로세싱 컴포넌트(110)는 구조적 요소(structuring element)를 이용함으로써, 이미지들 혹은 제 2 비디오 시퀀스(105b)의 이미지들 간의 차이값들을 형태학상으로(morphologically) 필터링할 수 있다. 비디오 프로세싱 컴포넌트(110)는 비디오 프로세싱 알고리즘의 적용 전에 단계 S04에서 구조적 요소를 변경할 수 있다. 예를 들어, 비디오 프로세싱 컴포넌트(110)는 구조적 요소의 사이즈 및/또는 형상을 변경할 수 있다. 예를 들어, 비디오 프로세싱 컴포넌트(110)는 예컨대, 관심있는 온도 범위에 대응하는 제 2 비디오 시퀀스(105b)의 이미지들(307b)의 부분들 혹은 영역들에서의 침식(erosion)을 위해 이용되는, 구조적 요소의 사이즈를 감소시킬 수 있으며, 다른 부분들 혹은 영역들에서는 구조적 요소의 사이즈를 증가시키거나 혹은 변경하지 않은 채로 놔둘 수도 있다. 이러한 방식으로, 형체기반 필터링 동작은, 다른 영역들에 비하여 관심있는 온도 범위에 대응하는 영역들에 더 많은(그리고 더 작은) 검출들을 남기며, 따라서, 관심있는 온도 범위에 대응하는 영역들에서의 검출들에 비디오 프로세싱 알고리즘이 보다 민감해지게 할 수 있다.
비디오 프로세싱 알고리즘음 모션 검출 알고리즘이 될 수 있다. 2개의 연속적인 이미지들을 비교하고 그리고 2개의 이미지들 사이에서 변화된 강도 값들을 갖는 픽셀들의 개수를 카운트하는 간단한 것에서부터 예컨대, 시공간적 슬라이싱(spatio-temporal slicing)을 채용하는 보다 복잡한 알고리즘들에 이르는, 다양한 모션 검출 알고리즘이 알려져 있다. 간단한 픽셀 차이 알고리즘들에서, 강도 값들에서의 차이들에 대한 임계값들이 오류 검출들을 감소시키는데 이용될 수 있는바, 예컨대, 변화로 간주되기 위해서는 강도 값에서의 차이가 임계값 보다 높아야 한다. 열 정보는 이러한 임계값을 변경하는데 이용될 수 있다. 또한, 변화된 픽셀들의 개수는 기결정된 기준 개수와 비교될 수 있는데, 변화된 픽셀들의 개수가 기준 개수보다 낮다면 모션으로 간주되지 않을 것이지만, 기준 개수보다 많은 픽셀들이 변경되었다면, 이는 모션으로 간주될 것이다. 열 정보는 이러한 기준 개수를 변경하는데 이용될 수도 있다.
보다 정교한 모션 검출 알고리즘들은 이미지를 서로 비교하는 것을 포함할 뿐만 아니라, 여러 개의 이전 이미지들에 대한 백그라운드 모델을 형성하고 그리고 새로운 이미지를 상기 백그라운드 모델과 비교하는 것을 포함할 수 있다. 백그라운드 모델은 무한 펄스 응답 필터링(infinite pulse response filtering)에 의해서 형성될 수도 있다. 이러한 방식으로, 시간적인(temporal) 필터링이 획득될 수 있어, 노이즈에 의해 야기되는 오류 검출들을 감소시킬 수 있다. 간단한 모션 검출 알고리즘들에 대한 전술한 바와 같은 파라미터들에 부가하여, 예컨대, 각각의 새로운 이미지의 영향(impact)을 변경하기 위하여(즉, 새로운 이미지를 백그라운드 모델로 가중화시키는 팩터를 변경하기 위하여), 이러한 시간적으로 필터링된 방법에서 열 정보가 이용될 수 있다.
미국특허(US 8,121,424)에는 시공간적 슬라이스 프로세싱을 이용한 모션 검출 알고리즘이 개시되어 있다. 여기서, 비디오 시퀀스의 이미지들은 X, Y, t의 정점(vertex)을 갖는 이미지 볼륨 내로 결합되는바, X 및 Y는 공간적 좌표들이며, t는 시간을 나타낸다. 이미지 볼륨은 (X, t) 혹은 (Y, t) 평면 중 어느 하나에서 슬라이스된다. 모션을 찾기 위하여 비디오 시퀀스 내의 검색 라인들을 따라 검색이 수행된다. 상기 정점들 중 임의의 것과 평행하지 않은 라인들을 식별함으로써, 모션이 검출될 수 있다. 대신에, 정적인 객체들 및 조명(lighting)에서의 변화들은 상기 정점들 중 하나에 평행한 라인들로 보일 것이다. 여기서, 열 정보가 이용될 수 있는데, 예컨대, 이미지 볼륨 내의 이미지들이 캡춰되는 시간 기간인 시간 t의 기간을 변경하기 위하여, 이미지 볼륨의 공간적 사이즈를 변경하기 위하여 및/또는 모션으로서 검출되기 위해 요구되는 검색 라인을 따르는 인접한 유사 픽셀들의 개수에 대한 임계값을 변경하기 위하여 열 정보가 이용될 수 있다.
단계 S06에서, 비디오 프로세싱 컴포넌트(110)는 변경된 적어도 하나의 파라미터(309a, 309b, 309c)를 이용하여 제 2 비디오 시퀀스(105b)에 비디오 프로세싱 알고리즘을 적용한다. 일반적으로, 비디오 프로세싱 알고리즘은, 장면(102)을 모니터링 혹은 감시하는데 이용될 수 있은 출력을 제공하는 임의 유형의 비디오 프로세싱 알고리즘이 될 수 있다. 특히, 비디오 프로세싱 알고리즘은 주변 감시(perimeter surveilance) 등과 같이, 먼 거리에서 활동을 검출하기 위한 알고리즘이 될 수 있다. 이러한 것은, 모션 검출 알고리즘, 객체 검출 알고리즘, 및/또는 객체 트랙킹 알고리즘을 포함할 수 있다.
본 발명의 장점들을 예시하기 위하여, 본 발명의 실시예가 도4a 및 도4b를 참조하여 설명될 것이다. 이러한 실시예에서, 비디오 프로세싱 알고리즘은 객체 검출을 위한 알고리즘으로 가정되며, 객체 검출 알고리즘은 파라미터(객체의 사이즈에 대한 임계값)에 관련되는바, 예컨대, 객체가 존재하는지 아닌지를 결정하기 위하여 비디오 프로세싱 컴포넌트(110)에 의해서 이용되는 인접한 픽셀들의 개수에 관한 것이다.
도4a는 비디오 프로세싱 알고리즘이 제 2 비디오 시퀀스(105b)의 이미지들에 적용되기 전에 파라미터가 변경되지 않는 경우를 예시하며, 도4b는 본 발명의 실시예들에 따라, 비디오 프로세싱 알고리즘이 제 2 비디오 시퀀스(105b)의 이미지들에 적용되기 전에 파라미터가 변경되는 경우를 예시한다.
도4a에서, 파라미터(409)는 제 2 비디오 시퀀스(105b)의 이미지들(407a)의 전체 이미지 평면에 걸쳐서 동일한 값을 갖는다. 통상적으로, 파라미터(409)의 값은, 오류 객체 검출들의 개수가 감소되도록 설정되는데 즉, 파라미터(409) 보다 낮은 픽셀들의 개수를 커버하는 잠재적인 객체 검출들은, 비-객체(non-objects)로서 제거된다. 하지만, 이러한 것은 가령 카메라로부터 멀리 떨어져 위치한 객체들 등과 같은 작은 객체들을 검출할 가능성이라는 대가를 갖는다. 이는 이미지(411a)에서 보다 상세히 예시될 것이며, 이미지(411a)는 비디오 프로세싱 컴포넌트(110)에 의해서 이미지(407a)에 검출되었던 객체들을 도시한다. 이 경우, 비디오 프로세싱 알고리즘은 객체들(102b, 102d, 102f)을 검출하는데 성공하였다. 하지만, 무엇보다도 특히, 상기 장면(102)에서 카메라(104a)로부터 멀리 떨어져서 위치되었던 객체들(102a, 102c)은 식별되지 않았는데, 이는 이들의 사이즈가 파라미터(409)의 임계값 아래이기 때문이다.
도4b에서는, 객체 검출 알고리즘이 적용되기 전에 비디오 프로세싱 컴포넌트(110)에 의해서 파라미터가 변경된다(전술한 단계 S04 참조). 도3을 참조하여 설명한 바와 같이, 제 1 비디오 시퀀스(105a) 내의 열 정보에 따라, 제 2 비디오 시퀀스(105b)의 이미지들(407b)의 다른 영역들에서 다른 값들(409a, 409b, 409c)을 갖도록 파라미터가 변경된다. 예를 들면, 이미지(407b)의 다른 영역들에 비하여, 관심있는 온도 범위들에 대응하는 이미지(407b)의 소정 영역들에서 더 낮은 값들(409a, 409b)을 갖도록 파라미터가 설정될 수 있다. 이러한 방식으로, 다른 영역들에 비하여, 관심있는 온도 범위들에 대응하는 이들 영역들에서 더 작은 객체들이 검출될 수 있다. 이러한 것은 이미지(411b)에 예시되어 있는데, 이미지(411b)는 비디오 프로세싱 컴포넌트(110)에 의해서 이미지(407b)에서 식별되는 객체들을 도시한다. 이 경우, 비디오 프로세싱 알고리즘은 객체들(102a, 102c)도 또한 성공적으로 검출해낼 수 있는데, 이는 이들 영역들에서 객체 검출 임계값의 변경된 값들(409a, 409b)로 인한 것이다.
다음을 유의해야 하는바, 해당 기술분야의 당업자라면 앞서 설명된 실시예들을 다양한 방식으로 변경할 수 있으며 그리고 전술한 실시예들에 도시된 본 발명의 장점들을 여전히 이용할 수 있을 것이다. 따라서, 본 발명은 실시예들에 도시된 것만으로 한정되지 않아야 하며 오직 첨부된 특허청구범위에 의해서만 정의되어야 한다. 또한, 해당 기술분야의 당업자들에게 이해되는 바와 같이, 도시된 실시예들은 조합될 수도 있다.
Claims (15)
- 장면(102)을 모니터링하기 위한, 모션 검출 알고리즘, 객체 검출 알고리즘 혹은 객체 트랙킹 알고리즘과 같은 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터(309, 409)를 변경하는 방법으로서,
상기 장면(102)의 제 1 비디오 시퀀스(105a) 및 제 2 비디오 시퀀스(105b)를 수신하는 단계(S02), 상기 제 1 비디오 시퀀스(105a)가 상기 장면(102) 내의 온도들을 나타내는 열 정보를 포함하도록 상기 제 1 비디오 시퀀스(105a)는 열 카메라(104a)를 이용하여 캡춰되며; 그리고
상기 제 2 비디오 시퀀스(105b)에 상기 비디오 프로세싱 알고리즘을 적용하는 단계(S06)
를 포함하며,
상기 비디오 프로세싱 알고리즘의 상기 적어도 하나의 파라미터(309, 409)가 온도 의존적(temperature dependent)이 되도록, 상기 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터(309, 409)는 상기 제 1 비디오 시퀀스(105a)에 포함된 상기 열 정보에 기초하여 변경되고,
상기 열 정보는 상기 적어도 하나의 파라미터가 상기 제 2 비디오 시퀀스의 어떤 영역들에서 변경되는지를 결정하는데 이용되며 그리고 상기 적어도 하나의 파라미터가 상기 영역들에서 얼마나 변경되는지를 결정하는데 이용되는 것을 특징으로 하는 비디오 프로세싱 알고리즘에 의해서 이용되는 파라미터를 변경하는 방법. - 제1항에 있어서,
상기 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터(309, 409)는, 제 1 비디오 시퀀스(105a)의 이미지들(305a) 내의 대응 영역들(102a, 102b, 102c, 102d)의 열 정보에 기초하여, 제 2 비디오 시퀀스(105b)의 이미지들(307b, 407b) 내의 영역들에 대하여 변경되는 것을 특징으로 하는 비디오 프로세싱 알고리즘에 의해서 이용되는 파라미터를 변경하는 방법. - 제1항에 있어서,
상기 열 정보는 상기 제 1 비디오 시퀀스(105a)의 이미지들(305a)의 강도 값들(intensity values)을 포함하고, 상기 강도 값들은 상기 장면(102) 내의 온도들을 나타내며, 상기 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터(309, 409)는 상기 제 1 비디오 시퀀스(105a)의 이미지들(305a)의 강도 값들에 기초하여 변경되는 것을 특징으로 하는 비디오 프로세싱 알고리즘에 의해서 이용되는 파라미터를 변경하는 방법. - 제3항에 있어서,
상기 열 카메라(104a)에 의해서 캡춰되는 상기 제 1 비디오 시퀀스(105a)의 이미지들(305a)에서, 기결정된 하나 이상의 관심있는 온도 범위들 내의 온도를 나타내는 강도 값을 갖는 픽셀들(102a, 102b, 102c, 102d)을 식별하는 단계를 더 포함하며,
상기 제 1 비디오 시퀀스(105a)의 이미지들(305a)에서 식별되었던 상기 픽셀들(102a, 102b, 102c, 102d)에 대응하는, 상기 제 2 비디오 시퀀스(105b)의 이미지들(307b, 407b) 내의 영역들에 대하여 상기 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터(309, 409)가 변경되는 것을 특징으로 하는 비디오 프로세싱 알고리즘에 의해서 이용되는 파라미터를 변경하는 방법. - 제4항에 있어서,
상기 기결정된 하나 이상의 관심있는 온도 범위들은, 인간의 체온에 해당하는 온도 범위를 포함하는 것을 특징으로 하는 비디오 프로세싱 알고리즘에 의해서 이용되는 파라미터를 변경하는 방법. - 제3항 내지 제5항 중 어느 한 항에 있어서,
상기 적어도 하나의 파라미터(309a, 309b, 309c, 409a, 409b, 409c)가 상기 제 1 비디오 시퀀스(105a)의 이미지들(305a)의 강도 값들의 함수로서 상기 제 2 비디오 시퀀스(105b)의 이미지들(307b, 407b)에 걸쳐서 변하도록, 상기 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터(309, 409)는 상기 제 1 비디오 시퀀스(105a)의 이미지들(305a)의 강도 값들에 기초하여 변경되는 것을 특징으로 하는 비디오 프로세싱 알고리즘에 의해서 이용되는 파라미터를 변경하는 방법. - 제1항에 있어서,
상기 비디오 프로세싱 알고리즘은, 상기 제 2 비디오 시퀀스(105b)의 후속 이미지들 간의 강도 값들에서의 차이값들을 임계값과 비교하는 것을 포함하며, 상기 임계값은 상기 제 1 비디오 시퀀스(105a)의 열 정보에 기초하여 변경되는 것을 특징으로 하는 비디오 프로세싱 알고리즘에 의해서 이용되는 파라미터를 변경하는 방법. - 제1항에 있어서,
상기 비디오 프로세싱 알고리즘은 스무딩(smoothing) 필터링을 포함하며, 상기 스무딩 필터링의 적어도 하나의 파라미터는 상기 제 1 비디오 시퀀스(105a)의 열 정보에 기초하여 변경되는 것을 특징으로 하는 비디오 프로세싱 알고리즘에 의해서 이용되는 파라미터를 변경하는 방법. - 제8항에 있어서,
상기 스무딩 필터링은, 구조적 요소(structuring element)를 이용한 상기 제 2 비디오 시퀀스(105b)의 이미지들(307b, 407b)에 대한 형체기반 필터링을 포함하며, 상기 구조적 요소는 상기 제 1 비디오 시퀀스(105a)의 열 정보에 기초하여 변경되는 것을 특징으로 하는 비디오 프로세싱 알고리즘에 의해서 이용되는 파라미터를 변경하는 방법. - 제1항에 있어서,
상기 열 카메라(104a)는 장파장 적외선(long wave infrared: LWIR) 센서를 포함하는 것을 특징으로 하는 비디오 프로세싱 알고리즘에 의해서 이용되는 파라미터를 변경하는 방법. - 제1항에 있어서,
상기 제 2 비디오 시퀀스(105b)는 가시광선 카메라에 의해서 캡춰되는 것을 특징으로 하는 비디오 프로세싱 알고리즘에 의해서 이용되는 파라미터를 변경하는 방법. - 제1항에 있어서,
상기 제 2 비디오 시퀀스(105b)는 상기 열 카메라(104a)에 의해서 캡춰되는 것을 특징으로 하는 비디오 프로세싱 알고리즘에 의해서 이용되는 파라미터를 변경하는 방법. - 프로세서(114)에 의해서 실행될 때 제1항의 방법을 실행하도록 된 명령들을 구비한 컴퓨터 판독가능한 저장 매체(112)를 포함하는 컴퓨터 프로그램 제품.
- 장면(102)을 모니터링하기 위한, 모션 검출 알고리즘, 객체 검출 알고리즘 혹은 객체 트랙킹 알고리즘과 같은 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터(309, 409)를 변경하는 프로세싱 디바이스(106)로서,
상기 장면(102)의 제 1 비디오 시퀀스(105a) 및 제 2 비디오 시퀀스(105b)를 수신하도록 된 수신기(108), 상기 제 1 비디오 시퀀스(105a)가 상기 장면(102) 내의 온도들을 나타내는 열 정보를 포함하도록 상기 제 1 비디오 시퀀스(105a)는 열 카메라(104a)를 이용하여 캡춰되며; 그리고
상기 장면(102)을 모니터링하기 위하여 상기 비디오 프로세싱 알고리즘을 상기 제 2 비디오 시퀀스(105b)에 적용하도록 된 비디오 프로세싱 컴포넌트(110)
를 포함하며,
상기 비디오 프로세싱 알고리즘의 상기 적어도 하나의 파라미터가 온도 의존적이 되도록, 상기 비디오 프로세싱 컴포넌트(110)는 상기 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터(309, 409)를 상기 제 1 비디오 시퀀스(105a)에 포함된 상기 열 정보에 기초하여 변경하고,
상기 열 정보는 상기 적어도 하나의 파라미터가 상기 제 2 비디오 시퀀스의 어떤 영역들에서 변경되는지를 결정하는데 이용되며 그리고 상기 적어도 하나의 파라미터가 상기 영역들에서 얼마나 변경되는지를 결정하는데 이용되는 것을 특징으로 하는 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터를 변경하는 프로세싱 디바이스. - 장면(102)을 모니터링하기 위한, 모션 검출 알고리즘, 객체 검출 알고리즘 혹은 객체 트랙킹 알고리즘과 같은 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터(309, 409)를 변경하는 시스템(100)으로서,
상기 장면(102)의 제 1 비디오 시퀀스(105a) 및 제 2 비디오 시퀀스(105b)를 캡춰하는 하나 이상의 카메라들(104a, 104b), 상기 하나 이상의 카메라들(104a, 104b)은 상기 제 1 비디오 시퀀스(105a)가 상기 장면(102) 내의 온도들을 나타내는 열 정보를 포함하도록 상기 제 1 비디오 시퀀스(105a)를 캡춰하는 열 카메라(104a)를 포함하며, 그리고
상기 비디오 프로세싱 알고리즘에 의해서 이용되는 파라미터들을 변경하기 위하여, 상기 제 1 비디오 시퀀스(105a) 및 상기 제 2 비디오 시퀀스(105b)를 수신 및 프로세싱하도록 된 제14항에 따른 프로세싱 디바이스(106)
를 포함하는 것을 특징으로 하는 비디오 프로세싱 알고리즘에 의해서 이용되는 적어도 하나의 파라미터를 변경하는 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14189977.3 | 2014-10-23 | ||
| EP14189977.3A EP3012777B1 (en) | 2014-10-23 | 2014-10-23 | Modification of at least one parameter used by a video processing algorithm for monitoring of a scene |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160047988A KR20160047988A (ko) | 2016-05-03 |
| KR101869000B1 true KR101869000B1 (ko) | 2018-06-20 |
Family
ID=51794763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150145379A KR101869000B1 (ko) | 2014-10-23 | 2015-10-19 | 장면을 모니터링하기 위한 비디오 프로세싱 알고리즘에 의해 이용되는 적어도 하나의 파라미터에 대한 변경 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10032283B2 (ko) |
| EP (2) | EP3185180B1 (ko) |
| JP (1) | JP6546828B2 (ko) |
| KR (1) | KR101869000B1 (ko) |
| CN (1) | CN105554439B (ko) |
| TW (1) | TWI623885B (ko) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10496891B2 (en) * | 2017-08-17 | 2019-12-03 | Harman International Industries, Incorporated | Driver assistance system and method for object detection and notification |
| JPWO2019044571A1 (ja) * | 2017-09-01 | 2020-10-01 | ソニー株式会社 | 画像処理装置、および画像処理方法、プログラム、並びに移動体 |
| EP3477941B1 (en) | 2017-10-27 | 2020-11-25 | Axis AB | Method and controller for controlling a video processing unit based on the detection of newcomers in a first environment |
| TWI638334B (zh) * | 2017-11-15 | 2018-10-11 | 瑞昱半導體股份有限公司 | 前景影像提取的影像處理方法與電子裝置 |
| CN107920205B (zh) * | 2017-12-04 | 2019-10-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| KR102661590B1 (ko) * | 2018-04-03 | 2024-04-29 | 삼성전자주식회사 | 이미지 내에서 객체를 인식하기 위한 장치 및 방법 |
| IT201800010949A1 (it) * | 2018-12-10 | 2020-06-10 | Datalogic IP Tech Srl | Metodo e dispositivo di rilevamento e classificazione di un oggetto |
| KR102201168B1 (ko) * | 2018-12-21 | 2021-01-12 | 인천대학교 산학협력단 | 오버헤드 카메라를 이용한 사람 추적 방법 |
| EP3722992B1 (en) * | 2019-04-10 | 2023-03-01 | Teraki GmbH | System and method for pre-processing images captured by a vehicle |
| CN112087593B (zh) * | 2019-06-14 | 2022-10-14 | 富士通株式会社 | 视频配置的更新装置、方法以及电子设备 |
| CN112329499B (zh) * | 2019-08-05 | 2024-07-09 | 上海高德威智能交通系统有限公司 | 一种图像处理方法、装置及设备 |
| KR102236939B1 (ko) * | 2019-08-20 | 2021-04-07 | 주식회사인텍 | 화재 사전 감지 장치 |
| CN114095721B (zh) * | 2020-08-25 | 2023-04-28 | 京东方科技集团股份有限公司 | 视频坏点检测的方法和装置、计算机可读介质 |
| US20220366182A1 (en) * | 2021-05-17 | 2022-11-17 | Apple Inc. | Techniques for detection/notification of package delivery and pickup |
| CN113296159B (zh) * | 2021-05-20 | 2023-10-31 | 星宸科技股份有限公司 | 物件感测装置及方法 |
| JP7382479B1 (ja) | 2022-12-08 | 2023-11-16 | ソフトバンク株式会社 | 画像処理装置、プログラム、及び画像処理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004165932A (ja) * | 2002-11-12 | 2004-06-10 | Sony Corp | 光源推定装置、光源推定方法、撮像装置および画像処理方法 |
| JP2004295781A (ja) * | 2003-03-28 | 2004-10-21 | Ocean Network Entertainment:Kk | 画像認識方法、及び画像認識装置 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3730985A (en) * | 1970-09-18 | 1973-05-01 | Orloff F | Viewing and measuring system for remote thermal energy sources |
| US6215898B1 (en) * | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
| TW476221B (en) | 2000-05-31 | 2002-02-11 | Ind Tech Res Inst | Image monitoring/recognition method by thermal imaging |
| JP2003006642A (ja) | 2001-06-22 | 2003-01-10 | Toshihiko Shimizu | 熱画像を利用した画像処理装置 |
| TWI284863B (en) | 2002-08-30 | 2007-08-01 | Ind Tech Res Inst | Image recognition system for smoke and temperature distribution |
| JP2004219277A (ja) | 2003-01-15 | 2004-08-05 | Sanyo Electric Co Ltd | 人体検知方法およびシステム、プログラム、記録媒体 |
| JP3988657B2 (ja) * | 2003-02-27 | 2007-10-10 | 日産自動車株式会社 | 対象物検出装置 |
| US7963652B2 (en) * | 2003-11-14 | 2011-06-21 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking |
| JP4604606B2 (ja) * | 2004-08-18 | 2011-01-05 | ソニー株式会社 | 顔検出装置及び顔検出方法、並びにコンピュータ・プログラム |
| JP5354767B2 (ja) | 2007-10-17 | 2013-11-27 | 株式会社日立国際電気 | 物体検知装置 |
| US8121424B2 (en) | 2008-09-26 | 2012-02-21 | Axis Ab | System, computer program product and associated methodology for video motion detection using spatio-temporal slice processing |
| CN101945224B (zh) | 2009-07-01 | 2015-03-11 | 弗卢克公司 | 热成像方法 |
| EP2326091B1 (en) * | 2009-11-13 | 2015-08-12 | NTT DoCoMo, Inc. | Method and apparatus for synchronizing video data |
| KR101172747B1 (ko) | 2010-08-16 | 2012-08-14 | 한국표준과학연구원 | 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법 |
| JP5772272B2 (ja) * | 2011-06-16 | 2015-09-02 | 富士通株式会社 | 情報処理装置、及び情報処理方法 |
| EP2549759B1 (en) * | 2011-07-19 | 2016-01-13 | Axis AB | Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras |
| GB2499200B (en) * | 2012-02-07 | 2014-12-17 | Canon Kk | Method and device for transitioning between an image of a first video sequence and an image for a second video sequence |
| US8994845B2 (en) * | 2012-04-27 | 2015-03-31 | Blackberry Limited | System and method of adjusting a camera based on image data |
| CN102739963B (zh) * | 2012-06-06 | 2016-01-27 | 山东神戎电子股份有限公司 | 一种昼夜两用型高温移动目标检测报警系统及检测方法 |
| US9531964B2 (en) * | 2013-03-14 | 2016-12-27 | Drs Network & Imaging Systems, Llc | Methods and system for producing a temperature map of a scene |
| TWM462421U (zh) | 2013-05-29 | 2013-09-21 | Univ Chung Chou Sci & Tech | 監控系統 |
-
2014
- 2014-10-23 EP EP17155856.2A patent/EP3185180B1/en active Active
- 2014-10-23 EP EP14189977.3A patent/EP3012777B1/en active Active
-
2015
- 2015-10-12 US US14/880,416 patent/US10032283B2/en active Active
- 2015-10-16 TW TW104134100A patent/TWI623885B/zh active
- 2015-10-16 CN CN201510673727.0A patent/CN105554439B/zh active Active
- 2015-10-19 KR KR1020150145379A patent/KR101869000B1/ko active IP Right Grant
- 2015-10-19 JP JP2015205245A patent/JP6546828B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004165932A (ja) * | 2002-11-12 | 2004-06-10 | Sony Corp | 光源推定装置、光源推定方法、撮像装置および画像処理方法 |
| JP2004295781A (ja) * | 2003-03-28 | 2004-10-21 | Ocean Network Entertainment:Kk | 画像認識方法、及び画像認識装置 |
Non-Patent Citations (4)
| Title |
|---|
| Background-subtraction using contour-based fusion of thermal and visible imagery 1부. * |
| DAVIS ET AL:"Background-subtraction using contour-based fusion of thermal and visible imagery",Computer Vision and Image Understanding Vlume 106 Issue 2-3,May,2007 Page 162-182 (2007.05.31.) * |
| Grzegorz clielniak ET AL;"People Recognition by Mobile Robots List of Figures", Journal of Intelligent & Fuzzy Systems, vol. 15, no. 1, pp. 21-27, 2004 (2004.12.31.) * |
| People Recognition by Mobile Robots 1부. 끝. * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160047988A (ko) | 2016-05-03 |
| JP2016085739A (ja) | 2016-05-19 |
| TWI623885B (zh) | 2018-05-11 |
| CN105554439B (zh) | 2020-01-07 |
| CN105554439A (zh) | 2016-05-04 |
| EP3012777B1 (en) | 2017-03-15 |
| EP3185180B1 (en) | 2019-01-02 |
| TW201629846A (zh) | 2016-08-16 |
| EP3012777A1 (en) | 2016-04-27 |
| US10032283B2 (en) | 2018-07-24 |
| US20160117837A1 (en) | 2016-04-28 |
| EP3185180A1 (en) | 2017-06-28 |
| JP6546828B2 (ja) | 2019-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101869000B1 (ko) | 장면을 모니터링하기 위한 비디오 프로세싱 알고리즘에 의해 이용되는 적어도 하나의 파라미터에 대한 변경 | |
| US9036039B2 (en) | Apparatus and method for acquiring face image using multiple cameras so as to identify human located at remote site | |
| KR101127493B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 공조 제어 장치 | |
| US6081606A (en) | Apparatus and a method for detecting motion within an image sequence | |
| JP6764481B2 (ja) | 監視装置 | |
| CN108162858B (zh) | 车载监控装置及其方法 | |
| JP6762344B2 (ja) | 顔の位置を追跡して使用者に警報する方法及びシステム | |
| CN104954747B (zh) | 视频监视方法和装置 | |
| JP4764487B2 (ja) | 映像監視システム | |
| EP1068588A1 (en) | Method for rejection of flickering lights in an imaging system | |
| US8665329B2 (en) | Apparatus for automatically ignoring cast self shadows to increase the effectiveness of video analytics based surveillance systems | |
| JP4578353B2 (ja) | 対象物認識装置 | |
| KR20170075444A (ko) | 영상 처리 장치 및 영상 처리 방법 | |
| JP5222908B2 (ja) | 崩落検知システム及び崩落検知方法 | |
| US11069046B2 (en) | Efficient smoke detection based on video data processing | |
| JP6275022B2 (ja) | 画像監視装置 | |
| JP5270319B2 (ja) | 画像監視装置 | |
| JP4888707B2 (ja) | 不審者検知装置 | |
| CN111353350A (zh) | 一种基于组合传感器图像融和技术的火焰检测与定位方法 | |
| JP4998955B2 (ja) | 崩落検知システムおよび方法 | |
| Sitara et al. | Real-time automatic camera sabotage detection for surveillance systems | |
| Panda et al. | Robust real-time object tracking under varying illumination condition | |
| Hoo et al. | Skin-based privacy filter for surveillance systems | |
| JP2014232516A (ja) | 対象物変化検出装置、警報装置、対象物変化検出方法及び警報方法 | |
| JP5222909B2 (ja) | 崩落検知システム及び崩落検知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |