KR101735025B1 - 후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱하기 위한 방법, 디바이스, 및 시스템 - Google Patents

후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱하기 위한 방법, 디바이스, 및 시스템 Download PDF

Info

Publication number
KR101735025B1
KR101735025B1 KR1020150153123A KR20150153123A KR101735025B1 KR 101735025 B1 KR101735025 B1 KR 101735025B1 KR 1020150153123 A KR1020150153123 A KR 1020150153123A KR 20150153123 A KR20150153123 A KR 20150153123A KR 101735025 B1 KR101735025 B1 KR 101735025B1
Authority
KR
South Korea
Prior art keywords
video stream
image
images
motion detection
detection processing
Prior art date
Application number
KR1020150153123A
Other languages
English (en)
Other versions
KR20160052419A (ko
Inventor
엠마뉴엘 조한쏜
매츠 바이랜더
제스퍼 벵트쏜
토마스 윈젤
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20160052419A publication Critical patent/KR20160052419A/ko
Application granted granted Critical
Publication of KR101735025B1 publication Critical patent/KR101735025B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234354—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering signal-to-noise ratio parameters, e.g. requantization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440254—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering signal-to-noise parameters, e.g. requantization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱하기 위한 방법이 제공된다. 본 방법은, 이미지들의 비디오 스트림을 수신하는 것을 포함하고, 여기서, 비디오 스트림에서의 각각의 이미지는 제1의 복수 개의 비트들로 표현되며, 본 방법은 또한, 이미지들의 비디오 스트림을 강화하는 것을 포함하고, 여기서 이미지들의 비디오 스트림을 강화하는 것은, 비디오 스트림에서의 각각의 이미지에 대해, 이미지를 비디오 스트림에서의 적어도 하나의 이전 이미지와 비교하여, 이미지가 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지는 곳의 픽셀들을 식별하는 것, 그리고 이미지가 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지는 곳의 해당 픽셀들에서 이미지를 강화하는 것을 행함으로써, 수행되고; 그리고 본 방법은 또한, 이미지들의 강화된 비디오 스트림을 변환시켜 후속 움직임 검출 프로세싱을 위해 이미지들의 변환된 비디오 스트림을 생성하는 것을 포함하고, 여기서 그 변환된 비디오 스트림에서의 각각의 이미지는 제1의 복수 개의 비트들보다 더 적은 제2의 복수 개의 비트들로 표현된다.

Description

후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱하기 위한 방법, 디바이스, 및 시스템{METHOD, DEVICE, AND SYSTEM FOR PRE-PROCESSING A VIDEO STREAM FOR SUBSEQUENT MOTION DETECTION PROCESSING}
본 발명은 비디오 스트림(video stream)에서의 움직임을 검출하는 분야에 관한 것이다. 특히, 본 발명은 후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱(pre-processing)하는 것에 관한 것이다.
자동 카메라 감시(automatic camera surveillance)에 대한 수요가 꾸준히 증가하고 있다. 예를 들어, 먼 거리에서 있는 경우 및 곤란한 상황에 있는 경우에도 카메라에 의해 촬영된 이미지(image)들에서의 오브젝트(object)들의 움직임을 검출하는 것이 바람직하다. 이러한 목적을 달성하기 위해, 시장에서 상업적으로 이용가능한 움직임 검출을 위한 자동 시스템들인 다수의 움직임 검출 엔진들(motion detection engines)이 존재한다.
움직임 검출 엔진은 예를 들어, 서버와 같은 네트워크 디바이스 상에서 실행될 수 있고, 하나 이상의 카메라들은 후속 움직임 검출을 위해 네트워크를 통해 네트워크 디바이스로 이미지들의 촬영된 비디오 스트림을 스트리밍(streaming)시킬 수 있다. 네트워크 디바이스로 이미지들의 비디오 스트림을 스트리밍할 때의 비트 레이트(bit rate) 제한으로 인해, 전형적으로 이미지들의 촬영된 비디오 스트림은 네트워크 디바이스로의 전송 전에 변환되는바, 예를 들어, 이미지들의 촬영된 비디오 스트림은 더 낮은 비트 심도(bit depth)로 압축 혹은 변환된다. 달리 말하면, 비디오 스트림에서의 이미지들을 표현하는 비트들의 수는 움직임 검출 엔진으로 전송되기 전에 감소된다. 예를 들어, 비디오 스트림에서의 이미지 내의 각각의 픽셀은 변환 이전에는 16개의 비트들로 표현될 수 있고 변환 이후에는 8개의 비트들로 표현될 수 있다.
움직임 검출 엔진이 작동하게 되는 비디오 스트림에서의 이미지들을 표현하기 위해 사용되는 비트들의 수는 제한되어 있기 때문에, 움직임 검출 엔진은 작은 오브젝트들을 검출함에 있어 제한된 능력을 갖게 된다. 예를 들어, 작은 오브젝트들은 비트 변환 프로세싱 동안 사라질 수 있고, 혹은 움직임 검출 엔진이 작동하게 되는 비디오 스트림에서의 이미지들의 낮은 해상도 혹은 이들 이미지들에서의 낮은 콘트라스트(contrast)로 인해, 작은 오브젝트는 노이즈(noise)로 오인될 수 있고, 이에 따라 움직임 검출 엔진에 의해 제거될 수 있다.
영국 특허 출원 GB 2 442 512 A는 카메라로부터 수신된 이미지들(즉, 전형적으로 이미 비트 변환을 거친 이미지들)에 대해 작동하게 되는 움직임 검출기를 개시하고 있다. 여기에 개시되는 움직임 검출기는 움직이는 오브젝트들의 에지(edge)들을 검출하기 위해 현재 비디오 프레임과 이전의 비디오 프레임 간의 차이들을 계산한다. 노이즈와 비교해 움직이는 오브젝트들을 강조하기 위해, 그 검출된 에지들은 강화(enhance)되고, 이에 따라 진정으로 움직이는 피처(feature)들의 에지들은 무작위 픽셀 변화보다 더 높은 점수를 얻게 된다.
따라서, GB 2 442 512 A는 무작위 노이즈(random noise)와 비교해 진정으로 움직이는 오브젝트들을 강화하기 위해 움직임 검출 알고리즘에서 변경을 행할 것을 제안한다. 따라서, 이러한 접근법에 따르면 상업적으로 이용가능한 표준 움직임 검출 엔진의 사용가능성은 배제되게 된다. 더욱이, 이러한 접근법이 갖고 있는 단점은 움직임 검출이 행해지기 전에 이미 작은 오브젝트들은 (전형적으로 카메라에서 일어나는 비트 변환으로 인해) 해당 이미지들로부터 제거되었을 수 있거나 혹은 사라져 버릴 수 있다는 사실이다.
따라서, 상업적으로 이용가능한 표준 움직임 검출 엔진을 사용할 수 있으면서도 그 촬영된 이미지들 내의 몇 개 안 되는 픽셀들에 걸쳐 있는 작은 오브젝트들의 검출과 관련하여 움직임 검출의 결과를 또한 향상시킬 수 있는 것이 바람직할 것이다.
따라서, 위와 같은 상황을 고려하여, 본 발명의 목적은 앞서 논의된 문제들을 경감 혹은 극복하려는 것이다. 특히, 본 발명의 목적은 상업적으로 이용가능한 표준 움직임 검출 엔진이 사용될 수 있도록 하면서도 작은 오브젝트들의 검출과 관련하여 움직임 검출의 결과를 또한 향상시킬 수 있는 방법, 디바이스, 및 시스템을 제공하려는 것이다.
본 발명의 제 1 실시형태에 따르면, 앞서의 목적은 후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱하기 위한 방법에 의해 달성되며, 이러한 방법은,
이미지들의 비디오 스트림을 수신하는 단계와, 여기서 비디오 스트림에서의 각각의 이미지는 제1의 복수 개의 비트들로 표현(represent)되고,
이미지들의 비디오 스트림을 강화(enhancing)하는 단계와, 여기서 이미지들의 비디오 스트림을 강화하는 단계는, 비디오 스트림에서의 각각의 이미지에 대해,
이미지를 비디오 스트림에서의 적어도 하나의 이전 이미지(previous image)와 비교하는 단계와, 여기서 비교하는 단계는 이미지가 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지는 곳의 픽셀들(pixels)을 식별하기 위해 수행되고, 그리고
이미지가 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지는 곳의 그러한 픽셀들에서 이미지를 강화하는 단계를 행함으로써, 수행되고, 그리고
이미지들의 강화된 비디오 스트림을 변환시키는 단계를 포함하며,
여기서 변환시키는 단계는 후속 움직임 검출 프로세싱을 위한 이미지들의 변환된 비디오 스트림을 생성하기 위해 수행되고, 변환된 비디오 스트림에서의 각각의 이미지는 제1의 복수 개의 비트들보다 더 적은 제2의 복수 개의 비트들로 표현된다.
이러한 방법을 통해, 비디오 스트림은 움직임 검출 프로세싱의 적용 전에 사전-프로세싱된다. 이것은 움직임 검출 프로세싱과 관련하여 어떠한 수정도 요구되지 않음을 의미하며, 그럼으로써 상업적으로 이용가능한 표준 움직임 검출 엔진이 사용될 수 있음을 의미한다. 대신, 본 제안된 방법은 후속적으로 움직임 검출 프로세싱을 겪게 되는 입력 비디오 스트림을 수정하기 위해서 비디오 스트림을 사전-프로세싱한다.
더 구체적으로, 본 제안된 방법은 카메라에 의해 촬영된 이미지들의 본래 비디오 스트림을 움직임 검출 프로세싱이 후속적으로 적용될 수 있는 비디오 스트림으로 변환시키기 전에 강화한다. 이러한 변환은 비트 감소 프로세싱으로서 고려될 수 있으며, 이것은 결과적으로 비디오 스트림의 각각의 이미지를 표현하기 위해 사용되는 비트들의 수가 감소되게 한다. 달리 말하면, 변환 동작 이후 제공되는 이미지 데이터와 비교하여, (예를 들어, 콘트라스트가 더 높고 그리고/또는 품질이 더 높다는 점에서) 더 많은 양의 정보를 포함하는 이미지 데이터에 대해 사전-프로세싱이 수행된다. 이것은 사전-프로세싱으로 하여금 더 많은 양의 정보를 사용할 수 있게 하고, 이를 기반으로 하여, 만약 본 발명의 방식이 사용되지 않는다면 변환 동작에서 소실되었을 혹은 변환된 비디오 스트림에서 노이즈와 구분하기 어려울 수 있는 그러한 이미지들 내의 피처들(예컨대, 움직이는 작은 오브젝트들)을 강화할 수 있게 한다.
더 상세히 살펴보면, 본 발명은 임의의 이미지가 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지는 곳의 픽셀들(즉, 움직이는 오브젝트의 움직이는 에지들에 대응할 확률이 높은 픽셀들)을 식별하도록 제안한다. 그 다음에, 해당 이미지는 식별된 픽셀들에서 강화된다. 움직이는 에지들은 전형적으로 움직이는 오브젝트의 "둘레(around)"에서 나타나기 때문에, 오브젝트는 강화 이후 더 큰 크기를 갖는 것으로 나타날 것이며, 따라서 후속 움직임 검출 프로세싱이 그 움직이는 오브젝트를 검출하는 것을 더 용이하게 한다. 유의할 점으로, 강화는 변환 이전에 카메라의 이미지 흐름에서 초기에 수행되기 때문에, 이러한 강화는 변환 이후 임의의 대응하는 강화가 수행된 경우 가능한 것보다 더 작은 움직이는 오브젝트들을 강화시킬 수 있다(왜냐하면 변환 이전 및 이후 이미지들에서의 정보는 차이가 나기 때문).
본 제안된 방법은 비디오 스트림이 열 카메라(thermal camera)에 의해 촬영된 경우에 특히 이로울 수 있다. 열 카메라들은 대단한 검출기들이며 먼 거리에서 있는 오브젝트들 및 곤란한 상태에 있는 오브젝트들을 검출 및 분류하는데 사용될 수 있다. 이러한 점에서 열 카메라의 성능은 종종 영상 카메라(visual camera)보다 훨씬 더 좋다. 그러나, 계산 능력에서의 한계, 그리고 일반적으로 열 카메라들의 낮은 해상도(이것은 촬영된 이미지들 내에서 오브젝트가 더 적은 수의 픽셀들에 걸쳐 있도록 함)로 인해, 이러한 검출 능력을 움직임 검출과 같은 자동 시스템들에서 이용하는 것은 어려운 일이다. 이것 외에도, 대부분의 움직임 검출 엔진들은 영상 카메라들에 대해 최적화되어 있다. 그러나, 앞서 설명된 바와 같이, 본 제안된 방법을 사용하면, 오브젝트들은 사전-프로세싱 이후 더 크게 나타날 것이고 따라서 열 카메라들의 낮은-해상도 문제를 해결하는데 도움을 줄 것이다.
이미지들의 비디오 스트림은 일반적으로 이미지들의 시간적 시퀀스를 의미한다.
임의의 픽셀에서 이미지를 강화하는 것은 일반적으로 해당 픽셀의 값을 증가시키거나 혹은 증진시키는 것을 의미한다.
본 명세서에서 설명되는 바와 같이, 만약 임의의 이미지와 적어도 하나의 이전 이미지 간의 강도 값(intensity value)들에서 차이가 임계치를 초과한다면 해당 이미지는 그 적어도 하나의 이전 이미지와 픽셀에 있어 달라졌다고 말할 수 있다.
비디오 스트림을 변환시키는 것은 일반적으로 비디오 스트림을 제 1 포맷(format)으로부터 제 2 포맷으로 변환시키는 것을 의미한다. 특히, 이것은 비디오 스트림에서의 각각의 이미지, 혹은 픽셀을 표현하는 비트들의 수를 감소시키는 절차를 의미한다. 이것은 예를 들어, 이미지들의 비디오 스트림을 비디오 압축하는 것을 포함할 수 있다. 대안적으로 혹은 추가적으로, 이러한 변환은 비디오 스트림에서의 이미지들의 비트 심도를 감소시키는 것을 포함할 수 있다. 더 구체적으로, 비디오 스트림에서의 이미지들의 각각의 픽셀은 제1의 개수의 비트들로 표현되고, 이미지들의 강화된 비디오 스트림을 변환시키는 단계는, 변환된 비디오 스트림에서의 이미지들의 각각의 픽셀이 제1의 개수의 비트들보다 더 적은 제2의 개수의 비트들로 표현되도록 이미지들의 강화된 비디오 스트림을 변환시키는 것을 포함할 수 있다. 제1의 개수의 비트들(즉, 변환 전의 비트 심도)은 16개의 비트들과 동일할 수 있고, 반면 제2의 개수의 비트들(즉, 변환 후의 비트 심도)은 8개의 비트들과 동일할 수 있다. 본 명세서에서 사용되는 바와 같은 비디오 스트림을 변환시키는 것은 전형적으로 공간적 해상도(즉, 비디오 스트림에서의 이미지들 내의 픽셀들의 수)를 감소시키는 것만을 지칭하는 것이 아님에 유의해야 한다.
제1의 개수의 비트들이 제2의 개수의 비트들보다 더 많기 때문에, 이미지들의 비디오 스트림의 이미지들에서의 콘트라스트들은 변환 이후보다 변환 전에 더 높다. 더 높은 콘트라스트들로 인해, 작은 오브젝트들의 검출 및 강화는 간소화된다(왜냐하면 예를 들어, 노이즈와 오브젝트들의 구분이 더 용이하게 되기 때문).
이미지를 비디오 스트림에서의 적어도 하나의 이전 이미지와 비교하는 단계에서, 이미지는 비디오 스트림에서의 적어도 하나의 이전 이미지로부터 형성된 이미지와 비교될 수 있다. 예를 들어, 비디오 스트림에서의 적어도 하나의 이전 이미지의 평균 값들을 형성함으로써, 비디오 스트림에서의 적어도 하나의 이전 이미지로부터 임의의 이미지가 형성될 수 있다. 따라서, 적어도 하나의 이전 이미지로부터 형성된 이미지는 적어도 하나의 이전 이미지를 시간적으로 필터링함으로써 형성된 이미지로서 고려될 수 있다. 형성될 이미지 내의 상이한 픽셀들에 대해, 평균 값들을 형성할 때, 상이한 개수의 이전 이미지들이 사용될 수 있는데, 즉 시간적 필터는 상이한 픽셀들에 대해 상이한 개수의 이전 이미지들을 사용할 수 있다. 특히, 사용된 이전 이미지들의 수는 적어도 하나의 이전 이미지 중 가장 최근의 것에서 검출된 움직임에 근거할 수 있다. 예로서, 움직임이 특정 픽셀에서 검출된 경우, 적어도 하나의 이전 이미지로부터 이미지를 형성할 때 그 픽셀에 대해 적어도 하나의 이전 이미지 중 가장 최근의 것만이 사용될 수 있다. 특정 픽셀에서 어떠한 움직임도 검출되지 않은 경우, 적어도 하나의 이전 이미지로부터 이미지를 형성할 때 그 픽셀에 대해 적어도 하나의 이전 이미지 중 하나 이상의 것이 사용될 수 있다. 이러한 경우에 움직임은, 적어도 하나의 이전 이미지 중 가장 최근의 것을 적어도 하나의 이전 이미지 중 가장 최근 것에 선행하는 적어도 하나의 이미지로부터 앞서 언급된 바에 따라 형성된 이미지와 비교하는 것에 근거하여 검출될 수 있다. 달리 말하면, 적어도 하나의 이전 이미지로부터 형성된 이미지, 즉 시간적으로 필터링된 이미지는, 움직임 검출이 가능하도록 할 목적으로 이미지들의 비디오 스트림에서의 각각의 이미지 프레임에 대해 되풀이하여 업데이트될 수 있다.
이미지가 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지는 곳의 그러한 픽셀들에서 이미지를 강화하는 것은 상이한 방식으로 행해질 수 있다. 예를 들어, 이미지를 강화하는 단계에서, 이미지가 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지는 곳의 그러한 픽셀들에서의 픽셀 값에 오프셋(offset)이 더해질 수 있다. 이러한 방식으로, 움직임이 검출된 곳의 그러한 픽셀들에 대한 콘트라스트가 증가되고, 따라서 후속 움직임 검출 프로세싱에서 노이즈와 이러한 픽셀들을 구분하는 것은 더 용이하게 된다.
이미지를 강화하는 단계에서, 이미지가 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지는 곳의 그러한 픽셀들에서의 픽셀 값에 이득 계수(gain factor)를 곱함으로써 콘트라스트는 또한 증가될 수 있다.
앞서 언급된 바와 같이, 강화 단계는 움직이는 오브젝트들의 크기를 증가시키는 효과가 있을 것이다(즉, 강화 이후 그 움직이는 오브젝트는 강화 이전보다 더 크게 나타날 것이다). 이러한 효과는 또한, 이미지를 강화하는 단계에서, 이미지가 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지는 곳의 그러한 픽셀들의 주변(surrounding)에서 이미지를 또한 강화함으로써, 증가될 수 있다. 주변에서 이미지를 강화하는 것은 예를 들어, 이미지가 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지는 곳의 각각의 픽셀에 (3×3, 5×5 혹은 보다 일반적으로는 n×n 픽셀 프레임과 같은) 픽셀들의 프레임을 더하는 것에 대응할 수 있다.
앞에서 또한 논의된 바와 같이, 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지는 그러한 픽셀들에서 비디오 스트림에서의 이미지들을 강화하는 것은 후속 움직임 검출 프로세싱에서 작은 오브젝트들의 움직임을 검출하는 것을 더 용이하게 한다. 특히, 후속 움직임 검출 프로세싱에서 무작위 노이즈와 작은 오브젝트의 움직임을 구분하는 것은 더 용이하게 될 것이다. 후속 움직임 검출 프로세싱에서 무작위 노이즈와 작은 오브젝트의 움직임을 구분하는 것을 훨씬 더 용이하게 하기 위해, 이미지들의 비디오 스트림을 강화하는 단계는 또한, 비디오 스트림에서의 각각의 이미지에 대해, 이미지가 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지지 않는 곳의 그러한 픽셀들에서 이미지를 노이즈 필터링(noise filtering)하는 것을 포함할 수 있다. 이러한 방식으로, 움직임이 일어난 곳의 픽셀들은 강화되고, 반면 움직임이 일어나지 않은 곳의 픽셀들은 노이즈에 대해 필터링되며, 그럼으로써 그 강화된 이미지들에서 움직이는 오브젝트들은 훨씬 더 용이하게 노이즈와 구분되게 된다.
노이즈 필터링은 전형적으로, 비디오 스트림에서의 적어도 하나의 이전 이미지를 사용하여 해당 이미지를 (필터링에 관해) 시간적으로 평균화(temporally averaging)하는 것을 포함한다. 유의할 점으로, 이것은 비디오 스트림에서의 적어도 하나의 이전 이미지로부터 형성된 이미지에 대해서 앞서 설명된 것과 유사한다. 사실, 이미지들의 비디오 스트림에서의 하나의 이미지에 대해서 결정된 시간적으로 필터링된 이미지는 비디오 스트림에서의 후속 이미지에 대해서 적어도 하나의 이전 이미지로부터 형성된 이미지(의 일부)로서 사용될 수 있다. 따라서, 노이즈 필터링 및 강화는 편의에 따라 결합될 수 있고, 그럼으로써 효율적인 구현을 할 수 있게 된다.
비디오 스트림에서의 이미지들은 그레이-스케일 이미지들(gray-scale images)일 수 있다(즉, 비디오 스트림에서의 이미지들의 각각이 픽셀은 단일 컬러 채널(color channel)에서 제1의 개수의 비트들로 표현될 수 있다). 따라서, 비디오 스트림에서의 이미지들의 픽셀 값들은 그레이-스케일 상에서의 강도를 표현한다. 변환된 비디오 스트림에서의 이미지들은 컬러 이미지들일 수 있다(즉, 변환된 비디오 스트림에서의 이미지들의 각각이 픽셀은 복수의 컬러 채널들 간에 분할되는 제2의 개수의 비트들로 표현될 수 있다). 컬러 채널들은 예를 들어, 적색, 녹색 및 청색 채널일 수 있다. 이러한 상황에서, 이미지들에서 검출된 움직임, 즉 이미지들의 (본래) 비디오 스트림에서의 이미지가 본래 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지는 곳의 그러한 픽셀들은, 예를 들어, 컬러로 코딩될 수 있고, 반면 다른 픽셀들은 그레이-스케일 상에서 코딩된다. 그 반대의 상황도 역시 당연히 가능하다. 예를 들어, 움직임과 관련된 픽셀들은 오로지 녹색 채널로만 코딩될 수 있고, 움직임과 관련되지 않은 픽셀들은 모든 채널들에서 동일한 강도로 코딩될 수 있다. 더 구체적으로, 이미지들의 강화된 비디오 스트림을 변환시키는 단계에서, 그 변환된 비디오 스트림에서의 각각의 이미지에는,
본래의 비디오 스트림에서의 대응하는 이미지가 본래의 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지지 않는 곳의 그러한 픽셀들에 대해, 복수의 컬러 채널들에서 하나의 동일한 값이 할당될 수 있거나 혹은 복수의 컬러 채널들 중 일부 채널에서 상이한 값들이 할당될 수 있으며, 그리고
본래의 비디오 스트림에서의 대응하는 이미지가 본래의 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지는 곳의 그러한 픽셀들에 대해, 복수의 컬러 채널들에서 다른 동일한 값이 할당될 수 있거나 혹은 복수의 컬러 채널들 중 일부 채널에서 상이한 값들이 할당될 수 있다.
이러한 방식으로, 컬러 코딩으로 인해, 움직임과 관련된 픽셀들은 움직임과 관련되지 않은 픽셀들과 비교해서 두드러질 것이다. 이것은 또한 움직임 검출 프로세싱의 검출 능력을 향상시킬 것이다(왜냐하면, 움직임이 존재하는 영역들은 다른 영역들과 더욱 구분되기 때문). 더욱이, 이것은 이미지에서의 움직임이 어디에 존재하는지를 시각화시키기 위해 사용될 수 있다.
일부 실시예들에서, 움직임 검출 프로세싱은 이미지들의 비디오 스트림의 사전-프로세싱을 수행하는 디바이스와 물리적으로 분리되어 있는 디바이스에서 수행된다. 이러한 경우, 본 방법은 또한, 이미지들의 변환된 비디오 스트림을 움직임 검출 프로세싱 디바이스에 제공하는 것을 포함할 수 있다.
다른 실시예들에서, 이미지들의 비디오 스트림의 사전-프로세싱 및 움직임 검출 프로세싱은 동일한 디바이스에 의해 수행된다. 이러한 경우, 본 방법은 또한, 이미지들의 변환된 비디오 스트림에 움직임 검출 프로세싱을 적용하는 것을 포함할 수 있다.
본 발명의 제 2 실시형태에 따르면, 앞서의 목적은 앞서의 제 1 실시형태를 따르는 방법을 수행하기 위한 컴퓨터 코드 명령(computer code instruction)들을 갖는 컴퓨터-판독가능 매체를 포함하는 컴퓨터 프로그램 제품에 의해 달성된다.
본 발명의 제 3 실시형태에 따르면, 앞서의 목적은 후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱하기 위한 디바이스에 의해 달성되며, 이러한 디바이스는,
이미지들의 비디오 스트림을 수신하도록 구성되는 수신기(receiver)와, 여기서 비디오 스트림에서의 각각의 이미지는 제1의 복수 개의 비트들로 표현되고,
이미지들의 비디오 스트림을 강화하도록 구성되는 비디오 스트림 강화 컴포넌트(video stream enhancing component)와, 여기서 이미지들의 비디오 스트림을 강화하는 것은, 비디오 스트림에서의 각각의 이미지에 대해,
이미지를 비디오 스트림에서의 적어도 하나의 이전 이미지와 비교하여 이미지가 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지는 곳의 픽셀들을 식별하는 것, 그리고
이미지가 비디오 스트림에서의 적어도 하나의 이전 이미지와 달라지는 곳의 그러한 픽셀들에서 이미지를 강화하는 것을 행함으로써, 수행되고, 그리고
이미지들의 강화된 비디오 스트림을 변환시켜 후속 움직임 검출 프로세싱을 위해 이미지들의 변환된 비디오 스트림을 생성하도록 구성되는 변환 컴포넌트(converting component)를 포함하며,
여기서 이미지들의 변환된 비디오 스트림에서의 각각의 이미지는 제1의 복수 개의 비트들보다 더 적은 제2의 복수 개의 비트들로 표현된다.
본 발명의 제 4 실시형태에 따르면, 앞서의 목적은 후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱하기 위한 시스템에 의해 달성되며, 이러한 시스템은,
이미지들의 비디오 스트림을 촬영하도록 구성되는 카메라와, 그리고
청구항 제13항에 따른 비디오 스트림을 사전-프로세싱하기 위한 디바이스를 포함하며,
여기서 비디오 스트림을 사전-프로세싱하기 위한 디바이스는 카메라에 의해 촬영된 이미지들의 비디오 스트림을 수신하여 사전-프로세싱하도록 구성된다.
이러한 시스템은 또한, 비디오 스트림을 사전-프로세싱하기 위한 디바이스로부터 임의의 변환된 비디오 스트림을 수신하여, 변환된 비디오 스트림에 움직임 검출을 적용하도록 구성되는 움직임 검출 프로세싱 디바이스를 포함할 수 있다.
제 2 실시형태, 제 3 실시형태 및 제 4 실시형태는 전반적으로 제 1 실시형태와 동일한 특징들 및 장점들을 갖는다. 본 명세서에서 명백히 달리 기재되지 않는다면 본 발명은 이러한 특징들의 모든 가능한 조합들과 관련되는 것임에 또한 유의해야 한다.
본 발명의 앞서의 목적, 특징 및 장점뿐만 아니라 추가적인 목적, 특징 및 장점은 첨부되는 도면들을 참조하는 본 발명의 바람직한 실시예들의 다음과 같은 예시적이고 비-한정적인 상세한 설명을 통해 더 잘 이해될 것이며, 도면에서 동일한 참조 번호들은 유사한 구성요소들을 위해 사용될 것이다.
도 1은 본 발명의 실시예들에 따른 후속 움직임 검출 프로세싱을 위해서 이미지들의 비디오 스트림의 사전-프로세싱을 위한 시스템을 예시한다.
도 2는 본 발명의 다른 실시예들에 따른 후속 움직임 검출 프로세싱을 위해서 이미지들의 비디오 스트림의 사전-프로세싱을 위한 시스템을 예시한다.
도 3은 본 발명의 실시예들에 따른 후속 움직임 검출 프로세싱을 위해서 이미지들의 비디오 스트림의 사전-프로세싱을 위한 방법의 흐름도이다.
도 4는 본 발명의 실시예들에 따른 이미지들의 비디오 스트림의 강화를 도식적으로 예시한다.
도 5는 본 발명의 실시예들에 따른 이미지들의 비디오 스트림의 강화 및 노이즈 필터링이 결합된 것을 도식적으로 예시한다.
본 발명의 실시예들이 제시되어 있는 첨부 도면들을 참조하여 본 발명이 이제 아래에서 더 완전히 설명될 것이다. 그러나, 본 발명은 다수의 상이한 형태들로 구현될 수 있는바, 본 명세서에서 설명되는 실시예들로만 한정되는 것으로 이해돼서는 안 된다. 본 명세서에서 개시되는 시스템들 및 디바이스들은 이들이 동작하는 동안 설명될 것이다.
도 1은 후속 움직임 검출 프로세싱을 위해 비디오 스트림(즉, 이미지들의 시퀀스)을 사전-프로세싱하기 위한 시스템(100)을 예시한다. 시스템(100)은 카메라(120)와, 그리고 카메라(120)에 의해 촬영된 이미지들의 비디오 스트림을 사전-프로세싱하기 위한 디바이스(140)를 포함한다. 시스템(100)은 또한, 움직임 검출 프로세싱 디바이스(160)를 포함할 수 있다. 움직임 검출 디바이스(160)는 예를 들어, 네트워크(180)를 통해 사전-프로세싱 디바이스(140)에 연결될 수 있다.
카메라(120)는 일반적으로 장면(scene)의 이미지들의 비디오 스트림을 촬영할 수 있는 임의 타입의 디지털 카메라일 수 있다. 카메라(120)는 상이한 원리들에 따라 작동할 수 있다. 예를 들어, 카메라(120)는 가시광 카메라(visible light camera) 혹은 열 카메라(thermal camera)일 수 있다.
카메라(120)는 유선을 통해 혹은 무선을 통해 사전-프로세싱 디바이스(140)에 동작가능하게 연결된다. 사전-프로세싱 디바이스(140)는 도 1에서 예시되는 바와 같이 카메라(120)로부터 물리적으로 분리되어 있을 수 있거나, 혹은 카메라(120)에 통합될 수 있다.
사전-프로세싱 디바이스(140)는 수신 컴포넌트(142), 강화 컴포넌트(144), 그리고 변환 컴포넌트(146)를 포함할 수 있다. 사전-프로세싱 디바이스(140)는, 수신 컴포넌트(142)를 통해, 카메라(120)로부터 이미지들의 비디오 스트림(130)을 수신하도록 구성된다. 강화 컴포넌트(144)는 전반적으로, 이미지들의 수신된 비디오 스트림(130)을 강화하여 강화된 비디오 스트림(135)을 발생시키도록 구성된다. 더욱이, 변환 컴포넌트(146)는 이미지들의 강화된 비디오 스트림(135)을 변환시켜(예를 들어, 이미지들의 강화된 비디오 스트림(135)을 압축하여, 혹은 이미지들의 강화된 비디오 스트림(135)의 비트 심도를 감소시켜) 이미지들의 변환된 비디오 스트림(150)을 출력하도록 구성된다. 특히, 수신된 비디오 스트림(130)에서의 이미지들은 제1의 복수 개의 비트들로 표현될 수 있고, 변환된 비디오 스트림(150)의 이미지들은 변환으로 인해 더 적어진 제2의 복수 개의 비트들로 표현될 수 있다. 예를 들어, 비디오 스트림(130)의 이미지들 내의 픽셀들은 16개의 비트들로 표현될 수 있고, 반면 변환된 비디오 스트림(150)의 이미지들 내의 픽셀들은 8개의 비트들로 표현될 수 있다. 따라서, 변환은 제 1 비트 환경(16-비트 환경)으로부터 제 2 비트 환경(8-비트 환경)으로 행해질 수 있다. 강화 컴포넌트(144)는 더 높은 제 1 비트 환경에서 이미지들에 관해 작동하고, 반면 움직임 검출 프로세싱 디바이스(160)에 후속적으로 입력되는 변환된 비디오 스트림(150)은 더 낮은 제 2 비트 환경에서 표현된다. 제 1 비트 환경으로부터 제 2 비트 환경으로 이미지들을 변환시키는 것은, 변환된 비디오 스트림(150)을 네트워크(180)를 통해 스트리밍시키는 것을 가능하게 한다.
이미지들의 변환된 비디오 스트림(150)은 후속적으로 움직임 검출 디바이스(160)에 전송될 수 있다. 이러한 목적으로, 사전-프로세싱 디바이스(140)는 전송 컴포넌트(미도시)를 포함할 수 있다. 전송 컴포넌트는 예를 들어, 이미지들의 변환된 비디오 스트림을 네트워크(180)를 통해 전송하도록 구성될 수 있다. 네트워크(180)는 로컬 영역 네트워크(local area network) 혹은 와이드 영역 네트워크(wide area network)와 같은, 원하는 목적에 적합한 임의 타입의 네트워크일 수 있다.
네트워크(180)는 전형적으로 임의의 제한된 대역폭을 가질 수 있고, 따라서 이용가능한 비트 레이트에서 제한이 존재한다. 예를 들어, 이용가능한 비트 레이트는 비디오 시퀀스(130)의 전송을 가능하게 할 만큼 충분히 높지 않을 수 있다. 그러나, 변환 컴포넌트(146)에 의해 수행된 변환 덕분에, 비디오 시퀀스(130)의 비트 레이트는 이용가능한 비트 레이트의 한계치들 내에 있는 비트 레이트로 감소된다.
사전-프로세싱 디바이스(140) 및 그 컴포넌트들은 소프트웨어로 구현될 수 있거나, 하드웨어로 구현될 수 있거나, 혹은 소프트웨어와 하드웨어의 조합으로 구현될 수 있다. 특히, 사전-프로세싱 디바이스(140)는 프로세서 및 메모리를 포함할 수 있다. 메모리는 프로세서에 의해 실행될 때 본 명세서에서 개시되는 임의의 방법을 수행하도록 되어 있는 컴퓨터 코드 명령들을 저장하기 위해 (비-일시적) 컴퓨터-판독가능 저장 매체 혹은 디바이스로서 동작할 수 있다.
움직임 검출 프로세싱 디바이스(160)는 일반적으로, 이미지들의 비디오 스트림을 수신하여 임의의 알려진 방법에 따라 그 수신된 비디오 스트림에 관해 움직임 검출 프로세싱을 수행하도록 구성되는 임의의 디바이스일 수 있다. 예를 들어, 움직임 검출 프로세싱 디바이스(160)는 임의의 상업적으로 이용가능한 움직임 검출 엔진을 구현할 수 있다.
도 2는 후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱하기 위한 대안적 시스템(200)을 예시한다. 시스템(200)은 카메라(220) 및 사전-프로세싱 디바이스(240)를 포함한다. 시스템(200)과 도 1의 시스템(100) 간의 차이는 움직임 검출 디바이스(160)를 대체하는 움직임 검출 프로세싱 컴포넌트(248)를 사전-프로세싱 디바이스(240)가 포함한다는 것이다. 달리 말하면, 시스템(200)에서는 움직임 검출 프로세싱이 사전-프로세싱 디바이스(240)에 의해 수행되고, 반면 시스템(100)에서는 움직임 검출 프로세싱이 별개의 디바이스에 의해 수행된다.
시스템(100) 및 시스템(200)의 동작, 그리고 특히 사전-프로세싱 디바이스(140, 240)의 동작이 이제 도 1, 도 2, 도 4, 그리고 도 3의 흐름도를 참조하여 설명될 것이다.
단계(S02)에서, 사전-프로세싱 디바이스(140, 240)는 수신기(142, 242)를 통해 카메라(120, 220)로부터 이미지들의 비디오 스트림(130)을 수신한다. 도 4는 이미지들의 이러한 비디오 스트림(130)의 일부{It-3, It-2, It-1, It}를 예시한다. 여기서, It는 비디오 스트림에서의 현재 이미지를 나타내고, It-3, It-2, It-1은 수신된 비디오 스트림(130)에서의 이전 이미지들이다. 여기서는 3개의 이전 이미지들이 예시된다. 그러나, 일반적으로 이전 이미지들의 수는 다른 값을 취할 수 있다.
수신된 이미지들{It-3, It-2, It-1, It}은 움직이지 않는 오브젝트들(402)과 (화살표로 표시된 바와 같은) 움직이는 오브젝트들(404)을 포함할 수 있다. 예시된 비디오 스트림에서, 움직이는 오브젝트(404)는 오른쪽으로 움직이고 있다. 수신된 이미지들{It-3, It-2, It-1, It} 내에는 노이즈가 또한 존재할 수 있는바, 본 예에서 이러한 노이즈는 점(dot)들로 표현된 배경 패턴으로 표시되어 있다.
단계(S04)에서, 강화 컴포넌트(144, 244)는 이미지들의 비디오 스트림(130)을 강화한다. 더 상세히 살펴보면, 비디오 스트림(130)에서의 각각의 이미지(It-3, It-2, It-1, It)에 대해, 강화 컴포넌트(144, 244)는 여러 하위단계들(S04a, S04b, S04c)을 수행할 수 있다. 이러한 절차는 해당 이미지(It)와 관련하여 아래에서 설명된다.
단계(S04a)에서, 강화 컴포넌트(144, 244)는 이미지(It)를 비디오 스트림(130)에서의 적어도 하나의 이전 이미지(It-3, It-2, It-1)와 비교한다. 도 4의 실시예에서, 예시적 목적으로, 이미지(It)는 이전 이미지(It-1)와 비교된다. 그러나, 더 일반적으로, 이미지(It)는 적어도 하나의 이전 이미지(It-3, It-2, It-1)로부터 형성된 이미지(예를 들어, 적어도 하나의 이전 이미지(It-3, It-2, It-1)의 평균 값 혹은 시간적 필터링으로부터 형성된 이미지)와 비교될 수 있다. 이것은 도 5를 참조하여 이후 더 상세히 설명될 것이다. 더 상세히 살펴보면, 강화 컴포넌트(144, 244)는 이미지(It)를 이전 이미지(It-1)와 (예를 들어, 개개의 픽셀들의 강도 값들 간의 차이를 계산함으로써) 픽셀별로 비교할 수 있다. 만약 이미지(It)와 적어도 하나의 이전 이미지(It-1) 간의 강도 값들에서의 차이(혹은 이러한 차이의 절대 값)가 임의의 픽셀에서 임계치를 초과한다면, 강화 컴포넌트(144, 244)는 해당 이미지가 이전 이미지와 그 픽셀에서 다르다고 결정할 수 있다. 이러한 방식으로, 강화 컴포넌트는 이미지(It)가 이전 이미지(It-1)와 달라지는 곳의 픽셀들을 식별할 수 있다. 이것은 또한 도 4에서 이미지(Dt)로 예시되어 있는바, 이미지(Dt)는 이미지(It)가 이미지(It-1)와 특정 임계치보다 더 많은 양만큼 달라지는 곳의 픽셀들(406)을 흑색으로 보여주고 있다. 이미지(It)와 이전 이미지(It-1) 간의 차이는 이미지들(It-1, It)에서 움직임이 존재하는 곳에서 발견될 수 있는데, 특히 움직이는 오브젝트(404)의 에지 둘레에서 발견될 수 있다. 본 경우에 있어서, 움직이는 오브젝트(404)는 오른쪽으로 움직이기 때문에, 그 달라지는 픽셀들은 움직이는 오브젝트(404)의 전방 우측 에지 및 후방 좌측 에지에서 나타날 것이다.
그 다음에, 강화 컴포넌트(144, 244)는 이미지(It)가 비디오 스트림(130)에서의 적어도 하나의 이전 이미지(It-3, It-2, It-1)(여기서는 It-1로 표현되어 있음)와 달라지는 곳의 그러한 픽셀들(406)에서 이미지(It)를 강화하게 된다. 전형적으로, 이러한 강화는 적어도 하나의 이전 이미지(It-3, It-2, It-1)와 달라지는 이미지(It) 내의 픽셀들(406)의 강도 값에 이득을 적용하는 것을 포함한다. 이것은 예를 들어, 이미지(It)의 픽셀 값에 오프셋 값을 더하는 것과, 그리고/또는 이미지(It)의 픽셀 값에 이득 계수를 곱하는 것을 포함할 수 있다. 이것은 또한, 도 4의 강화된 이미지(It e)로 예시되어 있고, 여기서 이미지(It)는 이미지(It)가 적어도 하나의 이전 이미지(It-3, It-2, It- 1)와 달라지는 곳의 픽셀들(406)에 대응하는 픽셀들(408)에서 강화된다. 도 4에서 알 수 있는 바와 같이, 움직이는 오브젝트(404)는, 본래의 이미지(It)와 비교해서, 그 강화된 이미지 내에서 더 크게 나타나게 되고, 따라서 이것은 후속 움직임 검출 프로세싱 동안 오브젝트의 검출을 더 용이하게 한다.
추가적인 예들에 따르면, 강화 컴포넌트(144, 244)는 또한, 이미지(It)가 적어도 하나의 이전 이미지(It-3, It-2, It-1)와 달라지는 곳의 그러한 픽셀들(406)의 주변에서 이미지(It)를 강화할 수 있다. 예를 들어, 강화 컴포넌트(144, 244)는 이미지(Dt) 내의 픽셀 영역(406)을 (주변 픽셀들을 또한 포함하도록) 확장시킬 수 있다(예를 들어, 영역(406) 내의 각각의 픽셀 둘레에 n×n의 이웃(neighbourhood)을 더하는 것, 여기서 n=1, 3, 5 등). 이러한 방식으로, 픽셀들의 프레임이 픽셀 영역(406)에 더해질 것이다.
일부 실시예들에서, 강화 컴포넌트(144, 244)는 또한 이미지(It)의 노이즈 필터링을 수행할 수 있다. 특히, 강화 컴포넌트(144, 244)는 적어도 하나의 이전 이미지(It-3, It-2, It-1)와 달라지지 않는 이미지(It) 내의 그러한 픽셀들에 노이즈 필터를 적용할 수 있다. 이러한 픽셀들은 이미지(Dt)의 백색 부분들(410)에 대응한다. 노이즈 필터는 일반적으로, 본 발명의 기술분야에서 사용되는 임의 타입의 노이즈 필터일 수 있다. 예를 들어, 이러한 노이즈 필터는 이미지(It)와 적어도 하나의 이전 이미지(It-3, It-2, It-1)에 근거하여, 예컨대 이미지(It)와 적어도 하나의 이전 이미지(It-3, It-2, It-1)를 시간적으로 평균화함으로써(혹은 가중치가 적용된 평균들을 형성함으로써), 노이즈를 필터링하는 시간적 필터(temporal filter)일 수 있다. 도 4에서, It e,noise는 이미지(It)가 적어도 하나의 이전 이미지(It-3, It-2, It-1)와 달라지는 곳의 픽셀 영역들(406)에서 강화된 이미지를 나타냄과 아울러 이미지(It)가 적어도 하나의 이전 이미지(It-3, It-2, It-1)와 달라지지 않는 곳의 픽셀 영역들(410)에서 노이즈 필터링된 이미지를 나타내는데, 이러한 노이즈 필터링된 이미지는 It e,noise 내에서 덜 밀집된 점들로 표현된 배경 패턴으로 나타나 있다.
강화된 이미지(It e 혹은 It e,noise)는 그 다음에, 변환 컴포넌트(146, 246)에 의해 변환을 거치게 된다. 변환의 목적은, 강화된 이미지들의 비디오 스트림(135)을 네트워크(180)를 통한 전송("스트리밍")에 적합한 포맷으로 변환시키려는 것이고 그리고/또는 강화된 이미지들의 비디오 스트림(135)을 상업적으로 이용가능한 표준 움직임 검출 프로세싱 엔진에 적합한 포맷으로 변환시키려는 것이다. 더 상세히 살펴보면, 강화된 비디오 스트림의 이미지들(It e, It e,noise)은 제1의 복수 개의 비트들로 표현된다. 변환 컴포넌트(146, 246)는 강화된 비디오 스트림의 이미지들(It e, It e,noise)을 각각의 이미지가 더 적은 수의 비트들로 표현되는 그러한 비디오 스트림으로 변환시킨다.
예를 들어, 변환 컴포넌트(146, 246)는 임의의 알려진 방법에 따라 비디오 압축을 수행함으로써(그럼으로써 비디오 스트림에서의 각각의 이미지를 표현하기 위해 요구되는 비트들의 양을 감소시키게 됨으로써) 그 강화된 비디오 스트림의 이미지들(It e, It e,noise)을 변환시킬 수 있다.
다른 실시예들에 따르면, 변환 컴포넌트(146, 246)는 강화된 비디오 스트림에서의 이미지들(It e, It e,noise)의 비트 심도를 감소시킴으로써 그 강화된 비디오 스트림을 변환시킨다. 더 구체적으로, 비디오 스트림(130)의 이미지들의 각각의 픽셀 및 이로부터 또한 나오는 그 강화된 비디오 스트림(135)의 이미지들의 각각의 픽셀은 제1의 개수의 비트들(예컨대, 16개의 비트들)(이것은 본 명세서에서 비트 심도로서 지칭됨)로 표현될 수 있다. 변환된 이미지들은 더 낮은 비트 심도(예컨대, 8개의 비트들)를 가질 수 있다. 변환 컴포넌트(146, 246)는 임의의 알려진 방식으로 비트 심도를 감소시킬 수 있다. 예를 들어, 변환 이전의 픽셀이 16개의 비트들로 표현되는 그러한 상황이 고려될 수 있다. 이것은 변환 이전의 해당 픽셀에서의 값이 216개의 상이한 값들을 취할 수 있음을 의미한다. 이후 변환이 수행될 수 있어, 이러한 값들 중 처음 28개의 값들이 제1의 변환된 값으로 맵핑되는 것이 수행될 수 있고, 그 다음 28개의 값들이 제2의 변환된 값으로 맵핑되는 것이 수행될 수 있는 등등이다. 이러한 방식으로, 그 변환된 이미지 내의 픽셀들은 28개의 상이한 값들을 취할 수 있고, 따라서 8개의 비트들로 표현될 수 있다. 당연한 것으로 이러한 접근법은 변환 이전 및 이후의 픽셀들이 임의 개수의 비트들로 표현되는 그러한 상황으로 일반화될 수 있다.
적어도 그 변환된 비디오 스트림이 복수의 컬러 채널들을 갖는 경우가 또한 존재할 수 있다. 이 경우 변환 컴포넌트(146, 246)는, (이미지(It)가 적어도 하나의 이전 이미지(It-3, It-2, It-1)와 달라지는 곳의) 픽셀들(406)이 (이미지(It)가 적어도 하나의 이전 이미지(It-3, It-2, It-1)와 달라지지 않는 곳의) 픽셀들(410)과 비교하여 상이한 컬러 채널들에서 상이한 가중치들을 부여받도록, 복수의 컬러 채널들을 사용할 수 있다. 이러한 방식으로, 검출된 움직임에 대응하는 픽셀들에는, 움직임이 검출되지 않은 곳의 픽셀들과 비교하여, 상이한 컬러가 부여될 수 있다(즉, 검출된 움직임에 대응하는 픽셀들은 컬러-코딩될 수 있음).
비디오 스트림(130)에서의 이미지들(It-3, It-2, It-1, It)이 그레이-스케일 이미지들인 경우, 즉 비디오 스트림(130)에서의 이미지들의 각각의 픽셀이 단일 컬러 채널에서 제1의 개수의 비트들로 표현되는 경우, 그리고 변화된 비디오 스트림에서의 이미지들이 컬러 이미지들인 경우, 즉 변환된 비디오 스트림에서의 이미지들의 각각의 픽셀이 복수의 컬러 채널들 간에 분할된 제2의 개수의 비트들로 표현되는 경우가 고려될 수 있다. 예를 들어, 변환 이전의 이미지들은 하나의 컬러 채널에서 16개의 비트들로 표현될 수 있고, 변환 이후의 이미지들은 세 개의 컬러 채널들(예컨대, 적색 컬러 채널, 녹색 컬러 채널, 및 청색 컬러 채널) 각각에서 8개의 비트들로 표현될 수 있다.
어떠한 차이도 식별되지 않은 픽셀들(410)에 대해서, 변환 컴포넌트(146, 246)는 모든 컬러 채널들에서 동일한 값을 할당할 수 있다. 이러한 방식으로, 해당하는 이러한 픽셀들(410)은 변환된 비디오 시퀀스의 이미지들에서 회색으로 보일 것이다.
차이가 식별된 픽셀들(406)에 대해서, 변환 컴포넌트(146, 246)는 변환된 이미지에서 복수의 컬러 채널들 중 일부에 상이한 값들을 할당할 수 있다. 예를 들어, 이러한 픽셀들(406)은 컬러 채널들 중 하나의 컬러 채널(예컨대, 녹색 채널)로만 코딩될 수 있거나, 혹은 컬러 채널들 중 두 개의 컬러 채널로만 코딩될 수 있다. 대안적으로, 컬러 채널들 간에 임의의 분포(distribution)가 획득되도록 상이한 컬러 채널들에는 상이한 가중치들이 적용될 수 있다.
반대의 경우가 또한 가능함에 유의해야 하는바, 이에 따라 차이가 식별된 픽셀들(406)은 그레이-스케일로 코딩되게 되며(즉, 모든 컬러 채널들에서 동일한 값을 할당받게 되며), 차이가 식별되지 않은 픽셀들(410)은 컬러로 코딩되게 된다(즉, 적어도 일부 컬러 채널들에서 상이한 값들을 할당받게 된다).
또한, 비디오 스트림(130)에서의 이미지들(It-3, It-2, It-1, It)이 컬러 이미지들인 경우(즉, 비디오 스트림(130)에서의 이미지들의 각각의 픽셀이 복수의 컬러 채널들 간에 분할된 제1의 개수의 비트들로 표현되는 경우)가 존재할 수 있다. 예를 들어, 비디오 스트림(130)에서의 이미지들은 3개의 컬러 채널들 각각에서 16개의 비트들로 표현될 수 있고, 변환 이후의 이미지들은 3개의 컬러 채널들 각각에서 8개의 비트들로 표현될 수 있다.
차이가 식별되지 않은 픽셀들(410)에 대해서, 변환 컴포넌트(146, 246)는 컬러 채널들 간의 발란스(balance)를 유지시킬 수 있는바, 즉 이러한 픽셀들(410)에 대해서, 컬러 채널들 간의 분포는, 비디오 스트림(130)의 이미지들에서 그리고 변환된 비디오 스트림(150)의 이미지들에서 동일하다.
차이가 식별된 픽셀들(410)에 대해서, 변환 컴포넌트(146, 246)는 컬러 채널들 간의 발란스를 수정할 수 있는바, 즉 이러한 픽셀들(410)에 대해서, 그 변환된 비디오 스트림(150)에서의 컬러 채널들 간의 분포는, 비디오 스트림(130)에서의 컬러 채널들 간의 분포와 비교하여, 수정된다. 예를 들어, 변환 컴포넌트(146, 246)는 변환된 비디오 스트림(150)의 이미지들에서 그 움직이는 오브젝트들이 해당 이미지들의 나머지 부분에서의 컬러보다 약간 더 붉은색이 되도록 비디오 스트림(130)을 변환시킬 수 있다.
단계(S08)에서, 움직임 검출 프로세싱 디바이스(160), 혹은 움직임 검출 프로세싱 컴포넌트(248)는 변환된 비디오 스트림(150)에 관해 움직임 검출을 수행할 수 있다. 위에서 또한 논의된 바와 같이, 움직임 검출 프로세싱은 본 발명의 기술분야에서 임의의 알려진 방법에 따라 수행될 수 있다.
도 4의 실시예의 경우, 강화 컴포넌트(144, 244)는 단계(S04a)에서, 이미지(It)가 이전 이미지(It-1)와 달라지는 곳의 픽셀들을 식별하기 위해 이미지(It)를 이전 이미지(It-1)와 비교했다. 강화 컴포넌트(144, 244)가 이미지(It)를 비디오 스트림(130)에서의 적어도 하나의 이전 이미지(It-3, It-2, It-1)로부터 형성된 이미지와 비교하는 실시예가 이제 도 5를 참조하여 설명될 것이다.
강화 컴포넌트(144, 244)는 반복적 방식으로 작동할 수 있고, 여기서 각각의 반복은 임의의 시점(point in time)(t)에 대응한다. 각각의 반복에서, 강화 컴포넌트(144, 244)는 이미지들(It- n, ..., It -1, It)로부터 이미지(Mt)를 형성할 수 있는바, 여기서 n은 미리정의된 수이다. 이러한 반복은 M0 = I0으로 설정함으로써 개시될 수 있다.
t번째 반복에서, 강화 컴포넌트(144, 244)는 이미지들(It-1- n, ..., It -2, It- 1)에 근거하여 이전의 반복에서 결정된 이미지(Mt - 1)와 이미지(It) 간의 차이를 먼저 식별함으로써(단계(S04a) 참조) 이미지(Mt)를 형성할 수 있다. 이러한 식별은 도 4와 연계되어 설명된 바에 따라(예를 들어, 차이를 계산하고 그 차이를 임계치와 비교함으로써) 수행될 수 있다. 차이의 이러한 식별의 결과가 도 5의 이미지(Dt)에 의해 예시되어 있다. Dt는 차이가 식별된 곳의 픽셀들(506)을 흑색으로 보여주고 있으며, 차이가 식별되지 않은 곳의 픽셀들(510)을 백색으로 보여주고 있다.
그 다음에, 강화 컴포넌트(144, 244)는 다음과 같은 수학식에 따라 픽셀(p)에서의 이미지(Mt)를 결정할 수 있다.
Figure 112015106361287-pat00001
여기서, f는 함수이고(예를 들어, 이미지들(It- n, ..., It -1, It) 내의 대응하는 픽셀(p)의 값의 (가중된) 평균 값 혹은 필터링), T는 임계 값이다. 따라서, 말로 표현하면, Mt는, 이미지(It)와 이전의 반복으로부터의 이미지(Mt -1) 간에 차이가 발견되지 않은 곳의 픽셀들(510)에서 이미지들(It- n, ..., It -1, It)을 시간적으로 필터링함으로써(단계(S04c) 참조), 그리고 차이가 발견된 곳의 픽셀들(506)에서 이미지(It)의 값을 유지시킴으로써, 형성된다. 필터링은 전형적으로 평균화 동작이기 때문에, 따라서 이미지(Mt)는 차이가 식별되지 않은 곳(즉, 움직임이 검출되지 않은 곳)의 픽셀들(510)에서 It의 노이즈-필터링된 형태임과 아울러 차이가 식별된 곳(즉, 움직임이 검출된 곳)의 픽셀들(506)에서 It와 동일하다.
강화 컴포넌트(144, 244)는 또한, 이미지(Mt)에 근거하여 단계(S04b)에서의 강화를 수행할 수 있다. 더 상세히 살펴보면, 강화 컴포넌트(144, 244)는 차이가 검출된 곳의 픽셀들에서 이미지(Mt)를 강화할 수 있고, 이에 따라 다음과 같은 수학식을 따르는 강화된 이미지(It e,noise)가 발생되도록 한다.
Figure 112015106361287-pat00002
It와 Mt -1 간에 차이가 검출되지 않은 픽셀들에 대해, 이에 따른 그 강화된 이미지(It e,noise)는 이미지들(It- n, ..., It -1, It)의 시간적 필터링(예컨대, 노이즈 필터링)이고, It와 Mt -1 간에 차이가 검출된 픽셀들에 있어서, 그 강화된 이미지(It e,noise)는 이미지(It)의 이미지 강화이다. 도 4를 참조하여 설명된 바와 같이, 강화는 예를 들어, (미리-정의된) 오프셋을 픽셀 값에 더하는 것, 그리고/또는 픽셀 값에 이득 계수를 곱하는 것을 포함할 수 있다.
이러한 접근법을 갖는 경우, 이에 따른 강화는 노이즈 필터링과 필요에 맞게 결합될 수 있는데, 즉 노이즈 필터링과 동일한 단계에서 수행될 수 있다.
본 발명의 기술분야에서 숙련된 사람이 앞서-설명된 실시예들을 다수의 방식으로 수정할 수 있고 앞서의 실시예들에서 보여지는 바와 같은 본 발명의 장점을 여전히 이용할 수 있음이 이해될 것이다. 따라서, 본 발명은 제시되는 실시예들로만 한정돼서는 안 되며, 오로지 첨부되는 청구범위에 의해서만 정의돼야 한다. 추가적으로, 숙련된 사람이 이해하고 있는 바와 같이, 본 명세서에서 제시되는 실시예들은 서로 결합될 수 있다.

Claims (13)

  1. 비디오 스트림(video stream)(130)의 움직임 검출 프로세싱을 위한 방법으로서,
    이미지(image)들의 비디오 스트림(130)을 수신하는 단계(S02)와, 여기서 상기 비디오 스트림에서의 각각의 이미지는 제1의 복수 개의 비트(bit)들로 표현(represent)되고;
    이미지들의 상기 비디오 스트림(130)을 강화(enhancing)하는 단계(S04)와, 여기서 이미지들의 상기 비디오 스트림(130)을 강화하는 단계는, 상기 비디오 스트림에서의 각각의 이미지(It)에 대해,
    상기 이미지(It)를 상기 비디오 스트림(130)에서의 적어도 하나의 이전 이미지(previous image)(It-3, It-2, It- 1)와 비교하는 단계(S04a)와, 여기서 상기 비교하는 단계는 상기 이미지(It)가 상기 비디오 스트림(130)에서의 상기 적어도 하나의 이전 이미지(It-3, It-2, It-1)와 달라지는 곳의 픽셀들(pixels)(406,506)을 식별하기 위해 수행되고, 그리고
    상기 이미지(It)가 상기 비디오 스트림(130)에서의 상기 적어도 하나의 이전 이미지(It-3, It-2, It-1)와 달라지는 곳의 상기 픽셀들(406, 506)에서 상기 이미지(It)를 강화하는 단계(S04b)를 행함으로써, 수행되고;
    이미지들의 상기 강화된 비디오 스트림(135)을 변환시키는 단계(S06)와, 여기서 상기 변환시키는 단계는 이미지들의 변환된 비디오 스트림(150)을 생성하도록 수행되고, 상기 변환된 비디오 스트림(150)에서의 각각의 이미지는 상기 제1의 복수 개의 비트들보다 더 적은 제2의 복수 개의 비트들로 표현되고; 그리고
    이미지들의 상기 변환된 비디오 스트림(150)에 움직임 검출 프로세싱을 적용하는 단계(S08)를 포함하는 것을 특징으로 하는 비디오 스트림의 움직임 검출 프로세싱을 위한 방법.
  2. 제1항에 있어서,
    상기 비디오 스트림(130)에서의 이미지들의 각각의 픽셀은 제1의 개수의 비트들로 표현되고,
    이미지들의 상기 강화된 비디오 스트림(135)을 변환시키는 단계(S06)는, 상기 변환된 비디오 스트림(150)에서의 이미지가 상기 제1의 개수의 비트들보다 더 적은 제2의 개수의 비트들로 표현되도록 이미지들의 상기 강화된 비디오 스트림(135)을 변환시키는 것을 포함하는 것을 특징으로 하는 비디오 스트림의 움직임 검출 프로세싱을 위한 방법.
  3. 제1항에 있어서,
    상기 이미지(It)를 상기 비디오 스트림(130)에서의 적어도 하나의 이전 이미지(It-3, It-2, It-1)와 비교하는 단계(S04a)에서,
    상기 이미지(It)는 상기 비디오 스트림(130)에서의 상기 적어도 하나의 이전 이미지(It-3, It-2, It- 1)로부터 형성된 이미지(Mt - 1)와 비교되는 것을 특징으로 하는 비디오 스트림의 움직임 검출 프로세싱을 위한 방법.
  4. 제1항에 있어서,
    상기 이미지를 강화하는 단계(S04)에서,
    상기 이미지(It)가 상기 비디오 스트림에서의 상기 적어도 하나의 이전 이미지(It-3, It-2, It- 1)와 달라지는 곳의 상기 픽셀들(406, 506)에서의 픽셀 값에 오프셋(offset)이 더해지는 것을 특징으로 하는 비디오 스트림의 움직임 검출 프로세싱을 위한 방법.
  5. 제1항에 있어서,
    상기 이미지를 강화하는 단계(S04)에서,
    상기 이미지가 상기 비디오 스트림에서의 상기 적어도 하나의 이전 이미지와 달라지는 곳의 상기 픽셀들(406, 506)에서의 픽셀 값에 이득 계수(gain factor)가 곱해지는 것을 특징으로 하는 비디오 스트림의 움직임 검출 프로세싱을 위한 방법.
  6. 제1항에 있어서,
    상기 이미지를 강화하는 단계(S04)에서,
    상기 이미지(It)가 상기 비디오 스트림에서의 상기 적어도 하나의 이전 이미지(It-3, It-2, It- 1)와 달라지는 곳의 상기 픽셀들(406, 506)의 주변(surrounding)에서 상기 이미지(It)가 또한 강화되는 것을 특징으로 하는 비디오 스트림의 움직임 검출 프로세싱을 위한 방법.
  7. 제1항에 있어서,
    이미지들의 상기 비디오 스트림(130)을 강화하는 단계(S04)는 또한, 상기 비디오 스트림(130)에서의 각각의 이미지(It)에 대해,
    상기 이미지(It)가 상기 비디오 스트림에서의 상기 적어도 하나의 이전 이미지(It-3, It-2, It- 1)와 달라지지 않는 곳의 픽셀들(410, 510)에서 상기 이미지(It)를 노이즈 필터링(noise filtering)하는 것(S04c)을 포함하는 것을 특징으로 하는 비디오 스트림의 움직임 검출 프로세싱을 위한 방법.
  8. 제7항에 있어서,
    상기 노이즈 필터링은 상기 비디오 스트림에서의 상기 적어도 하나의 이전 이미지(It-3, It-2, It- 1)를 사용하여 상기 이미지(It)를 시간적으로 평균화(temporally averaging)하는 것을 포함하는 것을 특징으로 하는 비디오 스트림의 움직임 검출 프로세싱을 위한 방법.
  9. 제1항에 있어서,
    이미지들의 상기 변환된 비디오 스트림을 움직임 검출 프로세싱 디바이스에 제공하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스트림의 움직임 검출 프로세싱을 위한 방법.
  10. 청구항 제1항에 기재된 방법을 수행하기 위한 컴퓨터 코드 명령(computer code instruction)들을 저장하는 컴퓨터 판독가능 저장매체.
  11. 디바이스(140, 240)로서,
    이미지들의 비디오 스트림을 수신하도록 되어 있는 수신기(receiver)(242)와, 여기서 상기 비디오 스트림에서의 각각의 이미지는 제1의 복수 개의 비트들로 표현되고;
    이미지들의 상기 비디오 스트림(130)을 강화하도록 되어 있는 비디오 스트림 강화 컴포넌트(video stream enhancing component)(244)와, 여기서 이미지들의 상기 비디오 스트림(130)을 강화하는 것은, 상기 비디오 스트림에서의 각각의 이미지에 대해,
    상기 이미지를 상기 비디오 스트림에서의 적어도 하나의 이전 이미지와 비교하여 상기 이미지가 상기 비디오 스트림에서의 상기 적어도 하나의 이전 이미지와 달라지는 곳의 픽셀들을 식별하는 것, 그리고
    상기 이미지가 상기 비디오 스트림에서의 상기 적어도 하나의 이전 이미지와 달라지는 곳의 상기 픽셀들에서 상기 이미지를 강화하는 것을 행함으로써, 수행되고;
    이미지들의 상기 강화된 비디오 스트림(135)을 변환시켜 이미지들의 변환된 비디오 스트림(150)을 생성하도록 되어 있는 변환 컴포넌트(converting component)(146, 246)와, 여기서 이미지들의 상기 변환된 비디오 스트림(150)에서의 각각의 이미지는 상기 제1의 복수 개의 비트들보다 더 적은 제2의 복수 개의 비트들로 표현되고; 그리고
    전송 컴포넌트(transmitting component)와 움직임 검출 프로세싱 컴포넌트(motion detection processing component)(248) 중 하나를 포함하여 구성되며,
    상기 전송 컴포넌트는 후속 움직임 검출 프로세싱을 위해 이미지들의 상기 변환된 비디오 스트림(150)을 네트워크(180)를 통해 움직임 검출 디바이스(160)에 전송하도록 되어 있고,
    상기 움직임 검출 프로세싱 컴포넌트(248)는 상기 변환된 비디오 스트림(150)에 대해 움직임 검출 프로세싱을 수행하도록 되어 있는 것을 특징으로 하는 디바이스.
  12. 비디오 스트림(130)의 움직임 검출 프로세싱을 위한 시스템(100, 200)으로서,
    이미지들의 비디오 스트림(130)을 촬영하도록 되어 있는 카메라(120)와; 그리고
    청구항 제11항에 기재된 디바이스(140, 240)를 포함하여 구성되며,
    상기 디바이스(140, 240)는 상기 카메라(120)에 의해 촬영된 이미지들의 상기 비디오 스트림(130)을 수신하도록 되어 있는 것을 특징으로 하는 비디오 스트림의 움직임 검출 프로세싱을 위한 시스템(100, 200).
  13. 제12항에 있어서,
    변환된 비디오 스트림(150)을 상기 디바이스(140,240)로부터 수신하도록 되어 있음과 아울러 상기 변환된 비디오 스트림(150)에 움직임 검출 프로세싱을 적용하도록 되어 있는 움직임 검출 프로세싱 디바이스(160)를 더 포함하는 것을 특징으로 하는 비디오 스트림의 움직임 검출 프로세싱을 위한 시스템(100,200).
KR1020150153123A 2014-11-03 2015-11-02 후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱하기 위한 방법, 디바이스, 및 시스템 KR101735025B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14191461.4 2014-11-03
EP14191461.4A EP3016383B1 (en) 2014-11-03 2014-11-03 Method, device, and system for pre-processing a video stream for subsequent motion detection processing

Publications (2)

Publication Number Publication Date
KR20160052419A KR20160052419A (ko) 2016-05-12
KR101735025B1 true KR101735025B1 (ko) 2017-05-24

Family

ID=51846515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150153123A KR101735025B1 (ko) 2014-11-03 2015-11-02 후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱하기 위한 방법, 디바이스, 및 시스템

Country Status (6)

Country Link
US (1) US9628751B2 (ko)
EP (1) EP3016383B1 (ko)
JP (1) JP6238945B2 (ko)
KR (1) KR101735025B1 (ko)
CN (1) CN105574890B (ko)
TW (1) TWI620149B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6773960B2 (ja) * 2016-05-12 2020-10-21 サミー株式会社 スロットマシン
JP6773962B2 (ja) * 2016-05-12 2020-10-21 サミー株式会社 スロットマシン
US10673917B2 (en) * 2016-11-28 2020-06-02 Microsoft Technology Licensing, Llc Pluggable components for augmenting device streams
EP3379820B1 (en) 2017-03-24 2020-01-15 Axis AB Controller, video camera, and method for controlling a video camera
EP3379830B1 (en) 2017-03-24 2020-05-13 Axis AB A method, a video encoder, and a video camera for encoding a video stream
CN107220602A (zh) * 2017-05-18 2017-09-29 浪潮金融信息技术有限公司 一种快速捕获视频流中新增运动区域的方法
EP3671625B1 (en) * 2018-12-18 2020-11-25 Axis AB Method, device, and system for enhancing changes in an image captured by a thermal camera
CN111783632B (zh) * 2020-06-29 2022-06-10 北京字节跳动网络技术有限公司 针对视频流的人脸检测方法、装置、电子设备及存储介质
CN117355861A (zh) * 2021-05-21 2024-01-05 高通股份有限公司 用于图像处理的基于面部检测的滤波

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2992178B2 (ja) * 1993-06-24 1999-12-20 シャープ株式会社 画像処理装置
JPH0934439A (ja) * 1995-07-19 1997-02-07 Toshiba Corp 画素データ強調処理装置および画素データ強調処理方法
US5764803A (en) * 1996-04-03 1998-06-09 Lucent Technologies Inc. Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences
US5912815A (en) * 1997-03-14 1999-06-15 The Regents Of The University Of California Local relaxation method for estimating optical flow
JP2001136413A (ja) * 1999-11-09 2001-05-18 Hitachi Kokusai Electric Inc 輪郭強調回路
WO2002037856A1 (en) * 2000-11-06 2002-05-10 Dynapel Systems, Inc. Surveillance video camera enhancement system
US6873657B2 (en) * 2001-12-27 2005-03-29 Koninklijke Philips Electronics, N.V. Method of and system for improving temporal consistency in sharpness enhancement for a video signal
US7031388B2 (en) * 2002-05-06 2006-04-18 Koninklijke Philips Electronics N.V. System for and method of sharpness enhancement for coded digital video
US6740879B1 (en) * 2002-05-07 2004-05-25 Raytheon Company Method and apparatus for automated detection and indication of movement
KR100624421B1 (ko) * 2004-05-04 2006-09-19 삼성전자주식회사 디지탈 영상 신호 필터링 장치 및 방법
US20060242186A1 (en) 2005-04-26 2006-10-26 Hurley Thomas J Thermal signature intensity alarmer system and method for processing thermal signature
US8311129B2 (en) 2005-12-16 2012-11-13 Lifesize Communications, Inc. Temporal video filtering
GB2442512A (en) 2006-09-09 2008-04-09 David Hostettler Wain Motion detector using video frame differences with noise filtering and edge change accentuation
US7952646B2 (en) * 2006-12-27 2011-05-31 Intel Corporation Method and apparatus for content adaptive spatial-temporal motion adaptive noise reduction
JP4139430B1 (ja) * 2007-04-27 2008-08-27 シャープ株式会社 画像処理装置及び方法、画像表示装置及び方法
US8576281B2 (en) * 2007-09-12 2013-11-05 Its-7 Pty Ltd Smart network camera system-on-a-chip
US8447130B2 (en) * 2007-12-31 2013-05-21 Intel Corporation History-based spatio-temporal noise reduction
JP5094568B2 (ja) * 2008-06-04 2012-12-12 三菱電機株式会社 映像管理システム
CN101339661B (zh) * 2008-08-18 2010-07-28 清华大学 一种基于手持设备运动检测的实时人机交互方法和系统
US8839330B2 (en) * 2008-08-28 2014-09-16 Sumitomo Electric Industries, Ltd. Moving-picture image data-distribution method
US20100158320A1 (en) 2008-12-19 2010-06-24 Himax Technologies Limited Method of motion detection using content adaptive penalty function
JP2011171795A (ja) * 2010-02-16 2011-09-01 Victor Co Of Japan Ltd ノイズ低減装置
KR101172747B1 (ko) 2010-08-16 2012-08-14 한국표준과학연구원 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
JP5295289B2 (ja) * 2011-03-02 2013-09-18 キヤノン株式会社 撮像装置及びその制御方法
TWI441096B (zh) * 2011-08-10 2014-06-11 Univ Nat Taipei Technology 適用複雜場景的移動偵測方法
US9025817B2 (en) 2012-09-05 2015-05-05 Critical Imaging, LLC System and method for leak detection

Also Published As

Publication number Publication date
EP3016383B1 (en) 2017-06-21
JP2016096540A (ja) 2016-05-26
TW201627951A (zh) 2016-08-01
US9628751B2 (en) 2017-04-18
CN105574890A (zh) 2016-05-11
JP6238945B2 (ja) 2017-11-29
KR20160052419A (ko) 2016-05-12
CN105574890B (zh) 2019-02-12
TWI620149B (zh) 2018-04-01
US20160125618A1 (en) 2016-05-05
EP3016383A1 (en) 2016-05-04

Similar Documents

Publication Publication Date Title
KR101735025B1 (ko) 후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱하기 위한 방법, 디바이스, 및 시스템
US11030731B2 (en) Systems and methods for fusing infrared image and visible light image
JP6357385B2 (ja) 画像通信装置、画像送信装置および画像受信装置
US8934711B2 (en) Apparatus and method of processing image
US9202263B2 (en) System and method for spatio video image enhancement
EP3506228A1 (en) Image capturing apparatus, image processing apparatus, control method, and program
CN110956597A (zh) 用于车辆中的自动图像改善的设备和方法
WO2015184208A1 (en) Constant bracketing for high dynamic range operations (chdr)
US10853926B2 (en) Image processing device, imaging device, and image processing method
US20210166434A1 (en) Signal processing apparatus and signal processing method
JP5950605B2 (ja) 画像処理システム、及び、画像処理方法
KR20170107269A (ko) Rgbd 카메라의 깊이 영상 필터링 장치 및 방법
US10325359B2 (en) Pixel consistency
JP7091031B2 (ja) 撮像装置
JP6375138B2 (ja) パープルフリンジ除去処理方法及びその処理を遂行するパープルフリンジ除去処理装置
JP5286215B2 (ja) 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム
US20220321873A1 (en) Program, device, and method for generating significant video stream from original video stream
CN112750087A (zh) 图像处理方法和装置
KR101920369B1 (ko) 열화상 카메라의 영상처리장치 및 영상처리방법
CN112241982A (zh) 一种图像处理方法、装置及机器可读存储介质
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
Hwang et al. Convergence research of low-light image enhancement method and vehicle recorder
CN112241735A (zh) 一种图像处理方法、装置及系统
US20240062507A1 (en) Information processing device, information processing system, information processing method, and recording medium
JP2005122571A (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant