KR102148586B1 - 자동 조명 및 보안 장치 - Google Patents

자동 조명 및 보안 장치 Download PDF

Info

Publication number
KR102148586B1
KR102148586B1 KR1020187022541A KR20187022541A KR102148586B1 KR 102148586 B1 KR102148586 B1 KR 102148586B1 KR 1020187022541 A KR1020187022541 A KR 1020187022541A KR 20187022541 A KR20187022541 A KR 20187022541A KR 102148586 B1 KR102148586 B1 KR 102148586B1
Authority
KR
South Korea
Prior art keywords
interest
light source
visible light
axis
region
Prior art date
Application number
KR1020187022541A
Other languages
English (en)
Other versions
KR20180100406A (ko
Inventor
데이비드 엘비라
메흐디 펠히
프레드릭 포터
폴린 뤽
켈빈 무테
Original Assignee
네타트모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네타트모 filed Critical 네타트모
Publication of KR20180100406A publication Critical patent/KR20180100406A/ko
Application granted granted Critical
Publication of KR102148586B1 publication Critical patent/KR102148586B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V23/00—Arrangement of electric circuit elements in or on lighting devices
    • F21V23/04—Arrangement of electric circuit elements in or on lighting devices the elements being switches
    • F21V23/0442—Arrangement of electric circuit elements in or on lighting devices the elements being switches activated by means of a sensor, e.g. motion or photodetectors
    • F21V23/0471—Arrangement of electric circuit elements in or on lighting devices the elements being switches activated by means of a sensor, e.g. motion or photodetectors the sensor detecting the proximity, the presence or the movement of an object or a person
    • F21V23/0478—Arrangement of electric circuit elements in or on lighting devices the elements being switches activated by means of a sensor, e.g. motion or photodetectors the sensor detecting the proximity, the presence or the movement of an object or a person by means of an image recording device, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G06K9/00791—
    • G06K9/2018—
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

복수의 양상에서, 본 발명은 하나 이상의 적외선 광원(40, 41); 하나 이상의 가시광선 광원(50, 51); 이미지 센서(10); 이미지 센서에 의해 출력된 관심 구역의 일련의 이미지를 분석하도록 구성된 처리부(20); 및 처리부로부터 수신된 명령에 기초하여 경보 또는 하나 이상의 가시광선 광원의 활성화 중 하나 이상을 생성하도록 구성된 제어부(30)를 포함하는 장치(100)를 개시하고, 분석은 관심 구역의 일련의 이미지에서 움직이는 전경을 검출하는 것, 움직이는 전경에서 하나 이상의 특성 피처를 추적하는 것 및 하나 이상의 특성 피처를 관심 물체의 2개 이상의 유형으로 분류하는 것을 포함하고, 관심 물체의 유형은 제어부로 처리부에 의해 전송되는 명령을 결정한다.

Description

자동 조명 및 보안 장치
본 발명의 기술 분야는 자동 조명의 분야, 특히, 외부 환경의 자동 조명의 분야이다. 본 발명은 자동 조명 장치에 관한 것이다.
외부 환경을 조명하기 위해서, 움직임 검출기를 포함하는 자동 조명 장치를 사용하는 것이 알려진 관행이다. 움직임 검출기는 일반적으로 적외선 기술을 사용한다. 움직임이 검출될 때, 장치는 조명을 작동시킨다. 움직임이 검출되지 않을 때, 장치는 조명을 정지시킨다.
그러나, 이러한 장치는 상이한 범주의 물체 간에 어떠한 구별도 하지 못하는 문제점을 나타낸다. 따라서 조명은, 움직임이 예를 들어, 보행자, 동물 또는 차량의 움직임이든 간에 움직임이 검출되자마자 트리거링(trigger)된다. 이것은 불필요한 광공해를 생성한다.
복수의 종래 기술 문서는 이동 물체를 검출할 수 있고 분류할 수 있거나 또는 하나 이상의 트리거링 이벤트가 식별될 때 복수의 조치를 생성하도록 현장 또는 관심 구역(region of interest: RoI)에 있을 수 있는 이미지 센서를 개시한다. 이러한 것이 번호 제US9215781호, 제US2005002572호, 제US2015062337호로 공개된 미국 특허 및 특허 출원의 사례이다.
하지만, 이 장치 및 시스템은 특히, 개선된 식별 정확도가 거짓 경보 수의 증가 또는 연산 능력 필요조건의 증가 또는 둘 다의 비용으로 나오기 때문에 일부 제한을 갖는다. 따라서, 특히 가정환경에서, 높은 식별 정확도, 낮은 거짓 경보율, 낮은 연산 능력 필요조건 간에 개선된 균형을 가진 장치가 필요하다.
이런 이유로, 본 발명은 이미지 센서, IR 광원, 가시광선 광원 및 현장의 움직이는 전경 구성요소를 검출하도록, 움직이는 전경 구성요소를 추적하도록 그리고 가시광선 광원에 의한 현장의 조명 또는 경보를 트리거링할 수 있거나 트리거링하지 않을 수도 있는 관심 물체의 상이한 유형으로 움직이는 전경 구성요소를 분류하도록 구성된 처리부(processing unit)를 포함하는 장치를 개시한다.
더 정확히 말하면, 본 발명은, 하나 이상의 적외선 광원; 하나 이상의 가시광선 광원; 이미지 센서; 이미지 센서에 의해 출력된 관심 구역의 일련의 이미지를 분석하도록 구성된 처리부; 및 처리부로부터 수신된 명령에 기초하여 경보 또는 하나 이상의 가시광선 광원의 활성화 중 하나 이상을 생성하도록 구성된 제어부(control unit)를 포함하되, 분석은 관심 구역의 일련의 이미지에서 움직이는 전경을 검출하는 것, 움직이는 전경에서 하나 이상의 특성 피처를 추적하는 것 및 하나 이상의 특성 피처를 관심 물체의 2개 이상의 유형으로 분류하는 것을 포함하고, 관심 물체의 유형은 제어부로 처리부에 의해 전송되는 명령을 결정한다.
유리하게는, 본 발명의 장치는 통신 링크를 통해 네트워크에 더 연결되고, 경보는 통신 링크 상의 사용자 디바이스(user device)로 전송된다.
유리하게는, 제어부는 관심 물체의 이미지가 통신 링크 상의 사용자 디바이스로 전송되게 더 트리거링한다.
유리하게는, 검출은 일련의 이미지의 픽셀의 YUV 인코딩의 Y 휘도값을 사용한다.
유리하게는, 검출은 관심 구역의 일련의 이미지와 상기 관심 구역의 배경 모델의 이미지 간의 차등 이미지와 문턱값 이미지를 비교하는 것을 포함하고, 문턱값 이미지는 시프트 변동량(Shifted Variance)을 사용하여 동적으로 계산된다.
유리하게는, 추적은 특성 피처의 상관 운동의 계수기가 증가되고 그리고 부동의 계수기가 0과 같다면 검출에 의해 출력된 바운딩된 블록의 특성 피처에 우수한 피처 값을 배정하는 것을 포함한다.
유리하게는, 추적은 문턱값보다 높은 복수의 우수한 피처를 가진 바운딩된 블록을 사용하여 비네트(vignette)를 생성하는 것을 더 포함한다.
유리하게는, 분류는 신경망, 지향된 기울기의 이력 또는 보조 벡터 기계 분류기 중 하나 이상을 사용하는 것을 포함한다.
유리하게는, 신경망은 컨볼루션 신경망 분류기(Convolutional Neural Network classifier)이고 그리고 하나 이상의 완전히 연결된 층을 포함한다.
유리하게는, 카메라는 렌즈와 적외선 및 가시광선 센서를 포함하고, 적어도 하나의 적외선 광원은 적외선의 방출 콘(cone of emission)을 갖고, 적어도 하나의 가시광선 광원은 가시광선의 방출 콘을 갖고, 한편으로는 카메라의 렌즈와 그리고 다른 한편으로는 적외선 및 가시광선의 방출 콘 간에 교차점이 없다.
유리하게는, 렌즈는 회전축(A)을 갖고 그리고 센서를 향하여 지향된 법선 벡터를 가진 제1 면 및 환경을 향하여 지향된 법선 벡터를 가진 제2 면을 포함하며, 그리고 제1 면에 접하고 회전축(A)에 대해 직각인 제1 평면은 센서가 속하는 제1 반공간 및 렌즈의 제2 면 및 환경이 속하는 제2 반공간을 획정하고, 그리고 적어도 하나의 적외선 광원의 방출 콘은 제2 반공간에 배열된 정점을 갖고; 적어도 하나의 가시광선 광원의 방출 콘은 제2 반공간에 배열된 정점을 갖는다.
유리하게는, 적어도 하나의 적외선 광원은 축(A40)의 방출 콘을 갖고, 적어도 하나의 가시광선 광원은 축(A50)의 방출 콘을 가지며, 그리고 카메라는 축(A)의 흡수 콘을 갖고, 제2 반공간에서, 축(A40)과 축(A) 간의 거리는 제1 평면으로부터 멀어지게 이동될 때 일정하거나 증가되고, 그리고 제2 반공간에서, 축(A50)과 축(A) 간의 거리는 제1 평면으로부터 멀어지게 이동될 때 일정하거나 증가된다.
유리하게는, 본 발명의 장치는 복수의 가시광선 광원을 포함하되, 각각의 가시광선 광원은 축을 가진 방출 콘을 갖고, 제1 반공간에서, 복수의 가시광선 광원 중 각각의 가시광선 광원에 대해, 상기 광원의 방출 콘의 축과 각각의 다른 광원의 방출 콘의 축 간의 거리는 제1 평면으로부터 멀어지게 이동될 때 일정하거나 증가된다.
유리하게는, 렌즈는 회전축(A)을 갖고, 적어도 하나의 적외선 광원을 위한, 적어도 하나의 가시광선 광원을 위한 그리고 카메라의 렌즈를 위한 보호 구성요소를 더 포함하되, 보호 구성요소는 적외선 및 가시광선에 대해 투과성이고, 보호 구성요소는 회전축(A)에 대해 직각으로 평면을 따라 실질적으로 연장된다.
본 발명은 또한 관심 구역을 모니터링하는 방법으로서, 관심 구역을 하나 이상의 적외선 광원을 사용하여 비추는 단계; 관심 구역의 일련의 이미지를 이미지 센서에 의해 캡처하는 단계; 이미지 센서에 의해 출력된 관심 구역의 일련의 이미지를 처리부에 의해 분석하는 단계; 및 처리부로부터 수신된 명령에 기초하여 경보 또는 하나 이상의 가시광선 광원의 활성화 중 하나 이상을 제어부에 의해 생성하는 단계를 포함하는 방법을 개시하고, 분석은 관심 구역의 일련의 이미지에서 움직이는 전경을 검출하는 것, 움직이는 전경에서 하나 이상의 특성 피처를 추적하는 것 및 하나 이상의 특성 피처를 관심 물체의 2개 이상의 유형으로 분류하는 것을 포함하고, 관심 물체의 유형은 제어부로 처리부에 의해 전송되는 명령을 결정한다.
본 발명의 장치는 개선된 보안을 장치가 설치되는 위치에 제공한다.
일부 실시형태에서, 장치는 원격으로, 가능하게는 인터넷을 통해 제어될 수도 있다.
장치는, 장치의 소프트웨어가 검출, 추적 또는 분류 효율성을 개선하도록 때때로 업데이트될 수도 있고 따라서 계속해서 거짓 양성(false positive) 및/또는 거짓 음성(false negative)의 수를 감소시킬 수 있기 때문에 꽤 범용성이 있다.
본 발명의 양상 덕분에, 환경은 인간 눈에 보이는 파장 범위 내의 적외선으로 비춰진다. 카메라는 환경에 의해 반사된 적외선을 픽업(pick up)하고 그리고 환경에 의해 반사된 적외선으로부터 환경의 적어도 하나의 이미지를 생산한다.
처리부는 복수의 부류 중 적어도 하나의 부류를 이 이미지의 적어도 일부에 배정한다. 즉, 하나 이상의 부류는 전체 이미지 또는 이미지의 일부에 배정될 수 있다. 제어부는 각각의 검출된 관심 영역에 배정된 부류의 기능으로서 가시광선 광원을 작동시킨다. 따라서 사용자는 유리하게는 사용자가 가시광선을 사용하는 조명이 작동되길 원하는 하나 이상의 부류를 선택할 수 있다. 가시광선을 사용하는 조명은 사용자가 선택하지 않은 모든 부류에 대해 정지된 채로 있다.
복수의 부류는 일반적으로 다음을 포함한다:
- 미리 결정된 범주에 대한 제1 부류, 및
- 미리 결정된 범주에 속하지 않는 모든 것에 대한 제2 부류.
복수의 부류는 대안적으로 3개 이상의 부류를 포함할 수 있다.
상기 단락에 방금 설명된 피처 외에, 본 발명의 하나의 양상에 따른 자동 조명 장치는 다음 중 하나 이상의 부가적인 피처를, 개별적으로 고려하여 또는 모든 기술적으로 가능한 조합으로 가질 수 있다:
- 처리부는 이미지 내에서 적어도 하나의 관심 영역을 검출하고 그리고 복수의 부류 중 적어도 하나의 부류를 각각의 검출된 관심 영역에 배정한다. "적어도 하나의 관심 영역의 검출"은 적어도 하나의 관심 영역의 검색을 의미하는 것으로 이해되어야 한다. 이 검색의 결과는 양성 또는 음성일 수 있다. 이 검색의 결과는 적어도 하나의 관심 영역이 검출된다면 양성이다. 이 검색의 결과는 관심 영역이 검출되지 않는다면 음성이다.
- 관심 영역은 움직임을 나타내는 영역일 수 있다. 대안적으로, 관심 영역은 미리 규정된 영역, 특히, 사용자에 의해 미리 규정된 영역일 수 있다.
- 카메라는 N(N은 2 이상의 자연 정수임)개의 이미지의 필름을 획득하도록 적어도 하나의 적외선 광원에 의해 비춰진 환경을 촬영하고, 그리고 처리부는,
o 바로 연속적인 필름의 이미지의 각각의 쌍에 대해, 움직임을 나타내는 적어도 하나의 관심 영역의 검출을 수행하고,
o 각각의 검출된 관심 영역에 대해,
Figure 112018077115374-pct00001
상기 관심 영역의 k(k는 N 이하의 자연 정수임)개의 섬네일 이미지(thumbnail image)의 세트를 획득하도록 상기 관심 영역의 적시 추적을 수행하고, k개의 섬네일 이미지 각각은 상기 관심 영역을 포함하고, k개의 섬네일 이미지는 바로 연속적인 필름의 이미지로부터 추출됨;
Figure 112018077115374-pct00002
k개의 섬네일 이미지의 세트 중 적어도 하나의 섬네일 이미지의 선택을 수행하고;
Figure 112018077115374-pct00003
복수의 부류 중 하나의 부류의 선택된 섬네일 이미지에 포함된 관심 영역에 대한 배정을 위해, 선택된 적어도 하나의 섬네일 이미지에 분류 알고리즘의 적용을 수행한다.
시간(t1)에 촬영된 제1 필름의 이미지와 시간(t1)보다 늦은 시간(t2)에 촬영된 제2 필름의 이미지는, t1 < t < t2인 경우 시간(t)에 촬영된 필름의 이미지가 없다면 "바로 연속적이다".
이미지로부터 추출된 섬네일 이미지는 섬네일 이미지가 추출되는 이미지의 픽셀 치수 이하의 픽셀 치수를 가질 수 있다.
카메라의 필드에서 이동되는 하나의 동일한 관심 영역은 복수의 k개의 바로 연속적인 이미지에 나타난다. 이어서 복수의 이미지 중 각각의 이미지에 대해, 상기 관심 영역을 포함하는 섬네일 이미지가 규정된다. 복수의 N개의 섬네일 이미지가 획득된다. 이러한 관심 영역의 추적은 유리하게는 복수의 N개의 섬네일 이미지와 상기 단일의 관심 영역을 연관시키는 것을 가능하게 만든다. 따라서 N개의 관심 영역 각각과 연관된 단일의 섬네일 이미지를 가진 N개의 관심 영역을 검출하는 것이 방지된다.
상기 관심 영역의 복수의 N개의 섬네일 이미지 중 p(1 ≤ p < N인 경우 p는 자연 정수임)개의 섬네일 이미지의 하위세트를 선택하는 것 및 분류 알고리즘을 복수의 N개의 섬네일 이미지 대신에 선택된 p개의 섬네일 이미지의 상기 하위세트에 적용하는 것은, 유리하게는 분류 알고리즘의 작동과 연관된 산출 시간을 최소화하는 것을 가능하게 만든다. 상기 관심 영역의 복수의 N개의 섬네일 이미지 중 p개의 섬네일 이미지의 하위세트를 선택하는 것은 또한 분류 알고리즘에 우수한 품질의 입력 데이터를 제공함으로써, 분류 알고리즘의 정확도를 개선하는 것을 가능하게 만든다. p개의 섬네일 이미지의 하위세트는 복수의 N개의 섬네일 이미지로부터, 그 고유의 품질을 위해 실제로 선택될 수 있다. 상호 보완적인 또는 대안적인 방식으로, p개의 섬네일 이미지의 하위세트는 그 특성을 개선하도록 처리될 수 있다.
하나의 개선에 따르면, 바로 연속적인 필름의 이미지의 각각의 쌍에 대한, 움직임을 나타내는 적어도 하나의 관심 영역의 검출 단계는,
- 움직임의 영역의 세트가 검출되는 것에 따른 제1 하위단계, 및
- 움직임의 적어도 하나의 제1 유형을 제거하도록, 필터가 이전에 검출된 움직임의 영역의 세트에 적용되는 것에 따른 제2 하위단계를 포함한다.
구름의 움직임 및 바람에 의해 흔들리는 나뭇가지의 움직임은 예를 들어, 움직임의 제1 유형에 속한다. 각각의 검출된 관심 영역의 k개의 섬네일 이미지의 세트의 각각의 섬네일 이미지는 상기 검출된 관심 영역을 포함하는 가장 작은 직사각형인 것으로 규정될 수 있다. 따라서 각각의 섬네일 이미지의 크기는 최소화되고, 이는 분류 알고리즘의 작동과 연관된 산출 시간을 감소시키는 것을 가능하게 만든다. 대안적으로, 각각의 검출된 관심 영역의 k개의 섬네일 이미지의 세트의 각각의 섬네일 이미지는 상기 검출된 관심 영역을 포함하는 가장 작은 타원형인 것으로, 또는 상기 검출된 관심 영역을 포함하는 가장 작은 다각형인 것으로 규정될 수 있다. 섬네일 이미지의 치수는 하나의 관심 영역으로부터 또 다른 관심 영역으로 가변될 수 있다. 섬네일 이미지의 치수는 또한 하나의 동일한 관심 영역의 추적 동안 가변될 수 있다.
각각의 검출된 관심 영역에 대해, k개의 섬네일 이미지의 세트 중 단일의 섬네일 이미지의 선택은 유리하게는 상기 관심 영역의 움직임의 유형의 함수로서 이루어진다.
장치는 유리하게는 단일의 섬네일 이미지의 선택이 k개의 섬네일 이미지의 세트의 하위세트로부터 이루어지는 것에 따른 작동의 제1 모드를 갖고, 하위세트는 k개의 섬네일 이미지의 세트의 q개의 제1 이미지를 포함하며, q는 10 이하, 바람직하게는 5 이하의 자연 정수이다. 따라서 조명 장치의 높은 정도의 응답이 유리하게는 본 발명의 하나의 양상에 따라 가능해진다.
카메라는 렌즈와 적외선 및 가시광선 센서, 적외선의 방출 콘을 가진 적어도 하나의 적외선 광원, 및 가시광선의 방출 콘을 가진 적어도 하나의 가시광선 광원을 포함하고, 장치는 유리하게는, 한편으로는 카메라의 렌즈와 그리고 다른 한편으로는 적외선 및 가시광선의 방출 콘 간에 교차점이 없다.
"한편으로는 카메라의 렌즈와 다른 한편으로는 적외선 및 가시광선의 방출 콘 간에 교차점이 없다"는 것은 센서와 센서를 향하여 지향된 제1 면 및 환경을 향하여 지향된 제2 면을 가진 렌즈를 포함하는 카메라에 대해, 적외선의 방출 콘과 가시광선의 방출 콘이,
- 제1 면 상에서 또는 제2 면 상에서,
- 바로 양쪽 다에서, 또는 보호 구성요소 상의 반사 후에, 렌즈에 도달하지 않는다는 사실을 의미하는 것으로 이해되어야 한다. 따라서 적외선 또는 가시광선 광원 중 어떤 하나에 의한 카메라의 렌즈의 임의의 표면반사 및 임의의 오염이 방지된다.
렌즈는 회전축(A)을 갖고 그리고 센서를 향하여 지향된 법선 벡터를 가진 제1 면 및 환경을 향하여 지향된 법선 벡터를 가진 제2 면을 포함하며, 그리고 제1 면에 접하고 회전축(A)에 대해 직각인 제1 평면은 센서가 속하는 제1 반공간 및 렌즈의 제2 면 및 환경이 속하는 제2 반공간을 획정하고, 그리고 장치는, 유리하게는,
- 적어도 하나의 적외선 광원의 방출 콘이 제2 반공간에 배열된 정점을 갖고;
- 적어도 하나의 가시광선 광원의 방출 콘이 제2 반공간에 배열된 정점을 갖게 한다.
렌즈는 회전축(A)을 갖고 장치는 유리하게는 적어도 하나의 적외선 광원을 위한, 적어도 하나의 가시광선 광원을 위한 그리고 카메라의 렌즈를 위한 보호 구성요소를 포함하되, 보호 구성요소는 적외선 및 가시광선에 대해 투과성이고, 보호 구성요소는 회전축(A)에 대해 직각으로 평면을 따라 실질적으로 연장된다. 따라서 장치는 날씨 상태에 관계 없이 외부 환경에서의 사용을 위해, 단단히 밀봉되게 이루어진다. 사용자에 의한 조작의 경우에 장치의 설정의 무결성이 또한 보장된다. 마지막으로, 장치를 조작하는 사용자는 적외선 및 가시광선 광원에 기인한 임의의 화상으로부터 보호된다.
적어도 하나의 적외선 광원은 축(A40)의 방출 콘을 갖고, 적어도 하나의 가시광선 광원은 축(A50)의 방출 콘을 가지며, 그리고 카메라는 축(A)의 흡수 콘을 갖고, 장치는 유리하게는,
- 제2 반공간에서, 축(A40)과 축(A) 간의 거리가 제1 평면으로부터 멀어지게 이동될 때 일정하거나 증가되고, 그리고
- 제2 반공간에서, 축(A50)과 축(A) 간의 거리가 제1 평면으로부터 멀어지게 이동될 때 일정하거나 증가되게 한다.
따라서 렌즈, 특히, 렌즈의 제2 면에 도달하는 보호 구성요소 상의 적외선 또는 가시광선의 반사가 방지된다.
장치는 유리하게는 복수의 가시광선 광원을 포함하되, 각각의 가시광선 광원은 축을 가진 방출 콘을 갖는다. 제1 반공간에서, 복수의 가시광선 광원 중 각각의 가시광선 광원에 대해, 광원의 방출 콘의 축과 각각의 다른 광원의 방출 콘의 축 간의 거리는 유리하게는 제1 평면으로부터 멀어지게 이동될 때 일정하거나 증가된다.
따라서 가시광선의 적어도 2개의 방출 콘이 중첩되는 제2 반공간에서 구역이 획득된다. 따라서 특히, 모든 중심 할로(central halo)를 제거함으로써 가시광선을 사용하는 조명의 균일성이 개선된다.
장치는 유리하게는 복수의 적외선 광원을 포함하되, 각각의 적외선 광원은 축을 가진 방출 콘을 갖는다. 제1 반공간에서, 복수의 적외선 광원 중 각각의 적외선 광원에 대해, 광원의 방출 콘의 축과 각각의 다른 광원의 방출 콘의 축 간의 거리는 유리하게는 제1 평면으로부터 멀어지게 이동될 때 일정하거나 증가된다.
따라서 적외선의 적어도 2개의 방출 콘이 중첩되는 제2 반공간에서 구역이 획득된다. 따라서 특히, 모든 중심 헤일로를 제거함으로써 적외선을 사용하는 조명의 균일성이 개선된다.
본 발명 및 본 발명의 이점은 순전히 비제한적인 실시예로서 주어진, 특정한 실시형태의 다음의 상세한 설명을 읽을 시 더 잘 이해될 것이고, 이 설명은 첨부된 도면을 참조하여 이루어진다.
- 도 1은 본 발명의 제1 실시형태에 따른 자동 조명 장치의 개략도;
- 도 2는 본 발명의 제2 실시형태에 따른 자동 조명 장치의 개략도;
- 도 3은 본 발명의 제3 실시형태에 따른 자동 조명 장치의 개략도;
- 도 4a는 본 발명의 제3 실시형태에 따른 자동 조명 장치의 제1 단면도;
- 도 4b는 본 발명의 제3 실시형태에 따른 자동 조명 장치의 제2 단면도;
- 도 5는 본 발명의 제3 실시형태의 변형에 따른 자동 조명 장치의 단면도;
- 도 6은 본 발명의 실시형태에 따른 자동 조명 장치의 렌즈의 배열, 가시광선 광원의 배열 및 적외선 광원의 배열의 개략도;
- 도 7은 본 발명의 실시형태에 따른 자동 조명 장치의 제1 가시광선 광원의 배열 및 제2 가시광선 광원의 배열의 개략도;
- 도 8은 본 발명의 실시형태에 따른 자동 조명 장치의 처리부에 의한 이미지의 처리의 개략도;
- 도 9는 복수의 발명의 실시형태에서 본 발명에 따른, 이미지 센서를 사용하는 식별 방법의 흐름도;
- 도 10은 본 발명의 일부 실시형태에 따른, 현장에서 관심 구역의 검출 방법의 흐름도;
- 도 11은 본 발명의 일부 실시형태에 따른, 현장에서 검출되는 관심 구역의 추적 방법의 흐름도;
- 도 12는 본 발명의 일부 실시형태에 따른, 현장에서 추적되는 관심 구역의 학습/분류 과정의 아키텍처를 도시한 도면.
도 1은 본 발명의 제1 실시형태에 따른 자동 조명 장치(100)의 개략도를 도시한다. 장치(100)는,
- 적외선 광원(40),
- 렌즈(Ob) 및 센서(Ca)를 포함하는 카메라(10),
- 적어도 하나의 이미지를 처리하기 위한 처리부(20),
- 가시광선 광원(50),
- 가시광선 광원(50)을 제어하기 위한 제어부(30), 및
- 적외선 광원(40)을 위한, 가시광선 광원(50)을 위한 그리고 렌즈(Ob)를 위한 보호 구성요소(60)를 포함한다.
"가시광선"은 일반적으로 인간 사용자에게 보이는 광, 즉, 파장이 실질적으로 범위[380㎚; 780㎚]에 속하는 광을 의미하는 것으로 이해된다. "적외선"은 일반적으로 인간 사용자에게 보이지 않고 파장이 780㎚ 초과인 광을 의미하는 것으로 이해된다. 적외선 광원은 발광 다이오드 또는 LED일 수 있다. 유사하게, 가시광선 광원은 LED 또는 대안적으로, 할로겐 램프 또는 네온 램프 등일 수 있다. 가시광선 광원, 적외선 광원 및 카메라는 도 1에 나타낸 바와 같이, 단일 모듈 내에서 결합될 수 있다. 대안에 따르면, 가시광선 광원은 제1 모듈 내에 위치될 수 있고, 반면에 적외선 광원 및 카메라는 제1 모듈과는 다른 제2 모듈 내에서 결합된다. 또 다른 대안에 따르면, 가시광선 광원은 제1 모듈 내에 위치될 수 있고, 적외선 광원은 제1 모듈과는 다른 제2 모듈 내에 위치될 수 있고 그리고 카메라는 제1 모듈 및 제2 모듈과는 다른 제3 모듈 내에 위치될 수 있다.
작동의 제1 모드로, 적외선 광원(40)은 영구적으로 작동된다. 작동의 제2 모드로, 적외선 광원(40)은 정지될 수 있다. 작동의 제1 모드는 예를 들어, 밤 동안 작동된다. 작동의 제2 모드는 예를 들어, 낮 동안 작동된다. 따라서 작동의 제1 모드로, 환경은 각각의 순간에 적외선으로 비춰진다. 그래서 카메라(10)는 적외선으로 비춰진 환경을 촬영할 수 있다.
카메라(10)에 의해 촬영된 각각의 이미지는 일반적으로 환경에 의해 반사되고 그리고 센서(Ca)에 도착하는 적외선 덕분에 획득된다. 카메라(10)의 센서(Ca)는 예를 들어, CMOS 센서이다.
처리부(20)는 예를 들어, 마이크로제어기 또는 마이크로프로세서일 수 있다. 유사하게, 제어부(30)도 예를 들어, 마이크로제어기 또는 마이크로프로세서일 수 있다. 단일의 마이크로제어기 또는 마이크로프로세서는 처리부(20) 및 제어부(30)를 동시에 포함할 수 있다.
보호 구성요소(60)는 장치(100)를 밀봉하고 따라서 외부 환경에서 장치의 사용을 허용하지만, 적외선 및 가시광선에 대해 투과성이다.
도 2는 본 발명의 제2 실시형태에 따른 자동 조명 장치(101)의 개략도를 도시한다. 본 발명의 제2 실시형태에 따른 장치(101)는, 적외선 광원(40)과 한편으로는 가시광선 광원(50)을 그리고 다른 한편으로는 카메라(10)를 분리하는 분리 구성요소(Se)를 포함한다. 분리 구성요소(Se)는 적외선 광원(40)으로부터의 방사선 및/또는 가시광선 광원(50)으로부터의 방사선이 카메라(10)의 센서(Ca)에 도달하는 것을 방지하는 것을 가능하게 만든다.
본 발명의 제2 실시형태에 따르면, 보호 구성요소(60)는 적외선 광원(40)의 보호 및 가시광선 광원(50)의 보호를 위한 제1 부분(61)과 카메라(10)의 보호를 위한 제2 부분(62)으로 나눠진다.
도 3은 본 발명의 제3 실시형태에 따른 자동 조명 장치(102)의 개략도를 도시한다. 본 발명의 제3 실시형태에 따른 장치(102)는 적외선 필터(fIR)를 포함한다. 적외선 필터(fIR)는 일반적으로 각각 도 4a 및 도 4b와 관련되어 예시되는, 제1 위치 또는 제2 위치에 배열될 수 있다.
도 4a는 본 발명의 제3 실시형태에 따른 장치(102)의 제1 단면도를 도시한다. 도 4a는 제1 위치에 배열된 적외선 필터(fIR)를 도시한다. 제1 위치에서, 적외선 필터(fIR)는, 적외선이 센서(Ca)를 관통할 수 있도록 센서(Ca)로부터 이격된다.
도 4b는 본 발명의 제3 실시형태에 따른 장치(102)의 제2 단면도를 도시한다. 도 4b는 제2 위치에 배열된 적외선 필터(fIR)를 도시한다. 제2 위치에서, 적외선 필터(fIR)는, 적외선이 센서(Ca)를 관통하는 것을 방지하도록 카메라(10)의 렌즈(Ob)와 센서(Ca) 간에 배치된다.
제3 실시형태에 따른 자동 조명 장치(102)는 유리하게는 낮 또는 밤 언제라도 작동할 수 있다: 적외선 필터(fIR)는 밤 동안 제1 위치에 그리고 낮 동안 제2 위치에 배치된다. 실제로, 인간 사용자를 위해, 카메라(10)에 의해 픽업된 이미지의 렌더링(rendering)을 개선하기 위해서, 낮 동안 태양에 의해 방출된 적외선을 차단하는 것이 바람직하다.
방금 설명된 제2 실시형태와 제3 실시형태는, 분리 구성요소(Se) 및 적외선 필터(fIR)를 포함하는 자동 조명 장치를 획득하도록, 함께 결합될 수 있다.
도 5는 본 발명의 제3 실시형태의 변형에 따른 자동 조명 장치(102')의 단면도를 도시한다. 자동 조명 장치(102')는 복수의 적외선 광원 및 복수의 가시광선 광원을 포함한다. 도 5의 특정한 실시예에서, 복수의 적외선 광원은 적외선 광원(40) 및 제2 적외선 광원(41)을 포함한다. 대안적으로, 복수의 적외선 광원은 3개 이상의 적외선 광원을 포함할 수 있다. 계속해서 도 5의 특정한 실시예에서, 복수의 가시광선 광원은 가시광선 광원(50) 및 제2 가시광선 광원(51)을 포함한다. 대안적으로, 복수의 가시광선 광원은 3개 이상의 가시광선 광원을 포함할 수 있다.
방금 설명된 제3 실시형태의 변형은 제1 실시형태 및 제2 실시형태와 호환 가능하다. 즉,
- 제1 실시형태에 따른 장치(100)는 변형에 따라, 복수의 적외선 광원 및 복수의 가시광선 광원을 포함할 수 있고, 그리고
- 제2 실시형태에 따른 장치(101)는 변형에 따라, 복수의 적외선 광원 및 복수의 가시광선 광원을 포함할 수 있다.
제1 실시형태, 제2 실시형태 및 제3 실시형태의, 예시되지 않은, 제2 변형에 따르면, 자동 조명 장치는 단일의 적외선 광원 및 복수의 가시광선 광원을 포함할 수 있다. 제1 실시형태, 제2 실시형태 및 제3 실시형태의, 예시되지 않은, 제3 변형에 따르면, 자동 조명 장치는 복수의 적외선 광원 및 단일의 가시광선 광원을 포함할 수 있다.
본 발명의 실시형태 중 하나에 따른 자동 조명 장치는 유리하게는 가속도계를 포함한다. 따라서 자동 조명 장치의 움직임은 필요할 경우, 관찰된 환경 내에서 움직임의 부정확한 검출을 방지하도록 검출될 수 있다.
본 발명의 실시형태 중 하나에 따른 자동 조명 장치는 유리하게는 신호를 적어도 하나의 모바일 단말기로부터 수신하고, 그리고 신호를 적어도 하나의 모바일 단말기로 전송하는 것을 가능하게 만드는 통신 인터페이스를 포함한다. 통신 인터페이스는 예를 들어, 무선주파수 인터페이스 또는 와이파이 인터페이스 또는 블루투스 인터페이스 또는 지그비 인터페이스 등일 수 있다.
도 6은 본 발명의 실시형태 중 하나에 따른 자동 조명 장치의 가시광선 광원(50)과 적외선 광원(40)의, 렌즈(Ob)의 배열의 개략도를 도시한다. 회전축(A)을 가진 렌즈(Ob)는,
- 센서(Ca)를 향하여 지향된 법선 벡터(nf1)를 가진 제1 면(f1), 및
- 환경을 향하여 지향된 법선 벡터(nf2)를 가진 제2 면(f2)을 포함한다.
제1 면(f1)에 접하고 그리고 렌즈(Ob)의 회전축(A)에 대해 직각인 제1 평면(P1)은,
- 센서(Ca)가 속하는 제1 반공간(dE1), 및
- 렌즈(Ob)의 제2 면(f2)과 환경이 속하는 제2 반공간(dE2)을 획정한다.
도 6은,
- 가시광선 광원(50)이 축(A50)과 정점(s50)의, 방출 콘(c50)을 갖고, 그리고
- 적외선 광원(40)이 축(A40)과 정점(s40)의, 방출 콘(c40)을 가짐을 도시한다.
가시광선 광원(50)의 방출 콘(c50)이 렌즈(Ob)의 제1 면(f1)에 입사되지 않기 위해서, 가시광선 광원(50)은 유리하게는 방출 콘(c50)의 정점(s50)이 제2 반공간(dE2)에 위치되도록 배열된다.
유사하게, 적외선 광원(40)의 방출 콘(c40)이 렌즈(Ob)의 제1 면(f1)에 입사되지 않기 위해서, 적외선 광원(40)은 유리하게는 방출 콘(c40)의 정점(s40)이 제2 반공간(dE2)에 위치되도록 배열된다.
본 발명의 실시형태 중 하나에 따른 자동 조명 장치는 우선적으로 보호 구성요소(60)를 포함한다. 적외선 광원(40)에 의해 방출된 방사선은 보호 구성요소(60)에 의해 부분적으로 반사될 것이다. 보호 구성요소(60) 상에 반사된 이러한 방사선이 렌즈(Ob)의 제2 면(f2)에 도달하는 것을 방지하기 위해서, 적외선 광원(40)은 유리하게는, 제2 반공간(dE2)에서, 적외선 광원(40)의 축(A40)과 렌즈(Ob)의 회전축(A) 간의 거리가 제1 평면(P1)으로부터 멀어지게 이동될 때 일정하거나 증가되도록, 배열된다.
도 6은, 예를 들어,
- 제2 반공간(dE2)에서 제1 평면(P1)으로부터 제1 거리에서, 렌즈의 회전축(A)과 적외선 광원(40)의 축(A40) 간에 측정된 제1 거리(D1), 및
- 제2 반공간(dE2)에서 제1 평면(P1)으로부터, 제1 거리보다 긴 제2 거리에서, 렌즈의 회전축(A)과 적외선 광원(40)의 축(A40) 간에 측정된 제2 거리(D2)를 도시한다.
제2 거리(D2)는 제1 거리(D1) 이상이다.
유사하게, 가시광선 광원(50)에 의해 방출된 방사선은 보호 구성요소(60)에 의해 부분적으로 반사될 것이다. 보호 구성요소(60) 상에 반사된 이러한 방사선이 렌즈(Ob)의 제2 면(f2)에 도달하는 것을 방지하기 위해서, 가시광선 광원(50)은 유리하게는, 제2 반공간(dE2)에서, 가시광선 광원(50)의 축(A50)과 렌즈(Ob)의 회전축(A) 간의 거리가 제1 평면(P1)으로부터 멀어지게 이동될 때 일정하거나 증가되도록, 배열된다.
본 발명의 양상에 따른 자동 조명 장치가 복수의 가시광선 광원(각각의 가시광선 광원은 방출 콘을 가짐)을 포함할 때, 상기 복수의 가시광선 광원은 제2 반공간(dE2)에서, 가시광선의 적어도 2개의 방출 콘이 중첩되는 구역을 획득하도록 우선적으로 배열된다.
유사하게, 본 발명의 양상에 따른 자동 조명 장치가 복수의 적외선 광원(각각의 적외선 광원은 방출 콘을 가짐)을 포함할 때, 상기 복수의 적외선 광원은 제2 반공간(dE2)에서, 적외선의 적어도 2개의 방출 콘이 중첩되는 구역을 획득하도록 우선적으로 배열된다.
이 점에 있어서, 도 7은 복수의 가시광선 광원을 포함하는 자동 조명 장치의 가시광선 광원의 배열의 개략도를 도시한다. 도 7의 장치는,
- 방출 콘(c50), 축(A50) 및 정점(s50)을 가진 가시광선 광원(50), 및
- 방출 콘(c51), 축(A51) 및 정점(s51)을 가진 제2 가시광선 광원(51)을 포함한다.
가시광선 광원(50)과 제2 가시광선 광원(51)은 유리하게는, 제1 반공간(dE1)에서, 가시광선 광원(50)의 축(A50)과 제2 가시광선 광원(51)의 축(A51) 간의 거리가 제1 평면(P1)으로부터 멀어지게 이동될 때 일정하거나 증가되도록, 배열된다.
도 7은, 예를 들어,
- 제1 반공간(dE1)에서 제1 평면(P1)으로부터 제1 거리에서, 가시광선 광원의 축(A50)과 제2 가시광선 광원의 축(A51) 간에 측정된 제3 거리(D3), 및
- 제1 반공간(dE1)에서 제1 평면(P1)으로부터, 제1 거리보다 긴 제2 거리에서, 가시광선 광원의 축(A50)과 제2 가시광선 광원의 축(A51) 간에 측정된 제4 거리(D4)를 도시한다.
제4 거리(D4)는 제3 거리(D3) 이상이다.
복수의 가시광선 광원에 대해 도 7에 예시된 배열은 복수의 적외선 광원과 뒤바뀔 수 있다.
도 8은 본 발명의 실시형태 중 하나에 따른 자동 조명 장치의 처리부(20)에 의한 이미지(Im)의 처리의 개략도를 도시한다. 도 8에 나타낸 특정한 실시예에서, 처리부(20)는 이미지(Im)에서 제1 관심 영역, 제2 관심 영역 및 제3 관심 영역(z1, z2 및 z3)을 검출한다. 제1 관심 영역(z1)은 예를 들어, 움직이고 있는 보행자이다. 제2 관심 영역(z2)은 예를 들어, 움직이고 있는 차량이다. 제3 관심 영역(z3)은 예를 들어, 움직이고 있는 동물이다. 처리부(20)는 제1 관심 영역(z1)에 대한 제1 섬네일 이미지(v1), 제2 관심 영역(z2)에 대한 제2 섬네일 이미지(v2) 및 제3 관심 영역(z3)에 대한 제3 섬네일 이미지(v3)를 규정한다. 처리부(20)는 복수의 부류 중 하나의 부류를 각각의 관심 영역에 배정한다. 제1 실시예에서, 복수의 부류는,
- 제1 범주에 관한 제1 부류, 및
- 제1 범주에 속하지 않는 모든 구성요소에 관한 제2 부류를 포함한다.
제1 실시예에 따르면, 제어부(30)는 제1 부류가 적어도 하나의 섬네일 이미지에 배정되자마자 가시광선 광원을 작동시킬 수 있다.
제1 범주는 예를 들어, 보행자이다. 대안적으로, 제1 범주는 동물 또는 차량일 수 있다. 제1 범주가 보행자인 경우에, 처리부(20)는 제1 부류를 제1 섬네일 이미지(v1)에 배정하고 그리고 제2 부류를 제2 섬네일 이미지 및 제3 섬네일 이미지(v2 및 v3)에 배정한다.
제2 실시예에서, 복수의 부류는,
- 제1 범주에 관한 제1 부류,
- 제1 범주와는 다른 제2 범주에 관한 제2 부류, 및
- 제1 범주 또는 제2 범주에 속하지 않는 모든 구성요소에 관한 제3 부류를 포함한다.
제1 범주가 보행자인 경우에, 제2 범주는 동물 또는 차량이다. 제2 실시예에 따르면, 제어부(30)는, 제1 부류가 적어도 하나의 섬네일 이미지에 배정되자마자 또는 제2 부류가 적어도 하나의 섬네일 이미지에 배정되자마자 가시광선 광원을 작동시킬 수 있다.
제3 실시예에서, 복수의 부류는,
- 제1 범주에 관한 제1 부류,
- 제2 범주에 관한 제2 부류,
- 제3 범주에 관한 제3 부류, 및
- 제1 범주 또는 제2 범주 또는 제3 범주에 속하지 않는 모든 구성요소에 관한 제4 부류를 포함한다.
제1 범주가 보행자이고 그리고 제2 범주가 동물인 경우에, 제3 범주는 예를 들어, 차량이다. 제3 실시예에 따르면, 제어부(30)는, 제1 부류가 적어도 하나의 섬네일 이미지에 배정되자마자 또는 제2 부류가 적어도 하나의 섬네일 이미지에 배정되자마자 또는 제3 부류가 적어도 하나의 섬네일 이미지에 배정되자마자 가시광선 광원을 작동시킬 수 있다.
도 9는 복수의 발명의 실시형태에서 본 발명에 따른, 이미지 센서를 사용하는 식별 방법의 흐름도를 나타낸다.
본 발명에 따르면, 조명 장치(100)는 하나 이상의 조치를 트리거링할 관심 물체를 결정하도록 구성되는 처리부(20)를 포함한다. 조치 중 하나는, 하나 이상의 적외선(IR) 광원(40, 41)에 의해 비춰지고 그리고 이미지 센서(10)에 의해 검출되는 관심 물체의 유형에 따라, 제어부(30)를 통해 가시광선의 하나 이상의 광원(50, 51)을 ON 상태로 설정하거나 또는 OFF 상태로 두는 것이다. 또 다른 가능한 조치는 국지적으로 생성될 수 있거나 또는 원격 위치로 전송될 수도 있는 경보를 트리거링하는 것이다. 그래서 장치가 설치되는 재산의 소유자 또는 재산을 모니터링하는 업무를 하는 경비원은, 특히, 통신 링크를 사용하여 장치로 소유자 또는 경비원에게 전송될 수도 있는 이미지 센서(10)에 의해 캡처된 이미지에 기초하여 적절한 조치를 취할 수도 있다.
본 발명에 따르면, 복수의 단계는 적절한 명령이 제어부로 전송될 수 있기 전에 구현되어야 한다.
처리부(20)는, 이미지 센서의 시야에서 발생하는 이벤트가 명령 또는 경보를 트리거링해야 하거나 트리거링하지 않아야 하는지를 결정하도록 조명 장치의 하드웨어에 내장될 수 있거나 또는 처리부에 연결된 메모리에 저장될 수도 있는 처리 논리를 포함한다.
처리 논리는 거짓 경보의 수를 최소화하고, 경보 이벤트의 참 검출의 수를 최대화하고 그리고 사용되는 처리 능력을 최소화하도록 구성된다.
본 발명자는 이 최적화를 달성하기 위해서, 이미지 분석의 3개의 연속적인 처리 단계를 구현하는 처리 아키텍처를 사용하는 것이 유리하다는 것을 알아냈다:
- 제1 단계(910)에서, 움직이는 전경이 센서로부터 이미지의 시리즈를 분석함으로써 고정 배경으로부터 구분에 의해 검출된다;
- 제2 단계(920)에서, 검출된 움직이는 전경의 피처는 피처가 유효한 관심 물체인지를 확인하도록 추적된다;
- 제3 단계(930)에서, 추적된 유효한 관심 물체는 심원한 학습 기법을 구현하는 분류기를 사용하여 미리 결정된 부류 또는 유형으로 분류된다.
이미지 분석은 이미지로부터 중요한 정보를 추출하도록 사용되는 컴퓨터 기술 분야이다. 본 발명의 바람직한 실시형태의 사용 사례에서, 관심 구역(RoI), 즉, 이동 물체가 검출되고 그리고 나서 현장에 나타나는 관심 물체(Object of Interest: OoI)의 유형으로 분류되는 구역을 포함하는 건물을 둘러싸는 현장에 적용된다. 검출 단계와 분류 단계 간에, 이동 물체의 특성 피처가 추적된다.
본 발명의 변형에서, 물체가 미리 규정된 유형(인간, 동물, 차량 등...)의 관심 물체(OoI)일 확률을 포함하는 분류 단계(930)의 출력은, OoI가 이전에 이미 보였는지를 검사하기 위해 OoI를 중복제거하도록 더 처리될 수도 있다. 이 변형에서, OoI가 규정된 부류 중 하나에 속하는 확률은 중복제거 단계(932)로 지나간다(단계 931). OoI가 이전에 보였다면, OoI는 폐기되고 그리고 어떠한 조치(광원을 ON 상태로 설정, 경보를 트리거링 또는 통지를 전송)도 취해지지 않고 그리고 OoI는 무시된다(단계 933). OoI가 최근의 프레임 순서로 보이지 않았다면, 광원을 ON 상태로 설정하고 경보를 트리거링하거나 또는 사용자에게 통지하는 조치 중 하나 이상이 수행된다(단계 940). OoI가 이전에 보였는지를 결정하도록 고려되는 시간은 단 몇 초이다. 시간은 사용자 규정될 수도 있거나 또는 장치의 이 기능에 대한 메모리 배정에 의해 규정될 수도 있다.
적절한 명령 또는 경보는 최소 거짓 경보 및 최대 참 양성(true positive)으로 트리거링될 수도 있고, 사용 사례와 일치하는 시간에 처리부의 능력과 일치하는 처리 능력을 사용한다.
또 다른 변형에서, 분류 오류를 보고하는 것이 일부 사용자에게 제안될 수도 있다. 이 오류는 참 분류의 확률을 개선하도록 그리고 거짓 양성을 최소화하도록 분류기에 공급된다.
단계(910, 920 및 930) 각각에서 수행되는 작동은 각각 도 10, 도 11 및 도 12와 관련되어 이하에 더 상세히 설명된다.
일부 사용 사례에서, 관심 물체의 부류 또는 유형은 예를 들어 인간, 동물, 차량일 수도 있다. 하지만 다른 부류가 추가될 수도 있다. 또는 단 하나의 부류 또는 2개의 부류가 전등을 ON 상태로 설정하거나 경보를 트리거링하게 트리거링하도록 선택될 수도 있다.
도 10은 본 발명의 일부 실시형태에 따른, 현장에서 관심 구역의 검출 방법의 흐름도를 나타낸다.
현장에서 관심 구역의 검출 단계의 목적은 현장의 일련의 이미지에서 관심 구역을 포함할 움직이는 전경을 고정 배경으로부터 구별하는 것이다. 방법은 우선 기준 이미지를 제공하도록 현장의 배경을 모델링하는 것으로 이루어진다. 이어서 움직이는 이미지와 기준 이미지 간의 비교(즉, 배경 공제 또는 전경 추출)가 "움직임"으로서 분류된 픽셀을 생성한다. 이 단계를 효율적으로 수행하기 위한 방법의 설계자는 특히, 복수의 어려움에 직면할 것이다:
- 조명 변화, 낮/밤 동안 태양 또는 달의 느린 위치 변화, 또는 하늘에서 구름의 갑작스러운 움직임;
- 동적인 배경, 예컨대, 바람에 움직이는 나무 또는 컬러가 변화되는 신호등;
- 위장, 배경 현장과 대조를 이루지 않는 이동 물체의 경우;
- 일반적으로 형상-기반될 때 분류를 복잡하게 만들 수도 있는 그림자;
- 변화되는 배경, 예를 들어, 고정 차량이 움직이기 시작할 때, 배경으로서 고려되기에 너무 멀었던 현장의 부분이 움직이는 전경이 될 것임...
- 센서 자체로부터 또는 센서와 연관된 이미지 처리(압축)로부터 나올 수도 있고 그리고 검출의 출력 시 재생산되는, 이미지 센서 노이즈.
다른 인공물이 또한 검출의 품질에 영향을 줄 수도 있지만, 발명자는, 상기에 나열된 것을 처리하여, 발명자가 명확하게 식별하지 못하는 인공물의 대부분과 직면하기에 충분히 강력한 검출 방법을 도출할 것이라고 믿는다.
발명자에 의해 적용되는 제1 원리는 배경 모델(Background Model: BM, 1010)을 충분히 자주 업데이트하는 것이다. BM은 FIFO("First In First Out") 메모리에 저장되는 현재의 이미지 프레임 이전의 복수의 프레임으로부터 구성된다. FIFO에서 사용된 픽셀의 크기(n)는 적절하게 느린 조명 변화의 영향을 방지하기에 충분히 작고 그리고 보통 움직이지 않고 배경으로서 고려되어야 하는 현장의 부분을 포함하기에 충분히 커야 한다. 발명자는 수 초의 지속기간(또는 24fps에 50개 내지 250개의 프레임-즉, 초당 프레임)이 우수한 절충안임을 실험적으로 알아냈다. 이미지 센서 처리에 의한 YUV 인코딩에서 Y 휘도 데이터는 BM을 구성하도록 현장의 일련의 이미지로부터 정보를 추출하기에 충분하다는 것을 주의하라.
효율적인 BM은 버퍼의 중앙 휘도값을 갖는 픽셀이 배경에 속한다는 추정을 함으로써 구축될 수도 있다. 하지만 시간에 걸쳐 가변하는 시리즈의 중앙값을 계산하는 것은 계산적으로 복잡하다. 이것은 변형 시, 발명자가 버퍼의 픽셀 휘도값의 시리즈의 연속 평균을 사용하기 때문이다.
연속 평균을 산출하기 위해서, 버퍼의 픽셀의 복수의 선택이 이루어질 수도 있다: 버퍼의 p개의 가장 최신에 해당하는 픽셀 또는 버퍼의 p개의 가장 오래된 픽셀, p는 상기에 설명된 바와 같이 최적인 것으로 결정된 FIFO의 픽셀의 수 n에 해당하도록 선택된 픽셀의 수이다. 발명자는 현재의 BM에 가장 가까운 평균을 산출하는 옵션을 선택하는 것이 유리하다는 것을 실험적으로 알아냈다.
단계(1050)에서, 움직임 이미지는, 입력 프레임(프레임의 청소가 수행되는 경우에, 즉, 이하에 설명된 바와 같은 노이즈를 억제하도록, 미리 처리된 프레임(1020)일 수도 있음)의 해당하는 픽셀로부터 BM 프레임의 해당하는 픽셀의 휘도의 공제가 프레임의 문턱값 이미지(TI)의 해당하는 픽셀의 계산된 휘도보다 높을 때 프레임의 픽셀의 휘도값을 1로 설정함으로써 그리고 조건이 충족되지 않을 때 이 휘도값을 0으로 설정함으로써 구성된다.
1050 테스트로 진행되기 전에, 동적인 문턱값 이미지(TI)가 계산된다(단계(1040)). 발명자는 고정된 문턱값이 그늘진 영역에서 다수의 거짓 음성을 생성하고, 반면에 밝은 영역에서의 경우는 아닌 것을 알아냈다. 이 원하지 않는 효과를 오프셋하기 위해서, 시프트 변동량이 단계(1040)에서 계산된다. 시프트 변동량은 단계(1030)에서,
Figure 112018077115374-pct00004
이도록 계산되고,
여기서,
- s는 전류 픽셀이고;
-
Figure 112018077115374-pct00005
는 전류 픽셀(s)에 해당하는 문턱값이고;
-
Figure 112018077115374-pct00006
는 전류 픽셀(s)에 해당하는 시프트 변동량이고;
- α, β는 휴리스틱(heuristic)에 기초하여 선택되는 매개변수이다.
휴리스틱은 2개의 고려 사항에 기초한다:
- 밝은 영역에서, 문턱값은 더 높아야 한다;
- 높은 변동량을 가진 픽셀에 대해, 문턱값은 또한 더 높아야 한다.
발명자는 매개변수(α 및 β)를 30 및 3으로 각각 설정하는 것이 밝은 영역에서 거짓 양성률을 증가시키는 일 없이 그늘진 영역에서 거짓 음성률(false negative rate)을 감소시킬 것이지만, 다른 값도 가능하다는 것을 알아냈다.
본 발명의 일부 실시형태에서, BM 및 현재의 프레임 양자는 노이즈의 영향을 감소시키도록 전처리 단계(1020)를 통해 흐릿(즉, 콘트라스트(contrast) 감소)될 수도 있다.
문턱값 설정(1050)은
Figure 112018077115374-pct00007
이기 위한 이미지의 추출의 결과이다. 이 단계는 제1 전경 프레임(1060)을 생산한다.
이어서, 본 발명의 일부 실시형태에서, 배경 청소는 현재의 프레임으로부터 제1 전경 프레임을 공제함으로써 수행될 수도 있다(1070). 이것은 수정된 배경(BM')을 생산하고(1080) 수정된 배경(BM')을 사용하여 제2 문턱값 설정이 제2 전경 프레임(10A0)을 생산하도록 수행될 수도 있다(1090).
이어서, 본 발명의 일부 실시형태에서, 제2 전경 프레임(10A0)의 후처리가 단계(10B0)에서 수행될 수도 있다. 이 단계의 목적 중 하나는 노이즈일 수도 있고 그리고 게다가 적절히 분류되기에 매우 작은 이미지의 부분을 제거하는 것일 것이다. 발명자는 예를 들어,
Figure 112018077115374-pct00008
과 같은 광-기하학적 관계를 사용하여 1.6m 높이의 사람을 검출하는데 필수적인 픽셀의 최소 크기를 결정할 수 있고:
여기서:
- H는 발명자가 검출하기 원하는 물체 또는 사람의 최소 높이이고;
- W는 프레임의 픽셀의 폭이다;
- θ는 수평 화각의 절반이고;
- DM은 최대 검출 거리이다.
5M 픽셀의 이미지 센서를 사용하여, 20m로부터 센서를 사용하여 검출 가능할 1.6m 높이의 물체의 최소 크기는 약 100 픽셀이다. 최소 높이와 폭을 결합하는 것은 구조적 구성요소 또는 바운딩 박스(Bounding Box: BB)를 규정하는 것을 허용한다. BB보다 작지만 충분히 비슷한 크기의 전경에서의 물체는 군으로 분류될 것이고, 반면에 BB보다 작지만 외딴 물체는 또한 필터링될 것이다.
검출 과정의 출력은 추적 과정을 통과하는 BB 벡터(10C0)의 세트이다.
발명의 검출 과정은 이미지 픽셀의 회색 레벨만을 고려하고 그리고 시프트 변동량을 계산할 시 "고스팅(ghosting)" 효과를 보상한다는 점에서 특히 주목할 만하다.
본 발명의 검출 과정이 복수의 특정한 피처와 함께 설명되지만, 피처가 성능을 개선할 수도 있지만, 용인되는 결과를 달성하도록 필수적이지는 않다는 의미에서 복수의 피처가 임의적임이 이해된다.
도 11은 본 발명의 일부 실시형태에 따른 현장에서 검출되는 관심 구역의 추적 방법의 흐름도를 나타낸다.
상기에 설명된 검출 과정은 특히 일부 BB를 느슨하게 하는 것을 허용하는 이점을 나타낸다. 따라서, 추적은 종래 기술의 추적보다 간단할 수도 있다.
본 발명의 추적 과정은 Bouguet("Pyramidal Implementation of the Lucas Kanade Feature Tracker", Intel Corp. Microprocessor Research Labs, 2000)에서 설명된 방법으로부터 도출된다. 이 과정은 Lucas 및 Kanade의 "An Iterative Image Registration Technique with an Application to Stereo Vision"(7차 인공 지능 국제 회의의 회보, Vol. 2, IJCAI'81, pp. 674-679, 1981) 그리고 Tomasi 및 Shi의 "Good Features to Track"(컴퓨터 비전 및 패턴 인식에 관한 1994 I3E 회의, CVPR'94, pp. 593-600, 1994)을 기반으로 한다.
본 발명의 일부 실시형태에서, 검출 과정으로부터 각각의 전경 추출 출력에서, 검출된 BB는 기존의 추적자의 위치와 비교되어, 비교 가능한 추적자가 복수의 기존의 추적자 내에 아직 존재하지 않을 때 새로운 추적자의 생성을 야기한다. 추적자는 추적자에 기인된 BB 내의 우수한 피처(Good Feature: GF)를 찾는다. 이어서 GF는 상기에 언급된 참조에 설명된 수정된 피라미드 Lucas Kanade 피처를 사용하여 프레임으로부터 프레임으로 전개된다. 사용된 알고리즘은 이하에 설명된 유형의 알고리즘이다:
Figure 112018077115374-pct00009
형태의 방정식이 해결되어야 하고, 여기서 Z는 이미지에서 산출된 2×2 행렬이고, d는 발견될 평행 이동이고, e는 오류 벡터이다.
행렬은 고유값(λ1 및 λ2)의 최소화 기준을 충족해야 한다: Min(λ1, λ2)>λ, 여기서 λ는 시행착오에 의해 적절히 선택된 문턱값이다.
그래서, 최소 오류 벡터는 다음의 수식:
Figure 112018077115374-pct00010
을 사용함으로써 계산된다:
여기서 w는 프레임(I)로부터 프레임(J)로 윈도우(W)의 변환을 발견하기 위해 e를 최소화하도록 선택되어야 하는 가중 함수이다. 이것은 실제의 물리적 지점과 깊이 불연속 지점 또는 다른 신뢰할 수 없는 지점, 예컨대, 실제로 독립적으로 이동하거나 또는 광의 반사에 의해 생산되는 폐쇄 피처 간의 구별을 허용한다.
본 발명의 일부 실시형태에 따르면, 추적 과정은 다음의 단계를 통해 구현될 수도 있다.
단계(1111, 1112)에서, 검출 과정에 의해 출력된 바운딩된 블록(Bounded Block)(BBi, BBi + 1)은 추적 과정에 의해 획득된다. 단계(1121)에서, 추적자(Tj)는 이전의 단계(도면에 예시되지 않음)의 결과로서 생성된다. 단계(1131)에서, BBi, BBi +1은 Tj와 비교된다. 비교 테스트가 성공적이라면, Tj는 BBi 및/또는 BBi +1을 흡수한다(1141). 비교 테스트가 실패라면, 새로운 추적자(Tj + 1)가 생성된다(1142).
추적자(Tj, Tj + 1)의 GF는 본 발명의 일부 실시형태에서, 다음의 데이터를 사용하여 업데이트 및 모니터링된다(1151):
- 좌표;
- 지난 변위 및 지지난 변위;
- 복수의 움직임-관련된 계수기.
움직임-관련된 계수기는 지난 변위 및 지지난 변위가 대략 동일한 방향으로 있을 때 증대될 수도 있는 상관 운동의 계수기를 포함할 수도 있다. 움직임-관련된 계수기는 또한 지난 변위가 문턱값 이하일 때 증대될 수도 있고 그리고 지난 변위가 이 문턱값 이상일 때 0으로 설정될 수도 있는 부동의 계수기를 포함할 수도 있다. 그래서, 복수의 상태는 추적자의 피처의 운동이 상기 피처를 GF가 되게 수정하는지를 결정하도록 규정(예를 들어, 유효, 중간 그리고 나쁨)될 수도 있다.
이어서, 단계(1161)에서, 복수의 결정이 추적 알고리즘에 의해 이루어진다: 상태가 나쁠 때, 피처는 킬링되고(kill); 새로운 GF는 또한 새로운 GF가 다른 GF에 충분히 가깝다면, 동일한 휴리스틱에 기초하여 생성된다. 추적자는 또한 합쳐질 수도 있다.
이이서, 단계(1171)에서, 비네트(Vignette)(Vk)는 충분한 수의 GF를 가진 추적자를 사용하여 생성된다. 본 발명의 일부 실시형태에서, 비네트는 품질 지수에 의해 등급이 매겨질 수도 있다.
본 발명의 추적 과정은, 추적 과정이 특히, 상이한 속도로 그리고 흐릿한 배경에서 가능하게 움직이는 추적될 다양한 물체를 특징으로 할 수도 있는 사용 사례에서, 상기에 언급된 종래 기술의 추적 과정보다 우수한 결과를 생산한다는 점에서 주목할 만하다.
본 발명의 추적 과정이 복수의 특정한 피처와 함께 설명되지만, 피처가 성능을 개선할 수도 있지만, 용인되는 결과를 달성하도록 필수적이지는 않다는 의미에서 복수의 피처가 임의적임이 이해된다.
도 12는 본 발명의 일부 실시형태에 따른, 현장에서 추적되는 관심 구역의 학습/분류 과정의 아키텍처를 나타낸다.
본 발명의 일부 실시형태에 따르면, 컨볼루션 신경망(convolutional neural network: CNN)에 기초한 심원한 학습 분류 기법이 사용된다. CNN 분류기가 해결될 문제에 잘 적합하다는 추정은, 비네트에 존재하는 패턴이 다른 곳에 존재할 상당한 확률을 갖는다는 생각에 기초한다. 또한, CNN은 뉴런이 네트워크의 모든 층에 국지적으로 연결되고 그리고 연결되지 않는 다단계 학습 방법이다. 동일한 매개변수를 공유하는 뉴런의 군은 전체 이미지를 커버하도록 규칙적으로 퍼져있다. 이는 더 계산적으로 효율적인 처리를 허용한다.
종래 기술의 CNN 분류기의 설명은 Garschik 등의 "Rich Feature Hierarchies for Accurate Object Detection and Semantic Detection"(컴퓨터 비전 및 패턴 인식에 관한 12014 I3E 회의, CVPR 2014, Colombus, OH, USA, pp. 580-587, 2014)에서 찾을 수도 있다.
분류 및 학습은 CNN에 의해 동시에 수행된다. CNN의 복수의 상이한 아키텍처는 본 발명을 구현하도록 사용될 수도 있다. 따라서 도면에 나타낸 아키텍처는 단지 예시적이고 제한적이지 않다. 또한, CNN과는 상이한 분류 방법을 사용하여 본 발명을 구현하는 것이 가능하다. 예를 들어, Viola 등의 "Rapid Object Detection Using a Boosted Cascade of Simple Features"(컴퓨터 비전 및 패턴 인식에 관한 2001 I3E, 컴퓨터 학회 회의(CVPR 2001), Kawai, HI, USA, pp. 511-518, 2001) 또는 Dalal 등의 "Histograms of Oriented Gradients for Human Detection"(컴퓨터 비전 및 패턴 인식에 관한 국제 회의, vol. 2, pp. 886-893, June 2005) 또는 Lowe의 "Object Recognition from Local Scale-Invariant Features"(컴퓨터 비전에 관한 국제 회의의 회보, vol. 2, ICCV '99, pp. 1150-, 1999)에 설명된 방법.
본 발명의 일부 실시형태에서, 검출된, 추적된 그리고 컨디셔닝된 관심 물체를 비네트(Vk)로 분류하도록 사용되는 CNN은 다음을 포함한다:
- 복수의 컨볼루션 층(Convolutional Layer)(CLi)(1211), 컨볼루션 곱이 1×1, 3×3, 5×5 및 1×1 치수의 커널 매트릭스를 사용하여 입력 비네트에 적용되고; 이 치수는 본 발명의 일부 예시적인 사용 사례에 맞춰질 때 테스트되지만, 치수는 상이한 값으로 설정될 수도 있음; 복수의 비선형 변환 층(non-Linear Transformaiton Layer)(nLTLj)(1221)이 또한 제공되고; nLTL의 실시예는, CL의 출력을 정규화하기 위한 깊이 연결(Depth Concatenation)임;
- 복수의 매개변수를 군으로 분류함으로써 문제의 크기를 감소시키기 위한 풀링 층(Pooling Layer); 분류의 품질을 개선하는데 유용한 정보를 추가하지 않는 구성요소를 제거하기 위한 Drop_Out 층. 추가의 작동이 완전히 연결된 층(Fully Connected Layer: FCL)(1241)에 의해 수행되고; FCL는 FCL이 입력에 컨볼루션 곱을 적용한다는 의미에서 CL과 유사하지만, 그 커널은 입력 비네트의 치수를 가짐; 단일의 FCL을 사용하는 것이 유리하다는 것이 발명자에 의해 관찰되었지만; 일부 사용 사례에서, 관심 부류만큼 많은 FCL을 사용하는 것이 가능하고, 각각의 FCL은 본 발명의 사용 사례 중 하나인 "하이퍼-부류(hyper-class)", 즉, 인간(HC_H), 동물(HC_A), 차량(HC_C) 중 하나에 전용임;
- 마지막으로, 각각의 FCL의 출력에 대해, 비네트(Vk)의 부류가 인간, 동물 또는 차량인 확률의 예측은 적용되는 CNN의 활성층의 계수를 조정하도록 소프트맥스 비용 함수(softmax cost function)(1251)를 사용하여 결정되고; 소프트맥스 비용 함수는 대부분의 경우에 분석적으로 해결될 수 없고; 발명자는 예를 들어, 각각의 반복으로 소프트맥스 비용 함수를 해결하도록 기울기 하강 또는 역전파 알고리즘을 사용할 수도 있다.
CNN의 다양한 모듈의 복수의 매개변수는 참 양성과 거짓 양성 간의 최상의 절충안 및 필요한 처리 능력, 예를 들어, 입력 비네트의 크기, CL의 커넬의 치수, 거짓 양성을 제거하기 위한 캐스케이딩(cascading) 방법의 사용, 수렴 속도를 증가시키기 위한 FCL의 초기화의 면에서 성능을 조정하도록 시행착오에 의해 터닝될 수도 있다. 예를 들어, 추적 과정의 출력 시 비네트에 대한 112×112 픽셀의 행렬은 우수한 선택인 것으로 결정된다.
이 명세서에 개시된 실시예는 단지 본 발명의 일부 실시형태의 실례이다. 해당 실시예는 첨부된 청구항에 의해 규정되는 상기 발명의 범위를 어떤 식으로든 제한하지 않는다.

Claims (15)

  1. 장치(device)(100)로서,
    - 하나 이상의 적외선 광원(40, 41);
    - 하나 이상의 가시광선 광원(50, 51);
    - 이미지 센서(10);
    - 상기 이미지 센서에 의해 출력된, 상기 하나 이상의 적외선 광원에 의해 조명되는 관심 구역(region of interest)의 일련의 이미지를 분석하도록 구성된 처리부(processing unit)(20); 및
    - 상기 처리부로부터 수신된 명령에 기초하여 경보 또는 상기 하나 이상의 가시광선 광원의 활성화 중 하나 이상을 생성하도록 구성된 제어부(control unit)(30)를 포함하되,
    상기 분석은 상기 관심 구역의 상기 일련의 이미지에서 움직이는 전경을 검출하는 것, 상기 움직이는 전경에서 하나 이상의 특성 피처를 추적하는 것 및 상기 하나 이상의 특성 피처를 관심 물체의 2개 이상의 유형으로 분류하는 것을 포함하고, 상기 관심 물체의 유형은 상기 처리부에 의해 상기 제어부에 전송되는 명령을 결정하는, 장치.
  2. 제1항에 있어서, 통신 링크를 통해 네트워크에 더 연결되고, 상기 경보는 상기 통신 링크 상의 사용자 디바이스(user device)로 전송되는, 장치.
  3. 제2항에 있어서, 상기 제어부는 상기 관심 물체의 이미지가 상기 통신 링크 상의 상기 사용자 디바이스로 전송되게 더 트리거링하는(trigger), 장치.
  4. 제1항에 있어서, 상기 검출은 상기 일련의 이미지의 픽셀의 YUV 인코딩의 Y 휘도값을 사용하는, 장치.
  5. 제1항에 있어서, 상기 검출은 상기 관심 구역의 상기 일련의 이미지와 상기 관심 구역의 배경 모델의 이미지 간의 차등 이미지와 문턱값 이미지를 비교하는 것을 포함하고, 상기 문턱값 이미지는 시프트 변동량(Shifted Variance)을 사용하여 동적으로 계산되는, 장치.
  6. 제1항에 있어서, 상기 추적은 상기 특성 피처의 상관 운동의 계수기가 증가되고 그리고 부동의 계수기가 0과 같다면 상기 검출에 의해 출력된 바운딩된 블록의 특성 피처에 우수한 피처 값을 배정하는 것을 포함하는, 장치.
  7. 제6항에 있어서, 상기 추적은 문턱값보다 높은 복수의 우수한 피처를 가진 바운딩된 블록을 사용하여 비네트(vignette)를 생성하는 것을 더 포함하는, 장치.
  8. 제1항에 있어서, 상기 분류는 신경망, 지향된 기울기의 이력 또는 보조 벡터 기계 분류기 중 하나 이상을 사용하는 것을 포함하는, 장치.
  9. 제8항에 있어서, 상기 신경망은 컨볼루션 신경망 분류기(Convolutional Neural Network classifier)이고 그리고 하나 이상의 완전히 연결된 층을 포함하는, 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    - 상기 이미지 센서(10)는 렌즈(Ob)와 적외선 및 가시광선 센서(Ca)를 포함하는 카메라이고,
    - 상기 적어도 하나의 적외선 광원(40)은 적외선의 방출 콘(cone of emission)(c40)을 가지며,
    - 상기 적어도 하나의 가시광선 광원(50)은 가시광선의 방출 콘(c50)을 갖고,
    - 한편으로는 상기 카메라의 상기 렌즈(Ob)와 그리고 다른 한편으로는 상기 적외선의 방출 콘(cone of emission)(c40)과 상기 가시광선의 방출 콘(c50) 간에 교차점이 없는, 장치.
  11. 제10항에 있어서, 상기 렌즈(Ob)는 회전축(A)을 갖고 그리고 상기 센서(Ca)를 향하여 지향된 법선 벡터(nf1)를 가진 제1 면(f1) 및 환경을 향하여 지향된 법선 벡터(nf2)를 가진 제2 면(f2)을 포함하며, 그리고 상기 제1 면(f1)에 접하고 상기 회전축(A)에 대해 직각인 제1 평면(P1)은 상기 센서(Ca)가 속하는 제1 반공간(dE1) 및 상기 렌즈(Ob)의 상기 제2 면(f2) 및 상기 환경이 속하는 제2 반공간(dE2)을 획정하고, 그리고
    - 상기 적어도 하나의 적외선 광원(40)의 상기 방출 콘(c40)은 상기 제2 반공간(dE2)에 배열된 정점(s40)을 가지며;
    - 상기 적어도 하나의 가시광선 광원(50)의 상기 방출 콘(c50)은 상기 제2 반공간(dE2)에 배열된 정점(s50)을 갖는, 장치.
  12. 제11항에 있어서,
    - 상기 적어도 하나의 적외선 광원(40)은 축(A40)의 방출 콘(c40)을 갖고,
    - 상기 적어도 하나의 가시광선 광원(50)은 축(A50)의 방출 콘(c50)을 가지며, 그리고
    - 상기 카메라(10)는 축(A)의 흡수 콘을 갖고,
    - 상기 제2 반공간(dE2)에서, 상기 축(A40)과 상기 축(A) 간의 거리는 상기 제1 평면(P1)으로부터 멀어지게 이동될 때 일정하거나 증가되며, 그리고
    - 상기 제2 반공간(dE2)에서, 상기 축(A50)과 상기 축(A) 간의 거리는 상기 제1 평면(P1)으로부터 멀어지게 이동될 때 일정하거나 증가되는, 장치.
  13. 제11항에 있어서, 복수의 가시광선 광원(50, 51)을 포함하되, 각각의 상기 가시광선 광원은 축(A50, A51)을 가진 방출 콘(c50, c51)을 갖고, 상기 제1 반공간(dE1)에서, 상기 복수의 가시광선 광원의 각각 중 가시광선 광원(50, 51)에 대해, 광원의 상기 방출 콘의 상기 축과 각각의 다른 광원의 상기 방출 콘의 상기 축 간의 거리는 상기 제1 평면(P1)으로부터 멀어지게 이동될 때 일정하거나 증가되는, 장치.
  14. 제10항에 있어서, 상기 렌즈(Ob)는 회전축(A)을 갖고, 상기 적어도 하나의 적외선 광원(40)을 위한, 상기 적어도 하나의 가시광선 광원(50)을 위한 그리고 상기 카메라(10)의 상기 렌즈(Ob)를 위한 보호 구성요소(60, 61, 62)를 더 포함하되, 상기 보호 구성요소는 상기 적외선 및 상기 가시광선에 대해 투과성이고, 상기 보호 구성요소는 상기 회전축(A)에 대해 직각으로 평면을 따라 실질적으로 연장되는, 장치.
  15. 관심 구역을 모니터링하는 방법으로서,
    - 상기 관심 구역을 하나 이상의 적외선 광원(40, 41)을 사용하여 비추는 단계;
    - 상기 관심 구역의 일련의 이미지를 이미지 센서(10)에 의해 캡처하는 단계;
    - 상기 이미지 센서에 의해 출력된, 상기 적외선 광원에 의해 조명되는 관심 구역(region of interest)의 일련의 이미지를 처리부(20)에 의해 분석하는 단계; 및
    - 상기 처리부로부터 수신된 명령에 기초하여 경보 또는 하나 이상의 가시광선 광원(50, 51)의 활성화 중 하나 이상을 제어부(30)에 의해 생성하는 단계를 포함하되,
    상기 분석은 상기 관심 구역의 상기 일련의 이미지에서 움직이는 전경을 검출하는 것, 상기 움직이는 전경에서 하나 이상의 특성 피처를 추적하는 것 및 상기 하나 이상의 특성 피처를 관심 물체의 2개 이상의 유형으로 분류하는 것을 포함하고, 상기 관심 물체의 유형은 상기 제어부로 상기 처리부에 의해 전송되는 명령을 결정하는, 관심 구역을 모니터링하는 방법.
KR1020187022541A 2016-01-04 2017-01-04 자동 조명 및 보안 장치 KR102148586B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1650016A FR3046519B1 (fr) 2016-01-04 2016-01-04 Dispositif d'eclairage automatique
FR1650016 2016-01-04
PCT/EP2017/050111 WO2017118647A1 (en) 2016-01-04 2017-01-04 Automatic lighting and security device

Publications (2)

Publication Number Publication Date
KR20180100406A KR20180100406A (ko) 2018-09-10
KR102148586B1 true KR102148586B1 (ko) 2020-08-27

Family

ID=56069025

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187022541A KR102148586B1 (ko) 2016-01-04 2017-01-04 자동 조명 및 보안 장치

Country Status (6)

Country Link
US (1) US11227165B2 (ko)
EP (1) EP3400405A1 (ko)
KR (1) KR102148586B1 (ko)
CN (1) CN109154435B (ko)
FR (1) FR3046519B1 (ko)
WO (1) WO2017118647A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3572972A1 (en) * 2018-05-23 2019-11-27 IDEMIA Identity & Security Germany AG Extendend convolutional neural network for document analysis
JP7126864B2 (ja) * 2018-05-25 2022-08-29 キヤノンメディカルシステムズ株式会社 医用信号処理装置及び学習プログラム
EP3798620A1 (fr) * 2019-09-25 2021-03-31 ETA SA Manufacture Horlogère Suisse Systeme et procede de gestion d'un eclairement d'une zone d'interet comprenant au moins un objet susceptible d'etre manipule par un utilisateur
EP3876211A1 (en) * 2020-03-06 2021-09-08 Signify Holding B.V. Selecting a light source for activation based on a type and/or probability of human presence

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050002572A1 (en) * 2003-07-03 2005-01-06 General Electric Company Methods and systems for detecting objects of interest in spatio-temporal signals
JP2011108417A (ja) * 2009-11-13 2011-06-02 Panasonic Electric Works Co Ltd 照明制御システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192155B1 (en) * 1998-09-16 2001-02-20 Xerox Corporation Systems and methods for reducing boundary artifacts in hybrid compression
JP2003008954A (ja) 2001-06-20 2003-01-10 Fujitsu General Ltd ドーム型監視カメラ装置
GB2408879A (en) * 2003-12-03 2005-06-08 Safehouse Internat Inc Storing data recorded over a period of time
US20050163345A1 (en) * 2003-12-03 2005-07-28 Safehouse International Limited Analysing image data
US20070122000A1 (en) * 2005-11-29 2007-05-31 Objectvideo, Inc. Detection of stationary objects in video
US8150155B2 (en) * 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US9215781B2 (en) * 2008-04-16 2015-12-15 Avo Usa Holding 2 Corporation Energy savings and improved security through intelligent lighting systems
WO2013052383A1 (en) 2011-10-07 2013-04-11 Flir Systems, Inc. Smart surveillance camera systems and methods
CN101930653B (zh) * 2009-12-22 2011-11-30 广州广电运通金融电子股份有限公司 异物检测装置及其检测方法以及具有该装置的自动柜员机
CN102118554B (zh) 2010-01-04 2014-07-02 鸿富锦精密工业（深圳）有限公司 监控系统
CN102510480B (zh) 2011-11-04 2014-02-05 大连海事大学 驾驶员视线自动校准和跟踪系统
WO2013109609A2 (en) 2012-01-17 2013-07-25 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US20130329987A1 (en) * 2012-06-11 2013-12-12 Genesis Group Inc. Video segmentation method
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9436692B1 (en) * 2013-06-25 2016-09-06 Emc Corporation Large scale video analytics architecture
US9165444B2 (en) * 2013-07-26 2015-10-20 SkyBell Technologies, Inc. Light socket cameras
US9454819B1 (en) * 2015-06-03 2016-09-27 The United States Of America As Represented By The Secretary Of The Air Force System and method for static and moving object detection
US20180048894A1 (en) * 2016-08-11 2018-02-15 Qualcomm Incorporated Methods and systems of performing lighting condition change compensation in video analytics
US10628961B2 (en) * 2017-10-13 2020-04-21 Qualcomm Incorporated Object tracking for neural network systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050002572A1 (en) * 2003-07-03 2005-01-06 General Electric Company Methods and systems for detecting objects of interest in spatio-temporal signals
JP2011108417A (ja) * 2009-11-13 2011-06-02 Panasonic Electric Works Co Ltd 照明制御システム

Also Published As

Publication number Publication date
CN109154435B (zh) 2020-07-07
KR20180100406A (ko) 2018-09-10
EP3400405A1 (en) 2018-11-14
WO2017118647A1 (en) 2017-07-13
CN109154435A (zh) 2019-01-04
FR3046519B1 (fr) 2022-11-04
US20200274997A1 (en) 2020-08-27
US11227165B2 (en) 2022-01-18
FR3046519A1 (fr) 2017-07-07

Similar Documents

Publication Publication Date Title
Cristani et al. Background subtraction for automated multisensor surveillance: a comprehensive review
Mees et al. Choosing smartly: Adaptive multimodal fusion for object detection in changing environments
Wang et al. Data-driven based tiny-YOLOv3 method for front vehicle detection inducing SPP-net
US9299162B2 (en) Multi-mode video event indexing
KR102148586B1 (ko) 자동 조명 및 보안 장치
US8744125B2 (en) Clustering-based object classification
Choudhury et al. An evaluation of background subtraction for object detection vis-a-vis mitigating challenging scenarios
Kumar et al. Study of robust and intelligent surveillance in visible and multi-modal framework
WO2005122094A1 (en) Method for detecting desired objects in a highly dynamic environment by a monitoring system
JP2022523505A (ja) イベントベースセンサからの情報を処理する方法
KR102327395B1 (ko) 실내 조명 제어 장치 및 방법
Negri et al. Detecting pedestrians on a movement feature space
Athira et al. Recent trends on object detection and image classification: A review
CN115797666A (zh) 用于使用卷积技术来加速散斑图像块匹配
Eng et al. Robust human detection within a highly dynamic aquatic environment in real time
Devi et al. A survey on different background subtraction method for moving object detection
JP2021531598A (ja) 映像ストリームからの物体検出において用いるためのシステム及び方法
Surendar et al. Animal tracking using background subtraction on multi threshold segmentation
Mahajan et al. 3D Object 360-Degree Motion Detection Using Ultra-Frequency PIR Sensor
Bou et al. Reviewing ViBe, a popular background subtraction algorithm for real-time applications
Yunchu et al. Moving object detection in the low illumination night scene
Alves et al. Vision based automatic traffic condition interpretation
Bakshi et al. Computational Approaches to Detect Human in Multifaceted Environmental Conditions Using Computer Vision and Machine Intelligence–A review
Ezhilarasie et al. Acceleration of Computer Vision and Deep Learning: Surveillance Systems
Ince et al. Background Subtraction and Lane Occupancy Analysis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant