KR20120066604A - Ｉｒ 이미징 시스템을 통해 얻은 ｉｒ 이미지 내의 사람들의 전체 인원수를 결정하는 방법 - Google Patents

Ｉｒ 이미징 시스템을 통해 얻은 ｉｒ 이미지 내의 사람들의 전체 인원수를 결정하는 방법 Download PDF

Info

Publication number
KR20120066604A
KR20120066604A KR1020110133973A KR20110133973A KR20120066604A KR 20120066604 A KR20120066604 A KR 20120066604A KR 1020110133973 A KR1020110133973 A KR 1020110133973A KR 20110133973 A KR20110133973 A KR 20110133973A KR 20120066604 A KR20120066604 A KR 20120066604A
Authority
KR
South Korea
Prior art keywords
pixel
detection device
illuminator
image
intensity
Prior art date
Application number
KR1020110133973A
Other languages
English (en)
Inventor
야오 룽 왕
즈강 판
라리트 케이 메스타
Original Assignee
제록스 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제록스 코포레이션 filed Critical 제록스 코포레이션
Publication of KR20120066604A publication Critical patent/KR20120066604A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

IR 이미징 시스템을 이용하여 얻은 IR 이미지 내의 인원수를 결정하는 신규의 시스템 및 방법이 개시된다. 본 방법은 특별하게 형성된 강도비들의 세트를 통하여 주변 배경으로부터 사람을 분리시킨다. 이 비들 및 임계값들로부터 유도된 양들을 이용하여 IR 이미지 내의 픽셀이 사람으로부터 형성된 것인지 사람 이외의 것 (non-human) 으로부터 형성된 것인지를 선택적으로 분류한다. IR 이미지 내의 여러 픽셀들의 분류에 기초하여, 인원수를 결정한다.

Description

ＩＲ 이미징 시스템을 통해 얻은 ＩＲ 이미지 내의 사람들의 전체 인원수를 결정하는 방법{DETERMINING A TOTAL NUMBER OF PEOPLE IN AN IR IMAGE OBTAINED VIA AN IR IMAGING SYSTEM}
본 발명은 적외선 (infrared; IR) 카메라 시스템을 이용하여 다중대역 IR 이미지를 얻고 그 IR 이미지 내의 전체 인원수를 결정하는 시스템 및 방법을 교시한다.
IR 이미징 시스템을 이용하여 얻은 IR 이미지 내의 인원수를 결정하는 신규의 시스템 및 방법이 개시된다. 본 방법은 특별하게 형성된 강도비들의 세트를 통하여 주변 배경으로부터 사람을 분리시킨다. 이 비들 및 임계값들로부터 유도된 양들을 이용하여 IR 이미지 내의 픽셀이 사람으로부터 형성된 것인지 사람 이외의 것 (non-human) 으로부터 형성된 것인지를 선택적으로 분류한다. IR 이미지 내의 여러 픽셀들의 분류에 기초하여, 인원수를 결정한다.
본 발명은 IR 카메라 시스템을 이용하여 다중대역 IR 이미지를 얻고 그 IR 이미지 내의 전체 인원수를 결정하는 시스템 및 방법을 제공하는 것을 목적으로 한다.
하나의 예시적인 실시형태에서, 본 시스템 및 방법은 다음을 포함한다. 먼저, 사람의 결정을 위하여 처리될 IR 이미지 내의 각각의 픽셀에 대하여 전체 N 개의 강도값들을 수집한다. 픽셀 강도값들은 IR 이미징 시스템을 이용하여 수집된다. 강도값들을 수집하였다면, IR 이미지 내의 각각의 픽셀을 처리하여 그 픽셀에 대한 분류 (classification) 를 결정한다. 픽셀 강도들을 처리하는 것은 픽셀의 강도값들의 비를 생성하고 이로부터 임계값을 형성하는 것을 포함한다. 본 명세서 내에 보다 자세하게 설명된 방식으로, 임계값을 이용하여 픽셀을 사람 또는 사람 이외의 것으로서 분류한다. 모든 픽셀들을 분류하였다면, 픽셀 분류들에 기초하여 IR 이미지 내의 전체 인원수를 결정한다. 이러한 시스템은 HOV/HOT 레인에서 진행하는 자동차 내에 탑승자들의 전체 인원수를 결정하거나 또는 예를 들어, 현관에서의 보안 카메라에 의해 얻은 이미지 내의 인원수를 결정하는 것과 같은 다수의 폭넓은 실생활 애플리케이션에 의도적으로 이용된다.
도 1 은 예시적인 IR 이미지를 보여준다.
도 2 는 본 발명의 교시에 따라 목표 차량을 조사 (illuminate) 하기 위한 예시적인 IR 조명 시스템의 일 구현예를 나타낸다.
도 3 은 본 발명의 교시에 따른 이용을 위한 예시적인 IR 검출 시스템 (300) 의 일 구현예를 나타낸다.
도 4 는 도 2 의 조명 시스템과 도 3 의 검출 시스템을 통합한 예시적인 차량 탑승자 (occupancy) 검출 시스템을 보여준다.
도 5 는 수송 관리 시스템 (transportation management system) 에서 차량 내의 탑승자의 인원수를 결정하기 위한 본 발명의 일 예시적인 실시형태를 나타낸다.
도 6 내지 도 12 는 본 발명의 여러 실시형태들에 이용하기에 적합한 IR LED들의 상대 방사 강도를 보여준다.
도 13 은 η=0 인 경우의 여러 결과들을 보여준다.
도 14 은 η=0.05 인 경우의 여러 결과들을 보여준다.
도 15 는 도 5 의 플로우도에 대하여 도시되고 기술된 본 방법의 여러 양태들을 구현할 수 있는 일 예시적인 시스템의 블록도를 나타낸다.
"픽셀"은 이미지 내의 가장 작은 어드레스가능 엘리먼트이다. 각각의 픽셀은 자기 자신의 어드레스를 갖는다. 픽셀들은 통상 그리드로 배치된다. 각각의 픽셀의 강도는 가변적이며 그 픽셀을 측정하는데 이용되는 감지 디바이스의 특징들 및 감도에 의존한다. 카메라에 대한 해상도는 사실상 픽셀의 크기이다. 픽셀이 더 작은 것은 더 많은 픽셀이 이미지 내에 들어가, 이미지에 보다 양호한 선명도를 제공한다는 것을 의미한다.
"IR 이미지"는 조사된 샘플로부터 반사된 IR 광을 검출하였던 IR 검출 디바이스로부터 얻어지는 이미지이다. 전체 점유형 (fully-populated) IR 이미지는 각각이 대상이 되는 각각의 원하는 스펙트럼 대역에서 강도 값을 갖는 픽셀들로 구성된다. 도 1 은 IR 카메라를 이용하여 포착된 예시적인 IR 이미지를 보여준다. 적외선 (IR) 광은 0.7 내지 300 마이크로미터의 파장을 갖는 전자기 방사이다. IR 범위에 대한 상단 파장이 정밀하게 설정되는 것은 아님을 주지한다. 이는 1 내지 430 THz 사이의 주파수 범위와 동등하다. IR 파장은 가시광의 파장보다 더 길고 마이크로파보다 더 짧다. 빛나는 태양광은 해수면에서 제곱미터 당 대략 1 킬로와트의 방사도를 제공한다. 이 에너지중, 527 와트는 적외선이고 445 와트는 가시광이며 32 와트는 자외선 (ultraviolet) 이다. 활성 적외선에서는, 카메라가 사람의 눈에 보이지않는 적외선 파장을 조사한다. 적외선 에너지는 감마선, x선, 자외선, 가시광의 가는 영역, 적외, 테라헤르츠파, 마이크로파 및 무선파로부터의 방사선을 동반하는 전자기 스펙트럼의 단지 일부에 불과하다. 이들은 모두 관련되어 있고 이들의 파장 길이에서 구별된다. 본 발명의 여러 실시형태들은 전체 LRIR (lower reflective infrared) 대역 (즉,
Figure pat00001
800-1400 나노미터) 을 이용한다. LRIR 은 그 주파수 대역에 민감한 다중대역 이미징 (MBI; multi-band imaging) 디바이스로 검출될 수 있고 흑백 사진과 유사한 이미지들을 제공한다. URIR (upper reflective infrared) 대역 (즉,
Figure pat00002
1400-2200 나노미터) 도 존재한다. 살아있는 인체가 무생물 물체들과 동일한 방식으로 IR을 반사하지 않는다는 점에서, URIR 감지 이미지는 LRIR 감지 이미지와 같지 않다. 하위 및 상위 IR 대역들이 반사성이기 때문에, 신 (scene) 은 조명원을 필요로 할 수 있다. 이러한 조명은 가시성일 필요는 없기 때문에 인간에게 불편함을 주지 않는다. 낮에는, 충분한 IR 조명이 일상의 태양광에 의해 제공될 수 있기 때문에, LRIR 및 URIR 조명이 필요하지 않을 수 있다.
"IR 조명기"는 광원이다. 광 레벨들은 구동 전류를 변화시켜 제어될 수 있다. 예를 들어, LED들의 광 출력은 전류에 대하여 선형적으로 변한다. 시간 순차적 방식 또는 동시적으로 양쪽 IR 조사를 행할 수 있는 LED 어레이들이 잘 알려져 있다. 일 예시적인 IR 조명 시스템이 도 2 에 도시된다.
"IR 이미징 시스템"은 목표 물체로부터 반사된 IR 광을 획득하고 그 IR 광을 성분 파장들로 분리하여 목표의 IR 이미지를 출력하도록 설계된 장치이다. 이러한 시스템은 (IR 카메라와 같은) IR 검출기 및 IR 조명기를 갖는다. 일 예시적인 IR 검출 시스템이 도 3 에 도시된다. IR 이미징 시스템은 단일의 IR 검출 디바이스 및 하나의 고정된 필터를 갖고 순차적으로 조사되는 N-대역 조명기 (N ≥ 3) 일 수 있거나, 또는 각각이 개개의 대역 통과 필터를 갖는 전체 N개의 검출 디바이스들 (N ≥ 3 ) 및 단일의 조명원을 포함할 수 있다.
이하, 본 발명의 교시에 따른 이용을 위한 예시적인 IR 조명 시스템의 일 구현예를 나타내는 도 2를 참조한다.
도 2 의 IR 조명 시스템 (200) 은 복수의 IR 광원들을 갖는 IR 광원 어레이 (202) 를 포함하는 것으로 도시되며, 각각의 IR 광원은 (λ1, ..., λn로서 도시된) 각각의 피크 파장에서 협대역의 IR 방사광을 방사한다. 광원 어레이 (202) 는 발광 다이오드 (LED) 들의 어레이를 포함한다. 각각의 다이오드가 특정 파장 대역에서 IR 방사광을 방사하도록 선택되며, 그 파장 대역에 대하여 어레이 내의 광원을 규정한다. 제어기 (208) 는 IR 광원 어레이 (202) 에 연결되어 각각의 조명기에의 입력 전류를 제어하여 이에 의해 각각의 출력 강도를 제어한다. 센싱 옵틱스 (204) 는 IR 조명 빔 (206) 을 생성하기 위하여 파장을 결합하는 하나 이상의 옵틱스 (203) 를 갖는다. 센서 (210) 는 IR 광원 어레이로부터 방사된 방사광을 샘플링하고 제어기 (208) 에 피드백을 제공한다. 포커싱 옵틱스 (212) 는 빔 (206) 을 수광하고 출력 빔 (214) 을 목표 차량 (216) 상에 포커싱한다. 포커싱 옵틱스 (212) 는 빔 경로 내에 위치되어, 초점 길이를 변경하여 빔을 포커싱하는 복수의 렌즈들을 포함한다. 제어기 (208) 는 또한 포커싱 옵틱스 (212) 에 연결되어, 몇몇 구속조건으로 불리는 목표 크기, 목표 거리, 목표 속도에 기인한 출력 빔 (214) 의 변경을 실시한다. 제어기 (208) 는 또한, 데이터 및 기계 판독가능 프로그램 명령들을 포함한, 교정 정보, 강도 레벨 등을 저장/검색하기 위하여 저장 디바이스 (209) 와 통신한다. 제어기 (208) 는 데스크탑, 서버, 메인프레임 등과 같은 컴퓨터 시스템을 포함할 수 있다. 제어기 (208) 는 네트워크 (도시 생략) 를 통하여 이러한 컴퓨팅 디바이스와 유선 또는 무선 통신할 수 있다. 이러한 네트워크는 근거리 네트워크 (LAN) 또는 인터넷일 수 있다. 조명 시스템 (200) 의 임의의 구성요소들이 이들의 의도된 목적을 추가로 용이하게 실시하도록 이러한 컴퓨팅 시스템과 통신가능하게 위치될 수 있음을 알아야 한다.
도 2 에 대하여 위에 설명된 임의의 옵틱스는 광 출력을 갖는 광학 시스템으로 대체될 수 있고 미러를 더 포함할 수 있다. 이러한 광학 시스템은 각각이 광 출력을 갖는 복수의 구성요소들을 포함할 수 있고, 예를 들어, 이는 2중 또는 3중 렌즈일 수 있다. 이러한 광학 시스템이 고유한 초점 길이 (F) 를 정의한다는 제한하에, 광원 어레이 및 격자가 옵틱스의 전측 및 후측 초점 평면 내에 위치될 것이다. 그 결과, 광학 시스템은 광원 어레이의 각각의 엘리먼트에 대하여 무한대로 격자를 이미징하고 이에 따라 각각의 광원 엘리먼트는 동일한 격자 영역을 본다. 각각의 엘리먼트로부터의 광은 그 영역에 대하여 동일 영역에 걸쳐 있다. 그 후, 격자는, 상이한 파장 대역 광원들의 측면 위치들과 연관된 분산을 보상함으로써, 스펙트럼 내용이 트래버스 프로파일 (transverse profile) 에 걸쳐 실질적으로 균일하게 되는 출력 방사광을 생성할 수 있다. 이는 출력 빔 (214) 의 스펙트럼 내용이 트래버스 프로파일에 걸쳐 실질적으로 균일해지도록 허용한다. 실제적으로, 옵틱스로 하여금 파장 또는 측방향 위치에 따라 약간 상이한 위치들에 광선을 포커싱하도록 야기할 수 있는 수차 (예를 들어, 필드 굴곡 (field curvature), 축방향 크로매틱(axial chromatic), 측방향 크로매틱 (lateral chromatic), 왜곡, 코마 (coma) 등) 때문에 광학 시스템에 대한 원하는 초점 길이를 정밀하게 정의하는 것이 어려울 수 있다.
추가로, 광학 시스템이 적어도 각각의 광원으로부터 나오는 근축 광선에 대하여 광원 어레이의 각각의 광원 엘리먼트에 대해 무한대로 격자를 이미징한다는 보다 일반적인 조건에 따라, 광학 시스템, 광원 어레이, 및 격자의 상대 위치를 선택한다. 광축에 대하여 각도 (θ) 에서 전파하는 광선에 대해 근축 광선은 sin(θ)
Figure pat00003
θ을 갖는다. 이 무한대 상태는 광학 시스템의 DOV (depth of field) 내에서 광학 시스템의 공칭 후측 초점 평면에 각각의 광원 엘리먼트를 위치시키고 광학 시스템의 DOV 내에 광학 시스템의 공칭 전측 초점 평면에 격자를 위치시킴으로써 실현될 수 있다. DOV 는 DOV=lambda/NA2에 따라 광학 시스템의 개구수 (NA) 에 관련되며, 여기서 Lambda는 광원 엘리먼트로부터의 광의 파장이다. 또한, 옵틱스는 여러 광학 수차를 보상하도록 다수의 자유도를 제공하는 구성요소들로 설계될 수 있다. 광학 시스템 내의 추가적인 구성요소들이 수차들을 감소시키기 위하여 추가적인 자유도를 제공하지만, 각각의 추가적인 구성요소는 또한 광학 시스템에 대한 비용 및 복잡성을 추가한다.
이하, 본 발명의 교시에 따라 이용하기 위한 예시적인 IR 검출 시스템 (300) 의 일 구현예를 나타내는 도 3 을 참조한다. 목표 차량 (216) 은 도 2 의 옵틱스 (212) 에 의해 방사된 IR 광 빔 (214) 을 반사한다. 반사된 IR 광의 일부분은 센서 (304) 상에 수광된 광을 포커싱하는 하나 이상의 렌즈 (303) 를 갖는 옵틱스 (302) 에 의해 수광되고, 센서 (304) 는 수광된 광을 공간적으로 분해하여 IR 이미지 (308) 를 얻는다. 옵틱스 (302) 는 또한 협대역 파장의 광만이 통과하도록 허용하는 하나 이상의 대역 통과 필터를 포함할 수 있다. 308 에서 필터들은 또한 N개의 강도를 얻기 위하여 순차적으로 변경될 수 있다. 센서 (304) 는 처리 및 저장을 위하여 컴퓨터 (306) 에 IR 이미지 정보를 전송한다. 이미지 검출기 (308) 는 스펙트럼 내용이 제어기 (도시 생략) 를 통하여 선택가능할 수 있는 멀티스펙트럼 이미지 검출 디바이스이다. 광원 옵틱스 (302) 및 검출기 (304) 에 대한 적절한 옵틱스들은 당해 기술 분야에서 일반적으로 알려진 것을 포함한다. 검출기 (304) 는 2차원 그리드를 따라 복수의 픽셀 위치들에서 광 강도를 독립적으로 기록한다. 적절한 센서들은 CCD (charge-coupled device) 검출기, CMOS (complementary metal oxide semiconductors) 검출기, CID (charge-injection device) 검출기, 비디콘 (vidicon) 검출기, 레티콘 (reticon) 검출기, 이미지 식별기 튜브 (image-intensifier tube) 검출기, PMT (pixelated photomultiplier tube) 검출기, InGaAs (Indium Gallium Arsenide), MCT (Mercury Cadmium Telluride), 및 마이크로볼로미터(Microbolometer) 를 포함한다. 실리콘계 검출기는 1100 nm 미만으로 제한됨을 주지해야 한다. 하이브리드 검출기 (즉, 실리콘계 및 비실리콘계의 조합) 를 가진 시스템들도 범위를 벗어나지 않는다. 컴퓨터 (306) 는 옵틱스 (302) 와 통신하여 옵틱스의 렌즈를 제어하고, 검출기 (304) 와 통신하여 검출기의 감도를 제어한다. 컴퓨터 (306) 는 IR 이미지 (308) 의 각각의 픽셀과 연관된 감도값들을 수신한다. 컴퓨터 (306) 는 시스템 (300) 의 제어를 실시하기 위해 필요에 따라 키보드, 미러, 프린터 등 (도시 생략) 을 더 포함한다.
이하, 도 2 의 조명 시스템과 도 3 의 검출 시스템을 통합한 예시적인 차량 탑승자 (occupancy) 검출 시스템을 보여주는 도 4 를 참조한다. 도 4 에서, 목표 차량 (400) 은 HOV 레인 (404) 을 따라 방향 벡터 (403) 에 의해 나타낸 이동 방향으로 속도 (v) 로 진행하는 탑승자 (402) 를 포함한다. 교통 신호등에 이용된 것과 유사한 관 구성을 포함하는 지지 암 (405) 이 레인 (404) 상의 원하는 거리 (d ) 내에 위치된다. 아암 (405) 상에는, 원격 디바이스와 통신하기 위한 전송 엘리먼트 (408) 를 갖는 IR 검출 시스템 (407) 및 IR 조명 시스템 (409) 이 고정되어 있다. 시스템 (409 및 407) 은 도 2 및 도 3 의 시스템의 실시형태들을 각각 나타내도록 의도된다. 검출 디바이스 (407) 는 글래어 효과 (glare effect) 를 감소시키기 위해 텔레포토 렌즈, 대역 통과 필터, 및 편광 렌즈가 탑재된 카메라를 포함할 수 있다. 낮 동작 동안에, 태양에 의한 조명은 충분할 수 있다. IR 조명기 (409) 는 목표 차량 및 차량 내부의 내용으로부터 검출기 (207) 로 되반사된 하나 이상의 파장에서의 IR 방사광을 방사한다. IR 검출 시스템 (407) 은 다음 설명될 방식으로의 추가 처리를 위하여 IR 이미지 및/또는 IR 이미지 내의 각각의 픽셀과 연관된 강도 값을 컴퓨팅 디바이스에 전송한다.
이하, 수송 관리 시스템 (transportation management system) 에서 차량 내의 탑승자의 인원수를 결정하기 위한 본 발명의 일 예시적인 실시형태를 나타내는 도 5 의 플로우도를 참조한다. 플로우 처리는 500 에서 시작하여 단계 502 로 바로 진행한다. 본 명세서에서는 수송 관리 시스템의 환경에서 예시적인 실시형태가 설명되지만, 본 발명의 교시는 IR 이미징 시스템을 이용하여 얻은 IR 이미지 내의 인원수를 결정하는 것이 바람직한 다수의 넓은 시스템들에서의 이들의 이용을 알아내는 것으로 의도됨을 알아야 한다. 이러한 실시형태들은 첨부된 청구항들의 범위 내에 있도록 의도된다.
단계 502 에서, 탑승자들의 결정을 위하여 처리되도록 의도된 자동차의 IR 이미지 내의 각각의 픽셀에 대하여 전체 N 개의 강도값들을 수집한다. 차량은 IR 조명에 의해 조사되는 HOV 레인을 따라 주어진 속도로 진행중에 있다. 각각의 픽셀에 대한 강도값들은 도 2 내지 도 4 의 IR 이미지 시스템을 이용하여 반사된 IR 광원으로부터 수집된다. IR 이미지 및/또는 각각의 픽셀에 대한 강도값들은 여러 실시형태들에 따라 추가의 처리를 위하여 컴퓨터 워크스테이션 또는 특수 목적 컴퓨터 시스템에 제공된다. 다음에서는, 공기 중의 IR 감쇠 및 적분 시간은 모든 대역들에 대하여 동일한 것으로 가정한다. 그렇지 않으면, 이들 팩터는 그에 따라 조정되어야 한다. IR 검출 디바이스가 단일의 IR 검출 디바이스라면, IR 조명기는 하나의 고정된 필터를 갖고 순차적으로 조사하는 N-대역 조명기 (N ≥ 3) 이며 강도 값은:
Figure pat00004
(1)
을 포함하며, 여기서, i 는 순차적으로 조사하는 조명기로부터의 i번째 IR 대역이 되도록 i=1...N 이 되며, α 는 조명원으로부터의 각도와 거리, 공기 중의 IR 파의 감쇠 및 검출 디바이스의 적분 시간에 의존하는 상수이며, Ib 는 태양광의 IR 성분으로부터의 강도와 같이 배경 광원으로부터의 강도이며, R0(λ) 는 차량 내의 물체의 반사율이며, RG(λ) 및 TG(λ) 는 유리의 반사율 및 투과율이며, 상수 (η) 는 차량 유리로부터 반사되어 검출기에 의해 수광된 조명기로부터의 광의 백분율 측정값이며, TL(λ) 은 고정된 필터의 투과율이며, D(λ) 는 검출 디바이스의 응답도이다.
IR 검출 디바이스가 N 개의 대역 통과 필터를 갖는 N 개의 검출 디바이스들이라면 (N ≥ 3), IR 조명기는 필터의 파장 범위를 커버하는 하나의 조명기를 가지며, 강도값은,
Figure pat00005
(2)
을 포함하며, 여기서 i 는 i번째 IR 대역 통과 필터가 되도록 i=1...N 이 되며, α 는 조명원으로부터의 각도와 거리, 공기 중의 IR 파의 감쇠 및 검출 디바이스의 적분 시간에 의존하는 상수이며, Ib 는 배경 강도이며, R0(λ) 는 차량 내의 물체의 반사율이며, RG(λ) 및 TG(λ) 는 유리의 반사율 및 투과율이며, 상수 (η) 는 차량 유리로부터 반사되어 검출기에 의해 수광된 조명기로부터의 광의 백분율 측정값이며, Ti L(λ) 은 i번째 필터의 투과율이며, D(λ) 는 검출 디바이스의 응답도이다.
또한, 임의의 픽셀 강도값들을 결합하여, 이 픽셀에 대한 하나 이상의 새로운 강도값을 생성하고 이에 따라 처리할 수 있다.
단계 504 에서, IR 이미지의 제 1 픽셀을 처리를 위하여 검색한다. 제 1 픽셀은 프로세서에 의해 자동으로 선택될 수 있거나 또는 예를 들어, 본 방법의 다양한 양태들이 수행되도록 의도된 컴퓨터 워크스테이션과 연관된 키보드, 마우스, 및 모니터와 같은 그래픽 사용자 인터페이스를 이용하여 사용자에 의해 식별될 수 있다. 사용자는 수신된 IR 이미지의 제 1 영역, 및 IR 이미지의 다른 부분들에 앞서 처리된 이미지의 선택된 영역 내의 픽셀들의 일부 또는 전부를 선택할 수 있다. 이동 중인 차량의 하나 이상의 IR 이미지들이 이에 따라 처리하기 위하여 포착될 수 있다.
단계 506 에서, 픽셀 강도값들의 비 (ration) 를 결정하여 픽셀 강도값의 임계값을 형성한다. 단계 508 에서, 임계값에 기초하여 픽셀을 분류한다. 일 실시형태에서, 강도값들의 비는,
Figure pat00006
(3)
에 의해 주어지며, 여기서 i 및 j 는 대역 k와 연관된 인덱스를 제외한, IR 이미징 시스템의 N-대역 인덱스들 중 어느 하나이다. 조명기가 물체를 조사 중이고 검출 디바이스가 이미지를 검출하였을 때, 각각의 픽셀은 N 대역 조명기에 대한 N개의 강도값들을 가질 것이다. 하나의 실시예로서 N 개의 강도들을 이용하여, 기준으로서 하나의 대역 (예를 들어, 제 1 대역) 을 취할 수 있고 다음의 비,
Figure pat00007
(4)
를 형성하며, 여기서, i, j = 2, ..., N, 이고,
Figure pat00008
(5)
Figure pat00009
(6)
이다.
여기서, 식 (4) 에서의 비는 상수 (η) 에 의존한다. 대부분의 상황에서, η는 작다(또는 0이다). 더럽거나, 안개가 끼거나, 비가 오는 창문 상태에서, η는 매우 클 수 있다. 좌측 항의 양은 검출 카메라로부터의 측정 강도만을 필요로 하기 때문에 실제 제품에서의 식 4의 이용은 모형을 필요로 하지 않음을 알아야 한다. 그러나, 개발 및 시험 단계에서, 어느 비 세트를 이용해야 되는지 그리고 분류를 위하여 임계값을 어떻게 설정해야 하는지를 선택하기 위하여 식 4의 우측항에서의 양을 계산하는데 모형을 이용할 수 있다.
단계 510 에서, 처리될 임의의 더 많은 픽셀이 남아있는지의 결정이 이루어진다. 만약 그렇다면, 다음 픽셀이 처리를 위해 검색, 선택 또는 달리 식별되는 단계 504 에 대한 처리가 반복된다. 처리는 IR 이미지 내의 모든 원하는 픽셀들이 처리될 때까지 반복된다.
그 후, 단계 512에서, 목표 자동차 내의 탑승자의 전체 인원수가 여러 픽셀 분류에 기초하여 결정된다. 사람의 이미지 내 픽셀들이 사람 이외의 주변 물체와 분리될 수 있다면, 신경망 또는 퍼지 로직을 채택하여 차량 내의 탑승자의 인원수의 결정을 용이하게 행할 수 있다. 일 실시형태에서, 이는 목표 차량의 이미징 시스템에 의해 포착된 하나 이상의 IR 이미지 각각에서의 식별된 사람들을 공간적으로 분리하고 차량 내의 인원수를 카운트함으로써 달성된다. 예를 들어, 카메라가 전방 승객 탑승실 내의 탑승자의 이미지를 포착하기 위하여 이동 중 차량의 전방을 향하고 있고, 카메라가 승객과 운전자측의 이미지를 포착하기 위하여 차량의 승객과 운전자측 각각을 향하고 있는 것과 같은 3개의 IR 카메라를 채용하다면, 각각의 이미지들을 분석하여 탑승자가 존재하는지 여부를 결정할 수 있다. 동작시, 목표 자동차의 탑승자의 인원수가, HOV 레인 내의 이동이 제한되는 시각 동안 소정의 인원수를 초과하면, 당해 기술 분야에 알려진 차량 태그 식별 기술을 이용하여 차량 번호판이 자동으로 포착되고, 식별된 차량 번호판 번호를 가진 차량이, 탑승자의 요구되는 인원수 범위를 초과하여 HOV 라인을 이용하고 있음을 나타내는 신호를 교통 통제국에 전송한다.
여기서의 플로우도는 예시적인 것임을 알아야 한다. 임의의 플로우 도 내에 나타낸 동작 단계들 중 하나 이상이 상이한 단계로 수행될 수 있다. 예를 들어, 다른 동작이 여기서의 단계들에 추가, 변경, 강화, 압축, 통합 또는 합병될 수 있다. 이러한 변경들은 첨부된 청구항들의 범위 내에 있도록 의도된다. 플로우 도의 전부 또는 일부가 머신 실행가능 명령들과 함께 부분적으로 또는 전체적으로 구현될 수 있다.
수행 결과
발명자들은 본 발명의 연구를 위하여 4 대역 조명기 시스템을 이용하였다. 이용된 LED들은 940 nm, 1070 nm, 1200 nm, 및 1550 nm에서 피크 파장을 갖는다. 도 6 내지 도 12 에는 LED들의 파워 스펙트럼이 도시된다. NIR (Near infrared) LED들은 시중에서 이미 입수가능하다. 이들 LED 는 GaAs 또는 InGaAsP와 같은 다양한 반도체들로 형성되며 가시광 근처 (> 730 nm) 에서부터 시작하여 단파장 적외선 (> 2000 nm) 에 이르는 피크 파장을 갖는다. 도 6 내지 도 12 는 810 nm 내지 1600 nm 사이의 범위에 있는 피크 파장을 갖고 InGaAsP 로 형성된 수개의 적외선 LED들의 스펙트럼을 나타낸다. 이들 LED 는 높은 파워의 LED 에 대하여 수mW 내지 약 45 mW 의 양호한 방사 파워를 갖는다. 누구나 동일한 피크 파장을 갖는 많은 LED들을 뱃치식으로 또는 그룹으로 함께 번들링할 수 있다. 이 연구는 각각의 LED 조명기가 균등하게 전력공급받는다고 가정한다 (그렇지 않다면, 다음 표들의 비들이 조정될 수 있다). 사람의 피부의 반사율을 포함하는 여러 물질의 반사율 및 창문의 투과율은 다수의 공개된 문헌에서 이용가능하다. IR 검출 카메라는 시중에서 상업적으로 입수가능하며 900 nm 내지 1700 nm에서 이미지들을 포착한다.
본 발명자는 먼저 η = 0인 경우를 고려하였다. 식 (4) 의 여러 비의 결과들은 도 13 의 표에 도시된다. 도 13 에는,
Figure pat00010
등으로 나타난다. 깨끗한 창문에서, 비 (
Figure pat00011
) 는 사람 피부에 대해 음의 값이고 코튼, 울, 폴리아미드에 대해서는 양의 값이다. 따라서, 이 비에 대한 임계값을 0으로 설정하면, 사람 이미지에 대한 픽셀들을 적절하게 분류할 수 있다. 이 비가 1070 nm, 1200 nm 및 1550 nm 대역들만을 포함하기 때문에, 단지 3개의 조명 LED들만이 사람 피부의 분리에 필요하다. 더러운 창문에서는, 이 비가 밝은색 피부에 대해 양의 값으로 되지만, 여전히 0 값에 가깝다. 이를 치유하기 위하여, 비,
Figure pat00012
(8)
로 정의되는 바와 같이 다른 양 (R12) 을 검토할 수 있다.
이 양은 피부에 대해 비교적 큰 값이지만 다른 3개의 물질에 대해서는 작다.
η의 영향을 평가하기 위하여, 임의의 카메라 시스템이 요구하는 조건, 즉,
Figure pat00013
(9)
을 먼저 조사한다.
깨끗한 유리에서는, TG(λ) 는 0.5 내지 0.8 의 범위에 있는 반면, 더러운 유리에서는 TG(λ) 는 0.2 정도로 낮아질 수 있다. 이 시스템은 더러운 유리에 대해 η ? 0.05 일 때 양호하게 동작하지 못할 것으로 예상된다.
도 14 는 η=0.05 에 대한 식 (4) 에서의 여러 비들에 대한 결과를 보여준다. 본 발명자는 간단히 비 (
Figure pat00014
) 를 이용하고 임계값을 0으로 설정하는 것은, 사람이 어두운색 피부를 가질 경우 더러운 유리 또는 채색된 유리에 대해서는 동작하지 않을 것임을 알고 있다. 임계값을 0.3으로 설정하면 양 (R12) 은 여전히 매우 견고해 보이지만, 이는 더러운 창문 내의 어두운색 피부를 패브릭으로서 오해할 것이다.
이하, 도 5 의 플로우도에 대하여 도시되고 기술된 본 방법의 여러 양태들을 구현할 수 있는 일 예시적인 처리 시스템의 블록도를 나타내는 도 15 를 참조한다.
워크스테이션 (1504) 은 도 4 의 IR 검출 디바이스 (407) 의 안테나 (408) 로부터 픽셀 강도 값들을 수신하고 컴퓨터 (1504) 와 검출 디바이스 (408) 사이의 양방향 통신을 실시하기 위하여 IR 이미지 수신기 (1502) 와 통신한다. 컴퓨터 (1504) 는 사용자에게 정보의 디스플레이를 인에이블하고 사용자 입력 또는 선택을 실시하도록 모니터 (1503) 및 사용자 인터페이스 (1505) 를 갖는다. 컴퓨터 (1504) 는 또한, 네트워크 통신 인터페이스 (도시 생략) 를 통하여 네트워크 (1501) 와 통신한다. 포착된 IR 이미지 및/또는 픽셀 강도값들의 여러 부분들이 워크스테이션 (1504) 내부의 메모리 또는 저장 디바이스에 저장될 수 있고, 저장 또는 추가 처리를 위하여 네트워크 (1501) 를 통하여 원격 디바이스에 통신될 수 있다. 사용자는 처리를 위하여 IR 이미지의 픽셀들 및/또는 영역들을 식별 또는 달리 선택하거나 또는 그 구현을 위해 요구되는 다른 사용자 입력을 제공하기 위해 그래픽 사용자 인터페이스, 예를 들어, 키보드 및 모니터를 이용할 수 있다. 수신된 IR 이미지 데이터에서 식별 또는 달리 검출된 대상이 되는 픽셀들 및/또는 영역들은 네트워크 (1501) 를 통하여 이미지 처리 시스템과 같은 원격 디바이스로부터 검색될 수 있다. 데스크톱 컴퓨터 (1504) 및 수신기 (1502) 는 이미지 프로세서 (1506) 와 통신한다.
예를 들어, 픽셀 처리를 위하여 식별 또는 달리 선택되었던 이미지 내의 대상이 되는 영역 등과 같은 수신된 IR 이미지와 관련된 정보를 큐잉하기 위한 버퍼 (1507) 를 포함하는 이미지 프로세서 (1506) 가 도시되어 있다. 버퍼 (1507) 는 또한, 상술한 방식으로 페이지들 또는 페이지 그룹을 처리하도록 수학 공식 및 표현식과 검색된 데이터를 저장할 수 있다. 강도 계산기 (1508) 는 식 (1) 및 (2) 중 어느 것에 대하여 요구되는 계산들을 수행하기 위해 필요한 변수들에 대한 정보 및 데이터를 워크스테이션 (1504) 으로부터 수신한다. 픽셀 식별기 모듈 (1509) 은 단계 504 에 대하여 상술한 바와 같이, 처리될 현재 픽셀을 식별한다. 모듈 (1509) 은 다음 처리되도록 의도된 표시된 IR 이미지 내의 픽셀이 어느것인지를 사용자가 선택하는 디스플레이를 그 위에 제공하는 모니터 (1503) 와 통신한다. 사용자는 처리를 위하여 표시된 IR 이미지 전부 또는 일부를 선택할 수 있다. 다른 실시형태에서, 이미지는 자동으로 처리되며, 이러한 실시형태도 첨부된 청구범위의 범위 내에 드는 것으로 의도됨을 알아야 한다. 비 모듈 (1510) 은 현재 픽셀에 대한 픽셀 강도 값들을 얻기 위하여 강도 모듈 (1508) 과 통신하는, 메모리를 갖춘 프로세서이다. 비 모듈 (1510) 은 식 (3) 에 대하여 상술한 비들을 생성하고 그 결과를 저장 디바이스 (1511) 에 저장한다. 모듈 (1508) 은 또한, 모듈 (1510) 에 의한 검색을 위하여 저장 디바이스 (1511) 에/로부터 값들을 저장/검색한다. 임계값 모듈 (1512) 은 임계값을 결정하고, 그 값을 픽셀 분류 프로세서 (1513) 에 제공하며, 픽셀 분류 프로세서는 상술한 방법 단계들에 따라, 식별된 픽셀의 분류를 수행한다. 이 픽셀의 분류는 저장 디바이스 (1511) 에 저장된다.
도 15 의 임의의 처리 유닛 및 모듈들은 도시되거나 도시되지 않은 경로들을 통하여 저장 디바이스 (1511) 와 통신하며, 의도된 기능을 수행하는데 필요한 데이터, 파라미터 값, 함수, 페이지, 리코드, 데이터 및/또는 머신 판독가능/실행가능 프로그램 명령을 저장/검색할 수 있음을 알아야 한다. 이들 모듈의 각각은 또한, 경로 (도시 생략) 를 통하여 워크 스테이션 (1504) 과 통신하며, 네트워크 (1501) 를 통하여 하나 이상의 원격 디바이스와 추가로 통신할 수 있다. 임의의 모듈들에 대한 기능의 일부 또는 전부가 워크스테이션 (1504) 내부의 구성요소들에 의해 또는 특수 목적 컴퓨터 시스템에 의해 전체적으로 또는 부분적으로 수행될 수 있음을 알아야 한다.
또한, 여러 모듈들이 하나 이상의 구성요소들을 할당할 수 있고, 이 구성요소들은 이어서 의도된 함수를 수행하도록 설계된 소프트웨어 및/또는 하드웨어를 포함할 수 있음을 알아야 한다. 복수의 모듈들이 단일의 기능을 총괄적으로 수행할 수도 있다. 각각의 모듈이 머신 판독가능 프로그램 명령을 실행할 수 있는 특수 프로세서를 가질 수도 있다. 모듈은 ASIC, 전자 회로, 또는 특수 목적 프로세서와 같은 하드웨어의 단일 피스를 포함할 수 있다. 복수의 모듈들이 단일의 특수 목적 컴퓨터 시스템에 의해 실행될 수도 있고 또는 복수의 특수 목적 컴퓨터 시스템에 의해 동시에 실행될 수도 있다. 모듈들 간의 접속들은 물리적 및 논리적 접속 양쪽을 포함한다. 모듈들은 오퍼레이팅 시스템, 드라이버, 디바이스 제어기, 및 다른 장치들을 더 포함할 수 있는 하나 이상의 소프트웨어/하드웨어 모듈을 더 포함할 수 있고 이들은 모두 네트워크를 통하여 접속될 수 있다. 본 방법의 하나 이상의 양태들이 전용 컴퓨터 시스템에서 구현될 수 있고 네트워크를 통하여 연결된 원격 디바이스에 의해 작업이 수행되는 분산형 컴퓨팅 환경에서도 또한 실시될 수 있음이 고려된다.
상술한 및 다른 특징 및 기능 및 이들의 변형예들이 많은 다른 상이한 시스템들 또는 애플리케이션들로 바람직하게 결합될 수 있음을 알아야 한다. 본 명세서 내의 다양한 현재 예상되지 못한 또는 고려되지 못한 변형예, 수정예, 변경예 또는 개선예도 당해 기술 분야의 당업자에게 명백하게 이루어질 수 있으며 다음의 청구범위에 의해 포함되는 것으로 또한 의도된다. 따라서, 상술한 실시형태들은 설명을 위한 것이고 제한을 두기 위한 것이 아니다. 상술한 실시형태들의 여러 변경들은 본 발명의 범위 및 사상에 벗어남이 없이 이루어질 수 있다. 특허 및 특허 출원을 포함한 임의의 인쇄된 공개물의 교시는 각각 그 전체가 참조로서 개별적으로 포함된다.

Claims (10)

  1. IR 이미징 시스템에 의해 얻은 IR 이미지 내의 생물체들 (living objects) 의 수를 결정하는 방법으로서,
    IR 이미지 내의 각각의 픽셀에 대한 전체 N개의 강도값들을 수집하는 단계로서, 상기 강도값들은 IR 검출 디바이스 및 IR 조명기를 포함하는 IR 이미징 시스템을 이용하여 수집되는, 상기 수집 단계;
    상기 IR 이미지 내의 각각의 픽셀에 대하여:
    Figure pat00015
    를 포함하는 상기 픽셀의 수집된 강도값들의 비를 생성하는 단계로서, i, j, k 는 서로 상이한 임의의 N-대역 인덱스들인, 상기 생성하는 단계,
    상기 생성된 비로부터 임계값을 형성하는 단계, 및
    상기 임계값을 이용하여 상기 픽셀을 생물체 또는 무생물체인 것으로서 분류하는 단계; 및
    상기 픽셀 분류에 기초하여 상기 IR 이미지 내의 생물체들의 전체 수를 결정하는 단계를 포함하는, IR 이미지 내의 생물체들의 수를 결정하는 방법.
  2. 제 1 항에 있어서,
    상기 IR 검출 디바이스는 단일의 IR 검출 디바이스이며,
    상기 IR 조명기는 하나의 고정된 필터를 갖는 순차적으로 조사하는 N-대역 조명기 (N ≥ 3) 이며,
    강도값은,
    Figure pat00016

    을 포함하며, 여기서 i 는 순차적으로 조사하는 상기 IR 조명기로부터의 i번째 IR 대역이 되도록 i=1...N 이 되며, α 는 조명원으로부터의 각도와 거리, 공기 중의 IR 파의 감쇠 및 상기 IR 검출 디바이스의 적분 시간에 의존하는 상수이며, Ib 는 태양광의 IR 성분으로부터의 강도와 같이 배경 광원으로부터의 강도이며, R0(λ) 는 상기 IR 검출 디바이스에 의해 검출된 물체의 반사율이며, RG(λ) 및 TG(λ) 는 유리의 반사율 및 투과율이고 그외의 경우 RG(λ)=0 이고 TG(λ)=1이며, 상수 (η) 는 차량 유리로부터 반사되어 검출기에 의해 수광된 상기 IR 조명기로부터의 광의 백분율 측정값이고 그 외의 경우 η 은 0 이며, TL(λ) 은 고정된 필터의 투과율이며, D(λ) 는 상기 IR 검출 디바이스의 응답도 (responsivity) 인, IR 이미지 내의 생물체들의 수를 결정하는 방법.
  3. 제 1 항에 있어서,
    상기 IR 검출 디바이스는 N 개의 대역 통과 필터를 갖는 N 개의 검출 디바이스들이며 (N ≥ 3), 상기 IR 조명기는 상기 대역 통과 필터의 파장 범위를 커버하는 하나의 조명기를 가지며,
    강도값은,
    Figure pat00017

    을 포함하며, 여기서, i 는 i번째 IR 대역통과 필터이도록 i=1...N 이 되며, α 는 조명원으로부터의 각도와 거리, 공기 중의 IR 파의 감쇠 및 검출 디바이스의 적분 시간에 의존하는 상수이며, Ib 는 배경 강도이며, R0(λ) 는 상기 IR 검출 디바이스에 의해 검출된 물체의 반사율이며, RG(λ) 및 TG(λ) 는 유리의 반사율 및 투과율이고 그외의 경우 RG(λ)=0 이고 TG(λ)=1이며, 상수 (η) 는 차량 유리로부터 반사되어 검출기에 의해 수광된 상기 IR 조명기로부터의 광의 백분율 측정값이고 그 외의 경우 η 은 0 이며, Ti L(λ)은 i번째 필터의 투과율이며, D(λ) 는 상기 IR 검출 디바이스의 응답도인, IR 이미지 내의 생물체들의 수를 결정하는 방법.
  4. 제 1 항에 있어서,
    분류된 픽셀들에 기초하여 상기 IR 이미지 내의 생물체들의 전체 수를 결정하는 단계는, 저장 디바이스로부터 얻은 공지된 반사율을 이용하여 적어도 하나의 계산된 강도값과, 상기 픽셀들의 각각과 연관된 강도값을 교차참조하는 단계를 포함하는, IR 이미지 내의 생물체들의 수를 결정하는 방법.
  5. 제 1 항에 있어서,
    임의의 픽셀 강도값들을 결합하여, 상기 픽셀에 대한 적어도 하나의 새로운 강도값을 생성하는 단계;
    생성된 새로운 픽셀 강도값들을 이용하여 새로운 비를 생성하는 단계;
    상기 비로부터 새로운 임계값을 형성하는 단계; 및
    상기 새로운 임계값을 이용하여 상기 픽셀을 분류하는 단계를 더 포함하는, IR 이미지 내의 생물체들의 수를 결정하는 방법.
  6. IR 이미징 시스템에 의해 얻은 IR 이미지 내의 생물체들의 수를 결정하는 시스템으로서,
    IR 검출 디바이스 및 IR 조명기를 포함하는 IR 이미징 시스템;
    메모리 및 저장 매체; 및
    상기 메모리 및 상기 저장 매체와 통신하는 프로세서를 포함하며,
    상기 프로세서는,
    상기 IR 이미지의 각각의 픽셀에 대한 전체 N개의 강도값들을 수집하는 단계로서, 상기 강도값들은 상기 IR 이미징 시스템을 이용하여 수집되는, 상기 수집하는 단계;
    상기 IR 이미지의 각각의 픽셀에 대하여:
    Figure pat00018
    를 포함하는 상기 픽셀의 수집된 강도값들의 비를 생성하는 단계로서, i, j, k 는 서로 상이한 임의의 N-대역 인덱스들인, 상기 생성하는 단계,
    상기 생성된 비로부터 임계값을 형성하는 단계, 및
    상기 임계값을 이용하여 상기 픽셀을 생물체 또는 무생물체인 것으로서 분류하는 단계; 및
    상기 픽셀 분류에 기초하여 상기 IR 이미지 내의 생물체들의 전체 수를 결정하는 단계의 방법을 수행하는 머신 판독가능 명령들을 실행하는, IR 이미지 내의 생물체들의 수를 결정하는 시스템.
  7. 제 6 항에 있어서,
    상기 IR 검출 디바이스는 단일의 IR 검출 디바이스이며,
    상기 IR 조명기는 하나의 고정된 필터를 갖는 순차적으로 조사하는 N-대역 조명기 (N ≥ 3) 이며,
    강도값은,
    Figure pat00019

    을 포함하며, 여기서 i 는 순차적으로 조사하는 상기 IR 조명기로부터의 i번째 IR 대역이 되도록 i=1...N 이 되며, α 는 조명원으로부터의 각도와 거리, 공기 중의 IR 파의 감쇠 및 상기 IR 검출 디바이스의 적분 시간에 의존하는 상수이며, Ib 는 태양광의 IR 성분으로부터의 강도와 같이 배경 광원으로부터의 강도이며, R0(λ) 는 상기 IR 검출 디바이스에 의해 검출된 물체의 반사율이며, RG(λ) 및 TG(λ) 는 유리의 반사율 및 투과율이고 그외의 경우 RG(λ)=0 이고 TG(λ)=1이며, 상수 (η) 는 차량 유리로부터 반사되어 검출기에 의해 수광된 상기 IR 조명기로부터의 광의 백분율 측정값이고 그 외의 경우 η 은 0 이며, TL(λ) 은 고정된 필터의 투과율이며, D(λ) 는 상기 IR 검출 디바이스의 응답도 (responsivity) 인, IR 이미지 내의 생물체들의 수를 결정하는 시스템.
  8. 제 7 항에 있어서,
    상기 IR 검출 디바이스는 N 개의 대역 통과 필터를 갖는 N 개의 검출 디바이스들이며 (N ≥ 3), 상기 IR 조명기는 상기 대역 통과 필터의 파장 범위를 커버하는 하나의 조명기를 가지며,
    강도값은,
    Figure pat00020

    을 포함하며, 여기서, i 는 i번째 IR 대역통과 필터이도록 i = 1...N이 되며, α 는 조명원으로부터의 각도와 거리, 공기 중의 IR 파의 감쇠 및 검출 디바이스의 적분 시간에 의존하는 상수이며, Ib 는 배경 강도이며, R0(λ) 는 상기 IR 검출 디바이스에 의해 검출된 물체의 반사율이며, RG(λ) 및 TG(λ) 는 유리의 반사율 및 투과율이고 그외의 경우 RG(λ)=0 이고 TG(λ)=1이며, 상수 (η) 는 차량 유리로부터 반사되어 검출기에 의해 수광된 상기 IR 조명기로부터의 광의 백분율 측정값이고 그 외의 경우 η 은 0 이며, Ti L(λ)은 i번째 필터의 투과율이며, D(λ) 는 상기 IR 검출 디바이스의 응답도인, IR 이미지 내의 생물체들의 수를 결정하는 시스템.
  9. 제 6 항에 있어서,
    분류된 픽셀들에 기초하여 상기 IR 이미지 내의 생물체들의 전체 수를 결정하는 단계는, 저장 디바이스로부터 얻은 공지된 반사율을 이용하여 적어도 하나의 계산된 강도값과, 상기 픽셀들의 각각과 연관된 강도값을 교차참조하는 단계를 포함하는, IR 이미지 내의 생물체들의 수를 결정하는 시스템.
  10. 제 6 항에 있어서,
    임의의 픽셀 강도값들을 결합하여, 상기 픽셀에 대한 적어도 하나의 새로운 강도값을 생성하는 단계;
    생성된 새로운 픽셀 강도값들을 이용하여 새로운 비를 생성하는 단계;
    상기 비로부터 새로운 임계값을 형성하는 단계; 및
    상기 새로운 임계값을 이용하여 상기 픽셀을 분류하는 단계를 더 포함하는, IR 이미지 내의 생물체들의 수를 결정하는 시스템.
KR1020110133973A 2010-12-14 2011-12-13 Ｉｒ 이미징 시스템을 통해 얻은 ｉｒ 이미지 내의 사람들의 전체 인원수를 결정하는 방법 KR20120066604A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/967,775 US8520074B2 (en) 2010-12-14 2010-12-14 Determining a total number of people in an IR image obtained via an IR imaging system
US12/967,775 2010-12-14

Publications (1)

Publication Number Publication Date
KR20120066604A true KR20120066604A (ko) 2012-06-22

Family

ID=45541525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110133973A KR20120066604A (ko) 2010-12-14 2011-12-13 Ｉｒ 이미징 시스템을 통해 얻은 ｉｒ 이미지 내의 사람들의 전체 인원수를 결정하는 방법

Country Status (8)

Country Link
US (1) US8520074B2 (ko)
JP (2) JP5752583B2 (ko)
KR (1) KR20120066604A (ko)
CN (1) CN102592335B (ko)
BR (1) BRPI1107116A2 (ko)
DE (1) DE102011088393B4 (ko)
GB (1) GB2486947A (ko)
MX (1) MX2011013205A (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9245332B2 (en) * 2011-03-09 2016-01-26 Alcatel Lucent Method and apparatus for image production
WO2013043154A1 (en) * 2011-09-20 2013-03-28 Halliburton Energy Services, Inc. Systems and tools for detecting restricted or hazardous substances
CN103797528A (zh) * 2011-09-28 2014-05-14 本田技研工业株式会社 生物体识别装置
US8811664B2 (en) * 2011-12-06 2014-08-19 Xerox Corporation Vehicle occupancy detection via single band infrared imaging
US8818030B2 (en) * 2011-12-13 2014-08-26 Xerox Corporation Post-processing a multi-spectral image for enhanced object identification
US9351649B2 (en) 2012-02-21 2016-05-31 Xerox Corporation System and method for determining video-based pulse transit time with time-series signals
US8824742B2 (en) 2012-06-19 2014-09-02 Xerox Corporation Occupancy detection for managed lane enforcement based on localization and classification of windshield images
US9760784B2 (en) 2012-10-26 2017-09-12 Nec Corporation Device, method and program for measuring number of passengers
US9523608B2 (en) * 2012-12-14 2016-12-20 Xerox Corporation Material identification from a spectral filtered patterned image without demosaicing
CN103021178B (zh) * 2012-12-18 2015-08-12 重庆喜玛拉雅科技有限公司 汽车载客人数实时监控系统
CN103279791B (zh) * 2013-05-30 2016-03-30 上海汇纳信息科技股份有限公司 基于多特征的行人计算方法
TWI532620B (zh) * 2013-06-24 2016-05-11 Utechzone Co Ltd Vehicle occupancy number monitor and vehicle occupancy monitoring method and computer readable record media
CN103414869B (zh) * 2013-06-24 2016-03-16 西安富沃德光电科技有限公司 一种警用透窗成像侦查系统
US9336594B2 (en) 2014-03-07 2016-05-10 Xerox Corporation Cardiac pulse rate estimation from source video data
US9652851B2 (en) * 2014-04-01 2017-05-16 Conduent Business Services, Llc Side window detection in near-infrared images utilizing machine learning
US9320440B2 (en) 2014-04-01 2016-04-26 Xerox Corporation Discriminating between atrial fibrillation and sinus rhythm in physiological signals obtained from video
US9633267B2 (en) * 2014-04-04 2017-04-25 Conduent Business Services, Llc Robust windshield detection via landmark localization
US9842266B2 (en) 2014-04-04 2017-12-12 Conduent Business Services, Llc Method for detecting driver cell phone usage from side-view images
US9521335B2 (en) 2014-06-17 2016-12-13 Xerox Corporation Detecting febrile seizure with a thermal video camera
US10192134B2 (en) 2014-06-30 2019-01-29 Microsoft Technology Licensing, Llc Color identification using infrared imaging
CN104506827B (zh) * 2015-01-13 2018-02-02 苏州创捷传媒展览股份有限公司 具有人体跟踪功能的互动视觉拍摄装置
EP3317624B1 (en) 2015-07-05 2019-08-07 The Whollysee Ltd. Optical identification and characterization system and tags
EP3414738B1 (en) * 2016-02-08 2020-01-22 Koninklijke Philips N.V. Device, system and method for skin detection
CN106560871A (zh) * 2016-09-22 2017-04-12 淮阴工学院 双系统家庭防盗报警系统及防盗方法
US10701244B2 (en) * 2016-09-30 2020-06-30 Microsoft Technology Licensing, Llc Recolorization of infrared image streams
CN106771446B (zh) * 2016-11-28 2019-12-31 国网山东省电力公司济宁供电公司 智能电表箱及电量信息显示方法、报警系统
EP3651114B1 (en) * 2017-07-04 2022-06-08 Nec Corporation Analysis device, analysis method, and program
CN110998596B (zh) * 2017-09-28 2023-11-07 苹果公司 夜间感测
CA3087142A1 (en) * 2017-12-28 2019-07-04 Nec Corporation Information processing apparatus, information processing method, and program
TR201812156A2 (tr) * 2018-08-27 2018-09-21 Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi Plaka tanima si̇stemi̇ kamera görüntüleri̇ kullanilarak ön koltuk yolcu kapasi̇tesi̇ i̇hlal tespi̇t yöntemi̇
US20200138337A1 (en) 2018-11-06 2020-05-07 The Regents Of The University Of Colorado, A Body Corporate Non-Contact Breathing Activity Monitoring And Analyzing System Through Thermal On Projection Medium Imaging
KR102207737B1 (ko) * 2018-12-11 2021-01-26 대한민국 무인 생물 모니터링 시스템 및 이를 이용한 생물 인식 방법
CN111768542B (zh) * 2020-06-28 2022-04-19 浙江大华技术股份有限公司 一种闸机控制系统、方法、装置、服务器及存储介质
CN114596537B (zh) * 2022-05-10 2022-08-05 深圳市海清视讯科技有限公司 区域人流数据确定方法、装置、设备及存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831358B2 (en) 1992-05-05 2010-11-09 Automotive Technologies International, Inc. Arrangement and method for obtaining information using phase difference of modulated illumination
EP0767361B1 (en) 1993-07-22 2000-02-23 Applied Spectral Imaging Ltd. Method and apparatus for spectral imaging
US7738678B2 (en) 1995-06-07 2010-06-15 Automotive Technologies International, Inc. Light modulation techniques for imaging objects in or around a vehicle
US7734061B2 (en) 1995-06-07 2010-06-08 Automotive Technologies International, Inc. Optical occupant sensing techniques
US6072889A (en) * 1997-12-03 2000-06-06 The Raytheon Company Method and system for imaging target detection
US6373568B1 (en) 1999-08-06 2002-04-16 Cambridge Research & Instrumentation, Inc. Spectral imaging system
US6370260B1 (en) 1999-09-03 2002-04-09 Honeywell International Inc. Near-IR human detector
US6295130B1 (en) 1999-12-22 2001-09-25 Xerox Corporation Structure and method for a microelectromechanically tunable fabry-perot cavity spectrophotometer
US20030053659A1 (en) 2001-06-29 2003-03-20 Honeywell International Inc. Moving object assessment system and method
US6721692B2 (en) 2001-08-30 2004-04-13 Xerox Corporation Systems and methods for determining spectra using dynamic least squares algorithms with measurements from LED color sensor
US7027619B2 (en) 2001-09-13 2006-04-11 Honeywell International Inc. Near-infrared method and system for use in face detection
US6825930B2 (en) 2002-06-04 2004-11-30 Cambridge Research And Instrumentation, Inc. Multispectral imaging system
CN100383803C (zh) 2003-02-11 2008-04-23 哈曼贝克自动系统股份有限公司 高承载车辆限制感知导航系统
GB2414790A (en) 2004-06-04 2005-12-07 Laser Optical Engineering Ltd Detection of humans or animals by comparing infrared and visible light images
US7091880B2 (en) 2004-07-15 2006-08-15 Raytheon Company Licensed driver detection for high occupancy toll lane qualification
US7469060B2 (en) * 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
US6980101B2 (en) 2005-03-14 2005-12-27 Kalon Lee Kelley Motor vehicle occupancy signaling system
US7385704B2 (en) 2005-03-30 2008-06-10 Xerox Corporation Two-dimensional spectral cameras and methods for capturing spectral information using two-dimensional spectral cameras
US7304801B2 (en) 2005-03-30 2007-12-04 Xerox Corporation Distributed Bragg reflector systems and methods
FR2885224B1 (fr) * 2005-04-28 2007-08-03 Sagem Procede et systeme de veille aeroportee par analyse d'images infrarouges
US20070092115A1 (en) * 2005-10-26 2007-04-26 Usher David B Method and system for detecting biometric liveness
US7355714B2 (en) 2005-12-29 2008-04-08 Xerox Corporation Reconfigurable MEMS fabry-perot tunable matrix filter systems and methods
US7417746B2 (en) 2005-12-29 2008-08-26 Xerox Corporation Fabry-perot tunable filter systems and methods
JP4819606B2 (ja) * 2006-07-21 2011-11-24 株式会社豊田中央研究所 対象物の部位判別装置及び性別判定装置
US7786897B2 (en) 2007-01-23 2010-08-31 Jai Pulnix, Inc. High occupancy vehicle (HOV) lane enforcement
JP5026854B2 (ja) * 2007-04-27 2012-09-19 国立大学法人東京工業大学 領域抽出装置及び領域抽出方法
JP2009212824A (ja) * 2008-03-04 2009-09-17 Funai Electric Co Ltd 皮膚領域検出撮像装置
US20090309974A1 (en) 2008-05-22 2009-12-17 Shreekant Agrawal Electronic Surveillance Network System
JP5018653B2 (ja) * 2008-06-04 2012-09-05 株式会社豊田中央研究所 画像識別装置
US7869732B2 (en) 2008-07-03 2011-01-11 Xerox Corporation Amplitude modulation of illuminators in sensing applications in printing system
US8013760B2 (en) 2008-10-06 2011-09-06 Mark Iv Ivhs, Inc. High occupancy vehicle status signaling using electronic toll collection infrastructure
JP4702441B2 (ja) * 2008-12-05 2011-06-15 ソニー株式会社 撮像装置及び撮像方法
EP2264643A1 (en) * 2009-06-19 2010-12-22 Universidad de Castilla-La Mancha Surveillance system and method by thermal camera
JP2012068762A (ja) * 2010-09-21 2012-04-05 Sony Corp 検出装置、検出方法、プログラム、及び電子機器

Also Published As

Publication number Publication date
US20120147194A1 (en) 2012-06-14
GB2486947A (en) 2012-07-04
JP2012128862A (ja) 2012-07-05
JP5938125B2 (ja) 2016-06-22
JP5752583B2 (ja) 2015-07-22
CN102592335A (zh) 2012-07-18
DE102011088393B4 (de) 2022-02-24
GB201121249D0 (en) 2012-01-18
US8520074B2 (en) 2013-08-27
MX2011013205A (es) 2012-06-13
BRPI1107116A2 (pt) 2016-03-22
DE102011088393A1 (de) 2012-06-14
CN102592335B (zh) 2015-09-16
JP2015181033A (ja) 2015-10-15

Similar Documents

Publication Publication Date Title
JP5938125B2 (ja) Ｉｒ画像内の生物の数を決定するための方法
US8587657B2 (en) Determining a number of objects in an IR image
US9171196B2 (en) Multi-band infrared camera system optimized for skin detection
CN103164708B (zh) 确定车辆承载检测的像素分类阈值
CA2694305C (en) Method and apparatus for oil spill detection
US20200370958A1 (en) Spectrometer device and system
JP2021507230A (ja) 分光計装置および分光計システム
JP2019508717A (ja) 画像取得および解析用の能動パルス式４ｄカメラのための方法および装置
US20110080577A1 (en) System and Method for Combined Raman, SWIR and LIBS Detection
CN112285504A (zh) 多谱段日盲窄带紫外成像仪及其检测不同放电状态的方法
CN112130316B (zh) 多通道多谱段滤光片结构及其应用、方法
Chang et al. Multispectral visible and infrared imaging for face recognition
WO2021009280A1 (en) Spectrometer device
CN113155781B (zh) 一种非接触式检测系统
US20140160476A1 (en) Method and Apparatus for Performing Spectral Classification
Curtiss et al. Active illumination source for hyperspectral spectrometer in UAV/UGV mounted applications
Sundermeier et al. Active NIR illumination for improved camera view in automated driving application
Daley et al. Detection of vehicle occupants in HOV lanes: exploration of image sensing for detection of vehicle occupants
Zhou et al. Developing, integrating and validating a compressive hyperspectral video imager
WO2014088590A1 (en) Method and apparatus for performing spectral classification
EP2595089A1 (en) Driver assistance system and method for a motor vehicle

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E601 Decision to refuse application