KR101940955B1

KR101940955B1 - 차량 검사 보안 시스템에서 개선된 안면 검출 및 인식을 위한 장비, 시스템 및 방법

Info

Publication number: KR101940955B1
Application number: KR1020180060239A
Authority: KR
Inventors: 로즈플로치 로버트; 가리도 디에고; 한센 마크
Original assignee: 게이트키퍼 아이엔씨.
Priority date: 2017-05-30
Filing date: 2018-05-28
Publication date: 2019-01-21
Also published as: US10657360B2; CA3004029C; US9953210B1; CA3004029A1; MX2018006587A; US20180349679A1; JP6461406B1; KR20180131428A; EP3410350A1; JP2019023860A

Abstract

차량 내부 검사에서 개선된 안면 검출 및 인식을 위한 장치, 시스템 및 방법이 제공된다. 다양한 실시예에서, 하나 이상의 렌즈 및 필터 부속품을 갖는 하나 이상의 고해상도 카메라는 하나 이상의 보조 조명 장치와 관련 컴퓨터 시스템과 함께 작동한다. 다양한 실시예에 따르면, 보조 조명 장치는 하나 이상의 카메라와 동기화될 수 있으며, 정확하고 사용가능한 이미지의 캡쳐를 용이하게 하는 보조 조명을 공급하도록 구성된다. 필터(들) 및 진보된 이미지 처리 해법은 안면 검출 및 차량 내부의 개인 식별, 광 눈부심 및 창문 표면으로부터의 원하지 않는 반사 제거, 및 다른 것 중에서 착색된 이미지를 통한 이미지 캡쳐를 돕는다. 또한, 실시예들은 차량 탑승자의 신원을 확인하기 위해, 데이터베이스로부터 인증된 이미지에 캡쳐된 이미지를 비교할 수 있다.

Description

차량 검사 보안 시스템에서 개선된 안면 검출 및 인식을 위한 장비, 시스템 및 방법{Apparatus, systems and methods for improved facial detection and recognition in vehicle inspection security systems}

본 발명은 시각적 검사 시스템에 관한 것으로, 더욱 구체적으로는 차량 내부 검사에서 개선된 안면 검출 및 인식을 위해 향상된 장치, 시스템 및 방법에 관한 것이다.

정부, 기업 및 심지어 개인들도 교통 통제를 개선하고 특히 보안 시설에 대해 차량 진입 지점에서 물리적 위치까지 보안을 증가시키기 위한 더욱 효과적이고 효율적인 방법을 찾고 있다. 다양한 기술적 해결책들이 진입 지점에서 주어진 차량을 식별할 수 있으며, 어떤 잠재적인 위협을 식별하기 위해 외적 및 내적으로 조사가 이뤄질 수 있다. 제한된 정도까지, 일부 기술적 해결책은 진입 지점에서 차량안의 운전자 및 승객을 식별할 수 있지만, 이러한 해결책은 운전자 및/또는 승객과 같은 탑승자가 정지하고, 창문을 열고, 예를 들어 사진이 있는 신분증 또는 RFID 근접 카드, 또는 예를 들어 얼굴 또는 망막 카메라에 의해 스캔될 수 있는 생체인증 정보와 같은 몇 가지 신분증 형태를 제시할 것을 요구한다. 이 차량 탑승자 식별 프로세스는 시간을 소비하고 많은 교통량을 처리하는데 현실적이지 못하다. 또한, 추가되는 식별 시간은 일상적인 보안 절차를 겪고 싶어하지 않는 특별한 특권 탑승자를 실어나르는 차량에 대해서는 적합하지 않을 수 있다.

게다가, 창문과 같은 장벽을 통해, 또는 차량이 이동하는 동안 내부를 검사하기 위한 노력은 제약에 직면하다. 예를 들어, 주변, 차량 실내 조명 상태, 기상 상태, 창문 반사성 및 창문 색조의 상당한 변동이 존재한다. 이러한 변형은 통상적인 이미지-기반 식별 시스템에 수많은 문제를 발생시킨다. 예를 들어, 창문 표면으로터의 광 반사는 이미지를 거의 쓸모없게 만들고, 심한 유리 착색은 차량에 가까운 내부의 개인 식별을 불가능하게 한다. 유리 및 장벽을 통해 차량 내부의 안면 검출에 대한 다른 문제는 차량 안의 탑승자가 보이지 않을 수 있다는 사실이다. 예를 들어, 안면이 보이지 않는 문제는 탑승자의 안면을 차단하는 차량의 불투명한 부분, 탑승자의 움직임 및 갑자기 얼굴에 손을 가져가는 것에 의해 야기될 수 있다. 또한, 안면 검출 알고리즘은 안면 프로필 이미지상에서 잘 수행되지 않는다. 안면 검출 알고리즘은 얼굴 정면 프로필에 대해 디자인된다.

차량 탑승객 및 내용물의 신속하고 최소한으로 침습적인 안면 검출 및 식별하도록 하는 해결책이 필요하다. 또한, 다양한 조명, 기상 조건, 유리 색조, 및 광 반사와 연관된 문제를 극복하도록 하는 해결책이 필요하다. 차량 번호판, 차량 하부 스캔 영상, 무선 주파수 식별 태그와 같은 다른 식별 형태와 결합할 때, 안면 검출은 차량 및 그 탑승객을 식별할 능력과 개선된 보안을 모두 제공할 수 있는 추가적인 인증 레벨을 제공한다. 또한, 다중-인자 인증 프로세스의 일부로서 소정의 차량안의 탑승객을 선명하게 식별함으로써, 처리량 또는 보안 점검지점을 차량이 통과하는 속도는 현저하게 개선될 수 있다.

본 발명은 차량의 검사, 및 특히 차량 내부의 탑승객의 안면 검출을 개선하기 위한 장치, 시스템 및 방법에 관한 것이다.

실시 예는 하나 이상의 고해상도 카메라, 하나 이상의 보조 조명 장치, 하나 이상의 광학 필터 및 하나 이상의 프로세싱 유닛을 포함할 수 있다. 다양한 실시예에 따라, 보조 조명 장치는 하나 이상의 카메라에 동기화될 수 있으며, 보조 조명을 공급하도록 구성될 수 있다. 예를 들어, 보조 조명은 이미지 캡쳐와 거의 동일한 순간에 및/또는 이미지 캡쳐와 거의 유사한 광 주파수로, 이미지 캡쳐와 대략적으로 동일한 방향으로 공급될 수도 있다.

실시예는 진보된 이미지 프로세싱 기능, 루틴, 알고리즘 및 프로세스를 운용하도록 구성된 하나 이상의 내장형 프로세싱 유닛을 구비한 컴퓨터 시스템 또는 카메라를 추가로 포함할 수 있다. 본 발명에 따르는 진보된 이미지 프로세싱 장치 및 방법론은 안면을 검출하고 차량 내부의 개인을 식별하고, 개인의 저장된 이미지에 개인의 현재 캡쳐된 이미지를 비교하고, 창문 표면으로부터의 원하지 않는 반사 광 눈부심(light glare)을 제거하고, 착색된 창문을 통해 다른 것 중에서 이미지를 캡쳐하는 프로세스를 포함할 수 있다. 예를 들어, 알고리즘은 동일한 목표 차량/탑승객의 상이한 이미지를 비교하고 이미지 사이의 차이를 이용하여 이미지를 개선하고 및/또는 원치않는 시각적 노이즈(artifact)를 감소시키거나 제거할 수 있다. 또한, 데이터베이스로부터의 인증된 이미지에 캡쳐된 이미지를 비교하여, 예를 들어 차량 탑승자의 신원을 확정(confirm)할 수 있다. 실시예는 다른 위치 사이에서, 대규모 정부, 기업 또는 산업 단지 및 시설, 국경 통과, 및 보안 주차 시설 내부의 시설 입구 및 출구 위치, 교통 통제 환경, 차량 탑승자 식별을 위한 법 집행과 같은 다양한 고정식 및 이동식 시나리오에서 사용될 수 있다. 여기에 기재된 부품의 형태 및 크기는 응용마다 다를 수 있다.

본 발명에 따르는 안면 검출은 시스템이 예를 들어 차량의 다수의 탑승자를 식별하고, 잘려진(cropped) 디지털 이미지안에서 획득된 안면 이미지를 안면 인식 알고리즘에 제시하는 것을 허용한다. 부가적인 특징으로서, 안면 검출 알고리즘은 차량안의 탑승자의 위치 정보를 제공할 수 있다. 예를 들어, 시스템은 운전자, 앞좌석 탑승자, 및 뒷좌석 탑승자를 식별할 수 있다. 다양한 실시예에서, 안면 및/또는 안면 이미지를 검출한 후, 시스템은 안면을 인식하도록, 즉, 안면을 특정 개인의 것으로 보도록 운용할 수 있다.

본 발명의 시스템 및 장치는 다양하며, 조명 환경 변경을 포함하는 다양한 조명 환경안에서 꾸준하게 정확한 안면 검출을 제공해야 하는 기술적 문제점을 극복한다. 일반적으로, 안면 검출 알고리즘은 다중 조명원을 고려하도록 디자인되지 않는다. 안면 검출 알고리즘은 또한 안면의 이미지화는 다양한 착색 레벨의 앞 유리창(windshield)을 포함하는, 앞 유리창 뒤에서 이뤄져야 한다는 것을 고려하지 않는다. 태양광과 같은 통제할 수 없는 조명 조건 및 앞 유리창을 통한 이미지화는 획득한 디지털 이미지에 대해 매우 강력한 눈부심을 생성할 수 있다. 디지털 사진에서의 눈부심은 일반적으로 대비 증폭(contrast enhancement) 또는 히스토그램 평활화(histogram equalization)와 같은 이미지 프로세싱 기술을 사용하여 제거하는 것이 불가능하다. 이처럼, 본 명세서는 이 눈부심을 제거하기 위해 다른 접근법을 고려한다.

본 명세서의 다양한 실시예에 따르면, 광학 편광 필터(optical polarizing filter) 및 분광 필터(spectral filter)는 다수의 통제할 수 없는 광원에 의해 생성되는 반사 및 부정적인 이미지화 노이즈를 완화하는데 사용되어, 안면 검출 및 인식을 위한 이미지 품질을 개선한다. 편광 필터는 색 포화도(color saturation)를 증가시키고 반사를 감소시킬 수 있으며, 디지털 이미지 프로세싱 기술을 사용하여 복제될 수 없다. 다양한 실시예에서, 편광 필터는 반사를 관리하거나 눈부심을 억제하기 위해 사진촬영시 카메라 렌즈의 전방에 배치된다. 하늘 빛은 앞 유리창에서 반사될 때 부분적으로 선형 편광될 수 있다. 선형 편광자는 앞 유리창의 광 반사량을 현저하게 감소시키지만 탑승자의 안면에서 반사된 비-편광 광이 카메라 센서로 보내지도록 하여, 하늘 반사에 의해 이미 불명료해진 차량 내부의 안면의 이미지를 선명하게 캡쳐할 능력을 가능하게 하는데 사용될 수 있다.

스펙트럼 대역 통과 필터는 또한 이미징 센서에 조명원의 스펙트럼 파장의 전송을 허용하지만, 제어할 수 없는 광원에 의해 생성되는 대부분의 신호를 차단하는데 사용될 수 있다. 다양한 실시예에서, 조명은 짧은 지속기간 동안 조명하도록 펄스화되고 카메라의 노출/집적 시간의 지속기간 동안 발생하도록 시간이 정해진다. 짧은 집적 시간의 짧은 조명 펄스는 이미징 시스템이 조명기에 의해 생성된 것들에 의해 지배되는 장면으로부터 광자(photon)를 얻을 수 있게 하면서, 주간 또는 야간의 다른 광원에 의해 생성된 광을 거부하도록 한다. 이 기술의 조합은 제어할 수 없는 광원에 의해 생성된 간섭을 감소시키는 스펙트럼 필터링 및 조명의 제어되는 이미징 수행에 의해 주로 지배되는 이미징 환경을 생성한다.

다양한 실시예에서, 본 발명의 안면 검출 알고리즘은 승객의 위치를 식별하고, 안면이 디지털 이미지내에 위치한다는 것을 정확하게 식별하기 위해 탑승객의 안면의 현저한 대비를 필요로 한다. 많은 경우, 이미지 개선을 겪은 이미지는 더 높은 대비의 이미지의 만들어서, 안면 검출 알고리즘이 디지털 이미지 안의 안면을 성공적으로 식별할 높은 가능성을 생성한다. 따라서, 이미지 개선은 본 발명의 다양한 실시예에 따르는 안면 검출 알고리즘에 의해 이미지가 처리되기 전에 도입될 수 있다.

탑승자 중첩 문제 및 다른 문제를 약화시키기 위해, 여기에 개시된 바와 같이 상이한 거리의 다수의 사진 촬영이 시스템 안에 디자인될 수 있다. 이 추가적인 이미지 셋은 안면 검출 알고리즘의 계정으로 가져와야 한다. 다수의 이미지 수집으로부터, 성공적인 안면 검출 확률로 전체 이미지를 선택하도록 발견적(heuristics) 형태가 적용될 수 있다. 또한, 바람막이창(windshield)이 중심에 있도록 사진 촬영을 구성하는 것이 여기에 개시된 바와 같은 상기 문제점을 극복하는데 기여할 수 있다.

본 발명에 따르는 차량 내부의 안면 검출 및 인식을 위한 시스템 및 장치는 조명 환경 변경을 포함하는 다양한 조명 환경안에서 꾸준하게 정확한 안면 검출을 제공해야 하는 기술적 문제점을 극복한다.

도1은 본 발명의 일 실시예에 따르는 진입 통제 시스템을 도시하는 개략도이다.
도2는 본 발명의 다른 실시예에 따르는 진입 통제 시스템을 도시하는 개략도이다.
도3은 본 발명의 양태에 따라 이용되는 바와 같이 모발 형태에 연관된 이미지를 도시한다.
도4는 본 발명의 양태에 따르는 안면 검출로 이용되는 바와 같은 모발 형태와 연관된 이미지는 나타낸다.
도5는 본 발명과 연관된 안면 검출에 따르는 다단계의 개략적인 설명을 나타낸다.
도6은 본 발명에 따르는 브류스터 각(Brewster's angle)에서 반사되는 광의 결과적인 선형 분극을 나타낸다.
도7 내지 도11은 본 발명의 실시예와 연관된 예시적인 이미지이다.
도12는 본 발명의 일 양태에 따르는 진입 통제 시스템의 예시적인 개략적 레이아웃이다.

이하의 설명은 본 발명의 방법, 시스템 및 장비의 예시적인 실시예를 실행하는 현재 가장 심사숙고한 모드의 설명이다. 이 설명은 제한적인 의미로 이뤄지지 않으며, 단지 본 발명의 일반적인 원리를 도시하는 목적으로 이뤄진다.

본 발명의 양태는 차량 교통량 통제 애플리케이션, 또는 예를 들어 차량 내의 탑승객을 판단하는데 필요한 애플리케이션의, 주행중이거나 보안 검문소 구역으로 접근하는 차량의 한 면 이상의 탑승객을 기록 및 식별하는 것에 관한 것이다.

도1 및 도2에 도시된 바와 같이, 본 발명은 하나 이상의 진입 통제 장치(일반적으로 15에 도시된) 및 네트워크(25)를 거쳐 접근할 수 있는 컨트롤러를 포함하는 원격 중앙 시스템(28)을 포함하는 진입 통제 시스템(10)의 일부로서 구현될 수 있으며, 여기에서 시스템(28)은 데이터베이스(40)에 액세스할 수 있다. 다양한 실시예에서, 단일 장치(15) 또는 장치(15)의 그룹은 로컬 데이터베이스(37)에 액세스할 수 있는 컨트롤러를 포함하는 로컬 컴퓨팅 시스템(20)의 일부로서 통합 중앙 컨트롤러를 포함할 수 있다. 데이터베이스(들)(37 및/또는 40)는 사람 및 모든 유형의 차량에 대한 기준 이미지 및 데이터를 저장 및 업데이트하는데 사용될 수 있다.사람에 대해, 기준 이미지는 본 발명의 시스템, 장치 및 방법을 사용하여 이미 획득하거나 예를 들어 온라인 검색, 사회공학 검색을 통하거나 다른 정보원으로부터 획득한 이미지일 수 있다. 온라인 및 사회 공학 검색의 경우, 이미지는 웹사이트 및 온라인 서비스와 같은 외부 시스템(23)을 거쳐 획득될 수 있다. 차량에 대해, 기준 이미지는 예를 들어 차량 제조자, 판매자 또는 서비스 제공자에 의해 가능하게 만들어진, 차량 하부 이미지를 포함하는 다양한 관점으로부터 차량의 이미지를 비축(stock)할 수 있다. 차량 하부 검사 시스템은 예를 들어 미국의 Sterling, Va.의 Gatekeeper, Inc를 통해 획득될 수 있으며, 이러한 기술은 예를 들어 미국특허 제7,349,007호, 미국특허 제8,305,442호, 미국특허 제8,358,343호 및 미국특허 제8,817,098호에 기재되어 있으며, 그 내용의 전체가 여기에 참고로 통합된다. 대안적으로, 기준 이미지는 본 발명의 시스템, 장치 및 방법을 사용하여 생성된 이미지일 수 있다. 본 발명의 실시예의 효과는 본 발명을 사용하여 증가된 정확도, 선명도 및 사용가능한 포괄적인 세부사항으로 인해, 본 발명을 사용하여 생성된 기준이미지를 사용할 때 증가할 수 있다.

여기에 개시된 다양한 실시예에서, 이미징 시스템은 적어도 하나의 카메라 장치, 적어도 하나의 조명 장치(LED, 레이저, 등), 적어도 하나의 필터, 및 차량 탑승자를 기록 및 식별하기 위해 이미지 프로세싱을 실행하기 위한 적어도 하나의 마이크로컨트롤러 프로세싱 유닛을 제공한다. 예시적인 장비 도면이 도2에 그려져있다.

도2에 도시된 바와 같이, 장치(15)는 폴(151), 렌즈를 구비한 카메라(152), 조명 장치(들)(153), 로컬 연산 장치(154) 및 베이스(155)를 포함할 수 있으며, 베이스(155)는 휴대를 가능하도록 하는 롤러, 바퀴 또는 유사한 장치상에 장착될 수 있다. 다양한 실시예에서, 카메라(152), 조명 장치(153) 및 연산 장치(154)는 카메라 렌즈에 대한 관측 시야(field of view)를 적합하게 조명하기 위한 조명 장치들(153)에 대해, 및 여기에 기재된 기능을 실행하기 위해 관측 시야안의 이미지를 적합하게 캡쳐하기 위한 카메라(152)에 대해 적절한 높이 및 접근성으로 적절하게 장착된다. 대안적으로, 장치(15)는 스파인 및 베이스가 없이 제공될 수 있는데, 장치 및 하나 이상의 그 부품은 장치에 대한 배치 영역 또는 그 근처의 고정식 또는 이동식 구조에 장착된다. 로컬 연산 장치(154)는 본 발명의 다양한 실시예에 따르는 도1의 로컬 시스템(20) 및 데이터베이스(37)를 포함할 수 있다.

카메라 장치(152)는 조명원과 동기화될 때 유용한 화상을 생성하도록 최적화되고 주/야 운전에 대해 최적화되는 고해상도 영역 스캔 카메라일 수 있다. 조명 장치(들)(153)는 심지어 강하게 착색된 창문을 통해, 차량의 내부를 조명하도록 카메라의 이미징 센서의 분광 감도 및 카메라의 노출 시간과 일시적으로 동기화되는 강력한 LED 어레이를 포함할 수 있다. 다양한 실시예에서, 조명 장치(153)는 카메라 장치의 위, 아래 및 옆에 배치되는 조명 장치 그리드일 수 있다. 시스템 및 장비는 카메라/이미징 센서(152)에 대한 조명기에 의해 방출되는 광은 전송하지만 반사 또는 바람직하지 않은 통제할 수 없는 조명 상태(주간 및 야간 조명 레벨 변화)로 인해 불일치하는 이미징 수행을 야기할 수도 있는 모든 다른 파장의 광을 차단하도록 광대역통과 필터(158)를 추가로 포함할 수 있다. 시스템 및 장비는 대물 렌즈(159) 및 선형 편광 필터(160)를 추가로 포함할 수 있으며, 선형 편광 필터는 탑승자의 안면 이미지를 획득하는 이미징 시스템을 통해 유리위의 반사를 걸러낼 수 있다. 도2에 도시된 바와 같이 다양한 실시예에서, 예를 들어, 선형 편광 필터(160)는 대역통과 필터(158) 및 대물 렌즈(159)가 사이에 고정되면서, 카메라 장치(152)의 마주보는 단부에 장착된다. 시스템 및 장비는 여기에 다른 곳에서 서술된 바와 같이 차량 탑승자의 안면의 성공적인 검출 및 인식 확률을 개선하는 이미지 향상 알고리즘을 이용할 수도 있다.

로컬 시스템(20) 또는 원격 중앙 시스템(28)을 이용하여, 시스템(20 또는 28)의 다양한 부속부품(sub-component)이 장치(15)의 조작을 위해 제공된다. 예를 들어, 도1의 카메라/렌즈 컨트롤러는 카메라(예를 들어, 152)를 제어하기 위해 조작될 수 있으며 주어진 배치에서 설정(setting)이 사용된다. 설정은 예를 들어, 줌, 대물렌즈 상의 초점 및 조리개(iris)를 포함할 수 있고, 프레임안에 집중된 바람막이창을 캡쳐하는 설정을 정하는 것은 여기에 다른 곳에서 서술된 바와 같이 정확하고 깨끗한 이미지 캡쳐를 가능하게 한다. 조명 컨트롤러(32)는 조명 장치(예를 들어, 153)를 제어하도록 작동되는데, 예를 들어 주간 조명 조건, 야간 조명 조건, 날씨 관련 조건, 및 기대하던 차량 종류 및/또는 염료 종류 조건에 적응하는 것을 포함한다. 이미지 프로세싱 부품(34)은 여기에 개시된 바와 같이 운전자, 탑승자, 및/또는 차량의 내용물의 이미지를 프로세스하도록 작동된다. 관리/통신 부품(36)은 관리 사용자가 인증된 사용자를 추가, 변경 및 삭제하고, 배치된 및/또는 배치가능한 장비를 추가, 변경 및 삭제하고, 통신 프로토콜을 구축하고, 장치(15) 상의 또는 근처의 스피커와 통신시 마이크 또는 핸즈-프리 통신 장치를 거쳐 차량 탑승자와 통신하고, 로컬 시스템(20 및/또는 154)에서 로컬 프로세싱 기능을 가능하게 하고, 심지어 장치(15) 및 예를 들어 카메라(152), 조명 장치(153) 및 이미지 프로세싱 장치(154)를 포함하는 그 부품에 대한 설정 및/또는 설정 파라미터를 만들고 조정하도록 허용한다. 부품(36)은 또한 장치(15) 및 외부 연산 장치(23)와 직접, 간접(네트워크(25) 및 로컬 시스템(20)을 통해서) 통신을 허용한다. 예를 들어, 시스템(20)은 법 집행과 같은 외부 시스템(23)에 대해 특정한 알려진 범죄자 또는 군인에 대한 정보를 보고할 필요가 있을 수도 있다. 대안적으로, 시스템(10)은 여기에 기재된 원리 및 목적에 따라 작동되도록 차량 또는 개인의 추가적인 이미지와 같은 추가적인 상세내용을 수집하기 위해 외부 시스템(23)을 이용할 수 있다. 도1이 원격 시스템(28)의 일부로서 부품(30, 32, 34 및 36)을 도시하고 있지만, 로컬 시스템(20 또는 154)은 또한 개별 카메라 컨트롤러 부품, 조명 컨트롤러 부품, 이미지 프로세싱 부품 및/또는 관리/통신 부품을 포함할 수 있다. 예를 들어, 장치(15)는, 카메라(152) 안에 내장되거나 로컬 장치(154)의 일부로서 제공되며, 예를 들어 로컬 컴퓨터 디스플레이, 또는 원격 개인용 컴퓨터와 연관된 디스플레이, 랩톱, 태블릿 또는 개인용 통신 장치와 같은 디스플레이 장치에 공중망 또는 사설망에 의해 전송될 수 있는 디지털 이미지를 생성하는, 하나 이상의 컴퓨터 프로세싱 부품을 포함할 수 있다. 이러한 때에, 이미지는 여기에 기재된 바와 같이 수동으로 보이거나 추가로 프로세싱될 수 있다. 이러한 추가 프로세싱은 예를 들어 안면 이미지 프로세싱 애플리케이션을 포함할 수 있다.

본 발명의 다양한 실시예에서, 로컬 시스템(20)은 디스플레이 인터페이스에 덧붙여 적어도 하나의 프로세서, 메모리 및 프로그래밍을 갖는 로컬 연상 장치(154)를 포함할 수 있다. 다양한 실시예에서, 로컬 연산 장치는 예를 들어 터치 스크린 인터페이스를 노출하도록 전방에 하나의 개구를 갖고 예를 들어 네트워크 배선, 전력, 서버 접속부, 및 보조 장치 접속부용 소형 플러그를 노출하도록 후방에 하나의 개구를 갖는 알루미늄 케이스를 포함할 수 있다. 스크린 구조는 본 발명의 작동에 관한 다수의 문제를 다룬다. 예를 들어, 터치 스크린 인터페이스는 이해하기 쉬운 것이며(즉, 보고, 터치할 수 있는), 주간에 읽을 수 있으며, 뜨겁거나 차가운 상태에서 조작자가 장갑을 끼는 것을 허용한다.

디스플레이 인터페이스는 장치(15)에 국부적으로(예를 들어, 장치(154)의 부분으로서) 제공될 수 있으며, 예를 들어 관리/통신 부품(36)을 거쳐 연산 장치 액세스 이미지를 포함하는 외부 시스템(23)의 부분으로서 원격으로 제공될 수 있다. 이러한 연산 장치는 데스크톱 컴퓨터, 랩톱, iPad.TM. 장치, 스마트폰 장치 및 다른 사이즈의 장치를 포함하는 다양한 형태 요소의 것일 수 있다. 인터페이스는 다양한 이미지를 나타내고, 여기에 전체가 참고로 통합된 Barcus의 발명 WO/2016183408A1에서 언급된 바와 같이 터치 스크린 인터페이스를 포함하는 입력 장치를 거쳐 사용자 상호작용을 위해 제공된다.

실시예들은 따라서 적어도 하나의 카메라 장치, 적어도 하나의 조명 장치, 및 차량 내의 안면을 검출하고 개인을 식별하기 위해 이미지 프로세싱을 실행하도록 작동될 수 있는 적어도 하나의 컨트롤러를 포함하는 진입 통제 시스템을 제공한다. 이 시스템은 예를 들어 이미지를 포함하는 차량 및 개인 신상명세를 보유하는, 데이터베이스(37 및/또는 40)와 같은, 데이터베이스에 액세스할 수 있는데, 데이터베이스는 예를 들어, 차량 제조사, 모델, 연도, 번호판, 번호, 차대 번호(vehicle identification number, VIN), RFID 태그, 선택적으로 스캔할 수 있는 바코드 라벨 및/또는 탑승자가 식별된 차량과 연관된 차량 소유자 정보와 같은 적어도 하나의 식별자에 의해 분류될 수 있다. 컴퓨터는 획득된 필드 이미지 데이터를 데이터베이스의 이미지에 대해 비교하기 위한 프로그래밍을 추가로 포함할 수 있다.

본 발명은 로컬 또는 중앙 데이터베이스 상에 기준 및 보관 이미지 모두를 추가로 유지하고 네트워크 구조를 통해 이미지에 액세스할 수 있다. 네트워크 내의 임의의 지점에서 시스템에 대해 복귀하는 차량은 그들의 이전 이미지(예를 들어, 번호판 번호 또는 RFID 태그와 같은 차량 식별자를 통해 차량을 식별함으로써) 또는 기준 데이터베이스를 통한 동일하거나 유사한 차량 제조사 및 모델 이미지에 자동으로 비교될 수 있다. 다양한 실시예에서, 기준 데이터베이스는 차량 제조사 및 모델을 일부 포함한다. 다양한 실시예에서, 차량 이미지 이력은 또한 날짜 및 시간 스탬프에 의해 등록된 이미지를 검토하기 위해 조작자가 날짜를 선택하도록 요청하는 "history(이력)"버튼을 호출함으로써 디스플레이될 수 있으며, 이때 달력이 디스플레이될 것이다. 검색 기능은 인터페이스 스크린을 통해 추가로 활성화될 있으며, 그로 인해 특정 차량 번호 판이 입력될 수 있고 관련된 차량의 이력이 사용자 인터페이스상에 디스플레이되어, 특정 스캐너 또는 진입 통제 지점에 대해 그 차량에 의한 모든 방문 날짜 및 시간, 및 역사상 수집된 차량 탑승자의 임의의 이미지를 나열한다. 네트워크화된 환경에서, 시스템은 또한 통제 지점 네트워크내의 다fms 통제 지점에 차량이 들어온 날짜 및 시간을 나타낸다.

종래의 사진촬영 시스템을 통해 실현할 수 없는 수많은 이익이 있다. 예를 들어, 실시예는 임의의 조명 및 임의의 기상 조건에서 고품질 이미지를 제공할 수 있다. 실시예는 운전자의 시야와의 간섭을 최소화하면서 이미지 캡쳐를 수행할 수 있다. 다양한 실시예에서, 시스템은 차량 탑승자의 수를 식별하도록 구성될 수 있다. 개인 식별 수행 능력은 예를 들어 하나 이상의 이미지 프로세싱 알고리즘 또는 프로토콜을 거쳐, 캡쳐된 이미지를 확인하고, 이전에 획득한 인증 이미지와 캡쳐된 이미지를 비교하고, 캡쳐된 이미지를 자동으로 확인하는 것을 포함할 수 있다.

시스템의 실시예는 하나 이상의 탑승자 카메라 및 하나 이상의 보조 조명 장치를 포함할 수 있다. 일부 실시예에서, 보조 조명 장치는 단일 탑승자 카메라와 연관될 수 있다. 예를 들어, 탑승자 카메라의 작동은 보조 조명 장치의 작동과 동기화될 수 있다. 동기화된 탑승자 카메라와 보조 조명 장치는 본 발명의 다양한 실시예에서, 목표를 조명하고 미리결정된 타이밍 알고리즘에 따르는 이미지를 캡쳐하도록 구성될 수 있다. 일부 실시예에서, 하나 이상의 탑승자 카메라가 보조 조명 장치와 동기화될 수 있다. 예를 들어, 다른 구조 및 물체뿐만 아니라 운전자 카메라 및 보조 조명 장치의 장착 위치(들)에 대한, 이미지 캡쳐 지점에 접근하는 차량의 상대적인 레이아웃뿐만 아니라, 시행중인 특정 식별 프로토콜은 하나 이상의 카메라 시점(viewpoint)을 필요로 할 수 있다. 일부 실시예에서, 탑승자 카메라는 하나 이상의 보조 조명 장치와 동기화될 수 있다. 예를 들어, 다른 구조 및 물체에 대해, 이미지 캡쳐 지점뿐만 아니라 탑승자 카메라 및 보조 조명 장치의 장착 위치(들)로 접근하는 차량의 상대적인 레이아웃뿐만 아니라, 시행중인 특정 식별 프로토콜은 아나 이상의 보조 조명 장치를 필요로 할 수 있다.

예시적인 실시예에서, 예를 들어 LED 점멸등(strobe)과 같은 보조 조명 장치와 동기화된 카메라는 단일 프레임으로서 이미지를 캡쳐하도록 카메라 부품(30)을 사용하여 구성될 수 있다. 카메라 노출 시간은 부품(30)을 거쳐 수백 마이크로 초, 및 약 325 마이크로 초처럼, 짧은 지속시간으로 설정될 수 있다. 더 짧은 지속시간은 이미지 캡쳐상에 눈부심과 같은, 주변 광의 악영향을 감소시킨다. 다양한 실시예에서, 동기화된 LED 점멸등은 이미지를 캡쳐하기 위해 카메라에 대해 신호를 트리거하도록 구성될 수 있고, 조명 부품(32)을 사용하여, 수백 마이크로 초, 예를 들어 약 300 마이크로 초 동안 보조 조명을 방출할 수도 있다. 일부 실시예에서, 카메라 노출 시간은, 약 수마이크로 초와 같이, 보조 조명의 지속 시간보다 약간 길 수도 있다. 이미지를 캡쳐하기 위한 신호는 로컬(20, 154) 또는 원격(28) 컨트롤러의 조작자에 의해서처럼 수동으로, 또는 로컬(20, 154) 및/또는 원격(28) 컨트롤러와 통신시 진입 통제 지점에 배치되는 센서에 의해서처럼 자동으로 제공될 수 있다. 이러한 센서는 예를 들어 장치(15)로부터 다가오는 차량의 거리를 결정할 수 있는 근접 센서, 또는 특정 지점을 지나 다가오는 차량의 움직임을 검출할 수 있는 모션 센서일 수 있다. 적절한 설정 및 교정 프로토콜은 센서가 최적 또는 거의 최적의 이미지 캡쳐를 보장하도록 정확하고 적시에 작동되도록 보장하기 위해 사용될 수 있다. 또한, 시스템은 카메라 렌즈의 시야에서 이미지의 분석을 거쳐 트리거될 수도 있다. 트리거링은 관심 대상의 크기 또는 위치를 기반으로 할 수 있다. 예를 들어, 일정한 이미지 분석을 통해, 차량의 크기 및 위치, 사람의 안면, 및/또는 번호판, 등은 관심 인물이 이미지의 이상적인 위치를 차지하거나 추가 이미지 분석을 위한 이미지의 이상적인 시야를 차지할 때까지 측정될 수 있다. 이 단일 이미지 또는 다수의 이미지는 번호판 검출, 안면 검출/식별, 및 다른 프로세싱을 위한 분석 알고리즘으로 전송될 수 있다. 일부 실시예에서, 카메라를 거쳐 이미지를 캡쳐하는 것은 일단 차량 바람막이창이 카메라의 시야내에 존재하거나, 차량 탑승자의 적어도 일 부분이 카메라의 시야내에 존재할 때 트리거된다.

예시적인 실시예에서, 예를 들어 LED 점멸등과 같은, 보조 조명 장치와 동기화된 카메라는 캡쳐된 광의 파장을 줄이기 위해 광 필터를 포함할 수 있다. 예를 들어, 카메라는 가시 스펙트럼의 좁은 부분의 광이 적색 범위의 약 625nm와 같은 필터를 통과하도록 허용하는 대역 통과 필터(158) 또는 다른 필터를 포함할 수 있다. 보조 조명 장치는 또한 동일하거나 유사한 파장의 광을 방출하도록 구성될 수 있다. 이 방식에 부합하는 광 주파수는 이미지 캡쳐시 주변 광의 악역향을 감소시킨다.

예를 들어 LED 점멸등과 같은, 보조 조명 장치는 상당한 강도의 광을 방출하도록 구성될 수 있다. 상당한 강도의 광은 최대 유리 색조를 관통하는데 충분할 수 있고, 착색된 유리를 갖는 차량의 내부의 물체를 분명하게 식별하도록 이미지 캡쳐를 위해 충분한 광을 제공할 수 있다.

다양한 실시예에서, 로컬 시스템(20, 154) 또는 원격 중앙 시스템(28)은 여기에서 다른 곳에 기재된 바와 같이 하나 이상의 부품 및 요소를 작동시키는데 사용될 수 있다. 예를 들어, 카메라 컨트롤러 부품(30)은 이미지 캡쳐를 트리거하기 위해 사용될 수 있고 그렇지 않으면 탑승자 카메라(예를 들어, 152)를 작동시키는데 사용될 수 있고, 조명 컨트롤러 부품(32)은 보조 조명 장치(예를 들어, 153)를 컨트롤하는데 사용될 수 있다. 또한, 이미지 프로세싱 부품(34)은 캡쳐된 이미지를 인증된 및/또는 미리 저장된 이미지와 비교하는데 사용될 수 있다. 시스템(20, 154)과 같은 컴퓨터 시스템 또는 원격 중앙 시스템(28)은 시스템의 하나 이상의 양태를 작동시키기 위해 하나 이상의 사용자 인터페이스를 작동시키도록 구성될 수 있다. 또한, 컨트롤러는 예를 들어 이미지 캡쳐 및 비교 알고리즘에 덧붙여 시스템의 하나 이상의 양태를 작동시키기 위한 다수의 알고리즘을 수행하도록 구성될 수 있다. 일부 실시예에서, 컴퓨터 시스템은 카메라 및/또는 보조 조명 장치와 통합될 수 있다.

도1에 도시된 바와 같이, 실시예들은 컴퓨터 네트워크와 통합될 수 있다. 예를 들어, 일부 실시예는 네트워크(25)에 연결될 수 있고, 다른 시스템과 정보를 교환할 수 있다. 정보는 캡쳐된 이미지, 데이터베이스로부터 인증된 이미지 및 예를 들어 신원을 확인하기 위한 추가 정보를 포함할 수 있다. 실시예에는 다양한 전력 공급원이 제공될 수 있다. 일부 실시예에서, 부품에는 하나 이상의 전용 전력 공급원이 제공될 수 있다. 예를 들어, 카메라는 온보드(onboard) 배터리를 가질 수 있고, 보조 조명 장치는 커패시터 뱅크(capacitor bank)로부터 전력을 얻을 수도 있다. 장치(15) 및/또는 시스템(20)의 일부 실시예는 예를 들어 분산된 저전압 전력 케이블과 같은, 로컬 전력원 및/또는 네트워크로부터 전력을 받을 수 있다. 일부 실시예는 이더넷 전원장치(Power of Ethernet)에 대해 구성될 수 있으며, 이더넷 배선을 통해 전력을 받는다.

개선된 시각적 검사를 위한 시스템의 일부 실시예에서, 하나 이상의 물리적 부품이 IP65 또는 더 높은 등급의 장비에 대해 구성될 수 있다. 당업계에 공지된 바와 같이, 65의 방수방진 보호등급(Ingress Protection rating)은 일반적으로 부품이 먼지로부터 완전히 보호되며, 부품이 비 바람 또는 물보라로부터 물 침투로부터 보호된다는 것을 의미한다. 일부 실시예는 하나 이상의 카메라를 포함할 수 있고, 다른 실시예는 하나 이상의 카메라 장착 위치 및 구조를 제공하도록 구성될 수 있다.

실시예들은 셀프-장착, 구조물-장착, 담벼락-장착, 등을 포함하는 하나 이상의 장착 옵션에 대해 구성될 수 있다. 예를 들어, 일부 실시예는 서있는 기둥, 담벼락, 설비 벽 등과 같은 기존 구조물상에 장착되도록 구성될 수 있다. 일부 실시예는 옥상 애플리케이션과 같은 기존 구조물상에 높이 장착하기 위해 구성될 수 있다. 일부 실시예에서, 부품들은 예를 들어 패닝(panning), 틸팅(tilting) 및 확대축소(zooming)를 통해서 이동하도록 구성될 수 있다. 예를 들어, 카메라 및 LED 광 어레이는 하나 이상의 자유도로 장착될 수 있다. 일부 실시예는 하나 이상의 부품의 수동 이동을 허용하고, 일부 이동은 실시예에서 전기-기계적 소자를 통한 것일 수 있다. 부품의 이동은 일부 실시예에서 통제 기지로부터 및/또는 예를 들어 관리 부품(36) 또는 카메라 부품(30)을 거쳐 통제될 수 있다. 수많은 장착 옵션 및 이동 옵션이 여기에 개시된 원리로부터 벗어나지 않고 제공될 수 있다는 것을 이해할 것이다.

한 예시적인 실시예는 고해상도 Gigabat 이더넷(GigE) 영역 스캔 카메라(예를 들어, 152), 대역통과 필터(158), 대물 렌즈(159), 선형 편광 필터(160), 고전역 LED 점멸등(예를 들어, 153), 및 부품(34)과 같은 부품을 거쳐 진보된 이미지 프로세싱을 위해 구성된 컴퓨터 시스템(예를 들어, 154)을 포함한다. 영역 스캔 카메라는 최대 1000Mb/s의 속도로 데이터를 전송할 수 있고, 주간 및 야간 작동을 위해 구성될 수 있다. LED 점멸등은 보조 조명을 제공하기 위해 영역 스캔 카메라와 동기화될 수 있다. 예를 들어, 보조 조명은 일반적으로 카메라 이미지 캡쳐와 동일한 방향으로, 일반적으로 이미지 캡쳐와 동일한 순간에, 및/또는 유사한 광 주파수로 제공될 수 있다. 컴퓨터 시스템 및/또는 카메라의 내장된 연산 유닛은 차량 내부의 개인을 검출하고 강조하기 위해 하나 이상의 알고리즘을 운영하고, 및/또는 주변 광 눈부심의 영향을 감소 또는 제거하도록 구성될 수 있다.

일부 실시예에서, 장치(15)는 도2에 도시된 바와 같이 평범한 하우징안에 카메라 및 보조 조명을 포함한다. 이 부품들은 배선 또는 무선 접속을 통해 컴퓨터 시스템(예를 들어, 20, 154 또는 28)에 연결될 수 있다. 전력은 외부 전력 공급원으로부터 받을 수 있고, 일부 실시예는 하나 이상의 온보드 전력 공급기를 포함할 수도 있다.

일부 실시예에서, 시스템은 하나 이상의 카메라, 및 하나 이상의 보조 조명장치를 공통 영역에 포함할 수 있다. 카메라(들) 및 보조 조명 장치(들)는 하나 이상의 시점(예를 들어, 방향, 높이, 각도 등등)으로부터 다가오는 차량을 보기 위해 구성될 수 있다. 예를 들어, 설비 게이트웨이(92)는 도12에 도시된 바와 같이, 게이트웨이(92)의 마주보는 측면상에 분포되는 다수의 장치(15)를 포함할 수 있다. 이 예에서, 다가오는 차량(90)의 다수의 이미지는 분석을 위해 캡쳐될 수 있다. 캡쳐된 이미지는 하나 이상의 식별 프로토콜을 작동시키도록 구성되는 하나 이상의 컴퓨터 시스템(20)으로 전송되는데, 컴퓨터 시스템(들)(20)은 예를 들어 데이터베이스(37)에 액세스할 수 있다. 일 실시예에서, 카메라로부터의 전달은 CAT5E/CAT6(이더넷) 배선에 의해, 또는 예를 들어 견고한(ruggedized) 섬유 광 케이블(다중-모드 또는 단일 모드)에 의해 시스템(20)에 전달될 수 있다. 일부 실시예는 전술된 바와 같이, 하부 차량 검사 시스템을 추가로 포함할 수 있다. 예를 들어, 차량 하부면의 이미지 및 다른 스캔이 분석을 위해 캡쳐될 수 있다. 분석은 시각적 검사 도중에 수행될 수도 있다. 일부 실시예는 예를 들어 로컬 또는 원격 데이터 베이스 서버, 단일 또는 이중 서버 및/또는 PSIM 통합과 같은 다수의 데이터 저장소 옵션을 포함할 수 있다.

일부 실시예에서, 차량을 시각적으로 검사하는 방법은 차량 탑승자의 하나 이상의 고 해상도 이미지를 캡쳐하는 단계를 포함한다. 보조 조명 장치는 캡쳐된 이미지(들)의 선명도를 개선하기 위해, 동기화된 광을 제공한다. 캡쳐된 이미지(들)는 카메라와 통신중인 조작자 단말에서와 같은 통제 요원에 액세스하도록 디스플레이될 수도 있다. 액세스 통제 요원은 예를 들어 탑승자의 수를 확인하고 하나 이상의 탑승자를 식별하기 위해, 예를 들어 차량 내부를 보도록 디스플레이된 이미지(들)를 관찰할 수 있다. 이 방식으로, 액세스 통제 요원은 조명 및 관찰 조건의 범위에서 차량의 내부를 시각적으로 검사할 수 있다.

다양한 실시예에서, 컴퓨터 시스템 및/또는 카메라의 내장된 연산 유닛은 진보된 이미지 프로세싱을 수행하기 위해 포함되고 구성될 수 있다. 진보된 이미지 프로세싱은 이미지 선명도를 개선하기 위해 다양한 색상 및 대비(contrast) 조정을 포함할 수 있다. 적합한 색상 및 대비 조정은 주변 광에 따를 수 있으며, 따라서 주간 및 야간 이미지 캡쳐 도중뿐만 아니라 다양한 기상 상태 도중에 변할 수 있다. 다양한 색상 및 대비 조정은 예를 들어 이미지 프로세싱 부품(34)을 사용하여 수행될 수 있다. 예를 들어, 감마 수정(gamma correction)은 모니터 또는 디스플레이상에 재생된 이미지의 밝기를 개선하는데 사용될 수 있다. 다른 예에서, 대비 확장(contrast stretching)은 이미지의 색상 변화 강도를 개선하는데 사용되어, 캡쳐된 이미지의 미세한 세부사항을 향상시킬 수 있다. 다른 공지의 기술이 예를 들어 이미지 흐릿함(blur) 및 고스팅(ghosting) 감소 및 이미지 선명화(sharpening)를 위한 기술처럼, 이미지를 향상시키는데 사용될 수도 있다.

실시예들은 예를 들어, 진입 및 진출 도로, 복합 및 대형 시설 내부, 국경 교차점, 보안 주차 시설과 같은 다양한 설정에 배치될 수 있다. 일 실시예에 대한 예시적인 파라미터는 다음과 같다:

카메라 종류 : GigE 머신 비전 카메라 - 흑백

센서 : CMOS 이미지 센서-조명원에 최적화됨

해상도 : 1600 x 1200(2MP)

프레임 속도 : 60fps

렌즈 : 25mm, 2MP, 저-왜곡, 조명원에 최적화됨

필터 : 조명 파장 대역 통과 부합

프로토콜 : TCP/IP

조명 장치 : LED 점멸등 어레이-시야-프로그램가능

전력 : 24VDC LED 어레이

크기 : 선실드(sunshield) 400mm x 150mm x 265mm 포함

중량 : 카메라 : 1.2kg

적합성(conformity) : CE, FCC, RoHS

인클로져 : IP65 등급

환경 : -35℃ - +60℃

창문 색조 : >35%

선형 편광 필터 : 소광비(extinction ratio) 9000 : 1, 파장 범위 : 400-700nm

안면 검출

비제약 이미지안의 사람 얼굴 검출은 까다로운 프로세스이다. 이미지안의 안면의 위치를 정확하게 배치하는 것을 매우 어렵다. 안경 착용, 상이한 피부색, 성별, 얼굴의 털, 및 얼굴 표정을 포함하는 검출 성능에 영향을 주는 여러 변수가 존재한다. 또한, 사람의 얼굴은 3차원(3-D) 물체이고, 복수의 조명으로 또는 부분적으로 폐색된 방식으로, 왜곡된 원근법으로 캡쳐될 수 있다. 결과적으로, 진짜 얼굴이 검출되지 않을 수도 있다.

다양한 실시예에서, 예를 들어 공개 소스 컴퓨터 비전(open source computer vision, OpenCV)와 같은 컴퓨터 비전 및 머신 학습 소프트웨어 라이브러리가 본 발명에 따르는 적합한 안면 검출 알고리즘을 작동하는데 사용된다. OpenCV는 주로 실시간 컴퓨터 비전을 목표로 하는 프로그래밍 함수의 라이브러리이고, OpenCV는 머신 학습 기술을 기반으로 하는 실시간 물체 검출에 대한 공지된 방법인 비올라(Viola) 및 존스(Jones) 안면 검출기를 포함하는 다양한 알고리즘을 구현할 수 있다. 안면 검출에 대해, 두 종류의 이미지, 즉 안면 및 비-안면이 규정된다. AdaBoost와 같은 머신-학습 알고리즘은 우수한 분류기가 되는 한 세트의 하르 유사 특징(Haar-like features)을 계산하는데 사용될 수 있다. 최종적으로, 생성된 분류기는 적절하게 다단계에 병합된다.

단순한 직사각형 하르-유사 특징은 고유 이미지내의 임의의 위치 및 규모로 존재할 수 있는, 직사각형 내부의 영역의 픽셀의 합의 차이로서 규정될 수 있다. 이 값은 이미지의 특정 영역의 어떤 특징을 나타낸다. 각각의 특징 종류는 텍스처의 가장 자리 또는 변화와 같은, 이미지의 어떤 특성의 존재(또는 부재)를 나타낼 수 있다. 도3은 본 발명의 다양한 실시예에 따라 사용되는 비올라-존스 OpenCV 알고리즘에 구현되는 하르-특징을 나타내는 도표(180)이다. 이 모서리(182), 라인(184), 및 중심을 둘러싼(186) 특징은 이미지의 어둡고 밝은 영역 사이의 경계를 검출하고 나타낸다.

도4는 안면 이미지(196)의 상부에 중첩되는 하르-특징을 나타내는 도표(190)이다. 모서리(192) 및 라인(194) 특징이 도시되어 있다. 모서리 특징(192)은 눈의 영역과 윗뺨 영역 사이의 세기의 차이를 측정한다. 라인 특징(194)은 눈 영역 및 뺨과 동일한 것이다. 이 분류기는 그 다음에 도5의 도표(20)에 그려진 바와 같이 다단계안에 결합된다. 거절 다단계는 비올라-존스 분류기에 의해 사용되는데, 각각의 노드는 실제 안면을 놓치지 않는 반면 비-안면을 거절하도록 조정되는 활성화된 분류기를 나타낸다. 예를 들어, 도5의 도표(200)에 도시된 바와 같이, 시스템은 단계 201에서처럼 서브-윈도우를 중첩시킬 때 모든 이미지를 수신하는 것을 포함하는, 식별된 기능을 수행하도록 적절한 프로그래밍을 작동시킨다. 시스템은 그 다음에 단계 203에서처럼 안면 및 비-안면 서브-윈도우를 검출하기 위해 분류기 레벨에서 이미지를 평가하고 단계 205에서 비-안면 물체를 제거한다. 시스템은 그 다음에 단계 207에서 평가가 완료되었는지 여부를 결정한다. 또 다른 평가가 필요한 경우, 시스템은 단계 203에 있는 다음 분류기 레벨 평가로 돌아가고, 비-안면 물체를 제거하도록 이미지가 프로세싱된 경우, 시스템은 여기에 기재된 바와 같이 실제 안면 서브-윈도우를 추가 프로세싱하기 위해 전달한다.

다양한 실시예에서, 평가 단계(203)는 비올라-존스 알고리즘 분류를 구현하기 위해 하기의 C++ 애플리케이션 프로그래밍 인터페이스(API)를 사용하는 OpenCV.TM. 구현을 이용한다. C++: void CascadeClassifier::detectMultiScale(const Mat& image, vector<Rect>& objects, double scaleFactor=1.1, int minNeighbors=3, int flags=0, Size minSize=Size( ), Size maxSize=Size( ))

이 API는 입력된 이미지안의 상이한 크기의 물체를 검출한다. 검출된 물체는 직사각형의 리스트로서 돌아간다. 제1 입력, 이미지는 회색 등급 이미지이다. scaleFactor 파라미터는 각 등급 사이의 점프(jump)가 얼마가 큰지를 결정한다. scaleFactor를 높게 설정하는 것은 하나의 특정 등급에서 혹시 안면을 놓칠 것에 대한 빠른 계산의 교환이다. minNeighbors 파라미터는 실패한 검출을 제어한다. 일반적으로, 안면은 다수의 중첩되는 서브-윈도우에 발생한다. 이 파라미터가 너무 낮을 경우, 알고리즘은 다수의 긍정 오류(false positive)를 산출할 수도 있다. 너무 높을 경우, 중첩되는 윈도우의 수는 너무 제한적이 될 수 있다. 두 개의 다른 주요 파라미터는 minSize 및 maxSize이다. 이들은 안면을 검색하기 위한 가장 작고 가장 큰 영역이다.

전술된 바와 같이, 때로는 차량안의 안면이 몇 가지 상이한 이유로 가려질 수도 있다. 이 영향을 최소화하기 위해, 제시간에 상이한 위치에서 차량 이미지를 얻는것이 중요하다. 다양한 실시예에서, 이것은 상이한 이미지를 갖는(상이한 거리에서 캡쳐된) detectMultiScale() 함수의 다중 호출을 포함한다.

또한, 이 실시예에서, 성공적인 차량 탑승자 인식 확률은 캡쳐된 이미지 프레임의 전체 모습의 주요 물체로서 중심에 높인 차량의 바람막이창과 함께 차량 이미지가 캡쳐될 때 최대화된다. 이것은 또한, 카메라의 광학계의 시야(FoV)를 채우기 위해 바람막이창의 사다리꼴 프레임을 최대화하는 것을 언급될 수 있다. 이 최대화는, 유도성 접지 루프 센서와 같은 기계적 트리거링, 광학적 절단 신호 트리거링을 포함하는 다양한 트리거링 방법을 거쳐서, 또는 물체 추적 또는 광학적 흐름 알고리즘 이미지 분석 방법을 통해 카메라의 이미지 획득을 트리거링함으로써 달성될 수 있다. 이에 관하여, 전방 바람막이창 및 시야의 임의의 다른 유리가 윈도우 프레임을 가질 것이라는 것을 이해할 것이다. 예를 들어, 차량의 지붕, 후드 및 측면 프레임은 차량의 전방 바람막이창에 대한 "프레임"을 형성한다. 이 유리 프레임이 이 시스템의 카메라에 의해 완전히 캡쳐되면, 성공적인 안면 검출 기회가 최대화된다.

예를 들어, 동일한 차량의 동일한 카메라로부터 두 장의 사진이 캡쳐되는 경우, detectMultiScale() 함수가 두 번 호출된다. 예를 들어, 가장 가까운 거리에 대한 detectMultiScale_1()은 안면을 검출하지 않을 경우, 두 번째 이미지의 차량 탑승자에 대한 더많은 정보를 제공하려는 노력으로, 시스템은 가장 먼 거리에 대해 detectMultiScale_2()를 실행한다. detectMultiScale_1() 및 detectMultiScale_2()에 대한 파라미터 리스트는, 특히 minSize 및 maxSize, 반드시 다를 것이라는 것을 이해할 것이다.

다수의 사진에 대해 minSize 및 maxSize를 조정하기 위해, 시스템은 이들의 관계를 단순한 역, 즉, 이미지의 물체 크기는 물체크기*초점 길이/카메라로부터의 물체 거리로 간주할 수 있다.동일한 물체 및 동일한 초점 길이가 유지될 경우, 사이즈는 1/거리이다. 따라서, 먼 사진에 대해, 본 발명의 실시예는 1/거리 원칙에 따라 minSize 및 maxSize의 스케일을 축소하도록 작동된다.

편광 필터, 스펙트럼 여과, 및 펄스식 조명

유리 바람막이와 같은 투명한 매체를 통해 이미징은 많은 문제를 갖는다. 중요한 한 문제는 유리가 유리 뒤에 있는 물체를 흐릿하게 하는 상당한 반사를 종종 발생시킬 수 있다는 것이다. 그럼에도 불구하고, 브루스터 각(Brewster's Angle)이라 불리는 매우 특정한 각에서, 반사된 광은 완벽하게 선형으로 편광된다. 반사된 광은 또한 브루스터 각 근처의 각에서 부분적으로 선형 편광된다. 도6의 그래프(88)에 도시된 바와 같이, 브루스터 각에서 반사된 광의 결과적인 선형 편광이 도시되어 있다. 광선(89)은 비편광(unpolarized) 입사 광선을 나타내고, 광선(90)은 편광된 반사 광선을 나타내며, 광선(91)은 약간 편광된 굴절 광선을 나타낸다.

본 발명의 다양한 실시예에 따르면, 선형 편광 필터가 이미지 설정시 카메라 장치(152)에 고정되며 유리의 반사로 인한 편광을 구비한 광을 거부하도록 배향되며, 임의의 다른 편광의 광을 투과한다. 이 결과는 카메라/이미징 시스템을 통해 유리-반사 광의 투과를 현저히 감소시켜, 전면 반사에 의해 앞서 흐릿해졌던 바람막이 유리 뒤의 물체의 획득을 허용한다. 예를 들어 도7의 이미지(701)는 필터없이 캡쳐된 이미지를 나타내고, 도7의 이미지(702)는 선형 편광 필터를 써서 캡쳐된 이미지를 나타내고, 차량 탑승자의 안면 이미지(703, 704)는 더욱 쉽게 관찰할 수 있다. 이 실시예에 따르면, 바람막이창을 벗어난 구름의 정반사(specular reflection)는 선형-편광화되고 우측 이미지의 선형 편광 필터를 거쳐 필터링되어, 탑승자의 성공적인 이미지화를 허용한다. 따라서, 시스템이 시야의 주요 물체처럼 바람막이창에 의해 이미지를 획득함으로써 작동할 수 있다고 해도, 선형 편광 필터는 바람막이창 후면으로부터 카메라 장치까지 방사된 광의 투과를 줄여서, 우수한 이미지 캡쳐가 가능하도록 돕는다.

다양한 실시예에서, 스펙트럼 여과는 이미지상의 통제할 수 없는 관원(주변광)의 영향을 감소시키는데 사용될 수 있다. 예를 들어, 카메라 센서 근처에 구현된 광 대역통과 필터는 조명기에 의해 방출된 광의 파장이 통과하지만 모든 다른 파장을 거부하도록 디자인되어 있다. 이것은 조명기가 시스템에 의해 생성된 이미지를 갖고, 조명기로부터 방출된 광자가 대부분의 조건에서 모든 다른 조명원을 지배하도록 허용하도록 하는 영향을 상당히 증가시킨다. 결과는 낮 또는 밤의 반복될 수 있는 일치하는 이미지이다. 다양한 실시예에서, 개시된 시스템은 635nm가 중심인 70nm FWHM 대역통과 필터 및 70nm보다 작은 대역폭을 갖는 635nm에서 방출하는 LED 조명기를 구현한다. 다른 구현예는 예를 들어 300nm로부터 최대 3000nm 파장 범위의 필터/조명기/센서 조합을 포함할 수 있다.

본 발명의 시스템 및 장비의 다양한 실시예에서, 주변 광의 영향을 추가호 감소시키기 위해 펄스식 조명이 사용된다. 고강도 LED 펄스는 카메라의 활성 노출 시간을 기반으로 트리거된다. LED 펄스의 지속시간은 이미지상의 LED 광자의 영향을 최대화하는 반면 주변 광자의 영향을 줄기기 위해 노출 시간의 지속시간과 일치된다. 예를 들어, 펄스 폭 및 노출 시간은 150 마이크로 초로 설정될 수 있다. 다른 펄스 폭 및 노출 시간도 유사한 효과를 위해 사용될 수 있다. 스펙트럼 여과 기술 및 펄스식 조명을 결합한 결과는 도8의 캡쳐된 예시적인 이미지(801)에 의해 도시된다. 이해되는 바와 같이, 이미지(801)는 탑승자의 안면을 향해 방출되는 LED 조명에 의해 지배되며, 주변 태양 복사는 LED 조명보다 상당히 덜 강력하다.

이미지 개선

이미지 개선은 본 발명에 따르는 안면 검출 알고리즘의 성능을 개선한다. 시스템에 의해 획득한 이미지는 전술된 바와 같이 LED 조명에 의해 지배되기 때문에, 이미지의 밝기는 이미지화되고 있는 물체 또는 탑승자에 대한 거리가 증가함에 따라 감소한다. 안면 검출 알고리즘의 효율성을 감소시키는 매우 어두운 이미지가 생성될 수 있다. 예를 들어, 도9의 이미지(901)는 본 발명에 따르는 안면 검출 알고리즘을 거쳐 성공적인 안면 검출을 위한 충분한 신호를 생성하는데 너무 먼 범위에서 얻어진다. 이러한 대비 확장, 히스토그램 평활화(histogram equalization), 또는 로컬 영역 프로세싱과 같은 기술은 안면 검출 알고리즘의 성능을 개선할 수 있다. 도10은 도9의 이미지(901)에 대응하는 이미지(1001)를 나타내는데, 이 이미지는 대비 확장 개선 알고리즘을 사용하여 개선된다. 그 결과는 본 발명에 따르는 안면 검출 알고리즘에 의해 생성된 잘린(cropped) 이미지로서 도11의 1011 및 1013에 도시된, 차량 탑승자의 훨씬 더 깨끗한 사진뿐만 아니라 각각의 탑승자에 대한 성공적인 안면 검출이다.

작동

본 발명의 설치시, 기재된 조명 장치와 조합하여 카메라를 교정하기 위해 교정 프로그래밍이 제공될 수 있다. 조명 장치와 카메라를 교정함으로써, 캡쳐된 이미지의 신뢰성 및 세부사항이 현저하게 개선된다. 카메라(152)는 도2에 도시된 바와 같이, 광학 대역 통과 필터(158), 대물 렌즈(169) 및 선형-편광 필터(160)로 추가로 설정될 수 있다. 시스템이 성공적으로 설정되면, 이미지를 기록할 준비가 된다.

도6에 도시된 바와 같이, 출입구(92)로 다가오는 차량(90)은 예를 들어 모션 센서를 교차하거나 예를 들어 근접 센서를 거쳐 검출될 때 발견될 수 있다. 본 발명의 진입 통제 지점 시스템 및 그 부품 안에 및/또는 그 위해 차량 통행을 보내도록 한 세트의 장벽(91)이 배치될 수 있다. 이때, 번호판의 이미지를 캡쳐하고, 예를 들어 ID 태그, 선택적으로 스캔된 바코드 라벨 또는 다른 전자적으로 검출가능한 태그를 검출함으로써, 차량과 연관된 차량 식별자가 발견될 수 있다. 다가오는 차량의 속도를 관리하기 위해 하나 이상의 정지등(95)이 제공될 수 있고, 차량이 장벽을 지나 진행하도록 하는 결정 프로세스(예를 들어, 일-방향 스파이크(97))가 여기의 다른 곳에 기재된 바와 같이 진행될 수 있다. 예를 들어, 차량 검출시, 시스템은 장치(15)의 카메라(152)가 조명 장치(153)와 동기화되어 이미지를 캡쳐하도록 작동되어, 캡쳐된 이미지가 차량 내의 개인(들)을 충분한 선명도로 묘사할 수 있도록 한다. 조명 장치는 조명 효과가 착색된 창을 통해 이동한 후에도, 카메라를 커쳐 효과적인 이미지 캡쳐를 지원하도록 매우 효과적인 조명을 제공하기 위해, 차량 내부를 효과적으로 조명한다. 카메라, 조명 장치 및 이미지 프로세싱의 사용은 모든 조명 및 기상 조건에서 높은 품질의 이미지를 생성한다. 또한, 이미지 캡쳐는 차량을 안전하게 운전할 운전자의 능력과 간섭하거나 손상시키지 않는다. 시스템은 탑승자의 수를 식별할 수 있고, 개인 탑승자는 수동 또는 자동으로 식별될 수 있다.

시스템은 그 다음에 차량 식별자에 기반하여 차량과 연관된 개인의 임의의 사용가능한 보관(archive) 이미지를 검색하여, 현재 캡쳐된 이미지가 임의의 보관된 이미지에서 묘사된 것과 동일한 개인(들)을 묘사한 것인지를 결정할 수 있다. 예를 들어, 개인이 도12에 도시된 바와 같이 지점 A 또는 지점 B에서 진입 거부를 요구하는 것으로 식별될 경우, 차량(90)은 시설에 진입하지 못하고 C에서 진입 통제 지점을 나가도록 지시받을 수 있다. 다양한 실시예에서, 광(95)은 사용자 인터페이스를 작동시키는 사용자에 의해 통제될 수 있다. 차량 탑승자 또는 탑승자들이 진입 지점을 통해 시설 또는 다른 접근-통제 자산에 접근할 자격이 있는 것으로 간주될 경우, 차량은 지점 D 및 E를 통해 이동하도록 승인받을 수 있다.

시스템의 실시예는 주어진 차량 및 탑승자(들)에 대한 데이터베이스의 기준 이미지의 수집 및 저장을 개시하는데 사용될 수 있다. 다양한 이러한 실시예에서, 시스템은 차량의 제조사, 모델, 년도 및 변속기 유형(예를 들어, 표준(즉, 수동) 또는 자동), 하나 이상의 차량 식별자에 관한 정보, 및 카메라(들)에 의해 얻어지는 하나 이상의 탑승자 사진을 저장한다. 본 발명의 카메라 및 조명 장치는 본 발명의 시스템이 차량 탑승자의 고해상도 이미지를 수집 및 저장하도록 허용한다는 것을 이해할 것이다. 수집된 기준 이미지를 저장하기 전에, 본 발명의 시스템은 이미지를 적절하게 다듬고, 자르거나 그렇지않으면 편집하고 조작하기 위해 사용자가 데이터 수집을 모니터링하도록 허용하는 이미지 프로세싱 부품(34)과 같은, 프로그래밍을 포함한다.

본 발명의 양태들은 보안 시설에 들어가거나 보안 경계를 가로지르는 차량 및 탑승자를 검출, 식별, 확인, 검색 및 인증하는 그룹으로서 작동하는 다수의 보안 기술을 호출한다는 것을 이해할 것이다. 다양한 실시예에서, 차량이 검출될 때, 차량의 하부 이미지는 전술된 차량 검사 시스템에 따라 캡쳐될 수 있다. 현재 캡쳐된 차량 하부 이미지는 시스템(20, 154 또는 28)에 의해 데이터베이스(37 또는 40)에 저장된 하나 이상의 보관 이미지와 비교될 수 있고, 이미지 사이의 임의의 차이가 발견되고, 적절한 요원이 동작하도록 관리/통신 부품(36)을 거쳐 통지가 발행될 수 있다. 예를 들어, 통지는 시각적 및/또는 청각적 경보일 수 있으며, 도1의 외부 장치(23)를 거쳐 진입 통제 지점(예를 들어, 도12의 지점 A)에서 또는 별도의 지점에서 호출될 수 있다. 현재 캡쳐된 차량 하부 이미지는 또한 데이터베이스 안에 보관될 수 있다. 차량 탑승자의 캡쳐된 이미지(들)와 관련하여, 이러한 이미지(들)는 부품(36)을 사용하여 하나 이상의 보관된 이미지와 비교될 수 있으며, 적합한 요원은 비교된 이미지가 동일한 사람을 얼마나 잘 나타내는지 수동 분석을 통해 평가할 수 있다. 수동 평가와 함께 다양한 실시예에서, 시스템은 현재 이미지와 보관된 이미지의 자동 비교 결과를 분석 및 디스플레이하기 위한 안면 인식 소프트웨어를 사용할 수 있다. 또한, 적합한 요원은 현재 및 보관된 이미지가 비교될 때 안면 인식 소프트웨어 또는 부품(36)에 의해 생성되는 신뢰 계산의 부품(36)을 거쳐 통보받을 수 있다. 전술된 바와 같은 적합한 통보 및/또는 경보는 그 다음에 결과 및 해석에 따라 발행될 수 있다.

본 발명의 데이터베이스는 가능한 최대 동작을 지원하기 위해 상당한 크기의 것일 수 있다는 것을 이해할 것이다. 주어진 차량의 이력은 프로필 정보, 이미지 정보 및 교통 정보를 포함하는, 요구시 검색에 사용할 수 있다. 본 발명의 일 실시예에서, 조작자는 차량 또는 개인을 감시 목록에 올려놓아, 차량 또는 개인이 검출될 때, 경보가 발생하고 적절하게 전달되도록 한다.

전술된 인터페이스를 사용하는 조작자는 따라서 탑승자와 그 차량이 시설에 들어가도록 허가받았는지를 확인하고, 차량의 내부를 더욱 상세하게 검사하고, 허가된 차량 종류(vehicle description)에 대해 차량의 제조사 및 모델을 확인하고, 핸즈프리 통신 장치를 거쳐 운전자/승객과 통신하고, 예를 들어 자동 스파이크(97), 신호등(95), 및 다른 공급원(23)에 대한 통신시설과 같은 다양한 다른 장치를 제어할 수 있다. 또한, 조작자는 모든 차량 및 운전자/승객 행동을 자동으로 기록하고, 차량, 운전자 및 승객을 감시 목록에 올려놓고 모니터링 보고서 및 경보를 설정할 수 있다. 이 방식으로, 본 발명의 실시예는 다른 것 중에서 차량 접근 통제, 차량 이동 모니터링, 국경 통과 및 보안 주차 설비와 함께 사용될 수 있다. 모든 데이터/이미지는 데이터베이스에 입력되어, 출입자의 이력 패턴 또는 보안 요원의 인력배치를 위한 교통량까지도 연구하는데 모든 종류의 데이터베이스 분석 기술이 사용되도록 한다.

다양한 실시예에서, 안면 인식 프로그래밍은 개별 탑승자의 식별 및/또는 새롭게 캡쳐된 이미지와 이전에 캡쳐된 이미지의 비교를 용이하게 하기 위해 이미지 프로세싱 부품(34)의 일부로서 제공된다. 다양한 실시예에서, 안면 인식 프로그래밍은 OpenCV.TM.와 같은 안면 검출용 오픈 소스 소프트웨어 및 리투아니아 빌뉴스의 Neurotechnology사의 VeriLook.TM., 독일 드레스덴의 Cognitec사의 FaceVACS.TM. 및 오스트레일리아 빅토리아 도크랜드의 Australia Pty Ltd.의 NeoFace.TM.과 같은 안면 인식용 상용 소프트웨어 제품을 포함할 수 있다.

여기에 사용되는 용어는 단지 특정 실시예를 설명하기 위한 것이며 접근을 제한하기 위한 것은 아니다. 여기에 사용되는 것처럼, 단일 형태 "a", "an", 및 "the"는 문맥이 분명히 다른 것을 나타내지 않으면 다수의 형태를 포함하기 위한 것이다. 용어 "포함하다(comprise)" 및/또는 "포함하는(comprising)"은 이 명세서에 사용될 때 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 부품의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 부품, 및/또는 이들의 그룹의 존재 또는 추가를 불가능하게 하지는 않는다.

달리 언급되지 않는 한, 서로 통신하는 본 발명의 장치 또는 부품은 서로 연속적으로 통신할 필요는 없다. 또한, 다른 장치 또는 부품과 통신하는 장치 또는 부품은하나 이상의 중간 장치, 부품 또는 다른 매개체를 통해 직접 또는 간접적으로 통신한다. 또한, 복수의 장치 및/또는 부품이 서로 통신하는 것으로 기재되어 있는 본 발명의 실시예의 설명은 이러한 부품이 모두 필요하다는 것을 의미하지는 않으며, 개시된 각각의 부품이 모든 다른 부품과 통신해야한다는 것을 의미하지는 않는다. 또한, 알고리즘, 프로세스 단계 및/또는 방법 단계가 순차적으로 기재되어 있지만, 이러한 접근법은 상이한 순서로 작동하도록 구성될 수 있다. 다시 말해서, 여기에 개시된 어떤 순서는 따로 떨어져 있어서, 단계들이 그 순서대로 수행되는 것으로 표시하지 않는다. 여기에 개시된 바와 같은 방법 및/또는 프로세스와 연관된 단계는 임의의 실용적인 순서로 수행될 수 있다. 또한, 일부 단계는, 비-동시적으로 발생하는 것으로 기재되거나 의미하지만, 동시에 또는 실질적으로 동시에 수행될 수 있다.

여기에 기재된 알고리즘, 방법 단계 및 프로세스 단계는 예를 들어 적합하게 프로그램된 범용 컴퓨터 및 연상 장치에 의해 구현될 수 있다는 것을 이해할 것이다. 이와 관련하여, 프로세서(예를 들어, 마이크로프로세서 또는 컨트롤러 장치)는 명령을 포함 및/또는 저장하는 메모리 또는 유사 저장 장치로부터 명령을 수신하고, 프로세서는 이 명령들을 실행하여, 이 명령들에 의해 규정된 프로세스를 수행한다. 또한, 이러한 방법 및 알고리즘을 구현하는 프로그램은 다양한 공지된 매체를 사용하여 저장되고 전송될 수 있다.

본 발명의 수행시 사용될 수 있는 컴퓨터-판독가능 매체의 일반적인 형태는 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, DVD, 임의의 다른 광학 매체, 펀치 카드, 종이 테이프, 홀(hole) 패턴을 구비한 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EEPROM, 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이에 국한되지는 않는다. 본 발명에 사용되는 용어 "컴퓨터-판독가능 매체"는 컴퓨터가 판독할 수 있는 데이터(예를 들어, 명령)를 프로세서 또는 유사 장치에 제공하는데 참여하는 임의의 매체를 지칭할 수 있다. 이러한 매체는 예를 들어 비휘발성 매체, 휘발성 매체, 전송 매체를 포함하는 많은 형태로 존재할 수 있다. 비휘발성 매체는 예를 들어 광학 또는 자기 디스크 및 다른 지속성(persistent) 메모리를 포함한다. 휘발성 매체는 일반적으로 메인 메모리를 구성하는 동적 랜덤 액세스 메모리(dynamic random access memory)를 포함할 수 있다. 전송 매체는 전선 또는 프로세서에 결합된 시스템 버스를 포함하는 경로를 포함하는, 동축 케이블, 구리 전선 및 광 섬유를 포함할 수 있다. 전송 매체는 무선 주파수(RF) 및 적외선(IR) 데이터 통신 도중에 생성된 것 같은, 음향파, 광파 및 전자기 방출을 포함하거나 운반할 수 있다.

다양한 형태의 컴퓨터 판독가능 매체는 프로세서로의 명령 운반 순서를 포함할 수도 있다. 예를 들어, 명령의 순서는 RAM으로부터 프로세서까지 운반될 수 있고, 무선 전송 매체를 통해 운반되고, 및/또는 전송 제어 프로토콜/인터넷 프로토콜(TCP/IP), Wi-Fi, 블루투스, GSM, CDMA, EDGE 및 EVDO와 같은 다양한 형태, 표준 또는 프로토콜에 따라 구성된다.

데이터베이스가 본 발명에 기재되어 있지만, 기재된 대안적인 데이터베이스뿐만 아니라 데이터베이스 이외의 다른 메모리 구조도 쉽게 이용될 수 있다는 것을 이해할 것이다. 여기에 제시된 임의의 예시적인 데이터베이스의 도면 및 첨부된 설명은 예시적인 것이며 저장된 데이터 표현을 위한 장치를 제한하지 않는다. 또한, 표 및 파라미터 데이터의 예시적인 항목은 단지 예시적인 정보만을 제시하며, 데이터베이스를 표로 설명함에도 불구하고, 다른 형태(관련 데이터베이스, 물체 기반 모델 및/또는 분산 데이터베이스를 포함하는)도 저장, 프로세스하고, 그렇지않으면 여기에 기재된 데이터 종류를 조작하는데 사용될 수 있다. 전자 저장소는 당업자가 이해할 수 있듯이 로컬 또는 원격 저장소일 수 있다.

개시된 방법에 따라 작동되는 적절한 프로그래밍 수단을 포함하는 임의의 컴퓨터 시스템이 본 발명의 범위 내에 들어 있다는 것은 당업자에게 명백할 것이다. 적절한 프로그래밍 수단은 예를 들어 프로세싱 유닛 및 컴퓨터 메모리에 결합된 산술 논리 회로가 포함된 본 발명의 시스템 및 방법의 단계를 실행하도록 컴퓨터 시스템에 지시하기 위한 임의의 수단을 포함하며, 이 시스템은 컴퓨터 메모리에 저장하는 능력을 갖고, 이 컴퓨터 시스템은 프로세싱 유닛에 의해 실행하기 위한 본 발명의 방법의 프로그램된 방법에 의해, 데이터 및 프로그램 명령을 저장하도록 구성된 전자 회로를 포함한다. 본 발명의 양태는 임의의 적절한 데이터 프로세싱 시스템과 함께 사용하기 위한, 디스켓 또는 다른 기록 매체와 같은 컴퓨터 프로그램 제품안에 내장될 수 있다. 본 발명은 또한 예를 들어 Microsoft Windows.TM., Linux.TM., MacOS.TM., IOS.TM., Android.TM., Sun Solaris.TM., HP/UX.TM., IBM AIX.TM. 및 자바 호환 플랫폼을 포함하는 다양한 플랫폼상에서 운영될 수 있다. 본 발명의 상이한 소자 및 부품 사이의 컴퓨터 명령을 실행하기 위한 적합한 하드웨어, 소프트웨어 및 프로그래밍이 제공된다.

본 발명은 본 접근법의 실시예를 설명하고, 이 실시예들은 예시적인 목적으로만 제시된다. 이 실시예들은 당업자가 본 접근법을 실행할 수 있도록 충분히 상세하기 설명되며, 다른 실시예들이 사용될 수 있고, 구조적, 논리적, 소프트웨어, 전자 및 다른 변화가 본 발명의 범주 또는 사상으로부터 벗어나지 않고 이뤄질 수 있다는 것을 이해할 것이다. 따라서, 당업자는 본 접근법이 다양한 변경 및 변형에 의해 실행될 수도 있다는 것을 인식할 것이다. 본 접근법의 특정한 특징들은 본 발명의 일부를 형성하는 하나 이상의 특정 실시예를 참고로 기재될 수 있으며, 본 접근법의 특정 실시예를 예시에 의해 도시하고 있지만, 이러한 특징은 설명된 하나 이상의 특정 실시예 또는 도면에서의 사용에 제한되지 않는다는 것을 이해할 것이다. 본 발명은 따라서 모든 실시예의 문자적인 설명도 아니고 모든 실시예에 존재해야하는 특징의 나열도 아니다.

10 : 진입 통제 시스템 15: 진입 통제 장치
20 : 로컬 컴퓨팅 시스템 25 : 네트워크
28 : 원격 중앙 시스템 34 : 이미지 프로세싱 부품
37 : 로컬 데이터베이스 40 : 데이터베이스
151 : 폴(pole) 152 : 카메라
153 : 조명 장치 154 : 연산 장치
155 : 베이스 158 : 광학 대역통과 필터
159 : 대물 렌즈 160 : 선형 편광 필터

Claims

카메라 및 조명 장치를 포함하는 장비를 제공하는 단계로서, 카메라는 카메라 렌즈에 인접하게 고정된 선형 편광 필터를 포함하고, 카메라 렌즈는 고정 시야를 갖는, 단계;
다가오는 차량의 존재를 검출하는 단계로서, 차량은 외부 환경으로부터 차량 내부 인클로져를 분리하는 적어도 하나의 차량 창문을 포함하고, 적어도 하나의 차량 창문은 적어도 하나의 차량 창문을 둘러싸는 프레임을 갖는, 단계;
적어도 하나의 차량 창문 프레임이 고정 시야에서 최대화될 때 차량 내부 인클로져내에 존재하는 적어도 하나의 차량 탑승자의 다수의 현재 안면 이미지의 자동 캡쳐를 트리거하는 단계로서, 다수의 현재 안면 이미지는 각각 선형 편광 필터를 통해 카메라를 거쳐 자동으로 캡쳐되고, 다수의 현재 안면 이미지는 각각 다가오는 차량에 대해 상이한 거리로부터 추가로 캡쳐되는, 단계;
적어도 하나의 개인의 적어도 하나의 보관된 이미지를 프로세싱 유닛에 의해 획득하는 단계;
현재 안면 이미지 중 적어도 하나와 적어도 하나의 보관된 이미지를 프로세싱 유닛에 의해 비교하는 단계; 및
적어도 하나의 차량 탑승자와 적어도 하나의 개인이 동일한지를 결정하는 단계를 포함하는
차량 탑승자를 검출하는 방법.
제1항에 있어서,
현재 안면 이미지 중 적어도 하나와 적어도 하나의 보관된 이미지를 비교하는 단계는 안면 인식 프로그래밍을 사용하는 프로세싱 유닛에 의해 수행되는
차량 탑승자를 검출하는 방법.
제1항에 있어서,
현재 안면 이미지 중 적어도 하나와 적어도 하나의 보관된 이미지를 비교하는 단계는 현재 안면 이미지 중 적어도 하나의 적어도 하나의 차량 탑승자가 적어도 하나의 보관된 이미지로부터의 적어도 하나의 개인과 동일한 개인인지를 프로세싱 유닛에 의해 결정하는 단계를 포함하는
차량 탑승자를 검출하는 방법.
제1항에 있어서,
다수의 현재 안면 이미지 각각을 캡쳐할 때 조명 장치를 활성화하는 단계와, 활성화 및 캡쳐 단계의 상대적 타이밍을 규정하는 이미지 프로세싱 프로토콜에 따라 활성화 및 캡쳐를 순서화하는 단계를 추가로 포함하는
차량 탑승자를 검출하는 방법.
제1항에 있어서,
카메라 렌즈는 시야(field of view)를 갖고, 적어도 하나의 창문 프레임은 다가오는 차량의 전방 바람막이창(front windshield)의 사다리꼴 프레임인
차량 탑승자를 검출하는 방법.
제1항에 있어서,
자동 캡쳐를 트리거하는 단계는 적어도 하나의 차량 탑승자의 적어도 일부분이 시야 안에 존재할 때 추가로 수행되는
차량 탑승자를 검출하는 방법.
제1항에 있어서,
카메라는 광 대역필터를 추가로 포함하고, 다수의 현재 안면 이미지를 캡쳐하는 단계는 광학 대역통과 필터를 통해 카메라에 의해 수행되는
차량 탑승자를 검출하는 방법.
제7항에 있어서,
광학 대역통과 필터 및 선형 편광 필터 사이에서 카메라에 고정된 대물렌즈를 추가로 포함하는
차량 탑승자를 검출하는 방법.
제1항에 있어서,
카메라 및 조명 장치는 외부 환경에 배치되는
차량 탑승자를 검출하는 방법.
제1항에 있어서,
자동 캡쳐를 트리거하는 단계는 광학 흐름 알고리즘 이미지 분석을 통해 수행되는
차량 탑승자를 검출하는 방법.
제1항에 있어서,
비교하는 단계를 기반으로, 및 검출된 번호판 번호, 및 차량 하부 이미지, 및 차량의 판독가능한 태그를 기반으로, 접근-통제되는 자산(asset)으로의 접근에 대해 적어도 하나의 차량 탑승자를 인증하는 단계를 추가로 포함하는
차량 탑승자를 검출하는 방법.
고정된 시야를 향하는 렌즈, 렌즈에 인접하게 고정된 선형 편광 필터 및 렌즈에 인접하게 고정된 광학 대역통과 필터를 갖는 카메라를 제공하는 단계;
시야를 조명하기 위한 조명 장치를 제공하는 단계;
카메라의 활성화와 조명 장치의 활성화를 동기화하기 위한 이미지 프로세싱 부품을 제공하는 단계;
다가오는 차량의 존재를 검출하는 단계로서, 차량은 외부 환경으로부터 차량 내부 인클로져를 분리하는 적어도 하나의 전방 바람막이창을 포함하고, 적어도 하나의 전방 바람막이창은 적어도 하나의 전방 바람막이창을 둘러싸는 프레임을 갖는, 단계;
다가오는 차량이 시야로 들어오고 적어도 하나의 전방 바람막이창 프레임이 고정된 시야에서 최대화될 때, 선형 편광 필터, 광학 대역통과 필터 및 적어도 하나의 창문을 통해 카메라를 거쳐 차량 내부 인클로져내에 존재하는 적어도 하나의 차량 탑승자의 다수의 현재 안면 이미지를 캡쳐하는 동안 조명 장치를 활성화하는 단계로서, 다수의 현재 안면 이미지 각각은 다가오는 차량에 대해 상이한 거리로부터 캡쳐되는, 단계;
검출된 차량 식별자와 이전에 연관된 적어도 하나의 개인의 적어도 하나의 보관된 이미지를 프로세싱 유닛에 의해 획득하는 단계;
적어도 하나의 현재 이미지와 적어도 하나의 보관된 이미지를 프로세싱 유닛에 의해 비교하는 단계; 및
적어도 하나의 차량 탑승자와 적어도 하나의 개인이 동일한지를 결정하는 단계를 포함하는
차량 탑승자를 검출하는 방법.
제12항에 있어서,
카메라 및 조명 장치는 외부 환경에 배치되는
차량 탑승자를 검출하는 방법.
제12항에 있어서,
캡쳐된 다수의 현재 안면 이미지를 기반으로 차량 내부 인클로져 안의 차량 탑승자의 수를 프로세싱 유닛에 의해 결정하는 단계를 포함하는
차량 탑승자를 검출하는 방법.
제12항에 있어서,
비교하는 단계를 기반으로, 및 검출된 번호판 번호, 및 차량 하부 이미지, 및 차량의 판독가능한 태그를 기반으로, 접근-통제되는 자산(asset)으로의 접근에 대해 적어도 하나의 차량 탑승자를 인증하는 단계를 포함하는
차량 탑승자를 검출하는 방법.
제12항에 있어서,
적어도 하나의 창문은 프레임을 갖고, 다수의 현재 안면 이미지를 캡쳐하는 단계는 적어도 하나의 창문의 프레임이 시야내에 존재하는 동안 수행되는
차량 탑승자를 검출하는 방법.
카메라 렌즈에 인접하게 고정된 선형 편광 필터, 고정식 시야를 향하는 렌즈를 포함하는 카메라;
적어도 하나의 조명 장치;
적어도 하나의 프로세서; 및
적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 개인의 하나 이상의 이미지를 저장하고, 적어도 하나의 조명 장치와 카메라의 활성화를 동기화하고, 이동중인 차량의 전방 바람막이창의 사다리꼴 프레임이 고정된 시야내에서 최대화될 때 카메라의 활성화를 자동으로 트리거하고, 적어도 하나의 개인의 하나 이상의 저장된 이미지와, 차량의 차량 내부 인클로져내에 존재하는 적어도 하나의 차량 탑승자의 카메라에 의해 선형 편광 필터와 차량의 창문을 통해 캡쳐되는 적어도 하나의 이미지를 비교하고, 적어도 하나의 차량 탑승자와 적어도 하나의 개인이 동일한지를 결정하는, 다수의 명령을 저장하는 적어도 하나의 메모리 장치를 포함하는
차량 탑승자 검출 시스템.
제17항에 있어서,
카메라에 의해 캡쳐된 적어도 하나의 이미지는 적어도 하나의 차량 탑승자의 다수의 현재 안면 이미지로부터 얻어지고, 다수의 현재 안면 이미지 각각은 차량에 대해 상이한 거리로부터 캡쳐되는
차량 탑승자 검출 시스템.
제18항에 있어서,
적어도 하나의 프로세서에 의해 실행될 때, 다수의 명령은 캡쳐된 다수의 현재 이미지를 기반으로 차량 내부 인클로져안의 차량 탑승자의 수를 적어도 하나의 프로세서가 결정하도록 하는
차량 탑승자 검출 시스템.
제17항에 있어서,
카메라는 광학 대역통과 필터와 선형 편광 필터 사이에 렌즈가 고정되도록 고정된 광학 대역통과 필터를 추가로 포함하는
차량 탑승자 검출 시스템.
제17항에 있어서,
적어도 하나의 프로세서에 의해 실행될 때, 다수의 명령은 비교하는 단계에 기반하여, 및 검출된 번호판 번호, 차량하부 이미지, 및 차량의 판독가능한 태그 중 하나를 기반으로, 접근-통제된 자산으로의 접근에 대해 적어도 하나의 차량 탑승자를 적어도 하나의 프로세서가 인증하도록 하는
차량 탑승자 검출 시스템.
제17항에 있어서,
카메라 및 조명 장치는 차량 외부에 배치되는
차량 탑승자 검출 시스템.