KR20130023139A - 얼굴 영상 검출 장치 - Google Patents

얼굴 영상 검출 장치 Download PDF

Info

Publication number
KR20130023139A
KR20130023139A KR1020120092722A KR20120092722A KR20130023139A KR 20130023139 A KR20130023139 A KR 20130023139A KR 1020120092722 A KR1020120092722 A KR 1020120092722A KR 20120092722 A KR20120092722 A KR 20120092722A KR 20130023139 A KR20130023139 A KR 20130023139A
Authority
KR
South Korea
Prior art keywords
light
light emission
predetermined
image
mode
Prior art date
Application number
KR1020120092722A
Other languages
English (en)
Other versions
KR101355279B1 (ko
Inventor
다이또 와따나베
다꾸히로 오오미
Original Assignee
가부시키가이샤 덴소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 덴소 filed Critical 가부시키가이샤 덴소
Publication of KR20130023139A publication Critical patent/KR20130023139A/ko
Application granted granted Critical
Publication of KR101355279B1 publication Critical patent/KR101355279B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01566—Devices for warning or indicating mode of inhibition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

차내 얼굴 영상 검출 장치(1)는 다음과 같이 동작한다. 프로젝터(4)가 광을 투영한다. 포착 제어기(24)가 탑승자의 얼굴을 포함하는 미리 결정된 영역을 포착하도록 포착 조건을 설정한다. 포착 부분(5)은 포착 조건을 기초로 하여 미리 결정된 영역을 포착한다. 환경 광 검출 부분(3)이 차량 또는 탑승자에게 조사되는 환경 광을 검출한다. 동작 모드 결정 부분(21)이 환경 광의 세기가 임계치보다 큰 제1 모드 또는 세기가 임계치보다 크지 않은 제2 모드를 결정한다. 광 방출 패턴 설정 부분(22)이 동작 모드를 기초로 하여 프로젝터의 광원에 대해 광 방출 패턴을 설정한다. 프로젝터 제어기(23)가 광 방출 패턴을 기초로 하여 광원을 작동시키도록 프로젝터를 제어한다.

Description

얼굴 영상 검출 장치{FACE IMAGE DETECTION APPARATUS}
본 발명은 포착된 영상 내에서 인간 얼굴 영상을 검출하는 얼굴 영상 검출 장치에 관한 것이다.
특허 문서 1: 제JP H08-159733 A호
특허 문서 2: 제JP H09-021611 A호(제US 5801763호)
특허 문서 3: 제JP 2005-301742 A호(제US 2005/0226472호)
특허 문서 4: 제JP 2005-354155 A호(제US 2005/0270413호)
특허 문서 5: 제JP 2010-176382 A호
개시된 운전자 상태 검출 장치에 따르면, 차내에 제공되는 카메라가 운전자의 얼굴을 포착한다. 장치는 포착된 얼굴 영상을 처리하고, 눈, 코 및 입 등의 얼굴 특징 지점을 추출한다. 특징 지점 위치, 또는 눈의 개방 또는 폐쇄 상태를 기초로 하여, 장치는 운전자의 얼굴 방향 및 졸음 운전 등의 운전 상태를 검출한다. 운전자 상태 검출 장치는 운전자의 얼굴을 조명 및 포착하는 데 적외선 섬광 등 또는 LED를 사용한다. 적외선 섬광 등 또는 LED는 근-적외선 파장을 갖고, 카메라 근처에 제공된다.
안구 내에서의 망막 반사 영상 및 각막 반사 영상의 위치가 차량 운전자의 안구로부터의 반사 영상을 측정하도록 영상 정보로서 획득될 수 있다. 태양광 등의 강렬한 외부측 광 하에서의 동공 수축은 동공을 통해 망막에 도달하는 광 세기를 감소시킨다. 이것은 망막으로부터 반사 영상을 획득하는 것을 어려워지게 하고, 눈 방향으로의 측정 정확도를 저하시킨다. 특허 문서 1에 개시된 차량 눈 방향 측정 장치는 셔터 속도를 가속시키고 조명 광의 피크 출격을 증가시킴으로써 외부측 광으로 인한 노이즈를 감소시킨다. 장치는 측정 시간을 증가시키지 않으면서 반사 영상을 정확하게 추출할 수 있다.
특허 문서 2에 개시된 얼굴 영상 포착 장치에 따르면, 눈 검출 수단은 2-차원 포착 수단에 의해 포착된 시험 피사체의 얼굴 영상을 기초로 하여 시험 피사체의 눈을 검출한다. 눈 검출 수단이 시험 피사체의 눈을 검출하지 못하면, 적외선 조명 수단이 운전자의 얼굴 영상을 포착하도록 작동된다. 운전자가 안경을 착용하더라도, 적외선 조명 수단이 안경의 렌즈 표면 내에서 반사되는 광의 효과를 최소화시킬 수 있다. 적외선 조명 수단은 광학 필터를 통과하는 적외선 광으로 적어도 시험 피사체의 얼굴을 조명한다. 적외선 조명 수단은 2-차원 포착 수단의 광학 축 그리고 적외선 광의 광학 축이 미리 결정된 각도 이상의 각도를 형성하도록 제공된다.
특허 문서 3에 개시된 운전자 외관 인식 시스템은 적외선 조명 수단의 서비스 수명을 연장시킬 수 있다. 이러한 목적을 위해, 다양한 외관 인식 처리가 필요한 조도로 카메라에 의해 포착되는 얼굴 영상의 조도를 변화시킨다.
특허 문서 4에 개시된 동영상 포착 장치는 물체의 밝기의 변화에 따라 저-조도 환경 하에서 조명 장치의 광 방출량을 적절하게 조정할 수 있다.
특허 문서 5에 개시된 조명 장치는 생소한 느낌으로부터 운전자를 해방시킨다. 차량은 그 조명 부분을 동작시킬 수 있고, 그 엔진을 정지시킨다. 이러한 경우에, 조명 장치는 주로 환경 광 검출 부분에 의해 검출되는 환경 광 조명을 기초로 하여 조사 광 세기를 조정한다. 차량은 그 조명 부분 및 그 엔진을 동작시킬 수 있다. 이러한 경우에, 조명 장치는 주로 인식 부분으로부터 통지되는 인식 결과를 기초로 하여 조사 광 세기를 조정한다.
특허 문서 1에 기재된 것과 같이, 예컨대, 운전자의 얼굴 상의 특징 지점은 운전자의 안경에서 주위 풍경을 반사시키는 이러한 강렬한 외부측 광 하에서 검출될 수 있다. 이러한 경우에, 조명은 바람직하게는 태양광보다 강렬하다. 예컨대, LED 등의 광원은 영상 포착 타이밍과 동기식으로 펄스로 작동될 수 있다. 이것은 정상 상태의 조명보다 강렬하게 광을 조사할 수 있다. LED 광원 파장의 관점에서, 관찰 불가능한 근-적외선 광은 불쾌한 느낌에 대해 운전자를 보호하고 야간에서의 운전 문제를 방지하는 데 일반적으로 사용된다. 영상 포착 시스템의 감도를 보증하도록 근-적외선 광으로부터 저-파장 LED를 선택하는 것이 실용적이다. 일반적으로, 이러한 LED는 운전자의 시각적 특징부에 따라 적색으로 지각될 있는 가시광 성분을 포함한다. 운전자는 영상 포착 타이밍에 따라 특히 야간에 또는 어둠 속에서 지각 가능한 명멸(flicker)을 느낄 수 있다.
조명을 정상 상태로 작동시키는 것은 명멸을 방지할 수 있다. 그러나, 정격 LED 전류 크기는 약한 방출 세기를 발생시키고, 안경이 풍경을 반사하는 것을 방지하지 못할 정도로 과도하게 작다. 예컨대, 많은 LED가 충분한 방출 세기를 보증하도록 어레이로 제공될 수 있다. 그러나, 이것은 비용을 증가시킨다.
특허 문서 2 내지 5에 개시된 기술은 검출된 눈 상태, 탑승자 외관 인식 과정, 물체 밝기 또는 조명 부분 및 엔진의 동작 상황에 따라 조사 광(LED)의 방출 세기(광 세기)를 조정한다. 그러나, 특허 문서 2 내지 5는 명멸 방지 또는 방출 세기 조정 등의 시각적 감각에 대한 고려 사항을 개시 또는 제안하지 못한다.
본 발명은 위의 사항을 고려하여 고안되었다. 그러므로, 본 발명의 목적은 탑승자의 얼굴에 조사되는 광의 명멸을 억제하고 운전자의 안경 내에서의 주위 풍경의 반사를 감소시킬 수 있는 얼굴 영상 검출 장치를 제공하는 것이다.
위의 목적을 성취하기 위해, 본 발명의 제1 태양에 따르면, 얼굴 영상 검출 장치가 다음과 같이 제공된다. 프로젝터가 차량 내의 탑승자의 얼굴을 포함하는 투영 영역 상으로 광을 투영하도록 포함된다. 영상 포착 제어기가 탑승자의 얼굴을 포함하는 미리 결정된 포착 영역을 포착하도록 영상 포착 조건을 설정하도록 포함된다. 영상 포착 부분이 영상 포착 제어기에 의해 설정된 영상 포착 조건을 기초로 하여 얼굴을 포함한 미리 결정된 포착 영역을 포착하도록 영상 포착을 수행하도록 포함된다. 환경 광 검출 부분이 차량 및 탑승자 중 하나에 조사되는 환경 광을 검출하도록 포함된다. 동작 모드 결정 부분이 모드 결정을 수행하여 적어도 2개의 동작 모드로부터 동작 모드를 결정하도록 포함되고, 2개의 동작 모드 중 하나는 환경 광 검출 부분에 의해 검출된 환경 광의 광 세기가 미리 결정된 광 세기 임계치보다 큰 제1 모드이고, 2개의 동작 모드 중 다른 하나는 환경 광 검출 부분에 의해 검출된 환경 광의 광 세기가 미리 결정된 광 세기 임계치보다 크지 않은 제2 모드이다. 광 방출 패턴 설정 부분이 동작 모드 결정 부분에 의해 결정된 동작 모드를 기초로 하여 프로젝터의 광원에 대해 광 방출 패턴을 설정하도록 포함된다. 프로젝터 제어기가 광 방출 패턴 설정 부분에 의해 설정된 광 방출 패턴을 기초로 하여 광원을 작동시키도록 프로젝터를 제어하도록 포함된다.
위의 구성에 따르면, 동작 모드가 환경 광 상황에 따라 결정된다. 프로젝터에 대한 광 방출 패턴이 동작 모드를 기초로 하여 설정된다. 이러한 제어는 운전자가 광원으로서의 프로젝터의 명멸을 거의 지각하지 못하게 할 수 있다. 위에서-언급된 구성은 프로젝터 광 세기를 상대적으로 증가시키도록 광 방출 패턴을 설정함으로써 높은-세기의 환경 광 하에서 조명 명멸을 감소시킬 수 있다. 이것은 풍경이 안경에서 종종 반사될 때에 운전자가 주간에 명멸을 지각하게 하지 않으면서 안경에서의 풍경의 반사를 또한 감소시킬 수 있다. 반면에, 낮은-세기의 환경 광은 안경에서 풍경을 반사시키는 작은 효과를 유발한다. 프로젝터 광 세기는 광 방출 시간을 연장시키도록 감소될 수 있다. 광 방출 패턴은 광 방출 사이클을 감소시켜 명멸이 지각 불가능하도록 구성될 수 있다. 그 결과, 조명 명멸이 감소될 수 있다. 필요한 광 세기(방출 세기)가 프로젝터에 어레이로 된 많은 LED를 제공하지 않으면서 보증될 수 있다.
본 발명의 위의 및 다른 목적, 특징 및 장점은 첨부 도면을 참조하여 수행되는 다음의 상세한 설명으로부터 더 명확해질 것이다.
도1은 본 발명의 실시예에 따른 얼굴 영상 검출 장치의 구성을 도시하는 블록도이다.
도2는 위의 실시예에 따른 프로젝터 제어 과정을 도시하는 흐름도이다.
도3은 조도 임계치 설정의 예를 도시하는 선도이다.
도4는 프로젝터의 투영 패턴과 영상 포착 부분의 영상 포착 타이밍 사이의 관계를 도시하는 선도이다.
도5는 동작 모드에서의 투영 패턴의 예를 도시하는 선도이다.
도6은 카메라 제어의 예를 도시하는 선도이다.
도7은 관련 기술에 따른 프로젝터 제어 과정을 도시하는 흐름도이다.
도8은 관련 기술을 기초로 하여 준비되는 펄스로 LED를 구동시키기 위한 펄스 폭과 최대 순방향 전류 사이의 관계를 도시하는 선도이다.
도9는 위의 실시예에 따른 또 다른 프로젝터 제어 과정을 도시하는 흐름도이다.
본 발명의 실시예에 따른 얼굴 영상 검출 장치가 첨부 도면을 참조하여 설명될 것이다. 도1은 이러한 실시예에 따른 차량 내의 얼굴 영상 검출 장치(1)의 구성을 도시하고 있다. 얼굴 영상 검출 장치(1)는 환경 광 검출 부분(3), 프로젝터(4), 영상 포착 부분(5) 및 조작 부분(6)과 연결되는 주 제어 회로(2)를 포함한다. 얼굴 영상 검출 장치(1)는 근거리 통신망(LAN: local area network)(15)을 통해 내비게이션 장치(11)와 통신 가능하게 연결될 수 있다.
주 제어 회로(2)는 CPU, ROM, RAM, 그리고 공지된 기술에 따른 AD 컨버터 회로 및 입력/출력 회로 등의 주변 회로를 포함하는 컴퓨터 하드웨어로서 구성된다. CPU는 얼굴 영상 검출 장치(1)의 다양한 기능을 제공하도록 ROM 내에 저장된 제어 프로그램 및 데이터를 실행한다. 주 제어 회로(2)는 동작 모드 결정 부분(21), 광 방출 패턴 설정 부분(22), 프로젝터 제어기(23), 영상 포착 제어기(24), 인식 부분(25), 설정 부분(27) 및 저장 부분(28)을 포함한다. 이들 부분은 위에서-언급된 컴퓨터 하드웨어와 동등한 기능 블록으로서 대표된다.
동작 모드 결정 부분(21)은 외부측 소스로부터 획득되는 정보를 기초로 하여 동작 모드를 결정하고, 결과를 출력한다. 광 방출 패턴 설정 부분(22)은 동작 모드에 대응하여 프로젝터(4)에 대해 광 방출 패턴을 설정한다. 프로젝터 제어기(23)는 광 방출 패턴 설정 부분(22)으로부터의 출력을 수용하고, 설정된 광 방출 패턴을 기초로 하여 프로젝터(4)의 광원(4a)을 작동 또는 비작동시킨다. 영상 포착 제어기(24)는 프로젝터 제어기(23) 또는 광 방출 패턴 설정 부분(22)으로부터의 출력을 수용하고, 셔터(5a)의 개방 또는 폐쇄 등의 영상 포착 부분(5)의 동작을 제어한다. 예컨대, 영상 포착 제어기(24)는 또한 영상 포착 요소의 노출 시간, 이득 및 γ 커브 등의 영상 포착 조건을 설정한다. 인식 부분(25)은 공지된 영상 처리 회로를 포함한다. 인식 부분(25)은 영상 처리가 가능한 상태로 영상 포착 부분(5)에 의해 포착된 영상 데이터를 증폭시킨다. 인식 부분(25)은 일반적인 디지털화 과정 또는 특징 지점 추출 과정을 사용하여 탑승자의 얼굴 영상을 추출한다. 추출 결과를 기초로 하여, 인식 부분(25)은 탑승자 얼굴이 인식되는 지를 결정한다.
설정 부분(27)은 (설명될) 조작 부분(6)의 조작을 기초로 하여 얼굴 영상 검출 장치(1)의 동작에 관한 설정을 구성한다. 저장 부분(28)은 플래시 메모리 등의 공지된 비휘발성 저장 매체를 포함한다. 저장 부분(28)은 얼굴 영상 검출 장치(1)의 동작에 필요한 (카메라 제어 테이블로서 또한 불리는) 설정 부분(27) 또는 카메라 제어의 내용(도6) 등의 데이터를 저장한다.
주 제어 회로(2)는 시간 및 날짜 정보를 출력하는 클록(clock) IC(29) 그리고 LAN(15)과 연결되는 통신 인터페이스 회로와 동등한 LAN 인터페이스(26)를 추가로 포함할 수 있다.
환경 광 검출 부분(3)은 차량 또는 차량의 탑승자에게 조사되는 광(환경 광)을 검출한다. 환경 광은 차량 또는 탑승자에게 조사되는 태양광 또는 가로등 그리고 얼굴 영상 검출 장치(1) 이외로부터 방출되는 차내의 광을 포함한다. 환경 광 검출 부분(3)은 공지된 CdS 전지를 포함하는 광학 센서 또는 조도계를 사용한다. 차량에는 차내를 공조하는 (도시되지 않은) 차량 공조기가 제공될 수 있다. 차량 공조기는 차량에 가해지는 태양 복사선의 양을 검출하는 공지된 태양 복사선 센서를 포함할 수 있다. 환경 광 검출 부분(3)은 태양 복사선 센서를 사용할 수 있다.
프로젝터(4)는 펄스로 근-적외선 파장을 포함하는 광을 조사할 수 있는 적외선 LED 등의 광원(4a)을 포함한다. 프로젝터 제어기(23)는 광원(4a)을 작동시킨다. 작동된 광원(4a)은 그 주위를 포함하는 탑승자의 얼굴을 향해 근-적외선 광을 조사한다. 프로젝터(4)는 광원(4a)으로부터 조사되는 근-적외선 광의 광학 축이 영상 포착 부분(5)의 광학 축과 대략 일치하도록 위치된다.
영상 포착 부분(5)은 예컨대 공지된 CCD 또는 CMOS 카메라를 포함한다. 영상 포착 부분(5)은 탑승자의 얼굴을 포함하는 미리 결정된 영역을 포착한다. 영상 포착 부분(5)에는 미리 결정된 타이밍 및 노출 시간을 기초로 하여 동작하는 셔터(5a)가 제공된다.
조작 부분(6)은 키 또는 스위치를 포함한다. 예컨대, 조작 부분(6)은 사용자 조작에 따라 (상세하게 나중에 설명될) 조도 임계치를 특정한다.
주지된 것과 같이, 내비게이션 장치(11)는 차량이 주행함에 따라 위성 위치 확인 시스템(GPS: Global Positioning System)을 사용하여 현재의 위치를 검출한다. 내비게이션 장치(11)는 디스플레이 장치 상에 도로 지도와 함께 현재의 위치를 표시한다. 내비게이션 장치(11)는 시작 지점으로부터 목적지까지의 적절한 경로를 설정한다. 내비게이션 장치(11)는 디스플레이 장치 또는 오디오 출력 장치를 사용하여 안내를 제공한다. 내비게이션 장치(11)는 위치 검출 부분(11a) 및 지도 데이터(11b)를 포함한다.
도7을 참조하여, 다음에는 본 발명과 비교하여 관련 기술에 따른 프로젝터 제어 과정이 설명되어 있다.
본 출원에서의 흐름도 또는 흐름도의 처리는 예컨대 S11로서 각각 대표되는 (단계로서 또한 불리는) 섹션을 포함한다는 것이 주목되어야 한다. 나아가, 각각의 섹션은 여러 개의 보조-섹션(sub-section)으로 분할될 수 있고, 한편 여러 개의 섹션은 단일의 섹션으로 결합될 수 있다. 나아가, 이처럼 구성된 섹션의 각각은 부분, 장치, 모듈 또는 수단으로서 또한 불릴 수 있다. 나아가, 위에서 설명된 섹션의 각각 또는 임의의 결합은 (ⅰ) 하드웨어 유닛(예컨대, 컴퓨터)과 결합되는 소프트웨어 섹션 또는 (ⅱ) 관련된 장치의 기능을 포함하거나 포함하지 않는 하드웨어 섹션으로서 성취될 수 있고; 나아가, 하드웨어 섹션은 마이크로컴퓨터의 내부측에서 구성될 수 있다.
프로젝터 제어기(23)로부터의 제어 명령을 기초로 하여, 프로젝터(4)는 그 주위를 포함하는 탑승자의 얼굴을 향해 일정한 주파수로 펄스형 근-적외선 광을 조사한다. 영상 포착 제어기(24)로부터의 제어 명령을 기초로 하여, 영상 포착 부분(5)은 탑승자의 얼굴을 포함하는 미리 결정된 영역을 포착한다(S31). 인식 부분(25)은 포착된 영상 데이터로부터 탑승자의 얼굴을 인식한다(S32). 인식 결과를 기초로 하여, 인식 부분(25)은 제어 수치를 변화시킬 것이 필요할 수 있다(S33에서 예). 이러한 경우에, 인식 부분(25)은 제어 수치를 변화시킨다(S34). 예컨대, 제어 수치는 프로젝터(4)의 광 세기 또는 (이후에서 상세하게 설명될) 영상 포착 부분(5)의 셔터 속도를 나타낸다. 이러한 과정은 S31로 복귀되고, 광을 조사하고, 영상을 포착한다.
탑승자의 얼굴을 인식하는 정확도를 개선시키기 위해, 도7에 도시된 구성은 근-적외선 광을 조사할 시간을 연장시키는 것, 근-적외선 광의 방출 세기(광 세기)를 증가시키는 것 그리고 노출 시간을 증가시키는 것 중 적어도 하나를 수행하기만 하면 된다. 예컨대, 정상 상태의 광 방출은 근-적외선 광을 조사하는 시간(즉, 펄스 폭)을 연장시킨다. 이러한 방법은 명멸의 발생을 방지할 수 있다. 그러나, 이러한 관점에서, 정격 LED 전류 크기는 종래의 데이터를 기초로 하여 준비되는 도8에 도시된 것과 같은 충분한 방출 세기를 제공할 수 없다. 예컨대, 주위 온도(Ta)≤60℃, 듀티(Tw/T)≤0.1 및 펄스 폭(Tw)≤0.001초 하에서, 최대 순방향 전류(IFRM최대)가 0.4 A에 도달할 수 있다.
도2를 참조하여, 다음에는 이러한 실시예에 따른 프로젝터 제어 과정이 설명될 것이다. 이러한 과정은 위에서-언급된 제어 프로그램 내에 포함된다. 주 제어 회로(2)의 CPU는 프로젝터 제어 과정 그리고 또한 다른 과정을 반복적으로 실행한다.
프로젝터 제어 과정은 다음의 방법들 중 적어도 하나를 사용하여 환경 광 정보(조도)를 획득한다(S11).
- 과정은 환경 광 검출 부분(3) 내에 포함되는 광학 센서 또는 조도계로부터 수치를 획득하고, 환경 광 정보로서 획득된 수치를 사용한다.
- 과정은 위에서-언급된 태양 복사선 센서에 의해 검출되는 태양 복사선의 양을 조도로 변환한다.
- 과정은 클록 IC(29)로부터 획득되는 시간-날짜 정보로부터 아침, 정오, 저녁 및 밤 등의 시간을 특정하고, 시간을 기초로 하여 조도를 평가한다.
- 과정은 차창이 영상 포착 부분(5)에 의해 포착되는 영상 내에 포함되면 창 밝기 등의 포착된 차창의 상태로부터 조도를 평가한다.
- 과정은 영상 포착 부분(5)에 의해 포착되는 영상으로부터 탑승자의 동공 직경을 검출하고, 동공 직경으로부터 조도를 평가한다(동공 직경이 클수록, 조도가 낮아진다).
- 과정은 내비게이션 장치(11)로부터 현재의 위치 정보를 획득하고, 현재의 위치로부터 조도를 평가한다. 예컨대, 조도는 차량이 터널을 통해 주행하는 동안에 감소된다.
동작 모드 결정 부분(21)은 획득된 조도가 미리 결정된 조도 임계치를 초과하는 지를 결정한다. 도3은 조도 임계치 설정을 예시하고 있다. 우선, 3개의 영역이 더 높은 영역으로부터 더 낮은 영역으로의 환경 광 조도의 순서로 지정되어 있다(도3의 좌측). 최고 영역은 대부분의 사람들이 명멸을 감지하지 못하는 영역이다. 제2 최고 영역은 일부의 개인이 명멸을 감지할 수 있는 영역이다. 최저 영역은 대부분의 사람들이 명멸을 감지할 수 있는 영역이다. 조도 임계치는 최고 영역과 제2 최고 영역 사이의 조도 경계보다 높도록 설정된다. 그 다음에, 명 모드(bright mode) 및 암 모드(dark mode)는 경계가 서로로부터 명 모드 및 암 모드를 분리하도록 지정되어 있다(도3의 우측). 이와 같이, 동작 모드 결정 부분(21)은 획득된 조도가 조도 임계치를 초과하면(S12에서 예) 명 모드로 동작 모드를 설정한다(S13). 동작 모드 결정 부분(21)은 획득된 조도가 조도 임계치보다 작으면(S12에서 아니오) 암 모드로 동작 모드를 설정한다(S24).
조도 임계치는 광에 대한 인간 민감도가 개인들 사이에서 변동하기 때문에 가변적일 수 있다. 이러한 목적을 위해, 탑승자가 미리 결정된 절차에 따라 조작 부분(6)을 조작한다. 설정 부분(27)은 조작을 검출하고, 저장 부분(28) 내에 그 내용(즉, 조도 임계치)을 저장한다. 설정 내용은 동작 모드 결정 부분(21)으로 출력된다.
동작 모드 결정 부분(21)은 동작 모드가 변화하는지, 즉 결정된 동작 모드가 이전의 과정에서 결정된 것과 동일한지를 결정한다. 동작 모드가 변화되면(S14에서 예), 동작 모드 결정 부분(21)은 지연 임계치 n을 n2로 설정한다(S15). 동작 모드가 변화되지 않은 상태로 남아 있으면(S14에서 아니오), 동작 모드 결정 부분(21)은 지연 임계치 n을 n1로 설정한다(S25). n1 및 n2는 0 또는 양의 정수이고, n1은 n2보다 크다(n1>n2).
광 방출 패턴 설정 부분(22)은 동작 모드에 대응하는 광 방출 패턴을 설정한다(S16).
도4를 참조하여, 다음에는 프로젝터(4)에 대한 광 방출 패턴 그리고 영상 포착 부분(5)의 셔터(5a)에 대한 개방/폐쇄 제어 타이밍이 설명될 것이다. 도4에 따르면, 셔터(5a)는 노출에 대해 T1의 사이클로 반복적으로 개방 및 폐쇄된다. 프로젝터(4)는 셔터(5a)의 개방/폐쇄 타이밍(사이클 T1)과 동기로 펄스로 광을 방출한다. 프로젝터(4)는 광을 방출하기 시작한다(온). 셔터(5a)는 광 방출의 시작으로부터 미리 결정된 시간이 경과한 후에 개방된다. 셔터(5a)는 노출 시간이 만료된 후에 폐쇄된다. 프로젝터(4)는 광을 방출하는 것을 정지한다(오프). 노출 시간[셔터(5a)를 개방하는 시간]은 (상세하게 설명될) 포착 물체에 따라 변동된다. 프로젝터(4)는 노출의 종료 후에 미리 결정된 시간이 경과할 때에 광을 방출하는 것을 정지한다.
분명하게, 영상 포착 부분(5)의 영상 포착은 프로젝터(4)의 광 방출 타이밍을 참조하여 제어될 수 있다.
도5를 참조하면, 다음에는 그 각각의 동작 모드에서의 프로젝터(4)[광원(4a)]에 대한 광 방출 패턴의 예가 설명될 것이다. 영상 포착 부분(5)의 셔터(5a)는 예컨대 30 ㎐ 사이클로 노출을 반복한다. 명 모드에서, 프로젝터(4)에는 셔터(5a)의 노출과 동기식으로 전류 I가 공급되고, 광을 방출한다[(노출-동기식 방출로서 또한 불리는) 동기식 노출-방출]. 광 방출 패턴은 펄스 방출을 유발한다.
펄스 방출 파형은 톱니형, 삼각형 또는 사인 곡선형 그리고 또한 직사각형 또는 정사각형일 수 있다. 프로젝터 제어기(23) 및 프로젝터(4)의 구성이 이들 파형의 사용을 결정한다.
도5에서의 예는 암 모드 1 내지 7에 대응하는 광 방출 패턴을 도시하고 있다. 이들 패턴 중 하나가 사용된다. 분명하게, 도3에 도시된 암 모드 영역을 세분하고 세분된 영역의 각각에 7개의 광 방출 패턴 중 하나를 적용하도록 다수의 조도 임계치를 사용하는 것이 바람직할 수 있다. 다음에는 암 모드에 대응하는 광 방출 패턴이 설명될 것이다.
암 모드 1에서, 프로젝터(4)는 60 ㎐ 사이클로 광 방출을 반복한다. 즉, 프로젝터(4)는 셔터(5a)의 노출과 동기인 (시간 간격으로서 또한 불리는) 타이밍(동기식 노출-방출)으로 그리고 그 노출과 비동기인 타이밍[(노출-비동기 방출로서 또한 불리는) 비동기식 노출-방출]으로 펄스로 광을 방출한다. 이것은 명멸의 발생을 억제할 수 있다.
위의 설명은 대표예로서 60 ㎐ 광 방출 사이클을 사용한다. 그러나, 60 ㎐ 사이클이라도 차량 진동에 따라 명멸이 지각되게 할 수 있다. 암 모드 1에서, (도시되지 않은) 공지된 진동 센서가 차량 내의 위치에서 진동을 검출하는 데 사용될 수 있다. 비동기식 노출-방출에 대한 광 방출 사이클은 진동 주파수에 따라 변동될 수 있다. 이러한 구성은 차량 내의 진동을 검출하는 진동 검출 부분을 제공한다. 광 방출 패턴 설정 부분은 검출된 진동 주파수에 따라 비동기식 노출-방출에 대한 광 방출 패턴을 설정한다. 명멸이 높은 진동 주파수의 조건 하에서 쉽게 지각 가능하다. 그러므로, 광 방출 주파수는 그에 따라 명멸이 거의 지각 불가능해지도록 증가된다. 관련된 진동은 프로젝터 자체의 진동과 운전자의 진동 사이의 상대 수치를 나타낸다. 운전자의 진동은 측정하기 어렵다. 운전자의 머리에서의 진동 주파수가 사용될 수 있다. 진동 주파수는 인체 모델을 사용하여 좌석 진동으로부터 평가된다.
암 모드 2에서, 프로젝터(4)는 암 모드 1과 마찬가지로 60 ㎐ 사이클로 펄스형 광 방출을 반복한다. 광을 방출할 때에, 암 모드 2는 셔터(5a)의 노출과 비동기인 타이밍에서의 전류(즉, 광 방출 세기) I2가 그 노출과 동기인 타이밍에서의 전류 I보다 작게 한다. 이것은 명멸의 발생을 억제할 수 있다. 추가로, 암 모드 2는 프로젝터(4)가 암 모드 1보다 소비 전류를 많이 감소시킬 수 있게 한다.
광을 방출할 때에, 암 모드 3은 셔터(5a)의 노출과 비동기인 타이밍에서의 광 방출 전류 I3이 암 모드 2에서의 전류 I2보다 작게 한다. 암 모드 3은 암 모드 2보다 긴 광 방출 시간을 사용한다. 이것은 명멸의 발생을 억제할 수 있다. 추가로, 암 모드 3은 프로젝터(4)가 암 모드 1보다 소비 전류를 많이 감소시킬 수 있게 한다.
암 모드 4에서, 프로젝터(4)는 명 모드와 마찬가지로 30 ㎐ 사이클로 광 방출을 반복한다. 나아가, 암 모드 4는 변화되지 않는 상태로 전류 수치를 유지하면서 명 모드보다 긴 광 방출 시간을 사용한다. 이것은 명멸의 발생을 억제할 수 있다.
암 모드 5에서, 프로젝터(4)는 명 모드와 마찬가지로 30 ㎐ 사이클로 광 방출을 반복한다. 셔터(5a)의 노출 후에, 암 모드 5는 노출에 대해 전류 I와 상이한(예컨대, 전류 I보다 작은) 전류 I5를 사용하여 광 방출을 유지한다. 광 방출은 미리 결정된 간격 동안(예컨대, 광 방출 사이클보다 짧게) 계속된다. 이것은 명멸의 발생을 억제할 수 있다. 추가로, 암 모드 5는 프로젝터(4)가 암 모드 4보다 소비 전류를 많이 감소시킬 수 있게 한다.
암 모드 6에서, 프로젝터(4)는 셔터(5a)의 노출 타이밍과 무관하게 정상 상태로 광을 방출한다. 광 방출 전류 I6은 명 모드에서의 전류 I보다 작다. 이것은 명멸의 발생을 억제할 수 있다. 추가로, 암 모드 6은 프로젝터(4)가 암 모드 4보다 소비 전류를 많이 감소시킬 수 있게 한다.
암 모드 7은 암 모드 6과 명 모드를 결합한다. 셔터(5a)가 노출을 정지한 후에, 프로젝터(4)는 노출에 대해 전류 I보다 작은 광 방출 전류 I7을 사용하여 정상 상태로 광을 방출한다. 이것은 명멸의 발생을 억제할 수 있다. 추가로, 암 모드 7은 프로젝터(4)가 암 모드 4보다 소비 전류를 많이 감소시킬 수 있게 한다.
암 모드 1, 2 및 6은 대응 광 방출 패턴의 관점에서 다른 것들보다 효과적이다.
이제부터 도2를 재참조하면, 프로젝터 제어기(23)는 설정된 광 방출 패턴 및 영상 포착 타이밍을 기초로 하여 프로젝터(4)의 광 방출을 제어한다. 영상 포착 제어기(24)는 영상을 포착하도록 영상 포착 부분(5)의 동작을 제어한다(S17). 인식 부분(25)은 영상 포착 부분(5)에 의해 포착된 영상 데이터로부터 탑승자의 얼굴을 인식한다(S18). 인식 결과를 기초로 하여, 인식 부분(25)은 제어 수치가 변화될 것이 필요한 지를 결정한다.
예컨대, 인식 부분(25)은 탑승자의 포착된 얼굴 영상으로부터 이마 또는 볼 등의 피부와 동등한 영역을 미리 결정된 얼굴-부분 영역으로서 검출한다. 인식 부분(25)은 저장 부분(28) 내에 이미 저장된 미리 결정된 기준 색상과 탑승자의 피부의 색상(필터링된 픽셀 수치)을 비교한다. 비교 결과(예컨대, 양쪽 모두의 색상 사이의 디지털화된 차이)를 기초로 하여, 인식 부분(25)은 제어 수치가 변화될 것이 필요한 지를 결정한다.
제어 수치가 변화될 것이 필요하지 않으면(S19에서 아니오), 과정은 지연 카운터 M의 수치를 증가시킨다(S23). 과정은 S17로 복귀되고, 현재의 제어 수치를 사용하여 광 방출 및 영상 포착을 반복한다. 제어 수치가 변화될 것이 필요하면(S19에서 예), 과정은 지연 임계치 n과 지연 카운터 M의 수치를 비교한다. M>n이 충족되면(S20에서 예), 과정은 지연 카운터 M을 0으로 정한다(S21). 과정은 S11로 복귀되고, 재차 동작 모드를 결정한다.
M>n이 충족되지 못하면(S20에서 아니오), 과정은 제어 수치를 변화시키고(S22), 지연 카운터 M의 수치를 증가시킨다(S23). 과정은 S17로 복귀되고, 광 방출 및 영상 포착을 수행한다.
동작 모드가 변화된 직후에, 위에서 설명된 것과 같이, 지연 임계치 n은 변화되지 않는 상태로 동작 모드를 유지하는 통상의 동작에 대해 지연 임계치 n1보다 작은 n2를 포함한다. 동작 모드 결정 부분(21)은 특정한 시간 간격을 기초로 하여 동작 모드의 변화를 확인한다. 변화된 경우의 동작 모드에 대한 특정한 시간 간격은 변화되지 않은 경우의 동작 모드에 대한 특정한 시간 간격보다 짧도록 설정된다. 동작 모드 결정 부분(21)은 동작 모드가 일시적으로 변화되는 지를 결정할 수 있다. 동작 모드는 차량이 교량 아래로 또는 건물 뒤로 주행하면 비교적 짧은 시간 내에 조도의 변화로 인해 변화될 수 있다. 이러한 경우에, 변화 전의 동작 모드는 빠르게 재개될 수 있다. 탑승자의 얼굴이 정확하게 인식될 수 없는 시간을 단축하는 것이 가능하다.
도6을 참조하여, 다음에는 제어 수치가 상세하게 설명될 것이다. 저장 부분(28) 내에 사전에 저장된 카메라 제어 또는 카메라 제어 테이블이 제어 수치를 결정하는 데 참조된다. 카메라 제어 테이블은 적어도 1개의 제어 테이블(테이블 1)을 포함한다. 예컨대, "dB" 파라미터는 탑승자의 포착된 얼굴 영상의 색상과 기준 색상 사이의 비교로부터 기인하는 인덱스 번호 또는 디지털화된 차이를 나타낸다. 초기 수치는 "0"이다. 이러한 경우에, "셔터 시간"은 300 ㎲로 설정된다. "셔터 시간"은 셔터(5a)가 개방되는 시간(노출 시간)과 동등하다. 이러한 경우에, "이득"은 배가된다. "이득"은 영상 포착 부분(5)이 포착된 영상 데이터(아날로그 신호)를 증폭시키는 증폭 인자를 나타낸다. 즉, 제어 수치는 "셔터 시간" 및 "이득"을 포함한다.
제어 수치는 동일한 "이득" 파라미터 그리고 상이한 "셔터 시간" 파라미터를 포함한다. 그러므로, 제어 수치는 조정 가능하다. 분명하게, 제어 수치는 동일한 "셔터 시간" 그리고 상이한 "이득" 파라미터를 포함할 수 있다.
방출 세기는 포착된 얼굴 영상의 색상이 기준 색상보다 어두우면 작다. 이러한 경우에, 제어 수치는 예컨대 양쪽 모두의 색상 사이의 차이를 기초로 하여 현재의 "dB" 수치보다 큰 "dB" 수치에 대응하는 "셔터 시간" 및 "이득"으로 변화된다. 반면에, 방출 세기는 포착된 얼굴 영상의 색상이 기준 색상보다 밝으면 충분히 크다. 이러한 경우에, 제어 수치는 양쪽 모두의 색상 사이의 차이를 기초로 하여 현재의 "dB" 수치보다 작은 "dB" 수치에 대응하는 "셔터 시간" 및 "이득"으로 변화된다.
동작 모드가 변화될 때에, 영상 포착은 현재의 "dB" 수치에 대응하는 제어 수치 또는 "0"으로 설정된 "dB" 수치에 대응하는 제어 수치를 사용할 수 있다.
다수의 카메라 제어 테이블 1 내지 3이 제공될 수 있다. 테이블 1 내지 3 중 임의의 하나가 포착된 얼굴 영상의 색상과 기준 색상 사이의 비교(색상 차이)의 결과에 따라 선택 및 사용될 수 있다. 제어 수치는 선택된 테이블로부터 결정될 수 있다. 카메라 제어 테이블은 광 방출 패턴의 각각에 대해 제공될 수 있다.
도9를 참조하여, 다음에는 본 발명의 실시예에 따른 프로젝터 제어 과정의 또 다른 예가 설명될 것이다. 이러한 과정은 위에서 설명된 도2에서의 과정의 변형예이다. 도9 및 도2에서의 상호 대응 과정 단계는 동일한 도면 부호에 의해 지정되고, 상세한 설명이 간략화를 위해 생략된다. S11 내지 S18은 도2에서와 동일하다.
S18에서, 인식 부분(25)은 영상 포착 부분(5)에 의해 포착된 영상 데이터로부터 탑승자의 얼굴을 인식한다. 인식 부분(25)은 지연 임계치 n과 지연 카운터 M의 수치를 비교한다. M>n이 충족되면(S19a에서 예), 과정은 0으로 지연 카운터 M을 설정한다(S21). 과정은 S11로 복귀되고, 재차 동작 모드를 결정한다.
M>n이 충족되지 못하면(S19a에서 아니오), 인식 부분(25)은 제어 수치가 변화될 것이 필요한 지를 결정한다. 제어 수치가 변화될 것이 필요하지 않으면(S20a에서 아니오), 과정은 지연 카운터 M의 수치를 증가시킨다(S23a). 과정은 S17로 복귀되고, 현재의 제어 수치를 사용하여 광 방출 및 영상 포착을 반복한다. 제어 수치가 변화될 것이 필요하면(S20a에서 예), 과정은 제어 수치를 변화시킨다(S22a). 과정은 지연 카운터 M의 수치를 증가시키고(S23a), 그 다음에 광 방출 및 영상 포착을 수행하도록 S17로 복귀된다.
본 발명의 제1 태양은 이전의 요약에서 이미 인용되었지만, 그에 대한 선택 사항인 다른 태양이 다음과 같이 시작될 수 있다.
예컨대, 제2 태양으로서, 얼굴 영상 검출 장치는 영상 포착 부분에 의해 포착되는 영상 데이터로부터 탑승자의 얼굴을 인식하는 인식 부분을 포함할 수 있고, 탑승자의 얼굴 내의 미리 결정된 얼굴-부분 영역에 대한 픽셀 수치를 검출할 수 있다. 여기에서, 영상 포착 제어기는 인식 부분에 의해 검출된 미리 결정된 얼굴-부분 영역에 대한 픽셀 수치가 미리 결정된 기준 수치에 근사하도록 프로젝터가 광 방출 패턴을 사용하여 광을 방출할 때에 영상 포착 부분의 노출 시간 및 이득 중 적어도 하나를 조정할 수 있고, 영상 포착 부분에 의한 다음의 영상 포착을 위해 미리 결정된 포착 영역을 포착하도록 재-설정 영상 포착 조건을 재-설정하기 위해 영상 포착 조건에 대한 조정 파라미터를 반영할 수 있다. 영상 포착 부분은 재-설정 영상 포착 조건을 기초로 하여 얼굴을 포함하는 미리 결정된 포착 영역을 포착하도록 다음의 영상 포착을 수행할 수 있다.
제3 태양으로서, 인식 부분으로부터의 인식 결과가 탑승자의 얼굴 내에서의 미리 결정된 얼굴-부분 영역에 대한 픽셀 수치가 미리 결정된 기준 수치로부터 미리 결정된 범위 내에 있지 않은 것을 지시하는 경우에, 영상 포착 제어기는 영상 포착 조건이 이전에 설정된 때로부터 미리 결정된 설정 시간 간격이 경과할 때까지 미리 결정된 포착 영역을 포착하도록 재-설정 영상 포착 조건을 재-설정하지 않을 수 있다. 바꿔 말하면, 영상 포착 제어기는 재-설정 조건이 충족될 때에 미리 결정된 포착 영역을 포착하도록 재-설정 영상 포착 조건을 재-설정할 수 있다. 재-설정 조건은 (ⅰ) 인식 부분으로부터의 인식 결과가 탑승자의 얼굴 내의 미리 결정된 얼굴-부분 영역에 대한 픽셀 수치가 미리 결정된 기준 수치로부터 미리 결정된 범위 내에 있지 않은 것을 지시하고 동시에 (ⅱ) 영상 포착 제어가 이전에 설정된 때로부터 미리 결정된 설정 시간 간격이 경과하는 조건일 수 있다.
예컨대, 인식 결과가 탑승자의 얼굴 내의 미리 결정된 얼굴-부분 영역에 대한 픽셀 수치가 미리 결정된 기준 수치로부터 미리 결정된 범위 내에 있지 않은 것을 지시하기만 하면, 영상 포착 제어기는 반복적으로 재-설정 영상 포착 조건을 주로 재-설정할 수 있다. 이러한 경우에, 영상 포착 조건은 인식 결과가 피드백되기 때문에 과도하게 빈번하게 변화될 수 있다. 그에 따라, 탑승자의 얼굴은 정확하게 인식되지 않을 수 있다. 그러므로, 미리 결정된 설정 시간 간격이 경과할 때에, 영상 포착 제어기는 인식 부분에서의 인식 결과를 사용할 수 있고, 그에 의해 영상 포착 조건(즉, 재-설정 영상 포착 조건)을 재-설정한다.
제4 태양으로서, 동작 모드 결정 부분은 동작 모드가 이전에 결정된 때로부터 미리 결정된 결정 시간 간격이 경과할 때까지 환경 광 검출 부분에 의해 검출되는 환경 광의 상태를 기초로 하여 재-결정된 동작 모드를 재-결정하는 모드 재-결정을 수행하지 않을 수 있다. 바꿔 말하면, 동작 모드 결정 부분은 재-결정 조건이 충족될 때에 환경 광 검출 부분에 의해 검출되는 환경 광의 상태를 기초로 하여 재-결정된 동작 모드를 재-결정하는 모드 재-결정을 수행할 수 있다. 결정 조건은 동작 모드가 이전에 결정된 때로부터 미리 결정된 결정 시간 간격이 경과한다는 조건일 수 있다.
이러한 구성 하에서, 동작 모드를 재-결정하는 시간 및 노력이 절감되고, 탑승자의 얼굴이 신속하게 그리고 정확하게 인식될 수 있다. 나아가, 이러한 구성은 다음의 문제를 극복하도록 제공될 수 있다. 즉, 환경 광의 상태가 동작 모드를 결정하도록 주기적으로 측정될 수 있다. 동작 모드는 차량의 주행 환경 하에서 계속해서 변화되는 환경 광의 영향의 피드-백의 결과로서 과도하게 변화될 수 있다. 추가로, 탑승자의 얼굴의 인식된 상태가 기준 상태에 근접할 때에 동작 모드가 변화되면, 후속의 인식된 상태가 그와 반대로 기준 상태와 더 상이할 수 있고, 탑승자의 얼굴을 인식하는 최적의 제어에 수렴되지 않을 수 있다. 그에 따라, 탑승자의 얼굴이 정확하게 인식될 수 없다.
제5 태양으로서, 동작 모드 결정 부분은 동작 모드가 이전에 결정된 때로부터 미리 결정된 결정 시간 간격이 정확히 경과한 때에 또는 동작 모드가 이전에 결정된 때로부터 미리 결정된 시간 간격이 경과한 후에 재-설정 영상 포착 조건을 재-설정하는 요청이 일어날 때에 재-결정된 동작 모드를 재-결정하는 모드 재-결정을 수행할 수 있다. 바꿔 말하면, 동작 모드 결정 부분은 제1 조건 및 제2 조건 중 하나가 충족될 때에 재-결정된 동작 모드를 재-결정하는 모드 재-결정을 수행할 수 있다. 제1 조건은 동작 모드가 이전에 결정된 때로부터 미리 결정된 결정 시간 간격이 정확하게 경과하는 조건일 수 있다. 제2 조건은 동작 모드가 이전에 결정된 때로부터 미리 결정된 시간 간격이 경과한 후에 재-설정 영상 포착 조건을 재-설정하는 요청이 일어나는 조건일 수 있다.
위의 구성은 동작 모드의 재-결정이 과도하게 빈번하게 일어나는 것을 방지할 수 있고, 그에 의해 탑승자의 얼굴의 신속한 그리고 정확한 인식을 가능케 한다.
제6 태양으로서, 광 방출 패턴 설정 부분은 미리 결정된 검출 시간 간격으로 환경 광 검출 부분에 의해 검출되는 환경 광의 상태를 기초로 하여 광원에 대한 광 방출 패턴을 변화시키고, 그에 의해 탑승자에 의해 감지되는 명멸을 감소시킨다.
이러한 구성은 탑승자의 얼굴의 인식 대신에 명멸의 감소에 우선권을 준다. 이와 같이, 광원의 광 방출(즉, 명멸)은 운전의 방해가 되는 것이 방지되거나 차내 환경을 악화시키는 것이 방지될 수 있다.
제7 태양으로서, 동작 모드가 환경 광 검출 부분에 의해 검출된 환경 광의 광 세기가 미리 결정된 광 세기 임계치보다 큰 제1 모드와 동일한 명 모드로서 특정될 때에, 광 방출 패턴 설정 부분은 광 방출 패턴이 영상 포착 부분의 노출 시간 간격과 동기인 펄스 광 방출과 동등한 노출-동기식 방출을 포함하도록 설정할 수 있다.
풍경 또는 경치가 안경 상에 반사되는 상태에서 대량의 환경 광이 존재한다. 이와 같이, 프로젝터(즉, 광원)의 펄스 광 방출이 수행되고 광 방출량이 증가되더라도, 운전자는 명멸을 거의 인식하지 못한다. 이와 같이, 위의 구성은 명멸의 발생을 억제하면서 명 모드에서 환경 광의 양에 대한 광 방출량을 증가(즉, S/N 비율을 증가)시킬 수 있다. 그에 따라, 탑승자의 얼굴의 정확한 인식이 가능해진다.
제8 예로서, 동작 모드가 환경 광 검출 부분에 의해 검출된 환경 광의 광 세기가 미리 결정된 광 세기 임계치보다 크지 않은 제2 모드와 동일한 암 모드로서 특정될 때에, 광 방출 패턴 설정 부분은 광 방출 패턴이 노출-동기식 방출 및 노출-비동기식 방출을 포함하도록 설정할 수 있다. 노출-동기식 방출은 영상 포착 부분의 노출 시간 간격과 동기인 펄스 광 방출이다. 노출-비동기식 방출은 영상 포착 부분의 노출 시간 간격과 비동기인 광 방출 패턴이다.
이러한 구성은 암 모드에서 펄스 방출의 반복 시간(즉, 주파수)을 증가시킬 수 있고, 그에 의해 탑승자에 의해 지각되는 명멸을 감소시킨다.
제9 예로서, 광 방출 패턴 설정 부분은 펄스 광 방출로서 노출-비동기식 방출에서의 광 방출 패턴을 설정할 수 있다.
노출-비동기식 방출에서의 광 방출 패턴은 펄스 광 방출로서 설정되고; 그에 의해, 펄스의 주파수는 외견상 더 높아진다. 광원의 명멸이 억제되면서, 충분한 광량이 노출-동기식 방출 하에서의 영상 포착에서 얻어질 수 있다. 그에 따라, 탑승자의 정확한 인식이 가능해진다. 환경 광이 약할 때에, 풍경 또는 경치가 안경 상에 거의 반사되지 않는다는 것이 주목되어야 한다. 나아가, 노출-비동기식 방출이 수행되고; 그에 따라, 프로젝터가 불필요한 광 방출을 수행할 것이 필요하다. 광원이 정격 전류 내에서 사용될 것이 고려되면, 노출-동기식 방출에서의 광량이 명 모드에서와 비교될 때에 비교적 낮은 수치로 설정될 것이 필요하다. 그러나, 암 모드에서, 주로, 환경 광이 적고; 그에 따라, S/N 비율이 충분히 높게 유지된다.
제10 태양으로서, 광 방출 패턴 설정 부분은 정상 상태의 광 방출로서 노출-비동기식 방출에서의 광 방출 패턴을 설정할 수 있다.
이러한 구성은 프로젝터가 정상 상태의 광 방출을 수행하게 함으로써 광원의 명멸을 억제할 수 있다. 나아가, 노출 시간은 연장될 수 있고; 그에 따라, 충분한 광량이 영상 포착에서 확보 가능하다. 그에 따라, 탑승자의 얼굴의 정확한 인식이 가능해진다. 나아가, 정상 상태의 광 방출은 프로젝터가 노출 시간 이외의 시간 중에 무용한 광 방출을 수행할 것을 요구한다. 광원이 정격 전류 내에서 사용될 것이 고려되면, 광 방출량은 비교적 낮게 설정될 것이 필요하다. 그러나, 암 모드에서, 주로, 환경 광이 적고; 그에 따라, S/N이 충분히 높게 유지된다. 노출 시간을 연장시키는 것은 단점을 제공하지 않는다.
제11 태양으로서, 광 방출 패턴 설정 부분은 노출-동기식 방출 및 노출-비동기식 방출의 각각에 따라 광원에 인가되는 전류에 대해 독립 수치를 사용할 수 있다.
이러한 구성은 외견상 광 방출의 주파수를 증가시킨다. 광원의 명멸이 억제되면서, 충분한 광량이 영상 포착에서 확보 가능하다. 그에 따라, 탑승자의 얼굴의 정확한 인식이 가능해진다. 나아가, 위의 구성은 노출-비동기식 방출에서 인가되는 전류를 감소시키고, 그에 의해 광원의 소비 전류를 감소시킨다.
제12 태양으로서, 광원으로부터 방출되는 광이 근-적외선 파장을 포함할 수 있다.
이러한 구성은 큰 정도까지 종래의 장치를 변화시킬 필요 없이 근-적외선 파장 영역을 갖는 적외선 스트로보스코프(stroboscope) 또는 LED를 사용하여 운전자의 얼굴의 영상을 포착하는 종래의 얼굴 영상 포착 장치를 사용함으로써 성취될 수 있다.
본 발명은 그 양호한 실시예를 참조하여 설명되었지만, 본 발명은 양호한 실시예 및 구성에 제한되지 않는다는 것이 이해되어야 한다. 본 발명은 다양한 변형 그리고 동등한 배열을 포함하도록 의도된다. 추가로, 1개보다 많거나 적은 요소 또는 단일 요소만을 포함하는 양호한 다른 결합 및 구성인 다양한 조합 및 구성이 또한 본 발명의 정신 및 범주 내에 있다.

Claims (12)

  1. 얼굴 영상 검출 장치(1)이며,
    차량 내의 탑승자의 얼굴을 포함하는 투영 영역 상으로 광을 투영하는 프로젝터(4)와;
    탑승자의 얼굴을 포함하는 미리 결정된 포착 영역을 포착하도록 영상 포착 조건을 설정하는 영상 포착 제어기(24)와;
    영상 포착 제어기에 의해 설정된 영상 포착 조건을 기초로 하여 얼굴을 포함한 미리 결정된 포착 영역을 포착하도록 영상 포착을 수행하는 영상 포착 부분(5)과;
    차량 및 탑승자 중 하나에 조사되는 환경 광을 검출하는 환경 광 검출 부분(3)과;
    적어도 2개의 동작 모드로부터 동작 모드를 결정하도록 모드 결정을 수행하는 동작 모드 결정 부분(21)으로서, 2개의 동작 모드 중 하나는 환경 광 검출 부분에 의해 검출된 환경 광의 광 세기가 미리 결정된 광 세기 임계치보다 큰 제1 모드이고, 2개의 동작 모드 중 다른 하나는 환경 광 검출 부분에 의해 검출된 환경 광의 광 세기가 미리 결정된 광 세기 임계치보다 크지 않은 제2 모드인, 동작 모드 결정 부분(21)과;
    동작 모드 결정 부분에 의해 결정된 동작 모드를 기초로 하여 프로젝터의 광원에 대해 광 방출 패턴을 설정하는 광 방출 패턴 설정 부분(22)과;
    광 방출 패턴 설정 부분에 의해 설정된 광 방출 패턴을 기초로 하여 광원을 작동시키도록 프로젝터를 제어하는 프로젝터 제어기(23)를 포함하는
    얼굴 영상 검출 장치.
  2. 제1항에 있어서,
    영상 포착 부분에 의해 포착되는 영상 데이터로부터 탑승자의 얼굴을 인식하고 탑승자의 얼굴 내의 미리 결정된 얼굴-부분 영역에 대해 픽셀 수치를 검출하는 인식 부분(25)을 포함하고,
    영상 포착 제어기는,
    인식 부분에 검출된 미리 결정된 얼굴-부분 영역에 대한 픽셀 수치가 미리 결정된 기준 수치에 근사하도록 프로젝터가 광 방출 패턴을 사용하여 광을 방출할 때에 영상 포착 부분의 노출 시간 및 이득 중 적어도 하나를 조정하고,
    영상 포착 부분에 의한 다음의 영상 포착을 위해 미리 결정된 포착 영역을 포착하도록 재-설정 영상 포착 조건을 재-설정하기 위해 영상 포착 조건에 대한 조정된 파라미터를 반영하고,
    영상 포착 부분은 재-설정 영상 포착 조건을 기초로 하여 얼굴을 포함한 미리 결정된 포착 영역을 포착하도록 다음의 영상 포착을 수행하는
    얼굴 영상 검출 장치.
  3. 제2항에 있어서,
    인식 부분으로부터의 인식 결과가 탑승자의 얼굴 내의 미리 결정된 얼굴-부분 영역에 대한 픽셀 수치가 미리 결정된 기준 수치로부터 미리 결정된 범위 내에 있지 않은 것을 지시하는 경우에,
    영상 포착 제어기는 영상 포착 조건이 이전에 설정된 때로부터 미리 결정된 설정 시간 간격이 경과할 때까지 미리 결정된 포착 영역을 포착하도록 재-설정 영상 포착 조건을 재-설정하지 않는
    얼굴 영상 검출 장치.
  4. 제1항에 있어서,
    동작 모드 결정 부분은 동작 모드가 이전에 결정된 때로부터 미리 결정된 결정 시간 간격이 경과할 때까지 환경 광 검출 부분에 의해 검출되는 환경 광의 상태를 기초로 하여 재-결정된 동작 모드를 재-결정하도록 모드 재-결정을 수행하지 않는
    얼굴 영상 검출 장치.
  5. 제4항에 있어서,
    동작 모드 결정 부분은 동작 모드가 이전에 결정된 때로부터 미리 결정된 결정 시간 간격이 정확히 경과한 때에, 또는 동작 모드가 이전에 결정된 때로부터 미리 결정된 시간 간격이 경과한 후에 재-설정 영상 포착 조건을 재-설정하는 요청이 일어날 때에 재-결정된 동작 모드를 재-결정하도록 모드 재-결정을 수행하는
    얼굴 영상 검출 장치.
  6. 제1항에 있어서,
    광 방출 패턴 설정 부분은 미리 결정된 검출 시간 간격으로 환경 광 검출 부분에 의해 검출되는 환경 광의 상태를 기초로 하여 광원에 대해 광 방출 패턴을 변화시키고, 그에 의해 탑승자에 의해 지각되는 명멸을 감소시키는
    얼굴 영상 검출 장치.
  7. 제1항에 있어서,
    동작 모드가 환경 광 검출 부분에 의해 검출된 환경 광의 광 세기가 미리 결정된 광 세기 임계치보다 큰 제1 모드와 동일한 명 모드로서 특정될 때에, 광 방출 패턴 설정 부분은 광 방출 패턴이 영상 포착 부분의 노출 시간 간격과 동기인 펄스 광 방출과 동등한 노출-동기식 방출을 포함하도록 설정하는
    얼굴 영상 검출 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    동작 모드가 환경 광 검출 부분에 의해 검출된 환경 광의 광 세기가 미리 결정된 광 세기 임계치보다 크지 않은 제2 모드와 동일한 암 모드로서 특정될 때에, 광 방출 패턴 설정 부분은 광 방출 패턴이 노출-동기식 방출 및 노출-비동기식 방출을 포함하도록 설정하고,
    노출-동기식 방출은 영상 포착 부분의 노출 시간 간격과 동기인 펄스 광 방출이고,
    노출-비동기식 방출은 영상 포착 부분의 노출 시간 간격과 비동기인 광 방출 패턴인
    얼굴 영상 검출 장치.
  9. 제8항에 있어서,
    광 방출 패턴 설정 부분은 펄스 광 방출로서 노출-비동기식 방출에서의 광 방출 패턴을 설정하는
    얼굴 영상 검출 장치.
  10. 제8항에 있어서,
    광 방출 패턴 설정 부분은 정상 상태의 광 방출로서 노출-비동기식 방출에서의 광 방출 패턴을 설정하는
    얼굴 영상 검출 장치.
  11. 제8항에 있어서,
    광 방출 패턴 설정 부분은 노출-동기식 방출 및 노출-비동기식 방출의 각각에 따라 광원에 인가되는 전류에 대해 독립 수치를 사용하는
    얼굴 영상 검출 장치.
  12. 제1항 내지 제7항 중 어느 한 항에 있어서,
    광원으로부터 방출되는 광이 근-적외선 파장을 포함하는
    얼굴 영상 검출 장치.
KR1020120092722A 2011-08-25 2012-08-24 얼굴 영상 검출 장치 KR101355279B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011183260A JP5366028B2 (ja) 2011-08-25 2011-08-25 顔画像撮像装置
JPJP-P-2011-183260 2011-08-25

Publications (2)

Publication Number Publication Date
KR20130023139A true KR20130023139A (ko) 2013-03-07
KR101355279B1 KR101355279B1 (ko) 2014-01-27

Family

ID=47665336

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120092722A KR101355279B1 (ko) 2011-08-25 2012-08-24 얼굴 영상 검출 장치

Country Status (5)

Country Link
US (1) US8797394B2 (ko)
JP (1) JP5366028B2 (ko)
KR (1) KR101355279B1 (ko)
CN (1) CN103077370B (ko)
DE (1) DE102012106286B4 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015031942A1 (en) * 2013-09-03 2015-03-12 Seeing Machines Limited Low power eye tracking system and method
US9836639B2 (en) * 2014-01-10 2017-12-05 Facebook, Inc. Systems and methods of light modulation in eye tracking devices
US9436870B1 (en) * 2014-06-06 2016-09-06 Amazon Technologies, Inc. Automatic camera selection for head tracking using exposure control
JP2016032257A (ja) * 2014-07-30 2016-03-07 株式会社デンソー ドライバ監視装置
JP6566737B2 (ja) 2015-06-18 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6480586B2 (ja) * 2015-07-29 2019-03-13 京セラ株式会社 画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法
KR20230004905A (ko) 2015-11-10 2023-01-06 루미리즈 홀딩 비.브이. 적응형 광원
KR101806703B1 (ko) * 2016-06-01 2018-01-10 현대자동차주식회사 운전자 상태 모니터링 장치
JP6814967B2 (ja) * 2016-06-17 2021-01-20 パナソニックＩｐマネジメント株式会社 撮像装置
JP6587254B2 (ja) * 2016-09-16 2019-10-09 株式会社東海理化電機製作所 輝度制御装置、輝度制御システム及び輝度制御方法
DE102016013294A1 (de) 2016-11-08 2017-05-18 Daimler Ag Adaptive Belichtungssteuerung durch Auswerten einer Mimik und/oder Gestik
CN109318811A (zh) * 2017-07-31 2019-02-12 上海蔚来汽车有限公司 汽车光线识别系统及包括其的汽车
JP2019123421A (ja) * 2018-01-18 2019-07-25 株式会社デンソー 乗員検知システム、照明制御システム、及び車内照明方法
CN108200354B (zh) * 2018-03-06 2020-09-25 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
JP7252755B2 (ja) * 2018-12-27 2023-04-05 株式会社小糸製作所 アクティブセンサ、物体識別システム、車両、車両用灯具
US11036043B2 (en) * 2019-01-17 2021-06-15 Advanced New Technologies Co., Ltd. Identity authentication using lens features
WO2020194489A1 (ja) * 2019-03-26 2020-10-01 三菱電機株式会社 露光制御装置および露光制御方法
WO2020213638A1 (ja) * 2019-04-18 2020-10-22 日本電気株式会社 人物特定装置、人物特定方法および記録媒体
CN110414445B (zh) * 2019-07-31 2022-03-25 联想(北京)有限公司 用于人脸识别的光源调节方法、装置及电子设备
EP3782833B1 (en) * 2019-08-21 2023-04-19 Ningbo Geely Automobile Research & Development Co. Ltd. Controlling an internal light source of a vehicle for darkening of glasses
JP2021118478A (ja) * 2020-01-28 2021-08-10 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 監視カメラ、カメラパラメータ決定方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0362396A (ja) 1989-07-31 1991-03-18 Hitachi Ltd 半導体記憶装置
JPH076893A (ja) 1993-04-01 1995-01-10 Harumi Suzuki インバータを用いた照明装置
JP3296119B2 (ja) 1994-12-01 2002-06-24 日産自動車株式会社 車両用視線方向計測装置
JP3316725B2 (ja) 1995-07-06 2002-08-19 三菱電機株式会社 顔画像撮像装置
JPH11327508A (ja) 1998-05-11 1999-11-26 Koito Ind Ltd 情報表示装置
AU6727200A (en) 1999-08-24 2001-03-19 Sekisui Jushi Kabushiki Kaisha Road traffic weather observation system and self-emission road sign system
JP2001308384A (ja) 2000-04-20 2001-11-02 Fujitsu General Ltd 発光素子駆動制御装置
JP2002143087A (ja) * 2000-11-09 2002-05-21 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP4274316B2 (ja) * 2003-08-28 2009-06-03 富士通株式会社 撮像システム
JP2005242428A (ja) 2004-02-24 2005-09-08 Nissan Motor Co Ltd 運転者の顔画像撮影装置
JP4059224B2 (ja) * 2004-04-13 2008-03-12 株式会社デンソー 運転者の外観認識システム
JP2005354155A (ja) 2004-06-08 2005-12-22 Matsushita Electric Ind Co Ltd 動画撮像装置
JP4252938B2 (ja) 2004-07-07 2009-04-08 株式会社デンソー 車両の車室照明装置
JP4437712B2 (ja) 2004-07-07 2010-03-24 株式会社小糸製作所 車両用照明システム
DE102008006973B4 (de) * 2007-02-02 2017-03-02 Denso Corporation Projektor und Bildaufnahmevorrichtung
JP5040776B2 (ja) 2008-03-31 2012-10-03 アイシン精機株式会社 撮像装置
JP2010176382A (ja) * 2009-01-29 2010-08-12 Toyota Motor Corp 照明装置、及び当該装置で用いられる照明方法
CN101803928A (zh) * 2010-03-05 2010-08-18 北京智安邦科技有限公司 基于视频的驾驶员疲劳检测装置
CN102085099B (zh) * 2011-02-11 2017-02-08 北京中星微电子有限公司 疲劳驾驶检测方法和装置

Also Published As

Publication number Publication date
US20130050462A1 (en) 2013-02-28
CN103077370B (zh) 2015-09-30
DE102012106286B4 (de) 2020-06-18
JP5366028B2 (ja) 2013-12-11
DE102012106286A1 (de) 2013-02-28
US8797394B2 (en) 2014-08-05
KR101355279B1 (ko) 2014-01-27
JP2013045317A (ja) 2013-03-04
CN103077370A (zh) 2013-05-01

Similar Documents

Publication Publication Date Title
KR101355279B1 (ko) 얼굴 영상 검출 장치
JP7138168B2 (ja) 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法
JP5045212B2 (ja) 顔画像撮像装置
CN103423657B (zh) 一种智能灯具及其智能提醒的方法
KR102528244B1 (ko) 전자 안경
JP5761074B2 (ja) 撮像制御装置及びプログラム
JP5843898B2 (ja) 車両照度環境認識装置及びその方法
KR20190108603A (ko) 시선 추적 장치 및 헤드 마운티드 디스플레이 기기
US10348975B2 (en) Light system for a motor vehicle
JP2003260933A (ja) 自動眩しさ調節装置
KR101995340B1 (ko) 적외선 광원 제어방법
JP2020145724A (ja) 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法
JP2019123421A (ja) 乗員検知システム、照明制御システム、及び車内照明方法
CN105554981A (zh) 台灯调节方法和装置
KR20130008771A (ko) 차량의 상향등 제어 장치 및 방법
JP2010078363A (ja) 覚醒装置および覚醒方法
CN111935414B (zh) 图像采集方法、发光控制方法、相关设备及系统
JP5352266B2 (ja) 防眩装置
JP2017030686A (ja) 注意喚起装置、注意喚起方法、および注意喚起システム
JP3296119B2 (ja) 車両用視線方向計測装置
WO2021010201A1 (ja) 車載カメラ用照明システム
JP2009253316A (ja) 車載カメラ及びドライブレコーダ
US20200221000A1 (en) Camera system, vehicle and method for configuring light source of camera system
KR200293770Y1 (ko) 자동가변조명이 부설된 보안카메라시스템
JPH0732907A (ja) 意識レベル検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170106

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180105

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 6