KR101165106B1 - 얼굴 인식에 기반한 운전자 인증 장치 및 방법 - Google Patents

Abstract

본 발명은 IMS(Integrate Memory Seat)와 네비게이션 시스템을 연동한 얼굴 인식에 기반하여 운전자를 인증하는 시스템 및 운전편의장치에 대한 세팅 지원 시스템에 관한 것이다.

이 같은 본 발명은, 카메라를 통해 운전자의 얼굴을 인식하여 운전자 인증을 수행하고, IMS와 연동하여 운전자에 따라서 차량 편의장치를 미리 세팅된 값으로 자동 조정함은 물론, 네비게이션 시스템과 연동시킨 것으로, 이를 통해 운전자에게 필요한 맞춤형 정보를 제공하는 한편, 차량의 도난 방지와, 운전자에 따라 IMS기능을 효과적으로 대응할 수 있도록 하면서 운전자의 현재 IMS상태 및 네비게이션 목적지 선택에 따라 운전자의 운전 성향을 파악한 후 이를 저장하여 운전자가 편의장치를 운전할때마다 다시 세팅하는 번거로움과 위험성을 크게 줄여준 것이다.

인증, 등록, 편의장치, 얼굴 영상 추출, 특징 추출, 신원 판별

Description

얼굴 인식에 기반한 운전자 인증 장치 및 방법{Driver certification device and method that do fetters in face realization}

도 1은 본 발명의 실시예로 얼굴인식에 기반한 운전자 인증 장치를 보인 블럭 구성도.

도 2는 본 발명의 실시예로 얼굴인식에 기반한 운전자 인증 방법을 보인 흐름도.

도 3은 본 발명의 실시예로 얼굴 영상을 추출하는 방법의 흐름도.

도 4는 본 발명의 실시예로 얼굴 영상의 특징부이를 추출하는 방법의 흐름도.

도 5는 본 발명의 실시예로 PCA를 이용한 얼굴 특징 추출 상태도.

도 6은 본 발명의 실시예로 얼굴 영상의 인식을 위해 커널 함수를 이용하여 비선형의 분류 벡터를 확장하는 상태도.

도 7은 본 발명의 실시예로 SVM을 이용하여 얼굴 영상을 인식하는 상태도.

*도면의 주요 부분에 대한 부호의 설명*

1 ; 카메라 10; 정보 입력부

20; 영상입력부 30; 영상신호 처리부

40; 인증부 41; 얼굴 추출부

42; 특징 추출부 43; 신원판별부

50; 출력부 60; 메모리부

70; 제어부

본 발명은 IMS(Integrate Memory Seat)와 네비게이션 시스템을 연동한 얼굴 인식에 기반하여 운전자를 인증하는 장치 및 방법에 관한 것이다.

종래의 차량에는 운전자의 얼굴을 인증하고 이를 통해 네비게이션과 IMS와 같은 편의장치들을 제어하는 기술이 개시되어 있지 않았다.

즉, 종래에는 IMS와 네비게이션의 경우 운전자를 인식하는 것이 아니라, 운전자가 입력하는 정보에 따라 그 동작이 이루어지는 것으로, 운전자가 아닌 제 3의 탑승객이 입력하더라도 그 실행이 가능한 구조로 이루어져 있다.

그리고, 차량의 도난 방지 기능에 있어서도, 운전자에게 부여된 비밀번호 또는 리모콘키의 신호처리를 통해 방범 기능이 구현될 뿐, 본 발명이 추구하고자 하는 얼굴 인증 방법은 전혀 구현하고 있지 않았다.

따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 안출된 것으로서, 카메라를 통해 운전자의 얼굴을 인식하여 운전자 인증을 수행하고, IMS와 연동하여 운전자에 따라서 차량 편의장치를 미리 세팅된 값으로 자동 조정함은 물론, 네비게이션 시스템과 연동시킴으로써, 운전자에게 필요한 맞춤형 정보(목적지, 자주가는 곳 등)를 제공함은 물론, 도난을 보다 효과적으로 방지할 수 있도록 하는 얼굴인식에 기반한 운전자 인증 장치 및 방법을 제공하려는데 그 목적이 있는 것이다.

이하, 첨부된 도면에 의하여 본 발명의 바람직한 일실시예를 설명하면 다음과 같다.

도 1은 본 발명의 실시예로 얼굴인식에 기반한 운전자 인증 장치를 보인 블럭 구성도를 도시한 것이다.

도 1을 참조하면, 얼굴 등록 및 인증 절차를 수행하기 위한 신호를 입력하는 정보 입력부(10); 상기 정보입력부(10)의 신호입력에 따라 카메라(1)로부터 얼굴 영상을 입력받는 영상입력부(20); 상기 영상입력부(20)에서 얼굴 영상을 출력시 그 얼굴 영상을 벡터 연산의 함수로 처리하는 영상신호 처리부(30); 상기 영상신호 처리부(30)로부터 처리되는 벡터 연산의 함수들로부터 얼굴 영상의 노이즈를 제거하 고 그 특징을 추출하여 신원을 인증하는 인증부(40); 상기 인증부(40)에 의해 인증되는 정보는 물론, 정보 입력부(10)에 의한 얼굴 등록의 정보를 출력하는 출력부(50); 얼굴 영상의 등록 데이터 및 인증처리의 결과 데이터와 인증 및 등록에 필요로 하는 프로그램을 저장하는 메모리부(60); 및, 상기 정보 입력부(10)로부터 정보 입력시, 상기 메모리부(60)에 저장된 프로그램에 따라 구동하여 상기의 시스템 각부를 제어하는 제어부(MCU)(70); 를 포함한다.

다른 일면에 따라, 상기 인증부(40)는 영상신호 처리부(30)에 의해 처리되는 벡터 연산의 함수들로부터 노이즈가 제거된 상태의 얼굴 영상을 추출하는 얼굴 추출부(41); 상기 추출된 얼굴 영상으로부터 특징부분을 추출하는 특징 추출부(42); 및, 상기 추출된 특징부분들을 학습하고 인식하여 신원을 판별하는 신원판별부(43); 를 포함한다.

또 다른 일면에 따라, 상기 영상신호 처리부(30)는 인증부(40)에 의한 필터 연산, 얼굴 영상의 윤곽선 추출, 특징 추출 등의 벡터 연산을 빠른 속도로 수행하도록, 상기 얼굴 영상을 벡터 연산에 관한 함수들로 처리하는 프로그램이 탑재 구성되는 것을 특징으로 한다.

또 다른 일면에 따라, 상기 얼굴 추출부(41)는 입력되는 벡터 연산에 관한 함수들로부터 얼굴영상의 잡음을 제거한 후, 얼굴 윤곽의 에지를 구하고, 눈동자 후보 영역을 추출하여 얼굴 영역을 찾아 그 배경과 분리한 후 일정한 크기로 정규화하는 추출 프로그램이 탑재 구성되는 것을 특징으로 한다.

또 다른 일면에 따라, 상기 특징 추출부(42)는 얼굴의 표정 및 시간상의 변 화 등 다양한 변화에도 개개인의 특징들을 잘 반영하여 구혈할 수 있는 특징값들을 추출하는 다변량 분석방법의 주성분 분석(PCA; Principal Component Analysis)에 기반하여 수학적으로 의미를 갖는 특징벡터를 추출한 후 이를 정규화하는 추출 프로그램이 탑재 구성되는 것을 특징으로 한다.

또 다른 일면에 따라, 상기 신원판별부(43)는 적은 수의 학습데이터만으로도 넓은 공간의 데이터들을 효과적으로 분류하고 검색하도록 두 클래스간의 거리를 최대화하는 최적 경계면(Optimal Separating Hyperplane)을 찾아 클래스를 분류하는 SVM(Support Vector Machine)에 기반한 판별 프로그램이 탑재 구성되는 것을 특징으로 한다.

또 다른 일면에 따라, 상기 출력부(50)에는 운전자의 얼굴 인증 결과에 따라 미리 세팅된 값으로 자동 조정되도록 연동되는 편의장치로서 IMS부(100)와 네비게이션부(200)가 연결 구성되는 것을 특징으로 한다.

그리고, 도 2 내지 도 4는 본 발명의 실시예에 따른 얼굴인식에 기반한 운전자 인증 장치에 의해 구현되는 인증방법을 보인 흐름도로 그 진행단계는,

카메라로부터 촬영된 얼굴 영상을 입력받아 등록/인증 절차를 선별하는 단계; 상기 선별된 등록/인증 절차로부터 얼굴영상을 추출하는 단계; 상기 추출된 얼굴 영상으로부터 특징부위를 추출한 후 그 추출된 특징부위에 대한 특징값을 산출하고, 이에 아이디를 부여하는 단계; 상기 아이디가 부여된 특징값으로부터 신원 등록 또는 신원을 판별하는 인증절차를 진행하는 단계; 및, 상기 신원판별의 인증절차로부터 인증이 승인되지 않으면 초기 위치로 리턴하고, 인증되면 차량내의 편 의장치들을 인증자가 세팅한 값으로 자동 조정하는 단계; 로 진행함을 특징으로 한다.

다른 일면에 따라, 상기 얼굴 영상 추출단계는, 얼굴 영상의 전처리를 통해 잡음을 제거하는 단계; 상기 잡음이 제거된 얼굴 영상으로부터 에지를 구한 후 눈동자 후보영역을 추출하는 단계; 상기 추출된 후보영역을 검증한 후 그 후보영역을 분할하는 단계; 상기 분할된 후보영역으로부터 얼굴 영역을 탐색한 후 그 탐색결과를 검증하는 단계; 및, 상기 검증결과 얼굴이 존재하면 얼굴 영역의 추출을 완료하고, 존재하지 않으면 추출 초기 단계로 리턴하는 단계; 로 진행된다.

또 다른 일면에 따라, 상기 얼굴 영상의 특징 추출단계는, 얼굴 영상의 추출시 이를 학습 또는 인증할 것인가를 선택하는 단계; 상기 추출된 얼굴영상의 학습 선택시에는 학습 영상을 출력하고, 인증 선택시에는 테스트 영상을 출력하는 단계; 상기 출력되는 학습 영상 또는 테스트 영상으로부터 다변량 분석방법의 주성분 분석(PCA; Principal Component Analysis)에 기반하여 수학적으로 의미를 갖는 특징벡터값을 추출하는 단계; 상기 추출된 학습 또는 테스트의 특징 벡터값을 저장한 후 정규화한 후 ID가 부여되었는가를 식별하는 단계; 상기 ID가 부여된 특징벡터값이면 SVM(Support Vector Machine)에 기반하여 학습을 진행한 후 이를 메모리부에 저장하고, ID가 부여되지 않은 특징 벡터값이면 SVM(Support Vector Machine)에 기반한 인식절차를 통해 ID를 부여한 후 이를 편의장치에 출력하여 편의장치들을 인증자가 초기 세팅한 값으로 자동 조정하는 단계; 로 진행된다.

이와같이 구성된 본 발명의 실시예에 대한 작용을 첨부된 도 1 내지 도 4를 참조하여 설명하면 다음과 같다.

먼저, 차량 이용자가 정보 입력부(10)를 통해 얼굴 등록 또는 인증을 위한 요청신호를 입력하는 경우, 상기의 등록 또는 인증의 요청신호는 제어부(70)로 전달됨으로써, 상기 제어부(70)는 얼굴 인식에 기반한 운전자 등록이나 인증 절차를 진행하는 제어프로그램을 구동시키게 된다.

이때, 상기 제어부(70)의 제어프로그램으로부터 영상입력부(20)는 카메라(1)로부터 촬영되는 아날로그의 얼굴 영상을 입력받은 후 이를 디지털신호로 변환하여 메모리부(60)에 저장시키는 한편, 영상신호 처리부(30)로 출력한다.

그러면, 상기 영상신호 처리부(30)는 상기 영상입력부(20)에서 얼굴 영상을 출력시 그 얼굴 영상을 벡터 연산의 함수로 처리한 후 이를 인증부(40)의 얼굴추출부(41)로 출력한다.

그러면, 상기 얼굴추출부(41)는 추출 프로그램의 구동을 통해 벡터 연산에 관한 함수들로부터 입력되는 얼굴 영상의 잡음을 제거하는 한편, 얼굴 윤곽의 에지를 구하고, 눈동자 후보 영역을 추출하여 얼굴 영역을 찾아 그 배경과 분리한 후 일정한 크기로 정규화하여 특징 추출부(42)로 출력하게 된다.

다음으로, 상기 특징 추출부(42)는 상기에서 정규화되는 얼굴의 추출 영상으로부터 특징부위를 추출한 후 그 추출된 특징부위에 대한 특징값을 산출하고 이에 아이디를 부여하게 된다.

즉, 상기 특징 추출부(42)는 추출 프로그램을 구동시켜 얼굴의 표정 및 시간상의 변화 등 다양한 변화에도 개개인의 특징들을 잘 반영하여 구별할 수 있는 특 징값들을 추출하는 다변량 분석방법의 주성분 분석(PCA)에 기반하여 수학적으로 의미를 갖는 특징벡터를 추출한 후 이를 도 5에서와 같이 정규화(-1～1)하는 것으로, 먼저 얼굴 영상의 추출시 이를 학습 또는 인증할 것인가를 선택한다.

이때, 상기 선택으로부터 추출된 얼굴영상의 학습 선택시에는 학습 영상을 출력하고, 인증 선택시에는 테스트 영상을 출력하며, 상기 출력되는 학습 영상 또는 테스트 영상으로부터 다변량 분석방법의 주성분 분석(PCA)에 기반하여 수학적으로 의미를 갖는 특징벡터값을 추출하여 메모리부(60)에 저장시킨 후, 상기 추출된 특징 벡터값을 신원판별부(43)로 출력하게 된다.

즉, 상기 주성분분석(PCA)은 도 5에서와 같이 얼굴의 주성분을 이용하여 변별력을 높이는 특징을 추출하는 다변량 분석 방법으로, 전체 영상의 데이터를 데이터 분산이 큰 몇 개의 고유방향에 대한 축으로 선형 투사시켜 데이터의 차원을 줄이는 것으로, 서로 다른 클래스를 차원을 줄여서 간단하게 표현할 수 있는 것이다.

이를 구체적으로 살펴보면, M개의 얼굴 영상의 샘플 집합을 Γ₁,Γ₂,…,Γ_M 이라고 가정할 때, 상기 샘플 집합의 평균 영상은 아래의 수학식1과 같이 정의된다.

다음으로, 아래의 수학식2,3을 통해 각각의 샘플 영상에서 평균 영상을 뺀 차 벡터를 구하고, 그 결과로부터 공분산 행렬을 계산한다.

여기서, A=[Φ₁,Φ₂,…,Φ_M] 이다.

여기서, A=[Φ₁,Φ₂,…,Φ_M] 이다.

그리고, 상기의 수학식2,3을 이용하여 차 벡터들로 이루어진 공간을 표현할 수 있는 벡터 집합의 고유 벡터와 고유치를 구하게 되는데, 이는 연산량을 줄이기 위해 A^ΓA의 고유치와 고유벡터를 λ,ν라고 하면, C=AA^Γ의 고유벡터를 구하는 아래의 수학식4와 같다.

그리고, 상기의 수학식4를 통해 M*M의 행렬 L=A^ΓA를 만들수 있다.

여기서,

로서, 행렬 L을 이용하여 M개의 고유벡터 μ_i를 구할 수 있고, 상기 μ_i를 이용하여 다음과 같이 M개의 학습 집합의 얼굴에 대한 고유얼굴 ν_i를 아래의 수학식5를 통해 구할 수 있게 된다.

여기서, 상기와 같이 구해진 M개의 고유치는 공분산의 고유벡터의 성질에 의해 정규화된 성질을 가지게 되며, 이 고유 벡터들이 구하려고 했던 얼굴 영상 데이터베이스의 공간을 표현할 수 있는 기저를 이루게 되고, 이를 고유 얼굴이라고 한다.

그러면, 상기 신원판별부(43)에서는 테스트 영상과 메모리부(60)에 저장되었던 고유얼굴의 내적으로 나온 주성분을 SVM인식기의 테스트 입력으로 사용하게 된다.

즉, 상기 신원판별부(43)는 적은 수의 학습데이터만으로도 넓은 공간의 데이터들을 효과적으로 분류하고 검색하도록 두 클래스간의 거리를 최대화하는 최적 경 계면을 찾아 클래스를 분류하는 SVM에 기반한 판별 프로그램을 구성한 것으로, 상기 SVM은 도 6에서와 같이 모든 벡터를 사용하지 않고 서포트 벡터(support vector)만을 사용하면서 계산량이 적어 속도가 빠르고, 에러율이 최소화됨은 물론, 커널 함수를 이용하여 비선형의 분류 문제에도 쉽게 확장이 가능한 것이다.

x_i는 i번째 서포트 벡터, v_i는 i번째 서포트 벡터의 계수값, k(?)는 커널함수, N_SV는 서포트 벡터의 개수

따라서, 상기 신원판별부(43)의 판별 프로그램에서는 도 7에서와 같이 최적 경계면과 입력데이터간의 거리와 방향으로부터 클래스를 결정하고, 모든 학습 데이터에 대한 정보를 가지고 있을 필요가 없으며, 소수의 서포트 벡터와 해당 계수값만 필요로 하고, 이에따라 상기의 수학식6을 통해 얼굴 영상에 대한 등록 또는 인증을 진행할 수 있게 되는 것이다.

한편, 상기와 같이 얼굴 영상에 대한 인증이 완료되면, 상기 얼굴 인식에 기반한 운전자 인증 장치는 차량내의 편의장치인 IMS(100 : Integrate Memory Seat)와 네비게이션 시스템(200)을 인증자가 세팅한 값으로 자동 조정이 이루어지게 된다.

일예로, 상기 IMS(100)는 운전자가 미리 저장한 시트 위치, 아웃사이드 미러 및 룸미러 위치, 핸들의 위치 등을 저장함으로써 여러명의 운전자가 동일한 차량을 운전하게 될 때 편리하게 자신에게 맞는 환경을 설정할 수 있는 것인 바,

얼굴 영상을 등록한 운전자가 얼굴 영상의 인증과정을 거쳐 인증이 승인되면, 상기 승인된 결과값이 출력부(50)를 IMS(100)로 전달됨으로써, 상기 IMS(100)는 운전자의 얼굴 인증 결과에 따라 미리 세팅된 값으로 얼굴영상을 등록한 운전자가 미리 저장한 시트 위치, 아웃사이드 미러 및 룸미러 위치, 핸들의 위치 등을 자동 조정하게 되는 것이다.

그리고, 상기 네비게이션 시스템(200) 또한 상기 출력부(50)를 통해 얼굴 영상을 등록한 운전자의 얼굴 영상이 인증되는 경우, 운전자가 미리 설정하여 저장된 맞춤형 정보 즉, 일상생활에서 주기적으로 찾아가는 목적지는 물론, 자주 가는 곳 등의 지리 정보를 운전자의 세팅없이 바로 제공하게 되는 것이다.

이상에서 설명한 바와같이 본 발명은 카메라를 통해 운전자의 얼굴을 인식하여 운전자 인증을 수행하고, IMS와 연동하여 운전자에 따라서 차량 편의장치를 미리 세팅된 값으로 자동 조정함은 물론, 네비게이션 시스템과 연동시킨 것으로, 이를 통해 운전자에게 필요한 맞춤형 정보를 제공하는 한편, 차량의 도난 방지와, 운전자에 따라 IMS기능을 효과적으로 대응할 수 있도록 하면서 운전자의 현재 IMS상태 및 네비게이션 목적지 선택에 따라 운전자의 운전 성향을 파악한 후 이를 저장 하여 운전자가 편의장치를 운전할때마다 다시 세팅하는 번거로움과 위험성을 크게 줄여주는 효과를 얻을 수 있는 것이다.

본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와같은 변경은 청구범위 기재의 범위내에 있게 된다.

Claims (10)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 카메라로부터 촬영된 얼굴 영상을 입력받아 등록/인증 절차를 선별하는 단계;

    상기 선별된 등록/인증 절차로부터 얼굴영상을 추출하는 단계;

    상기 추출된 얼굴 영상으로부터 특징부위를 추출한 후 그 추출된 특징부위에 대한 특징값을 산출하고, 이에 아이디를 부여하는 단계;

    상기 아이디가 부여된 특징값으로부터 신원 등록 또는 신원을 판별하는 인증절차를 진행하는 단계; 및,

    상기 신원판별의 인증절차로부터 인증이 승인되지 않으면 초기 위치로 리턴하고, 인증되면 차량내의 편의장치들을 인증자가 세팅한 값으로 자동 조정하는 단계; 로 진행하는 얼굴 인식에 기반한 운전자 인증 방법에 있어서,

    상기 얼굴 영상의 특징 추출단계는,

    얼굴 영상의 추출시 이를 학습 또는 인증할 것인가를 선택하는 단계;

    상기 추출된 얼굴영상의 학습 선택시에는 학습 영상을 출력하고, 인증 선택시에는 테스트 영상을 출력하는 단계;

    상기 출력되는 학습 영상 또는 테스트 영상으로부터 다변량 분석방법의 주성분 분석(PCA)에 기반하여 수학적으로 의미를 갖는 특징벡터값을 추출하는 단계;

    상기 추출된 학습 또는 테스트의 특징 벡터값을 저장한 후 정규화한 후 ID가 부여되었는가를 식별하는 단계; 및,

    상기 ID가 부여된 특징벡터값이면 SVM(Support Vector Machine)에 기반하여 학습을 진행한 후 이를 메모리부에 저장하고, ID가 부여되지 않은 특징 벡터값이면 SVM에 기반한 인식절차를 통해 ID를 부여한 후 이를 편의장치에 출력하여 편의장치들을 인증자가 초기 세팅한 값으로 자동 조정하는 단계;를 포함하여 진행함을 특징으로 하는 얼굴 인식에 기반한 운전자 인증 방법.

Images