KR101903127B1

KR101903127B1 - 시선방향 예측 방법 및 장치

Info

Publication number: KR101903127B1
Application number: KR1020170059496A
Authority: KR
Inventors: 고병철; 남재열; 정미라; 신주석
Original assignee: 이래에이엠에스 주식회사; 계명대학교 산학협력단
Priority date: 2017-05-12
Filing date: 2017-05-12
Publication date: 2018-10-01

Abstract

본 발명은 운전자 상태 모니터링을 위한 시선방향 예측 방법 및 그 장치에 관한 것으로서, 구체적으로는 얼굴 특징점을 기반으로, 동공의 위치 및 GAZE 분류기를 결합하여 시선방향을 예측하는 방법 및 장치에 관한 것이다.
본 발명이 적용될 수 있는 기술분야로 첨단운전자지원시스템(ADAS, Advanced driver assistance systems) 등이 있다.
본 발명의 일 실시예에 따르면 카메라를 통해 입력된 영상정보로부터 복수 개의 얼굴특징점들(landmarks)이 검출되는 단계; 검출된 복수 개의 얼굴특징점들 중 일부를 사용하고, RF 리그레서(Random Forrest Regressor)를 이용하여 제1동공특징점을 검출하는 단계; 검출된 복수 개의 얼굴특징점 중 일부를 사용하여 눈 영역의 이미지를 추출하는 단계; 추출된 눈 영역의 이미지에서 제2동공특징점을 검출하고, Gaze 분류기(Gaze Classifier)를 이용하여 복수 개의 영역으로 구분되는 시선방향 클래스들의 초기확률값을 결정하는 단계; 상기 시선방향 클래스들의 각각의 초기확률값에 상기 제1동공특징점의 위치에 따른 가중치를 부여하는 단계; 및 가중치가 부여된 시선방향 클래스들의 최종확률값에서 가장 높은 확률을 가지는 클래스를 대표 시선방향으로 결정하는 단계;를 포함하는 시선방향 예측 방법을 제공한다.

Description

시선방향 예측 방법 및 장치{GAZE ESTIMATION METHOD AND APPARATUS}

본 발명은 운전자 상태 모니터링을 위한 시선방향 예측 방법 및 그 장치에 관한 것으로서, 구체적으로는 얼굴 특징점을 기반으로 한 동공의 위치정보와, 별도의 눈 영역 이미지를 추출 및 GAZE 분류기를 이용하여 얻은 확률값을 기반으로한 동공의 위치정보를 결합하여 시선방향을 예측하는 방법에 관한 것이다.

본 발명이 적용될 수 있는 기술분야로 첨단운전자지원시스템(ADAS, Advanced driver assistance systems) 등이 있다.

차량 내 운전자 인식은 안정성과 편의성을 위한 지능형 자동차에 대한 연구에서 중요한 역할을 하는 기술이다. 차량 내부에 장착된 카메라를 통해 운전자를 감시하여, 운전자의 상태를 판단한 뒤 운전자에게 경보하여 운전자가 안전 운행을 할 수 있도록 도와준다.

인체를 대상으로 한 영상 처리와 해석과 관련된 기술은 1990년대 초부터 광범위하게 개발되어 왔다. 이러한 기술은 주로 영상 기반 객체 검출을 기본 베이스로 하며, 객체 검출을 위해 특징점(feature)을 설정하는 기술들과 알고리즘 등이 다양하게 개시되어 왔다.

특징점을 검출하는 기술 중 하나로 하라이크 특징(haar like feature)을 이용한 특징점 검출 기법이 2001년 Viola, Jones 등에 의해 공개된 바 있다. 하라이크 특징은 사람의 얼굴은 다양하지만 생김새의 패턴은 비슷하므로 안면에서의 코, 눈, 입과 같은 객체들의 임의의 위치와 분포에 따른 명암의 차이는 거의 없을 것이라는 전제하에 만들어진 알고리즘이다. 사람의 얼굴 위에 어두운 영역과 밝은 영역에 속한 픽셀값들의 평균의 차이를 통해 패턴을 인식한다.

이러한 하라이크 특징을 이용하여 얼굴을 인식하는 기술로서, 공개특허공보 제10-2005-0112219호에 '하라이크 피춰/선형판별 분석을 이용한 얼굴 인식 장치 및 방법', 등록특허공보 제10-1498142호에 '하라이크 특징과 베지어곡선을 이용한 얼굴 성분 검출 시스템' 등이 개시된 바 있다.

한편, 최근에는 운전자로 하여금 보다 안전한 운행을 할 수 있도록 얼굴 움직임에 대한 정보뿐만 아니라 운전자가 바라보는 시선에 대한 정보를 제공하기 위한 기술 또한 연구되고 있다.

한편, 시선방향을 인식하는 것과 관련한 기술로서는 공개특허공보 제10-2015-0099463호에 '강건한 안구/시선 추적을 위한 장치 및 방법'이 개시된 바 있다. 그러나 이 기술에 의하면 동공의 정확한 위치를 파악하기 위해서 높은 해상도에서 눈동자 영역을 정확하게 촬영한 영상이 필수적인바, 해상도가 낮은 촬상장치를 사용하거나 조명이 낮은 환경에서는 적용하기 어려운 단점이 있다.

해상도에 구애받지 않고 시선을 추적할 수 있도록 하는 기술로서 등록특허공보 제10-1383235호에 '시선 추적을 이용한 좌표 입력 장치 및 방법' 등이 개시된 바 있다. 그러나 이 선행기술에 따르면 공간좌표를 도출하는 방식을 사용하므로 촬상장치가 적어도 2개 구비되어야 하고, 촬상장치를 포함한 별도의 좌표 측정 장치가 구비되어야 하는 것인바, 이러한 기술을 차량 내 운전자를 인식하기 위한 기술에 적용하기에는 어려움이 있다.

공개특허공보 제10-2005-0112219호 등록특허공보 제10-1498142호 공개특허공보 제10-2015-0099463호 등록특허공보 제10-1383235호 등록특허공보 제10-1619661호

본 발명에서 개시하고자 하는 것은 차량 내 운전자를 인식하기 위한 기술로서 운전자의 안면 인식, 그 중에서도 운전자의 시선방향을 인식 및 예측하는 기술을 개시하고자 한다.

본 명세서의 개시로 인해 차량의 운전자 지원은 물론, 지능형 로봇 기술과 신개념 사용자인터페이스를 포함하는 미래 산업분야에 널리 사용할 수 있는 기술을 제공하고자 한다.

본 발명의 일 실시예에 카메라를 통해 입력된 영상정보로부터 복수 개의 얼굴특징점들(landmarks)이 검출되는 단계; 검출된 복수 개의 얼굴특징점들 중 일부를 사용하고, RF 리그레서(Random Forrest Regressor)를 이용하여 제1동공특징점을 검출하는 단계; 검출된 복수 개의 얼굴특징점 중 일부를 사용하여 눈 영역의 이미지를 추출하는 단계; 추출된 눈 영역의 이미지에서 제2동공특징점을 검출하고, Gaze 분류기(Gaze Classifier)를 이용하여 복수 개의 영역으로 구분되는 시선방향 클래스들의 초기확률값을 결정하는 단계; 상기 시선방향 클래스들의 각각의 초기확률값에 상기 제1동공특징점의 위치에 따른 가중치를 부여하는 단계; 및 가중치가 부여된 시선방향 클래스들의 최종확률값에서 가장 높은 확률을 가지는 클래스를 대표 시선방향으로 결정하는 단계;를 포함하고, 상기 얼굴특징점을 검출하는 방법은, 미리 학습된 Weighted RF Regressor(Weighted Random Forest Regressor)에 의해 얼굴특징점들이 이동되어야 할 오프셋이 계산되고, 계산된 오프셋을 바탕으로 얼굴특징점들의 위치가 갱신되어 얼굴특징점들의 최종적인 위치가 예측되는 단계; 얼굴특징점들의 최종적인 위치 간의 사이각 및 거리비와, 얼굴 모델 별로 정의된 가우시안 확률 밀도 함수와의 상관관계를 통해 최적의 얼굴 모델을 검출하는 단계; 및 얼굴특징점들의 최종적인 위치와, 검출된 최적의 얼굴 모델이 결합되어 최종 얼굴특징점들이 검출되는 단계를 포함하는 것을 특징으로 하는 시선방향 예측 방법을 제공한다.

삭제

일 실시예에 따르면 상기 제1동공특징점을 검출하는 방법은, 미리 학습된 Weighted RF Regressor(Weighted Random Forest Regressor)에 의해 제1동공특징점들이 이동되어야 할 오프셋이 계산되고, 계산된 오프셋을 바탕으로 제1동공특징점들의 위치가 갱신되어 최종적인 제1동공특징점들의 위치가 예측되는 단계;를 포함할 수 있다.

일 실시예에 따르면 상기 제2동공특징점을 검출하는 방법은 추출된 눈 영역의 이미지를 기반으로 방향 중심 대칭 국부 이진 패턴(Oriented Center Symmetric Local Binary Pattern, 이하 'OCS-LBP'라 칭함) 특징벡터와 Haar-Like 특징벡터를 추출하는 단계를 포함할 수 있다.

여기서 상기 OCS-LBP 특징벡터와 Haar-Like 특징벡터 각각에 대하여, 미리 학습된 Gaze 분류기에 대입하여 복수 개의 영역으로 구분되는 시선방향 클래스에 대한 초기확률값을 연산하는 단계를 더 포함할 수 있으며,

나아가 OCS-LBP 특징벡터에 대한 Gaze 분류기와 Haar-Like 특징벡터에 대한 Gaze 분류기에서 추정된 시선방향 클래스에 대한 초기확률값들을 선형결합하는 단계를 더 포함할 수 있다.

한편, 본 발명의 일 실시예에 따른 시선방향 예측 방법에는 Yawing, Rolling, Pitching을 포함한 두부 자세 예측 방법이 결합하여, 운전자 상태 모니터링에 있어서 시선방향과 두부 자세에 대한 통합된 정보를 제공할 수도 있다.

본 발명의 다른 실시예에 따르면 적어도 하나 이상의 프로세서와, 상기 프로세서에 의한 외부의 조명 환경 변화 및 운전자의 얼굴 가려짐에 유연한 시선 방향 예측 장치에 있어서, 상기 프로세서는, 카메라를 통해 입력된 영상으로부터 미리 학습된 Weighted RF Regressor(Weighted Random Forest Regressor)에 의해 얼굴특징점들이 이동되어야 할 오프셋을 계산하고, 계산된 오프셋을 바탕으로 얼굴특징점들의 위치가 갱신되어 얼굴특징점들의 최종적인 위치를 예측하며, 얼굴특징점들의 최종적인 위치 간의 사이각 및 거리비와, 얼굴 모델 별로 정의된 가우시안 확률 밀도 함수와의 상관관계를 통해 최적의 얼굴 모델을 검출하고, 얼굴특징점들의 최종적인 위치와 검출된 최적의 얼굴 모델이 결합하여 최종적으로 얼굴특징점들을 검출함으로써, 운전자의 얼굴로부터 복수 개의 얼굴특징점들(landmarks)을 검출할 수 있고, 검출된 복수 개의 얼굴특징점들 중 일부를 사용하고, RF 리그레서(Random Forrest Regressor)를 이용하여 제1동공특징점을 검출하며, 검출된 복수 개의 얼굴특징점 중 일부를 사용하여 눈 영역의 이미지를 추출한 뒤, 추출된 눈 영역의 이미지에서 제2동공특징점을 검출하고, Gaze 분류기(Gaze Classifier)를 이용하여 복수 개의 영역으로 구분되는 시선 방향 클래스의 초기확률값을 결정하되, 상기 시선 방향 클래스의 초기확률값에 상기 제1동공특징점의 위치에 따른 가중치를 부여하고, 가중치가 부여된 시선 방향 클래스의 최종확률값에서 가장 높은 확률을 가지는 클래스를 대표 시선 방향으로 결정하도록 구현된 것을 특징으로 하는, 시선 방향 예측 장치를 제공한다.

삭제

본 발명에서 제안하고 있는 운전자 상태 모니터링을 위한 시선 방향 예측 방법 및 장치에 따르면, 객체의 가려짐, 차량 내 외부의 조명 변화, 기타 주변의 환경에 대한 영향을 덜 받으며 보다 정확하게 운전자의 시선 방향을 검출할 수 있다.

도 1은 본 발명의 일 실시예에 따른 시선방향 예측 방법을 나타내는 블록도.
도 2는 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, 본 발명에서 사용된 19개의 얼굴 특징점들의 모습을 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 3개의 얼굴특징점{i,j,k} 간의 사이각과 거리비에 대한 정의와, 사이각-거리비를 이용한 관계확률 모델을 나타내는 도면.
도 4는 본 발명의 일 실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, Front shape 모델에 대한 관계 확률 모델의 모습을 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 시선방향 예측 방법에서 제1동공특징점과 제2동공특징점의 검출 및 이에 대한 특징을 결합하는 개념을 나타내는 도면.
도 6은 본 발명의 일 실시예에 따른 시선방향 클래스를 나타내는 도면.
도 7은 요잉(yawing)하는 두부의 모습을 나타내는 도면.
도 8은 롤링(rolling)하는 두부의 모습을 나타내는 도면.
도 9는 피칭(pitching)하는 두부의 모습을 나타내는 도면.
도 10은 차량 내 탑승한 운전자(및 동승객)에게 적용한 모습을 나타내는 도면.

아래에서 설명하는 실시 예들은 본 발명의 기술 사상을 당업자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지는 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시 예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.

또한 '제1, 제2' 등과 같은 표현은 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다.

뿐만아니라 본 발명의 블록도에서 'S100, S200, S300, S400'와 같은 참조부호에 따라 각 단계의 순서가 제한되는 것은 아니다.

본 발명에서 단수의 표현은 문맥상 명백하게 다르게 표현하지 않는 한, 복수의 표현을 포함한다. "포함한다" 또는 "가진다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 의미하기 위한 것으로, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들이 부가될 수 있는 것으로 해석될 수 있다.

이하, 도 1 내지 도 10을 참조하여 본 발명의 시선방향 예측 방법에 대하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 시선방향 예측 방법을 나타내는 블록도이다.

도 1을 참조하면, 본 발명의 시선방향 예측 방법은 카메라를 통해 입력된 영상정보로부터 복수 개의 얼굴특징점들(landmarks)이 검출되는 단계(S100); 검출된 복수 개의 얼굴특징점들 중 일부를 사용하고, RF 리그레서(Random Forrest regressor)를 이용하여 제1동공특징점을 검출하는 단계(S200); 검출된 복수 개의 얼굴특징점 중 일부를 사용하여 눈 영역의 이미지를 추출하는 단계(S300); 추출된 눈 영역의 이미지에서 제2동공특징점을 검출하고, Gaze 분류기(Gaze Classifier)를 이용하여 복수 개의 영역으로 구분되는 시선방향 클래스의 초기확률값을 결정하는 단계(S310); 상기 시선방향 클래스의 초기확률값에 상기 제1동공특징점의 위치에 따른 가중치를 부여하는 단계(S400); 및 가중치가 부여된 시선방향 클래스의 최종확률값에서 가장 높은 확률을 가지는 클래스를 대표 시선방향으로 결정하는 단계(S410);를 포함할 수 있다.

본 발명의 시선방향 예측 방법은 얼굴특징점을 검출하는 단계(S100), 제1동공특징점을 검출하는 단계(S200), 제2동공특징점을 검출하여 시선방향 클래스의 초기확률값을 결정하는 단계(S300~S310), 시선방향 클래스의 초기확률값에 제1동공특징점 위치에 따른 가중치를 부여하여, 대표 시선방향으로 결정하는 단계(S400~S410)와 같이 크게 4가지 스텝으로 구성될 수 있다. 다만, 전술한 것처럼 이들 'S100, S200, S300, S400'와 같은 참조부호에 따라 반드시 각 단계의 순서가 제한되는 것은 아니며 S200 이하의 스텝과 S300 이하의 스텝은 동시에 실시되거나 또는 선후관계가 변경되어 실시될 수도 있다.

먼저, 본 발명의 일 실시예에 따른 얼굴특징점들의 검출(S100)방법에 대하여 설명하기로 한다.

도 2는 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, 본 발명에서 사용된 19개의 얼굴 특징점들의 모습을 도시한 도면이다. 도 3은 본 발명의 일 실시예에 따른 3개 얼굴특징점 {I,j,k} 간의 사이각과 거리비에 대한 정의와, 사이각-거리비를 이용한 관계확률 모델을 나타내는 도면이다. 도 4는 본 발명의 일 실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, Front shape 모델에 대한 관계 확률 모델의 모습을 도시한 도면이다.

얼굴특징점들을 검출 하기에 앞서 먼저 얼굴 영역을 검출할 수 있다. 카메라를 통해 획득된 영상으로부터 슬라이딩 윈도우 방법을 통해 Haar-like 특징 벡터들을 추출하고, 추출된 Haar-like 특징 벡터들이 RF 분류기의 입력벡터로 사용되어 얼굴 영역 후보가 포함된 윈도우가 선별될 수 있다. 그리고 선별된 윈도우 중에서 다시 슬라이딩 윈도우 방법을 통해 OCS-LBP 특징 벡터들이 추출될 수 있다. 추출된 OCS-LBP 특징 백터들은 RF 분류기의 입력 벡터로 사용되어 최종 얼굴 영역 후보가 포함된 윈도우들이 선별된다. 최종 얼굴 영역은 최종 얼굴영역 후보가 포함된 선별된 윈도우들의 병합으로 인해 검출된다. 이와 같이 Haar-like 특징 벡터와 함께 OCS-LBP 특징 벡터의 특성을 이용하여 보다 정밀한 얼굴 영역의 검출을 할 수 있게 된다.

참고로 전술한 RF란 랜덤 포레스트(Random Forrest)로서, 분류, 회귀 분석 등에 사용되는 학습 알고리즘의 일종을 의미한다. Haar-like 특징벡터란 본 명세서의 배경기술에서 그 개념을 설명한 바 있다. 아래에서는 OCS-LBP 특징 벡터에 대하여 설명한다.

얼굴을 인식하는 기술 중 다른 하나로 국부 이진 패턴(LBP, Local Binary Pattern)을 이용한 기술이 있다. 국부 이진 패턴 기술은 간단하게는 템플릿의 정합을 이용하여 패턴을 인식하는 것을 의미한다. 구체적으로는 인식되어야 하는 얼굴 이미지에서, 각각의 픽셀에서 수 개의 인접한 픽셀 그룹을 선택하고, 그 중심에 위치하는 픽셀과 주변에 인접한 픽셀의 픽셀값(gray value를 기준으로 함) 간의 비교를 수행하여, 인접픽셀값을 중심 픽셀값이 인접 픽셀값보다 크면 '0' 작으면 '1'로 변환하여 비교 결과로 삼고, 이에 중심 픽셀에 대한 주변 픽셀의 위치에 따라 2n으로 정의된 값을 곱해 그 결과의 총합을 중심 픽셀의 픽셀값으로 변환한다. 이러한 방법으로 획득한 얼굴 이미지의 히스토그램과 기 등록된 얼굴 이미지의 히스트로그램을 비교함으로써 얼굴을 인식한다.

방향 중심 대칭 국부 이진 패턴(Oriented Center Symmetric Local Binary Pattern,), 즉 OCS-LBP 특징 벡터는 상기 국부 이진 패턴(LBP)과 LBP로부터 개선된 Center symmetric LBP(CS-LBP)를 응용하여 도출된 벡터이다. OCS-LBP의 경우 각 대칭이 되는 영역들의 픽셀 값을 비교하고 값의 차이가 임계값 T 이상일 경우 큰 값을 갖는 방향으로 차이 값을 누적시키도록 하는 방법으로서, OCS-LBP를 이용하면 특징 차원수를 효과적으로 줄이고 gradient 방향 정보와 크기정보를 동시에 얻을 수 있게 된다.

LBP에서는 중심픽셀과 주위픽셀을 비교하여 0 또는 1의 값을 추출한다. CS-LBP는 LBP와 유사하지만 주위픽셀에서 마주보는 픽셀들을 쌍을 짓고 그 쌍이 되는 픽셀값을 비교하여 0 또는 1의 값을 추출하게 된다. OCS-LBP는 CS-LBP에서와 같이 마주보는 픽셀쌍을 비교하되, 0 또는 1이라는 값 대신에 두 픽셀의 차이에 대한 절대값과 해당 쌍의 방향까지 고려하여 중심 픽셀의 픽셀값을 결정한다.

OCS-LBP의 경우는 LBP와 CS-LBP와 달리 gradient 방향 정보와 크기 정보를 잃지 않기 때문에 보다 신뢰성 있게 얼굴 특징점을 추출할 수 있게 된다.

OCS-LBP 특징 벡터는 앞서 언급한 Haar-like 특징 벡터와는 구별되되, 그와 연계되어 얼굴 영역을 인식할 수 있도록 해준다.

얼굴 영역이 인식된 다음에는 코 위치 검출을 위해 상기 얼굴 영역의 검출을 위해 수행하였던 과정을 반복한다. 간단히 말해, Haar-like 벡터 추출, RF 분류기를 이용한 코영역 후보가 포함된 윈도우 선별, 선별된 윈도우에서 OCS-LBP 특징 벡터 추출, RF 분류기를 이용한 최종 코 영역 후보가 포함된 윈도우 선별, 윈도우 병합을 통한 코의 최종적인 위치 검출을 수행하는 것이다.

그 다음 검출된 코의 최종적인 위치를 이용하여, 얼굴특징점(landsmarks)들의 검출을 위한 초기 mean shape 모델의 위치를 설정하고, 설정된 초기 mean shape 모델에서 얼굴특징점들을 설정할 수 있다.

초기 mean shape 모델에서 최종적인 얼굴특징점이 검출되는 방법은 미리 학습된 Weighted RF Regressor(Weighted Random Forrest Regressor)에 의해 얼굴특징점들이 이동되어야 할 오프셋이 계산되고, 계산된 오프셋을 바탕으로 얼굴특징점들의 위치가 갱신되어 얼굴특징점들의 최종적인 위치가 예측되는 단계; 얼굴특징점들의 최종적인 위치 간의 사이각 및 거리비와, 얼굴 모델 별로 정의된 가우시안 확률 밀도 함수와의 상관관계를 통해 최적의 얼굴 모델을 검출하는 단계; 및 얼굴특징점들의 최종적인 위치와, 검출된 최적의 얼굴 모델이 결합되어 최종 얼굴 특징점들이 검출되는 단계를 포함할 수 있다.

여기서 얼굴특징점들(landsmarks)은, 얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴특징점들과, 얼굴 표정이나 가려짐에 따른 변화에 약한 지점에 위치한 얼굴특징점들로 구성될 수 있다. 도 2는 본 발명의 일 실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, 본 발명에서 사용된 19개의 얼굴특징점들의 모습을 도시한 도면이다. 도 2에서 빨간색으로 표시된 얼굴특징점들은 얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴특징점들이고, 파란색으로 표시된 얼굴특징점들은 얼굴 표정이나 가려짐에 따른 변화에 약한 지점에 위치한 얼굴특징점들을 의미할 할 수 있다.

일 실시예에 따르면 도 2에서 표시된 얼굴특징점들은 단계적 포즈 회귀(Cascade Pose Regression) 방법을 통해 각각의 위치가 갱신될 수도 있다. 구체적으로 여러 개의 얼굴특징점들로 구성된 하나의 얼굴 모델을 단계적인 회귀를 통해 점진적으로 개선함으로써 최종적인 얼굴특징점들의 위치를 예측하는 것을 의미한다. 예컨대, 현재 카메라를 통해 입력되는 프레임에 따른 얼굴 모델 정보와 이전 프레임에서의 얼굴 모델 정보가 주어지면 이를 기반으로 리그레서(Regressor)는 각 단계에서 얼굴 모델이 이동해야 할 오프셋을 계산하고, 여기서 계산된 오프셋과 이전 프레임에서의 얼굴 모델 정보가 결합되어 새로운 얼굴 모델로 업데이트 되며, 최종 업데이트된 얼굴 모델을 통해 얼굴특징점들의 최종적인 위치를 예측하는 것이다.

이 과정에서 랜덤 포레스트(Random Forrest, RF) 기법을 이용한 회귀 분석기인 Weighted RF Regressor을 사용하여 미리 학습된 데이터를 통해 얼굴특징점들이 이동해야 할 오프셋을 계산하고, 계산된 오프셋을 바탕으로 얼굴특징점들의 위치를 갱신하여 얼굴특징점들의 최종적인 위치를 예측한다. 여기서 Weighted RF Regressor란 복수의 RF Regressor 중에서 특정 RF Regressor 에 가중치를 부여하는 가중치 기반의 랜덤 포레스트 회귀 분석기를 의미할 수 있다.

한편, 일 실시예에 따르면 단계적 포즈 회귀 방법을 통해 각각의 얼굴특징점들의 위치가 갱신되는 과정 중 매 단계에서는, 슬라이딩 윈도우의 크기가 변경될 수 있으며, 변경된 슬라이딩 윈도우의 크기를 기초로 각각의 얼굴특징점들로부터 OCS-LBP 특징 벡터들을 추출하는 경우가 있을 수도 있다.

얼굴특징점들의 최종적인 위치가 예측되고 나면, 얼굴특징점들의 최종적인 위치 간의 사이각 및 거리비를 바탕으로 최적의 얼굴 모델을 검출한 뒤, 검출된 최적의 얼굴 모델과 예측된 얼굴특징점을 결합하여 최종 얼굴특징점들을 검출한다.

실제 주행 환경에서 운전자의 얼굴 영역은 안경, 선글라스 등의 객체의 빛 반사나, 머리카락으로 인한 객체 가려짐과, 갑작스러운 표정 변화 등의 원인으로 인하여 얼굴 요소 검출 성능을 떨어뜨리는 왜곡된(Outlier) 학습 데이터를 포함하므로 Weighted RF Regressor을 사용한 결과, 잘못된 얼굴특징점 위치가 예측될 수 있다. 따라서, Weighted RF Regressor을 사용하여 얼굴특징점들의 최종적인 위치에 대한 예측 결과를 보완하기 위하여, 얼굴특징점 간 공간적 위치 관계성을 이용한 최적의 얼굴 모델을 찾고 이를 반영하는 알고리즘을 제안하는 것이다.

최적의 얼굴 모델이란 얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 예측된 얼굴 특징점들 중 3개를 추출하여 추출된 얼굴특징점들 간의 사이각 및 거리비와, 준비된 얼굴 모델 별로 정의된 가우시안 확률 밀도 함수와의 공간적 상관관계를 통해 결정되는 얼굴 모델을 의미할 수 있다.

여기서 준비된 얼굴 모델이란 얼굴이 정면을 향하는 Front Shape 모델, 얼굴을 왼쪽방향으로 회전하는 Left Yaw Shape 모델, 얼굴이 오른쪽방향으로 회전하는 Right yaw Shape 모델, 얼굴이 정면을 향하며 왼쪽으로 기운 Left Roll Shape 모델, 얼굴이 정면을 향하며 오른쪽으로 기운 Right Roll Shape 모델, 얼굴이 수직 상하방향으로 이동하는 Pitch Shape 모델 등이 해당될 수 있다.

도 3의 좌측도면에는 3개의 얼굴특징점을 추출하여 얼굴특징점들 간의 사이각 및 거리비를 나타내는 예시가 도시되어 있다. 실시예에 따르면 눈 영역의 두 얼굴특징점 {j,k}가 존재할 때, 그림과 같이 코 영역의 얼굴특징점 {i}을 중심으로 두 얼굴특징점 {j,k}의 사이각은

, 거리비는

로 정의된다. 이렇게 추출된 사이각과 거리비는 얼굴 영역의 회전이나 크기 변화에도 그 값이 일정하게 유지되므로 강인한 공간적 관계를 추출할 수 있게 되는 것이다.

3개의 얼굴특징점에서 추출된 사이각과 거리비를 이용하여 얼굴 모델에 대한 공간적 관계 모델인 가우시안 확률 밀도 함수를 도 3의 우측도면과 같이 생성한다. 이 가우시안 확률 밀도 함수는 하나의 얼굴 모델마다 9개가 존재할 수 있다. 도 4에는 일 예시에 따른 것으로, Front Shape 얼굴 모델에 대한 공간적 관계 모델인 가우시안 확률 밀도 함수를 나타낸다. 도 4를 살펴보면, 코 영역의 얼굴특징점 {i}로부터 눈 영역의 얼굴특징점에 대한 다양한 조합에 따른 가우시안 확률 밀도 함수가 도시된다. 여기서 눈 영역의 얼굴특징점은 코 영역의 얼굴특징점과 유사하게 도 2에 빨간색으로 표시되었던 변화에 강인한 얼굴특징점만을 사용한다. 도 4의 각 세부도면에서 좌측하단에 표시된 원형 또는 타원 모양의 형상은 사전에 정의된 가우시안 확률 밀도 함수와의 correlation 정도에 따른 확률 분포를 나타낼 수 있다. 여기서 추출된 확률값을 얼굴 모델(

)마다 누적하여, 다음의 식과 같이 T단계 후에 가장 높은 확률값을 가지는 얼굴 모델을 최적의 얼굴 모델로 결정한다.

다시 말해 얼굴 모델별로 적어도 3개의 지점에서 추출된 얼굴 특징점들 간의 사이각 및 거리비를 이용하여 해당 얼굴 모델에 대한 공간적 상관관계를 형성하고, 이들 공간적 상관관계에 대한 정보를 예측된 얼굴특징점들과 결합하여 최적의 얼굴특징점들을 검출하게 되는 것이다.

다음으로 제1동공특징점을 검출하는 단계(S200)에 대하여 설명한다.

제1동공특징점은 전술한 얼굴특징점을 검출하는 방법과 유사한 방법으로 검출한다.

검출된 복수 개의 얼굴특징점 중 일부를 사용하고, RF 리그레서를 이용하여 제1동공특징점을 검출한다. 구체적으로 얼굴특징점은 도 2의 참조부호 4,5,6,7번에 의한 제1그룹 또는 8,9,10,11번에 의한 제2그룹 중 어느 하나를 선택할 수 있다.

예컨대, 제1그룹의 얼굴특징점을 사용하는 경우, 참조부호 4,5,6,7번의 얼굴특징점으로부터 동공초기점(Ei)을 설정한다. 최초 4,5,6,7번 특징점 좌표의 중심점을 동공초기점으로 설정할 수 있다. 그 후 RF 리그레서를 이용하여 소정의 스테이지(stage)를 반복하여 동공초기점의 위치를 갱신해 나간다. 이로써, 제1동공특징점의 최종적인 위치를 검출할 수 있게 된다.

다음으로 도 4와 도 5를 참조하여 제2동공특징점을 검출하는 단계(S300)에 대하여 설명한다. 도 4는 본 발명의 일 실시예에 따른 시선방향 예측 방법을 나타내는 도면이고, 도 5는 본 발명의 일 실시예에 따른 시선방향 클래스를 나타내는 도면이다.

제1동공특징점이 얼굴 영역을 기반으로 얼굴특징점을 검출한 후, 검출된 얼굴특징점을 기초로 동공특징점을 검출하는 것이었다면, 제2동공특징점은 이와 달리 눈 영역의 이미지를 기초로 동공특징점을 검출하는 것이다.

카메라의 해상도가 낮거나, 차량 내부의 조명이 어두운 경우 얼굴특징점의 검출의 정밀도 및 신뢰성이 저하될 수 있기에, 1차적으로 얼굴 영역을 기반으로 동공특징점을 검출하였다면 2차적으로는 눈 영역을 기반으로 별도의 동공특징점을 검출하고, 이들 1차와 2차 검출에 의해 획득된 정보를 바탕으로 최종 동공특징점을 찾음으로써 정밀도 및 신뢰성을 향상시키는 것이다.

통상적으로 얼굴 영역에 대한 이미지를 획득하는 프로세스와 눈 영역의 이미지를 획득하는 프로세스에 있어서 하나의 카메라를 가지고 이미지를 획득하기 때문에, 얼굴 영역에 비해 눈 영역의 이미지는 해상도가 상대적으로 낮게 설정될 수 밖에 없다. 따라서 눈 영역 이미지만을 추출하여 제2동공특징점을 찾는 프로세스는 앞서 얼굴특징점을 찾는 방식의 프로세스와 조금은 다른 방식으로 진행된다.

구체적으로, 본 발명의 일 실시예에 따른 제2동공특징점을 검출하는 방법은 추출된 눈 영역의 이미지를 기반으로 OCS-LBP 특징벡터와 Haar-like 특징벡터를 추출하는 단계를 포함할 수 있다.

예컨대, 눈 영역의 이미지의 추출은 먼저 참조부호 4,5,6,7번에 의한 제1그룹 또는 8,9,10,11번에 의한 제2그룹 중 어느 하나의 그룹을 선택한 뒤, 해당 그룹의 얼굴특징점들을 포함하는 영역을 장방형으로 잘라내는 것으로부터 시작한다.

그리고 추출된 눈 영역의 이미지를, OCS-LBP 방법과 Haar-like 방법을 적용하여 각각의 방법에 따른 특징벡터를 검출한다. 슬라이딩 윈도우 방법을 통해 Haar-like 특징 벡터들을 추출하고, OCS-LBP 특징 벡터들이 추출될 수 있다.

그 다음은 상기 OCS-LBP 특징벡터와 Haar-like 특징벡터 각각에 대하여, 미리 학습된 Gaze 분류기에 대입하여 복수 개의 영역으로 구분되는 시선방향 클래스에 대한 초기확률값을 연산한다.

Gaze 분류기는 OCS-LBP 특징벡터를 분류하는 Gaze 분류기와 Haar-like 특징벡터를 분류하는 Gaze 분류기로 구분될 수 있다. 여기서의 분류기도 RF(Random Forrest, 랜덤 포레스트) 학습 방법이 적용된 RF 분류기가 해당될 수 있으며, RF 분류기에 해당되는 경우에는 학습 데이터를 랜덤적으로 선택하고, 랜덤적으로 구성된 메인 특징 벡터와 서브 특징 벡터간의 트리구조 기반으로 하는 계층적인 학습을 수행할 수 있다.

본 발명의 시선방향 클래스는 추출된 이미지를 복수 개의 영역으로 분할한 것일 수 있다. 도 5에는 행과 열이 3×3으로 분할 구성된 9개의 영역의 시선방향 클래스의 예시가 도시된다. OCS-LBP 특징벡터가 입력된 RF 분류기는 OCS-LBP 특징벡터에 대하여 9개 영역의 시선방향 클래스의 초기확률값을 연산하고 출력하며, Haar-like 특징벡터가 입력된 RF 분류기는 Haar-like 특징벡터에 대하여 9개 영역 시선방향 클래스의 초기확률값을 연산하고 출력한다.

그리고 OCS-LBP 특징 Gaze 분류기와 Haar-Like 특징 Gaze 분류기에서 추정된 시선방향 클래스에 대한 초기확률값들을 선형결합한다. 선형결합에 의해 각 시선방향 클래스에 대한 초기확률값들이 결정된다.

마지막으로 시선방향 클래스의 초기확률값에 제1동공특징점 위치에 따른 가중치를 부여하여, 대표 시선방향으로 결정하는 단계(S400~S410)에 대하여 설명하기로 한다.

최초 제공된 카메라의 해상도가 낮거나, 카메라가 획득하는 영상과 영상 처리과정에서 오류가 발생하는 경우, 객체가 가려져 음영이 드리워진 상황 또는 차량 내 조명 환경 등 여러 이유로 인해 상기 시선방향 클래스에 대한 초기확률값 정보와 제1동공특징점 위치에 대한 정보는 각각 소정의 오차율을 갖는다.

이의 극복을 위해, 본 단계에서는 병렬적인 프로세스에서 진행된 눈 영역의 이미지로부터 얻은 시선방향 클래스의 초기확률값들과 제1동공특징점의 위치 정보를 결합하여 최종확률값을 도출한다. 그 방법으로 시선방향 클래스에 제1동공특징점의 좌표에 따른 가중치를 부여하여 시선방향 클래스의 초기확률값을 최종확률값으로 갱신하면, 갱신된 최종확률값은 본 단계 이전의 초기확률값에 비해 현저하게 저하된 오차율을 가지게 된다.

이로써 카메라의 해상도가 낮은 상황 또는 차량 내 조명 변화 등의 주변 여건 변화에도 불구하고 운전자의 시선방향을 보다 정확히 검출 및 예측할 수 있게 된다.

도 6 내지 8에는 요잉(yawing), 롤링(rolling), 피칭(pitching)하는 두부의 모습을 나타내는 도면이 도시된다.

도 6 내지 8의 두부 자세에 대한 검출(내지 평가)는 앞서 추출된 얼굴특징점(landsmark)들을 바탕으로 수행된다.

첫번째, 요잉(Yawing) 검출 방법으로서, Yaw의 회전 각도(Yi)는 눈 바깥쪽 얼굴특징점(4,10)의 중심과 콧등 얼굴특징점(12)의 세 특징점이 이루는 각도를 측정하여 판단한다.

두번째, 롤링(Rolling) 검출 방법으로서, Roll의 회전 각도(Ri)는 눈 안쪽 얼굴특징점(6,8)의 중심과 콧등 얼굴특징점(12)이 이루는 축을 추출하고, 이 축과 얼굴이 정면을 향하는 Front Shape의 기준 수직축(base)과 이루는 각도를 측정하여 판단한다.

세번째, 피칭(Pitching) 검출 방법으로서, Pitch의 회전 각도(Pi)는 얼굴이 정면을 향하는 Front Shape의 초기 프레임을 기준으로 소정의 프레임동안 눈 바깥쪽과 안쪽 특징점들(4,6,8,10)을 잇는 가상의 라인을 기준 수평축(H_base)으로 설정한 다음, 현재 프레임에서의 수평축(H_curr)과의 각도를 측정하여 판단한다.

판단결과 요잉(yawing), 롤링(rolling), 피칭(pitching)시 측정된 각도 중 가장 큰 각도에 해당되는 동작을 두부 자세의 메인 동작으로 평가하고, 이를 운전자의 상태 결정에 활용한다.

그리고 도 9에 도시된 바와 같이 두부 자세와 시선방향에 대한 평가는 운전자(및 동승객)의 상태정보로서 수집되고, 기 저장된 운전자(및 동승객) 상태정보와 비교될 수 있다. 또한, 그 평가는 필요에 따라서 수행되거나 또는 실시간 수행되어 운전자(및 동승객)가 현재 정상적인 상태인지, 의식 불명상태인지, 졸린 상태인지여부의 판별에 활용될 수도 있어 운전자와 관련된 다양한 차량 안전시스템의 수준을 향상시키는데 기여할 수 있다.

나아가 이러한 정보는 차량의 공조장치, 조명 또는 차량 내 구비된 각종 운전자 지원 소프트웨어, 하드웨어 또는 지능형 시스템에 제공될 수 있으며 이를 통해 운전자(및 동승객)의 편의가 증대될 수도 있다.

본 발명은 앞서 말한 지능형 ADAS 기술에 적용될 수 있을 뿐만 아니라 보안 또는 컴퓨터 비전 및 패턴 인식 기술분야에도 적용가능할 수 있는 장점이 있다.

본 발명의 실시예에 따라 상술한 시선방향 예측 방법은, 적어도 하나 이상의 프로세서와, 해당 프로세서에 의한 운전자 상태 모니터링을 위한 시선방향 예측 장치로 구현될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

본 명세서는 그 제시된 구체적인 용어에 의해 본 발명을 제한하려는 의도가 아님을 유의해야 한다. 따라서, 이상에서 기술한 실시예를 참조하여 본 발명을 상세하게 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 범위를 벗어나지 않으면서도 본 발명의 일 실시예들에 대한 개조, 변경 및 변형을 가할 수 있다.

Claims

카메라를 통해 입력된 영상정보로부터 복수 개의 얼굴특징점들(landmarks)이 검출되는 단계;
검출된 복수 개의 얼굴특징점들 중 일부를 사용하고, RF 리그레서(Random Forrest Regressor)를 이용하여 제1동공특징점을 검출하는 단계;
검출된 복수 개의 얼굴특징점 중 일부를 사용하여 눈 영역의 이미지를 추출하는 단계;
추출된 눈 영역의 이미지에서 제2동공특징점을 검출하고, Gaze 분류기(Gaze Classifier)를 이용하여 복수 개의 영역으로 구분되는 시선방향 클래스들의 초기확률값을 결정하는 단계;
상기 시선방향 클래스들의 각각의 초기확률값에 상기 제1동공특징점의 위치에 따른 가중치를 부여하는 단계; 및
가중치가 부여된 시선방향 클래스들의 최종확률값에서 가장 높은 확률을 가지는 클래스를 대표 시선방향으로 결정하는 단계;를 포함하고,
상기 얼굴특징점을 검출하는 방법은,
미리 학습된 Weighted RF Regressor(Weighted Random Forest Regressor)에 의해 얼굴특징점들이 이동되어야 할 오프셋이 계산되고, 계산된 오프셋을 바탕으로 얼굴특징점들의 위치가 갱신되어 얼굴특징점들의 최종적인 위치가 예측되는 단계;
얼굴특징점들의 최종적인 위치 간의 사이각 및 거리비와, 얼굴 모델 별로 정의된 가우시안 확률 밀도 함수와의 상관관계를 통해 최적의 얼굴 모델을 검출하는 단계; 및
얼굴특징점들의 최종적인 위치와, 검출된 최적의 얼굴 모델이 결합되어 최종 얼굴특징점들이 검출되는 단계를 포함하는 것을 특징으로 하는 시선방향 예측 방법.
삭제
제1항에 있어서,
상기 제1동공특징점을 검출하는 방법은,
미리 학습된 Weighted RF Regressor(Weighted Random Forest Regressor)에 의해 제1동공특징점들이 이동되어야 할 오프셋이 계산되고, 계산된 오프셋을 바탕으로 제1동공특징점들의 위치가 갱신되어 제1동공특징점들의 최종적인 위치가 예측되는 단계;를 포함하는 것을 특징으로 하는 시선방향 예측 방법.
제1항에 있어서,
상기 제2동공특징점을 검출하는 방법은
추출된 눈 영역의 이미지를 기반으로 방향 중심 대칭 국부 이진 패턴(Oriented Center Symmetric Local Binary Pattern, 이하 'OCS-LBP'라 칭함) 특징벡터와 Haar-Like 특징벡터를 추출하는 단계를 포함함으로써 이루어지는 것을 특징으로 하는 시선방향 예측 방법.
제4항에 있어서,
상기 OCS-LBP 특징벡터와 Haar-Like 특징벡터 각각에 대하여, 미리 학습된 Gaze 분류기에 대입하여 복수 개의 영역으로 구분되는 시선방향 클래스에 대한 초기확률값을 연산하는 단계를 더 포함하는 것을 특징으로 하는 시선방향 예측 방법.
제5항에 있어서,
OCS-LBP 특징벡터에 대한 Gaze 분류기와 Haar-Like 특징벡터에 대한 Gaze 분류기에서 추정된 시선방향 클래스에 대한 초기확률값들을 선형결합하는 단계를 더 포함하는 것을 특징으로 하는 시선방향 예측 방법.
제1항에 있어서,
상기 시선방향 예측 방법은
Yawing, Rolling, Pitching을 포함한 두부 자세 예측 방법과 결합하는 것을 특징으로 하는 시선방향 예측 방법.
적어도 하나 이상의 프로세서와, 상기 프로세서에 의한 외부의 조명 환경 변화 및 운전자의 얼굴 가려짐에 유연한 시선 방향 예측 장치에 있어서,
상기 프로세서는,
카메라를 통해 입력된 영상으로부터 미리 학습된 Weighted RF Regressor(Weighted Random Forest Regressor)에 의해 얼굴특징점들이 이동되어야 할 오프셋을 계산하고, 계산된 오프셋을 바탕으로 얼굴특징점들의 위치가 갱신되어 얼굴특징점들의 최종적인 위치를 예측하며, 얼굴특징점들의 최종적인 위치 간의 사이각 및 거리비와, 얼굴 모델 별로 정의된 가우시안 확률 밀도 함수와의 상관관계를 통해 최적의 얼굴 모델을 검출하고, 얼굴특징점들의 최종적인 위치와 검출된 최적의 얼굴 모델이 결합하여 최종적으로 얼굴특징점들을 검출함으로써, 운전자의 얼굴로부터 복수 개의 얼굴특징점들(landmarks)을 검출할 수 있고,
검출된 복수 개의 얼굴특징점들 중 일부를 사용하고, RF 리그레서(Random Forrest Regressor)를 이용하여 제1동공특징점을 검출하며,
검출된 복수 개의 얼굴특징점 중 일부를 사용하여 눈 영역의 이미지를 추출한 뒤,
추출된 눈 영역의 이미지에서 제2동공특징점을 검출하고, Gaze 분류기(Gaze Classifier)를 이용하여 복수 개의 영역으로 구분되는 시선 방향 클래스의 초기확률값을 결정하되,
상기 시선 방향 클래스의 초기확률값에 상기 제1동공특징점의 위치에 따른 가중치를 부여하고,
가중치가 부여된 시선 방향 클래스의 최종확률값에서 가장 높은 확률을 가지는 클래스를 대표 시선 방향으로 결정하도록 구현된 것을 특징으로 하는, 시선 방향 예측 장치.