KR20100026169A - 얼굴 검출 시스템 - Google Patents

Abstract

본 발명의 얼굴 검출 시스템은 운전자의 얼굴을 촬영하는 영상 촬영부와, 차량의 진동을 측정하는 진동측정 센서부와, 상기 얼굴 영상으로부터 관심 영역을 설정하고, 상기 진동측정 센서로부터 측정된 상하 진동폭이 기준값 이상이라고 판단되면 관심 영역의 영상 위치를 보정하여 얼굴의 움직임을 검출하는 제어부를 포함한다.

상기와 같은 발명은 차량에 진동이 발생하여 영상의 위치가 순간적으로 왜곡되더라도 진동값에 의해 위치가 왜곡된 영상을 보정해줌으로써, 운전자의 얼굴 움직임을 정확하게 검출할 수 있는 효과가 있다.

영상 촬영부, 진동측정 센서부, 조향각 센서부, 제어부, 경보 부저

Description

얼굴 검출 시스템{FACE DETECTION SYSTEM}

본 발명은 얼굴 검출 시스템에 관한 것으로, 보다 상세하게는 차량에 설치되어 운전자의 얼굴을 검출하는 얼굴 검출 시스템에 관한 것이다.

일반적으로, 자동차에는 운전자의 상태를 판단하기 위한 얼굴 검출 시스템에 마련되어 있으며, 이러한 얼굴 검출 시스템은 운전자의 졸음 또는 차선의 변경 의지를 판단하기 위한 요소로 사용된다.

종래 얼굴 검출 시스템은 얼굴을 촬영하는 카메라와, 상기 카메라로부터 촬영된 영상을 분석하여 전방 주시 태만을 판단하는 제어부로 구성된다.

카메라로부터 촬영된 영상이 제어부로 입력되면, 제어부는 입력된 영상을 이진화하여 얼굴 영역을 검출하고, 얼굴의 윤곽 등의 에지 형상을 검출한다. 이어서, 에지 영상으로부터 얼굴의 세부 요소인 눈, 코, 입 등을 검출하여 운전자의 얼굴 상태를 산출하여 전방주시태만 상태를 판단하게 된다.

하지만, 차량에 진동이 발생될 경우, 영상 카메라로부터 촬영된 영상은 흔들리게 되고, 이로 인해 영상의 움직임 정보를 감지하기가 어렵다. 즉, 차량 진동에 의한 모션 변화는 일정하게 일어나지만, 차량 진동에 의한 얼굴 모션 변화는 지연 이 일어나거나 움직임의 패턴이 달라져 운전자의 상태를 정확하게 판단하기 어려운 문제점이 발생된다.

또한, 영상 카메라는 통상 계기판이 설치된 차량 내의 전방 데쉬 보드에 설치되기 때문에 조향 휠이 심하게 회전될 경우 조향 휠의 내측을 연결하는 부재에 의해 얼굴 영상의 일부가 가려져 운전자의 얼굴을 정확하게 검출하기 힘든 문제점이 발생된다.

상기와 같은 문제점을 해결하기 위해, 본 발명은 차량의 진동에 의해 발생되는 영상의 위치가 왜곡되어 얼굴 검출의 정확성이 떨어지는 것을 방지하기 위한 얼굴 검출 시스템을 제공하는 것을 그 목적으로 한다.

상술한 목적을 달성하기 위하여, 본 발명의 얼굴 검출 시스템은 운전자의 얼굴을 촬영하는 영상 촬영부와, 차량의 진동을 측정하는 진동측정 센서부와, 상기 얼굴 영상으로부터 관심 영역을 설정하고, 상기 진동측정 센서로부터 측정된 상하 진동폭이 기준값 이상이라고 판단되면 관심 영역의 영상 위치를 보정하여 얼굴의 움직임을 검출하는 제어부를 포함한다.

상기 관심 영역의 영상 위치는 영상으로부터 특징점을 추출하고, 추출된 특징점을 이전 영상과 비교하여 영상의 변위를 계산할 수 있다.

상기 특징점은 고정된 위치를 가지는 얼굴 외의 배경 영상에서 추출될 수 있다.

상기 얼굴의 움직임은 이전 영상과 위치가 보정된 영상의 차분 영상으로부터 검출될 수 있다.

조향 휠 각도를 측정하는 조향각 센서부를 더 포함하고, 상기 조향휠 각도가 일정 각도 미만이면 얼굴을 검출하는 시스템이 동작되고, 조향 휠 각도가 일정 각도 이상이면 얼굴을 검출하는 시스템이 동작되지 않을 수 있다.

상기 진동측정 센서부는 가속도 센서일 수 있다.

본 발명은 차량에 진동이 발생하여 영상의 위치가 순간적으로 왜곡되더라도 진동값에 의해 위치가 왜곡된 영상을 보정해줌으로써, 운전자의 얼굴 움직임을 정확하게 검출할 수 있는 효과가 있다.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상의 동일 부호는 동일한 요소를 지칭한다.

도 1은 본 발명에 따른 얼굴 검출 시스템을 나타낸 구성도이고, 도 2는 본 발명에 따른 얼굴 검출 시스템의 동작을 나타낸 순서도이고, 도 3 내지 도 8은 본 발명에 따른 얼굴 검출 시스템의 세부적인 동작을 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명에 따른 얼굴 검출 시스템은 영상 촬영부(100)와, 차량의 진동을 측정하는 진동측정 센서부(200)와, 상기 얼굴 영상으로부터 관심 영역을 설정하고, 진동측정 센서부(200)로부터 측정된 상하 진동폭이 기준값 이상이라고 판단되면 관심 영역의 영상 위치를 보정하여 얼굴의 움직임을 검출하는 제어부(300)를 포함한다.

영상 촬영부(100)는 시트에 앉은 운전자의 얼굴을 촬영하는 역할을 하며, 이를 위해 영상 촬영부(100)는 운전자의 전방에 설치될 수 있다. 영상 촬영부(100)로는 운전자의 얼굴을 촬영할 수 있는 센서 예컨데, CCD 카메라가 사용될 수 있으며, 계기판이 장착된 운전자의 전방 데쉬 보드에 장착될 수 있다. 물론, 영상 촬영부(100)에 위치는 한정되지 않고 운전자의 상부 또는 룸미러에 장착될 수 있으며, 운전자의 얼굴을 촬영할 수 있는 위치라면 어느 위치에 장착되어도 무방하다.

진동측정 센서부(200)는 예컨대, 가속도 센서가 사용될 수 있으며, 이러한 가속도 센서는 가속도, 진동, 충격 등의 동작 힘을 감지하여 관성력, 전기변형, 자이로의 응용원리를 이용한 것으로서, 차량의 내부에 설치되어 차량의 진동을 측정할 수 있다. 이로 인해 가속도 센서 즉, 진동측정 센서부(200)로부터 측정된 진동값으로부터 차량의 상하 진동폭을 측정할 수 있다.

상기에서는 진동측정 센서부(200)로서 가속도 센서를 사용하였지만, 이에 한정되지 않고, 기울기 변화를 통해 진동을 감지하는 기울기 센서, 차량의 위치 변화를 감지하여 진동을 감지하는 위치센서, 진동 분석용 진동센서가 사용될 수 있다.

제어부(300)는 영상 촬영부(100)로부터 촬영된 얼굴 영상을 제공받아 운전자의 얼굴 움직임을 검출하는 역할을 한다. 구체적으로는 영상 촬영부(100)로부터 획득된 얼굴 영상 중 얼굴 영상을 중심으로 한 관심 영역(Region Of Interest, ROI)을 설정하고, 설정된 관심 영역 내에서 운전자 얼굴의 움직임을 검출하는 역할을 한다. 여기서, 운전자의 얼굴 움직임은 현재 영상과 이전 영상과의 차분 영상에 의해 검출할 수 있다.

현재 영상이 차량의 진동에 의해 왜곡 예컨대, 영상이 위치가 변경될 경우, 정확한 얼굴 영역을 검출할 수 없으며, 이로 인해 얼굴의 움직임을 정확하게 검출할 수 없게 된다. 즉, 차량 진동에 의해 관심 영역 영상 중 얼굴 이외의 배경이 흔들리는 경우에서는 얼굴의 움직임 정보를 감지하기 어렵다.

따라서, 제어부(300)는 차량의 진동이 발생할 경우를 대비하여, 진동측정 센서부(200)로부터 측정된 진동값을 실시간으로 감시하며, 이러한 진동값에 의해 위치가 변경된 얼굴 영상을 보상해 줄 수 있다.

제어부(300)는 진동측정 센서부(200)로부터 측정된 진동값이 일정 기준값 이상이면 진동값에 의해 영상의 위치를 보상해 줄 수 있으며, 측정된 진동값이 일정 기준값 미만이면 진동이 거의 없는 상태로 판단하여 영상의 보상을 하지 않는다.

여기서, 진동측정 센서부(200)로부터 측정된 진동값은 진동의 상하 진동폭에 의해 결정될 수 있으며, 이와 같은 상하 진동폭에 의해 위치가 변경된 영상을 변위를 계산하여 영상을 보정해 줄 수 있다.

구체적으로, 진동측정 센서부(200)로부터 측정된 진동값이 일정 기준값 이상일 경우, 제어부(300)는 관심 영역 영상에서 몇 개의 특징점을 추출하고, 현재 영상의 특징점과 이전 영상의 특징점의 변위를 계산하여 이전 영상과의 차이에 의해 위치를 보정해 줄 수 있다. 여기서, 특징점은 관심 영역의 영상으로부터 고정된 위치를 가지는 것이 바람직하며, 이를 위해 얼굴 이외의 배경 영상에서 추출되는 것이 바람직하다.

상기와 같이 현재 영상이 위치가 보정되면 이전 영상과의 차분 영상을 구해 얼굴의 상태 즉, 얼굴의 움직임을 검출할 수 있다.

상기와 같은 발명은 차량에 진동이 발생하여 영상의 위치가 순간적으로 왜곡되더라도 진동값에 의해 왜곡된 영상을 보정해줌으로써, 운전자의 얼굴 움직임을 정확하게 검출할 수 있는 효과가 있다.

한편, 영상 촬영부(100)는 데쉬 보드에 설치되어 있기 때문에 조향 휠(410)을 심하게 회전할 경우, 영상 촬영부(100)로부터 얻는 영상은 조향 휠(410)에 의해 가려질 수 있으며, 이로 인해 운전자의 얼굴 영상에 노이즈가 발생될 수 있다.

이에, 제어부(300)는 조향 휠 센서 예컨대, 조향각 센서부(400)로부터 조향휠의 조향각을 제공받고, 제공된 조향각이 일정 각도 이내라고 판단되면 관심 영역의 얼굴 영상 중 조향휠이 가려진 부분을 제거하여 관심 영역을 축소할 수 있다. 반면, 조향각이 일정 각도 이상이라고 판단되면, 조향휠에 의해 가려져 얼굴 감지가 불가하다고 판단할 수 있으며, 이로 인해 시스템의 동작이 불가능하여 시스템의 동작을 종료할 수 있다.

상기와 같이 얼굴 검출 시스템으로부터 얼굴을 검출하는 단계를 마치면, 운전자의 얼굴 상태에 따라 운전자에게 위험 또는 상태를 알려 줄 수 있도록 차량의 내부에는 LED(500) 및 경보 부저(600)가 설치될 수 있다.

이하에서는 도 2 내지 도 8을 참조하여, 본 발명에 따른 얼굴 검출 시스템의 동작을 살펴본다.

먼저, 도 3에 도시된 바와 같이, 영상 촬영부(100)로부터 얼굴 영상을 획득하는 단계(S100)를 수행한다.

이어서, 획득된 얼굴 영상으로부터 관심 영역(R)을 설정하는 단계를 수행한다. 이때, 관심 영역(R)은 얼굴 움직임의 변위를 고려하여 관심 영역(R)을 설정할 수 있다. 예컨대, 조향각 센서부(400)로부터 측정된 진동값이 크면 관심 영역(R)을 넓게 설정하며, 측정된 진동값이 작으면 관심 영역(R)을 얼굴을 중심으로 좁게 설정할 수 있다.

구체적으로, 도 4에 도시된 바와 같이, 관심 영역에 조향휠 영상(410)이 포함될 경우, 조향휠 영상(410)을 제거하여 관심 영역(R)을 설정할 수 있다. 여기서, 조향휠 영상(410)은 조향각 센서부(400)로부터 측정된 조향각이 일정 각도 미만이면 조향휠 영상(410)을 관심 영역(R)에서 제거해 주고, 일정 각도 이상이면 시스템의 동작이 불가능하여 시스템을 종료할 수 있다.

이어서, 차량의 진동값을 제공받는 단계(S300)를 수행한다. 여기서, 차량의 진동값은 진동측정 센서부(200)로부터 측정될 수 있다. 진동측정 센서부(200)로부터 도 5에 도시된 바와 같이, 진동값이 측정되면 진동이 거의 없는 주행 상태라고 판단할 수 있으며, 도 6에 도시된 바와 같이, 진동값(A)이 측정되면 진동이 있는 주행 상태라고 판단할 수 있다.

이어서, 진동값(A)이 기준값 이상인지 판단하는 단계(S400)를 수행한다. 여기서, 진동값(A)은 상하 진동폭 예컨대, P-P (피크-피크) 값을 측정하고, 상하 진동폭(A)에 의해 기준값 이상 여부를 판단할 수 있다.

예컨대, 도 5에 도시된 바와 같은 진동값(A)이 얻어지면, 기준값 미만이라고 판단할 수 있으며, 도 6에 도시된 바와 같은 진동값(A) 예컨대, 상하 진동폭이 얻 어지면, 기준값 이상이라고 판단할 수 있다.

이어서, 진동값(A)이 기준값 이상이라고 판단되면 관심 영역(R)의 위치가 왜곡되었다고 판단하여 영상을 보정하는 단계(S500)를 수행한다. 여기서, 위치가 왜곡된 현재 영상을 이전 영상과 비교하고, 관심 영역(R) 영상 중 얼굴 이외의 영상 즉, 항상 고정되는 배경에서 특징점(T1, T2) 에컨대, 차량의 도어 모서리 부분과 같은 특징점을 다수개 추출하고, 추출된 특징점의 변위를 계산하여 영상을 보정할 수 있다.

이어서, 보정된 현재 영상을 이전 영상과의 차분화 및 이진화하여 도 8에 도시된 바와 같은 영상을 획득할 수 있으며, 이로부터 운전자의 얼굴의 움직임을 추출하여 운전자의 얼굴 상태를 감지하는 단계(S600)를 마친다.

상기에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명은 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.

도 1은 본 발명에 따른 얼굴 검출 시스템을 나타낸 구성도.

도 2는 본 발명에 따른 얼굴 검출 시스템의 동작을 나타낸 순서도.

도 3 내지 도 8은 본 발명에 따른 얼굴 검출 시스템의 세부적인 동작을 설명하기 위한 도면.

< 도면 주요 부분에 대한 부호의 설명 >

100: 영상 촬영부 200: 진동측정 센서부

300: 제어부 400: 조향각 센서부

500: LED 600: 경보 부저

Claims (6)

1. 운전자의 얼굴을 촬영하는 영상 촬영부;

   차량의 진동을 측정하는 진동측정 센서부; 및

   상기 얼굴 영상으로부터 관심 영역을 설정하고, 상기 진동측정 센서로부터 측정된 상하 진동폭이 기준값 이상이라고 판단되면 관심 영역의 영상 위치를 보정하여 얼굴의 움직임을 검출하는 제어부;

   를 포함하는 얼굴 검출 시스템.
2. 청구항 1에 있어서,

   상기 관심 영역의 영상 위치는 영상으로부터 특징점을 추출하고, 추출된 특징점을 이전 영상과 비교하여 영상의 변위를 계산하는 것을 특징으로 하는 얼굴 검출 시스템.
3. 청구항 2에 있어서,

   상기 특징점은 고정된 위치를 가지는 얼굴 외의 배경 영상에서 추출되는 것을 특징으로 하는 얼굴 검출 시스템.
4. 청구항 2에 있어서,

   상기 얼굴의 움직임은 이전 영상과 위치가 보정된 영상의 차분 영상으로부터 검출되는 것을 특징으로 하는 얼굴 검출 시스템.
5. 청구항 1에 있어서,

   조향 휠 각도를 측정하는 조향각 센서부를 더 포함하고, 상기 조향휠 각도가 일정 각도 미만이면 얼굴을 검출하는 시스템이 동작되고, 조향 휠 각도가 일정 각도 이상이면 얼굴을 검출하는 시스템이 동작되지 않는 것을 특징으로 하는 얼굴 검출 시스템.
6. 청구항 1에 있어서,

   상기 진동측정 센서부는 가속도 센서인 것을 특징으로 하는 얼굴 검출 시스템.

Images