KR102501112B1 - 졸음운전 감지장치 및 졸음운전 감지장치의 동작 방법 - Google Patents

Abstract

본 발명은, 운전자의 얼굴 이미지로부터 눈과 눈썹 간 간격의 변화를 기준으로 하여 오차 없는 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 구체화되고 새로운 방식의 졸음 운전 감지 기술을 실현하고 있다.

Description

졸음운전 감지장치 및 졸음운전 감지장치의 동작 방법{DROWSY DRIVING DETECTION DEVICE AND CONTROL METHOD THEREOF}

본 발명은, 운전자의 졸음 운전을 감지하는 기술에 관한 것으로, 더욱 상세하게는 운전자의 얼굴 이미지로부터 눈과 눈썹 간 간격의 변화를 기준으로 오차 없이 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 새로운 방식의 졸음 운전 감지 기술에 관한 것이다.

차량 등의 이동체를 운전하는 운전자는 운전 중 다양한 사고 위험에 노출되나 그 중 운전자의 졸음에 의한 사고는 충분히 예방할 수 있는 사고임에도 불구하고 그 사고 발생이 여전히 줄지 않고 있다.

이에, 졸음 운전을 예방하기 위한 다양한 기술들이 등장하였다.

이처럼 등장한 기존의 졸음 운전 예방을 위한 기술은, 운전자 머리 또는 얼굴 또는 눈의 주시 방향 등을 모니터링하여 운전자가 전방을 주시하지 않고 머리 또는 얼굴 또는 눈의 주시 방향이 전방이 아닌 다른 방향을 향하는지 여부로 졸음 운전 여부를 판정하는 방식이 대부분이며, 졸음 운전 판정 시 경고 알람을 출력하여 졸음 운전 중인 운전자의 졸음을 깨우고 있다.

즉, 기존의 기술은 대부분 운전자가 전방을 주시하는지를 기준으로 졸음 운전 여부를 판정하는 방식이다.

헌데, 실제로 사람이 졸고 있을 때를 살펴보면, 종종 머리 또는 얼굴 또는 눈의 주시 방향은 여전히 전방을 주시하고 있으면서도 졸고 있을 수 있다.

예컨대, 머리 또는 얼굴 또는 눈의 주시 방향은 여전히 전방을 주시하면서, 눈만 감고 졸고 있는 경우도 있고 눈을 천천히 깜박거리면서 서서히 졸고 있는 경우도 있을 수 있다.

이처럼 운전자가 여전히 전방을 주시한 상태로 졸고 있는 경우라면, 기존의 기술들은 운전자의 졸음 운전을 판정해내지 못할 것이므로 운전자의 졸음에 의한 사고를 예방할 수 없는 한계를 갖는다.

결국, 운전자의 졸음 운전 여부를 판단해내는데 있어서, 오판이나 누락 없는 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 구체화되고 새로운 방식의 기술이 필요한 시점이다.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 해결하고자 하는 과제는 운전자의 얼굴 이미지로부터 눈과 눈썹 간 간격의 변화를 기준으로 오차 없이 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 구체화되고 새로운 방식의 졸음 운전 감지 기술을 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 졸음운전 감지장치는, 주행 중인 이동체를 운전하는 운전자의 얼굴에서, 눈과 눈썹 간 간격을 확인하는 확인부; 상기 확인한 눈과 눈썹 간 간격을 근거로, 상기 간격이 변경되는 변경 크기 및 상기 간격의 변경과 관련된 시간값을 모니터링하는 모니터링부; 및 상기 모니터링한 변경 크기 및 시간값을 근거로, 상기 운전자의 졸음 운전 여부를 판단하는 판단부를 포함한다.

구체적으로, 상기 모니터링부는, 상기 눈과 눈썹 간 간격의 변경 크기가 눈을 감는 간격으로 기 정의된 특정 변경 크기인 경우, 상기 눈과 눈썹 간 간격이 최대 간격으로 유지되는 유지 시간값 및 상기 눈과 눈썹 간 간격이 최소 간격에서 최대 간격으로 변경되는 동안 소요되는 소요 시간값 중 적어도 하나를 모니터링할 수 있다.

구체적으로, 상기 판단부는, 상기 눈과 눈썹 간 간격의 변경 크기가 상기 특정 변경 크기인 경우에 모니터링한 상기 유지 시간값이 기 정의된 제1 임계 시간 이상이면, 상기 운전자의 졸음 운전으로 판단할 수 있다.

구체적으로, 상기 판단부는, 상기 눈과 눈썹 간 간격의 변경 크기가 상기 특정 변경 크기인 경우에 모니터링한 상기 소요 시간값이 기 정의된 제2 임계 시간 이상인 경우가 소정 횟수 반복되면, 상기 운전자의 졸음 운전으로 판단할 수 있다.

구체적으로, 상기 운전자에 대해, 임의의 분석 시간 동안 촬영한 다수의 얼굴 이미지로부터 확인되는 눈과 눈썹 간 간격을 분석하여 얼굴 크기 별로 눈을 감는 간격을 특정하는 변경 크기를 정의하는 분석부를 더 포함할 수 있다.

구체적으로, 상기 분석부는, 상기 다수의 얼굴 이미지를 얼굴 크기 별로 구분하고, 얼굴 크기 별로 눈과 눈썹 간 간격을 분석하여 가장 많이 분포하는 간격 군집의 대표값을 최소 간격으로 설정하고 가장 먼 간격을 최대 간격으로 설정하며, 상기 얼굴 크기 별로, 상기 최소 간격에서 상기 최대 간격으로 변경되는 변경 크기를 계산하여 눈을 감는 간격으로 특정할 수 있다.

구체적으로, 상기 특정 변경 크기는, 상기 얼굴 크기 별로 기 정의된 변경 크기 중, 졸음 운전 여부의 판단 대상으로 촬영한 운전자의 얼굴 이미지의 얼굴 크기와 매칭되는 특정 얼굴 크기에 기 특정된 변경 크기일 수 있다.

구체적으로, 상기 모니터링부는, 졸음 운전 여부의 판단 대상으로 촬영한 운전자의 얼굴 이미지의 얼굴 크기를 상기 얼굴 크기 별로 기 정의된 변경 크기 중 특정 얼굴 크기에 매칭시켜 보정하고, 상기 보정된 상기 얼굴 이미지에서 눈과 눈썹 간 간격의 변경 크기를 모니터링하며, 상기 특정 변경 크기는, 상기 특정 얼굴 크기에 기 특정된 변경 크기일 수 있다.

상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 졸음운전 감지장치의 동작 방법은, 주행 중인 이동체를 운전하는 운전자의 얼굴에서, 눈과 눈썹 간 간격을 확인하는 간격확인단계; 상기 확인한 눈과 눈썹 간 간격을 근거로, 상기 간격이 변경되는 변경 크기 및 상기 간격의 변경과 관련된 시간값을 모니터링하는 모니터링단계; 및 상기 모니터링한 변경 크기 및 시간값을 근거로, 상기 운전자의 졸음 운전 여부를 판단하는 판단단계를 포함한다.

구체적으로, 상기 모니터링단계는, 상기 눈과 눈썹 간 간격의 변경 크기가 눈을 감는 간격으로 기 정의된 특정 변경 크기인 경우, 상기 눈과 눈썹 간 간격이 최대 간격으로 유지되는 유지 시간값 및 상기 눈과 눈썹 간 간격이 최소 간격에서 최대 간격으로 변경되는 동안 소요되는 소요 시간값 중 적어도 하나를 모니터링할 수 있다.

구체적으로, 상기 판단단계는, 상기 눈과 눈썹 간 간격의 변경 크기가 상기 특정 변경 크기인 경우에 모니터링한 상기 유지 시간값이 기 정의된 제1 임계 시간 이상이면, 상기 운전자의 졸음 운전으로 판단하거나, 상기 눈과 눈썹 간 간격의 변경 크기가 상기 특정 변경 크기인 경우에 모니터링한 상기 소요 시간값이 기 정의된 제2 임계 시간 이상인 경우가 소정 횟수 반복되면, 상기 운전자의 졸음 운전으로 판단할 수 있다.

구체적으로, 상기 운전자에 대해, 임의의 분석 시간 동안 촬영한 다수의 얼굴 이미지로부터 확인되는 눈과 눈썹 간 간격을 분석하여 얼굴 크기 별로 눈을 감는 간격을 특정하는 변경 크기를 정의하는 분석단계를 더 포함할 수 있다.

구체적으로, 상기 분석단계는, 상기 다수의 얼굴 이미지를 얼굴 크기 별로 구분하고, 얼굴 크기 별로 눈과 눈썹 간 간격을 분석하여 가장 많이 분포하는 간격 군집의 대표값을 최소 간격으로 설정하고 가장 먼 간격을 최대 간격으로 설정하며, 상기 얼굴 크기 별로, 상기 최소 간격에서 상기 최대 간격으로 변경되는 변경 크기를 계산하여 눈을 감는 간격으로 특정할 수 있다.

본 발명의 졸음운전 감지장치 및 졸음운전 감지장치의 동작 방법에 따르면, 운전자의 얼굴 이미지로부터 눈과 눈썹 간 간격의 변화를 기준으로 하여 오차 없는 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 구체화되고 새로운 방식의 졸음 운전 감지 기술을 실현할 수 있다.

이렇듯, 본 발명에서는, 눈과 눈썹 간 간격의 변화를 기준으로 하는 높은 신뢰도의 졸음 운전 감지 기술을 구체화하여 실현함으로써, 운전자의 졸음에 의한 사고를 보다 강력하게 예방할 수 있는 효과를 도출한다.

도 1은 본 발명의 일 실시예에 따른 졸음운전 감지장치의 구성을 보여주는 블록도이다.
도 2는 본 발명에서 졸음 운전 여부 감지 시 눈과 눈썹 간 간격 변화를 기준으로 사용하는 방식을 설명하기 위한 그래프이다.
도 3은 본 발명의 일 실시예에 따른 졸음운전 감지방법이 동작하는 흐름을 보여주는 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.

본 발명은, 운전자의 졸음 운전을 감지하는 기술에 관한 것이다.

차량 등의 이동체를 운전하는 운전자는 운전 중 다양한 사고 위험에 노출되나 그 중 운전자의 졸음에 의한 사고는 충분히 예방할 수 있는 사고임에도 불구하고 그 사고 발생이 여전히 줄지 않고 있다.

이에, 졸음 운전을 예방하기 위한 다양한 기술들이 등장하였다.

이처럼 등장한 기존의 졸음 운전 예방을 위한 기술은, 운전자 머리 또는 얼굴 또는 눈의 주시 방향 등을 모니터링하여 운전자가 전방을 주시하지 않고 머리 또는 얼굴 또는 눈의 주시 방향이 전방이 아닌 다른 방향을 향하는지 여부로 졸음 운전 여부를 판정하는 방식이 대부분이며, 졸음 운전 판정 시 경고 알람을 출력하여 졸음 운전 중인 운전자의 졸음을 깨우고 있다.

즉, 기존의 기술은 대부분 운전자가 전방을 주시하는지를 기준으로 졸음 운전 여부를 판정하는 방식이다.

헌데, 실제로 사람이 졸고 있을 때를 살펴보면, 종종 머리 또는 얼굴 또는 눈의 주시 방향은 여전히 전방을 주시하고 있으면서도 졸고 있을 수 있다.

예컨대, 머리 또는 얼굴 또는 눈의 주시 방향은 여전히 전방을 주시하면서, 눈만 감고 졸고 있는 경우도 있고 눈을 천천히 깜박거리면서 서서히 졸고 있는 경우도 있을 수 있다.

이처럼 운전자가 여전히 전방을 주시한 상태로 졸고 있는 경우 등 예외 상황이라면, 기존의 기술들은 운전자의 졸음 운전을 판정해내지 못할 것이므로 운전자의 졸음에 의한 사고를 예방할 수 없는 한계를 갖는다.

이에, 본 발명에서는, 운전자의 졸음 운전 여부를 판단해내는데 있어, 운전자가 여전히 전방을 주시한 상태로 졸고 있는 경우 등 예외 상황에서도, 오판이나 누락 없는 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 새로운 방식의 졸음 운전 감지 기술을 제안한다.

특히, 본 발명은, 사람(운전자)이 눈을 감을 경우 눈썹으로부터 눈꺼풀의 최고 지점이 멀어져 눈과 눈썹 간 간격이 커지는 점, 운전 중에 졸린 상태라면 운전자가 우선 눈을 감지 않기 위해 노력하기 때문에 눈을 감는 속도가 느려지는 등 졸릴 때의 특이점에 주목하고 있다.

즉, 본 발명은, 졸릴 때 눈(눈꺼풀 최고 지점)과 눈썹 간의 간격이 특이하게 변하는 점을 감안하여, 눈과 눈썹 간 간격의 변화를 기준으로 졸음 운전 여부를 판단해낼 수 있는 구체화된 졸음 운전 감지 기술을 실현하고자 한다.

구체적으로, 본 발명에서는, 본 발명의 제안 기술 즉 눈과 눈썹 간 간격의 변화를 기준으로 하는 졸음 운전 감지 기술을 실현하는, 졸음운전 감지장치(100)를 제안한다.

도 1에 도시된 바와 같이, 본 발명에서 제안하는 졸음운전 감지장치(100)는, 확인부(110), 모니터링부(120), 판단부(130)를 포함한다.

더 나아가, 졸음운전 감지장치(100)는, 분석부(140), 서비스부(150)를 더 포함할 수 있다.

이러한 졸음운전 감지장치(100)의 구성 전체 내지는 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.

여기서, 소프트웨어 모듈이란, 예컨대 졸음운전 감지장치(100) 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 졸음운전 감지장치(100) 내 메모리에 탑재된 형태를 가질 수 있을 것이다.

결국, 본 발명의 일 실시예에 따른 졸음운전 감지장치(100)는 전술한 구성을 통해, 본 발명에서 제안하는 기술 즉 눈과 눈썹 간 간격의 변화를 기준으로 하는 졸음 운전 감지 기술을 실현한다 하겠다.

이하에서는 졸음운전 감지장치(100) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.

구체적인 설명에 앞서, 본 발명의 졸음운전 감지장치(100)는, 운전자(1)의 단말장치(10)에 구현될 수 있으며, 단말장치(10) 및 외부의 별도 장치(예: 서버)에 분산 구현될 수도 있다.

확인부(110)는, 주행 중인 이동체를 운전하는 운전자(1)의 얼굴에서, 눈과 눈썹 간 간격을 확인하는 기능을 담당한다.

보다 구체적으로 설명하면, 확인부(110)는, 운전자(1)의 얼굴을 촬영하는 촬영장치로부터 촬영된 얼굴 이미지를 제공받을 수 있고, 이처럼 제공받은 얼굴 이미지에서 눈과 눈썹 간 간격을 확인할 수 있다.

이때, 촬영장치는, 이동체 내에서 운전자(1)의 얼굴을 촬영할 수 있도록 구현된 장치라면 어떤 종류의 장치이든 무관할 것이다.

다만, 도 1에서는 운전자(1)의 단말장치(10)에 탑재된 카메라를 촬영장치로 하는 예를 도시하고 있으며, 이에 단말장치(10)는 카메라가 촬영한 운전자(1)의 얼굴 이미지를 졸음운전 감지장치(100, 특히 확인부(10))로 전달할 수 있다.

이에, 확인부(110)는, 운전자(1)의 얼굴을 촬영하여 제공되는 운전자(1)의 얼굴 이미지에서, 눈(눈꺼풀 최고 지점)과 눈썹 간 간격을 확인할 수 있다.

한편, 본 발명에서는, 운전자(1)의 얼굴을 촬영한 영상에서 얼굴 이미지를 인식하는 기술 및 얼굴 이미지로부터 눈(눈꺼풀 최고 지점)과 눈썹 간 간격을 인식하는 기술에 대해 제한을 두지 않으며, 기존의 다양한 인식 기술을 채용할 수 있다.

모니터링부(120)는, 확인부(110)에서 확인하는 눈과 눈썹 간 간격을 근거로, 그 간격이 변경되는 변경 크기 및 그 간격의 변경과 관련된 시간값을 모니터링하는 기능을 담당한다.

구체적으로 설명하면, 모니터링부(120)는, 운전자(1)의 얼굴 이미지에서 확인되는 눈과 눈썹 간 간격을 지속적으로 모니터링하여, 눈과 눈썹 간 간격이 변경되는 변경 크기와 그 간격의 변경과 관련된 시간값을 모니터링할 수 있다.

보다 구체적인 일 실시예를 설명하면, 모니터링부(120)는, 눈과 눈썹 간 간격이 변경되는 변경 크기가 눈을 감는 간격으로 기 정의된 특정 변경 크기인지를 모니터링할 수 있다.

즉, 모니터링부(120)는, 눈과 눈썹 간 간격의 변화(변경 크기)를 기준으로, 눈과 눈썹 간 간격의 변경 크기를 특정 변경 크기와 비교하여 운전자(1)가 눈을 감았는지 여부를 모니터링하는 것이다.

여기서, 눈을 감는 간격으로 기 정의된 특정 변경 크기에 대해서는, 후술에서 구체적으로 설명하겠다.

모니터링부(120)는, 눈과 눈썹 간 간격의 변경 크기가 눈을 감는 간격으로 기 정의된 특정 변경 크기인 경우 즉 운전자(1)가 눈을 감았다고 판단되는 경우, 금번 눈과 눈썹 간 간격의 변경 과정에서 눈과 눈썹 간 간격이 최대 간격으로 유지되는 유지 시간값 및 눈과 눈썹 간 간격이 최소 간격에서 최대 간격으로 변경되는 동안 소요되는 소요 시간값 중 적어도 하나를 모니터링할 수 있다.

앞서 언급한 바 있듯이, 사람(운전자)이 눈을 감을 경우 눈썹으로부터 눈꺼풀의 최고 지점이 멀어져 눈과 눈썹 간 간격이 커지므로, 눈과 눈썹 간 간격이 변경되는 경우 그 간격의 최소 간격은 눈(눈꺼풀의 최고 지점)과 눈썹이 가장 가까울 때 즉 눈을 가장 크게 뜨고 있을 때의 간격이고, 그 간격의 최대 간격은 눈(눈꺼풀의 최고 지점)과 눈썹이 가장 멀 때 즉 눈을 가장 작게 뜨거나 감았을 때의 간격일 것이다.

이러한 점을 감안할 때, 운전자가 운전 중에 졸린 상태라면, 눈을 깜빡일 때 감았다가 즉시 뜨기 어려워 감고 있는 시간일 길어질 것이며, 눈과 눈썹 간 간격이 최대 간격(눈을 가장 작게 뜨거나 감았을 때)으로 유지되는 유지 시간값은 졸리지 않은 평상 시 보다 졸린 상태에서 길어질 것이다.

또한, 운전자가 운전 중에 졸린 상태라면, 졸지 않기 위해 눈을 감지 않고자 노력할 것이므로 눈을 감았다가 뜨는 속도가 느려질 것이며, 눈과 눈썹 간 간격이 최소 간격(눈을 가장 크게 뜨고 있을 때)에서 최대 간격(눈을 가장 작게 뜨거나 감았을 때)으로 변경되는 동안 소요되는 소요 시간값은 평상 시 보다 졸린 상태에서 길어질 것이다.

도 2는 본 발명에서 졸음 운전 여부를 판단(감지)하는데 눈과 눈썹 간 간격의 변화를 기준으로 사용할 수 있는 근거를 설명하기 위한 그래프이다.

도 2에서는, 설명의 판의 상, 졸리지 않은 평상 시 눈과 눈썹 간 간격의 변화를 왼쪽에 도시하고 있고, 졸린 상태에서 눈과 눈썹 간 간격의 변화를 오른쪽에 도시하고 있다.

도 2에서와 같이, 졸리지 않은 평상 시에는, 눈과 눈썹 간 간격의 변화를 보면, 눈과 눈썹 간 간격이 최대 간격(눈을 가장 작게 뜨거나 감았을 때)으로 유지되는 유지 시간(푸른색 도시)이 짧고, 눈과 눈썹 간 간격이 최소 간격(눈을 가장 크게 뜨고 있을 때)에서 최대 간격(눈을 가장 작게 뜨거나 감았을 때)으로 변경되는 동안 소요되는 소요 시간(초록색 도시)이 짧은 것을 알 수 있다.

반면, 졸린 상태에서는, 눈과 눈썹 간 간격의 변화를 보면, 눈과 눈썹 간 간격이 최대 간격(눈을 가장 작게 뜨거나 감았을 때)으로 유지되는 유지 시간(붉은색 도시)이 평상 시보다 길고, 눈과 눈썹 간 간격이 최소 간격(눈을 가장 크게 뜨고 있을 때)에서 최대 간격(눈을 가장 작게 뜨거나 감았을 때)으로 변경되는 동안 소요되는 소요 시간(보라색 도시)이 평상 시보다 긴 것을 알 수 있다.

이러한 점에 기인하여, 모니터링부(120)는, 눈과 눈썹 간 간격의 변화(변경 크기)를 기준으로, 운전자(1)가 눈을 감았을 때 눈을 감은 상태로 유지된 시간(유지 시간값) 및/또는 눈을 감는 속도 달리 말하면 눈을 감을 때 소요되는 시간(소요 시간값)을 모니터링하는 것이다.

판단부(130)는, 모니터링부(120)에서 모니터링한 눈과 눈썹 간 간격의 변경 크기 및 시간값을 근거로, 운전자(1)의 졸음 운전 여부를 판단하는 기능을 담당한다.

구체적인 실시예를 설명하면, 판단부(130)는, 눈과 눈썹 간 간격의 변경 크기가 특정 변경 크기인 경우에 모니터링한 유지 시간값이 기 정의된 제1 임계 시간 이상이면, 운전자(1)의 졸음 운전으로 판단할 수 있다.

예를 들면, 판단부(130)는, 운전자(1)의 눈과 눈썹 간 간격의 변경 크기가 특정 변경 크기인 경우 즉 운전자(1)가 눈을 감을 때의 경우에 모니터링된 유지 시간값 즉 눈을 감은 상태로 유지된 시간이, 기 정의된 제1 임계 시간 이상인지 판단한다.

여기서, 제1 임계 시간은 통상적으로 운전자(1)가 졸리지 않는 평상 시에 눈을 감았다가 즉시 뜨는 경우에 눈을 감을 상태로 유지되는 시간(예: X 초) 보다 긴 시간으로 정의될 수 있으며, 예를 들면 3초로 정의될 수 있다.

이에, 판단부(130)는, 운전자(1)가 눈을 감을 때의 경우에 모니터링된 유지 시간값 즉 눈을 감은 상태로 유지된 시간이 제1 임계 시간(예: 3초) 이상이라고 판단되면, 운전자(1)의 졸음 운전으로 판단할 수 있다.

또한, 판단부(130)는, 눈과 눈썹 간 간격의 변경 크기가 특정 변경 크기인 경우에 모니터링한 소요 시간값이 기 정의된 제2 임계 시간 이상인 경우가 소정 횟수 반복되면, 운전자(1)의 졸음 운전으로 판단할 수 있다.

예를 들면, 판단부(130)는, 운전자(1)의 눈과 눈썹 간 간격의 변경 크기가 특정 변경 크기인 경우 즉 운전자(1)가 눈을 감을 때의 경우에 모니터링된 소요 시간값 즉 눈을 감을 때 소요되는 시간이, 기 정의된 제2 임계 시간 이상인지 및 제2 임계 시간 이상인 경우가 소정 횟수(예: N회) 반복되는지 판단한다.

여기서, 제2 임계 시간은 통상적으로 운전자(1)가 졸리지 않는 평상 시에 눈을 감았다가 즉시 뜨는 경우 눈을 감을 때 소요되는 시간(예: Y 초) 보다 긴 시간으로 정의될 수 있으며, 예를 들면 0.5초로 정의될 수 있다.

이에, 판단부(130)는, 운전자(1)가 눈을 감을 때의 경우에 모니터링된 소요 시간값 즉 눈을 감은 때 소요되는 시간이 제2 임계 시간(예: 0.5초) 이상이라고 판단되며 이때 소요 시간값이 제2 임계 시간(예: 0.5초) 이상인 경우가 N회 반복된 경우라면, 운전자(1)의 졸음 운전으로 판단할 수 있다.

서비스부(150)는, 판단부(130)에서 운전자(1)의 졸음 운전으로 판단한 경우 운전자(1)에게 경고 알람을 제공함으로써, 운전자(1)의 주위를 환기시켜 졸음 운전을 예방할 수 있도록 한다.

예를 들면, 서비스부(150)는, 운전자(1)의 주위를 환기시킬 수 있는 이동체 내 장치, 예컨대 단말장치(10)와 연동하여 경고 화면 및 경고 소리 중 적어도 하나를 출력함으로써, 운전자(1)에게 경고 알람을 제공할 수 있다.

이상 설명한 바와 같이, 본 발명에서는, 졸릴 때 눈(눈꺼풀 최고 지점)과 눈썹 간의 간격이 특이하게 변하는 점에 기인하여, 운전자의 얼굴 이미지로부터 눈과 눈썹 간 간격의 변화를 기준으로 졸음 운전 여부를 판단하는 구체적인 구성을 실현하고 있다.

이로써, 본 발명에서는, 운전자의 졸음 운전 여부를 판단해내는데 있어, 운전자가 여전히 전방을 주시한 상태로 졸고 있는 경우 등 예외 상황에서도, 오판이나 누락 없이 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 구체화되고 새로운 방식의 졸음 운전 감지 기술을 실현할 수 있다.

한편, 이하에서는, 전술에서 간단히 언급한 눈을 감는 간격으로 기 정의된 특정 변경 크기에 대하여 설명하겠다.

본 발명의 졸음운전 감지장치(100)는, 눈을 감는 간격으로서의 특정 변경 크기를, 운전자(1)의 얼굴 이미지 분석 기반의 눈과 눈썹 간 간격의 변화 패턴을 이용하여 도출하여 정의하고자 한다.

이를 위해, 분석부(140)는, 운전자(1)에 대해, 임의의 분석 시간 동안 촬영한 다수의 얼굴 이미지로부터 확인되는 눈과 눈썹 간 간격을 분석하여, 얼굴 크기 별로 눈을 감는 간격을 특정하는 변경 크기를 정의할 수 있다.

이때, 임의의 분석 시간은, 눈을 감는 간격을 특정하기 위해 필요한 다수의 얼굴 이미지를 촬영 및 분석할 수 있는 정도의 시간을 의미하며, 기 정해 놓은 시간일 수도 있고 얼굴 크기 별로 눈을 감는 간격으로서의 특정 변경 크기를 정의하는데 까지 걸리는 유동적인 시간일 수도 있다.

또한, 분석 시간 동안 분석을 통해 특정 변경 크기를 도출 및 정의하는 시점은, 졸음 운전 여부의 판단 대상이 되는 운전자(1)가 금번 운전을 시작하는 시작 시점일 수 있다.

물론, 분석 시간 동안 분석을 통해 특정 변경 크기를 도출 및 정의하는 시점은, 운전자(1)가 과거에 운전하는 동안의 어느 시점일 수도 있다.

본 발명에서 특정 변경 크기를 도출 및 정의하는 과정에 대해 보다 구체적으로 설명하면, 분석부(140)는, 분석 시간 동안 촬영한 다수의 얼굴 이미지를 얼굴 크기 별로 구분하고, 얼굴 크기 별로 눈과 눈썹 간 간격을 분석하여 가장 많이 분포하는 간격 군집의 대표값을 최소 간격으로 설정하고 가장 먼 간격을 최대 간격으로 설정할 수 있다.

이렇게 되면, 분석 시간 동안 촬영한 다수의 얼굴 이미지를 근거로, 얼굴 크기 별로 최소 간격/최대 간격이 설정될 것이다.

그리고, 분석부(140)는, 얼굴 크기 별로, 최소 간격에서 최대 간격으로 변경되는 변경 크기를 계산하여 눈을 감는 간격으로 특정할 수 있다.

이렇게 되면, 동일한 운전자(1)에 대하여, 얼굴 크기 별로 눈을 감는 간격으로서의 특정 변경 크기(최대 간격 - 최소 간격)가 정의될 수 있다.

전술의 설명과 같이, 본 발명의 졸음운전 감지장치(100)는, 운전자(1)에 대하여, 얼굴 이미지 분석 기반의 눈과 눈썹 간 간격의 변화 패턴을 이용하여, 얼굴 크기 별 특정 변경 크기를 정의할 수 있다.

이하에서는 설명의 편의 상, 서로 다른 얼굴 크기(예: A,B,C) 별로 특정 변경 크기를 정의한 실시예를 가정하여 설명하겠다.

이처럼 얼굴 이미지 분석 기반의 눈과 눈썹 간 간격의 변화 패턴을 이용하여 얼굴 크기(예: A,B,C) 별 특정 변경 크기를 기 정의하는 실시예에 따르면, 모니터링부(120)는, 확인부(110)에서 확인되는 눈과 눈썹 간 간격의 변경 크기와 비교할 특정 변경 크기로서, 전술과 같이 얼굴 크기 별로 기 정의된 변경 크기 중 금번 촬영된 운전자(1)의 얼굴 이미지의 얼굴 크기와 매칭되는 특정 얼굴 크기에 기 특정된 변경 크기를 사용할 수 있다.

즉, 모니터링부(120)는, 전술과 같이 얼굴 크기 별로 기 정의된 변경 크기 중에서 금번 졸음 운전 여부의 판단 대상으로 촬영한 운전자(1)의 얼굴 이미지의 얼굴 크기가 A이고 이와 동일한 특정 얼굴 크기(얼굴 크기 A)가 있다면, 해당하는 특정 얼굴 크기(얼굴 크기 A)의 특정된 변경 크기를 금번 촬영한 운전자(1)의 얼굴 이미지에서 확인한 눈과 눈썹 간 간격의 변경 크기와 비교할 특정 변경 크기로서 사용하는 것이다.

물론, 얼굴 크기(예: A,B,C) 별로 기 정의된 변경 크기 중에서, 금번 촬영된 운전자(1)의 얼굴 이미지의 얼굴 크기와 동일한 특정 얼굴 크기가 존재하지 않을 수도 있다.

이 경우, 모니터링부(120)는, 금번 졸음 운전 여부의 판단 대상으로 촬영한 운전자(1)의 얼굴 이미지의 얼굴 크기가 D라고 가정할 때, 금번 촬영한 얼굴 이미지의 얼굴 크기(예: D)를 얼굴 크기(예: A,B,C) 별로 기 정의된 변경 크기 중 특정 얼굴 크기(예: 얼굴 크기B)에 매칭시켜 보정하고(운전자(1)의 얼굴 이미지의 얼굴 크기 D->B), 이렇게 보정된 얼굴 이미지에서 눈과 눈썹 간 간격의 변경 크기를 모니터링할 수 있다.

즉, 모니터링부(120)는, 금번 촬영한 운전자(1)의 얼굴 이미지의 얼굴 크기(예: D)를 특정 얼굴 크기(예: 얼굴 크기B)와 같은 크기가 되도록 보정하며, 이렇게 얼굴 크기가 D->B로 보정된 얼굴 이미지 내 눈과 눈썹 간 간격의 변경 크기 역시 얼굴 크기가 보정되는 보정 비율에 따라서 보정될 것이므로, 보정된 얼굴 이미지에서 눈과 눈썹 간 간격의 변경 크기를 모니터링할 수 있다.

그리고, 모니터링부(120)는, 앞서 보정 기준으로 사용한 특정 얼굴 크기(예: 얼굴 크기B)에 특정된 변경 크기를, 앞서 보정된 얼굴 이미지에서 모니터링한 눈과 눈썹 간 간격의 변경 크기와 비교할 특정 변경 크기로서 사용하는 것이다.

이때, 얼굴 크기(예: A,B,C) 별로 기 정의된 변경 크기 중 보정 기준으로 사용할 특정 얼굴 크기(예: 얼굴 크기B)를 선택하는 방식은 다양할 수 있으며, 일 예를 들면 금번 촬영한 운전자(1)의 얼굴 이미지의 얼굴 크기(예: D)와 가장 유사한 얼굴 크기를 선택할 수 있다.

이상 설명과 같이, 본 발명에서는, 눈과 눈썹 간 간격의 변화를 기준으로 졸음 운전 여부를 판단하는데 있어, 판단 근거로 사용하는 특정 변경 크기(눈을 감는 간격)를 졸음 운전 여부의 판단 대상인 실제 운전자의 얼굴 분석을 통해 실시간으로 특정/정의하며, 더 나아가 운전자의 착석 위치나 자세 등으로 인한 촬영 환경까지 고려하여 얼굴 크기 별로 특정/정의함으로써, 운전자의 착석 위치나 자세 등으로 인한 예외 상황에서도 오판이나 누락 없는 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있을 것이다.

이렇듯, 본 발명에서는, 운전자가 여전히 전방을 주시한 상태로 졸고 있는 경우, 운전자의 착석 위치나 자세 등으로 인한 촬영 환경 변화 등 예외 상황에서도, 오판이나 누락 없는 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 구체화되고 새로운 방식의 졸음 운전 감지 기술을 실현하고 있다.

한편, 전술 및 후술에서 언급하는 눈과 눈썹 간 간격은, 표현하기에 따라 눈과 눈썹 간 간격은 눈과 눈썹 간 두께, 높이, 폭, 넓이 등으로 표현될 수 있을 것이다.

설명의 편의 상, 본 발명의 졸음운전 감지방법을 수행하는 주체로, 졸음운전 감지장치(100)를 언급하여 설명하겠다.

본 발명의 졸음운전 감지 기술(방법)에 따르면, 졸음운전 감지장치(100)는 이동체(예: 차량)을 운전하는 운전자(1)를 감지하면 운전자(1)의 얼굴 촬영을 개시한다(S10).

예컨대, 운전자(1)를 감지하면, 이동체(예: 차량) 내에서 운전자(1)의 얼굴을 촬영할 수 있도록 구현된 단말장치(10)에 탑재된 카메라가 운전자(1)의 얼굴 촬영을 개시할 수 있다.

본 발명의 졸음운전 감지 기술(방법)에 따르면, 졸음운전 감지장치(100)는 운전자(1)의 얼굴을 촬영하여 제공되는 운전자(1)의 얼굴 이미지에서 눈(눈꺼풀 최고 지점)과 눈썹 간 간격을 확인할 수 있다.

일 실시예에 따르면, 운전자(1)가 금번 운전을 시작하여 얼굴 촬영이 개시된 시점에, 졸음운전 감지장치(100)는, 운전자(1)의 얼굴 이미지 분석 기반의 눈과 눈썹 간 간격의 변화 패턴을 이용하여 눈을 감는 간격으로서의 특정 변경 크기를 도출 및 정의할 수 있다(S20).

구체적으로 설명하면, 졸음운전 감지장치(100)는, 운전자(1)에 대해, 임의의 분석 시간 동안 촬영한 다수의 얼굴 이미지로부터 확인되는 눈과 눈썹 간 간격을 분석하여, 얼굴 크기 별로 눈을 감는 간격을 특정하는 변경 크기를 정의할 수 있다.

이때, 임의의 분석 시간은, 눈을 감는 간격을 특정하기 위해 필요한 다수의 얼굴 이미지를 촬영 및 분석할 수 있는 정도의 시간을 의미하며, 기 정해 놓은 시간일 수도 있고 얼굴 크기 별로 눈을 감는 간격으로서의 특정 변경 크기를 정의하는데 까지 걸리는 유동적인 시간일 수도 있다.

더 구체적으로 설명하면, 졸음운전 감지장치(100)는, 분석 시간 동안 촬영한 다수의 얼굴 이미지를 얼굴 크기 별로 구분하고, 얼굴 크기 별로 눈과 눈썹 간 간격을 분석하여 가장 많이 분포하는 간격 군집의 대표값을 최소 간격으로 설정하고 가장 먼 간격을 최대 간격으로 설정할 수 있다.

이렇게 되면, 분석 시간 동안 촬영한 다수의 얼굴 이미지를 근거로, 얼굴 크기 별로 최소 간격/최대 간격이 설정될 것이다.

그리고, 졸음운전 감지장치(100)는, 얼굴 크기 별로, 최소 간격에서 최대 간격으로 변경되는 변경 크기를 계산하여 눈을 감는 간격으로 특정할 수 있다.

이렇게 되면, 동일한 운전자(1)에 대하여, 얼굴 크기 별로 눈을 감는 간격으로서의 특정 변경 크기(최대 간격 - 최소 간격)가 정의될 수 있다.

전술의 설명과 같이, 졸음운전 감지장치(100)는, 운전자(1)에 대하여, 얼굴 이미지 분석 기반의 눈과 눈썹 간 간격의 변화 패턴을 이용하여, 얼굴 크기 별 특정 변경 크기를 정의할 수 있다(S20).

본 발명의 졸음운전 감지 기술(방법)에 따르면, 졸음운전 감지장치(100)는, 눈을 감는 간격으로서의 특정 변경 크기 정의 후, 운전자(1)의 얼굴 이미지에서 실시간으로 확인되는 눈과 눈썹 간 간격을 지속적으로 모니터링하여, 눈과 눈썹 간 간격이 변경되는 변경 크기와 그 간격의 변경과 관련된 시간값을 모니터링한다(S30).

구체적으로, 졸음운전 감지장치(100)는, 실시간으로 확인되는 눈과 눈썹 간 간격이 변경되는 변경 크기가 눈을 감는 간격으로 기 정의된 특정 변경 크기인지를 모니터링할 수 있다.

즉, 졸음운전 감지장치(100)는, 눈과 눈썹 간 간격의 변화(변경 크기)를 기준으로, 눈과 눈썹 간 간격의 변경 크기를 특정 변경 크기와 비교하여 운전자(1)가 눈을 감았는지 여부를 모니터링하는 것이다.

이때, 졸음운전 감지장치(100)는, 눈과 눈썹 간 간격의 변경 크기와 비교할 특정 변경 크기로서, 전술의 S20단계에서 얼굴 크기 별로 기 정의된 변경 크기 중 금번 촬영된 운전자(1)의 얼굴 이미지의 얼굴 크기와 매칭되는 특정 얼굴 크기에 기 특정된 변경 크기를 사용할 수 있다.

물론, 얼굴 크기 별로 기 정의된 변경 크기 중에서, 금번 촬영된 운전자(1)의 얼굴 이미지의 얼굴 크기와 동일한 특정 얼굴 크기가 존재하지 않을 수도 있다.

이 경우, 졸음운전 감지장치(100)는, 금번 졸음 운전 여부의 판단 대상으로 촬영한 운전자(1)의 얼굴 이미지의 얼굴 크기를 얼굴 크기 별로 기 정의된 변경 크기 중 특정 얼굴 크기에 매칭시켜 보정하고, 이렇게 보정된 얼굴 이미지에서 눈과 눈썹 간 간격의 변경 크기를 모니터링할 수 있다.

즉, 졸음운전 감지장치(100)는, 금번 촬영한 운전자(1)의 얼굴 이미지의 얼굴 크기를 특정 얼굴 크기와 같은 크기가 되도록 보정하며, 이렇게 얼굴 크기가 보정된 얼굴 이미지 내 눈과 눈썹 간 간격의 변경 크기 역시 얼굴 크기가 보정되는 보정 비율에 따라서 보정될 것이므로, 보정된 얼굴 이미지에서 눈과 눈썹 간 간격의 변경 크기를 모니터링할 수 있다.

그리고, 졸음운전 감지장치(100)는, 앞서 보정 기준으로 사용한 특정 얼굴 크기의 특정된 변경 크기를, 앞서 보정한 눈과 눈썹 간 간격의 변경 크기와 비교할 특정 변경 크기로서 사용할 수 있다.

이에, 졸음운전 감지장치(100)는, 실시간으로 확인되는 눈과 눈썹 간 간격의 변경 크기가 눈을 감는 간격으로서의 특정 변경 크기이거나 그 이상인지 여부를 모니터링하고, 눈과 눈썹 간 간격의 변경 과정에서 눈과 눈썹 간 간격이 최대 간격으로 유지되는 유지 시간값 및 눈과 눈썹 간 간격이 최소 간격에서 최대 간격으로 변경되는 동안 소요되는 소요 시간값 중 적어도 하나를 모니터링할 수 있다(S30).

본 발명의 졸음운전 감지 기술(방법)에 따르면, 졸음운전 감지장치(100)는, S30단계의 모니터링을 기반으로, 눈과 눈썹 간 간격의 변경 크기가 눈을 감는 간격으로서의 특정 변경 크기이거나 그 이상인 경우(S40 Yes), 즉 운전자(1)가 눈을 감았다고 판단되는 경우(S40 Yes), 금번 눈과 눈썹 간 간격의 변경 과정에서의 유지 시간값 및 소요 시간값 중 적어도 하나를 근거로 졸음 운전 여부를 판단한다.

구체적으로, 졸음운전 감지장치(100)는, 눈과 눈썹 간 간격의 변경 크기가 특정 변경 크기인 경우(또는, 특정 변경 크기 이상인 경우)에 모니터링한 유지 시간값이 기 정의된 제1 임계 시간 이상이면(S50 Yes), 운전자(1)의 졸음 운전으로 판단할 수 있다(S70).

예를 들면, 졸음운전 감지장치(100)는, 운전자(1)의 눈과 눈썹 간 간격의 변경 크기가 특정 변경 크기인 경우(또는, 특정 변경 크기 이상인 경우) 즉 운전자(1)가 눈을 감을 때의 경우에 모니터링된 유지 시간값 즉 눈을 감은 상태로 유지된 시간이, 기 정의된 제1 임계 시간 이상인지 판단한다.

여기서, 제1 임계 시간은 통상적으로 운전자(1)가 졸리지 않는 평상 시에 눈을 감았다가 즉시 뜨는 경우에 눈을 감을 상태로 유지되는 시간(예: X 초) 보다 긴 시간으로 정의될 수 있으며, 예를 들면 3초로 정의될 수 있다.

이에, 졸음운전 감지장치(100)는, 운전자(1)가 눈을 감을 때의 경우에 모니터링된 유지 시간값 즉 눈을 감은 상태로 유지된 시간이 제1 임계 시간(예: 3초) 이상이라고 판단되면, 운전자(1)의 졸음 운전으로 판단할 수 있다.

한편, 졸음운전 감지장치(100)는, 눈과 눈썹 간 간격의 변경 크기가 특정 변경 크기인 경우 유지 시간값이 제1 임계 시간 이상이 아니더라도(S50 No), 그때의 소요 시간값이 기 정의된 제2 임계 시간 이상인 경우가 소정 횟수(N회) 반복되면(S60 Yes), 운전자(1)의 졸음 운전으로 판단할 수 있다(S70).

여기서, 제2 임계 시간은 통상적으로 운전자(1)가 졸리지 않는 평상 시에 눈을 감았다가 즉시 뜨는 경우 눈을 감을 때 소요되는 시간(예: Y 초) 보다 긴 시간으로 정의될 수 있으며, 예를 들면 0.5초로 정의될 수 있다.

이에, 졸음운전 감지장치(100)는, 운전자(1)가 눈을 감을 때의 경우에 모니터링된 소요 시간값 즉 눈을 감은 때 소요되는 시간이 제2 임계 시간(예: 0.5초) 이상이라고 판단되며 이때 소요 시간값이 제2 임계 시간(예: 0.5초) 이상인 경우가 N회 반복된 경우라면, 운전자(1)의 졸음 운전으로 판단할 수 있다.

반면, 졸음운전 감지장치(100)는, 소요 시간값이 기 정의된 제2 임계 시간 이상이라도 소정 횟수(N회) 반복되지 않은 경우라면(S60 No), 반복 횟수를 1 증가시킨 후(S90) S30단계의 모니터링을 지속할 것이다.

그리고, 본 발명의 졸음운전 감지 기술(방법)에 따르면, 졸음운전 감지장치(100)는, S50 또는 S60단계에서 운전자(1)의 졸음 운전으로 판단한 경우 운전자(1)에게 경고 알람을 제공함으로써, 운전자(1)의 주위를 환기시켜 졸음 운전을 예방할 수 있도록 한다(S70).

전술과 같은 본 발명의 졸음운전 감지 기술(방법)에 따르면, 졸음운전 감지장치(100)는, 금번 시작된 운전이 종료되기 전 졸음운전 감지 기능이 오프되지 않는 한(80 No), S30단계의 모니터링을 지속하여 그 이후 단계를 통해 졸음 운전 여부를 계속해서 판단(감지)할 것이다.

이상 설명한 바와 같이, 본 발명에 따르면, 운전자의 얼굴 이미지로부터 눈과 눈썹 간 간격의 변화를 기준으로 하여 오차 없는 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 구체화되고 새로운 방식의 졸음 운전 감지 기술을 실현할 수 있다.

이렇듯, 본 발명에서는, 눈과 눈썹 간 간격의 변화를 기준으로 하는 높은 신뢰도의 졸음 운전 감지 기술을 구체화하여 실현함으로써, 운전자의 졸음에 의한 사고를 보다 강력하게 예방할 수 있는 효과를 도출한다.

본 발명의 일 실시예에 따른 졸음운전 감지방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.

본 발명의 졸음운전 감지장치 및 졸음운전 감지방법에 따르면, 눈과 눈썹 간 간격의 변화를 기준으로 하여 오차 없는 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 구체화되고 새로운 방식의 졸음 운전 감지 기술을 실현하는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

100 : 졸음운전 감지장치
110 : 확인부 120 : 모니터링부
130 : 판단부 140 : 분석부
150 : 서비스부

Claims (13)

1. 주행 중인 이동체를 운전하는 운전자의 얼굴에서, 눈과 눈썹 간 간격을 확인하는 확인부;
   상기 확인한 눈과 눈썹 간 간격을 근거로, 상기 간격이 변경되는 변경 크기 및 상기 간격의 변경과 관련된 시간값을 모니터링하는 모니터링부; 및
   상기 모니터링한 변경 크기 및 시간값을 근거로, 상기 운전자의 졸음 운전 여부를 판단하는 판단부; 및
   상기 운전자에 대해 임의의 분석 기간 동안 촬영한 다수의 얼굴 이미지를 얼굴 크기 별로 구분하고, 얼굴 크기 별로 눈과 눈썹 간 간격을 분석하여 가장 많이 분포하는 간격 군집의 대표값을 최소 간격으로 설정하고 가장 먼 간격을 최대 간격으로 설정하며, 상기 얼굴 크기 별로, 상기 최소 간격에서 상기 최대 간격으로 변경되는 변경 크기를 계산하여 눈을 감는 간격으로 특정하는 분석부를 포함하며,
   상기 모니터링부는,
   졸음 운전 여부의 판단 대상으로 촬영한 운전자의 얼굴 이미지의 얼굴 크기를 상기 얼굴 크기 별로 기 정의된 변경 크기와 매칭시키며,
   상기 매칭 결과 상기 얼굴 이미지와 동일한 얼굴 크기가 있는 경우, 상기 동일한 얼굴 크기에 특정된 변경 크기를 기준으로 상기 얼굴 이미지에서 눈과 눈썹 간 간격의 변경 크기를 모니터링하며,
   상기 매칭 결과 상기 얼굴 이미지와 동일한 얼굴 크기가 없는 경우, 상기 얼굴 이미지를 상기 얼굴 크기 별로 기 정의된 변경 크기 중 특정 얼굴 크기에 매칭시켜 보정하고, 상기 특정 얼굴 크기에 기 특정된 변경 크기를 기준으로 상기 보정된 얼굴 이미지에서 눈과 눈썹 간 간격의 변경 크기를 모니터링하는 것을 특징으로 하는 졸음운전 감지장치.
2. 제 1 항에 있어서,
   상기 모니터링부는,
   상기 눈과 눈썹 간 간격의 변경 크기가 눈을 감는 간격으로 기 정의된 특정 변경 크기인 경우,
   상기 눈과 눈썹 간 간격이 최대 간격으로 유지되는 유지 시간값 및 상기 눈과 눈썹 간 간격이 최소 간격에서 최대 간격으로 변경되는 동안 소요되는 소요 시간값 중 적어도 하나를 모니터링하는 것을 특징으로 하는 졸음운전 감지장치.
3. 제 2 항에 있어서,
   상기 판단부는,
   상기 눈과 눈썹 간 간격의 변경 크기가 상기 특정 변경 크기인 경우에 모니터링한 상기 유지 시간값이 기 정의된 제1 임계 시간 이상이면, 상기 운전자의 졸음 운전으로 판단하는 것을 특징으로 하는 졸음운전 감지장치.
4. 제 2 항에 있어서,
   상기 판단부는,
   상기 눈과 눈썹 간 간격의 변경 크기가 상기 특정 변경 크기인 경우에 모니터링한 상기 소요 시간값이 기 정의된 제2 임계 시간 이상인 경우가 소정 횟수 반복되면, 상기 운전자의 졸음 운전으로 판단하는 것을 특징으로 하는 졸음운전 감지장치.
5. 삭제
6. 삭제
7. 삭제
8. 주행 중인 이동체를 운전하는 운전자의 얼굴에서, 눈과 눈썹 간 간격을 확인하는 간격확인단계;
   상기 확인한 눈과 눈썹 간 간격을 근거로, 상기 간격이 변경되는 변경 크기 및 상기 간격의 변경과 관련된 시간값을 모니터링하는 모니터링단계;
   상기 모니터링한 변경 크기 및 시간값을 근거로, 상기 운전자의 졸음 운전 여부를 판단하는 판단단계; 및
   상기 운전자에 대해 임의의 분석 기간 동안 촬영한 다수의 얼굴 이미지를 얼굴 크기 별로 구분하고, 얼굴 크기 별로 눈과 눈썹 간 간격을 분석하여 가장 많이 분포하는 간격 군집의 대표값을 최소 간격으로 설정하고 가장 먼 간격을 최대 간격으로 설정하며, 상기 얼굴 크기 별로, 상기 최소 간격에서 상기 최대 간격으로 변경되는 변경 크기를 계산하여 눈을 감는 간격으로 특정하는 분석단계를 포함하며,
   상기 모니터링단계는,
   졸음 운전 여부의 판단 대상으로 촬영한 운전자의 얼굴 이미지의 얼굴 크기를 상기 얼굴 크기 별로 기 정의된 변경 크기와 매칭시키며,
   상기 매칭 결과 상기 얼굴 이미지와 동일한 얼굴 크기가 있는 경우, 상기 동일한 얼굴 크기에 특정된 변경 크기를 기준으로 상기 얼굴 이미지에서 눈과 눈썹 간 간격의 변경 크기를 모니터링하며,
   상기 매칭 결과 상기 얼굴 이미지와 동일한 얼굴 크기가 없는 경우, 상기 얼굴 이미지를 상기 얼굴 크기 별로 기 정의된 변경 크기 중 특정 얼굴 크기에 매칭시켜 보정하고, 상기 특정 얼굴 크기에 기 특정된 변경 크기를 기준으로 상기 보정된 얼굴 이미지에서 눈과 눈썹 간 간격의 변경 크기를 모니터링하는 것을 특징으로 하는 졸음운전 감지장치의 동작 방법.
9. 제 8 항에 있어서,
   상기 모니터링단계는,
   상기 눈과 눈썹 간 간격의 변경 크기가 눈을 감는 간격으로 기 정의된 특정 변경 크기인 경우,
   상기 눈과 눈썹 간 간격이 최대 간격으로 유지되는 유지 시간값 및 상기 눈과 눈썹 간 간격이 최소 간격에서 최대 간격으로 변경되는 동안 소요되는 소요 시간값 중 적어도 하나를 모니터링하는 것을 특징으로 하는 졸음운전 감지장치의 동작 방법.
10. 제 9 항에 있어서,
    상기 판단단계는,
    상기 눈과 눈썹 간 간격의 변경 크기가 상기 특정 변경 크기인 경우에 모니터링한 상기 유지 시간값이 기 정의된 제1 임계 시간 이상이면, 상기 운전자의 졸음 운전으로 판단하거나,
    상기 눈과 눈썹 간 간격의 변경 크기가 상기 특정 변경 크기인 경우에 모니터링한 상기 소요 시간값이 기 정의된 제2 임계 시간 이상인 경우가 소정 횟수 반복되면, 상기 운전자의 졸음 운전으로 판단하는 것을 특징으로 하는 졸음운전 감지장치의 동작 방법.
11. 삭제
12. 삭제
13. 하드웨어와 결합되어, 제 8 항, 제 9 항, 및 제 10 항 중 어느 한 항의 각 단계를 실행시키기 위해 매체에 저장된 컴퓨터 프로그램.

Images