KR101513540B1 - 손 제스처 인식에 의한 차량 제어 장치 및 방법 - Google Patents

손 제스처 인식에 의한 차량 제어 장치 및 방법 Download PDF

Info

Publication number
KR101513540B1
KR101513540B1 KR1020140088221A KR20140088221A KR101513540B1 KR 101513540 B1 KR101513540 B1 KR 101513540B1 KR 1020140088221 A KR1020140088221 A KR 1020140088221A KR 20140088221 A KR20140088221 A KR 20140088221A KR 101513540 B1 KR101513540 B1 KR 101513540B1
Authority
KR
South Korea
Prior art keywords
hand gesture
unit
foreground
vehicle
driver
Prior art date
Application number
KR1020140088221A
Other languages
English (en)
Inventor
김재희
조재익
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020140088221A priority Critical patent/KR101513540B1/ko
Application granted granted Critical
Publication of KR101513540B1 publication Critical patent/KR101513540B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

손 제스처 인식에 의한 차량 제어 장치 및 방법을 공개한다. 본 발명은 운전자의 손 제스처를 감지하기 위해 차량 내부를 촬영하여 입력 영상을 획득하는 적외선 영상 취득부, 입력 영상을 수신하여 정규화하고, 기설정된 방식으로 전경과 배경을 분리하는 영상 전처리부, 미리 지정된 적어도 하나의 기준 손 제스처의 특징과 적어도 하나의 기준 손 제스처에 대응하는 제스처 명령이 저장되는 기준 제스처 학습부, 영상 전처리부에서 분리된 전경과 배경을 수신하고, 수신된 배경에서 스티어링 휠 영역을 판별하며, 전경과 스티어링 휠 영역의 일부가 중첩되면, 적어도 하나의 기준 손 제스처 중 전경에 포함된 운전자의 손 제스처에 대응하는 기준 손 제스처를 선택하고, 선택된 기준 손 제스처에 대응하는 제스처 명령을 획득하는 손 제스처 인식부 및 손 제스처 인식부로부터 인가되는 제스처 명령에 응답하여 기설정된 동작을 수행하는 제어 명령 실행부를 포함한다.

Description

손 제스처 인식에 의한 차량 제어 장치 및 방법{Apparatus and method for controlling vehicle by gesture recognition with hand}
본 발명은 차량 제어 장치 및 방법에 관한 것으로, 특히 차량 운전 중에 스티어링 휠을 잡은 손의 제스처 인식에 의한 차량 제어 장치 및 방법에 관한 것이다.
최근 차량에는 차량 운행 중 사용 가능한 다양한 편의 기능을 제공하기 위한 각종 장치들이 구비되고 있다. 그리고 이러한 편의 제공 기기의 개수 또한 계속적으로 증가하는 추세에 있다.
차량 내 편의 기능 제공 기기는 운전자의 차량 제어 편의성을 증대하기 위해 구비되었으나, 제공할 수 있는 기능이 다양해지고 복잡지고 있으며, 차량에 구비되는 개수 또한 증가되고 있어, 오히려 운전자가 운전에 집중하지 못하여 안전 사고를 유발하는 요인이 될 수 있다.
특히 다양한 편의 제공 기기들 중 정속 주행(Cruise Control), 전화 응대, 비상등, 네비게이션과 같이 운전 중 조작이 필요한 기기의 제어를 기존과 같이 버튼 조작에 의하여 수행할 시에는 안전 운전에 큰 위험이 될 수 있다.
이에 최근에는 카메라를 이용한 운전자 손 제스처 인식 기술에 기반한 차량 내 편의 제공 기기 제어 방법 연구 되고 있다. 한국 공개 특허 제10-2013-0068587호(2013.06.26 공개) 및 한국 공개 특허 제10-2011-0062062호(2011.06.10 공개)에는 터치 패드 기반의 제스처 인식 기법이 공개되어 있다. 그러나 상기한 선행 기술들은 터치 패드를 기반으로 사용자의 제스처를 인식하도록 함으로써, 차량을 운전 중인 운전자가 직접 터치 패드를 터치해야 한다. 따라서 운전 중 버튼 조작과 마찬가지로 안전 운전에 장애가 된다는 문제가 있다.
한편 한국 공개 특허 제10-2011-0022057호에는 스티어링 휠(Steering Wheel)과는 무관하게 단순히 운전자의 손 제스처를 인식하여 편의 제공 기기를 제어하는 기술이 개시되어 있다. 그러나 이 기술 또한 운전자 손 제스처 인식이 운전 중의 안전 운전과는 무관하게 운전자의 손 동작 인식이라는 측면에서만 다루고 있다.
따라서 기존에 운전자의 제스처를 이용한 편의 제공 기기의 제어 기술은 운전자의 손동작이 차량의 스티어링 휠과는 별도로 이루어지기 때문에, 운전 중에 안전하게 편의 제공 기기를 제어할 수 있도록 하기에는 부적절하다는 한계가 있다.
본 발명의 목적은 운전자의 두 손 중 적어도 하나가 스티어링 휠을 그립한 상태인지 감지하고, 스티어링 휠을 그립한 상태로 행하는 손 제스처를 인식하여 편의 제공 기기를 제어할 수 있도록 하여, 운전자가 운전 중에도 안전하게 편의 제공 기기를 조작하도록 하는 차량 제어 장치를 제공하는데 있다.
본 발명의 다른 목적은 상기 목적을 달성하기 위한 차량 제어 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 차량 제어 장치는 운전자의 손 제스처를 감지하기 위해 차량 내부를 촬영하여 입력 영상을 획득하는 적외선 영상 취득부; 상기 입력 영상을 수신하여 정규화하고, 기설정된 방식으로 전경과 배경을 분리하는 영상 전처리부; 미리 지정된 적어도 하나의 기준 손 제스처의 특징과 상기 적어도 하나의 기준 손 제스처에 대응하는 제스처 명령이 저장되는 기준 제스처 학습부; 상기 영상 전처리부에서 분리된 상기 전경과 상기 배경을 수신하고, 수신된 배경에서 스티어링 휠 영역을 판별하며, 상기 전경과 상기 스티어링 휠 영역의 일부가 중첩되면, 상기 적어도 하나의 기준 손 제스처 중 상기 전경에 포함된 상기 운전자의 손 제스처에 대응하는 기준 손 제스처를 선택하고, 선택된 상기 기준 손 제스처에 대응하는 상기 제스처 명령을 획득하는 손 제스처 인식부; 및 상기 손 제스처 인식부로부터 인가되는 상기 제스처 명령에 응답하여 기설정된 동작을 수행하는 제어 명령 실행부; 를 포함한다.
상기 손 제스처 인식부는 상기 영상 전처리부로부터 상기 전경이 수신되지 않거나, 수신된 상기 전경이 상기 스티어링 휠 영역과 중첩되지 않는 경우 및 상기 전경이 상기 스티어링 휠 영역과 기설정된 기준 범위를 초과하여 중첩되면, 경고 신호를 생성하여 상기 제어 명령 실행부로 전송하고, 상기 제어 명령 실행부는 상기 경고 신호가 기설정된 제1 시간 이상 연속하여 수신되면, 상기 차량의 주행 상태를 분석하여 기설정된 방식으로 운전자에게 경고를 출력하며, 상기 경고를 출력한 후, 기설정된 제2 시간 이상 상기 경고 신호가 연속하여 수신되면, 상기 차량을 긴급 정지 시키는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명의 일 예에 따른 차량 제어 방법은 적외선 영상 취득부, 영상 전처리부, 기준 제스처 학습부, 손 제스처 인식부 및 제어 명령 실행부를 포함하는 차량 제어 장치를 이용한 차량 제어 방법에 있어서, 상기 적외선 영상 취득부가 운전자의 손 제스처를 감지하기 위해 차량 내부를 촬영하여 입력 영상을 획득하는 단계; 상기 영상 전처리부가 상기 입력 영상을 수신하여 정규화하고, 기설정된 방식으로 전경과 배경을 분리하는 단계; 상기 손 제스처 인식부가 상기 영상 전처리부에서 분리된 상기 전경과 상기 배경을 수신하고, 수신된 배경에서 스티어링 휠 영역을 판별하며, 상기 전경과 상기 스티어링 휠 영역의 일부가 중첩되는지 판별하는 단계; 상기 손 제스처 인식부가 상기 전경과 상기 스티어링 휠 영역의 일부가 중첩되면, 미리 지정된 적어도 하나의 기준 손 제스처 중 상기 전경에 포함된 상기 운전자의 손 제스처에 대응하는 기준 손 제스처를 선택하고, 선택된 상기 기준 손 제스처에 대응하는 상기 제스처 명령을 획득하는 단계; 및 상기 제어 명령 실행부가 상기 제스처 명령에 응답하여 기설정된 동작을 수행하는 단계; 를 포함한다.
따라서, 본 발명의 손 제스처 인식에 의한 차량 제어 장치 및 방법은 근적외선 카메라를 이용하여 밤에도 운전자의 손 제스처를 감지 및 인식하여 차량을 제어 할 수 있으며, 특히 운전자의 손이 스티어링 휠을 그립한 상태에서의 제스처를 인식할 수 있도록 하여, 차량의 각종 기기를 제어할 때도 안전 운전을 수행할 수 있도록 한다. 뿐만 아니라, 운전자의 양손이 모두 스티어링 휠에서 떨어지거나, 운전자가 신체상 이상으로 졸도하는 등의 상태를 적외선 카메라로 감지하여 운전자에게 경고를 출력하거나, 차량을 긴급 정지시킴으로써, 운전자가 차량은 안전하게 운행할 수 있도록 한다.
도1 은 본 발명의 일 실시예에 따른 손 제스처 인식에 의한 차량 제어 장치의 구성을 나타낸다.
도2 는 도1 의 적외선 영상 취득부의 일 구현예를 나타낸다.
도3 은 도1 의 적외선 영상 취득부의 차량 내 배치 예를 나타낸다.
도4 는 도1 의 손 제스처 인식부가 인식하는 손 제스처의 일예를 나타낸다.
도5 는 본 발명의 일 실시예에 따른 손 제스처 인식에 의한 차량 제어 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도1 은 본 발명의 일 실시예에 따른 손 제스처 인식에 의한 차량 제어 장치의 구성을 나타내고, 도2 는 도1 의 적외선 영상 취득부의 일 구현예를 나타낸다.
도1 을 참조하면, 본 발명의 손 제스처 인식에 의한 차량 제어 장치(100)는 적외선 영상 취득부(110), 영상 전처리부(120), 손 제스처 인식부(130), 기준 제스처 학습부(140) 및 제어 명령 실행부(150)를 포함한다.
먼저 적외선 영상 취득부(110)는, 도2 에 도시된 바와 같이, 밝은 주간 환경뿐만 아니라 야간이나 터널 등의 어두운 환경에서도 운전자의 손 제스처를 감지할 수 있도록 적외선 카메라(111) 및 적외선 조명(112)을 구비하여 입력 영상을 획득한다. 본 발명에서 적외선 카메라(111)는 일예로 650nm 에서 900nm 파장 대역의 근적외선을 감지할 수 있는 근적외선 카메라로 구현될 수 있다. 그리고 적외선 조명(112) 각각은 적어도 하나의 적외선 램프로 구현될 수 있다. 최근 적외선 램프는 대부분 소형 LED로 구현되고 있으므로, 도2 에서와 같이 복수개의 적외선 LED가 적외선 카메라(111)의 주위에 원형으로 배치될 수 있다.
그리고 본 발명에서 적외선 영상 취득부(110)는 차량 내에 배치되어 운전자의 손의 제스처과 함께 스티어링 휠을 감지한다. 따라서 운전자의 손 제스처 및 스티어링 휠을 용이하게 감지할 수 있는 위치에 배치되어야 한다.
도3 은 도1 의 적외선 영상 취득부의 차량 내 배치 예를 나타낸다.
도3 에 도시한 바와 같이, 적외선 영상 취득부(110)는 운전자의 손과 스티어링 휠을 용이하게 감지할 수 있도록, 일 예로 차량 내에서도 운전자의 머리 위, 좌측 및 우측 천정 및 보조석의 머리 받침대 중 적어도 한곳에 배치될 수 있다. 그리고 운전자 제스처 인식의 정확도를 높이기 위해서 적외선 영상 취득부(110)는 복수개의 적외선 카메라(111)를 구비할 수 있으며, 복수개의 적외선 카메라(111)가 각각 서로 다른 위치에 배치될 수 있다. 적외선 영상 취득부(110)가 복수개의 적외선 카메라(111)를 구비하는 경우, 적외선 조명(112)이 도2 에 도시된 바와 같이 복수개의 적외선 카메라(111) 각각 결합된 형태로 복수개로 구비될 수 있다. 그러나 적외선 조명(112)는 적외선 카메라(111)과 별도로 하나만 제공될 수도 있으며, 적외선 조명(112)가 하나의 적외선 카메라(111)과 결합된 형태로 제공되어도 무방하다.
본 발명에서 적외선 영상 취득부(110)가 차량의 스티어링 휠을 감지하는 이유는 운전자의 손이 스티어링 휠 상에 배치된 상태에서만 차량 제어 장치(100)가 운전자의 손 제스처를 인식할 수 있도록 함으로써, 운전자가 안전 운전을 수행할 수 있도록 하기 위함이다.
한편 영상 전처리부(120)는 적외선 영상 취득부(110)에서 획득한 입력 영상을 정규화하여, 전경(foreground)과 배경(background)을 분리(segmentation)한다. 여기서 배경은 운전자가 운전석에 착석하지 않은 상태, 즉 차량의 운전석에 사람이 없을 때 획득된 입력 영상을 배경 영상으로 획득하고, 획득된 배경 영상을 기초로 배경 모델링(background modeling)을 수행함으로써. 이후 입력 영상에서 배경을 분리할 수 있다.
입력 영상에서 전경과 배경을 용이하게 분리기 위해서는 배경 영상이 우선적으로 판별될 수 있어야 한다. 이에 본 발명의 영상 전처리부(120)는 차량의 시동이 걸리기 전, 차량의 운전석 측 문이 열리는 시점부터 적외선 영상 취득부(110)를 구동하여 차량의 시동이 걸리기 전까지의 초기 입력 영상을 배경 영상으로 획득할 수 있다.
그리고 차량에 시동이 걸린 이후 획득되는 입력 영상에서 모델링된 배경을 제거하는 기법을 이용하여 전경을 추출할 수 있다. 특히 영상 전처리부(120)는 전경을 추출하기 위하여 전경 객체가 포함되어 있지 않은 배경 영상을 참조 영상으로 등록하여 입력 영상과 참조 영상의 차를 계산하는 방법을 이용하여 전경인 운전자의 손 영역을 추출할 수도있다. 그러나 배경 영상을 참조 영상으로 등록하여 입력 영상과 참조 영상의 차를 계산하는 방법은 적절한 참조 영상을 사용자가 입력해야 한다는 전제가 필요하다. 또한 배경에 변화(조명 변화, 핸들의 이동 등)가 발생했을 경우에 그 변화에 대응하지 못하는 문제점이 있다.
따라서 본 발명에서는 Mixture of Gaussian (이하 MoG) 기반의 배경 제거 기법을 사용한다. MoG 기반 배경 제거 기법은 연속한 매 입력 영상을 이용하여 배경 모델을 생성하고 생성된 배경 모델과 입력 영상을 비교하여 움직이는 객체를 검출한다. 이 기법은 입력 영상의 통계적 특성을 이용하여 배경 모델을 자동으로 생성하고 업데이트(update)하기 때문에 사용자의 개입을 필요로 하지 않으며 배경의 변화에도 대응이 가능하다.
MoG 기반 배경 제거 기법은 하기의 수학식 1과 같이, 특정 화소(pixel) X가 시간 t 에서 It X의 화소값(pixel value)을 가질 확률을 MoG를 사용하여 배경 모델을 모델링하는 것이다.
Figure 112014065727545-pat00001
(여기서 K는 Gaussians의 개수를 의미하며, 일반적으로 3에서 5개의 Gaussian이 사용된다. ωi,t X, μi,t X, Σi,t X 는 배경 모델의 매개변수들로서 각각 시간 t, 화소 X 위치에서 i번째 Gaussian 분포의 가중치, 평균, 공분산행렬을 의미한다.)
매 입력 프레임에 대하여 배경 모델의 매개변수들(ωi,t X, μi,t X, Σi,t X )은 online K-means 방법에 의하여 수학식 2와 같이 업데이트된다.
Figure 112014065727545-pat00002
(여기서, θi,t X는 배경 모델의 매개변수들(ωi,t X, μi,t X, Σi,t X ) 각각에 대한 대푯값으로 시간 t에서의 화소 X에 대한 배경 모델의 i번째 Gaussian 분포를 나타내며, It X는 시간 t의 입력 영상에서 화소(x)의 값을 나타낸다.)
따라서 각 Gaussian 모델은 새로운 입력 값(It X)에 대한 예측치Λ(It X, θi,t-1 X)에 의해서 그 매개변수를 업데이트하게 된다. 즉, 정합된 Gaussian 모델 가운데 입력 값과 가장 가까운 모델의 매개변수만이 업데이트되게 되며, 나머지 모델들은 매개변수 값은 그대로 유지된 채 가중치만 1-α만큼 감소하게 된다. 여기에서 α는 배경모델의 학습 속도를 결정하는 상수를 의미한다. 새로운 입력 영상에 대해서 배경 모델의 업데이트가 이루어진 이후에는 각 분포의 가중치의 합이 1이 되도록 가중치 값이 정규화 된다.
K(여기서 K는 자연수)개의 Gaussian 분포 가운데 배경에 해당하는 모델을 결정하기 위해서, 우선 각 Gaussian 모델이 가중치 크기 순으로 정렬되며, 가중치의 합이 주어진 임계값(T)를 넘는 최소 개수의 Gaussian 모델들이 배경 모델로 선택된다.
상기에서 설명한 확률 모델에 의해 손이 존재하지 않는 입력 영상을 이용하여 배경을 모델링 한 후, 입력 영상에서 손이나 운전자의 신체 다른 부위가 나타나면 손에 해당하는 영역 내에서는 그 확률 값이 매우 작게 나타나게 되어 전경으로 판단할 수 있게 되는 것이다.
기준 제스처 학습부(140)는 기설정된 적어도 하나의 기준 손 제스처가 포함된 기준 영상을 학습 데이터로 인가받고, 인가된 학습 데이터로부터 적어도 하나의 기준 손 제스처 각각의 특징(feature)을 학습하여 저장한다. 즉 기준 제스처 학습부(140)는 차량 제어 장치(100)가 인식해야하는 적어도 하나의 손 제스처의 특징이 저장된다. 또한 기준 제스처 학습부(140)는 각 손 제스처에 대응하는 제스처 명령이 맵핑되어 저장될 수 있다.
상기에서는 기준 제스처 학습부(140)가 학습 데이터를 인가받고, 학습을 통해 손 제스처 각각의 특징을 학습하여 저장하는 것으로 설명하였으나, 경우에 따라서는 기준 손 제스처 각각의 특징이 직접 기준 제스처 학습부(140)에 저장되도록 구현되어도 무방하다.
손 제스처 인식부(130)는 영상 전처리부(120)에서 추출된 전경과 배경을 수신하고, 수신된 전경 영상에서 손 제스처의 특징을 추출한다. 그리고 추출된 손 영역 영상을 기준 제스처 학습부(140)에 저장된 기준 손 제스처의 특징과 비교하여, 운전자의 손 제스처를 인식한다.
여기서 손 제스처 인식부(130)는 기준 제스처 학습부(140)에 저장된 적어도 하나의 기준 손 제스처 각각의 특징을 수신된 손 영역 영상의 특징 비교하여 가장 유사한 특징을 갖는 기준 손 제스처를 판별한다. 그리고 판별된 기준 손 제스처의 특징과 수신된 손 영역 영상의 특징 사이의 차이가 기설정된 기준 범위 이내인지 분석한다. 만일 판별된 기준 손 제스처의 특징과 수신된 손 영역 영상의 특징의 차이가 기준 범위 이내인 것으로 분석되면, 운전자가 판별된 기준 손 제스처에 대응하는 손 제스처를 수행한 것으로 인식하고, 판별된 기준 손 제스처에 대응하는 제스처 명령을 기준 제스처 학습부(140)에서 획득하여 제어 명령 실행부(150)로 전송한다.
그러나 기준 손 제스처의 특징과 수신된 손 영역 영상의 특징의 차이가 기준 범위를 초과하는 것으로 분석되면, 수신된 손 영역 영상에 대응하는 기준 손 제스처가 없는 것이므로, 운전자가 손 제스처를 수행하지 않은 것으로 인식한다.
또한 손 제스처 인식부(130)는 영상 전처리부(120)로부터 전경이 수신되지 않거나, 전경이 수신되더라도, 전경과 스티어링 휠 영역이 중첩되지 않으면, 제어 명령 실행부(150)로 경고 신호를 전송한다. 여기서 스티어링 휠 영역은 손 제스처 인식부(130)가 모델링된 배경 영상에서 스티어링 휠의 위치 및 형상을 이용하여 미리 설정할 수 있다. 그리고 손 제스처 인식부(130)가 기설정된 시간 동안 전경이 수신되지 않거나 전경과 스티어링 휠 영역이 중첩되지 않으면, 경고 신호를 제어 명령 실행부(150)로 전송하는 것은 운전자의 손이 스티어링 휠을 그립하지 않은 것으로 판단하여 안전 운전에 문제가 있는 것으로 판단하기 때문이다.
뿐만 아니라 손 제스처 인식부(130)는 전경으로 획득된 영상이 스티어링 휠 영역의 기설정된 범위(예를 들면 70%) 이상과 중첩되는 경우에도, 제어 명령 실행부(150)로 경고 신호를 전송한다. 이는 운전자가 졸음 운전 상태이거나, 신체적으로 이상이 생겨 몸을 가눌 수 없는 위기 상태인 것으로 판별할 수 있기 때문이다.
제어 명령 실행부(150)는 손 제스처 인식부(130)에서 인가된 제스처 명령에 대응하는 동작을 수행하여 차량을 제어한다.
또한 제어 명령 실행부(150)는 기설정된 제1 시간(예를 들면 1초) 이상 동안 경고 신호가 수신되면, 운전자에게 음향, 음성 및 영상 등의 기설정된 방식으로 경고를 출력한다. 그리고 경고를 출력한 후로도 기설정된 제2 시간(예를 들면 5초) 동안 경고 신호가 연속하여 수신되면, 차량을 제어하여 차량을 긴급 정지 시킨다.
이때 제어 명령 실행부(150)는 단순히 경고 신호의 수신 여부만으로 경고를 출력하거나 차량을 정지시키지 않고, 경고 신호와 더불어 현재 차량의 주행 상태를 함께 판단하여 경고를 출력할 수 있다. 예를 들어 차량이 신호 대기 중이거나, 예열 중인 경우, 차량에 시동이 켜져 있더라도 운전자는 스티어링 휠을 그립하지 않을 수 있다. 따라서 제어 명령 실행부(150)는 일예로 차량이 정지 상태가 아닌 경우에 경고 신호가 수신되면 경고를 출력하도록 설정될 수 있다.
도4 는 도1 의 손 제스처 인식부가 인식하는 손 제스처의 일예를 나타낸다.
도4 에서 (a) 내지 (f)는 운전자의 차량을 제어하기 위해 입력하는 손 제스처를 나타낸다. 본 발명에서 운전자의 손 제스처는 모두 운전자의 두 손 중 적어도 한 손이 스티어링 휠을 그립한 상태로 인가할 수 있도록 구성되어야 하며, 이에 따라 (a) 내지 (f)의 손 제스처 또한 운전자의 적어도 한 손이 스티어링 휠을 그립한 상태로 수행되고 있다. 도4 에서 (a)는 정상 운전 상태의 손 제스처를 나타내고, (b)는 정속 주행(Cruise Control) 기능을 활성화하기 위한 손 제스처를 나타낸다. 그리고 (c)는 차량의 속도 또는 차량 내부의 멀티미디어 기기의 음향을 조절하기 위한 손 제스처를 나타내며, (d)는 차량 내 멀티미디어 기기나 전화 통화의 실행 종료를 나타낸다. (e) 및 (f)는 각각 전화 통화 및 비상등 온 에 대응하는 손 제스처를 나타낸다.
한편 도4 에서 (g)와 (h)는 비정상 운전 상태의 일예를 나타낸다. (g)는 운전자의 두 손 중 적어도 한 손이 스티어링 휠을 그립하고 있지 않은 상태로서, 운전자가 운전을 수행하지 않는 상태이다. 그리고 (h)는 스티어링 휠 영역의 일정 범위 이상이 전경과 중첩되는 경우로서, 운전자가 졸고 있거나 신체적 이상이 발생한 경우이다. (g)의 경우와 (h)의 경우 모두 위험 상황이라고 판단할 수 있으므로, 본 발명의 차량 제어 장치는 1차로 경고를 출력하고, 2차적으로 차량을 긴급 정지 시킬 수 있다.
도5 는 본 발명의 일 실시예에 따른 손 제스처 인식에 의한 차량 제어 방법을 나타낸다.
도1 내지 도4 를 참조하여 도5 의 손 제스처 인식에 의한 차량 제어 방법을 설명하면, 먼저 적외선 영상 취득부(110)가 입력 영상을 획득한다(S10). 그리고 영상 전처리부(S120)는 적외선 영상 취득부(110)로부터 입력 영상을 수신하고, 입력 영상에서 전경과 배경을 기설정된 방식으로 분리한다.
손 제스처 인식부(130)는 영상 전처리부(S120)로부터 전경과 배경을 수신하고, 수신된 전경과 기설정된 스티어링 휠 영역이 중첩되는지 분석하여, 운전자의 손이 스티어링 휠을 그립한 상태인지 판별한다(S30).
이때 손 제스처 인식부(130)는 전경과 스티어링 휠 영역이 기설정된 기준 범위를 초과하여 중첩되는지도 함께 판별할 수 있다. 전경과 스티어링 휠 영역이 기설정된 기준 범위를 초과하여 중첩되는 경우는 상기한 바와 같이 운전자가 졸고 있거나, 운전자에 신체에 이상이 발생한 경우일 수 있다.
만일 전경과 기설정된 스티어링 휠 영역이 일부 중첩되고, 중첩된 범위가 기준 범위 이내로서, 운전자의 손이 스티어링 휠을 그립하고 있는 것으로 판단되면, 전경에서 운전자의 손 제스처의 특징을 추출하고, 추출된 특징을 기준 제스처 학습부(140)에 저장된 기준 손 제스처의 특징과 비교하여, 운전자의 손 제스처를 인식한다(S40). 즉 손 제스처 인식부(130)는 기준 제스처 학습부(140)에 저장된 적어도 하나의 기준 손 제스처 각각의 특징을 수신된 전경의 손 제스처 특징 비교하여 가장 유사한 특징을 갖는 기준 손 제스처를 판별한다.
그리고 손 제스처 인식부(130)는 판별된 기준 손 제스처에 대응하는 제스처 명령을 기준 제스처 학습부(140)로부터 수신하여 손 제스처를 제스처 명령으로 변환한다(S50).
제어 명령 실행부(150)는 손 제스처 인식부(130)에서 인가된 제스처 명령에 대응하는 동작을 수행한다.
여기서 손 제스처 인식부(130)는 추출된 특징에 대응하는 기준 손 제스처가 판별되지 않으면, 손 제스처가 인가되지 않은 것으로 판단하고, 제스처 명령으로 변환하지 않는다.
한편, 전경과 기설정된 스티어링 휠 영역이 중첩되지 않거나, 중첩된 범위가 기준 범위를 초과하면, 손 제스처 인식부(130)는 제어 명령 실행부(150)로 경고 신호를 출력한다. 그리고 제어 명령 실행부(150)는 경고 신호가 기설정된 제1 시간 이상 연속하여 인가되면, 운전자에게 경고를 출력한다(S70).
그리고 운전자의 손이 스티어링 휠을 그립한 상태로 전환되는지를 다시 판별한다(S80). 즉 경고 신호의 수신이 중지되는지 판별한다(S80). 만일 경고 신호의 수신이 중지되어 운전자의 손이 스티어링 휠을 그립한 상태로 전환되면, 다시 손 제스처 인식부(130)가 손 제스처를 인식한다(S40). 그러나 경고 신호가 계속 수신되면, 운전자에 이상이 생긴 것으로 판단하고, 제어 명령 실행부(150)는 차량을 긴급 정지 시킨다(S90).
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (8)

  1. 운전자의 손 제스처를 감지하기 위해 차량 내부를 촬영하여 입력 영상을 획득하는 적외선 영상 취득부;
    상기 입력 영상을 수신하여 정규화하고, 상기 차량의 운전석 측 문이 열리는 시점부터 상기 차량의 시동이 걸리기 전까지의 초기 입력 영상을 배경 영상으로 획득하여 배경 모델링하고, 상기 차량에 시동이 걸린 이후 획득되는 입력 영상에서 상기 배경 모델링된 상기 배경 영상을 제거함으로써, 전경과 배경을 분리하는 영상 전처리부;
    미리 지정된 적어도 하나의 기준 손 제스처의 특징과 상기 적어도 하나의 기준 손 제스처에 대응하는 제스처 명령이 저장되는 기준 제스처 학습부;
    상기 영상 전처리부에서 분리된 상기 전경과 상기 배경을 수신하고, 수신된 배경에서 스티어링 휠 영역을 판별하며, 상기 전경과 상기 스티어링 휠 영역의 일부가 중첩되면, 상기 적어도 하나의 기준 손 제스처 중 상기 전경에 포함된 상기 운전자의 손 제스처에 대응하는 기준 손 제스처를 선택하고, 선택된 상기 기준 손 제스처에 대응하는 상기 제스처 명령을 획득하는 손 제스처 인식부; 및
    상기 손 제스처 인식부로부터 인가되는 상기 제스처 명령에 응답하여 기설정된 동작을 수행하는 제어 명령 실행부; 를 포함하는 차량 제어 장치.
  2. 제1 항에 있어서, 상기 손 제스처 인식부는
    상기 영상 전처리부로부터 상기 전경이 수신되지 않거나, 수신된 상기 전경이 상기 스티어링 휠 영역과 중첩되지 않는 경우 및 상기 전경이 상기 스티어링 휠 영역과 기설정된 기준 범위를 초과하여 중첩되면, 경고 신호를 생성하여 상기 제어 명령 실행부로 전송하고,
    상기 제어 명령 실행부는
    상기 경고 신호가 기설정된 제1 시간 이상 연속하여 수신되면, 상기 차량의 주행 상태를 분석하여 기설정된 방식으로 운전자에게 경고를 출력하며, 상기 경고를 출력한 후, 기설정된 제2 시간 이상 상기 경고 신호가 연속하여 수신되면, 상기 차량을 긴급 정지 시키는 것을 특징으로 하는 차량 제어 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1 항에 있어서, 상기 적외선 영상 취득부는
    상기 차량 내의 상기 스티어링 휠 영역을 촬영할 수 있도록 상기 차량 내의 운전자의 머리 위, 좌우 천장 또는 보조석의 머리 받침대 중 적어도 하나에 배치되되고 650nm에서 900nm 사이 파장의 근적외선을 감지하는 적어도 하나의 적외선 카메라; 및
    상기 적어도 하나의 적외선 카메라가 어두운 환경에서도 운전자의 손 제스처를 감지할 수 있도록 적외선을 방사하는 적어도 하나의 적외선 조명;을 포함하는 것을 특징으로 하는 차량 제어 장치.
  7. 적외선 영상 취득부, 영상 전처리부, 기준 제스처 학습부, 손 제스처 인식부 및 제어 명령 실행부를 포함하는 차량 제어 장치를 이용한 차량 제어 방법에 있어서,
    상기 적외선 영상 취득부가 운전자의 손 제스처를 감지하기 위해 차량 내부를 촬영하여 입력 영상을 획득하는 단계;
    상기 영상 전처리부가 상기 입력 영상을 수신하여 정규화하고, 상기 차량의 운전석 측 문이 열리는 시점부터 상기 차량의 시동이 걸리기 전까지의 초기 입력 영상을 배경 영상으로 획득하여 배경 모델링하고, 상기 차량에 시동이 걸린 이후 획득되는 입력 영상에서 상기 배경 모델링된 상기 배경 영상을 제거함으로써, 전경과 배경을 분리하는 단계;
    상기 손 제스처 인식부가 상기 영상 전처리부에서 분리된 상기 전경과 상기 배경을 수신하고, 수신된 배경에서 스티어링 휠 영역을 판별하며, 상기 전경과 상기 스티어링 휠 영역의 일부가 중첩되는지 판별하는 단계;
    상기 손 제스처 인식부가 상기 전경과 상기 스티어링 휠 영역의 일부가 중첩되면, 미리 지정된 적어도 하나의 기준 손 제스처 중 상기 전경에 포함된 상기 운전자의 손 제스처에 대응하는 기준 손 제스처를 선택하고, 선택된 상기 기준 손 제스처에 대응하는 상기 제스처 명령을 획득하는 단계; 및
    상기 제어 명령 실행부가 상기 제스처 명령에 응답하여 기설정된 동작을 수행하는 단계; 를 포함하는 차량 제어 방법.
  8. 제7 항에 있어서, 상기 차량 제어 방법은
    상기 중첩되는지 판별하는 단계 이후, 상기 손 제스처 인식부가 상기 영상 전처리부로부터 상기 전경이 수신되지 않거나, 수신된 상기 전경이 상기 스티어링 휠 영역과 중첩되지 않거나 수신된 상기 전경이 상기 스티어링 휠 영역과 기설정된 기준 범위를 초과하여 중첩되는 것으로 판별되면, 상기 제어 명령 실행부로 경고 신호를 생성하여 전송하는 단계;
    상기 제어 명령 실행부가 기설정된 제1 시간 이상 연속하여 상기 경고 신호를 수신하면, 기설정된 방식으로 운전자에게 경고를 출력하는 단계; 및
    상기 제어 명령 실행부가 기설정된 제2 시간 이상 연속하여 상기 경고 신호를 수신하면, 상기 차량을 긴급 정지 시키는 단계; 를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
KR1020140088221A 2014-07-14 2014-07-14 손 제스처 인식에 의한 차량 제어 장치 및 방법 KR101513540B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140088221A KR101513540B1 (ko) 2014-07-14 2014-07-14 손 제스처 인식에 의한 차량 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140088221A KR101513540B1 (ko) 2014-07-14 2014-07-14 손 제스처 인식에 의한 차량 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101513540B1 true KR101513540B1 (ko) 2015-04-21

Family

ID=53053627

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140088221A KR101513540B1 (ko) 2014-07-14 2014-07-14 손 제스처 인식에 의한 차량 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101513540B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101724108B1 (ko) * 2015-10-26 2017-04-06 재단법인대구경북과학기술원 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치
KR101751238B1 (ko) * 2016-01-18 2017-07-11 한국과학기술연구원 제스처 기반 시스템에서의 작업가능영역 안내 장치 및 그 방법
CN108898045A (zh) * 2018-04-23 2018-11-27 杭州电子科技大学 基于深度学习的手势识别的多标签图像预处理方法
KR102260022B1 (ko) 2020-05-25 2021-06-02 전남대학교산학협력단 딥러닝 기반 이미지 내 객체 분류 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060042192A (ko) * 2004-02-26 2006-05-12 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP2006312346A (ja) * 2005-05-06 2006-11-16 Nissan Motor Co Ltd コマンド入力装置
JP2014115699A (ja) * 2012-12-06 2014-06-26 Alpine Electronics Inc 車載システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060042192A (ko) * 2004-02-26 2006-05-12 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP2006312346A (ja) * 2005-05-06 2006-11-16 Nissan Motor Co Ltd コマンド入力装置
JP2014115699A (ja) * 2012-12-06 2014-06-26 Alpine Electronics Inc 車載システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101724108B1 (ko) * 2015-10-26 2017-04-06 재단법인대구경북과학기술원 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치
KR101751238B1 (ko) * 2016-01-18 2017-07-11 한국과학기술연구원 제스처 기반 시스템에서의 작업가능영역 안내 장치 및 그 방법
CN108898045A (zh) * 2018-04-23 2018-11-27 杭州电子科技大学 基于深度学习的手势识别的多标签图像预处理方法
CN108898045B (zh) * 2018-04-23 2021-05-25 杭州电子科技大学 基于深度学习的手势识别的多标签图像预处理方法
KR102260022B1 (ko) 2020-05-25 2021-06-02 전남대학교산학협력단 딥러닝 기반 이미지 내 객체 분류 시스템 및 방법

Similar Documents

Publication Publication Date Title
JP6930765B2 (ja) Ｖ２ｖ連結によって人の状態認識を活用して検出された運転者の異常状態を警告するための方法及び装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ａｌｅｒｔｉｎｇ ａｂｎｏｒｍａｌ ｄｒｉｖｅｒ ｓｉｔｕａｔｉｏｎ ｄｅｔｅｃｔｅｄ ｂｙ ｕｓｉｎｇ ｈｕｍａｎｓ’ ｓｔａｔｕｓ ｒｅｃｏｇｎｉｔｉｏｎ ｖｉａ ｖ２ｖ ｃｏｎｎｅｃｔｉｏｎ｝
EP3755597B1 (en) Method for distress and road rage detection
US11126833B2 (en) Artificial intelligence apparatus for recognizing user from image data and method for the same
CN106682602B (zh) 一种驾驶员行为识别方法及终端
US7437488B2 (en) Interface for car-mounted devices
JP5549721B2 (ja) ドライバモニタ装置
US11592825B2 (en) Electronic device and operation method therefor
CN112590794A (zh) 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置
KR101513540B1 (ko) 손 제스처 인식에 의한 차량 제어 장치 및 방법
KR101165106B1 (ko) 얼굴 인식에 기반한 운전자 인증 장치 및 방법
JP2017007652A (ja) 言語制御のための文脈を認識する方法、言語制御のための言語制御信号を決定する方法、および方法を実施するための装置
JP6417962B2 (ja) 情報処理装置、情報処理方法及び記憶媒体
CN109562763A (zh) 自动驾驶车辆的控制方法及控制装置
US20220130155A1 (en) Adaptive monitoring of a vehicle using a camera
EP3457321A1 (en) Control device for vehicle headlight
KR20170132109A (ko) 기계 학습 기반 목의 기울기 별 앉은 자세 인식을 이용한 거북목 식별 방법 및 장치
US20190141264A1 (en) Driver's eye position detecting device and method, imaging device having image sensor with rolling shutter driving system, and illumination control method thereof
JP7154959B2 (ja) 走行状況判断情報基盤の運転者状態認識装置及び方法
KR20190056520A (ko) 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법
JP2010009484A (ja) 車載機器制御装置および車載機器制御方法
JP2004334786A (ja) 状態検出装置及び状態検出システム
JP2021144689A (ja) 車載センシング装置及びセンサパラメータ最適化装置。
KR101680833B1 (ko) 보행자 검출 경보 장치 및 방법
US20180203506A1 (en) Control method, control device, system and motor vehicle comprising such a control device
KR20120132337A (ko) 음성 인식을 이용하는 사용자 인터페이스 제어 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190408

Year of fee payment: 5