KR20140079025A

KR20140079025A - 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법

Info

Publication number: KR20140079025A
Application number: KR1020120148481A
Authority: KR
Inventors: 김성운
Original assignee: 현대자동차주식회사
Priority date: 2012-12-18
Filing date: 2012-12-18
Publication date: 2014-06-26

Abstract

본 발명의 실시예에 따른 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법은, 제스처 감지부로부터 입력 받은 탑승자를 검출한 영상 정보를 처리하는 단계, 상기 입력 받은 탑승자를 검출한 영상 정보로부터 탑승자의 다리 제스처를 인식하는 단계 및 상기 인식된 다리 제스처에 대응하는 차량 내 전자 기기를 구동하는 제어신호를 생성하는 단계를 포함한다.
따라서, 탑승자의 두 손은 스티어링 휠을 조작하면서 다리의 움직임으로 차량 내부의 다양한 전자 장치들을 제어할 수 있어 탑승자의 편의성과 안전성이 향상된다.

Description

차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법{METHOD FOR PROVIDING A USER INTERFACE USING LEG GESTURE RECOGNITION IN A VEHICLE}

본 발명은 차량 탑승자의 다리 제스처를 인식하여 차량 내부의 기기들을 제어하는 사용자 인터페이스 조작 방법에 관한 것이다.

최근의 차량은 내부에 탑승자의 편의를 위해 다양한 전자 장치들이 탑재된다. 기존의 라디오, 에어컨 위주의 전자장치에서 내비게이션 시스템, 휴대전화 핸즈프리 시스템, DMB 시스템 등의 전자기기들이 탑재되고 있다.

기존 차량 내부의 전자 기기들은 지정된 버튼을 통해 사용자 인터페이스를 제공하며, 최근에는 터치 스크린의 사용도 보편화 되었다. 이러한 장치들은 탑승자가 손으로 직접 접촉하여 조작하여야 한다. 즉, 탑승자의 시선과 손 동작에 기반을 두고 있기 때문에 보다 운전에 대한 충분한 시야 범위와 좋은 자세를 제공할 수 있다면 안전 운전을 기대할 수 있다.

탑승자의 시야를 필요로 하지 않으면서 차량 기능을 제어하는 시스템은 기본적으로 탑승자의 손짓이 필요하다. 또한, 한 손으로 차량 조작이 가능하지만 조작 정확성 및 집중력 등에 있어서 두 손이 모두 스티어링 휠에 있는 것이 안전 운전에 효과를 발휘할 수 있다.

따라서 운전에 방해를 주지 않으면서도 사용자의 편리성을 위한 인터페이스 기술 개발이 필요하다.

본 발명은 탑승자의 두 손은 스티어링 휠을 조작하면서 다리의 움직임으로 차량 내부의 다양한 전자 장치들을 제어할 수 있는 방법을 제공하는 것을 목적으로 한다.

본 발명의 실시예에 따른 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법은, 제스처 감지부로부터 입력 받은 탑승자를 검출한 영상 정보를 처리하는 단계, 상기 입력 받은 탑승자를 검출한 영상 정보로부터 탑승자의 다리 제스처를 인식하는 단계 및 상기 인식된 다리 제스처에 대응하는 차량 내 전자 기기를 구동하는 제어신호를 생성하는 단계를 포함한다.

여기서, 상기 제스처 감지부로부터 입력 받은 탑승자를 검출한 영상 정보를 처리하는 단계는, 상기 제스처 감지부로부터 탑승자를 검출한 영상 정보를 입력 받는 단계, 상기 탑승자를 검출한 영상 정보를 기초로 인체 주변 영상을 제거하여 탑승자의 인체를 추출하는 단계 및 상기 추출된 인체를 기초로 다리 부분 이미지를 추적하여 탑승자의 다리 위치 또는 다리 궤적을 취득하는 단계를 포함한다.

여기서, 상기 탑승자의 다리 제스처를 인식하는 단계는, 상기 취득한 탑승자의 다리 위치 또는 다리 궤적과 매칭되는 다리 제스처가 저장되어 있는지 판단하는 단계 및 상기 저장된 다리 제스처를 상기 탑승자의 다리 제스처로 인식하는 단계를 포함한다.

또한, 상기 탑승자를 검출한 영상 정보를 입력 받는 단계 이전에 탑승자로부터 다리 제스처 인식 기능 사용 요청이 있는지 판단하는 단계 및 탑승자로부터 상기 다리 제스처 인식 기능 사용 종료 요청이 있는지 판단하는 단계를 더 포함할 수 있다.

또한, 상기 다리 위치 또는 상기 다리 궤적에 따라 무릎 에어백 전개를 조절하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따른 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 시스템은, 움직임을 감지하여 탑승자를 검출하는 제스처 감지부, 인식 가능한 다리 제스처 정보를 저장하고 있는 다리 제스처 데이터베이스 및 상기 제스처 감지부로부터 입력 받은 탑승자를 검출한 영상 정보를 기초로 차량 내 전자 기기를 구동하는 제어 신호를 생성하는 전자제어유닛을 포함한다.

또한, 탑승자로부터 다리 제스처 인식 기능 사용 및 종료를 위한 요청 신호를 받는 입력부 및 상기 전자제어유닛의 차량 내 전자 기기 구동 내용을 표시하는 출력부를 더 포함할 수 있다.

본 발명의 실시예에 따른 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법에서, 탑승자는 자신의 다리 제스처를 인식시켜 이에 대응하는 차량 내 전자 기기를 조작할 수 있다.

따라서, 탑승자의 두 손은 스티어링 휠을 조작하면서 다리 제스처로 차량 내부의 다양한 전자 기기들을 제어할 수 있어 탑승자의 편의성과 운전 안전성이 향상된다.

도 1은 본 발명의 실시예에 따른 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법에 대한 순서도이다.
도 3은 본 발명의 실시예에 따른 다리 제스처에 대한 예시도이다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조로 상세하게 설명하면 다음과 같다.

본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

또한, 도면에서 나타난 각 구성은 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도면에 도시된 바에 한정되지 않는다.

도 1은 본 발명의 실시예에 따른 다리 제스처 인식을 이용한 사용자 인터페이스 장치를 개략적으로 도시한 도면이다.

도 1을 참조하면, 다리 제스처 인식을 이용한 사용자 인터페이스(USER INTERFACE; UI) 장치는 입력부(100), 제스처 감지부(110), 다리 제스처 데이터베이스(120), 전자제어유닛(130)(ELECTRIC CONTROL UNIT; ECU) 및 출력부(140)을 포함한다.

입력부(100)는 버튼, 터치스크린 등을 포함한다. 여기서 입력은 버튼이나 터치스크린을 통하여 입력 신호를 발생시키는 것으로 설명하나, 다른 입력 방법으로 탑승자의 음성, 제스처 등이 가능하다. 상기 입력부(100)를 통하여 탑승자는 다리 제스처 인식 기능의 사용을 시작할지 종료할지 요청할 수 있다.

제스처 감지부(110)는 카메라, 광센서, 초음파센서, 이미지 센서 등을 포함하고, 정확한 다리 부분 인식을 위해서는 이미지 센서가 가장 유리하다. 상기 제스처 감지부(110)의 위치는 스티어링휠 아래 또는 위 모두 가능하다. 상기 제스처 감지부(110)는 움직임을 감지하여 탑승자를 검출한다.

다리 제스처 데이터베이스(120)는 탑승자의 다리 제스처를 저장한다. 상기 저장된 다리 제스처는 일반적으로 정의되어 있는 제스처에 대하여 미리 설정되어 있는 것이 바람직하다. 예를 들어, 미리 설정된 다리 제스처는 도 3에 도시된 바와 같은 형태가 가능하며, 이외에도 다양한 다리 제스처가 가능하다. 즉, 상기 다리 제스처 데이터베이스(120)에는 발 앞꿈치로 바닥을 두드리는 앞발 태핑 제스처, 발바닥을 바닥에 고정하고 무릎만 좌우로 흔드는 무릎 좌우 제스처 및 무릎을 상하로 움직이는 무릎 상하 제스처 등 다양한 다리 제스처 정보가 미리 저장되어 있는 것이 바람직하다.

또한, 상기 다리 제스처 데이터베이스(120)는 탑승자에 의해 등록된 다리 제스처를 저장한다. 탑승자는 다양한 다리 위치 또는 다리 궤적을 선정하여 다리 제스처로서 저장할 수 있다. 즉, 탑승자마다 각각 다른 다리 위치 또는 궤적을 다리 제스처로 오류 없이 인식하도록 탑승자가 직접 자신만의 다리 제스처를 저장하는 것이 바람직하다.

전자제어유닛(130)은 상기 제스처 감지부(110)가 탑승자를 검출한 영상 정보를 기초로 영상 처리를 한다. 즉, 탑승자를 검출한 영상에서 인체 주변 영상을 제거하여 탑승자의 인체를 추출한다. 이후, 추출된 인체를 기초로 머리, 몸통, 팔, 다리로 구분하여 모델링한다. 상기 모델링한 다리 부분 이미지를 추적하여 탑승자의 다리 위치 또는 다리 궤적을 취득한다.

또한, 상기 전자제어유닛(130)은 상기 취득한 다리 위치 또는 다리 궤적과 매칭되는 다리 제스처가 상기 다리 제스처 데이터베이스(120)에 저장되어 있는지 판단한다. 상기 전자제어유닛(130)은 매칭되는 다리 제스처가 저장되어 있으면 상기 저장된 다리 제스처를 상기 탑승자의 다리 제스처로 인식한다. 즉, 매칭되는 다리 제스처가 저장되어 있지 않으면 탑승자의 다리 궤적 정보는 식별 불가능한 다리 제스처가 되어 인식되지 않는다.

또한, 상기 전자제어유닛(130)은 상기 입력부(100)의 입력 신호에 따라 다리 제스처 인식 기능을 사용할지 여부를 결정한다. 즉, 상기 전자제어유닛(130)은 탑승자로부터 다리 제스처 인식 기능을 사용 또는 종료하라는 요청이 있는지 판단하여, 상기 제스처 감지부(110)를 제어한다.

또한, 상기 전자제어유닛(130)은 상기 인식된 다리 제스처에 대응하는 차량 내 전자 기기를 구동하는 제어신호를 생성한다. 상기 대응하는 차량 내 전자 기기 목록은 데이터베이스화하여 저장하고 있는 것이 바람직하다. 상기 전자제어유닛(130)은 선택된 차량 내 전자 기기를 구동하는 제어신호를 생성하여 탑승자가 원하는 조작을 제공한다. 예를 들어, 선택할 수 있는 차량 내 전자 기기 조작은 운전 중 휴대폰 받기/끄기, 음악 재생/정지/음소거, 음량 증가/감소, 풍량 증가/감소, 썬바이저 조작 등이다.

또한, 상기 전자제어유닛(130)은 상기 다리 위치 또는 다리 궤적을 기초로 무릎 에어백 전개를 조절하는 제어신호를 생성한다. 즉, 상기 다리 위치를 통하여 다리 무릎의 위치, 상기 다리 궤적을 통하여 운전자가 다리를 접었는지 여부 등의 정보를 확보할 수 있으므로, 운전자 하체에 대한 충돌 시 안전을 위한 무릎 에어백 등을 사용하여 운전자의 안전을 확보 할 수 있다.

출력부(140)는 터치스크린, 스피커 및 상기 차량 내 전자 기기로서 조작 대상이 되는 휴대폰, 음악기기, 에어컨, 썬바이저 등을 포함한다. 또한, 차량 내 전자 기기 조작 내용을 화면으로 출력한다.

도 2는 본 발명의 실시예에 따른 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법에 대한 순서도이다.

도 2를 참조하면, 탑승자는 상기 입력부(100)를 통하여 다리 제스처 인식 기능의 사용을 요청한다(S100). 예를 들어, 탑승자는 오디오 시스템 조작을 위하여 다리 제스처 인식 기능의 사용을 요청할 수 있다.

그리고, 탑승자에 의해 다리 제스처 인식 기능 사용이 요청되면, 상기 제스처 감지부(110)를 통하여 탑승자를 검출한다. 이후, 상기 전자제어유닛(130)은 상기 제스처 감지부(110)로부터 탑승자를 검출한 영상 정보를 입력 받는다(S110).

상기 전자제어유닛(130)에서 상기 입력 받은 탑승자를 검출한 영상 정보를 기초로 인체 주변 영상을 제거하고 탑승자의 인체를 추출한다(S120). 그리고, 상기 전자제어유닛(130)은 추출된 인체를 기초로 몸통, 팔, 다리로 구분하여 모델링하고, 다리 부분 이미지만을 추적한다(S130).

이후, 상기 전자제어유닛(130)은 상기 다리 부분 이미지를 추적하여 다리 위치 및 다리 궤적을 취득한다(S140).

이후, 상기 전자제어유닛(130)은 상기 추출된 다리 위치 또는 다리 궤적과 매칭되는 다리 제스처가 다리 제스처 데이터베이스(120)에 저장되어 있는지 판단한다(S150).

상기 전자제어유닛(130)은 상기 다리 제스처 데이터베이스(120)에 매칭되는 다리 제스처가 저장되어 있으면 상기 저장된 다리 제스처를 탑승자의 다리 제스처로 인식한다(S160).

이후, 상기 전자제어유닛(130)은 상기 인식된 다리 제스처에 대응하는 차량 내 전자 기기를 구동하는 제어신호를 생성한다(S170). 즉, 상기 전자제어유닛(130)은 선택된 차량 내 전자 기기를 구동하는 제어신호를 생성하여 탑승자가 원하는 조작을 제공한다. 예를 들어, 미리 설정된 다리 제스처에 대응하는 차량 내 전자 기기 조작 중 차량 내 오디오 시스템 조작은 도 3에 도시된 바와 같은 형태가 가능하다. 도3을 참조하면, 탑승자는 앞발 태핑 제스처를 통하여 음악을 재생 또는 임시정지 시킬 수 있다. 또한, 탑승자는 무릅 좌우 제스처를 통하여 음악을 선곡하라 수 있다. 또한, 탑승자는 무릎 상하 제스처를 통하여 음악을 오프 시킬 수 있다.

이때, 상기 차량 내 전자 기기 조작 결과는 출력부(140)를 통하여 나타나고, 운전자가 다리 제스처 인식 기능 종료를 요청하는지에 따라 다리 제스처 인식 기능은 종료된다(S180).

이상으로 본 발명에 관한 바람직한 실시예를 설명하였으나, 본 발명은 상기 실시예에 한정되지 아니하며, 본 발명의 실시예로부터 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의한 용이하게 변경되어 균등하다고 인정되는 범위의 모든 변경을 포함한다.

100: 입력부
110: 제스처 감지부
120: 다리 제스처 데이터베이스
130: 전자제어유닛
140: 출력부

Claims

차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법에 있어서,
제스처 감지부로부터 입력 받은 탑승자를 검출한 영상 정보를 처리하는 단계;
상기 입력 받은 탑승자를 검출한 영상 정보로부터 탑승자의 다리 제스처를 인식하는 단계; 및
상기 인식된 다리 제스처에 대응하는 차량 내 전자 기기를 구동하는 제어신호를 생성하는 단계를 포함하는 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법.
제1항에 있어서,
상기 제스처 감지부로부터 입력 받은 탑승자를 검출한 영상 정보를 처리하는 단계는,
상기 제스처 감지부로부터 탑승자를 검출한 영상 정보를 입력 받는 단계;
상기 탑승자를 검출한 영상 정보를 기초로 인체 주변 영상을 제거하여 탑승자의 인체를 추출하는 단계; 및
상기 추출된 인체를 기초로 다리 부분 이미지를 추적하여 탑승자의 다리 위치 또는 다리 궤적을 취득하는 단계를 포함하는 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법.
제2항에 있어서,
상기 탑승자의 다리 제스처를 인식하는 단계는,
상기 취득한 탑승자의 다리 위치 또는 다리 궤적과 매칭되는 다리 제스처가 저장되어 있는지 판단하는 단계; 및
상기 저장된 다리 제스처를 상기 탑승자의 다리 제스처로 인식하는 단계를 포함하는 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법.
제1항에 있어서,
상기 탑승자를 검출한 영상 정보를 입력 받는 단계 이전에 탑승자로부터 다리 제스처 인식 기능 사용 요청이 있는지 판단하는 단계; 및
탑승자로부터 상기 다리 제스처 인식 기능 사용 종료 요청이 있는지 판단하는 단계를 더 포함하는 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법.
제3항에 있어서,
상기 다리 위치 또는 상기 다리 궤적에 따라 무릎 에어백 전개를 조절하는 단계를 더 포함하는 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법.
차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 시스템에 있어서,
움직임을 감지하여 탑승자를 검출하는 제스처 감지부;
인식 가능한 다리 제스처 정보를 저장하고 있는 다리 제스처 데이터베이스; 및
상기 제스처 감지부로부터 입력 받은 탑승자를 검출한 영상 정보를 기초로 차량 내 전자 기기를 구동하는 제어 신호를 생성하는 전자제어유닛을 포함하되,
상기 전자제어유닛은, 제1항 내지 제5항 중 어느 한 항의 방법을 수행하기 위한 일련의 명령을 실행하는 다리 제스처 인식을 이용한 사용자 인터페이스 조작 시스템.
제6항에 있어서,
탑승자로부터 다리 제스처 인식 기능 사용 및 종료를 위한 요청 신호를 받는 입력부; 및
상기 전자제어유닛의 차량 내 전자 기기 구동 내용을 표시하는 출력부를 더 포함하는 다리 제스처 인식을 이용한 사용자 인터페이스 조작 시스템.