KR101459441B1 - 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법 - Google Patents
차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법 Download PDFInfo
- Publication number
- KR101459441B1 KR101459441B1 KR1020120148816A KR20120148816A KR101459441B1 KR 101459441 B1 KR101459441 B1 KR 101459441B1 KR 1020120148816 A KR1020120148816 A KR 1020120148816A KR 20120148816 A KR20120148816 A KR 20120148816A KR 101459441 B1 KR101459441 B1 KR 101459441B1
- Authority
- KR
- South Korea
- Prior art keywords
- hand
- image
- information
- hand gesture
- point
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Abstract
본 발명의 실시예에 따른 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 방법은, 탑승자를 촬영한 영상을 입력 받는 단계; 상기 촬영한 영상에서 손가락 사이점을 검출하고, 이를 이용하여 손 제스처 정보를 인식하는 단계; 및 상기 인식된 손 제스처 정보에 대응하는 차량 기기 조작을 선택하는 단계를 포함한다.
따라서, 전방을 주시하면서 탑승자의 한 손은 스티어링 휠을 조작하면서 다른 한 손의 움직임으로 차량 내부의 다양한 전자 장치들을 제어할 수 있어 탑승자의 편의성과 안전성이 향상된다.
따라서, 전방을 주시하면서 탑승자의 한 손은 스티어링 휠을 조작하면서 다른 한 손의 움직임으로 차량 내부의 다양한 전자 장치들을 제어할 수 있어 탑승자의 편의성과 안전성이 향상된다.
Description
본 발명은 차량 탑승자의 손가락 사이점을 이용하여 손 제스처를 인식하여 차량 내부의 기기들을 제어하는 사용자 인터페이스 조작 방법에 관한 것이다.
최근의 차량은 내부에 탑승자의 편의를 위해 다양한 전자 장치들이 탑재된다. 기존의 라디오, 에어컨 위주의 전자장치에서 네비게이션 시스템, 휴대전화 핸즈프리 시스템 등의 전자장치들이 탑재되고 있다.
기존 차량 내부의 전자 장치들은 지정된 버튼을 통해 사용자 인터페이스를 제공하며, 최근에는 터치 스크린의 사용도 보편화 되었다. 이러한 장치들은 탑승자가 손으로 직접 접촉하여 조작하여야 한다. 또한, 이러한 동작은 탑승자의 시선과 손 동작에 기반을 두고 있기 때문에 안전 운전에 방해가 될 수 있다 따라서, 이러한 동작을 취하면서도 충분한 시야 범위와 좋은 자세를 제공할 수 있다면 안전 운전을 기대할 수 있다.
따라서 운전에 방해를 주지 않으면서도 사용자의 편리성을 위한 인터페이스 기술 개발이 필요한 실정이다.
이러한 문제를 해결하기 위해 종래에는 3차원 카메라와 웹캠을 이용하여 탑승자의 손영상을 인식하여 차량 기능을 제어하는 시스템이 개발되고 있다. 이는 탑승자의 시야를 필요로 하지 않으면서 차량 기능을 제어하여 안전운전을 기대할 수 있다.
여기서 3차원 카메라의 경우에는 깊이 정보를 얻을 수 있어서 손 모양과 관계없이 포즈와 3차원 모션정보를 얻을 수 있다.
그러나, 웹캠의 경우 2차원 정보를 전달하는 기본적인 원리에 의해 동작하므로 손 포즈 또는 3차원 제스처를 유추하기 매우 어렵다. 이는 2차원 영상을 기반으로 하는 시스템에서는 색상, 밝기 정보로만 특징점을 찾아야 하는데 외부 조명 때문에 특징점에 대한 분별성이 떨어지기 때문이다.
본 발명이 해결하고자 하는 과제는 종래의 불편한 점을 해결하고자 하는 것으로 2차원 카메라를 이용하여 촬영한 영상정보에서 탑승자의 손가락 사이점을 추출하여 손 제스처를 인식하고 이에 따라 차량 내부의 다양한 전자 장치들을 제어할 수 있는 시스템 및 방법을 제공하는 것이다.
이러한 과제를 해결하기 위한 본 발명의 특징에 따른 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 방법은,
차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 방법에 있어서,
탑승자를 촬영한 영상을 입력 받는 단계;
상기 촬영한 영상에서 손가락 사이점을 검출하고, 이를 이용하여 손 제스처 정보를 인식하는 단계; 및
상기 인식된 손 제스처 정보에 대응하는 차량 기기 조작을 선택하는 단계를 포함한다.
상기 촬영한 영상에서 손가락 사이점을 검출하고, 이를 이용하여 손 제스처 정보를 인식하는 단계는,
상기 탑승자를 촬영한 영상으로부터 탑승자의 손 영상을 인식하는 단계;
상기 손영상으로부터 손가락 사이점을 검출하는 단계;
상기 손가락 사이점으로부터 3차원 자세를 추출하는 단계;
상기 3차원 자세의 궤적정보를 생성하는 단계;
상기 3차원 자세의 궤적정보로부터 손 제스처 정보를 인식하는 단계를 포함한다.
상기 3차원 자세의 궤적정보로부터 손 제스처 정보를 인식하는 단계는,
상기 3차원 자세의 궤적 정보와 매칭되는 손 제스처 정보가 정보 데이터베이스에 저장되어 있는지 판단하는 단계;
상기 3차원 자세의 궤적 정보와 매칭되는 손 제스처 정보가 정보 데이터베이스에 저장되어 있으면, 상기 3차원 자세의 궤적정보를 손 제스처 정보로 인식하는 단계를 포함한다.
상기 탑승자를 촬영한 영상을 입력 받는 단계 이전에,
손 제스처 인식 기능 사용 요청을 판단하는 단계를 더 포함하고,
손 제스처 인식 기능 사용 요청이 있으면, 상기 탑승자를 촬영한 영상을 입력 받는 단계를 수행한다.
상기 방법은,
상기 손 제스처 인식 기능 사용 종료 요청을 판단하는 단계;
상기 손 제스처 인식 기능 사용 종료 요청이 있으면, 상기 손 제스처 인식 기능을 사용 종료하는 단계를 더 포함한다.
이러한 과제를 해결하기 위한 본 발명의 특징에 따른 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템은,
차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템에 있어서,
탑승자를 촬영하는 영상 촬영부;
상기 영상 촬영부에 의해 촬영되는 영상을 저장하는 영상 저장부;
인식 가능한 손 제스처 정보를 저장하고 있는 정보 데이터베이스; 및
상기 영상 촬영부로부터의 입력 신호 및 상기 영상 저장부에 저장된 누적 영상 정보를 기초로 차량 기기 조작을 제어하는 전자제어유닛을 포함하되,
상기 전자제어유닛은, 상기 방법을 수행하기 위한 일련의 명령을 실행한다.
상기 시스템은,
탑승자로부터 손 제스처 인식 기능 사용을 위한 요청 신호를 입력받아 상기 전자제어유닛으로 전달하는 입력부; 및
상기 전자제어유닛의 차량 기기 조작 내용을 표시하는 출력부를 더 포함한다.
본 발명의 실시예에 따른 탑승자 손가락 사이점을 이용한 사용자 인터페이스 조작 방법에서, 2차원 카메라를 이용하여 탑승자의 손 제스처를 추출할 수 있으므로 비용이 적게 소요된다.
또한, 본 발명의 실시예에 따른 탑승자 손가락 사이점을 이용한 사용자 인터페이스 조작 방법에서, 손의 모양 자유도는 매우 높지만 손의 모양과 관계없이 손가락 사이점은 일정한 거리를 유지하고 있으므로 손의 자세 및 모션 인식에 있어서 신뢰성이 높게 된다.
또한, 본 발명의 실시예에 따른 탑승자 손가락 사이점을 이용한 사용자 인터페이스 조작 방법에서, 손의 상하좌우 모션뿐만 아니라 기울임이나 뒤집기 등의 자세를 추출할 수 있으므로 다양한 손 제스처를 정확하게 인식할 수 있다.
따라서, 탑승자의 한 손은 스티어링 휠을 조작하고 시야는 전방을 주시하면서도 다른 한손의 간단한 움직임으로 차량 내부의 다양한 전자 장치들을 제어할 수 있어 탑승자의 편의성과 운전 안전성이 향상된다.
도 1은 본 발명의 실시예에 따른 차량 내 손가락 사이점을 이용한 사용자 인터페이스 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 방법에 대한 순서도이다.
도 3은 본 발명의 실시예에 따른 손가락 사이점 모션에 대응되는 동작의 예시도이다.
도 2는 본 발명의 실시예에 따른 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 방법에 대한 순서도이다.
도 3은 본 발명의 실시예에 따른 손가락 사이점 모션에 대응되는 동작의 예시도이다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조로 상세하게 설명하면 다음과 같다.
본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
또한, 도면에서 나타난 각 구성은 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도면에 도시된 바에 한정되지 않는다.
도 1은 본 발명의 실시예에 따른 손가락 사이점을 이용한 사용자 인터페이스 장치를 개략적으로 도시한 도면이다.
도 1을 참조하면, 손가락 사이점을 이용한 사용자 인터페이스(User Interface; UI) 장치는 입력부(100), 영상 촬영부(110), 정보 데이터베이스(120), 타이머(160), 영상 저장부(150), 전자제어유닛(130)(Electronic Control Unit; ECU), 출력부(140)을 포함한다.
입력부(100)는 버튼, 터치스크린 등을 포함한다. 여기서 입력은 버튼이나 터치스크린을 통하여 입력 신호를 발생시키는 것으로 설명하나, 다른 입력 방법으로 음성, 제스처 등이 가능하다.
영상 촬영부(110)는 웹갬 등의 2차원 카메라, 광센서, 초음파센서, 이미지 센서 등을 포함하고, 정확한 손모양 인식을 위해서는 이미지 센서가 가장 유리하며, 컬러 영상 또는 흑백 영상을 촬영할 수 있다. 상기 영상 촬영부(110)의 위치는 스티어링휠 옆, 아래 또는 위 모두 가능하며, 사용자의 손 영상을 촬영하기에 좋은 자리이면 된다.
영상 저장부(150)는 영상 촬영부(110)에서 촬영되는 영상의 프레임을 누적하여 저장한다.
타이머(160)는 시간을 체크한다.
정보 데이터베이스(120)는 미리 정의된 다양한 손의 3차원 자세의 궤적 정보에 대응하는 손 제스처 정보를 저장한다. 또한, 필요에 따라서는 손 제스처 정보에 대응하는 기기 조작 정보를 저장한다. 예를 들면, 도 3과 같이, 손바닥이 근접, 손바닥 멀어짐, 손바닥 회전, 손바닥 직교운동, 손바닥 원운동 등의 손 제스처에 대하여 선택할 수 있는 차량 기기 조작은 운전 중 음악 재생, 음악정지, 음악 온/오프, 음악 일시정지, 에이컨 온/오프 조작 등이다.
상기 저장된 손 제스처 정보는 일반적으로 정의되어 있는 제스처에 대하여 미리 설정되어 있는 것이 바람직하다. 예를 들어, 미리 설정된 손 제스처는 도 3에 도시된 바와 같은 형태가 가능하며, 이외에도 다양한 손 제스처가 가능하다.
또한, 상기 정보 데이터베이스(120)는 탑승자에 의해 등록된 손 제스처 정보를 저장한다. 탑승자는 다양한 손의 3차원 자세의 궤적 정보를 선정하여 손 제스처로서 저장할 수 있다. 즉, 탑승자마다 각각 다른 손의 3차원 자세의 궤적 정보를 손 제스처로 오류 없이 인식하도록 탑승자가 직접 자신만의 손 제스처를 입력하는 것이 바람직하다.
전자제어유닛(130)은 영상 촬영부(110)로부터 입력되는 영상과 영상 저장부(150)에 저장된 영상을 이용하여 손 제스처를 검출한다. 영상은 컬러영상 또는 적외선 영상을 이용할 수 있는데, 컬러 영상을 이용할 경우 피부색 또는 모션을 추출하여 손 영상을 검출한다. 그리고 적외선 영상의 경우에는 피부색의 밝기에 해당하는 밝기 또는 그 이상의 영상을 추출하거나 일정 모션에 의한 차영상을 검출하여 손영상을 검출할 수 있다.
전자제어유닛(130)은 일단 손을 검출하면 손 영상에서 외곽선을 추출하고 손가락과 손 중심점을 검출한다. 손가락은 외곽선에서 곡률이 큰점으로 검출할 수 있고, 손 중심점은 손 영상의 무게 중심 또는 가운데 점으로 정할 수 있다. 손가락 사이점은 손가락 끝점의 곡률을 검출하는 방법으로 역방향 곡률 검출을 할 수 있다,
손가락 사이점이 구해지면 손가락 사이점의 거리 및 2차원 공간 배치에 따라 앞뒤, 좌우, 회전, 기울기 등을 구할 수 있다.
예를 들어, 전자제어유닛(130)은 상기 영상 촬영부(110)로부터 촬영된 영상으로부터 손 영상을 추출하고, 여기에서 손가락 사이점을 검출한다.. 그리고 나서 전자제어유닛(130)은 손가락 사이점으로부터 3차원 자세를 추출하고 이를 이용하여 이러한 3차원 자세의 궤적을 검출하게 된다.
이러한 방법은 다양하게 변형이 가능하며, 다른 방법으로도 3차원 자세의 궤적을 검출할 수 있다.
예를 들면, 전자제어유닛(130)은 인체 영상을 기초로 영상 처리를 할 수도 있다. 즉, 상기 탑승자의 인체 영상에서 인체 주변 이미지를 제거하고, 추출된 이미지를 머리, 몸통, 팔, 손, 다리로 구분하여 모델링한다. 상기 모델링한 손 이미지에서 손가락 사이점을 추출하고, 이를 이용하여 이러한 3차원 자세의 궤적정보를 검출하게 된다.
필요에 따라 전자제어유닛(130)은 상기 영상 촬영부(110)로부터 촬영된 탑승자의 손 영상의 현재 프레임과 상기 영상 저장부(110)에 저장된 누적 영상 프레임을 비교하여 손가락 사이점을 검출하고, 이로부터 소정의 시간에 형성되는 3차원 자세의 궤적 정보를 취득할 수도 있다.
그리고 전자제어유닛(130)은 3차원 자세의 궤적정보로부터 정보 데이터베이스(120)를 참조하여 손 제스처를 인식하게 된다. 상기 소정의 시간은 3차원 자세의 궤적을 형성하는 시간으로서 손 제스처를 인식하기에 충분한 시간으로 타이머(160)를 참조하여 체크할 수 있다
그리고, 상기 전자제어유닛(130)은 상기 취득한 3차원 자세의 궤적 정보와 매칭되는 손 제스처 정보가 상기 정보 데이터베이스(120)에 저장되어 있는지 판단한다. 상기 전자제어유닛(130)은 매칭되는 손 제스처가 저장되어 있으면 상기 저장된 3차원 자세 궤적 정보를 상기 탑승자의 손 제스처로 인식한다. 또한, 매칭되는 손 제스처 정보가 저장되어 있지 않으면 탑승자의 3차원 자세 궤적 정보는 식별 불가능한 정보가 되어 인식되지 않는다.
또한, 상기 전자제어유닛(130)은 상기 입력부(100)의 입력 신호에 따라 손 제스처 인식 기능을 사용할지 여부를 결정한다. 즉, 상기 전자제어유닛(130)은 손 제스처 인식 기능을 사용 또는 종료하라는 입력 신호가 있으면, 상기 영상 촬영부(110)를 제어하여 운전자 촬영을 시작 또는 종료한다. 이때, 사용자의 한손이 움직이는 활동 영역을 촬영하도록 할 수도 있다.
또한, 상기 전자제어유닛(130)은 상기 인식된 손 제스처에 대응하는 차량 기기 조작을 선택한다.
상기 전자제어유닛(130)은 선택된 차량 기기 조작에 따른 제어신호를 생성하여 탑승자가 원하는 조작을 제공한다. 예를 들어, 선택할 수 있는 차량 기기 조작은 운전 중 휴대폰 받기/끄기, 음악 재생/정지/음소거, 음량 증가/감소, 에어컨 온/오프, 히터 온/오프, 썬바이저 조작 등이다.
출력부(140)는 터치스크린, 스피커 및 상기 차량 기기 조작 대상이 되는 휴대폰, 음악기기, 에어컨, 히터, 썬바이저 등을 포함한다. 또한, 차량 기기 조작 내용을 화면으로 출력한다.
도 2는 본 발명의 실시예에 따른 손가락 사이점을 이용한 사용자 인터페이스 조작 방법에 대한 순서도이다.
도 2를 참조하면, 탑승자는 입력부(100)를 통하여 손 제스처 인식 기능을 요청한다(S100).
그리고, 탑승자에 의해 손 제스처 인식 기능 사용이 요청되면, 전자제어유닛(130)은 영상 촬영부(110)를 통해 탑승자의 인체 또는 손 부분의 촬영을 시작한다(S110).
그리고 나서, 영상 촬영부(110)를 통해 촬영된 영상은 전자제어 유닛(130)으로 출력되고, 영상 저장부(150)에도 누적하여 저장이 된다(S121).
다음, 전자제어유닛(130)은 영상 촬영부(110)로부터 입력되는 영상과 영상 저장부(150)에 저장된 영상을 이용하여 손 제스처를 검출한다. 이를 자세히 설명하면 다음과 같다.
전자제어유닛(130)은 컬러영상 또는 적외선 영상을 이용하여 손 영상을 검출한다(S122). 여기서, 컬러 영상을 이용할 경우 피부색 또는 모션을 추출하여 손 영상을 검출한다. 그리고 적외선 영상의 경우에는 피부색의 밝기에 해당하는 밝기 또는 그 이상의 영상을 추출하거나 일정 모션에 의한 차영상을 검출하여 손영상을 검출할 수 있다.
그리고 나서, 전자제어유닛(130)은 손 영상에서 외곽선을 추출하고 손가락과 손 중심점 및 손가락 사이점을 검출한다(S123). 손가락은 외곽선에서 곡률이 큰점으로 검출할 수 있고, 손 중심점은 손 영상의 무게 중심 또는 가운데 점으로 정할 수 있다. 그리고, 손가락 사이점은 손가락 끝점의 곡률을 검출하는 방법으로 역방향 곡률 검출을 할 수 있다,
손가락 사이점이 구해지면 전자제어유닛(130)은 손가락 사이점의 거리 및 2차원 공간 배치에 따라 앞뒤, 좌우, 회전, 기울기 등을 구하여 손의 3차원 자세를 추출한다. 그리고 손의 3차원 자세를 이용하여 이러한 3차원 자세의 궤적을 검출하게 된다(S130).
필요에 따라 손의 3차원 자세의 궤적 정보는 다른 방법에 의해서도 취득이 가능하다.
그리고 나서, 상기 전자제어유닛(130)은 상기 취득한 3차원 자세 궤적 정보와 매칭되는 손 제스처 정보가 상기 정보 데이터베이스(120)에 저장되어 있는지 비교한다(S140).
비교 결과 상기 취득한 3차원 자세 궤적 정보와 매칭되는 손 제스처 궤적 정보가 상기 정보 데이터베이스(120)에 저장되어 있으면(S150), 상기 전자제어유닛(130)은 상기 저장된 손 제스처 정보를 상기 탑승자의 손 제스처 정보로 인식한다(S160).
또한, 매칭되는 손 제스처 정보가 저장되어 있지 않으면 탑승자의 3차원 자세 궤적 정보는 식별 불가능한 정보가 되어 인식되지 않는다.
이후, 상기 전자제어유닛(130)은 정보 데이터베이스(120)를 참조하여 상기 인식된 손 제스처 정보에 대응하는 차량 기기 조작을 선택한다. 상기 전자제어유닛(130)은 선택된 차량 기기 조작에 따른 제어신호를 생성하여 탑승자가 원하는 조작을 제공한다(S170). 이러한 차량 기기 조작에는 차량내 공조 기기, 오디오 시스템과 같은 기기의 조작이 포함되며, 컨텐츠나 미디어와 같은 정보의 전달, 복사, 저장 및 수정 등의 동작에도 응용이 가능하다.
그리고, 조작 결과는 출력부(140)를 통하여 나타나고, 운전자가 손 제스처 인식 기능 종료를 요청하는지에 따라 손 제스처 인식을 이용한 사용자 인터페이스는 종료된다(S180).
본 발명의 실시예에서는 2차원 카메라를 이용하여 탑승자의 손 제스처를 추출할 수 있으므로 비용이 적게 소요된다.
또한, 본 발명의 실시예에서는 손의 모양 자유도는 매우 높지만 손의 모양과 관계없이 손가락 사이점은 일정한 거리를 유지하고 있으므로 손의 자세 및 모션 인식에 있어서 신뢰성이 높게 된다.
또한, 본 발명의 실시예에서는 손의 상하좌우 모션뿐만 아니라 기울임이나 뒤집기 등의 자세를 추출할 수 있으므로 다양한 손 제스처를 정확하게 인식할 수 있다.
이상으로 본 발명에 관한 바람직한 실시예를 설명하였으나, 본 발명은 상기 실시예에 한정되지 아니하며, 본 발명의 실시예로부터 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의한 용이하게 변경되어 균등하다고 인정되는 범위의 모든 변경을 포함한다.
100: 입력부
110: 영상 촬영부
120: 정보 데이터베이스
130: 전자제어유닛
140: 출력부
150: 영상 저장부
160: 타이머
110: 영상 촬영부
120: 정보 데이터베이스
130: 전자제어유닛
140: 출력부
150: 영상 저장부
160: 타이머
Claims (7)
- 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 방법에 있어서,
탑승자의 손이 포함된 영상을 입력 받는 단계;
상기 탑승자의 손이 포함된 영상에서 손가락 사이점을 검출하고, 이를 이용하여 손 제스처 정보를 인식하는 단계; 및
상기 인식된 손 제스처 정보에 대응하는 차량 기기 조작을 선택하는 단계를 포함하고,
상기 탑승자의 손이 포함된 영상에서 손가락 사이점을 검출하고, 이를 이용하여 손 제스처 정보를 인식하는 단계는,
상기 탑승자의 손이 포함된 영상으로부터 탑승자의 손 영상을 인식하는 단계;
상기 손영상으로부터 손가락 사이점을 검출하는 단계;
상기 손가락 사이점으로부터 3차원 자세를 추출하는 단계;
상기 3차원 자세의 궤적정보를 생성하는 단계;
상기 3차원 자세의 궤적정보로부터 손 제스처 정보를 인식하는 단계를 포함하는 손가락 사이점을 이용한 사용자 인터페이스 조작 방법. - 삭제
- 제1항에 있어서,
상기 3차원 자세의 궤적정보로부터 손 제스처 정보를 인식하는 단계는,
상기 3차원 자세의 궤적 정보와 매칭되는 손 제스처 정보가 정보 데이터베이스에 저장되어 있는지 판단하는 단계;
상기 3차원 자세의 궤적 정보와 매칭되는 손 제스처 정보가 정보 데이터베이스에 저장되어 있으면, 상기 3차원 자세의 궤적정보를 손 제스처 정보로 인식하는 단계를 포함하는 손가락 사이점을 이용한 사용자 인터페이스 조작 방법. - 제1항에 있어서,
상기 탑승자의 손이 포함된 영상을 입력 받는 단계 이전에,
손 제스처 인식 기능 사용 요청을 판단하는 단계를 더 포함하고,
손 제스처 인식 기능 사용 요청이 있으면, 상기 탑승자의 손이 포함된 영상을 입력 받는 단계를 수행하는 손가락 사이점을 이용한 사용자 인터페이스 조작 방법. - 제4항에 있어서,
상기 손 제스처 인식 기능 사용 종료 요청을 판단하는 단계;
상기 손 제스처 인식 기능 사용 종료 요청이 있으면, 상기 손 제스처 인식 기능을 사용 종료하는 단계를 더 포함하는 손가락 사이점을 이용한 사용자 인터페이스 조작 방법. - 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템에 있어서,
탑승자의 손을 포함한 영상을 촬영하는 영상 촬영부;
상기 영상 촬영부에 의해 촬영되는 영상을 저장하는 영상 저장부;
인식 가능한 손 제스처 정보를 저장하고 있는 정보 데이터베이스; 및
상기 영상 촬영부로부터의 입력 신호 및 상기 영상 저장부에 저장된 누적 영상 정보를 기초로 차량 기기 조작을 제어하는 전자제어유닛을 포함하되,
상기 전자제어유닛은, 제1항, 제3항 내지 제5항중 어느 한항의 방법을 수행하기 위한 일련의 명령을 실행하는 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템. - 제6항에 있어서,
탑승자로부터 손 제스처 인식 기능 사용을 위한 요청 신호를 입력받아 상기 전자제어유닛으로 전달하는 입력부; 및
상기 전자제어유닛의 차량 기기 조작 내용을 표시하는 출력부를 더 포함하는 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120148816A KR101459441B1 (ko) | 2012-12-18 | 2012-12-18 | 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법 |
US14/032,525 US9235269B2 (en) | 2012-12-18 | 2013-09-20 | System and method for manipulating user interface in vehicle using finger valleys |
DE102013220203.2A DE102013220203A1 (de) | 2012-12-18 | 2013-10-07 | System und Verfahren für das Manipulieren einer Benutzerschnittstelle im Fahrzeug, wobei "Finger-Täler" benutzt werden |
CN201310478794.8A CN103870802B (zh) | 2012-12-18 | 2013-10-14 | 使用指谷操作车辆内的用户界面的系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120148816A KR101459441B1 (ko) | 2012-12-18 | 2012-12-18 | 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140079162A KR20140079162A (ko) | 2014-06-26 |
KR101459441B1 true KR101459441B1 (ko) | 2014-11-07 |
Family
ID=50821616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120148816A KR101459441B1 (ko) | 2012-12-18 | 2012-12-18 | 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9235269B2 (ko) |
KR (1) | KR101459441B1 (ko) |
CN (1) | CN103870802B (ko) |
DE (1) | DE102013220203A1 (ko) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101438615B1 (ko) * | 2012-12-18 | 2014-11-03 | 현대자동차 주식회사 | 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법 |
EP2907730B1 (en) | 2014-01-29 | 2017-09-06 | Steering Solutions IP Holding Corporation | Hands on steering wheel detect |
US9399429B2 (en) * | 2014-06-04 | 2016-07-26 | Volkswagen Ag | Predictive cockpit lighting and performance mode via touch |
US9665345B2 (en) * | 2014-07-29 | 2017-05-30 | Honeywell International Inc. | Flight deck multifunction control display unit with voice commands |
DE102016110791A1 (de) * | 2015-06-15 | 2016-12-15 | Steering Solutions Ip Holding Corporation | Gestensteuerung für ein einfahrbares Lenkrad |
US10112639B2 (en) | 2015-06-26 | 2018-10-30 | Steering Solutions Ip Holding Corporation | Vehicle steering arrangement and method of making same |
JP6650595B2 (ja) * | 2015-09-24 | 2020-02-19 | パナソニックIpマネジメント株式会社 | 機器制御装置、機器制御方法、機器制御プログラムおよび記録媒体 |
KR102548369B1 (ko) * | 2015-11-26 | 2023-06-27 | 현대모비스 주식회사 | 운전 보조 장치 및 방법 |
US10029725B2 (en) | 2015-12-03 | 2018-07-24 | Steering Solutions Ip Holding Corporation | Torque feedback system for a steer-by-wire vehicle, vehicle having steering column, and method of providing feedback in vehicle |
US10496102B2 (en) | 2016-04-11 | 2019-12-03 | Steering Solutions Ip Holding Corporation | Steering system for autonomous vehicle |
DE102017108692A1 (de) | 2016-04-25 | 2017-10-26 | Steering Solutions Ip Holding Corporation | Steuerung einer elektrischen Servolenkung unter Verwendung von Systemzustandsvorhersagen |
CN106200896B (zh) * | 2016-06-23 | 2019-05-21 | 广州亿程交通信息有限公司 | 用于车辆智能装备的手势识别系统及识别方法 |
US10160477B2 (en) | 2016-08-01 | 2018-12-25 | Steering Solutions Ip Holding Corporation | Electric power steering column assembly |
US10384708B2 (en) | 2016-09-12 | 2019-08-20 | Steering Solutions Ip Holding Corporation | Intermediate shaft assembly for steer-by-wire steering system |
US10399591B2 (en) | 2016-10-03 | 2019-09-03 | Steering Solutions Ip Holding Corporation | Steering compensation with grip sensing |
US10239552B2 (en) | 2016-10-14 | 2019-03-26 | Steering Solutions Ip Holding Corporation | Rotation control assembly for a steering column |
US10481602B2 (en) | 2016-10-17 | 2019-11-19 | Steering Solutions Ip Holding Corporation | Sensor fusion for autonomous driving transition control |
US10310605B2 (en) | 2016-11-15 | 2019-06-04 | Steering Solutions Ip Holding Corporation | Haptic feedback for steering system controls |
US10394245B2 (en) * | 2016-11-22 | 2019-08-27 | Baidu Usa Llc | Method and system to predict vehicle traffic behavior for autonomous vehicles to make driving decisions |
CN106647788B (zh) * | 2016-12-01 | 2019-08-27 | 北京奇虎科技有限公司 | 无人机飞行控制方法及装置 |
US10780915B2 (en) | 2016-12-07 | 2020-09-22 | Steering Solutions Ip Holding Corporation | Vehicle steering system having a user experience based automated driving to manual driving transition system and method |
US10449927B2 (en) | 2017-04-13 | 2019-10-22 | Steering Solutions Ip Holding Corporation | Steering system having anti-theft capabilities |
DE102017210317A1 (de) | 2017-06-20 | 2018-12-20 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Erfassen einer Nutzereingabe anhand einer Geste |
DE102017210316A1 (de) | 2017-06-20 | 2018-12-20 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Erfassen einer Nutzereingabe anhand einer Geste |
WO2019157511A1 (en) * | 2018-02-12 | 2019-08-15 | Crosby Kelvin | Robotic sighted guiding system |
CN108513065A (zh) * | 2018-03-23 | 2018-09-07 | 云谷(固安)科技有限公司 | 一种手势帖遥控操作的方法及手势帖遥控装置 |
KR20200119427A (ko) * | 2019-04-02 | 2020-10-20 | 현대자동차주식회사 | 차량 및 그 제어방법 |
CN112560572A (zh) * | 2020-10-24 | 2021-03-26 | 北京博睿维讯科技有限公司 | 一种摄像和大屏交互处理方法、装置及系统 |
US11507194B2 (en) * | 2020-12-02 | 2022-11-22 | Huawei Technologies Co., Ltd. | Methods and devices for hand-on-wheel gesture interaction for controls |
US11947728B2 (en) | 2021-04-30 | 2024-04-02 | Samsung Electronics Co., Ltd. | Electronic device for executing function based on hand gesture and method for operating thereof |
KR20220149191A (ko) * | 2021-04-30 | 2022-11-08 | 삼성전자주식회사 | 손 제스처에 기반하여 기능을 실행하는 전자 장치 및 그 작동 방법 |
CN116841381A (zh) * | 2022-03-23 | 2023-10-03 | 北京罗克维尔斯科技有限公司 | 终端控制方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040036593A (ko) * | 2002-10-25 | 2004-04-30 | 미츠비시 후소 트럭 앤드 버스 코포레이션 | 핸드 패턴 스위치 장치 |
KR20090084767A (ko) * | 2008-01-31 | 2009-08-05 | 가부시키가이샤 덴소 | 입력 장치 및 이미지 장치 |
US20090284469A1 (en) * | 2008-05-16 | 2009-11-19 | Tatung Company | Video based apparatus and method for controlling the cursor |
JP4577390B2 (ja) * | 2008-03-31 | 2010-11-10 | 株式会社デンソー | 車両用操作装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080122799A1 (en) * | 2001-02-22 | 2008-05-29 | Pryor Timothy R | Human interfaces for vehicles, homes, and other applications |
WO2008019698A1 (en) | 2006-08-14 | 2008-02-21 | Cherif Atia Algreatly | Motion tracking apparatus and method |
US7725547B2 (en) * | 2006-09-06 | 2010-05-25 | International Business Machines Corporation | Informing a user of gestures made by others out of the user's line of sight |
KR101646616B1 (ko) | 2010-11-30 | 2016-08-12 | 삼성전자주식회사 | 객체 제어 장치 및 방법 |
KR101189633B1 (ko) | 2011-08-22 | 2012-10-10 | 성균관대학교산학협력단 | 손가락 움직임에 따른 포인터 제어명령어 인식 방법 및 손가락 움직임에 따라 포인터를 제어하는 모바일 단말 |
CN102360247A (zh) * | 2011-10-09 | 2012-02-22 | 长沙学院 | 一种识别空间动作的手指鼠标 |
-
2012
- 2012-12-18 KR KR1020120148816A patent/KR101459441B1/ko active IP Right Grant
-
2013
- 2013-09-20 US US14/032,525 patent/US9235269B2/en active Active
- 2013-10-07 DE DE102013220203.2A patent/DE102013220203A1/de active Pending
- 2013-10-14 CN CN201310478794.8A patent/CN103870802B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040036593A (ko) * | 2002-10-25 | 2004-04-30 | 미츠비시 후소 트럭 앤드 버스 코포레이션 | 핸드 패턴 스위치 장치 |
KR20090084767A (ko) * | 2008-01-31 | 2009-08-05 | 가부시키가이샤 덴소 | 입력 장치 및 이미지 장치 |
JP4577390B2 (ja) * | 2008-03-31 | 2010-11-10 | 株式会社デンソー | 車両用操作装置 |
US20090284469A1 (en) * | 2008-05-16 | 2009-11-19 | Tatung Company | Video based apparatus and method for controlling the cursor |
Also Published As
Publication number | Publication date |
---|---|
KR20140079162A (ko) | 2014-06-26 |
US9235269B2 (en) | 2016-01-12 |
CN103870802B (zh) | 2018-09-14 |
US20140168061A1 (en) | 2014-06-19 |
DE102013220203A1 (de) | 2014-06-18 |
CN103870802A (zh) | 2014-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101459441B1 (ko) | 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법 | |
KR101490908B1 (ko) | 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법 | |
JP5261554B2 (ja) | 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース | |
KR101438615B1 (ko) | 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법 | |
KR101459445B1 (ko) | 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법 | |
US11124118B2 (en) | Vehicular display system with user input display | |
EP3237256B1 (en) | Controlling a vehicle | |
KR101537936B1 (ko) | 차량 및 그 제어방법 | |
JP5172485B2 (ja) | 入力装置及び入力装置の制御方法 | |
CN107533366B (zh) | 信息显示装置和信息显示方法 | |
JP6671288B2 (ja) | ジェスチャー装置、その動作方法及びこれを備えた車両 | |
JP2017211884A (ja) | 動き検出システム | |
KR20150000076A (ko) | 차량용 블라인드 콘트롤 시스템 | |
JP6589796B2 (ja) | ジェスチャ検出装置 | |
KR20200037725A (ko) | 기기 제어 장치 | |
CN108369451B (zh) | 信息处理装置、信息处理方法及计算机可读存储介质 | |
JP2017097608A (ja) | 画像認識装置 | |
JP6581482B2 (ja) | 画像認識装置 | |
JP5136948B2 (ja) | 車両用操作装置 | |
KR20120054739A (ko) | 사용자 인식을 통한 차량 유저인터페이스 제공 시스템 | |
KR20140079025A (ko) | 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법 | |
KR100939831B1 (ko) | 입력 에러를 감소시키기 위한 조작 입력 장치 및 정보 기기조작 장치 | |
KR101500412B1 (ko) | 차량용 제스처 인식 장치 | |
JP2006327526A (ja) | 車載機器の操作装置 | |
KR20140077037A (ko) | 제스처 기반의 촉감 자극 제공 시스템 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20171030 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20181030 Year of fee payment: 5 |