KR100575906B1 - 핸드 패턴 스위치 장치 - Google Patents

핸드 패턴 스위치 장치 Download PDF

Info

Publication number
KR100575906B1
KR100575906B1 KR1020030073835A KR20030073835A KR100575906B1 KR 100575906 B1 KR100575906 B1 KR 100575906B1 KR 1020030073835 A KR1020030073835 A KR 1020030073835A KR 20030073835 A KR20030073835 A KR 20030073835A KR 100575906 B1 KR100575906 B1 KR 100575906B1
Authority
KR
South Korea
Prior art keywords
hand
shape
switch
movement
information
Prior art date
Application number
KR1020030073835A
Other languages
English (en)
Other versions
KR20040036593A (ko
Inventor
사이토히데오
사토히로미츠
야마모토케이이치
오자와신지
이가라시히로야
Original Assignee
각고호우징 게이오기주크
미츠비시 후소 트럭 앤드 버스 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JPJP-P-2002-00311289 priority Critical
Priority to JP2002311289A priority patent/JP2004142656A/ja
Priority to JPJP-P-2002-00311290 priority
Priority to JP2002311290A priority patent/JP3742951B2/ja
Application filed by 각고호우징 게이오기주크, 미츠비시 후소 트럭 앤드 버스 코포레이션 filed Critical 각고호우징 게이오기주크
Publication of KR20040036593A publication Critical patent/KR20040036593A/ko
Application granted granted Critical
Publication of KR100575906B1 publication Critical patent/KR100575906B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00Dashboards
    • B60K37/04Arrangement of fittings on dashboard
    • B60K37/06Arrangement of fittings on dashboard of controls, e.g. controls knobs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/20Optical features of instruments
    • B60K2370/21Optical features of instruments using cameras

Abstract

핸드 패턴 스위치 장치는 촬상 영역에 놓여진 손의 화상으로부터 손 형상을 인식함과 함께 해당 손의 움직임을 검출하고, 인식한 손의 형상 및/또는 손의 움직임에 의해 복수의 제어 대상으로부터 하나를 선택하고, 상기 선택된 제어 대상에 응하여 손의 움직임에 의거한 조작 정보의 검출 형태를 변경한다. 이동 거리 검출 양태에서는 촬상 영역 내에서의 손의 이동 거리를 검출하여 조작 정보로 하고, 정지 시간 검출 양태에서는 촬상 영역 내에서 소정 거리 이상 이동한 손의 정지 위치에서의 정지 시간을 검출하여 조작 정보로 한다. 촬상 영역은 예를 들면, 스티어링 휠 측방이며 또한 운전원이 그 운전 자세를 유지한 채로 팔을 뻗을 수 있는 영역으로 한다.
핸드 패턴, 제어

Description

핸드 패턴 스위치 장치{HAND PATTERN SWITCHING APPARATUS}

도 1은 본 발명의 한 실시 형태에 관한 핸드 패턴 스위치 장치의 개략 구성을 도시한 도면.

도 2는 도 1에 도시한 핸드 패턴 스위치 장치에서의 손가락의 촬상 영역을 도시한 도면.

도 3은 핸드 패턴 스위치 장치에서의 스위치 조작 정보의 지시 입력 동작의 개략적인 순서를 도시한 도면.

도 4의 a는 핸드 패턴 스위치 장치에 대해 스위치 조작 지시를 주기 위한 손가락 형상의 예를 도시한 도면.

도 4의 b는 손가락 형상의 다른 예를 도시한 도면.

도 4의 c는 손가락 형상의 또 다른 예를 도시한 도면.

도 5는 손가락에 의한 푸시 조작에 수반하는 제어 대상의 선택예를 도시한 도면.

도 6은 제어 대상에 대응시키는 입력 모드의 설정 화면의 예를 도시한 도면.

도 7은 핸드 패턴 스위치 장치에서의 스위치 조작 정보 입력을 위한 개략적인 처리 순서의 일부를 도시한 순서도.

도 8은 도 7에 도시한 처리 순서에 계속된 처리 순서를 도시한 순서도.

도 9는 거리 모드에서의 스위치 조작 정보의 검출 순서를 도시한 순서도.

도 10은 시간 모드에서의 스위치 조작 정보의 검출 순서를 도시한 순서도.

도 11은 거리·시간 모드에서의 스위치 조작 정보의 검출 순서를 도시한 순서도.

도 12의 a는 푸시 버튼 스위치의 가상적인 스위치 조작이 실감을 갖고서 행하여진 빈도와 손가락의 움직임 량과의 관계를 도시한 그래프.

도 12의 b는 레버 스위치를 가상적으로 스위치 조작함이 실감을 갖고서 행하여진 빈도와 손가락의 움직임 량과의 관계를 도시한 그래프.

도 12의 c는 가상적인 스위치 조작의 정지가 실감을 갖고서 행하여진 빈도와 정지 시간과의 관계를 도시한 그래프.

기술분야

본 발명은 오퍼레이터에 의한 제어 대상에의 조작 정보의 입력을 행하기 위한 핸드 패턴 스위치 장치에 관한 것으로, 특히, 운전자가 공조 기기나 오디오 기기 등의 차량 탑재 기기의 동작을 해당 차량 탑재 기기의 조작 패널에 접촉하는 일 없이, 또한 차량의 운전을 방해하는 일 없이 간이하게 조작하는데 알맞은 핸드 패 턴 스위치 장치에 관한 것이다.

배경기술

공조 기기나 오디오 기기 등의 차량 탑재 기기의 동작을 해당 차량 탑재 기기의 조작 패널에 접촉하는 일 없이 조작하는 기술로서, 카메라를 이용하여 운전자의 신체의 일부(예를 들면 왼손)를 촬상하고, 그 화상 패턴을 인식하여 상기 차량 탑재 기기에 대한 조작 정보를 얻는 것이 제창되어 있다(예를 들면 특개평11-134090호 공보).

또한 운전자의 손가락의 형상이나 움직임으로서 나타내여지는 제스처를 검출하여 차량 탑재 기기에 대한 조작 정보를 얻는 것도 제창되어 있다(예를 들면 특개2001-216069호 공보).

여기서는 이와 같은 예를 들면 손바닥, 손, 손가락 등을 촬상한 화상으로부터 그들의 형상을 인식하는 패턴 인식 처리나, 인식한 손바닥, 손, 손가락 등의 위치 변화를 추적함으로써 그 움직임을 검출하는 움직임 검출 처리 등에 의해 실현되는 것을 핸드 패턴 스위치 장치라고 칭한다. 또한, 이하, 특히 설명하지 않는 한, 손바닥, 손, 손가락 등을 총칭하여 단지 손이라 하여 설명한다.

그런데 차량에는 상술한 바와 같이 오디오 기기나 공조 기기 등의 여러가지의 보조 기기가 탑재되어 있고, 게다가 이들의 각 보조 기기에서의 조정 기능도 여러갈래에 걸친다. 예를 들면 차량에 탑재되는 오디오 기기에는 라디오, 테이프 플레이어, CD 플레이어 등이 있고, 그 조정 기능으로서 음량, 채널 선택, 재생, 정지 등의 기능이 있다. 또한 공조 기기(에어컨)에 대해서도, 온도, 풍량, 풍향 등의 조 정 기능이 있다.

그러나, 상기 양 종래예 모두, 하나의 손 형상으로 하나의 제어 대상이 결정되고, 조작량도 어느 손 형상이 할당되어 있는 것이기 때문에, 운전자는 극히 많은 손 형상을 기억할 필요가 있고, 운전에 지장을 초래할 우려가 있다.

한편, 핸드 패턴 스위치 장치로부터 입력 가능한 스위치 조작 정보는 일반적으로는 손 형상의 다름이나 손의 움직이는 방식 등에 응한 정보로서 일의적으로 주어질 뿐이기 때문에, 각종의 제어 대상을 각각 적절하게 조정하는 것이 곤란하다는 문제도 있다.

즉, 각종의 제어 대상 중에는 라디오의 채널 선택이나 풍량 조정과 같이 연속적, 또는 스텝적으로 크게 조정(변경)하는 편이 바람직한 것이나, 온도나 음량 등과 같이 연속적으로 미조정할 수 있도록 하는 편이 바람직한 것이 있다.

따라서 핸드 패턴 스위치 장치로부터 입력 가능한 스위치 조작 정보를 예를 들면 운전자의 기호나 제어 대상에 응하여 변경하여, 그 조작성을 높일 수 있는 것이 바람직하다.

또한, 이와 같은 핸드 패턴 스위치 장치를 이용하여 차량 탑재 기기의 동작을 조작하는 경우, 핸드 패턴 스위치 장치를 통하여 조작 정보를 입력하는 운전자에게, 운전 조작을 저해하는 여분의 부담을 주지 않는 것도 중요하다. 또한 당연하지만, 제어 대상으로 하는 차량 탑재 기기에 응하여, 그 조작 정보를 간이하며, 게다가 적절하게 입력할 수 있는 것이 바람직하다.

본 발명의 목적은 각종 차량 탑재 기기 등의 제어 대상의 동작을 제어하기 위한 조작 정보를 운전자 등의 오퍼레이터가 핸드 패턴 스위치 장치를 통하여 제어 대상에, 간이하며 적절하게 입력할 수 있고, 특히 제어 대상에 응한 적절한 조작 정보를 입력하는데 알맞은 조작성(취급성)이 좋은 핸드 패턴 스위치 장치를 제공하는데 있다.

또한 본 발명은 차량의 운전자 등의 오퍼레이터에게 여분의 부담을 가하는 일 없이, 핸드 패턴 스위치 장치를 통한 제어 대상에의 조작 정보의 입력을 행할 수 있게 한 핸드 패턴 스위치 장치를 제공한 것을 목적으로 한다.

본 발명에 의하면, 소정의 촬상 영역에 놓여진 손을 촬상하는 촬상 수단을 구비하고, 그 촬상된 화상으로부터 손 형상을 인식함과 함께 해당 손의 움직임을 검출하고, 제어 대상에 대한 조작 정보를 얻는 핸드 패턴 스위치 장치가 제공된다.

본 발명의 하나의 양태에 의한 핸드 패턴 스위치 장치는 인식한 손의 형상 및/또는 손의 움직임에 의해 복수의 제어 대상으로부터 하나를 선택하는 제어 대상 설정 수단과, 상기 선택된 선택 제어 대상에 응하여 상기 손의 움직임에 의거한 상기 조작 정보의 검출 형태를 변경하는 검출 형태 변경 수단을 구비한 것을 특징으로 한다.

제어 대상 설정 수단은 미리 설정된 손의 움직임 패턴을 검출할 때마다, 복수의 제어 대상으로부터 하나를 순회적으로 선택하는 것이라도 좋다. 또한, 검출 형태 변경 수단은 촬상 영역 내에서의 손의 이동 거리를 검출하여 조작 정보로 하는 이동 거리 검출 형태와, 촬상 영역 내에서 소정 거리 이상 이동한 손의 정지 위 치에서의 정지 시간을 검출하여 조작 정보로 하는 정지 시간 검출 형태와, 이동 거리 검출 형태 및 정지 시간 검출 형태의 적어도 한쪽을 설정하는 검출 형태 설정 수단을 포함하는 것이라도 좋다. 보다 바람직하기는 이동 거리 검출 형태는 손의 이동 거리의 검출을 소정 이동 거리를 검출 단위로 하여 다단계로 행한다.

상기한 핸드 패턴 스위치 장치에 의하면, 제어 대상의 성질이나 오퍼레이터 예를 들면 운전원의 기호나 버릇에 응하여, 여러가지의 제어 대상에게 주는 조작 정보의 검출 형태를 적절하게 설정할 수 있다. 따라서 부담이 적은 간이한 오퍼레이터에 의한 조작하에서 제어 대상 예를 들면 각종 탁량 탑재 기기의 조정 대상을 효과적으로 조작할 수 있는 등의 실용상 다대한 효과가 이루어진다. 특히 제어 대상에 응하여 조작 정보의 검출 형태를 변경 가능하기 때문에, 비교적 큰 조작량을 단계적으로 주는 것이 바람직한 경우에도, 역으로 작은 조작량을 연속적으로 주어 미정하는 것이 바람직한 경우에도, 조작 정보를 제어 대상에 응하여 적절하게 줄 수 있는 등의 효과가 이루어진다.

본 발명의 다른 양태에 의하면 차량용 핸드 패턴 스위치 장치가 제공되고, 상기 장치는 촬상 영역을 차량의 스티어링 휠 측방이며 또한 해당 스티어링 휠을 조타하는 운전원이 그 운전 자세를 유지한 채로 팔을 뻗을 수 있는 영역으로 한 것을 특징으로 한다.

촬상 영역은 스티어링 휠의 외주부로부터 적어도 50㎜ 떨어진 위치에 설정되고, 또한 운전원이 뻗은 손의 손끝 방향으로 약 600㎜, 손의 폭방향으로 약 350㎜의 크기를 갖는 개략 직사각형 형상의 영역으로서 설정되는 것이면 좋다. 또한, 촬 상 영역 내에서의 손의 움직임의 검출은 화상으로부터 구하여지는 손의 중심(重心) 위치의 손끝 방향으로의 10 내지 70㎜의 변위를 제어 대상 선택 및/또는 제어 대상의 조작량으로서 검출하는 것이라도 좋다.

상기한 차량용 핸드 패턴 스위치 장치에 의하면, 운전원의 운전 조작에 수반하는 손이나 팔의 움직임의 영향을 받는 일 없이, 손의 형상과 그 움직임에 의한 조작 지시를 정확하게 검출할 수 있다. 그리고 그 검출 결과에 응하여, 소정의 차량 탑재 기기에 대해 적절하게 조작 정보를 주는 것이 가능해지는 등의 실용상 다대한 효과가 이루어진다. 특히 팔걸이에 팔을 올려놓은 운전자가 가상적으로 조작하는 때에 실감할 수 있는 손의 움직임을 확실하게 검출할 수 있고, 또한 운전자의 조작 부담을 경감할 수 있는 등의 효과가 이루어진다.

본 발명의 또다른 양태에 의한 차량용 핸드 패턴 스위치 장치는 촬상 수단을 차량의 스티어링 휠을 조타하는 운전자가 그 운전 자세를 유지한 채로 팔을 뻗을 수 있는 영역을 촬상할 수 있는 위치에 배설한 것을 특징으로 한다. 촬상 수단은 차량의 천장부에 설치할 수 있다.

상기한 차량용 핸드 패턴 스위치 장치에 의하면, 운전자는 상기 장치에의, 그리고 제어 대상에의 조작 정보의 입력을 부담 없이 행할 수 있다.

본 발명의 또다른 양태에 의한 핸드 패턴 스위치 장치는 미리 설정된 손의 움직임 패턴을 반복함으로써, 복수의 제어 대상으로부터 하나를 순회적으로 선택하는 제어 대상 선택 수단과, 상기 선택된 제어 대상의 조작량을 상기 손의 움직임에 의거하여 변경하는 조작량 변경 수단을 구비한 것을 특징으로 한다.

핸드 패턴 스위치 장치는 인식한 손 형상이 미리 설정된 제 1의 손 형상인 것이 검출된 때, 해당 장치의 작동 시작을 인식하는 조작 시작 인식 수단을 갖는 것이라도 좋고, 제어 대상 선택 수단은 상기 작동 시작의 인식 후, 손의 움직임 - 그 인식된 손 형상은 미리 설정된 제 2의 손 형상을 이루는 -에 의거하여 제어 대상을 선택하는 것이라도 좋다. 조작 시작 인식 수단은 제 1의 손 형상을 이루는 손이 특정한 물건을 파지하지 않는 또는 접촉되지 않는 것을 확인하고 핸드 패턴 스위치 장치의 작동 시작을 결정하는 확인 수단을 갖는 것이면 좋다. 제 1의 손 형상은 물건을 파지하는 때의 형상이면 좋고, 제 2의 손 형상은 물건을 가리키는 때의 형상이면 좋다. 또한, 핸드 패턴 스위치 장치는 제어 대상 선택 후, 인식한 손 형상이 미리 설정된 제 3의 손 형상을 이루고, 촬상 영역 내에서의 손의 검출 위치가 소정 시간에 걸쳐서 변위하지 않는 것을 검출한 때, 조작량 변경 수단의 기동을 촉진하는 기동 촉진 수단을 구비할 수 있다.

상기한 핸드 패턴 스위치 장치에 의하면, 운전자 등의 오퍼레이터가 예를 들면, 집게손가락으로 버튼 스위치를 누르는 푸시 조작에 대응하는 손의 움직임 패턴을 반복함으로써 제어 대상을 순회적으로 선택할 수 있고, 또한, 예를 들면, 손으로 변속 레버를 움직이는 조작에 대응하는 손의 움직임을 제 1의 손 형상으로 행함에 의해 변속 레버의 조작량을 변경할 수 있다. 상기 점, 상술한 특개평11-134090호 공보 및 특개2001-216069호 공보에 기재된 기술에서는 하나의 손가락 형상으로 하나의 제어 대상이 결정되고, 조작량의 결정에도 어느 손가락 형상이 할당되어 있고, 상기 때문에, 운전자가 손가락 형상을 다수 기억할 필요가 있고, 운전에 지장 을 초래할 우려가 있다.

이하, 도면을 참조하여 본 발명의 실시 형태에 관한 핸드 패턴 스위치 장치에 관해 설명하다. 또한, 이하, 특히 설명하지 않는 한, 손바닥, 손, 손가락 등을 총칭하여 단지 손이라 하여 설명한다.

전체 구성

도 1은 실시예 장치의 주요부 개략 구성을 도시한 도면으로, 트럭의 운전석의 모습과 마이크로 컴퓨터(ECU) 등에 의해 실현되는 장치의 기능을 도시하고 있다. 운전석에는 운전원(드라이버)에 의해 조타되는 스티어링 휠(핸들)(1)이나 콤비네이션 스위치(도시 생략) 등이 마련되고, 또한 그 콘솔 패널에는 제어 대상이 되는 오디오 기기나 공조 기기 등의 조작부(2)가 마련되어 있다. 이와 같은 운전석 상방의 천장에는 스티어링 휠(1)의 측방을 촬상 영역으로 하고, 해당 촬상 영역을 향하여 팔을 뻗은 운전원의 손가락를 촬상하는 비디오 카메라(3)가 마련되어 있다. 상기 카메라(3)는 CCD 카메라 등의 소형의 것으로 이루어진다.

카메라 배치

상기 카메라(3)에 의한 촬상 영역(3a)은 도 2에 도시한 바와 같이 스티어링 휠(1)의 측방의, 해당 스티어링 휠(1)의 외주부로부터 적어도 50㎜ 떨어진 위치, 바람직하기는 100㎜ 정도 떨어진 위치로서 설정되어 있다. 또한 상기 촬상 영역(3a)은 스티어링 휠(1)의 측방으로 팔을 뻗은 운전원의 손의 손끝 방향으로 약 600㎜, 또한 손의 폭방향으로 약 350㎜의 크기를 갖는 개략 직사각형 형상의 영역 으로서 설정되어 있다.

이와 같이 하여 설정된 촬상 영역(3a)은 스티어링 휠(1)을 파지하는 또는 스티어링 휠(1)의 칼럼 샤프트에 마련된 콤비네이션 스위치(도시 생략)를 조작하는 운전원의 손을 촬상하는 일이 없는 영역이고, 게다가 운전원이 크게 팔을 움직이는 일 없이 손가락를 이동시킬 수 있는 영역으로서 설정되어 있다. 특히 운전원이 운전석의 측부에 마련된 팔걸이(암 레스트)(5)에 팔을 올려놓은 채로, 그 운전 자세를 무너뜨리는 일 없이 팔을 뻗을 수 있는 위치이고, 오디오 기기 등의 조작부(2)에 손이 닿는 일이 없는 위치이다.

이로써 운전 조작에 수반하는 손의 움직임을 잘못하여 스위치 조작 정보로서 검출하는 것이 방지되어 있다. 또한 오디오 기기 등의 조작부(2)를 직접 조작하는 손에 대해서도, 이것을 검출하는 일이 없도록 설정되어 있다.

또한, 이와 같이 설정된 촬상 영역(3a)에, 변속기를 조작하는 기어 시프트 레버(도시 생략)가 배치 또는 인접되어 있는 경우에는 예를 들면 기어 시프트 레버에 감압 센서를 마련하고, 상기 감압 센서를 통하여 운전원에 의한 기어 시프트 레버의 파지를 검출하도록 하여 두면 좋다. 이와 같은 궁리를 강구하여 두면, 촬상 영역(3a)으로 뻗어진 손이, 기어 시프트 레버를 조작하고 있는지, 또는 핸드 패턴 스위치 장치를 조작하고 있는 상태인지를 용이하게 판별하는 것이 가능해지고, 운전 조작을 스위치 조작 정보로서 잘못 검출하는 것을 확실하게 막을 수 있다. 또한 카메라(3)로서 스테레오(입체 시) 카메라를 이용하여 손의 높이 위치(카메라(3)로부터의 거리)를 검출하고, 이로써 촬상 영역(3a)으로 뻗어진 손이 기어 시프트 레 버를 조작하고 있는지, 또는 기어 시프트 레버의 상방 공간에 위치하고 있는지를 판별하도록 하여도 좋다.

그런데, 상술한 바와 같이 촬상 영역(3a)은 운전원이 크게 팔을 움직이는 일 없이 손가락를 이동시킬 수 있는 영역으로서 설정되어 있는 것이지만, 또한 가상적으로 스위치 조작하는 때에 운전원이 실감할 수 있는 손가락의 움직임(변위)을 기준으로 하여 설정된다. 즉, 오디오 기기 등에 조립된 각종 스위치를 실제로 가압 조작하는 경우에는 그 반력으로서 스위치 조작을 실감할 수 있다. 그러나 소정의 공간에서 가상적으로 스위치 조작하는 경우에는 손의 이동에 수반하는 반력이 없기 때문에, 스위치 조작을 직접적으로 체감하는 일이 없고, 오히려 스위치 조작을 행하는 자기의 손가락나 팔의 움직임의 감각으로서 느끼는 것으로 된다.

그래서 본 발명자 등은 누름버튼 스위치를 1회씩 가압 조작하는 때, 또한 변속기의 기어 시프트 레버를 다단계에 걸쳐서 시프트 조작하는 때 등을 상정하고, 어느 정도의 움직임을 하면 스위치 조작을 행하였다고 느끼는지 실험하였다.

또한 스위치 조작한 후에 그 손을 정지시키는 동작을 상정하고, 어느 정도의 시간에 걸쳐서 손을 정지시키고 있으면, 그 조작을 완료하였다고 느끼는지를 실험하여 보았다.

또한, 상기 실험은 대형 자동차 면허를 소유한 복수의 운전 경험자를 대상으로 하여 상술한 조작을 반복하여 행하고, 그 변위량과 정지 시간을 각각 실측하여 행하였다.

도 12의 a 내지 도 12의 c는 그 실험 결과를 각각 도시하고 있다. 구체적으 로는 도 12의 a는 누름버튼 스위치를 1회씩 가압 조작하는 때의 손의 움직임 량(변위량)을 파라미터로 하여 그 조작 빈도를 그래프화 한 것이다. 상기 실험 결과에 의하면, 누름버튼 스위치를 1회씩 가압 조작하는 때의 손의 움직임 량(변위량)에 관해서는 30 내지 70㎜의 편차가 있지만, 50㎜의 변위를 스위치 조작으로서 느끼는 빈도가 가장 높고, 평균적으로는 45㎜인 것을 확인할 수 있었다.

또한 기어 시프트 레버를 다단계에 걸쳐서 전후로 시프트 조작하는 경우, 도 12의 b에 도시한 바와 같이 1단당의 조작으로서 실감하면서 움직이는 손의 움직임 량(변위량)은 10 내지 40㎜이고, 30㎜의 변위를 1단의 조작으로서 느끼는 빈도가 가장 높고, 또한 평균적으로는 23㎜이였다. 또한 손을 소정량만큼 변위시킨 후, 그 움직임을 정지시키고 하나의 동작을 완료하는 경우, 그 정지 시간으로서는 도 12의 c에 도시한 바와 같이 320m초가 가장 빈도가 높았다. 또한, 상기 정지 시간 계측은 80m초를 1단위로 하여 행하였다.

이들의 실험 결과에 나타내여진 바와 같이, 운전원이 그 팔을 팔걸이에 올려놓은 채로 자연스러운 상태에서 가상적으로 스위치 조작하는 경우, 스위치를 조작한 때에 실감할 수 있는(절도감이 있다) 손의 움직임 량(변위량)은 1회의 스위치 가압 조작의 경우에는 50㎜ 정도이고, 또한 다단계로 기어 시프트 레버를 조작하는 경우에는 1단당의 변위량이 30㎜ 정도인 것을 확인할 수 있었다. 또한 정지 동작을 수반하는 경우에는 그 동작 정지 기간이 300m초 정도인 것이 확인할 수 있었다.

전술한 카메라(3)에 의한 촬상 영역(3a)의 위치와 그 크기는 상술한 실험 결과에 입각하여, 예를 들면 후술하는 바와 같이 다단계의 스위치 조작(시프트 조작) 을 전후 방향으로 5단에 걸쳐서 행하는 것을 상정하고, 또한 운전원의 체형이나 운전 자세 등에 의해 스티어링 휠(1)의 측방으로 뻗어나는 손의 기준 위치가 변화하는 것을 고려하여 정하여져 있다. 또한 손의 크기가 일적으로 손목으로부터 손끝까지의 길이가 200㎜ 정도, 손의 폭이 120㎜ 정도인 것을 고려하여, 전술한 바와 같이 예를 들면 길이 600㎜, 폭 350㎜의 개략 직사각형 영역으로서 정하여져 있다.

이와 같이 설정된 촬상 영역(3a)에 의하면, 운전 조작에 수반하는 손의 움직임을 검출하는 일 없이, 스티어링 휠(1)로부터 떨어진 손의 위화감이 없는 자연스러운 움직임하에, 그 손을 확실하게 촬상할 수 있다. 게다가 스위치 조작에 수반하여 손가락의 위치가 움직이더라도, 그 움직임을 상기 촬상 영역(3a) 내에 확실하게 파악할 수 있기 때문에, 손의 형상 인식이나 그 이동량(변위량)의 검출을 비교적 간이한 화상 처리하에서 용이하게 행할 수 있다.

또한 역으로 운전원측에서 보면, 그 운전 자세를 무너뜨리는 일 없이 스티어링 휠(1)의 측방으로 팔을 뻗는 것만으로 좋고, 오디오 기기 등의 조작부(2)에 직접 접촉하는 일 없이, 미리 설정된 손 형상을 형성하여 손을 움직이는 것만으로 소망하는 스위치 조작을 행할 수 있다.

따라서 운전원의 조작 부담을 가볍게 할 수 있다. 또한 운전 조작에 수반하는 손이나 팔의 움직임이 스위치 조작 지시로서 검출되는 일이 없기 때문에, 핸드 패턴 스위치 장치를 의식하는 일 없이 운전 조작에 집중할 수 있고, 필요에 응하여 손을 촬상 영역(3a)으로 이동시킬 뿐으로, 간이하게 스위치 조작 지시를 주는 것이 가능으로 되는 등의 이점이 있다.

데이터 처리부

그런데 핸드 패턴 스위치 장치는 기본적으로는 상기 카메라(3)에 의해 촬상되는 운전원의 손 형상이나 움직임을 마이크로 컴퓨터(ECU)에서 인식 처리하고, 그 인식 결과에 의거하여 제어 대상이 되는 오디오 기기나 공조 기기에 대한 조작 정보(스위치 조작 정보)를 얻는다. 그리고, 상기 조작부(2)에 의한 조작에 대신하여 상기 스위치 조작 정보에 의해 이들 오디오 기기나 공조 기기 등을 조작한다.

구체적으로는 핸드 패턴 스위치 장치는 주로 도 1에 도시한 바와 같이 촬상 수단인 카메라(3)와, 상기 카메라(3)에 의해 촬상된 화상으로부터 스위치 조작 정보를 얻는 마이크로 컴퓨터(ECU) 등으로 이루어진다.

ECU는 카메라(3)으로부터 마이크로 컴퓨터(ECU)에 입력되는 입력 화상(이하, 단지 입력 화상이라고 한다)을 최종적으로 2치화 처리하여 그 배경 화상 성분을 제거하고, 손의 화상만을 추출하는 2치화 처리부(11), 2치화 처리에 의해 추출된 화상으로부터 손의 형상을 인식하는 형상 인식부(12), 인식한 손의 형상으로부터 그 중심 위치를 구하는 중심 검출부(13), 또한 상기 형상 인식부(12)에 의한 인식 결과, 및 중심 검출부(13)에 의해 검출된 손의 중심 위치에 따라 운전원의 손의 형상이나 그 움직임에 의해 나타나는 스위치 조작 정보를 인식하는 조작 지시 인식부(14)를 구비한다.

상기 조작 지시 인식부(14)는 개략적으로는 메모리(15)에 미리 등록된 손의 형상 패턴을 참조하면서 그 손의 형상을 판정·식별하는 형상 판정부(16), 손의 중심 위치의 이동을 추적하여 손의 변위를 검출하는 변위량 검출부(17), 및 손의 움 직임을 시간 경과로서 감시하는 타이머(18)를 구비한다. 또한 중심 위치 검출, 이동량, 및 손의 시간 경과 감시의 때에는 특히 손바닥 부분을 이용하여도 좋다.

그리고 조작 지시 인식부(14)는 이들의 판정·감시 결과에 의거하여, 운전원의 손 형상과 그 움직임에 의해 특정되는 소정의 스위치 조작 정보를 구하고, 상기 스위치 조작 정보를 상기 오디오 기기나 공조 기기 등에 대해 출력하도록 구성된다.

또한 조작 지시 인식부(14)의 형상 판정부(16)에는 상술한 판정 결과 등에 따라 운전원에 대해 소정의 가이던스(아나운스)를 행하는 가이드부(19)가 마련되어 있다. 상기 가이던스는 예를 들면 오디오 기기나 공조 기기(제어 대상 기기), 또한 음량·채널 설정, 또는 풍량·온도 등(제어 대상 기능)을 특정하는 음성 메시지나, 그 스위치 조작을 나타내는「핏」이나 「피이」 등의 확인음으로서 스피커(20)을 통하여 운전원에 알려지는 것이다.

상술한 바와 같이 구성되는 핸드 패턴 스위치 장치에 있어서, 본 발명이 특징으로 하는 것의 하나는 도 3에 예시한 스위치 조작 동작의 흐름으로 도시된 바와 같이, 선택한 제어 대상에 응하여 그 제어 대상에게 주는 스위치 조작 정보의 입력 모드를 선택적으로 전환하도록 한 점에 있다. 특히 스위치 조작 정보의 입력 모드로서, 여기서는 「거리 모드」, 「시간 모드」, 「거리·시간 모드」의 3종류가 준비되어 있고, 제어 대상(차량 탑재 기기)에 응하여 선택되게 되어 있다.

핸드 패턴 스위치 조작 개요

다음에 상기 스위치 조작에 관해 설명한다.

상기 핸드 패턴 스위치 장치에서는 스위치 조작을 지정하는 손 형상으로서, 예를 들면 도 4의 a 내지 도 4의 c에 도시한 바와 같은 손가락 패턴이 이용된다. 구체적으로는 도 4의 a에 도시한 바와 같은 쥔 주먹 형상의 패턴[손 형상 1], 도 4의 b에 도시한 바와 같은 집게손가락을 세운 가리키는 형상의 패턴[손 형상 2], 그리고 도 4의 b에 도시한 바와 같은 엄지손가락을 세운 패턴[손 형상 3]이 이용된다.

가리키는 형상의 패턴[손 형상 2]은 누름버튼과 같은 스위치를 가압 조작하는 이미지를 표현하고 있다. 또한 쥔 주먹 형상의 패턴[손 형상 1]은 자동 변속기의 변속단을 전환하는 시프트 레버와 같은 레버 형상 스위치를 손으로 파지하여 전후로 시프트 조작하는 이미지를 나타내고 있다. 또한 엄지손가락을 세운 패턴[손 형상 3]은 대기 지시를 나타내는 이미지를 나타내고 있다. 이와 같은 손 형상의 패턴은 그 형상적인 특징을 나타내는 데이터로서 전술한 메모리(15)에 미리 등록되어 있다. 그리고 입력 화상으로부터 인식되는 손 형상과 상기 메모리(15)에 등록된 패턴과의 일치도(유사도)를 계산함으로써, 손 형상의 판별에 이용된다.

그런데 운전원이 스티어링 휠(1)을 쥐고 차량을 조타하고 있는 경우에는 도 3의 동작 상태(A1)에 도시한 바와 같이 운전원의 손은 촬상 영역(3a)로부터 벗어나 있다. 그 때의 입력 화상은 차실 내의 배경으로서 배제 처리되는 화상 성분뿐이기 때문에 핸드 패턴 스위치 장치가 작동하는 일은 없다. 이에 대해 운전원의 손이 스티어링 휠(1)을 벗어나 동작 상태(A2)에 도시한 바와 같이 촬상 영역(3a) 내로 들어가면, 이에 의해 손에 대한 인식 처리가 시작된다. 상기 경우, 예를 들면 손을 쥔 주먹 형상의 [손 형상 1]로 함으로써, 스위치 조작 정보의 입력 시작을 지시하는 것이 바람직하다.

그리고 나서, 손의 형상이 스위치를 가압 조작하는 가리키는 형상의 패턴[손 형상 2]으로 변경되었는지의 여부를 판정한다. 그리고 가리키는 형상의 패턴[손 형상 2]이 검출된 경우에는 동작 상태(A3)에 도시한 바와 같이 선택 스위치를 반복하여 가압 조작(푸시)하여 소정의 기능·기기를 선택 지정하는 것으로 하고, 그 움직임의 검출이 행하여진다. 구체적으로는 가리키는 형상의 손가락이 전후로 움직이는(변위하는)것을 그 손의 중심 위치의 변화(이동)로부터 검출하고, 그 푸시 조작을 검출한다.

이 경우, 1회의 푸시 동작이 검출될 때마다, 예를 들면 도 5에 도시한 바와 같이 그 제어 대상을 「음량」, 「채널(ch)」, 「온도」, 「풍량」 등으로서 순회적으로 선택 지정하도록 그 제어 알고리즘을 설정하여 두면 좋다.

특히 상기 때, 1회의 푸시 동작이 검출될 때마다, 「핏」 등의 조작 확인음을 출력하도록 하거나, 선택된 제어 대상을 음성 메시지로서 통보하는 것도 유용하다. 이와 같은 가이던스에 의해, 운전원은 그 조작 상태를 눈으로 확인하는 일 없이 인식하는 것이 가능해지기 때문에 운전 조작에 전념하는 것이 가능해진다.

그리고 소망하는 제어 대상을 선택하는 때는 지금까지와는 다른 패턴으로서, 예를 들면 동작 상태(A4)에 도시한 바와 같이 엄지손가락을 세운 패턴[손 형상 3]으로 변경하여, 기능 선택 조작의 완료와 스위치 조작량의 입력 시작을 지시한다. 상기 경우, 그 확인음으로서 전술한 확인음과는 다른「피이」 등의 소리를 발하는 것이 바람직하다.

그 후, 동작 상태(A5)에 도시한 바와 같이 손을 쥔 주먹 형상[손 형상 1]으로 변경하고, 상기 손 형상 1의 전후 이동에 의해 스위치 조작 정보를 입력한다. 상기 때, 상기 손 형상 1의 움직임을 그 손의 중심 위치의 변위량 등으로부터 검출하고, 그 움직임에 대응한 스위치 조작 정보를 출력한다.

구체적으로는 상기 스위치 조작 정보의 입력에 있어서는 전술한 푸시 조작에 의해 선택 지정된 제어 대상에 응하여 검출해야 할 정보 내용을 변경한다.

즉, 제어 대상에 따라서는 그 제어량(스위치 조작 정보)을 큰 변화량으로 다단계(스텝적)로 변경하고 싶는 것과, 작은 변화량으로 연속적으로 세밀하게 변경하고 싶는 것이 있다.

따라서 선택한 제어 대상에 응하여, 예를 들면 손의 움직임 량(변위량)을 스위치 조작 정보로 하는 거리 모드(동작 상태(A6a)), 소정 거리만큼 변위한 손의 정지 시간으로부터 그 스위치 조작 정보를 구하는 시간 모드(동작 상태(A6b)), 또는 이러한 모드를 병용한 거리·시간 모드(동작 상태(A6c))를 선택적으로 설정한다.

여기서 상기 거리 모드는 기준 위치롭주터의 손의 이동량에 응하여 다단계로 스위치 조작 정보를 출력하는 모드로서, 라디오 방송의 채널 선택이나 공조 설비에서의 풍량·풍향을 선택 설정하는 경우에 알맞다.

또한 시간 모드는 기준 위치로부터 변위시킨 손의 정지 시간에 응한 스위치 조작 정보를 출력하는 모드로서, 오디오 기기의 음량이나 공조 기기에서의 온도 등을 조절하는 경우 등에 알맞다.

또한 상기 거리·시간 모드는 손의 약간의 이동시에는 그 이동량에 응한 스위치 조작 정보를 출력하고, 정지 위치까지 소정 거리 이상 이동한 경우에는 그 정지 위치에서의 손의 정지 시간에 응한 스위치 조작 정보를 출력하는 모드이다.

상기 거리·시간 모드는 제어 대상을 조(粗)조정하거나, 미조정하거나 하는 경우 등에 알맞는 것이다.

전술한 조작 지시 인식부(14)는 상술한 바와 같이 제어 대상에 응하여 선택적으로 설정되는 입력 모드(거리 모드/시간 모드/거리·시간 모드)에 응하여 상기 촬상 영역(3a) 내에서의 손의 움직임을 추적하고, 손의 이동량(변위량과 그 변위 방향)이나 이동 정지한 손바닥의 정지 시간을 계측한다. 그리고 이들의 계측 결과에 응한 스위치 조작 정보를 출력하는 것으로 된다.

또한, 각종의 스위치 제어 대상과 상술한 각 모드와의 대응 관계나, 스위치 조작량으로서 검출하는 내용(검출 거리나 시간) 등에 대해서는 미리 고정적으로 설정하여 두면 좋다. 그러나 이들 대응 관계, 검출 거리, 시간 등은 전술한 조작 지시 인식부(14)가 구비하는 예를 들면 도 6에 도시한 제어 화면(14a)을 이용하여, 스위치 조작자(운전원)의 기호 등에 응하여 적절히 변경할 수 있도록 하여 두어도 좋다.

구체적으로는 복수의 제어 대상의 각각에 대해 어느 입력 모드로 스위치 조작 정보를 입력하는지를 선택적으로 지정하고, 또한 그 검출 단위가 되는 손의 변위량(이동 거리)이나 계측 시간 등을 각각 가변 설정할 수 있도록 하여 두면 좋다.

순서도

① 초기 판정

도 7 내지 도 11은 상술한 처리 기능을 실현하는 조작 지시 인식부(14)에서의 개략적인 처리 순서를 도시하고 있다.

상기 처리 순서에 관해 설명하면, 핸드 패턴 스위치 장치의 기동에 수반하여, 우선 카메라(3)에 의한 촬상 영역(인식 영역)의 설정이나 2치화 처리에 있어서의 임계치의 설정 등으로 이루어지는 시스템계의 초기 설정을 행한다<스텝 S1>.

그리고 나서, 손 형상의 인식이나 손의 이동을 계측하기 위한 파라미터치 등을 클리어함과 함께, 제어 플래그를 "0"으로 설정하여 스위치 정보 검출에 대한 초기화를 실행한다<스텝 S2>.

이상의 초기화 처리를 실행한 후, 입력 화상중의 손 형상을 인식한다<스텝 S3>.

그 손 형상이 전술한 [손 형상 1], [손 형상 2], [손 형상 3]의 어느것인가를 판정한다<스텝 S4>.

그리고 손 형상이 가리키는 형의 [손 형상 2]인 경우에는 전회 검출되어 있는 손 형상이 무엇이였는지를 판정한다<스텝 S5>.

그리고 전회의 손 형상이 가리키는 형의 [손 형상 2] 이외였으면, 금회 검출된 [손 형상 2]에 의한 기능 선택의 모드가 설정되었다고 하고, 그 때에 검출되는 손의 중심 위치를 기준 위치(A)로서 등록한다<스텝 S6>.

그리고, 전회 검출된 손의 변위량을 나타내어 손의 이동 거리의 관리에 이용되는 파라미터(B')를 "0"으로 설정한다<스텝 S7>.

그 후, 전회의 손 형상을 [손 형상 2]로 갱신한다<스텝 S8).

그 후, 전술한 <스텝 S3>부터의 처리를 반복하여 실행한다.

이에 대해 <스텝 S5)에서, 전회의 손 형상이 가리키는 형의 [손 형상 2]이라고 판정된 경우, 다음에 그 때에 검출되는 손의 중심 위치의 전술한 기준 위치(A)로부터의 변위량(이동량)(B)을 구한다<스텝 S9>.

그리고 파라미터(B')가 판정 임계치(H1)를 충죽시키지 않고, 또한 금회 검출된 변위량(이동량)(B)가 소정의 판정 임계치(H1)을 넘고 있다는 2개의 조건이 충족되어 있는지의 여부를 판정한다<스텝 S10>.

그리고 상기 조건이 충족되어 있는 경우에는 [손 형상 2]의 상태에서 전술한 기능 선택을 위한 푸시 조작이 이루어졌다고 하고, 제어 대상을 1단계 변경한다<스텝 S11>.

그 후, 전회의 손 형상을 [손 형상 2]로 갱신하고<스텝 S8> 전술한 스텝 S3부터의 처리를 반복하여 실행한다.

또한, <스텝 S10>에서 상기 변위량(B)이 소정의 판정 임계치(H1)을 넘지 않는등 하여 조건이 충족되지 않는 경우에는 전술한 파라미터(B')로서 상기 변위량(B)을 세트한다<스텝 S12).

그 후, 전회의 손 형상을 [손 형상 2]로 갱신한다<스텝 S8>.

그리고, 전술한 <스텝 S3>부터의 처리를 반복하여 실행한다.

상기 <스텝 S3>부터 <스텝 S8>에 달하는 처리에 의해, [손 형상 2]로 소정의 이동량만큼 푸시 조작이 이루어진 때, 전술한 기능 선택이 실행되어 제어 대상이 선택적으로 설정된다.

한편, 전술한 <스텝 S4>에서 손 형상이 [손 형상 1] 또는 [손 형상 3]인 것이 검출된 경우에는 다음에 도 8에 도시한 바와 같이 그 손 형상이 [손 형상 1]인지, 또는 [손 형상 3]인지가 판정된다<스텝 S13>.

그리고 [손 형상 3]이라면, 전술한 동작 대기 상태를 지정하고 있다고 판정하고, 그 때에 검출되는 손의 중심 위치를 기준 위치(C)로 하여 등록한다<스텝 S14>.

또한 동시에 후술하는 이동 거리의 계측에 이용하는 제어 파라미터(D')를 "0"으로 세트한다<스텝 S15>.

그 후, 전회의 손 형상을 [손 형상 3]으로 갱신한 후<스텝 S16>, 전술한 <스텝 S3>부터의 처리를 반복하여 실행한다.

이에 대해 <스텝 S13>에서, 손 형상이 [손 형상 1]인 것이 판정된 경우에는 다음에 전회 검출되어 있는 손 형상이 무엇이였는지를 판정한다<스텝 S17>.

그리고 전회의 손 형상이 [손 형상 3]이엿다면, 조작 정보의 입력 모드가 설정되었다고 하여 제어 플래그를 "1"로 설정함과 함께, 이동 거리의 계측 파라미터(n)와 정지 시간의 계측 파라미터(t)를 각각 "0"으로 세트한다<스텝 S18>.

또한 전회의 손 형상이 쥔 주먹 형의 [손 형상 1]이였다면, 제어 플래그가 "1" 인지의 여부를 판정함으로써 조작 정보의 입력 모드가 이미 설정되어 있는지의 여부를 조사한다<스텝 S19>.

제어 플래그가 "1"인 경우에는 그 때에 검출되는 손의 중심 위치와, 전술한 기준 위치(C)의 거리(D)를 검출한다<스텝 S20).

그리고 앞서 기능 선택된 제어 대상에 응하여, 전술한 3종류의 입력 모드중, 어느 모드로 스위치 조작 정보를 검출하는지를 판정한다<스텝 S21>.

그리고 판정된 입력 모드에 따라, 스위치 조작 정보의 검출 처리를 실행한다.

또한, 전회의 손 형상이 [손 형상 1] 또는 [손 형상 3]이 아닌 경우<스텝 S17>, 또는 제어 플래그가 "1"이 아닌 경우<스텝 S19>에는 전술한 <스텝 S2>에 나타내여지는 초기 설정으로부터의 처리 순서를 반복하여 실행한다.

상기 처리에 의해 전술한 동작 상태(A2)로 나타낸 스위치 조작 정보의 입력 시작이 지시되는 것으로 된다.

② 거리 모드

거리 모드에 의한 스위치 조작 정보의 검출 처리에 관해서는 도 9에 예시한 바와 같이, 전술한 기준 위치(C)로부터의 거리(D)와 제어 파라미터(D')의 값을 비교하고, 그 대소 관계에 응하여 손이 전진하고 있는지, 후퇴하고 있는지를 판정한다<스텝 S22>.

그리고 손을 전진 이동시키고 있는 경우에는 전회 주기로부터 금회 주기까지의 이동 거리가 소정의 계측 단위 거리를 상회하였는지의 여부를 판정한다. 즉, 후술하는 조건 1이 성립하고 있는지의 여부를 판정한다<스텝 S23>.

소정의 계측 단위 거리를 상회하고 있는 경우에는 제어 파라미터(n)를 잉크리먼트한다<스텝 S24>.

그리고, 그 설정(스위치 조작 정보)을 1단계 증가시킨다<스텝 S25>.

역으로 손이 후퇴하고 있는 경우에는 전회 주기로부터 금회 주기까지의 이동 거리가 소정의 계측 단위 거리를 상회하였는지의 여부를 판정한다. 즉, 후술하는 조건 2가 성립하고 있는지의 여부를 판정한다<스텝 S26>.

이동 거리가 소정의 계측 단위 거리를 상회하고 있는 경우에는 제어 파라미터(n)를 디크리먼트한다<스텝 S27>.

그리고, 그 설정(스위치 조작 정보)을 1단계 감소시킨다<스텝 S28>.

또한, 상기 조건 1은 거리(D)와 거리(C)의 차(이동량)가 제어 파라미터(n)에 의해 가변 설정되는 소정 스텝 수의 이동 거리를 상회하며, 또한 제어 파라미터(D')의 값과 거리(C)의 차(이동량)가 제어 파라미터(n)에 의해 가변 설정된 소정 스텝 수의 이동 거리 미만이면 성립한다.

즉, 조건 1은 전회 주기로부터 금회 주기까지, 손이, 소정 스텝 수에 의해 정하여지는 소정의 계측 단위 거리 이상 이동하였는지의 여부를 판정하는 조건이다. 또한 조건 2는 손의 이동 방향이 역방향(후퇴)의 경우에 있어서의 마찬가지 판정 조건이다.

이상과 같이 하여 손의 이동 거리에 응한 스위치 조작 정보를 얻었으면, 상기 제어 파라미터(D')로서 거리(D)를 등록하여 그 판정 기준을 갱신한다<스텝 S29>.

그리고 전회의 손 형상으로서 [손 형상 1]을 등록한다<스텝 S30>.

그 후, 전술한 <스텝 S3>부터의 처리로 복귀한다.

그리고 상기 처리를 반복하여 실행함으로써, 손의 이동량에 응한 스위치 조작 정보가 단계적으로 출력되게 된다.

③ 시간 모드

한편, 시간 모드가 설정된 경우에는 도 10에 예시한 순서에 따라 그 검출 처리가 실행된다. 상기 경우에는 우선 이동 거리(D)가 제 3의 임계치(H3)를 넘고 있는지의 여부가 판정된다<스텝 S31>.

제 3의 임계치(H3)에 달하지 않은 경우에는 시간 파라미터(t)를 "0"으로 한다<스텝 S32>.

그리고 전회의 손 형상으로서 [손 형상 1]을 등록한다<스텝 S33>.

그 후, 전술한 <스텝 S3>부터의 처리로 복귀한다.

이에 대해 <스텝 S31>에서 이동 거리(D)가 제 3의 임계치(H3)을 넘고 있다고 판정된 경우에는 시간 파라미터(t)를 카운트업한다<스텝 S34>.

그리고 카운트업된 시간 파라미터(t)가 기준 시간(T1)에 달하였는지의 여부를 판정한다<스텝 S35>.

시간 파라미터(t)가 T1 이상이라고 판정된 경우는 그 설정(스위치 조작 정보)을 1단계 증가시킨다<스텝 S36>.

그리고 시간 파라미터(t)를 "0"으로 리셋한다<스텝 S37>.

그리고, 전회의 손 형상으로서 [손 형상 1]을 등록한다<스텝 S33>.

그 후, 전술한 <스텝 S3>부터의 처리로 복귀한다.

또한 <스텝 S31>에서 이동 거리(D)가 역방향으로 제 3의 임계치(H3)을 넘고 있다고 판정된 경우에도, 시간 파라미터(t)를 카운트업한다<스텝 S38>.

그리고 카운트업된 시간 파라미터(t)가 기준 시간(T1)에 달하였는지의 여부를 판정한다<스텝 S39>.

시간 파라미터(t)가 T1 이상이라고 판정된 경우는 그 설정(스위치 조작 정보)을 1단계 감소시킨다<스텝 S40>.

그리고 시간 파라미터(t)를 "0"으로 리셋한다<스텝 S41>.

그리고, 전회의 손 형상으로서 [손 형상 1]을 등록한다<스텝 S33>.

그 후, 전술한 <스텝 S3>부터의 처리로 복귀한다.

이와 같은 일련의 처리에 의해, 손이 소정의 거리를 이동하여 정지한 때, 그 정지 시간에 응한 스위치 조작 정보가 출력되는 것으로 된다.

④ 거리·시간 모드

거리·시간 모드는 상술한 거리 모드의 처리와 시간 모드의 처리를 손의 이동 거리에 응하여 나누어 이용함에 의해 실행된다.

구체적으로는 도 11에 도시한 바와 같이, 전술한 제어 파라미터(n)의 값을 판정한다<스텝 S42>.

그리고 파라미터(n)가 "-2"부터 "2"의 범위 내인지, 또는 "3" 이상 또는 "-3" 미만인지에 따라서, <스텝 S22a>부터 <스텝 S33a>에 나타낸 거리 모드의 처리, 또는 <스텝 S24a>부터 <스텝 S41a>에 나타낸 시간 모드의 처리를 각각 실행하면 좋다.

또한, <스텝 S22a>부터 <스텝 S33a>에 나타낸 처리는 전술한 <스텝 S22>부터 <스텝 S33>에 나타낸 처리에 상당하는 것이다. 또한 <스텝 S24a>부터 <스텝 S41a>에 나타낸 처리는 전술한 <스텝 S24>부터 <스텝 S41>에 나타낸 처리에 상당하는 것이다.

이렇게 상술한 바와 같이 기능하는 핸드 패턴 스위치 장치에 의하면, 간이하며 효과적으로 제어 대상으로 하는 기기를 선택하고, 그 제어 대상에 응한 입력 모드를 선택적으로 설정하여 스위치 조작 정보를 입력하는 것이 가능해진다.

따라서 제어 대상이 풍량이나 풍향과 같이, 비교적 큰 변위량을 주면서 설정하는 편이 바람직한 경우에도, 또는 역으로 음량이나 온도와 같이 작은 변위량을 주어 미조정하는 것이 바람직한 경우에도, 그 제어 대상에 응한 스위치 조작량을 간이하게 입력할 수 있다.

특히 그 입력 모드를 제어 대상에 응하여 미리 설정하여 두는 것만으로, 조작 의도에 응한 적절한 스위치 조작 정보를 간단하게 입력할 수 있는 등의 실용상 다대한 효과가 이루어진다.

또한 전술한 바와 같이 검출 단위 거리나 검출 단위 시간 등을 가변 설정할 수 있도록 구성하여 두면, 스위치 조작자(운전원)의 체형이나 기호, 또는 버릇에 응한 설정이 가능하다.

또한 제어 대상의 기기 특성에 응한 설정도 가능해진다. 따라서 조작 부담이 적고, 취급이 용이한 핸드 패턴 스위치 장치를 실현할 수 있다.

이렇게 상술한 바와 같이 구성된 핸드 패턴 스위치 장치에 의하면, 간이하며 효과적으로, 게다가 운전 조작에 수반하는 손의 움직임의 영향을 받는 일 없이, 손의 형상과 그 움직임에 의한 스위치 조작 지시를 정확하게 검출할 수 있다. 그리고 그 검출 결과에 응하여, 소정의 차량 탑재 기기에 대해 적절하게 스위치 조작 정보를 주는 것이 가능해진다. 특히 스위치 조작을 지시하는 손을 촬상하는 영역(촬상 영역(3a))이, 스티어링 휠(1)의 측방의 위치이고, 운전원이 그 운전 자세를 무너뜨리는 일 없이 자연스럽게 팔을 뻗을 수 있는 범위에 설정되어 있기 때문에, 운전원에게 조작 부담을 가하는 일이 없다. 따라서 오디오 기기 등의 조작부(2)를 직접 조작하는 감각을 유지하면서, 용이하게 핸드 패턴 스위치 장치를 통하여 스위치 조작 정보를 지시 입력하는 것이 가능해지는 등의 실용상 다대한 효과가 이루어진다.

또한, 본 발명은 상술한 실시 형태로 한정되는 것이 아니다. 실시 형태에서는 우핸들차를 전제로 하여 설명하였지만, 좌핸들차의 경우에도 마찬가지로 적용 가능한 것은 말할 필요도 없고, 또한 트럭 등의 대형차에 한하지 않고 보통 승용차 등에도 마찬가지로 적용 가능하다. 그 제어 대상에 대해서도, 예를 들면 내비게이션 장치의 조작, 와이퍼의 온·오프나 그 작동 간격의 조정, 사이드 미러의 개폐 등에 확장하는 것도 물론 가능하다.

또한 촬상 영역(A)의 크기에 관해서는 예를 들면 카메라(3)의 줌인 기능을 이용하여 가변 설정 가능하게 하여 두는 것도 가능하고, 또한 촬상 영역(A)의 위치에 대해서도 운전원의 버릇 등을 고려하여 미조정 가능하게 하여 두는 것도 가능하다. 상기 경우에는 카메라(3)의 부착 각도를 조정 가능하게 하여 두면 좋다.

또한 스위치 조작 정보의 입력 모드에 관해서는 상술한 3종류로 특정되는 것 이 아니고, 예를 들면 손의 형상 자체를 스위치 조작 정보로서 받아들이는 모드를 마련하는 것도 가능하다. 또한 여기서는 「음량」, 「채널」, 「온도」, 「풍량」으로서 그 제어 대상을 직접 선택하였지만, 「라디오」, 「테이프」, 「CD」, 「에어컨」 등으로서 제어 대상 기기를 특정하고, 그리고 나서 「음량」, 「채널」, 「재생」, 「정지」 등의 제어 대상을 특정하거나, 「풍량」, 「풍향」, 「온도」 등의 제어 대상을 특정하는 것도 가능하다.

이 경우에도, 최종적으로 특정되는 제어 대상에 응하여 스위치 조작 정보의 검출 형태를 변경 설정하도록 하면 좋다.

그 밖에, 본 발명은 그 요지를 일탈하지 않는 범위에서 여러가지 변형하여 실시할 수 있다.

Claims (14)

  1. 소정의 촬상 영역에 놓여진 손을 촬상하는 촬상 수단을 구비하고, 그 촬상된 화상으로부터 손 형상을 인식함과 함께 해당 손의 움직임을 검출하여, 제어 대상에 대한 조작 정보를 얻는 핸드 패턴 스위치 장치에 있어서,
    상기 핸드 패턴 스위치 장치는,
    인식한 손의 형상과 인식한 손의 움직임의 적어도 한쪽에 의해 복수의 제어 대상으로부터 하나를 선택하는 제어 대상 설정 수단과,
    이 선택된 선택 제어 대상에 응하여 상기 손의 움직임에 의거한 상기 조작 정보의 검출 형태를 변경하는 검출 형태 변경 수단을 구비하고,
    검출 형태 변경 수단은,
    상기 촬상 영역 내에 있어서의 손의 이동 거리를 검출하여 상기 조작 정보로 하는 이동 거리 검출 형태와, 상기 촬상 영역 내에 있어서 소정 거리 이상 이동한 손의 정지 위치에 있어서의 정지 시간을 검출하여 상기 조작 정보로 하는 정지 시간 검출 형태의 적어도 한쪽을 상기 조작 정보의 검출 형태로서 설정하는 검출 형태 설정 수단을 포함하는 것을 특징으로 하는 핸드 패턴 스위치 장치.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 이동 거리 검출 형태는, 손의 이동 거리의 검출을, 소정 이동 거리를 검출 단위로 하여 다단계로 행하는 것을 특징으로 하는 핸드 패턴 스위치 장치.
  5. 제 1항에 있어서,
    상기 촬상 영역은, 상기 차량의 스티어링 휠 측방이며 또한 해당 스티어링 휠을 조타하는 운전원이 그 운전 자세를 유지한 채로 팔을 뻗을 수 있는 영역인 것을 특징으로 하는 핸드 패턴 스위치 장치.
  6. 제 5항에 있어서,
    상기 촬상 영역은, 상기 스티어링 휠의 외주부로부터 적어도 50㎜ 떨어진 위치에 설정되며, 또한 운전원이 뻗은 손의 손가락끝 방향으로 약 600㎜, 손의 폭 방향으로 약 350㎜의 크기를 갖는 개략 직사각형 형상의 영역으로서 설정되는 것을 특징으로 하는 핸드 패턴 스위치 장치.
  7. 제 5항에 있어서,
    상기 촬상 영역 내에 있어서의 손의 움직임의 검출은, 상기 화상으로부터 구하여지는 손의 중심(重心) 위치의 손가락끝 방향으로의 10 내지 70㎜의 변위를, 제어 대상 선택과 제어 대상의 조작량의 적어도 한쪽으로서 검출하는 것을 특징으로 하는 핸드 패턴 스위치 장치.
  8. 제 1항에 있어서,
    상기 촬상 수단은, 상기 차량의 스티어링 휠을 조타하는 운전자가 그 운전 자세를 유지한 채로 팔을 뻗을 수 있는 영역을 촬영할 수 있는 위치에 배설되는 것을 특징으로 하는 핸드 패턴 스위치 장치.
  9. 제 8항에 있어서,
    상기 촬상 수단은,
    상기 차량의 천장부에 배치된 것을 특징으로 하는 핸드 패턴 스위치 장치.
  10. 소정의 촬상 영역에 놓여진 손을 촬상하는 촬상 수단을 구비하고, 그 촬상된 화상으로부터 손 형상을 인식함과 함께 해당 손의 움직임을 검출하여, 제어 대상에 대한 조작 정보를 얻는 핸드 패턴 스위치 장치에 있어서,
    상기 핸드 패턴 스위치 장치는,
    미리 설정된 손의 움직임 패턴을 반복함으로써, 복수의 제어 대상으로부터 하나를 순회적으로 선택하는 제어 대상 선택 수단과,
    상기 선택된 제어 대상의 조작량을 상기 손의 움직임에 의거하여 변경하는 조작량 변경 수단과,
    인식한 손 형상이 미리 설정된 제 1의 손 형상인 것이 검출된 때, 해당 핸드 패턴 스위치 장치의 동작 시작을 인식하는 조작 시작 인식 수단을 구비하고,
    상기 제어 대상 선택 수단은, 상기 동작 시작의 인식 후, 그 인식된 손 형상이 미리 설정된 제 2의 손 형상을 하는 손의 움직임에 의거하여, 제어 대상을 선택하는 것을 특징으로 하는 핸드 패턴 스위치 장치.
  11. 삭제
  12. 제 10항에 있어서,
    상기 조작 시작 인식 수단은, 상기 제 1의 손 형상을 하는 손이 특정한 물건을 파지하지 않는 또는 접촉하지 않는 것을 확인하고 상기 핸드 패턴 스위치 장치의 작동 시작을 결정하는 확인 수단을 갖는 것을 특징으로 하는 핸드 패턴 스위치 장치.
  13. 제 10항에 있어서,
    상기 제 1의 손 형상은, 물건을 파지할 때의 형상이고, 상기 제 2의 손 형상은, 물건을 가리킬 때의 형상인 것을 특징으로 하는 핸드 패턴 스위치 장치.
  14. 제 10항에 있어서,
    상기 제어 대상 선택 후, 인식한 손 형상이 미리 설정된 제 3의 형상을 하고, 상기 촬상 영역 내에 있어서의 손의 검출 위치가 소정 시간에 걸쳐서 변위하지 않는 것을 검출한 때, 상기 조작량 변경 수단의 기동을 촉구하는 기동 촉진 수단을 구비하는 것을 특징으로 하는 핸드 패턴 스위치 장치.
KR1020030073835A 2002-10-25 2003-10-22 핸드 패턴 스위치 장치 KR100575906B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JPJP-P-2002-00311289 2002-10-25
JP2002311289A JP2004142656A (ja) 2002-10-25 2002-10-25 ハンドパターンスイッチ装置
JPJP-P-2002-00311290 2002-10-25
JP2002311290A JP3742951B2 (ja) 2002-10-25 2002-10-25 ハンドパターンスイッチ装置

Publications (2)

Publication Number Publication Date
KR20040036593A KR20040036593A (ko) 2004-04-30
KR100575906B1 true KR100575906B1 (ko) 2006-05-02

Family

ID=32109507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030073835A KR100575906B1 (ko) 2002-10-25 2003-10-22 핸드 패턴 스위치 장치

Country Status (4)

Country Link
US (1) US7289645B2 (ko)
KR (1) KR100575906B1 (ko)
CN (1) CN1253776C (ko)
DE (1) DE10349568A1 (ko)

Families Citing this family (159)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100575906B1 (ko) 2002-10-25 2006-05-02 각고호우징 게이오기주크 핸드 패턴 스위치 장치
JP3752246B2 (ja) * 2003-08-11 2006-03-08 三菱ふそうトラック・バス株式会社 ハンドパターンスイッチ装置
JP2005242694A (ja) 2004-02-26 2005-09-08 Keio Gijuku ハンドパターンスイッチ装置
JP4601380B2 (ja) * 2004-10-08 2010-12-22 富士通フロンテック株式会社 生体認証システムの登録方法、生体認証システム及びそのプログラム
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
GB2423808B (en) * 2005-03-04 2010-02-17 Ford Global Tech Llc Motor vehicle control system for controlling one or more vehicle devices
CN1315024C (zh) * 2005-03-11 2007-05-09 西北工业大学 一种视频识别输入系统的输入方法
JP4389855B2 (ja) * 2005-09-05 2009-12-24 トヨタ自動車株式会社 車両用操作装置
WO2007121977A2 (de) * 2006-04-22 2007-11-01 Ident Technology Ag Steuersystem für ein fahrzeugcockpit
JP5030580B2 (ja) 2006-12-27 2012-09-19 タカタ株式会社 車両用作動システム、車両
US8094189B2 (en) * 2007-01-30 2012-01-10 Toyota Jidosha Kabushiki Kaisha Operating device
TW200910147A (en) * 2007-08-24 2009-03-01 Univ Nat Chiao Tung Control apparatus and method
CN101482772B (zh) * 2008-01-07 2011-02-09 纬创资通股份有限公司 电子装置及其操作方法
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US20110102570A1 (en) * 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
KR101503017B1 (ko) * 2008-04-23 2015-03-19 엠텍비젼 주식회사 모션 검출 방법 및 장치
KR100978929B1 (ko) * 2008-06-24 2010-08-30 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
KR100977443B1 (ko) * 2008-10-01 2010-08-24 숭실대학교산학협력단 제스쳐 기반의 가전기기 제어장치 및 방법
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
EP2273353A1 (en) 2009-07-07 2011-01-12 Ford Global Technologies Inc. Improved human machine interface
JP5648207B2 (ja) * 2009-09-04 2015-01-07 現代自動車株式会社 車両用操作装置
US20110063425A1 (en) * 2009-09-15 2011-03-17 Delphi Technologies, Inc. Vehicle Operator Control Input Assistance
EP2502127A1 (en) * 2009-11-18 2012-09-26 Elmiro Business Development B.V. Control system and method for controlling a plurality of computer devices
DE102009058145A1 (de) * 2009-12-12 2011-06-16 Volkswagen Ag Bedienverfahren für eine Anzeigevorrichtung eines Fahrzeugs
CN102103457B (zh) * 2009-12-18 2013-11-20 深圳富泰宏精密工业有限公司 简报操作系统及方法
JP5005758B2 (ja) * 2009-12-25 2012-08-22 株式会社ホンダアクセス 自動車における車載機器の操作装置
US20110268365A1 (en) * 2010-04-30 2011-11-03 Acer Incorporated 3d hand posture recognition system and vision based hand posture recognition method thereof
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8456329B1 (en) 2010-06-03 2013-06-04 The United States Of America As Represented By The Secretary Of The Navy Wand controller for aircraft marshaling
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
US8730157B2 (en) * 2010-11-15 2014-05-20 Hewlett-Packard Development Company, L.P. Hand pose recognition
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
CN102193632A (zh) * 2011-05-11 2011-09-21 苏州佳世达电通有限公司 电子装置及其手势操作方法
JP5845002B2 (ja) * 2011-06-07 2016-01-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US8886407B2 (en) 2011-07-22 2014-11-11 American Megatrends, Inc. Steering wheel input device having gesture recognition and angle compensation capabilities
US9292112B2 (en) * 2011-07-28 2016-03-22 Hewlett-Packard Development Company, L.P. Multimodal interface
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) * 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
DE102011112447A1 (de) * 2011-09-03 2013-03-07 Volkswagen Aktiengesellschaft Verfahren und Anordnung zum Bereitstellen einer graphischen Nutzerschnittstelle, insbesondere in einem Fahrzeug
DE102011054848B4 (de) 2011-10-27 2014-06-26 Deutsches Zentrum für Luft- und Raumfahrt e.V. Steuer- und Überwachungseinrichtung für Fahrzeuge
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US8818725B2 (en) * 2011-11-16 2014-08-26 Flextronics Ap, Llc Location information exchange between vehicle and device
CN104968532B (zh) * 2012-12-10 2017-10-27 伟创力汽车有限公司 基于图像识别和射频的车辆机电系统触发
US9694764B2 (en) 2011-12-09 2017-07-04 Flextronics Automotive, Inc. Vehicle electromechanical systems triggering based on image recognition and radio frequency
WO2013104377A1 (de) * 2012-01-09 2013-07-18 Audi Ag Verfahren zum darstellen von mindestens einem anzeigeinhalt
US20130201316A1 (en) 2012-01-09 2013-08-08 May Patents Ltd. System and method for server based control
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
CN102915111B (zh) * 2012-04-06 2017-05-31 寇传阳 一种腕上手势操控系统和方法
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
DE102012018685B4 (de) * 2012-05-22 2017-08-03 Audi Ag System und Verfahren zur Steuerung von zumindest einem Fahrzeugsystem mittels von einem Fahrer durchgeführter Gesten
US9092394B2 (en) * 2012-06-15 2015-07-28 Honda Motor Co., Ltd. Depth based context identification
DE102012216193B4 (de) * 2012-09-12 2020-07-30 Continental Automotive Gmbh Verfahren und Vorrichtung zur Bedienung einer Kraftfahrzeugkomponente mittels Gesten
DE102012020607B4 (de) * 2012-10-19 2015-06-11 Audi Ag Kraftwagen mit einer Gestensteuerungseinrichtung sowie Verfahren zum Steuern eines Auswahlelements
DE102012021220A1 (de) * 2012-10-27 2014-04-30 Volkswagen Aktiengesellschaft Bedienanordnung für ein Kraftfahrzeug
CN103809738B (zh) * 2012-11-13 2017-03-29 联想(北京)有限公司 一种信息采集方法及电子设备
JP6202810B2 (ja) * 2012-12-04 2017-09-27 アルパイン株式会社 ジェスチャ認識装置および方法ならびにプログラム
KR101490908B1 (ko) * 2012-12-05 2015-02-06 현대자동차 주식회사 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
KR101459441B1 (ko) * 2012-12-18 2014-11-07 현대자동차 주식회사 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
DE102013000068A1 (de) * 2013-01-08 2014-07-10 Audi Ag Verfahren zum Synchronisieren von Anzeigeeinrichtungen eines Kraftfahrzeugs
DE102013001330A1 (de) * 2013-01-26 2014-07-31 Audi Ag Verfahren zum Betreiben einer Lüftereinrichtung eines Kraftwagens sowie Kraftwagen
US9477315B2 (en) 2013-03-13 2016-10-25 Honda Motor Co., Ltd. Information query by pointing
US9704350B1 (en) 2013-03-14 2017-07-11 Harmonix Music Systems, Inc. Musical combat game
US8886399B2 (en) * 2013-03-15 2014-11-11 Honda Motor Co., Ltd. System and method for controlling a vehicle user interface based on gesture angle
US8818716B1 (en) 2013-03-15 2014-08-26 Honda Motor Co., Ltd. System and method for gesture-based point of interest search
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
KR20140114580A (ko) * 2013-03-19 2014-09-29 한라비스테온공조 주식회사 터치모션 입력에 따른 공조제어장치
US20140309876A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Universal vehicle voice command system
WO2014172904A1 (zh) * 2013-04-27 2014-10-30 Rong Weihua 手势识别装置、手势识别方法及相关车载装置
DE102013009567B4 (de) 2013-06-07 2015-06-18 Audi Ag Verfahren zum Betreiben einer Gestenerkennungseinrichtung sowie Kraftfahrzeug mit räumlich beschränkter Gestenerkennung
DE102013010932B4 (de) * 2013-06-29 2015-02-12 Audi Ag Verfahren zum Betreiben einer Bedienschnittstelle, Bedienschnittstelle sowie Kraftfahrzeug mit einer Bedienschnittstelle
DE102013010982A1 (de) 2013-07-01 2015-01-08 Audi Ag Verfahren zum Betreiben einer Bedieneinrichtung eines Kraftwagens und Steuerungssystem für einen Kraftwagen
DE102013214326A1 (de) * 2013-07-23 2015-01-29 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
DE102013012466B4 (de) 2013-07-26 2019-11-07 Audi Ag Bediensystem und Verfahren zum Bedienen einer fahrzeugseitigen Vorrichtung
CN104375627B (zh) * 2013-08-15 2018-02-27 联想(北京)有限公司 一种调节音量的方法及装置
US20160239002A1 (en) * 2013-09-25 2016-08-18 Schneider Electric Buildings Llc Method and device for adjusting a set point
DE102013219511B4 (de) * 2013-09-27 2020-07-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung eines Bediensystems, Kraftfahrzeug, Computerprogramm, Computer-Programmprodukt
DE102013016490A1 (de) * 2013-10-02 2015-04-02 Audi Ag Kraftfahrzeug mit berührungslos aktivierbarem Handschrifterkenner
US20150116200A1 (en) * 2013-10-25 2015-04-30 Honda Motor Co., Ltd. System and method for gestural control of vehicle systems
KR101537936B1 (ko) * 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법
DE102013019197A1 (de) * 2013-11-15 2015-05-21 Audi Ag Kraftfahrzeug-Klimatisierung mit adaptivem Luftausströmer
KR102206053B1 (ko) * 2013-11-18 2021-01-21 삼성전자주식회사 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
KR20150062317A (ko) * 2013-11-29 2015-06-08 현대모비스 주식회사 자동차의 통합 멀티미디어 장치
KR101556520B1 (ko) * 2013-12-11 2015-10-02 현대자동차주식회사 단말기, 그를 가지는 차량 및 그 제어 방법
DE102013020795A1 (de) 2013-12-12 2015-06-18 Man Truck & Bus Ag Verfahren und Anordnung zum Steuern von Funktionen eines Kraftfahrzeugs
CN103699224A (zh) * 2013-12-16 2014-04-02 苏州佳世达光电有限公司 一种手势感应的方法和系统
US10007329B1 (en) 2014-02-11 2018-06-26 Leap Motion, Inc. Drift cancelation for portable object detection and tracking
DE102014202834A1 (de) * 2014-02-17 2015-09-03 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zum berührungslosen Bedienen eines in Hardware ausgestalteten Bedienelementes in einem 3D-Gestenmodus
DE102014202833A1 (de) * 2014-02-17 2015-08-20 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zum Wechseln von einem ersten Bedienmodus einer Anwenderschnittstelle in einen 3D-Gesten-Modus
KR101575650B1 (ko) 2014-03-11 2015-12-08 현대자동차주식회사 단말기, 그를 가지는 차량 및 그 제어 방법
US9754167B1 (en) 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
US9868449B1 (en) 2014-05-30 2018-01-16 Leap Motion, Inc. Recognizing in-air gestures of a control object to control a vehicular control system
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
KR20160036242A (ko) * 2014-09-25 2016-04-04 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법
DE102014224598A1 (de) * 2014-12-02 2016-06-02 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung
EP3035180B1 (de) * 2014-12-17 2018-08-08 Volkswagen Aktiengesellschaft Vorrichtung für eine klimasteuerung, fahrzeug, verfahren und computerprogramm zur bereitstellung eines video- und steuersignals
GB2534152B (en) * 2015-01-14 2017-12-20 Jaguar Land Rover Ltd Apparatus and method for controlling operation of a component
JP6426025B2 (ja) * 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
US9954260B2 (en) 2015-03-16 2018-04-24 Thunder Power New Energy Vehicle Development Company Limited Battery system with heat exchange device
US10703211B2 (en) 2015-03-16 2020-07-07 Thunder Power New Energy Vehicle Development Company Limited Battery pack, battery charging station, and charging method
US9586618B2 (en) 2015-03-16 2017-03-07 Thunder Power Hong Kong Ltd. Vehicle control system for controlling steering of vehicle
US10173687B2 (en) 2015-03-16 2019-01-08 Wellen Sham Method for recognizing vehicle driver and determining whether driver can start vehicle
US9550406B2 (en) 2015-03-16 2017-01-24 Thunder Power Hong Kong Ltd. Thermal dissipation system of an electric vehicle
US9539988B2 (en) 2015-03-16 2017-01-10 Thunder Power Hong Kong Ltd. Vehicle camera cleaning system
US9866163B2 (en) 2015-03-16 2018-01-09 Thunder Power New Energy Vehicle Development Company Limited Method for controlling operating speed and torque of electric motor
US9547373B2 (en) 2015-03-16 2017-01-17 Thunder Power Hong Kong Ltd. Vehicle operating system using motion capture
FR3034072B1 (fr) 2015-03-26 2018-08-10 Continental Automotive France Ensemble de volant de vehicule comprenant des moyens de communication par emission-reception de lumiere
DE102015205931A1 (de) * 2015-04-01 2016-10-06 Zf Friedrichshafen Ag Bedienvorrichtung und Verfahren zum Bedienen zumindest einer Funktion eines Fahrzeugs
TWI552892B (zh) * 2015-04-14 2016-10-11 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
US9914418B2 (en) 2015-09-01 2018-03-13 Ford Global Technologies, Llc In-vehicle control location
US9967717B2 (en) 2015-09-01 2018-05-08 Ford Global Technologies, Llc Efficient tracking of personal device locations
US9757985B2 (en) 2015-09-25 2017-09-12 Honda Motor Co., Ltd. System and method for providing a gear selection indication for a vehicle
US10692126B2 (en) 2015-11-17 2020-06-23 Nio Usa, Inc. Network-based system for selling and servicing cars
US10046637B2 (en) 2015-12-11 2018-08-14 Ford Global Technologies, Llc In-vehicle component control user interface
DE102016201981A1 (de) 2016-02-10 2017-08-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Auswählen, Aktivieren oder Deaktivieren einer Funktion in einem Kraftfahrzeug mithilfe einer Bedieneinrichtung und ein Bediensystem
US10082877B2 (en) * 2016-03-15 2018-09-25 Ford Global Technologies, Llc Orientation-independent air gesture detection service for in-vehicle environments
US9914415B2 (en) 2016-04-25 2018-03-13 Ford Global Technologies, Llc Connectionless communication with interior vehicle components
US20180012196A1 (en) 2016-07-07 2018-01-11 NextEv USA, Inc. Vehicle maintenance manager
US9928734B2 (en) 2016-08-02 2018-03-27 Nio Usa, Inc. Vehicle-to-pedestrian communication systems
US10031523B2 (en) 2016-11-07 2018-07-24 Nio Usa, Inc. Method and system for behavioral sharing in autonomous vehicles
US10694357B2 (en) 2016-11-11 2020-06-23 Nio Usa, Inc. Using vehicle sensor data to monitor pedestrian health
US10708547B2 (en) 2016-11-11 2020-07-07 Nio Usa, Inc. Using vehicle sensor data to monitor environmental and geologic conditions
US10410064B2 (en) 2016-11-11 2019-09-10 Nio Usa, Inc. System for tracking and identifying vehicles and pedestrians
DE102016222656A1 (de) * 2016-11-17 2018-05-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur situationsbedingten Steuerung von Funktionalitäten eines Fahrzeugs
US10699305B2 (en) 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
US10249104B2 (en) 2016-12-06 2019-04-02 Nio Usa, Inc. Lease observation and event recording
US10074223B2 (en) 2017-01-13 2018-09-11 Nio Usa, Inc. Secured vehicle for user use only
US10471829B2 (en) 2017-01-16 2019-11-12 Nio Usa, Inc. Self-destruct zone and autonomous vehicle navigation
US9984572B1 (en) 2017-01-16 2018-05-29 Nio Usa, Inc. Method and system for sharing parking space availability among autonomous vehicles
US10031521B1 (en) 2017-01-16 2018-07-24 Nio Usa, Inc. Method and system for using weather information in operation of autonomous vehicles
US10286915B2 (en) 2017-01-17 2019-05-14 Nio Usa, Inc. Machine learning for personalized driving
US10464530B2 (en) 2017-01-17 2019-11-05 Nio Usa, Inc. Voice biometric pre-purchase enrollment for autonomous vehicles
US10897469B2 (en) 2017-02-02 2021-01-19 Nio Usa, Inc. System and method for firewalls between vehicle networks
DE102017205277A1 (de) * 2017-03-29 2018-10-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Interaktion zwischen einem Fortbewegungsmittel und einem Insassen, Fahrerassistenzsystem und Fortbewegungsmittel
CN106945636B (zh) * 2017-04-11 2020-01-14 北京新能源汽车股份有限公司 一种车辆的控制装置、方法和汽车
US10234302B2 (en) 2017-06-27 2019-03-19 Nio Usa, Inc. Adaptive route and motion planning based on learned external and internal vehicle environment
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
US10837790B2 (en) 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle
CN107589850A (zh) * 2017-09-26 2018-01-16 深圳睛灵科技有限公司 一种手势移动方向的识别方法及系统
US10635109B2 (en) 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
DE102017219154A1 (de) * 2017-10-25 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Anwenderschnittstelle und Fortbewegungsmittel zur Funktionsbelegung von Eingabezielen mittels Spracheingabe
US10606274B2 (en) 2017-10-30 2020-03-31 Nio Usa, Inc. Visual place recognition based self-localization for autonomous vehicles
US10717412B2 (en) 2017-11-13 2020-07-21 Nio Usa, Inc. System and method for controlling a vehicle using secondary access methods
GB2570629B (en) * 2017-11-17 2020-08-26 Jaguar Land Rover Ltd Vehicle controller
US10369966B1 (en) 2018-05-23 2019-08-06 Nio Usa, Inc. Controlling access to a vehicle using wireless access devices
CN109635665A (zh) * 2018-11-16 2019-04-16 惠州拓邦电气技术有限公司 一种电器手势控制方法、装置及厨房电器

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3836555A1 (de) 1988-10-27 1990-05-10 Bayerische Motoren Werke Ag Multifunktions-bedieneinrichtung
US5203704A (en) 1990-12-21 1993-04-20 Mccloud Seth R Method of communication using pointing vector gestures and mnemonic devices to assist in learning point vector gestures
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6088468A (en) 1995-05-17 2000-07-11 Hitachi Denshi Kabushiki Kaisha Method and apparatus for sensing object located within visual field of imaging device
JPH09206473A (ja) 1996-02-02 1997-08-12 Ricoh Elemex Corp 遊戯対戦装置
US5815147A (en) * 1996-06-07 1998-09-29 The Trustees Of The University Of Pennsylvania Virtual play environment for disabled children
DE19654944A1 (de) 1996-12-13 1998-06-25 Andreas Bohn Systemsteuerung
EP0849697B1 (en) * 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
JP3968477B2 (ja) 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
JPH11134090A (ja) 1997-10-30 1999-05-21 Tokai Rika Co Ltd 操作信号出力装置
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
DE19845030A1 (de) 1998-09-30 2000-04-20 Siemens Ag Bildsystem
US6501515B1 (en) 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP2000293666A (ja) 1999-04-05 2000-10-20 Kubota Corp 疵検出方法及び疵検出装置並びに記録媒体
US6571081B1 (en) * 1999-05-04 2003-05-27 Hughes Electronics Corporation Hybridized space/ground beam forming
JP4332649B2 (ja) * 1999-06-08 2009-09-16 パナソニック株式会社 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
JP2001216069A (ja) 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
US20010031623A1 (en) * 2000-03-03 2001-10-18 Lee Masoian Channel booster amplifier
US6662018B1 (en) * 2000-06-28 2003-12-09 Northrop Grumman Corporation Analog power control system for a multi-carrier transmitter
DE10039432C1 (de) 2000-08-11 2001-12-06 Siemens Ag Bedieneinrichtung
US6804396B2 (en) * 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US6564144B1 (en) * 2002-01-10 2003-05-13 Navigation Technologies Corporation Method and system using a hand-gesture responsive device for collecting data for a geographic database
JP3837505B2 (ja) * 2002-05-20 2006-10-25 独立行政法人産業技術総合研究所 ジェスチャ認識による制御装置のジェスチャの登録方法
KR100575906B1 (ko) 2002-10-25 2006-05-02 각고호우징 게이오기주크 핸드 패턴 스위치 장치
KR100547736B1 (ko) * 2003-06-26 2006-01-31 삼성전자주식회사 다중-채널의 동적 선택을 위한 스위칭 필터 모듈
JP3752246B2 (ja) 2003-08-11 2006-03-08 三菱ふそうトラック・バス株式会社 ハンドパターンスイッチ装置

Also Published As

Publication number Publication date
CN1253776C (zh) 2006-04-26
KR20040036593A (ko) 2004-04-30
DE10349568A1 (de) 2004-05-13
CN1499344A (zh) 2004-05-26
US20040141634A1 (en) 2004-07-22
US7289645B2 (en) 2007-10-30

Similar Documents

Publication Publication Date Title
US10751615B2 (en) User interface processing apparatus, method of processing user interface, and non-transitory computer-readable medium embodying computer program for processing user interface having variable transparency
US9833700B2 (en) Connectable hand-held controllers for virtual-reality systems
CN103475351B (zh) 接近开关及其灵敏度的调整方法
US20160249992A1 (en) Robotized surgery system with improved control
US8736432B2 (en) Touch sensor having a selectable sensitivity level and method of selecting a sensitivity level of a touch sensor
US9999833B2 (en) Hand-held controllers with capacitive touch sensors for virtual-reality systems
US20180173320A1 (en) Virtual Reality System with Head-Mounted Display, Camera and Hand-Held Controllers
JP5572761B2 (ja) 車両用操作装置
US8797153B2 (en) Rotary control device with haptic feedback
US10532277B2 (en) Hand-held controllers with light-emitting diodes synchronized to an external camera
JP5256109B2 (ja) 表示装置
US7649278B2 (en) Operating device for on-vehicle equipment
US5568928A (en) Video game controller for use with an exercise apparatus
US9886117B2 (en) Control apparatus and method for controlling operation target device in vehicle, and steering wheel
EP1011066B1 (en) A holding ring type hand controller device
US20140145941A1 (en) Computer vision gesture based control of a device
JP5043641B2 (ja) 入力装置
CN103019524B (zh) 车辆操作输入装置和用于车辆操作输入装置的控制方法
US5561543A (en) Information input system by attitude detection of manual implement
US9454230B2 (en) Imaging apparatus for taking image in response to screen pressing operation, imaging method, and program
US9561441B2 (en) Storage medium storing video game program for calculating a distance between a game controller and a reference
ES2274152T3 (es) Sistema para programar robots o aparatos automaticos similares, que comprende un terminal de programacion portatil.
US7848882B2 (en) Device and method for executing vehicle-mounted man-machine interface
US7760188B2 (en) Information processing system, remote maneuvering unit and method thereof, control unit and method thereof, program, and recording medium
KR20140065895A (ko) 수술 로봇 및 수술 로봇 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090410

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee