KR20040036593A

KR20040036593A - 핸드 패턴 스위치 장치

Info

Publication number: KR20040036593A
Application number: KR1020030073835A
Authority: KR
Inventors: 야마모토케이이치; 사토히로미츠; 사이토히데오; 오자와신지; 이가라시히로야
Original assignee: 미츠비시 후소 트럭 앤드 버스 코포레이션; 각고호우징 게이오기주크
Priority date: 2002-10-25
Filing date: 2003-10-22
Publication date: 2004-04-30
Also published as: KR100575906B1; DE10349568A1; US20040141634A1; CN1253776C; CN1499344A; US7289645B2

Abstract

핸드 패턴 스위치 장치는 촬상 영역에 놓여진 손의 화상으로부터 손 형상을 인식함과 함께 해당 손의 움직임을 검출하고, 인식한 손의 형상 및/또는 손의 움직임에 의해 복수의 제어 대상으로부터 하나를 선택하고, 상기 선택된 제어 대상에 응하여 손의 움직임에 의거한 조작 정보의 검출 형태를 변경한다. 이동 거리 검출 양태에서는 촬상 영역 내에서의 손의 이동 거리를 검출하여 조작 정보로 하고, 정지 시간 검출 양태에서는 촬상 영역 내에서 소정 거리 이상 이동한 손의 정지 위치에서의 정지 시간을 검출하여 조작 정보로 한다. 촬상 영역은 예를 들면, 스티어링 휠 측방이며 또한 운전원이 그 운전 자세를 유지한 채로 팔을 뻗을 수 있는 영역으로 한다.

Description

핸드 패턴 스위치 장치{HAND PATTERN SWITCHING APPARATUS}

기술분야

본 발명은 오퍼레이터에 의한 제어 대상에의 조작 정보의 입력을 행하기 위한 핸드 패턴 스위치 장치에 관한 것으로, 특히, 운전자가 공조 기기나 오디오 기기 등의 차량 탑재 기기의 동작을 해당 차량 탑재 기기의 조작 패널에 접촉하는 일 없이, 또한 차량의 운전을 방해하는 일 없이 간이하게 조작하는데 알맞은 핸드 패턴 스위치 장치에 관한 것이다.

배경기술

공조 기기나 오디오 기기 등의 차량 탑재 기기의 동작을 해당 차량 탑재 기기의 조작 패널에 접촉하는 일 없이 조작하는 기술로서, 카메라를 이용하여 운전자의 신체의 일부(예를 들면 왼손)를 촬상하고, 그 화상 패턴을 인식하여 상기 차량 탑재 기기에 대한 조작 정보를 얻는 것이 제창되어 있다(예를 들면 특개평11-134090호 공보).

또한 운전자의 손가락의 형상이나 움직임으로서 나타내여지는 제스처를 검출하여 차량 탑재 기기에 대한 조작 정보를 얻는 것도 제창되어 있다(예를 들면 특개2001-216069호 공보).

여기서는 이와 같은 예를 들면 손바닥, 손, 손가락 등을 촬상한 화상으로부터 그들의 형상을 인식하는 패턴 인식 처리나, 인식한 손바닥, 손, 손가락 등의 위치 변화를 추적함으로써 그 움직임을 검출하는 움직임 검출 처리 등에 의해 실현되는 것을 핸드 패턴 스위치 장치라고 칭한다. 또한, 이하, 특히 설명하지 않는 한, 손바닥, 손, 손가락 등을 총칭하여 단지 손이라 하여 설명한다.

그런데 차량에는 상술한 바와 같이 오디오 기기나 공조 기기 등의 여러가지의 보조 기기가 탑재되어 있고, 게다가 이들의 각 보조 기기에서의 조정 기능도 여러갈래에 걸친다. 예를 들면 차량에 탑재되는 오디오 기기에는 라디오, 테이프 플레이어, CD 플레이어 등이 있고, 그 조정 기능으로서 음량, 채널 선택, 재생, 정지 등의 기능이 있다. 또한 공조 기기(에어컨)에 대해서도, 온도, 풍량, 풍향 등의 조정 기능이 있다.

그러나, 상기 양 종래예 모두, 하나의 손 형상으로 하나의 제어 대상이 결정되고, 조작량도 어느 손 형상이 할당되어 있는 것이기 때문에, 운전자는 극히 많은 손 형상을 기억할 필요가 있고, 운전에 지장을 초래할 우려가 있다.

한편, 핸드 패턴 스위치 장치로부터 입력 가능한 스위치 조작 정보는 일반적으로는 손 형상의 다름이나 손의 움직이는 방식 등에 응한 정보로서 일의적으로 주어질 뿐이기 때문에, 각종의 제어 대상을 각각 적절하게 조정하는 것이 곤란하다는 문제도 있다.

즉, 각종의 제어 대상 중에는 라디오의 채널 선택이나 풍량 조정과 같이 연속적, 또는 스텝적으로 크게 조정(변경)하는 편이 바람직한 것이나, 온도나 음량 등과 같이 연속적으로 미조정할 수 있도록 하는 편이 바람직한 것이 있다.

따라서 핸드 패턴 스위치 장치로부터 입력 가능한 스위치 조작 정보를 예를 들면 운전자의 기호나 제어 대상에 응하여 변경하여, 그 조작성을 높일 수 있는 것이 바람직하다.

또한, 이와 같은 핸드 패턴 스위치 장치를 이용하여 차량 탑재 기기의 동작을 조작하는 경우, 핸드 패턴 스위치 장치를 통하여 조작 정보를 입력하는 운전자에게, 운전 조작을 저해하는 여분의 부담을 주지 않는 것도 중요하다. 또한 당연하지만, 제어 대상으로 하는 차량 탑재 기기에 응하여, 그 조작 정보를 간이하며, 게다가 적절하게 입력할 수 있는 것이 바람직하다.

본 발명의 목적은 각종 차량 탑재 기기 등의 제어 대상의 동작을 제어하기 위한 조작 정보를 운전자 등의 오퍼레이터가 핸드 패턴 스위치 장치를 통하여 제어 대상에, 간이하며 적절하게 인력할 수 있고, 특히 제어 대상에 응한 적절한 조작 정보를 입력하는데 알맞은 조작성(취급성)이 좋은 핸드 패턴 스위치 장치를 제공하는데 있다.

또한 본 발명은 차량의 운전자 등의 오퍼레이터에게 여분의 부담을 가하는 일 없이, 핸드 패턴 스위치 장치를 통한 제어 대상에의 조작 정보의 입력을 행할 수 있게 한 핸드 패턴 스위치 장치를 제공한 것을 목적으로 한다.

본 발명에 의하면, 소정의 촬상 영역에 놓여진 손을 촬상하는 촬상 수단을 구비하고, 그 촬상된 화상으로부터 손 형상을 인식함과 함께 해당 손의 움직임을 검출하고, 제어 대상에 대한 조작 정보를 얻는 핸드 패턴 스위치 장치가 제공된다.

본 발명의 하나의 양태에 의한 핸드 패턴 스위치 장치는 인식한 손의 형상 및/또는 손의 움직임에 의해 복수의 제어 대상으로부터 하나를 선택하는 제어 대상 설정 수단과, 상기 선택된 선택 제어 대상에 응하여 상기 손의 움직임에 의거한 상기 조작 정보의 검출 형태를 변경하는 검출 형태 변경 수단을 구비한 것을 특징으로 한다.

제어 대상 설정 수단은 미리 설정된 손의 움직임 패턴을 검출할 때마다, 복수의 제어 대상으로부터 하나를 순회적으로 선택하는 것이라도 좋다. 또한, 검출 형태 변경 수단은 촬상 영역 내에서의 손의 이동 거리를 검출하여 조작 정보로 하는 이동 거리 검출 형태와, 촬상 영역 내에서 소정 거리 이상 이동한 손의 정지 위치에서의 정지 시간을 검출하여 조작 정보로 하는 정지 시간 검출 형태와, 이동 거리 검출 형태 및 정지 시간 검출 형태의 적어도 한쪽을 설정하는 검출 형태 설정 수단을 포함하는 것이라도 좋다. 보다 바람직하기는 이동 거리 검출 형태는 손의 이동 거리의 검출을 소정 이동 거리를 검출 단위로 하여 다단계로 행한다.

상기한 핸드 패턴 스위치 장치에 의하면, 제어 대상의 성질이나 오퍼레이터 예를 들면 운전원의 기호나 버릇에 응하여, 여러가지의 제어 대상에게 주는 조작 정보의 검출 형태를 적절하게 설정할 수 있다. 따라서 부담이 적은 간이한 오퍼레이터에 의한 조작하에서 제어 대상 예를 들면 각종 탁량 탑재 기기의 조정 대상을 효과적으로 조작할 수 있는 등의 실용상 다대한 효과가 이루어진다. 특히 제어 대상에 응하여 조작 정보의 검출 형태를 변경 가능하기 때문에, 비교적 큰 조작량을 단계적으로 주는 것이 바람직한 경우에도, 역으로 작은 조작량을 연속적으로 주어 미정하는 것이 바람직한 경우에도, 조작 정보를 제어 대상에 응하여 적절하게 줄 수 있는 등의 효과가 이루어진다.

본 발명의 다른 양태에 의하면 차량용 핸드 패턴 스위치 장치가 제공되고, 상기 장치는 촬상 영역을 차량의 스티어링 휠 측방이며 또한 해당 스티어링 휠을 조타하는 운전원이 그 운전 자세를 유지한 채로 팔을 뻗을 수 있는 영역으로 한 것을 특징으로 한다.

촬상 영역은 스티어링 휠의 외주부로부터 적어도 50㎜ 떨어진 위치에 설정되고, 또한 운전원이 뻗은 손의 손끝 방향으로 약 600㎜, 손의 폭방향으로 약 350㎜의 크기를 갖는 개략 직사각형 형상의 영역으로서 설정되는 것이면 좋다. 또한, 촬상 영역 내에서의 손의 움직임의 검출은 화상으로부터 구하여지는 손의 중심(重心) 위치의 손끝 방향으로의 10 내지 70㎜의 변위를 제어 대상 선택 및/또는 제어 대상의 조작량으로서 검출하는 것이라도 좋다.

상기한 차량용 핸드 패턴 스위치 장치에 의하면, 운전원의 운전 조작에 수반하는 손이나 팔의 움직임의 영향을 받는 일 없이, 손의 형상과 그 움직임에 의한 조작 지시를 정확하게 검출할 수 있다. 그리고 그 검출 결과에 응하여, 소정의 차량 탑재 기기에 대해 적절하게 조작 정보를 주는 것이 가능해지는 등의 실용상 다대한 효과가 이루어진다. 특히 팔걸이에 팔을 올려놓은 운전자가 가상적으로 조작하는 때에 실감할 수 있는 손의 움직임을 확실하게 검출할 수 있고, 또한 운전자의 조작 부담을 경감할 수 있는 등의 효과가 이루어진다.

본 발명의 또다른 양태에 의한 차량용 핸드 패턴 스위치 장치는 촬상 수단을 차량의 스티어링 휠을 조타하는 운전자가 그 운전 자세를 유지한 채로 팔을 뻗을 수 있는 영역을 촬상할 수 있는 위치에 배설한 것을 특징으로 한다. 촬상 수단은 차량의 천장부에 설치할 수 있다.

상기한 차량용 핸드 패턴 스위치 장치에 의하면, 운전자는 상기 장치에의, 그리고 제어 대상에의 조작 정보의 인력을 부담 없이 행할 수 있다.

본 발명의 또다른 양태에 의한 핸드 패턴 스위치 장치는 미리 설정된 손의 움직임 패턴을 반복함으로써, 복수의 제어 대상으로부터 하나를 순회적으로 선택하는 제어 대상 선택 수단과, 상기 선택된 제어 대상의 조작량을 상기 손의 움직임에 의거하여 변경하는 조작량 변경 수단을 구비한 것을 특징으로 한다.

핸드 패턴 스위치 장치는 인식한 손 형상이 미리 설정된 제 1의 손 형상인 것이 검출된 때, 해당 장치의 작동 시작을 인식하는 조작 시작 인식 수단을 갖는 것이라도 좋고, 제어 대상 선택 수단은 상기 작동 시작의 인식 후, 손의 움직임 - 그 인식된 손 형상은 미리 설정된 제 2의 손 형상을 이루는 -에 의거하여 제어 대상을 선택하는 것이라도 좋다. 조작 시작 인식 수단은 제 1의 손 형상을 이루는 손이 특정한 물건을 파지하지 않는 또는 접촉되지 않는 것을 확인하고 핸드 패턴 스위치 장치의 작동 시작을 결정하는 확인 수단을 갖는 것이면 좋다. 제 1의 손 형상은 물건을 파지하는 때의 형상이면 좋고, 제 2의 손 형상은 물건을 가리키는 때의 형상이면 좋다. 또한, 핸드 패턴 스위치 장치는 제어 대상 선택 후, 인식한 손 형상이 미리 설정된 제 3의 손 형상을 이루고, 촬상 영역 내에서의 손의 검출 위치가 소정 시간에 걸쳐서 변위하지 않는 것을 검출한 때, 조작량 변경 수단의 기동을 촉진하는 기동 촉진 수단을 구비할 수 있다.

상기한 핸드 패턴 스위치 장치에 의하면, 운전자 등의 오퍼레이터가 예를 들면, 집게손가락으로 버튼 스위치를 누르는 푸시 조작에 대응하는 손의 움직임 패턴을 반복함으로써 제어 대상을 순회적으로 선택할 수 있고, 또한, 예를 들면, 손으로 변속 레버를 움직이는 조작에 대응하는 손의 움직임을 제 1의 손 형상으로 행함에 의해 변속 레버의 조작량을 변경할 수 있다. 상기 점, 상술한 특개평11-134090호 공보 및 특개2001-216069호 공보에 기재된 기술에서는 하나의 손가락 형상으로 하나의 제어 대상이 결정되고, 조작량의 결정에도 어느 손가락 형상이 할당되어 있고, 상기 때문에, 운전자가 손가락 형상을 다수 기억할 필요가 있고, 운전에 지장을 초래할 우려가 있다.

도 1은 본 발명의 한 실시 형태에 관한 핸드 패턴 스위치 장치의 개략 구성을 도시한 도면.

도 2는 도 1에 도시한 핸드 패턴 스위치 장치에서의 손가락의 촬상 영역을 도시한 도면.

도 3은 핸드 패턴 스위치 장치에서의 스위치 조작 정보의 지시 입력 동작의 개략적인 순서를 도시한 도면.

도 4의 a는 핸드 패턴 스위치 장치에 대해 스위치 조작 지시를 주기 위한 손가락 형상의 예를 도시한 도면.

도 4의 b는 손가락 형상의 다른 예를 도시한 도면.

도 4의 c는 손가락 형상의 또다른 예를 도시한 도면.

도 5는 손가락에 의한 푸시 조작에 수반하는 제어 대상의 선택예를 도시한 도면.

도 6은 제어 대상에 대응시키는 입력 모드의 설정 화면의 예를 도시한 도면.

도 7은 핸드 패턴 스위치 장치에서의 스위치 조작 정보 입력을 위한 개략적인 처리 순서의 일부를 도시한 플로우 차트.

도 8은 도 7에 도시한 처리 순서에 계속된 처리 순서를 도시한 플로우 차트.

도 9는 거리 모드에서의 스위치 조작 정보의 검출 순서를 도시한 플로우 차트.

도 10은 시간 모드에서의 스위치 조작 정보의 검출 순서를 도시한 플로우 차트.

도 11은 거리·시간 모드에서의 스위치 조작 정보의 검출 순서를 도시한 플로우 차트.

도 12의 a는 푸시 버튼 스위치의 가상적인 스위치 조작이 실감을 갖고서 행하여진 빈도와 손가락의 움직임 량과의 관계를 도시한 그래프.

도 12의 b는 레버 스위치를 가상적으로 스위치 조작함이 실감을 갖고서 행하여진 빈도와 손가락의 움직임 량과의 관계를 도시한 그래프.

도 12의 c는 가상적인 스위치 조작의 정지가 실감을 갖고서 행하여진 빈도와 정지 시간과의 관계를 도시한 그래프.

이하, 도면을 참조하여 본 발명의 실시 형태에 관한 핸드 패턴 스위치 장치에 관해 설명하다. 또한, 이하, 특히 설명하지 않는 한, 손바닥, 손, 손가락 등을 총칭하여 단지 손이라 하여 설명한다.

전체 구성

도 1은 실시예 장치의 주요부 개략 구성을 도시한 도면으로, 트럭의 운전석의 모습과 마이크로 컴퓨터(ECU) 등에 의해 실현되는 장치의 기능을 도시하고 있다. 운전석에는 운전원(드라이버)에 의해 조타되는 스티어링 휠(핸들)(1)이나 콤비네이션 스위치(도시 생략) 등이 마련되고, 또한 그 콘솔 패널에는 제어 대상이 되는 오디오 기기나 공조 기기 등의 조작부(2)가 마련되어 있다. 이와 같은 운전석 상방의 천장에는 스티어링 휠(1)의 측방을 촬상 영역으로 하고, 해당 촬상 영역을 향하여 팔을 뻗은 운전원의 손가락를 촬상하는 비디오 카메라(3)가 마련되어 있다. 상기 카메라(3)는 CCD 카메라 등의 소형의 것으로 이루어진다.

카메라 배치

상기 카메라(3)에 의한 촬상 영역(3a)은 도 2에 도시한 바와 같이 스티어링 휠(1)의 측방의, 해당 스티어링 휠(1)의 외주부로부터 적어도 50㎜ 떨어진 위치, 바람직하기는 100㎜ 정도 떨어진 위치로서 설정되어 있다. 또한 상기 촬상 영역(3a)은 스티어링 휠(1)의 측방으로 팔을 뻗은 운전원의 손의 손끝 방향으로 약 600㎜, 또한 손의 폭방향으로 약 350㎜의 크기를 갖는 개략 직사각형 형상의 영역으로서 설정되어 있다.

이와 같이 하여 설정된 촬상 영역(3a)은 스티어링 휠(1)을 파지하는 또는 스티어링 휠(1)의 칼럼 샤프트에 마련된 콤비네이션 스위치(도시 생략)를 조작하는 운전원의 손을 촬상하는 일이 없는 영역이고, 게다가 운전원이 크게 팔을 움직이는 일 없이 손가락를 이동시킬 수 있는 영역으로서 설정되어 있다. 특히 운전원이 운전석의 측부에 마련된 팔걸이(암 레스트)(5)에 팔을 올려놓은 채로, 그 운전 자세를 무너뜨리는 일 없이 팔을 뻗을 수 있는 위치이고, 오디오 기기 등의 조작부(2)에 손이 닿는 일이 없는 위치이다.

이로써 운전 조작에 수반하는 손의 움직임을 잘못하여 스위치 조작 정보로서 검출하는 것이 방지되어 있다. 또한 오디오 기기 등의 조작부(2)를 직접 조작하는 손에 대해서도, 이것을 검출하는 일이 없도록 설정되어 있다.

또한, 이와 같이 설정된 촬상 영역(3a)에, 변속기를 조작하는 기어 시프트 레버(도시 생략)가 배치 또는 인접되어 있는 경우에는 예를 들면 기어 시프트 레버에 감압 센서를 마련하고, 상기 감압 센서를 통하여 운전원에 의한 기어 시프트 레버의 파지를 검출하도록 하여 두면 좋다. 이와 같은 궁리를 강구하여 두면, 촬상 영역(3a)으로 뻗어진 손이, 기어 시프트 레버를 조작하고 있는지, 또는 핸드 패턴 스위치 장치를 조작하고 있는 상태인지를 용이하게 판별하는 것이 가능해지고, 운전 조작을 스위치 조작 정보로서 잘못 검출하는 것을 확실하게 막을 수 있다. 또한 카메라(3)로서 스테레오(입체 시) 카메라를 이용하여 손의 높이 위치(카메라(3)로부터의 거리)를 검출하고, 이로써 촬상 영역(3a)으로 뻗어진 손이 기어 시프트 레버를 조작하고 있는지, 또는 기어 시프트 레버의 상방 공간에 위치하고 있는지를 판별하도록 하여도 좋다.

그런데, 상술한 바와 같이 촬상 영역(3a)은 운전원이 크게 팔을 움직이는 일 없이 손가락를 이동시킬 수 있는 영역으로서 설정되어 있는 것이지만, 또한 가상적으로 스위치 조작하는 때에 운전원이 실감할 수 있는 손가락의 움직임(변위)을 기준으로 하여 설정된다. 즉, 오디오 기기 등에 조립된 각종 스위치를 실제로 가압 조작하는 경우에는 그 반력으로서 스위치 조작을 실감할 수 있다. 그러나 소정의 공간에서 가상적으로 스위치 조작하는 경우에는 손의 이동에 수반하는 반력이 없기 때문에, 스위치 조작을 직접적으로 체감하는 일이 없고, 오히려 스위치 조작을 행하는 자기의 손가락나 팔의 움직임의 감각으로서 느끼는 것으로 된다.

그래서 본 발명자 등은 누름버튼 스위치를 1회씩 가압 조작하는 때, 또한 변속기의 기어 시프트 레버를 다단계에 걸쳐서 시프트 조작하는 때 등을 상정하고, 어느 정도의 움직임을 하면 스위치 조작을 행하였다고 느끼는지 실험하였다.

또한 스위치 조작한 후에 그 손을 정지시키는 동작을 상정하고, 어느 정도의 시간에 걸쳐서 손을 정지시키고 있으면, 그 조작을 완료하였다고 느끼는지를 실험하여 보았다.

또한, 상기 실험은 대형 자동차 면허를 소유한 복수의 운전 경험자를 대상으로 하여 상술한 조작을 반복하여 행하고, 그 변위량과 정지 시간을 각각 실측하여 행하였다.

도 12의 a 내지 도 12의 c는 그 실험 결과를 각각 도시하고 있다. 구체적으로는 도 12의 a는 누름버튼 스위치를 1회씩 가압 조작하는 때의 손의 움직임 량(변위량)을 파라미터로 하여 그 조작 빈도를 그래프화 한 것이다. 상기 실험 결과에 의하면, 누름버튼 스위치를 1회씩 가압 조작하는 때의 손의 움직임 량(변위량)에 관해서는 30 내지 70㎜의 편차가 있지만, 50㎜의 변위를 스위치 조작으로서 느끼는 빈도가 가장 높고, 평균적으로는 45㎜인 것을 확인할 수 있었다.

또한 기어 시프트 레버를 다단계에 걸쳐서 전후로 시프트 조작하는 경우, 도 12의 b에 도시한 바와 같이 1단당의 조작으로서 실감하면서 움직이는 손의 움직임 량(변위량)은 10 내지 40㎜이고, 30㎜의 변위를 1단의 조작으로서 느끼는 빈도가 가장 높고, 또한 평균적으로는 23㎜이였다. 또한 손을 소정량만큼 변위시킨 후, 그 움직임을 정지시키고 하나의 동작을 완료하는 경우, 그 정지 시간으로서는 도 12의 c에 도시한 바와 같이 320m초가 가장 빈도가 높았다. 또한, 상기 정지 시간 계측은 80m초를 1단위로 하여 행하였다.

이들의 실험 결과에 나타내여진 바와 같이, 운전원이 그 팔을 팔걸이에 올려놓은 채로 자연스러운 상태에서 가상적으로 스위치 조작하는 경우, 스위치를 조작한 때에 실감할 수 있는(절도감이 있다) 손의 움직임 량(변위량)은 1회의 스위치 가압 조작의 경우에는 50㎜ 정도이고, 또한 다단계로 기어 시프트 레버를 조작하는 경우에는 1단당의 변위량이 30㎜ 정도인 것을 확인할 수 있었다. 또한 정지 동작을 수반하는 경우에는 그 동작 정지 기간이 300m초 정도인 것이 확인할 수 있었다.

전술한 카메라(3)에 의한 촬상 영역(3a)의 위치와 그 크기는 상술한 실험 결과에 입각하여, 예를 들면 후술하는 바와 같이 다단계의 스위치 조작(시프트 조작)을 전후 방향으로 5단에 걸쳐서 행하는 것을 상정하고, 또한 운전원의 체형이나 운전 자세 등에 의해 스티어링 휠(1)의 측방으로 뻗어나는 손의 기준 위치가 변화하는 것을 고려하여 정하여져 있다. 또한 손의 크기가 일적으로 손목으로부터 손끝까지의 길이가 200㎜ 정도, 손의 폭이 120㎜ 정도인 것을 고려하여, 전술한 바와 같이 예를 들면 길이 600㎜, 폭 350㎜의 개략 직사각형 영역으로서 정하여져 있다.

이와 같이 설정된 촬상 영역(3a)에 의하면, 운전 조작에 수반하는 손의 움직임을 검출하는 일 없이, 스티어링 휠(1)로부터 떨어진 손의 위화감이 없는 자연스러운 움직임하에, 그 손을 확실하게 촬상할 수 있다. 게다가 스위치 조작에 수반하여 손가락의 위치가 움직이더라도, 그 움직임을 상기 촬상 영역(3a) 내에 확실하게 파악할 수 있기 때문에, 손의 형상 인식이나 그 이동량(변위량)의 검출을 비교적 간이한 화상 처리하에서 용이하게 행할 수 있다.

또한 역으로 운전원측에서 보면, 그 운전 자세를 무너뜨리는 일 없이 스티어링 휠(1)의 측방으로 팔을 뻗는 것만으로 좋고, 오디오 기기 등의 조작부(2)에 직접 접촉하는 일 없이, 미리 설정된 손 형상을 형성하여 손을 움직이는 것만으로 소망하는 스위치 조작을 행할 수 있다.

따라서 운전원의 조작 부담을 가볍게 할 수 있다. 또한 운전 조작에 수반하는 손이나 팔의 움직임이 스위치 조작 지시로서 검출되는 일이 없기 때문에, 핸드 패턴 스위치 장치를 의식하는 일 없이 운전 조작에 집중할 수 있고, 필요에 응하여 손을 촬상 영역(3a)으로 이동시킬 뿐으로, 간이하게 스위치 조작 지시를 주는 것이 가능으로 되는 등의 이점이 있다.

데이터 처리부

그런데 핸드 패턴 스위치 장치는 기본적으로는 상기 카메라(3)에 의해 촬상되는 운전원의 손 형상이나 움직임을 마이크로 컴퓨터(ECU)에서 인식 처리하고, 그 인식 결과에 의거하여 제어 대상이 되는 오디오 기기나 공조 기기에 대한 조작 정보(스위치 조작 정보)를 얻는다. 그리고, 상기 조작부(2)에 의한 조작에 대신하여 상기 스위치 조작 정보에 의해 이들 오디오 기기나 공조 기기 등을 조작한다.

구체적으로는 핸드 패턴 스위치 장치는 주로 도 1에 도시한 바와 같이 촬상 수단인 카메라(3)와, 상기 카메라(3)에 의해 촬상된 화상으로부터 스위치 조작 정보를 얻는 마이크로 컴퓨터(ECU) 등으로 이루어진다.

ECU는 카메라(3)으로부터 마이크로 컴퓨터(ECU)에 입력되는 입력 화상(이하, 단지 입력 화상이라고 한다)을 최종적으로 2치화 처리하여 그 배경 화상 성분을 제거하고, 손의 화상만을 추출하는 2치화 처리부(11), 2치화 처리에 의해 추출된 화상으로부터 손의 형상을 인식하는 형상 인식부(12), 인식한 손의 형상으로부터 그 중심 위치를 구하는 중심 검출부(13), 또한 상기 형상 인식부(12)에 의한 인식 결과, 및 중심 검출부(13)에 의해 검출된 손의 중심 위치에 따라 운전원의 손의 형상이나 그 움직임에 의해 나타나는 스위치 조작 정보를 인식하는 조작 지시 인식부(14)를 구비한다.

상기 조작 지시 인식부(14)는 개략적으로는 메모리(15)에 미리 등록된 손의 형상 패턴을 참조하면서 그 손의 형상을 판정·식별하는 형상 판정부(16), 손의 중심 위치의 이동을 추적하여 손의 변위를 검출하는 변위량 검출부(17), 및 손의 움직임을 시간 경과로서 감시하는 타이머(18)를 구비한다. 또한 중심 위치 검출, 이동량, 및 손의 시간 경과 감시의 때에는 특히 손바닥 부분을 이용하여도 좋다.

그리고 조작 지시 인식부(14)는 이들의 판정·감시 결과에 의거하여, 운전원의 손 형상과 그 움직임에 의해 특정되는 소정의 스위치 조작 정보를 구하고, 상기 스위치 조작 정보를 상기 오디오 기기나 공조 기기 등에 대해 출력하도록 구성된다.

또한 조작 지시 인식부(14)의 형상 판정부(16)에는 상술한 판정 결과 등에 따라 운전원에 대해 소정의 가이던스(아나운스)를 행하는 가이드부(19)가 마련되어 있다. 상기 가이던스는 예를 들면 오디오 기기나 공조 기기(제어 대상 기기), 또한 음량·채널 설정, 또는 풍량·온도 등(제어 대상 기능)을 특정하는 음성 메시지나, 그 스위치 조작을 나타내는「핏」이나 「피이」 등의 확인음으로서 스피커(20)을 통하여 운전원에 알려지는 것이다.

상술한 바와 같이 구성되는 핸드 패턴 스위치 장치에 있어어, 본 발명이 특징으로 하는 것의 하나는 도 3에 예시한 스위치 조작 동작의 흐름으로 도시된 바와 같이, 선택한 제어 대상에 응하여 그 제어 대상에게 주는 스위치 조작 정보의 입력 모드를 선택적으로 전환하도록 한 점에 있다. 특히 스위치 조작 정보의 입력 모드로서, 여기서는 「거리 모드」, 「시간 모드」, 「거리·시간 모드」의 3종류가 준비되어 있고, 제어 대상(차량 탑재 기기)에 응하여 선택되게 되어 있다.

핸드 패턴 스위치 조작 개요

다음에 상기 스위치 조작에 관해 설명한다.

상기 핸드 패턴 스위치 장치에서는 스위치 조작을 지정하는 손 형상으로서, 예를 들면 도 4의 a 내지 도 4의 c에 도시한 바와 같은 손가락 패턴이 이용된다. 구체적으로는 도 4의 a에 도시한 바와 같은 쥔 주먹 형상의 패턴[손 형상 1], 도 4의 b에 도시한 바와 같은 집게손가락을 세운 가리키는 형상의 패턴[손 형상 2], 그리고 도 4의 b에 도시한 바와 같은 엄지손가락을 세운 패턴[손 형상 3]이 이용된다.

가리키는 형상의 패턴[손 형상 2]은 누름버튼과 같은 스위치를 가압 조작하는 이미지를 표현하고 있다. 또한 쥔 주먹 형상의 패턴[손 형상 1]은 자동 변속기의 변속단을 전환하는 시프트 레버와 같은 레버 형상 스위치를 손으로 파지하여 전후로 시프트 조작하는 이미지를 나타내고 있다. 또한 엄지손가락을 세운 패턴[손 형상 3]은 대기 지시를 나타내는 이미지를 나타내고 있다. 이와 같은 손 형상의 패턴은 그 형상적인 특징을 나타내는 데이터로서 전술한 메모리(15)에 미리 등록되어 있다. 그리고 입력 화상으로부터 인식되는 손 형상과 상기 메모리(15)에 등록된 패턴과의 일치도(유사도)를 계산함으로써, 손 형상의 판별에 이용된다.

그런데 운전원이 스티어링 휠(1)을 쥐고 차량을 조타하고 있는 경우에는 도 3의 동작 상태(A1)에 도시한 바와 같이 운전원의 손은 촬상 영역(3a)로부터 벗어나 있다. 그 때의 입력 화상은 차실 내의 배경으로서 배제 처리되는 화상 성분뿐이기 때문에 핸드 패턴 스위치 장치가 작동하는 일은 없다. 이에 대해 운전원의 손이 스티어링 휠(1)을 벗어나 동작 상태(A2)에 도시한 바와 같이 촬상 영역(3a) 내로 들어가면, 이에 의해 손에 대한 인식 처리가 시작된다. 상기 경우, 예를 들면 손을쥔 주먹 형상의 [손 형상 1]로 함으로써, 스위치 조작 정보의 입력 시작을 지시하는 것이 바람직하다.

그리고 나서, 손의 형상이 스위치를 가압 조작하는 가리키는 형상의 패턴[손 형상 2]으로 변경되었는지의 여부를 판정한다. 그리고 가리키는 형상의 패턴[손 형상 2]이 검출된 경우에는 동작 상태(A3)에 도시한 바와 같이 선택 스위치를 반복하여 가압 조작(푸시)하여 소정의 기능·기기를 선택 지정하는 것으로 하고, 그 움직임의 검출이 행하여진다. 구체적으로는 가리키는 형상의 손가락이 전후로 움직이는(변위하는)것을 그 손의 중심 위치의 변화(이동)로부터 검출하고, 그 푸시 조작을 검출한다.

이 경우, 1회의 푸시 동작이 검출될 때마다, 예를 들면 도 5에 도시한 바와 같이 그 제어 대상을 「음량」, 「채널(ch)」, 「온도」, 「풍량」 등으로서 순회적으로 선택 지정하도록 그 제어 알고리즘을 설정하여 두면 좋다.

특히 상기 때, 1회의 푸시 동작이 검출될 때마다, 「핏」 등의 조작 확인음을 출력하도록 하거나, 선택된 제어 대상을 음성 메시지로서 통보하는 것도 유용하다. 이와 같은 가이던스에 의해, 운전원은 그 조작 상태를 눈으로 확인하는 일 없이 인식하는 것이 가능해지기 때문에 운전 조작에 전념하는 것이 가능해진다.

그리고 소망하는 제어 대상을 선택하는 때는 지금까지와는 다른 패턴으로서, 예를 들면 동작 상태(A4)에 도시한 바와 같이 엄지손가락을 세운 패턴[손 형상 3]으로 변경하여, 기능 선택 조작의 완료와 스위치 조작량의 입력 시작을 지시한다. 상기 경우, 그 확인음으로서 전술한 확인음과는 다른「피이」 등의 소리를 발하는것이 바람직하다.

그 후, 동작 상태(A5)에 도시한 바와 같이 손을 쥔 주먹 형상[손 형상 1]으로 변경하고, 상기 손 형상 1의 전후 이동에 의해 스위치 조작 정보를 입력한다. 상기 때, 상기 손 형상 1의 움직임을 그 손의 중심 위치의 변위량 등으로부터 검출하고, 그 움직임에 대응한 스위치 조작 정보를 출력한다.

구체적으로는 상기 스위치 조작 정보의 입력에 있어서는 전술한 푸시 조작에 의해 선택 지정된 제어 대상에 응하여 검출해야 할 정보 내용을 변경한다.

즉, 제어 대상에 따라서는 그 제어량(스위치 조작 정보)을 큰 변화량으로 다단계(스텝적)로 변경하고 싶는 것과, 작은 변화량으로 연속적으로 세밀하게 변경하고 싶는 것이 있다.

따라서 선택한 제어 대상에 응하여, 예를 들면 손의 움직임 량(변위량)을 스위치 조작 정보로 하는 거리 모드(동작 상태(A6a)), 소정 거리만큼 변위한 손의 정지 시간으로부터 그 스위치 조작 정보를 구하는 시간 모드(동작 상태(A6b)), 또는 이러한 모드를 병용한 거리·시간 모드(동작 상태(A6c))를 선택적으로 설정한다.

여기서 상기 거리 모드는 기준 위치롭주터의 손의 이동량에 응하여 다단계로 스위치 조작 정보를 출력하는 모드로서, 라디오 방송의 채널 선택이나 공조 설비에서의 풍량·풍향을 선택 설정하는 경우에 알맞다.

또한 시간 모드는 기준 위치로부터 변위시킨 손의 정지 시간에 응한 스위치 조작 정보를 출력하는 모드로서, 오디오 기기의 음량이나 공조 기기에서의 온도 등을 조절하는 경우 등에 알맞다.

또한 상기 거리·시간 모드는 손의 약간의 이동시에는 그 이동량에 응한 스위치 조작 정보를 출력하고, 정지 위치까지 소정 거리 이상 이동한 경우에는 그 정지 위치에서의 손의 정지 시간에 응한 스위치 조작 정보를 출력하는 모드이다.

상기 거리·시간 모드는 제어 대상을 조(粗)조정하거나, 미조정하거나 하는 경우 등에 알맞는 것이다.

전술한 조작 지시 인식부(14)는 상술한 바와 같이 제어 대상에 응하여 선택적으로 설정되는 입력 모드(거리 모드/시간 모드/거리·시간 모드)에 응하여 상기 촬상 영역(3a) 내에서의 손의 움직임을 추적하고, 손의 이동량(변위량과 그 변위 방향)이나 이동 정지한 손바닥의 정지 시간을 계측한다. 그리고 이들의 계측 결과에 응한 스위치 조작 정보를 출력하는 것으로 된다.

또한, 각종의 스위치 제어 대상과 상술한 각 모드와의 대응 관계나, 스위치 조작량으로서 검출하는 내용(검출 거리나 시간) 등에 대해서는 미리 고정적으로 설정하여 두면 좋다. 그러나 이들 대응 관계, 검출 거리, 시간 등은 전술한 조작 지시 인식부(14)가 구비하는 예를 들면 도 6에 도시한 제어 화면(14a)을 이용하여, 스위치 조작자(운전원)의 기호 등에 응하여 적절히 변경할 수 있도록 하여 두어도 좋다.

구체적으로는 복수의 제어 대상의 각각에 대해 어느 입력 모드로 스위치 조작 정보를 입력하는지를 선택적으로 지정하고, 또한 그 검출 단위가 되는 손의 변위량(이동 거리)이나 계측 시간 등을 각각 가변 설정할 수 있도록 하여 두면 좋다.

플로우 차트

① 초기 판정

도 7 내지 도 11은 상술한 처리 기능을 실현하는 조작 지시 인식부(14)에서의 개략적인 처리 순서를 도시하고 있다.

상기 처리 순서에 관해 설명하면, 핸드 패턴 스위치 장치의 기동에 수반하여, 우선 카메라(3)에 의한 촬상 영역(인식 영역)의 설정이나 2치화 처리에 있어서의 임계치의 설정 등으로 이루어지는 시스템계의 초기 설정을 행한다<스텝 S1>.

그리고 나서, 손 형상의 인식이나 손의 이동을 계측하기 위한 파라미터치 등을 클리어함과 함께, 제어 플래그를 "0"으로 설정하여 스위치 정보 검출에 대한 초기화를 실행한다<스텝 S2>.

이상의 초기화 처리를 실행한 후, 입력 화상중의 손 형상을 인식한다<스텝 S3>.

그 손 형상이 전술한 [손 형상 1], [손 형상 2], [손 형상 3]의 어느것인가를 판정한다<스텝 S4>.

그리고 손 형상이 가리키는 형의 [손 형상 2]인 경우에는 전회 검출되어 있는 손 형상이 무엇이였는지를 판정한다<스텝 S5>.

그리고 전회의 손 형상이 가리키는 형의 [손 형상 2] 이외였으면, 금회 검출된 [손 형상 2]에 의한 기능 선택의 모드가 설정되었다고 하고, 그 때에 검출되는 손의 중심 위치를 기준 위치(A)로서 등록한다<스텝 S6>.

그리고, 전회 검출된 손의 변위량을 나타내어 손의 이동 거리의 관리에 이용되는 파라미터(B')를 "0"으로 설정한다<스텝 S7>.

그 후, 전회의 손 형상을 [손 형상 2]로 갱신한다<스텝 S8).

그 후, 전술한 <스텝 S3>부터의 처리를 반복하여 실행한다.

이에 대해 <스텝 S5)에서, 전회의 손 형상이 가리키는 형의 [손 형상 2]이라고 판정된 경우, 다음에 그 때에 검출되는 손의 중심 위치의 전술한 기준 위치(A)로부터의 변위량(이동량)(B)을 구한다<스텝 S9>.

그리고 파라미터(B')가 판정 임계치(H1)를 충죽시키지 않고, 또한 금회 검출된 변위량(이동량)(B)가 소정의 판정 임계치(H1)을 넘고 있다는 2개의 조건이 충족되어 있는지의 여부를 판정한다<스텝 S10>.

그리고 상기 조건이 충족되어 있는 경우에는 [손 형상 2]의 상태에서 전술한 기능 선택을 위한 푸시 조작이 이루어졌다고 하고, 제어 대상을 1단계 변경한다<스텝 S11>.

그 후, 전회의 손 형상을 [손 형상 2]로 갱신하고<스텝 S8> 전술한 스텝 S3부터의 처리를 반복하여 실행한다.

또한, <스텝 S10>에서 상기 변위량(B)이 소정의 판정 임계치(H1)을 넘지 않는등 하여 조건이 충족되지 않는 경우에는 전술한 파라미터(B')로서 상기 변위량(B)을 세트한다<스텝 S12).

그 후, 전회의 손 형상을 [손 형상 2]로 갱신한다<스텝 S8>.

그리고, 전술한 <스텝 S3>부터의 처리를 반복하여 실행한다.

상기 <스텝 S3>부터 <스텝 S8>에 달하는 처리에 의해, [손 형상 2]로 소정의 이동량만큼 푸시 조작이 이루어진 때, 전술한 기능 선택이 실행되어 제어 대상이선택적으로 설정된다.

한편, 전술한 <스텝 S4>에서 손 형상이 [손 형상 1] 또는 [손 형상 3]인 것이 검출된 경우에는 다음에 도 8에 도시한 바와 같이 그 손 형상이 [손 형상 1]인지, 또는 [손 형상 3]인지가 판정된다<스텝 S13>.

그리고 [손 형상 3]이라면, 전술한 동작 대기 상태를 지정하고 있다고 판정하고, 그 때에 검출되는 손의 중심 위치를 기준 위치(C)로 하여 등록한다<스텝 S14>.

또한 동시에 후술하는 이동 거리의 계측에 이용하는 제어 파라미터(D')를 "0"으로 세트한다<스텝 S15>.

그 후, 전회의 손 형상을 [손 형상 3]으로 갱신한 후<스텝 S16>, 전술한 <스텝 S3>부터의 처리를 반복하여 실행한다.

이에 대해 <스텝 S13>에서, 손 형상이 [손 형상 1]인 것이 판정된 경우에는 다음에 전회 검출되어 있는 손 형상이 무엇이였는지를 판정한다<스텝 S17>.

그리고 전회의 손 형상이 [손 형상 3]이엿다면, 조작 정보의 입력 모드가 설정되었다고 하여 제어 플래그를 "1"로 설정함과 함께, 이동 거리의 계측 파라미터(n)와 정지 시간의 계측 파라미터(t)를 각각 "0"으로 세트한다<스텝 S18>.

또한 전회의 손 형상이 쥔 주먹 형의 [손 형상 1]이였다면, 제어 플래그가 "1" 인지의 여부를 판정함으로써 조작 정보의 입력 모드가 이미 설정되어 있는지의 여부를 조사한다<스텝 S19>.

제어 플래그가 "1"인 경우에는 그 때에 검출되는 손의 중심 위치와, 전술한기준 위치(C)의 거리(D)를 검출한다<스텝 S20).

그리고 앞서 기능 선택된 제어 대상에 응하여, 전술한 3종류의 입력 모드중, 어느 모드로 스위치 조작 정보를 검출하는지를 판정한다<스텝 S21>.

그리고 판정된 입력 모드에 따라, 스위치 조작 정보의 검출 처리를 실행한다.

또한, 전회의 손 형상이 [손 형상 1] 또는 [손 형상 3]이 아닌 경우<스텝 S17>, 또는 제어 플래그가 "1"이 아닌 경우<스텝 S19>에는 전술한 <스텝 S2>에 나타내여지는 초기 설정으로부터의 처리 순서를 반복하여 실행한다.

상기 처리에 의해 전술한 동작 상태(A2)로 나타낸 스위치 조작 정보의 입력 시작이 지시되는 것으로 된다.

② 거리 모드

거리 모드에 의한 스위치 조작 정보의 검출 처리에 관해서는 도 9에 예시한 바와 같이, 전술한 기준 위치(C)로부터의 거리(D)와 제어 파라미터(D')의 값을 비교하고, 그 대소 관계에 응하여 손이 전진하고 있는지, 후퇴하고 있는지를 판정한다<스텝 S22>.

그리고 손을 전진 이동시키고 있는 경우에는 전회 주기로부터 금회 주기까지의 이동 거리가 소정의 계측 단위 거리를 상회하였는지의 여부를 판정한다. 즉, 후술하는 조건 1이 성립하고 있는지의 여부를 판정한다<스텝 S23>.

소정의 계측 단위 거리를 상회하고 있는 경우에는 제어 파라미터(n)를 잉크리먼트한다<스텝 S24>.

그리고, 그 설정(스위치 조작 정보)을 1단계 증가시킨다<스텝 S25>.

역으로 손이 후퇴하고 있는 경우에는 전회 주기로부터 금회 주기까지의 이동 거리가 소정의 계측 단위 거리를 상회하였는지의 여부를 판정한다. 즉, 후술하는 조건 2가 성립하고 있는지의 여부를 판정한다<스텝 S26>.

이동 거리가 소정의 계측 단위 거리를 상회하고 있는 경우에는 제어 파라미터(n)를 디크리먼트한다<스텝 S27>.

그리고, 그 설정(스위치 조작 정보)을 1단계 감소시킨다<스텝 S28>.

또한, 상기 조건 1은 거리(D)와 거리(C)의 차(이동량)가 제어 파라미터(n)에 의해 가변 설정되는 소정 스텝 수의 이동 거리를 상회하며, 또한 제어 파라미터(D')의 값과 거리(C)의 차(이동량)가 제어 파라미터(n)에 의해 가변 설정된 소정 스텝 수의 이동 거리 미만이면 성립한다.

즉, 조건 1은 전회 주기로부터 금회 주기까지, 손이, 소정 스텝 수에 의해 정하여지는 소정의 계측 단위 거리 이상 이동하였는지의 여부를 판정하는 조건이다. 또한 조건 2는 손의 이동 방향이 역방향(후퇴)의 경우에 있어서의 마찬가지 판정 조건이다.

이상과 같이 하여 손의 이동 거리에 응한 스위치 조작 정보를 얻었으면, 상기 제어 파라미터(D')로서 거리(D)를 등록하여 그 판정 기준을 갱신한다<스텝 S29>.

그리고 전회의 손 형상으로서 [손 형상 1]을 등록한다<스텝 S30>.

그 후, 전술한 <스텝 S3>부터의 처리로 복귀한다.

그리고 상기 처리를 반복하여 실행함으로써, 손의 이동량에 응한 스위치 조작 정보가 단계적으로 출력되게 된다.

③ 시간 모드

한편, 시간 모드가 설정된 경우에는 도 10에 예시한 순서에 따라 그 검출 처리가 실행된다. 상기 경우에는 우선 이동 거리(D)가 제 3의 임계치(H3)를 넘고 있는지의 여부가 판정된다<스텝 S31>.

제 3의 임계치(H3)에 달하지 않은 경우에는 시간 파라미터(t)를 "0"으로 한다<스텝 S32>.

그리고 전회의 손 형상으로서 [손 형상 1]을 등록한다<스텝 S33>.

그 후, 전술한 <스텝 S3>부터의 처리로 복귀한다.

이에 대해 <스텝 S31>에서 이동 거리(D)가 제 3의 임계치(H3)을 넘고 있다고 판정된 경우에는 시간 파라미터(t)를 카운트업한다<스텝 S34>.

그리고 카운트업된 시간 파라미터(t)가 기준 시간(T1)에 달하였는지의 여부를 판정한다<스텝 S35>.

시간 파라미터(t)가 T1 이상이라고 판정된 경우는 그 설정(스위치 조작 정보)을 1단계 증가시킨다<스텝 S36>.

그리고 시간 파라미터(t)를 "0"으로 리셋한다<스텝 S37>.

그리고, 전회의 손 형상으로서 [손 형상 1]을 등록한다<스텝 S33>.

그 후, 전술한 <스텝 S3>부터의 처리로 복귀한다.

또한 <스텝 S31>에서 이동 거리(D)가 역방향으로 제 3의 임계치(H3)을 넘고있다고 판정된 경우에도, 시간 파라미터(t)를 카운트업한다<스텝 S38>.

그리고 카운트업된 시간 파라미터(t)가 기준 시간(T1)에 달하였는지의 여부를 판정한다<스텝 S39>.

시간 파라미터(t)가 T1 이상이라고 판정된 경우는 그 설정(스위치 조작 정보)을 1단계 감소시킨다<스텝 S40>.

그리고 시간 파라미터(t)를 "0"으로 리셋한다<스텝 S41>.

그 후, 전술한 <스텝 S3>부터의 처리로 복귀한다.

이와 같은 일련의 처리에 의해, 손이 소정의 거리를 이동하여 정지한 때, 그 정지 시간에 응한 스위치 조작 정보가 출력되는 것으로 된다.

④ 거리·시간 모드

거리·시간 모드는 상술한 거리 모드의 처리와 시간 모드의 처리를 손의 이동 거리에 응하여 나누어 이용함에 의해 실행된다.

구체적으로는 도 11에 도시한 바와 같이, 전술한 제어 파라미터(n)의 값을 판정한다<스텝 S42>.

그리고 파라미터(n)가 "-2"부터 "2"의 범위 내인지, 또는 "3" 이상 또는 "-3" 미만인지에 따라서, <스텝 S22a>부터 <스텝 S33a>에 나타낸 거리 모드의 처리, 또는 <스텝 S24a>부터 <스텝 S41a>에 나타낸 시간 모드의 처리를 각각 실행하면 좋다.

또한, <스텝 S22a>부터 <스텝 S33a>에 나타낸 처리는 전술한 <스텝 S22>부터<스텝 S33>에 나타낸 처리에 상당하는 것이다. 또한 <스텝 S24a>부터 <스텝 S41a>에 나타낸 처리는 전술한 <스텝 S24>부터 <스텝 S41>에 나타낸 처리에 상당하는 것이다.

이렇게 상술한 바와 같이 기능하는 핸드 패턴 스위치 장치에 의하면, 간이하며 효과적으로 제어 대상으로 하는 기기를 선택하고, 그 제어 대상에 응한 입력 모드를 선택적으로 설정하여 스위치 조작 정보를 입력하는 것이 가능해진다.

따라서 제어 대상이 풍량이나 풍향과 같이, 비교적 큰 변위량을 주면서 설정하는 편이 바람직한 경우에도, 또는 역으로 음량이나 온도와 같이 작은 변위량을 주어 미조정하는 것이 바람직한 경우에도, 그 제어 대상에 응한 스위치 조작량을 간이하게 입력할 수 있다.

특히 그 입력 모드를 제어 대상에 응하여 미리 설정하여 두는 것만으로, 조작 의도에 응한 적절한 스위치 조작 정보를 간단하게 입력할 수 있는 등의 실용상 다대한 효과가 이루어진다.

또한 전술한 바와 같이 검출 단위 거리나 검출 단위 시간 등을 가변 설정할 수 있도록 구성하여 두면, 스위치 조작자(운전원)의 체형이나 기호, 또는 버릇에 응한 설정이 가능하다.

또한 제어 대상의 기기 특성에 응한 설정도 가능해진다. 따라서 조작 부담이 적고, 취급이 용이한 핸드 패턴 스위치 장치를 실현할 수 있다.

이렇게 상술한 바와 같이 구성된 핸드 패턴 스위치 장치에 의하면, 간이하며효과적으로, 게다가 운전 조작에 수반하는 손의 움직임의 영향을 받는 일 없이, 손의 형상과 그 움직임에 의한 스위치 조작 지시를 정확하게 검출할 수 있다. 그리고 그 검출 결과에 응하여, 소정의 차량 탑재 기기에 대해 적절하게 스위치 조작 정보를 주는 것이 가능해진다. 특히 스위치 조작을 지시하는 손을 촬상하는 영역(촬상 영역(3a))이, 스티어링 휠(1)의 측방의 위치이고, 운전원이 그 운전 자세를 무너뜨리는 일 없이 자연스럽게 팔을 뻗을 수 있는 범위에 설정되어 있기 때문에, 운전원에게 조작 부담을 가하는 일이 없다. 따라서 오디오 기기 등의 조작부(2)를 직접 조작하는 감각을 유지하면서, 용이하게 핸드 패턴 스위치 장치를 통하여 스위치 조작 정보를 지시 입력하는 것이 가능해지는 등의 실용상 다대한 효과가 이루어진다.

또한, 본 발명은 상술한 실시 형태로 한정되는 것이 아니다. 실시 형태에서는 우핸들차를 전제로 하여 설명하였지만, 좌핸들차의 경우에도 마찬가지로 적용 가능한 것은 말할 필요도 없고, 또한 트럭 등의 대형차에 한하지 않고 보통 승용차 등에도 마찬가지로 적용 가능하다. 그 제어 대상에 대해서도, 예를 들면 내비게이션 장치의 조작, 와이퍼의 온·오프나 그 작동 간격의 조정, 사이드 미러의 개폐 등에 확장하는 것도 물론 가능하다.

또한 촬상 영역(A)의 크기에 관해서는 예를 들면 카메라(3)의 줌인 기능을 이용하여 가변 설정 가능하게 하여 두는 것도 가능하고, 또한 촬상 영역(A)의 위치에 대해서도 운전원의 버릇 등을 고려하여 미조정 가능하게 하여 두는 것도 가능하다. 상기 경우에는 카메라(3)의 부착 각도를 조정 가능하게 하여 두면 좋다.

또한 스위치 조작 정보의 입력 모드에 관해서는 상술한 3종류로 특정되는 것이 아니고, 예를 들면 손의 형상 자체를 스위치 조작 정보로서 받아들이는 모드를 마련하는 것도 가능하다. 또한 여기서는 「음량」, 「채널」, 「온도」, 「풍량」으로서 그 제어 대상을 직접 선택하였지만, 「라디오」, 「테이프」, 「CD」, 「에어컨」 등으로서 제어 대상 기기를 특정하고, 그리고 나서 「음량」, 「채널」, 「재생」, 「정지」 등의 제어 대상을 특정하거나, 「풍량」, 「풍향」, 「온도」 등의 제어 대상을 특정하는 것도 가능하다.

이 경우에도, 최종적으로 특정되는 제어 대상에 응하여 스위치 조작 정보의 검출 형태를 변경 설정하도록 하면 좋다.

그 밖에, 본 발명은 그 요지를 일탈하지 않는 범위에서 여러가지 변형하여 실시할 수 있다.

Claims

소정의 촬상 영역에 놓여진 손을 촬상하는 촬상 수단을 구비하고, 촬상된 화상으로부터 손 형상을 인식함과 함께 손의 움직임을 검출하고, 제어 대상에 대한 조작 정보를 얻는 핸드 패턴 스위치 장치에 있어어,

상기 핸드 패턴 스위치 장치는,

인식한 손의 형상 및/또는 손의 움직임에 의해 복수의 제어 대상으로부터 하나를 선택하는 제어 대상 설정 수단과,

상기 선택된 선택 제어 대상에 응하여 상기 손의 움직임에 의거한 상기 조작 정보의 검출 형태를 변경하는 검출 형태 변경 수단을 구비한 것을 특징으로 하는 핸드 패턴 스위치 장치.
제 1항에 있어서,

상기 제어 대상 설정 수단은 미리 설정된 손의 움직임 패턴을 검출할 때마다, 복수의 제어 대상으로부터 하나를 순회적으로 선택하는 것을 특징으로 하는 핸드 패턴 스위치 장치.
제 1항에 있어서,

상기 검출 형태 변경 수단은,

상기 촬상 영역 내에서의 손의 이동 거리를 검출하여 상기 조작 정보로 하는이동 거리 검출 형태와,

상기 촬상 영역 내에서 소정 거리 이상 이동한 손의 정지 위치에서의 정지 시간을 검출하여 상기 조작 정보로 하는 정지 시간 검출 형태와,

상기 이동 거리 검출 형태 및 정지 시간 검출 형태의 적어도 한쪽을 설정하는 검출 형태 설정 수단을 포함하는 것을 특징으로 하는 핸드 패턴 스위치 장치.
제 3항에 있어서,

상기 이동 거리 검출 형태는 손의 이동 거리의 검출을 소정 이동 거리를 검출 단위로 하여 다단계로 행하는 것을 특징으로 하는 핸드 패턴 스위치 장치.
소정의 촬상 영역에 놓여진 손을 촬상하는 촬상 수단을 구비하고, 촬상된 화상으로부터 손 형상을 인식함과 함께 손의 움직임을 검출하고, 제어 대상에 대한 조작 정보를 얻는 차량용 핸드 패턴 스위치 장치에 있어어,

상기 촬상 영역을 상기 차량의 스티어링 휠 측방이며 또한 해당 스티어링 휠을 조타하는 운전원이 운전 자세를 유지한 채로 팔을 뻗을 수 있는 영역으로 한 것을 특징으로 하는 차량용 핸드 패턴 스위치 장치.
제 5항에 있어서,

상기 촬상 영역은 상기 스티어링 휠의 외주부로부터 적어도 50㎜ 떨어진 위치에 설정되며, 또한 운전원이 뻗은 손의 손끝 방향으로 약 600㎜, 손의 폭방향으로 약 350㎜의 크기를 갖는 개략 직사각형 형상의 영역으로서 설정되는 것을 특징으로 하는 차량용 핸드 패턴 스위치 장치.
제 5항에 있어서,

상기 촬상 영역 내에서의 손의 움직임의 검출은 상기 화상으로부터 구하여지는 손의 중심 위치의 손끝 방향으로의 10 내지 70㎜의 변위를 제어 대상 선택 및/또는 제어 대상의 조작량으로서 검출하는 것을 특징으로 하는 차량용 핸드 패턴 스위치 장치.
소정의 촬상 영역에 놓여진 손을 촬상하는 촬상 수단을 구비하고, 그 촬상된 화상으로부터 손 형상을 인식함과 함께 손의 움직임을 검출하고, 제어 대상에 대한 조작 정보를 얻는 차량용 핸드 패턴 스위치 장치에 있어서,

상기 촬상 수단은 상기 차량의 스티어링 휠을 조타하는 운전자가 운전 자세를 유지한 채로 팔을 뻗을 수 있는 영역을 촬상할 수 있는 위치에 배설된 것을 특징으로 하는 차량용 핸드 패턴 스위치 장치.
제 8항에 있어서,

상기 촬상 수단은,

상기 차량의 천장부에 설치된 것을 특징으로 하는 차량용 핸드 패턴 스위치 장치.
소정의 촬상 영역에 놓여진 손을 촬상하는 촬상 수단을 구비하고, 그 촬상된 화상으로부터 손 형상을 인식함과 함께 손의 움직임을 검출하고, 제어 대상에 대한 조작 정보를 얻는 핸드 패턴 스위치 장치에 있어서,

상기 핸드 패턴 스위치 장치는,

미리 설정된 손의 움직임 패턴을 반복함으로써, 복수의 제어 대상으로부터 하나를 순회적으로 선택하는 제어 대상 선택 수단과,

상기 선택된 제어 대상의 조작량을 상기 손의 움직임에 의거하여 변경하는 조작량 변경 수단을 구비한 것을 특징으로 하는 핸드 패턴 스위치 장치.
제 10항에 있어서,

상기 핸드 패턴 스위치 장치는,

인식한 손 형상이 미리 설정된 제 1의 손 형상인 것이 검출된 때, 상기 장치의 작동 시작을 인식하는 조작 시작 인식 수단을 가지며,

상기 제어 대상 선택 수단은 상기 작동 시작의 인식 후, 손의 움직임 -그 인식된 손 형상은 미리 설정된 제 2의 손 형상을 이루는-에 의거하여 제어 대상을 선택하는 것을 특징으로 하는 핸드 패턴 스위치 장치.
제 11항에 있어서,

상기 조작 시작 인식 수단은 상기 제 1의 손 형상을 이루는 손이 특정한 물건을 파지하지 않는 또는 접촉되지 않는 것을 확인하여 상기 핸드 패턴 스위치 장치의 작동 시작을 결정하는 확인 수단을 갖는 것을 특징으로 하는 핸드 패턴 스위치 장치.
제 11항에 있어서,

상기 제 1의 손 형상은 물건을 파지한 때의 형상이고, 상기 제 2의 손 형상은 물건을 가리키는 때의 형상인 것을 특징으로 하는 핸드 패턴 스위치 장치.
제 11항에 있어서,

핸드 패턴 스위치 장치는 제어 대상 선택 후, 인식한 손 형상이 미리 설정된 제 3의 손 형상을 이루고, 상기 촬상 영역 내에서의 손의 검출 위치가 소정 시간에 걸쳐서 변위하지 않는 것을 검출한 때, 상기 조작량 변경 수단의 기동을 촉진하는 기동 촉진 수단을 구비한 것을 특징으로 하는 핸드 패턴 스위치 장치.