KR20050019036A

KR20050019036A - 핸드 패턴 스위치 장치

Info

Publication number: KR20050019036A
Application number: KR1020040062751A
Authority: KR
Inventors: 야마모또게이이찌; 사또오히로미쯔; 오자와신지; 사이또히데오; 이가라시히로야
Original assignee: 미츠비시 후소 트럭 앤드 버스 코포레이션; 각고호우징 게이오기주크
Priority date: 2003-08-11
Filing date: 2004-08-10
Publication date: 2005-02-28
Also published as: KR100575504B1; US20050063564A1; JP3752246B2; JP2005063091A; CN1313905C; DE102004038965B4; CN1595336A; DE102004038965A1

Abstract

본 발명은 조작자의 손 형상이나 손바닥의 움직임을 간이하면서 확실하게 검출할 수 있는 핸드 패턴 스위치 장치이다. 팔 끝을 촬상한 촬상 화상을 기초로 하여 팔의 중심을 통하는 중심축을, 예를 들어 그 무게 중심을 통하는 축선으로서 구하고, 상기 중심축에 대해 직교하는 제1 주사선 및 상기 중심축 방향으로 연장되는 제2 주사선 중 적어도 한 쪽을 설정한다. 그리고 설정된 제1 주사선 및 제2 주사선 중 적어도 한 쪽을 손가락 끝으로부터 손바닥 중심을 향해 이동시키면서, 예를 들어 소정 폭 이상의 손가락 폭이 검출되는 주사선의 개수를 판정하여 손바닥으로부터 손가락을 뻗을 수 있는지 여부를 검출한다.

Description

핸드 패턴 스위치 장치 {HAND PATTERN SWITCH DEVICE}

본 발명은, 공조 기기나 오디오 기기 등의 차량 탑재 기기나 사이드 미러 등의 차량 부대 기기의 동작을 상기 차량 탑재 기기의 조작 패널에 접촉하는 일 없이, 또한 차량의 운전을 방해하는 일 없이 간이하게 조작하는 데 적합한 핸드 패턴 스위치 장치에 관한 것이다.

공조 기기나 오디오 기기 등의 차량 탑재 기기의 동작을 상기 차량 탑재 기기의 조작 패널에 접촉하는 일 없이 조작하는 기술로서, 카메라를 이용하여 운전자의 신체의 일부(예를 들어 왼손)를 촬상하고, 그 화상 패턴을 인식하여 상기 차량 탑재 기기에 대한 조작 정보를 얻는 것이 제창되어 있다(예를 들어 일본 특허 공개 평11-134090호 공보를 참조). 또한 운전자의 손 형상이나 움직임으로서 나타내는 제스처(gesture)를 검출하여 차량 탑재 기기에 대한 조작 정보를 얻는 것도 제창되어 있다(예를 들어 일본 특허 공개 제2001-216069호 공보를 참조).

이러한 종류의 기술은, 예를 들어 손을 촬상한 화상으로부터 손의 형상을 인식하는 패턴 인식 처리나, 인식한 손의 위치 변화를 추적함으로써 그 움직임을 검출하는 움직임 검출 처리 등에 의해 실현되는 것으로, 여기서는 편의상 핸드 패턴 스위치 등이라 칭한다.

그러나 상술한 핸드 패턴 스위치 장치를 이용하여 차량 탑재 기기의 동작을 조작하는 경우, 운전원(조작자)의 손 형상이나 그 움직임을 확실하면서 정확하게 검출할 필요가 있다. 이로 인해, 우선 운전원(조작자)의 손을 촬상한 화상 중 어떤 부분이 손인지를 정확하게 인식하는 것이 필요하다. 그러나 운전원(조작자)이 긴 소매 셔츠를 착용하고 있거나 또는 손목 시계 등을 장착하고 있는 경우, 예를 들어 입력 화상 중의 손목 부분이 이상하게 굵게 검출되거나 혹은 손목 시계 등의 화상 성분에 의해 손목 부분에서 도중 끊김이 생기거나 하므로, 인식 처리에 필요한 손바닥 혹은 손등(이하, 통합하여 손바닥이라 칭함) 부분을 확실하게 검출할 수 없게 될 우려가 있다. 게다가 종래 일반적으로는, 영역 분할 등의 복잡한 화상 처리 기술을 이용하거나, 또는 미리 설정한 표준적인 손 형상과 대조하는 등으로 하여 손 형상을 인식하고 있기 때문에, 그 처리 부담이 크다는 문제가 있었다.

본 발명의 목적은, 각종 차량 탑재 기기나 차량 부대 기기의 동작을 조작하는 운전원(조작자)의 손 형상이나 손바닥의 움직임을 간이하면서 확실하게 검출하여 정확하게 그 조작 정보를 입력할 수 있는 핸드 패턴 스위치 장치를 제공하는 데 있다.

본 발명에 관한 핸드 패턴 스위치 장치는, 소정의 촬상 영역에 놓여진 팔 끝을 촬상하는 촬상 수단을 갖고, 이 촬상 수단에 의해 촬상된 촬상 화상으로부터 손 형상 및/또는 손가락의 움직임을 검출하여 소정의 스위치 조작 정보를 얻는 핸드 패턴 스위치 장치이며, 상기 촬상 화상을 기초로 하여 상기 팔의 중심을 통하는 중심축을 구하는 제1 화상 처리 수단과, 상기 중심축에 대해 직교하는 제1 주사선 및 상기 중심축 방향으로 연장되는 제2 주사선 중 적어도 한 쪽을 설정하는 주사선 설정 수단과, 이 주사선 설정 수단에 의해 설정된 상기 제1 주사선 및 제2 주사선 중 적어도 한 쪽에 의해 상기 손가락을 뻗을 수 있는지 여부를 판정하는 판정 수단을 구비한다.

본 발명은, 이하에 예시로서 기재하는 상세한 설명 및 첨부 도면으로부터 보다 명백하게 된다.

이하, 도면을 참조하여 본 발명의 일실시 형태에 관한 핸드 패턴 스위치 장치에 대해 설명한다.

도1은 실시예 장치의 주요부 개략 구성을 나타내는 도면으로, 차량에 있어서의 운전석의 모습과 마이크로 컴퓨터 등에 의해 실현되는 핸드 패턴 스위치 장치의 기능을 나타내고 있다. 운전석의 전방에는 운전원(드라이버)에 의해 조타되는 스티어링 휠(1)이나 콤비네이션 스위치(도시하지 않음) 등이 설치되고, 또한 그 콘솔 패널에는 오디오 기기나 공조 기기 등의 조작부(2)가 설치되어 있다. 또한 운전석 상측의 천장에는 스티어링 휠(1)의 측방을 촬상 영역으로 하고, 상기 촬상 영역을 향해 팔을 뻗은 운전원의 손을 촬상하기 위한 비디오 카메라(3)가 설치되어 있다. 이 카메라(3)는 CCD 카메라 등의 소형의 것으로 이루어진다. 또한, 카메라(3)에 대해서는 소정의 조도하(낮)에 있어서 가시광 영역의 상을 얻는 것이어도 좋지만, 야간과 같이 촬상 영역의 조도가 부족한 경우에는 상기 촬상 영역에 근적외광을 조사하여 적외선 상을 구하는, 소위 적외선 카메라를 이용하는 것도 물론 가능하다. 또한, 핸드 패턴 스위치 장치에 대한 조작은 상기 촬상 영역에 손바닥을 대략 수평하게 위치 부착한 상태에서 손가락을 선택적으로 굴곡시킴으로써 손 형상을 변화시키는 동시에, 손바닥의 위치를 전후 좌우로 변위시킴(움직이게 함)으로써 행해진다. 또한, 카메라(3)로 촬상되는 것은 손등이지만, 여기서는 촬상된 손등을 손바닥으로 하여 설명한다.

그런데 핸드 패턴 스위치 장치는, 기본적으로는 상기 카메라(3)에 의해 촬상되는 운전원의 손 형상이나 움직임을 그 입력 화상으로부터 인식 처리하고, 그 인식 결과를 기초로 하여 소정의 스위치 조작 정보를 얻는 것이고, 상술한 조작부(2) 대신에 전술한 오디오 기기나 공조 기기 등에 대해 스위치 조작 정보를 부여하는 역할을 한다. 구체적으로는 핸드 패턴 스위치 장치는, 카메라(3)에 의해 촬상된 입력 화상을 2치화 처리하여 그 배경 화상 성분을 제거하고, 팔의 선단부측, 주로 손바닥과 손가락의 화상 성분을 추출하는 2치화 처리부(11)와, 2치화 처리에 의해 추출된 손바닥과 손가락의 화상으로부터 그 중심 위치를 구하는 무게 중심 검출부(12) 및 손가락의 형상을 인식하는 형상 인식부(13)를 구비한다.

또한 핸드 패턴 스위치 장치는, 상기 형상 인식부(13)에 의한 인식 결과 및 무게 중심 검출부(12)에 의해 검출된 손의 무게 중심 위치에 따라서, 운전원의 손 형상이나 손바닥의 움직임에 의해 나타내는 스위치 조작을 인식하는 조작 지시 인식부(14)를 구비한다. 이 조작 지시 인식부(14)는, 개략적으로는 메모리(15)에 미리 등록된 특정한 손 형상 패턴과 그 역할과의 관계를 참조하여, 전술한 바와 같이 인식된 손 형상이 의도하는 조작의 종류별로 판정(식별)하는 기능 판정부(16), 특정한 손가락 끝 형상을 한 손바닥의 무게 중심 위치의 이동 혹은 손가락 끝의 움직임을 추적하여 그 기준 위치로부터의 변위량을 검출하는 변위량 검출부(17) 및 상기 손바닥 또는 손가락 끝의 움직임을 시간 경과로서 감시하는 타이머(18)를 구비한다. 그리고 조작 지시 인식부(14)는, 이러한 판정ㆍ감시 결과를 기초로 하여 운전원의 손 형상과 손바닥의 움직임에 의해 특정되는 소정의 스위치 조작 정보를 구하고, 이 스위치 조작 정보를, 예를 들어 전술한 오디오 기기나 공조 기기 등에 대해 출력하도록 구성된다.

또한, 조작 지시 인식부(14)에는 상술한 판정 결과 등에 따라서 운전원에 대해 소정의 안내를 행하는 가이드부(19)가 마련되어 있다. 이 안내는, 예를 들어 오디오 기기나 공조 기기(조작 대상 기기), 또는 음량ㆍ채널 설정 혹은 풍량ㆍ온도 등(조작 대상 기능)을 특정하는 음성 메시지나, 그 스위치 조작(조작량)을 나타내는「삐잇」이나「삐」 등의 확인음으로서 스피커(20)를 통해 운전원에게 알리게 된다. 이 조작 지시 인식부(14)에 있어서의 구체적인 동작 형태, 즉 오디오 기기나 공조 기기 등의 복수의 제어 대상에 대한 스위치 조작 정보의 출력 제어에 대해서는 후술한다.

그런데 상기 카메라(3)에 의한 촬상 영역(3a)은, 도2에 도시한 바와 같이 스티어링 휠(1)의 측방의 상기 스티어링 휠(1)의 외주부로부터 적어도 50 ㎜ 떨어진 위치, 바람직하게는 100 ㎜ 정도 떨어진 위치로 하여 설정된다. 특히 운전원이 운전석의 측부에 설치된 팔걸이(팔걸이)(5)에 팔을 놓은 상태로, 그 운전 자세를 무너뜨리는 일 없이 팔을 뻗을 수 있는 위치이며, 오디오 기기 등의 조작부(2)에 손이 접촉되는 일이 없는 위치로 하여 설정되어 있다. 덧붙여서 말하면 이 촬상 영역(3a)은 스티어링 휠(1)의 측방에 팔을 뻗은 운전원의 손가락 끝 방향으로 대략 600 ㎜, 또한 손의 폭 방향으로 대략 350 ㎜의 크기를 갖는 대략 직사각 형상의 영역으로 하여 설정되어 있다.

즉, 이 촬상 영역(3a)은 스티어링 휠(1)을 파지하는 혹은 그 컬럼 샤프트에 설치된 콤비네이션 스위치(도시하지 않음)를 조작하는 운전원의 손을 촬상하지 않은 영역이며, 게다가 운전원이 팔을 크게 움직이는 일 없이 손을 이동시킬 수 있는 영역으로 하여 설정되어 있다. 이에 의해 운전 조작에 수반하는 손의 움직임을, 실수로 스위치 조작 정보로서 검출하는 것이 방지되어 있다. 또한 오디오 기기 등의 조작부(2)를 직접 조작하는 손가락에 대해서도, 이를 검출하지 않도록 설정되어 있다.

또한, 이와 같이 설정된 촬상 영역(3a)에 기어 시프트 레버(도시하지 않음)가 배치되어 있는 경우에는, 예를 들어 기어 시프트 레버에 설치한 감압 센서를 거쳐서 운전원에 의한 기어 시프트 레버의 파지를 검출하도록 해 두면 좋다. 이러한 고안을 강구해 두면, 촬상 영역(3a)에 연장된 손이 기어 시프트 레버를 조작하고 있는지 혹은 핸드 패턴 스위치 장치를 조작하고 있는 상태인지를 용이하게 판별하는 것이 가능해져, 운전 조작을 스위치 조작 정보로서 실수로 검출하는 것을 확실하게 방지할 수 있다. 또한 카메라(3)로서 스테레오(입체시) 카메라를 이용하여 손의 높이 위치[카메라(3)로부터의 거리]를 검출하고, 이에 의해 촬상 영역(3a)에 연장된 손이 기어 시프트 레버를 조작하고 있는지 혹은 기어 시프트 레버의 상측 공간에 위치 부착되어 있는지를 판별하도록 해도 좋다.

상술한 바와 같이 설정되는 촬상 영역(3a)은, 운전원이 팔걸이(팔걸이)(5)에 팔을 놓은 상태로, 그 운전 자세를 무너뜨리는 일 없이 자연스럽게 팔을 뻗을 수 있고, 게다가 가상적으로 스위치 조작할 때에 운전원이 무리하지 않고 자연스럽게 움직일 수 있는 팔이나 손의 움직임의 범위(변위 폭)를 기준으로 하여 설정된다. 특히 손바닥의 크기가 일반적으로 손목에서 손가락 끝까지의 길이가 200 ㎜ 정도이고, 그 폭이 120 ㎜ 정도인 것을 고려하여 전술한 바와 같이, 예를 들어 길이 600 ㎜, 폭 350 ㎜의 대략 직사각형 영역으로서 정해지고 있다.

이와 같이 설정된 촬상 영역(3a)에 따르면, 운전 조작에 수반하는 손ㆍ팔의 움직임을 검출하는 일 없이, 스티어링 휠(1)로부터 벗어난 손의 위화감이 없는 자연스러운 움직임 하에서, 그 손바닥이나 손을 확실하게 촬상할 수 있다. 게다가 스위치 조작에 수반하여 손의 위치가 움직여도, 그 움직임을 상기 촬상 영역(3a) 내에 확실하게 파악할 수 있으므로, 손의 형상 인식이나 그 이동량(변위량)의 검출을 비교적 간이한 화상 처리 하에 용이하게 행할 수 있다.

또한 반대로 운전원으로부터, 그 운전 자세를 무너뜨리는 일 없이 스티어링 휠(1)의 측방에 팔을 뻗는 것만으로 좋고, 오디오 기기 등의 조작부(2)에 직접 접촉하는 일 없이, 미리 설정된 손 형상을 형성하여 손을 움직이는 것만으로 원하는 스위치 조작을 행할 수 있다. 따라서 운전원의 조작 부담을 가볍게 할 수 있다. 또 운전 조작에 수반하는 손이나 팔의 움직임이 스위치 조작 지시로서 검출되는 일이 없기 때문에, 핸드 패턴 스위치 장치를 의식하지 않고 운전 조작에 집중할 수 있어, 필요에 따라서 손(손바닥)을 촬상 영역(3a)으로 이동시키는 것만으로, 간이하게 스위치 조작 지시를 부여하는 것이 가능해지는 등의 이점이 있다.

여기서 본 발명의 특징적인 전술한 2치 화상으로부터의 손의 인식 처리에 대해 설명한다.

이 인식 처리는, 도3에 도시하는 처리 순서에 따라서, 우선 카메라(3)에 의해 촬상된 촬상 영역(3a)의 입력 화상을 임계치에 따라서, 예를 들어 배경부를 흑색, 화상 중의 팔과 손바닥에 상당하는 부위를 백색으로 하여 2치화 처리하는 것으로 개시된다(스텝 S1). 이 2치화 처리에 의해, 예를 들어 도4에 도시하는 바와 같이 촬상 영역(3a)의 2치화 화상이 구해진다. 계속해서 2치화 화상 중의 팔과 손바닥의 화상 성분에 상당하는 백색 영역의 무게 중심(G)을 구하고, 이 무게 중심(G)과 상기 무게 중심(G)을 통하는 백색 화소의 연속된 방향을 해석함으로써 구해지는 길이 방향의 모멘트로부터 중심축(B)을 구한다(스텝 S2). 이와 같이 하여 중심축(B)이 백색 영역의 무게 중심(G)을 통하도록 구함으로써 중심축(B)의 위치를 보다 정확하게 설정할 수 있다.

그러한 후, 상기 중심축(B)에 대해 직각인 제1 주사선(S1)을, 그 손가락 끝 측인 2치 화상의 상측으로부터 상기 무게 중심(G)에 이르기까지 사이에 등간격으로 복수개 설정한다(스텝 S3). 그리고 상기 2치 화상의 상측으로부터 차례로 상기 각 주사선(S1) 상에서의 백색 화상의 폭(W)을 각각 구하고, 백색 화상 폭(W)이 최대가 되는 주사선(S1)을 검출한다(스텝 S4). 이 경우, 상기 중심축(B)을 걸쳐 연속하는 백색 화상만을 검출 대상으로 하여, 각 주사선(S1) 상에서의 백색 화상의 폭(W)을 검출하는 것이 바람직하다. 또한 화상의 상측으로부터 검출되는 백색 화상의 폭(W)이 그 직전의 주사선(S1)에 있어서 검출된 백색 화상의 폭(W)보다도 큰지 여부를 차례로 판정하면서, 그 검출 폭이 피크가 된 주사선(S1)을 백색 화상의 폭(W)이 최대가 되는 주사선(S1)으로서 검출하도록 하면 좋다.

그리고 상술한 바와 같이 하여 검출된 백색 화상의 폭(W)이 최대치가 되는 주사선(S1)과 상기 중심축(B)과의 교점을 손바닥의 중심 위치(C)로 하여 검출한다(스텝 S5). 이러한 처리에 의해 손바닥의 중심 위치(C)를 구함으로써, 예를 들어 손목에 장착하였을 때 시계나 리스트 밴드에 기인하여, 그 2치화 화상이 도5a에 나타낸 바와 같이 팔로부터 손바닥에 이르는 부위(손목 부분)에서 도중에 끊기는 경우나 혹은 긴 소매의 의복을 착용하고 있는 것에 기인하여 손목이 감춰져, 예를 들어 도5b에 나타낸 바와 같이 팔의 굵기(폭)가, 특히 손목 부분이 이상하게 굵게 검출되는 경우라도, 대체로 손바닥 중앙 부분의 폭에 비교하여 손목 측의 폭이 좁기 때문에, 손바닥의 중심 위치(C)를 정확하게 검출하는 것이 가능해진다.

그러한 후, 상술한 바와 같이 구한 손바닥의 중심 위치(C)와 손바닥의 폭(W)을 기준으로 하여, 2치 화상의 상측으로부터 상기 중심 위치(C)에 이르기까지의 주사선(S1)에 있어서, 소정의 폭(w) 이상의 폭이 검출된 주사선(S1)의 수를 조사한다(스텝 S3). 구체적으로는 각 주사선(S1)에 있어서 검출되는 백색 화상의 폭이 전술한 손바닥의 중심 위치(C)를 통하는 최대 폭(W)의 1/7 내지 1/4로서 설정되는 폭(w) 이상인지 여부를 조사한다. 그리고 폭(w) 이상의 백색 화상이 검출된 주사선(S1)의 수가, 전술한 주사선(S1)의 간격에 따라서 미리 설정된 값 이상인지 여부를 판정함으로써, 중심축(B)의 방향으로 연장되는 소정의 길이 이상의 백색 화상 영역을 손바닥으로부터 뻗어진 손가락(예를 들어 집게 손가락)으로 검출한다. 예를 들어 상술한 바와 같이 주사선(S1)의 개수로서 검출되는 손바닥의 중심 위치(C)로부터의 길이가 10 ㎝ 이상일 때, 이를 집게 손가락으로 하여 검출한다.

또한 마찬가지로 하여 엄지 손가락을 검출한다. 이 엄지 손가락의 검출에 있어서는, 여기서는 왼손을 검출 대상으로 하고, 또한 집게 손가락의 방향과 다르므로, 예를 들어 전술한 중심축(B)에 대해 10°정도 기울어진 제2 주사선(S2)을 손바닥의 중심 위치(C)로부터 우측에 설정한다(스텝 S7). 이는, 엄지 손가락을 최대로 개방하였다고 해도, 엄지 손가락의 방향이 중심축(B)에 대해 약간 경사지게 하는 데 착안하고, 엄지 손가락을 최대로 개방하였을 때에 엄지 손가락과 주사선(S2)이 대략 직교하도록 하여 엄지 손가락의 검출을 확실하게 행할 수 있게 하기 위함이다.

그리고 2치 화상의 우측으로부터 상기 중심 위치(C)에 이르기까지의 주사선(S2)에 있어서, 소정의 폭(w) 이상의 폭이 검출된 주사선(S2)의 수를 조사한다(스텝 S8). 이 경우에도, 전술한 집게 손가락의 검출인 경우와 같이 손바닥의 중심 위치(C)를 통하는 최대 폭(W)의 1/7 내지 1/4로서 설정되는 폭(w) 이상의 백색 화상이 검출된 주사선(S2)의 수가 소정치 이상인지 여부를 판정한다. 그리고 소정 수 이상의 주사선(S2)이 검출되었을 때, 이를 손바닥으로부터 우측으로 뻗어진 엄지 손가락으로 하여 검출한다.

이상과 같은 인식 처리에 의해, 촬상 영역(3a)에 있어서의 손 형상을 나타내는 정보와, 손바닥의 중심 위치(C)가 구해진다. 그리고 집게 손가락이 검출되는지 여부, 또한 엄지 손가락이 검출되는지 여부를 각각 판정함으로써, 예를 들어 도6a 내지 도6d에 각각 나타낸 바와 같이 손이 모든 손가락을 꽉 쥔「주먹」형상(손 형상 1)인지, 집게 손가락만을 뻗은「지시(손가락질)」형상(손 형상 2)인지, 또한 엄지 손가락만을 수평 방향으로 뻗은「양해(OK)」형상(손 형상 3)인지, 또한 집게 손가락과 엄지 손가락을 뻗은「L자형」형상(손 형상 4)인지가 각각 판정된다.

덧붙여서 말하면 본 실시 형태에 있어서는, 상술한「L자형」형상(손 형상 4)은 핸드 패턴 스위치 장치에 대한 조작 개시의 지시에 이용된다. 또한 전술한 손 형상 3은「주먹」형상(손 형상 1)과 쌍을 이루어 이용되고, 엄지 손가락의 출입(굴신)에 의한 손 형상의 변화에 의해 상기 누름 버튼 스위치의 압박 조작을 모방하여 복수의 제어 대상의 선택 정보의 입력에 이용된다. 그리고「지시」형상(손 형상 2)은 아날로그 미터의 지침을 모방한 것이라 간주하고, 손가락 끝(또는 손바닥)의 위치의 변화를 제어 대상에 대한 조작량의 지시에 이용한다. 또한, 상기「주먹」형상(손 형상 1)은 핸드 패턴 스위치 장치의 조작 종료를 지시하기 위해서도 이용된다.

그리고 전술한 조작 지시 인식부(14)에 있어서는, 상술한 바와 같이 인식되는 손 형상과 손바닥의 위치 변화를, 예를 들어 도7에 나타내는 순서에 따라서 인식 처리하고, 이에 의해 운전원(스위치 조작자)의 손에 의한 스위치 조작을 해석하여 복수의 제어 대상에 대한 스위치 조작 정보를 출력한다.

구체적으로는 조작 지시 인식부(14)는, 전술한 형상 인식부(13)에 의한 인식 결과와 손바닥의 중심 위치(C)의 정보를 데이터 입력한다(스텝 S11). 그리고 우선, 스위치 조작이 지시되어 있는지 여부를 식별하기 위한 플래그(F)를 조사하고(스텝 S12), 플래그(F)가 세트되어 있지 않은 경우에는(F = 0) 손 형상이 전술한 조작 개시를 지시하는「L자형」형상(손 형상 4)인지 여부를 판정한다(스텝 S13). 그리고 손 형상 4가 검출된 경우에는 상기 플래그(F)를 세트하여(스텝 S14) 스위치 조작 정보의 입력을 개시한다. 또한, 손 형상 4가 검출되지 않은 경우에는 손 형상 4가 검출될 때까지 상술한 처리를 반복하여 실행한다.

한편, 상기 플래그(F)가 세트되어 있는 경우에는(F = 1) 스위치 조작의 입력 처리가 개시되어 있는 것으로서(스텝 S12), 이번에는 제어 대상을 지정하는 기능 선택 모드가 설정되어 있는지 여부를 식별하기 위한 플래그(M)를 판정한다(스텝 S15). 그리고 플래그(M)가 세트되어 있지 않은 경우에는(M = 0) 손 형상이 전술한 제어 대상을 선택하기 위한 손 형상 3인지 여부를 판정한다(스텝 S16). 손 형상 3인 경우에는 상기 플래그(M)를 1로 세트하여(M = 1) 제어 대상 선택 모드를 설정한다(스텝 S17). 또한, 손 형상 3이 아닌 경우에는 이미 제어 대상이 지정되어 있다고 하여, 후술하는 스위치 조작량의 입력 처리를 실행한다.

그런데 상술한 바와 같이 손 형상 3을 검출하여 제어 대상 선택 모드가 설정되어 있는 경우에는, 다음에 손 형상이 제어 대상의 절환을 지시하는「주먹」형상(손 형상 1)인지 여부를 판정한다(스텝 S18). 그리고 손 형상 1이 검출된 경우에는 전회 검출된 손 형상이 전술한 손 형상 3인지 여부를 판정하여(스텝 S19) 손 형상 3으로부터 손 형상 1로의 변화가 검출되었을 때, 이를 제어 대상의 절환 지시라고 판단하여 제어 대상을 변경한다(스텝 S20). 이 제어 대상의 변경에 대해서는, 예를 들어 복수의 제어 대상이 오디오 기기에 대한「음량」, 에어컨(공조기)에 대한「온도」및 에어컨(공조기)에 대한「풍량」의 3가지인 경우, 후술하는 바와 같이 이러한 제어 대상을 순회적으로 절환하도록 해 두면 좋다.

또한, 금회 손 형상 1이 검출되거나 전회의 손 형상이 손 형상 3이 아니였던 경우에는(스텝 S19), 이 제어 대상 선택 모드에 있어서 손 형상 3으로부터 손 형상 1로의 변경이 이루어지고 있지 않다고 하여 스텝 S11로부터의 처리로 복귀한다. 또한 상술한 스텝 S18에 있어서 손 형상 1이 검출되지 않았던 경우에는, 다음에 그 수단 형상이 전술한 손 형상 3인지 여부를 판정한다(스텝 S21). 그리고 손 형상 3인 경우에는, 제어 대상 선택 모드에 있어서 손 형상 3의 상태가 유지되어, 그 변경이 이루어지고 있지 않다고 하여 전술한 스텝 S11로부터의 처리로 복귀한다. 또한 손 형상 1 및 손 형상 3도 아닌 경우에는(스텝 S18, S21), 전술한 플래그(M)를 0으로 리셋하여(M = 0) 전술한 바와 같이 설정한 제어 대상 선택 모드를 해제한다.

한편, 제어 대상 선택 모드가 설정되어 있지 않은 상태에 있어서, 손 형상 3이 검출되지 않는 경우(스텝 S16) 혹은 제어 대상 선택 모드가 해제된 경우에는(스텝 S22), 다음에 그 수단 형상이 전술한 집게 손가락만을 뻗은「지시」형상(손 형상 2)인지 여부를 판정한다(스텝 S23). 그리고 손 형상 2가 검출된 경우에는, 이하에 설명하는 스위치 조작량의 검출 처리를 실행한다(스텝 S24). 또한, 스텝 S23에 있어서 손 형상 2가 검출되지 않았던 경우에는, 그 수단 형상이「주먹」형상(손 형상 1)인지 여부를 판정한다(스텝 S25). 그리고 손 형상 1인 경우에는 타이머(t)의 카운트를 상승시키고(스텝 S26), 카운트 상승된 타이머(t)가 소정 시간(T)을 경과하였는지 여부를 판정한다(스텝 S27). 그리고 소정 시간(T) 이상에 걸쳐 손 형상 1이 유지되어 있는 경우, 전술한 플래그(F, M)를 각각 0으로 리셋하여(F = 0, M = 0) 스위치 조작의 종료 지시가 행해졌다고 하여 상술한 일련의 처리를 종료한다(스텝 S28). 그러나 손 형상 2 및 손 형상 1이 아닌 경우에는(스텝 S23, S25), 전술한 스텝 S11로부터의 처리로 복귀하여 다음의 지시 입력을 대기한다. 또한 소정 시간(T) 이상에 걸쳐 손 형상 1이 유지되지 않는 경우, 즉 소정 시간(T) 내에 다시 손 형상 2로 변경된 경우에는(스텝 S27), 전술한 스텝 S11로부터의 처리로 복귀하여 재조작을 가능하게 한다.

여기서 전술한「지시」형상(손 형상 2)에 의한 스위치 조작량의 검출 처리에 대해 구체적으로 설명하면, 이 처리는 개략적으로는 도8에 나타내는 처리 순서에 따라서 실행된다. 즉, 이 스위치 조작량의 검출 처리는, 우선 조작량 설정 모드가 설정되어 있는지 여부를 식별하기 위한 플래그(K)가 세트되어 있는지 여부를 판정하기 때문에 개시된다(스텝 S31). 그리고 조작량 설정 모드가 설정되어 있지 않은 경우에는(K = 0), 우선 전술한 바와 같이 구해지는 손바닥의 중심 위치(C)를 조작량 검출로 인한 기준 위치(Co)로 하여 설정하고(스텝 S32), 계속해서 상기 플래그(K)를 1로 세트하여(K = 1) 조작량 설정 모드를 설정하는 동시에(스텝 S33), 이 조작량 설정 모드에 있어서 이용하는 타임워치(t)를 0으로 리셋한다(스텝 S34).

그러한 후, 그 후에 입력되는 데이터에 대해서는 이미 플래그(K)가 세트되어 있기 때문에(스텝 S31), 이 때에 구해지는 손바닥의 중심 위치(C)와 전술한 바와 같이 설정한 기준 위치(Co)와의 변위 거리, 구체적으로는 기준 위치(Co)로부터의 이동 거리(D)를 구한다(스텝 S35). 이 이동 거리(D)의 산출에 대해서는, 입력 화상 상에서의 화소간 거리로서 구하면 충분하다. 그리고 상술한 바와 같이 구한 이동 거리에 따라, 예를 들어 미리 설정된 조작량의 검출 모드에 따라서(스텝 S36), 시간 모드에서의 조작량의 검출 처리(스텝 S37) 혹은 거리ㆍ시간 모드에서의 조작량의 검출 처리(스텝 S38)를 선택적으로 실행한다.

덧붙여서 말하면 시간 모드는, 기준 위치(Co)로부터 변위시킨 손의 정지 시간에 따른 스위치 조작 정보를 출력하는 모드이며, 오디오 기기의 음량이나 공조 기기에 있어서의 온도 등을 조절하는 경우 등에 적합하다. 또한 거리ㆍ시간 모드는 약간의 손 이동시에는 그 이동량에 따른 스위치 조작 정보를 출력하고, 손바닥이 소정 거리 이상 이동한 경우에는 그 이동 위치에서의 정지 시간에 따른 스위치 조작 정보를 출력하는 모드이다. 이 거리ㆍ시간 모드는 제어 대상을 조(粗)조정하거나, 미조정하거나 하는 경우 등에 적합한 것이다.

또한, 본 실시 형태에 있어서는 집게 손가락 형상(손 형상 2)에서의 스위치 조작량의 지시 입력은 팔걸이(5)에 놓은 팔을 중심으로 하여 손바닥을 좌우로 이동시킴으로써 혹은 손목을 지지점으로 하여 그 수단을 좌우로 이동시킴으로써 행해진다. 손바닥이나 손의 좌우로의 이동은, 전술한 촬상 영역(3a)을 벗어나는 일이 없는 범위에서, 예를 들어 각도적으로 대략 ± 45°의 범위에서 행해진다. 특히 본 실시 형태에 있어서는, 손 형상 2로 한 손바닥의 움직임량을 각각 n 단계로 나누어 검출한다.

여기서 시간 모드에 의한 조작량의 검출은, 예를 들어 도9에 그 처리 순서를 나타내는 바와 같이, 우선 손바닥의 기준 위치(Co)로부터의 이동량(D)이 그 최대 이동량을 판정하는 설정치(임계치)(H, -H)를 넘어서 있는지 여부를 판정하여 행해진다(스텝 S40). 이 때, 이동 거리(D)가 상기 설정치(임계치)(H, -H)에 이르고 있지 않은 경우에는, 타임워치(t)를 0으로 하여(스텝 S41) 전술한 스텝 S11로부터의 처리로 복귀한다.

이에 대해 이동 거리(D)가 설정치(임계치)(H)를 넘어서 있다고 스텝 S40에서 판별된 경우에는, 타임워치(t)의 카운트를 상승시킨다(스텝 S42). 그리고 카운트 상승된 타임워치(t)가 기준 시간(T)에 이르렀을 때(스텝 S43), 그 때의 설정치(스위치 조작 정보)를 1 단계 증가시킨다(스텝 S44). 그리고 타임워치(t)를 0으로 리셋한 후(스텝 S45), 전술한 스텝 S11로부터의 처리로 복귀한다.

또한 이동 거리(D)가 역 방향으로 그 임계치(-H)를 넘어서 있다고 스텝 S40에서 판별된 경우에는, 마찬가지로 하여 타임워치(t)의 카운트를 상승시킨다(스텝 S46). 그리고 카운트 상승된 타임워치(t)가 기준 시간(T)에 이르렀을 때(스텝 S47), 그 때의 설정(스위치 조작 정보)을 1 단계 감소시킨다(스텝 S48). 그리고 타임워치(t)를 0으로 리셋한 후(스텝 S49), 전술한 스텝 S11로부터의 처리로 복귀한다. 이러한 일련의 처리에 의해, 집게 손가락을 세운 손바닥이 좌우로 소정의 거리를 이동하여 정지하였을 때, 그 정지 시간에 따라서 제어 대상에 대한 조작 정보(설정치)가 1단씩 증가 또는 저감되어 그 스위치 조작 정보가 출력된다.

이에 대해 거리ㆍ시간 모드에 의한 조작량의 검출은, 예를 들어 도10에 그 처리 순서를 나타낸 바와 같이, 우선 손바닥의 기준 위치(Co)로부터의 이동 거리(D)가 그 최대 이동량을 판정하는 설정치(임계치)(H, -H)를 넘어서 있는지 여부를 판정하여 행해진다(스텝 S50). 그리고 그 판정 임계치(H, -H)를 넘어서 있는 경우에는, 스텝 S42a 내지 S45a 및 스텝 S46a 내지 S49a에 각각 나타낸 바와 같이 전술한 시간 모드인 경우와 마찬가지로 그 최대 이동 위치에서의 집게 손가락을 세운 손바닥의 정지 시간에 따라서 제어 대상에 대한 조작 정보(설정치)를 가변 설정한다.

그러나 손바닥의 기준 위치(Co)로부터의 이동 거리(D)가 그 최대 이동량에 도달하지 않았다고 스텝 S50에서 판별된 경우에는, 금회 검출된 이동 거리(D)와 전회 검출되어 있는 이동 거리(D')를 비교하여 집게 손가락을 세운 손바닥의 이동 방향을 판정한다(스텝 S51). 그리고 그 이동 방향이 증가된 경우에는, 조건 1이 성립되어 있는지 여부를 판정한다. 구체적으로는, 전술한 기준 위치(Co)로부터의 금회 검출된 이동 거리(D)가, 소정의 검출 단위 거리(h)의 정수배로서 규정되는 검출 거리[h*(n + 1)]보다 크고 또한 전회 검출된 이동량(D')이 이 검출 거리 이하이었는지 여부를 판정한다(스텝 S52). 단, 상기 n은 검출 거리를 설정하는 변수이다. 그리고 상기 판정용의 검출 거리[h*(n + 1)]를 넘어서 손바닥이 증가 방향으로 금회 이동하고 또한 전회의 이동량(D')이 이 검출 거리 이하였던 경우, 즉 전회 주기로부터 금회 주기까지에 손바닥이 증가 방향으로 소정 거리 이상 이동하여 D > h*(n + 1) 또한 D' ≤ h*(n + 1)이라는 조건 1이 성립된 경우에는, 상기 변수(n)를 증가시켜 다음 판정용의 검출 거리를 설정하고(스텝 S54), 제어 대상에 대한 조작 정보(설정치)가 1 단계 증가된다(스텝 S56).

또한, 스텝 S51에서 판정된 손바닥의 이동 방향이 감소된 경우에는, 조건 2가 성립되어 있는지 여부를 판정한다. 구체적으로는, 전술한 기준 위치(Co)로부터의 금회 검출된 이동 거리(D)가, 소정의 검출 단위 거리(h)의 정수배로서 규정되는 검출 거리[h*(n - 1)]보다 작고 또한 전회 검출된 이동량(D')이 이 검출 거리 이상이었는지 여부를 판정한다(스텝 S53). 그리고 상기 판정용의 검출 거리[h*(n - 1)]를 넘어서 손바닥이 감소 방향으로 금회 이동하고 또한 전회의 이동량(D')이 이 검출 거리 이상이었던 경우, 즉 전회 주기로부터 금회 주기까지에 손바닥이 감소 방향으로 소정 거리 이상 이동하여 D < h*(n - 1) 또한 D' ≥ h*(n - 1)이라는 조건 2가 성립된 경우에는, 상기 변수(n)를 감소시켜 다음 판정용의 검출 거리를 설정하고(스텝 S55), 제어 대상에 대한 조작 정보(설정치)가 1 단계 감소된다(스텝 S57).

이러한 거리ㆍ시간 모드에 의한 조작량의 검출 처리에 따르면, 기준 위치(Co)로부터의 집게 손가락을 세운 손바닥의 이동 거리(D)에 따라서 스위치 조작량을 대략 연속적으로 부여할 수 있다. 그리고 집게 손가락을 세운 손바닥을 크게 이동시켰을 때에는, 그 정지 위치에서의 정지 시간에 따라서 스위치 조작량을 연속적으로 변화시키는 것이 가능해진다. 이러한 손바닥이나 손의 움직임에 따라서 스위치 조작량을 빠르게, 게다가 필요에 따라서 미세하게 설정하는 것이 가능해진다.

이리 하여 상술한 바와 같이 손가락의 형상 및 손바닥의 이동을 검출하여 운전원(스위치 조작자)의 스위치 조작 의도를 식별하는 조작 지시 인식부(14)에 따르면, 예를 들어 도11에 나타낸 바와 같이 미리 설정된 손 형상을 만들어, 손 및/또는 손바닥을 움직이는 것만으로, 오디오 기기나 공조 기기 등의 조작부(2)에 접촉하는 일 없이 간이하게 각종 제어 대상에 대한 스위치 정보를 입력할 수 있다.

즉, 운전원이 스티어링 휠(1)을 쥐고 차량을 조타하고 있는 경우에는, 초기 상태 P1에 나타낸 바와 같이 운전원의 손은 촬상 영역(3a)으로부터 벗어나 있고, 그 때의 입력 화상은 차 실내의 배경으로서 배제 처리되는 화상 성분 뿐이다. 따라서 이 경우에는, 핸드 패턴 스위치 장치가 작동되는 일은 없다. 이에 대해 운전원의 손이 스티어링 휠(1)을 벗어나 조작 상태 P2에 나타낸 바와 같이 촬상 영역(3a) 내에 들어가고, 그 수단 형상이「L자형」형상(손 형상 4)인 경우에는, 전술한 바와 같이 핸드 패턴 스위치 장치의 조작 개시가 지시되었다고 판정되어, 예를 들어「삐」라 울리는 확인음을 발하여 장치를 대기(스탠바이) 상태로 한다.

계속해서 손 형상이 동작 상태 P3에 나타낸 바와 같이 전술한 엄지 손가락만을 수평 방향으로 뻗은 형상(손 형상 3)으로 설정되면, 이를 검출하여 기능 절환 모드(제어 대상 선택 모드)를 설정한다. 그리고 이 경우에는, 기능 절환 모드가 설정되어 있는 취지를 운전원(조작자)에게 제시하기 위해, 예를 들어 음성 메시지를 발하거나 뮤직 박스를 울린다. 그리고 이 기간에 있어서 엄지 손가락이 절곡되어져 주먹 형상(손 형상 1)으로 변경되었을 때, 이를 누름 버튼 스위치 조작이라고 판정하여 제어 대상을 절환한다. 이 제어 대상의 절환시에는, 예를 들어 전술한 바와 같이「음량」,「온도」,「풍량」이라 하는 경우에 스위치 조작이 검출될 때마다, 예를 들어「음량 조정 모드가 설정되었습니다」,「온도 조정 모드가 설정되었습니다」,「풍량 조정 모드가 설정되었습니다」 등의 음성 안내(음성 메시지)를 통지할 수도 있다. 또한 간략적으로는「음량」,「온도」,「풍량」 등의 단어를 음성 메시지로서 발하도록 해도 된다. 이러한 안내에 의해 운전원은 그 조작 상태를 눈으로 확인하는 일 없이, 인식하는 것이 가능하게 되므로 운전 조작에 전념하는 것이 가능해진다.

그러한 후, 원하는 제어 대상이 설정되어 이루어지면, 동작 상태 P4에 나타낸 바와 같이 손 형상을「지시」형상(손 형상 2)으로 설정한다. 그렇게 하면 이 손 형상 2를 인식함으로써, 전술한 조작량의 설정 모드가 설정된다. 그리고 미리 설정되어 있는 조작 모드에 따라서, 동작 상태 P5a 혹은 동작 상태 P5b에 나타낸 바와 같이「지시」형상(손 형상 2)으로서 손바닥을 좌우로 움직이고, 이에 의해 전술한 바와 같이 설정한 제어 대상에 대한 스위치 조작량의 정보 입력을 행한다. 그리고 원하는 스위치 조작이 완료되어 이루어지면, 손 형상을 동작 상태 P6에 나타낸 바와 같이「주먹」형상(손 형상 1)으로 함으로써, 그 조작 종료가 그 장치에 대해 지시된다.

또한, 전술한「지시」형상(손 형상 2)의 주먹을 좌우로 움직여 스위치 조작량의 정보를 입력하고 있는 도중에 있어서, 다시 엄지 손가락만을 수평 방향으로 뻗은 형상(손 형상 3)이 설정된 경우에는, 그 시점에서 스위치 조작 정보의 입력 처리를 종료하고, 다시 제어 대상의 선택 절환으로부터의 처리를 실행하면 좋다. 따라서 복수의 제어 대상을 차례로 조작한 경우라도, 그 인식 처리 자체를 중단하는 일 없이, 연속적으로 복수의 제어 대상을 반복하여 조작하는 것이 가능하게 되어 그 사용성을 높이는 것이 가능해진다.

이리 하여 상술한 바와 같이 구성된 핸드 패턴 스위치 장치에 따르면, 간이하게 하여 효과적으로, 게다가 운전 조작에 수반하는 손가락이나 팔의 움직임의 영향을 받는 일 없이, 미리 설정된 손 형상과 그 움직임에 의한 스위치 조작 지시를 정확하게 검출할 수 있다. 그리고 그 검출 결과에 따라서, 소정의 차량 탑재 기기에 대해 적절하게 스위치 조작 정보를 부여하는 것이 가능해진다. 또 스위치 조작을 지시하는 손가락을 촬상하는 영역[촬상 영역(3a)]이 스티어링 휠(1)의 측방의 위치에서, 운전원이 그 운전 자세를 무너뜨리는 일 없이 자연스럽게 팔을 뻗을 수 있는 범위로 설정되어 있기 때문에, 운전원에게 조작 부담을 가하는 일이 없다. 따라서 오디오 기기 등의 조작부(2)를 직접 조작하는 감각을 유지하면서, 용이하게 핸드 패턴 스위치 장치를 통해 스위치 조작 정보를 지시 입력하는 것이 가능하게 되는 등의 실용상 많아지는 효과가 발휘될 수 있다.

특히 이 핸드 패턴 스위치 장치에 따르면, 손바닥을 촬상한 화상을 2치화한 화상 중으로부터 손가락 끝을 향하는 중심축을 구하고, 이 중심축과 대략 직각인 주사선 상에서의 손가락의 폭을 손가락 끝으로부터 차례로 구하면서, 최대 폭이 되는 주사선과 상기 중심축과의 교점을 손바닥 중심으로 하여 구하고 있기 때문에, 2치화 화상 중에 있어서의 손바닥 부분을 확실하게 검출할 수 있다. 따라서 조작자가 긴 소매 셔츠를 착용하고 있어도 혹은 손목 시계 등을 장착하고 있어도, 이러한 화상 성분에 관계되는 일 없이 손바닥의 중심, 나아가서는 손바닥 부분을 확실하게 검출할 수 있다.

게다가 상기 손바닥 중심을 기준으로 하여, 검출 대상으로 삼는 손가락의 방향과 대략 직각으로 손가락 검출용의 주사선을 설정하고, 이러한 주사선 상에서 검출되는 소정 폭 이상의 화상 성분을 손가락의 폭으로서 파악하면서, 그 주사선의 개수로부터 손가락이 손바닥 부분으로부터 뻗어 있는지 여부를 판정하기 때문에, 그 손가락 형상을 간단하면서 확실하게 인식(검출)할 수 있다. 특히 집게 손가락과 엄지 손가락 방향의 차이를 적극적으로 이용하여 이러한 각 손가락의 손바닥 부분으로부터의 뻗은 상태를 판정하기 때문에, 전술한 복수의 손 형상의 특징을 확실하게 파악하여 그 수단 형상을 인식하는 것이 가능해진다. 따라서 부담이 적은 간단한 화상 처리에 의해 손 형상과 손바닥의 움직임(위치 변화)을 확실하게 인식할 수 있으므로, 그 조작 자체도 간소화되는 것이 가능해지는 등의 효과가 발휘될 수 있다.

또한, 본 발명은 상술한 실시 형태로 한정되는 것이 아니다. 실시 형태에 있어서는 우측 핸들차를 전제로 하여 설명하였지만, 왼쪽 핸들 차인 경우라도 마찬가지로 적용 가능한 것은 물론이고, 또한 트랙 등의 대형차로 한정되지 않고 보통 승용차 등에도 마찬가지로 적용 가능하다. 그 제어 대상에 대해서도, 예를 들어 도12에 나타낸 바와 같이 와이퍼의 온ㆍ오프나 그 작동 간격의 조정 및 사이드 미러의 개폐 등에 확장하는 것도 물론 가능하다. 이 경우, 그 제어 대상을 계통하게 하여 트리 형상으로 분류해 놓고, 이러한 제어 대상을 단계적으로 선택해 가도록 하면 좋다.

구체적으로는 복수의 제어 대상을「주행 장치계」와「쾌적 장비계」로 크게 분류하여,「주행 장치계」에 대해서는 다시「방향 지시기」,「와이퍼」,「라이트」,「미러」와 같이 중간 분류한다. 그리고 이와 같이 중간 분류된 각 제어 대상마다, 그 복수의 기능을 작게 분류해 두면 좋다. 마찬가지로「쾌적 장비계」에 대해서도「오디오」와「에어컨」으로 중간 분류하고, 다시「오디오」에 대해서는「라디오」,「CD」,「테이프」,「MD」 등의 기기 종류별마다 분류하고, 이러한 기기 종류별마다 그 조작 형태나 음량 등을 기능 분류해 두도록 하면 좋다. 단, 주로 분류 항목을 설정한 경우, 그 선택 처리 자체가 복잡화해지므로, 실제적으로는 필요 최소한의 제어 대상만을 선택할 수 있도록 설정해 두는 것이 그 조작성의 점에서 바람직하다.

또한 정보 입력에 이용하는 손의 형상에 대해서는, 상술한 예로 한정되지 않는 것도 물론이다. 기타, 본 발명은 그 요지를 일탈하지 않는 범위에서 여러 가지 변형하여 실시할 수 있다.

이와 같이 구성된 핸드 패턴 스위치 장치에 따르면, 촬상 화상을 2치화한 화상 중에 있어서의 팔 부분으로부터 손가락 끝을 향하는 중심축에 대해 직각으로 설정한 제1 주사선 및/또는 중심축 방향으로 설정한 제2 주사선을 이용하여 손가락을 검출하기 때문에, 조작자가 긴 소매 셔츠를 착용하고 있거나 혹은 손목 시계 등을 장착하고 있어도, 이러한 화상 성분에 관계되는 일 없이 손가락을 뻗을 수 있는지 여부를 확실하게 검출할 수 있다. 따라서 그 수단 형상을 정확하게 판정할 수 있다. 특히 중심축을 손바닥 중심을 통하도록 구하고 있고, 이 손바닥 중심을 통하는 주사선에 있어서 검출되는 화상 폭의 1/7 내지 1/4 이상의 손가락 폭을 검출하여 집게 손가락이나 엄지 손가락을 뻗을 수 있는지 여부를 판정하고 있기 때문에, 그 손가락 형상을 간단하면서 확실하게 인식(검출)할 수 있다.

따라서 손 형상 및/또는 손바닥(손가락 끝)의 움직임을 검출하여 각종 제어 대상에 대한 스위치 조작 정보를 부여하는 면에서, 그 인식 처리 부담을 경감하면서 손 형상이나 그 움직임을 확실하게 인식하는 것이 가능해진다.

본 발명에 의하면, 각종 차량 탑재 기기나 차량 부대 기기의 동작을 조작하는 운전원(조작자)의 손 형상이나 손바닥의 움직임을 간이하면서 확실하게 검출하여 정확하게 그 조작 정보를 입력할 수 있는 핸드 패턴 스위치 장치를 제공된다.

도1은 본 발명의 일실시 형태에 관한 핸드 패턴 스위치 장치의 개략 구성을 도시하는 도면.

도2는 도1에 도시한 핸드 패턴 스위치 장치에 있어서의 손가락의 촬상 영역을 나타내는 도면.

도3은 손 형상과 손바닥 중심의 인식 처리 순서의 일예를 나타내는 흐름도.

도4는 도3에 도시한 손 형상과 손바닥 중심의 인식 처리를 설명하기 위한 개념도.

도5a는 종래 일반적인 손 형상의 인식 처리에 있어서의 문제점을 설명하기 위한 도면.

도5b는 도5a와 동일한 도면.

도6a는 본 발명의 실시 형태로 이용되는 손 형상 1을 나타내는 도면.

도6b는 손 형상 2를 나타내는 도면.

도6c는 손 형상 3을 나타내는 도면.

도6d는 손 형상 4를 나타내는 도면.

도7은 도1에 도시한 핸드 패턴 스위치 장치에 있어서의 조작 지시 인식부에서의 손 형상의 인식 처리 순서의 일예를 나타내는 흐름도.

도8은 조작량의 검출 처리 순서의 일예를 나타내는 흐름도.

도9는 시간 모드에 의한 조작량의 검출 처리예를 나타내는 흐름도.

도10은 거리ㆍ시간 모드에서의 조작량의 검출 처리예를 나타내는 흐름도.

도11은 본 장치에 대한 손가락에 의한 스위치 조작 정보의 입력 형태를 나타내는 도면.

도12는 복수의 제어 대상을 선택하는 면에서의 체계화의 예를 나타내는 도면.

<도면의 주요 부분에 대한 부호의 설명>

1 : 스티어링 휠

2 : 조작부

3 : 카메라

3a : 촬상 영역

5 : 팔걸이(팔걸이)

11 : 2치화

12 : 무게 중심 검출

13 : 형상 인식

14 : 조작 지시 인식

15 : 메모리

16 : 기능 판정

17 : 변위량

18 : 타이머

19 : 가이드부

Claims

소정의 촬상 영역에 놓여진 팔 끝을 촬상하는 촬상 수단을 갖고, 이 촬상 수단에 의해 촬상된 촬상 화상으로부터 손 형상 및/또는 손가락의 움직임을 검출하여 소정의 스위치 조작 정보를 얻는 핸드 패턴 스위치 장치이며,

상기 촬상 화상에 기초하여 상기 팔의 중심을 통하는 중심축을 구하는 제1 화상 처리 수단과,

상기 중심축에 대해 직교하는 제1 주사선 및 상기 중심축 방향으로 연장되는 제2 주사선 중 적어도 한 쪽을 설정하는 주사선 설정 수단과,

이 주사선 설정 수단에 의해 설정된 상기 제1 주사선 및 제2 주사선 중 적어도 한 쪽에 의해 상기 손가락을 뻗을 수 있는지 여부를 판정하는 판정 수단을 구비하는 핸드 패턴 스위치 장치.
제1항에 있어서, 상기 판정 수단은 상기 손의 특정한 손가락의 출입을 검출하고, 상기 특정한 손가락의 출입이 검출될 때마다 복수의 제어 대상 중 1개를 순회적으로 선택 지정하는 기능 선택 수단과, 미리 설정된 손 형상 및/또는 상기 손 형상을 이루는 손의 움직임에 따라서, 상기 기능 선택 수단으로 지정된 제어 대상에 대한 제어량을 부여하는 기기 조작 수단을 구비하는 핸드 패턴 스위치 장치.
제2항에 있어서, 상기 기기 조작 수단은 기준 위치로부터의 손의 좌우 방향으로의 이동량 및/또는 그 이동처에 있어서의 정지 시간에 따라서 제어 대상에 부여하는 제어량을 변화시키는 핸드 패턴 스위치 장치.
제2항에 있어서, 모든 손가락을 꽉 쥔 주먹 형상이 소정 시간 이상으로 걸쳐 유지되어 있는 것이 상기 판정 수단에 의해 검출된 경우에는, 조작 종료를 지시한 것으로서 상기 기능 선택 수단에 의한 제어 대상의 선택 지정 및 상기 기기 조작 수단에 의한 제어 대상에 대한 제어량의 부여를 종료하는 핸드 패턴 스위치 장치.
제2항에 있어서, 상기 미리 설정되는 손 형상은 모든 손가락을 꽉 쥔 주먹 형상과, 집게 손가락만을 뻗은 지시 형상과, 엄지 손가락만을 수평 방향으로 뻗은 형상과, 집게 손가락과 엄지 손가락을 뻗은 L자형 형상을 포함하는 핸드 패턴 스위치 장치.
제2항에 있어서, 상기 특정한 손가락은 엄지 손가락이며, 상기 미리 설정된 손 형상은 집게 손가락만을 뻗은 지시 형상이며, 상기 기기 조작 수단은 상기 지시 형상의 좌우의 움직임을 검출하는 핸드 패턴 스위치 장치.
제1항에 있어서, 상기 촬상 수단은 차량의 운전석 상방의 천장에 설치된 카메라인 핸드 패턴 스위치 장치.
제2항에 있어서, 상기 기능 선택 수단에 의해 상기 복수의 제어 대상 중 1개가 선택되었을 때에 확인음을 알리는 안내 기능을 구비하는 핸드 패턴 스위치 장치.
제7항에 있어서, 상기 촬상 영역은 상기 차량의 운전자가 운전석의 측부에 설치된 팔걸이에 팔을 놓은 상태로, 운전 자세를 무너뜨리는 일 없이 팔을 뻗을 수 있는 위치이며, 상기 차량에 설치된 콘솔 패널의 조작부에 손이 접촉되는 일이 없는 위치에 설정되는 핸드 패턴 스위치 장치.
제1항에 있어서, 상기 화상 처리 수단은 상기 촬상 화상을 2치화 처리하는 2치화 처리 수단과, 이 2치화 처리된 촬상 화상의 무게 중심을 구하는 무게 중심 검출 수단을 포함하고,

상기 팔의 중심을 통하는 중심축은, 상기 무게 중심을 통하는 축선으로서 구해지는 핸드 패턴 스위치 장치.
제10항에 있어서, 상기 팔 끝으로부터 상기 중심측을 향해 상기 제1 주사선을 복수개 설정하고, 2치화 처리된 상기 팔 끝의 폭이 최대가 되는 주사선을 구하고, 이 주사선과 상기 중심축과의 교점을 손바닥 중심으로서 구하는 제2 화상 처리 수단을 구비하는 핸드 패턴 스위치 장치.
제1항에 있어서, 상기 주사선 설정 수단은 상기 제1 주사선 및 제2 주사선의 양방을 설정하고,

상기 판정 수단은 상기 제1 주사선을 이용하여 집게 손가락을 뻗을 수 있는지 여부를 판정하고, 상기 제2 주사선을 이용하여 엄지 손가락을 뻗을 수 있는지 여부를 판정하는 핸드 패턴 스위치 장치.
제12항에 있어서, 상기 주사선 설정 수단은 상기 제2 주사선을 상기 중심축에 대해 약 10도 기울여 설정하는 핸드 패턴 스위치 장치.
제13항에 있어서, 상기 판정 수단은 소정 폭 이상의 손가락 폭이 검출되는 주사선의 개수가 소정 개수 이상일 때, 손가락을 손바닥으로부터 뻗을 수 있다고 판정하는 핸드 패턴 스위치 장치.
제14항에 있어서, 상기 소정 폭은 손바닥 중심을 통하는 주사선에 있어서 검출된 폭의 1/7 내지 1/4 이상인 핸드 패턴 스위치 장치.