KR101509770B1

KR101509770B1 - 차재 기기의 조작장치

Info

Publication number: KR101509770B1
Application number: KR1020090031711A
Authority: KR
Inventors: 코세이 이시이
Original assignee: 현대자동차일본기술연구소; 현대자동차주식회사; 기아자동차주식회사
Priority date: 2009-03-03
Filing date: 2009-04-13
Publication date: 2015-04-06
Also published as: JP5392900B2; US20100226539A1; JP2010202029A; KR20100099641A; US8538090B2

Abstract

본 발명은 사용하기에 편리하고 패드부의 표면에 접한 손가락의 움직임을 검출하여 조작 지시를 내릴 수 있는 차재 기기의 조작장치에 관한 것이다. 이를 위해, 사용자의 조작하는 손이 접촉하는 패드부, 및 사용자의 손을 촬영하기 위한 카메라가 설치된 조작부와; 상기 카메라에 의해 촬영된 사용자 손가락의 화상이 차재 기기의 조작 화면에 겹쳐져 표시되는 표시부와; 상기 조작부의 패드부를 통해 입력되는 사용자 손의 움직임을 미리 등록된 메모리의 움직임 패턴과 비교하여 상응하는 조작 지시를 내리는 조작제어부;를 포함하는 차재 기기의 조작장치가 개시된다.

차재 기기, 조작장치, 손가락, 움직임 패턴, 조작 지시

Description

차재 기기의 조작장치{Operation device of vehicle machinery}

본 발명은 차재 기기의 조작장치에 관한 것으로서, 더욱 상세하게는 손을 움직여 손가락이 패드부 표면에 그린 도형에 의하여 차재 기기에 조작 지시를 내릴 수 있는 조작장치에 관한 것이다.

차량의 시프트 레버 부근의 센터 콘솔에 설치된 조작부와, 조작부로부터 떨어진 계기판에 설치된 표시부로 이루어지고, 조작부에 놓여진 손이 촬영되면 표시부에 표시된 차재 기기의 조작 화면에 촬영된 손의 이미지를 합성하여 표시하는 조작장치가 알려져 있다.

(특허 문헌 1, 특허 문헌 2)

특허 문헌 1에서는 조작부에 터치 패널이 설치되고, 조작 화면에 표시된 조작 버튼과 겹쳐지도록 손가락을 움직여, 터치 패널을 누르면, 손가락을 겹친 조작 버튼의 조작 지시가 나온다. 특허 문헌 2에서는, 조작부에 터치 패널이 없는 대신, 예컨대 「가위」, 「바위」「보」 등과 같은 손의 제스츄어를 카메라로 인식 하여 조작 지시가 나온다.

그러나, 특허 문헌 1에 개시된 것과 같은 조작 화면을 보고 목적의 조작 버튼에 손가락을 겹치는 조작은, 시선을 빼앗겨 운전 조작의 방해가 되는 경우가 생긴다. 특허 문헌 2에 나타내는 것 같은 손의 제스츄어에 의한 형상 인식은, 예를 들면 「바위」의 제스츄어가 반드시 「음량 증대」의 조작에 연결되지 않고, 기억하기 어렵다고 하는 문제가 있다. 카 네비게이션(car navigation) 조작 화면에 있어서의 지도의 확대/축소 조작, 오디오 조작 화면에서의 음량의 증감 조작 등은, 조작 버튼을 선택하여 누르는 것이 아니라, 손가락을 움직인 궤적으로 조작 내용을 알 수 있는 것 같은 지시가 바람직하다.

(선행기술 문헌)

(특허 문헌)

(특허 문헌 1) 일본국 공개 특허 평 10-269012호 공보

(특허 문헌 2) 공개 특허 2001-216069호 공보

따라서, 본 발명의 목적은 사용하기 편리하고 패드부의 표면에 접한 손가락의 움직임을 검출하여 조작 지시를 내릴 수 있는 차재 기기의 조작장치를 제공하는 데에 있다.

상기한 목적을 달성하기 위한 것으로, 본 발명에 따른 차재 기기의 조작장치는, 사용자의 조작하는 손이 접촉하는 패드부, 및 사용자의 손을 촬영하기 위한 카메라가 설치된 조작부와; 상기 카메라에 의해 촬영된 사용자 손가락의 화상이 차재 기기의 조작 화면에 겹쳐져 표시되는 표시부와; 상기 조작부의 패드부를 통해 입력되는 사용자 손의 움직임을 미리 등록된 메모리의 움직임 패턴과 비교하여 상응하는 조작 지시를 내리는 조작제어부;를 포함할 수 있다.

여기서, 상기 조작부는 카메라의 인식 성능을 높이기 위해 사용자의 손에 조명을 부여하는 조명부를 더 구비하는 것이 바람직하다.

또한 상기 조작제어부는 카메라에 의해 촬영된 사용자 손가락의 화상으로부터 시계열로 얻어지는 패드부 표면에 접촉된 하나 또는 복수의 손가락 선단이 그리는 궤적을 미리 등록된 메모리의 움직임 패턴과 비교하도록 구비될 수 있다.

또한 상기 조작제어부는 상기 손가락 선단이 그리는 궤적이 미리 등록된 메모리의 움직임 패턴과 일치하는 경우 차재 기기에 상기 움직임 패턴에 대응하는 조 작 지시를 내리도록 구비될 수 있다.

또한 상기 조작제어부는 카메라에 의해 촬영된 사용자 손가락의 화상으로부터 얻어지는 패드부 표면에 접촉된 하나 또는 복수의 손가락 선단이 그리는 궤적의 길이에 따라 조작량을 지시하도록 구비될 수 있다.

또한 상기 궤적은 카메라에 의해 촬영된 사용자 손가락의 화상에서 손가락 선단이 패드부에 접촉할 때 발생하는 손가락 선단의 백색 부위의 궤적으로 파악되는 것일 수 있다.

또한 상기 궤적은 손의 제스츄어에 의하여 그려지는 것일 수 있다.

바람직한 실시예에서, 상기 손의 제스츄어는, 패드부에 손가락 끝을 접촉시킨 상태에서 움켜진 상태의 손가락를 펼치는 움직임, 패드부에 손가락 끝을 접촉시킨 상태에서 펼친 상태의 손가락을 오무리는 움직임, 패드부에 2개의 손가락 끝을 동시에 접촉시킨 뒤 팅기는 움직임, 손가락으로 문자를 직접 그리는 문자 묘화 움직임, 및 손가락 끝으로 패드부를 2번 가볍게 접하는 더블 터치의 움직임 중 적어도 하나 이상을 포함할 수 있으며, 이때 궤적에 따른 상기 각 움직임에 대응하는 조작 지시가 출력될 수 있도록 조작제어부의 메모리에 상기 궤적과 일치되는 움직임 패턴이 등록된다.

또한 상기 패드부는 투명하고 손가락의 누름 위치를 좌표로 검출하는 감압 센서를 구비하는 것일 수 있다.

또한 상기 패드부는 투명하고 상기 감압 센서보다 강한 누름 압력을 검출할 수 있는 하중 센서를 더 구비하는 것일 수 있다.

이에 따라, 상기한 본 발명의 차재 기기의 조작장치에 의하면, 패드부 표면에 접촉된 하나 또는 복수의 손가락 선단이 그리는 궤적을 미리 등록된 메모리의 움직임 패턴과 비교하여 궤적이 나타내는 조작 지시를 차재 기기에 내리는 조작제어부가 구비됨으로써, 조작 화면에 표시된 조작 버튼에 손가락을 일일이 겹쳐야 하는 조작이 없고, 번거로움이 없는 원활한 조작을 할 수 있다.

예를 들면, 음량의 증대라면 아래에서 위로 향하는 손가락의 직선 형상의 궤적으로, 음량의 감소라면 위에서 아래로 향하는 손가락의 직선 형상의 궤적으로 지시할 수 있다. 또한 손가락으로 숫자를 그리는 것으로 복수의 조작 버튼 중에 숫자에 대응하는 조작 버튼을 선택할 수 있다. 이에 따라 손가락을 표시된 조작 버튼에 겹칠 필요가 없고, 손가락이 조작 화면의 어디에 있어도 조작 지시를 낼 수 있다. 손가락의 위치를 확인하기 위하여 조작 화면을 보지 않아도 되므로 운전 중의 조작이라도 안전 운전이 가능해진다.

촬영한 화상으로부터 손가락이 패드부에 접촉하여 백색이 된 부위를 추출한 뒤 그 궤적을 좌표로 파악하므로, 손 전체의 움직임으로부터 손가락 선단을 파악하는 것에 비해 손가락 선단의 움직임을 신속하게 감지할 수 있다.

손가락을 패드부에 접촉시켜 손의 제스츄어, 즉 손짓에 의해 그려진 궤적을 사용하므로 조작을 사용자가 기억하기 쉬운 것으로 할 수 있다.

패드부에 감압 센서를 구비하므로, 예컨대 손가락이 패드부에 가볍게 접하여 도형을 그리는 터치 조작에 더하여 감압 센서를 누르는 푸쉬 조작도 채용할 수 있다. 터치 조작인지 푸쉬 조작인지의 구별은 손가락의 누름 압력으로 구별할 수 있고, 복잡한 판정도 필요 없다. 푸쉬 조작은 조작 화면의 조작 버튼에 손가락의 선단을 겹쳐 감압 센서를 누르는 것으로서, 차량 주행 전에 수행하는 초기설정 등 표시부를 보면서 조작하는 경우에 유효하다.

감압 센서에 더하여 감압 센서보다 강한 누름 압력을 검출할 수 있는 하중 센서를 패드부에 구비하는 경우, 예컨대 감압 센서를 누르는 푸쉬 조작에 더하여 보다 강한 누름 압력의 푸쉬 조작을 수행였을 때, 이를 하중 센서로 감지하여 감압 센서와는 다른 조작 지시를 내릴 수 있게 된다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 차재 기기의 조작장치에 대해 상세히 설명하기로 한다.

(실시예)

도 1은 본 발명에 따른 조작장치에서 조작부의 평면도이다. 도시된 바와 같이, 조작장치의 조작부(20)는 시프트 레버를 배치한 센터 콘솔(70)에 설치된다. 상기 조작부(20)에는 내측에 조명부(4)를 가지면서 저면에 조작자(운전자를 포함하는 사용자)의 손이 접촉하는 패드부(3)를 가지는 오목부(7)가 설치된다. 팜레스트에 놓여진 조작자의 손(1)은 도 1의 하부로부터 오목부(7)에 삽입되는데, 조작자는 손, 보다 명확히는 손가락(2)을 패드부(3)에 접촉시켜 조작하게 된다.

도 2는 도 1의 선 'A-A'를 따라 취한 단면도이다. 조작자의 손을 촬영하기 위한 촬영부(5)의 카메라(5a)는 적외선 카메라가 사용될 수 있고, 이는 패드부(3)의 아래 쪽에 설치되어, 손(1)을 위의 방향으로 보아 촬영하게 된다. 조명부는 카메라의 인식 성능을 높이기 위한 목적으로 설치될 수 있는데, 이러한 조명부(4)의 램프에는 적외선 램프가 사용될 수 있다. 적외선 램프는 실내 빛의 유무에 영향을 받지 않으며, 손가락(2) 윤곽의 선명한 화상을 얻을 수 있도록 한다. 오목부(7)를 마련하였으므로 주위에 벽이 생겨, 촬영영역(6)이 카메라(5a)의 피사계 심도의 조정과 상기 벽에 의하여 도 2에 나타낸 범위로 한정될 수 있고, 결국 손 이외의 물체를 찍을 우려가 없다. 카메라(5a)의 화각(畵角)이나 초점은 촬영영역에 맞추어 설정하였다. 적외선 카메라와 적외선 램프에 의하면, 손(1) 또는 손가락(2)의 정맥 패턴을 체크하여 생체 인증에도 사용할 수 있다. 또한 맥박을 검출하여 운전자의 건강 상태를 체크할 수도 있다.

도 3은 본 발명에 따른 조작장치의 블럭도이다. 조작장치(100)는 사용자의 조작하는 손이 접촉하는 패드부(3) 및 사용자의 손을 촬영하기 위한 카메라(5a)가 설치된 조작부(20)와, 상기 카메라(5a)에 의해 촬영된 사용자 손가락의 화상이 차재 기기(30)의 조작을 위한 조작 화면에 겹쳐져 표시되는 표시부(40)와, 상기 조작부(20)의 패드부(3)를 통해 입력되는 사용자 손의 움직임을 미리 등록된 메모리의 움직임 패턴과 비교하여 이에 상응하는 조작 지시를 내리는 조작제어부(80)를 포함하여 구성된다. 여기서, 카메라의 인식 성능을 높이기 위한 조명부가 추가될 수 있다.

상기한 조작장치(100)에 차재 기기(30)가 접속되며, 이에 조작장치(100)를 통해 각 차재 기기(30)의 조작을 할 수 있다. 차재 기기(30)에는 에어컨, 카 네비게이션, 오디오 등이 있다. 차재 기기(30)의 조작에는, 예를 들면, 에어컨의 온도 조절이나 오디오의 음량 조절 등이 있다. 표시부(40)에는 조작하는 차재 기기를 선택하기 위한 메뉴 화면이나, 선택된 차재 기기의 각종 조작 버튼이 나타난 조작 화면이 표시된다. 조작제어부(80)는 화상처리부(50)와 표시제어부(60)로 이루어진다. 표시제어부(60)는 카메라(5a)로부터의 손가락의 화상을 표시부(40)의 조작 화면에 합성하여 표시한다.

도 3에 도시한 바와 같이, 표시제어부(60)는, 예를 들면, 차재 기기(30)의 하나인 에어컨의 조작 화면을 선택하여 표시부(40)에 표시한다. 어느 차재 기기를 선택할지는 메뉴 화면에 표시된 차재 기기의 선택 버튼에 의한다. 또한 패드부(3)는 조작 스위치가 없는 구성, 조작 스위치(예：감압 센서)를 마련한 구성이 가능하고, 자세한 것은 도 8 ~ 도 10으로 설명된다.

도 3의 조작제어부(80)에서, 화상처리부(50)는, 촬영부(5)의 카메라(5a)가 촬영한 손가락 화상으로부터 시계열로 얻어지는 패드부 표면에 접촉된 하나 또는 복수의 손가락 선단이 그리는 궤적을 미리 등록된 메모리의 움직임 패턴과 비교하며, 이때 손가락 선단이 그리는 궤적이 미리 메모리에 등록된 움직임 패턴과 일치하는 경우 표시제어부(60)에 통지하는 기능을 하게 된다. 이에 표시제어부(60)는 움직임 패턴에 대응하는 미리 결정된 조작의 지시를 차재 기기에 내릴 수 있다.

도 4는 본 발명에 따른 조작장치의 제어 플로차트이다. S10은 조작부(20)의 촬영영역(6)에 들어 온 물체가 촬영부(5)의 카메라(5a)에 의해 촬영되는 단계이다. 이후 S11, S12 단계에서는 손 형상의 패턴 매칭을 행하여 촬영된 물체가 손인지를 판정하고, 손으로 판정되면 다음 단계로 진행한다. 손이 아니라고 판정된 손 이외의 물체는 표시하지 않는다. S13은 차재 기기의 조작 화면에 합성될 손가락의 화상을 바로 위 방향(손등)으로부터 본 화상(위에서 아래로 본 화상)으로 만들어주는 단계이다. 상기 카메라(5a)에 의해 하부로부터 촬영된 손가락의 화상은 좌우가 바뀐 역상(逆像)으로 촬영되므로, 화상 처리로 좌우 반전을 행한다. S14는 좌우 반전의 화상 처리를 행한 후, 손가락의 화상을 차재 기기의 조작 화면에 겹쳐 맞추는 단계이다. 촬영창인 패드부(3)의 사이즈와 표시부의 사이즈가 다른 경우에는 손가락 화상의 사이즈를 변환한다. S15는 조작을 하기 위한 손가락(2)이 패드부(3)에 접촉되었는지를 판정하는 단계이다.

도 4의 S16, S21, S22의 단계는, 예를 들어 0.5N 정도의 가벼운 손가락(2)의 힘으로 패드부(3)에 가볍게 접하고, 카메라(5a)가 촬영한 손가락 화상의 시계열로부터 손가락(2)이 그린 궤적을 추출하며, 이 궤적이 미리 메모리에 등록된 움직임 패턴에 일치하면, 조작 지시를 내리는 단계이다. 이것을 터치 조작으로 한다. 터치 조작은 손가락에 큰 힘을 가할 필요가 없고, 가벼운 터치로 조작할 수 있다. 한편, 도 4의 S17, S18, S19의 단계는 손가락(2)이 감압 센서를 누르는 것으로 조작 지시가 나오는 단계이다. 이것을 푸쉬 조작으로 한다. 조작자가 터치 조작을 하려고 하고 있는지 푸쉬 조작을 하려고 하고 있는지는, S16에 나타낸 바와 같이, 손가락(2)의 누름 하중의 값으로 판정할 수 있다.

S16은 터치 조작인지 푸쉬 조작인지를 누름 하중의 값으로 판정한다. S17 ~ S19는 일정 이상의 누름 하중이 검출되었을 경우로서, 감압 센서가 작동하고, 감압 센서로부터 누름 신호와 누름 좌표가 구해지면, 조작 화면상의 대응하는 조작 버튼의 지시가 나온다. S21, S22는 누름 하중이 낮고, 푸쉬 조작이라고 판단되지 않은 경우이다. 이 경우는 손가락(2) 선단의 궤적이 파악된다. 손가락의 궤적이 미리 메모리에 등록된 움직임 패턴에 일치한 경우, 화상처리부(50)가 표시제어부(60)에 일치한 것을 제어 신호로 통지한다. 터치 조작은 손가락(2)을 패드부(3)의 표면에 접촉시켜 움직이게 하는 것으로, 접촉하고 있는 손가락(2)의 백색 부위(2a)의 예를 들면, 중심의 궤적을 좌표로 파악하고, 미리 메모리에 등록된 움직임 패턴과의 매칭 처리를 하여 조작 내용을 결정한다. 어떠한 조작 지시를 내릴지는 움직임 패턴과 조합하여 미리 등록해 둔다.

도 5는 도 2에 도시한 카메라로 촬영한 손가락의 화상이다. 도 5에 도시한 바와 같이, 손가락(2)이 패드부(도 2에서 도면부호 3임)에 접촉하면, 접촉부의 화상이 흰 색으로 찍힌다. S15에서는 화상에 백색 부위(2a)가 있으면, 손가락이 접촉하고 있다고 판정하고 있다. 즉, 접촉하는 손가락의 선단이 백색 부위(2a)로 인식된다. 도 5의 (A)는 손가락이 패드부(3)에 접촉하고 있지 않는 화상, 도 5의 (B)는 손가락의 선단이 패드부(3)에 접촉하고 있는 화상을 도시한다.

도 6은 손가락의 터치 조작의 설명도이다. 터치 조작은 조작예 1 ~ 4에 나타내는 손가락의 동작으로 행할 수 있다. 조작예 1은, 패드부에 손가락 끝을 접촉시켜, 움켜진 상태의 손가락(2)를 펼치거나 펼친 상태의 손가락을 오무리는 제스츄 어이다. 이것은, 예를 들면, 카 네비게이션의 지도의 확대, 축소의 지시에 사용할 수 있다. 조작예 2는, 패드부에 2개의 손가락 끝을 동시에 접촉시킨 뒤 팅기는 제스츄어이다. 이것은, 조작 화면의 캔슬에 사용할 수 있다. 조작예 3은 손가락(2)으로 문자(기호, 숫자를 포함한다)를 직접 그리는 문자 묘화 동작이다. 조작 화면에 표시된 조작 버튼에 특정의 문자나 숫자를 표시하여 두고, 그 문자나 숫자가 손가락으로 그려지면, 차재 기기에 조작 지시를 내린다. 조작예 1 ~ 3은, 손가락을 조작 화면의 조작 버튼에 겹칠 필요가 없고, 손가락을 조작부의 패드부의 어느 장소에서 움직여도 좋다. 조작예 4는, 손가락 끝으로 패드부를 2번 가볍게 접하는 더블 터치의 동작을 나타낸다. 더블 터치는 손가락 끝이 점을 그리는 것만으로, 선의 궤적은 그리지 않는다. 더블 터치는 그려진 점이 미리 메모리에 등록된 손가락 끝의 움직임 패턴에 2번 일치하는 것으로 감지할 수 있다. 더블 터치는 더블 터치된 좌표 위치를 카메라의 화상으로부터 특정할 수 있으므로, 조작 화면에 배치된 조작 버튼의 클릭 조작으로서 사용할 수 있다. 더블 터치는 조작 화면의 조작 버튼에 손가락끝을 겹쳐, 이 조작 버튼을 누르는 것을 감압 센서없이도 검출할 수 있다. 조작예 1 ~ 4와 같은 터치 조작에 의하면, 큰 힘으로 패드부를 압압하지 않고 조작을 전할 수 있다. 또한 그려진 궤적의 길이에 따라 조작량을 지시하여도 된다.

도 7은 터치 조작에 있어서의 손가락을 움직이는 방법의 예이다. 지도의 표시로 확대나 축소를 지시하는 경우에는, T10, T11(도 6의 조작예 1에 대응)에 도시한 바와 같이, 집은 상태에서 손가락을 벌리고, 역으로 벌린 상태에서 손가락을 오 무리는 것으로 지시할 수 있다. 이러한 제스츄어는 조작 내용과도 일치하여 기억하기 쉽다. 이때, 손가락(2) 선단의 궤적은 복수의 손가락(2)의 궤적이 중심으로부터 외측으로 벌어지고, 외측에서 중심으로 모이는 패턴이 되므로 판별이 가능하다. 또한 T12(도 6의 조작예 2에 대응)에 도시한 바와 같이, '캔슬(복귀)'이라고 하는 조작에는 2개의 손가락으로 튕기는 제스츄어를 채용할 수 있다. 또한 T13(도 6의 조작예 3에 대응)에 도시한 바와 같이, 문자 입력에서는 손가락(2)으로 그린 문자를 문자 인식하는 것으로, 조작부(20)를 보지 않고 문자 입력을 행하는 블라인드 조작을 할 수 있다. T14(도 6의 조작예 4에 대응)는 손가락(2)의 선단을 패드부(3)의 표면에 2번 접하는 더블 터치를 나타낸다. 이러한 더블 터치의 동작은, 시각 t1 ~ t4의 사이에, 손가락(2)의 백색 부위가 같은 위치에 2번 발생하는 것으로 인식할 수 있다.

도 8 ~ 도 10은 패드부의 구성예를 도시한 설명도이다. 도 8은 패드부(3)가 투명한 시트(24)와 유리판(25)으로 구성된 예를 도시한 것이다. 도 9는 패드부(3)에 투명한 감압 센서(21)를 구비하여 구성된 예이다. 감압 센서(21)를 대신하여, 복수의 기계식 스위치를 배치하여도 된다. 도 10은 패드부(3)에 투명한 감압 센서(21)와 투명한 시트 형상의 하중 센서를 마련한 것이다.

도 8에서는 패드부(3)가 투명한 시트(24)와 유리판(25)으로 구성되므로, 손가락(2)에 의한 터치 조작으로 지시를 내린다. 도 8에 도시된 손가락(2)으로 패드부(3)를 누르는 푸쉬 조작은 손가락(2)의 백색 부위(2a)의 형상이 터치 조작의 경우보다 커지지만, 화상처리부(50)에서 본 푸쉬 조작과 터치 조작은 구별이 없다. 따라서, 도 8의 구성에서는, 도 4의 S16의 판정은 '더블 터치인가?'로 할 수 있다. S16이 Yes이면, S17 ~ S19 단계에서, 손가락(2)을 겹친 조작 화면의 조작 버튼의 조작 지시를 내릴 수 있다. 즉, 더블 터치로 푸쉬 조작과 같은 조작을 시키고 있다. 더블 터치의 위치는 손가락(2)의 백색 부위(2a)로부터 산출할 수 있다. S16이 NO이면, 도 6의 항 번호 예 1 ~ 3에 나타낸 제스츄어 동작 또는 문자 묘화 동작이며, 도 4의 S21에 분기하여 손가락(2)의 패드부(3)에 그린 궤적이 판정된다. 또한 시트(24)에 감압의 정도로 색조가 변화하는 것을 채용하여, 푸쉬 조작과 터치 조작을 구별할 수 있도록 하여도 된다.

도 9는 패드부(3)에 감압 센서(21)을 구비한 것으로서, 조작시 터치 조작과 푸쉬 조작을 모두 사용할 수 있다. 푸쉬 조작은 조작 화면의 조작 버튼을 조작하는 경우에 사용된다. 따라서, 도 4의 S16의 판정은 기재한 바와 같이 '누름 하중은 규정 이상인가?'로 된다. 더블 터치는 이 경우 푸쉬 조작은 아니기 때문에, S21에 분기하여 처리되게 된다. 더블 터치를 서포트한다면, 더블 터치와 푸쉬 조작의 양쪽 모두에서, 조작 버튼의 조작 지시를 내릴 수 있다. S21로 분기 되면, 손가락의 궤적에 의한 터치 조작의 내용이 해석된다. 또한 감압 센서(21)는 X축선(21a), Y축선(21b)으로 이루어지고, 소정의 하중으로 작동될 때 손가락이 누른 좌표 위치를 세로와 가로로 쳐진 복수의 선 중 특정의 선이 도통 상태가 되는 것을 이용하여 검출한다.

도 10은 패드부(3)에 감압 센서(21)와 하중 센서(23)를 구비한 것으로서, 하중 센서(23)는 피에조 소자(23a)를 사용할 수 있으며, 조작시 터치 조작과 푸쉬 조 작을 모두 사용할 수 있다. 푸쉬 조작은 강한 누름 압력의 푸쉬 조작과 감압 센서(21)가 작동하는 레벨의 푸쉬 조작이 있다.

도 11은 도 10의 조작예를 나타낸 설명도이다. 도 11에 나타낸 바와 같이, 같은 푸쉬 조작에서도 누름 하중에 의하여 조작의 종류를 늘릴 수 있다.

본 발명은 제스츄어를 포함한 터치 조작에 의하여 조작 지시를 낼 수 있으므로 차재 기기의 조작장치로서 매우 적합하다.

도 1은 본 발명에 따른 조작장치에서 조작부의 평면도이다.(실시예 1)

도 2는 도 1의 A-A 단면도이다.(실시예 1)

도 3은 본 발명에 따른 조작장치의 블럭도이다.(실시예 1)

도 4는 본 발명에 따른 조작장치의 제어 플로차트이다.(실시예 1)

도 5는 도 2의 카메라로 촬영한 손가락의 화상으로, (A)는 손가락이 패드부에 접촉하고 있지 않는 화상, (B)는 손가락의 선단이 패드부에 접촉하고 있는 화상이다.

도 6은 본 발명에 따른 손가락의 터치 조작의 설명도이다.(실시예 1)

도 7은 본 발명에 따른 터치 조작에서의 손가락을 움직이는 방법의 예이다.(실시예 1)

도 8은 도 1의 패드부가 투명한 시트와 유리판으로 이루어지는 예이다.

도 9는 도 1의 패드부에 감압 센서를 구비한 예이다.

도 10은 도 1의 패드부에 하중 센서와 감압 센서를 구비한 예이다.

도 11은 도 10의 조작예를 나타낸 설명도이다.

(도면의 주요 부분에 대한 부호의 설명)

1 : 손 2 : 손가락

2a : 백색 부위 3 : 패드부

4 : 조명부 5 : 촬영부

5a : 카메라 6 : 촬영영역

7 : 오목부 20 : 조작부

30 : 차재 기기 21 : 감압 센서

21a : X축선 21b : Y축선

23 : 하중 센서 23a : 피에조 소자

24 : 시트 25 : 유리판

30 : 차재 기기 40 : 표시부

50 : 화상처리부 60 : 표시제어부

70 : 센터 콘솔 80 : 조작제어부

100 : 조작장치 S10 ~ S22 : 제어 단계

T10 ~ T14 : 손가락의 움직이는 방법

Claims

사용자의 조작하는 손이 접촉하는 패드부, 손에 조명을 부여하는 조명부 및 사용자의 손을 촬영하기 위한 카메라가 설치된 조작부와;

상기 카메라에 의해 촬영된 사용자 손가락의 화상이 차재 기기의 조작 화면에 겹쳐져 표시되는 표시부와;

상기 카메라에서 촬영된 손가락의 화상 시계열로 부터 얻어진 상기 패드부의 표면에 접촉한 하나 또는 복수의 손가락 선단이 그리는 궤적이, 미리 메모리에 등록된 움직임 패턴에 일치할 경우, 상기 차재 기기에 상기 움직임 패턴에 대응하는 조작 지시를 내놓는 조작 제어부를 구비하고,

상기 조작 제어부는,

촬영영역에 들어온 물체를 촬영부의 카메라에 의해 촬영한 촬영 물체를 검출하며,

상기 촬영된 물체가 손인지 여부를 손 형상의 패턴 매칭을 행하여 판정하고,

상기 촬영된 물체가 손으로 판정된 경우, 차재 기기의 조작 화면에 합성될 손가락의 화상을 바로 위 방향(손등)으로부터 본 화상(위에서 아래로 본 화상)으로 좌우 반전을 행하고,

좌우 반전의 화상 처리를 행한 후, 손가락의 화상을 차재 기기의 조작 화면에 겹쳐 표시하며,

조작을 위한 손가락이 패드부에 접촉되었는지를 판정하고,

조작자가 터치 조작을 하려는지 푸쉬 조작을 하려는지를 손가락의 누름 하중의 값으로 판정하며,

일정 이상의 누름 하중이 검출되는 경우, 감압 센서가 작동하고, 감압 센서로부터 누름 신호와 누름 좌표를 구하고, 조작 화면상의 대응하는 조작 버튼의 지시를 나타내고,

누름 하중이 낮고, 푸쉬 조작이라고 판단되지 않은 경우, 손가락의 궤적이 미리 메모리에 등록된 움직임 패턴에 일치하는지를 판단하도록 된 것을 특징으로 하는 차재 기기의 조작장치.
삭제
삭제
삭제
삭제
제 1 항에 있어서,

상기 궤적은 카메라에 의해 촬영된 사용자 손가락의 화상에서 손가락 선단이 패드부에 접촉할 때 발생하는 손가락 선단의 백색 부위의 궤적으로 파악되는 것을 특징으로 하는 차재 기기의 조작장치.
제 1 항에 있어서,

상기 궤적은 손의 제스츄어에 의하여 그려지는 것을 특징으로 하는 차재 기기의 조작장치.
삭제
제 1항에 있어서,

상기 패드부는 투명하고 손가락의 누름 위치를 좌표로 검출하는 감압 센서를 구비하는 것을 특징으로 하는 차재 기기의 조작장치.
제 9항에 있어서,

상기 패드부는 투명하고 상기 감압 센서보다 강한 누름 압력을 검출할 수 있는 하중 센서를 더 구비하는 것을 특징으로 하는 차재 기기의 조작장치.