KR100939831B1

KR100939831B1 - 입력 에러를 감소시키기 위한 조작 입력 장치 및 정보 기기조작 장치

Info

Publication number: KR100939831B1
Application number: KR1020080092343A
Authority: KR
Inventors: 다카시 나가타; 신지 니와; 다케시 가와시마; 이치로 아카호리; 도시유키 모리시타
Original assignee: 가부시키가이샤 덴소
Priority date: 2008-09-19
Filing date: 2008-09-19
Publication date: 2010-02-02

Abstract

입력 에러를 방지할 수 있는 조작 입력 장치가 제공된다. 손가락 영역 화상은 카메라에 의해 촬영된 화상으로부터 추출된다. 손가락 끝 영역은 손가락 영역 화상과 이동 화상 사이에서 생성된 차분 화상으로부터 추출된다. 손가락 끝 위치는 질량 중심에 기초하여 손가락 끝 영역으로부터 검출된다. 반투과성 손가락 끝 화상은 메뉴 화상 상에 중첩된다. 손가락 끝 위치와 일치하는 수동 조작 버튼은 강조 표시된다. 손가락 누름의 실제 위치는 수동 조작 버튼 위치와 일치하도록 이동되고, 수동 조작 버튼은 눌러진 것으로 간주된다. 또한, 정보 기기 조작 장치가 제공된다. 상기 정보 기기 조작 장치는 촬상 장치, 조명 장치, 제어기, 화상 기억 장치, 조작 물체 추출 장치, 검출 장치 및 신호 출력 장치를 포함한다. 화상 기억 장치는 복수의 조도 조건 하에서 촬상 장치에 의해 취득되는 복수의 화상을 기억한다. 조작 물체 추출 장치는 복수의 화상을 비교하여 조작 물체를 추출한다. 검출 장치는 조작 물체 추출 장치에 의해 추출되는 조작 물체의 소정의 형상 및 이동 중의 적어도 하나를 검출한다. 신호 출력 장치는 신호를 대상 장치로 출력하고, 이 신호는 검출 장치에 의해 검출된 조작 물체의 소정의 형상 및 이동 중의 적어도 하나에 대응한다.

조작 입력 장치, 입력 에러, 손가락 끝 위치, 중첩, 강조 표시, 조작 물체, 조도 조건

Description

입력 에러를 감소시키기 위한 조작 입력 장치 및 정보 기기 조작 장치{OPERATING INPUT DEVICE FOR REDUCING INPUT ERROR AND INFORMATION DEVICE OPERATION APPARATUS}

본 발명은 터치 패널을 이용하여 입력을 제공하는 조작 입력 장치 및 정보 기기 조작 장치에 관한 것이다.

종래, 카 내비게이션 시스템과 같은 차량 탑재 유닛을 조작하기 위한 리모콘(remote controller)이 알려져 있다. 그러나, 리모콘은 운전 중에 취급하기가 어려울 수 있다. 예를 들어, 자동차 실내(passenger compartment)의 각부를 더듬어서 리모콘을 찾고 적절하게 손으로 잡은 다음, 도로에서 눈길을 돌리지 않고 희망하는 입력을 모두 제공하기 위해 희망하는 버튼을 누르는 동작이 사용자에게 일반적으로 요구된다. 운전 중에 시스템 입력을 제공하는 문제를 해결하기 위해 각종 기술이 제안되어 있다.

예를 들어, 일본 특허출원공개 평10-269012호에는, 적외광을 이용하는 터치 패널의 상부에 설치된 적외선 주사 스캔 기구에 의해 손이 터치 패널에 접근하는 것을 검출하는 기술이 설명되어 있다. 조작 메뉴가 표시되고 이와 동시에, 터치 패널 상의 손의 화상(image)이 카메라에 의해 촬영되며, 조작 상태는 조작 메뉴에 중첩된다.

그러나, 일본 특허출원공개 평10-269012호에서는, 조작자가 터치 패널과의 손가락 접촉점을 정확하게 파악하기 어려우므로 불편함이 발생한다. 이러한 시스템에서는, 터치 입력이 완료될 때까지 실제로 무엇이 입력되었는지를 파악하기가 어려우므로, 버튼을 잘못 누르는 것과 같은 입력 에러에 이르게 된다.

또한, 입력 옵션의 수가 더 많으면 에러의 기회도 더 클 수 있다. 예를 들어, 카 내비게이션 시스템의 조작 중에 일본어 문자 입력에 따라 위치 검색을 수행하는 것은 크기가 작은 다수의 입력 버튼을 포함한다. 이러한 경우, 버튼 위에 손가락 끝을 정확하게 위치시키는 것이 더욱 곤란하며, 입력 에러의 발생이 더욱 용이하다.

한편, 종래에는, 카 내비게이션 시스템과 같은 차량 탑재 기기를 조작하는 안전 조작 시스템이 개시되어 있다(예를 들어, 일본 특허출원공개 제2005-63090호 참조). 안전 조작 시스템은 손바닥에 대해 엄지와 같은 특정 손가락의 이동 또는 위치가 검출될 때마다 복수의 제어 대상 중의 하나를 주기적으로 선택하는 기능 선택 수단을 포함한다. 또한, 안전 조작 시스템은 뾰족한 형상과 같은 미리 설정된 손가락 형상을 갖는 손바닥의 움직임에 비례하는 제어량을, 기능 선택 수단에 의해 선택된 제어 대상에 제공하는 기기 조작 수단을 포함한다.

안전 조작 시스템에서는, 다른 손가락이 손바닥에 포개진 상태에서 엄지를 접고 펴서 부분적으로 움켜진 주먹을 형성함으로써, 복수의 제어 대상 기기가 주기적으로 선택된다. 상기 조작 방식은 손바닥으로 잡은 푸쉬 스위치가 엄지에 의해 눌러지는 것과 같이 자연스럽게 수행된다. 그 결과, 어려움이나 불편함 없이 복수의 제어 대상 기기 중의 하나가 선택될 수 있고, 이에 따라 조작성이 향상된다.

그러나, 상기 안전 조작 시스템에서는, 외부로부터 외부 광을 수광하는 조작 물체 표면의 화상을 촬영하는 카메라가 조작 물체의 상부에 구비된다. 차량 탑재 기기의 환경에서는, 외부 광이 크게 변화하므로, 상기 구성에서는 조작 물체의 휘도가 크게 변화한다. 그 결과, 손 영역 또는 손에 대응하는 영역을 추출하기가 곤란하다. 이에 따라, 상기 어려움으로 인해 손의 형상 또는 손의 이동을 검출함에 있어서 에러가 발생할 수 있다.

또한, 내비게이션 지도가 손의 3차원 이동에 의해 조작되는 경우, 손바닥의 각도 또는 카메라로부터의 손의 거리를 정확하게 검출하는 것이 필요하다. 이러한 정확한 검출을 달성하기 위하여, 조명을 가하여 카메라에 의해 화상을 촬영함으로써, 거리 또는 각도로 인한 휘도의 변화가 검출될 수 있다.

상기 구성을 차량에 구현하기 위하여 카메라 및 조명 기기가 천장에 구비되면, 손까지의 거리가 비교적 길어진다. 이에 따라, 손의 각도 변화에 대응할 수 있는 휘도 변화를 검출하기 위해 스테레오 카메라가 필요할 수 있다. 따라서, 기기 구성이 복잡해지는 문제점이 있을 수 있다.

본 발명은 전술한 문제를 고려하여, 입력 에러를 방지하고 입력 조작을 용이하게 하는 조작 입력 장치를 제공하는 것을 일 목적으로 한다.

또한, 본 발명은 정보 기기 조작 장치에서의 상기 문제점 중의 적어도 하나를 해결하는 것을 다른 목적으로 한다.

각종 실시예에 따르면, 손가락 입력 위치를 검출하는 터치 패널로부터의 신호와, 터치 패널 상의 손가락 화상을 촬영하는 촬영 장치로부터의 신호가 예시적인 조작 입력 장치에 입력된다. 표시 장치 상에 표시되는 메뉴는 터치 패널로부터의 신호에 기초하여 조작된다. 조작 입력 장치는 촬영 장치에 의해 촬영된 화상으로부터 손가락 화상 영역을 추출하는 손가락 영역 추출부, 손가락 영역 화상에 기초하여 손가락 끝 위치를 검출하는 손가락 끝 위치 검출부, 손가락 영역 화상과 표시 장치에 표시된 메뉴 화상을, 양 화상이 시인 가능하도록 중첩 방식으로 합성하는 화상 합성부, 및 터치 패널로의 입력에 기초하여 메뉴 화상을 조작하는 조작 제어부를 포함한다. 조작 입력 장치는 손가락 영역 화상과, 손가락 영역 화상을 손가락의 기저부(base) 방향으로 이동시킴으로써 취득된 이동 화상 사이의 차분과 동일한 화상을 손가락 끝 영역으로서 취득하고, 손가락 끝 영역에 대한 손가락 끝 위치가 추출된다.

전술한 발명의 특징에 따르면, 손가락 영역 화상과, 손가락 영역 화상을 손가락의 기저부 방향으로 이동시킴으로써 취득된 이동 화상 사이의 차분과 관련된 화상은 손가락 끝 영역으로서 취득되고, 손가락 끝 위치는 손가락 끝 영역에 대해 추출된다. 손가락 끝 위치는 손가락 끝 화상만으로부터 추출될 수 있다.

전술한 바와 같이, 손가락 끝 위치가 화상에 기초하여 특정될 수 있으면, 예를 들어, 손가락 끝 위치를 표시하고, 손가락 끝 위치에 대응하는 수동 조작 버튼을 강조하여 표시하는 것도 가능하다. 그러므로, 조작자가 터치 패널 상의 정확한 손가락 접촉점을 파악하기 어려워도, 조작자는 화면을 시청함으로써 제공되는 시각적 피드백에 의하여, 수동 조작 버튼 등이 효과적인 손가락 위치에 기초한 조작에 현재 위치적으로 약속되어 있는지를 알 수 있다. 이 피드백은 버튼을 잘못 누르는 결과가 되는 입력 에러를 방지하는 효과를 가진다.

전술한 피드백 기술을 통해 알려진 손가락 끝 위치에 의해, 손가락 누름 입력이 실제로 제공되기 전에, 손가락 누름 입력이 등록될 곳의 위치가 용이하게 알려져서 에러의 기회를 줄일 수 있다.

예를 들어, 카 내비게이션 시스템의 조작과 관련된 일본어 문자에 따른 텍스트 검색은 크기가 작은 다수의 수동 조작 버튼을 포함한다. 각종 실시예에 따르면, 손가락 끝 위치가 화상 또는 화상 구획(image section)으로서 알려져 있으면, 손가락 끝 및 수동 조작 버튼은 서로 용이하게 정렬될 수 있다.

본 명세서에서 전술한 손가락 끝 위치는 예를 들어, 메뉴 화상의 선택, 또는 일련의 버튼 화상인 터치 감응형 화면의 기초를 이루는 가상 키패드의 조작과 관련 하여, 터치 패널 또는 터치 감응형 화면과 같은 조작 화면 상에서 조작자가 손가락 끝으로 수동 조작 버튼 등을 조작하는 것으로 간주되는 위치를 칭한다는 점에 주목해야 한다. 이후에 더욱 상세하게 설명하는 바와 같이, 파악된 손가락 끝 위치에 대응하는 터치 패널의 좌표는 손가락 끝에 의해 실제로 터치되는 좌표에 항상 대응하지는 않는다.

손가락 끝 위치 검출부는 손가락 끝 영역 화상에 대하여 수축 연산(contraction computation)을 수행하여 손가락 끝 이외의 영역을 삭제한다. 그러나, 전술한 바와 같이 차분과 동일한 화상이 취득되더라도, 손가락이 경사지거나 비스듬한 경우에는, 예를 들어, 도 11에 도시된 바와 같이 손가락 끝 이외의 영역도 추출될 가능성이 있다. 이러한 경우, 예를 들어, 전체 방향 또는 수평 방향의 화소를 삭제하는 수축 연산이 수행되어 화상을 수축한다. 이에 따라, 손가락 끝 영역 이외의, 손가락의 측부와 같은 좁은 화상 영역이 삭제되므로, 손가락 끝만 양호하게 추출될 수 있다. 손가락 끝 위치 검출부는 손가락 끝 영역 화상에 평활화 처리를 더 수행하여 손가락 끝 이외의 영역을 삭제한다.

전술한 바와 같이 손가락이 경사져 있고 손가락 끝 이외의 영역이 추출되면, 예를 들어, 화소 값으로 표현된 손가락 끝 부분의 화상 신호와, 임의의 다른 부분의 화상 신호 사이의 차분이 생성될 수 있고, 화소 값이 소정의 값 이상인 화상의 부분을 제거함으로써 손가락 끝이 양호하게 추출될 수 있다.

손가락 끝 위치 검출부는 손가락 끝 영역의 중심 또는 질량 중심을 손가락 끝 위치를 추출하는 기준으로 한다.

손가락 끝 영역의 질량 중심은 이동 방향에 존재하는 것으로 추정되는 손가락 끝 위치에 대응하는 실질적으로 손가락 끝 영역의 중심인 것으로 간주될 수 있다. 그러므로, 질량 중심에 대해 손가락 끝 위치를 설정하는 것이 가능하다.

손가락 끝 위치 검출부는 손가락 끝 영역의 질량 중심으로부터 손가락의 기저부 방향으로 소정의 거리만큼 오프셋(offset) 된 위치를 손가락 끝 위치로 한다.

전술한 바와 같이, 손가락 끝 영역의 무게 중심으로부터 손가락 기저부의 방향으로의 이동 방향에 손가락 끝 위치가 존재하는 것으로 간주된다. 따라서, 손가락 끝 위치가 설정될 수 있다.

터치 패널의 후방 측으로부터의 화상 촬영 조작에 의해 손가락 영역이 추출되는 경우, 손가락 끝 위치 검출부는 손가락 끝 영역과 일치하는 실제 손가락 화상 영역 내의 가장 밝은 화소 또는 화소 그룹의 좌표를 손가락 끝 위치에 대한 기준점으로 한다.

일례로서, 도 13은 터치 패널의 하부에 조명 장치 및 촬상 장치가 배치되고, 예를 들어, 일본 특허출원 제2006-97923호에서 설명된 바와 같이 터치 패널의 아래로부터 손가락의 위치가 추출되는 경우를 도시하고 있다. 전술한 경우에 있어서, 조명 장치가 아래에 위치되어 있다. 그러므로, 손가락 끝 영역과 일치하는 실제 손가락 끝 화상의 영역에서 가장 밝은 화소 또는 화소들의 좌표는 손가락의 패드(pad)에 근접한 부분, 즉, 터치 패널과 접촉하게 될 가능성이 가장 높은 손가락의 부분인 것으로 간주될 수 있다. 따라서, 이 좌표는 손가락 끝 위치의 기준점으로 될 수 있다.

각종 실시예에 따르면, 손가락 입력 위치를 검출하는 터치 패널로부터의 신호와, 터치 패널 상의 손가락 화상을 촬영하는 촬영 장치로부터의 신호가 입력되고, 표시 장치 상에 표시된 메뉴는 터치 패널로부터의 신호에 기초하여 조작된다. 조작 입력 장치는 촬영 장치에 의해 촬영된 화상으로부터 손가락 영역을 화상으로서 추출하는 손가락 영역 추출부, 손가락 영역 화상에 기초하여 손가락 끝 위치를 검출하는 손가락 끝 위치 검출부, 손가락 영역 화상과 표시 장치 상에 표시된 메뉴 화상을, 두 화상이 시인 가능하도록 합성하는 화상 합성부, 및 터치 패널에 대한 입력에 기초하여 메뉴 화상을 조작하는 조작 제어부를 포함한다. 조작 입력 장치는 손가락 끝 위치와 메뉴 화상 내의 수동 조작 버튼 사이에 대응 관계가 있는지를 판정한다. 소정의 대응 관계가 있을 경우, 손가락 끝에 대응하는 수동 조작 버튼이 강조 표시된다.

전술한 발명의 일 특징에 따르면, 손가락 끝 위치와 메뉴 화상 내의 수동 조작 버튼 사이에 위치 관계와 같은 대응 관계가 존재하는지에 대해 판정된다. 손가락 끝에 대응하는 수동 조작 버튼은 강조하여 표시된다.

이에 따라, 조작자는 터치 패널 상의 어느 위치에 자신의 손가락이 놓여져 있는지에 대해 의식할 필요 없이, 메뉴 화상 상에서 수동 조작 버튼을 강조 표시함으로써, 현재의 손가락 끝 위치에 기초하여 어느 수동 조작 버튼이 조작될 수 있는지에 대해 명확하게 인식할 수 있다. 전술한 인식은 시각적 피드백을 제공하여 입력 에러를 방지할 수 있도록 한다.

손가락 끝 위치와 수동 조작 버튼 사이의 대응 관계는 손가락 끝 위치와 수 동 조작 버튼의 위치가 다소 직접적인 방식으로 정렬될 경우에 판정될 수 있다. 그러나, 손가락 끝 위치가 수동 조작 버튼으로부터 소정 범위 내에 있을 경우, 그 위치가 정렬되어 있는 것으로 간주될 수 있고, 수동 조작 버튼은 강조 표시될 수 있다는 점에 부차적으로 주목해야 한다.

일부 실시예에서는, 손가락 끝 위치가 메뉴 화상 상에 표시되고, 손가락 끝 위치에 가장 근접한 메뉴 화상의 수동 조작 버튼이 손가락 끝 위치와 대응하게 하여 강조 표시된다. 따라서, 표시 화면 화상에서 강조 표시된 수동 조작 버튼이 손가락 끝 위치와 대응 관계에 있고, 손가락 끝과 수동 조작 버튼 사이의 완벽한 대응 관계를 기다리지 않고 수동 조작 버튼이 순간적으로 활성화될 수 있다는 점을 이해할 수 있다.

각종 실시예에 따르면, 입력을 받아들이는 수동 조작 버튼만 강조 표시된다. 입력을 받아들이는 수동 조작 버튼만 강조 표시하는 것은 조작자에게 어느 수동 조작 버튼이 이용 가능한지를 통지할 수 있게 한다.

각종 실시예에 따르면, 손가락 끝 위치는 손가락 영역 화상 상에 중첩 표시된다. 이러한 위치 결정은 조작자가 손가락 끝 위치를 알게 할 수 있으므로, 손가락을 어느 방향으로 이동해야 하는지를 용이하게 파악하도록 할 수 있다.

강조 표시는 수동 조작 버튼의 색을 변경하거나, 수동 조작 버튼의 텍스트 폰트를 변경하거나, 수동 조작 버튼의 프레임의 폭을 변경하거나, 수동 조작 버튼의 3차원 표시 상태를 변경하거나, 수동 조작 버튼의 크기를 부분적으로 또는 전체적으로 변경하거나, 수동 조작 버튼이 깜빡거리게 하거나, 수동 조작 버튼과 손가 락 끝 사이의 거리에 따라 수동 조작 버튼의 밝기를 변경하거나, 또는 이러한 작용의 일부 조합에 의해 수행된다.

조작 입력 장치는 손가락 입력 위치를 검출하는 터치 패널로부터의 신호와, 터치 패널 상의 손가락 화상을 촬영하는 촬영 장치로부터의 신호가 입력되도록 구성될 수 있다. 표시 장치 상에 표시된 메뉴는 터치 패널로부터의 신호에 기초하여 조작된다. 조작 입력 장치는 촬영 장치에 의해 촬영된 화상으로부터 손가락 영역을 화상으로서 추출하는 손가락 영역 추출부, 손가락 영역 화상에 기초하여 손가락 끝 위치를 검출하는 손가락 끝 위치 검출부, 손가락 영역 화상과 표시 장치에 표시된 메뉴 화상을, 두 화상이 시인 가능하도록 중첩 방식으로 합성하는 화상 합성부, 및 터치 패널에 대한 입력에 기초하여 메뉴 화상을 조작하는 조작 제어부를 포함한다. 조작 입력 장치에 관하여, 손가락 끝 위치는 메뉴 화상 상에 표시되고, 터치 패널에 대한 입력이 검출되는 경우, 검출된 입력 좌표를 입력 좌표에 근접한 표시 장치에서의 손가락 끝 위치의 좌표로 보정하는 처리가 수행된다.

터치 패널의 좌표와 표시 장치의 표시 화면 화상의 좌표는 서로 대응하고 있다. 그러므로, 터치 패널의 입력 좌표가 검출되는 경우, 표시 화면 화상에서도 대응하는 좌표가 결정된다.

그러나, 메뉴 화상 상에 손가락 끝 위치가 표시되고, 터치 패널에 대한 손가락 누름 입력이 검출되는 경우, 검출된 입력 좌표는 표시된 화상에서의 좌표로 간주하지 않는다. 그 대신, 이 좌표는 표시 장치에서의 좌표에 근접하는 표시된 손가락 끝 위치와 관련된 입력 좌표로 보정된다. 즉, 터치 입력이 있을 경우, 이 입력 은 터치 패널에서 실제로 검출된 좌표가 아니라, 표시된 손가락 끝 위치의 좌표에서 행해진 것으로 간주된다. 따라서, 터치 패널에서의 입력 위치에 관계없이, 표시 화면 화상의 손가락 끝이나 손가락 끝 위치, 또는 예를 들어, 강조 표시되는 수동 조작 버튼이 인식되기만 하면, 어느 수동 조작 버튼이 조작되고 있는지, 또는 조작되었는지를 식별하는 것이 달성될 수 있다.

실제적인 손가락 누름 위치와 같은 터치 패널의 입력 좌표가 손가락 끝 위치로부터 소정 거리 이하와 같이, 손가락 끝 위치의 좌표로부터 소정 범위 내에 있을 경우에 전술한 보정 처리가 수행된다는 점에 주목해야 한다. 이에 따라, 터치 패널의 입력 좌표와 손가락 끝 위치의 좌표가 서로 약간의 거리를 두고 있더라도, 그들 사이에 대응 관계가 존재하기만 하면, 수동 조작 버튼과 관련된 입력은 손가락 끝 위치에 대응하는 임의의 검출된 입력에 기초하여 달성될 수 있다.

전술한 실시예와 관련하여, 터치 패널에 대한 입력이 검출되는 경우, 강조 표시된 수동 조작 버튼이 조작된 것으로 하여 처리가 수행된다. 따라서, 터치 패널의 입력 위치에 관계없이, 수동 조작 버튼이 조작된 것으로 하여 처리를 수행하는 것이 가능하다. 그러므로, 조작자는 표시 화면 화상에만 집중할 수 있어서 조작을 매우 용이하게 수행할 수 있다.

조작 입력 장치에 따르면, 손가락 입력 위치를 검출하는 터치 패널로부터의 신호와, 터치 패널 상의 손가락 화상을 촬영하는 촬영 장치로부터의 신호가 입력될 수 있도록 구성되어 있다. 표시 장치 상에 표시된 메뉴는 터치 패널로부터의 신호에 기초하여 조작된다. 조작 입력 장치는 촬영 장치에 의해 촬영된 화상으로부터 손가락 영역 화상을 추출하는 손가락 영역 추출부, 손가락 영역 화상에 기초하여 손가락 끝 위치를 검출하는 손가락 끝 위치 검출부, 손가락 영역 화상과 표시 장치 상에 표시된 메뉴 화상을, 두 화상이 시인 가능하도록 중첩 방식으로 합성하는 화상 합성부, 및 터치 패널에 대한 입력에 기초하여 메뉴 화상을 조작하는 조작 제어부를 포함한다. 조작 입력 장치는 메뉴 화상 상에 손가락 끝 위치가 표시되도록 조작한다. 메뉴 화상의 수동 조작 버튼과 손가락 끝 위치 사이의 거리가 소정 범위 이내에 있고 터치 패널에 대한 입력이 검출되는 경우, 수동 조작 버튼이 조작된 것으로 하여 처리가 수행된다.

전술한 발명의 특징에 따르면, 메뉴 화상 상에 손가락 끝 위치가 표시되고, 메뉴 화상의 수동 조작 버튼과 손가락 끝 위치 사이의 거리가 소정 범위 내, 예를 들어, 서로 일치하고, 터치 패널에 대한 입력이 검출되는 경우, 수동 조작 버튼이 조작된 것으로 하여 처리가 수행된다. 그러므로, 터치 패널에서의 실제 입력 위치에 관계없이, 표시 화면 화상에서의 표시된 손가락 끝 위치와 수동 조작 버튼 사이의 위치 관계가 인식되고 있으면, 어느 수동 조작 버튼이 조작되고 있는지에 대해서는 손가락의 현재 위치와 관련된 시각적 피드백에 기초하여 식별될 수 있다.

또한, 예시적인 시스템 구성은 터치 패널, 촬영 장치 및 표시 장치 중의 적어도 하나를 포함할 수 있음에 주목해야 한다.

본 발명의 다른 목적, 특징 및 특성은 당업자에 의해 이해될 것이고 당업자에게 명백할 것이며, 그 전부는 본 발명의 일부를 구성한다.

또한, 본 발명의 다른 특징에 따르면, 화상 처리에 의해 조작 물체를 추출하 는 정보 기기 조작 장치는 촬상 장치, 조명 장치, 제어 수단, 화상 기억 수단, 조작 물체 추출 수단, 검출 수단 및 신호 출력 수단을 포함한다. 조작 물체는 대상 기기의 조작에 이용된다. 촬상 장치는 조작 물체의 수광면과 반대인 조작 물체의 반대 표면의 화상을 촬영하는 위치에 배치된다. 수광면은 외부 광을 수광한다. 조명 장치는 조작 물체의 반대 표면에 인가되는 광을 생성하는 위치에 배치된다. 제어 수단은 조명 장치가 복수의 휘도 조건 하에서 광을 생성하도록 제어한다. 제어 수단은 촬상 장치가 화상을 촬영하도록 제어한다. 화상 기억 수단은 복수의 조도(illumination intensity) 조건 하에서 촬상 장치에 의해 취득되는 복수의 화상을 기억한다. 복수의 조도 조건은 제어 수단에 의해 복수의 휘도 조건을 생성하도록 제어되는 조명 장치에 의해 발생된다. 조작 물체 추출 수단은 복수의 화상을 비교함으로써 조작 물체를 추출한다. 검출 수단은 조작 물체 추출 수단에 의해 추출되는 조작 물체의 소정의 형상 및 이동 중의 적어도 하나를 검출한다. 신호 출력 수단은 신호를 대상 기기로 출력하며, 이 신호는 검출 수단에 의해 검출된 조작 물체의 소정의 형상 및 이동 중의 적어도 하나에 대응한다.

본 발명 및 그 추가적인 목적, 특징 및 장점은 다음의 상세한 설명, 첨부된 특허청구범위 및 도면으로부터 더욱 잘 이해될 것이다.

본 발명에 따르면, 입력 에러를 방지하고 입력 조작을 용이하게 하는 조작 입력 장치를 제공할 수 있다.

또한, 본 발명에 따르면, 외부 광의 영향을 받지 않으면서 손가락의 이동에 의해 용이하게 대상 기기를 조작하는 정보 기기 조작 장치를 제공할 수 있다.

이하, 본 발명의 실시예에 대해 첨부 도면을 참조하여 설명할 것이다. 본 발명의 실시예는 아래에 설명된 실시예에 한정되지 않음에 주목해야 한다. 그러나, 실시예가 설명된 기술 범위 내에 속하면, 본 발명은 다양한 실시예에 적용될 수 있다.

(제1실시예)

예시적인 제1실시예에 따르면, 예를 들어, 도 1 및 도 2에 도시된 바와 같이, 조작 입력 장치(1)는 예를 들어, 카 내비게이션 시스템의 입력 장치로서 이용될 수 있다. 조작 입력 장치(1)는 터치 패널(3), 상부로부터 터치 패널(3)의 표면의 화상을 촬영하는 비디오 카메라와 같은 카메라(5), 메뉴 화상, 메뉴 화면, 수동 조작 버튼 등과 같은 쌍방향 물체를 포함하는 각종 물체를 표시하는 표시 장치(7), 및 전술한 구성요소를 제어하는 제어부로서 동작할 수 있는 전자 제어 장치(9)를 포함할 수 있다.

도 3에 도시된 바와 같이, 터치 패널(3)과 관련하여, 터치된 영역이 구별될 수 있도록 X 및 Y 좌표가 설정되어 있다. 또한, X 및 Y 좌표는 표시 화면 화상과 관련하여 설정되어 있다. 예를 들어, 표시 장치(7) 상에서 메뉴 화상이 표시되는 메뉴 화면은 X 및 Y 좌표에 의하여 표현된 특정 위치와 관련될 수 있다.

통상적인 조건 하에서, 예를 들어, 터치 패널(3)에서 좌표 (1,1)이 터치되는 경우, 마크를 표시하는 처리와 같이, 대응하는 좌표 (1,1)에 관련된 처리가 표시 장치(7)에서도 수행될 수 있다.

전자 제어 장치(9)는 CPU, ROM, RAM, I/O 등으로 구성될 수 있으며, 관련 기술 분야에서 잘 알려져 있으므로 그 어느 것도 도시되어 있지 않다. 터치 패널(3)로부터의 입력 좌표를 나타내는 터치 신호와 같은 신호와, 카메라(5)로부터의 화상 신호가 전자 제어 장치(9)로 입력되고, 이 전자 제어 장치(9)는 이 신호에 기초하여 표시 장치(7) 상에 화상을 표시하는 처리와, 임의의 다른 장치를 조작하는 처리를 수행한다. 전자 제어 장치(9)는 손가락 영역 화상을 구성하는 카메라 화상으로부터 터치 패널(3) 상에 위치된 손가락 부분을 추출하는 손가락 영역 추출부(11)를 포함한다. 손가락 끝 위치 검출부(13)는 손가락 영역 화상에 기초하여 손가락 끝 위치를 검출한다. 화상 합성부(15)는 표시 장치(7)에 표시된 메뉴 화상 위에 손가락 영역 화상을 중첩하고, 두 화상이 시인 가능하도록 반투과 합성과 같은 합성을 수행한다. 터치 패널 제어부에는 터치 패널(3)로부터 입력된 신호가 제공되고, 이 터치 패널 제어부는 손가락 끝에 의해 터치된 터치 패널의 위치와 관련된 좌표를 결정한다. 조작 제어부(19)는 터치 패널 제어부(17)로부터의 터치 입력 정보와 같은 정보와, 손가락 끝 위치를 나타내는 손가락 끝 위치 정보와 같은 정보에 기초하여 각종 처리를 수행한다.

이후에 더욱 상세하게 설명하는 바와 같이, 조작 제어부(19)는 터치 입력 정보 및 손가락 끝 위치 정보에 기초하여, 수동 조작 버튼(21)과 같은 메뉴 화상의 어느 메뉴 항목이 조작되었는지를 나타내는 처리를 수행한다. 또한, 조작 제어부(19)는 조작된 수동 조작 버튼(21)에 따라 카 내비게이션 시스템에서의 경로 검색과 같은 다른 기능과 관련된 처리와, 에어컨, 오디오 시스템 등과 같은 다른 기기를 제어하는 처리를 수행한다.

손가락 끝 위치 검출부(13)에서의 처리 흐름에 따라 수행되는 손가락 끝 위치를 검출하는 예시적인 방법에 따르면, 특징적인 처리가 전자 제어 장치(9)에서 수행될 수 있다. 이 처리는 카메라(5)에 의해 촬영된 화상으로부터 다수의 손가락 끝, 더욱 구체적으로 손가락 끝 위치를 검출하기 위해 이용될 수 있다. 도 4에 도시된 바와 같이, 손가락 영역 화상 A는 카메라(5)에 의해 촬영된 화상으로부터 추출된다. 그 다음, 손가락 영역 화상 A는 손가락의 기저부 방향으로 이동되어, 손가락 영역 화상 B와 같은 이동 화상을 생성한다.

손가락 영역 화상 A 및 손가락 영역 화상 B 사이의 차분(difference) 값 (A-B)가 결정되어, 손가락 끝 영역 화상 C와 같은 차분 화상(diffrence image)을 생성한다. 각각의 손가락 끝의 손가락 끝 영역의 질량 중심 D가 결정되고, 질량 중심에 대한 기준점은 도면에서 기호 "x"에 의해 표시된다.

각각의 질량 중심 D로부터 소정 양만큼 떨어진 소정 거리 하부 방향의 위치는 도면에서 기호 "+"로 표시된 손가락 끝 위치로 한다. 이에 따라, 손가락 끝 위치는 터치 패널(3)의 접촉점 근처로 보정된다. 접촉점은 손가락에 의해 실제로 접촉되는 터치 패널(3)의 부분임에 주목해야 한다. 터치 패널(3)은 손가락 패드(pad)의 가장 돌출된 부분에 의해 접촉되거나 눌러질 것이므로, "+" 기호의 손가락 끝 위치는 하부 방향으로 할당된다. 패드 부분은 손가락 끝의 윤곽으로부터 손가락 기저부 방향으로 소정 거리만큼 떨어져 위치하고 있는 것으로 간주된다. 그러므로, 질량 중심 또는 할당된 손가락 끝 위치 등을 표현하기 위해, 도면에서 "x" 또는 "+"를 이용하여 특정 위치가 도시되어 있지만, 실제 할당된 손가락 끝 위치는 그렇게 엄격하게 한정될 필요가 없으며, 이동 등을 고려할 수 있는 것과 같이, 다양한 다른 요인에 기초하여 그러한 위치로부터 이탈할 수 있음을 이해할 것이다.

윤곽이 강조되어 있는 모델링된 손가락의 반투과 화상과 같은 손가락 끝 영역의 화상이 표시된다. 이와 동시에, 손가락 끝 위치는 손가락의 표시된 화상에 중첩된다. 그러므로, 손가락의 어느 부분에 의해 수동 조작 버튼(21)이 조작되는지를 나타내는 시각적 피드백을 탑승자가 알기 쉽게 볼 수 있다.

수동 조작 버튼(21)을 강조 표시하는 예시적인 방법을 도 5와 관련하여 설명한다. 수동 조작 버튼(21)은 현재의 손가락 끝 위치에 대응하는 위치를 가진다. 그러므로, 이 강조 표시는, 현재 위치에서 손가락 누름이 실행될 경우에 의도한 수동 조작 버튼이 활성화될 것이라는 확인, 또는 조작자가 현재의 손가락 위치의 작용을 확신하지 못하는 경우, 현재 위치에서 손가락 누름이 실행될 경우에 어느 수동 조작 버튼 또는 버튼들(21)이 활성화될 것인지에 대한 확인을 시각적으로 나타내는 피드백을 조작자에게 제공한다.

도 5a에서, 메뉴 화상과, 손가락 영역 화상 A를 반투과성으로 하여 취득된 반투과성 손가락 화상은 서로 중첩된다. 이러한 경우, 현재의 손가락 위치에 기초하여 어느 수동 조작 버튼(21)이 눌러지는지를 구별하기가 어렵다.

본 실시예에서는, 도 5b에 도시된 바와 같이 반투과성 손가락 화상에 중첩하여 +에 의해 손가락 끝 위치를 나타낸다. 손가락 끝 위치와, 수동 조작 버튼(21) 중의 하나와 관련된 위치가 일치하면, 터치 입력이 아직 제공되지 않더라도 수동 조작 버튼(21)은 강조 표시된다. 현재의 경우에 있어서, 손가락 끝 위치의 화상과 수동 조작 버튼(21)의 화상이 일치하면, 수동 조작 버튼(21)이 강조 표시된다. 도 5b의 예에서, 입력 섹션의 좌측 하부에 위치된 일본어 문자 "つ"는 현재 모드에서 입력을 받아들이지 않도록 구성되어 있음에 주목해야 한다. 그러므로, 손가락 위치가 버튼 위치와 일치하더라도, "つ" 버튼은 강조 표시되지 않는다. 이에 따라, 각종 버튼이 입력을 받아들이지 않도록 구성되는 경우 및 그 외의 유사한 경우에 표시 상태가 변경될 수 있다.

도 6a는 손가락 끝 위치가 임의의 수동 조작 버튼(21)과 일치하지 않는 경우를 도시한다. 이러한 경우, 수동 조작 버튼(21)은 강조 표시되지 않는다. 도 6b에서, 손가락 끝 위치는 일본어 문자 "れ"의 수동 조작 버튼(21)과 일치하여, "れ"를 입력 가능하게 한다. 그러므로, 현재 위치에서 손가락을 누르면 문자 "れ"의 입력이 활성화될 것이므로, "れ"의 수동 조작 버튼(21)은 강조 표시된다. 도 6c는 손가락 끝 위치가 유성음을 나타내는 일본어 기호 "”"의 수동 조작 버튼(21)과 일치하는 경우를 도시한다. 이 경우, 여러 이유로 기호 "”"가 입력 불가능하므로, "”"의 수동 조작 버튼(21)은 강조 표시되지 않는다. 도 6d는 손가락 끝 위치가 일본어 문자 "む"의 수동 조작 버튼(21)과 일치하는 경우를 도시한다. 이러한 경우, "む"가 입력 가능하므로, "む"의 수동 조작 버튼(21)이 강조 표시된다. 도 6e는 "む"의 수동 조작 버튼이 실제로 눌러진 것으로 간주되는 경우를 도시한다. 이러한 경우, "む"는 추가로 강조 표시된다.

펜 니브(pen nib) 또는 스타일러스(stylus)와 같은 뾰족한 물체에 의해 입력이 행해지는 펜 기반 입력의 경우, 터치 패널(3)에 대한 입력은 높은 정밀도로 행해질 수 있음을 이해할 것이다. 손가락 끝 입력의 경우, 입력은 손가락의 패드 등에 의해 평면을 통해 행해지며, 터치 패널(3)에서 검출된 좌표는 변동이 있다.

본 실시예에서는, 터치 패널(3)에서 검출된 좌표는 화상으로부터 검출된 손가락 끝 위치와 매칭된다. 즉, 터치 패널(3)에 대한 촉각 입력(tactile input)이 있을 경우, 촉각 입력의 터치 패널(3)에서의 실제적인 좌표가 아니라, 손가락 끝 화상과 관련된 손가락 끝 위치의 좌표에서 촉각 입력이 수행되는 것으로 간주하여 처리가 수행된다. 손가락 끝 위치가 +로 나타낸 바와 같이 위치되어 있더라도, 실제적인 터치 위치는 도 7a에서 X로 나타낸 바와 같이 이탈한다. 따라서, 도 7b에 도시된 바와 같이, 터치 패널(3)에서 검출된 입력 좌표를 X로 나타내는 경우, +로 나타낸 손가락 끝 위치의 좌표를 입력 좌표로 하여 처리가 수행된다.

전자 제어 장치에서 수행되는 구체적인 처리에 대해 도 8에 도시된 바와 같은 예시적인 플로우차트를 참조하여 설명한다. S100에서, 메뉴 화상은 예를 들어, ROM으로부터 취득되고, 메뉴 화상은 표시 장치(7) 상에 표시될 수 있다. S100의 처리 및 표시 장치(7) 상의 표시는 140 및 160 이전에 수행되어야 하고, 카메라 화상으로부터 손가락 영역이 추출되는 S110 이전에 반드시 수행될 필요가 있는 것이 아님에 주목해야 한다.

S120에서, 전술한 바와 같이 손가락 영역을 이동함으로써 생성되는 차분 화상을 이용하여, 전술한 기술에 의해 손가락 끝 영역이 추출된다. S130에서, 전술한 바와 같은 질량 중심 및 그것으로부터의 오프셋을 이용하여, 전술한 기술에 의해 손가락 끝 영역으로부터 손가락 끝 위치가 검출된다. S140에서, 손가락 끝 위치는 메뉴 화상 상에 표시된다. 이와 동시에, 반투과성 손가락 끝 화상이 메뉴 화상 상에 중첩된다. S140의 처리는 S150 또는 S160 이후에 수행될 수 있다.

다음으로, S150에서, 각각의 손가락 끝 위치에 대응하거나 일치하는 수동 조작 버튼(21)이 검색된다. 손가락 끝 위치와 수동 조작 버튼(21)의 위치가 서로 정확하게 일치하지 않더라도, 손가락 끝 위치가 수동 조작 버튼(21)의 중심으로부터 또는 그 주변으로부터 소정 범위 이내와 같이, 수동 조작 버튼(21)으로부터 소정 범위 이내에 있으면, 손가락 끝 위치와 수동 조작 버튼(21)의 위치는 강조를 위해 일치하는 것으로 간주될 수 있다. S150의 처리는 S130 및 S140 사이에서 수행될 수도 있다.

S160에서는, 손가락 끝 위치에 대응하는 수동 조작 버튼(21)이 강조 표시된다. 그 다음, 일련의 처리 루틴이 종료되거나, 새로운 입력 시퀀스(sequence)가 처리될 때까지 사이클을 계속할 수 있다. S120의 처리가 S110 이후에 수행되고, S130의 처리가 S120 이후에 수행되고, S140의 처리가 S130 이후에 수행되고, S150의 처리가 S130 이후에 수행되고, S160의 처리가 S150 이후에 수행되면, 전술한 루틴의 순서가 변경되거나 병렬로 수행될 수 있음에 주목해야 한다.

도 9에 도시된 바와 같이, 터치 패널(3)에 의한 조작 입력과 관련된 처리는 예를 들어, 손가락 누름 등에 의해 터치 패널(3)에 대한 입력이 제공되었는지를 S200에서 판정하는 것을 포함한다. S200에서 "예"에 대응하는 긍정이면, S210에서, 터치 입력의 위치에 대응하는 좌표가 취득된다.

S220에서는, 터치 좌표에 대응하는 손가락 끝이 선택된다. 예를 들어, 터치 좌표와 가장 근접한 위치를 갖는 손가락 끝은 검출된 터치 입력과 관련된 손가락 끝으로서 선택된다. S230에서, 터치 좌표는 선택된 손가락 끝의 위치에 대응하도록 보정된다. 즉, 터치 입력의 실제 위치와 관계없이, 터치 입력이 손가락 끝 위치의 좌표에서 수신된 것으로 하여 처리가 수행된다.

S240에서 "예"에 해당하는 것과 같이, 대응하는 수동 조작 버튼(21)이 터치 입력이 행해진 것으로 간주되는 손가락 끝 위치와 일치하면, 흐름은 S250으로 진행한다. S240에서 "아니오"에 해당하는 것과 같이, 보정된 터치 입력 위치와 수동 조작 버튼(21) 사이에 대응 관계가 없으면, 흐름은 S260으로 진행한다.

S250에서는, 보정된 손가락 끝 위치와 수동 조작 버튼(21)의 위치가 일치하는 것으로 간주되므로, 수동 조작 버튼(21)이 조작된 것으로 간주하여 필요한 처리가 수행된다. 예를 들어, 문자 "あ" 또는 "い"가 입력되거나, 카 내비게이션 시스템에서의 경로 검색이 수행된다. S260에서는, 손가락 끝 위치와 수동 조작 버튼(21)의 위치가 일치하지 않으므로, 처리가 수행되지 않는다. 대안적으로, 예를 들어, 지도의 스크롤(scrolling)과 같은, 미리 설정된 각종 처리가 수행된다.

터치 입력, 손가락 끝 위치 및 수동 조작 버튼(21) 사이의 관계에 대한 일례로서, 도 10에 도시된 바와 같이, 손가락 끝 (ⅰ), (ⅱ), (ⅲ) 및 (ⅳ)는 수동 조 작 버튼(21)일 수 있는 버튼 A, B, C, D 및 E와 함께 메뉴 화상에 표시된다고 간주될 것이다. 터치가 검출되는 경우, 터치의 좌표와 가장 근접한 손가락 끝 (ⅱ)가 선택된다. 도면에 도시된 바와 같이, 손가락 끝 (ⅱ)와 수동 조작 버튼 (B)가 일치하면, 수동 조작 버튼 (B)가 손가락 끝 (ⅱ)에 의해 눌러진 것으로 판정된다. 또한, 도시된 바와 같이, 손가락 끝 (ⅰ) 및 손가락 끝 (ⅲ)은 적당한 수동 조작 버튼(21)을 가지지 않는다. 손가락 끝 (ⅳ)는 적당한 수동 조작 버튼 (D), 즉, 손가락 끝 위치와 일치하는 위치를 가지는 버튼을 가지지만, 그 위치는 검출된 터치의 좌표 위치로부터 떨어져 있다. 그러므로, 이러한 손가락 끝은 선택되지 않는다.

전술한 바와 같이, 본 실시예에서는, 카메라 화상으로부터 추출된 손가락 끝 화상이 메뉴 화상에 중첩된 반투과성 화상으로서 표시된다. 그러므로, 탑승자는 손가락 누름에 의해 어느 수동 조작 버튼(21)이 조작되는지를 용이하게 알 수 있다.

손가락이 수동 조작 버튼(21)과 근접하거나 일치하는 경우, 이 수동 조작 버튼(21)은 강조 표시된다. 그러므로, 수동 조작 버튼(21)의 크기가 작더라도, 어느 수동 조작 버튼(21)이 조작되는지를 용이하게 알 수 있다. 수동 조작 버튼(21)이 강조 표시된 상태에서, 손가락이 터치 패널(3)과 접촉하게 되는 경우, 손가락의 위치가 다소 이탈하더라도, 강조 표시된 수동 조작 버튼(21)은 눌러진 것으로 간주되어, 에러가 극히 작아지도록 감소시키는 현저한 효과를 얻는다. 즉, 본 실시예의 조작 입력 장치(1)는, 탑승자가 각각의 손가락에 의해 입력이 행해질 수 있는 수동 조작 버튼(21)을 순간적으로 파악할 수 있고, 터치 패널(3)에서 버튼을 틀리게 누름으로써 발생하는 입력 좌표의 변동에 의해 영향을 받지 않으면서, 의도한 수동 조작 버튼(21)에 의한 입력이 신뢰성 있게 수행될 수 있다는 현저한 효과를 얻는다.

(제2실시예)

이하, 제2실시예에 따른 조작 입력 장치에 대해 설명할 것이다. 제1실시예와 동일한 구성요소 또는 절차에 대한 설명은 단순화를 위해 생략할 것이라는 점을 이해할 것이다.

본 실시예는 손가락 끝 영역을 추출하는 방법을 포함한다. 도 11에 도시된 바와 같이, 손가락 영역 화상 A는 카메라 화상으로부터 2치화 화상(binary image)으로서 추출된다. 손가락 영역 화상 A는 손가락의 기저부 방향으로 하방으로 움직이거나 이동되어, 손가락 영역 화상 B으로서 도시된 이동 화상을 생성한다.

그 다음, 손가락 영역 화상 A 및 손가락 영역 화상 B 사이의 차분, (손가락 영역 화상 A - 손가락 영역 화상 B)가 결정되어 손가락 끝 영역 화상 C라고 칭하는 차분 화상을 생성한다. 손가락이 경사진 것과 같은 위치에 있고 차분이 마이너스(negative)인 것으로 결정되는 경우, 차분 값은 제로(zero) 값으로서 처리된다.

손가락 끝 영역 화상 C는 수축되어 손가락 끝 영역 화상 D를 생성한다. 본 예에서는, 손가락 끝 영역 화상 C가 예를 들어, 수평 방향 및 수직 방향과 같은 모든 방향으로 수축된다. 구체적으로, 손가락 끝 영역 화상 C의 내부를 향해 수직 방향 및 수직 방향으로 수 개의 화소가 삭제된다. 그 다음, 제1실시예와 관련하여 설명된 바와 같이, 각각의 손가락 끝의 손가락 끝 영역의 질량 중심 D가 결정되고, 각각의 질량 중심 D로부터 하부 방향으로 소정 거리에 있는 위치가 손가락 끝 위치 로 된다. 본 실시예에서는, 차분 화상이 수축되므로, 손가락 끝 이외의 차분 영역은 삭제될 수 있다. 특히, 손가락이 경사져 있을 경우, 손가락 끝 영역은 양호하게 추출될 수 있다. 이와 달리, 예를 들어, 도 12에 도시된 바와 같이, 차분 화상은 수평 방향으로만 수축될 수 있다. 또는, 차분 화상은 평활화될 수도 있고, 소정의 화소 값 이상인 영역이 손가락 끝 영역으로서 평활화된 화상으로부터 추출된다.

본 발명의 제1 및 제2실시예와 각종 대안적인 실시예에 대해 설명하였다. 그러나, 발명은 전술한 실시예에 한정되지 않으며 다양하게 실시될 수 있다.

예를 들어, 전술한 실시예에서는, 카메라에 의해 상부로부터 화상이 촬영되어, 터치 패널과 관련하여 손가락 영역을 추출한다. 또 다른 예시적인 실시예에서는, 예를 들어, 도 13에 도시된 바와 같이, 일본 특허출원 제2006-97923호에 개시된 바와 같이 하부로부터 화상 촬영이 행해질 수 있다. 이러한 경우, 조명 장치(33) 및 촬상 장치(35)는 터치 패널(31)의 하부에 설치되고, 손가락의 위치는 터치 패널(31)의 하부로부터 추출된다. 그러므로, 손가락 끝 위치가 검출되는 경우, 손가락 끝 영역과 일치하는 실제 손가락 끝 화상의 영역에서 가장 밝은 화소의 좌표를 손가락 끝 위치의 기준점으로 할 수 있다. 가장 밝은 화소의 좌표는 손가락의 패드에 근접한 것으로 간주되는 좌표이다.

또 다른 예시적인 실시예에서는, 본 발명이 터치 패널의 수동 조작 버튼의 조작뿐만 아니라, 예를 들어, 임의의 위치 등에 기초하여 입력이 행해지는 지도 화면의 스크롤에도 적용될 수 있다.

또 다른 예시적인 실시예에서는, 본 발명이 차량 탑재 내비게이션 시스템뿐 만 아니라, 차량에 구비되지 않은 각종 조작 입력 장치에도 적용될 수 있다.

또한, 전술한 조작이 수행된 후에 표시가 강조되기만 하면, 임의의 강조 표시 방법이 채택될 수 있다. 예를 들어, 수동 조작 버튼의 색을 변경하고, 수동 조작 버튼의 텍스트 폰트를 변경하고, 수동 조작 버튼의 프레임의 폭을 변경하고, 수동 조작 버튼의 3차원 표시 상태를 변경하고, 수동 조작 버튼의 크기를 부분적으로 또는 전체적으로 변경하고, 수동 조작 버튼이 깜빡거리게 하고, 각각의 수동 조작 버튼과 손가락 끝 사이의 거리에 따라 수동 조작 버튼의 밝기를 변경하고, 전술한 강조 방법의 임의의 조합에 의해 강조 동작이 제공될 수 있다.

본 명세서에서 사용된 예는 일본어 문자에 기초하고 있지만, 본 발명은 특정 언어의 문자 또는 시스템에 한정되지 않음에 주목해야 한다. 수동 조작 버튼(21)은 문자, 숫자나, 임의의 선택 또는 구성 기준을 표현할 수 있다. 구체적으로, 본 발명은 전반적으로 손가락 위치 및 관련 처리에 관한 수동 조작 버튼(21)의 예시적인 조작에 관한 것이므로, 수동 조작 버튼(21)의 내용이나 의미는 덜 중요하다. 그리고, 전술한 바와 같이, 수동 조작 버튼은 버튼일 필요는 없고, 메뉴 항목, 아이콘, 커서일 수 있으며, 또는 간단하게 지도나 배경 표시 등의 영역일 수 있다.

(제3실시예)

도 14 및 도 15를 참조하여 카 내비게이션 시스템(A10)을 조작하는 카 내비게이션 조작 장치(A1)를 설명한다. 도 14는 카 내비게이션 조작 장치(A1)의 구성을 도시하는 개략적인 블럭도이고, 도 15a 내지 도 15d는 운전자 손의 회전각, 이동 방향 및 이동량을 검출하는 화상 처리를 설명하는 도면이다. 손은 조작 물체로서 작용한다.

도 14에 도시된 바와 같이, 카 내비게이션 조작 장치(A1)는 화상 처리에 의해 운전자의 손을 추출하고, 이 손은 카 내비게이션 시스템(A10)을 조작하는데 이용된다. 카 내비게이션 조작 장치(A1)는 카메라(A20), 조명기기(A30), 제어부(A40), 화상 메모리(A50), 조작 물체 추출부(A60), 검출부(A70), 및 신호 출력부(A80)를 포함한다.

카메라(A20)는 소형 CCD 카메라 또는 CMOS 카메라이고, 외부 광을 수광하는 손 표면에 반대인 운전자 손의 반대 표면의 화상을 촬영하는 위치에 위치되어 있다. 즉, 카메라(A20)는 도 14에서 터치 감응형 패널(A100)의 하부에 위치되어 있다.

조명 기기(A30)는 외부 광을 수광하는 표면에 반대인 운전자 손의 반대 표면에 광을 인가하는 위치에 위치되어 있다. 즉, 도 14에서, 조명 기기(A30)는 터치 감응형 패널(A100)의 하부에 위치되어 있다.

제어부(A40)는 조명 기기(A30)의 휘도를 제어하고, 화상을 취득 또는 촬영하는 카메라(A20)에 의한 화상 취득을 제어한다. 일반적으로, 제어부(A40)는 조명 기기(A30)의 복수의 휘도 조건을 제어한다. 예를 들어, 제어부(A40)는 조명기기(A30)를 점멸시킨다. 즉, 제어부(A40)는 조명 기기(A30)가 복수의 휘도 조건하에서 광을 생성하도록 제어하고, 카메라(A20)가 화상을 촬영하도록 제어한다.

화상 메모리(A50)는, 전술한 바와 같이, 제어부(A40)가 복수의 휘도 조건을 위해 조명 기기(A30)를 제어할 경우에 실현되는 복수의 조도 조건 하에서, 카메 라(A20)에 의해 취득된 화상을 기억한다. 예를 들어, 화상 메모리(A50)는 RAM 또는 하드 디스크일 수 있다.

조작 물체 추출부(A60)는 복수의 조도 조건 하에서 취득된 화상을 비교하고, 화상 처리에 의해 운전자 손을 추출한다. 그 다음, 검출부(A70)는 조작 물체 추출부(A60)에 의해 추출된 운전자 손의 소정의 형상 및 소정의 이동을 검출한다.

구체적으로, 도 15a에 도시된 바와 같이, 차분 화상을 생성하기 위한 명(light) 및 암(dark)의 2개의 조도 조건 하에서 카메라(A20)에 의해 2개의 화상이 취득된다. 그 다음, 상기 취득된 차분 화상으로부터 운전자의 손이 추출된다. 조명 기기(A30)에 의해 생성된 광은 운전자의 손에 의해 반사되고, 손 이외의 다른 영역에 의해서는 반사되지 않는다. 운전자의 손이 2 단계의 조도에 의해 조명되거나, 높은 조도 및 낮은 조도에 의해 조명될 경우, 상기 두 조건의 각 조건 하에서 취득된 화상의 손 부분은 휘도 차이로 인해 높은 콘트라스트(contrast) 등급을 가진다. 여기서, 화상의 손 부분은 운전자 손의 화상을 도시한다. 그 결과, 이 차분에 기초하여 운전자의 손이 추출될 수 있다.

검출부(A70)는 두 방향의 운전자 손의 이동을 검출하고, 이 두 방향은 서로 직교하고, 카메라(A20)의 광축에 수직인 평면을 따라 연장되어 있다. 구체적으로, 검출부(A70)는 터치 감응형 패널(A100) 상에서의 운전자 손의 이동을 검출하고, 회전각 검출기(A72) 및 이동 검출기(A74)를 포함한다. 회전각 검출기(A72)는 터치 감응형 패널(A100) 상에서의 운전자 손의 회전각을 검출하고, 이동 검출기(A74)는 운전자 손의 이동 방향 및 이동량을 검출한다. 예를 들어, 회전각 검출기(A72)는 카 메라(A20)에 의해 촬영된 화상 평면에 대한 운전자 손의 회전각을 검출한다. 화상 평면은 일반적으로 카메라(A20)의 광축에 수직으로 연장되어 있다.

도 15b에 도시된 바와 같이, 회전각 검출기(72)는 화상 메모리(50)에 기억된 추출 화상(도 15a 참조)에 대하여, 소벨 오퍼레이터(Sobel operator)와 같은 제1차 차분 오퍼레이터를 이용하여 각 화소의 x 방향의 휘도 경사(luminance gradient) D_x 및 y 방향의 휘도 경사 D_y를 취득한다. 그 다음, 회전각 검출기(A72)는 다음의 수학식을 이용하여 윤곽 강도 및 윤곽 방향을 검출한다.

윤곽 강도 : (D_x ²+D_y ²)^1/2

윤곽 방향 : tan^-1(D_y/D_x)

그 다음, 회전각 검출기(A72)는 각 화소의 윤곽 방향에 기초하여 명도가 높은 윤곽의 평균 방향을 검출한다. 여기서, 명도가 높은 윤곽은 소정의 임계값보다 더 높은 명도 강도를 갖는 검출된 윤곽 부분(도 15b 참조)이다. 그 다음, 검출된 평균 윤곽 방향은 운전자 손의 각도로서 결정된다.

상기 경우에 있어서, "평균 윤곽 방향"은 윤곽 방향의 평균값에 대응할 수 있다. 그러나, "평균 윤곽 방향"은 윤곽 방향의 최빈값(mode) 또는 중앙값(median)일 수 있다. 또한, 윤곽 방향은 각 화소에 대해 연산되지 않을 수 있지만, x 방향 의 휘도 경사 D_x 및 y 방향의 휘도 경사 D_y는 소정의 임계값보다 더 높은 윤곽 강도 윤곽 강도를 갖는 화소에 대해 연산될 수 있다. 따라서, 휘도 경사 D_x 및 휘도 경사 D_y를 평균하여 평균 윤곽 방향을 연산하기 위한 평균값을 취득한다.

도 15c에 도시된 바와 같이, 이동 검출기(A74)는 중심점 위치를 검출하며, 이 중심점은 연대순 또는 시계열적으로 화상 메모리(A50)에 기억된 복수의 추출 화상(도 15a 참조)의 각각에 대해 운전자 손의 중심점 위치를 나타낸다. 여기서, 손의 중심점은 추출된 손의 중앙에 대응할 수 있다. 그 다음, 도 15d에 도시된 바와 같이, 시계열적으로 검출되는 운전자 손의 검출된 중심점 위치의 방향 및 이동량은 운전자 손의 이동 방향 및 이동량으로서 결정된다. 즉, 손의 중심점 위치의 방향 및 이동량이 시계열적으로 비교되는 경우, 손의 방향 및 이동량은 도 15d에 도시된 바와 같이 결정된다. 또한, 손의 이동 방향 및 이동량을 검출하기 위해, 광학적 흐름(optical flow) 또는 패턴 매칭(pattern matching)이 이용될 수 있다.

상기 경우에 있어서, 운전자 손의 이동 방향 및 이동 거리는 복수의 중심점 위치를 선형 근사법 또는 2차원 시스템을 위한 선형 근사법을 통해 근사화함으로써 검출될 수 있다. 상기 방법에서는, 노이즈가 제거되며, 이에 따라, 운전자 손의 원활한 이동이 검출된다. 그 결과, 더욱 원활하게 이동하는 손의 이동 방향 및 이동 거리가 취득된다.

신호 출력부(A80)는 운전자 손의 회전각, 이동 방향 및 이동량을 카 내비게 이션 시스템(A10)으로 출력한다. 전술한 바와 같이, 회전각은 회전각 검출기(A72)에 의해 검출되고, 이동 방향 및 이동량은 이동 검출기(A74)에 의해 검출된다.

(카 내비게이션 조작 장치(A1)의 특징)

상기 카 내비게이션 조작 장치(A1)는 외부 광에 의해 작용되거나 영향을 받는 것이 제한되어 있으며, 운전자 손의 이동을 통한 대상 기기의 조작에 용이하게 이용된다. 이하, 카 내비게이션 조작 장치(A1)를 설명한다.

카 내비게이션 조작 장치(A1)에서는, 카메라(A20)가 외부 광을 수광하는 손의 표면과 반대인 운전자 손의 반대 표면의 화상을 촬영할 수 이쓴ㄴ 위치에 카메라(A20)가 위치되어 있다. 즉, 카메라(A20)는 운전자 손의 그림자 부분의 화상을 촬영한다. 그 결과, 외부 광의 조도가 변화하더라도, 운전자 손의 그림자 부분의 조도는 약간 변한다. 따라서, 카 내비게이션 조작 장치(A1)는 외부 광에 의해 영향받는 것이 제한된다.

또한, 외부 광을 수광하는 손의 표면과 반대인 운전자 손의 반대 표면에 생성된 광이 인가되도록, 조명 기기(A30)가 위치되어 있다. 그 결과, 외부 광에 의해 만들어진 운전자 손의 그림자 부분에 광이 인가된다. 따라서, 외부 광의 조도가 변화하더라도, 그림자 부분의 조도는 약간 변한다.

또한, 복수의 조도 조건 하에서 운전자 손의 그림자 부분에 광이 인가되어 화상을 촬영하고, 상기 조건 하에서 촬영된 복수의 화상이 기억된다. 복수의 화상은 서로 비교되어 운전자 손을 추출한다. 즉, 운전자 손의 화상이 상이한 조도 하에서 취득되므로, 운전자 손 화상의 콘트라스트가 명확해진다. 그 결과, 외부 광이 변화하더라도, 운전자 손의 형상 및 이동은 광 변화의 영향이 제한된 상태에서 추출될 수 있다.

또한, 운전자 손의 추출된 형상 및 이동에 대응하는 신호는 이동체 기기로 출력된다. 그 결과, 이동체 기기가 이동체 기기의 조작을 위한 신호를 이용할 경우, 이동체 기기를 조작하는 것이 가능하다.

예를 들어, 표시 장치가 조작 표시를 행하도록 카 내비게이션 시스템(A10)이 구성되어 있을 경우, 운전자 손의 화상은 조작 표시 상에 중첩될 수 있다. 그 결과, 조작자는 표시 장치에서 중첩된 표시를 시각적으로 인식 또는 검사하여 카 내비게이션 시스템(A10)을 조작한다.

카 내비게이션 조작 장치(A1)는 터치 감응형 패널(A100) 상에서의 운전자 손의 회전 및 이동을 검출한다. 즉, 카 내비게이션 조작 장치(A1)는 카메라(A20)의 광축에 수직인 가상 평면 상에서 서로 직교하는 두 방향에서 운전자 손의 이동을 검출한다. 여기서, 가상 평면은 카메라(A20)에 의해 촬영되는 임의의 화상 평면에 대응한다. 그 결과, 카 내비게이션 조작 장치(A1)는 카 내비게이션 시스템(A10)에 적용될 수 있고, 표시된 지도의 회전, 표시된 지도의 이동 또는 변위, 또는 표시된 지도의 확대가 용이하게 수행될 수 있다. 또한, 카 내비게이션 조작 장치(A1)는 상기 구성에서 음량을 용이하게 조정할 수 있다.

(제4실시예)

제3실시예의 카 내비게이션 조작 장치(A1)는 터치 감응형 패널(A100) 상에서의 운전자 손의 이동에 기초하여 카 내비게이션 시스템(A10)의 조작을 위한 신호를 출력하며, 상기 이동은 예를 들어, 2차원 시스템 또는 평면 상에서 행해진다. 이에 비해, 제4실시예의 카 내비게이션 조작 장치(A2)는 3차원 공간에서의 운전자 손의 이동에 기초하여 카 내비게이션 시스템(A10)을 조작하도록 구성되어 있고, 도 16 및 도 17을 참조하여 설명한다. 카 내비게이션 조작 장치(A2)는 제3실시예의 카 내비게이션 조작 장치(A1)와 유사한 구성을 가지므로, 카 내비게이션 조작 장치(A1)의 구성요소와 유사한 카 내비게이션 조작 장치(A2)의 구성요소는 동일한 도면 번호로 나타내고, 그 설명을 생략하는 것에 주목해야 한다.

도 16은 카 내비게이션 조작 장치(A2)의 구성을 도시하는 개략적인 블럭도이고, 도 17a 내지 도 17i는 공간 회전각 검출 원리를 설명하기 위해 이용되는 도면이다.

카 내비게이션 조작 장치(A2)에서, 검출부(A70)는 3차원 공간에서의 운전자 손의 이동을 검출한다. 3차원 공간은 카메라(A20)의 광축과, 광축에 수직인 가상 평면 상에서 서로 직교하는 두 개의 축에 의해 정의되는 것에 주목해야 한다.

검출부(A70)는 공간 회전각 검출기(A76) 및 공간 이동 검출기(A78)를 포함한다. 공간 회전각 검출기(A76)는 운전자 손의 3차원 회전각을 검출하고, 공간 이동 검출기(A78)는 3차원 공간에서의 운전자 손의 이동 방향 및 이동량을 검출한다.

공간 회전각 검출기(A76)는 조작 물체 추출부(A60)에 의해 추출된 운전자 손의 화상을 복수의 영역으로 분할한다. 그 다음, 공간 회전각 검출기(A76)는 각 분할된 영역에 대한 평균 휘도 및 중심점 위치를 검출한다. 그 다음, 공간 회전각 검출기(A76)는 각각의 검출된 영역에 대한 평균 휘도 및 중심점 위치에 기초하여 운 전자 손의 3차원 회전각을 검출한다.

이하, 화상으로부터 추출되는 운전자 손을 복수의 영역으로 분할하는 방법에 대해 설명할 것이다. 도 17a에 도시된 바와 같이, 추출 화상은 조작 물체 추출부(A60)에 의해 취득된다. 그 다음, 손의 추출 화상의 중심점이 취득되고, 운전자 손의 추출 화상은 선을 따라 분할되며, 이 선은 서로 직교하고 도 17c에 도시된 바와 같이 취득된 중심점을 통과한다.

"3차원 회전각"은 예를 들어, 3차원 공간을 정의하는 3개의 축 주위에서 각각 측정되는 각도에 대응하는 것에 주목해야 한다. 3개의 축은 카메라(A20)의 광축과, 광축에 수직인 평면 상에서 서로 직교하는 2개의 축이다. 전술한 바와 같이, 3차원 회전각은 3차원 공간의 운전자 손과 관련된 회전축 주위에서 측정된 각도이다.

공간 이동 검출기(A78)는 소정의 시간 간격으로 조작 물체 추출부(A60)에 의해 추출되는 운전자 손 영역의 평균 휘도값을 검출한다. 그 다음, 공간 이동 검출기(A78)는 상기 검출된 복수의 평균 휘도값을 비교함으로써, 운전자 손의 수직 이동, 또는 카메라(A20)의 광축 방향의 손의 이동을 검출한다.

신호 출력부(A80)는 공간 회전각 검출기(A76)에 의해 검출되는 운전자 손의 3차원 회전각 (a)과, 공간 이동 검출기(A78)에 의해 검출되는 공간에서의 운전자 손의 이동 방향 및 이동량 (b)을 출력한다.

(검출 처리)

다음으로, 도 18, 도 19 및 도 20을 참조하여 검출부(A70)에 의해 실행되는 검출 처리를 설명할 것이다.

도 18은 검출 처리를 위한 플로우차트이고, 도 19는 공간 회전각 검출을 위한 서브루틴의 플로우차트이며, 도 20은 공간 이동 검출을 위한 서브루틴의 플로우차트이다.

검출 처리에서는, 도 18에 도시된 바와 같이, AS100에서, 조작 물체 추출부(A60)에 의해 취득된 운전자 손의 차분 화상이 취득된다.

AS105에서, 공간 회전각이 검출되고, AS110에서, 공간 이동이 검출된다. 그 다음, AS115에서는, AS105에서 검출된 공간 회전각과, AS110에서 검출된 공간 이동 방향 및 이동량이 카 내비게이션 시스템(A10)으로 출력된다.

(공간 회전각 검출 처리)

공간 회전각 검출 처리에서는, 도 19에 도시된 바와 같이, AS200에서, AS100에서 취득된 차분 화상(도 17a 참조)이 2치화(binarize) 된다.

AS205에서는, AS200에서 2치화된 차분 화상의 중심점이 검출된다(도 17c 참조).

AS210에서는, AS200에서 2치화된 차분 화상이 마스크 처리를 통해 처리되어, 차분 화상으로부터 운전자 손의 화상이 추출된다.

AS215에서는, AS210에서 추출된 운전자 손의 화상이 2개의 직선을 따라 4개의 화상 영역으로 분할된다(도 17c 참조). 상기 2개의 선은 서로 직교하고, AS205에서 검출된 차분 화상의 중심점 위치를 통과한다.

AS220에서는, 상기 분할된 각각의 영역에 대한 평균 휘도가 검출되고(도 17g 참조), AS225에서는, AS220에서 검출된 평균 휘도가 소정의 상수를 이용하여 보정된다(도 17h 참조).

AS230에서는, AS215에서 운전자 손의 화상을 분할하여 만들어진 각각의 영역에 대한 중심점이 검출된다(도 17e 참조).

AS235에서는, AS230에서 검출된 각 영역에 대한 중심점 (a)과, AS225에서 보정된 각 영역에 대한 평균 휘도 (b)에 기초하여 근사 평면(approximation plane)이 검출된다. 그 다음, 검출된 근사 평면에 기초하여 운전자 손의 공간 회전각이 검출된다(도 17i 참조).

근사 평면은 각 영역의 평균 휘도의 역수 및 각 영역의 중심점을 이용하는 평면 피팅 처리(plane fitting process) 방법에 의해 검출된다. 즉, 모든 영역의 각 중심점에서의 평균 휘도의 역수가 근사화되어, 최소자승법을 이용하여 근사 평면을 검출한다. AS235에서 근사 평면이 검출된 후, 공간 회전각 검출 처리는 완료된다.

(공간 이동 검출 처리)

공간 이동 검출 처리에서는, 도 20에 도시된 바와 같이, AS300에서, AS100에서 취득된 차분 화상(도 17a 참조)이 2치화 된다.

AS305에서는, AS300에서 2치화된 차분 화상의 중심점 위치가 검출된다(도 17c 참조). 또한, AS310에서는, AS300에서 2치화된 차분 화상이 마스크 처리를 통해 처리되어, 차분 화상으로부터 운전자 손의 화상이 추출된다. 그 다음, AS315에서는, AS310에서의 운전자 손의 추출 화상의 평균 휘도가 검출된다.

AS320에서는, AS305에서 검출된 차분 화상의 중심점 위치 (a)와, AS315에서 검출된 운전자 손 영역의 평균 휘도 (b)에 기초하여, 운전자 손의 이동 방향 및 이동량이 검출된다.

우선, 운전자 손의 최신 화상의 최신 평균 휘도값의 역수의 제곱근이 취득된다. 또한, 운전자 손의 이전 화상의 이전 평균 휘도값의 역수의 제곱근이 취득된다. 여기서, 이전 화상은 최신 화상이 촬영되기 전에 특정 시간 기간에 촬영된다. 최신 평균 휘도값의 역수의 제곱근 (a)와, 이전 평균 휘도값의 역수의 제곱근 (b)의 차분을 취함으로써, 이동 방향 및 이동량이 연산된다. 그 다음, 운전자 손의 최신 화상의 최신 중심점 위치와, 운전자 손의 이전 화상의 이전 중심점 위치가 취득된다. 최신 중심점 위치 (a) 및 이전 중심점 위치 (b)의 차분을 취함으로써, 운전자 손의 이동 방향 및 이동량이 연산된다. 상기 검출 이후, 공간 이동 처리가 완료된다.

상기 경우에 있어서, 선형 근사, 2차원 시스템에 대한 선형 근사와 같은 방법을 통해 이동 방향 및 이동량을 근사화시킴으로써, 운전자 손의 이동 방향 및 이동량이 더욱 정확하게 검출될 수 있다. 상기 근사로 인해, 노이즈가 제거되고, 이에 따라 운전자 손의 원활한 이동이 검출된다. 그 결과, 더욱 원활하게 이동하는 손의 이동 방향 및 이동 거리가 취득된다.

(카 내비게이션 조작 장치(A2)의 특징)

전술한 바와 같이, 카메라(A20)에 의해 촬영된 화상이 처리되고, 3차원 공간에서의 운전자 손의 회전각, 또는 손의 3차원 회전각이 검출된다. 또한, 이동 방향 및 이동량이 검출된다. 그 결과, 손의 이동이 2차원 공간 또는 가상 평면 상에서 검출되는 경우에 비해, 더 많은 정보 항목이 취득될 수 있다.

따라서, 3차원 공간에서의 운전자 손의 검출된 이동에 기초하여 카 내비게이션 시스템(A10)의 더욱 복잡한 조작을 수행하는 것이 가능하다.

(제5실시예)

다음으로, 도 21a 및 도 21b를 참조하여 카 내비게이션 조작 장치(A3)를 설명할 것이다. 카 내비게이션 조작 장치(A3)에서는, 운전자 손의 이동이 화상을 촬영하는 카메라가 아니라 거리 센서에 의해 검출되는 것에 주목해야 한다. 카 내비게이션 조작 장치(A3)는 제3실시예의 카 내비게이션 조작 장치(A2)와 유사한 구성을 가지는 것에 주목해야 한다. 따라서, 카 내비게이션 조작 장치(A2)의 구성요소와 유사한 카 내비게이션 조작 장치(A3)의 구성요소는 동이한 도면번호로 나타내고, 그 설명은 생략한다.

도 21a는 카 내비게이션 조작 장치(A3)의 구성을 도시하는 개략적인 블럭도이다. 도 21b에 도시된 바와 같이, 카 내비게이션 조작 장치(A3)는 터치 감응형 패널(A100)의 4개의 단부에서 지향성(directivity)을 갖는 초음파 거리 센서(90)를 포함한다.

공간 회전각 검출기(A76)는 4개의 초음파 거리 센서(A90)로부터 취득된 거리에 기초하여 운전자 손의 3차원 각도를 검출한다.

즉, 4개의 초음파 거리 센서(A90)의 각각은 지향성을 가지므로(혹은 초음파 거리 센서(A90)가 지향성을 가지는 광을 방출하므로), 4개의 초음파 거리 센 서(A90)에 의해 측정된 거리는 운전자 손의 상이한 4개의 지점까지의 거리를 나타낸다. 그 결과, 최소자승법을 이용하여 측정된 4개의 거리를 근사화함으로써, 평면 또는 표면이 정의될 수 있고, 상기 정의된 평면은 근사 평면이라고 칭한다.

3차원 시스템의 각각의 축 주위에서 측정된 각도가 근사 평면의 경사에 따라 취득되는 경우, 운전자 손의 3차원 회전각이 취득된다.

또한, 공간 이동 검출기(A78)는 3차원 공간에서 운전자 손의 이동 방향 및 이동량을 검출한다. 상기 근사 평면의 상하 방향에서의 이동을 검출함으로써, 3차원 공간에서의 카메라(A20)의 광축 방향의 이동 방향 및 이동량이 검출될 수 있다. 상하 방향은 도 21a의 광축 방향에 대응한다.

또한, 터치 감응형 패널(A100)이 연장되어 있는 평면에 평행한 방향에서의 이동은 초음파 거리 센서(A90)에 의해 검출된 거리 사이의 시계열적 차분에 기초하여 검출될 수 있다. 여기서, 거리 센서는 광 센서 또는 무선 센서일 수 있다.

(제6실시예)

다음으로, 도 22a 내지 도 22c를 참조하여 카 내비게이션 조작 장치(A4)를 설명할 것이다. 카 내비게이션 조작 장치(A4)는 개구부를 갖는 차광 수단을 이용하여, 운전자 손의 3차원 회전각 및 이동을 검출한다. 카 내비게이션 조작 장치(A4)는 제3실시예의 카 내비게이션 조작 장치(A1)와 유사한 구성을 가지는 것에 주목해야 한다. 따라서, 제3실시예의 카 내비게이션 조작 장치(A1)의 구성요소와 유사한 본 실시예의 카 내비게이션 조작 장치(A4)의 구성요소는 동일한 도면 번호로 나타내고, 그 설명은 생략한다.

카 내비게이션 조작 장치(A4)는 도 22a에 도시된 바와 같이, 제1조명 기기(A32), 제2조명 기기(A34), 제1차광판(A36) 및 제2차광판(A38)을 포함한다.

도 22a에 도시된 바와 같이, 제2조명 기기(A34)는 제1조명 기기(A32)와 반대 위치에 위치되어 있다.

제1차광판(A36)은 제1조명 기기(A32)와 운전자의 손 사이에 위치되어 있으며 개구부를 포함한다. 제1차광판(A36)은 제1조명 기기(32)로부터의 광의 일부가 개구부를 통해 조작 물체 상에 투사되도록 한다.

제2차광판(A38)은 제2조명 기기(A34)와 운전자의 손 사이에 위치되어 있으며 개구부를 포함한다. 제2차광판(A38)은 제2조명 기기(A34)로부터의 광의 일부가 개구부를 통해 조작 물체 상에 투사되도록 한다.

카메라(A20)로부터 소정의 거리 떨어진 위치에서, 제1차광판(A36)의 개구부를 통해 인가된 광이 제2차광판(A38)의 개구부를 통해 인가된 광과 교차하도록, 제1차광판(A36) 및 제2차광판(A38)이 배치된다.

공간 회전각 검출기(A76)는 카메라(A20)에 의해 촬영된 화상에 기초하여, 제1차광판(A36) 및 제2차광판(A38)의 개구를 통해 운전자 손 위에 투사된 광을 검출한다. 그 다음, 제1차광판(A36) 및 제2차광판(A38)의 개구부를 통해 운전자 손 위에 투사된 광은, 카메라(A20)로부터 소정의 거리 떨어져 있는 터치 감응형 패널(A100)로부터의 거리에 기초하여 운전자 손의 공간 회전각이 검출되도록 하기 위해 이용된다.

즉, 제1차광판(A36)의 개구부를 통해 인가된 광과, 제2차광판(A38)의 개구부 를 통해 인가된 광은 운전자의 손에 인가된다. 각 차광판의 개구부를 통해 운전자의 손에 인가된 광은 터치 감응형 패널(A100) 상의 운전자 손의 위치에서 다른 광과 교차한다.

따라서, 운전자 손이 터치 감응형 패널(A100)과 접촉하는 경우, 제1차광판(A36)의 개구부를 통해 투사된 슬릿 광(slit light)과, 제2차광판(A38)의 개구부를 통해 투사된 슬릿 광은 운전자 손의 표면에서 서로 중첩하여, 도 22b에 도시된 바와 같이 하나의 광 스폿(light spot)을 형성한다.

운전자의 손이 터치 감응형 패널(A100)로부터 떨어져 위치되어 있는 경우, 2개의 광 스폿은 운전자 손의 표면에서 나타난다. 또한, 운전자 손이 경사져 있는 경우, 운전자 손의 표면에서 나타나는 광 스폿은 손의 경사도에 따라 변한다.

즉, 도 22c에 도시된 바와 같이, 경사가 더 커지면, 운전자 손의 일단과 터치 감응형 패널(A100) 사이의 거리가 손의 타단과 터치 감응형 패널(A100) 사이의 또 다른 거리와 상이하다. 상기 두 거리 사이의 차분이 작은 경우, 조작 물체 표면의 광 스폿 사이의 거리가 작다. 상기 두 거리 사이의 차분이 큰 경우, 광 스폿 사이의 거리도 크다. 도 22c는 터치 감응형 패널(A100)에 대한 손의 경사의 일례를 도시한다. 도 22c에서, 손의 엄지측은 터치 감응형 패널(A100)로부터 멀어지도록 기울어져 있다.

전술한 바와 같이, 운전자의 손이 경사져 있거나 기울어져 있는 경우, 운전자 손 표면의 2개의 광 스폿 사이의 거리가 변한다. 그 결과, 운전자 손 표면의 2개의 광 스폿 사이의 거리를 검출함으로써, 운전자 손의 3차원 회전각이 검출될 수 있다.

또한, 운전자 손 표면에서의 광 스폿의 크기를 검출함으로써, 운전자 손까지의 거리가 검출된다.

전술한 바와 같이, 운전자의 손이 터치 감응형 패널(A100)의 위에 있는 경우, 광은 운전자 손의 하나의 스폿에 인가되거나 투사된다. 즉, 상기 경우에 있어서, 조작 물체 표면에서 하나의 광 스폿이 나타난다. 이에 비해, 운전자 손이 소정 거리보다 더 큰 거리만큼 터치 감응형 패널(A100)로부터 떨어져 위치하고 있는 경우, 2개의 광 스폿이 운전자 손 표면에 나타난다.

터치 감응형 패널(A100)로부터 운전자 손까지의 거리가 커지고 작아지면, 손까지의 상기 거리에 비례하여 상기 2개의 광 스폿 사이의 거리도 커지고 작아진다. 또한, 2개의 광 스폿의 크기는 변하지만, 2개의 광 스폿 중의 하나의 크기와 다른 하나의 크기 사이의 비율은 일정하게 유지된다.

2개의 광 스폿 사이의 거리와, 2개의 광 스폿의 크기 비율이 검출되는 경우, 운전자의 손까지의 거리가 검출된다.

또한, 조명 기기 및 차광판의 상기 조합 대신에, 좁은 영역에 광이 인가되도록 하기 위하여, 높은 지향성을 갖는 또 다른 조명 기기가 이용될 수 있다.

(제7실시예)

다음으로, 운전자 손의 형상에 기초하여 카 내비게이션 시스템(A10)을 조작하는 카 내비게이션 조작 장치(A5)를 설명할 것이다.

카 내비게이션 조작 장치(A5)는 카 내비게이션 조작 장치(A1)와 유사한 구성 을 가지며, 이에 따라, 카 내비게이션 조작 장치(A5)의 설명은 생략한다. 카 내비게이션 조작 장치(A5)에서는, 운전자 손의 소정의 패턴 화상이 화상 메모리(A50)에 기억된다. 예를 들어, 패턴 화상은 운전자의 움켜쥔 주먹의 형상, 하나 이상의 손가락을 펼친 부분적으로 움켜쥔 주먹의 형상, 검지 및 엄지로 형성된 O 형상, 및 운전자에 의해 의도적으로 형성된 손의 특정 형상을 포함한다.

또한, 검출부(A70)는 화상 메모리(A50)에 기억된 패턴 화상과, 조작 물체 추출부(A60)에 의해 추출된 운전자 손의 화상을 비교한다. 패턴 화상 중의 하나로 나타낸 형상이 운전자 손의 형상과 동일하거나 매우 유사한 경우, 검출부(A70)는 운전자의 손이 소정의 형상을 가진다고 결정한다.

신호 출력부(A80)는 검출부(A70)에 의해 검출된 운전자 손의 소정의 형상에 대응하는 출력 신호를 출력한다. 예를 들어, 움켜쥔 주먹 형상을 가지거나, 운전자가 자신의 손가락을 손바닥에 포개는 경우, 신호 출력부(A80)는 조작을 정지시키기 위한 신호를 카 내비게이션 시스템(A10)으로 출력할 수 있다. 또한, 신호 출력부(A80)는 펼친 손가락의 수에 따라 각종 명령을 위한 신호를 카 내비게이션 시스템(A10)으로 출력할 수 있다.

전술한 바와 같이, 운전자 손이 소정의 형상을 가지는 경우, 출력 신호는 상기 형상에 따라 출력된다. 상기 조작은 용이하게 실행되는 패턴 매칭에 의해 가능해진다. 그 결과, 카 내비게이션 시스템(A10)에서는, 특정 조작이 출력 신호에 대응하도록 미리 설정되는 경우, 운전자는 단순한 조작을 통해 카 내비게이션 시스템(A10)에 대해 특정 조작이 수행되도록 할 수 있다.

(제8실시예)

(1) 터치 감응형 패널(A100) 일부의 푸시 다운(push down)을 검출하는 터치 감응형 패널(A100)이 구비된다. 이 일부는 조작 스위치에 대응한다. 신호 출력부(A80)는 운전자의 손이 소정의 형상 및 이동을 가지는 경우, 터치 감응형 패널(A100)에 의해 검출된 조작 스위치의 조작 상태에 대응하여 신호를 출력하도록 구성된다.

상기 구성에서는, 회전 및 이동과 같은 손의 특정 동작 (a)와, 손의 특정 형상 (b)가 제8실시예에서 검출되더라도, 조작 스위치의 조작 상태에 따라 각종 신호가 출력될 수 있다. 이에 비해, 제3실시예 내지 제7실시예에서는, 손의 특정 동작 (a) 및 특정 형상 (b)가 유사하게 검출되더라도, 소정의 신호만 출력될 수 있다. 그 결과, 카 내비게이션 시스템(A10)은 제3실시예 내지 제7실시예에서의 조작과 상이한 조작을 제8실시예에서 수행한다.

(2) 제4실시예에서는, 조작 물체 추출부(A60)에 의해 취득된 차분 화상에 기초하여, 운전자 손의 중심점이 취득된다. 그 다음, 차분 화상은 2개의 선을 따라 분할되고, 이 선은 취득된 중심점을 통과하며 서로 직교한다. 상기 분할 방법에서는, 2개의 선 중에서 하나가 운전자의 손가락이 연장되어 있는 손가락 방향으로 연장되지 않을 수 있다. 또한, 다른 선은 손가락 방향에 직교하는 방향으로 연장되지 않을 수 있다. 즉, 두 개의 선은 서로 직교하기만 하면, 임의의 방향으로 연장될 수 있다. 예를 들어, 두 개의 선은 도 23c에 도시된 바와 같이 나타낼 수 있다.

또한, 도 23a에는 또 다른 분할 방법이 도시되어 있다. 구체적으로, 조작 물 체 추출부(A60)에 의해 추출된 운전자 손의 화상은 복수의 선에 의해 복수의 영역으로 분할될 수 있다. 즉, 운전자 손의 중심점이 먼저 취득되고, 그 다음, 취득된 중심점을 통과하는 선에 평행한 평행선이 취득된다. 또한, 평행선에 직교하는 직교선이 취득된다. 그 다음, 상기 평행선 및 직교선을 따라 화상이 분할될 수 있다.

상기 제3실시예 내지 제8실시예에서는, 카 내비게이션 시스템(A10)이 정보 기기 조작 장치(카 내비게이션 조작 장치(A1 내지 A5))에 의해 조작된다. 정보 기기 조작 장치(A6)는 퍼스널 컴퓨터(A12)와 같은 정보 기기를 원격으로 조작하기 위해 이용될 수 있다.

상기 경우에 있어서, 도 24에 도시된 바와 같이, 데스크에 놓여져 있는 정보 기기 조작 장치(A6)는 퍼스널 컴퓨터(A12)와 접속되어 있다. 상기 구성에서는, 푸시 다운 위치와 손 추출 화상 영역의 조작이 퍼스널 컴퓨터(A12)에서 조작되는 소프트웨어 화면에서의 조작과 연동할 수 있다. 상기 소프트웨어는 예를 들어, 지도 표시 소프트웨어 또는 전자 계산기를 포함한다.

상기 실시예에서는, 3차원 공간에서의 손의 경사 또는 기울기가 정보 기기 조작 장치에 의해 검출된다. 경사는 예를 들어, 카메라(A20)의 광축에 대해 측정될 수 있다.

상기 실시예에서, 각 화소의 윤곽 방향은 휘도 경사의 방향을 의미하고, 소벨 오퍼레이터와 같은 1차 차분 오퍼레이터를 이용하여 검출된다.

윤곽의 평균 방향은 각 화소의 상기 윤곽 방향에 기초하여 검출된다. 예를 들어, 각 화소 윤곽의 평균값이 0 내지 180°범위에 속하면, 이 평균값이 연산되어 방향을 검출한다. 검출된 방향은 윤곽의 평균 방향으로서 결정된다.

상기 실시예에서는, 3차원 회전각이 검출된다. 상기 경우에 있어서, 카 내비게이션 시스템이 3차원 지도를 표시하는 경우, 3차원 지도를 관찰하는 시청 지점은 예를 들어, 3차원 공간에서 이동될 수 있다.

상기 실시예에서는, 예를 들어, 제1조명 기기(A32) 및 제2조명 기기(A34)가 높은 지향성을 갖는 조명 기기를 이용하는 경우, 광 스폿은 명확한 형상을 가진다. 따라서, 조작 물체의 3차원 회전각은 더욱 정확하게 검출된다. 레이저 다이오드가 조명 기기에 이용될 수 있다.

차광 장치가 상기 실시예에서와 같이 이용되는 경우, 레이저 다이오드와 같이, 높은 지향성을 가지는 조명 기기를 이용하지 않고도, 조작 물체의 3차원 회전각이 정확하게 검출된다.

상기 실시예에서는, 정보 기기 조작 장치에 의해 조작되는 대상 기기가 이동 물체를 위한 기기이거나, 카 내비게이션 시스템과 같은 정보 기기일 수 있다.

추가적인 장점 및 변형이 당업자에게는 용이하게 발생할 것이다. 그러므로, 더 넓은 의미의 발명은 도시되고 설명된 특정한 상세한 사항, 대표적인 장치 및 예시적인 예에 한정되지 않는다.

도 1은 제1 실시예에서 예시적인 차량 탑재 조작 입력 장치의 구성을 도시하는 도면이다.

도 2는 예시적인 조작 입력 장치의 구성을 도시하는 블럭도이다.

도 3a 및 도 3b는 터치 패널의 좌표와 표시 장치의 표시 화상 사이의 관계를 도시하는 도면이다.

도 4는 손가락 끝 위치를 검출하는 예시적인 방법을 도시하는 도면이다.

도 5a는 강조 표시가 없는 수동 조작 버튼의 예시적인 표시를 도시하는 도면이다.

도 5b는 강조 표시가 있는 수동 조작 버튼의 예시적인 표시를 도시하는 도면이다.

도 6a는 수동 조작 버튼 표시가 강조되지 않은 수동 조작 버튼 표시 상태에서의 예시적인 변화를 도시하는 도면이다.

도 6b는 수동 조작 버튼 표시가 강조된 수동 조작 버튼 표시 상태에서의 예시적인 변화를 더 도시하는 도면이다.

도 6c는 수동 조작 버튼 표시가 강조되지 않은 수동 조작 버튼 표시 상태에서의 예시적인 변화를 더 도시하는 도면이다.

도 6d는 수동 조작 버튼 표시가 강조된 수동 조작 버튼 표시 상태에서의 예시적인 변화를 더 도시하는 도면이다.

도 6e는 수동 조작 버튼 표시가 눌러진 수동 조작 버튼 표시 상태에서의 예 시적인 변화를 더 도시하는 도면이다.

도 7a는 손가락 끝 위치를 보정하는 예시적인 방법을 도시하는 도면이다.

도 7b는 손가락 끝 위치를 보정하는 예시적인 방법을 더 도시하는 도면이다.

도 8은 메뉴 화상을 표시하는 예시적인 처리 흐름을 도시하는 플로우차트이다.

도 9는 터치 입력에 대응하는 예시적인 처리 흐름을 도시하는 플로우차트이다.

도 10은 터치 입력, 손가락 위치 및 수동 조작 버튼 사이의 예시적인 관계를 도시하는 도면이다.

도 11은 제2실시예에서 손가락 끝 영역을 추출하는 예시적인 방법을 도시하는 도면이다.

도 12는 제2실시예에서 손가락 끝 영역을 추출하는 또 다른 예시적인 방법을 도시하는 도면이다.

도 13은 터치 패널의 하부로부터 손가락 화상을 촬영하는 예시적인 장치를 도시하는 도면이다.

도 14는 본 발명의 제3실시예의 카 내비게이션 조작 장치의 구성을 도시하는 블럭도이다.

도 15a는 손의 회전각, 이동 방향 및 이동량을 검출하는 화상 처리에 이용되는 운전자 손의 차분 화상을 도시하는 도면이다.

도 15b는 화상 처리에 이용되는 운전자 손의 윤곽 화상을 도시하는 도면이 다.

도 15c는 화상 처리에서 중심점 위치를 갖는 화상을 도시하는 도면이다.

도 15d는 화상 처리에서 평균 중심점의 이동을 도시하는 도면이다.

도 16은 본 발명의 제4실시예의 카 내비게이션 조작 장치의 구성을 도시하는 블럭도이다.

도 17a는 공간 회전각 검출에 이용되는 차분 화상을 도시하는 도면이다.

도 17b는 도 17a에서 윤곽선을 도시하는 도면이다.

도 17c는 공간 회전각 검출에 이용되는 2치화 화상을 도시하는 도면이다.

도 17d는 도 17c에서 윤곽선을 도시하는 도면이다.

도 17e는 분할된 영역에서 중심점을 도시하는 도면이다.

도 17f는 도 17e에서 윤곽선을 도시하는 도면이다.

도 17g는 중심점에서 각 영역의 평균 휘도를 도시하는 도면이다.

도 17h는 각 영역의 보정된 평균 휘도를 도시하는 도면이다.

도 17i는 근사 평면을 검출하는 처리를 도시하는 도면이다.

도 18은 검출 처리를 위한 플로우차트이다.

도 19는 공간 회전각 검출을 위한 서브루틴의 플로우차트이다.

도 20은 공간 이동 검출을 위한 서브루틴의 플로우차트이다.

도 21a는 본 발명의 제5실시예의 카 내비게이션 조작 장치의 구성을 도시하는 블럭도이다.

도 21b는 제5실시예의 카 내비게이션 조작 장치의 터치 감응형 패널 및 거리 센서의 평면도이다.

도 22a는 본 발명의 제6실시예의 카 내비게이션 조작 장치의 구성을 도시하는 블럭도이다.

도 22b는 손이 터치 감응형 패널을 터치하는 상태에서 손의 화상을 도시하는 도면이다.

도 22c는 터치 감응형 패널로부터 손이 떨어져 있는 또 다른 상태에서 손의 화상을 도시하는 도면이다.

도 23a는 운전자 손의 화상을 분할하는 또 다른 분할 방법을 설명하는 도면이다.

도 23b는 도 23a에서 윤곽선을 도시하는 도면이다.

도 23c는 운전자 손의 화상을 분할하는 또 다른 분할 방법을 설명하는 도면이다.

도 23d는 도 23c에서 윤곽선을 도시하는 도면이다.

도 24는 정보 기기 조작 장치가 퍼스널 컴퓨터에 적용되는 상태를 도시하는 도면이다.

Claims

손가락 누름의 실제 입력 위치를 나타내는 터치 패널로부터의 제1신호와, 상기 터치 패널 상의 손가락의 화상을 촬영하는 촬영 장치로부터의 제2신호를 수신하고, 상기 제1 및 제2신호는 표시 장치 상에 제공되는 시각적 피드백에 기초하여 입력 에러를 감소시키기 위해 사용되는 조작 입력 장치에 있어서,

상기 촬영 장치에 의해 촬영된 화상으로부터 손가락 영역 화상을 추출하는 손가락 영역 추출부;

상기 손가락 영역 화상에 기초하여 손가락 끝 위치를 검출하는 손가락 끝 위치 검출부; 및

상기 손가락 영역 화상을 합성하고 메뉴 화상 상에 상기 손가락 영역 화상을 중첩하는 화상 합성부 - 상기 손가락 영역 화상 및 상기 메뉴 화상은 상기 손가락 영역 화상 및 상기 메뉴 화상이 모두 상기 표시 장치 상에서 시인 가능하도록 표시됨 - 를 포함하고,

상기 손가락 끝 위치 검출부는 상기 손가락 영역 화상과, 상기 손가락의 기저부 방향으로 상기 손가락 영역 화상을 이동시킴으로써 취득된 이동 화상 사이의 차분으로서 손가락 끝 영역 화상을 취득하고, 상기 손가락 끝 영역 화상에 대해 손가락 끝 위치를 추출하는

조작 입력 장치.
제 1 항에 있어서,

상기 손가락 끝 위치 검출부는 상기 손가락 끝 영역 화상에 대해 수축 연산을 수행하여, 손가락 끝에 대응하지 않는 상기 손가락 끝 영역 화상의 부분을 삭제하는

조작 입력 장치.
제 1 항에 있어서,

상기 손가락 끝 위치 검출부는 상기 손가락 끝 영역 화상을 평활화하여, 손가락 끝에 대응하지 않는 부분을 삭제하는

조작 입력 장치.
제 1 항에 있어서,

상기 손가락 끝 위치 검출부는 상기 손가락 끝 영역 화상의 질량 중심에 기초하여 상기 손가락 끝 위치를 검출하는

조작 입력 장치.
제 4 항에 있어서,

상기 손가락 끝 위치 검출부는 질량 중심으로부터 손가락의 기저부 방향으로 소정 거리만큼 이동하는 상기 손가락 끝 영역 화상과 관련된 위치에 기초하여 상기 손가락 끝 위치를 검출하는

조작 입력 장치.
제 1 항에 있어서,

상기 촬영된 화상은 상기 터치 패널의 후방 측으로부터 상기 촬영 장치에 의해 촬영되고, 상기 손가락 끝 위치 검출부는 상기 손가락 끝 영역 화상에서 가장 밝은 화소의 좌표를 상기 손가락 끝 위치의 기준점으로서 설정하는

조작 입력 장치.
손가락 누름의 실제 입력 위치를 나타내는 터치 패널로부터의 제1신호와, 상기 터치 패널 상의 손가락의 화상을 촬영하는 촬영 장치로부터의 제2신호를 수신하고, 상기 터치 패널로부터의 상기 제1신호에 기초하여, 표시 장치 상에 표시되는 메뉴와 관련된 조작 입력을 제공하는 조작 입력 장치에 있어서,

상기 촬영 장치에 의해 촬영된 화상으로부터 손가락 영역 화상을 추출하는 손가락 영역 추출부;

상기 손가락 영역 화상에 기초하여 손가락 끝 위치를 검출하는 손가락 끝 위치 검출부; 및

상기 손가락 영역 화상을 합성하고 메뉴 화상 상에 상기 손가락 영역 화상을 중첩하는 화상 합성부 - 상기 손가락 영역 화상 및 상기 메뉴 화상은 상기 손가락 영역 화상 및 상기 메뉴 화상이 모두 상기 표시 장치 상에서 시인 가능하도록 표시됨 - 를 포함하고,

상기 손가락 끝 위치와, 상기 메뉴 화상의 수동 조작 버튼 사이에 소정의 대응 관계가 존재하는 경우, 상기 수동 조작 버튼은 강조 표시되는

조작 입력 장치.
제 7 항에 있어서,

상기 소정의 대응 관계는 상기 수동 조작 버튼과 가장 근접한 상기 손가락 끝 위치 사이의 소정의 거리를 포함하는

조작 입력 장치.
제 7 항에 있어서,

상기 수동 조작 버튼은 입력을 받아들이도록 구성되는 경우에만 강조 표시되는

조작 입력 장치.
제 7 항에 있어서,

상기 손가락 끝 위치는 상기 손가락 영역 화상 및 상기 메뉴 화상 상에 중첩되는

조작 입력 장치.
제 7 항에 있어서,

상기 강조 표시의 방식은, 상기 수동 조작 버튼의 색을 변경하는 것; 상기 수동 조작 버튼과 관련된 텍스트 폰트를 변경하는 것; 상기 수동 조작 버튼의 프레임 폭을 변경하는 것; 상기 수동 조작 버튼의 3차원 표시 상태를 변경하는 것; 상기 수동 조작 버튼의 적어도 일부의 크기를 변경하는 것; 상기 수동 조작 버튼이 깜빡거리게 하는 것; 및 상기 수동 조작 버튼과 손가락 끝 사이의 거리에 따라 수동 조작 버튼의 밝기를 변경하는 것 중의 하나를 포함하는

조작 입력 장치.
손가락 누름의 실제 입력 위치를 나타내는 터치 패널로부터의 제1신호와, 상 기 터치 패널 상의 손가락의 화상을 촬영하는 촬영 장치로부터의 제2신호를 수신하고, 상기 터치 패널로부터의 상기 제1신호에 기초하여, 표시 장치 상에 표시되는 메뉴와 관련된 조작 입력을 제공하는 조작 입력 장치에 있어서,

상기 촬영 장치에 의해 촬영된 화상으로부터 손가락 영역 화상을 추출하는 손가락 영역 추출부;

상기 손가락 영역 화상에 기초하여 손가락 끝 위치를 검출하는 손가락 끝 위치 검출부; 및

상기 손가락 영역 화상을 합성하고 메뉴 화상 상에 상기 손가락 영역 화상을 중첩하는 화상 합성부 - 상기 손가락 영역 화상 및 상기 메뉴 화상은 상기 손가락 영역 화상 및 상기 메뉴 화상이 모두 상기 표시 장치 상에서 시인 가능하도록 표시됨 - 를 포함하고,

상기 손가락 누름이 검출되는 경우, 상기 실제 입력 위치와 관련된 제1좌표는 상기 실제 입력 위치에 근접한 상기 손가락 끝 위치와 관련된 제2좌표에 대응하도록 보정되는

조작 입력 장치.
제 12 항에 있어서,

상기 근접은 소정의 거리를 포함하고, 상기 제1좌표는 상기 제1좌표가 상기 제2좌표로부터 상기 소정의 거리 이하일 경우에 보정되는

조작 입력 장치.
제 13 항에 있어서,

상기 손가락 끝 위치가 상기 메뉴 화상과 관련하여 표시된 수동 조작 버튼에 근접하는 경우, 상기 수동 조작 버튼이 강조 표시되고, 상기 손가락 누름이 검출되는 경우, 상기 수동 조작 버튼이 조작된 것으로 간주된 상태에서 처리가 수행되는

조작 입력 장치.
손가락 누름의 실제 입력 위치를 나타내는 터치 패널로부터의 제1신호와, 상기 터치 패널 상의 손가락의 화상을 촬영하는 촬영 장치로부터의 제2신호를 수신하고, 상기 터치 패널로부터의 상기 제1신호에 기초하여, 표시 장치 상에 표시되는 메뉴와 관련된 조작 입력을 제공하는 조작 입력 장치에 있어서,

상기 촬영 장치에 의해 촬영된 화상으로부터 손가락 영역 화상을 추출하는 손가락 영역 추출부;

상기 손가락 영역 화상에 기초하여 손가락 끝 위치를 검출하는 손가락 끝 위치 검출부; 및

상기 손가락 영역 화상을 합성하고 메뉴 화상 상에 상기 손가락 영역 화상을 중첩하는 화상 합성부 - 상기 손가락 영역 화상 및 상기 메뉴 화상은 상기 손가락 영역 화상 및 상기 메뉴 화상이 모두 상기 표시 장치 상에서 시인 가능하도록 표시됨 - 를 포함하고,

수동 조작 버튼과 상기 손가락 끝 위치 사이의 거리가 소정 범위 이내에 있으며 상기 손가락 누름이 검출되는 경우, 상기 수동 조작 버튼이 조작된 것으로 간주된 상태에서 처리가 수행되는

조작 입력 장치.
대상 장치의 조작에 이용되는 조작 물체를 화상 처리에 의해 추출하는 정보 기기 조작 장치에 있어서,

외부 광을 수광하는 상기 조작 물체의 수광 표면과 반대인 상기 조작 물체의 반대 표면의 화상을 촬영하기 위한 위치에 배치되는 촬상 장치;

상기 조작 물체의 반대 표면에 인가되는 광을 생성하기 위한 위치에 배치되는 조명 장치;

상기 조명 장치가 복수의 휘도 조건 하에서 광을 생성하도록 제어하고, 상기 촬상 장치가 상기 화상을 촬영하도록 제어하는 제어 수단;

상기 제어 수단에 의해 상기 복수의 휘도 조건을 생성하도록 제어되는 상기 조명 장치에 의해 발생되는 복수의 조도 조건 하에서, 상기 촬상 장치에 의해 취득되는 복수의 화상을 기억하는 화상 기억 수단;

상기 복수의 화상을 비교하여 상기 조작 물체를 추출하는 조작 물체 추출 수 단;

상기 조작 물체 추출 수단에 의해 추출되는 상기 조작 물체의 소정의 형상 및 이동 중의 적어도 하나를 검출하는 검출 수단; 및

상기 검출 수단에 의해 검출된 상기 조작 물체의 상기 소정의 형상 및 이동 중의 적어도 하나에 대응하는 신호를 상기 대상 장치로 출력하는 신호 출력 수단을 포함하는

정보 기기 조작 장치.
제 16 항에 있어서,

상기 검출 수단은 상기 촬상 장치의 광축에 수직인 가상 평면 상에서의 상기 조작 물체의 이동을 검출하는

정보 기기 조작 장치.
제 16 항에 있어서,

상기 검출 수단은 상기 촬상 장치의 광축에 수직인 가상 평면에 대한 상기 조작 물체의 회전각을 검출하는 회전각 검출 수단을 포함하고,

상기 신호 출력 수단은 상기 회전각 검출 수단에 의해 검출된 상기 조작 물체의 상기 회전각을 출력하는

정보 기기 조작 장치.
제 18 항에 있어서,

상기 조작 물체 추출 수단은 추출 결과를 나타내는 상기 조작 물체의 추출 화상을 상기 화상 기억 수단이 기억하도록 하고,

상기 회전각 검출 수단은 상기 화상 기억 수단에 기억된 상기 추출 화상의 각 화상의 윤곽 방향을 검출하고, 상기 검출된 윤곽 방향에 기초하여 평균 윤곽 방향을 검출하고, 상기 검출된 평균 윤곽 방향을 상기 조작 물체의 회전각으로서 결정하는

정보 기기 조작 장치.
제 16 항에 있어서,

상기 검출 수단은 상기 촬상 장치의 광축에 수직인 가상 평면 상에서 서로 직교하는 두 방향에서 상기 조작 물체의 이동 방향 및 이동량을 검출하는 이동 검출 수단을 포함하고,

상기 신호 출력 수단은 상기 이동 검출 수단에 의해 검출된 상기 조작 물체의 상기 이동 방향 및 상기 이동량을 출력하는

정보 기기 조작 장치.
제 20 항에 있어서,

상기 이동 검출 수단은 상기 조작 물체 추출 수단에 의해 추출된 상기 조작 물체의 중심점 위치를 검출하고,

상기 이동 검출 수단은 상기 조작 물체의 상기 검출된 중심점 위치에 기초하여 상기 조작 물체의 상기 이동 방향 및 상기 이동량을 검출하는

정보 기기 조작 장치.
제 16 항에 있어서,

상기 신호 출력 수단은 상기 검출 수단에 의해 검출된 상기 조작 물체의 회전각, 이동 방향 및 이동량 중의 적어도 하나를 출력하도록 구성되는

정보 기기 조작 장치.
제 16 항에 있어서,

상기 검출 수단은 상기 촬상 장치의 광축과, 상기 촬상 장치의 광축에 수직인 가상 평면 상에서 서로 직교하는 2개의 축에 의해 정의되는 3차원 공간에서 상기 조작 물체의 이동을 검출하는

정보 기기 조작 장치.
제 23 항에 있어서,

상기 검출 수단은 3차원 공간에서 상기 조작 물체의 3차원 회전각을 검출하는 공간 회전각 검출 수단을 포함하고, 상기 3차원 회전각은 상기 3차원 공간에서 상기 조작 물체와 관련된 회전축에 대해 측정된 각도를 나타내고,

상기 신호 출력 수단은 상기 공간 회전각 검출 수단에 의해 검출된 상기 조작 물체의 상기 3차원 회전각을 출력하는

정보 기기 조작 장치.
제 24 항에 있어서,

상기 공간 회전각 검출 수단은 상기 추출된 조작 물체를 복수의 영역으로 분할하고, 상기 추출된 조작 물체는 상기 조작 물체 추출 수단에 의해 추출되고,

상기 공간 회전각 검출 수단은 상기 복수의 영역 각각에 대한 평균 휘도 및 중심점 위치를 검출하고,

상기 공간 회전각 검출 수단은 상기 복수의 영역 각각에 대한 상기 검출된 평균 휘도 및 상기 검출된 중심점 위치에 기초하여 상기 조작 물체의 상기 3차원 회전각을 검출하는

정보 기기 조작 장치.
제 25 항에 있어서,

상기 공간 회전각 검출 수단은 상기 추출된 조작 물체의 중심점 위치를 취득하고,

상기 공간 회전각 검출 수단은,

상기 취득된 중심점 위치를 통과하는 복수의 선; 및

상기 중심점 위치를 통과하는 선과 평행한 평행선, 및 상기 평행선과 교차하는 교차선

중의 하나를 따라 상기 추출된 조작 물체를 분할하는

정보 기기 조작 장치.
제 24 항에 있어서,

상기 조작 물체까지의 거리를 각각 측정하는 적어도 3개의 거리 센서를 더 포함하고,

상기 공간 회전각 검출 수단은 상기 적어도 3개의 거리 센서에 의해 측정된 거리에 기초하여 상기 조작 물체의 상기 3차원 회전각을 검출하는

정보 기기 조작 장치.
제 24 항에 있어서,

상기 조명 장치는 제1광을 생성하는 제1조명 장치 및 제2광을 생성하는 제2조명 장치를 포함하고,

상기 제2조명 장치는 상기 제1조명 장치의 위치와 상이한 위치에 배치되고,

상기 제2조명 장치는 상기 촬상 장치로부터 제1의 소정 거리 떨어져 있는 위치에서, 상기 제1조명 장치에 의해 생성된 상기 제1광과 교차하는 상기 제2광을 생성하도록 구성되고,

상기 공간 회전각 검출 수단은 상기 촬상 장치에 의해 입력된 화상에 기초하여, 상기 조작 물체 상에 투사된 상기 제1광 및 상기 제2광을 검출하고,

상기 공간 회전각 검출 수단은 상기 조작 물체 상에 투사된 상기 제1광 및 상기 제2광 사이의 거리에 기초하여, 상기 조작 물체의 상기 3차원 회전각을 검출하고, 상기 촬상 장치로부터 제2의 소정 거리 떨어져 있으며 상기 촬상 장치의 상기 광축에 수직인 가상 평면 상에 상기 조작 물체가 위치되어 있는

정보 기기 조작 장치.
제 28 항에 있어서,

상기 제1조명 장치는 지향성을 갖는 상기 제1광을 생성하도록 구성되고,

상기 제2조명 장치는 지향성을 갖는 상기 제2광을 생성하도록 구성되는

정보 기기 조작 장치.
제 28 항에 있어서,

상기 제1조명 장치 및 상기 조작 물체 사이에 배치되는 제1차광 장치 - 상기 제1차광 장치는 개구부를 가지며, 상기 제1조명 장치가 상기 제1광의 일부를 상기 제1차광 장치의 개구부를 통해 상기 조작 물체 상에 투사하도록 함 - ; 및

상기 제2조명 장치 상기 조작 물체 사이에 배치되는 제2차광 장치 - 상기 제2차광 장치는 개구부를 가지며, 상기 제2조명 장치가 상기 제2광의 일부를 상기 제2차광 장치의 개구부를 통해 상기 조작 물체 상에 투사하도록 함 - 를 더 포함하고,

상기 촬상 장치로부터 상기 제1의 소정 거리 떨어진 위치에서 상기 제1광의 일부가 상기 제2광의 일부와 교차하도록, 상기 제1차광 장치 및 상기 제2차광 장치가 배치되고,

상기 공간 회전각 검출 수단은 상기 촬상 장치에 의해 입력된 화상에 기초하여, 상기 조작 물체 상에 투사된 상기 제1광의 일부 및 상기 제2광의 일부를 검출하고,

상기 공간 회전각 검출 수단은 상기 조작 물체 상에 투사된 상기 제1광의 일부 및 상기 제2광의 일부 사이의 거리에 기초하여, 상기 조작 물체의 상기 3차원 회전각을 검출하고, 상기 촬상 장치로부터 상기 제2의 소정 거리 떨어져 있으며 상기 광축에 수직인 가상 평면 상에 상기 조작 물체가 위치되어 있는

정보 기기 조작 장치.
제 23 항에 있어서,

상기 검출 수단은 상기 3차원 공간에서 상기 조작 물체의 이동 방향 및 이동량을 검출하는 공간 이동 검출 수단을 포함하고,

상기 신호 출력 수단은 상기 3차원 공간에서 상기 조작 물체의 상기 검출된 이동 방향 및 상기 검출된 이동량을 출력하는

정보 기기 조작 장치.
제 31 항에 있어서,

상기 공간 이동 검출 수단은 소정 시간 간격으로 상기 추출된 조작 물체의 평균 휘도값을 검출하고, 상기 추출된 조작 물체는 상기 조작 물체 추출 수단에 의해 추출되고,

상기 공간 이동 검출 수단은 상기 검출된 평균 휘도값을 비교함으로써, 상기 촬상 장치의 광축 방향에서 상기 조작 물체의 이동을 검출하는

정보 기기 조작 장치.
제 31 항에 있어서,

상기 조작 물체까지의 거리를 측정하는 거리 센서를 더 포함하고,

상기 공간 이동 검출 수단은 상기 거리 센서에 의해 검출된 상기 거리에 기초하여, 상기 3차원 공간에서 상기 조작 물체의 상기 이동 방향 및 상기 이동량을 검출하는

정보 기기 조작 장치.
제 31 항에 있어서,

상기 조명 장치는 제1광을 생성하는 제1조명 장치 및 제2광을 생성하는 제2조명 장치를 포함하고,

상기 제2조명 장치는 상기 제1조명 장치의 위치와 상이한 위치에 배치되고,

상기 제2조명 장치는 상기 촬상 장치로부터 소정 거리 떨어져 있는 위치에서, 상기 제1조명 장치에 의해 생성된 상기 제1광과 교차하는 상기 제2광을 생성하도록 구성되고,

상기 공간 이동 검출 수단은 상기 촬상 장치에 의해 입력된 화상에 기초하여, 상기 조작 물체 상에 혀성되는 제1광 스폿 및 제2광 스폿을 검출하고, 상기 제1광 스폿은 상기 조작 물체 상에 상기 제1광을 투사하여 형성되고, 상기 제2광 스 폿은 상기 조작 물체 상에 상기 제2광을 투사하여 형성되고,

상기 공간 이동 검출 수단은 상기 촬상 장치로부터 취득된 화상에 기초하여, 상기 검출된 제1광 스폿의 크기 및 상기 검출된 제2광 스폿의 크기를 검출하고,

상기 공간 이동 검출 수단은 상기 제1광 스폿의 크기 및 상기 제2광 스폿의 크기에 기초하여, 상기 조작 물체까지의 거리를 검출하는

정보 기기 조작 장치.
제 34 항에 있어서,

상기 제1조명 장치는 지향성을 갖는 상기 제1광을 생성하도록 구성되고,

상기 제2조명 장치는 지향성을 갖는 상기 제2광을 생성하도록 구성되는

정보 기기 조작 장치.
제 34 항에 있어서,

상기 제1조명 장치 및 상기 조작 물체 사이에 배치되는 제1차광 장치 - 상기 제1차광 장치는 개구부를 가지며, 상기 제1조명 장치가 상기 제1광의 일부를 상기 제1차광 장치의 개구부를 통해 상기 조작 물체 상에 투사하도록 함 - ; 및

상기 제2조명 장치 상기 조작 물체 사이에 배치되는 제2차광 장치 - 상기 제2차광 장치는 개구부를 가지며, 상기 제2조명 장치가 상기 제2광의 일부를 상기 제 2차광 장치의 개구부를 통해 상기 조작 물체 상에 투사하도록 함 - 를 더 포함하고,

상기 촬상 장치로부터 소정 거리 떨어진 위치에서 상기 제1광의 일부가 상기 제2광의 일부와 교차하도록, 상기 제1차광 장치 및 상기 제2차광 장치가 배치되고,

상기 공간 이동 검출 수단은 상기 촬상 장치에 의해 입력된 화상에 기초하여, 상기 조작 물체 상에 투사되는 상기 제1광의 일부 및 상기 제2광의 일부를 검출하고,

상기 공간 이동 검출 수단은 상기 촬상 장치에 의해 입력된 화상에 기초하여, 상기 조작 물체 상에 형성되는 제1광 스폿 및 제2광 스폿을 검출하고, 상기 제1광 스폿은 상기 제1광을 상기 조작 물체 상에 투사하여 형성되고, 상기 제2광 스폿은 상기 제2광을 상기 조작 물체 상에 투사하여 형성되고,

상기 공간 이동 검출 수단은 상기 촬상 장치로부터 취득된 화상에 기초하여, 상기 검출된 제1광 스폿의 크기 및 상기 검출된 제2광 스폿의 크기를 검출하고,

상기 공간 이동 검출 수단은 상기 제1광 스폿의 크기 및 상기 제2광 스폿의 크기에 기초하여, 상기 조작 물체까지의 거리를 검출하는

정보 기기 조작 장치.
제 23 항에 있어서,

상기 신호 출력 수단은 상기 검출 수단에 의해 검출된 공간에서 상기 조작 물체의 회전각, 이동 방향 및 이동량 중의 적어도 하나를 출력하도록 구성되는

정보 기기 조작 장치.
제 16 항에 있어서,

상기 신호 출력 수단은 상기 검출 수단에 의해 검출된 상기 조작 물체의 상기 소정의 형상에 대응하는 신호를 출력하도록 구성되는

정보 기기 조작 장치.
제 38 항에 있어서,

상기 화상 기억 수단은 소정의 패턴 화상을 기억하고,

상기 검출 수단은 상기 화상 기억 수단에 기억된 상기 소정의 패턴 화상과, 상기 조작 물체 추출 수단에 의해 추출된 상기 조작 물체의 화상을 비교함으로써, 상기 조작 물체가 상기 소정의 형상을 가지는 것으로 결정하는

정보 기기 조작 장치.
제 16 항에 있어서,

조작자에 의한 조작에 기초하여, 신호 출력 수단에 의해 출력되는 신호를 스 위칭하는 출력 스위치 수단을 더 포함하고,

상기 신호 출력 수단은 상기 조작 물체가 상기 소정의 형상 및 이동을 나타내는 경우, 상기 출력 스위치 수단의 상태에 따라 상기 신호를 출력하도록 구성되는

정보 기기 조작 장치.
제 40 항에 있어서,

상기 출력 스위치 수단은 상기 조작자가 상기 출력 스위치 수단을 누른 경우에 조작되고,

상기 신호 출력 수단은 상기 출력 스위치 수단이 눌러지는 경우에 제1신호를 출력하고,

상기 신호 출력 수단은 상기 출력 스위치 수단이 눌러지지 않는 경우에 제2신호를 출력하는

정보 기기 조작 장치.