KR19990008158A

KR19990008158A - 인터페이스 장치

Info

Publication number: KR19990008158A
Application number: KR1019970707683A
Authority: KR
Inventors: 마루노수수무; 이마가와타로; 모리야미치요; 콘도켄지
Original assignee: 모리시타요우이치; 마쓰시타덴키산교가부시끼가이샤
Priority date: 1995-04-28
Filing date: 1996-04-25
Publication date: 1999-01-25
Also published as: US6191773B1; EP0823683B1; TW334540B; CN1183151A; WO1996034332A1; DE69634913T2; EP0823683A1; DE69634913D1; TW310401B; EP0823683A4

Abstract

본 발명은, 컴퓨터, 워드 프로세서 등의 정보 기기나 텔레비전 등의 디스플레이를 갖는 기기의 입출력을 행하는 인터페이스 장치에 관한 것으로, 조작자의 손의 형상 및 또는 그 움직임을 인식하는 인식 수단과, 이 인식 수단에 의해 인식된 손의 형상 및 또는 움직임의 특징을 특수 형상으로서 화면에 표시하는 표시 수단과, 이 표시 수단에 의해 화면에 표시된 특수 형상에 의해, 화면내에 표시된 정보를 제어하는 제어 수단을 구비하고, 손의 형상을 바꾸든지 동작하는 것만으로 화면에 표시된 2차원 혹은 3차원 정보를 선택하거나, 지시하거나, 움직이거나 하여 제어할 수 있는 조작성이 양호한, 범용성이 높은 인터페이스 장치이다.

Description

인터페이스 장치

이러한 종류의 종래의 인터페이스 장치로서, 표시 장치내의 정보에 무엇인가 별도의 정보를 부가하거나, 표시의 정보를 변경하거나, 선택하거나 하기 위해, 표시 화면중의 마우스에 의해 검출한 좌표 위치에 커서를 표시하여 행하는 것이 있다.

도 30은 이러한 종류의 종래의 인터페이스 장치의 개요를 도시하는 것이다. 도 30에 있어서, (501)은 호스트 컴퓨터, (502)는 디스플레이이며, 디스플레이(502)중에는 호스트 컴퓨터(501)에 의해, 가상의 조작 버튼(503, 504, 505)이 표시되어 있다. (506)은 마우스 커서이며, 마우스(507)에 의해 검출한 마우스(507)의 이동량에 근거하여, 마우스(507)의 움직임에 동기하여 화면중을 움직이도록, 호스트 컴퓨터(501)가 표시 제어한다. 사용자는, 마우스(507)를 움직이는 것에 의해, 표시 화면중의 임의의 가상의 조작 버튼의 위치에 마우스 커서(506)를 이동시켜, 마우스(507)상의 스위치(508)를 누르는 것에 의해, 조작 버튼을 선택하여, 호스트 컴퓨터(501)에 동작의 지시가 인가되도록 되어 있다.

그러나 상기 종래의 구성에서는, 기기의 본체와는 별도로 마우스라는 입력 장치가 필요하고, 또 마우스를 조작하는 테이블 등의 기틀이 필요하기 때문에, 휴대 정보 기기 등에 이용하는 것은 알맞지 않다. 또, 마우스를 거쳐서 조작을 실행하기 때문에, 반드시 직접적이고 알기 쉬운 인터페이스로는 되어 있지 않다.

발명의 개시

본 발명의 하나의 목적은, 키보드나 마우스 등의 입력 장치를 필요로 하지 않고, 간단히 기기의 조작이 가능한 인터페이스 장치에 있다. 또한 다른 목적으로서, 조작자의 의도에 따른 상호 작용의 판정이 차차 자동적으로 이루어지는 것에 의해, 표시물을 지시하거나, 잡거나 하는 조작의 조작성이 더욱 향상된 인터페이스 장치를 제공하고자 하는 것이다.

구성으로서 본 발명은, 조작자의 손의 형상을 인식하는 인식 수단과, 이 인식 수단에 의해 인식된 손의 형상의 특징을 특수 형상으로서 화면에 표시하는 표시 수단과, 이 표시 수단에 의해 화면에 표시된 특수 형상에 의해, 화면내에 표시된 정보를 제어하는 제어 수단을 구비한 인터페이스 장치에 있어서, 손의 형상을 바꾸는 것만으로 화면에 표시된 정보를 제어할 수 있는 것이다.

또한, 손의 움직임도 인식하는 것에 의해, 더욱 조작성이 좋은 인터페이스 수단을 제공하는 것이다. 그 움직임 인식은, 손의 형상 또는 움직임을 촬상(撮像)한 화상을 보존하는 프레임 메모리와, 상기 프레임 메모리내에 보존한 화상보다 이전의 시간에 촬상한 화상을 기준 화상으로서 축적하는 기준 화상 메모리를 마련하고, 프레임 메모리내의 화상과, 기준 화상 메모리내에 축적하고 있는 기준 화상과의 차이를 추출함으로써 달성한다. 또, 다른 인식 방법은, 촬상한 화상중의 사용자의 손의 형상 및 또는 움직임을 사용자의 윤곽으로서 추출하고, 그 윤곽을 추적하여, 윤곽선의 각도와 윤곽선의 길이와의 관계, 즉 윤곽 파형을 연산하고 필터링하여, 소정의 형상을 나타내는 형상 파형을 생성함으로써 달성된다.

또한, 손의 형상의 특징을 특수 형상으로서 화면에 표시하여 커서로서 조작하기 위한 커서 표시 수단과, 그 커서 표시 이외의 표시물과의 관련을, 커서 표시 이외의 표시물의 위치를 대표하는 대표점 좌표 및 형상으로서 기억하는 수단과, 커서 표시와 상기 표시물과의 사이의 상호 작용을 연산 판정하는 수단을 마련하여, 커서 표시를 가상의 매니퓰레이터(manipulator)화하여 표시하는 경우 등에 있어서, 표시된 가상 물체를 잡을 때에 조작자의 의도에 따른 상호 작용에 의해 조작이 매끄럽게 실현될 수 있는 것이다.

이상과 같이 구성한 인터페이스 장치는, 사용자가 인식 수단을 향해, 예컨대 손을 얹으면 손의 형상에 상당하는 특수 형상이 화면내에 소위 화면 조작을 위한 아이콘 표시가 이루어져, 그 아이콘 표시에 따른 제어가 가능해 진다.

또는 손짓에 의해서 지시를 가하면, 가해진 손짓이 표시 화면상에 손의 형상에 대응하여 설정된 특수 형상이 표시됨과 동시에, 그 움직임도 표시되어, 예컨대 표시 화면에 표시한 가상 스위치 등을 손짓에 의해서 선택하거나, 화면상에 표시된 표시물을 목적에 따라 잡거나 운반하거나 하는 것이 가능해져, 마우스 등의 입력 장치를 필요로 하지 않고, 대단히 간편한 기기의 조작이 가능해지는 것이다.

또한 손의 형상에 대응하여 설정된 특수 형상이 단순한 커서 이외에 가상 매니퓰레이터로서 동작하고, 가상 매니퓰레이터로 조작하고자 하는 표시물과의 상호 작용을, 조작자가 의도하던 판정이 차차 자동적으로 이루어지는 것에 의해 조작성이 더욱 향상된 인터페이스를 실현할 수 있다.

본 발명은, 컴퓨터, 워드 프로세서 등의 정보 기기나 텔레비전 등의 디스플레이를 갖는 기기의 입출력을 행하는 인터페이스 장치에 관한 것이다.

도 1은 본 발명의 실시예 1에 따른 인터페이스 장치의 외관도,

도 2는 본 발명의 동실시예에 따른 인터페이스 장치의 상세 블럭도,

도 3은 본 발명의 동실시예에 따른 인터페이스 장치에 의해 판단하는 손의 형상의 예를 도시한 도면,

도 4는 본 발명의 동실시예에 따른 인터페이스 장치의 형상 식별 수단의 상세 실시예를 도시한 도면,

도 5는 동실시예의 화상차 연산부에 의한 연산의 일례를 도시한 도면,

도 6은 동실시예의 아이콘 생성부가 생성하는 아이콘의 예를 도시한 도면,

도 7은 동실시예에 따른 인터페이스 장치의 동작예를 도시한 외관도,

도 8은 본 발명의 실시예 2에 따른 인터페이스 장치의 외관도,

도 9는 본 발명의 실시예 2에 따른 인터페이스 장치의 상세 블럭도,

도 10은 동실시예의 인터페이스 장치에 의해 판단하는 손의 형상의 예를 도시한 도면,

도 11은 동실시예의 인터페이스 장치의 동작 인식부의 상세 실시예를 도시한 도면,

도 12는 동실시예의 화상차 연산부에 의한 연산의 일례를 도시한 도면,

도 13은 동실시예의 동작예를 도시한 도면,

도 14는 본 발명의 실시예 3에 따른 인터페이스 장치의 상세 블럭도,

도 15는 본 발명에 따른 실시예 3의 인터페이스 장치의 동작 인식부의 상세 실시예를 도시한 도면,

도 16a∼d는 동실시예에 따른 인터페이스 장치에 의해 표시 화면상에 표시하는 아이콘의 예를 도시한 도면,

도 17은 본 발명의 동실시예에 따른 인터페이스 장치의 동작 인식부의 동작을 도시한 도면,

도 18은 본 발명의 동실시예에 따른 인터페이스 장치의 동작 인식부의 동작을 도시한 도면,

도 19는 본 발명의 동실시예에 따른 인터페이스 장치의 동작 인식부의 동작을 도시한 도면,

도 20은 본 발명의 동실시예에 따른 인터페이스 장치의 동작 인식부의 동작을 도시한 도면,

도 21은 실시예 4를 설명하기 위한 인터페이스 장치를 도시한 도면,

도 22a는 실시예의 인터페이스 장치에 이용하는 커서의 일례에 있어서 커서가 열린 상태를 도시한 도면,

도 22b는 실시예의 닫힌 상태를 도시한 도면,

도 22c는 실시예의 인터페이스 장치에 이용하는 커서의 일례에 있어서 커서가 열린 상태를 도시한 도면,

도 22d는 실시예의 닫힌 상태를 도시한 도면,

도 22e는 실시예의 인터페이스 장치에 이용하는 커서의 일례에 있어서 커서가 열린 상태를 도시한 도면,

도 22f는 실시예의 닫힌 상태를 도시한 도면,

도 23a는 실시예의 인터페이스 장치에 이용하는 가상 물체의 일례의 형태를 도시한 도면,

도 23b는 실시예의 인터페이스 장치에 이용하는 가상 물체의 일례의 형태를 도시한 도면,

도 24a는 가상 공간의 커서와 가상 물체의 배치를 도시한 정면도,

도 24b는 가상 공간의 커서와 가상 물체의 배치를 도시한 측면도,

도 25는 동실시예를 설명하기 위한 가상 공간의 표시예를 도시한 도면,

도 26은 동실시예의 인터페이스 장치의 일례를 도시한 블럭도,

도 27a는 동실시예의 인터페이스 장치에 이용하는 입력 수단에 있어서의 입력 장치의 일례를 도시한 도면,

도 27b는 동실시예의 인터페이스 장치에 이용하는 입력 수단에 있어서의 입력 장치의 일례를 도시한 도면,

도 27c는 동실시예의 인터페이스 장치에 이용하는 입력 수단에 있어서의 입력 장치의 일례를 도시한 도면,

도 28a는 동실시예의 카메라를 이용하여 손을 촬상한 화상의 일례를 도시한 도면,

도 28b는 동실시예의 카메라를 이용하여 손을 촬상한 화상을 이치화(二値化)한 일례를 도시한 도면,

도 29a는 본 발명의 동실시예의 인터페이스 장치에 이용하는 표시 수단이 표시하는 화면의 일례를 도시한 도면,

도 29b는 동표시 화면의 제 2 예를 도시한 도면,

도 29c는 동표시 화면의 제 3 예를 도시한 도면,

도 29d는 동표시 화면의 제 4 예를 도시한 도면,

도 30은 종래의 인터페이스 장치를 설명하기 위한 설명도.

(실시예 1)

본 발명의 실시예 1은, 조작자의 손의 형상을 인식하기 위해 촬상 장치 등의 인식 수단과, 이 인식 수단에 의해 인식된 손의 형상의 특징을 아이콘 등으로 특수 형상으로서 화면에 표시하는 표시 수단과, 이 표시 수단에 의해 화면에 표시된 아이콘 등의 특수 형상을 소위 커서로서 동작시켜 화면내에 표시된 정보를 손의 형상을 바꾸는 것에 의해 제어하는 제어 수단을 구비한 인터페이스 장치이다.

도 1은, 본 발명에 의한 인터페이스 장치의 실시예 1의 외관을 도시한 것이다. (1)은 호스트 컴퓨터, (2)는 표시에 이용하는 디스플레이, (3)은 화상을 촬상하는 CCD 카메라이다. CCD 카메라(3)는, 디스플레이의 표시 방향과 동일 방향으로 촬상면을 배치하여 놓아, 사용자가 표시면에 향하는 것에 의해, 사용자의 손 형상을 촬상할 수 있도록 되어 있다. 디스플레이상에는, 메뉴(201, 202) 및 상기 손 형상을 반영한 표시를 행하는 아이콘(200)을 표시할 수 있도록 되어 있다.

도 2는, 본 발명의 상세 블럭도를 도시하는 것이다. CCD 카메라로부터 입력된 화상은, 프레임 메모리(21)에 저장된다. 기준 화상 메모리(25)에는, 미리 촬상된 사람을 포함하지 않는 배경의 화상을, 기준 화상으로서 보존하고 있다. 기준 화상은 필요에 따라 수시 갱신할 수 있다.

형상 식별 수단(22)은, 프레임 메모리내에 저장한 화상과, 기준 화상 메모리에 보존된 화상과의 차를 추출함으로써, 화상중에서 배경 화상을 제거함과 동시에, 예컨대 사용자의 손에 상당하는 부분을 추출하여, 그 형상이, 예컨대 도 3a에 도시한 바와 같은, 한 개의 손가락 형상인지, 또는 도 3b에 도시한 바와 같은 두 개의 손가락 형상인지, 또는 그 외에 도 3c와 같은 것인지를 판단한다.

도 4는, 형상 식별 수단(22)의 상세 실시예를 도시한 것으로, 화상차 연산부(221)와, 윤곽 추출부(222)와, 형상 식별부(223)로 구성한 예를 도시한 것이다.

화상차 연산부(221)는, 전술한 바와 같이, 프레임 메모리내에 저장한 화상과, 기준 화상 메모리에 보존된 화상과의 차를 연산한다. 이에 따라, 추출하고자 하는 물체, 예컨대 사용자와 배경의 부분을 분리할 수 있는 것이다. 예컨대, 화상차 연산부(221)를 단순한 감산 회로로 구성한 경우, 도 5에 도시하는 바와 같이 프레임 메모리내의 화상중의 사용자의 손의 부분만을 추출할 수 있는 것을 알 수 있다. 윤곽 추출부(222)는, 화상차 연산부(221)에 의해 연산한 결과의 화상중에 존재하는 물체의 윤곽 형상을 추출한다. 구체적인 방법예로서는, 화상의 에지를 추출함으로써, 간단히 윤곽 형상을 추출할 수 있다.

형상 식별부(223)는, 상기 윤곽 추출부(222)에 의해서 추출한, 손의 윤곽 형상을 상세히 식별하여, 예컨대 그 형상이, 도 3a에 도시한 바와 같은, 한 개의 손가락의 형상인지, 또는 도 3b에 도시한 바와 같은 두 개의 손가락의 형상인지를 판단한다. 형상의 식별법으로서는 예컨대, 템플레이트 매칭(template matching), 형상 모델과의 매칭 방법, 뉴럴 네트워크(neural network) 등을 이용하는 것이 가능하다.

아이콘 생성부(24)는, 상기 형상 식별부(223)에 의한 손의 형상의 식별 결과에 근거하여, 디스플레이에 표시해야 할 특수 형상으로서 아이콘 화상을 생성한다. 예컨대, 손의 형상의 식별 결과가 한 개의 손가락 형상이면, 예컨대 도 6a에 도시한 바와 같은 숫자 1의 아이콘을, 또 두 개의 손가락 형상이면, 예컨대 도 6b에 도시한 바와 같은, 숫자 2의 아이콘을 생성한다. 아이콘의 형상으로서는 손의 형상의 식별 결과가 한 개의 손가락 형상이면, 도 6c에 도시한 바와 같은 한 개의 손가락형의 아이콘을, 또 두 개의 손가락 형상이면, 도 6d에 도시한 바와 같은 두 개의 손가락형의 아이콘 등을 생성하여도 좋다. 표시 제어부(23)는, 형상 식별부(223)에 의한 손의 형상의 식별 결과에 근거하여 표시를 제어한다. 예컨대, 식별 결과에 근거한 상기 아이콘을 표시함과 동시에, 식별 결과와 미리 대응시켜 놓은 메뉴를 손 형상의 식별 결과에 근거하여 강조하여 표시를 한다.

이상과 같이 구성한 본 발명의 실시예에 의한 조작예를 이하에 나타낸다.

도 7a에 도시한 바와 같이, 본 발명에 의한 인터페이스 장치를 구비한 기기를 향하여 사용자가 손을 한 개의 손가락 형상으로 하면, 디스플레이상에 숫자 1의 아이콘이 표시됨과 동시에, 첫 번째의 메뉴인 텔레비전의 표시가 강조 표시된다. 이 때 강조 표시에 맞춰 디스플레이 장치로부터 소리 혹은 음성을 출력 하는 것에 의해 조작자의 주의를 더욱 환기시키는 것이 가능하다. 여기서, 도 7b와 같이 손을 두 개의 손가락 형상으로 하면, 디스플레이상에 숫자 2의 아이콘이 표시됨과 동시에, 두 번째의 메뉴인 네트워크의 표시가 강조 표시된다. 이 상태에서 예컨대 일정 시간 동일한 손의 형상을 유지하는 것에 의해 두 번째의 메뉴가 선택되어, 호스트 컴퓨터에 네트워크 단말의 표시를 하도록 지령을 내리는 것이 가능하다. 메뉴의 선택에는 음성 등을 병용하여도 좋다. 도 7c와 같이 미리 결정된 손의 형상 이외인 경우에는 디스플레이상에는 아이콘 및 메뉴는 표시되지 않고, 호스트 컴퓨터에 명령은 전달되지 않는다.

이와 같이 본 발명에 의하면, 촬상한 화상중의 손의 형상을 식별하여, 식별 결과에 따라 컴퓨터 등의 기기를 제어하는 것이 가능하고, 키보드나 마우스 등의 기기를 이용하지 않고서 원격으로 비접촉으로 조작을 하는 것이 가능하다. 또한, 손의 형상을 식별한 결과를 화면에 반영시키는 것에 의해 사용자가 식별 결과를 확인하면서 조작을 할 수 있어서, 사용하기 쉽고 또한 확실한 조작이 가능해 진다.

또, 본 실시예에서는 단지 메뉴 선택에 적용한 예를 도시하였지만, 손의 임의의 형상에 따른 아이콘 표시가, 그림이나 문장 등으로 치환하도록 미리 설정함으로써, 그림이나 문자를 표시에 기입 제어하는 것도 용이한 것은 물론이다.

(실시예 2)

본 발명의 실시예 2는, 적어도 촬상부와, 촬상한 화상중의 물체의 형상 및 또는 움직임을 인식하는 동작 인식부와, 이 동작 인식부에 의해 인식한 물체의 형상 및 또는 움직임을 표시하는 표시부에 따라 구성하고, 상기 촬상부에서 촬상한 화상을 보존하는 프레임 메모리와, 이 프레임 메모리내에 저장한 화상보다 이전의 시간에 촬상한 화상을 기준 화상으로서 축적하는 기준 화상 메모리를 마련하고, 동작 인식부에, 프레임 메모리내의 화상과, 기준 화상 메모리내에 축적하고 있는 기준 화상과의 차이를 추출하는 화상 변화 추출부를 마련한 인터페이스 장치이다.

도 8은, 본발명에 의한 인터페이스 장치의 실시예 2의 외관을 도시한 것이다. 도 8에 있어서 실시예 1과 동일한 기능을 갖는 부분에는 동일한 수치로 구성 요소를 나타낸다. 즉, (1)은 호스트 컴퓨터, (2)는 표시에 이용하는 디스플레이, (3)은 화상을 촬상하는 CCD 카메라이다. CCD 카메라(3)는, 디스플레이(2)의 표시 방향과 동일 방향으로 촬상면을 배치해 놓아서, 사용자가 표시면에 향하는 것에 의해, 사용자의 손짓을 촬상할 수 있도록 되어 있다. 디스플레이(2)의 표시면상에는, 가상 스위치(204, 205, 206) 및 상기 가상 스위치를 선택하는 화살표 커서의 아이콘(203)을 표시할 수 있도록 되어 있다.

도 9는, 본 실시예의 상세한 구성의 블럭도를 도시하는 것이다. CCD 카메라(3)로부터 입력된 화상은, 프레임 메모리(21)에 저장된다. 기준 화상 메모리(25)에는, 미리 촬상된 화상이, 기준 화상으로서 보존되어 있다. 기준 화상 갱신부(26)는, 타이머(261)와 화상 갱신부(262)에 의해 구성되어 있으며, 타이머(261)에서 지시되는 일정한 시간 간격으로 프레임 메모리(21)에 보존한 최신 화상을 기준 화상 메모리(25)에 전송하여, 기준 화상을 갱신한다.

동작 인식부(22)는, 프레임 메모리내에 저장한 화상과, 기준 화상 메모리에 보존된 화상과의 차를 추출함으로써, 화상중으로부터 배경 화상을 제거함과 동시에, 예컨대 사용자의 손에 상당하는 부분을 추출하여, 그 형상이, 예컨대 도 10a에 도시한 바와 같은 한 개의 손가락 형상인지, 또 도 10b에 도시한 바와 같은 주먹의 형상인지를 판단한다.

도 11은, 동작 인식부(22)의 상세 실시예를 도시한 것으로, 화상차 연산부(221)와 윤곽 추출부(222)와 형상 변화 식별부(225)와 위치 검출부(224)에 의해 구성한 예를 도시한 것이다.

화상차 연산부(221)는, 전술한 바와 같이 프레임 메모리(21)내에 저장한 화상과, 기준 화상 메모리(25)에 보존된 화상과의 차를 연산한다. 이에 따라, 움직임으로서 추출하고자 하는 물체, 예컨대 사용자의 손의 부분과 배경의 부분을 분리할 수 있음과 동시에, 움직이고 있는 물체 화상만을 추출할 수 있다. 예컨대, 화상차 연산부(221)를 단순한 감산 회로로 구성한 경우, 도 12에 도시한 바와 같이 기준 화상중의 손의 부분과, 프레임 메모리중의 최신 화상중의 손의 부분만을 추출할 수 있으며, 움직이고 있는 손의 부분만을 간단히 확인할 수 있는 것이다. 윤곽 추출부(222)는, 화상차 연산부(221)에 의해 연산한 결과의 화상중에 존재하는 물체, 즉 움직이기 전과, 움직인 후의 손의 부분의 윤곽 형상을 추출한다. 구체적인 방법예로서는, 화상의 에지를 추출함으로써, 간단히 윤곽 형상을 추출할 수 있다.

형상 변화 식별부(225)는, 윤곽 추출부(222)에 의해 추출한, 움직인 후의 손의 부분의 윤곽 형상을 상세히 식별하여, 예컨대 그 형상이, 도 10a에 도시한 바와 같은, 한 개의 손가락 형상인지, 또 도 10b에 도시한 바와 같은 주먹 형상인지를 판단한다. 이와 동시에 위치 검출부(224)는, 상기 움직인 후의 사용자의 손의 부분의 윤곽 형상의 중심 좌표를 연산한다.

아이콘 생성부(24)는, 형상 변화 식별부(225)에 의한 손의 형상의 식별 결과에 근거하여, 디스플레이에 표시해야 할 아이콘 화상을 생성한다. 아이콘 화상의 예로서는 예컨대, 손의 형상의 식별 결과가 한 개의 손가락 형상이면, 예컨대 도 13a에 도시한 바와 같은 화살표의 아이콘을 생성하고, 또 주먹 형상이면, 예컨대 도 13b에 도시한 바와 같은 X 표시의 아이콘을 생성한다. 또한, 손의 형상의 식별 결과가 두 개의 손가락 형상이면, 예컨대 도 13c에 도시한 바와 같은 두 개의 손가락 형상을 모방한 형상의 아이콘을 생성하며, 또 주먹의 형상이면, 예컨대 도 13d에 도시한 바와 같은, 주먹 형상을 모방한 형상의 아이콘을 생성하는 구성으로 하여도 좋다.

표시 제어부(23)는, 아이콘 생성부(24)에 의해 생성한 아이콘의 디스플레이(2)상에서의 표시 위치를 제어하는 것에 의해, 좌표 변환부(231)와 좌표 반전부(232)로 이루어진다. 좌표 변환부(231)는, 촬상한 화상의 좌표로부터 디스플레이(2)의 표시 좌표로의 변환을 실행하고, 또 좌표 반전부(232)는, 변환한 표시 좌표의 좌우 위치를 반전한다. 즉, 위치 검출부(224)에 의해 검출한 사용자의 손에 상당하는 부분의 화상중의 중심 좌표로부터, 디스플레이(2)의 표시 좌표로의 변환을 행하여, 좌우의 좌표를 반전시켜 디스플레이(2)에 아이콘을 표시할 수 있다. 이 조작에 의해, 사용자가 손을 오른쪽으로 움직이면, 이 동작을 거울에 반사한 것과 같이, 표시 화면상에서 아이콘이 마주보아 오른쪽으로 움직인다.

이상과 같이 구성한 본 실시예에 의한 조작예를 이하에 나타낸다. 도 8에 도시한 바와 같이 본 실시예에 의한 인터페이스 장치를 구비한 기기를 향하여 사용자가 손을 한 개의 손가락 형상으로 하여 움직이면, 디스플레이상에 표시한 화살표 커서가, 손의 움직임에 대응한 임의의 위치로 이동한다. 다음에, 디스플레이(2)상에 표시한 임의의 가상 스위치(204, 205, 206)상에 손을 움직이는 것에 따라 화살표 커서를 이동시키고, 손을 쥐어, 주먹 형상으로 하면, 그 가상 스위치(204, 205, 206)가 선택되어, 호스트 컴퓨터(1)에 지령을 인가할 수 있다.

또한, 본 실시예에서는, 촬상한 화상중의 물체의 형상 및 움직임을 인식하는 구성으로 하였지만, 촬상한 화상중의 물체의 형상 또는 움직임중 어느 하나를 인식하는 구성으로 하여도 좋은 것은 물론이다.

이상과 같이 본 발명에 의하면, 촬상한 화상중의 물체의 형상 및 또는 움직임을 인식하는 동작 인식부와, 동작 인식부에 의해 인식한 물체의 형상 및 또는 움직임을 표시하는 표시부와, 촬상부로 촬상한 화상을 저장하는 프레임 메모리와, 프레임 메모리내에 저장한 화상보다 이전의 시간에 촬상한 화상을 기준 화상으로서 축적하는 기준 화상 메모리를 마련하고, 동작 인식부에, 프레임 메모리내의 화상과, 기준 화상 메모리내에 축적하고 있는 기준 화상과의 차이를 추출함으로써, 촬상부를 향하여 사용자가 예컨대 손짓에 의해서 지시를 내리면, 인가한 손짓이 표시 화면상에 표시되어, 예컨대 표시 화면상에 표시한 가상 스위치 등을 손짓에 의해서 선택할 수 있어서, 마우스 등의 입력 장치를 필요로 하지 않고, 대단히 간편한 기기의 조작이 가능해지는 것이다.

(실시예 3)

본 발명의 실시예 3은, 적어도 촬상부와, 촬상한 화상중의 사용자의 손의 형상 및 또는 움직임을 인식하는 동작 인식부와, 이 동작 인식부에 의해 인식한 사용자의 손의 형상 및 또는 움직임을 표시하는 표시부를 가지며, 촬상한 사용자의 윤곽을 추출하는 윤곽 추출 수단과, 이 추출한 윤곽을 추적하여, 윤곽선의 각도와 윤곽선의 길이와의 관계, 즉 윤곽 파형을 연산하는 윤곽 파형 연산부와, 이 윤곽 파형 연산부에 의해 연산한 윤곽 파형을 필터링하여, 소정의 형상을 나타내는 형상 파형을 생성하는 형상 필터를 마련하여 상기 동작 인식부를 구성한 인터페이스 장치이다.

이상과 같이 구성한 인터페이스 장치의 촬상부를 향하여 사용자가, 예컨대 손짓에 의해 지시를 가하면, 촬상부는 사용자의 화상을 촬상한다. 윤곽 추출 수단은 사용자의 화상의 윤곽을 추출하고, 이 윤곽은, 윤곽 파형 연산부에 의해, 윤곽상의 기준점을 개시점으로 한 윤곽선의 길이를 횡축으로 하여, 수평선에 대한 윤곽선의 각도, 즉 윤곽 파형으로서 변환된다. 이 윤곽 파형은, 소정의 대역의 밴드패스 필터(bandpass filter), 예컨대 손가락의 요철에 상당하는 밴드패스 필터에 의해 구성한 형상 필터에 의해 손가락의 요철 형상을 나타내는 형상 파형으로 변환되어, 손이 있는 위치를 연산함과 동시에, 이 형상 파형중에 존재하는 펄스수를 세는 것만으로, 나와 있는 손가락 개수, 즉 손의 형상을 정확하게 판단시킬 수 있다. 이 손의 위치나 형상에 근거하여, 인가한 손짓이 표시부의 표시 화면상에 표시되어, 예컨대 표시 화면상에 표시한 가상 스위치 등을 손짓에 의해 선택할 수 있는 것이어서, 마우스 등의 입력 장치를 필요로 하지 않고, 대단히 간편한 기기의 조작이 가능해진다.

또한, 대역이 다른 복수의 밴드패스 필터에 의해 복수의 형상 필터를 구성하여, 상기 복수의 형상 필터에 의해 생성한 형상 파형에 근거하여, 사용자의 동작을 판정시키도록 구성하여도 좋다. 이에 따라, 복수의 형상을 인식할 수 있게 된다.

또한, 적어도 손의 요철에 대응하는 윤곽 파형 형상의 밴드패스 필터와, 손가락의 요철에 대응하는 윤곽 파형 형상의 밴드패스 필터에 의해 복수의 형상 필터를 구성하여도 좋다. 이에 따라, 손의 부분의 요철만을 반영한 매끄러운 형상 파형으로 변환되고, 또 손가락의 요철만을 반영한 형상 파형으로 변환된다.

또한, 촬상한 사용자의 윤곽 형상의 좌표와, 윤곽 파형 연산부에 의해 연산한 윤곽 파형과의 대응을 기억시키는 좌표 테이블을 마련하고, 형상 파형의 파고 존재 위치와 상기 좌표 테이블을 이용하여, 촬상 화상중의 소정의 형상이 존재하는 좌표를 연산하는 좌표 연산부를 마련하여 동작 인식부를 구성하여도 좋다. 이에 따라, 윤곽 형상의 좌표가 연산되어, 그 좌표가 출력된다.

또한, 형상 필터에 의해 생성한 형상 파형중의 펄스수를 세는 형상 판정부를 마련하여 동작 인식부를 구성하고, 상기 형상 판정부의 출력값에 따라, 물체의 형상을 판정시키도록 하여도 좋다. 이에 따라, 펄스수에 따라, 두 개의 손가락 형상인지, 주먹진 형상인지의 판정이 용이하게 이루어진다.

또한, 형상 필터에 의해 생성한 형상 파형을 미분하는 미분기를 마련하여 동작 인식부를 구성하여도 좋다. 미분에 의해, 파형이 보다 펄스 형상으로 되어, 펄스수의 카운트가 용이해 진다.

본 발명에 의한 인터페이스 장치의 실시예의 외관은 실시예 2에 도시한 도 8과 마찬가지이며, 실시예 2와 동일한 부분은 도 8, 도 10을 이용하여 설명하고, 기타 다른 부분만을 도 14 이후에 나타내고 있다.

도 14는, 본 발명의 실시예 3의 상세 블럭도를 도시하는 것이다. CCD 카메라(3)로부터 입력된 화상은, 프레임 메모리(31)에 저장된다. 동작 인식부(32)는, 프레임 메모리(31)내에 저장한 화상중에서, 예컨대 사용자의 손에 상당하는 부분을 추출하여, 그 형상이, 예컨대 도 10a에 도시한 바와 같은 한 개의 손가락 형상인지, 또 도 10b에 도시한 바와 같은 주먹 형상인지를 판단한다.

도 15는, 동작 인식부(32)의 상세한 실시예를 도시한 것이며, 도 16∼도 20을 이용하여 그 상세한 동작을 설명한다.

윤곽 추출부(321)는, 화상중에 존재하는 물체의 윤곽 형상을 추출한다. 구체적인 방법예로서는, 화상을 이치화(二値化)하고, 그 에지를 추출함으로써, 간단히 윤곽 형상을 추출할 수 있다. 도 17(A1)은, 추출한 윤곽선의 일례이며, 손의 부분은 한 개의 손가락 형상을 나타내고 있다.

다음에 윤곽 파형 연산부(322)는, 도 17(A1)에 도시한 바와 같은 윤곽 추출부(321)에 의해 추출한 물체의 윤곽 형상을 도면내의 개시점 s를 기점으로 하여, 도면의 화살표의 방향(반시계 방향)으로 윤곽선을 따라, 도 19에 도시한 바와 같이 윤곽선상의 각 점 x에 있어서의 윤곽선의 수평선으로부터의 각도 θ를, 개시점 s로부터의 거리 l에 대한 함수로서 추출하여, 도 17(B1)에 도시한 바와 같은, 거리 l을 시간축으로 한 파형 형상으로 변환함과 동시에, 거리 l에 대응하는 윤곽선상의 각 점의 좌표를 테이블로 하여, 변환 테이블(324)에 보존한다. (3231) 및 (3232)로 나타내는 형상 필터 1 및 형상 필터 2는, 각각 도 17(B1)에 도시한 윤곽 파형중의 손 부분의 요철, 및 손가락 부분의 요철에 대응하는 대역을 통과시키는 필터이다.

형상 필터 1에 의해, 도 17(B1)은, 도 17(B11)에 도시한 바와 같이, 손 부분의 요철만을 반영한 매끄러운 형상 파형으로 변환되고, 또 형상 필터 2에 의해, 도 17(B12)에 도시한 바와 같이, 손가락의 요철만을 반영한 형상 파형으로 변환되어, 각각 미분기(3251 및 3252)에 의해 미분되고, 최종적으로, 도 17(Bl12) 및 도 17(B122)에 도시하는 형상 미분 파형을 얻을 수 있다. 형상 판정부(3262)는, 손 부분의 윤곽 형상이, 도 10a에 도시한 바와 같은, 두 개의 손가락 형상인지, 또 도 10b에 도시한 바와 같은 주먹 형상인지를 판단하고, 이와 동시에 좌표 연산부(3261)는, 상기 사용자의 손 부분의 윤곽 형상의 중심 좌표를 연산하는 것이다. 좌표 연산부(3261)는, 도 17(Bl12)에 도시하는 형상 미분 파형중의, 큰 펄스 파형이 존재하는 위치, lc1, lc2를 구하여, 좌표 변환 테이블(324)에 의해, 도 20에 도시하는 c1점, c2점으로 변환하고, c1점에서 c2점까지의 손 부분의 윤곽선에 의해, 손 부분의 중심을 연산하여, 손 좌표로서 출력한다.

또, 형상 판정부(3262)는, 도 17(B122)의 형상 미분 파형중의 손가락 부분에 상당하는 펄스 파형의 수를 카운트하여 출력한다. 즉, 도 17(B122)의 경우에는, 손가락 부분에 상당하는 2개의 큰 펄스 파형이 존재하기 때문에, 도 10a에 도시하는 바와 같은, 두 개의 손가락 형상인 것으로 판정하여 출력할 수 있다. 또, 도 18(A2)에 도시하는 바와 같이, 손을 쥔 형상인 경우, 손가락 부분의 요철이 거의 없으며, 형상 필터 2의 출력은, 도 18(B22)에 도시하는 바와 같이, 요철이 없는 형상 파형으로 되며, 따라서 미분기(3262)의 출력도, 도 18(B222)에 도시하는 바와 같이, 펄스 파형이 없는 것과 같은 형상 미분 파형으로 되고, 펄스 파형의 카운트는 0으로 되어, 도 10b에 도시한 바와 같은 주먹 형상인 것으로 판정하여 출력할 수 있다.

이 형상 판정부(3262)의 구체적인 구성예로서는, 단순한 임계값 처리법이나, 뉴럴 네트워크 등을 이용할 수 있다.

도 14의 아이콘 생성부(34)는, 도 15내의 형상 판정부(3262)에 의한 손의 형상의 식별 결과에 근거하여, 디스플레이에 표시해야 할 아이콘 화상을 생성한다. 예컨대, 손의 형상의 식별 결과가 한 개의 손가락 형상이면, 예컨대 도 16a에 도시하는 바와 같은 화살표의 아이콘을, 또 주먹 형상이면, 예컨대 도 16b에 도시하는 바와 같은, X 표시의 아이콘을 생성한다. 표시 제어부(33)는, 아이콘 생성부(34)에 의해 생성한 아이콘의 디스플레이상에서의 표시 위치를 제어하기 때문에, 좌표 변환부(331)와 좌표 반전부(332)로 이루어진다. 좌표 변환부(331)는, 촬상한 화상의 좌표로부터 디스플레이의 표시 좌표로의 변환을 행하고, 또 좌표 반전부(332)는, 변환한 표시 좌표의 좌우 위치를 반전한다. 즉, 도 15내의 좌표 연산부(3261)가 출력한 사용자의 손에 상당하는 부분의 화상중의 중심 좌표로부터, 디스플레이의 표시 좌표로의 변환을 행하고, 좌우의 좌표를 반전시켜 디스플레이에 아이콘을 표시하는 것이다. 이 조작에 의해, 사용자가 손을 오른쪽으로 움직이면, 이 동작을 거울에 반사시킨 것과 마찬가지로, 표시 화면 형상으로 아이콘이 마주보아 오른쪽으로 움직인다.

이상과 같이 구성한 본 발명의 실시예에 의한 조작예를 이하에 나타낸다. 도 8에 도시하는 바와 같이 본 발명에 의한 인터페이스 장치를 구비한 기기를 향하여 사용자가, 손을 한 개의 손가락 형상으로 하여 움직이면, 디스플레이(2)상에 표시한 아이콘(203)의 화살표 커서가, 손의 움직임에 대응한 임의의 위치로 이동한다. 다음에, 디스플레이(2)상에 표시한 임의의 가상 스위치(204, 205, 206)상에, 손을 움직이는 것에 따라 화살표 커서를 이동시키고, 손을 쥐어, 주먹 형상으로 하면, 그 가상 스위치가 선택되어, 호스트 컴퓨터(1)에 지령을 인가할 수 있는 것이다.

또, 표시하는 아이콘의 예로서는, 도 16c, d에 도시하는 바와 같이, 손의 형상 그자체를 아이콘화하면, 실제의 손의 움직임과 대응이 취해져, 알기 쉽다. 구체적으로는, 도 16c, d와 같은 화상을 미리 등록해 두어도 좋으며, 또 윤곽 추출부에 의해 추출한 손의 윤곽 형상 데이터를 임의의 크기로 축소 또는 확대하여, 아이콘 화상으로서 이용하는 것도 가능하다.

이와 같이, 본 실시예는 인터페이스 장치의 촬상부를 향하여 사용자가, 예컨대 손짓에 의해 지시를 가하면, 촬상부는, 사용자의 화상을 촬상하고, 사용자의 화상의 윤곽을 추출하여, 윤곽상의 기준점을 개시점으로 한 윤곽선의 길이를 횡축으로 하고, 수평선에 대한 윤곽선의 각도, 즉 윤곽 파형으로 하여 변환된다. 이 윤곽 파형은, 소정의 대역의 밴드패스 필터, 예컨대 손가락의 요철에 상당하는 밴드패스 필터에 의해 구성한 형상 필터에 의해 손가락의 요철 형상을 나타내는 형상 파형으로 변환되어, 손이 있는 위치를 연산함과 동시에, 이 형상 파형중에 존재하는 펄스수를 세는 것만으로, 나와 있는 손가락의 개수, 즉 손의 형상을 정확하게 판단시킬 수 있다. 이 손의 위치나 형상에 근거하여, 인가한 손짓이 표시 화면상에 표시되며, 예컨대 표시 화면상에 표시한 가상 스위치 등을 손짓에 의해 선택할 수 있는 것이어서, 마우스 등의 입력 장치를 필요로 하지 않고, 대단히 간편한 기기의 조작이 가능해 진다.

(실시예 4)

지금까지의 실시예는 표시 화면에 표시된 2차 화면에 대하여 조작을 하는 예에 대하여 설명하였지만, 본 실시예는 가상적인 3차원을 2차원 표시 화면에 표시한 경우의 조작에 관한 것이다.

일반적으로는 표시된 가상적인 3차원 공간에 있어서, 커서를 이용하여 가상 공간내의 가상 물체를 잡는 동작을 상정하면, 이하와 같은 구성으로 된다.

도 21에 있어서 A1은 입력 장치, A2는 커서 좌표 기억부, A3은 물체 좌표 기억부, A4는 표시 장치, A5는 접촉 판단부이다. 도 22a, 도 22b는 전술한 실시예와 마찬가지로 조작자의 손의 형상으로부터 표시할 수 있는 2손가락의 매니퓰레이터 형상의 커서를 나타낸다. 도 22a는 손가락을 연 상태, 도 22b는 손가락을 닫은 상태를 나타낸다. 도 23은 가상 공간내의 가상 물체의 예를 나타낸다. 여기서 조작자는 2손가락의 커서를 이용하여 가상 3차원 공간내의 가상 물체를 잡는 동작을 상정한다. 도 24a, 도 24b는 커서를 이용하여 가상 물체를 잡을 때의 가상 공간내의 커서 및 가상 물체의 배치를 도시한다. 도 25는 표시 장치 A4의 표시를 나타낸다.

조작자의 조작이 입력부 A1에 인가되면, 커서 좌표 기억부 A2에 기억하는 커서 좌표 및 커서의 2손가락의 간격이 상기 조작에 근거하여 갱신된다. 표시 장치 A4는 커서 좌표 기억부 A2가 기억하는 정보 및 물체 좌표 기억부 A3가 기억하는 가상 물체의 위치 정보를 이용하여 커서와 가상 물체를 포함하는 가상 공간을 묘획한다. 여기서, 접촉 판단부 A5는 커서 좌표 기억부 A2가 기억하는 정보 및 물체 좌표 기억부 A3가 기억하는 가상 물체의 위치 정보를 이용하여 커서와 가상 물체가 가상 공간내에서 접촉하는지 여부를 계산한다. 구체적으로는, 커서 및 가상 물체를 구성하는 복수의 면 사이의 가상 공간 내에서의 거리를 각각의 면 사이에 관하여 계산하고, 커서의 2손가락 사이에 가상 물체가 접촉하면, 커서가 가상 물체를 잡은 것으로 판단하여, 이후 커서의 이동에 맞춰 물체의 좌표를 변경한다.

그러나 이러한 방법에서는 도 24a, b에 도시한 바와 같은 배치의 경우에 표시 장치에 의한 표시가 도 25와 같이 되어, 가상 공간내에서 커서와 가상 물체의 위치가 완전히 일치하지 않은 경우에서도 좌표가 일치하는 것으로 조작자가 오판단하는 경우가 있다. 또한, 3차원 표시 장치를 이용한 경우나 도 24a, b를 병기한 바와 같은 표시에서도, 실공간내와 가상 공간내의 거리 감각의 차이로 인해 원활한 조작이 곤란해 진다.

이와 같이, 표시 공간인 가상적인 공간에 있어서의 거리 감각과 실공간에서의 거리 감각과의 차이나, 조작자가 의도하는 커서의 움직임과 실제의 커서의 움직임과의 차이에 의해, 커서와 가상 공간내의 가상 물체와의 상호 작용(예컨대 가상의 매니퓰레이터에 의해 가상 물체를 잡는 경우 등)에 있어서 조작자의 의도에 따른 상호 작용(상기의 예에서는 가상 물체를 잡음)을 원활하게 실현할 수 없다.

본 실시예에서는, 가상 공간에 있어서 조작자가 손짓 등으로 비접촉으로 조작성이 좋게 커서를 제어할 수 있음과 동시에, 가상 공간내의 가상 물체와의 상호 작용의 발생 유무를, 가상 공간내의 커서와 가상 물체의 구성 요소(가상 공간이 3차원인 경우는 표면) 사이의 거리에 따라서만 결정하는 것은 아니고, 상호 작용 판정 수단이 반드시 가상 공간 내에서의 거리가 근접해 있지는 않은 대상물에 대해서도 상호 작용을 유발함으로써, 커서가 가상 물체와 상호 작용을 일으키는지 여부의 판정을 조작자의 의도에 가깝게, 인터페이스의 조작성을 더욱 향상시킬 수 있다. 또한, 반드시 가상 공간내에서의 거리가 근접하지는 않은 대상물에 대해서도 상호 작용을 일으키는 것이 가능해 진다.

본 실시예의 제 1 구성은, 표시 수단과, 상기 표시 수단에 표시하는 커서의 위치 및 형상을 변경하는 입력 수단과, 상기 커서의 위치를 대표하는 대표점 좌표 및 상기 커서의 형상을 기억하는 커서 기억 수단과, 상기 커서 이외의 표시물의 위치를 대표하는 대표점 좌표 및 상기 표시 물체의 형상을 기억하는 물체 기억 수단과, 상기 커서 기억 수단에 기억하는 커서의 위치 및 형상과 상기 물체 기억 수단에 기억하는 표시물의 위치 및 형상을 이용하여, 상기 커서와 상기 표시물과의 사이의 상호 작용을 판정하는 상호 작용 판정 수단으로 구성하며, 상기 상호 작용 판정 수단은, 적어도 1점의 상기 커서의 대표점과 적어도 1점의 상기 표시물의 대표점과의 사이의 거리를 계산하는 거리 계산 수단과, 상기 커서의 이동 또는 형상의 변화를 인식하는 동작 인식 수단과, 상기 거리 계산 수단이 계산하는 거리와 상기 동작 인식 수단의 인식 결과를 이용하여 상기 커서와 상기 표시물과의 상호 작용을 결정하는 종합 판정 수단으로 이루어지는 것을 특징으로 하는 인터페이스 장치이다.

본 구성에 의해, 가상 공간에서 조작자가 조작하는 커서와 가상 공간내의 가상 물체와의 상호 작용의 발생 유무를, 가상 공간내의 상기 커서와 상기 가상 물체의 구성 요소(가상 공간이 3차원인 경우는 표면) 사이의 거리에 따라서만 결정하는 것은 아니고, 거리 계산 수단이 산출하는 대표점 사이의 거리 및 동작 인식 수단이 인식하는 커서의 동작에 의해 종합 판정 수단이 상호 작용의 발생 유무를 판정함으로써, 반드시 가상 공간내에서의 거리가 근접하지는 않은 대상물에 대해서도 상호 작용을 일으키는 것이 가능해 진다.

또한, 제 1 구성에 있어서, 동작 인식 수단이 미리 등록한 동작을 인식한 경우에, 거리 계산 수단이 계산하는 거리가 미리 정한 기준 이하인 표시물에 대하여 상호 작용 판정 수단이 상호 작용을 발생시키는 제 2 구성으로 하여도 좋다.

또한, 제 1, 제 2 구성에 있어서, 표시 공간내에서의 커서의 이동 방향과 이동량을 산출하는 이동 벡터 산출 수단을 마련하고 상호 작용 판정 수단을 구성하여, 상기 이동 방향 산출 수단이 산출하는 커서의 이동 방향 및 커서의 이동량에 근거하여 상호 작용 판정 수단이 상기 커서와 표시물과의 상호 작용을 결정하는 제 3 구성으로 하여도 좋다.

또한, 제 3 구성에 있어서, 이동 벡터 산출 수단이 산출하는 커서의 이동량이 미리 정한 기준치 이하인 경우에 상호 작용 판정 수단이 상호 작용을 발생시키는 제 4 구성으로 하여도 좋다.

또한, 제 3, 제 4 구성에 있어서, 이동 벡터 산출 수단이 산출하는 커서의 이동 방향의 연장선 근방에 존재하는 표시물에 대하여 상호 작용 판정 수단이 상호 작용을 발생시키는 제 5 구성으로 하여도 좋다.

또한, 제 1∼제 5 구성에 있어서, 커서의 형상과 표시물의 형상이 미리 등록한 조합으로 되는 경우에 상호 작용 판정 수단이 상호 작용을 발생시키는 제 6 구성으로 하여도 좋다.

또한, 제 1∼제 6 구성에 있어서, 커서 형상 및 표시물의 형상을 인식하는 형상 판정 수단을 구비하고 상호 작용 판정 수단을 구성하여, 상기 형상 인식 수단이 인식하는 커서의 형상과 표시물의 형상이 일치하는 경우에 대하여 상호 작용 판정 수단이 상호 작용을 발생시키는 제 7 구성으로 하여도 좋다.

또한, 제 l∼제 7 구성에 있어서, 시선 방향을 검출하는 시선 입력 수단을 마련하고, 상기 시선 입력 수단이 검출하는 시선의 연장선상 근방의 표시물에 대하여, 동작 인식 수단이 미리 등록한 동작을 인식한 경우에, 상호 작용 판정 수단이 상호 작용을 발생시키는 제 8 구성으로 하여도 좋다.

또한, 제 8 구성에 있어서, 시선 입력 수단이 검출하는 시선의 연장선상 근방의 표시물에 대하여, 상기 시선의 연장선상 근방에 커서가 존재하고, 또한 동작인식 수단이 미리 등록한 동작을 인식한 경우에, 상호 작용 판정 수단이 상호 작용을 발생시키는 제 9 구성으로 하여도 좋다.

또한, 제 1∼제 9 구성에 있어서, 상호 작용을 발생시킨 경우, 커서와 대상으로 하는 표시물과의 위치 관계 및 상기 커서의 형상 및 상기 표시물의 형상을 학습하는 학습 수단을 마련하여, 상호 작용 판정 수단이 학습 수단의 학습 결과에 근거하여, 상호 작용을 결정하는 제 10 구성으로 하여도 좋다.

또한, 제 10 구성에 있어서, 커서와 대상으로 하는 표시물과의 위치 관계 또는 상기 커서의 형상 및 상기 표시물의 형상이 학습 수단이 과거에 학습한 위치 관계 또는 형상과 유사한 경우에, 상호 작용 판정 수단이 상호 작용을 발생시키는 제 11 구성으로 하여도 좋다.

또한, 제 1∼제 11 구성에 있어서, 커서 기억부 및 물체 기억부로부터 거리 계산 수단으로의 입력에 대하여 좌표 변환을 하는 좌표 변환 수단을 마련하여 상호 작용 판정 수단을 구성하는 제 12 구성으로 하여도 좋다.

또한, 제 12 구성에 있어서, 상호 작용을 발생시킨 경우, 커서와 대상으로 하는 표시물과의 위치 관계를 접근시키도록 좌표 변환을 하는 제 13 구성으로 하여도 좋다.

본 발명의 제 4 실시예에 대하여 도면을 참조하여 설명한다. 도 26은 인터페이스 장치의 하나의 실시예의 블럭도를 도시하는 것이다.

도 26에 있어서, (41)은 입력 수단, (42)는 커서 기억 수단, (43)은 물체 기억 수단, (44)는 표시 수단, (45)는 상호 작용 판정 수단, (45a)는 거리 계산 수단, (45b)는 동작 인식 수단, (45c)는 종합 판정 수단, (45d)는 이동 벡터 산출 수단, (45e)는 형상 판정 수단, (45f)는 학습 수단, (45g)는 좌표 변환 수단, (46)은 시선 입력 수단이다.

도 26에 있어서 조작자가 입력 수단(41)에 대하여 조작을 하고, 상기 조작 결과에 근거하여, 커서 기억 수단(42)이 커서의 가상 공간내에서의 위치를 대표하는 대표점 좌표 및 형상을 변경·기억하고, 표시 수단(44)은 커서 기억 수단(42)이 기억하는 커서의 가상 공간내에서의 위치를 대표하는 대표점 좌표 및 형상과 물체 기억 수단(43)이 기억하는 가상 물체의 가상 공간내에서의 위치를 대표하는 대표점 좌표 및 형상에 근거하여 상기 커서 및 상기 가상 물체를 2차원 표시 혹은 3차원 표시한다.

시선 입력 수단(46)은 상기 표시상에 있어서의 조작자의 시선의 위치를 검출한다. 거리 계산 수단(45a)은 커서 기억 수단(42)과 물체 기억 수단(43)에 기억하는 대표점의 좌표에 근거하여 커서와 가상 물체와의 가상 공간내에서의 거리를 계산한다. 동작 인식 수단(45b)은 커서 기억 수단(42)과 물체 기억 수단(43)에 기억하는 내용에 근거하여 조작 동작의 인식을 한다. 이동 벡터 산출 수단(45d)은 가상 공간내에서의 커서의 이동 방향 및 이동 거리를 산출한다. 형상 판정 수단(45e)은 커서의 형상과 가상 물체의 형상이 상호 작용을 일으키는 데 적절한지 여부를 판정한다. 학습 수단(45f)은 종합 판정 수단(45c)이 커서와 가상 물체의 사이의 상호 작용을 일으킨 경우의 상기 커서와 상기 가상 물체의 위치 및 형상의 관계를 기억하여, 현재의 상태가 과거에 상호 작용을 일으킨 상태와 유사한지 여부를 출력한다.

종합 판정 수단(45c)은 거리 계산 수단(45a)이 출력하는 커서와 가상 물체 사이와의 거리와, 동작 인식 수단(45b)이 인식한 인식 결과와, 이동 벡터 산출 수단(45d)이 산출하는 커서의 이동 방향과 이동 거리와, 시선 입력 수단(46)이 검출하는 시선의 위치와, 형상 판정 수단(45e)의 판정 결과와, 학습 수단(45f)이 출력하는 과거의 상호 작용과의 유사 정도에 근거하여 상기 커서와 상기 가상 물체가 상호 작용하는지 여부를 판정하고, 상호 작용의 결과에 따라서 상기 커서나 상기 가상 물체의 대표점 좌표나 형상을 변경한다. 좌표 변환 수단(45g)은 상호 작용 판정 수단(45)이 상호 작용을 일으킨 경우에 거리 계산 수단(45a)이 거리 계산에 이용하는 커서와 대상으로 되는 가상 물체와의 가상 공간내에서의 좌표를 양자의 위치가 근접하도록 좌표 변환을 한다.

도 22a, b는 본 발명의 인터페이스 장치에 이용하는 커서의 실시예 1에서 2손가락의 매니퓰레이터 형상인 것이다. 도면에 있어서 도 22a는 손가락을 연 상태, 도 22b는 손가락을 닫은 상태이다. 도 22c, d는 본 발명의 인터페이스 장치에 이용하는 커서의 실시예 2에서 2손가락 2관절의 매니퓰레이터 형상인 것이다. 도면에 있어서 도 22c는 손가락을 연 상태, 도 22d는 손가락을 닫은 상태이다. 도 22e, f는 본 발명의 인터페이스 장치에 이용하는 커서의 실시예 3이고 다섯 손가락의 손 형상인 것이다. 도 22에 있어서 도 22e는 손을 연 상태, 도 22f는 손을 닫은 상태이다.

도 23a, b는 본 발명의 인터페이스 장치에 이용하는 가상 공간내의 물체의 예이다(도 23a는 입방체, 도 23b는 평면체).

이상과 같이 구성한 인터페이스 장치에 대하여, 이하 그 동작을 설명한다. 본 실시예에서는 조작자가 3차원의 가상 공간내에서 도 22와 같은 커서를 이동하여, 상기 가상 공간내에 존재하는 도 23과 같은 가상 물체를 잡아 이동하는 동작을 상정한다.

조작자의 조작은 입력 수단(41)에 대하여 실행한다. 여기서, 입력에는 커서의 위치 혹은 형상을 변화시키기 위한 정보를 입력하는 입력 장치로서, 도 27a∼도 27c에 도시하는 바와 같은 수단 혹은 카메라나 키보드, 음성 인식 등에 의한 커맨드 입력 등을 이용하는 것이 가능하다. 도 27a는 마우스로, 마우스 본체의 이동과 버튼의 클릭 등에 의해서 커서를 조작한다. 도 27b는 데이터 글로브(glove)로, 사람의 손에 장착하여, 손가락의 관절각이나 데이터 글로브의 실공간내에서의 위치를 커서의 위치와 형상에 반영시켜, 커서를 조작한다. 도 27c는 조이스틱으로, 레버의 조작 및 조작 버튼과의 병용에 의해 커서를 조작한다. 카메라를 이용하는 경우에는 신체 또는 신체의 일부(손 등)를 카메라로 촬상하여, 손의 형상 및 위치를 읽어낸다.

도 28은 손만을 카메라로 촬상한 경우의 형상 추출의 하나의 실시예를 도시한다. 도 28a는 카메라로 손을 촬상한 예이다. 도 28a의 화상의 각 화소의 휘도를 이치화한 것이 도 28b이다. 도 28b에 있어서, 흑화 영역에 외접하는 장방형의 세로변 길이와 가로변 길이와의 비율 등에 의해 손의 개폐 정도의 판정이 가능해져, 흑화소 전체의 중심 좌표와 면적으로부터 위치와 거리의 입력이 가능해진다. 입력 수단(41)은 상기 조작 내용(커서의 이동량이나 커서 형상의 변경량 등)을 커서 기억 수단(42)에 출력한다.

커서 기억 수단(42)은 입력 수단(41)이 출력한 조작 내용에 근거하여, 커서 기억 수단에서 기억하는 커서의 대표점의 가상 공간내에서의 좌표와 형상을 기억한다. 대표점으로서는 커서의 중심 좌표 (X0, Y0, Z0)를 대표점으로서 이용한다. 또한, 대표점으로서는, 커서를 구성하는 각 면의 중심 좌표나 정점(頂点)의 좌표 등을 이용하여도 좋다. 형상으로서는 도 22a의 경우는 2손가락의 간격 d, 도 22b, c의 경우는 각 손가락의 관절의 내각 θn(n은 관절의 번호 : θn이 작아지면 관절이 굽은 상태를 나타냄)을 기억 정보로 한다. 또 형상으로서는 각 손가락의 손끝이나 각 관절의 가상 공간내에서의 좌표 등을 이용하여도 좋다.

물체 기억 수단(43)은 조작의 대상으로 되는 도 23에 도시하는 가상 공간내의 가상 물체의 대표점의 좌표와 형상을 기억한다. 대표점으로서는 가상 물체의 중심 좌표(입방체 : (X1, Y1, Z1), 평면체 : (X2, Y2, Z2))를 대표점으로서 이용한다. 또 대표점으로서는, 가상 물체를 구성하는 각 면의 중심 좌표나 정점의 좌표 등을 이용하여도 좋다. 형상으로서는 미리 정한 형상을 나타내는 파라미터 α를 형상으로서 기억한다(여기서 입방체를 α=1, 평면체를 α= 2로 정의함). 또 형상으로서는 정점 좌표 등을 이용하여도 좋다.

표시 수단(44)은 커서 기억 수단(42)과 물체 기억 수단(43)이 기억하는 커서와 가상 물체의 위치와 형상의 정보에 근거하여 가상 공간을 미리 지정한 시점으로부터 바라 본 상을 2차원 표시한다. 도 29a에 표시 수단의 표시예를 도시한다. 조작자가 조작을 하면 커서의 표시 위치 혹은 형상이 변화하여, 조작자는 그 표시에 근거하여 조작을 계속한다.

상호 작용 판정 수단(45)은 커서 위치가 변화할 때마다 커서가 물체를 잡았는지 여부(상호 작용의 유무)를 판정하여, 커서가 물체를 잡은 것으로 판단한 경우에는 커서의 이동에 맞춰 가상 물체의 좌표도 이동시킨다.

거리 계산 수단(45a)은 커서 기억 수단(42)에 기억하는 커서의 중심 좌표 (X0, Y0, Z0)와 물체 기억 수단(43)에 기억하는 가상 물체의 중심 좌표(X1, Y1, Z1), (X2, Y2, Z2)와의 거리를 계산한다.

동작 인식 수단(45b)은 미리 등록한 동작으로서 잡는다라는 동작을 커서의 형상의 변화를 이용하여 인식한다. 도 22a의 커서의 경우에는 2손가락의 간격 d가 계속해서 감소하는 상태를 잡는다 동작으로 인식하고, 도 22b, c의 커서의 경우에는 모든 손가락의 각도 θn이 계속해서 감소하는 상태를 잡는다 동작으로 인식한다. 또, 동작의 인식 방법으로서는 형상을 나타내는 파라미터(상기 d나 θn 등)의 시계열적인 변화를 시계열 패턴 인식 수법 (테이블 매칭, DP 매칭, 히든 마르코프 모델(HMM), 리커런트 뉴럴 네트워크 등)을 이용하여 미리 특정한 동작을 학습시킨 후, 인식 방법으로서 이용하여도 좋다.

이동 벡터 산출 수단(45d)은 커서의 중심 좌표(X0, Y0, Z0)의 변화를 이용하여 가상 공간내에서의 커서의 이동 방향과 이동량을 산출한다. 예컨대 현시각 t의 중심 좌표(X0, Y0, Z0)t와 1시각 전의 중심 좌표(X0, Y0, Z0)t-1과의 차분 벡터의 방향과 크기를 커서의 이동 방향과 이동량으로 한다.

형상 판정 수단(45e)은 커서 기억 수단에 기억하는 커서의 형상이 물체 기억수단에 기억하는 형상의 가상 물체를 잡는 데 적절한 형상인지 여부(커서의 형상이 가상 물체와 상호 작용을 일으키는 데 적절한지 여부)를 판정한다. 여기서는 물체의 형상을 나타내는 파라미터 α의 값이 1인 때는 커서의 손가락이 열려 있는 상태를 적절한 상태로 한다. 커서의 손가락이 열려 있는 상태의 판단으로서는, 예컨대, 도 22a의 커서의 경우에는 d의 값이 d의 최대값 dmax와 0과의 중간값보다 큰 경우로 하고, 도 22b, c의 경우에는 각 관절각 θn이 각각의 최대값 θnmax와 0과의 중간값보다 전부 큰 경우로 한다.

물체의 형상을 나타내는 파라미터α의 값이 0인 때에는 커서의 손가락끝의 간격이 좁은 상태를 적절한 상태로 한다. 커서의 손가락끝이 좁은 상태의 판단으로서는, 예컨대 도 22a의 커서의 경우에는 d의 값이 d의 최대값 dmax와 0과의 중간값보다 작은 경우로 하고, 도 22b, c의 경우에는 각 관절각 θn이 각각의 최대값 θnmax와 0과의 중간값보다 전부 작은 경우로 한다. 또, 형상의 판정법으로서는, 가상 공간에 있어서 커서가 가상 물체를 접촉하는 상태에서 잡았을 때의 커서 형상을 나타내는 파라미터(d 혹은 θn)를 미리 기억하여 두고, 각각의 파라미터의 값이 ± 30%의 범위에서 일치하면 잡는 동작에 적절한 것으로 판단하는 등도 가능하다.

시선 입력 수단(46)은 조작자의 시선을 검출하여, 표시 수단(44)이 표시하는 화면상에서 조작자가 주시하는 좌표(주시점의 좌표)를 산출한다. 시선의 검출 수단으로서는 CCD 카메라나 광 센서 등을 이용하여 조작자의 눈동자의 방향을 검출하는 방법 등을 이용하고, 조작자의 머리 부분의 위치를 카메라 등을 이용하여 계측함으로써 상기 화면상의 주시점을 산출한다.

학습 수단(45f)은 종합 판정 수단(45c)이 커서가 가상 물체를 잡은 것으로 판단하였을 때의 커서의 형상을 나타내는 파라미터(d 또는 θn)와 잡은 가상 물체의 형상을 나타내는 파라미터 α 및 상기 커서의 위치와 상기 가상 물체의 위치와의 상대적인 위치 관계(커서의 중심과 가상 물체의 중심을 연결하는 벡터)를 기억하여, 현재의 가상 물체의 형상을 나타내는 파라미터와 주위의 가상 물체의 형상을 나타내는 파라미터 및 현재의 커서의 중심과 주위의 가상 물체의 중심과의 위치관계가, 과거에 물체를 잡은 경우에 가까운 경우(예컨대, 각 파라미터 및 위치 관계를 나타내는 벡터의 각 차원의 요소의 값이 과거의 값과 ±30%의 범위에서 일치하는 경우 등)에는 과거의 상황과 유사한 것으로 판단하여 1을 출력하고, 그 밖의 경우에는 0을 출력한다. 또, 다른 학습 수단으로서 과거에 물체를 잡은 경우의 커서의 형상을 나타내는 파라미터와 잡은 가상 물체의 형상을 나타내는 파라미터 α 및 상기 커서의 위치와 상기 가상 물체의 위치와의 상대적인 위치 관계를 뉴럴 네트워크 등을 이용하여 학습하여도 좋다. 또한, 학습하는 항목으로서 시선 검출수단(46)으로 검출한 화면상에서의 주시점 좌표와 커서의 표시 화면상에서의 좌표와의 위치 관계 등을 포함해서 학습하는 것도 가능하다.

좌표 변환 수단(45g)은 물체를 잡은 경우(상호 작용을 일으킨 경우)에 거리 계산 수단이 거리 계산에 이용하는 좌표를 가상 공간내에서의 커서와 대상으로 되는 가상 물체와의 거리가 근접하도록 좌표 변환한다. 예컨대, 커서가 가상 물체를 잡았을 때의 각각의 좌표가 (100, 150, 20)과 (105, 145, 50)인 경우, 좌표 변환 수단은 각 좌표축내, 차가 가장 큰 Z 좌표에 대하여 수학식 1과 같이 변환을 한다.

Z' = 0.8× z

여기서, z는 좌표 변환 수단이 입력으로 하는 커서 및 가상 물체의 중심(重心)의 Z좌표, Z'는 좌표 변환 수단이 출력하는 Z 좌표를 나타낸다. 이 경우 X 좌표의 값 및 Y 좌표의 값은 변경하지 않는다. 또한, 커서 기억 수단과 물체 기억 수단에 기억하는 값은 변경하지 않기 때문에, 표시 수단이 표시하는 화면은 변화하지 않는다. 상기한 바와 같은 변환을 하는 것에 의해, 가상 공간내에서의 거리가 떨어져 있는 경우에도 조작자가 잡는 동작을 하면, 그 이후는 거리 계산을 하는 경우의 커서와 가상 물체 사이의 거리가 작아져, 거리 계산 수단이 조작자가 지각하는 거리감각에 가까운 거리를 계산하는 것이 가능해 진다.

종합 판정 수단(45c)은 거리 계산 수단(45a)이 출력하는 커서와 가상 물체 사이와의 거리가 미리 정한 기준 이하인 경우, 동작 인식 수단(45b)이 미리 등록한 잡는다라는 동작을 인식한 경우에, 잡는다라는 상호 작용이 발생한 것으로 판정하고, 이후 잡는다 상호 작용이 종료할 때까지 물체 기억 수단(43)에 기억하는 잡고 있는 가상 물체의 중심 좌표의 값을 커서의 중심 좌표에 일치시킨다. 여기서, 미리 정하는 상기 기준값은 실제로 커서와 물체가 가상 공간내에서 접촉할 수 있는 거리보다 큰 값이어도 좋다. 예컨대 도 25(도 24의 배치)의 경우, 가상 물체와 커서와의 거리가 상기 거리의 기준값 이하이면, 조작자가 잡는 동작을 입력 수단(1)에 지시하여, 동작 인식 수단(45b)이 잡는 동작을 인식하면 가상 물체를 잡아 이동하는 것이 가능해 진다.

또한, 종합 판정 수단(45c)은 상기 거리의 기준 이하에 복수의 가상 물체가 존재하는 경우, 도 29b에 도시하는 바와 같이 커서와 가상 물체를 연결하는 선분 (파선)과 이동 벡터 산출 수단(45d)이 산출하는 커서의 이동 방향(화살표)과 이루는 각도가 임의의 기준(예컨대 90도) 이하인 물체만을 대상으로 하여, 조작자의 조작에 있어서 커서의 이동 방향을 고려한 상호 작용의 판정이 가능해진다(도면에서는 3물체중 가장 상부에 위치하는 것을 선택함). 또, 커서의 이동 거리에 대해서는, 이동 거리가 미리 정한 이동 거리 기준보다 큰 경우에는 상호 작용을 일으키지 않는다. 이에 따라, 단지 커서를 이동하고 있는 경우에 조작자가 의도하지 않은 상호 작용을 일으키지 않는 것이 가능해 진다.

또한, 도 29c에 도시하는 바와 같이 복수의 가상 물체가 상기 기준을 만족하고 있는 경우, 상기 시선 입력 수단(46)이 검출하는 주시점의 위치에 가까운 가상 물체를 종합 판정 수단(45c)이 잡는다 대상으로 한다(도면에서는 주시점을 의미하는 + 표시에 가까운 좌측의 물체를 선택함). 이에 따라, 조작자의 시선을 이용하여 용이하게 대상을 선택하는 것이 가능해 진다.

또한, 도 29d에 도시하는 바와 같이 화면상에서 근접한 물체가 존재하는 경우, 형상 판정 수단(45e)이 판정한 커서의 형상에 일치하는 가상 물체를 종합 판정 수단(45c)이 잡는다 대상으로 한다(도면에서는 커서의 손가락의 간격이 좁기 때문에 잡는다 동작의 대상으로서 평면체를 적절한 것으로 판단하여, 평면체를 선택함). 이에 따라, 조작자가 의도하는 가상 물체를 커서의 형상에 의해 선택하는 것이 가능해져, 조작자가 가상 물체를 잡는 경우에 연상하기 쉬운 커서 형상을 대응시킴으로써 조작이 용이해진다.

또한, 학습 수단(45f)이 과거에 물체를 잡은 경우와 유사한 것으로 판단한 가상 물체를 종합 판정 수단(45c)이 우선적으로 선택한다. 이에 따라 조작자가 과거에 행한 조작에 가까운 판단을 재현하여, 조작성을 향상시키는 것이 가능해진다.

이와 같이 본 발명은, 가상 공간에서 조작자가 조작하는 커서와 가상 공간내의 가상 물체와의 상호 작용의 발생 유무를, 커서와 가상 물체와의 거리만으로 결정하는 것은 아니고, 조작자의 조작에 있어서의 동작이나 시선, 혹은 과거의 사례에 근거하여 결정함으로써, 가상 공간내에서의 커서를 이용한 가상 물체와의 상호 작용을 하는 인터페이스에서 조작성을 향상시키는 것이 가능하다.

또, 본 실시예에서는 상호 작용으로서 커서를 이용하고 가상 물체를 잡는 동작을 이용하여 설명하였지만, 그 외에 가상 물체에 대한 지시(포인팅)나 충돌, 마찰, 타격, 원격 조작 등의 동작에 관해서도 마찬가지의 취급이 가능하다. 또한, 가상 공간이 2차원 공간인 경우나, 표시 수단이 3차원 입체 표시 디스플레이 등을 이용한 경우에도 동일한 효과를 얻을 수 있다. 또한, 실현 수단으로서는 하드웨어를 이용하여도 좋고, 컴퓨터상의 소프트웨어를 이용하여 실현하여도 좋다.

이상과 같이 본 실시예는, 가상 공간에 있어서 조작자가 조작하는 커서와 가상 공간내의 가상 물체와의 상호 작용의 발생의 유무를, 가상 공간내의 상기 커서와 상기 가상 물체를 구성 요소 사이의 거리에 따라서만 결정하는 것은 아니고, 거리 계산 수단이 산출하는 대표점 사이의 거리 및 동작 인식 수단이 인식하는 커서의 동작에 의해서 종합 판정 수단이 상호 작용의 발생 유무를 판정함으로써, 반드시 가상 공간내에서의 거리가 근접하지는 않는 대상물에 대해서도 상호 작용을 일으키는 것이 가능해져, 조작성이 좋은 입출력 인터페이스를 제공하는 것이 가능해 진다. 또한, 종래의 접촉 판정법과 같이 가상 공간내의 상기 커서와 상기 가상 물체를 구성 요소 사이의 거리를 전부 계산할 필요가 없기 때문에 계산량을 경감하여, 처리의 고속화를 도모하는 것이 가능해 진다.

이상과 같이 본 발명은, 조작자의 손의 형상 혹은 또 그 움직임을 인식하여, 인식된 손의 형상의 특징을 특수 형상으로서 화면에 커서 표시하는 것에 의해, 화면내에 표시된 정보를, 손의 형상이나 움직임에 의해 화면에 표시된 정보를 용이하고 조작성이 양호하게 제어할 수 있는 것이다.

또한, 손의 형상의 특징을 특수 형상으로서 화면에 표시하여 커서 표시함과 동시에, 그 커서 표시 이외의 표시물과의 관련을 조작자의 의도에 따른 상호 작용의 판정이 차차 자동적으로 이루어지는 것에 의해, 표시물을 지시하거나, 잡거나 하는 조작의 조작성이 더욱 향상된 인터페이스가 실현가능한 것이다.

도면의 참조 부호의 일람표

1 : 호스트 컴퓨터

2 : 디스플레이

3 : CCD 카메라

21 : 프레임 메모리

22 : 형상 식별 수단

23 : 표시 제어부

24 : 아이콘 생성부

25 : 기준 화상 메모리

26 : 기준 화상 갱신부

31 : 프레임 메모리

32 : 동작 인식부

33 : 표시 제어부

34 : 아이콘 생성부

41 : 입력 수단

42 : 커서 기억 수단

43 : 물체 기억 수단

44 : 표시 수단

45 : 상호 작용 판정 수단

46 : 시선 입력 수단

200 : 아이콘

201 : 메뉴

202 : 메뉴

203 : 아이콘

204 : 가상 스위치

205 : 가상 스위치

206 : 가상 스위치

221 : 화상차 연산부

222 : 윤곽 추출부

223 : 형상 식별부

224 : 위치 검출부

225 : 형상 변화 식별부

231 : 좌표 변환부

232 : 좌표 반전부

261 : 타이머

262 : 화상 갱신부

321 : 윤곽 파형 연산부

322 : 윤곽 파형 연산부

324 : 변환 테이블

331 : 좌표 변환부

332 : 좌표 반전부

501 : 호스트 컴퓨터

502 : 디스플레이

503 : 조작 버튼

504 : 조작 버튼

505 : 조작 버튼

506 : 마우스 커서

507 : 마우스

508 : 스위치

3231 : 형상 필터 1

3232 : 형상 필터 2

3251 : 미분기

3252 : 미분기

3261 : 좌표 연산부

3262 : 형상 판정부(미분기)

Claims

조작자의 손의 형상을 인식하는 인식 수단과,

상기 인식 수단에 의해 인식된 손의 형상의 특징을 특수 형상으로서 화면에 표시하는 표시 수단과,

상기 표시 수단에 의해 화면에 표시된 특수 형상에 의해, 상기 화면내에 표시된 정보를 제어하는 제어 수단을 포함한 인터페이스 장치.
제 1 항에 있어서,

인식 수단이 손의 형상과 함께 상기 손의 움직임을 인식하고, 표시 수단이 상기 인식 수단에 의해 인식된 손의 형상과 움직임의 특징을 특수 형상으로서 화면에 표시하는 인터페이스 장치.
제 1 항에 있어서,

제어 수단이 화면내에 표시된 정보를 선택하도록 제어하는 인터페이스 장치.
적어도 촬상부와,

촬상한 화상중의 물체의 형상 및 또는 움직임을 인식하는 동작 인식부와,

상기 동작 인식부에 의해 인식한 물체의 형상 및 또는 움직임을 표시하는 표시부를 포함하며,

상기 촬상부에서 촬상한 화상을 저장하는 프레임 메모리와,

상기 프레임 메모리내에 보존한 화상보다 이전의 시간에 촬상한 화상을 기준 화상으로서 축적하는 기준 화상 메모리를 마련하고,

상기 동작 인식부에, 상기 프레임 메모리내의 화상과, 상기 기준 화상 메모리내에 축적하고 있는 기준 화상과의 차이를 추출하는 화상차 연산부를 마련한 인터페이스 장치.
제 4 항에 있어서,

기준 화상 메모리내에 축적하고 있는 기준 화상을 신규 화상으로 갱신하는 기준 화상 갱신부를 마련한 인터페이스 장치.
제 4 항에 있어서,

기준 화상 갱신부에 기준 화상 갱신의 간격을 연산하는 타이머를 마련한 인터페이스 장치.
적어도 촬상부와,

촬상한 화상중의 사용자의 손의 형상 및 또는 움직임을 인식하는 동작 인식부와,

상기 동작 인식부에 의해 인식한 사용자의 손의 형상 및 또는 움직임을 표시하는 표시부를 가지며,

촬상한 사용자의 윤곽을 추출하는 윤곽 추출 수단과,

상기 윤곽을 추적하여, 윤곽선의 각도와 윤곽선의 길이와의 관계, 즉 윤곽 파형을 연산하는 윤곽 파형 연산부와,

상기 윤곽 파형 연산부에 의해 연산한 윤곽 파형을 필터링하여, 소정의 형상을 나타내는 형상 파형을 생성하는 형상 필터를 마련하여 상기 동작 인식부를 구성한 인터페이스 장치.
제 7 항에 있어서,

대역이 다른 복수의 밴드패스 필터(bandpass filter)에 의해 복수의 형상 필터를 구성하고, 상기 복수의 형상 필터에 의해 생성한 형상 파형에 근거하여, 사용자의 동작을 판정시키도록 한 인터페이스 장치.
제 7 항에 있어서,

적어도 손의 요철에 대응하는 윤곽 파형 형상의 밴드패스 필터와,

손가락의 요철에 대응하는 윤곽 파형 형상의 밴드패스 필터에 의해 복수의 형상 필터를 구성한 인터페이스 장치.
제 7 항에 있어서,

촬상한 사용자의 윤곽 형상의 좌표와, 윤곽 파형 연산부에 의해 연산한 윤곽 파형과의 대응을 기억시키는 좌표 테이블을 마련하고, 형상 파형의 파고 존재 위치와 상기 좌표 테이블을 이용하여, 촬상 화상중의 소정의 형상이 존재하는 좌표를 연산하는 좌표 연산부를 마련하여 동작 인식부를 구성한 인터페이스 장치.
제 7 항에 있어서,

형상 필터에 의해 생성한 형상 파형중의 펄스수를 세는 형상 판정부를 마련하여 동작 인식부를 구성하고, 상기 형상 판정부의 출력값에 따라, 물체의 형상을 판정시키도록 한 인터페이스 장치.
제 7 항에 있어서,

형상 필터에 의해 생성한 형상 파형을 미분하는 미분기를 마련하여 동작 인식부를 구성한 인터페이스 장치.
표시 수단과,

상기 표시 수단에 표시하는 커서의 위치 및 형상을 변경하는 입력 수단과,

상기 커서의 위치를 대표하는 대표점 좌표 및 상기 커서의 형상을 기억하는 커서 기억 수단과,

상기 커서 이외의 표시물의 위치를 대표하는 대표점 좌표 및 상기 표시 물체의 형상을 기억하는 물체 기억 수단과,

상기 커서 기억 수단에 기억하는 커서의 위치 및 형상과 상기 물체 기억 수단에 기억하는 표시물의 위치 및 형상을 이용하여, 상기 커서와 상기 표시물과의 사이의 상호 작용을 판정하는 상호 작용 판정 수단을 포함하며,

상기 상호 작용 판정 수단은,

적어도 1점의 상기 커서의 대표점과 적어도 1점의 상기 표시물의 대표점과의 사이의 거리를 계산하는 거리 계산 수단과,

상기 커서의 이동 또는 형상의 변화를 인식하는 동작 인식 수단과,

상기 거리 계산 수단이 계산하는 거리와 상기 동작 인식 수단의 인식 결과를 이용하여 상기 커서와 상기 표시물과의 상호 작용을 결정하는 종합 판정 수단으로 이루어지는 것을 특징으로 하는 인터페이스 장치.
제 13 항에 있어서,

동작 인식 수단이 미리 등록한 동작을 인식한 경우에, 거리 계산 수단이 계산하는 거리가 미리 정한 기준 이하인 표시물에 대하여 상호 작용 판정 수단이 상호 작용을 발생시키는 것을 특징으로 하는 인터페이스 장치.
제 13 항에 있어서,

표시 공간내에서의 커서의 이동 방향과 이동량을 산출하는 이동 벡터 산출 수단을 마련하여 상호 작용 판정 수단을 구성하고, 상기 이동 방향 산출 수단이 산출하는 커서의 이동 방향 및 커서의 이동량에 근거하여 상호 작용 판정 수단이 상기 커서와 표시물과의 상호 작용을 결정하는 것을 특징으로 하는 인터페이스 장치.
제 15 항에 있어서,

이동 벡터 산출 수단이 산출하는 커서의 이동량이 미리 정한 기준치 이하인 경우에 상호 작용 판정 수단이 상호 작용을 발생시키는 것을 특징으로 하는 인터페이스 장치.
제 15 항에 있어서,

이동 벡터 산출 수단이 산출하는 커서의 이동 방향의 연장선 근방에 존재하는 표시물에 대하여 상호 작용 판정 수단이 상호 작용을 발생시키는 것을 특징으로 하는 인터페이스 장치.
제 13 항에 있어서,

커서의 형상과 표시물의 형상이 미리 등록한 조합으로 이루어진 경우에 상호 작용 판정 수단이 상호 작용을 발생시키는 것을 특징으로 하는 인터페이스 장치.
제 13 항에 있어서,

커서 형상 및 표시물의 형상을 인식하는 형상 판정 수단을 구비하여 상호 작용 판정 수단을 구성하고, 상기 형상 인식 수단이 인식하는 커서의 형상과 표시물의 형상이 일치하는 경우에 대하여 상호 작용 판정 수단이 상호 작용을 발생시키는 것을 특징으로 하는 인터페이스 장치.
제 13 항에 있어서,

시선 방향을 검출하는 시선 입력 수단을 마련하고, 상기 시선 입력 수단이 검출하는 시선의 연장선상 근방의 표시물에 대하여, 동작 인식 수단이 미리 등록한 동작을 인식한 경우에, 상호 작용 판정 수단이 상호 작용을 발생시키는 것을 특징으로 하는 인터페이스 장치.
제 20 항에 있어서,

시선 입력 수단이 검출하는 시선의 연장선상 근방의 표시물에 대하여, 상기시선의 연장선상 근방에 커서가 존재하고, 또한 동작 인식 수단이 미리 등록한 동작을 인식한 경우에, 상호 작용 판정 수단이 상호 작용을 발생시키는 것을 특징으로 하는 인터페이스 장치.
제 13 항에 있어서,

상호 작용을 발생시킨 경우, 커서와 대상으로 하는 표시물과의 위치 관계 및 상기 커서의 형상 및 상기 표시물의 형상을 학습하는 학습 수단을 마련하고, 상호 작용 판정 수단이 학습 수단의 학습 결과에 근거하여, 상호 작용을 결정하는 것을 특징으로 하는 인터페이스 장치.
제 22 항에 있어서,

커서와 대상으로 하는 표시물과의 위치 관계 또는 상기 커서의 형상 및 상기표시물의 형상이 학습 수단이 과거에 학습한 위치 관계 또는 형상과 유사한 경우에, 상호 작용 판정 수단이 상호 작용을 발생시키는 것을 특징으로 하는 인터페이스 장치.
제 13 항에 있어서,

커서 기억부 및 물체 기억부로부터 거리 계산 수단으로의 입력에 대하여 좌표변환을 하는 좌표 변환 수단을 마련하여 상호 작용 판정 수단을 구성하는 것을 특징으로 하는 인터페이스 장치.
제 24 항에 있어서,

상호 작용을 발생시킨 경우, 커서와 대상으로 하는 표시물과의 위치 관계를 접근시키도록 좌표 변환을 하는 것을 특징으로 하는 인터페이스 장치.