KR100817647B1 - 변형될 수 있는 장치를 사용하는 인간-컴퓨터간 인터페이스 - Google Patents

Abstract

일 실시예에서 컴퓨팅 시스텡에서 실행되는 프로그램의 입력 명령을 유발하기 위한 방법이 제공된다. 그 방법은 캡쳐 장치 앞의 시야를 모니터링하면서 시작된다. 이후, 시야 내에서 입력 물체가 식별된다. 감지된 입력 물체의 형상 변화가 분석된다. 다음으로, 입력 물체의 변화가 감지된다. 이후, 입력 명령이 컴퓨팅 시스템에 실행되고 있는 프로그램에 유발된다. 상기 유발은 입력 물체의 변화가 검출된 결과이다. 또한, 입력 감지 프로그램과 컴퓨터 시스템이 제공된다.

입력 장치, 비디오 게임 콘솔, 칼멘 필터링, 디지털 비디오 카메라, 화상비, 캡쳐장치, 입력 검출

Description

변형될 수 있는 장치를 사용하는 인간-컴퓨터간 인터페이스{Man-machine interface using a deformable device}

본 발명은 컴퓨터 시스템에 제스쳐(gesture)를 입력하는 것과 관련된 것으로, 더욱 상세하게는 컴퓨터의 일부를 동작시키는 것으로서 변형가능한 장치를 시각적으로 추적하는 것과 관련된 것이다.

컴퓨팅 시스템에서 입력 장치의 대안을 찾는데 많은 관심이 기울여져 왔다. 시각적 제스쳐 입력 장치가 점차 보급되고 있다. 일반적으로, 제스쳐 입력은 컴퓨팅 시스템, 비디오 게임 콘솔, 스마트 장치(smart appliance) 등과 같은 전자 장치를 갖는 것과 관련되어 객체를 추적하는 비디오 카메라로 캡쳐된 어떤 제스쳐에 반응한다.

이 분야에서 디지털 비디오 카메라를 사용하여 움직이는 객체를 추적하고, 다양한 디스플레이(display)를 만들기 위해 영상 이미지를 처리하는 방법이 알려져 있다. 예를 들어, 스포츠 경기의 생기 있는 영상을 만들기 위한 종래 기술로서, 세겐(Segen)이 발명한 미국 특허 6,072,504호와 같은 출원이 공개되어 있다. 이 시스템에 따르면, 경기를 하는 동안 테니스 공의 위치가 수많은 비디오 카메라로 추적되고, 코트에서의 삼차원적인 점을 카메라 시야내 디지털 이미지의 이차원적인 점( 즉, 픽셀)으로 대응시키기 위해 연립 방정식이 사용된다. 소정의 디지털 이미지로 분석된 공의 픽셀 위치는 경기중 특정 삼차원적 위치와 관련되어, 각 비디오 영상으로부터 삼각 측량법(triangulation)을 사용함으로써, 일련의 영상 프레임이 공의 위치를 방해하지 않는 부분을 나타내는 궤도 방정식에 공의 위치를 근사시키는 최소제곱법(least-squares method)으로 분석된다.

세겐에 의해 상세하게 개시된 바와 같이, 객체의 삼차원적 위치와 움직임이 결정되면, 비디오 게임 환경에서 객체의 움직임을 생동감있게 만드는 프로그램을 사용함으로써 살아 있는 듯한 객체를 만들기 위한 방법이 이 분야에서 다양하게 알려져 있다. 다시 말하면, 세겐은 소정의 시간에 한 점에서 캡쳐된 복수의 이차원적 비디오 영상으로부터 움직이는 객체의 삼차원적 위치를 결정하는 것에 관심을 가진 것이라 할 수 있다. 일단 "실제" 객체의 삼차원적인 위치가 알려지면, 그 정보를 이용하여 게임 프로그래머에게 통상적으로 알려져 있는 많은 다른 방법으로 게임 프로그램을 제어할 수 있다.

그러나, 세겐의 시스템은 삼각 측량법에 기초하여 객체의 위치 정보를 얻기 위한 복수의 비디오 카메라를 필요로 한다. 더욱이, 검출된 객체는 공간에서 객체의 방향성(예를 들어, 경사각)에 관한 정보를 담고 있지 않은 단순 구면체이다. 그러므로, 세겐의 시스템으로는 하나의 비디오 카메라를 사용한 이차원적인 영상 이미지로부터, 객체가 이동하거나 정지해 있는가에 관계없이, 객체의 위치와 상태를 재구성할 수 없게 된다.

게임 프로그램이 실행중인 경우를 포함하여, 게임 프로그램이 일반적으로 삼 차원 기하학적 형상의 결합으로부터 형성된 가상 객체를 갖고, 각각 관계되어 있는 객체들의 삼차원적 묘사(위치와 방향)는 조이스틱(joystick), 게임 조종기 또는 다른 입력 장치와 같은 입력 장치로 입력 요소들이 결정된다. 가상 객체의 삼차원적 위치와 방향은 게임 콘솔의 렌더링(rendering) 처리 기능 수단으로 삼차원적 투시 장면과 연주를 만들기 위해 이차원적 디스플레이(배경, 빛과 그림자, 조직, 등)로 설계된다.

하나의 예로써, "실제" 객체 주위를 움직이는 방법에 부합하는 게임 디스플레이에서 움직이는 이미지의 형태는 "가상 객체"일 수 있다. 가상 객체를 보여주기 위해 계산된 삼차원적 정보는 게임 콘솔의 메모리 공간에 "가상 객체"의 위치와 방향을 수정하기 위해 사용되므로, 이미지의 렌더링은 삼차원 정보에서 실제적인 투시 디스플레이로 변환되는 처리에 의해 수행된다.

그러나, 많은 지식과 기술에도 불구하고, 이러한 문제점으로 인해 성공적인 객체 추적이 어렵게 되고, 특히 관심사가 된 객체에 명확하게 부합하는 영상 이미지의 픽셀들만을 정확히 추출하는 것이 용이하지 않다. 예를 들어, 비록 다른 것과는 명확한 차이가 있는 객체와 배경 색상들로 다른 색상의 입체 배경에 반대되는 색상을 가진 객체의 움직임이 비교적 쉽게 달성될 수 있을 지라도, 다채로운 색상 또는 비정적(非靜的) 배경들의 경우 심지어 밝은색을 띠는 대상의 추적은 상당히 어렵다. 빛의 변화는 또한 비디오 카메라에 의해 표시됨으로써 객체가 띠는 색상에 극적으로 영향을 미치므로, 특정한 색상의 객체에 의존하는 객체 추적 방법은 오류에 영향을 받기 쉽거나 빛의 조건 변화에 따라 일정한 재측정이 요구된다. 통상적 으로, 가정에서는 전통적인 객체 추적 컴퓨터 비젼 시스템으로 가능한 것보다 훨씬 더 융통성 있고 튼튼함을 요구하는 비디오 게임 프로그램들을 위한 환경을 사용한다.

따라서, 입력 장치의 대안은 단순하고 비교적 저렴한 카메라로 환경을 사용하는 경우에 추적될 수 있는 것이어야 한다. 더욱이, 입력 장치의 대안은 사용하기에 편리해야 한다. 사용자가 장갑을 가지고 있는 동안, 장갑은 입력을 캡쳐하기 위해 카메라로 추적하는 센서를 포함하므로, 사용자는 장갑을 끼지 않는다. 장갑을 잘 사용하지 않는 이유 중 하나는 장갑을 계속적으로 벗고 껴야 하는 불편함 때문이다.

따라서, 입력 장치가 사용자를 위해 편리함을 제공하는 것과 더불어, 단순한 비디오 카메라에 의해 추적될 수 있는 입력 장치를 제공함으로써 선행 기술의 문제점을 해결할 필요성이 있다.

통상적으로, 본 발명은 단순한 비디오 카메라로 추적될 수 있는 수동적 입력 장치를 제공하는 시스템과 방법을 제공함으로써 이러한 문제점들을 해결하고자 한다. 본 발명은 처리, 시스템 또는 장치를 포함하는 다양한 경우에 적용될 수 있다. 본 발명의 몇 실시예는 하기하기로 한다.

일 실시예에서, 컴퓨팅 시스템에 프로그램 실행의 입력 명령을 유발하기 위한 방법이 제공된다. 상기 방법은 캡쳐 장치 앞의 시야를 모니터링하면서 시작된다. 그리고, 입력 장치는 시야 안에서 식별된다. 검출된 입력 객체는 그 형상의 변 화가 분석된다. 다음으로, 입력 객체에서의 변화가 검출된다. 그리고, 입력 명령은 컴퓨팅 시스템에서 프로그램이 실행될 때 유발된다. 상기 유발은 입력 객체에서 검출된 변화의 결과이다.

다른 실시예에서, 입력 검출 프로그램이 제공된다. 입력 검출 프로그램은 컴퓨팅 장치에서 실행되고 메인(main) 프로그램의 입력 명령을 유발하는 시점을 결정하기 위한 프로그램 명령을 갖는다. 입력 검출 프로그램은 캡쳐 장치 앞의 시야를 모니터링하기 위한 프로그램 명령을 포함한다. 캡쳐 장치는 입력 검출 프로그램에서 데이터를 제공한다. 시야에서 입력 객체를 식별하기 위한 프로그램 명령이 포함된다. 입력 객체에서 물리적 변화를 검출하기 위한 프로그램 명령과 컴퓨팅 장치에서 메인 프로그램이 실행될 때 입력 명령을, 입력 대상에서 검출된 물리적 변화의 결과로써, 유발하기 위한 프로그램 명령도 포함된다.

또 다른 실시예에서, 컴퓨팅 시스템이 제공된다. 컴퓨팅 시스템은 입력 검출 시스템을 갖는다. 입력 검출 시스템은 컴퓨팅 시스템을 통해 메인 프로그램 실행의 입력 명령을 유발하는 시점을 결정한다. 컴퓨팅 시스템은 캡쳐 장치를 포함한다. 캡쳐 장치 앞의 시야를 모니터링하기 위한 회로와 시야안에 있는 입력 객체를 식별하기 위한 회로가 포함된다. 입력 객체에서 물리적 변화를 검출하기 위한 회로와 컴퓨팅 시스템을 통해 메인 프로그램이 실행되는 경우에 입력 명령을 유발하기 위한 회로가 모두 포함된다. 상기 유발은 입력 객체에서 검출된 물리적 변화의 결과이다.

또 다른 실시예에서, 컴퓨팅 시스템이 제공된다. 컴퓨팅 시스템은 입력 검출 시스템을 갖는다. 입력 검출 시스템은 컴퓨팅 시스템을 통해 메인 프로그램 실행의 입력 명령을 유발하는 시점을 결정한다. 컴퓨팅 시스템은 이미지 데이터를 캡쳐하기 위한 방법과 캡쳐 장치 앞의 시야를 모니터링하기 위한 방법을 포함한다. 시야에서 입력 객체를 식별하는 방법과 입력 객체에서 물리적 변화를 검출하는 방법들이 포함된다. 입력 객체에서 검출된 물리적 변화의 결과를 포함하여, 컴퓨팅 시스템을 통해 메인 프로그램이 실행될 때 입력 명령을 유발하는 방법도 포함된다.

본 발명의 다른 해석들과 이점들은 하기의 상세한 설명, 첨부 도면과 함께 본 발명의 실시예를 통해 명확하게 될 것이다.

본 발명은 첨부 도면과 함께 다음 설명을 참조함으로써 잘 이해될 수 있다.

도 1은 본 발명의 일 실시예에 따른 사용자 입력 장치를 추적할 수 있는 전반적인 시스템 구성의 하이 레벨 개략도이다.

도 2는 본 발명의 일 실시예에 따른 입력 장치 대안으로써 조종된 객체를 제공하는 것과 동시에 사용되도록 변형된 비디오 게임 콘솔의 구성 블럭도이다.

도 3은 본 발명의 일 실시예에 따른 사용자에 의해 조종되는 사용자 입력 장치에 부합하는 픽셀 그룹을 추적하고 구별하는 기능적 블럭들을 보여주는 블럭도이다.

도 4A는 본 발명의 일 실시예에 따른 X,Y 방향에서 추적될 수 있게 구성되고 모니터에 표시된 한 사건을 유발할 수도 있는 것으로서 변형될 수 있는 사용자 입력 장치의 개략도이다.

도 4B는 본 발명의 일 실시예에 따라 정면에서 본 변형될 수 있는 장치의 화상비 변화의 개략도이다.

도 5는 본 발명의 일 실시예에 따라 변형될 수 있는 사용자 입력 장치의 대안 실시예의 개략도이다.

도 6A는 도 4A, 4B와 5에 관하여 논의됨으로써 변형될 수 있는 사용자 입력 장치의 또 다른 실시예의 개략도이다.

도 6B는 이완된 위치와 닫혀진 위치에서 변형될 수 있는 장치의 개략도이다.

도 6C는 두개의 변형될 수 있는 장치가 하나 이상 사용된 도 6A의 대안이다.

도 7은 본 발명의 일 실시예에 따른 컴퓨팅 시스템에서 프로그램 실행의 입력 명령을 유발하기 위한 방법의 순서도이다.

도 8은 본 발명의 일 실시예에 따른 비디오 게임에서 게임 제어 명령을 유발하기 위한 방법의 순서도이다.

본 발명은 한 사건을 유발하기 위해 비디오 카메라로 캡쳐된 것으로서 변형될 수 있는 입력 장치를 개시하게 된다. 이하의 설명에서, 본 발명의 완전한 이해를 위해 본 발명의 내용을 상세하게 설명하기로 한다. 다른 경우, 공지된 처리 단계는 본 발명을 불분명하게 하므로 그 기재를 생략하기로 한다.

본 발명의 실시예는 비디오 카메라의 시야에서 변형될 수 있는 사용자 입력 장치를 제공한다. 입력 장치 화상비의 변화와 같은 변형은 비디오 카메라에 의해 캡쳐되고, 모니터에 표시될 수 있는 동작을 유발한다. 예를 들어, 입력 장치의 변 형은 파일이나 개인 컴퓨터의 윈도우를 열기 위해 마우스를 클릭하고, 잡고, 드래깅(dragging) 또는 컴퓨터 게임을 위한 이미지를 조종하고, 심지어 스마트 장치를 시작하는 것으로 발생될 수 있다. 입력 장치가 수동적인 장치, 예를 들어 입력 장치가 외부의 힘에 의해 변형될 수 있는 물체라는 것을 인지해야 한다. 따라서, 입력 장치는 수신기에 전달되는 어떤 능동적인 신호들을 발생시키지 않는다. 하기의 실시예로 설명되는 바와 같이 입력 장치는 사용자의 편의를 위해 마우스 클릭과 관계된다.

도 1은 본 발명의 일 실시예에 따른 사용자 입력 장치를 추적할 수 있는 전반적인 시스템 구성의 하이 레벨 개략도이다. 사용자 입력 장치 300은 천장과 바닥이 함께 압착될 수 있는 적당한 압력으로 화상비가 변할 수 있다. 일 실시예에서, 상기 변화는 디지털 비디오 카메라 190으로 캡쳐된 화상비이다. 디지털 비디오 카메라 190은 비디오 게임 콘솔 60과 통신한다. 일 실시예에서, 상기 사건은 게임 콘솔과 같은 컴퓨팅 시스템에서 메인 프로그램 실행의 입력 명령이다. 비디오 게임 콘솔 60은 모니터 80과 통신한다. 따라서, 사용자 입력 장치의 화상비 변화는 모니터 80에서 이미지를 조종할 수 있도록 사용자에게 사건을 유발시킨다. 사용자 입력 장치는 x, y 또는 z면 중의 어느 하나로 움직임으로써 추적될 수 있다. 이 면에서의 운동은 마우스와 비슷한 클릭과 드래그의 기능을 할 수 있다. 변형되는 동안 화상비를 변화시키기 위한 사용자 입력장치 300의 압착과 입력 장치의 움직임에 의해 사용자는 디스플레이 모니터에서 이미지를 움직이거나 조종할 수 있다. 비디오 게임 콘솔을 예로 들어 설명하였지만, 본 발명의 실시예는 개인 컴퓨터와 텔레비전, 디지털 비디오 디스크(DVD) 플레이어, 스마트 장치 등과 같은 다른 전자 제품에도 적용될 수 있다.

도 1에서, 사용자 입력 장치 300은 일 실시예에서 사용자 손바닥 안에 맞는 변형될 수 있는 반 실린더(half-cylinder)가 될 수 있다. 사용자 입력 장치 300은 압력이 가해지고 제거됨에 따라 원래 형태로 복원됨으로써 변형될 수 있는 어떤 적당한 물질로 만들 수 있다. 사용자는 소니 컴퓨터 엔터테인먼트(Sony Computer Entertainment)사에서 제조되는 "플레이스테이션2"®과 같은 게임 콘솔 60의 입/출력 포트(port)에 연결된 USB 웹 캠이나 디지털 캠코더도 가능한, 비디오 카메라 190의 시야에서 입력 장치를 정한다. 사용자가 카메라 190의 시야에서 사용자 입력 장치 300을 움직임으로써, 사용자 입력 장치의 크기, 모양, 색상 등과 같은 물리적 형태가 카메라 190에 의해 포착된다. 상기 처리는 단지 사용자 입력 장치에 부합된 픽셀 그룹을 고립시키거나 구별할 수 있도록 수행된다. 그것의 위치와 삼차원 공간에서의 방향을 포함한 실린더의 삼차원적 표현이 계산되고, 상기 표현은 게임 콘솔 60의 주메모리안에 유사하게 저장된다. 이 분야에서 알려진 렌더링(rendering) 기술을 사용함으로써, 객체의 삼차원적 표현은 모니터 80의 디스플레이 화면에 표시되는 게임 프로그램을 실행한다. 예를 들어, 모니터 80에서 객체는 사용자 입력 장치 300의 움직임에 부합하는 게임의 장면없이 움직일 수 있다. 화상비 변화가 검출되는 동안 사용자는 사용자 입력 장치 300의 위치와 방향을 변화시킴으로써, 메모리에 객체의 삼차원적 표현과 이미지 메모리의 렌더링 지역에서 객체에 부합하는 렌더링은 계속적으로 업데이트된다. 따라서 모니터 80에서 객체의 위치와 방향도 변한다. 따라서, 시각적 유발은, 컴퓨팅 시스템과 관련된 메인 프로그램에 의해 실행되는 입력 명령처럼, 수동적인 입력 장치가 실행되도록 힘을 가한 사용자에 의해 야기된다.

도 2는 본 발명의 일 실시예에 따른 입력 장치 대안으로써 조종된 객체를 제공하는 것과 동시에 사용되도록 변형된 비디오 게임 콘솔의 구성 블럭도이다. 게임 콘솔 60은 도 2에 도시된 바와 같이 전반적인 시스템 110의 조절을 위한 멀티프로세서 유닛(MPU)112가 갖춰진 본 발명과, 다양한 프로그램 조작과 정보의 저장을 위해 사용된 주 메모리 114, 기하학적 처리를 위해 필요한 플로팅(floationg) 포인트 벡터 계산 수행을 위한 벡터 계산 유닛 116, MPU 112에서의 조절에 기초한 데이터를 발생시키고 모니터 80(예를 들어 CRT)에 영상 신호를 출력하기 위한 이미지 처리 장치 120, MPU 112 또는 벡터 계산 유닛 116과 이미지 처리 장치 120사이에서 통신하고 전송 버스가 지나기 위한 그래픽 인터페이스(GIF) 122, 주변 장치에서와 주변 장치로부터 정보 수신과 발신을 용이하게 하기 위한 입/출력 포트 124, 커넬(kernel)이나 그와 같은 조정을 수행하기 위한, 예를 들어, 플래쉬(flash) 메모리에 의해 구성된 내부 OSD ROM 126, 그리고 달력과 타이머 기능을 가진 실시간 시계 128에 따라서 전반적인 엔터테인먼트(entertainment) 시스템 110의 조직이 구성된다.

메인 메모리 114, 벡터 계산 유닛 116, GIF 122, OSDROM 126, 실시간 시계(RTC) 128 및 입/출력 포트 124는 MPU 112에서 데이터 버스 130을 지나 연결된다. 또한, 버스 130에 연결된 것은 압축된 움직이는 이미지와 텍스쳐 이미지를 확대하 기 위한 처리 장치인 이미지 처리 유닛 138이고, 이로 인해 이미지 데이터를 전개할 수 있다. 예를 들어, 이미지 처리 유닛 138은 MPEG2나 MPEG4 기준 포맷, 매크로블럭(macroblock) 해독, 역 이산 코사인 변화 수행, 색상 공간 변환, 벡터 양자화와 그와 같은 것들에 따라서 비트 흐름의 해독과 전개를 위한 기능들을 행할 수 있다.

음향 시스템은 MPU 112로부터 명령어들의 기초에 영향을 주는 뮤지컬이나 다른 음향을 발생하기 위한 음향 처리 유닛 SPU 171, 파형 데이터가 SPU 171로 기록되는 음향 버퍼 173, 그리고 SPU 171로 발생된 뮤지컬이나 다른 음향 효과를 출력하기 위한 스피커 175로 구성된다. 스피커 175가 모니터 80의 일부로 결합되거나 또는 외부 스피커 175에 접촉된 오디오 라인 출력 단자를 구분함으로써 제공된다.

통신 인터페이스 140은 디지털 데이터의 입/출력의 기능을 가지고, 본 발명에 따라서 디지털 목록의 입력을 위한 BUS 130에 연결된 인터페이스가 제공된다. 예를 들어서, 통신 인터페이스 140을 통해서, 사용자 입력 데이터는 온라인 비디오 게임 지원을 공급하기 위해서 네트워크에 서버 터미널로 전송할 수 있고, 상태(status) 데이터는 온라인 비디오 게임 지원을 공급하기 위해 네트워크에 서버 터미널로부터 받게 된다. 광학 디스크 70의 목록 재생을 위한 엔터테인먼트 시스템 110과 광학 디스크 장치 136과의 관계로 데이터 입력(예를 들어 키 입력 데이터 또는 대등한 데이터)을 위한 입력 장치 132(컨트롤러로 또한 알려진), 예를 들어 CD-ROM 또는 다양한 프로그램과 데이터(예를 들어 데이터 관계 객체, 구성 데이터 그리고 그와 같은 것)와 같은 것, 입/출력 포트 124에 연결된다.

입력 장치를 더욱 개선한 것으로, 본 발명은 입/출력 포트 124에 연결된 디지털 비디오 카메라 190을 포함한다. 입/출력 포트 124는, 디지털 비디오 카메라 190이 USB 입력이나 카메라 190을 사용하기에 적당한 어떤 다른 종래의 인터페이스를 활용하는 것을 포함하여, 시리얼(serial)과 USB 인터페이스를 포함하는 하나 이상의 입력 인터페이스에 의해 장착된다.

상기 언급된 이미지 프로세서 120은 렌더링 엔진 170, 인터페이스 172, 이미지 메모리 174, 디스플레이 조절 장치 176 (예를 들어, 프로그램으로 동작할 수 있는 CRT 조절기 혹은 그와 같은 것)을 포함한다. 렌더링 엔진 170은, 메모리 인터페이스 172를 통하여, 이미지 메모리에서 그리고 MPU 112에서 제공되는 렌더링 명령과의 일치에서 예정된 이미지 데이터의 렌더링을 위해 작동이 수행된다. 렌더링 엔진 170은 예를 들어, NTSC 또는 PAL 기준에 따라, 특히, 1/60초에서 1/30초의 간격마다, 십에서 수십번의 비율로, 렌더링, 실시간, 320X240 픽셀 또는 640X480 픽셀의 이미지 데이터를 가진다.

BUS 178은 메모리 인터페이스 172와 렌더링 엔진 170사이에 연결되고, 두 번째 BUS 180은 메모리 인터페이스 172와 이미지 메모리 174사이에 연결된다. 첫 번째 BUS 178과 두 번째 BUS 180은 각각 비트폭, 예를 들어 128 비트,을 갖고, 렌더링 엔진 170은 이미지 메모리와 관계되어 빠른 속도로 렌더링 처리를 수행할 수 있다. 이미지 메모리 174는 일정한 영역에서 지정될 수 있는 통일된 메모리 구조(예를 들어 구조 렌더링 영역과 디스플레이 렌더링 영역)를 사용한다.

디스플레이 조절기 176은 메모리 인터페이스 172를 거쳐 이미지 메모리 174 의 구조 렌더링 지역에서, 광학 디스크 장치 136을 통해 광학 디스크 170에서 받은 구조 데이터, 또는 주 메모리 114에서 생성된 구조 데이터를 쓰기 위해 구성된다. 이미지 메모리 174의 디스플레이 렌더링 영역에서 렌더링된 이미지 데이터는 메모리 인터페이스 172를 통해 읽혀지고, 모니터 80에서 같은 출력은 그 스크린에 표시된다.

도 3은 본 발명의 일 실시예에 따라서 사용자에 의해 조종되는 사용자 입력 장치에 부합하는 픽셀 그룹을 추적하고 구별하는 기능적 블럭들을 보여주는 블럭 도표이다. 블럭이 게임 콘솔 60에서 MPU 112로 실행된 소프트웨어에 의해 실행됨으로써 서술된 기능들을 이해해야 한다. 더욱이, 도 3에서 블럭에 의해 서술된 모든 상기 기능들이 각 실시예를 위해 사용되는 것은 아니다.

최초로 카메라에서의 픽셀 데이터 입력은, 그 후 수행된 다음의 처리를 할 수 있는 입/출력 단자 인터페이스 124를 통해 게임 콘솔 60이 공급된다. 첫째, 이미지의 각 픽셀이, 예를 들어 래스터(raster)를 기초로, 표본화된 것처럼 색 분리 처리 단계 S201은, 각 픽셀의 색이 결정되고 이미지가 다른 색의 다양한 이차원적 구분으로 분할되며 수행된다. 다음으로, 특정 실시예에서, 색 변화 위치 측정 단계 S203은, 다른 색의 구분이 인접한 영역은 더 확실하게 결정되고, 그 때문에 뚜렷한 색 변화가 일어난 이미지의 위치를 정의하는 것이 가능하다. 그리고, 기하 처리 S205를 위한 단계는, 실시예에 따르면, 모서리 검출 장치 또는 구역 통계의 계산 수행중 하나를 포함하며, 그것에 따라 대수학 또는 기하학 용어인 선, 커브, 그리고/혹은 목표 객체의 모서리를 일치시키는 정다각형으로 정의된다. 예를 들어, 도 1에 나타난 사용자 입력 장치의 경우에서 픽셀 영역은 일반적으로 사용자 입력 장치의 직교 정면에 일치한 사각형 모양을 포함할 것이다. 사각형의 대수학적 혹은 기하학적 서술로부터, 이것은 오직 객체와 일치하는 중심, 폭, 길이 그리고 픽셀 그룹의 이차원적 방향을 결정하는 것이 가능하다.

삼차원 위치와 객체의 방향은 본 발명의 상기 실시예와 공동으로 서술된 알고리즘에 따라서 단계 S207에서 계산된다. 또한 삼차원 위치와 방향의 데이터는 성능 향상을 위한 칼멘 필터링(Kalmam filtering)을 위해 처리 단계 S209를 거친다. 이러한 처리는 객체가 현 시점에서 어디에 있을지 추정하기 위해, 그리고 가능하지 않은 잘못된 측정을 걸러내기 위해 수행되고, 따라서 바깥에 놓여 있는 옳은 데이터를 지정하는 것이 고려된다. 칼멘 필터링의 또 다른 이유는 전형적인 디스플레이가 60Hz에서 작동되는데 반하여, 카메라 190은 30Hz에서 생성되기 때문이다. 그래서 칼멘 필터링은 게임 프로그램에서 동작을 조절하기 위해 사용된 데이터의 주파수 차를 채운다. 칼멘 필터링을 통한 이산 데이터 스무딩(smoothing)은 컴퓨터 비전 분야에서 잘 알려져 있고 따라서 그 이상으로 정교해지지 않을 것이다.

도 4A는 본 발명의 일 실시예에 따라서 X,Y 방향에서 추적될 수 있게 구성되고 모니터에 표시된 한 사건을 유발할 수도 있는, 변형될 수 있는 사용자 입력 장치의 도표이다. 변형될 수 있는 사용자 입력 장치 300은 비디오 카메라 190으로 추적된다. 비디오 카메라 190은 차례로 게임 콘솔 60과 모니터 80과 통신한다. 일 실시예에서, 변형될 수 있는 장치 300은 상기한 색을 통해 디지털 비디오 카메라 190으로 추적된다. 사용자 입력 장치는 카메라 190의 시야안에 있을 때 추적될 수 있 는 특정의 색을 띠고 있다. 도시된 바와 같이, 변형될 수 있는 장치 300은 근본적으로 반으로 잘려진 실린더의 일부이다. 일 실시예에 따라서 변형될 수 있는 장치 300은 손바닥 안쪽에 맞출 수 있다. 따라서, 변형될 수 있는 장치 300에 따라 변형될 수 있는 장치 변화의 화상비가 변형되고 디지털 비디오 카메라 190으로 캡쳐된다. 이 화상비에서의 캡쳐된 변화는 차례로 모니터 80에 유발되고 보여진 사건을 결과로 콘솔 60과 통신된다. 예를 들어, 변형될 수 있는 300은 마우스와 비슷하게 사용될 수 있다, 따라서 객체 혹은 윈도우 안의 객체가 접근할 수 있고 주위를 움직일 수 있다.

일 실시예로, 이미지 304는 점 302에서 캡쳐될 수 있고 원하는 대로 드래그하거나 조종할 수 있다. 당업자라면 변형될 수 있는 장치 300이 마우스처럼 비슷한 기능을 이룰 수 있는 수많은 적당한 작동들이 수행될 수 있는 것을 알 수 있을 것이다. 물론 변형될 수 있는 장치 300은 마우스와 같은 기능이 요구되는 어떤 다른 적당한 쌍방향 게임이나 비디오 게임을 할 수 있다. 여기서 변형될 수 있는 장치 300의 화상비 변화는 마우스 클릭과 대비하여 이미지는 화상비가 그것의 초기 위치로부터 변화되는 동안 드래그될 수 있다. 따라서, 사용자 입력 장치는 카드 게임을 하는데 사용될 수 있다. 당업자라면 상기 기술된 마우스와 같은 기능이 적용될 수 있는 많은 출원들이 있다는 것을 알 수 있을 것이다.

도 4B는 본 발명의 일 실시예에 따라서 정면에서 본 변형될 수 있는 장치의 화상비 변화의 개략도이다. 변형될 수 있는 장치는 이완된 위치 300A에 있다. 사용자가 변형될 수 있는 장치에 압착을 가함에 따라, 화상비가 닫힌 위치 300B로 변한 다. 상기 기술된 입력 장치는 사용자에게 행동 유발과 일치하는 촉각/촉감 피드백을 제공한다는 것을 알 수 있을 것이다.

도 5는 본 발명의 일 실시예에 따라서 변형될 수 있는 사용자 입력 장치의 대안 실시예의 개략도이다. 변형될 수 있는 사용자 입력 장치 310은 사용자에 의해 변형될 수 있는 장치로 가해진 힘에 따라서 이완된 상태 310A나 내려앉은 상태인 310B에서 존재할 수 있다. 그러므로 변형될 수 있는 장치 310은 압착 할 수 있는 공 모양이다. 더 일반적으로, 변형될 수 있는 구(球)의 어떤 형태든 상기 기술된 시각적인 추적 시스템에 의해 추적될 수 있다. 이 실시예에서, 비디오 디지털 카메라 190에 의해 보는 것과 같이, 변형될 수 있는 장치 310의 영역은 일정하게 유지되는 것을 인지해야 한다.. 그러므로, 변형될 수 있는 장치 310의 X와 Y의 평면 운동을 캡쳐하는 것에 더하여, 디지털 비디오 카메라 190은 Z방향에서 움직임을 캡쳐할 수 있다. 파일은 304B의 앞 혹은 뒤와 같은, 즉, 모니터에 나타난 것처럼 Z축 방향, 즉 깊이 방향으로 파일이 당겨질 수 있다. 더욱이, 변형될 수 있는 장치 310에 의해 잡힌 보여진 객체는 변형될 수 있는 장치 310이 움직인 Z 축 방향으로 따라 더 작거나 크게 나타나게 할 수 있다. 예를 들어, 일 실시예에서, 변형될 수 있는 장치 310이 카메라 190으로부터 멀어지면 보여진 대상은 모니터 80에 더 작게 나타날 것이고 반면에 변형될 수 있는 장치 310이 카메라 190에 더 가까이 가면 표시된 객체는 더 크게 나타날 것이다. 당업자라면 보여진 객체가 X, Y 그리고 Z 방향의 움직임의 조합으로 그것의 크기와 위치를 변하게 할 수 있다는 것을 알 수 있을 것이다. 각 θ는 삼차원 공간안의 움직임을 결정한다. 당업자라면 θ가 카메라 190의 시야 평면의 방향에서 측정된 각임을 알 수 있을 것이다.

상기 언급된 도 5에서, 카메라는 변형될 수 있는 장치 310의 위치를 캡쳐한다. 위치 정보는 게임 콘솔 60에 통신된다. 위치 정보는 도 1-3에서 언급된 게임 콘솔 60에 의해 처리된다. 영상비나 변형될 수 있는 장치 변화의 위치 관계에 따라, 처리는 모니터 80에 표시된 객체의 움직임을 해석한다. 본 발명의 일 실시예에서 저주파 신호는 변형될 수 있는 장치의 화상비 변화에 따라 생성될 수 있다는 것을 인지해야 한다.

일 실시예에서, x, y, z, θ, 그리고 압축(squeeze) 매개변수들은 이미지에서 픽셀의 분석을 통해 결정된다. 이미지에서 픽셀들은 추적되는 객체의 일부인데, 즉, 변형될 수 있는 장치, 인 것을 인식해야 한다. 특히, x는 이미지에서 픽셀의 수평 중심에 비례한다. y는 이미지에서 픽셀의 수직 중심에 비례한다. z는 픽셀의 영역이나 제 2 운동 법칙(다른 정밀도/견고한 행동을 제공)의 제곱근에 반비례한다. θ는 제 2 운동 법칙의 회전각과 일치한다. 압축량과 같은 압축 매개변수들, 즉, 화상비에서 변형이나 변화량, 은 최소 제 2 운동의 제곱근에 의해 나뉘어진 제 2 운동 법칙의 제곱근에 비례한다. 상기 언급된 각 매개변수들은 이미지를 통한 단일 패스(single pass)로부터 계산될 수 있다. 그러므로, 상기 기술된 방법은 다른 일반적으로 사용된 규정(metrics)보다 시각적 오류에 덜 민감하다는 것을 설명했다.

도 6A는 도 4A, 4B와 5에 관하여 논의됨으로써 변형될 수 있는 사용자 입력 장치의 또 다른 실시예의 개략도이다. 여기서, 변형될 수 있는 장치 320은 함께 결 합된 높은 부분과 낮은 부분을 포함하고, 그래서 높은 부분과 낮은 부분 사이의 거리는 두 부분에 서로 다른 힘을 적용함으로 변화될 수 있다. 따라서, 화상비는 압력이 변형될 수 있는 장치 320의 양 끝단에 적용됨으로써 변할 것이다. 그러나 변형될 수 있는 장치 320의 영역은 일정하게 남아있고, 그러므로, 카메라 190은 x, y 그리고 z 평면에서 변형될 수 있는 장치의 움직임을 추적할 수 있다. 상기 언급된 대로, 변형될 수 있는 사용자 입력 장치 320은 변형될 수 있고 원래 모양대로 돌아갈 수 있는 어떤 적당한 재료로 구성될 수 있다.

도 6B는 이완된 위치와 닫혀진 위치에서 변형될 수 있는 장치의 개략도이다. 당업자라면 상기 언급된 대로, 카메라 190에 의해 감지된 변형될 수 있는 장치 320의 영역은 그대로 남는다는 것을 알수 있을 것이다. 즉 이완된 상태 320A에서 수많은 픽셀들은 저하된 상태 320B에서 수많은 픽셀들과 같다. 결과적으로 상기 움직임은 삼차원적 공간에서 추적될 수 있다.

도 6C는 두개의 변형될 수 있는 장치가 하나 이상 사용된 도 6A의 대안이다. 여기서, 사용자는 양 손에 각각 변형될 수 있는 장치 320A-1과 320A-2를 가진다. 변형될 수 있는 장치 320A-1과 320A-2는 같은 이미지나 다른 이미지에서 동작될 수 있다. 일 실시예에서, 사용자가 잡고 있는 하나 또는 두 개의 변형될 수 있는 장치 320의 이미지는 카메라 190으로 캡쳐되고, 그래서 사용자가 잡고 있는 하나 또는 더 많은 변형될 수 있는 사용자 입력 장치 320의 이미지가 모니터 80에 나타날 수 있다

여기서, 기술된 실시예들은 또한 역반사 물질을 사용할 수 있다. 역반사 물 질은 테잎, 페인트, 플라스틱, 등의 형태가 될 수 있으며, 카메라 190을 향한 변형될 수 있는 장치 320의 정면 부분처럼 변형될 수 있는 장치의 앞에 적용될 것이다. 여기서, 카메라 190은 변형될 수 있는 장치로 지시된 빛을 포함한다. 공지된 바와같이, 역반사(retro-reflective) 물질로부터 반사된 빛은 카메라 190으로 지시될 것이다. 광원은 가시광선 또는 비 가시광선의 파장일 수 있다. 일 실시예에서, 그 광원은 적외선이다.

도 7은 본 발명의 일 실시예에 따라서 컴퓨팅 시스템에서 프로그램 실행의 입력 명령을 유발하기 위한 시행 방법의 순서도이다. 상기 방법은 컴퓨터와 통신하는 캡쳐 장치가 제공되는 연산 400으로부터 시작된다. 일 실시예에서 웹 캠처럼 캡쳐 장치는 디지털 카메라이다. 컴퓨팅 시스템은 도 1-3과 관련하여 설명된 것처럼 모니터와 함께 콘솔이 될 수 있다. 그리고 나서, 그 방법은 캡쳐 영역이 모니터된 연산 402로 넘어간다. 일 실시예에서 캡쳐 영역은 캡쳐 장치의 시야이다.

도 7의 방법은 입력 장치가 캡쳐 영역 안에 감지되고 입력 장치의 형태가 식별되는 연산 404로 진행한다. 여기서, 도 4-6C와 관련하여 설명된 것처럼 입력 장치는 사용자에 의해 캡쳐 장치의 시야에 이르게 할 수 있다. 입력 장치의 모양은 사용자 입력 장치가 도 4-6C와 관련하여 설명된 것 처럼 어떤 적당한 형태일 수 있다. 일 실시예에서, 입력 장치가 캡쳐 장치에 의해 모니터될 수 있는 정면 투사의 화상비가 변경되도록 형성된다. 그리고 나서 그 방법은 입력 장치의 형태 변화가 식별되는 연산 406으로 진행된다. 예를 들어, 사용자가 입력 장치를 압착한다면, 입력 장치의 화상비가 변한다. 그 다음 그 방법은 입력 장치의 형태에서 감지된 변 화에 반응하는 연산 408로 진행하고, 능동적인 입력은 캡쳐 장치와 통신하는 컴퓨터에서 컴퓨터 프로그램이 실행될 때 유발된다. 일 실시예에서, 사용자 입력 장치의 형태 변화는 입력 장치와 일치하는 아이콘(icon)이 모니터에에서 이미지로 나타나는 동안 발생한다. 형태의 변화는 마우스의 클릭과 비슷하게 선택된 이미지를 야기한다. 다른 실시예에서, 사용자 입력 장치의 움직임은 사용자 입력 장치가 변화된 형태를 유지하는 동안에 이미지가 움직이거나 변하는 것을 야기한다. 다중 사용자 입력 장치가 포함될 수 있는 것을 인지해야 한다. 예를 들어, 사용자는 각 손에 하나의 사용자 입력 장치를 잡을 수 있다.

도 8은 본 발명의 일 실시예에 따라서 비디오 게임에서 게임 제어 명령을 유발하기 위한 시행 방법의 순서도이다. 상기 방법은 비디오 게임을 하기 위한 게임 콘솔이 제공되는 연산 410과 함께 시작한다. 비디오 게임은 스크린에 보여진다. 일 실시예에서, 게임 콘솔은 "PLAYSTATION 2"® 게임 콘솔이다. 그 다음 상기 방법은 게임 콘솔과 연결된 비디오 캡쳐 장치가 제공되는 연산 412로 진행한다. 일 실시예에서, 입력 장치는 웹 캡처럼 디지털 카메라이다. 상기 방법은 캡쳐 장치 앞의 캡쳐 영역을 모니터하는 연산 414로 이동한다. 일 실시예로, 상기 언급된 것처럼 캡쳐 영역은 캡쳐 장치 시야이다.

도 8의 상기 방법은 입력 장치가 캡쳐 영역에서 입력 장치의 초기 모양이 식별되는 연산 416으로 진행한다. 여기서, 도 4-6C와 관련하여 설명된 것처럼 입력 장치는 사용자에 의해 캡쳐 장치의 시야로 가져올 수 있다. 실시예에서, 캡쳐 장치는 빛의 직접적 근원으로부터 캡쳐 장치까지 빛을 방출함으로써 입력 장치를 검출 한다. 이 실시예에서, 입력 장치는 빛이 생성되는 근원에 바로 돌아가는 빛을 반사하기 위해 구성된 역반사 물질을 포함한다. 상기 방법은 입력 장치 형태의 변화를 식별하는 연산 418로 진행한다. 예를 들어, 입력 장치의 화상비 변화 때문에 사용자는 입력 장치를 압착한다. 상기 방법은 입력 장치 형태의 감지된 변화에 응답하는 연산 420으로 진행하고, 게임 조절 명령은 캡쳐 장치와 통신하는 게임 콘솔에서 컴퓨터 프로그램이 실행될 때 유발된다. 일 실시예로, 사용자 입력 장치의 변형된 형태가 남아있는 동안 사용자 입력 장치의 움직임은 선택된 이미지를 움직이거나 크기 변화를 야기한다. 다른 실시예에서, 비디오 게임을 하는 동안 화상비의 변화 정도는 압착력을 나타낸다. 예를 들어, 특정한 비디오 게임의 특징을 위해 세게 압착하면 화상비의 변화가 클 것이다.

요약하면, 여기에 정의된 변형될 수 있는 장치의 화상비의 변화는 사건 또는 마우스를 클릭하거나 동작을 잡는 것과 비교할 수 있는 행위를 유발한다. 어떤 사건들은 화상비의 변화로 인해 유발될 수 있다는 것을 인지해야 한다. 예를 들어, 내림 메뉴(pull-down menu)가 접근될 수 있고, 비디오 게임이 실행될 수 있고, 객체를 움켜쥘 수 있고, 앞으로 이동하고, 뒤로 이동하고, 겹쳐 쌓거나, 층을 이루거나 하는 등을 할 수 있다. 게다가, 화상비의 변화를 위해 사용자 입력 장치를 압착하는 행위에 의한 버튼을 누르거나 쥐는 행위처럼 사건은 시뮬레이션될 수 있다. 일 실시예에서 사용자 입력 장치 형태의 변화를 캡쳐하는 카메라는 색상을 사용하는 장치를 추적하기 위해 구성된다. 다른 방법으로, 카메라는 변형될 수 있는 장치에 적용된 역반사 물질로 빛을 사용하는 장치를 추적할 수 있다. 여기서 기술된 변 형될 수 있는 장치는 어떤 적당한 형태를 가질 수 있고, 그래서 사용자는 마우스를 사용, 즉, 촉각/촉감 피드백을 받지 않고도 클릭하는 느낌을 받을 수 있다. 본질적으로, 장갑은 사용자가 장갑을 끼지 않아도 기능성이 달성될 수 있다. 상기 기술된 실시예가 각 비디오 게임 콘솔에 대하여 기술한 반면, 상기 실시예는 전형적인 그리고 제한적이지 않은 의미가 된다. 여기에 기술된 변형될 수 있는 장치는 또한 주방 기구 등과 같은 스마트 장치뿐만 아니라 개인 컴퓨터와 TV, VCR, 홈시어터 시스템 등과 같은 가전 제품에 적용될 수 있다. 당업자라면 상기 언급된 실시예가 비디오 게임에서 실행하는 게임 콘솔뿐만 아니라 사용자가 서버로부터 접근한 온라인 비디오 게임에 적용할 수 있다는 것을 알 수 있을 것이다.

본 발명은 컴퓨터 시스템에 저장된 데이터를 포함하는 다양한 컴퓨터 실행 연산을 사용한다. 이 연산은 물리적 양의 물리적 조종을 요구하는 것이다. 일반적으로, 필요하진 않지만, 이 물리적 양은 저장되거나, 옮겨지거나, 합쳐지거나, 비교되거나 아니면 조정될 수 있는 전기적 또는 자기적 신호의 형태를 가진다. 더 나아가, 수행된 조정은 종종 생성, 인식, 결정 또는 비교 같은 조건들에 속한다.

본 발명의 일부 형태인 상기 기술된 어떤 연산들은 기계 연산에 유용하다. 본 발명은 또한 이 연산을 실행하기 위한 장치나 기구와 관련된다. 그 기구는 요구되는 목적을 위해 특별히 구성되거나, 또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화 되거나 구성된 일반 범용 컴퓨터일 수 있다. 특히, 다양한 범용 기계들은 설명에 따라 쓰여지는 컴퓨터 프로그램을 사용하거나 또는 요구된 연산을 수행하는 더 전문화된 기구들을 구성하기 위해 더 편리하다.

비록 본 발명이 명확한 이해의 목적을 위해 다소 상세하게 설명되었더라도, 특정한 변경이나 변형이 가능하다.

따라서, 본 실시예는 이에 한정되는 것이 아니고, 본 발명과 균등한 범위내에서 수정될 수 있다.

Claims (33)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 컴퓨터 장치와 인터페이싱된 입력 장치에 있어서,

    첫 번째 부분 및

    첫 번째 부분과 통합된 두 번째 부분을 포함하고,

    상기 첫 번째 및 두 번째 부분은 상기 첫 번째 부분과 접한 첫 번째 단부 및 상기 두 번째 부분과 접한 두 번째 단부를 갖는 부재를 통하여 결합되고, 상기 부재는 상기 첫 번째 부분의 모서리에 의해 정의된 평면 및 상기 두 번째 부분의 모서리에 의해 정의된 평면에 수직이고,

    상기 입력 장치는 이완된 상태인 첫 번째 상태에서의 첫 번째 화상비와 변형된 상태인 두 번째 상태에서의 두 번째 화상비를 정의하도록 구성되고, 상기 첫 번째 상태 및 두 번째 상태의 화상비 변화가 캡쳐 장치에 의해 검출되어 상기 컴퓨팅 장치 입력 명령을 유발하는 것을 특징으로 하는 입력 장치.
15. 제 14항에 있어서,

    상기 첫 번째 부분과 두 번째 부분은 실린더의 반으로 각각 구분되는 것을 특징으로 하는 컴퓨터 장치와 인터페이싱된 입력 장치.
16. 제 14항에 있어서,

    상기 입력 장치는 실질적으로 사람 손바닥에 놓일 수 있는 컴퓨터 장치와 인터페이싱된 입력 장치.
17. 제 14항에 있어서,

    상기 첫 번째 부분과 두 번째 부분은 구로 정의되는 것을 특징으로 하는 컴퓨팅 장치와 인터페이싱된 입력 장치.
18. 제 14항에 있어서,

    상기 첫 번째 부분은 첫 번째 모서리를 규정하고 두 번째 부분은 두 번째 모서리를 규정하되, 첫 번째 모서리는 실질적으로 두 번째 모서리와 평행한 것을 특징으로 하는 컴퓨팅 장치와 인터페이싱된 입력 장치.
19. 제 18항에 있어서,

    빈공간(opening)은 첫 번째와 두 번째 모서리 사이로 규정하며, 시작은 입력 장치에 외부 힘이 가해지면 닫혀질 수 있는 입력 장치.
20. 제 14항에 있어서,

    상기 첫 번째 상태와 두 번째 상태 사이의 변화는 클릭 소리를 유발시키는 것을 특징으로 하는 컴퓨팅 장치와 인터페이싱된 입력 장치.
21. 컴퓨팅 장치의 입력 장치로 사용되는 입력 장치에 있어서,

    첫 번째 부분 및

    상기 첫 번째 부분과 결합된 두 번째 부분을 포함하며,

    상기 첫 번째 및 두 번째 부분은 상기 첫 번째 부분과 접한 첫 번째 단부 및 상기 두 번째 부분과 접한 두 번째 단부를 갖는 부재를 통하여 결합되고, 상기 부재는 상기 첫 번째 부분의 모서리에 의해 정의된 평면 및 상기 두 번째 부분의 모서리에 의해 정의된 평면에 수직이고,

    상기 입력 장치는 이완 상태에서의 첫 번째 형상 및 변형 상태에서의 두 번째 형상을 규정하도록 구성되고,

    상기 첫 번째 형상과 두 번째 형상 사이의 변화는 캡쳐 장치에 의하여 검출되어 컴퓨팅장치와 통신하는 시야 스크린(viewable screen)상에 디스플레이 될 수 있는 입력을 유발하는 것을 특징으로 하는 컴퓨팅 장치의 입력장치로 사용되는 입력 장치.
22. 제 21항에 있어서,

    첫 번째 부분의 모서리(edge)와

    두 번째 부분의 모서리를 더 포함하며,

    상기 첫 번째 부분의 모서리 및 두 번째 부분의 모서리는 빛을 반사하도록 구성되어 상기 첫 번째 부분의 모서리 및 두 번째 부분의 모서리로부터 반사된 빛이 컴퓨팅 장치에 의해 추적될 수 있도록 하는 것을 특징으로 하는 컴퓨팅 장치의 입력장치로 사용되는 입력장치.
23. 제 21항에 있어서,상기 컴퓨팅 장치는 게임 콘솔(console)인 것을 특징으로 하는 컴퓨팅 장치의 입력장치로 사용되는 입력 장치.
24. 제 21항에 있어서, 상기 컴퓨팅장치에 의해 관찰되는 상기 입력장치의 영역은 3차원 공간에서의 움직임을 추적하도록 일정하게 유지되는 것을 특징으로 하는 컴퓨팅 장치의 입력장치로 사용되는 입력 장치.
25. 제 22항에 있어서, 이완 상태에서 상기 첫 번째 부분의 모서리와 두 번째 부분의 모서리 사이로 규정된 빈 공간(opening)을 더 포함하며, 상기 빈 공간은 변형 상태에서 닫히는 것을 특징으로 하는 컴퓨팅 장치의 입력장치로 사용되는 입력 장치.
26. 제 21항에 있어서, 상기 첫 번째 및 두 번째 부분에 해당하는 심볼(symbol)이 상기 컴퓨팅장치와 통신하는 시야 스크린(viewable screen)상에 디스플레이 되는 것을 특징으로 하는 컴퓨팅 장치의 입력장치로 사용되는 입력 장치.
27. 컴퓨팅 장치와 인터페이싱된 입력 장치에 있어서,

    첫 번째 부분의 첫 번째 모서리; 및

    상기 첫 번째 모서리에 평행한, 두 번째 부분의 두 번째 모서리를 포함하며,

    상기 첫 번째 및 두 번째 부분은 상기 첫 번째 부분과 접한 첫 번째 단부 및 상기 두 번째 부분과 접한 두 번째 단부를 갖는 부재를 통하여 결합되고, 상기 부재는 상기 첫 번째 부분의 모서리에 의해 정의된 평면 및 상기 두 번째 부분의 모서리에 의해 정의된 평면에 수직이고,

    상기 첫 번째 및 두 번째 모서리는 상기 입력 장치에 외부 힘이 가해질 때 서로 접촉하도록 구성되고, 컴퓨팅 장치에 입력 명령을 제공하도록 캡쳐 장치에 의해 추적될 수 있는 것을 특징으로 하는 컴퓨팅 장치와 인터페이싱된 입력 장치.
28. 제 27항에 있어서, 상기 첫 번째 모서리와 두 번째 모서리 사이에 규정된 빈 공간(opening)을 더 포함하는 것을 특징으로 하는 컴퓨팅 장치와 인터페이싱된 입력 장치.
29. 제 28항에 있어서, 상기 입력 장치에 가해진 외부 힘이 첫 번째 모서리와 두 번째 모서리 사이에 규정된 상기 빈 공간(opening)을 닫는 것을 특징으로 하는 컴퓨팅 장치와 인터페이싱된 입력 장치.
30. 제 27항에 있어서, 상기 입력 장치에 가해진 외부 힘이 클릭 소리를 유발시키는 것을 특징으로 하는 컴퓨팅 장치와 인터페이싱된 입력 장치.
31. 제 27항에 있어서, 상기 첫 번째 및 두 번째 모서리에 해당하는 심볼(symbol)이 상기 컴퓨팅장치와 통신하는 시야 스크린(viewable screen)상에 디스플레이 되는 것을 특징으로 하는 컴퓨팅 장치와 인터페이싱된 입력 장치.
32. 제 31항에 있어서, 상기 입력 장치의 움직임이 시야 스크린(viewable screen) 상의 심볼의 움직임을 유발시키는 것을 특징으로 하는 컴퓨팅 장치와 인터페이싱된 입력 장치.
33. 제 31항에 있어서, 상기 심볼(symbol)은 시야 스크린(viewable screen) 상에 규정된 객체와 상호 작용할 수 있는 것을 특징으로 하는 컴퓨팅 장치와 인터페이싱된 입력 장치.

Images