KR20110099166A - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20110099166A
KR20110099166A KR1020110015197A KR20110015197A KR20110099166A KR 20110099166 A KR20110099166 A KR 20110099166A KR 1020110015197 A KR1020110015197 A KR 1020110015197A KR 20110015197 A KR20110015197 A KR 20110015197A KR 20110099166 A KR20110099166 A KR 20110099166A
Authority
KR
South Korea
Prior art keywords
finger
contact
function
unit
image
Prior art date
Application number
KR1020110015197A
Other languages
English (en)
Inventor
고우이찌 마쯔다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20110099166A publication Critical patent/KR20110099166A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
    • Y02A50/30—Against vector-borne diseases, e.g. mosquito-borne, fly-borne, tick-borne or waterborne diseases whose impact is exacerbated by climate change

Abstract

정보 처리 장치는, 접촉 위치로서 접촉 검지부에 접촉되는 물체의 위치를 검출하도록 구성된 검출부; 접촉 위치 및 접촉 검지부의 화상에 기초하여, 접촉 검지부에 접촉되는 손가락의 종류를 인식하도록 구성된 인식부; 한 손의 적어도 1개의 손가락의 접촉 위치 및 종류와, 다른 한 손의 손가락의 접촉 위치 및 종류의 조합에 할당된 기능 간의 대응관계를 규정하는 기능 테이블을 검색하도록 구성된 검색부 - 검색부는 검출부에 의해 검출된 접촉 위치와 인식부에 의해 인식된 손가락의 종류에 대응하는 기능을 찾기 위해 기능 테이블을 검색함 - ; 및 검색부에 의한 검색을 통해 검출된 기능을 실행하도록 구성된 실행부를 포함한다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM}
본 발명은 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다. 보다 구체적으로, 본 발명은 터치 조작에 의해 유저가 원하는 기능을 빠르고 용이하게 실행 가능하게 하는 정보 처리 장치, 그러한 정보 처리 장치에 사용하는 정보 처리 방법 및 그러한 정보 처리 방법의 기능을 구현하는 프로그램에 관한 것이다.
마우스로 조작가능한 정보 처리 장치에는, 마우스로 행해지는 소위 오른쪽 클릭 및 왼쪽 클릭 각각에 상이한 기능들이 할당될 수 있다. 손가락 끝들로 마우스의 오른쪽 버튼 및 왼쪽 버튼을 한번 누른 후 바로 띰으로써 이들 조작들이 각각 실행된다.
이러한 종류의 정보 처리 장치에 대하여, 도 1의 (a)에 도시된 바와 같이, 마우스(11)로 조작가능한 커서(12)가 장치의 스크린 상의 아이콘(13)의 위치에 표시된다고 생각한다. 이 경우, 마우스(11)를 왼쪽 클릭하면, 아이콘(13)을 선택하는 기능이 실행된다. 도 1의 (b)에 도시된 바와 같이, 마우스(11)를 오른쪽 클릭하면, 아이콘(13)의 컨텍스트 메뉴(14)를 표시하는 기능이 실행된다. 즉, 마우스(11)로 조작되는 커서(12)의 위치에, 2가지 기능이 할당될 수 있다.
한편, 손가락 끝들로 터치 조작가능한 정보 처리 장치가 존재한다. 그러한 장치는 통상, 디스플레이에 중첩된 터치 패널을 사용하여 패널에 접촉되는 물체의 위치 및/또는 움직임을 검출함으로써, 그 위치 및/또는 움직임에 할당된 기능을 실행한다.
터치 패널이 장착된 정보 처리 장치에 대하여, 유저는, 도 2의 (a)에 도시된 바와 같이, 자신의 손가락들 중 임의의 손가락(이 예에서는 집게 손가락)을 사용하여 아이콘(13)에 대응하는 터치 패널 상의 위치에 1회 접촉할 수 있다. 아이콘(13)을 선택하는 기능 또는 아이콘(13)에 대응하는 어플리케이션을 실행하는 기능이 실행된다.
그러나, 이러한 정보 처리 장치에 대하여는, 터치 패널에 접촉되는 손가락의 위치만 검출될 뿐이며, 접촉되는 손가락의 종류는 검출되지 않는다. 따라서, 1개의 접촉 위치에 복수의 기능이 할당될 수 없다. 그 결과, 도 2의 (a)에 도시된 바와 같이 집게 손가락이 패널에 접촉되거나, 도 2의 (b)에 도시된 바와 같이 가운데 손가락이 패널에 접촉되더라도, 접촉 위치가 동일하면, 동일한 기능이 실행된다.
아이콘(13)의 위치에, 마우스로 조작가능한 정보 처리 장치의 왼쪽 클릭에 대응하는 기능이 할당되는 경우, 그 아이콘(13)의 위치에, 오른쪽 클릭에 대응하는 기능이 할당될 수 없다. 따라서, 유저가 오른쪽 클릭에 할당된 컨텍스트 메뉴(14)를 표시하는 기능을 실행하기 원하는 경우에는, 도 3의 (a) 내지 (c)에 도시된 바와 같은 복잡한 조작들을 행할 필요가 있다.
구체적으로, 유저가 컨텍스트 메뉴(14)를 표시하는 기능을 실행시키기를 원하는 경우, 유저는 우선, 아이콘(13)에 대응하는 터치 패널 상의 그 위치에 자신의 손가락들 중 임의의 손가락(도 3의 (a) 내지 (c)의 예에서는, 집게 손가락)을 접촉하여, 아이콘(13)을 선택하는 기능을 실행시킨다. 그 후, 유저는, 도 3의 (b)에 도시된 바와 같이, 자신의 손가락들 중 임의의 손가락을 사용하여, 아이콘(21)에 대응하는 터치 패널 상의 그 위치에 접촉하여, 컨텍스트 메뉴(14)를 표시하는 기능을 실행시킨다. 이러한 조작의 결과, 도 3의 (c)에 도시된 바와 같이, 컨텍스트 메뉴(14)가 표시된다. 상술한 바와 같이, 유저는 컨텍스트 메뉴(14)를 표시하는 기능을 실행시키기 위해, 터치 패널에 손가락 끝을 2회 접촉시킬 필요가 있다.
상술된 문제로 인해, 터치 패널 상의 동일한 접촉 위치에 복수의 기능이 할당되어 유저가 원하는 기능을 빠르고 용이하게 실행 가능하게 하는 터치 조작가능한 정보 처리 장치의 필요성이 존재한다.
일부의 터치 조작가능한 정보 처리 장치는, 터치 패널에 접촉되는 손가락들의 개수를 검출하여, 검출된 손가락들의 개수에 따라 상이한 기능을 실행한다.(예를 들어, 일본 특허 공개 공보 제2001-134382호 참조).
특허문헌 1: 일본 특허 공개 공보 제2001-134382호
그러나, 지금까지 상술한 터치 조작가능한 정보 처리 장치는, 유저가 원하는 기능을 빠르고 용이하게 실행 가능하게 하기 위해, 손가락(들)의 종류에 따라 동일한 접촉 위치에 상이한 기능이 할당되도록 설계되어 있지 않다.
본 발명은, 이러한 상황을 감안하여 이루어진 것이며, 무엇보다도, 유저가 원하는 기능을 빠르고 용이하게 실행 가능하도록 터치 조작가능한 정보 처리 장치를 제공한다.
본 발명을 실행함에 있어 본 발명의 일 실시예에 따르면, 측면의 정보 처리 장치는, 접촉 위치로서 접촉 검지부에 접촉되는 물체의 위치를 검출하는 검출 유닛; 상기 접촉 위치와 상기 접촉 검지부의 화상에 기초하여, 상기 접촉 검지부에 접촉되는 손가락의 종류를 인식하는 인식 유닛; 한 손의 적어도 1개의 손가락의 접촉 위치 및 종류와, 다른 한 손의 손가락의 접촉 위치 및 종류의 조합에 할당된 기능 간의 대응관계를 규정하는 기능 테이블을 검색하는 검색 유닛 - 상기 검색 유닛은 상기 검출 유닛에 의해 검출된 상기 터치 위치에 대응하는 기능을 찾기 위해 상기 기능 테이블을 검색함 - ; 및 상기 검색 유닛에 의한 검색을 통해 검출된 기능을 실행하도록 구성된 실행 유닛을 포함하는 정보 처리 장치가 제공된다.
본 발명의 다른 실시예들에 따른 정보 처리 방법 및 프로그램은, 상기 개요가 기술된 본 발명의 정보 처리 장치에 대응한다.
상술한 바와 같이 구현된 본 발명에 따르면, 접촉 검지부에 접촉되는 물체의 위치가 접촉 위치로서 우선 검출된다. 접촉 위치와 접촉 검지부의 화상에 기초하여, 접촉 검지부에 접촉되는 손가락의 종류가 인식된다. 한 손의 적어도 1개의 손가락의 접촉 위치 및 종류와, 다른 한 손의 손가락의 접촉 위치 및 종류의 조합에 할당된 기능 간의 대응관계를 규정하는 기능 테이블이 제공된다. 기능 테이블로부터, 검출된 접촉 위치와 검출된 손가락의 종류에 대응하는 기능이 검색된다. 그 후, 검색으로부터 검출된 기능이 실행된다.
본 발명이 상기 개요가 기술된 바와 같이 구현되는 경우, 터치 조작가능한 정보 처리 장치는, 유저가 원하는 기능을 빠르고 용이하게 실행 가능하게 할 수 있다.
도 1의 (a) 및 (b)는 일반적인 마우스 조작 방법을 도시하는 도면들이다.
도 2의 (a) 및 (b)는 보통의 터치 조작 방법을 도시하는 도면들이다.
도 3의 (a), (b) 및 (c)는 컨텍스트 메뉴를 표시하기 위해 일반적으로 행해지는 터치 조작 방법을 도시하는 도면들이다.
도 4는 본 발명의 제1 실시예로서의 정보 처리 시스템의 일반적인 구성을 도시하는 도면이다.
도 5는 도 4에 포함된 정보 처리 장치의 일반적인 하드웨어 구성을 도시하는 블록도이다.
도 6은 도 5의 구성에 포함된 CPU에 의해 구현되는 기능 실행 처리부의 일반적인 기능적 구성을 도시하는 블록도이다.
도 7은 일반적인 기능 테이블을 도시하는 표이다.
도 8의 (a) 및 (b)는 도 7의 기능 테이블이 기억되어 있는 경우에 실행되는 일반적인 기능을 설명하는 도면이다.
도 9는 도 6에 도시된 기능 실행 처리부에 의해 행해지는 기능 실행 처리를 설명하는 흐름도이다.
도 10은 본 발명의 제2 실시예로서의 정보 처리 시스템의 일반적인 구성을 도시하는 도면이다.
도 11은 도 10에 포함된 정보 처리 장치의 일반적인 하드웨어 구성을 도시하는 블록도이다.
도 12는 도 11의 구성에 포함된 CPU에 의해 구현되는 기능 실행 처리부의 일반적인 기능적 구성을 도시하는 블록도이다.
도 13은 도 11의 구성에 포함된 일반적인 기능 라벨 테이블을 도시하는 표이다.
도 14의 (a), (b) 및 (c)는 도 11의 구성에 포함된 HMD에 표시되는 일반적인 화상을 도시하는 도면들이다.
도 15는 도 12의 기능 실행 처리부에 의해 행해지는 라벨 표시 처리를 설명하는 흐름도이다.
도 16은 도 10의 정보 처리 장치의 다른 일반적인 하드웨어 구성을 도시하는 블록도이다.
도 17은 도 16의 구성에 포함된 CPU에 의해 구현되는 기능 실행 처리부의 일반적인 기능적 구성을 도시하는 블록도이다.
도 18은 도 16의 구성에 포함된 일반적인 기능 라벨 테이블을 도시하는 표이다.
도 19의 (a) 및 (b)는 도 16의 구성에 포함된 HMD에 표시되는 일반적인 화상을 도시하는 도면들이다.
도 20은 도 17의 기능 실행 처리부에 의해 행해지는 라벨 표시 처리를 설명하는 흐름도이다.
도 21은 도 20의 흐름도에서 계속되는 라벨 표시 처리를 설명하는 흐름도이다.
도 22는 본 발명의 제3 실시예로서의 정보 처리 시스템의 일반적인 구성을 도시하는 도면이다.
도 23은 도 22에 포함된 정보 처리 장치의 일반적인 하드웨어 구성을 도시하는 블록도이다.
도 24는 도 22의 구성에 포함된 터치 패널 모니터의 일반적인 상세 구성을 도시하는 블록도이다.
도 25는 도 23의 구성에 포함된 CPU에 의해 구현되는 기능 실행 처리부의 일반적인 기능적 구성을 도시하는 블록도이다.
도 26은 도 25의 기능 실행 처리부에 의해 행해지는 기능 실행 처리를 설명하는 흐름도이다.
도 27은 손가락 정보를 설명하는 도면이다.
도 28은 다른 손가락 정보를 설명하는 도면이다.
<제1 실시예>
[제1 실시예로서의 정보 처리 시스템의 일반적인 구성]
도 4는 본 발명의 제1 실시예로서의 정보 처리 시스템의 일반적인 구성을 도시하는 도면이다.
도 4에 도시된 바와 같이, 정보 처리 시스템(30)은 정보 처리 장치(31)와, 카메라(32)를 장착한 고글(33)로 구성된다. 도 4에서는, 도 1의 (a) 내지 도 3의 (c)에 이미 도시된 부분들에는 동일한 부호가 부여되고, 이하, 그에 대한 불필요한 설명은 생략될 것이다.
유저는, 정보 처리 시스템(30)을 사용할 때, 정보 처리 장치(31)를 소지하고, 고글(33)을 착용한다. 유저는, 고글(33)을 통해 정보 처리 장치(31)를 보면서, 정보 처리 장치(31)에 대하여 터치 조작을 행한다.
정보 처리 시스템(30)에서, 정보 처리 장치(31)와 카메라(32)는 상호 접속되어 있다. 정보 처리 장치(31)는 손가락 끝들로 터치 조작가능하며, 터치 패널 모니터(41)를 일반적으로 비치하고 있다. 정보 처리 장치(31)는 터치 패널 모니터(41)에 아이콘(13) 등이 표시되도록 한다. 유저는, 아이콘(13) 등을 보고 손가락 끝들로 패널 상의 관련 위치를 접촉함으로써, 정보 처리 장치(31)에 원하는 기능을 실행시킨다.
고글(33)에 부착된 카메라(32)는 터치 패널 모니터(41)를 포함하는 화상을 촬상한다. 이와 같이 촬상된 화상은, 터치 패널 모니터(41)에 접촉하고 있는 손가락이나 손가락들을 포함한다. 카메라(32)는 취득된 화상을 정보 처리 장치(31)에 송신한다.
[정보 처리 장치의 일반적인 하드웨어 구성]
도 5는 도 4에 포함된 정보 처리 장치(31)의 일반적인 하드웨어 구성을 도시하는 블록도이다.
도 5에 도시된 바와 같이, 정보 처리 장치(31)는 CPU(central processing unit)(61)를 내장한다. CPU(61)에는, 버스(64)를 통해 ROM(read only memory)(62) 및 RAM(random access memory)(63)이 접속된다. 또한, CPU(61)에는, 버스(64) 및 입출력 인터페이스(65)를 경유하여, 터치 패널 모니터(41), 조작 버튼들(66), 스피커들(67), 기억부(68), 통신부(69) 및 드라이브(70)가 접속된다.
CPU(61)는 조작 버튼들(66)로부터 공급되는, 유저의 조작을 나타내는 조작 정보에 따라, ROM(62)에 미리 인스톨되어 있는 프로그램을 실행시킨다. 선택적으로, CPU(61)는, 프로그램 실행을 위해, 미리 인스톨되어 있는 프로그램들을, 기억부(68)로부터 RAM(63)에 로딩시킬 수 있다. 이러한 방식으로, CPU(61)는 후술하는 흐름도에 나타내거나, 또는 후술하는 기능 블록도들에 나타낸 바와 같은 처리들을 행한다. CPU(61)는, 필요에 따라, 그 처리 결과를, 일반적으로, 버스(64) 및 입출력 인터페이스(65)을 통해, 터치 패널 모니터(41) 및/또는 스피커들(67)로부터 출력하여, 그 결과를 통신부(69)를 통해 송신하거나, 또는 그렇지 않으면, 그 결과를 기억부(68)에 기억시킨다.
터치 패널 모니터(41)(검출 수단)는 일반적으로, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 등의 표시 장치(81), 및 표시 장치(81) 상에 배치된 무색 투명의 터치 패널(82)(접촉 수단)로 구성된다. 터치 패널 모니터(41)는, CPU(61)에 의해 행해진 처리 결과로서 표시 장치(81)에 아이콘(13) 등을 표시시킨다. 터치 패널 모니터(41)는, 터치 패널(82)에 접촉되는 물체를 검지하고, 물체가 접촉되어 있는 위치를 접촉 위치로 하여 CPU(61)에 공급한다.
조작 버튼들(66)은 유저에 의해 조작되는 물리적인 버튼들이다. 조작 버튼들(66)은, 유저에 의해 조작될 때, 유저의 조작을 나타내는 조작 정보를 CPU(61)에 공급한다. 스피커들(67)은 CPU(61)에 의해 행해진 처리 결과를 나타내는 음성을 출력한다.
기억부(68)는 일반적으로 HDD(hard disk drive) 등으로 구성된다. 그와 같이, 기억부(68)는 기능 테이블(91), 손가락 정보(92) 및 그 밖의 데이터를 기억한다. 기능 테이블(91)은, 한 손의 각각의 손가락의 접촉 위치 및 종류와, 다른 한 손의 손가락의 접촉 위치 및 그 손가락의 종류의 조합에 할당된 기능 간의 대응관계를 규정하는 테이블이다.
본 실시예에서 다루는 손가락들에는, 엄지 손가락은 포함되지 않는다고 가정한다. 즉, 본 실시예에서는 4개의 손가락: 집게 손가락, 가운데 손가락, 약지 손가락 및 새끼 손가락이 사용된다. 손가락 정보(92)는 유저의 각 손가락들을 식별하는 정보이다. 이러한 맥락에서, 손가락 정보(92)는 유저의 각 손가락들의 화상 또는 각 손가락의 형상을 식별하는 정보인 것으로 가정한다. 일반적으로, 사전에 유저가 카메라(32)을 사용하여 자신의 각 손가락의 화상을 촬상함으로써 손가락 정보(92)가 기억된다.
통신부(69)는 카메라(32) 등의 외부 장치와 통신한다. 예를 들어, 통신부(69)는 카메라(32)로부터 송신되는 화상들을 수신하고, 수신된 화상들을 RAM(63)등에 공급하여 기억시킨다.
드라이브(70)에는, 필요에 따라, 리무버블 미디어(71)가 장착된다. 드라이브(70)는, 장착된 리무버블 미디어(71)에 데이터를 기록하거나, 리무버블 미디어(71)에 기록된 데이터를 재생한다. 일반적인 리무버블 미디어(71)는, 플렉서블 디스크들, CD-ROMs(Compact Disc Read Only Memory), MO(Magneto-optical) 디스크들, DVDs(Digital Versatile Disc), 자기 디스크들 및 반도체 메모리들을 포함한다.
CPU(61)에 의해 실행되는 프로그램들은 리무버블 미디어(71)에 기억(즉, 기록)될 수 있다. 이러한 리무버블 미디어(71)는, 소위 팩키지 소프트웨어로서 제공될 수 있다. 이 경우, 프로그램들은 드라이브(70)를 통해 정보 처리 장치(31)에 인스톨된다.
선택적으로, CPU(61)에 의해 실행되는 프로그램들은, 통신망이나 방송망을 통해 정보 처리 장치(31)에 다운로드되어, 내부의 기억부(68)에 인스톨될 수 있다. 예를 들어, 프로그램들은, 디지털 방송용의 인공 위성을 통해 무선으로 또는 LAN(Local Area Network) 및 인터넷 등의 네트워크를 통한 유선 방식으로, 다운로드 사이트로부터 정보 처리 장치(31)에 전송될 수 있다.
[정보 처리 장치의 일반적인 기능적 구성]
도 6은 정보 처리 장치(31)의 CPU(61)에 의해 구현되는 기능 실행 처리부의 일반적인 기능적 구성을 도시하는 블록도이다.
도 6에 도시된 바와 같이, 기능 실행 처리부(100)는 위치 취득부(101), 손가락 종류 인식부(102)(인식 수단), 기능 인식부(103)(검색 수단) 및 실행부(104)(실행 수단)로 구성된다. 기능 실행 처리부(100)는, 터치 패널(82)에의 손가락 끝들의 접촉에 응답하여, 손가락이 접촉되는 패널 상의 위치 및 종류에 할당된 기능을 실행한다.
보다 구체적으로, 기능 실행 처리부(100)의 위치 취득부(101)는, 터치 패널 모니터(41)로부터 공급되는 접촉 위치(예를 들어, 아이콘 위)를 취득한다. 따라서, 위치 취득부(101)는 취득된 접촉 위치를 손가락 종류 인식부(102) 및 기능 인식부(103)에 공급한다.
손가락 종류 인식부(102)는, 카메라(32)로부터 송신된 화상, 기억부(68)에 미리 기억되어 있는 손가락 정보(92) 및 위치 취득부(101)로부터의 접촉 위치에 기초하여, 터치 패널(82)에 접촉되는 손가락의 종류를 인식한다. 보다 구체적으로, 손가락 정보(92)로서 각 손가락의 화상이 기억되는 경우, 손가락 종류 인식부(102)는, 손가락 정보(92)를, 카메라(32)로부터 송신되는 화상의 접촉 위치의 주변 위치와 매칭하여, 카메라(32)로부터의 화상에 포함되는 손가락의 종류를 인식한다. 손가락 종류 인식부(102)는, 인식된 손가락의 종류(예를 들어, 집게 손가락)을 기능 인식부(103)에 공급하여 진행한다.
예를 들어, 손가락의 종류의 인식 방법은, Taehee Lee 및 Tobias Hollerer, "Handy AR:Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking", In Proc. IEEE International Symposium on Wearable Computers(ISWC), Boston, MA, Oct. 2007에 기재되어 있는 기술로 구성될 수 있다.
기능 인식부(103)는, 위치 취득부(101)로부터 공급되는 접촉 위치뿐만 아니라 손가락 종류 인식부(102)로부터의 손가락의 종류에 대응하는 기능을 찾기 위해, 기억부(68)에 미리 기억되어 있는 기능 테이블(91)을 검색한다. 따라서, 기능 인식부(103)는 검색으로부터 검출된 기능을, 실행해야 할 기능으로서 인식하여, 그 기능을 나타내는 정보를 실행부(104)에 송신한다.
실행부(104)는 기능 인식부(103)로부터 공급되는 정보가 나타내는 기능을 실행한다.
[효과의 설명]
도 7은 기능 테이블(91)의 예를 나타내는 표이다. 도 8의 (a) 및 (b)는 도 7의 기능 테이블(91)이 기억부(68)에 기억되어 있는 경우에 실행되는 일반적인 기능들을 설명하는 도면들이다.
도 7에 도시된 바와 같이, 기능 테이블(91)은, 한 손의 각 손가락의 접촉 위치 및 종류와, 다른 한 손의 접촉 위치 및 손가락의 종류의 조합에 할당된 기능 간의 대응관계를 규정한다. 도 7의 예에서, 한 손의 접촉 위치 "아이콘 상" 및 손가락의 종류 "집게 손가락"과 다른 한 손의 기능 "실행" 간에는 대응관계가 성립된다. 동일 예에서, 한 손의 접촉 위치 "아이콘 상" 및 손가락의 종류 "가운데 손가락"과 다른 한 손의 기능 "메뉴 표시" 간에도 대응관계가 성립된다.
따라서, 도 8의 (a)에 도시된 바와 같이, 유저가 아이콘(13)의 표시 위치에 대응하는 터치 패널(82) 상의 위치에 자신의 집게 손가락을 접촉하면, 아이콘(13)에 대응하는 어플리케이션을 실행하는 기능이 행해진다. 또한, 도 8의 (b)에 도시된 바와 같이, 유저가 아이콘(13)의 표시 위치에 대응하는 터치 패널(82) 상의 위치에 가운데 손가락을 접촉하면, 컨텍스트 메뉴(14)를 표시하는 기능이 실행된다.
즉, 도 7에 도시된 기능 테이블(91)이 기억부(68)에 기억되어 있는 경우, 아이콘(13)에 대응하는 터치 패널(82) 상의 동일한 위치에 접촉하는데에, 집게 손가락 이 사용되는지 또는 가운데 손가락이 사용되는지에 따라 실행되는 기능이 상이하다. 도 8의 (a) 및 (b)에서, 도 1의 (a) 내지 도 3의 (c)에서 이미 도시된 부분들에는 동일한 참조 부호들이 부여되고, 이하, 그에 대한 불필요한 설명은 생략될 것이다.
상술된 바와 같이, 정보 처리 시스템(30)에서, 터치 패널 모니터(41)는 터치 패널(82)에 접촉되는 물체의 위치를 검출한다. 손가락 종류 인식부(102)는, 접촉 위치와 터치 패널(82)의 화상에 기초하여, 터치 패널(82)에 접촉되는 손가락의 종류를 인식한다. 한 손의 각 손가락의 접촉 위치 및 종류와, 다른 한 손의 접촉 위치 및 종류의 조합에 할당된 기능 간의 대응 관계를 규정하는 기능 테이블(91)이 제공된다. 기능 인식부(103)는, 이와 같이 검출된 접촉 위치와 이와 같이 인식된 손가락의 종류에 대응하는 기능을 찾기 위해 기능 테이블(91)을 검색한다. 실행부(104)는 검색으로부터 검출된 기능을 실행한다.
따라서, 터치 패널(82) 상의 동일한 위치에 손가락 끝들이 접촉되는 경우에도, 손가락의 종류에 따라 상이한 기능이 실행된다. 그 결과, 손가락이 패널 상의 관련 위치에 접촉하는 것을 포함하는 1개의 동작에 의해 실행될 수 있는 기능의 수가 증가될 수 있다. 이는 유저가 원하는 기능의 빠르고 용이한 실행을 가능하게 한다.
[정보 처리 장치에 의해 행해지는 처리의 설명]
도 9는 기능 실행 처리부(100)에 의해 행해지는 기능 실행 처리를 설명하는 흐름도이다.
도 9의 단계 S11에서, 위치 취득부(101)는, 터치 패널(82) 상의 물체의 접촉이 검출되었는지의 여부, 즉, 임의의 접촉 위치가 터치 패널 모니터(41)로부터 공급되었는지의 여부를 판정한다.
단계 S11에서 터치 패널(82) 상의 물체의 접촉이 검출되었다고 판정된 경우, 단계 S12에 도달한다. 단계 S12에서, 위치 취득부(101)는, 터치 패널 모니터(41)로부터 공급되는 접촉 위치를 취득하고, 이와 같이 취득된 접촉 위치를 손가락 종류 인식부(102) 및 기능 인식부(103)에 공급한다.
단계 S13에서, 손가락 종류 인식부(102)는 카메라(32)로부터 송신되는 화상을 취득한다.
단계 S14에서, 손가락 종류 인식부(102)는, 기억부(68)에 미리 기억되어 있는 손가락 정보(92), 카메라(32)로부터 얻어진 화상 및 위치 취득부(101)로부터의 접촉 위치에 기초하여, 터치 패널(82)에 접촉되는 손가락의 종류를 인식한다. 손가락 종류 인식부(102)는 이와 같이 인식된 손가락의 종류를 기능 인식부(103)에 송신한다.
단계 S15에서, 기능 인식부(103)는, 위치 취득부(101)로부터 공급되는 접촉 위치와 손가락 종류 인식부(102)로부터의 손가락의 종류에 대응하는 기능을 찾기 위해, 기억부(68)에 미리 기억되어 있는 기능 테이블(91)을 검색한다.
단계 S16에서, 기능 인식부(103)는, 위치 취득부(101)로부터 공급되는 접촉 위치와 손가락 종류 인식부(102)로부터의 손가락의 종류에 대응하는 기능이 검색으로부터 검출되었는지의 여부를 판정한다. 단계 S16에서, 기능이 검출되었다고 판정된 경우, 기능 인식부(103)는, 검출된 기능을 실행될 기능으로 인식하고, 그 기능을 나타내는 정보를 실행부(104)에 공급한다. 그 후, 단계 S17로 제어가 이동된다.
단계 S17에서, 실행부(104)는, 정보가 기능 인식부(103)로부터 공급되어 온 기능을 실행한다. 이로써 기능 실행 처리가 종료된다.
한편, 단계 S11에서, 터치 패널(82) 상의 물체의 접촉이 아직 검출되지 않았다고 판정된 경우, 또는 단계 S16에서, 대응하는 기능이 발견되지 않았다고 판정된 경우, 기능 실행 처리가 종료된다.
도 9의 단계 S15 내지 S17는, 단계 S14에서 인식된 각 손가락의 종류에 따라 실행된다.
<제2 실시예>
[제2 실시예로서의 정보 처리 시스템의 일반적인 구성]
도 10은 본 발명의 제2 실시예로서의 정보 처리 시스템의 일반적인 구성예를 도시하는 도면이다.
도 10에서, 도 4에 이미 도시된 구성요소들에는 동일한 참조 부호들이 부여되고, 이하, 그에 대한 불필요한 설명은 생략될 것이다.
도 10의 정보 처리 시스템(120)의 구성은, 주로, 다음의 2가지 점: 정보 처리 장치(31)가 정보 처리 장치(121)로 대체되는 점, 및 고글(33)이 HMD(head mount display)(122)로 대체되는 점에서 도 4의 정보 처리 시스템(30)의 구성과 상이하다.
유저는, 정보 처리 시스템(120)을 사용할 때, 정보 처리 장치(121)를 소지하고, HMD(122)를 착용한다. 유저는, 정보 처리 장치(121)를 직접 보는 것은 아니다. 대신, 유저는 HMD(122)에 표시되어 있고 카메라(32)에 의해 촬상되는 정보 처리 장치(121)의 화상을 보면서, 정보 처리 장치(121)에 대하여 터치 조작들을 행한다.
정보 처리 시스템(120)에서, 정보 처리 장치(121)는 카메라(32)뿐만 아니라, HMD(122)에도 접속되어 있다. 정보 처리 장치(121)는, 도 4의 정보 처리 장치(31)와 마찬가지로, 손가락 끝들로 터치 조작가능하며, 터치 패널 모니터(41) 등을 비치하고 있다. 정보 처리 장치(121)는, 도 4의 정보 처리 장치(31)와 마찬가지로, 터치 패널 모니터(41)에 아이콘(13) 등을 표시시킨다.
또한, 정보 처리 장치(121)는, 카메라(32)에 의해 촬상되어 송신되는 화상에 기초하여, 화상에 포함되는 손가락이 터치 패널 모니터(41) 상의 현재의 위치의 주변 위치에 접촉했을 때에 실행되는 기능을 인식하고, 그 기능을 나타내는 라벨 화상을, 손가락의 화상에 중첩시킨다. 정보 처리 장치(121)는 결과 화상을 HMD(122)에 송신하여 화상을 표시시킨다.
유저는, 터치 패널 모니터(41)에 표시되는 아이콘(13) 및 라벨 화상 등을 보면서, 패널 상의 관련 위치에 자신의 손가락을 접촉시킨다. 터치 동작은 정보 처리 장치(121)가 원하는 기능을 실행하도록 한다.
HMD(122)는 정보 처리 장치(121)에 접속되어 있다. HMD(122)는 정보 처리 장치(121)로부터 송신되는 화상을 표시한다.
[정보 처리 장치의 일반적인 하드웨어 구성]
도 11은 도 10의 정보 처리 장치(121)의 일반적인 하드웨어 구성을 도시하는 블록도이다.
도 11에서, 도 5에 이미 도시된 구성요소들에는 동일한 참조 부호들이 부여되고, 이하, 그에 대한 불필요한 설명은 생략될 것이다.
도 11의 정보 처리 장치(121)의 구성은, 주로 다음의 2가지 점; 기억부(68)에서 기능 테이블(91)이 기능 라벨 테이블(131)로 대체되는 점, 및 통신부(69)가 통신부(132)로 대체되는 점에서 도 5의 구성과 상이하다.
기능 라벨 테이블(131)은, 각 손가락의 접촉 위치 및 종류와, 그 손가락의 접촉 위치 및 종류의 조합에 할당된 기능, 및 그 기능을 나타내는 라벨 화상에 포함되는 문자(기능 정보) 간의 대응관계를 규정한다.
통신부(132)는 카메라(32) 및 HMD(122) 등의 외부 장치들과 통신한다. 예를 들어, 통신부(132)는 카메라(32)로부터 송신되는 화상을 수신하여, 수신된 화상을 RAM(63) 등에 공급하여 기억시킨다. 또한, 통신부(132)는, 카메라(32)로부터 송신되는 화상들이나 각각에 라벨 화상이 중첩되는 화상들을 CPU(61)로부터 수신하여, 수신된 화상들을 HMD(122)에 송신하여 표시시킨다.
[정보 처리 장치의 일반적인 기능적 구성]
도 12는 도 11의 정보 처리 장치(121)의 CPU(61)에 의해 구현되는 기능 실행 처리부의 일반적인 기능적 구성을 도시하는 블록도이다.
도 12에서, 도 6에 이미 도시된 구성요소들에는 동일한 참조 부호들이 부여되고, 이하, 그에 대한 불필요한 설명은 생략될 것이다.
도 12의 기능 실행 처리부(140)의 구성은, 주로, 다음의 2가지 점: 손가락 종류 인식부(102)가 손가락 종류 인식부(141)(인식 수단)로 대체되는 점, 및 라벨 표시 제어부(142)(표시 제어 수단)가 새롭게 제공되는 점에 있어서 도 6의 구성과 상이하다.
기능 실행 처리부(140)의 손가락 종류 인식부(141)는, 카메라(32)로부터 송신되는 화상과, 기억부(68)에 미리 기억되어 있는 손가락 정보(92)에 기초하여, 화상에 포함되는 손가락의 종류와 위치를 인식한다. 즉, 손가락 종류 인식부(141)는, 카메라(32)로부터의 화상과 손가락 정보(92)에 기초하여, 터치 패널 모니터(41) 상에 배치된 손가락의 종류와 위치를 인식한다. 그 후, 손가락 종류 인식부(141)는, 인식된 손가락의 종류와 손가락 위치를 라벨 표시 제어부(142)에 공급한다.
손가락 종류 인식부(141)는, 손가락 종류 인식부(102)와 마찬가지로, 카메라(32)로부터 송신되는 화상, 손가락 정보(92) 및 위치 취득부(101)로부터의 접촉 위치에 기초하여, 터치 패널(82)에 접촉되는 손가락의 종류를 인식한다.
터치 패널 모니터(41) 상에 배치된 손가락의 종류와 위치가 미리 인식되는 경우, 손가락 종류 인식부(141)는 미리 인식된 손가락의 종류와 그 위치를 사용하여 터치 패널(82)에 접촉되는 손가락의 종류를 인식하도록 배치될 수 있다. 이 경우, 손가락 종류 인식부(141)는, 터치 패널 모니터(41) 상에 배치된 미리 인식된 손가락의 종류들 중, 위치 취득부(101)로부터의 접촉 위치에 대응하는 손가락의 종류를, 터치 패널(82)에 접촉되는 손가락의 종류로서 인식한다.
손가락 종류 인식부(141)는 터치 패널 모니터(41) 상에 배치된 손가락의 종류를 기능 인식부(103)에 공급한다.
라벨 표시 제어부(142)는 손가락 종류 인식부(141)로부터 공급되는 손가락의 위치의 주변 위치와 손가락의 종류에 대응하는 라벨 화상에 포함되는 문자를 찾기 위해 기억부(68)에 미리 기억되어 있는 기능 라벨 테이블(131)을 검색한다. 검출된 문자에 따라, 라벨 표시 제어부(142)는, 검출된 문자의 라벨 화상을 생성한다. 라벨 표시 제어부(142)는, 카메라(32)로부터 송신되고 손가락 종류 인식부(141)를 통해 전달되는 화상의 손가락 위치에, 손가락의 위치와 손가락의 종류에 대응하는 라벨 화상을 중첩시킨다. 라벨 표시 제어부(142)는, 통신부(132)를 제어하도록 진행되고, 중첩을 통해 얻어진 화상을, HMD(122)에 송신하여 표시시킨다.
[일반적인 기능 라벨 테이블]
도 13은 일반적인 기능 라벨 테이블(131)을 도시하는 표이다.
도 13에 도시된 바와 같이, 기능 라벨 테이블(131)은, 각 손가락의 접촉 위치 및 종류와, 그 손가락의 접촉 위치 및 종류의 조합에 할당된 기능, 및 그 기능을 나타내는 라벨 화상에 포함되는 문자 간의 대응관계를 규정한다.
보다 구체적으로, 도 13의 예에서, 손가락의 접촉 위치 "아이콘 상" 및 손가락의 종류 "집게 손가락", 기능 "실행(execute)" 및 라벨 화상에 포함되는 문자 "실행(EXECUTE)" 간에 대응관계가 성립된다. 또한, 손가락의 접촉 위치 "아이콘 상" 및 손가락의 종류 "가운데 손가락", 기능 "메뉴 표시" 및 라벨 화상에 포함되는 문자 "메뉴" 간에도 대응관계가 성립된다.
또한, 손가락의 접촉 위치 "아이콘 상" 및 손가락의 종류 "약지 손가락", 기능 "카피(copy)" 및 라벨 화상에 포함되는 문자 "카피(COPY)" 간에 대응관계가 성립된다. 그리고, 손가락의 접촉 위치 "아이콘 상" 및 손가락의 종류 "새끼 손가락", 기능 "속성 표시" 및 라벨 화상에 포함되는 문자 "속성" 간에도 대응관계가 성립된다.
[HMD에 표시되는 일반적인 화상]
도 14의 (a), (b) 및 (c)는 도 11의 정보 처리 장치(121)에 의해 HMD(122)에 표시되는 일반적인 화상들을 도시하는 도면들이다.
도 14의 (a) 내지 (c)에 도시된 예에서는, 도 13에 나타낸 기능 라벨 테이블(131)이 기억부(68)에 기억되어 있는 것으로 가정한다.
도 14의 (a)에 도시된 바와 같이, 유저가 자신의 집게 손가락을 아이콘(13)의 주변 위치에 배치시키면, 카메라(32)가 집게 손가락을 포함하는 화상을 촬영한다. 그 후, 집게 손가락과, 집게 손가락의 위치의 주변 위치를 나타내는 아이콘(13)의 상부에 대응하는 라벨 화상에 포함되는 문자 "실행"이 기능 라벨 테이블(131)로부터 검색된다. 문자 "실행"을 포함하는 라벨 화상(161)이 집게 손가락의 위치에 중첩되는 화상을 HMD(122)에 표시시킨다.
또한, 도 14의 (b)에 도시된 바와 같이, 유저가 자신의 가운데 손가락을 아이콘(13)의 주변 위치에 배치시키면, 카메라(32)는 가운데 손가락을 포함하는 화상을 촬상한다. 그 후, 가운데 손가락과, 가운데 손가락의 위치의 주변 위치를 나타내는 아이콘(13)의 상부에 대응하는 라벨 화상에 포함되는 문자 "메뉴"가 기능 라벨 테이블(131)로부터 검색된다. 문자 "메뉴"를 포함하는 라벨 화상(162)이 가운데 손가락의 위치에 중첩되는 화상을 HMD(122)에 표시킨다.
또한, 도 14의 (c)에 도시된 바와 같이, 유저가 자신의 손가락을 아이콘(13)의 주변 위치에 배치시키면, 카메라(32)는 모든 손가락을 포함하는 화상을 촬상한다. 그 후, 모든 손가락과, 모든 손가락의 위치의 주변 위치를 나타내는 아이콘(13)의 상부에 대응하는 라벨 화상에 포함되는 문자가 기능 라벨 테이블(131)로부터 검색된다. 그 결과, 도 14의 (c)에 도시된 바와 같이, 문자 "실행"을 포함하는 라벨 화상(161), 문자 "메뉴"를 포함하는 라벨 화상(162), 문자 "카피"를 포함하는 라벨 화상(163) 및 문자 "속성"을 포함하는 라벨 화상(164)이 각각, 집게 손가락, 가운데 손가락, 약지 손가락 및 새끼 손가락의 위치에 중첩되는 화상을 HMD(122)에 표시시킨다.
상술한 바와 같이, 정보 처리 시스템(120)은, 터치 패널 모니터(41) 상에 배치된 소정의 손가락이 현재 위치의 주변 위치에 접촉될 때에 실행되는 기능을 나타내는 라벨 화상을, 터치 패널 모니터(41)를 포함하는 화상 내의 손가락의 위치에 중첩시켜, HMD(122)에 표시시킨다. 따라서, 유저는, 터치 패널 모니터(41)의 관련 위치에 원하는 손가락을 배치시킴으로써, 손가락이 모니터 상의 그 위치의 주변 위치에 접촉될 때에 실행되는 기능을 용이하게 인식할 수 있다. 따라서, 유저는, 여러 손가락과 그 종류들의 조합들에 할당된 기능들이 익숙치 않더라도, 원하는 기능을 행할 수 있다. 이러한 방식으로, 정보 처리 시스템(120)은, 유저가, 원하는 기능을 사용할 때, 상당히 간단한 터치 조작을 행할 수 있도록 한다.
[정보 처리 장치에 의해 행해지는 일반적인 처리의 설명]
도 15는 기능 실행 처리부(140)에 의해 행해지는 라벨 표시 처리를 설명하는 흐름도이다.
단계 S31에서, 손가락 종류 인식부(141)는 카메라(32)에 의해 촬상되고, 카메라(32)로부터 송신되는 화상을 취득한다.
단계 S32에서, 손가락 종류 인식부(141)는, 기억부(68)에 미리 기억되어 있는 손가락 정보(92)와, 카메라(32)로부터 취득되는 화상에 기초하여, 화상에 포함되는 손가락의 종류와 위치를 인식한다. 손가락 종류 인식부(141)는, 이와 같이 인식된 손가락의 종류와 손가락의 위치를 라벨 표시 제어부(142)에 공급한다.
단계 S33에서, 라벨 표시 제어부(142)는, 손가락 종류 인식부(141)로부터 공급되고 손가락의 위치의 주변 위치와 손가락의 종류에 대응하는 화상에 포함되는 문자를찾기 위해, 기억부(68)에 미리 기억되어 있는 기능 라벨 테이블(131)을 검색한다.
단계 S34에서, 라벨 표시 제어부(142)는, 손가락 종류 인식부(141)로부터 나오고, 손가락의 위치의 주변 위치와 손가락의 종류에 대응하는 화상에 포함되는 문자가 검색으로부터 검출되었는지의 여부를 판정한다.
단계 S34에서, 관련 문자가 검색되었다고 판정된 경우, 라벨 표시 제어부(142)는, 검색된 문자를 포함하는 라벨 화상을 생성하여, 제어를 단계 S35로 이동시킨다.
단계 S35에서, 라벨 표시 제어부(142)는, 카메라(32)로부터 송신되는 화상에서의, 기능 인식부(103)로부터 공급되는 손가락의 위치에, 단계 S33에서 생성된 라벨 화상을 중첩시킨다. 그 후, 단계 S36으로 제어가 이동된다.
그 후, 단계 S34에서, 문자가 검출되지 않았다고 판정된 경우, 카메라(32)에 의해 촬상된 화상에는 어떠한 라벨 화상도 중첩되지 않는다. 이 경우, 단계 S36으로 제어가 이동된다.
단계 S32에서 인식된 각 손가락의 종류들에 대하여 도 15의 단계 S33 내지 S36이 실행된다.
단계 S36에서, 라벨 표시 제어부(142)는, 통신부(132)를 제어하여, 상기 단계들에서 라벨 화상이 중첩되지 않았고 카메라(32)로부터 송신되었던 화상, 또는 라벨 화상이 중첩되고 카메라(32)로부터 나온 화상을 HMD(122)에 송신하여 표시시킨다. 이러한 단계로 인해 라벨 표시 처리가 종료된다.
기능 실행 처리부(140)에 의해 행해진 기능 실행 처리는, 도 9에서 상술된 처리와 마찬가지이므로 이후 설명은 생략될 것이다.
[정보 처리 장치의 다른 일반적인 하드웨어 구성]
도 16은 도 10의 정보 처리 장치(121)의 다른 일반적인 하드웨어 구성을 도시하는 블록도이다.
도 16에서, 도 11에 이미 도시된 구성요소들에는 동일한 참조 부호들이 부여되고, 이하, 그에 대한 불필요한 설명은 생략될 것이다.
도 16의 정보 처리 장치(121)의 구성은, 주로, 다음의: 기억부(68)에서 기능 라벨 테이블(131)이 기능 라벨 테이블(170)로 대체되는 점에서 도 11의 구성과 상이하다.
도 16의 정보 처리 장치(121)에서, 각 손가락의 접촉 위치 및 종류의 조합뿐만아니라, 복수의 손가락의 접촉 위치들 및 종류들의 조합에 대하여도 기능들이 할당된다.
보다 구체적으로, 기능 라벨 테이블(170)은, 1개 이상의 손가락의 접촉 위치들 및 종류들, 이들 손가락들의 접촉 위치들 및 종류들의 조합에 할당된 기능, 및 그 기능을 나타내는 라벨 화상에 포함되는 문자 간의 대응관계를 규정한다.
[정보 처리 장치의 일반적인 기능적 구성]
도 17은 도 16의 정보 처리 장치(121)의 CPU(61)에 의해 구현되는 기능 실행 처리부(180)의 일반적인 기능적 구성을 도시하는 블록도이다.
도 17에서, 도 12에 이미 도시된 구성요소들에는 동일한 참조 부호들이 부여되고, 이하, 이에 대한 불필요한 설명은 생략될 것이다.
도 17의 기능 실행 처리부(180)의 구성은, 주로, 다음 2가지 점: 기능 인식부(103)가 기능 인식부(181)로 대체되는 점 및 라벨 표시 제어부(142)가 라벨 표시 제어부(182)로 대체되는 점에서 도 12의 구성과 상이하다.
기능 실행 처리부(180)의 기능 인식부(181)는, 위치 취득부(101)로부터 복수의 손가락의 접촉 위치들이 공급될 경우, 접촉 위치들과 손가락 종류 인식부(141)로부터 공급되는 손가락의 종류들에 기초하여, 연속하는 2개의 각 손가락 사이의 거리를 계산한다. 기능 인식부(181)는, 후술하는 라벨 표시 제어부(182)와 마찬가지로, 계산된 거리에 기초하여 복수의 손가락이 접합(join)되어 있는지의 여부를 판정한다.
기능 인식부(181)는, 서로 접합되어 있는, 터치 패널(82)에 접촉하고 있는 복수의 손가락이 발견되는 경우, 이들 복수의 손가락의 위치들과 종류들에 대응하는 기능을 찾기 위해 기능 라벨 테이블(170)을 검색한다. 터치 패널(82)에 접촉하고 있는 1개 이상의 손가락이 서로 분리되어 있는 경우, 기능 인식부(181)는, 분리된 손가락들의 위치들과 종류들에 대응하는 기능을 찾기 위해 기능 라벨 테이블(170)을 검색한다. 기능 인식부(181)는, 검색으로부터 검출된 기능을 실행해야 할 기능으로서 인식하고, 그 기능을 나타내는 정보를 실행부(104)에 공급한다.
라벨 표시 제어부(182)는, 손가락 종류 인식부(141)로부터 복수의 손가락의 위치들과 종류들이 공급되는 경우, 이들 손가락들의 위치들과 종류들에 기초하여, 연속하는 2개의 각 손가락 사이의 거리를 계산한다. 라벨 표시 제어부(182)는, 이와 같이 계산된 거리에 기초하여 복수의 손가락이 서로 접합되어 있는지의 여부를 판정한다. 라벨 표시 제어부(182)는, 터치 패널(82) 상에 복수의 손가락이 서로 접합되어 있는 방식으로 배치되어 있는 경우, 이들 손가락들의 위치들과 종류들에 대응하는 라벨 화상에 포함되는 문자를 찾기 위해 기능 라벨 테이블(170)을 검색한다. 터치 패널(82) 상에 1개 이상의 손가락이 다른 손가락들로부터 분리되는 방식으로 배치되어 있는 경우, 라벨 표시 제어부(182)는, 분리된 손가락들의 위치들과 종류들에 대응하는 라벨 화상에 포함되는 문자를 찾기 위해 기능 라벨 테이블(170)을 검색한다. 라벨 표시 제어부(182)는, 검색으로부터 검출된 문자를 포함하는 라벨 화상을 생성하도록 진행된다.
라벨 표시 제어부(182)는, 카메라(32)로부터 송신되는 화상에서, 손가락 종류 인식부(141)로부터 공급되는 접합되어 있는 복수의 손가락의 위치들에 대응하는 1개의 위치에, 이들 손가락의 위치들과 종류들에 대응하는 기능의 라벨 화상을 중첩시킨다. 또한, 라벨 표시 제어부(182)는, 카메라(32)로부터 송신되는 화상에서, 손가락 종류 인식부(141)로부터 공급되는 분리되어 있는 1개 이상의 손가락의 위치에, 다른 손가락들과 분리되어 있는 1개 이상의 손가락의 위치들과 종류들에 대응하는 기능의 라벨 화상을 중첩시킨다. 그 후, 라벨 표시 제어부(182)는, 통신부(132)를 제어하여, 중첩의 결과로 얻어진 화상을 HMD(122)에 송신하여 표시시킨다.
[일반적인 기능 라벨 테이블]
도 18은 일반적인 기능 라벨 테이블(170)을 도시하는 표이다.
도 18에 도시된 바와 같이, 기능 라벨 테이블(170)은, 적어도 1개의 손가락의 접촉 위치 및 종류와, 손가락의 접촉 위치 및 그 종류의 조합에 할당된 기능, 및 그 기능을 나타내는 라벨 화상에 포함되는 문자 간의 대응관계를 규정한다.
보다 구체적으로, 도 18의 예에서, 손가락의 접촉 위치 "아이콘 상" 및 손가락의 종류 "집게 손가락", 기능 "실행(execute)" 및 라벨 화상에 포함되는 문자 "실행(EXECUTE)" 간에 대응관계가 성립된다. 또한, 손가락의 접촉 위치 "아이콘 상", 손가락의 종류 "가운데 손가락", 기능 "메뉴 표시" 및 라벨 화상에 포함되는 문자 "메뉴" 간에 대응관계가 성립된다.
또한, 손가락의 접촉 위치 "아이콘 상", 손가락의 종류 "집게 손가락과 가운데 손가락", 기능 "카피(copy)" 및 라벨 화상에 포함되는 문자 "카피(COPY)" 간에도 대응관계가 성립된다.
[HMD에 표시되는 일반적인 화상]
도 19의 (a) 및 (b)는 도 16의 정보 처리 장치(121)에 의해 HMD(122)에 표시되는 일반적인 화상들을 도시하는 도면들이다.
도 19의 (a) 및 (b)의 예에서는, 도 18에 도시된 기능 라벨 테이블(170)이 기억부(68)에 기억되어 있는 것으로 가정한다. 또한, 도 19의 (a) 및 (b)에서, 도 14의 (a) 내지 (c)에 이미 도시된 부분들에는 동일한 참조 부호들이 부여되고, 이하, 이에 대한 불필요한 설명은 생략될 것이다.
도 19의 (a)에 도시된 바와 같이, 유저가 서로 분리되어 있는 자신의 집게 손가락과 가운데 손가락을 아이콘(13)의 주변 위치에 배치시키면, 카메라(32)는 분리되어 있는 집게 손가락과 가운데 손가락을 포함하는 화상을 촬상한다. 그 후, 집게 손가락과, 주변 위치가 집게 손가락으로 접촉되어 있는 아이콘(13)에 대응하는 라벨 화상에 포함되는 문자 "실행"이 기능 라벨 테이블(170)로부터 검색된다. 또한, 가운데 손가락과, 주변 위치가 가운데 손가락으로 접촉되어 있는 아이콘(13)에 대응하는 라벨 화상에 포함되는 문자 "메뉴"가 기능 라벨 테이블(170)로부터 검색된다. 그 후, 문자 "실행"을 포함하는 라벨 화상(161)이 집게 손가락의 위치에 중첩되고, 문자 "메뉴"를 포함하는 라벨 화상(162)이 가운데 손가락의 위치에 중첩되는 화상을 HMD(122)에 표시시킨다.
또한, 도 19의 (b)에 도시된 바와 같이, 유저가 자신의 집게 손가락과 가운데 손가락을 서로 접합하여 아이콘(13)의 주변 위치에 배치시키면, 카메라(32)는 접합된 집게 손가락과 가운데 손가락을 포함하는 화상을 촬상한다. 집게 손가락 및 가운데 손가락과, 주변 위치가 집게 손가락 및 가운데 손가락으로 접촉되어 있는 아이콘(13)에 대응하는 라벨 화상에 포함되는 문자 "카피"가 기능 라벨 테이블(170)로부터 검색된다. 그 후, 문자 "카피"를 포함하는 라벨 화상(163)이, 접합된 집게 손가락과 가운데 손가락에 대응하는 1개의 위치(도 19의 (a) 및 (b)의 예에서는, 집게 손가락과 가운데 손가락 사이의 중앙 위치)에 중첩되는 화상을 HMD(122)에 표시시킨다.
[정보 처리 장치에 의해 행해지는 일반적인 처리의 설명]
도 20과 도 21은 기능 실행 처리부(180)에 의해 행해지는 라벨 표시 처리를 설명하는 흐름도들이다.
단계 S41에서, 손가락 종류 인식부(141)는 카메라(32)에 의해 촬상되어 송신되는 화상을 취득한다.
단계 S42에서, 손가락 종류 인식부(141)는, 기억부(68)에 미리 기억되어 있는 손가락 정보(92) 및 카메라(32)로부터 취득되는 화상에 기초하여, 화상에 포함되는 손가락 또는 손가락들의 종류와 위치를 인식한다. 손가락 종류 인식부(141)는 이와 같이 인식된 손가락의 종류와 손가락의 위치를 라벨 표시 제어부(182)에 공급한다.
단계 S43에서, 라벨 표시 제어부(182)는, 손가락 종류 인식부(141)로부터 공급되는 손가락의 종류 또는 종류들에 기초하여, 연속하는 복수의 손가락의 종류들이 인식된 것인지의 여부를 판정한다. 연속하는 손가락들의 종류들은, "집게 손가락과 가운데 손가락", "가운데 손가락과 약지 손가락", "약지 손가락과 새끼 손가락", "집게 손가락, 가운데 손가락 및 약지 손가락", "가운데 손가락, 약지 손가락 및 새끼 손가락" 또는 "집게 손가락, 가운데 손가락, 약지 손가락 및 새끼 손가락"으로 구성된다.
단계 S43에서, 연속하는 복수의 손가락의 종류들이 인식되었다고 판정된 경우, 그 후, 단계 S44에 도달된다. 단계 S44에서, 라벨 표시 제어부(182)는, 손가락 종류 인식부(141)로부터 공급되는 손가락의 위치들과 손가락의 종류들에 기초하여, 연속하는 2개의 각 손가락 사이의 거리를 계산한다. 보다 구체적으로, 라벨 표시 제어부(182)는, 집게 손가락과 가운데 손가락 사이, 가운데 손가락과 약지 손가락 사이, 또는 약지 손가락과 새끼 손가락 사이의 거리를 계산한다. 그 후, 제어는 단계 S45로 이동된다.
단계 S43에서, 연속하는 복수의 손가락의 종류들이 인식되어 있지 않다고 판정된 경우, 즉, 손가락들 중 하나, 약지 손가락과 함께 집게 손가락, 새끼 손가락과 함께 집게 손가락, 또는 새끼 손가락과 함께 가운데 손가락만이 인식되는 경우, 제어는 단계 S45로 이동된다.
단계 S45에서, 라벨 표시 제어부(182)는 집게 손가락을, 처리될 대상 손가락으로 취한다.
단계 S46에서, 라벨 표시 제어부(182)는, 대상 손가락의 종류가 손가락 종류 인식부(141)에 의해 인식되어 있는지의 여부, 즉, 대상 손가락의 종류가 손가락 종류 인식부(141)로부터 공급되는지의 여부를 판정한다.
단계 S46에서, 대상 손가락의 종류가 인식되었다고 판정된 경우, 그 후, 단계 S47에 도달된다. 단계 S47에서, 라벨 표시 제어부(182)는, 대상 손가락의 우측 손가락의 종류가 손가락 종류 인식부(141)에 의해 인식되어 있는지의 여부를 판정한다. 보다 구체적으로, 대상 손가락이 집게 손가락일 경우, 라벨 표시 제어부(182)는, 가운데 손가락이 인식되어 있는지의 여부를 판정한다. 대상 손가락이 가운데 손가락일 경우, 라벨 표시 제어부(182)는, 약지 손가락이 인식되어 있는지의 여부를 판정한다. 대상 손가락이 약지 손가락일 경우, 라벨 표시 제어부(182)는, 새끼 손가락이 인식되어 있는지의 여부를 판정한다.
단계 S47에서, 대상 손가락의 우측 손가락의 종류가 인식되어 있다고 판정된 경우, 단계 S48에 도달된다. 단계 S48에서, 라벨 표시 제어부(182)는, 단계 S44에서 계산된, 대상 손가락과, 대상 손가락의 우측 손가락의 사이의 거리가 임계값 미만인지의 여부를 판정한다.
단계 S48에서, 대상 손가락과, 대상 손가락의 우측 손가락 사이의 거리가 임계값보다 짧지 않다고 판정된 경우, 그 후, 라벨 표시 제어부(182)는, 대상 손가락과, 대상 손가락의 우측 손가락이 접합되어 있지 않다고 판단한다. 이 경우, 제어는 단계 S49로 이동된다.
단계 S47에서, 대상 손가락의 우측 손가락이 인식되어 있지 않다고 판정된 경우, 그 후, 제어는 단계 S49로 이동된다.
단계 S49에서, 라벨 표시 제어부(182)는, 손가락의 종류 "대상 손가락" 및 접촉 위치 "대상 손가락의 위치의 주변 위치"에 대응하는 라벨 화상에 포함되는 문자를 찾기 위해 기능 라벨 테이블(170)을 검색한다. 즉, 대상 손가락의 종류는 인식되어 있지만, 대상 손가락의 우측 손가락의 종류는 인식되어 있지 않은 경우, 또는 대상 손가락의 종류와, 대상 손가락의 우측 손가락의 종류가 모두 인식되어 있지만, 대상 손가락과, 대상 손가락의 우측 손가락이 접합되어 있지 않은 경우, 손가락의 종류 "대상 손가락" 및 접촉 위치 "대상 손가락의 위치의 주변 위치"에 대응하는 라벨 화상에 포함되는 문자가 기능 라벨 테이블(170)로부터 검색된다.
단계 S50에서, 라벨 표시 제어부(182)는, 손가락의 종류 "대상 손가락" 및 접촉 위치 "대상 손가락의 위치의 주변 위치"에 대응하는 라벨 화상에 포함되는 문자가, 기능 라벨 테이블(170)을 검색함으로써 검출되었는지의 여부를 판정한다.
단계 S50에서, 그 문자가 검출되었다고 판정된 경우, 그 후, 라벨 표시 제어부(182)는, 검출된 문자를 포함하는 라벨 화상을 생성하고, 제어를 단계 S51로 이동시킨다.
단계 S51에서, 라벨 표시 제어부(182)는, 카메라(32)로부터 송신되는 화상의 대상 손가락의 위치에, 검출된 문자를 포함하는 라벨 화상을 중첩시킨다. 그 후, 제어는 단계 S52로 이동된다.
단계 S50에서, 그 문자가 검출되지 않았다고 판정된 경우, 즉, 손가락의 종류 "대상 손가락" 및 접촉 위치 "대상 손가락의 위치의 주변 위치"에 대응하는 라벨 화상에 포함되는 문자를 기능 라벨 테이블(170)에서 발견하지 못한 경우, 그 후, 제어는 단계 S52로 이동된다.
단계 S46에서, 대상 손가락의 종류가 손가락 종류 인식부(141)에 의해 인식되지 않았다고 판정된 경우, 그 후, 제어는 또한 단계 S52로 이동된다.
단계 S52에서, 라벨 표시 제어부(182)는 대상 손가락이 약지 손가락인지의 여부를 판정한다. 단계 S52에서, 대상 손가락이 약지 손가락이 아니라고 판정된 경우, 그 후, 단계 S53에 도달된다. 단계 S53에서, 라벨 표시 제어부(182)는, 현재의 대상 손가락의 우측 손가락을 새로운 대상 손가락으로서 취하고, 처리를 다시 단계 S46으로 이동시킨다.
상술된 바와 같이 단계 S45 내지 S53이 실행되면, 가운데 손가락으로부터 분리되어 있는 집게 손가락의 위치, 집게 손가락과 약지 손가락 모두와 분리되어 있는 가운데 손가락의 위치, 및 가운데 손가락과 새끼 손가락 모두와 분리되어 있는 약지 손가락의 위치에, 그 손가락의 위치와 종류에 할당된 기능의 라벨 화상이 각각 중첩된다.
단계 S52에서, 대상 손가락이 약지 손가락이라고 판정된 경우, 그 후, 제어는 도 21의 단계 S68로 이동된다.
단계 S48에서, 대상 손가락과, 대상 손가락의 우측 손가락 사이의 거리가 임계값보다 짧다고 판정된 경우, 라벨 표시 제어부(182)는, 대상 손가락과, 대상 손가락의 우측 손가락이 서로 접합되어 있다고 판단한다. 이 경우, 제어는 단계 S54로 이동된다.
단계 S54에서, 라벨 표시 제어부(182)는, 대상 손가락이 약지 손가락인지의 여부를 판정한다. 단계 S54에서, 대상 손가락이 약지 손가락이 아니라고 판정된 경우, 즉, 대상 손가락이 집게 손가락 또는 가운데 손가락일 경우, 그 후, 제어는 단계 S55로 이동된다.
단계 S55에서, 라벨 표시 제어부(182)는, 대상 손가락의 우측의 하나 건너 다음의 손가락의 종류가 손가락 종류 인식부(141)에 의해 인식되어 있는지의 여부를 판정한다. 대상 손가락이 집게 손가락일 경우, 대상 손가락의 우측의 하나 건너 다음의 손가락은 약지 손가락이고; 대상 손가락이 가운데 손가락일 경우, 대상 손가락의 우측의 하나 건너 다음의 손가락은 새끼 손가락이다.
단계 S55에서, 대상 손가락의 우측의 하나 건너 다음의 손가락의 종류가 인식되어 있다고 판정된 경우, 그 후, 도 21의 단계 S61에 도달된다. 단계 S61에서, 라벨 표시 제어부(182)는, 대상 손가락의 우측 손가락과 대상 손가락의 우측의 하나 건너 다음의 손가락 사이의 거리가 임계값 미만인지의 여부를 판정한다. 보다 구체적으로, 대상 손가락이 집게 손가락일 경우, 라벨 표시 제어부(182)는, 단계 S44에서 계산된, 가운데 손가락과 약지 손가락 사이의 거리가 임계값 미만인지의 여부를 판정한다. 대상 손가락이 가운데 손가락일 경우, 라벨 표시 제어부(182)는, 단계 S44에서 계산된, 약지 손가락과 새끼 손가락 사이의 거리가 임계값 미만인지의 여부를 판정한다.
단계 S61에서, 대상 손가락의 우측 손가락과 대상 손가락의 우측의 하나 건너 다음의 손가락 사이의 거리가 임계값보다 짧지 않다고 판정된 경우, 라벨 표시 제어부(182)는, 대상 손가락의 우측 손가락과 대상 손가락의 우측의 하나 건너 다음의 손가락이 서로 분리되어 있다고 판단한다. 그 후, 라벨 표시 제어부(182)는 제어를 도 20의 단계 S56으로 이동시킨다.
단계 S54에서, 대상 손가락이 약지 손가락이라고 판정된 경우, 또는 단계 S55에서 대상 손가락의 우측의 하나 건너 다음의 손가락의 종류가 인식되어 있지 않다고 판정된 경우, 그 후, 제어는 단계 S56으로 이동된다.
단계 S56에서, 라벨 표시 제어부(182)는, 손가락의 종류 "대상 손가락과, 대상 손가락의 우측 손가락" 및 접촉 위치 "대상 손가락과, 대상 손가락의 우측 손가락의 위치의 주변 위치"에 대응하는 라벨 화상에 포함되는 문자를 찾기 위해 기능 라벨 테이블(170)을 검색한다.
단계 S57에서, 손가락의 종류 "대상 손가락과, 대상 손가락의 우측 손가락" 및 접촉 위치 "대상 손가락과, 대상 손가락의 우측 손가락의 위치의 주변 위치"에 대응하는 라벨 화상에 포함되는 문자가 검색으로부터 검출되었는지의 여부가 판정된다.
단계 S57에서, 그 문자가 검출되었다고 판정된 경우, 라벨 표시 제어부(182)는, 검출된 문자를 포함하는 라벨 화상을 생성하여, 제어를 단계 S58로 이동시킨다.
단계 S58에서, 라벨 표시 제어부(182)는, 카메라(32)로부터 송신되는 화상에서, 대상 손가락과, 대상 손가락의 우측의 하나 건너 다음의 손가락에 대응하는 1개의 위치에, 검출된 문자를 포함하는 라벨 화상을 중첩시킨다. 그 후, 제어는 단계 S59로 이동된다.
단계 S57에서, 그 문자가 검색으로부터 검출되지 않았다고 판정된 경우, 제어는 단계 S59로 이동된다.
단계 S59에서, 라벨 표시 제어부(182)는, 대상 손가락이 약지 손가락인지의 여부를 판정한다. 대상 손가락이 약지 손가락이라고 판정된 경우, 그 후, 라벨 표시 처리가 종료된다.
단계 S59에서, 대상 손가락이 약지 손가락이 아니라고 판정된 경우, 그 후, 단계 S60에 도달된다. 단계 S60에서, 라벨 표시 제어부(182)는, 현재의 대상 손가락의 우측의 하나 건너 다음의 손가락을 새로운 대상 손가락으로서 취하고, 제어를 다시 단계 S46으로 이동시킨다.
상술된 바와 같이 단계 S54 내지 S61이 실행되면, "가운데 손가락에만 접합되는 집게 손가락", "약지 손가락에만 접합되는 가운데 손가락" 및 "새끼 손가락에만 접합되는 약지 손가락"의 접합된 2개의 손가락의 위치들에 대응하는 1개의 위치에, 그 위치의 주변 위치와, 접합된 2개의 손가락의 종류들에 할당된 기능의 라벨 화상이 중첩된다.
도 21의 단계 S61에서, 대상 손가락의 우측 손가락과 대상 손가락의 우측의 하나 건너 다음의 손가락 사이의 거리가 임계값보다 짧다고 판정된 경우, 라벨 표시 제어부(182)는, 대상 손가락의 우측 손가락과, 대상 손가락의 우측의 하나 건너 다음의 손가락이 접합되어 있다고 판단한다. 이 경우, 제어는 단계 S62로 이동된다.
단계 S62에서, 라벨 표시 제어부(182)는, 대상 손가락이 가운데 손가락인지의 여부를 판정한다. 단계 S62에서, 대상 손가락이 가운데 손가락이 아니라고 판정된 경우, 즉, 대상 손가락이 집게 손가락일 경우, 제어는 단계 S63으로 이동된다.
단계 S63에서, 라벨 표시 제어부(182)는, 대상 손가락의 우측의 두개 건너 다음의 손가락의 종류가 인식되어 있는지의 여부, 즉, 새끼 손가락이 인식되어 있는지의 여부를 판정한다.
단계 S63에서, 대상 손가락의 우측의 두개 건너 다음의 손가락의 종류가 인식되어 있다고 판정된 경우, 그 후 단계 S72에 도달된다. 단계 S72에서, 라벨 표시 제어부(182)는, 대상 손가락의 우측의 하나 건너 다음의 손가락과, 대상 손가락의 우측의 두개 건너 다음의 손가락 사이의 거리가 임계값 미만인지의 여부를 판정한다. 즉, 라벨 표시 제어부(182)는 도 20의 단계 S44에서 계산된, 약지 손가락과 새깨 손가락 사이의 거리가 임계값 미만인지의 여부를 판정한다.
단계 S72에서, 대상 손가락의 우측의 하나 건너 다음의 손가락과, 대상 손가락의 우측의 두개 건너 다음의 손가락 사이의 거리가 임계값보다 짧지 않다고 판정된 경우, 라벨 표시 제어부(182)는, 약지 손가락과 새끼 손가락이 서로 분리되어 있다고 판단한다. 이 경우, 제어는 단계 S64로 이동된다.
단계 S62에서, 대상 손가락이 가운데 손가락이라고 판정된 경우, 또는, 단계 S63에서, 대상 손가락의 우측의 두개 건너 다음의 손가락의 종류가 인식되어 있지 않다고 판정된 경우, 그 후, 제어는 단계 S64로 이동된다.
단계 S64에서, 라벨 표시 제어부(182)는, 손가락의 종류들 "대상 손가락, 대상 손가락의 우측 손가락, 및 대상 손가락의 우측의 하나 건너 다음의 손가락" 및 접촉 위치들 "대상 손가락, 대상 손가락의 우측 손가락 및 대상 손가락의 우측의 하나 건너 다음의 손가락의 위치들의 주변 위치"에 대응하는 라벨 화상에 포함되는 문자를 찾기 위해, 기능 라벨 테이블(170)을 검색한다.
단계 S65에서, 라벨 표시 제어부(182)는, 손가락의 종류들 "대상 손가락, 대상 손가락의 우측 손가락, 및 대상 손가락의 우측의 하나 건너 다음의 손가락" 및 접촉 위치들 "대상 손가락, 대상 손가락의 우측 손가락, 및 대상 손가락의 우측의 하나 건너 다음의 손가락의 위치의 주변 위치"에 대응하는 라벨 화상에 포함되는 문자가 검색으로부터 검출되었는지의 여부를 판정한다.
단계 S65에서, 그 문자가 검색으로부터 검출되었다고 판정된 경우, 라벨 표시 제어부(182)는, 검출된 문자를 포함하는 라벨 화상을 생성하고, 제어를 단계 S66으로 이동시킨다.
단계 S66에서, 라벨 표시 제어부(182)는, 대상 손가락, 대상 손가락의 우측 손가락, 및 대상 손가락의 우측의 하나 건너 다음의 손가락의 위치들에 대응하는 1개의 위치에, 검출된 문자를 포함하는 라벨 화상을 중첩시킨다. 그 후, 제어는 단계 S67로 이동된다.
단계 S65에서, 그 문자가 검색으로부터 검출되지 않았다고 판정된 경우, 그 후, 제어는 단계 S67로 이동된다.
상술된 바와 같이 단계 S61 내지 S66 및 단계 S72가 실행됨으로써, 접합된 3개의 손가락 "새끼 손가락으로부터 떨어져 함께 접합되어 있는 집게 손가락, 가운데 손가락 및 약지 손가락" 또는 "집게 손가락으로부터 떨어져 함께 접합되어 있는 가운데 손가락, 약지 손가락 및 새끼 손가락"의 위치들에 대응하는 1개의 위치에, 접합된 3개의 손가락의 위치들의 주변 위치와 그 종류들에 할당된 기능의 라벨 화상이 중첩된다.
단계 S67에서, 라벨 표시 제어부(182)는, 대상 손가락이 가운데 손가락인지의 여부를 판정한다. 단계 S67에서, 대상 손가락이 가운데 손가락이라고 판정된 경우, 제어는 단계 S76으로 이동된다. 단계 S64에서, 대상 손가락이 가운데 손가락이 아니라고 판정된 경우, 즉, 대상 손가락이 집게 손가락일 경우, 그 후, 제어는 단계 S68로 이동된다.
단계 S68에서, 라벨 표시 제어부(182)는, 손가락 종류 인식부(141)에 의해 새끼 손가락이 손가락의 종류로서 인식되어 있는지의 여부를 판정한다.
단계 S68에서, 새끼 손가락이 인식되어 있다고 판정된 경우, 그 후, 단계 S69에 도달된다. 단계 S69에서, 라벨 표시 제어부(182)는, 손가락의 종류 "새끼 손가락" 및 접촉 위치 "새끼 손가락의 위치의 주변 위치"에 대응하는 라벨 화상에 포함되는 문자를 찾기 위해 기능 라벨 테이블(170)을 검색한다.
단계 S70에서, 라벨 표시 제어부(182)는, 손가락의 종류 "새끼 손가락" 및 접촉 위치 "새끼 손가락의 위치의 주변 위치"에 대응하는 라벨 화상에 포함되는 문자가 검색으로부터 검출되었는지의 여부를 판정한다.
단계 S70에서, 그 문자가 검색으로부터 검출되었다고 판정된 경우, 라벨 표시 제어부(182)는, 검출된 문자를 포함하는 라벨 화상을 생성하고, 제어를 단계 S71로 이동시킨다.
단계 S71에서, 라벨 표시 제어부(182)는, 카메라(32)로부터 송신되는 화상의 새끼 손가락의 위치에, 검출된 문자를 포함하는 라벨 화상을 중첩시킨다. 그 후, 제어는 단계 S76으로 이동된다.
단계 S68에서 새끼 손가락이 인식되지 않았다고 판정된 경우, 또는 단계 S70에서, 그 문자가 검색으로부터 검출되지 않았다고 판정된 경우, 그 후, 제어는 단계 S76으로 이동된다.
상술된 바와 같이, 단계 S68 내지 S71이 실행됨으로써, 약지 손가락으로부터 분리된 새끼 손가락의 위치에, 새끼 손가락의 위치의 주변 위치와 손가락의 종류 "새끼 손가락"에 할당된 기능의 라벨 화상이 중첩된다.
단계 S72에서, 대상 손가락의 우측의 하나 건너 다음의 손가락과 대상 손가락의 우측의 두개 건너 다음의 손가락 사이의 거리가 임계값보다 짧다고 판정된 경우, 라벨 표시 제어부(182)는, 약지 손가락과 새끼 손가락이 접합되어 있다고 판단한다. 이 경우, 제어는 단계 S73으로 이동된다.
단계 S73에서, 라벨 표시 제어부(182)는, 손가락의 종류 "대상 손가락, 대상 손가락의 우측 손가락, 대상 손가락의 우측의 하나 건너 다음의 손가락 및 대상 손가락의 우측의 두개 건너 다음의 손가락" 및 접촉 위치 "대상 손가락, 대상 손가락의 우측 손가락, 대상 손가락의 우측의 하나 건너 다음의 손가락 및 대상 손가락의 우측의 두개 건너 다음의 손가락의 위치들의 주변 위치"에 대응하는 라벨 화상에 포함되는 문자를 찾기 위해 기능 라벨 테이블(170)을 검색한다. 즉, 라벨 표시 제어부(182)는, 손가락의 종류 "집게 손가락, 가운데 손가락, 약지 손가락 및 새끼 손가락" 및 접촉 위치 "집게 손가락, 가운데 손가락, 약지 손가락 및 새끼 손가락의 위치들의 주변 위치"에 대응하는 라벨 화상에 포함되는 문자를 찾기 위해 기능 라벨 테이블(170)을 검색한다.
단계 S74에서, 손가락의 종류 "대상 손가락, 대상 손가락의 우측 손가락, 대상 손가락의 우측의 하나 건너 다음의 손가락 및 대상 손가락의 우측의 두개 건너 다음의 손가락" 및 접촉 위치 "대상 손가락, 대상 손가락의 우측 손가락, 대상 손가락의 우측의 하나 건너 다음의 손가락 및 대상 손가락의 우측의 두개 건너 다음의 손가락의 위치들의 주변 위치"에 대응하는 라벨 화상에 포함되는 문자가 검색으로부터 검출되었는지의 여부가 판정된다.
단계 S74에서, 그 문자가 검색으로부터 검출되었다고 판정된 경우, 라벨 표시 제어부(182)는, 검색된 문자를 포함하는 라벨 화상을 생성하고, 제어를 단계 S75로 이동시킨다.
단계 S75에서, 라벨 표시 제어부(182)는, 대상 손가락, 대상 손가락의 우측 손가락, 대상 손가락의 우측의 하나 건너 다음의 손가락 및 대상 손가락의 우측의 두개 건너 다음의 손가락의 위치들에 대응하는 1개의 위치에, 검출된 문자를 포함하는 라벨 화상을 중첩시킨다. 그 후, 제어는 단계 S76으로 이동된다.
상술된 바와 같이 단계 S72 내지 S75가 실행됨으로써, 서로 접합되어 있는 집게 손가락, 가운데 손가락, 약지 손가락 및 새끼 손가락의 위치들에 대응하는 1개의 위치에, 이들 손가락들의 위치들의 주변 위치와 손가락의 종류들 "집게 손가락, 가운데 손가락, 약지 손가락 및 새끼 손가락"에 할당된 기능의 라벨 화상이 중첩된다.
단계 S74에서, 그 문자가 검색으로부터 검출되지 않았다고 판정된 경우, 그 후, 제어는 단계 S76으로 이동된다.
단계 S76에서, 라벨 표시 제어부(182)는 통신부(132)를 제어하여, 상기 단계들로부터 얻은 라벨 화상이 중첩되지 않고 카메라(32)로부터 송신되는 화상, 또는 결과 라벨 화상이 중첩되고 카메라(32)로부터 공급되는 화상을, HMD(122)에 송신하여 표시시킨다. 이로써 라벨 표시 처리가 종료된다.
상술된 바와 같이, 도 16의 정보 처리 장치(121)는, 1개 이상의 손가락들의 접촉 위치 및 그 종류의 조합들에 기능들을 할당한다. 본 발명의 구성은, 1개의 손가락의 접촉 위치 및 그 종류의 조합들에 기능들이 할당되는 일반적인 경우에 비하여, 관련 위치에 손가락 끝들을 접촉시키는 1개의 동작에, 보다 많은 기능들이 할당되도록 한다.
또한, 도 16의 정보 처리 장치(121)에서, 함께 접합되어 있는 복수의 손가락의 위치들에 대응하는 1개의 위치에, 이들 손가락들의 위치들의 주변 위치와 그 종류들에 대응하는 기능의 라벨 화상이 중첩된다. 이러한 구성은, 각 손가락의 위치에 라벨 화상이 중첩되는 일반적인 경우보다 더 좋은 시인성을 제공한다.
기능 실행 처리부(180)에 의해 행해지는 기능 실행 처리는, 패널에 접촉되어 있는 복수의 손가락이 서로 접합되어 있는지의 여부를 판정하는 점 및 서로 접합되어 있는 복수의 손가락이 발견되는 경우에, 도 9의 처리에서의 검색으로부터 검출될 대상이, 패널 상에서 접합되어 있는 복수의 손가락의 종류들과 그 접촉 위치들에 대응하는 기능으로 대체되는 점을 제외하고는, 도 9를 참조하여 상기 설명된 기능 실행 처리와 마찬가지이다. 따라서, 기능 실행 처리부(180)에 의해 실행되는 기능 실행 처리에 대한 추가 설명은 첨부 도면에서 생략된다.
<제3 실시예>
[제3 실시예로서의 정보 처리 시스템의 일반적인 구성]
도 22는 본 발명의 제3 실시예로서의 정보 처리 시스템의 일반적인 구성을 도시하는 도면이다.
도 22에서, 도 4에 이미 도시된 구성요소들에는 동일한 참조 부호들이 부여되고, 이하, 그에 대한 불필요한 설명은 생략될 것이다.
도 22의 정보 처리 시스템(200)의 구성은, 주로, 다음의 2가지 점: 정보 처리 장치(31)가 정보 처리 장치(201)로 대체되는 점 및 카메라(32)가 장착된 고글(33)이 생략되는 점에서 도 4의 구성과 상이하다. 정보 처리 장치(201)는 도 4 및 도 10에 도시된 카메라(32)에 의해 제공된 촬상 기능을 갖고 있어, 유저는, 정보 처리 시스템(200)을 사용할 때, 정보 처리 장치(201)를 소지하는 것만이 필요하다.
정보 처리 시스템(200)에서, 정보 처리 장치(201)는, 손가락 끝들로 터치 조작가능한 장치이며, 터치 패널 모니터(211) 등을 포함한다. 터치 패널 모니터(211)는 촬상 기능과 표시 기능을 갖는다. 터치 패널 모니터(211)는, 촬상 기능에 의해 터치 패널 모니터(211) 등을 촬상함으로써, 패널에 접촉되어 있는 손가락 또는 손가락들의 종류 및 위치를 검출한다. 터치 패널 모니터(211)는, 표시 기능을 사용함으로써 아이콘(13) 등을 표시시킨다. 터치 패널 모니터(211)에 대하여는 도 24를 참조하여 상세히 후술한다.
유저는, 터치 패널 모니터(211)에 표시된 아이콘(13) 등을 보면서, 자신의 손가락 끝들을 패널 상의 관련 위치에 접촉시켜, 원하는 기능을 실행시킨다. 보다 구체적으로, 정보 처리 장치(201)는, 터치 패널 모니터(211)에 의해 촬상된 화상에 기초하여, 터치 패널 모니터(211)에 접촉되어 있는 손가락의 위치 및 종류를 인식한다. 그 후, 정보 처리 장치(201)는 그 손가락의 위치와 종류에 할당된 기능을 실행한다.
[정보 처리 장치의 일반적인 하드웨어 구성]
도 23은 도 22에 포함된 정보 처리 장치(201)의 일반적인 하드웨어 구성을 도시하는 블록도이다.
도 23에서, 도 5에 이미 도시된 구성요소들에는 동일한 참조 부호들이 부여되고, 이하, 그에 대한 불필요한 설명은 생략될 것이다.
도 23의 정보 처리 장치(201)의 구성은, 주로, 다음의 2가지 점: 터치 패널 모니터(41)가 터치 패널 모니터(211)로 대체되는 점 및 통신부(69)가 통신부(212)로 대체되는 점에서 도 5의 구성과 상이하다.
터치 패널 모니터(211)는 터치 패널 모니터(211)를 포함하는 화상을 촬상하고, 그 후, 촬상된 화상을 표시한다. 통신부(212)는 도시하지 않은 외부의 장치들과 통신한다.
[터치 패널 모니터의 일반적인 상세 구성]
도 24는 터치 패널 모니터(211)의 일반적인 상세 구성을 도시하는 블록도이다.
도 24에 도시된 바와 같이, 터치 패널 모니터(211)는 I/O 표시 패널(221), 백라이트(222), 표시 드라이브 회로(223) 및 수광 드라이브 회로(224)로 구성된다.
I/O 표시 패널(221)은, 복수의 화소에 대응하는 회로들이 매트릭스 형상으로 배열되어 패널의 중앙에서의 표시 영역(221A)을 구성하는 LCD이다. 각 화소에 대응하는 회로는, TFT(thin film transistor) 및 액정을 끼움 지지한 전극으로 구성되는 화소부와, TFT와 동일층으로 형성되는 광센서, 리셋 스위치, 캐패시터 등으로 구성되는 센서부로 구성된다.
I/O 표시 패널(221)의 각 화소의 화소부는, 표시 드라이브 회로(223)의 제어에 따라, 선 순차 동작을 행하여, CPU(61) 등으로부터의 화상을 표시 영역(221A)에 표시한다. 또한, I/O 표시 패널(221)의 각 화소의 센서부는, 수광 드라이브 회로(224)의 제어에 따라 선 순차 동작을 행하여, 수광 데이터를 얻는다. 즉, I/O 표시 패널(221)의 화소부들은 화상들을 표시하고, 센서부는 촬상을 행한다.
백라이트(222)는 I/O 표시 패널(221)의 광원으로서 기능한다. 예를 들어, 복수의 발광 다이오드를 패널 내에 배열시킴으로써 백라이트(222)가 형성된다. 백라이트(222)는, 표시 드라이브 회로(223)로부터 공급되고 I/O 표시 패널(221)의 동작 타이밍을 나타내는 신호에 동기하여, 고속으로 발광 다이오드를 턴온 및 턴오프시킨다. 백라이트(222)는, 2종류의 광: 화상을 표시하기 위한 가시광 및 촬상을 위한 자외광을 방출한다.
표시 드라이브 회로(223)는, CPU(61) 등으로부터 공급되는 화상에 기초하여, I/O 표시 패널(221)을 선 순차 동작시킴으로써, 그 화상을 표시 영역(221A)에 표시시킨다. 또한, 표시 드라이브 회로(223)는 선 순차 동작의 타이밍을 나타내는 신호를 백라이트(222)에 공급한다.
수광 드라이브 회로(224)는, I/O 표시 패널(221)을 선 순차 동작시켜 촬상을 행하게 한다. 또한, 수광 드라이브 회로(224)는, 촬상의 결과로 얻어지는 각 화소의 수광 데이터로 구성되는 화상을 CPU(61)에 공급한다.
또한, 터치 패널 모니터(211)의 보다 상세한 설명은 본 출원인에 의해 먼저 출원된 일본 특허 공개 제2009-63803호 공보에 기재되어 있다.
[정보 처리 장치의 일반적인 기능적 구성]
도 25는 정보 처리 장치(201)의 CPU(61)에 의해 구현되는 기능 실행 처리부의 일반적인 기능적 구성을 도시하는 블록도이다.
기능 실행 처리부(240)의 구성은, 주로 다음 2가지 점: 위치 취득부(101)가 위치 검출부(241)(검출 수단)로 대체되는 점 및 손가락 종류 인식부(102)가 손가락 종류 인식부(242)로 대체되는 점에서 도 6의 구성과 상이하다.
위치 검출부(241)는, 일반적으로, 터치 패널 모니터(211)로부터 공급되는 화상의 화소값들의 크기에 기초하여, 접촉 위치로서 터치 패널 모니터(211)에 접촉되는 물체의 위치를 검출한다. 위치 검출부(241)는 이와 같이 검출된 접촉 위치를 기능 인식부(103)와 손가락 종류 인식부(242)에 공급한다.
손가락 종류 인식부(242)는, 터치 패널 모니터(211)로부터 공급되는 화상, 기억부(68)에 미리 기억되어 있는 손가락 정보(92) 및 위치 검출부(241)로부터의 접촉 위치에 기초하여, 터치 패널 모니터(211)에 접촉되는 손가락의 종류를 인식한다. 손가락 종류 인식부(242)는 인식된 손가락의 종류를 기능 인식부(103)에 공급한다.
[정보 처리 장치에 의해 행해지는 처리의 설명]
도 26은 기능 실행 처리부(240)에 의해 행해지는 기능 실행 처리를 설명하는 흐름도이다.
도 26의 단계 S81에서, 위치 검출부(241)는 터치 패널 모니터(211)로부터 공급되는 화상을 취득한다.
단계 S82에서, 위치 검출부(241)는, 일반적으로, 터치 패널 모니터(211)로부터 공급되는 화상의 화소값의 크기에 기초하여, 터치 패널 모니터(211)에 물체가 접촉되어 있는지의 여부를 판정한다.
단계 S82에서, 터치 패널 모니터(211)에 물체가 접촉되어 있다고 판정된 경우, 그 후, 제어는 단계 S83으로 이동된다.
단계 S83에서, 위치 검출부(241)는, 일반적으로, 터치 패널 모니터(211)의 화상의 화소값의 크기에 기초하여, 접촉 위치로서 터치 패널 모니터(211)에 접촉되는 물체의 위치를 검출한다. 위치 검출부(241)는 접촉 위치를 기능 인식부(103)와 손가락 종류 인식부(242)에 송신한다.
단계 S84에서, 손가락 종류 인식부(242)는, 손가락 정보(92), 터치 패널 모니터(211)로부터의 화상 및 위치 검출부(241)로부터의 접촉 위치에 기초하여, 터치 패널 모니터(211)에 접촉되는 손가락의 종류를 인식한다. 손가락 종류 인식부(242)는 인식된 손가락의 종류를 기능 인식부(103)에 공급한다.
단계 S85 내지 S87은 도 9의 단계 S15 내지 S17과 마찬가지이므로, 더 설명하지 않을 것이다.
또한, 단계 S82에서, 터치 패널 모니터(211)에 물체가 접촉되어 있지 않다고 판단된 경우, 기능 실행 처리는 종료된다.
[손가락 정보의 다른 예]
도 27 및 도 28은 손가락 정보(92)의 다른 예들을 설명하는 도면들이다.
상술한 설명에서, 손가락 정보(92)는 각 손가락의 화상, 또는 각 손가락의 형상을 특정하는 정보인 것으로 나타내었다. 선택적으로, 도 27에 나타낸 바와 같이, 유저는 자신의 손가락의 원하는 위치(도 27의 예에서는 손톱)에 고유한 색을 칠할 수 있다. 이 경우, 색 정보는 손가락 정보(92)로 사용될 수 있다.
보다 구체적으로, 도 27의 예에서, 유저는, 자신의 집게 손가락의 손톱에, 가운데 손가락의 손톱에 칠한 색(302)과 다른 색(301)을 칠하고 있다. 이 경우, 정보 처리 장치(31(121, 201))는, 색(301)과 손가락의 종류 "집게 손가락" 간 및 색(302)과 손가락의 종류 "가운데 손가락" 간에 대응관계를 성립시키고, 이들 대응관계의 테이블을 손가락 정보(92)로서 기억한다. 그 후, 정보 처리 장치(31(121, 201))는, 카메라(32)(터치 패널 모니터(211))에 의해 촬상된 화상의 색에 대응하는 손가락의 종류를 찾기 위해 손가락 정보(92)를 검색함으로써, 손가락의 종류를 인식할 수 있다.
또한, 도 28에 도시된 바와 같이, 유저는, 자신의 손가락들의 원하는 위치들(도 28의 예에서는 손톱)에, 종이 조각 등의 마커를 부착할 수 있고, 각각의 마커들은 고유한 위치에 표시가 그려져 있다. 이러한 경우, 마커들 상의 표시의 위치들을 나타내는 정보는 손가락 정보(92)로서 사용될 수 있다.
보다 구체적으로, 도 28의 예에서, 유저는, 자신의 집게 손가락의 손톱에 하부 중앙에 표시(311A)가 그려진 마커(311)를 부착하고, 자신의 가운데 손가락의 손톱에 상부 중앙에 표시(312A)가 그려진 마커(312)를 부착하고 있다. 이 경우, 정보 처리 장치(31(121, 201))는, 마커(311) 상의 표시(311A)의 위치 "하부 중앙"과 손가락의 종류 "집게 손가락" 간, 및 마커(312) 상의 표시(312A)의 위치 "상부 중앙"과 손가락의 종류 "가운데 손가락" 간에 대응 관계를 성립시켜, 이들 대응관계의 테이블을 손가락 정보(92)로서 기억한다. 그 후, 정보 처리 장치(31(121, 201))는, 카메라(32)(터치 패널 모니터(211))에 의해 촬상된 화상으로부터 마커(311(312))를 추출하여, 추출된 마커(311(312))의 표시(311A(312A))의 위치에 대응하는 손가락의 종류를 찾기 위해 손가락 정보(92)를 검색함으로써, 손가락의 종류를 인식할 수 있다.
도 27 및 도 28과 관련하여 상기 설명한 손가락 정보(92)는 미리 설정될 수도 있고, 또는 유저에 의해 추후 설정될 수도 있다.
기능 테이블(91) 및 기능 라벨 테이블(131(170))은 유저에 의해 설정될 수 있다. 이 경우, 유저는, 손가락들의 종류들과 그 접촉 위치들의 조합에 대하여 할당되는 기능들을 개개인의 요구에 맞추도록(customize) 한다.
본 명세서에서, 관련 프로그램을 따라 컴퓨터에 의해 행해지는 단계 또는 처리는, 반드시 흐름도에 기재된 순서로(즉, 시계열 기준으로) 진행될 필요는 없다. 즉, 그러한 단계 또는 처리는, 병렬적 또는 개별적으로 실행되는 단계 또는 처리(예를 들어, 병렬 처리 또는 객체 지향형 방식)를 포함할 수도 있다.
프로그램들은, 1개의 컴퓨터에 의해 처리될 수 있거나, 또는 복수의 컴퓨터에 의해 분산 처리될 수 있다. 프로그램은, 먼 곳의 컴퓨터 또는 컴퓨터들에 전송되어 실행될 수도 있다.
본 명세서에서, 용어 "시스템"은 복수의 컴포넌트 디바이스 또는 장치로 구성되는 전체 구성을 지칭한다.
본 기술분야의 통상의 당업자들은, 다양한 수정들, 조합들, 서브-조합들 및 변경들이 첨부된 특허청구범위 또는 그 균등물의 범위 내에 있는 한, 설계 요건 및 다른 요소에 따라 변경될 수 있다는 것을 이해해야 한다.
본원은 2010년 3월 1일에 일본 특허청에 출원된 일본 특허 출원 번호 제2010-044611호에 기재된 바와 관련된 요지를 포함하고, 그 전체 내용은 본원에 참조로서 원용된다.
31: 정보 처리 장치
41: 터치 패널 모니터
82: 터치 패널
91: 기능 테이블
102: 손가락 종류 인식부
103: 기능 인식부
104: 실행부
121: 정보 처리 장치
131: 기능 라벨 테이블
141: 손가락 종류 인식부
142: 라벨 표시 제어부
170: 기능 라벨 테이블
181: 기능 인식부
182: 라벨 표시 제어부
201: 정보 처리 장치
241: 위치 검출 유닛
242: 손가락 종류 인식부

Claims (8)

  1. 정보 처리 장치로서,
    접촉 위치로서 접촉 검지부(touch-sensitive part)에 접촉되는 물체의 위치를 검출하는 검출 유닛;
    상기 접촉 위치 및 상기 접촉 검지부의 화상에 기초하여, 상기 접촉 검지부에 접촉되는 손가락의 종류를 인식하는 인식 유닛;
    한 손의 적어도 1개의 손가락의 접촉 위치 및 종류와, 다른 한 손의 손가락의 접촉 위치 및 종류의 조합에 할당된 기능 간의 대응관계를 규정하는 기능 테이블을 검색하는 검색 유닛 - 상기 검색 유닛은 상기 검출 유닛에 의해 검출된 상기 접촉 위치와 상기 인식 유닛에 의해 인식된 상기 손가락의 종류에 대응하는 기능을 찾기 위해 상기 기능 테이블을 검색함 - ; 및
    상기 검색 유닛에 의한 검색을 통해 검출된 상기 기능을 실행하는 실행 유닛
    을 포함하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 검출 유닛은 상기 접촉 검지부를 접촉하는 상기 물체를 검지하여, 상기 접촉 위치로서 상기 접촉의 위치를 검출하는, 정보 처리 장치.
  3. 제1항에 있어서,
    상기 검출 유닛은 상기 접촉 검지부의 상기 화상에 기초하여 상기 접촉 위치를 검출하는, 정보 처리 장치.
  4. 제1항에 있어서,
    상기 접촉 검지부의 상기 화상을 표시하는 표시 제어 유닛을 더 포함하고,
    상기 기능 테이블은, 적어도 1개의 손가락의 상기 접촉 위치 및 종류, 상기 접촉 위치 및 상기 손가락의 종류의 조합에 할당된 상기 기능, 및 할당된 상기 기능을 나타내는 기능 정보 간의 대응관계를 규정하고,
    상기 인식 유닛은, 상기 접촉 검지부의 상기 화상에 기초하여, 상기 접촉 검지부 상에 배치된 상기 손가락의 종류와 위치를 인식하고,
    상기 표시 제어 유닛은, 상기 인식 유닛에 의해 인식된 상기 손가락의 위치의 주변 위치와 상기 손가락의 종류에 대응하는 기능 정보를 찾기 위해 상기 기능 테이블을 검색하고, 또한 상기 기능 정보의 화상을 상기 접촉 검지부의 상기 화상의 상기 손가락의 위치에 중첩시키는, 정보 처리 장치.
  5. 제4항에 있어서,
    상기 표시 제어 유닛은, 상기 접촉 검지부 상에 복수의 손가락이 접합하여 배치되는 경우, 상기 복수의 손가락의 위치들의 주변 위치와 그 종류들에 대응하는 기능 정보를 찾기 위해 상기 기능 테이블을 검색하고, 또한 상기 기능 정보의 화상을 상기 접촉 검지부의 상기 화상의 상기 복수의 손가락의 위치들에 대응하는 1개의 위치에 중첩시키는, 정보 처리 장치.
  6. 접촉 검지부를 갖는 정보 처리 장치에 사용하는 정보 처리 방법으로서,
    접촉 위치로서 상기 접촉 검지부에 접촉되는 물체의 위치를 검출하는 단계;
    상기 접촉 위치와 상기 접촉 검지부의 화상에 기초하여, 상기 접촉 검지부에 접촉되는 손가락의 종류를 인식하는 단계;
    한 손의 적어도 1개의 손가락의 접촉 위치 및 종류와, 다른 한 손의 손가락의 접촉 위치 및 종류의 조합에 할당된 기능 간의 대응관계를 규정하는 기능 테이블을 검색하는 단계 - 상기 기능 테이블은 상기 검출하는 단계에서 검출된 상기 접촉 위치와 상기 인식하는 단계에서 인식된 상기 손가락의 종류에 대응하는 기능을 찾기 위해 검색됨 - ; 및
    상기 검색하는 단계에서의 상기 검색을 통해 검출된 상기 기능을 실행하는 단계
    를 포함하는, 정보 처리 방법.
  7. 접촉 위치로서 접촉 검지부에 접촉되는 물체의 위치를 검출하는 단계;
    상기 접촉 위치와 상기 접촉 검지부의 화상에 기초하여, 상기 접촉 검지부에 접촉되는 손가락의 종류를 인식하는 단계;
    한 손의 적어도 1개의 손가락의 접촉 위치 및 종류와, 다른 한 손의 손가락의 접촉 위치 및 종류의 조합에 할당된 기능 간의 대응관계를 규정하는 기능 테이블을 검색하는 단계 - 상기 기능 테이블은 상기 검출하는 단계에서 검출된 상기 접촉 위치와 상기 인식하는 단계에서 인식된 상기 손가락의 종류에 대응하는 기능을 찾기 위해 검색됨 - ; 및
    상기 검색하는 단계에서의 상기 검색을 통해 검출된 상기 기능을 실행하는 단계
    를 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
  8. 정보 처리 장치로서,
    접촉 위치로서 접촉 검지부에 접촉되는 물체의 위치를 검출하도록 구성된 검출부;
    상기 접촉 위치 및 상기 접촉 검지부의 화상에 기초하여, 상기 접촉 검지부에 접촉되는 손가락의 종류를 인식하도록 구성되는 인식부;
    한 손의 적어도 1개의 손가락의 접촉 위치 및 종류와, 다른 한 손의 손가락의 접촉 위치 및 종류의 조합에 할당된 기능 간의 대응관계를 규정하는 기능 테이블을 검색하도록 구성된 검색부 - 상기 검색부는 상기 검출부에 의해 검출된 상기 접촉 위치와 상기 인식부에 의해 인식된 상기 손가락의 종류에 대응하는 기능을 찾기 위해 상기 기능 테이블을 검색함 - ; 및
    상기 검색부에 의한 상기 검색을 통해 검출된 상기 기능을 실행하는 실행부
    를 포함하는, 정보 처리 장치.
KR1020110015197A 2010-03-01 2011-02-21 정보 처리 장치, 정보 처리 방법 및 프로그램 KR20110099166A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2010-044611 2010-03-01
JP2010044611A JP2011180843A (ja) 2010-03-01 2010-03-01 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
KR20110099166A true KR20110099166A (ko) 2011-09-07

Family

ID=44117221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110015197A KR20110099166A (ko) 2010-03-01 2011-02-21 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (7)

Country Link
US (1) US9218124B2 (ko)
EP (1) EP2363793A2 (ko)
JP (1) JP2011180843A (ko)
KR (1) KR20110099166A (ko)
CN (1) CN102193728A (ko)
BR (1) BRPI1100155A2 (ko)
RU (1) RU2011106653A (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200145B (zh) 2007-09-24 2020-10-27 苹果公司 电子设备中的嵌入式验证系统
JP5978592B2 (ja) * 2011-10-26 2016-08-24 ソニー株式会社 ヘッド・マウント・ディスプレイ及び表示制御方法
JP2013125247A (ja) * 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置
CN104137038B (zh) * 2012-01-09 2017-08-25 谷歌公司 具有手指鉴别的智能触摸屏键盘
CN103207746B (zh) * 2012-01-16 2016-12-28 联想(北京)有限公司 一种功能调用方法及装置
JP2013175018A (ja) * 2012-02-24 2013-09-05 Kddi Corp 表示装置、表示方法およびプログラム
EP2849035A4 (en) * 2012-05-09 2016-05-11 Sony Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
JP6023879B2 (ja) * 2012-05-18 2016-11-09 アップル インコーポレイテッド 指紋センサ入力に基づくユーザインタフェースを操作するための機器、方法、及びグラフィカルユーザインタ−フェース
US9298295B2 (en) * 2012-07-25 2016-03-29 Facebook, Inc. Gestures for auto-correct
JP5931680B2 (ja) * 2012-09-28 2016-06-08 京セラ株式会社 表示装置、制御方法および制御プログラム
CN104662493B (zh) * 2012-09-28 2018-01-05 京瓷株式会社 显示装置、控制方法和存储介质
JP5931681B2 (ja) * 2012-09-28 2016-06-08 京セラ株式会社 表示装置、制御方法および制御プログラム
US9841815B2 (en) * 2013-09-09 2017-12-12 Samsung Electronics Co., Ltd. Method for differentiation of touch input and visualization of pending touch input
JP6206099B2 (ja) * 2013-11-05 2017-10-04 セイコーエプソン株式会社 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置
US9965030B2 (en) * 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
KR20160114413A (ko) * 2015-03-24 2016-10-05 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9671828B2 (en) 2014-09-19 2017-06-06 Lg Electronics Inc. Mobile terminal with dual touch sensors located on different sides of terminal body and method of controlling the same
KR20160063812A (ko) * 2014-11-27 2016-06-07 삼성전자주식회사 화면 구성 방법, 전자 장치 및 저장 매체
TWI598785B (zh) * 2015-01-29 2017-09-11 政美應用股份有限公司 觸控面板之檢測方法及裝置
JP6841232B2 (ja) * 2015-12-18 2021-03-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR101643968B1 (ko) * 2015-12-21 2016-08-01 (주)라온스퀘어 사물카드가 삽입되는 슬롯을 구비한 슬롯장치를 이용한 사물정보 제공 방법 및 시스템
CN107203320A (zh) * 2016-03-18 2017-09-26 大陆汽车投资（上海）有限公司 基于多点触摸的用户界面控制方法
JP6125075B2 (ja) * 2016-04-26 2017-05-10 京セラ株式会社 表示装置、制御方法および制御プログラム
JP6125076B2 (ja) * 2016-04-26 2017-05-10 京セラ株式会社 表示装置、制御方法および制御プログラム
GB201908996D0 (en) * 2018-06-29 2019-08-07 Canon Kk Electronic device, control method for electronic device, program, and computer readable medium
US11796660B2 (en) * 2020-07-24 2023-10-24 Fujifilm Sonosite, Inc. Systems and methods for customized user interface
US11409410B2 (en) 2020-09-14 2022-08-09 Apple Inc. User input interfaces
WO2023140340A1 (ja) * 2022-01-19 2023-07-27 メタマティクス プライベート リミテッド 指識別に基づくユーザー・インターフェースを実現するためのシステム、方法及びそのためのプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134382A (ja) 1999-11-04 2001-05-18 Sony Corp 図形処理装置
US6603462B2 (en) * 2001-03-21 2003-08-05 Multidigit, Inc. System and method for selecting functions based on a finger feature such as a fingerprint
KR100682885B1 (ko) * 2003-04-23 2007-02-15 삼성전자주식회사 공간형 정보 입력 장치 및 방법, 이를 위한 소프트 키매핑 방법 및 그에 따른 가상 키보드
JP2006155244A (ja) * 2004-11-29 2006-06-15 Olympus Corp 情報表示装置
WO2006091753A2 (en) * 2005-02-23 2006-08-31 Zienon, L.L.C. Method and apparatus for data entry input
US7810050B2 (en) * 2005-03-28 2010-10-05 Panasonic Corporation User interface system
JP2007072578A (ja) * 2005-09-05 2007-03-22 Denso Corp 入力装置
JP2007219966A (ja) * 2006-02-20 2007-08-30 Sharp Corp 投影入力装置、投影入力装置を備えた情報端末及び充電器
JP2009063803A (ja) 2007-09-06 2009-03-26 Sony Corp 表示装置
JP2009140390A (ja) * 2007-12-10 2009-06-25 Mega Chips Corp 指示デバイスおよび指紋認証半導体回路
JP2009184551A (ja) * 2008-02-07 2009-08-20 Panasonic Corp 車載機器入力装置
JP5212630B2 (ja) 2008-08-13 2013-06-19 花王株式会社 複合型撹拌槽における流体の流動状態の解析方法

Also Published As

Publication number Publication date
EP2363793A2 (en) 2011-09-07
US9218124B2 (en) 2015-12-22
BRPI1100155A2 (pt) 2012-07-31
RU2011106653A (ru) 2012-08-27
CN102193728A (zh) 2011-09-21
JP2011180843A (ja) 2011-09-15
US20110210928A1 (en) 2011-09-01

Similar Documents

Publication Publication Date Title
KR20110099166A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
AU2022202607B2 (en) Column interface for navigating in a user interface
US20230096458A1 (en) Input device and user interface interactions
US10001838B2 (en) Feature tracking for device input
KR100725330B1 (ko) 정보처리장치, 정보처리장치의 제어방법 및 정보기억매체
TWI343015B (en) Pointing method, apparatus and computer program product for selecting a target object from a plurality of objects
US20100077333A1 (en) Method and apparatus for non-hierarchical input of file attributes
US20170285932A1 (en) Ink Input for Browser Navigation
CN106385537A (zh) 一种拍照方法及终端
JP2011197744A (ja) 情報処理装置、プログラム、記録媒体および情報処理システム
JP6010062B2 (ja) キューポイント制御装置およびキューポイント制御プログラム
CN103076963A (zh) 一种信息提示方法及电子设备
US20090089677A1 (en) Systems and methods for enhanced textual presentation in video content presentation on portable devices
JP2012203645A (ja) 情報処理装置、情報処理方法及びプログラム
CN105278715A (zh) 基于触摸屏的应用布局设置方法及终端设备

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid