KR20120067331A - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20120067331A
KR20120067331A KR1020127004205A KR20127004205A KR20120067331A KR 20120067331 A KR20120067331 A KR 20120067331A KR 1020127004205 A KR1020127004205 A KR 1020127004205A KR 20127004205 A KR20127004205 A KR 20127004205A KR 20120067331 A KR20120067331 A KR 20120067331A
Authority
KR
South Korea
Prior art keywords
information
relative
detecting
image
detected
Prior art date
Application number
KR1020127004205A
Other languages
English (en)
Inventor
데쯔오 이께다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20120067331A publication Critical patent/KR20120067331A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

본 발명은, 비교적 단순한 터치 조작에 많은 기능을 할당하는 것이 가능한 조작 체계를 실현하는 것을 목적으로 한다. 이를 해결하기 위하여, 화면 위를 가압하는 복수의 조작체의 위치를 검지하는 위치 검지부와, 상기 각 조작체에 의한 가압 강도를 검지하는 가압 강도 검지부와, 조작체 사이의 상대 위치 및 가압 강도비를 나타내는 소정의 상대 정보가 기록된 기억부와, 상기 위치 검지부에 의해 검지된 위치의 정보로부터 얻어지는 상기 조작체 사이의 상대 위치와, 상기 가압 강도 검지부에 의해 검지된 가압 강도의 정보로부터 얻어지는 상기 조작체 사이의 가압 강도비에 근사한 상기 소정의 상대 정보를 검출하는 상대 정보 검출부와, 상기 상대 정보 검출부에 의해 검출된 소정의 상대 정보에 대응하는 소정의 기능을 제공하는 기능 제공부를 구비하는, 정보 처리 장치가 제공된다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램{INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM}
본 발명은, 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
최근, 휴대 전화나 휴대 정보 단말기 등의 전자 기기에는, 입력 디바이스로서 터치 패널이 많이 사용되고 있다. 터치 패널은, 액정 디스플레이나 유기 일렉트로 루미네센스 디스플레이 등의 디스플레이 디바이스에 설치된다. 터치 패널의 종류로서는, 예를 들어 저항막 방식, 정전 용량 방식 및 광학식의 터치 패널이 알려져 있다. 어떤 방식에서든, 유저는, 디스플레이 디바이스에 표시된 조작 오브젝트를 직접 터치하거나, 슬라이드시키거나 함으로써, 원하는 조작을 행할 수 있다. 그로 인해, 터치 패널에 의해 직감적인 조작 체계가 실현된다.
터치 패널에 관련된 기술로서, 예를 들어 하기의 특허문헌 1에는, 터치 스위치를 이용하여 휴대 전화기의 키 로크 제어를 행하는 기술이 개시되어 있다. 또한, 동일 문헌에는 2개의 터치 스위치의 조작 순서에 기초하여 키 로크의 온/오프를 제어하는 기술이 개시되어 있다. 동일 문헌에 기재된 기술을 사용하면, 실수로 키 로크의 온/오프 조작을 행하는 것을 방지하는 것이 가능하게 된다. 이와 같이, 터치 스위치나 터치 패널을 능숙하게 이용함으로써 유저의 편리성을 향상시킬 수 있다.
일본 특허 공개 제2008-244743호 공보
상기 문헌에는, 터치 스위치를 이용하여 휴대 전화기의 키 로크 제어를 행하는 기술밖에 기재되어 있지 않으나, 터치 패널의 응용에 대해서는, 이 밖에도 여러 연구가 진행되고 있다. 특히, 터치 패널의 조작에 사용되는 조작 오브젝트의 표시 방법에 대해서는 많은 방안이 제안되고 있다.
입력 디바이스로서 터치 패널을 사용하는 경우, 조작 오브젝트를 디스플레이 디바이스에 표시하면, 그만큼 표시 영역이 좁아져 버린다. 그로 인해, 유효한 표시 영역을 확장하는 것이 하나의 큰 과제로 되어 있다. 이와 같은 과제에 대하여, 예를 들어 조작 오브젝트의 크기를 작게 하는 방법을 하나의 해결 수단으로서 생각할 수 있다. 그러나, 조작 오브젝트의 크기를 작게 하면, 개개의 조작 오브젝트를 정확하게 터치하는 것이 어려워져, 오조작의 기회가 증가해 버린다.
또한, 터치 패널 내에 미리 복수의 특정 영역을 설정하고, 그 특정 영역을 유저가 터치하는 순서로 소정의 기능을 할당하는 방법을 하나의 해결 수단으로서 생각할 수 있다. 이 방법을 사용하면, 유저에 의한 터치 순서에 따라 소정의 기능이 실현된다. 즉, 「순서」라는 룰에 소정의 기능을 할당함으로써, 「순서」에 할당된 기능을 실현하기 위한 조작에 대해서는, 조작 오브젝트를 사용하지 않고 조작하는 것이 가능하게 된다. 그 결과, 표시해야 할 조작 오브젝트의 수를 저감시킬 수 있다.
그러나, 터치의 순서에 많은 기능을 할당하는 것은 어렵다. 예를 들어, 다수의 특정 영역을 설정하여 터치의 순서를 복잡화하면, 다수의 기능을 할당할 수 있는 반면, 유저가 순서를 기억하는 것이 어려워진다. 이러한 이유로, 너무 많은 기능을 터치의 순서에 할당하는 것은 어려운 것이다. 또한, 유저의 기억력을 돕기 위하여 보조 정보를 표시하는 아이디어도 고려되고 있지만, 보조 정보를 표시하는 만큼 유효한 표시 영역이 좁아져 버린다. 이러한 이유로, 비교적 단순한 조작 공정으로, 보다 많은 기능을 실현하는 것이 가능한 조작 체계가 요구되고 있다.
따라서, 본 발명은, 상기 문제를 감안하여 이루어진 것이며, 본 발명의 목적으로 하는 점은, 터치 패널을 이용한 비교적 단순한 입력 조작에 의해, 보다 많은 기능을 실현하는 것이 가능한, 신규이면서도 개량된 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공하는 데에 있다.
상기 과제를 해결하기 위해, 본 발명의 어느 한 관점에 의하면, 화면 위를 가압하는 복수의 조작체의 위치를 검지하는 위치 검지부와, 상기 각 조작체에 의한 가압 강도를 검지하는 가압 강도 검지부와, 조작체 사이의 상대 위치 및 가압 강도비를 나타내는 소정의 상대 정보가 기록된 기억부와, 상기 위치 검지부에 의해 검지된 위치의 정보로부터 얻어지는 상기 조작체 사이의 상대 위치와, 상기 가압 강도 검지부에 의해 검지된 가압 강도의 정보로부터 얻어지는 상기 조작체 사이의 가압 강도비에 근사한 상기 소정의 상대 정보를 검출하는 상대 정보 검출부와, 상기 상대 정보 검출부에 의해 검출된 소정의 상대 정보에 대응하는 소정의 기능을 제공하는 기능 제공부를 구비하는, 정보 처리 장치가 제공된다.
또한, 상기 기억부에는, 상기 조작체 사이의 상대 위치를 나타내는 소정의 상대 정보로서, 당해 각 조작체의 위치 좌표를 나타내는 좌표 정보가 저장되어 있고, 상기 조작체 사이의 가압 강도비를 나타내는 소정의 상대 정보로서, 당해 각 조작체의 가압 강도를 나타내는 강도 정보가 저장되어 있고, 상기 상대 정보 검출부는, 상기 위치 검지부에 의해 상기 위치의 정보로서 검지된 상기 각 조작체의 위치 좌표에 대하여 공통된 평행 이동, 회전 조작을 실시함으로써, 근사한 상기 좌표 정보를 검출하고, 상기 가압 강도 검지부에 의해 상기 가압 강도의 정보로서 검지된 상기 각 조작체의 가압 강도를 동일한 비율로 증감시킴으로써, 근사한 상기 강도 정보를 검출하도록 구성되어 있어도 좋다.
또한, 상기 기억부에는, 유저 조작이 로크된 로크 상태의 해제용으로 상기 소정의 상대 정보가 기록되어 있고, 상기 상대 정보 검출부는, 상기 로크 상태에 있는 동안 상기 위치 검지부에 의해 검지된 위치의 정보로부터 얻어지는 상기 조작체 사이의 상대 위치와, 상기 가압 강도 검지부에 의해 검지된 가압 강도의 정보로부터 얻어지는 상기 조작체 사이의 가압 강도비에 근사한 상기 로크 상태의 해제용으로 상기 기억부에 기록된 상대 정보를 검출하고, 상기 기능 제공부는, 상기 상대 정보 검출부에 의해 상기 로크 상태의 해제용으로 상기 기억부에 기록된 상대 정보가 검출된 경우에, 상기 로크 상태를 해제하도록 구성되어 있어도 좋다.
또한, 상기 상대 정보 검출부는, 상기 로크 상태에 있는 경우, 상기 위치 검지부에 의해 상기 위치의 정보로서 검지된 상기 각 조작체의 위치 좌표에 대하여 공통된 평행 이동만을 실시함으로써, 근사한 상기 좌표 정보를 검출하도록 구성되어 있어도 좋다.
또한, 상기 상대 정보 검출부는, 상기 로크 상태에 있는 경우, 상기 가압 강도 검지부에 의해 상기 가압 강도의 정보로서 검지된 상기 각 조작체의 가압 강도를 소정값 이하의 비율로 증감시켜, 근사한 상기 강도 정보를 검출하도록 구성되어 있어도 좋다.
또한, 상기 기억부에는, 콘텐츠의 재생 제어를 행하기 위한 재생 제어 기능에 대응시켜진 상기 소정의 상대 정보가 기록되어 있고, 상기 기능 제공부는, 상기 상대 정보 검출부에 의해 검출된 소정의 상대 정보에 대응하는 재생 제어 기능을 제공하도록 구성되어 있어도 좋다.
또한, 상기한 정보 처리 장치는, 상기 화면의 내부로부터 광을 사출하는 광원과, 상기 광원으로부터 광이 사출되었을 때에 상기 화면 위를 가압하는 조작체에 의해 반사된 광의 강도를 검지하는 것이 가능한 광 센서를 더 구비하고, 상기 가압 강도 검지부는, 상기 광 센서에 의해 검지된 광의 강도에 기초하여, 상기 광원으로부터 사출된 광을 강하게 반사한 상기 조작체의 면적을 검출하고, 당해 면적의 크기에 기초하여 상기 가압 강도를 검지하도록 구성되어 있어도 좋다.
또한, 상기한 정보 처리 장치는, 상기 화면 위에, 가압력을 검지하는 것이 가능한 가압력 센서를 더 구비하고, 상기 가압 강도 검지부는, 상기 가압력 센서에 의해 검지된 가압력의 크기에 기초하여 상기 조작체에 의한 가압 강도를 검지하도록 구성되어 있어도 좋다.
또한, 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 화면의 내부로부터 외부를 향하여 광을 사출하는 광원과, 상기 광원으로부터 광이 사출된 경우에 상기 화면 위를 가압하는 조작체에 의해 반사된 광으로부터 상을 형성함으로써 당해 화면 위를 가압하는 조작체의 화상을 촬상하는 촬상부와, 미리 준비된 패턴 화상 중에서, 상기 촬상부에 의해 촬상된 상기 조작체의 화상에 근사한 소정의 패턴 화상을 검출하는 패턴 화상 검출부를 구비하고, 복수의 조작체에 의해 상기 화면 위가 가압되고, 상기 촬상부에 의해 당해 조작체의 화상이 촬상된 경우, 상기 패턴 화상 검출부는, 상기 촬상부에 의해 촬상된 화상에 포함되는 각 조작체의 상대 위치 및 당해 각 조작체의 크기 비율이 근사한 소정의 패턴 화상을 검출하는, 정보 처리 장치가 제공된다.
또한, 상기 과제를 해결하기 위하여, 본 발명의 다른 관점에 의하면, 화면 위를 가압하는 복수의 조작체의 위치를 검지하는 위치 검지 스텝과, 상기 각 조작체에 의한 가압 강도를 검지하는 가압 강도 검지 스텝과, 상기 위치 검지 스텝에서 검지된 위치의 정보로부터 얻어지는 상기 조작체 사이의 상대 위치와, 상기 가압 강도 검지 스텝에서 검지된 가압 강도의 정보로부터 얻어지는 상기 조작체 사이의 가압 강도비에 근사한, 조작체 사이의 상대 위치 및 가압 강도비를 나타내는 소정의 상대 정보를 검출하는 상대 정보 검출 스텝과, 상기 상대 정보 검출 스텝에서 검출된 소정의 상대 정보에 대응하는 소정의 기능을 제공하는 기능 제공 스텝을 포함하는, 정보 처리 방법이 제공된다.
또한, 상기 과제를 해결하기 위하여, 본 발명의 다른 관점에 의하면, 화면의 내부로부터 외부를 향하여 사출된 광이 상기 화면 위를 가압하는 조작체에 의해 반사된 경우에, 당해 반사광으로부터 상을 형성함으로써 당해 화면 위를 가압하는 조작체의 화상을 촬상하는 촬상 스텝과, 미리 준비된 패턴 화상 중에서, 상기 촬상 스텝에서 촬상된 상기 조작체의 화상에 근사한 소정의 패턴 화상을 검출하는 패턴 화상 검출 스텝을 포함하고, 복수의 조작체에 의해 상기 화면 위가 가압되고, 상기 촬상 스텝에서 당해 조작체의 화상이 촬상된 경우, 상기 패턴 화상 검출 스텝에서는, 상기 촬상 스텝에서 촬상된 화상에 포함되는 각 조작체의 상대 위치 및 당해 각 조작체의 크기 비율이 근사한 소정의 패턴 화상을 검출하는, 정보 처리 방법이 제공된다.
또한, 상기 과제를 해결하기 위하여, 본 발명의 다른 관점에 의하면, 화면 위를 가압하는 복수의 조작체의 위치를 검지하는 위치 검지 기능과, 상기 각 조작체에 의한 가압 강도를 검지하는 가압 강도 검지 기능과, 상기 위치 검지 기능에 의해 검지된 위치의 정보로부터 얻어지는 상기 조작체 사이의 상대 위치와, 상기 가압 강도 검지 기능에 의해 검지된 가압 강도의 정보로부터 얻어지는 상기 조작체 사이의 가압 강도비에 근사한, 조작체 사이의 상대 위치 및 가압 강도비를 나타내는 소정의 상대 정보를 검출하는 상대 정보 검출 기능과, 상기 상대 정보 검출 기능에 의해 검출된 소정의 상대 정보에 대응하는 소정의 기능을 제공하는 기능 제공 기능을 컴퓨터에 실현시키기 위한 프로그램이 제공된다.
또한, 상기 과제를 해결하기 위하여, 본 발명의 다른 관점에 의하면, 화면의 내부로부터 외부를 향하여 사출된 광이 상기 화면 위를 가압하는 조작체에 의해 반사된 경우에, 당해 반사광으로부터 상을 형성함으로써 당해 화면 위를 가압하는 조작체의 화상을 촬상하는 촬상 기능과, 미리 준비된 패턴 화상 중에서, 상기 촬상 기능에 의해 촬상된 상기 조작체의 화상에 근사한 소정의 패턴 화상을 검출하는 패턴 화상 검출 기능을 컴퓨터에 실현시키고, 복수의 조작체에 의해 상기 화면 위가 가압되고, 상기 촬상 기능에 의해 당해 조작체의 화상이 촬상된 경우, 상기 패턴 화상 검출 기능에 의해, 상기 촬상 기능에 의해 촬상된 화상에 포함되는 각 조작체의 상대 위치 및 당해 각 조작체의 크기 비율이 근사한 소정의 패턴 화상을 검출하는 기능을 컴퓨터에 실현시키기 위한 프로그램이 제공된다.
또한, 상기 과제를 해결하기 위하여, 본 발명의 다른 관점에 의하면, 상기한 프로그램이 기록된, 컴퓨터에 의해 판독 가능한 기록 매체가 제공된다.
이상 설명한 바와 같이 본 발명에 따르면, 터치 패널을 이용한 비교적 단순한 입력 조작에 의해, 보다 많은 기능을 실현하는 것이 가능하게 된다.
도 1은 본 발명의 제1 실시 형태에 관한 정보 처리 장치의 외관을 도시하는 설명도이다.
도 2는 본 실시 형태에 관한 정보 처리 장치의 기능 구성예를 도시하는 설명도이다.
도 3a는 본 실시 형태에 관한 정보 처리 장치가 갖는 입력 패턴 해석부의 일부 동작을 도시하는 설명도이다.
도 3b는 본 실시 형태에 관한 정보 처리 장치가 갖는 입력 패턴 해석부의 일부 동작을 도시하는 설명도이다.
도 4a는 본 실시 형태에 관한 정보 처리 장치가 갖는 기억부에 저장되어 있는 등록 패턴 정보의 일례를 나타내는 설명도이다.
도 4b는 본 실시 형태에 관한 정보 처리 장치가 갖는 기억부에 저장되어 있는 등록 패턴 정보의 일례를 나타내는 설명도이다.
도 5는 본 실시 형태에 관한 정보 처리 장치의 동작 플로우를 도시하는 설명도이다.
도 6a는 일반적인 재생 제어 방법을 도시하는 설명도이다.
도 6b는 본 실시 형태에 관한 재생 제어 방법을 도시하는 설명도이다.
도 6c는 본 실시 형태에 관한 재생 제어 방법을 도시하는 설명도이다.
도 7a는 일반적인 로크 해제 방법을 도시하는 설명도이다.
도 7b는 일반적인 로크 해제 방법을 도시하는 설명도이다.
도 7c는 본 실시 형태에 관한 로크 해제 방법을 도시하는 설명도이다.
도 7d는 본 실시 형태에 관한 로크 해제 방법을 도시하는 설명도이다.
도 8은 본 실시 형태에 관한 표시 크기의 제어 방법을 도시하는 설명도이다.
도 9는 본 발명의 제2 실시 형태에 관한 정보 처리 장치의 기능 구성예를 도시하는 설명도이다.
도 10은 본 실시 형태에 관한 정보 처리 장치가 갖는 음영 화상 면적 계측부의 일부 동작을 도시하는 설명도이다.
도 11은 본 발명의 각 실시 형태에 관한 정보 처리 장치의 하드웨어 구성예를 도시하는 설명도이다.
이하에 첨부 도면을 참조하면서, 본 발명의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
[설명의 흐름에 대해서]
여기서, 이하에 기재하는 본 발명의 실시 형태에 관한 설명의 흐름에 대하여 간단하게 설명한다.
우선, 도 1을 참조하면서, 본 발명의 제1 실시 형태에 관한 정보 처리 장치(100)의 외관에 대하여 설명한다. 계속해서, 도 2를 참조하면서, 본 실시 형태에 관한 정보 처리 장치(100)의 기능 구성에 대하여 설명한다. 계속해서, 도 3a, 도 3b를 참조하면서, 본 실시 형태에 관한 정보 처리 장치(100)가 갖는 입력 패턴 해석부(104)의 일부 동작에 대하여 설명한다. 이 중에서, 도 4a, 도 4b를 참조하면서, 본 실시 형태에 관한 정보 처리 장치(100)가 갖는 기억부(108)에 저장되는 등록 패턴 정보의 구성에 대하여 설명한다.
계속해서, 도 5를 참조하면서, 본 실시 형태에 관한 정보 처리 장치(100)의 동작 플로우에 대하여 설명한다. 계속해서, 도 6a, 도 6b, 도 6c를 참조하면서, 일반적인 재생 제어 방법에 대비하면서, 본 실시 형태에 관한 재생 제어 방법에 대하여 설명한다. 계속해서, 도 7a, 도 7b, 도 7c, 도 7d를 참조하면서, 일반적인 로크 해제 방법에 대비하면서, 본 실시 형태에 관한 로크 해제 방법에 대하여 설명한다. 계속해서, 도 8을 참조하면서, 본 실시 형태에 관한 표시 크기의 제어 방법에 대하여 설명한다.
계속해서, 도 9, 도 10을 참조하면서, 본 발명의 제2 실시 형태에 관한 정보 처리 장치(200)의 기능 구성에 대하여 설명한다. 계속해서, 도 11을 참조하면서, 본 발명의 제1 및 제2 실시 형태에 관한 정보 처리 장치(100, 200)의 하드웨어 구성예에 대하여 설명한다. 마지막으로, 본 발명에 관한 실시 형태의 기술적 사상에 대하여 통합하여, 당해 기술적 사상으로부터 얻어지는 작용 효과에 대하여 간단하게 설명한다.
(설명 항목)
1: 제1 실시 형태
　　1-1: 정보 처리 장치(100)의 구성
　　　　1-1-1: 외관
　　　　1-1-2: 기능 구성
　　　　1-1-3: 입력 패턴의 해석 방법
　　　　1-1-4: 동작 플로우
　　1-2: 재생 제어 방법
　　　　1-2-1: 재생 버튼에 의한 재생 제어
　　　　1-2-2: 가압 강도비에 의한 재생 제어
　　1-3: 로크 해제 방법
　　　　1-3-1: 패스워드 입력에 의한 로크 해제
　　　　1-3-2: 터치 위치에 의한 로크 해제
　　　　1-3-3: 가압 강도비에 의한 로크 해제
　　1-4: 표시 크기의 제어 방법
2: 제2 실시 형태
　　2-1: 정보 처리 장치(200)의 구성
3: 하드웨어 구성예
4: 정리
<1: 제1 실시 형태>
본 발명의 제1 실시 형태에 대하여 설명한다. 본 실시 형태는, 가압 강도를 검지 가능한 터치 패널을 사용하여 복수의 조작체(예를 들어, 손가락이나 스타일러스 등)에 의한 편리성이 높은 조작 체계를 실현하는 것이다. 또한, 본 실시 형태에 있어서는, 가압 강도를 검지 가능한 터치 패널로서, 조작체의 가압력을 검지 가능한 감압형의 터치 패널을 상정한다. 또한, 조작체가 유저의 손가락인 것으로서 설명한다. 물론, 본 실시 형태의 기술을 적용 가능한 조작체의 종류는 이것에 한정되지 않는다.
[1-1: 정보 처리 장치(100)의 구성]
이하, 본 실시 형태에 관한 정보 처리 장치(100)의 구성에 대하여 설명한다. 또한, 정보 처리 장치(100)의 기능은, 예를 들어 PC(Personal Computer), 휴대 전화, 휴대 정보 단말기, 카 내비게이션 시스템, 텔레비전 수상기, 디스플레이 디바이스, 휴대형 오디오 디바이스, 휴대형 게임기 등을 사용하여 실현 가능하다. 단, 이하에서는 휴대 정보 단말기를 상정하여 설명을 행하기로 한다.
(1-1-1: 외관)
우선, 도 1을 참조하면서, 본 실시 형태에 관한 정보 처리 장치(100)의 외관 및 본 실시 형태에 관한 기술의 개요에 대하여 설명한다. 도 1은, 본 실시 형태에 관한 정보 처리 장치(100)의 외관을 도시하는 설명도이다.
도 1에 도시한 바와 같이, 정보 처리 장치(100)는, 터치 패널(102)을 갖는다. 단, 이 터치 패널(102)은, 유저가 손가락으로 터치한 위치(이하, 터치 위치) 및 터치했을 때에 얻어지는 가압력의 강도(이하, 가압 강도)를 검지할 수 있다. 그로 인해, 정보 처리 장치(100)는, 터치 위치 및 가압 강도의 정보를 유저에 의한 입력 정보로서 이용할 수 있다.
또한, 이 터치 패널(102)은, 복수개의 손가락에 의한 터치(이하, 멀티 터치)가 행해졌을 때에 각 손가락의 터치 위치 및 가압 강도를 검지할 수도 있다. 그로 인해, 정보 처리 장치(100)는, 터치 패널(102)을 이용하여 각 손가락의 터치 위치 및 가압 강도의 정보를 취득할 수 있다. 본 실시 형태에 관한 기술은, 이들 정보를 이용하여, 보다 편리성이 높은 조작 체계를 실현하는 것을 목표로 삼고 있다.
예를 들어, 소프트웨어 키보드(KEY)(도 1을 참조)를 이용하여 문자 입력할 때의 조작에 대하여 생각해 보자. 소프트웨어 키보드(KEY)란, 정보 처리 장치(100)의 하우징에 물리적으로 설치된 키보드가 아니고, 물리적인 키보드를 모방하여 소프트웨어에 의해 화면 위에 표시된 키보드이다. 단, 정보 처리 장치(100)에는 터치 패널(102)이 탑재되어 있기 때문에, 손가락으로 소프트웨어 키보드(KEY)의 문자 키를 터치하면, 어느 문자 키가 터치된 것인지 정보 처리 장치(100)가 파악할 수 있다. 그로 인해, 물리적인 키보드와 동일한 기능을 실현할 수 있다.
또한, 여기에서는 휴대 정보 단말기를 상정하고 있기 때문에, 소프트웨어 키보드(KEY)에 의한 문자 입력 조작을 예로 들지만, 이하에서 설명하는 내용은 물리적인 키보드에 의한 문자 입력 조작에도 적합한 점을 주의하기 바란다.
그런데, 많은 경우, 어느 한 입력 모드(예를 들어, 영어 숫자?소문자 입력 모드)로 입력된 문자는, 그 입력 모드에 대응하는 서식(예를 들어, 영어 숫자?소문자)으로 표시된다. 입력 문자의 서식을 변경하는 경우, 유저는, 입력 문자를 선택하고, 서식 변경용의 메뉴를 표시시켜, 메뉴로부터 원하는 서식을 선택하게 된다. 그러나, 이와 같은 조작은, 조작 공정도 많아, 매우 불편한 것이다. 이러한 불편을 해소하기 위해, 예를 들어 서식 변경의 조작을 소정의 입력 패턴(제스처)에 할당해 두고, 그 입력 패턴을 사용하여 서식 변경하는 구조를 이용하는 방법을 생각할 수 있다.
예를 들어, 1개의 손가락 A로 문자 키를 터치하고, 손가락 A와는 다른 손가락 B로 화면의 우측 상단을 동시에 터치한 경우에, 입력 문자의 서식이 대문자로 변경되는 구조를 생각할 수 있다. 또한, 손가락 B로 화면의 좌측 상단을 동시에 터치한 경우에, 입력 문자의 서식이 다시 소문자로 변경되는 구조도 생각할 수 있다. 이와 같이, 복수의 손가락으로 터치하는 위치의 조합(입력 패턴)에 서식을 할당함으로써, 메뉴의 표시나 선택 조작을 행하지 않아도 입력 문자의 서식 변경을 행할 수 있게 된다.
그러나, 서식의 종류는 매우 많다. 한편, 터치하는 위치의 조합으로 표현 가능한 입력 패턴의 수는 한정되어 있다. 그로 인해, 유저가 주로 이용하는 모든 서식을 터치 위치의 조합에 할당하는 것은 어렵다. 물론, 표시 화면을 세밀한 영역으로 나누어, 터치 위치의 조합을 미세하게 정의함으로써, 많은 입력 패턴을 실현하는 것은 이론상 가능하다. 그러나, 미세하게 나뉘어진 개개의 영역을 유저가 정확하게 터치하는 것은 현실적으로 어렵다. 또한, 어느 영역에, 어느 서식이 할당되어 있는 것인지 유저가 기억해 두는 것은 유저에게 있어서 큰 부담이 된다.
이러한 이유로, 터치 위치의 조합에 많은 서식을 할당하는 것은 현실적인 문제로서 곤란한 것이다. 따라서, 터치 위치와는 상이한 정보를 이용하는 것이 검토되었다. 그리고, 검토 결과, 상기한 가압 강도를 이용하는 방법이 제안되었다. 가압 강도를 이용하면, 예를 들어 동일한 터치 위치에 복수의 서식을 할당할 수 있게 된다. 그로 인해, 표시 화면을 미세한 영역으로 나누지 않아도 많은 입력 패턴을 표현할 수 있게 된다. 예를 들어, 대문자로 변환하는 서식 변경 조작을 할당한 터치 위치에서 강하게 가압하면 서체가 볼드가 되고, 중간 정도의 강도로 가압하면 서체가 이탤릭체로 되는 구조를 실현하는 것이 가능하게 된다.
확실히, 가압 강도를 조합함으로써, 표현 가능한 입력 패턴의 수는 증가한다. 그러나, 터치 위치와 가압 강도를 조합했다고 해도 폰트의 종류나 윗첨자/아래첨자 등을 고려하면, 이들 조합에 서식 변경 조작의 일부밖에 할당할 수 없다. 따라서, 보다 많은 입력 패턴을 표현할 수 있도록 하기 위하여, 손가락 B의 가압 강도를 강, 중, 약의 3단계 내지 다단계로 하는 방법이 검토되었다. 확실히, 가압 강도를 다단계로 하면, 더 많은 입력 패턴을 표현할 수 있다.
그러나, 가압 강도의 강약은 개개인의 감각에 의존하는 점이 있기 때문에, 가압 강도의 미묘한 강약을 유저가 정확하게 제어하여 소정의 가압 강도를 매회 재현하는 것은 매우 어렵다. 따라서, 본건 발명자는, 손가락 A와 손가락 B 사이의 상대적인 가압 강도(이하, 상대 강도)를 이용하는 방법에 상도했다. 또한, 유저가 가이드없이 화면 위의 소 영역을 정확하게 터치하는 조작도 비교적 어려운 것이기 때문에, 본 실시 형태에 있어서는, 터치 위치에 관해서도 상대적인 터치 위치(이하, 상대 위치)가 이용된다. 즉, 본 실시 형태에서는, 상대 위치와 상대 강도의 조합(입력 패턴)에 소정의 조작을 할당하는 방법이 제안된다.
또한, 상기 설명에 있어서는 문자 입력 시의 서식 변경 조작을 예로 들었지만, 본 실시 형태에 관한 방법의 적용 범위는 이것에 한정되지 않고, 터치 패널(102)을 사용하여 실현 가능한 임의의 조작 및 정보 처리 장치(100)에 의해 실현 가능한 임의의 기능이 적용 범위에 포함된다. 또한, 상기한 예에서는 2개의 손가락에 의한 멀티 터치가 상정되어 있었지만, 본 실시 형태에 관한 방법은, 3개 이상의 손가락에 의한 멀티 터치에도 적용 가능하다. 이하에서는, 3개의 손가락 A, B, C에 의한 멀티 터치를 상정한다.
이상, 정보 처리 장치(100)의 외관 및 본 실시 형태에 관한 기술의 개요에 대하여 설명했다.
(1-1-2: 기능 구성)
이어서, 도 2를 참조하면서, 본 실시 형태에 관한 정보 처리 장치(100)의 기능 구성에 대하여 설명한다. 도 2는, 본 실시 형태에 관한 정보 처리 장치(100)의 기능 구성예를 도시하는 설명도이다. 또한, 도 2에 예시한 정보 처리 장치(100)가 갖는 기능은, 도 11에 예시한 하드웨어 구성에 의해 실현할 수 있다.
도 2에 도시한 바와 같이, 정보 처리 장치(100)는, 주로 터치 패널(102)과, 입력 패턴 해석부(104)와, 커맨드 실행부(106)와, 기억부(108)와, 표시 제어부(110)와, 통신부(112)와, 로크 처리부(114)에 의해 구성된다. 단, 터치 패널(102)은, 표시부(132)와, 터치 위치 검지부(134)와, 가압력 검지부(136)를 갖는다.
표시부(132)는, 예를 들어 LCD(Liquid Crystal Display), ELD(Electro-Luminescence Display), PDP(Plasma Display Panel) 등의 디스플레이 디바이스이다. 또한, 터치 위치 검지부(134)는, 터치 위치를 검지하는 수단이다. 그리고, 가압력 검지부(136)는, 터치 위치에 있어서의 가압력의 강도(가압 강도)를 검지하는 수단이다. 가압력 검지부(136)의 기능은, 예를 들어 압력 측정 필름이나 면압 측정 시트 등에 의해 실현된다.
우선, 손가락 A, 손가락 B, 손가락 C에 의해 터치 패널(102)이 터치되면, 터치 위치 검지부(134)에 의해 손가락 A의 터치 위치(터치 위치 A), 손가락 B의 터치 위치(터치 위치 B), 손가락 C의 터치 위치(터치 위치 C)가 각각 검지된다. 또한, 가압력 검지부(136)에 의해 터치 위치 A에 있어서의 가압력의 강도(가압 강도 A), 터치 위치 B에 있어서의 가압력의 강도(가압 강도 B), 터치 위치에 있어서의 가압력의 강도(가압 강도 C)가 각각 검지된다.
터치 위치 검지부(134)에 의해 검지된 터치 위치 A, B, C의 정보는, 입력 패턴 해석부(104)에 입력된다. 또한, 가압력 검지부(136)에 의해 검지된 가압 강도 A, B, C의 정보도, 입력 패턴 해석부(104)에 입력된다. 터치 위치 A, B, C의 정보가 입력되면, 입력 패턴 해석부(104)는, 입력된 정보에 기초하여 터치 위치 A, B, C의 상대 위치를 파악한다. 또한, 가압 강도 A, B, C의 정보가 입력되면, 입력 패턴 해석부(104)는, 가압 강도 A, B, C의 상대 강도를 파악한다. 또한, 여기에서는 「파악한다」라는 표현을 사용하지만, 후술하는 바와 같이 상대 위치 및 상대 강도에 상당하는 정보가 산출된다.
예를 들어, 터치 위치 A, B, C의 상대 위치의 정보는, 터치 위치 A로부터 터치 위치 B, C로 신장하는 2개의 위치 벡터 VAB, VAC에 의해 표현할 수 있다. 예를 들어, 터치 위치 A가 정해지면, 위치 벡터 VAB에 의해 터치 위치 B가 정해지고, 위치 벡터 VAC에 의해 터치 위치 C가 정해진다. 즉, 터치 위치 A가 이동했다고 해도, 2개의 위치 벡터 VAB, VAC에 의해 결정되는 터치 위치 A, B, C의 상대적인 위치 관계는 변화하지 않는다. 또한, 좌표계의 회전에 대해서도 터치 위치 A, B, C의 상대적인 위치 관계는 변화하지 않는다.
한편, 가압 강도 A, B, C의 상대 강도의 정보는, 가압 강도 A, B, C의 대소 관계에 의해 표현할 수 있다. 이 대소 관계는, 예를 들어 가압 강도 A, B의 강도비 rAB, 가압 강도 B, C의 강도비 rBC 및 가압 강도 C, A의 강도비 rCA에 의해 표현할 수 있다. 예를 들어, rAB=가압 강도 A/가압 강도 B>1이면 가압 강도 A>가압 강도 B이다. 마찬가지로, 상기한 대소 관계는, 가압 강도 A, B의 차 dAB, 가압 강도 B, C의 차 dBC, 가압 강도 C, A의 차 dCA에 의해 표현할 수도 있다. 예를 들어, dAB=가압 강도 A-가압 강도 B>0이면 가압 강도 A>가압 강도 B이다.
이와 같이 하여 상대 위치 및 상대 강도의 정보가 입력 패턴 해석부(104)에 의해 파악된다. 또한, 터치 위치 A, B, C의 정보 및 가압 강도 A, B, C의 정보는, 도 3a에 도시한 입력 패턴 ORG와 같이 도형 패턴으로 표현할 수도 있다. 입력 패턴 ORG에 포함되는 ●의 중심 위치는, 터치 위치 A, B, C를 표현하고 있다. 한편, 입력 패턴 ORG에 포함되는 ●의 크기는, 가압 강도 A, B, C를 표현하고 있다.
예를 들어, 터치 패널(102)에 의해 표시 화면 내에 있어서의 가압 강도의 면내 분포가 얻어지는 것이면, 도 3a에 도시한 입력 패턴 ORG가 직접적으로 얻어지게 된다. 또한, 터치 위치 A, B, C의 정보 및 가압 강도 A, B, C의 정보로부터, 입력 패턴 해석부(104)에 의해 도 3a에 도시한 입력 패턴 ORG의 도형 패턴을 생성할 수도 있다. 도형 패턴의 표현에 기초하여 생각해 보면, 상대 위치의 정보에는, 좌표계를 임의로 변환(원점의 평행 이동이나 회전 등)하여 얻어지는 도형 패턴이 포함된다. 한편, 상대 강도의 정보에는, 모든 ●를 동일한 비율로 확대 또는 축소한 도형 패턴이 포함된다.
이와 같이, 입력 패턴 해석부(104)에 의해 파악되는 상대 위치 및 상대 강도의 정보는, 도 3a에 도시한 바와 같이, 입력 패턴 ORG의 ●를 확대한 도형 패턴(이하, 파생 패턴 A), 입력 패턴 ORG를 회전시킨 도형 패턴(이하, 파생 패턴 B), 입력 패턴 ORG를 평행 이동한 도형 패턴(이하, 파생 패턴 C) 등에 상당한다. 또한, 입력 패턴 ORG로부터 파생 패턴 A, B, C로의 변환에는, 예를 들어 아핀 변환이 사용된다.
또한, 도형 패턴의 변환(좌표계의 변환을 포함한다)은, 터치 위치 A, B, C를 나타내는 좌표값이나 가압 강도 A, B, C를 나타내는 수치로 소정의 연산을 실시함으로써 실현된다. 단, 입력 패턴 해석부(104)에 의해 입력 패턴 ORG가 영상화되어 있는 경우에는, 화상 처리에 의해 파생 패턴 A, B, C의 화상을 생성할 수 있다. 이와 같이, 입력 패턴 해석부(104)는, 도 3a에 예시한 파생 패턴 A, B, C에 상당하는 상대 위치 및 상대 강도의 정보를 산출한다.
상대 위치 및 상대 강도의 정보를 산출하면, 입력 패턴 해석부(104)는, 소정의 도형 패턴(이하, 등록 패턴)과 파생 패턴 A, B, C를 비교하여, 파생 패턴 A, B, C에 가장 근사한 등록 패턴을 검출한다. 단, 등록 패턴의 정보는, 기억부(108)에 미리 기록되어 있다. 기억부(108)에는, 등록 패턴의 정보로서, 예를 들어 도 4a, 도 4b에 도시한 바와 같이, 각 터치 위치(손가락 1, 손가락 2, 손가락 3)의 위치 정보(X 좌표, Y 좌표)와 가압 강도가 대응시켜져 기록되어 있다.
도 4a는, 등록 패턴 A의 정보를 예시한 것이다. 도 4a의 예(등록 패턴 A)에서는, 손가락 1이 터치 위치(0, 0) 및 가압 강도=「중」, 손가락 2가 터치 위치(10, 5) 및 가압 강도=「강」, 손가락 3이 터치 위치(-5, -10) 및 가압 강도=「약」으로 설정되어 있다. 또한, 도 4b는, 등록 패턴 B의 정보를 예시한 것이다. 도 4a의 경우와 마찬가지로, 도 4b의 예(등록 패턴 B)에서는, 손가락 1이 터치 위치(-5, 10) 및 가압 강도=「강」, 손가락 2가 터치 위치(5, 10) 및 가압 강도=「강」, 손가락 3이 터치 위치(0, -10) 및 가압 강도=「약」으로 설정되어 있다.
상기와 같이, 입력 패턴 해석부(104)는, 도 3b에 도시한 바와 같이, 각 파생 패턴의 정보와 등록 패턴의 정보와 비교하여, 각 파생 패턴에 가장 근사한 등록 패턴을 선택한다. 파생 패턴마다 근사한 등록 패턴을 선택하면, 입력 패턴 해석부(104)는, 선택된 등록 패턴 중에서 파생 패턴과의 사이의 근사도가 가장 높은 등록 패턴을 추출한다. 또한, 등록 패턴의 추출에 관한 처리에 대해서는 후단에 있어서 상세하게 설명한다. 이와 같이 하여 입력 패턴 해석부(104)에 의해 추출된 등록 패턴의 정보는, 커맨드 실행부(106)에 입력된다.
등록 패턴의 정보가 입력되면, 커맨드 실행부(106)는, 각 등록 패턴과 커맨드 사이의 대응 관계를 나타내는 정보(이하, 커맨드 대응 정보)를 기억부(108)로부터 판독하여, 입력된 등록 패턴에 대응하는 커맨드를 실행한다. 여기에서 말하는 커맨드란, 소정의 기능을 실현하기 위하여 실행되는 처리 명령을 의미한다.
예를 들어, 입력 문자열의 서식을 변경하는 기능을 실현하기 위한 서식 변경 커맨드를 일례로서 들 수 있다. 또한, 영상 콘텐츠나 음악 콘텐츠의 재생 제어 커맨드, 화상의 편집 커맨드, 어플리케이션의 기동 커맨드, 로크의 개시 커맨드, 로크의 해제 커맨드, 입력 문자의 확정 커맨드, 표시 화상의 확대/축소 커맨드, 윈도우의 생성 커맨드 등을 일례로서 들 수도 있다. 그 밖에도, 정보 처리 장치(100)에 의해 제공 가능한 임의의 기능을 실현하기 위한 커맨드가 커맨드 실행부(106)에 의한 실행 처리의 대상으로 된다.
커맨드 실행부(106)에 의해 커맨드가 실행되면, 표시 화면의 갱신을 지시하는 제어 신호 및 갱신용의 데이터 등이 표시 제어부(110)에 입력된다. 단, 유저의 조작이 로크되어 있는 경우, 로크 처리부(114)에 의해 일부 커맨드의 실행이 금지된다. 커맨드 실행부(106)로부터 표시 제어부(110)에는 제어 신호 및 표시 내용에 관한 데이터 등이 입력되면, 표시 제어부(110)는, 입력된 제어 신호에 따라 표시부(132)에 표시된 표시 내용을 갱신한다.
예를 들어, 영상 콘텐츠의 재생 제어 커맨드가 실행되어, 영상 콘텐츠의 재생을 지시하는 제어 신호가 입력된 경우, 표시 제어부(110)는, 기억부(108)에 기록된 영상 콘텐츠의 데이터를 판독하여 재생 화면을 표시부(132)에 표시한다. 또한, 메뉴의 표시 커맨드가 실행되어, 메뉴의 표시를 지시하는 제어 신호가 입력된 경우, 표시 제어부(110)는, 기억부(108)에 기록된 메뉴의 표시 오브젝트를 판독하여 표시부(132)에 표시한다.
또한, 표시 제어부(110)는, 표시부(132)에 표시되는 윈도우를 관리하는 기능을 갖는다. 예를 들어, 신규 윈도우의 생성 커맨드가 실행되어, 신규 윈도우의 생성을 지시하는 제어 신호가 입력된 경우, 표시 제어부(110)는, 표시부(132)에 새로운 윈도우를 생성한다. 이와 동시에 웹 브라우저의 기동 커맨드가 실행되면, 기동한 웹 브라우저의 실행 화면을 신규 윈도우에 표시하는 취지의 제어 신호가 표시 제어부(110)에 입력되고, 표시부(132)에 생성한 신규 윈도우에 웹 브라우저의 실행 화면이 표시된다. 이때, 표시 제어부(110)는, 통신부(112)를 통하여 네트워크(10)로부터 웹 정보를 취득하고, 취득한 웹 정보를 웹 브라우저의 실행 화면에 표시한다.
이와 같이, 본 실시 형태에 관한 정보 처리 장치(100)는, 복수개의 손가락으로 가압되었을 때에 각 손가락의 터치 위치 및 가압 강도를 검지하는 것이 가능한 터치 패널(102)을 갖고, 터치 위치간의 상대 위치 및 상대 강도에 기초하여 등록 패턴을 특정하는 기능을 갖는다. 그리고, 정보 처리 장치(100)는, 등록 패턴에 대응시켜진 커맨드를 실행하는 기능을 갖는다. 또한, 상기 설명에 있어서는, 설명의 사정상, 일부 커맨드만이 예시되었지만, 본 실시 형태의 기술을 적용 가능한 커맨드의 종류는 이것에 한정되지 않는다. 또한, 입력 패턴의 파생 방법이나 등록 패턴의 표현 방법에 대해서도 여러 변형이 가능하다.
이상, 본 실시 형태에 관한 정보 처리 장치(100)의 기능 구성에 대하여 설명했다.
(1-1-3: 입력 패턴의 해석 방법)
이어서, 도 3a, 도 3b를 참조하면서, 입력 패턴 해석부(104)에 의한 등록 패턴의 추출 방법(입력 패턴의 해석 방법)에 대해, 보다 상세하게 설명한다. 도 3a, 도 3b는, 본 실시 형태에 관한 입력 패턴의 해석 방법의 일례를 나타내는 설명도이다. 또한, 기억부(108)에는, 도 3b에 예시한 등록 패턴 A(도 4a를 참조), 등록 패턴 B(도 4b를 참조), 등록 패턴 C가 저장되어 있는 것으로 한다.
상술한 바와 같이, 입력 패턴 해석부(104)는, 터치 위치 검지부(134)에 의해 검지된 터치 위치 A, B, C의 정보와, 가압력 검지부(136)에 의해 검지된 가압 강도 A, B, C의 정보에 기초하여, 이들 입력 패턴의 정보에 근사한 등록 패턴을 추출한다. 이때, 입력 패턴 해석부(104)는, 터치 위치 A, B, C의 상대 위치 및 가압 강도 A, B, C의 상대 강도에 근사한 등록 패턴을 추출한다.
터치 위치 A, B, C 및 가압 강도 A, B, C의 정보는, 도 3a에 도시한 입력 패턴 ORG와 같이 표현할 수 있다. 마찬가지로, 비교 대상으로 되는 등록 패턴의 정보는, 도 3b에 도시한 등록 패턴 A, B, C와 같이 표현할 수 있다. 실제로, 터치 위치 A, B, C 및 가압 강도 A, B, C의 정보에 기초하여 입력 패턴 ORG의 화상을 생성할 수 있다. 또한, 터치 패널(102)로부터 얻어지는 가압 강도의 면내 분포에 기초하여 입력 패턴 ORG의 화상을 직접 생성할 수도 있다.
그런데, 입력 패턴 해석부(104)에 의해 실행되는 등록 패턴의 추출은, 도 3a에 도시한 입력 패턴 ORG와, 도 3b에 도시한 등록 패턴 A, B, C의 패턴 매칭에 상당한다. 단, 입력 패턴 해석부(104)는, 입력 패턴 ORG의 상대 위치 및 상대 강도에 근사한 등록 패턴을 추출하는 것이다. 즉, 터치 위치 A, B, C의 위치 관계 및 터치 위치 A, B, C의 강도 관계가 입력 패턴 ORG에 근사한 등록 패턴이 추출된다. 그로 인해, 도 3a에 도시한 바와 같이, 입력 패턴 ORG의 파생 패턴 A, B, C와의 사이의 패턴 매칭에 상당하는 처리가 행해진다.
등록 패턴 A는, 표시 화면의 원점을 중심으로 입력 패턴 ORG를 회전시킨 것이다. 입력 패턴 ORG를 회전시켜도 터치 위치 A, B, C의 위치 관계는 변화하지 않는다. 또한, 입력 패턴 ORG의 회전에 의해 가압 강도 A, B, C의 강도 관계는 변화하지 않는다. 입력 패턴 ORG를 평행 이동시킨 경우도 마찬가지로, 터치 위치 A, B, C의 위치 관계 및 가압 강도 A, B, C의 강도 관계는 변화하지 않는다. 또한, 가압 강도 A, B, C를 확대(일률적으로 r배; r은 양의 실수)해도, 가압 강도 A, B, C의 비율은 변화하지 않는다.
그로 인해, 입력 패턴 해석부(104)는, 확대, 회전, 평행 이동 등에 의해 입력 패턴 ORG를 파생시켜, 등록 패턴 A, B, C 중에서 파생 패턴 A, B, C에 근사한 것을 추출한다. 도 3a, 도 3b의 예에서는, 입력 패턴 해석부(104)에 의해 등록 패턴 A가 추출된다.
우선, 입력 패턴 해석부(104)는, 각 파생 패턴과 각 등록 패턴의 근사도를 산출한다. 예를 들어, 입력 패턴 해석부(104)는, 파생 패턴 A에 대해, 등록 패턴 A와의 근사도, 등록 패턴 B와의 근사도, 등록 패턴 C와의 근사도를 각각 산출한다. 마찬가지로, 파생 패턴 B, C에 대해서도 등록 패턴 A, B, C 각각에 대한 근사도가 산출된다. 그리고, 입력 패턴 해석부(104)는, 근사도가 가장 높은 등록 패턴을 선택한다.
단, 파생의 정도에 따라 근사도의 평가에 가중치를 부여하는 방법도 생각할 수 있다. 예를 들어, 근사도의 차가 소정 범위 내에 있는 2개의 후보(등록 패턴과 파생 패턴의 조합)를 평가하는 경우, 파생 패턴의 파생 정도가 작은 것을 선택하는 방법을 생각할 수 있다. 특히, 가압 강도에 관한 파생에 대해서는 파생 정도를 고려하는 편이 바람직하다. 예를 들어, 확대 전에는 동일 정도의 가압 강도로 판정되는 2개의 ●의 차분이 확대에 의해 강조되어, 상이한 가압 강도로 판정되어 버릴 가능성을 생각할 수 있다. 이러한 경우에는 파생 정도가 작은 것을 선택하도록 구성하면, 판정 정밀도가 향상된다. 또한, 상정되는 케이스에 따라서는, 파생 정도가 큰 것을 우선적으로 선택하도록 구성할 수도 있다.
그런데, 패턴끼리의 근사도는, 서로 대응하는 각 터치 위치의 어긋남량 및 각 터치 위치에 있어서의 가압 강도의 차(절대값) 등에 의해 산출할 수 있다. 예를 들어, 각 터치 위치의 어긋남량의 합계값과 가압 강도의 차의 합계값을 합산하고, 그 합산값의 역수에 의해 근사도를 표현할 수 있다. 또한, 근사도를 평가할 때, 터치 위치의 어긋남을 중시할지, 혹은 가압 강도의 차를 중시할지 등에 따라 합계나 합산 시에 가중치 부여를 해도 좋다.
또한, 터치 위치의 어긋남이 작아도 가압 강도의 비율이 상이한 등록 패턴은 선택 대상으로부터 제외한다고 한 처리가 행해져도 좋다. 예를 들어, 손가락 1의 가압 강도가 「강」, 손가락 2의 가압 강도가 「약」, 손가락 3의 가압 강도가 「강」이라는 파생 패턴에 대하여, 도 4a에 도시한 등록 패턴 A를 선택 대상으로부터 제외해도 좋다. 이와 같이, 미리 상대 강도의 정보에 의해 선택 대상에 포함하는 등록 패턴을 추려냄으로써, 패턴의 추출 처리에 필요로 하는 연산량이 저감되어, 정보 처리 장치(100)의 부하를 낮출 수 있다.
이상, 본 실시 형태에 관한 입력 패턴 해석부(104)에 의한 등록 패턴의 추출 방법에 대하여 설명했다.
(1-1-4: 동작 플로우)
이어서, 도 5를 참조하면서, 본 실시 형태에 관한 정보 처리 장치(100)의 동작 플로우에 대하여 설명한다. 도 5는, 본 실시 형태에 관한 정보 처리 장치(100)의 동작 플로우를 도시하는 설명도이다. 단, 도 5에 예시한 동작 플로우는, 등록 패턴의 추출 처리를 중심으로 구성되어 있고, 기타 동작에 대해서는 기재를 생략하고 있다.
도 5에 도시한 바와 같이, 우선, 유저에 의해 복수개의 손가락을 사용한 터치 패널(102)에의 입력이 행해진다(S102). 이러한 유저 입력이 행해지면, 정보 처리 장치(100)는, 복수개의 손가락으로 터치된 복수의 터치 위치를 검지하여, 터치 위치간의 상대 관계(상대 위치)를 파악한다(S104). 또한, 정보 처리 장치(100)는, 복수개의 손가락으로 터치된 복수의 터치 위치에 있어서의 가압 강도를 검지하여, 상대적인 가압 강도의 관계(상대 강도)를 파악한다(S106). 즉, 스텝 S104, S106에 있어서, 입력 패턴 ORG를 변환하여 얻어지는 파생 패턴 A, B, C의 정보가 산출된다.
계속해서, 정보 처리 장치(100)는, 스텝 S104, S106에 있어서 얻어진 파생 패턴 A, B, C(상대 위치 및 상대 강도의 정보)와, 기억부(108)에 기록되어 있는 등록 패턴을 비교하여(S108), 파생 패턴 A, B, C에 근사한 등록 패턴이 존재하는지의 여부를 판정한다(S110). 근사한 등록 패턴이 존재하지 않는 경우, 정보 처리 장치(100)는, 등록 패턴의 추출 처리를 종료한다. 한편, 파생 패턴에 근사한 등록 패턴이 추출된 경우, 정보 처리 장치(100)는, 스텝 S112의 처리로 진행한다.
스텝 S112에 있어서, 정보 처리 장치(100)는, 추출된 등록 패턴과 파생 패턴의 근사도를 산출하고, 산출한 근사도가 소정값(임계값) 이상인지의 여부를 판정한다(S112). 근사도가 소정값 미만인 경우, 정보 처리 장치(100)는, 다시 스텝 S108의 처리로 진행하여 다른 등록 패턴의 추출을 시도한다. 한편, 근사도가 소정값 이상인 경우, 정보 처리 장치(100)는, 스텝 S114의 처리로 진행한다. 스텝 S114의 처리로 진행한 경우, 정보 처리 장치(100)는, 추출된 등록 패턴에 대응하는 커맨드를 실행하고(S114), 일련의 처리를 종료한다.
이상, 본 실시 형태에 관한 정보 처리 장치(100)의 동작 플로우에 대하여 설명했다. 이하, 구체적인 실시예를 소개한다.
[1-2: 재생 제어 방법]
우선, 도 6a, 도 6b, 도 6c를 참조하면서, 콘텐츠의 재생 제어 방법으로의 응용(실시예 1)에 대하여 설명한다. 도 6a는, 일반적인 재생 제어 방법을 도시하는 설명도이다. 도 6b, 도 6c는, 본 실시 형태에 관한 재생 제어 방법을 도시하는 설명도이다.
(1-2-1: 재생 버튼에 의한 재생 제어)
도 6a에 도시한 바와 같이, 콘텐츠의 재생 제어 방법으로서는, 표시 화면에 표시된 재생 제어 버튼(B1 내지 B7)을 이용하여 재생 제어를 행하는 방법이 일반적이다. 재생 제어 버튼에는, 예를 들어 앞의 챕터로의 이동을 행하기 위한 챕터 이동 버튼 B1, 되감기를 행하기 위한 되감기 버튼 B2, 15초만 앞으로 거슬러 가기 위한 단시간 되감기 버튼 B3이 있다. 또한, 콘텐츠를 재생하기 위한 재생 버튼 B4, 15초만 앞으로 진행시키기 위한 단시간 스킵 버튼 B5, 빨리 감기를 행하기 위한 빨리 감기 버튼 B6, 다음 챕터로 이동하기 위한 챕터 이동 버튼 B7 등을 예로서 들 수 있다.
지금까지는 콘텐츠의 재생 제어를 행하기 위한 입력 인터페이스로서, 도 6a에 도시한 바와 같은 다수의 재생 제어 버튼 B1 내지 B7이 사용되고 있었다. 이렇게 다수의 재생 제어 버튼 B1 내지 B7을 표시 화면에 표시하면 유효한 화면 영역이 좁아져 버린다. 또한, 재생 제어 버튼 B1 내지 B7에 의해, 재생되고 있는 콘텐츠의 일부가 가려져 버리는 경우도 있다. 또한, 재생 제어 조작을 행할 때에, 유저는, 재생 제어 버튼 B1 내지 B7의 위치 및 각 버튼의 기능을 확인하여, 원하는 버튼이 표시된 정확한 위치를 터치할 필요가 있다. 이러한 이유로 인하여, 일반적인 재생 제어 방법은 유저에 있어서 반드시 편리성이 높은 것이 아니었다. 따라서, 이러한 재생 제어 방법에 대한 본 실시 형태의 응용을 생각할 수 있다.
(1-2-2: 가압 강도비에 의한 재생 제어)
상기와 같이, 본 실시 형태에 관한 정보 처리 장치(100)에는, 복수의 손가락에 의해 터치되었을 때에 터치 위치 및 각 터치 위치의 가압 강도를 검지하는 것이 가능한 터치 패널(102)이 탑재되어 있다. 또한, 상대 위치 및 상대 강도에 의해 형성되는 입력 패턴을 커맨드에 대응시켜, 입력 패턴에 따라 실행되는 커맨드를 전환할 수 있다. 여기에서는, 도 6a에 도시한 각 재생 제어 버튼에 의해 실현되는 기능을 입력 패턴 할당, 입력 패턴에 의해 재생 제어 조작을 실현하는 방법에 대하여 설명한다. 따라서, 여기서 상정되는 커맨드는, 재생 커맨드, 15초 스킵 커맨드, 빨리 감기 커맨드, 다음 챕터로의 이동 커맨드, 15초 되돌리기 커맨드, 되감기 커맨드, 앞의 챕터로의 이동 커맨드의 7종류이다.
유저의 입력 조작은, 도 6b에 도시한 바와 같이, 복수개의 손가락을 이용한 터치에 의해 실현된다. 단, 도 6b에는 표현되어 있지 않지만, 유저는, 실행하고 싶은 커맨드의 종류에 따라 각 손가락의 가압 강도를 적절하게 조절할 필요가 있다. 그러나, 어느 특정한 강도로 가압하는 것과는 달리, 터치하는 손가락이 상대적인 강약을 조정하는 것 뿐이기 때문에, 각 손가락의 가압 강도를 적절하게 조정하는 것은 비교적 용이하다. 또한, 유저는, 실행하고 싶은 커맨드의 종류에 따라 각 손가락의 위치 관계를 적절하게 조정할 필요가 있다. 그러나, 표시 화면 내의 특정 영역을 터치하는 것과는 달리, 자신의 손가락의 위치 관계를 조정하는 것 뿐이기 때문에, 각 손가락의 위치 관계를 적절하게 조정하는 것은 비교적 용이하다.
그런데, 상기한 각 재생 제어 커맨드는, 예를 들어 도 6c에 도시한 바와 같은 입력 패턴에 할당된다. 또한, 이 예에서는 재생 콘텐츠를 시청할 때의 표시 화면의 배치 방향이 통상 고정되어 있기 때문에, 등록 패턴의 추출 처리 시에 큰 회전은 허용되지 않는다. 그로 인해, 콘텐츠 재생 시에 있어서의 표시 화면의 배치 방향을 기준으로 하여, 「수평」, 「수직」, 「좌측」, 「우측」 등의 표현을 사용하기로 한다.
도 6c의 예에서는, 중심을 손가락 1개로 가압하는 입력 패턴 J1에 재생 커맨드가 할당되어 있다. 또한, 수평하게 배열한 손가락 2개를 이용하여, 좌측의 손가락을 상대적으로 강하게 가압하고, 우측의 손가락을 상대적으로 약하게 가압하는 입력 패턴 J2에 15초 스킵 커맨드가 할당되어 있다. 반대로, 수평하게 배열한 손가락 2개를 이용하여, 좌측의 손가락을 상대적으로 약하게 가압하고, 우측의 손가락을 상대적으로 강하게 가압하는 입력 패턴 J5에 15초 되돌리는 커맨드가 할당되어 있다.
또한, 빨리 감기 커맨드에는, 3개의 손가락을 이용한 입력 패턴 J3이 할당되어 있다. 입력 패턴 J3은, 좌측에 2개의 손가락을 배치하고, 우측에 1개의 손가락을 배치하는 것이다. 좌측에 배치되는 2개의 손가락은, 수직으로 배열하여 배치된다. 또한, 우측에 배치되는 1개의 손가락은, 좌측에 배치되는 2개의 손가락 중, 한쪽보다 높은 수직 위치에 배치되고, 다른 쪽보다 낮은 수직 위치에 배치된다. 또한, 좌측에 배치되는 2개의 손가락은 동일 정도의 강도로 가압하고, 우측에 배치되는 1개의 손가락은 좌측에 배치되는 2개의 손가락보다 약하게 가압하도록 구성되어 있다.
또한, 되감기 커맨드에는, 3개의 손가락을 이용한 입력 패턴 J6이 할당되어 있다. 입력 패턴 J6은, 우측에 2개의 손가락을 배치하고, 좌측에 1개의 손가락을 배치하는 것이다. 우측에 배치되는 2개의 손가락은, 수직으로 배열하여 배치된다. 또한, 좌측에 배치되는 1개의 손가락은, 우측에 배치되는 2개의 손가락 중, 한쪽보다 높은 수직 위치에 배치되고, 다른 쪽보다 낮은 수직 위치에 배치된다. 또한, 우측에 배치되는 2개의 손가락은 동일 정도의 강도로 가압하고, 좌측에 배치되는 1개의 손가락은 우측에 배치되는 2개의 손가락보다 약하게 가압하도록 구성되어 있다.
또한, 다음 챕터로의 이동 커맨드에는, 3개의 손가락을 이용한 입력 패턴 J4가 할당되어 있다. 입력 패턴 J4는, 수평하게 3개의 손가락을 배치하고, 좌측부터 순서대로 강, 중, 약의 강도로 가압하는 것이다. 마찬가지로, 앞의 챕터로의 이동 커맨드에는 3개의 손가락을 이용한 입력 패턴 J7이 할당되어 있다. 입력 패턴 J7은, 수평하게 3개의 손가락을 배치하고, 우측부터 순서대로 강, 중, 약의 강도로 가압하는 것이다.
이와 같이, 입력 패턴 J1 내지 J7은, 상대 위치 및 상대 강도에 의해 정의된다. 또한, 상대 위치 및 상대 강도 외에, 커맨드의 종류에 따라 터치하는 손가락의 개수를 바꾸고 있다. 또한, 도 6c의 예에서는, 커맨드의 내용에 기초하여 입력 패턴의 형상을 유저가 상기하기 쉽도록, 상대 위치 및 상대 강도의 조합을 고안하고 있다.
예를 들어, 입력 패턴 J2, J5는, 동일한 상대 위치에서 상이한 상대 강도에 의해 구성되어 있다. 15초 스킵하는 커맨드와, 15초 되돌리는 커맨드는, 15초만 신을 이동한다는 점에서 일치하고, 이동하는 방향이 상이하다는 것이다. 따라서, 일치하는 점을 상대 위치의 공통화로 표현하고, 상이한 점을 상대 강도의 차이로 표현함으로써, 유저는 15초 스킵하는 커맨드, 15초 되돌리는 커맨드를 실행할 때에, 입력 패턴 J2, J5를 상기하기 쉬워진다. 또한, 입력 패턴 J3, J6 및 입력 패턴 J4, J7의 조합은, 좌측에 배치되는 손가락과 우측에 배치되는 손가락을 서로 교환한 형태로 되어 있다.
물론, 도 6c에 도시한 입력 패턴 J1 내지 J7은 일례이며, 다른 입력 패턴에 재생 제어 커맨드를 할당하는 것도 가능하다. 단, 도 6c의 예로부터도 알 수 있는 바와 같이, 본 실시 형태에 있어서는, 상대 위치, 상대 강도, 손가락의 개수라고 하는 3요소를 조합하여 입력 패턴이 표현되기 때문에, 많은 커맨드를 입력 패턴에 할당하는 것이 가능하다. 또한, 도 6c의 예와 마찬가지로, 입력 패턴의 형상을 고안함으로써, 커맨드의 종류에 따라 유저가 기억하기 쉬워, 상기하기 쉬운 입력 패턴을 정의할 수 있게 된다. 그 결과, 유저의 편리성을 크게 향상시킬 수 있는 것이다.
이상, 콘텐츠의 재생 제어 방법에의 응용(실시예 1)에 대하여 설명했다.
[1-3: 로크 해제 방법]
이어서, 도 7a, 도 7b, 도 7c, 도 7d를 참조하면서, 로크의 해제 방법에의 응용(실시예 2)에 대하여 설명한다. 도 7a, 도 7b는, 일반적인 로크의 해제 방법을 도시하는 설명도이다. 도 7c, 도 7d는, 본 실시 형태에 관한 로크의 해제 방법을 도시하는 설명도이다. 또한, 여기에서 말하는 로크란, 유저의 입력 조작을 제한하는 기능을 의미한다. 로크 상태가 되면, 예를 들어 로크를 해제하는 조작 이외의 유저 조작이 모두 무효화된다. 로크 상태로의 천이는, 예를 들어 무조작 상태가 소정 시간 계속한 경우나 유저에 의해 소정의 로크 개시 조작이 행해진 경우 등에 실행된다.
(1-3-1: 패스워드 입력에 의한 로크 해제)
로크 상태의 해제 방법으로서는, 예를 들어 도 7a와 같은 패스워드 입력에 의한 방법이 있다. 이 방법은 일반적인 많은 정보 처리 장치에 있어서 채용되고 있는 것이다. 도 7a의 예에서는, 로크 상태에서 유저에 의해 어떠한 입력 조작이 행해지면, 패스워드의 입력을 재촉하는 메시지와 함께 패스워드를 입력하기 위한 입력 박스가 표시된다. 그리고, 이 입력 박스에 올바른 패스워드를 입력하면 로크가 해제된다. 물론, 입력한 패스워드가 틀리면 로크 상태가 계속된다.
이와 같이, 도 7a의 예에서는, 올바른 패스워드를 알고 있는 유저만이 로크를 해제할 수 있다. 그로 인해, 로크를 적절하게 이용함으로써, 악의 있는 제3자에 의해 부정하게 조작되는 것을 방지하거나, 다른 유저에 대하여 정보를 비닉하거나 할 수 있도록 된다. 그러나, 도 7a의 예에서는, 유저가 패스워드를 한창 입력하고 있는 중에, 제3자가 패스워드를 훔쳐볼 가능성이 있다. 물론, 입력 박스에는, 패스워드가 표시되지 않지만, 한창 입력하고 있는 중에 그 주변을 훔쳐 보면, 패스워드를 알게 된다.
금융 기관에 설치된 ATM(Automated Teller Machine) 등의 경우, 패스워드를 입력하는 그 주변을 훔쳐보기 어렵도록 각 ATM 사이에 구획이 설치되어 있거나, 제3자가 ATM의 조작자에게 근접하지 않도록 배려하고 있다. 그러나, 휴대 전화나 휴대 정보 단말기 등, 개인이 보유하는 정보 처리 장치의 경우, ATM에 적용되는 시책은 과잉하여, 현실적으로는 실현이 곤란하다. 또한, 이러한 정보 처리 장치를 이용할 때에는, 조작자 가까이에 제3자가 있는 경우가 많은 데다가, 그 제3자가 떨어져 있지 않아도 패스워드의 입력 조작을 행해 버리는 일도 많다. 그로 인해, 도 7a와 같이 패스워드 입력에 의해 로크를 해제하는 방법은 충분히 안전하다고는 할 수 없다.
(1-3-2: 터치 위치에 의한 로크 해제)
패스워드 입력에 의한 방법과는 다른 로크 해제 방법으로서는, 예를 들어 도 7b와 같은 멀티 터치 입력에 의한 방법이 있다. 이 방법은 터치 패널을 탑재한 일반적인 소형의 정보 처리 장치에 있어서 채용되어 있는 사례가 있다. 도 7b의 예에서는, 로크 상태에서 표시되어 있는 복수의 오브젝트 중, 2개의 오브젝트 OBJ1, OBJ2가 유저에 의해 터치되면 로크가 해제된다. 제3자는, 어느 오브젝트를 터치하면 좋을지 모르기 때문에, 터치 위치의 조합이 상기한 패스워드와 동일한 역할을 한다. 즉, 동시에 터치해야 할 오브젝트의 수, 오브젝트의 종류, 오브젝트의 위치의 조합이 로크 해제용의 키가 된다.
또한, 멀티 터치 입력에 의한 방법은, 패스워드 입력에 의한 방법에 비하여 입력 조작에 걸리는 시간이 짧아도 된다. 패스워드 입력의 경우에는 1문자 1문자를 키보드로부터 선택하여 입력하지만, 멀티 터치 입력의 경우에는 복수개의 손가락으로 터치 패널을 한번 터치하기만 해도 된다. 그로 인해, 잠시동안만 주위에 신경쓰며, 제3자가 보지 않는 것을 확인하고 빠르게 입력 조작을 행함으로써, 터치 조작을 훔쳐볼 수 있는 경우는 적다. 그러나, 조작의 내용이 단순한 점에서, 때마침 제3자에게 터치하고 있는 순간을 보이게 되면, 그 조작을 용이하게 기억할 수 있게 된다. 따라서, 도 7b와 같이 멀티 터치 입력에 의해 로크를 해제하는 방법은 충분히 안전하다고는 할 수 없다.
(1-3-3: 가압 강도비에 의한 로크 해제)
따라서, 본 실시 형태에 있어서는, 가압 강도를 이용한 로크 해제 방법을 제안한다. 상기한 멀티 터치에 의한 방법은 터치 위치의 조합을 키로 하고 있기 때문에, 그 키가 시각적으로 인식되기 쉽다. 그로 인해, 키의 입력 시에 제3자가 터치 위치를 보면, 그 제3자가 용이하게 키를 인식할 수 있는 것이다. 그러나, 본 실시 형태에 있어서 제안하는 로크 해제 방법은 외견으로부터는 전혀 판별할 수 없는 가압 강도를 이용하기 때문에, 키의 입력 시에 제3자가 그 주변을 보고 있어도 용이하게 키를 판별할 수는 없다.
이러한 로크 해제 방법을 실현하기 위하여, 본 실시 형태에 관한 정보 처리 장치(100)(도 2를 참조)의 기억부(108)에는, 로크 해제용의 등록 패턴(이하, 로크 해제 패턴)이 미리 등록되어 있다. 또한, 로크 해제 패턴은, 로크를 해제하기 위한 인증 정보라는 점에서 다른 커맨드 실행용으로 설정된 등록 패턴과는 상이하다. 그러나, 로크 해제 패턴의 구성 자체는, 도 4a, 도 4b 등에 도시한 다른 등록 패턴과 동일하다. 이하, 로크 해제에 관한 정보 처리 장치(100)의 동작에 대하여 간단하게 설명한다.
우선, 로크를 해제하기 위하여 유저에 의해 터치 패널(102)이 터치되면, 터치 위치 검지부(134)에 의해 터치 위치가 검지된다. 또한, 가압력 검지부(136)에 의해 각 터치 위치에 있어서의 가압력이 검지된다. 터치 위치 검지부(134)에 의해 검지된 터치 위치의 정보 및 가압력 검지부(136)에 의해 검지된 가압력의 정보는, 입력 패턴 해석부(104)에 입력된다. 터치 위치 및 가압력의 정보가 입력되면, 입력 패턴 해석부(104)는, 기억부(108)로부터 로크 해제 패턴의 정보를 판독하여, 입력된 터치 위치 및 가압력의 정보와 비교한다.
이때, 입력 패턴 해석부(104)는, 입력된 터치 위치 및 가압력의 정보로부터 상대 위치 및 상대 강도를 파악하여, 입력 패턴과 로크 해제 패턴을 비교한다. 상술한 구성에 있어서는, 입력 패턴에 확대, 회전, 평행 이동 등의 변환이 실시되어, 파생 패턴이 생성된 후, 그 파생 패턴과 등록 패턴이 비교되었다. 그러나, 로크 해제 패턴과의 비교에 있어서는, 도 7c에 도시한 바와 같이, 회전에 의한 입력 패턴의 파생을 허용하지 않고, 확대 및 평행 이동에 의해 생성된 파생 패턴과 로크 해제 패턴이 비교된다. 물론, 회전을 확인해도 되는 것이지만, 입력 방향을 고정함으로써, 입력 방향이 키에 더해지기 때문에, 안전성이 더 향상된다.
이와 같은 구성으로 하면, 도 7c에 도시한 바와 같이, 올바른 입력 방향에서 입력된 입력 패턴 A와 로크 해제 패턴과는 근사하고, 다른 입력 방향에서 입력된 입력 패턴 B와 로크 해제 패턴은 근사하지 않게 된다. 그로 인해, 동일한 형상이기는 하지만, 입력 패턴 A가 입력되면 로크가 해제되고, 입력 패턴 B가 입력되어도 로크가 해제되지 않게 된다. 또한, 패턴 매칭의 정밀도를 높이기 위해, 소정값 이하의 회전을 확인하는 구성으로 해도 좋다. 예를 들어, 손목을 고정한 상태에서 손가락을 좌우로 기울였을 때에 무리없이 기우는 각도(예를 들어, 5 내지 10 [deg.] 정도)를 기준으로 상기 소정값을 설정하면, 입력 방향의 정보를 상실하지 않고 인식 정밀도를 높일 수 있다.
또한, 도 7d에 도시한 바와 같이, 가압력의 다이내믹 레인지를 이용하면, 시큐리티를 더 향상시키는 것이 가능하다. 상술한 바와 같이, 입력 패턴 해석부(104)는, 상대 강도에 기초하여 패턴끼리 비교한다. 즉, 입력 패턴 해석부(104)는, 각 터치 위치의 가압력을 일률적으로 N배(확대)하여 얻어지는 파생 패턴을 등록 패턴과 비교한다. 그러나, 가압력의 강도에는 개인차가 있다. 예를 들어, 여성이 남성에 비하여 평균적인 가압력이 더 약하다고 생각되어진다. 또한, 강하게 가압했을 때의 가압력과, 약하게 가압했을 때의 가압력의 차가 큰 사람과 작은 사람이 존재한다. 이러한 차이는, 가압력 검지부(136)에 의해 검지되는 가압력의 다이내믹 레인지의 차이로서 나타난다.
도 7d에는, 다이내믹 레인지가 좁은 구성과, 다이내믹 레인지가 넓은 구성이 대비하여 예시되어 있다. 다이내믹 레인지의 범위는, 사전에 유저가 조작을 행했을 때에 가압력 검지부(136)에 의해 검지된 가압력의 분포에 기초하여 결정한다. 또한, 미리 결정해 둔 다이내믹 레인지를 벗어나 있는 경우에는, 올바른 입력 패턴이어도 로크를 해제하지 않도록 한다. 이와 같은 구성으로 하면, 다이내믹 레인지의 개인차를 고려하여 입력 패턴과 로크 해제 패턴의 비교를 행할 수 있다. 그 결과, 터치 위치의 조합 및 가압력의 조합이 제3자에 의해 지각되는 경우가 있어도, 제3자가 로크를 해제할 수 있게 되는 확률을 저감시킬 수 있다. 그로 인해, 안전성이 각별히 향상된다.
이상, 본 실시 형태에 관한 로크 해제 방법에 대하여 설명했다. 상기한 로크 해제 방법에 관한 입력 패턴과 로크 해제 패턴의 비교는, 입력 패턴 해석부(104)에 의해 행해진다. 입력 패턴 해석부(104)에 의한 비교 처리가 완료되면, 그 비교 결과는, 커맨드 실행부(106)에 입력된다. 비교 결과, 입력 패턴과 로크 해제 패턴이 충분한 정밀도로 일치하여, 로크의 해제가 허용되는 경우, 커맨드 실행부(106)는 로크 해제 커맨드를 실행하여, 로크 처리부(114)에 로크를 해제시킨다. 한편, 로크의 해제가 거부된 경우, 커맨드 실행부(106)는, 예를 들어 인증 에러를 표시부(132)에 표시시키기 위한 제어 신호를 표시 제어부(110)에 입력한다. 이와 같이 하여 정보 처리 장치(100)에 의해 로크 해제 처리가 실행된다.
[1-4: 표시 크기의 제어 방법]
이어서, 도 8을 참조하면서, 지도 어플리케이션에의 응용(실시예 3)에 대하여 설명한다. 단, 여기에서는 설명의 사정상, 지도 어플리케이션을 예로 들지만, 본 실시 형태의 적용 범위는 이 예에 한정되지 않고, 화상의 확대 또는 축소를 행하는 것이 가능한 임의의 어플리케이션에 대하여 마찬가지로 적용 가능하다. 또한, 도 8에 있어서 ●는 가압력의 크기를 나타내고, 반경이 클수록 가압력이 큰 것을 나타내고 있다.
상기와 같이, 본 실시 형태에 관한 정보 처리 장치(100)는, 상대 강도를 검지할 수 있다. 따라서, 가압 강도가 큰 손가락의 개수를 전환함으로써 화상의 확대 또는 축소가 실현되는 어플리케이션에 대하여 검토했다. 예를 들어, 도 8에 도시한 바와 같이, 3개의 손가락으로 터치 패널(102)에 터치해 두고, 1개의 손가락으로 강하게 가압하면 조금 확대되고, 2개의 손가락으로 강하게 가압하면 크게 확대되는 식의 조작 체계는 실현 가능하다. 또한, 강하게 가압하고 있던 손가락의 힘을 빼고, 가압력을 저하시키면, 확대되어 있던 화상의 축척이 작아지도록 구성하는 것도 가능하다.
또한, 터치하고 있는 손가락의 개수에 따라, 1개의 손가락의 가압력 변화에 따라 확대 또는 축소될 때의 확대율 또는 축소율을 바꾸는 것도 가능하다. 예를 들어, 터치하고 있는 손가락의 개수가 N개(N≥2)인 경우, 최소 화상 크기로부터 최대 화상 크기로 N-1스텝에서 확대할 수 있도록 확대율이 설정된다. 도 8의 예에서는, 최소 화상 크기로부터 2스텝에서 최대 화상 크기로 확대할 수 있다. 여기서, N스텝에서 최대 화상 크기로 확대되도록 확대율을 설정하지 않는 이유는, 모든 손가락이 가압 강도가 낮은 상태에 있는 경우와, 전체 손가락이 가압 강도가 높은 상태에 있는 경우의 구별이 어려운 데에 있다.
N개의 손가락이 동일한 가압 강도의 경우, 강하게 가압하고 있든, 약하게 가압하고 있든, 상대 강도는 동일해진다. 그로 인해, 양자를 구별하기 위해서는 가압력의 절대값을 비교할 필요가 있다. 따라서, N스텝에서 최대 화상 크기로 확대되도록 확대율을 설정하는 경우에는, 모든 손가락이 동일한 가압 강도의 경우에 검지되는 가압 강도의 값을 비교하여, 그 강약에 따라 확대인지 축소인지 판단하도록 구성하면 된다. 이와 같이, 본 실시 형태의 기술을 응용함으로써, 화상의 확대/축소 조작을 보다 직감적으로 행할 수 있게 된다. 이러한 구조는, 카 내비게이션 시스템 등과 같이, 유저가 화상 조작에 집중할 수 없는 환경에서 각별한 효과를 발휘한다.
이상, 본 발명의 제1 실시 형태에 대하여 설명했다.
<2: 제2 실시 형태>
이어서, 본 발명의 제2 실시 형태에 대하여 설명한다. 본 실시 형태와 상기한 제1 실시 형태의 주된 차이는 터치 패널의 구성에 있다. 상기한 제1 실시 형태에 있어서는, 가압 강도를 검지하는 수단으로서 가압력의 강도를 검지하는 가압력 검지부(136)가 설치되어 있었다. 그러나, 가압 강도는, 실제로 압력을 측정하지 않아도 검지할 수 있다. 예를 들어, 표시 화면의 내부에 설치된 광원(예를 들어, 백라이트 등)과 광 센서로 구성되는 광학식 터치 패널을 이용해도 가압 강도를 얻을 수 있다. 본 실시 형태는, 이러한 광학식 터치 패널을 이용하는 것이다.
[2-1: 정보 처리 장치(200)의 구성]
우선, 도 9를 참조하면서, 본 실시 형태에 관한 정보 처리 장치(200)의 기능 구성에 대하여 설명한다. 도 9는, 본 실시 형태에 관한 정보 처리 장치(200)의 기능 구성예를 도시하는 설명도이다. 또한, 도 9에 예시한 정보 처리 장치(200)가 갖는 기능은, 도 11에 도시하는 하드웨어 구성에 의해 실현할 수 있다. 또한, 상기한 제1 실시 형태에 관한 정보 처리 장치(100)와 실질적으로 동일한 기능을 갖는 구성 요소에 대해서는 동일한 번호를 부여함으로써, 상세한 설명을 생략했다.
도 9에 도시한 바와 같이, 정보 처리 장치(200)는, 주로 터치 패널(202)과, 입력 패턴 해석부(104)와, 커맨드 실행부(106)와, 기억부(108)와, 표시 제어부(110)와, 통신부(112)와, 로크 처리부(114)에 의해 구성된다. 이와 같이, 상기한 제1 실시 형태에 관한 정보 처리 장치(100)와의 차이는, 주로 터치 패널(202)의 구성에 있다. 따라서, 터치 패널(202)의 구성을 중심으로 설명을 행하기로 한다.
도 9에 도시한 바와 같이, 터치 패널(202)은, 표시부(132)와, 터치 위치 검지부(134)와, 음영 화상 면적 계측부(232)를 갖는다. 터치 패널(202)에 있어서의 가압 강도의 검지 수단은 음영 화상 면적 계측부(232)이다. 터치 패널(202)은, 광학식 터치 패널이다. 단, 터치 패널(202)에는, 표시 화면의 내부로부터 광을 사출하기 위한 광원과, 표시 화면의 표면으로부터 입사되는 광을 검지하는 광 센서가 포함되는 것으로 한다.
손가락이 표시 화면을 터치하고 있는 경우, 광원으로부터 사출된 광의 일부는 손가락에 의해 반사되어, 광 센서에 입사된다. 또한, 손가락에 의해 반사되지 않은 광은 광 센서에 의해 수광되지 않는다. 그로 인해, 광 센서에 입사되는 광의 분포로부터 상을 형성함으로써, 터치 패널(202)의 표면을 가압하고 있는 손가락의 형상이 화상으로서 얻어진다.
예를 들어, 반사광의 강도가 큰 부분을 음영으로 하여 표현하면, 도 10과 같은 화상 패턴이 얻어진다. 약하게 가압하고 있는 부분에는 작은 음영이 얻어지고, 가압력이 커짐에 따라 손가락이 터치 패널(202)을 꽉 누르기 때문에, 음영의 면적이 서서히 커진다. 그로 인해, 음영의 면적을 계측함으로써, 각 터치 위치에 있어서의 가압 강도를 검지할 수 있다. 멀티 터치의 경우에는 복수개의 손가락에 상당하는 복수의 음영이 얻어지고, 각 음영의 면적을 계측함으로써, 각 손가락의 가압 강도가 얻어진다.
따라서, 터치 위치 검지부(134)는, 음영이 얻어진 위치를 터치 위치로서 검지하고, 그 검지 결과를 입력 패턴 해석부(104)에 입력한다. 또한, 음영 화상 면적 계측부(232)는, 각 음영의 면적을 취득하고, 그 면적의 크기를 가압 강도의 정보로서 입력 패턴 해석부(104)에 입력한다. 이와 같이, 입력 패턴 해석부(104)에는, 터치 위치의 정보와 가압 강도의 정보가 입력된다. 그로 인해, 상기한 제1 실시 형태와 마찬가지로 하여 입력 패턴과 등록 패턴의 매칭을 실시할 수 있다.
또한, 음영을 포함하는 화상 자체가 입력 패턴 해석부(104)에 입력 패턴으로서 입력되도록 구성되어 있어도 좋다. 이 경우, 입력 패턴과 등록 패턴을 화상 처리에 의해 패턴 매칭시켜, 입력 패턴에 근사한 등록 패턴을 추출할 수 있다. 이때, 입력 패턴으로부터 파생 패턴이 생성되어, 파생 패턴과 등록 패턴의 패턴 매칭이 행해진다. 또한, 입력 패턴 해석부(104)의 후단에 있어서의 처리는 제1 실시 형태와 동일하기 때문에 기재를 생략한다.
이상, 본 발명의 제2 실시 형태에 대하여 설명했다.
<3: 하드웨어 구성예>
상기한 정보 처리 장치(100, 200)가 갖는 각 구성 요소의 기능은, 예를 들어 도 11에 도시하는 정보 처리 장치의 하드웨어 구성을 사용하여 실현하는 것이 가능하다. 즉, 당해 각 구성 요소의 기능은, 컴퓨터 프로그램을 사용하여 도 11에 도시하는 하드웨어를 제어함으로써 실현된다. 또한, 이 하드웨어의 형태는 임의이며, 예를 들어 퍼스널 컴퓨터, 휴대 전화, PHS, PDA 등의 휴대 정보 단말기, 게임기, 또는 다양한 정보가전이 이것에 포함된다. 단, 상기한 PHS는, Personal Handy-phone System의 약어이다. 또한, 상기한 PDA는, Personal Digital Assistant의 약어이다.
도 11에 도시한 바와 같이, 이 하드웨어는, 주로 CPU(902)와, ROM(904)과, RAM(906)과, 호스트 버스(908)와, 브리지(910)를 갖는다. 또한, 이 하드웨어는, 외부 버스(912)와, 인터페이스(914)와, 입력부(916)와, 출력부(918)와, 기억부(920)와, 드라이브(922)와, 접속 포트(924)와, 통신부(926)를 갖는다. 단, 상기한 CPU는, Central Processing Unit의 약어이다. 또한, 상기한 ROM은, Read Only Memory의 약어이다. 그리고, 상기한 RAM은, Random Access Memory의 약어이다.
CPU(902)는, 예를 들어 연산 처리 장치 또는 제어 장치로서 기능하여, ROM(904), RAM(906), 기억부(920), 또는 리무버블 기록 매체(928)에 기록된 각종 프로그램에 기초하여 각 구성 요소의 동작 전반 또는 그 일부를 제어한다. ROM(904)은, CPU(902)에 읽어들여지는 프로그램이나 연산에 사용하는 데이터 등을 저장하는 수단이다. RAM(906)에는, 예를 들어 CPU(902)에 읽어들여지는 프로그램이나, 그 프로그램을 실행할 때에 적절히 변화하는 각종 파라미터 등이 일시적 또는 영속적으로 저장된다.
이들 구성 요소는, 예를 들어 고속의 데이터 전송이 가능한 호스트 버스(908)를 통하여 서로 접속된다. 한편, 호스트 버스(908)는, 예를 들어 브리지(910)를 통하여 비교적 데이터 전송 속도가 저속인 외부 버스(912)에 접속된다. 또한, 입력부(916)로서는, 예를 들어 마우스, 키보드, 터치 패널, 버튼, 스위치 및 레버 등이 사용된다. 또한, 입력부(916)로서는, 적외선이나 그 밖의 전파를 이용하여 제어 신호를 송신하는 것이 가능한 리모트 컨트롤러(이하, 리모콘)가 사용되는 경우도 있다.
출력부(918)로서는, 예를 들어 CRT, LCD, PDP, 또는 ELD 등의 디스플레이 장치, 스피커, 헤드폰 등의 오디오 출력 장치, 프린터, 휴대 전화, 또는 팩시밀리 등, 취득한 정보를 이용자에 대하여 시각적 또는 청각적으로 통지하는 것이 가능한 장치이다. 단, 상기한 CRT는, Cathode Ray Tube의 약어이다. 또한, 상기한 LCD는, Liquid Crystal Display의 약어이다. 그리고, 상기한 PDP는, Plasma Display Panel의 약어이다. 또한, 상기한 ELD는, Electro-Luminescence Display의 약어이다.
기억부(920)는, 각종 데이터를 저장하기 위한 장치이다. 기억부(920)로서는, 예를 들어 하드디스크 드라이브(HDD) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 또는 광 자기 기억 디바이스 등이 사용된다. 단, 상기한 HDD는, Hard Disk Drive의 약어이다.
드라이브(922)는, 예를 들어 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체(928)에 기록된 정보를 판독하고, 또는 리무버블 기록 매체(928)에 정보를 기입하는 장치이다. 리무버블 기록 매체(928)는, 예를 들어 DVD 미디어, Blu-ray 미디어, HD DVD 미디어, 각종 반도체 기억 미디어 등이다. 물론, 리무버블 기록 매체(928)는, 예를 들어 비접촉형 IC 칩을 탑재한 IC 카드, 또는 전자 기기 등이어도 좋다. 단, 상기한 IC는, Integrated Circuit의 약어이다.
접속 포트(924)는, 예를 들어 포트, IEEE1394 포트, SCSI, RS-232C 포트, 또는 광 오디오 단자 등과 같은 외부 접속 기기(930)를 접속하기 위한 포트이다. 외부 접속 기기(930)는, 예를 들어 프린터, 휴대 음악 플레이어, 디지털 카메라, 디지털 비디오 카메라, 또는 IC 레코더 등이다. 단, 상기한 USB는, Universal Serial Bus의 약어이다. 또한, 상기한 SCSI는, Small Computer System Interface의 약어이다.
통신부(926)는, 네트워크(932)에 접속하기 위한 통신 디바이스이며, 예를 들어 유선 또는 무선 LAN, Bluetooth(등록 상표), 또는 WUSB용의 통신 카드, 광 통신용의 라우터, ADSL용의 라우터, 또는 각종 통신용의 모뎀 등이다. 또한, 통신부 926에 접속되는 네트워크(932)는, 유선 또는 무선에 의해 접속된 네트워크에 의해 구성되고, 예를 들어 인터넷, 가정 내 LAN, 적외선 통신, 가시광 통신, 방송, 또는 위성 통신 등이다. 단, 상기한 LAN은, Local Area Network의 약어이다. 또한, 상기한 WUSB는, Wireless USB의 약어이다. 그리고, 상기한 ADSL은, Asymmetric Digital Subscriber Line의 약어이다.
<4: 정리>
마지막으로, 본 발명의 제1 및 제2 실시 형태에 관한 기술 내용에 대하여 간단하게 정리한다. 여기에서 설명하는 기술 내용은, 예를 들어 PC, 휴대 전화, 휴대 게임기, 휴대 정보 단말기, 정보 가전, 카 내비게이션 시스템 등, 다양한 정보 처리 장치에 대하여 적용할 수 있다.
상기한 정보 처리 장치의 기능 구성은 다음과 같이 표현할 수 있다. 당해 정보 처리 장치는, 화면 위를 가압하는 복수의 조작체의 위치를 검지하는 위치 검지부와, 상기 각 조작체에 의한 가압 강도를 검지하는 가압 강도 검지부와, 조작체 사이의 상대 위치 및 가압 강도비를 나타내는 소정의 상대 정보가 기록된 기억부와, 상기 위치 검지부에 의해 검지된 위치의 정보로부터 얻어지는 상기 조작체 사이의 상대 위치와, 상기 가압 강도 검지부에 의해 검지된 가압 강도의 정보로부터 얻어지는 상기 조작체 사이의 가압 강도비에 근사한 상기 소정의 상대 정보를 검출하는 상대 정보 검출부와, 상기 상대 정보 검출부에 의해 검출된 소정의 상대 정보에 대응하는 소정의 기능을 제공하는 기능 제공부를 갖는다.
이와 같이, 상기한 정보 처리 장치는, 복수의 조작체에 의한 터치 위치 및 각 조작체의 가압 강도를 검지할 수 있다. 또한, 상기한 정보 처리 장치는, 조작체 사이의 상대 위치 및 가압 강도비(상대 강도)를 나타내는 소정의 상대 정보를 유지하고 있어, 복수의 조작체에 의한 터치 조작이 행해졌을 때에 얻어지는 조작체 사이의 상대 위치 및 가압 강도비에 가까운 소정의 상대 정보를 검출할 수 있다. 그리고, 상기한 정보 처리 장치는, 검출한 소정의 상대 정보에 대응하는 소정의 기능을 제공할 수 있다. 이와 같은 구성으로 함으로써, 상대 위치 및 가압 강도비의 조합에 기능을 할당할 수 있게 되어, 다수의 기능을 멀티 터치에 의한 비교적 간단한 터치 조작으로 실현하는 것이 가능하게 된다.
(비고)
상기한 터치 위치 검지부(134)는, 위치 검지부의 일례이다. 상기한 가압력 검지부(136), 음영 화상 면적 계측부(232)는, 가압 강도 검지부의 일례이다. 상기한 입력 패턴 해석부(104)는, 상대 정보 검출부의 일례이다. 상기한 커맨드 실행부(106), 로크 처리부(114), 표시 제어부(110), 통신부(112)는, 기능 제공부의 일례이다. 손가락이나 스타일러스 등은 조작체의 일례이다. 상기한 등록 패턴 및 그 정보는, 소정의 상대 정보의 일례이다. 상기한 터치 패널(202)은, 촬상부의 일례이다. 상기한 입력 패턴 해석부(104)는, 패턴 화상 검출부의 일례이다. 상기한 가압력 검지부(136)는, 가압력 센서의 일례이다.
이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시 형태에 대하여 설명했지만, 본 발명은 관한 예에 한정되지 않는 것은 물론이다. 당업자라면 청구범위에 기재된 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명확하며, 그들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
<산업상 이용가능성>
본 발명은, 정보 처리 장치, 정보 처리 방법 및 프로그램에 적용하는 것이 가능하다.
100, 200: 정보 처리 장치
102, 202: 터치 패널
104: 입력 패턴 해석부
106: 커맨드 실행부
108: 기억부
110: 표시 제어부
112: 통신부
114: 로크 처리부
132: 표시부
134: 터치 위치 검지부
136: 가압력 검지부
232: 음영 화상 면적 계측부
APP: 실행 화면
KEY: 소프트웨어 키보드

Claims (13)

  1. 화면 위를 가압하는 복수의 조작체의 위치를 검지하는 위치 검지부와,
    상기 각 조작체에 의한 가압 강도를 검지하는 가압 강도 검지부와,
    조작체 사이의 상대 위치 및 가압 강도비를 나타내는 소정의 상대 정보가 기록된 기억부와,
    상기 위치 검지부에 의해 검지된 위치의 정보로부터 얻어지는 상기 조작체 사이의 상대 위치와, 상기 가압 강도 검지부에 의해 검지된 가압 강도의 정보로부터 얻어지는 상기 조작체 사이의 가압 강도비에 근사한 상기 소정의 상대 정보를 검출하는 상대 정보 검출부와,
    상기 상대 정보 검출부에 의해 검출된 소정의 상대 정보에 대응하는 소정의 기능을 제공하는 기능 제공부를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서, 상기 기억부에는,
    상기 조작체 사이의 상대 위치를 나타내는 소정의 상대 정보로서, 당해 각 조작체의 위치 좌표를 나타내는 좌표 정보가 저장되어 있고,
    상기 조작체 사이의 가압 강도비를 나타내는 소정의 상대 정보로서, 당해 각 조작체의 가압 강도를 나타내는 강도 정보가 저장되어 있고,
    상기 상대 정보 검출부는,
    상기 위치 검지부에 의해 상기 위치의 정보로서 검지된 상기 각 조작체의 위치 좌표에 대하여 공통된 평행 이동, 회전 조작을 실시함으로써, 근사한 상기 좌표 정보를 검출하고,
    상기 가압 강도 검지부에 의해 상기 가압 강도의 정보로서 검지된 상기 각 조작체의 가압 강도를 동일한 비율로 증감시킴으로써, 근사한 상기 강도 정보를 검출하는, 정보 처리 장치.
  3. 제2항에 있어서, 상기 기억부에는, 유저 조작이 로크된 로크 상태의 해제용으로 상기 소정의 상대 정보가 기록되어 있고,
    상기 상대 정보 검출부는, 상기 로크 상태에 있는 동안 상기 위치 검지부에 의해 검지된 위치의 정보로부터 얻어지는 상기 조작체 사이의 상대 위치와, 상기 가압 강도 검지부에 의해 검지된 가압 강도의 정보로부터 얻어지는 상기 조작체 사이의 가압 강도비에 근사한 상기 로크 상태의 해제용으로 상기 기억부에 기록된 상대 정보를 검출하고,
    상기 기능 제공부는, 상기 상대 정보 검출부에 의해 상기 로크 상태의 해제용으로 상기 기억부에 기록된 상대 정보가 검출된 경우에, 상기 로크 상태를 해제하는, 정보 처리 장치.
  4. 제3항에 있어서, 상기 상대 정보 검출부는, 상기 로크 상태에 있는 경우, 상기 위치 검지부에 의해 상기 위치의 정보로서 검지된 상기 각 조작체의 위치 좌표에 대하여 공통된 평행 이동만을 실시함으로써, 근사한 상기 좌표 정보를 검출하는, 정보 처리 장치.
  5. 제4항에 있어서, 상기 상대 정보 검출부는, 상기 로크 상태에 있는 경우, 상기 가압 강도 검지부에 의해 상기 가압 강도의 정보로서 검지된 상기 각 조작체의 가압 강도를 소정값 이하의 비율로 증감시켜, 근사한 상기 강도 정보를 검출하는, 정보 처리 장치.
  6. 제2항에 있어서, 상기 기억부에는, 콘텐츠의 재생 제어를 행하기 위한 재생 제어 기능에 대응시켜진 상기 소정의 상대 정보가 기록되어 있고,
    상기 기능 제공부는, 상기 상대 정보 검출부에 의해 검출된 소정의 상대 정보에 대응하는 재생 제어 기능을 제공하는, 정보 처리 장치.
  7. 제1항에 있어서, 상기 화면의 내부로부터 광을 사출하는 광원과,
    상기 광원으로부터 광이 사출되었을 때에 상기 화면 위를 가압하는 조작체에 의해 반사된 광의 강도를 검지하는 것이 가능한 광 센서를 더 구비하고,
    상기 가압 강도 검지부는, 상기 광 센서에 의해 검지된 광의 강도에 기초하여, 상기 광원으로부터 사출된 광을 강하게 반사한 상기 조작체의 면적을 검출하고, 당해 면적의 크기에 기초하여 상기 가압 강도를 검지하는, 정보 처리 장치.
  8. 제1항에 있어서, 상기 화면 위에, 가압력을 검지하는 것이 가능한 가압력 센서를 더 구비하고,
    상기 가압 강도 검지부는, 상기 가압력 센서에 의해 검지된 가압력의 크기에 기초하여 상기 조작체에 의한 가압 강도를 검지하는, 정보 처리 장치.
  9. 화면의 내부로부터 외부를 향하여 광을 사출하는 광원과,
    상기 광원으로부터 광이 사출된 경우에 상기 화면 위를 가압하는 조작체에 의해 반사된 광으로부터 상을 형성함으로써 당해 화면 위를 가압하는 조작체의 화상을 촬상하는 촬상부와,
    미리 준비된 패턴 화상 중에서, 상기 촬상부에 의해 촬상된 상기 조작체의 화상에 근사한 소정의 패턴 화상을 검출하는 패턴 화상 검출부를 구비하고,
    복수의 조작체에 의해 상기 화면 위가 가압되고, 상기 촬상부에 의해 당해 조작체의 화상이 촬상된 경우, 상기 패턴 화상 검출부는, 상기 촬상부에 의해 촬상된 화상에 포함되는 각 조작체의 상대 위치 및 당해 각 조작체의 크기 비율이 근사한 소정의 패턴 화상을 검출하는, 정보 처리 장치.
  10. 화면 위를 가압하는 복수의 조작체의 위치를 검지하는 위치 검지 스텝과,
    상기 각 조작체에 의한 가압 강도를 검지하는 가압 강도 검지 스텝과,
    상기 위치 검지 스텝에서 검지된 위치의 정보로부터 얻어지는 상기 조작체 사이의 상대 위치와, 상기 가압 강도 검지 스텝에서 검지된 가압 강도의 정보로부터 얻어지는 상기 조작체 사이의 가압 강도비에 근사한, 조작체 사이의 상대 위치 및 가압 강도비를 나타내는 소정의 상대 정보를 검출하는 상대 정보 검출 스텝과,
    상기 상대 정보 검출 스텝에서 검출된 소정의 상대 정보에 대응하는 소정의 기능을 제공하는 기능 제공 스텝을 포함하는, 정보 처리 방법.
  11. 화면의 내부로부터 외부를 향하여 사출된 광이 상기 화면 위를 가압하는 조작체에 의해 반사된 경우에, 당해 반사광으로부터 상을 형성함으로써 당해 화면 위를 가압하는 조작체의 화상을 촬상하는 촬상 스텝과,
    미리 준비된 패턴 화상 중에서, 상기 촬상 스텝에서 촬상된 상기 조작체의 화상에 근사한 소정의 패턴 화상을 검출하는 패턴 화상 검출 스텝을 포함하고,
    복수의 조작체에 의해 상기 화면 위가 가압되고, 상기 촬상 스텝에서 당해 조작체의 화상이 촬상된 경우, 상기 패턴 화상 검출 스텝에서는, 상기 촬상 스텝에서 촬상된 화상에 포함되는 각 조작체의 상대 위치 및 당해 각 조작체의 크기 비율이 근사한 소정의 패턴 화상을 검출하는, 정보 처리 방법.
  12. 화면 위를 가압하는 복수의 조작체의 위치를 검지하는 위치 검지 기능과,
    상기 각 조작체에 의한 가압 강도를 검지하는 가압 강도 검지 기능과,
    상기 위치 검지 기능에 의해 검지된 위치의 정보로부터 얻어지는 상기 조작체 사이의 상대 위치와, 상기 가압 강도 검지 기능에 의해 검지된 가압 강도의 정보로부터 얻어지는 상기 조작체 사이의 가압 강도비에 근사한, 조작체 사이의 상대 위치 및 가압 강도비를 나타내는 소정의 상대 정보를 검출하는 상대 정보 검출 기능과,
    상기 상대 정보 검출 기능에 의해 검출된 소정의 상대 정보에 대응하는 소정의 기능을 제공하는 기능 제공 기능을 컴퓨터에 실현시키기 위한, 프로그램.
  13. 화면의 내부로부터 외부를 향하여 사출된 광이 상기 화면 위를
    가압하는 조작체에 의해 반사된 경우에, 당해 반사광으로부터 상을 형성함으로써 당해 화면 위를 가압하는 조작체의 화상을 촬상하는 촬상 기능과,
    미리 준비된 패턴 화상 중에서, 상기 촬상 기능에 의해 촬상된 상기 조작체의 화상에 근사한 소정의 패턴 화상을 검출하는 패턴 화상 검출 기능을 컴퓨터에 실현시키고,
    복수의 조작체에 의해 상기 화면 위가 가압되고, 상기 촬상 기능에 의해 당해 조작체의 화상이 촬상된 경우, 상기 패턴 화상 검출 기능에 의해, 상기 촬상 기능에 의해 촬상된 화상에 포함되는 각 조작체의 상대 위치 및 당해 각 조작체의 크기 비율이 근사한 소정의 패턴 화상을 검출하는 기능을 컴퓨터에 실현시키기 위한, 프로그램.
KR1020127004205A 2009-08-27 2010-07-22 정보 처리 장치, 정보 처리 방법 및 프로그램 KR20120067331A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009197001A JP5482023B2 (ja) 2009-08-27 2009-08-27 情報処理装置、情報処理方法、及びプログラム
JPJP-P-2009-197001 2009-08-27

Publications (1)

Publication Number Publication Date
KR20120067331A true KR20120067331A (ko) 2012-06-25

Family

ID=43627694

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127004205A KR20120067331A (ko) 2009-08-27 2010-07-22 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (9)

Country Link
US (1) US8760422B2 (ko)
EP (1) EP2472373B1 (ko)
JP (1) JP5482023B2 (ko)
KR (1) KR20120067331A (ko)
CN (1) CN102473073B (ko)
BR (1) BR112012003820A2 (ko)
RU (1) RU2012106128A (ko)
TW (1) TWI428798B (ko)
WO (1) WO2011024584A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180102112A (ko) * 2016-01-04 2018-09-14 시큐젠 코포레이션 멀티-레벨 커맨드 감지 장치

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008017716A1 (de) * 2008-04-07 2009-10-08 Volkswagen Ag Anzeige- und Bedienvorrichtung für ein Kraftfahrzeug sowie Verfahren zum Betreiben einer solchen
US8587422B2 (en) 2010-03-31 2013-11-19 Tk Holdings, Inc. Occupant sensing system
JP5805974B2 (ja) 2010-03-31 2015-11-10 ティーケー ホールディングス，インコーポレーテッド ステアリングホイールセンサ
JP5759230B2 (ja) 2010-04-02 2015-08-05 ティーケー ホールディングス，インコーポレーテッド 手センサを有するステアリング・ホイール
US10834590B2 (en) 2010-11-29 2020-11-10 Biocatch Ltd. Method, device, and system of differentiating between a cyber-attacker and a legitimate user
US10685355B2 (en) * 2016-12-04 2020-06-16 Biocatch Ltd. Method, device, and system of detecting mule accounts and accounts used for money laundering
US10917431B2 (en) 2010-11-29 2021-02-09 Biocatch Ltd. System, method, and device of authenticating a user based on selfie image or selfie video
US10747305B2 (en) 2010-11-29 2020-08-18 Biocatch Ltd. Method, system, and device of authenticating identity of a user of an electronic device
US10586036B2 (en) 2010-11-29 2020-03-10 Biocatch Ltd. System, device, and method of recovery and resetting of user authentication factor
US10621585B2 (en) 2010-11-29 2020-04-14 Biocatch Ltd. Contextual mapping of web-pages, and generation of fraud-relatedness score-values
US10262324B2 (en) 2010-11-29 2019-04-16 Biocatch Ltd. System, device, and method of differentiating among users based on user-specific page navigation sequence
US10776476B2 (en) 2010-11-29 2020-09-15 Biocatch Ltd. System, device, and method of visual login
US10298614B2 (en) * 2010-11-29 2019-05-21 Biocatch Ltd. System, device, and method of generating and managing behavioral biometric cookies
US10970394B2 (en) 2017-11-21 2021-04-06 Biocatch Ltd. System, device, and method of detecting vishing attacks
US11269977B2 (en) 2010-11-29 2022-03-08 Biocatch Ltd. System, apparatus, and method of collecting and processing data in electronic devices
US10949757B2 (en) 2010-11-29 2021-03-16 Biocatch Ltd. System, device, and method of detecting user identity based on motor-control loop model
US10728761B2 (en) 2010-11-29 2020-07-28 Biocatch Ltd. Method, device, and system of detecting a lie of a user who inputs data
US10069837B2 (en) 2015-07-09 2018-09-04 Biocatch Ltd. Detection of proxy server
US11210674B2 (en) 2010-11-29 2021-12-28 Biocatch Ltd. Method, device, and system of detecting mule accounts and accounts used for money laundering
US10897482B2 (en) 2010-11-29 2021-01-19 Biocatch Ltd. Method, device, and system of back-coloring, forward-coloring, and fraud detection
US20190158535A1 (en) * 2017-11-21 2019-05-23 Biocatch Ltd. Device, System, and Method of Detecting Vishing Attacks
US11223619B2 (en) 2010-11-29 2022-01-11 Biocatch Ltd. Device, system, and method of user authentication based on user-specific characteristics of task performance
US10949514B2 (en) 2010-11-29 2021-03-16 Biocatch Ltd. Device, system, and method of differentiating among users based on detection of hardware components
US10404729B2 (en) 2010-11-29 2019-09-03 Biocatch Ltd. Device, method, and system of generating fraud-alerts for cyber-attacks
US10474815B2 (en) 2010-11-29 2019-11-12 Biocatch Ltd. System, device, and method of detecting malicious automatic script and code injection
US9268479B2 (en) * 2011-01-21 2016-02-23 Dell Products, Lp Motion sensor-enhanced touch screen
JPWO2012137946A1 (ja) * 2011-04-06 2014-07-28 京セラ株式会社 電子機器、操作制御方法および操作制御プログラム
US8508494B2 (en) * 2011-06-01 2013-08-13 Motorola Mobility Llc Using pressure differences with a touch-sensitive display screen
US8693726B2 (en) 2011-06-29 2014-04-08 Amazon Technologies, Inc. User identification by gesture recognition
JP5799628B2 (ja) 2011-07-15 2015-10-28 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6007469B2 (ja) 2011-09-01 2016-10-12 ソニー株式会社 情報処理装置、表示制御方法、およびプログラム
JP2013073512A (ja) * 2011-09-28 2013-04-22 Kyocera Corp 装置、方法、及びプログラム
US8933896B2 (en) * 2011-10-25 2015-01-13 Microsoft Corporation Pressure-based interaction for indirect touch input devices
US9367233B2 (en) * 2011-10-31 2016-06-14 Samsung Electronics Co., Ltd. Display apparatus and method thereof
JP5850736B2 (ja) * 2011-12-21 2016-02-03 京セラ株式会社 装置、方法及びプログラム
JP5848970B2 (ja) * 2011-12-22 2016-01-27 京セラ株式会社 装置、方法、及びプログラム
JP5715042B2 (ja) * 2011-12-27 2015-05-07 京セラ株式会社 装置、方法、及びプログラム
JP2013134709A (ja) * 2011-12-27 2013-07-08 Kyocera Corp 装置、方法、及びプログラム
TW201327277A (zh) * 2011-12-28 2013-07-01 Chunghwa Telecom Co Ltd 一種適用於觸控面板之點字輸入方法
KR101902405B1 (ko) * 2012-02-07 2018-09-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5902514B2 (ja) * 2012-03-12 2016-04-13 パイオニア株式会社 入力装置、入力装置の設定方法、入力装置用プログラム、および、記録媒体
JP2013205986A (ja) * 2012-03-27 2013-10-07 Kyocera Corp 電子機器
JP6032420B2 (ja) * 2012-04-02 2016-11-30 カシオ計算機株式会社 印刷情報出力装置、印刷情報出力方法、プログラム及び携帯電子機器
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
TWI470475B (zh) 2012-04-17 2015-01-21 Pixart Imaging Inc 電子系統
CN103376980B (zh) * 2012-04-17 2016-12-14 百度在线网络技术（北京）有限公司 一种解除移动终端屏幕锁定的方法及移动终端
US9487388B2 (en) 2012-06-21 2016-11-08 Nextinput, Inc. Ruggedized MEMS force die
US9032818B2 (en) 2012-07-05 2015-05-19 Nextinput, Inc. Microelectromechanical load sensor and methods of manufacturing the same
CN103164150A (zh) * 2012-07-18 2013-06-19 深圳市金立通信设备有限公司 一种智能设备抓拍快照的系统及方法
JP2014044673A (ja) * 2012-08-28 2014-03-13 Kyocera Corp 携帯端末装置
WO2014043664A1 (en) 2012-09-17 2014-03-20 Tk Holdings Inc. Single layer force sensor
KR101495591B1 (ko) * 2013-10-08 2015-02-25 원투씨엠 주식회사 정전식 터치 인증 방법
CN104798077A (zh) * 2012-11-22 2015-07-22 Nec卡西欧移动通信株式会社 电子设备、解锁方法和程序
JP5954147B2 (ja) 2012-12-07 2016-07-20 ソニー株式会社 機能制御装置およびプログラム
JP6066725B2 (ja) * 2012-12-28 2017-01-25 キヤノン株式会社 情報処理装置およびその制御方法
JP6042753B2 (ja) * 2013-03-18 2016-12-14 株式会社Ｎｔｔドコモ 端末装置及び操作ロック解除方法
CN104346050B (zh) * 2013-07-29 2018-02-27 联想(北京)有限公司 一种信息处理方法及电子设备
JP6243828B2 (ja) * 2013-11-29 2017-12-06 株式会社 ハイディープＨｉＤｅｅｐ Ｉｎｃ． タッチレベルに伴うフィードバック方法、及びこれを行うタッチ入力装置
JP5960114B2 (ja) * 2013-11-29 2016-08-02 京セラドキュメントソリューションズ株式会社 認証装置
JP6308769B2 (ja) * 2013-12-18 2018-04-11 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
US9483118B2 (en) 2013-12-27 2016-11-01 Rovi Guides, Inc. Methods and systems for selecting media guidance functions based on tactile attributes of a user input
US9902611B2 (en) 2014-01-13 2018-02-27 Nextinput, Inc. Miniaturized and ruggedized wafer level MEMs force sensors
US9158426B1 (en) * 2014-03-19 2015-10-13 Google Inc. Touch keyboard calibration
AT515719A1 (de) * 2014-05-09 2015-11-15 Keba Ag Bedieneinrichtung und Steuersystem
TWI641986B (zh) * 2014-06-01 2018-11-21 美商英特爾公司 用於判定使用者之數目與他們相對於一裝置之個別位置的方法、電子裝置及電腦可讀媒體
US9857869B1 (en) 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
CN104112088A (zh) * 2014-06-19 2014-10-22 中国航天科工集团第三研究院第八三五七研究所 一种电子密码输入方法和装置
CN104035688A (zh) * 2014-06-20 2014-09-10 江苏物联网研究发展中心 移动终端单点触控压力感知安全解锁方法及装置
KR20160001602A (ko) * 2014-06-26 2016-01-06 삼성전자주식회사 폴더블 전자 장치의 인터페이싱 방법 및 그 폴더블 전자 장치
CN110570641B (zh) 2014-07-15 2021-06-11 麦克赛尔株式会社 便携终端装置
KR20160028067A (ko) * 2014-09-02 2016-03-11 엘지디스플레이 주식회사 이동 단말기 및 그의 구동 방법
EP3043474B1 (en) * 2014-12-19 2019-01-16 Wujunghightech Co., Ltd. Touch pad using piezo effect
US20160216858A1 (en) * 2015-01-22 2016-07-28 Manzurul Khan Method and program product for an interactive e-book
US9542037B2 (en) 2015-03-08 2017-01-10 Apple Inc. Device, method, and user interface for processing intensity of touch contacts
US10346030B2 (en) * 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
CN107848788B (zh) 2015-06-10 2023-11-24 触控解决方案股份有限公司 具有容差沟槽的加固的晶圆级mems力传感器
JP5945621B2 (ja) * 2015-06-15 2016-07-05 Kddi株式会社 押圧操作で動作状態を切り替え可能なユーザインタフェース装置、動作状態切り替え方法及びプログラム
JP6540305B2 (ja) * 2015-06-18 2019-07-10 カシオ計算機株式会社 タッチ入力装置、投影装置、タッチ入力方法及びプログラム
GB2539705B (en) 2015-06-25 2017-10-25 Aimbrain Solutions Ltd Conditional behavioural biometrics
CN105183241B (zh) * 2015-08-21 2018-10-09 惠州Tcl移动通信有限公司 基于压力传感的触摸屏、显示装置及实现压力传感的方法
JPWO2017047180A1 (ja) * 2015-09-18 2018-07-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR20170085419A (ko) * 2016-01-14 2017-07-24 삼성전자주식회사 터치 입력에 기반한 동작 방법 및 그 전자 장치
US10866642B2 (en) 2016-03-31 2020-12-15 Sensel Inc. System and method for detecting and responding to touch inputs with haptic feedback
US11460926B2 (en) 2016-03-31 2022-10-04 Sensel, Inc. Human-computer interface system
US11422631B2 (en) 2016-03-31 2022-08-23 Sensel, Inc. Human-computer interface system
JP6728386B2 (ja) 2016-03-31 2020-07-22 センセル インコーポレイテッドＳｅｎｓｅｌ，Ｉｎｃ． 人間コンピュータインタフェースシステム
KR20170124693A (ko) * 2016-05-03 2017-11-13 주식회사 하이딥 터치 입력 장치의 디스플레이 방법
JP2017224220A (ja) * 2016-06-17 2017-12-21 カシオ計算機株式会社 出力制御装置、出力制御方法及びプログラム
JP2017228975A (ja) 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
GB2552032B (en) 2016-07-08 2019-05-22 Aimbrain Solutions Ltd Step-up authentication
JP6797467B2 (ja) * 2016-07-22 2020-12-09 株式会社ユニバーサルエンターテインメント 遊技機
KR102255878B1 (ko) * 2016-08-31 2021-05-24 후아웨이 테크놀러지 컴퍼니 리미티드 포스 터치 기반 통신 강화 방법 및 단말
TWI587203B (zh) * 2016-09-22 2017-06-11 友達光電股份有限公司 觸控裝置及觸控反饋方法
US10198122B2 (en) * 2016-09-30 2019-02-05 Biocatch Ltd. System, device, and method of estimating force applied to a touch surface
US10579784B2 (en) 2016-11-02 2020-03-03 Biocatch Ltd. System, device, and method of secure utilization of fingerprints for user authentication
CN116907693A (zh) 2017-02-09 2023-10-20 触控解决方案股份有限公司 集成数字力传感器和相关制造方法
WO2018148510A1 (en) 2017-02-09 2018-08-16 Nextinput, Inc. Integrated piezoresistive and piezoelectric fusion force sensor
CN108806219A (zh) * 2017-04-28 2018-11-13 数码士有限公司 基于遥控器键的检测等级提供服务的图像处理终端及方法
CN111448446B (zh) 2017-07-19 2022-08-30 触控解决方案股份有限公司 在mems力传感器中的应变传递堆叠
US10397262B2 (en) 2017-07-20 2019-08-27 Biocatch Ltd. Device, system, and method of detecting overlay malware
WO2019023309A1 (en) 2017-07-25 2019-01-31 Nextinput, Inc. FORCE SENSOR AND INTEGRATED FINGERPRINTS
US11243126B2 (en) 2017-07-27 2022-02-08 Nextinput, Inc. Wafer bonded piezoresistive and piezoelectric force sensor and related methods of manufacture
WO2019073546A1 (ja) 2017-10-11 2019-04-18 三菱電機株式会社 操作入力装置、情報処理システムおよび操作判定方法
WO2019079420A1 (en) 2017-10-17 2019-04-25 Nextinput, Inc. SHIFT TEMPERATURE COEFFICIENT COMPENSATION FOR FORCE SENSOR AND STRAIN GAUGE
WO2019090057A1 (en) 2017-11-02 2019-05-09 Nextinput, Inc. Sealed force sensor with etch stop layer
US11874185B2 (en) 2017-11-16 2024-01-16 Nextinput, Inc. Force attenuator for force sensor
JP6342105B1 (ja) 2017-12-14 2018-06-13 三菱電機株式会社 操作支援装置、タッチパネル装置、及びタッチパネル入力システム
CN110316153B (zh) * 2018-03-30 2021-04-20 比亚迪股份有限公司 基于车载显示终端的车辆监控系统、方法和车辆
CN109255623A (zh) * 2018-07-27 2019-01-22 重庆小雨点小额贷款有限公司 一种业务审批方法、服务器、客户端及存储介质
US10962427B2 (en) 2019-01-10 2021-03-30 Nextinput, Inc. Slotted MEMS force sensor
US11880506B2 (en) 2020-10-06 2024-01-23 Sensel, Inc. Haptic keyboard system
US11606353B2 (en) 2021-07-22 2023-03-14 Biocatch Ltd. System, device, and method of generating and utilizing one-time passwords

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745591A (en) * 1995-12-29 1998-04-28 Feldman; Stephen E. System and method for verifying the identity of a person
AU2808697A (en) * 1996-04-24 1997-11-12 Logitech, Inc. Touch and pressure sensing method and apparatus
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US7859519B2 (en) * 2000-05-01 2010-12-28 Tulbert David J Human-machine interface
EP2000894B1 (en) * 2004-07-30 2016-10-19 Apple Inc. Mode-based graphical user interfaces for touch sensitive input devices
JP4351599B2 (ja) * 2004-09-03 2009-10-28 パナソニック株式会社 入力装置
JP2006127488A (ja) * 2004-09-29 2006-05-18 Toshiba Corp 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム
US20060066590A1 (en) 2004-09-29 2006-03-30 Masanori Ozawa Input device
JP2006127486A (ja) * 2004-09-29 2006-05-18 Toshiba Corp 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム
US8001613B2 (en) * 2006-06-23 2011-08-16 Microsoft Corporation Security using physical objects
JP4933304B2 (ja) * 2006-10-16 2012-05-16 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
US7907125B2 (en) * 2007-01-05 2011-03-15 Microsoft Corporation Recognizing multiple input point gestures
JP4826512B2 (ja) * 2007-03-12 2011-11-30 セイコーエプソン株式会社 表示装置及び電子機器
JP4799461B2 (ja) 2007-03-27 2011-10-26 三洋電機株式会社 電子機器
JP2008305174A (ja) * 2007-06-07 2008-12-18 Sony Corp 情報処理装置、情報処理方法、プログラム
KR101345755B1 (ko) * 2007-09-11 2013-12-27 삼성전자주식회사 휴대용 단말기의 조작제어장치 및 그 방법
US8009147B2 (en) * 2007-09-27 2011-08-30 At&T Intellectual Property I, Lp Multi-touch interfaces for user authentication, partitioning, and external device control
US8681093B2 (en) * 2008-02-11 2014-03-25 Apple Inc. Motion compensation for screens
BRPI0804355A2 (pt) * 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
KR101297144B1 (ko) * 2008-03-19 2013-08-21 가부시키가이샤 덴소 차량용 조작 입력 장치
DE102008017716A1 (de) * 2008-04-07 2009-10-08 Volkswagen Ag Anzeige- und Bedienvorrichtung für ein Kraftfahrzeug sowie Verfahren zum Betreiben einer solchen
TW201003498A (en) * 2008-07-04 2010-01-16 Wintek Corp Resistive touch panel with multi-touch recognition ability
JP5161690B2 (ja) * 2008-07-31 2013-03-13 キヤノン株式会社 情報処理装置及びその制御方法
KR20100129424A (ko) * 2009-06-01 2010-12-09 한국표준과학연구원 터치스크린의 접촉위치 및 접촉힘의 세기를 이용한 사용자 인터페이스 제공 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180102112A (ko) * 2016-01-04 2018-09-14 시큐젠 코포레이션 멀티-레벨 커맨드 감지 장치

Also Published As

Publication number Publication date
EP2472373B1 (en) 2019-09-04
US8760422B2 (en) 2014-06-24
JP5482023B2 (ja) 2014-04-23
JP2011048665A (ja) 2011-03-10
TWI428798B (zh) 2014-03-01
CN102473073B (zh) 2014-10-15
CN102473073A (zh) 2012-05-23
US20120113061A1 (en) 2012-05-10
BR112012003820A2 (pt) 2016-03-22
WO2011024584A1 (ja) 2011-03-03
TW201108064A (en) 2011-03-01
EP2472373A1 (en) 2012-07-04
EP2472373A4 (en) 2016-08-17
RU2012106128A (ru) 2013-08-27

Similar Documents

Publication Publication Date Title
KR20120067331A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
KR102080183B1 (ko) 전자 장치 및 전자 장치에서 잠금 해제 방법
US9710630B2 (en) Electronic device and method of providing security using complex biometric information
CN103870804B (zh) 具有脸部识别功能的移动装置和控制该移动装置的方法
JP5584802B2 (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体
JP5446769B2 (ja) ３次元入力表示装置
EP3709148A1 (en) Method of providing a user interface of a mobile terminal equipped with a touch screen and mobile terminal therefor
KR101648446B1 (ko) 전자 회의 시스템 및 이의 제어 방법, 그리고 디지털 펜
CN104423697B (zh) 显示控制设备、显示控制方法和记录介质
KR20120084860A (ko) 정전식 터치스크린 단말기에서 입력 방법 및 장치
JP2007141029A (ja) 携帯情報装置
WO2016121876A1 (ja) 電子機器、制御方法、及び制御プログラム
CN104008326B (zh) 用于管理终端安全性的装置和方法
US20170242993A1 (en) Terminal device, method, and program
JP2018148286A (ja) 電子機器及び制御方法
US20140207407A1 (en) Near-surface object sensing device and sensing method
JP2014032450A (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
JP2015018413A (ja) 携帯端末、画像表示方法、及びプログラム
JP2016066311A (ja) 情報処理装置、情報処理装置における入力制御方法及び情報処理装置に用いるコンピュータプログラム
JP6042753B2 (ja) 端末装置及び操作ロック解除方法
JP5957041B2 (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体
JP2010055267A (ja) 入力装置、携帯端末装置、及び入力装置の入力方法
US11934503B2 (en) Electronic apparatus and control method thereof
WO2015059992A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20160149480A (ko) 감압 센서를 이용한 디바이스의 사용자 인증 장치 및 그 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid