KR102254794B1 - 터치 패널 입력 장치, 터치 제스처 판정 장치, 터치 제스처 판정 방법, 및 터치 제스처 판정 프로그램 - Google Patents
터치 패널 입력 장치, 터치 제스처 판정 장치, 터치 제스처 판정 방법, 및 터치 제스처 판정 프로그램 Download PDFInfo
- Publication number
- KR102254794B1 KR102254794B1 KR1020197017714A KR20197017714A KR102254794B1 KR 102254794 B1 KR102254794 B1 KR 102254794B1 KR 1020197017714 A KR1020197017714 A KR 1020197017714A KR 20197017714 A KR20197017714 A KR 20197017714A KR 102254794 B1 KR102254794 B1 KR 102254794B1
- Authority
- KR
- South Korea
- Prior art keywords
- gaze
- touch panel
- touch
- touch gesture
- screen
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
터치 패널 입력 장치(1)는, 터치 제스처 조작이 시선 있음 상태에 있어서의 조작 또는 시선 없음 상태에 있어서의 조작 중 어느 것인지를 판정하고, 시선 판정 정보(A2)를 출력하는 시선 유무 판정부(12)와, 시선 판정 정보(A2)에 근거하는 명령 정보(A3)를 출력하는 조작 모드 전환부(13)와, 명령 정보(A3)에 따르는 판정 방법으로 조작 정보(A0)에 근거하는 선택치를 생성하는 조작 판정부(14)와, 터치 패널(20)에 명령 정보(A3)에 따르는 화상을 표시시키는 표시 제어부(16)를 갖고, 조작 판정부(14)는, 시선 있음 상태일 때에 조작용 화상으로서 표시된 표시 부품에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보(A0)로부터 선택치를 결정하는 표시 부품 제스처 판정부(141)와, 시선 없음 상태일 때에 화면 전체에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보(A0)로부터 선택치를 결정하는 화면 전체 제스처 판정부(142)를 갖는다.
Description
본 발명은, 터치 제스처 조작을 접수하고, 터치 제스처 조작에 근거하는 신호를 출력하는 터치 패널 입력 장치, 및, 터치 제스처 조작에 대응하는 조작 정보가 입력되고, 입력된 조작 정보에 근거하는 신호를 출력하기 위한 터치 제스처 판정 장치, 터치 제스처 판정 방법 및 터치 제스처 판정 프로그램에 관한 것이다.
일반적으로, 터치 패널 입력 장치를 사용하는 유저는, 터치 패널에 표시되어 있는 GUI(Graphical User Interface) 화면을 보면서 터치 제스처 조작을 행한다. 그러나, 자동차의 운전 중 또는 카메라의 위치 조정 중 등과 같은 태스크 실행 중에는, 유저가 터치 패널의 화면을 보면서, 즉, 유저가 시선을 터치 패널의 화면으로 향하고 있는 상태인 "시선 있음 상태"에서, 터치 제스처 조작을 행할 수는 없다.
이 대책으로서, 특허문헌 1은, 터치 패널에 접촉하고 있는 복수의 손가락의 접촉점을 이어서 생기는 형상과 미리 설정된 형상의 유사도에 근거하여, 터치 패널에 표시하는 조작 파츠(이하 "표시 부품"이라고도 한다)를 결정하는 장치를 제안하고 있다.
또한, 특허문헌 2는, 터치 패널에 접촉하고 있는 복수의 손가락의 위치로 규정되는 1개의 영역의 면적이, 미리 설정된 임계치 이상인 경우에, 유저가 터치 패널의 화면을 보지 않는, 즉, 유저가 시선을 터치 패널의 화면으로 향하지 않는 상태인 "시선 없음 상태"에서, 터치 제스처 조작을 행하는 사람(예컨대, 시각장애자 등)이라고 판단하는 장치를 제안하고 있다.
그렇지만, 상기 특허문헌 1 및 2에 기재된 장치에서는, 유저는, 복수의 손가락 끝으로 특정한 형상을 만들기 위한 터치 제스처 조작에 의식을 집중시킬 필요가 있으므로, 터치 제스처 조작과 병행하여 행하여지는 다른 태스크에 대한 주의력이 저하되는 경우가 있다.
또한, 특허문헌 1에 기재된 장치에서는, 유저는, 시선을 터치 패널의 화면으로 향하지 않고서, 터치 패널에 표시된 표시 부품을 이용하는 터치 제스처 조작을 행할 필요가 있으므로, 표시 부품에 대하여 정확한 터치 제스처 조작을 행하는 것이 어려운 경우가 있다.
또한, 특허문헌 2에 기재된 장치에서는, 유저는, 터치 패널의 조작 유효 영역 내에서 터치 제스처 조작을 행할 필요가 있으므로, 터치 패널의 화면을 보고 있지 않은 상태에서는 적절한 조작 정보를 입력할 수 없는 경우가 있다.
본 발명의 목적은, 조작 모드를 터치 패널에 표시된 표시 부품을 이용하여 터치 제스처 조작을 행하는 시선 있음 상태의 조작 모드 또는 터치 패널의 화면 전체를 터치 제스처 조작의 접수 영역으로 하여 터치 제스처 조작을 행하는 시선 없음 상태의 조작 모드로 적절히 전환함으로써, 용이하고 정확하게 터치 제스처 조작에 의한 입력 조작을 행할 수 있는 터치 패널 입력 장치, 및, 조작 모드를 시선 있음 상태의 조작 모드 또는 시선 없음 상태의 조작 모드로 적절히 전환함으로써, 용이하고 정확하게 터치 제스처 조작에 의한 입력 조작을 행할 수 있도록 하기 위한 터치 제스처 판정 장치, 터치 제스처 판정 방법 및 터치 제스처 판정 프로그램을 제공하는 것이다.
본 발명의 일 태양과 관련되는 터치 패널 입력 장치는, 화면에 조작용 화상을 표시하고, 유저의 터치 제스처 조작을 접수하고, 상기 터치 제스처 조작에 대응하는 조작 정보를 출력하는 터치 패널과, 상기 조작 정보를 받고, 상기 조작 정보에 근거하는 선택치를 생성하는 터치 제스처 판정 장치를 갖는 터치 패널 입력 장치로서,
상기 터치 제스처 판정 장치는, 상기 터치 제스처 조작에 대응하는 입력 정보를 받고, 상기 입력 정보에 근거하여, 상기 터치 제스처 조작이, 상기 유저의 시선이 상기 화면으로 향하여져 있는 시선 있음 상태에 있어서의 조작 또는 상기 유저의 시선이 상기 화면으로 향하여져 있지 않은 시선 없음 상태에 있어서의 조작 중 어느 것인지를 판정하고, 상기 판정의 결과를 나타내는 시선 판정 정보를 출력하는 시선 유무 판정부와, 상기 시선 판정 정보에 근거하는 명령 정보를 출력하는 조작 모드 전환부와, 상기 명령 정보에 따르는 판정 방법으로, 상기 조작 정보에 근거하는 상기 선택치를 생성하는 조작 판정부와, 상기 터치 패널에, 상기 조작용 화상으로서 상기 명령 정보에 따르는 화상을 표시시키는 표시 제어부를 갖고,
상기 조작 판정부는, 상기 시선 있음 상태일 때에, 상기 터치 패널에 상기 조작용 화상으로서 표시된 표시 부품에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는 표시 부품 제스처 판정부와, 상기 시선 없음 상태일 때에, 상기 터치 패널의 화면 전체에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는 화면 전체 제스처 판정부를 갖는 것이다.
본 발명의 다른 태양과 관련되는 터치 제스처 판정 방법은, 화면에 조작용 화상을 표시하고, 유저의 터치 제스처 조작을 접수하고, 상기 터치 제스처 조작에 대응하는 조작 정보를 출력하는 터치 패널로부터, 상기 조작 정보를 받고, 상기 조작 정보에 근거하는 선택치를 생성하는 터치 제스처 판정 방법으로서,
상기 터치 제스처 조작에 대응하는 입력 정보에 근거하여, 상기 터치 제스처 조작이, 상기 유저의 시선이 상기 화면으로 향하여져 있는 시선 있음 상태에 있어서의 조작 또는 상기 유저의 시선이 상기 화면으로 향하여져 있지 않은 시선 없음 상태에 있어서의 조작 중 어느 것인지를 판정하고, 상기 판정의 결과를 나타내는 시선 판정 정보를 출력하는 시선 유무 판정 스텝과, 상기 시선 판정 정보에 근거하는 명령 정보에 따르는 판정 방법으로, 상기 조작 정보에 근거하는 상기 선택치를 생성하는 조작 판정 스텝과, 상기 터치 패널에, 상기 조작용 화상으로서 상기 명령 정보에 따르는 화상을 표시시키는 표시 제어 스텝을 갖고,
상기 조작 판정 스텝에 있어서, 상기 시선 있음 상태일 때에, 상기 터치 패널에 상기 조작용 화상으로서 표시된 표시 부품에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하고, 상기 시선 없음 상태일 때에, 상기 터치 패널의 화면 전체에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는 것이다.
본 발명에 따르면, 조작 모드를 터치 패널에 표시된 표시 부품을 이용하여 터치 제스처 조작을 행하는 시선 있음 상태의 조작 모드 또는 터치 패널의 화면 전체를 터치 제스처 조작의 접수 영역으로 하여 터치 제스처 조작을 행하는 시선 없음 상태의 조작 모드로 적절히 전환함으로써, 용이하고 정확하게 터치 제스처 조작에 의한 입력 조작을 행할 수 있다.
도 1은 본 발명의 실시의 형태 1과 관련되는 터치 패널 입력 장치의 개략 구성을 나타내는 기능 블록도이다.
도 2는 실시의 형태 1과 관련되는 터치 패널 입력 장치의 하드웨어 구성의 일례를 나타내는 도면이다.
도 3(a) 및 도 3(b)는 실시의 형태 1과 관련되는 터치 패널 입력 장치에 있어서의 터치 패널의 화면의 예를 나타내는 도면이다.
도 4는 실시의 형태 1과 관련되는 터치 패널 입력 장치에 있어서의 터치 제스처 판정 장치의 동작(터치 제스처 판정 방법)을 나타내는 플로차트이다.
도 5는 실시의 형태 1의 변형예와 관련되는 터치 패널 입력 장치에 있어서의 터치 패널의 화면의 일례를 나타내는 도면이다.
도 6은 본 발명의 실시의 형태 2와 관련되는 터치 패널 입력 장치의 개략 구성을 나타내는 기능 블록도이다.
도 7은 실시의 형태 2와 관련되는 터치 패널 입력 장치에 있어서의 터치 제스처 판정 장치의 동작(터치 제스처 판정 방법)을 나타내는 플로차트이다.
도 8은 실시의 형태 2와 관련되는 터치 패널 입력 장치에 있어서의 터치 제스처 조작의 이력 정보의 취득 방법을 나타내는 도면이다.
도 9는 터치 패널 입력 장치에 있어서 터치 패널의 화면을 보지 않는 상태인 시선 없음 상태에서 터치 제스처 조작을 행함으로써 의도대로의 입력을 할 수 없는 예를 나타내는 도면이다.
도 10은 실시의 형태 2와 관련되는 터치 패널 입력 장치에 있어서 터치 패널의 화면을 보지 않는 상태인 시선 없음 상태에서 행하여지는 터치 제스처 조작의 예를 나타내는 도면이다.
도 11은 실시의 형태 2와 관련되는 터치 패널 입력 장치와 통신하는 카메라 영상 촬영 장치에 있어서의 카메라의 방향, 각도, 영상의 확축량(擴縮量)을, 터치 패널 입력 장치의 터치 패널의 화면을 보지 않고서 조정하는 예를 나타내는 도면이다.
도 12는 본 발명의 실시의 형태 3과 관련되는 터치 패널 입력 장치의 개략 구성을 나타내는 기능 블록도이다.
도 13은 실시의 형태 3과 관련되는 터치 패널 입력 장치의 하드웨어 구성의 일례를 나타내는 도면이다.
도 14는 실시의 형태 3과 관련되는 터치 패널 입력 장치에 있어서의 터치 제스처 판정 장치의 동작(터치 제스처 판정 방법)을 나타내는 플로차트이다.
도 15(a) 및 도 15(b)는 실시의 형태 3과 관련되는 터치 패널 입력 장치에 있어서의 시선 있음 상태 및 시선 없음 상태의 판정 방법을 나타내는 도면이다.
도 2는 실시의 형태 1과 관련되는 터치 패널 입력 장치의 하드웨어 구성의 일례를 나타내는 도면이다.
도 3(a) 및 도 3(b)는 실시의 형태 1과 관련되는 터치 패널 입력 장치에 있어서의 터치 패널의 화면의 예를 나타내는 도면이다.
도 4는 실시의 형태 1과 관련되는 터치 패널 입력 장치에 있어서의 터치 제스처 판정 장치의 동작(터치 제스처 판정 방법)을 나타내는 플로차트이다.
도 5는 실시의 형태 1의 변형예와 관련되는 터치 패널 입력 장치에 있어서의 터치 패널의 화면의 일례를 나타내는 도면이다.
도 6은 본 발명의 실시의 형태 2와 관련되는 터치 패널 입력 장치의 개략 구성을 나타내는 기능 블록도이다.
도 7은 실시의 형태 2와 관련되는 터치 패널 입력 장치에 있어서의 터치 제스처 판정 장치의 동작(터치 제스처 판정 방법)을 나타내는 플로차트이다.
도 8은 실시의 형태 2와 관련되는 터치 패널 입력 장치에 있어서의 터치 제스처 조작의 이력 정보의 취득 방법을 나타내는 도면이다.
도 9는 터치 패널 입력 장치에 있어서 터치 패널의 화면을 보지 않는 상태인 시선 없음 상태에서 터치 제스처 조작을 행함으로써 의도대로의 입력을 할 수 없는 예를 나타내는 도면이다.
도 10은 실시의 형태 2와 관련되는 터치 패널 입력 장치에 있어서 터치 패널의 화면을 보지 않는 상태인 시선 없음 상태에서 행하여지는 터치 제스처 조작의 예를 나타내는 도면이다.
도 11은 실시의 형태 2와 관련되는 터치 패널 입력 장치와 통신하는 카메라 영상 촬영 장치에 있어서의 카메라의 방향, 각도, 영상의 확축량(擴縮量)을, 터치 패널 입력 장치의 터치 패널의 화면을 보지 않고서 조정하는 예를 나타내는 도면이다.
도 12는 본 발명의 실시의 형태 3과 관련되는 터치 패널 입력 장치의 개략 구성을 나타내는 기능 블록도이다.
도 13은 실시의 형태 3과 관련되는 터치 패널 입력 장치의 하드웨어 구성의 일례를 나타내는 도면이다.
도 14는 실시의 형태 3과 관련되는 터치 패널 입력 장치에 있어서의 터치 제스처 판정 장치의 동작(터치 제스처 판정 방법)을 나타내는 플로차트이다.
도 15(a) 및 도 15(b)는 실시의 형태 3과 관련되는 터치 패널 입력 장치에 있어서의 시선 있음 상태 및 시선 없음 상태의 판정 방법을 나타내는 도면이다.
이하에, 본 발명의 실시의 형태를, 첨부 도면을 참조하면서 설명한다. 이하의 설명에 있어서, 터치 패널 입력 장치는, 터치식의 조작용의 화면(조작 화면)을 갖는 터치 패널과, 터치 패널에 있어서의 조작 정보를 받는 터치 제스처 판정 장치를 구비한다. 터치 패널 입력 장치는, 대상 기기에 탑재되는 것에 의해, 또는, 대상 기기와 통신 가능하게 접속되는 것에 의해, 대상 기기로서의 전기 기기의 조작 화면, 대상 기기로서의 카메라의 조작 화면, 대상 기기로서의 공장 설비의 조작 화면, 대상 기기로서의 자동차, 선박, 항공기 등에 탑재되는 조작 화면, 대상 기기로서의 스마트폰 및 태블릿 단말 등의 휴대 정보 단말의 조작 화면 등에 적용 가능하다. 터치 패널 입력 장치는, 터치 패널의 조작 화면으로부터 터치 제스처 조작("터치 조작"이라고도 한다)에 의해 입력된 조작 정보에 근거하는 신호(예컨대, 선택치)를, 터치 패널 입력 장치를 탑재한 대상 기기, 또는, 터치 패널 입력 장치와 통신 가능한 대상 기기에 제공할 수 있다.
터치 패널은, 유저가 행하는 터치 제스처 조작을 접수하는 터치 제스처 입력 수단이다. 또한, 터치 제스처 조작은, 유저의 손가락(또는, 유저의 손바닥, 또는, 유저의 손가락 및 손바닥) 등의 특정한 움직임에 의한 정보 입력 조작이다. 터치 제스처 조작은, 터치 패널의 조작 화면을 손가락으로 가볍게 두드리는 조작인 탭, 터치 패널의 조작 화면을 손가락으로 튀기는 조작인 플릭, 터치 패널의 조작 화면을 손가락으로 덧쓰는 조작(손가락을 미끄러지게 하는 조작)인 스와이프를 포함할 수 있다. 또한, 터치 제스처 조작은, 터치 패널에 있어서의 표시 부품을 손가락으로 끄는 조작인 드래그, 터치 패널의 조작 화면에 있어서 복수 개의 손가락으로 집으면서 손가락의 간격을 좁히는 조작인 핀치 인, 터치 패널의 조작 화면에 있어서 복수 개의 손가락의 간격을 넓히는 조작인 핀치 아웃 등을 포함할 수 있다. 또, 터치 제스처 조작은, 펜 형태의 입력 보조구인 터치 펜을 이용하는 조작도 포함할 수 있다.
《1》 실시의 형태 1.
《1-1》 구성
도 1은 본 발명의 실시의 형태 1과 관련되는 터치 패널 입력 장치(1)의 개략 구성을 나타내는 기능 블록도이다. 도 1에 나타내어지는 바와 같이, 실시의 형태 1과 관련되는 터치 패널 입력 장치(1)는, 터치 제스처 판정 장치(10)와, 터치 패널(20)을 갖고 있다. 터치 제스처 판정 장치(10)는, 실시의 형태 1과 관련되는 터치 제스처 판정 방법 및 실시의 형태 1과 관련되는 터치 제스처 판정 프로그램을 실행할 수 있는 장치이다.
도 1에 나타내어지는 바와 같이, 터치 패널(20)은, 유저에 의해 행하여지는 터치 제스처 조작을 접수하고, 터치 제스처 조작에 대응하는 조작 정보("터치 정보"라고도 한다) A0을 출력하는 조작 패널부(21)와, 조작 패널부(21)와 겹쳐 배치되고, GUI 화면 등과 같은 조작용 화상을 표시할 수 있는 표시 패널부(22)를 갖고 있다. 표시 패널부(22)는, 예컨대, 액정 디스플레이이다.
도 1에 나타내어지는 바와 같이, 터치 제스처 판정 장치(10)는, 조작 정보 입력부(11)와, 조작 모드 판정부로서의 시선 유무 판정부(12)와, 조작 모드 전환부(13)와, 조작 판정부(14)와, 통지부(15)와, 표시 제어부(16)를 갖고 있다. 조작 판정부(14)는, 표시 부품 제스처 판정부(141)와, 화면 전체 제스처 판정부(142)를 갖고 있다.
조작 정보 입력부(11)는, 조작 패널부(21)로부터 출력된 조작 정보(조작 신호) A0을 받는다. 조작 정보 입력부(11)는, 받은 조작 정보 A0에 대응하는 입력 정보 A1을 시선 유무 판정부(12)와 조작 판정부(14)에 출력한다. 입력 정보 A1은, 조작 정보 A0에 대응하는 정보이고, 조작 정보 A0과 동일한 정보이더라도 좋다.
시선 유무 판정부(12)는, 조작 정보 입력부(11)로부터 받은 입력 정보 A1에 근거하여, 터치 제스처 조작이, 유저가 터치 패널(20)의 화면을 보면서 행한 조작, 즉, 유저의 시선이 터치 패널(20)의 화면으로 향하여진 상태인 시선 있음 상태에 있어서의 조작인지, 터치 제스처 조작이, 유저가 터치 패널(20)의 화면을 보지 않고서 행한 조작, 즉, 유저의 시선이 터치 패널(20)의 화면으로 향하여져 있지 않은 상태인 시선 없음 상태에 있어서의 조작인지를 판정한다. 시선 있음 상태를 전제로 한 조작 모드는, 예컨대, 터치 패널(20)에 표시된 표시 부품에 대하여 터치 제스처 조작을 행하는 조작 모드이다. 시선 없음 상태를 전제로 한 조작 모드는, 예컨대, 터치 패널(20)의 화면 전체를 터치 제스처 조작의 접수를 위한 1개의 조작 유효 영역으로 하는 조작 모드이다.
시선 유무 판정부(12)는, 유저의 터치 제스처 조작에 근거하는 입력 정보 A1로부터, 터치 제스처 조작이, 시선 있음 상태에 있어서의 조작인지 시선 없음 상태에 있어서의 조작인지의 판정 결과를 나타내는 시선 판정 정보 A2를 조작 모드 전환부(13)에 보낸다. 이 판정은, 예컨대, 시선 유무 판정부(12)가, 미리 결정된 터치 제스처 조작의 패턴을 기억하는 기억부(예컨대, 후술하는 도 2에 있어서의 메모리)를 구비하고, 입력 정보 A1이 나타내는 터치 제스처 조작과 기억부에 기억되어 있는 터치 제스처 조작의 패턴의 유사도에 근거하여 행할 수 있다.
조작 모드 전환부(13)는, 시선 유무 판정부(12)로부터 받은 시선 판정 정보 A2로부터, 터치 패널(20)의 화면의 표시 내용, 터치 패널(20)로부터의 터치 제스처 조작에 근거하는 입력 정보 A1의 조작 판정부(14)에 의한 판정 방법, 및 통지부(15)에 의한 통지 방법을 전환(설정)하기 위한 명령 정보 A3을 출력한다.
조작 판정부(14)는, 조작 모드 전환부(13)로부터 명령 정보 A3을 받고, 이 명령 정보 A3에 따라 입력 정보 A1의 판정 방법을 전환한다.
화면 전체 제스처 판정부(142)는, 터치 패널(20)의 화면 전체에 대한 터치 제스처 조작을 판정하여, 입력 정보 A1에 근거하는 출력 신호인 선택치 A7의 결정을 행한다. 터치 패널(20)의 화면 전체에 대한 터치 제스처 조작의 판정은, 시선 있음 상태에 있어서의 터치 제스처 조작에서는, 터치 패널(20)의 한정된 좁은 영역 내(터치 패널(20)의 화면의 일부분)에서 사용되고, 시선 없음 상태에 있어서의 터치 제스처 조작에서는, 터치 패널(20)의 넓은 영역 내(터치 패널(20)의 화면의 전체)에서 사용된다.
표시 부품 제스처 판정부(141)는, 표시 패널부(22)에 의해 표시된 조작용 화상으로서의 표시 부품과 입력 정보 A1로부터, 터치 제스처 조작을 판정하여, 표시 부품과 입력 정보 A1에 근거하는 출력 신호인 선택치 A7의 결정을 행한다. 터치 패널(20)의 표시 부품에 대한 터치 제스처 조작의 판정은, 시선 있음 상태에 있어서의 터치 제스처 조작에서는, 터치 패널(20)의 넓은 영역 내(터치 패널(20)의 화면 전체)에서 사용되고, 시선 없음 상태에 있어서의 터치 제스처 조작에 있어서 한정된 좁은 영역 내(터치 패널(20)의 화면의 일부분)에서 사용된다.
표시 제어부(16)는, 터치 패널(20)의 표시 패널부(22)에 표시되는 조작용 화상의 화상 신호 A6을 출력한다. 표시 제어부(16)는, 조작 판정부(14)로부터 받은 조작 판정 정보 A4 및 조작 모드 전환부(13)로부터 받은 명령 정보 A3에 따라 표시 패널부(22)의 화면의 표시 내용을 변경한다.
통지부(15)는, 시선 있음 상태에 있어서의 터치 제스처 조작 때와 시선 없음 상태에 있어서의 터치 제스처 조작 때에서, 유저에 대한 정보의 통지 방법을 전환한다. 통지부(15)는, 명령 정보 A3에 따르는 통지 내용의 통지를 발하거나 또는 통지 신호를 출력한다. 예컨대, 통지부(15)는, 조작 판정부(14)에 의해 수취된 입력 정보 A1에 따라, 유저의 터치 제스처 조작의 상황을, 예컨대, 소리, 화면 표시, 바이브레이터에 의한 진동, 또는 램프 점등 등으로 통지한다. 이와 같이, 통지부(15)는, 조작 판정부(14)로부터 수취된 조작 판정 정보 A4 및 조작 모드 전환부(13)로부터 수취된 명령 정보 A3에 따라 통지 내용을 변경한다. 통지부(15)에 의한 통지가 소리에 의한 통지인 경우에는, 통지부(15)는 음성 출력부로서의 스피커에 통지 신호를 출력한다. 스피커는, 후술하는 도 2에 나타내어진다. 통지부(15)에 의한 통지가 화상 표시인 경우에는, 통지부(15)는 통지 정보 A5를 표시 제어부(16)에 보내고, 표시 제어부(16)가 통지 정보에 근거하는 화상 신호를 표시 패널부(22)에 송신한다.
조작 판정부(14)로부터 출력되는 선택치 A7은, 조작 판정부(14)가 입력 정보 A1을 기초로 결정한 선택치이고, 이 선택치 A7을 기초로, 터치 패널 입력 장치(1)를 탑재한 장치의 애플리케이션 프로그램 등이, 기기 제어 등을 행한다.
도 2는 실시의 형태 1과 관련되는 터치 패널 입력 장치(1)의 하드웨어(H/W) 구성의 일례를 나타내는 도면이다. 도 2에 나타내어지는 바와 같이, 실시의 형태 1과 관련되는 터치 패널 입력 장치(1)는, 터치 패널(20)과, 프로세서(31)와, 메모리(32)와, 스피커(33)를 갖고 있다. 도 1에 나타내어지는 터치 제스처 판정 장치(10)는, 소프트웨어로서의 터치 제스처 판정 프로그램을 저장하는 기억 장치로서의 메모리(32)와, 메모리(32)에 저장된 터치 제스처 판정 프로그램을 실행하는 정보 처리부로서의 프로세서(31)를 이용하여(예컨대, 컴퓨터에 의해) 실현할 수 있다. 이 경우에는, 도 1에 있어서의 구성 요소(11~16)는, 도 2에 있어서 터치 제스처 판정 프로그램을 실행하는 프로세서(31)에 상당한다. 또, 도 1에 나타내어지는 터치 제스처 판정 장치(10)의 일부를, 도 2에 나타내어지는 메모리(32)와, 터치 제스처 판정 프로그램을 실행하는 프로세서(31)에 의해 실현할 수도 있다.
스피커(33)는, 예컨대, 시선 없음 상태에서 행하여지고 있는 터치 제스처 조작 상황을 어나운스 등 소리로 통지하는 경우에 사용되는 소리 출력부이다. 터치 패널 입력 장치(1)는, 스피커(33) 대신에, 또는, 추가의 구성으로서, 바이브레이터, 램프, 통지 신호를 무선 송신하기 위한 송신 장치 등의 추가의 장치를 구비하더라도 좋다.
도 3(a) 및 도 3(b)는 실시의 형태 1과 관련되는 터치 패널 입력 장치(1)에 있어서의 터치 패널(20)의 화면 및 터치 제스처 조작의 예를 나타내는 도면이다.
도 3(a)는 시선 있음 상태의 조작 모드에 있어서의 터치 패널(20)의 화면의 일례를 나타내고 있다. 도 3(a)는 시선 유무 판정부(12)가, 터치 제스처 조작을 나타내는 입력 정보 A1로부터, 시선 있음 상태의 조작 모드라고 판정한 경우의 화면의 일례이다. 유저는, 화면을 손가락으로 좌측 방향 또는 우측 방향으로 스와이프하는 조작을 행하는 것에 의해 화면의 표시 내용을 전환하는 것이 가능하다. 리스트(231)는, 시선 유무 판정부(12)가 시선 있음 상태로 판정한 경우에 표시되는 리스트이다. 리스트(231)는, 복수의 버튼(숫자가 부여되어 있는 사각 영역)으로 구성되어 있고, 손가락을 위 방향 또는 아래 방향으로 덧쓰는(미끄러지게 하는) 것에 의해 리스트(231)를 동일한 방향으로 이동시키는 것이 가능하다. 예컨대, 손가락으로 버튼(232)을 터치함으로써, 시선 유무 판정부(12)는 시선 있음 상태로 판정하고, 버튼을 탭하는(손가락을 버튼에 대고, 손가락을 움직이지 않은 채 미리 결정된 시간 내에 떼는) 것에 의해 선택치를 결정(확정)한다.
도 3(b)는 시선 없음 상태의 조작 모드에 있어서의 터치 패널(20)의 화면의 일례를 나타내고 있다. 도 3(b)는 시선 유무 판정부(12)가, 터치 제스처 조작을 나타내는 입력 정보 A1로부터, 시선 없음 상태의 조작 모드라고 판정한 경우의 화면의 일례이다. 예컨대, 시선 없음 상태에 있어서의 캔슬 영역(241)은, ">>Cancel>>"를 둘러싸는 직사각형 영역이고, 이 직사각형 영역 내에서, 미리 결정된 방향으로, 즉, 손가락을 왼쪽으로부터 오른쪽으로 덧쓰면(미끄러지게 하면), 시선 없음 상태의 조작 모드는 캔슬되어, 시선 있음 상태의 조작 모드로 전환된다.
《1-2》 동작
도 4는 실시의 형태 1과 관련되는 터치 패널 입력 장치(1)에 있어서의 터치 제스처 판정 장치(10)의 동작(터치 제스처 판정 방법)을 나타내는 플로차트이다.
스텝 ST101에 있어서, 조작 모드 전환부(13)는, 초기 조작 모드로서, 시선 있음 상태의 조작 모드를 설정한다. 이때, 터치 패널(20)의 화면이, 시선 있음 상태의 조작 모드의 화면이 되고, 터치 패널(20)의 입력 방법은, 시선 있음 상태의 조작 모드를 이용한 표시 부품에 의한 입력 방법이 되도록, 조작 모드 전환부(13)는, 명령 정보 A3을 출력한다. 또, 초기 조작 모드를 시선 없음 상태의 조작 모드로 하는 것도 가능하다.
다음의 스텝 ST102에 있어서, 조작 정보 입력부(11)는, 터치 패널(20)로부터, 조작 정보 A0(손가락의 접촉점의 위치를 나타내는 좌표, 손가락의 접촉 상태, 복수의 접촉점에 대한 손가락 식별 번호 등)을 취득하고, 기억부(예컨대, 도 2에 나타내어지는 메모리(32))에 기억시킨다.
다음의 스텝 ST103에 있어서, 시선 유무 판정부(12)는, 기억부에 기억한 조작 정보 A0(손가락의 접촉점에 관한 정보 등)의 이력 정보로부터, 터치 제스처 조작이 시선 있음 상태에서의 조작인지, 시선 없음 상태에서의 조작인지의 판정, 즉, 시선 유무 판정(조작 모드의 판정)을 행한다.
스텝 ST103에 있어서, 시선 유무 판정부(12)는, 예컨대, 이하의 판정 조건 (1)~(3) 중 어느 하나가 만족된 경우에, 시선 없음 상태로 판정하고, 그 이외의 경우를 시선 있음 상태로 판정한다.
ㆍ 판정 조건 (1) : 손가락이 터치 패널(20)의 화면 상의 1점에 접촉하고, 미리 결정된 임계치 이상의 시간, 접촉 위치가 이동하고 있지 않은 경우
ㆍ 판정 조건 (2) : 복수의 손가락이 터치 패널(20)의 화면 상의 복수의 접촉점에 접촉하고, 미리 결정된 임계치 이상의 시간, 계속 접촉하고 있는 경우
ㆍ 판정 조건 (3) : 손바닥이 터치 패널(20)의 화면 상에 계속 접촉하고 있는(즉, 미리 결정된 임계치 이상의 넓은 면적이, 미리 결정된 임계치 이상의 시간, 계속 접촉하고 있는) 경우
단, 판정 기준으로서, 다른 판정 기준을 이용하더라도 좋다.
스텝 ST103에 있어서의 시선 없음 상태로 하는 판정 조건 (3)을 만족시킬 때에는, 검출되는 복수의 접촉점의 좌표 및 접촉점의 수가 불안정할(즉, 시간에 따라 크게 변동할) 가능성이 있다. 이 때문에, 현시점으로부터 미리 결정된 기간 거슬러 올라간 시점까지의 기간의 조작 정보 A0(입력 정보 A1)의 이력 정보를 이용하여, 이 기간 내에 있어서의 접촉점의 좌표의 흔들림(좌표의 이동량)의 정도를 기초로(예컨대, 최대의 이동량이 미리 결정된 임계치를 넘는 경우에), 손바닥의 접촉이라고 판정하더라도 좋다.
또한, 스텝 ST103에 있어서의 시선 없음 상태로 하는 판정 조건 (3)에 있어서의, 화면 상에 손바닥을 접촉시키는 조작 때에는, 터치 패널(20)로부터의 조작 정보 A0은, 접촉 상태가 이상(異常)인 것을 나타내는 정보이다. 이 때문에, 현시점으로부터 미리 결정된 기간 거슬러 올라간 시점까지의 기간의 조작 정보 A0의 이력 정보를 이용하여, 이 기간 내에 접촉 상태가 이상인 것을 나타내는 이력이 있는 경우에, 손바닥의 접촉이라고 판정하더라도 좋다.
또한, 스텝 ST103에 있어서의 시선 없음 상태로 하는 판정 조건 (3)에 있어서의, 화면 상에 손바닥을 접촉시키는 조작 때에는, 터치 패널(20)의 화면으로부터 손가락이 떨어졌다고 오판되고, 그 결과, 터치 패널(20)의 화면의 표시 부품인 버튼을 탭한 터치 제스처 조작으로 잘못 판정될 가능성이 있다. 이 때문에, 현시점으로부터 미리 결정된 기간 거슬러 올라간 시점까지의 기간의 조작 정보 A0의 이력 정보를 이용하여, 이 기간 내에, 터치 패널(20)의 손가락이 모두 떨어지고 나서 미리 결정된 시간, 불안정한 터치 검출(즉, 시간에 따라 접촉점의 수 및 위치가 크게 변동하는 상황의 검출)이 되지 않는지 여부, 또는, 이상 접촉 상태의 통지가 없는지 여부를 검출하기 위한 대기 처리를 개재시키고, 이들이 검출되었을 때에, 손바닥의 접촉이라고 판정하더라도 좋다.
또한, 스텝 ST103에 있어서, 시선 유무 판정부(12)는, 화면 상의 표시대로 손가락을 접촉시켜 덧쓴 경우에 시선 있음 상태로 판정한다. 예컨대, 도 3(b)에 나타내어지는 시선 없음 상태 때의 화면에 있어서, 시선 없음 상태에 있어서의 캔슬 영역(241)의 안쪽에서 터치를 개시하여, 왼쪽의 마크 ">>"로부터 문자 "Cancel"을 경유하여 오른쪽의 마크 ">>"를 통과하도록 손가락을 미끄러지게 하고 나서, 손가락을 떼는 조작을 한 경우, 또는, 왼쪽의 마크 ">>"로부터 문자 "Cancel"을 경유하여 오른쪽의 마크 ">>"를 통과하도록 손가락을 미끄러지게 하여, 캔슬 영역(241)의 우측의 경계선을 넘은 경우에, 시선 유무 판정부(12)는, 시선 있음 상태로의 전환 조작이라고 판정한다. 또, 스텝 ST103의 시선 있음 상태로의 전환 조작의 판정은, 시선 없음 상태에 있어서 캔슬 영역(241)의 바깥쪽으로부터 캔슬 영역(241)의 안쪽으로 연속적으로 덧쓴 경우, 또는, 시선 없음 상태에 있어서 캔슬 영역(241)을 덧쓰고 있는 도중에 캔슬 영역(241) 위 또는 아래로 빠져나온 경우, 또는, 시선 없음 상태에 있어서 캔슬 영역(241)을 우측 방향으로 덧쓴 후에, 뒤쪽 좌측 방향으로 손가락을 되돌려 덧쓴 경우는, 시선 있음 상태로 판정하지 않는 것으로 판정하더라도 좋다.
또한, 스텝 ST103에 있어서, 시선 유무 판정부(12)가 시선 있음 상태로의 전환의 조작이라고 판정하는 조건은, 도 3(b)의 왼쪽의 마크 ">>"로부터 문자 "Cancel"을 경유하여 오른쪽의 마크 ">>"를 통과하도록 손가락을 미끄러지게 한 경우뿐 아니라, 시선 없음 상태에 있어서, 캔슬 영역(241)을 터치하여 우측 방향으로 미리 결정된 거리 이상 이동한 경우로 하더라도 좋다.
스텝 ST104에 있어서, 시선 유무 판정으로 변경이 있었을 경우(YES의 경우), 처리는 스텝 ST105~ST108로 진행되고, 조작 모드 전환부(13)는, 터치 패널(20)의 조작 화면의 전환에 의한 입력 방법의 전환, 통지부(15)에 의한 통지 방법을 전환하기 위한 명령 정보 A3을 출력한다. 스텝 ST104에 있어서, 시선 유무 판정으로의 변경이 발생하지 않은 경우(NO의 경우), 처리는 스텝 ST109로 진행된다.
스텝 ST105에 있어서, 조작 판정부(14)는, 조작 모드 전환부(13)로부터 명령 정보 A3을 받고, 화면 전체에 대한 유효한 입력 방법을 전환하는 명령을 내리고, 화면 전체 제스처 판정부(142)는, 화면 전체에 대한 유효한 입력 방법을 전환한다.
다음의 스텝 ST106에 있어서, 조작 판정부(14)는, 조작 모드 전환부(13)로부터 명령 정보 A3을 받고, 표시 부품에 대한 유효한 입력 방법을 전환하는 명령을 내리고, 표시 부품 제스처 판정부(141)는, 표시 부품에 대한 유효한 입력 방법을 전환한다. 스텝 ST105와 ST106의 처리의 순번은, 반대이더라도 좋다.
다음의 스텝 ST107에 있어서, 표시 제어부(16)는, 조작 모드 전환부(13)로부터 화면을 전환하는 명령 정보 A3을 받고, 화면을 전환한다. 예컨대, 표시 제어부(16)는, 화면의 전환을 명령하는 명령 정보 A3을 받았을 때에, 시선 있음 상태의 경우, 예컨대, 도 3(a)에 나타내어지는 시선 있음 상태 때의 화면을 표시하고, 시선 없음 상태의 경우, 예컨대, 도 3(b)에 나타내어지는 시선 없음 상태 때의 화면을 표시한다.
다음의 스텝 ST108에 있어서, 통지부(15)는, 조작 모드 전환부(13)의 통지 내용을 전환하는 명령 정보 A3을 받고, 통지 내용을 전환한다. 예컨대, 통지부(15)는, 시선 있음 상태의 경우, "화면을 길게 누르면, 화면을 보지 않고 조작하는 모드로 전환됩니다."라고 하는 음성 어나운스를 스피커로부터 출력시키고, 또한, 시선 없음 상태로 전환된 경우, "길게 누르는 조작이 되었기 때문에, 장애자용의 조작 화면으로 전환됩니다."라고 어나운스가 흘러나오게 한다. 그리고, 시선 없음 상태가 된 경우, "화면의 위쪽을 터치하면 선택치가 늘어나고, 아래쪽을 터치하면 선택치가 줄어듭니다. 2점 탭으로 선택치를 확정합니다."라고 하는 음성 어나운스를 스피커에 출력시킨다. 또한, 이때, 통지부(15)는, 화면의 위쪽, 아래쪽의 탭이 발생할 때마다, 현재의 선택치를 음성 어나운스로 통지시키더라도 좋다.
스텝 ST108에 있어서, 통지부(15)의 통지는, 음성 어나운스뿐 아니라, 조작 중의 터치 패널(20)과는 다른 표시 장치에 의해 통지하거나, 스마트워치로부터의 음성 어나운스로 통지하거나, 또는 터치 패널을 진동시켜 통지하거나 하더라도 좋다.
스텝 ST109에 있어서, 조작 판정부(14)는, 입력 정보에 근거하여 선택치를 결정(확정)한다. 예컨대, 조작 판정부(14)는, 시선 있음 상태의 조작 모드에 있어서는, 표시되어 있는 버튼을 탭하면, 버튼에 표시되어 있는 번호가 선택치로서 결정된다. 한편, 조작 판정부(14)는, 시선 없음 상태의 조작 모드에 있어서는, 화면의 위쪽의 터치가 발생하면, 선택치를 늘리고, 화면의 아래쪽의 터치가 발생하면, 선택치를 줄인다. 조작 판정부(14)는, 2점의 터치가 발생하고 동시에 손가락을 뗀 경우에, 선택치를 확정한다. 조작 판정부(14)에서, 터치 제스처 조작이 접수된 경우, 표시 제어부(16)는, 터치 제스처 조작에 따라 표시 내용을 변경하고, 통지부(15)는, 터치 제스처 조작에 따라 조작 상황의 통지를 행한다.
또한, 스텝 ST109에 있어서, 시선 없음 상태에 있어서의 캔슬 영역(241)을 탭한 경우는, 캔슬 영역(241)을 덧쓰는 조작이 아니기 때문에, 화면의 아래쪽 조작으로 간주하고, 선택치를 줄인다.
스텝 ST103의 시선 유무 판정부(12)의 판정과, 스텝 ST109의 조작 판정부(14)의 판정 동작은, 시선 유무 판정부(12)의 기억부에, 예컨대, 표 1과 같은 조작 판정 테이블을 저장하고, 이 테이블의 내용에 따라 처리함으로써 실현할 수 있다.
《1-3》 효과
이상에 설명한 바와 같이, 실시의 형태 1에 있어서는, 유저의 터치 제스처 조작에 근거하는 조작 정보 A0이, 시선 있음 상태에 있어서의 터치 제스처 조작인지, 시선 없음 상태에 있어서의 터치 제스처 조작인지에 따라, 조작 판정부(14)에 있어서의 입력 정보 A1의 판정 방법, 표시 제어부(16)에 의한 표시 제어 방법, 통지부(15)에 의한 통지 방법을 변경할 수 있다. 이 때문에, 유저는, 터치 패널(20)의 화면을 보고 있는 상태에서는, 화면에 표시된 표시 부품으로서의 버튼을 손가락으로 탭하거나, 화면에 표시된 리스트를 손가락으로 덧쓰거나 함으로써 시선 있음 상태의 터치 제스처 조작이 가능하다. 또한, 유저는, 화면을 보고 있지 않은 상태에서는, 화면 전체를 사용한 터치 제스처 조작의 접수와, 조작 상태의 통지로 조작이 가능하다. 이와 같이, 실시의 형태 1에 있어서는, 터치 패널(20)에 있어서, 시선 있음 상태의 터치 제스처 조작과 시선 없음 상태의 터치 제스처 조작 중 어느 것을 행하더라도, 시선 있음 상태에 있어서의 터치 제스처 조작 또는 시선 없음 상태에 있어서의 터치 제스처 조작으로 적절히 판정되므로, 정확하게 터치 제스처 조작에 의한 입력 조작을 행할 수 있다.
또한, 실시의 형태 1에 있어서는, 시선 있음 상태에 있어서, 시선 있음 상태의 터치 제스처 조작으로서는 발생하지 않는 조작이 행하여진 경우에, 시선 없음 상태의 터치 제스처 조작이라고 판정하고, 시선 없음 상태에 있어서, 시선 없음 상태의 터치 제스처 조작으로서는 발생하지 않는 조작이 행하여진 경우에, 시선 있음 상태의 터치 제스처 조작이라고 판정할 수 있다. 이 경우에는, 시선 유무 판정의 오판은 적으므로 조작 모드의 판정 정확도가 향상된다.
《1-4》 변형예
도 4의 스텝 ST103에 있어서의 시선 유무 판정의 다른 예로서, 시선 유무 판정부(12)는, 3점 이상의 터치점(손가락의 접촉점)이 발생한 경우에 시선 없음 상태에 있어서의 조작 모드로 판정하더라도 좋다. 이와 같이 한 경우에는, 터치 패널(20)에 있어서의 2점 터치의 조작(예컨대, 핀치, 회전 등의 조작)을, 터치 제스처 조작으로서 사용할 수 있다.
또한, 도 4의 스텝 ST103에 있어서의 시선 유무 판정의 다른 예로서, 터치 패널(20)의 화면의 손가락에 의한 접촉의 개시로부터 터치 패널(20)의 화면의 내용이 변경되지 않는 상태를 미리 결정된 시간 이상 계속한 경우에, 시선 없음 상태라고 판정하더라도 좋다. 예컨대, 1개의 손가락을 터치 패널(20)의 화면에 접촉시키고, 덧쓰는 조작이 발생하더라도, 손가락의 좌우 스와이프에 의한 화면 스크롤, 또는, 화면의 상하 덧쓰기 조작에 의한 리스트의 스크롤이 발생하지 않는 경우에, 시선 유무 판정부(12)는, 시선 없음 상태라고 판정하더라도 좋다.
또한, 도 4의 스텝 ST103에 있어서의 시선 유무 판정의 다른 예로서, 시선 유무 판정부(12)는, 손가락의 접촉점의 종 방향의 이동, 횡 방향의 이동, 사선 방향의 이동 중 어느 하나의 검출 때에 시선 있음 상태로 판정하더라도 좋다.
또한, 도 4의 스텝 ST103에 있어서의 시선 유무 판정의 다른 예로서, 시선 유무 판정부(12)는, 손가락의 접촉점의 이동으로, 원, 사각, 또는 문자 등 특정한 궤적을 그리는 경우에, 시선 있음 상태로 판정하더라도 좋다.
또한, 도 4의 스텝 ST103에 있어서의 시선 유무 판정부(12)의 판정이, 시선 없음 상태로부터 시선 있음 상태로 바뀌는 조건으로서, 터치 패널(20)로부터의 입력 조작이 없는 상태에서 미리 결정된 시간 경과한 경우로 하더라도 좋다. 예컨대, 시선 없음 상태로 전환되고 나서, 터치 제스처 조작이 없는 상태가 미리 결정된 임계치 시간 이상 계속되면, 시선 있음 상태로 자동적으로 돌아가도록 구성하더라도 좋다. 이 경우, 통지부(15)의 음성 어나운스에 의지하여, 재차 길게 누르기 등의 시선 없음 상태로 판정되는 터치 제스처 조작을 하여, 화면을 보지 않고서 터치 제스처 조작할 수 있다.
또한, 도 4의 스텝 ST109에 있어서의 시선 없음 상태의 다른 조작 방법으로서, 화면을 상하로 나눈 상단부 쪽의 영역 또는 하단부 쪽의 영역을 탭함으로써 선택치를 증감시키는 방법뿐 아니라, 도 5와 같이 화면 상에 수치 입력을 위한 복수의 버튼이 배열된 화상을 표시시키고, 손가락으로 덧쓴 위치에 대응하는 버튼의 항목이, 통지부(15)에서 낭독되도록 하더라도 좋다.
또한, 도 4의 스텝 ST109에 있어서의 시선 없음 상태의 다른 조작 방법으로서, 화면 상을 2점 터치하여 다이얼을 돌리듯이 회전시키고, 시계방향의 경우, 선택치를 늘리고, 반시계방향의 경우, 선택치를 줄이도록 하더라도 좋다. 이 경우, 2점 탭을 결정 조작으로 한 경우, 결정과 회전 조작을 착각할 가능성이 있기 때문에, 예컨대, 미리 결정된 시간 내에 탭이 2회 연속하여 발생(더블탭이 발생)한 경우를 선택치의 결정 조작으로 하더라도 좋다.
《2》 실시의 형태 2
《2-1》 구성
상기 실시의 형태 1에 있어서는, 시선 없음 상태의 조작 모드에 있어서의 터치 제스처 조작은, 터치 패널(20)의 화면 전체를 조작 유효 영역으로 한, 간단한 터치 제스처 조작으로 한정되어 있다. 실시의 형태 2에 있어서는, 시선 없음 상태의 조작 모드에 있어서, 화면을 보지 않는 것에 의한 의도하지 않은 조작을 막고, 보다 복잡한 터치 제스처 조작을 가능하게 하는 장치 및 방법에 대하여 설명한다.
도 6은 본 발명의 실시의 형태 2와 관련되는 터치 패널 입력 장치(2)의 개략 구성을 나타내는 기능 블록도이다. 도 6에 있어서, 도 1에 나타내어지는 구성 요소와 동일한 또는 대응하는 구성 요소에는, 도 1에 나타내어지는 부호와 동일한 부호가 부여된다. 터치 패널 입력 장치(2)는, 터치 패널(20)과, 터치 제스처 판정 장치(10a)를 갖고 있다. 터치 제스처 판정 장치(10a)는, 실시의 형태 2와 관련되는 터치 제스처 판정 방법 및 실시의 형태 2와 관련되는 터치 제스처 판정 프로그램을 실행할 수 있는 장치이다. 실시의 형태 2에 있어서의 터치 제스처 판정 장치(10a)는, 제스처 조작 기억부(17) 및 제스처 보정부(18)를 갖는 점에 있어서, 실시의 형태 1에 있어서의 터치 제스처 판정 장치(10)와 상위하다. 이 점을 제외하고, 실시의 형태 2는, 실시의 형태 1과 동일하다. 따라서, 이하에 상위점을 중심으로 설명한다.
제스처 조작 기억부(17)는, 조작 판정부(14)가 인식한 터치 제스처 조작의 이력 정보를 기억한다. 제스처 보정부(18)는, 제스처 조작 기억부(17)에 기억된 터치 제스처 조작의 데이터로부터, 조작 판정부(14)에 있어서 판정된 터치 제스처 조작 인식 결과를 보정하고 선택치 A8을 결정한다.
실시의 형태 2와 관련되는 터치 패널 입력 장치(2)의 H/W 구성은, 도 2에 나타내어지는 바와 같이, 터치 패널(20)과, 프로세서(31)와, 메모리(32)와, 스피커(33)를 갖고 있다. 도 6에 나타내어지는 터치 제스처 판정 장치(10a)는, 소프트웨어로서의 터치 제스처 판정 프로그램을 저장하는 기억 장치로서의 메모리(32)와, 메모리(32)에 저장된 터치 제스처 판정 프로그램을 실행하는 정보 처리부로서의 프로세서(31)를 이용하여(예컨대, 컴퓨터에 의해) 실현할 수 있다. 이 경우에는, 도 6에 있어서의 구성 요소(11~18)는, 도 2에 있어서 터치 제스처 판정 프로그램을 실행하는 프로세서(31)에 상당한다. 또, 도 6에 나타내어지는 터치 제스처 판정 장치(10a)의 일부를, 도 2에 나타내어지는 메모리(32)와, 터치 제스처 판정 프로그램을 실행하는 프로세서(31)에 의해 실현할 수도 있다.
《2-2》 동작
도 7은 실시의 형태 2와 관련되는 터치 패널 입력 장치(2)에 있어서의 터치 제스처 판정 장치(10a)의 동작(터치 제스처 판정 방법)을 나타내는 플로차트이다. 도 7에 있어서, 도 4에 나타내어지는 처리 스텝과 동일한 또는 대응하는 처리 스텝에는, 도 4에 나타내어지는 스텝 번호와 동일한 스텝 번호가 부여된다. 실시의 형태 2에 있어서의 터치 제스처 판정 장치(10a)의 동작은, 터치 제스처 조작의 판정 스텝 ST109 후에, 터치 제스처 조작을 기억시키는 처리 스텝(스텝 ST201)과 제스처 보정 처리 스텝(스텝 ST202)을 갖는 점에 있어서, 실시의 형태 1에 있어서의 터치 제스처 판정 장치(10)의 동작과 상위하다. 이들 점을 제외하고, 실시의 형태 2에 있어서의 터치 제스처 판정 장치(10a)의 동작은, 실시의 형태 1의 것과 동일하다.
도 7의 스텝 ST201에 있어서, 제스처 조작 기억부(17)는, 조작 판정부(14)가 인식한 터치 제스처 조작을 이력 정보로서 기억한다. 터치 제스처 조작의 이력 정보의 예를 표 2에 나타낸다.
도 8은 실시의 형태 2와 관련되는 터치 패널 입력 장치(2)에 있어서의 터치 제스처 조작의 이력 정보의 취득 방법을 나타내는 도면이다. 스텝 ST201에 있어서, 표 2에 나타내어지는 터치 제스처 조작의 이력 정보는, 예컨대, 도 8에 나타내어지는 방법으로 계산된다. 도 8의 예에 있어서, 회전 방향의 이동량, 즉, 각도 변화량 H[pixel]는, 전회의 터치 제스처 조작에서 터치된 2개의 점 P1, P2를 잇는 직선 Q1에 대하여, 현재의 터치 제스처 조작에서 터치된 점 P3으로부터 수선 Q2를 내리고, 이 수선 Q2의 길이로 한다. 거리 변화량 D[pixel]는, 현재의 2점 사이의 거리(P1과 P3 사이의 거리) L2와 전회의 2점 사이의 거리(P1과 P2 사이의 거리) L1의 사이의 변화량으로 한다. 이동량 M[pixel]은, 현재의 2점 사이(P1과 P3 사이의 거리)의 중심 위치 I2와 전회의 2점 사이(P1과 P2 사이의 거리)의 중심 위치 I1의 사이의 이동량으로 한다.
스텝 ST202에 있어서, 제스처 보정부(18)는, 제스처 조작 기억부(17)가 기억한 이력 정보로부터, 화면을 보지 않고서 터치 제스처 조작을 행한 경우에, 의도대로의 조작 정보가 터치 제스처 판정 장치(10a)에 입력되지 않는 인식 결과를 보정한다.
도 9는 터치 패널 입력 장치(2)에 있어서 터치 패널(20)의 화면을 보지 않고서 터치 제스처 조작을 행한 경우에, 의도대로의 조작 정보가 터치 제스처 판정 장치(10a)에 입력되지 않는 터치 제스처 조작의 일례를 나타내는 도면이다. 도 9에 나타내어지는 바와 같이, 터치 패널(20)의 화면 상에서 제 1 회전 방향으로서의 시계방향으로 손가락으로 원을 반복하여 그림으로써 선택치를 늘리고, 제 1 회전 방향의 반대 방향인 제 2 회전 방향으로서의 반시계방향으로 손가락으로 원을 반복하여 그림으로써 선택치를 줄이는 터치 제스처 조작을 들 수 있다.
터치 패널(20)에 눈을 향하게 하지 않고서 손가락으로 원을 그리면, 원을 그릴 의도이더라도, 원의 위치가 조금씩 어긋나, 이동량 M[pixel]에 대한 각도 변화량 H[pixel]가 변화하기 때문에 미리 결정된 조작량을 얻기 위한 조정을 하기 어려워진다. 그래서, 제스처 보정부(18)는, 제스처 조작 기억부(17)에 축적되어 있는, 현시점으로부터 소정 시간 거슬러 올라간 과거의 시점까지의 기간에 있어서의 터치 궤적 정보를 이용하여, 최소제곱법과 같은 피팅 방식에 의해 원의 형상을 추측하고, 원의 위치를 갱신한다. 원의 위치를 갱신 후, 제스처 보정부(18)는, 전회의 손가락의 접촉점과 원의 중심 위치와 현재의 손가락의 접촉점이 이루는 각도를 계산함으로써, 각도의 변화량을 구한다. 이상에 의해, 도 9에 나타내어지는 바와 같이, 터치 패널(20)의 화면에 눈을 향하게 하지 않고서 원을 반복하여 그리는 터치 제스처 조작을 실현할 수 있다.
제스처 보정부(18)는, 원의 위치를 갱신할 뿐 아니라, 원의 형상이 타원인 경우, 타원의 종횡의 축척을 변경하여 원으로 하는 보정을 행하여 좌표 궤적을 재계산하고, 전회의 손가락의 접촉점과 원의 중심 위치와 현재의 손가락의 접촉점이 이루는 각도를 계산하더라도 좋다.
제스처 보정부(18)가 원의 위치를 보정하기 전에 대해서는, 조작 판정부(14)가 원을 그리는 터치 제스처 조작을 판정한다. 이때의, 원의 초기 위치는, 터치 패널(20)의 화면의 중심 위치로 하더라도 좋고, 또는, 소정 시간분의 궤적으로부터 최소제곱법 등으로 구하더라도 좋다.
도 10은 실시의 형태 2와 관련되는 터치 패널 입력 장치(2)에 있어서 터치 패널(20)의 화면을 보지 않고서 행하여지는 터치 제스처 조작의 일례를 나타내는 도면이다. 조작 판정부(14)가 원을 그리는 터치 제스처 조작을 판정하기 시작하는 트리거가 되는 조작을, 도 10의 좌측에 나타내는 바와 같은, 복수의 손가락 끝에 의한 복수의 접촉점의 터치로서, 접촉하는 손가락의 수가 미리 결정된 수보다 적어진 경우로 하더라도 좋다. 예컨대, 도 10과 같이, 3점으로 터치 후, 접촉점이 1점이 되었을 때, 조작 판정부(14)는, 3점의 중심 위치(중심점)를 중심으로 하여, 원을 그리는 터치 제스처 조작을 판정하기 시작하고, 이후 이력이 미리 결정된 데이터의 양 이상 축적되었을 때에, 제스처 보정부(18)에 의해, 원의 위치의 갱신에 의한 회전량의 보정을 행하더라도 좋다.
화면을 보지 않고서 행함으로써 의도대로 되지 않는 터치 제스처 조작의 또 하나의 예로서, 다점(多點)의 핀치, 회전, 평행 이동의 터치 제스처 조작을 들 수 있다. 도 11은 실시의 형태 2와 관련되는 터치 패널 입력 장치(2)에 있어서 카메라의 방향, 각도, 확축량에 대하여 수중의 터치 패널 입력 장치(2)를 보지 않고서 조정하는 장면을 나타내는 도면이다. 도 11은 카메라의 방향 및 각도, 확축량에 대하여 수중의 터치 패널을 보지 않고서 조정하는 장면을 설명하고 있다.
도 11에 있어서, 카메라 영상 표시 기기(401)는, 카메라에 의해 촬영된 영상을 표시한다. 이것에 더하여, 카메라 영상 표시 기기(401)에는, 통지부(15)가 현재의 카메라 조작 상황(방향, 확대율, 회전각)을 중첩하여 표시한다.
수중 조작 화면(402)은, 조작 정보 입력부(11)에 터치 정보를 주고, 시선 있음 상태와 시선 없음 상태의 화면의 표시를 전환하고, 조작 판정부(14)에 의해 판정된 터치 제스처 조작에 따라 화면의 표시 내용을 변경한다.
시선 있음 상태의 조작 모드에 있어서, 화면(403)은, 시선 유무 판정부(12)가 시선 있음 상태로 판정한 경우의 화면이고, 매뉴얼을 표시하고, 하이퍼링크를 탭하여 화면을 전환하는 터치 제스처 조작이 가능하다.
시선 없음 상태의 조작 모드에 있어서, 화면(404)은, 시선 유무 판정부(12)가 시선 없음 상태로 판정한 경우의 화면이다.
시선 유무 판정부(12)는, 3점 이상의 터치 조작을 판정하고, 손가락이 모두 떨어지는 조작이 있고, 미리 결정된 시간이 경과하면, 시선 있음 상태로 판정한다. 조작 판정부(14)는, 3점 이상 터치 조작 후, 확축, 이동, 회전의 터치 제스처 조작이 있는지 판정하고, 각각의 조작량에 따라, 확축 때 카메라 영상(407), 이동 때 카메라 영상(408), 회전 때 카메라 영상(409)과 같은 카메라의 방향이나 확축량을 바꾼 영상을 표시한다.
화면을 보지 않고서 행함으로써 의도대로 되지 않는 터치 제스처 조작의 또 하나의 예로서, 터치 패널을 강하게 누르는 조작이 있다. 예컨대, 시선 유무 판정부가 길게 누르기에 의해 시선 없음 상태로 판정하는 조작을 하는 경우, 화면을 보지 않고서 길게 누르면 손가락을 강하게 누르는 경향이 나타난다.
손가락을 강하게 누르면 터치하고 있는 위치가 손가락 끝으로부터 손가락의 안쪽의 방향으로 조금 이동하는 경향이 있다. 그래서, 제스처 보정부(18)는, 표 2의 터치 제스처 조작의 이력 정보로부터, 손가락 위치의 이동량이 일정 이상 변화하지 않거나, 누르는 압력이 약해짐으로써 이동량이 일정 이하가 되는 것을 이용하여 길게 누르기를 판단한다.
상기 제스처 보정부(18)의 보정 처리는, 길게 누르기 뿐만 아니라, 탭이나 2점 조작의 경우에도 적용하는 것이 가능하다.
화면을 보지 않고서 확축, 이동, 회전의 터치 제스처 조작을 행하는 경우, 확대할 의도이더라도, 터치 제스처 조작이 회전 조작으로 잘못 인식되는 경우가 있다. 그래서, 제스처 보정부(18)는, 제스처 조작 기억부(17)에 축적되어 있는 현시점으로부터 소정 시간 거슬러 올라간 과거의 시점까지의 기간에 있어서의 3점 이상의 접촉점의 이동량의 합계치, 2점의 접촉점 사이의 거리의 변화량의 합계치, 및 회전 방향의 변화량의 합계치를 구하고, 이들 변화량의 합계치 중 가장 큰 합계치의 조작을 의도하고 있는 조작으로서 출력한다. 이상에 의해, 화면을 보지 않고서 터치 제스처 조작했을 때에도, 의도대로의 조작을 할 수 있게 된다.
《2-3》 효과
이상에 설명한 바와 같이, 실시의 형태 2에 있어서는, 조작 판정부(14)에서 인식한 제스처의 이력을 취하고, 보정함으로써, 화면을 보지 않고서 조작하는 것에 의한 의도하지 않은 조작을 막을 수 있고, 또한, 보다 복잡한 터치 제스처 조작이더라도, 화면을 보지 않고서 터치 제스처 조작할 수 있게 된다.
《3》 실시의 형태 3
《3-1》 구성
실시의 형태 1 및 2에 있어서는, 시선 유무 판정부(12)는, 터치 제스처 조작에 근거하는 조작 정보 A0으로부터, 시선 유무 판정(조작 모드 판정)을 행하고 있다. 그러나, 실시의 형태 1 및 2와 관련되는 터치 패널 입력 장치(1, 2)에 있어서는, 시선 유무 판정에 사용하는 조작을, 본래의 정보 입력을 위한 터치 제스처 조작으로서 사용할 수 없다. 그래서, 실시의 형태 3에 있어서는, 터치 제스처 조작에 근거하는 조작 정보 A0으로부터 시선 유무 판정(조작 모드 판정)을 행하는 대신에, 유저의 얼굴을 촬영하는 촬영 장치로서의 카메라를 구비하고, 유저의 얼굴의 카메라 화상으로부터, 시선 유무 판정을 행한다.
도 12는 실시의 형태 3과 관련되는 터치 패널 입력 장치(3)의 개략 구성을 나타내는 기능 블록도이다. 도 12에 있어서, 도 1에 나타내어지는 구성 요소와 동일한 또는 대응하는 구성 요소에는, 도 1에 나타내어지는 부호와 동일한 부호가 부여된다. 터치 패널 입력 장치(3)는, 터치 패널(20)과, 터치 제스처 판정 장치(10b)를 구비한다. 터치 제스처 판정 장치(10b)는, 실시의 형태 3과 관련되는 터치 제스처 판정 방법 및 실시의 형태 3과 관련되는 터치 제스처 판정 프로그램을 실행할 수 있는 장치이다. 실시의 형태 3에 있어서의 터치 제스처 판정 장치(10b)는, 시선 유무 판정부(12b)가 카메라 화상 입력부(19)를 통해 카메라(34)로부터 취득한 유저의 얼굴의 카메라 화상으로부터, 시선 유무 판정(조작 모드 판정)을 행하는 점이, 실시의 형태 1에 있어서의 터치 제스처 판정 장치(10)와 상위하다. 이 점을 제외하고, 실시의 형태 3은, 실시의 형태 1과 동일하다. 또한, 실시의 형태 3에 있어서의 카메라 화상 입력부(19) 및 시선 유무 판정부(12b)를, 실시의 형태 2와 관련되는 터치 패널 입력 장치(2)에 적용할 수도 있다.
카메라 화상 입력부(19)는, 카메라(34)가 유저의 얼굴을 촬영함으로써 취득한 카메라 화상(화상 데이터)을 받는다. 조작 모드 판정부로서의 시선 유무 판정부(12b)는, 카메라 화상 입력부(19)로부터 유저의 얼굴의 카메라 화상을 받고, 얼굴 전체 및 눈의 화상 데이터를 추출하는 화상 처리를 행하고, 얼굴의 방향 및 눈의 시선의 방향을 검출한다. 눈이 터치 패널(20)의 화면을 향하고 있으면 시선 있음 상태의 조작 모드라고 판정하고, 눈이 터치 패널(20)의 화면을 향하고 있지 않으면 시선 없음 상태의 조작 모드라고 판정한다.
도 13은 실시의 형태 3과 관련되는 터치 패널 입력 장치(3)의 H/W 구성의 일례를 나타내는 도면이다. 도 13에 있어서, 도 2에 나타내어지는 구성 요소와 동일한 또는 대응하는 구성 요소에는, 도 2에 나타내어지는 부호와 동일한 부호가 부여된다. 실시의 형태 3과 관련되는 터치 패널 입력 장치(3)의 H/W 구성은, 카메라(34)를 구비하고 있는 점 및 메모리(32b)가 저장하고 있는 터치 제스처 판정 프로그램의 점에 있어서, 실시의 형태 1과 관련되는 터치 패널 입력 장치(1)의 H/W 구성과 상위하다. 이들 점을 제외하고, 실시의 형태 3의 H/W 구성은, 실시의 형태 1의 것과 동일하다.
카메라(34)는, 카메라 촬영으로 취득된 유저의 얼굴의 카메라 화상(화상 데이터)을 기억부로서의 메모리(32b)에 기억시키고, 프로세서(31)는, 카메라 화상 입력부(19)의 처리에 있어서, 메모리(32b)로부터 카메라 화상을 취득하고, 시선 유무 판정부(12b)에서 화상 처리를 행한다.
《3-2》 동작
도 14는 실시의 형태 3과 관련되는 터치 패널 입력 장치(3)에 있어서의 터치 제스처 판정 장치(10b)의 동작(터치 제스처 판정 방법)을 나타내는 플로차트이다. 도 14에 있어서, 도 4에 나타내어지는 처리 스텝과 동일한 또는 대응하는 처리 스텝에는, 도 4에 나타내어지는 스텝 번호와 동일한 스텝 번호가 부여된다. 실시의 형태 3에 있어서의 터치 제스처 판정 장치(10b)의 동작은, 시선 유무 판정부(12b)가, 카메라 화상 입력부(19)를 통해 취득한 유저의 얼굴의 카메라 화상으로부터 시선 유무 판정을 행하는 점(스텝 ST301, ST302) 및 카메라 화상에 근거하는 시선 유무 판정 후에 터치 제스처 조작에 의한 조작 정보 A0을 취득하는 점(스텝 ST303)에 있어서, 실시의 형태 1에 있어서의 터치 제스처 판정 장치(10)의 동작과 상위하다. 이들 점을 제외하고, 실시의 형태 3과 관련되는 터치 패널 입력 장치(3)의 동작은, 실시의 형태 1의 것과 동일하다. 따라서, 이하에, 실시의 형태 1의 동작과 상이한 동작을 설명한다.
도 14의 스텝 ST301에 있어서, 카메라 화상 입력부(19)는, 카메라(34)로부터 유저의 얼굴의 화상 데이터를 받고, 메모리(32b)에 이 화상 데이터를 기억시킨다.
도 15(a) 및 도 15(b)는 실시의 형태 3과 관련되는 터치 패널 입력 장치(3)에 있어서의 시선 있음 상태 및 시선 없음 상태의 판정 방법을 나타내는 도면이다. 스텝 ST302에 있어서, 시선 유무 판정부(12b)는, 도 15(a)에 나타내어지는 바와 같은 카메라 화상 입력부(19)가 메모리(32b)에 기억시킨 유저의 얼굴의 화상 데이터를 받고, 얼굴의 방향 및 시선을 추출하는 화상 처리를 행하고, 도 15(b)의 좌측에 나타내어지는 바와 같이, 시선이 터치 패널(20)의 화면으로 향하는 방향을 향하고 있으면, 시선 있음 상태로 판정한다. 또한, 시선 유무 판정부(12b)는, 도 15(b)의 우측에 나타내어지는 바와 같이, 시선이 터치 패널(20)의 화면으로 향하는 방향을 향하고 있지 않으면, 시선 없음 상태로 판정한다.
얼굴의 방향은, 예컨대, Haar 특징량에 근거하는 Cascade 식별기에 의해 검출 가능하고, 시선은, 예컨대, 얼굴의 파츠인 눈의 부분을 추출하고, 눈의 화상에 대하여 에지 필터를 적용하고, 홍채의 외경을 추출하고, 타원을 피팅하여 동공의 위치를 추측함으로써 검출 가능하다. 얼굴의 방향 및 시선의 검출 방법은, 이들 예로 한정되지 않고, 다른 방법을 채용하더라도 좋다.
《3-3》 효과
이상에 설명한 바와 같이, 실시의 형태 3과 관련되는 터치 패널 입력 장치(3), 터치 제스처 판정 장치(10b), 터치 제스처 판정 방법, 및 터치 제스처 판정 프로그램에 있어서는, 카메라(34)의 카메라 화상을 이용하여 유저의 시선이 터치 패널(20)의 화면으로 향하여져 있는 시선 있음 상태인지, 시선 있음 상태 이외의 상태인 시선 없음 상태인지를 판정함으로써, 유저가 조작 모드의 전환을 위한 터치 제스처 조작을 행하지 않더라도, 시선 유무 판정(조작 모드 판정)을 용이하고 정확하게 행할 수 있다.
또한, 실시의 형태 3과 관련되는 터치 패널 입력 장치(3), 터치 제스처 판정 장치(10b), 터치 제스처 판정 방법, 및 터치 제스처 판정 프로그램에 의하면, 시선 유무 판정을 카메라 화상에 근거하여 행하므로, 본래의 정보 입력을 위한 터치 제스처 조작에 있어서, 사용이 제한되는 조작을 없게 할 수 있다.
또한, 실시의 형태 3과 관련되는 터치 패널 입력 장치(3)를 탑재한 휴대 단말 장치에서는, 기기를 점검하는 경우 또는 멀리 떨어진 위치에 설치된 대화면의 표시 장치를 보는 경우에 있어서, 터치 패널(20)을 보고 있을 때(시선 있음 상태)는, 통상의 표시 부품을 이용한 버튼 조작에 의한 터치 제스처 조작을 행할 수 있고, 터치 패널(20)을 보고 있지 않을 때(시선 없음 상태)에는, 터치 패널(20)의 화면 전체를 터치 제스처 조작을 접수하는 조작 유효 영역으로 할 수 있다. 이 때문에, 터치 패널(20)을 보고 있지 않을 때는, 휴대 단말 장치를, 기기의 점검에, 또는, 먼 곳에 설치된 대화면의 표시 장치의 조작 기기로서 사용할 수 있다.
상기 실시의 형태 1 내지 3은, 본 발명의 예시이고, 본 발명의 범위 내에 있어서, 다양한 변경이 가능하다.
1, 2, 3 : 터치 패널 입력 장치
10, 10a, 10b : 터치 제스처 판정 장치
11 : 조작 정보 입력부
12, 12b : 시선 유무 판정부(조작 모드 판정부)
13 : 조작 모드 전환부
14 : 조작 판정부
15 : 통지부
16 : 표시 제어부
17 : 제스처 조작 기억부
18 : 제스처 보정부
19 : 카메라 화상 입력부
20 : 터치 패널
21 : 조작 패널부
22 : 표시 패널부
31 : 프로세서
32, 32b : 메모리
33 : 스피커
34 : 카메라
141 : 표시 부품 제스처 판정부
142 : 화면 전체 제스처 판정부
A0 : 조작 정보
A1 : 입력 정보
A2 : 시선 판정 정보
A3 : 명령 정보
A4 : 조작 판정 정보
A5 : 통지 정보
A6 : 화상 신호
A7, A8 : 선택치(출력 신호)
A9 : 카메라 화상
10, 10a, 10b : 터치 제스처 판정 장치
11 : 조작 정보 입력부
12, 12b : 시선 유무 판정부(조작 모드 판정부)
13 : 조작 모드 전환부
14 : 조작 판정부
15 : 통지부
16 : 표시 제어부
17 : 제스처 조작 기억부
18 : 제스처 보정부
19 : 카메라 화상 입력부
20 : 터치 패널
21 : 조작 패널부
22 : 표시 패널부
31 : 프로세서
32, 32b : 메모리
33 : 스피커
34 : 카메라
141 : 표시 부품 제스처 판정부
142 : 화면 전체 제스처 판정부
A0 : 조작 정보
A1 : 입력 정보
A2 : 시선 판정 정보
A3 : 명령 정보
A4 : 조작 판정 정보
A5 : 통지 정보
A6 : 화상 신호
A7, A8 : 선택치(출력 신호)
A9 : 카메라 화상
Claims (21)
- 화면에 조작용 화상을 표시하고, 유저의 터치 제스처 조작을 접수하고, 상기 터치 제스처 조작에 대응하는 조작 정보를 출력하는 터치 패널과,
상기 조작 정보를 받고, 상기 조작 정보에 근거하는 선택치를 생성하는 터치 제스처 판정 장치
를 갖는 터치 패널 입력 장치로서,
상기 터치 제스처 판정 장치는,
상기 터치 제스처 조작에 대응하는 입력 정보를 받고, 상기 입력 정보에 근거하여, 상기 터치 제스처 조작이, 상기 유저의 시선이 상기 화면으로 향하여져 있는 시선 있음 상태에 있어서의 조작 또는 상기 유저의 시선이 상기 화면으로 향하여져 있지 않은 시선 없음 상태에 있어서의 조작 중 어느 것인지를 판정하고, 상기 판정의 결과를 나타내는 시선 판정 정보를 출력하는 시선 유무 판정부와,
상기 시선 판정 정보에 근거하는 명령 정보를 출력하는 조작 모드 전환부와,
상기 명령 정보에 따르는 판정 방법으로, 상기 조작 정보에 근거하는 상기 선택치를 생성하는 조작 판정부와,
상기 터치 패널에, 상기 조작용 화상으로서 상기 명령 정보에 따르는 화상을 표시시키는 표시 제어부
를 갖고,
상기 조작 판정부는,
상기 시선 있음 상태일 때에, 상기 터치 패널에 상기 조작용 화상으로서 표시된 표시 부품에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는 표시 부품 제스처 판정부와,
상기 시선 없음 상태일 때에, 상기 터치 패널의 화면 전체에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는 화면 전체 제스처 판정부
를 갖는
것을 특징으로 하는 터치 패널 입력 장치.
- 제 1 항에 있어서,
상기 터치 제스처 판정 장치는, 상기 명령 정보에 따르는 통지 내용의 통지를 발하거나 또는 통지 신호를 출력하는 통지부를 더 갖는 것을 특징으로 하는 터치 패널 입력 장치.
- 제 1 항 또는 제 2 항에 있어서,
상기 시선 유무 판정부는, 상기 터치 제스처 조작으로서, 상기 터치 패널을 미리 결정된 제 1 임계치 이상의 시간 계속 누르는 길게 누르기 조작, 상기 터치 패널에 복수의 손가락을 접촉시키는 복수점 조작, 및 상기 터치 패널에 손바닥을 접촉시키는 손바닥 조작 중 어느 하나가 발생한 경우에, 상기 유저의 시선이 상기 시선 없음 상태라고 판정하는 터치 패널 입력 장치.
- 제 1 항 또는 제 2 항에 있어서,
상기 시선 유무 판정부는, 상기 터치 제스처 조작으로서, 상기 터치 패널의 표시 내용을 변화시키지 않는 조작을 미리 결정된 제 2 임계치 이상의 시간 계속한 경우에, 상기 유저의 시선이 상기 시선 없음 상태라고 판정하는 터치 패널 입력 장치.
- 제 1 항 또는 제 2 항에 있어서,
상기 시선 유무 판정부는, 상기 터치 패널의 특정한 영역이, 미리 결정된 방향으로, 상기 특정한 영역으로부터 빠져나오지 않고서 덧써지는 조작이 행하여진 경우에, 상기 유저의 시선이 상기 시선 없음 상태라고 판정하는 터치 패널 입력 장치.
- 제 1 항 또는 제 2 항에 있어서,
상기 시선 유무 판정부는, 상기 터치 패널의 화면 상에서 특정한 궤적이 그려진 경우에, 상기 유저의 시선이 상기 시선 없음 상태라고 판정하는 터치 패널 입력 장치.
- 제 1 항 또는 제 2 항에 있어서,
상기 시선 유무 판정부는, 상기 터치 패널의 화면 상에서 미리 결정된 제 3 임계치 이상의 시간 조작이 없는 경우에, 상기 유저의 시선이 상기 시선 없음 상태라고 판정하는 터치 패널 입력 장치.
- 제 1 항 또는 제 2 항에 있어서,
상기 시선 유무 판정부에 의해 상기 시선 없음 상태로 판정된 경우에, 상기 조작 판정부는, 상기 터치 패널의 화면의 미리 결정된 제 1 단부 쪽의 영역을 터치하면 상기 선택치를 늘리고, 상기 터치 패널의 화면의 상기 제 1 단부 쪽의 반대쪽인 제 2 단부 쪽의 영역을 터치하면 상기 선택치를 줄이는 것을 특징으로 하는 터치 패널 입력 장치.
- 제 1 항 또는 제 2 항에 있어서,
상기 시선 유무 판정부에 의해 상기 시선 없음 상태로 판정된 경우에, 상기 조작 판정부는, 상기 터치 패널의 화면 상에 있어서, 상기 화면을 덧쓰는 조작을 행한 위치에 따른 값을, 상기 선택치로서 선택하는 것을 특징으로 하는 터치 패널 입력 장치.
- 제 1 항 또는 제 2 항에 있어서,
상기 시선 유무 판정부에 의해 상기 시선 없음 상태로 판정된 경우에, 상기 조작 판정부는, 상기 터치 패널의 화면 상을 복수의 접촉점으로 제 1 회전 방향으로 회전하는 조작을 행함으로써 상기 선택치를 늘리고, 상기 제 1 회전 방향의 반대 방향인 제 2 회전 방향으로 회전하는 조작을 행함으로써 상기 선택치를 줄이는 것을 특징으로 하는 터치 패널 입력 장치.
- 제 1 항 또는 제 2 항에 있어서,
상기 터치 제스처 판정 장치는,
상기 터치 제스처 조작의 이력 정보를 기억하는 제스처 조작 기억부와,
상기 제스처 조작 기억부가 기억하는 상기 이력 정보를 기초로, 상기 조작 판정부에 의한 상기 터치 제스처 조작의 인식을 보정하는 제스처 보정부
를 더 갖는
것을 특징으로 하는 터치 패널 입력 장치.
- 제 11 항에 있어서,
상기 시선 유무 판정부에 의해 상기 시선 없음 상태로 판정된 경우에,
상기 조작 판정부는, 상기 터치 패널의 화면 상을 복수의 접촉점으로 제 1 회전 방향으로 회전하는 조작을 행함으로써 상기 선택치를 늘리고, 상기 제 1 회전 방향의 반대 방향인 제 2 회전 방향으로 회전하는 조작을 행함으로써 상기 선택치를 줄이고,
상기 제스처 보정부는, 상기 회전하는 조작으로 그려진 원의 위치 및 궤적을 보정하는
것을 특징으로 하는 터치 패널 입력 장치.
- 제 1 항에 있어서,
상기 터치 패널의 화면 상에 있어서 1개의 접촉점을 이동시켜 원을 반복하여 그리는 조작의, 상기 접촉점의 초기 위치는, 복수의 접촉점의 중심점(重心點) 또는 중심점(中心點)인 것을 특징으로 하는 터치 패널 입력 장치.
- 제 11 항에 있어서,
상기 시선 유무 판정부에 의해 상기 시선 없음 상태로 판정된 경우에, 상기 제스처 보정부는, 상기 터치 패널의 화면 상에서 입력된 3점 이상의 접촉점의 이동량, 2점의 접촉점 사이의 거리의 변화량으로 나타내어지는 확축량(擴縮量), 및 회전의 각도를, 현시점으로부터 미리 결정된 시간 거슬러 올라간 시점까지의 기간에 대하여 취득하고, 상기 접촉점의 이동량의 합계치, 상기 접촉점 사이의 거리의 변화량의 합계치, 및 상기 회전의 회전 방향의 변화량의 합계치를 구하고, 이들 변화량의 합계치 중 가장 큰 합계치의 조작을 의도하고 있는 조작으로서 출력하는 것을 특징으로 하는 터치 패널 입력 장치.
- 제 8 항에 있어서,
상기 시선 유무 판정부에 의해 상기 시선 있음 상태로 판정된 경우에, 상기 터치 패널의 화면에 대한 복수 점의 터치 조작이 발생하면, 상기 조작 판정부는, 상기 선택치를 확정하는 것을 특징으로 하는 터치 패널 입력 장치.
- 제 10 항에 있어서,
상기 시선 유무 판정부에 의해 상기 시선 없음 상태로 판정된 경우에, 상기 터치 패널의 화면에 대한 더블탭이 발생하면, 상기 조작 판정부는, 상기 선택치를 확정하는 것을 특징으로 하는 터치 패널 입력 장치.
- 제 8 항에 있어서,
상기 시선 유무 판정부에 의해 상기 시선 없음 상태로 판정된 경우에, 상기 터치 패널의 화면에 대한 조작이 미리 결정된 시간 없으면, 상기 조작 판정부는, 상기 선택치를 확정하는 것을 특징으로 하는 터치 패널 입력 장치.
- 화면에 조작용 화상을 표시하고, 유저의 터치 제스처 조작을 접수하고, 상기 터치 제스처 조작에 대응하는 조작 정보를 출력하는 터치 패널로부터, 상기 조작 정보를 받고, 상기 조작 정보에 근거하는 선택치를 생성하는 터치 제스처 판정 장치로서,
상기 터치 제스처 조작에 대응하는 입력 정보를 받고, 상기 입력 정보에 근거하여, 상기 터치 제스처 조작이, 상기 유저의 시선이 상기 화면으로 향하여져 있는 시선 있음 상태에 있어서의 조작 또는 상기 유저의 시선이 상기 화면으로 향하여져 있지 않은 시선 없음 상태에 있어서의 조작 중 어느 것인지를 판정하고, 상기 판정의 결과를 나타내는 시선 판정 정보를 출력하는 시선 유무 판정부와,
상기 시선 판정 정보에 근거하는 명령 정보를 출력하는 조작 모드 전환부와,
상기 명령 정보에 따르는 판정 방법으로, 상기 조작 정보에 근거하는 상기 선택치를 생성하는 조작 판정부와,
상기 터치 패널에, 상기 조작용 화상으로서 상기 명령 정보에 따르는 화상을 표시시키는 표시 제어부
를 갖고,
상기 조작 판정부는,
상기 시선 있음 상태일 때에, 상기 터치 패널에 상기 조작용 화상으로서 표시된 표시 부품에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는 표시 부품 제스처 판정부와,
상기 시선 없음 상태일 때에, 상기 터치 패널의 화면 전체에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는 화면 전체 제스처 판정부
를 갖는
것을 특징으로 하는 터치 제스처 판정 장치.
- 화면에 조작용 화상을 표시하고, 유저의 터치 제스처 조작을 접수하고, 상기 터치 제스처 조작에 대응하는 조작 정보를 출력하는 터치 패널로부터, 상기 조작 정보를 받고, 상기 조작 정보에 근거하는 선택치를 생성하는 터치 제스처 판정 방법으로서,
상기 터치 제스처 조작에 대응하는 입력 정보에 근거하여, 상기 터치 제스처 조작이, 상기 유저의 시선이 상기 화면으로 향하여져 있는 시선 있음 상태에 있어서의 조작 또는 상기 유저의 시선이 상기 화면으로 향하여져 있지 않은 시선 없음 상태에 있어서의 조작 중 어느 것인지를 판정하고, 상기 판정의 결과를 나타내는 시선 판정 정보를 출력하는 시선 유무 판정 스텝과,
상기 시선 판정 정보에 근거하는 명령 정보에 따르는 판정 방법으로, 상기 조작 정보에 근거하는 상기 선택치를 생성하는 조작 판정 스텝과,
상기 터치 패널에, 상기 조작용 화상으로서 상기 명령 정보에 따르는 화상을 표시시키는 표시 제어 스텝
을 갖고,
상기 조작 판정 스텝에 있어서, 상기 시선 있음 상태일 때에, 상기 터치 패널에 상기 조작용 화상으로서 표시된 표시 부품에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하고, 상기 시선 없음 상태일 때에, 상기 터치 패널의 화면 전체에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는
것을 특징으로 하는 터치 제스처 판정 방법.
- 컴퓨터에,
화면에 조작용 화상을 표시하고, 유저의 터치 제스처 조작을 접수하고, 상기 터치 제스처 조작에 대응하는 조작 정보를 출력하는 터치 패널로부터, 상기 조작 정보를 받고, 상기 조작 정보에 근거하는 선택치를 생성하기 위해,
상기 터치 제스처 조작에 대응하는 입력 정보에 근거하여, 상기 터치 제스처 조작이, 상기 유저의 시선이 상기 화면으로 향하여져 있는 시선 있음 상태에 있어서의 조작 또는 상기 유저의 시선이 상기 화면으로 향하여져 있지 않은 시선 없음 상태에 있어서의 조작 중 어느 것인지를 판정하고, 상기 판정의 결과를 나타내는 시선 판정 정보를 출력하는 시선 유무 판정 처리와,
상기 시선 판정 정보에 근거하는 명령 정보에 따르는 판정 방법으로, 상기 조작 정보에 근거하는 상기 선택치를 생성하는 조작 판정 처리와,
상기 터치 패널에, 상기 조작용 화상으로서 상기 명령 정보에 따르는 화상을 표시시키는 표시 제어 처리
를 실행시키고,
상기 조작 판정 처리에 있어서, 상기 시선 있음 상태일 때에, 상기 터치 패널에 상기 조작용 화상으로서 표시된 표시 부품에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하고, 상기 시선 없음 상태일 때에, 상기 터치 패널의 화면 전체에 대하여 행하여진 터치 제스처 조작에 근거하는 조작 정보로부터 상기 선택치를 결정하는
것을 특징으로 하는, 컴퓨터로 판독 가능한 기록 매체에 저장된 터치 제스처 판정 프로그램. - 삭제
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/088610 WO2018122891A1 (ja) | 2016-12-26 | 2016-12-26 | タッチパネル入力装置、タッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190087510A KR20190087510A (ko) | 2019-07-24 |
| KR102254794B1 true KR102254794B1 (ko) | 2021-05-21 |
Family
ID=59559217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197017714A KR102254794B1 (ko) | 2016-12-26 | 2016-12-26 | 터치 패널 입력 장치, 터치 제스처 판정 장치, 터치 제스처 판정 방법, 및 터치 제스처 판정 프로그램 |
Country Status (5)
| Country | Link |
|---|---|
| JP (1) | JP6177482B1 (ko) |
| KR (1) | KR102254794B1 (ko) |
| CN (1) | CN110114749B (ko) |
| DE (1) | DE112016007545T5 (ko) |
| WO (1) | WO2018122891A1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6952942B2 (ja) * | 2019-09-04 | 2021-10-27 | 三菱電機株式会社 | タッチパネル装置、操作識別方法、及び操作識別プログラム |
| CN111352529B (zh) * | 2020-02-20 | 2022-11-08 | Oppo（重庆）智能科技有限公司 | 触摸事件的上报方法、装置、终端及存储介质 |
| CN113495620A (zh) * | 2020-04-03 | 2021-10-12 | 百度在线网络技术（北京）有限公司 | 一种交互模式的切换方法、装置、电子设备及存储介质 |
| US20230154226A1 (en) * | 2020-05-27 | 2023-05-18 | Mitsubishi Electric Corporation | Gesture detection apparatus and gesture detection method |
| WO2021240668A1 (ja) * | 2020-05-27 | 2021-12-02 | 三菱電機株式会社 | ジェスチャ検出装置およびジェスチャ検出方法 |
| JP7014874B1 (ja) | 2020-09-24 | 2022-02-01 | レノボ・シンガポール・プライベート・リミテッド | 情報処理装置及び情報処理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003240560A (ja) | 2002-02-13 | 2003-08-27 | Alpine Electronics Inc | 視線を用いた画面制御装置 |
| JP2008024070A (ja) | 2006-07-19 | 2008-02-07 | Xanavi Informatics Corp | 車載情報端末 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000231446A (ja) * | 1999-02-10 | 2000-08-22 | Sharp Corp | 表示一体型タブレット装置及びタブレット自動補正プログラムを記憶した記憶媒体 |
| JP2006017478A (ja) * | 2004-06-30 | 2006-01-19 | Xanavi Informatics Corp | ナビゲーション装置 |
| CN101055193A (zh) * | 2006-04-12 | 2007-10-17 | 株式会社日立制作所 | 车载装置的非接触输入操作装置 |
| JP2007302223A (ja) * | 2006-04-12 | 2007-11-22 | Hitachi Ltd | 車載装置の非接触入力操作装置 |
| JP2008195142A (ja) * | 2007-02-09 | 2008-08-28 | Aisin Aw Co Ltd | 車載機器の操作支援装置、操作支援方法 |
| KR101252169B1 (ko) * | 2011-05-27 | 2013-04-05 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
| US20140002376A1 (en) * | 2012-06-29 | 2014-01-02 | Immersion Corporation | Method and apparatus for providing shortcut touch gestures with haptic feedback |
| KR102268045B1 (ko) * | 2014-06-27 | 2021-06-22 | 엘지전자 주식회사 | 쇼 윈도우에 전시된 제품의 제품 정보 제공 장치 및 방법 |
| JP6385173B2 (ja) | 2014-07-15 | 2018-09-05 | 三菱電機株式会社 | エレベータのタッチパネル式行き先階登録操作盤およびエレベータのタッチパネル式行き先階登録操作盤における利用者判定方法 |
| JP6214779B2 (ja) | 2014-09-05 | 2017-10-18 | 三菱電機株式会社 | 車載機器制御システム |
| KR102216944B1 (ko) | 2014-09-23 | 2021-02-18 | 대원정밀공업(주) | 펌핑 디바이스 |
| KR102073222B1 (ko) * | 2014-12-18 | 2020-02-04 | 한국과학기술원 | 사용자 단말 및 이의 햅틱 서비스 제공 방법 |
-
2016
- 2016-12-26 KR KR1020197017714A patent/KR102254794B1/ko active IP Right Grant
- 2016-12-26 JP JP2017522564A patent/JP6177482B1/ja active Active
- 2016-12-26 WO PCT/JP2016/088610 patent/WO2018122891A1/ja active Application Filing
- 2016-12-26 CN CN201680091771.3A patent/CN110114749B/zh active Active
- 2016-12-26 DE DE112016007545.6T patent/DE112016007545T5/de active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003240560A (ja) | 2002-02-13 | 2003-08-27 | Alpine Electronics Inc | 視線を用いた画面制御装置 |
| JP2008024070A (ja) | 2006-07-19 | 2008-02-07 | Xanavi Informatics Corp | 車載情報端末 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110114749A (zh) | 2019-08-09 |
| CN110114749B (zh) | 2022-02-25 |
| DE112016007545T5 (de) | 2019-09-19 |
| JPWO2018122891A1 (ja) | 2018-12-27 |
| KR20190087510A (ko) | 2019-07-24 |
| WO2018122891A1 (ja) | 2018-07-05 |
| JP6177482B1 (ja) | 2017-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102254794B1 (ko) | 터치 패널 입력 장치, 터치 제스처 판정 장치, 터치 제스처 판정 방법, 및 터치 제스처 판정 프로그램 | |
| EP2525271B1 (en) | Method and apparatus for processing input in mobile terminal | |
| JP4275151B2 (ja) | ユーザが調整可能な閾値を用いる赤目補正方法及び装置 | |
| JP6131540B2 (ja) | タブレット端末、操作受付方法および操作受付プログラム | |
| US20090262187A1 (en) | Input device | |
| US9665273B2 (en) | Information processing terminal and method, program, and recording medium | |
| JP2015007946A (ja) | 情報処理装置およびその制御方法、プログラム、記録媒体 | |
| US9298305B2 (en) | Display control apparatus and method | |
| KR20150031986A (ko) | 디스플레이장치 및 그 제어방법 | |
| CN107450820B (zh) | 界面控制方法及移动终端 | |
| JP2014041391A (ja) | タッチパネル装置 | |
| EP2824562A1 (en) | Method and apparatus to reduce display lag of soft keyboard presses | |
| US20200034032A1 (en) | Electronic apparatus, computer-readable non-transitory recording medium, and display control method | |
| US10802620B2 (en) | Information processing apparatus and information processing method | |
| JP6034281B2 (ja) | オブジェクト選択方法、装置及びコンピュータ・プログラム | |
| JP2015176311A (ja) | 端末及び制御方法 | |
| JP2015191241A (ja) | 電子機器及び操作支援プログラム | |
| WO2017215211A1 (zh) | 一种基于具有触摸屏的智能终端的显示图片方法和电子设备 | |
| US11009991B2 (en) | Display control apparatus and control method for the display control apparatus | |
| JP6329373B2 (ja) | 電子機器および電子機器を制御するためのプログラム | |
| JP6206250B2 (ja) | 表示制御装置、画像形成装置およびプログラム | |
| JP6971573B2 (ja) | 電子機器、その制御方法およびプログラム | |
| KR101348763B1 (ko) | 손동작에 의한 인터페이스 조작 장치 및 방법, 그리고 컴퓨터로 읽을 수 있는 기록매체 | |
| US20200033959A1 (en) | Electronic apparatus, computer-readable non-transitory recording medium, and display control method | |
| WO2018167860A1 (ja) | タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |