WO2020202488A1 - 端末装置、プログラム、方法、及びシステム - Google Patents

端末装置、プログラム、方法、及びシステム Download PDF

Info

Publication number
WO2020202488A1
WO2020202488A1 PCT/JP2019/014734 JP2019014734W WO2020202488A1 WO 2020202488 A1 WO2020202488 A1 WO 2020202488A1 JP 2019014734 W JP2019014734 W JP 2019014734W WO 2020202488 A1 WO2020202488 A1 WO 2020202488A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
intention
terminal device
pseudo
input interface
Prior art date
Application number
PCT/JP2019/014734
Other languages
English (en)
French (fr)
Inventor
一喜 森下
賢 成田
Original Assignee
ガンホー・オンライン・エンターテイメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ガンホー・オンライン・エンターテイメント株式会社 filed Critical ガンホー・オンライン・エンターテイメント株式会社
Priority to JP2019518334A priority Critical patent/JP6695004B1/ja
Priority to PCT/JP2019/014734 priority patent/WO2020202488A1/ja
Priority to US16/568,925 priority patent/US10761606B1/en
Publication of WO2020202488A1 publication Critical patent/WO2020202488A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations

Definitions

  • the present disclosure relates to terminal devices, programs, methods, and systems that utilize the detected user's intentions.
  • Non-Patent Document 1 When a human receives an external stimulus, the sensory receptor perceives the stimulus, makes a judgment, designs what to do, and finally contracts and operates peripheral muscles. And, it is generally known that it takes 200 milliseconds even in a situation where there is no load from this stimulation to the movement (Non-Patent Document 1). For example, in the operation of a terminal device represented by a smartphone, since it is operated in a situation where various stimuli are received from other than the terminal device and judgment is required, the instruction is input by receiving some stimulus from the display. It is easily considered that it takes 200 milliseconds or more to give.
  • Non-Patent Document 2 In the input interface, even after the muscles are contracted and the movement is started, it is necessary to perform each task such as movement, positioning, and touch (click) of the finger and mouse, and it takes 200 milliseconds to complete all of them. It is known that it takes up to 1200 milliseconds (Non-Patent Document 2).
  • Patent Document 1 describes that a user's attention area and attention level are measured by a user's brain wave to control the moving direction and speed of the electric wheelchair.
  • a pseudo-input interface configured to allow a pseudo-operation by the user and the user's intention to operate on the pseudo-input interface while being connected by wire or wirelessly can be detected.
  • the memory configured to store a predetermined instruction command, and the instruction command. Regardless of the operation actually performed by the user with respect to the pseudo input interface, the user's operation is specified from the intention information received by the external communication interface, and the process corresponding to the specified operation is executed.
  • a configured processor and a terminal device including the "terminal device" are provided.
  • a pseudo-input interface configured to allow a pseudo-operation by the user and the user's intention to operate on the pseudo-input interface while being connected by wire or wirelessly
  • a computer including an external communication interface for receiving intention information indicating a user's intention detected by the sensor device and a memory configured to store a predetermined instruction instruction from the sensor device. Based on the above, regardless of the operation actually performed by the user with respect to the pseudo input interface, the operation of the user is specified from the intention information received by the external communication interface, and the process corresponding to the specified operation is performed.
  • a program that acts as a processor, configured to run an interface is provided.
  • a pseudo-input interface configured to allow a pseudo-operation by a user and the user's intention to operate on the pseudo-input interface while being connected by wire or wirelessly can be detected.
  • the processor is described in the computer. It is a method performed by executing an instruction instruction, and the operation of the user is specified from the intention information received by the external communication interface regardless of the operation actually performed by the user with respect to the pseudo input interface. A method comprising a step and a step of performing a process corresponding to the identified operation is provided.
  • a system including a detectable sensor device, is provided.
  • a signal indicating the intention of the user to operate the pseudo input interface while being connected by wire or wirelessly to the pseudo input interface configured to allow the user to perform the pseudo operation The user with respect to the pseudo input interface based on the external communication interface that receives the instruction, the memory that stores a predetermined instruction command, and the memory that stores the correspondence between the signal and the intention of the user, and the instruction instruction. Regardless of the operation actually performed by the user, the user's intention information is generated from the received signal and the correspondence relationship stored in the memory, and the user's operation is specified and specified from the generated intention information.
  • a terminal device including a processor configured to perform a process corresponding to the operation performed is provided.
  • terminal devices, programs, methods, and systems that can use information about a user's intentions and intentions to perform operation input more easily than the user actually operates the input interface. Can be provided.
  • FIG. 1 is a diagram conceptually showing processing in a system according to various embodiments of the present disclosure.
  • FIG. 2 is a diagram conceptually showing processing in the system according to the first embodiment of the present disclosure.
  • FIG. 3 is a block diagram showing an example of the configuration of the system 1 according to the first embodiment of the present disclosure.
  • FIG. 4A is a diagram conceptually showing an operation specific table stored in the memory 212 of the electroencephalogram sensor device 200 according to the first embodiment of the present disclosure.
  • FIG. 4B is a diagram conceptually showing a processing specific table stored in the memory 113 of the terminal device 100 according to the first embodiment of the present disclosure.
  • FIG. 5 is a diagram showing a processing sequence executed between the terminal device 100, the electroencephalogram sensor device 200, and the server device 300 according to the first embodiment of the present disclosure.
  • FIG. 6 is a diagram showing a processing flow executed in the terminal device 100 according to the first embodiment of the present disclosure.
  • FIG. 7 is a diagram conceptually showing the processing in the system according to the second embodiment of the present disclosure.
  • FIG. 8A is a diagram conceptually showing an operation specific table stored in the memory 212 of the electroencephalogram sensor device 200 according to the second embodiment of the present disclosure.
  • FIG. 8B is a diagram conceptually showing a processing specific table stored in the memory 113 of the terminal device 100 according to the second embodiment of the present disclosure.
  • FIG. 9 is a diagram conceptually showing the processing in the system according to the third embodiment of the present disclosure.
  • FIG. 10A is a diagram conceptually showing an operation specific table stored in the memory 212 of the electroencephalogram sensor device 200 according to the third embodiment of the present disclosure.
  • FIG. 10B is a diagram conceptually showing a processing specific table stored in the memory 113 of the terminal device 100 according to the third embodiment of the present disclosure.
  • FIG. 1 is a diagram conceptually showing processing in a system according to various embodiments of the present disclosure.
  • the intention to input the operation of the user 11 is detected based on the brain wave detected by the electroencephalogram sensor device 200 attached to the user 11, and the user 11 inputs according to the detection result. Execute the process corresponding to the operation to be tried.
  • an input interface for a user to operate the terminal device is a very important component.
  • the user's intention is detected by brain waves and the terminal device is processed according to the detected intention, it is possible to obtain the user's desired result such as a transition to the screen that the user wants to see. ..
  • the operation feeling is poor.
  • the user's intention is detected by an electroencephalogram, and processing is performed according to the detected intention, while the user who operates the terminal device is "pressed” or “pressed". It is equipped with a pseudo-input interface that makes it possible to perceive that an operation such as "touched” has been performed.
  • the icons 21 and 22 are displayed on the display 111 of the terminal device 100.
  • the icons 21 and 22 are displayed to pseudo-perceive that when the user touches these icons with the indicator body 12, the process assigned to each icon is executed. Therefore, even if the icons 21 and 22 are actually touched, the process is not executed with the contact as a trigger.
  • the electroencephalogram sensor device 200 attached to the user 11 detects the user 11's intention to operate either the icon 21 or 22 displayed on the display 111
  • the information regarding the intention is transmitted to the terminal device 100. ..
  • the terminal device 100 executes the process associated with either the icon 21 or 22. That is, the execution of the process associated with the icon 21 or 22 does not need to detect that the user 11 is actually contacted by the indicator 12, but is performed based on the information regarding the detected intention.
  • the "pseudo-input interface” refers to an input interface in which the operation is not treated as a trigger for executing the process even if an operation such as contact or pressing is performed. Therefore, in FIG. 1, an icon displayed on the display 111 is given as an example of the “pseudo-input interface”.
  • the "pseudo-input interface” is not limited to an icon, but may be another display object displayed on the display 111, the display 111 itself, or a hard key fixedly provided in the housing of the terminal device 100. Good.
  • the "pseudo-input interface" does not always have to be treated as a trigger even if an operation such as contact or pressing is performed. That is, it may not be treated as a trigger only when the user's intention detection function is turned on according to the mode of the terminal device 100, the function / application being activated, the user's selection, and the like. Therefore, at times other than the above, instead of functioning as a pseudo input interface, it may function as an input interface that becomes a trigger for executing a predetermined process when an operation is received.
  • the configuration diagram 2 of the system 1 according to the first embodiment of the present disclosure is a diagram conceptually showing the processing in the system according to the first embodiment of the present disclosure.
  • the server device 300 starts communication and sends and receives necessary information.
  • the communication with the server device 300 is performed based on the detected intention of the user 11, and it is necessary for the indicator 12 of the user 11 to actually detect the contact with the display 111 and the pressing of the hard key 116. Not in. That is, regardless of whether or not the display 111 is touched or the hard key 116 is pressed, the process corresponding to the detected intention is executed.
  • FIG. 3 is a block diagram showing an example of the configuration of the system 1 according to the first embodiment of the present disclosure.
  • the system 1 includes a terminal device 100 and an electroencephalogram sensor device 200 communicably connected to the terminal device 100 by wire or wirelessly.
  • the terminal device 100 and the electroencephalogram sensor device 200 do not need to include all of the components shown in FIG. 3, and may have a configuration in which some of the components are omitted, or other components may be added. ..
  • An example of the terminal device 100 is a portable terminal device capable of wireless communication represented by a smartphone.
  • portable game machines, feature phones, mobile information terminals, PDA, laptop computers, desktop computers, stationary game machines, music players, printing devices such as multifunction devices and laser printers, machine tools and manufacturing In this embodiment, if the device can input / output information to / from other devices such as an operation device such as a machine, a car navigation system, an in-vehicle device such as an automobile, and other modules, and can be operated and input by a user. It is possible to preferably apply such a system 1.
  • the terminal device 100 includes a display 111, a processor 112, a memory 113, an input interface 114 including a touch sensor 115 and a hard key 116, and a wireless communication processing circuit 118 and an I / O port 119 connected to the antenna. Includes external communication interface 117. Each of these components is then electrically connected to each other via a control line and a data line.
  • the display 111 functions as a display unit that reads out the image information stored in the memory 113 and performs various displays in response to the instruction of the processor 112. Specifically, for example, in the example of FIG. 2, the display 111 displays a title screen that accepts a start operation from the user on the screen immediately after starting the game application. Further, although not particularly shown, when the operation input to the touch sensor 115 or the hard key 116 is received on the title screen, the start screen of the game application is displayed. Further, by making the user perceive that the display 111 can be operated by these displays, the display 111 itself functions as a pseudo input interface.
  • the display 111 is composed of, for example, a liquid crystal display.
  • the processor 112 is composed of a CPU (microcomputer: microcomputer) and functions as a control unit that controls other connected components based on various programs stored in the memory 113.
  • the processor 112 processes an instruction command stored in the memory 113, that is, a program for executing a game application according to the present embodiment or a program for executing an OS.
  • the processor 112 identifies the user's operation from the intention information indicating the user's intention to "input the operation" received from the electroencephalogram sensor device 200, and executes the process corresponding to the specified operation. Further, in some cases, when the processor 112 receives the user's operation input by the input interface 114, the processor 112 may perform a process corresponding to the operation information specified by the operation input.
  • the processor 112 may be composed of a single CPU, but may be composed of a plurality of CPUs. Further, other types of processors such as GPU may be combined as appropriate.
  • the memory 113 includes a RAM, a ROM, or a non-volatile memory (in some cases, an HDD) and functions as a storage unit.
  • the ROM stores instructions and commands for executing the application and OS according to the present embodiment as a program.
  • the RAM is a memory used for writing and reading data while the program stored in the ROM is being processed by the processor 112.
  • the non-volatile memory is a memory in which data is written and read by executing the program, and the data written here is saved even after the execution of the program is completed.
  • the memory 113 stores a processing identification table (FIG. 4B) in which the operation information detected by the electroencephalogram sensor device 200 and the processing content performed by the operation are associated with each other.
  • the input interface 114 includes a touch sensor 115 and a hard key 116, and functions as an input unit for receiving various operation inputs from the user.
  • the touch sensor 115 is used for receiving various operation inputs from the user, such as the operation of the icon displayed on the display 111 and the input of a character string by the user.
  • the touch sensor 115 is arranged so as to cover the display 111, and outputs information on the proximity coordinates and contact coordinates of the indicator 12 (user's finger, stylus, etc.) corresponding to the image data displayed by the display 111.
  • known methods such as a resistance film method, a capacitance coupling method, and an ultrasonic surface acoustic wave method can be used.
  • a known hard key 116 can be appropriately used.
  • a pseudo input interface is provided in order to perform processing based on the electroencephalogram detected by the electroencephalogram sensor device 200. Therefore, it is not always necessary to include the input interface 114.
  • the input interface 114 may be used in combination with the processing based on the electroencephalogram sensor device 200, or the processing based on the input interface 114 may be performed only when the processing based on the electroencephalogram sensor device 200 is not performed. ..
  • the display 111 is made to function as a pseudo input interface.
  • the input interface 114 may also function as a pseudo input interface without using the received operation as a trigger for processing.
  • the external communication interface 117 includes a wireless communication processing circuit 118, an antenna connected to the wireless communication processing device, and an I / O port 119, and functions as a communication unit.
  • the external communication interface 117 transmits and receives programs, user information, drawing information, and the like necessary for executing various applications to and from the server device 300, which is remotely installed and connected via a network.
  • the intention information of the user who inputs the operation is received from the electroencephalogram sensor device 200.
  • the wireless communication processing circuit 118 and the antenna are processed based on a wideband wireless communication system represented by a W-CDMA (Wideband-Code Division Multiple Access) system or an LTE (Long Term Evolution) system, but IEEE802. It is also possible to perform processing based on a method related to narrow band wireless communication such as wireless LAN represented by 11 and Bluetooth (registered trademark).
  • W-CDMA Wideband-Code Division Multiple Access
  • LTE Long Term Evolution
  • the I / O port 119 is connected to the I / O port of an external device connected by wire.
  • the I / O port 119 can adopt a desired connection type such as a serial port, a parallel port, and a USB.
  • various information including intention information is transmitted / received to / from the electroencephalogram sensor device 200, and the transmission / reception is performed by wireless communication via the wireless communication processing circuit 118 and the I / O port 119. It may be performed by any of wired communication via.
  • the sensory receptor perceives the stimulus (recognizes the information displayed on the display 111), makes a judgment, determines the operation input, and finally peripherally. It takes more than 200 milliseconds to contract the muscles and operate them (operation input to the touch sensor 115).
  • the electroencephalogram sensor device 200 includes an electroencephalogram sensor 211 including one or a plurality of electrodes E1 to En, a memory 212, a processor 213, and an external communication interface 214. Each of these components is then electrically connected to each other via a control line and a data line.
  • the electroencephalogram sensor 211 includes one or more electrodes E1 to En. It is known that the brain generally controls each function of the cerebral cortex such as perception, voluntary movement, thinking, and reasoning, and the role played by each part in the cerebral cortex is different. For example, in order to perform operation input of the terminal device 100 with a finger, the functions of the orbitofrontal cortex, the motor cortex, and the primary motor cortex are required. Therefore, the electrodes E1 to En are arranged at positions on the scalp corresponding to these active sites. Regarding the arrangement and number of electrodes E1 to En, the electrode in which the peak observed when the user's brain wave is sampled in advance using the brain wave sensor device 200 and the input interface 114 is operated is most strongly detected. It is also possible to determine by appropriately selecting. The analog signals output from the electrodes E1 to En are appropriately converted into digital signals and used for subsequent processing.
  • the memory 212 includes a RAM, a ROM, a non-volatile memory, and the like, and functions as a storage unit.
  • the ROM stores as a program instruction commands for controlling the electroencephalogram sensor 211 and transmitting / receiving information to / from the terminal device 100 according to the present embodiment.
  • the RAM is a memory used for writing and reading data while the program stored in the ROM is being processed by the processor 213.
  • the non-volatile memory is a memory in which data is written and read by executing the program, and the data written here is saved even after the execution of the program is completed.
  • the memory 212 is associated with the feature points of the brain waves detected when an operation is attempted to the pseudo input interface and the processing contents performed when the feature points are detected.
  • the operation identification table (FIG. 4A) is stored.
  • the processor 213 is composed of a CPU (microcomputer: microcomputer) and functions as a control unit that controls other connected components based on various programs stored in the memory 212.
  • the processor 213 processes a program for executing an instruction instruction stored in the memory 212.
  • the processor 213 refers to the operation specific table with the brain wave signal output from the brain wave sensor 211, determines a coincidence point between the feature points of the brain wave signal sampled in advance, and what kind of operation the user performs. Determine if you were trying to enter the content.
  • the external communication interface 214 functions as a communication unit used for transmitting and receiving information to and from the terminal device 100. Therefore, the external communication interface 214 appropriately includes a wireless communication processing circuit 118, an antenna connected to the wireless communication processing device, and an I / O port 119, corresponding to the external communication interface 117 of the terminal device 100.
  • FIG. 4A is a diagram conceptually showing an operation specific table stored in the memory 212 of the electroencephalogram sensor device 200 according to the first embodiment of the present disclosure. Specifically, the table stores the feature points of the brain wave signal when the pre-sampled user performs each operation input in a pseudo manner, and what kind of pseudo operation the user is trying to perform. Used for judgment. According to FIG. 4A, feature point information and operation content information are stored in association with each operation input ID information. The feature point information is characteristic of each pseudo operation identified from the waveform obtained by sampling the brain wave when the user performs various operation inputs to the display 111 functioning as a pseudo input interface in advance. Information about peaks.
  • the operation content information is information indicating the content of a pseudo operation performed by the user when each feature point information is obtained.
  • the feature points of the electroencephalogram waveform detected by the electroencephalogram sensor 211 are compared with each feature point stored in the operation specific table of FIG. 4A, and match with the feature point information of "T1". If so, the "touch" input is specified as pseudo operation content information. Then, the electroencephalogram sensor device 200 outputs the operation input ID information "O1" corresponding to the "touch” input to the terminal device 100 as intention information.
  • FIG. 4B is a diagram conceptually showing a processing specific table stored in the memory 113 of the terminal device 100 according to the first embodiment of the present disclosure.
  • the table stores the operation input ID information received from the electroencephalogram sensor device 200 as intention information in association with the processing content specified by the operation input ID information.
  • the operation input ID information and the processing contents are stored in association with each processing ID information.
  • the operation input ID information is information that identifies a pseudo operation that the user specified by the electroencephalogram sensor device 200 tries to input.
  • the processing content information is information indicating the processing content executed by the processor 112 based on a predetermined pseudo operation performed by the user on the pseudo input interface.
  • the processor 112 when the operation input ID information "O1" is received from the electroencephalogram sensor device 200, the processor 112 refers to the processing specific table and the processing content associated with the operation input ID information "O1". The information (“transition to the next screen”) is determined, and processing for transitioning to the next screen (communication with the server device 300, drawing processing, etc.) is executed.
  • FIG. 5 is a diagram showing a processing sequence executed between the terminal device 100, the electroencephalogram sensor device 200, and the server device 300 according to the first embodiment of the present disclosure.
  • FIG. 5 is an example of an operation input performed when the game application of “fighting game A” shown in FIG. 2 is started on the terminal device 100 and the title screen is displayed, and the brain wave sensor device 200
  • the sequence of interrupt processing started by detecting the intention to input the operation of the user and transmitting the intention information generated based on the detection by the brain wave sensor device 200 is shown.
  • FIG. 5 shows an example of sending and receiving information to and from the server device 300 by inputting an operation on the title screen of FIG. But this is just one example. That is, the situation to be perceived by the user is not limited to the title screen and may be another situation. Further, a process that does not involve the server device 300 may be performed, or a process that involves another server device or another terminal device may be performed.
  • the terminal device 100 sets the display 111 and the hard key 116 as pseudo input interfaces (S11).
  • the user who perceives it through the display 111 determines whether to touch the display 111 or press the hard key 116. Then, as a result of the determination, the user makes a decision to touch (operate) the display 111 to move to the start screen.
  • the processor 213 of the electroencephalogram sensor device 200 monitors the feature points of the waveform output from the electroencephalogram sensors 211 having electrodes E1 to En at any time (S12).
  • the processor 213 refers to the operation specific table shown in FIG. 4A each time for the obtained feature points, and determines that the obtained feature points match the feature points of the user's operation input sampled in advance. If there is no match, the processor 213 returns to the waveform monitoring process again.
  • the processor 213 refers to the operation content information associated with the matched feature points and specifies the content that the user tried to input.
  • the processor 213 controls to generate intention information including at least "O1" as the operation input ID information, and to transmit the intention information (T11) to the terminal device 100 via the external communication interface 214.
  • the terminal device 100 refers to the process specific table stored in FIG. 4B and starts the process associated with the operation input ID information received as the intention information in advance (S13).
  • the terminal device 100 transmits the user information (T12) stored in the memory 113 to the server device 300.
  • the server device 300 that has received this performs a user authentication process (S14), and when it is authenticated as a legitimate user of the game application of the "fighting game A", the server device 300 is stored in the server device 300.
  • the user's game data (T13) is transmitted to the terminal device 100.
  • the terminal device 100 sequentially receives the game data transmitted from the server device 300 (S15).
  • the terminal device 100 starts the drawing process for displaying the start screen on the display 111 by using the received game data and the drawing information of the start screen stored in the memory 113. (S16).
  • the terminal device 100 executes the processes related to S13 to S16 based on the operation input ID information received as the intention information. That is, even if the user's actual operation on the display 111 or the hard key 116 that functions as the pseudo input interface is completed after the detection of the intention to operate, the terminal device 100 detects the actual operation input. (S111), and the operation information (T111) is not transmitted to the server device 300 by using the actual operation input as a trigger.
  • FIG. 6 is a diagram showing a processing flow executed by the terminal device 100 according to the first embodiment of the present disclosure. Specifically, the processing flow relates to interrupt processing started by receiving intention information from the electroencephalogram sensor device 200.
  • the processor 112 is started by displaying the title screen shown in FIG. 2 on the display 111 and setting the display 111 and the hard key 116 as pseudo input interfaces (S101). Then, the processor 112 determines whether or not the operation input ID information is received as the intention information from the electroencephalogram sensor device 200 via the external communication interface 117 (S102). Then, when the intention information is received, it is specified from the operation input ID information that the pseudo operation that the user is about to perform is a touch on the display 111. Then, the process associated with the pseudo touch operation is executed on the title screen.
  • the processor 112 controls the external communication interface 117 so as to transmit the user information stored in the memory 113 to the server device 300 (S103). Then, the processor 112 controls the server device 300 to authenticate the user and start receiving game data necessary for executing the game application (S104). Next, the processor 112 sequentially starts drawing the next screen (start screen) based on the received game data and the drawing information stored in the memory 113 (S105).
  • the processor 112 executes the processes related to S103 to S105 based on the operation input ID information received as the intention information regardless of the actual presence or absence of these operations. That is, even if the user's actual operation on the display 111 or the hard key 116 that functions as the pseudo input interface is completed after the detection of the intention to operate, the terminal device 100 detects the actual operation input. (S201) is not performed, and the process (S202) of transmitting the operation information to the server device 300 by using the actual operation input as a trigger is not performed.
  • the memory 113 stores a feedback table associated with the feedback to be given for each specified operation input ID. Then, when the operation content is specified by receiving the operation input ID information, the processor 112 refers to the table and determines the feedback according to the specified operation. Examples of feedback include driving a vibration using a vibration motor, lighting an LED, displaying an indicator on a screen, and the like.
  • the processing in the terminal device 100 can be executed by detecting the intention of the user for the operation by the electroencephalogram sensor device 200.
  • the terminal device 100 includes a display 111 and a hard key 116 that function as a pseudo input interface, and although the processing itself is performed based on the intention detected by the electroencephalogram sensor device 200, the user actually uses the terminal. It is possible to give an operation feeling as if the device 100 is being operated.
  • FIG. 7 is a diagram conceptually showing the processing in the system according to the second embodiment of the present disclosure.
  • one or more icons are displayed in at least a part of the area of the display 111.
  • the area where the icons 21 and 22 are displayed functions as a pseudo input interface, and for example, the other area displayed as "fighting game A" does not function as a pseudo input interface and is merely a display area. Make it work.
  • the electroencephalogram sensor device 200 attached to the user 11 detects the user's intention to touch either the icon 21 or the icon 22 that functions as a pseudo input interface with the indicator body 12. Then, when the detection is made, the processing associated with the detection is executed according to the detected user's intention. For example, when the user's intention to touch (so-called short press) the start icon 21 is detected, the terminal device 100 executes the process related to the display of the start screen specified from the intention information. At this time, the execution of the process is performed based on the detected intention of the user 11, and it is not necessary for the indicator 12 of the user 11 to actually touch the icon 21. That is, regardless of whether or not the icons 21 and 22 are operated, the process corresponding to the detected intention is executed.
  • FIG. 8A is a diagram conceptually showing an operation specific table stored in the memory 212 of the electroencephalogram sensor device 200 according to the second embodiment of the present disclosure.
  • the table stores the feature points of the brain wave signal when the pre-sampled user performs each operation input in a pseudo manner, and what kind of pseudo operation the user is trying to perform. Used for judgment.
  • feature point information and operation content information are stored in association with each operation input ID information.
  • the feature point information is information about the characteristic peak identified from the waveform obtained by sampling the brain wave when the user intends to perform each operation for each icon that functions as a pseudo input interface in advance. is there.
  • the operation content information is information indicating the content of a pseudo operation performed by the user when each feature point information is obtained, and what kind of operation was performed on which icon is specified.
  • the feature points of the electroencephalogram waveform detected by the electroencephalogram sensor 211 are compared with each feature point stored in the operation specific table of FIG. 8A, and match with the feature point information of "S1". If so, "touch (short press) on the icon 21" is specified as pseudo operation content information. Then, the electroencephalogram sensor device 200 outputs the operation input ID information “Q1” corresponding to the “touch” input to the terminal device 100 as intention information.
  • FIG. 8B is a diagram conceptually showing a processing specific table stored in the memory 113 of the terminal device 100 according to the second embodiment of the present disclosure.
  • the table stores the operation input ID information received from the electroencephalogram sensor device 200 as intention information in association with the processing content specified by the operation input ID information.
  • the operation input ID information and the processing contents are stored in association with each processing ID information.
  • the operation input ID information is information that identifies a pseudo operation that the user specified by the electroencephalogram sensor device 200 tries to input.
  • the processing content information is information indicating the processing content executed by the processor 112 based on a predetermined pseudo operation performed by the user on the pseudo input interface.
  • the processor 112 when the operation input ID information "Q1" is received from the electroencephalogram sensor device 200, the processor 112 refers to the processing specific table and the processing content associated with the operation input ID information "Q1".
  • the information (“display of start screen”) is determined, and processing for displaying the start screen (communication with the server device 300, drawing processing, etc.) is executed.
  • the processing sequence performed between the terminal device 100, the electroencephalogram sensor device 200, and the server device 300 and the processing flow performed by the processor 112 of the terminal device 100 are not shown.
  • the brain wave sensor device 200 detects the user's intention to operate the icons 21 and 22 to execute a predetermined process.
  • the terminal device 100 actually performs a process of detecting the actual operation input and actually displays the start screen. It is not triggered by the operation input of.
  • the processing in the terminal device 100 can be executed by detecting the intention of the user for the operation by the electroencephalogram sensor device 200.
  • the terminal device 100 displays the icons 21 and 22 that function as pseudo input interfaces, and although the processing itself is performed based on the intention detected by the electroencephalogram sensor device 200, the user actually uses the terminal device. It is possible to give an operation feeling as if the 100 is being operated.
  • FIG. 9 is a diagram conceptually showing the processing in the system according to the third embodiment of the present disclosure.
  • the terminal device 100 includes a hard key 24 including a direction key and a decision key fixedly provided on the surface of the housing, and a hard key 25 including a numeric keypad provided corresponding to the numbers 1 to 0. To be equipped.
  • these hard keys 24 and 25 function as pseudo input interfaces.
  • the display 111 shows the characters ("A" to "G") that have been input so far, as well as a cursor (to the right of "G”) that indicates the position where the character is input next. ing.
  • the electroencephalogram sensor device 200 attached to the user 11 detects the user's intention to press any of the hard keys 24 and 25 that function as the pseudo input interface with the indicator body 12. Then, when the detection is made, the processing associated with the detection is executed according to the detected user's intention. For example, when the user's intention to press the left key of the hard keys 24 is detected, the terminal device 100 executes the process specified from the intention information. At this time, the execution of the process is performed based on the detected intention of the user 11, and it is not necessary to actually press the hard key 24 with the instruction body 12 of the user 11. That is, regardless of whether or not the hard key 24 or 25 is operated, the process corresponding to the detected intention is executed.
  • FIG. 10A is a diagram conceptually showing an operation specific table stored in the memory 212 of the electroencephalogram sensor device 200 according to the third embodiment of the present disclosure.
  • the table stores the feature points of the brain wave signal when the pre-sampled user performs each operation input in a pseudo manner, and what kind of pseudo operation the user is trying to perform. Used for judgment.
  • feature point information and operation content information are stored in association with each operation input ID information.
  • the feature point information was identified from the waveform obtained by sampling the brain waves when the user intended to press any of the hard keys 24 and 25 that function as a pseudo input interface in advance. Information about characteristic peaks.
  • the operation content information is information indicating the content of a pseudo operation performed by the user when each feature point information is obtained, and it is specified which hard key the operation was to be performed on.
  • the feature points of the electroencephalogram waveform detected by the electroencephalogram sensor 211 are compared with each feature point stored in the operation specific table of FIG. 10A, and match with the feature point information of "U1". If so, "up key operation" is specified as pseudo operation content information. Then, the electroencephalogram sensor device 200 outputs the operation input ID information "R1" corresponding to the "up key operation" to the terminal device 100 as intention information.
  • FIG. 10B is a diagram conceptually showing a processing specific table stored in the memory 113 of the terminal device 100 according to the third embodiment of the present disclosure.
  • the table stores the operation input ID information received from the electroencephalogram sensor device 200 as intention information in association with the processing content specified by the operation input ID information.
  • the operation input ID information and the processing content are stored in association with each processing ID information.
  • the operation input ID information is information that identifies a pseudo operation that the user specified by the electroencephalogram sensor device 200 tries to input.
  • the processing content information is information indicating the processing content executed by the processor 112 based on a predetermined pseudo operation performed by the user on the pseudo input interface.
  • the processor 112 when the operation input ID information "R1" is received from the electroencephalogram sensor device 200, the processor 112 refers to the processing specific table and the processing content associated with the operation input ID information "R1". The information (“movement to the top of the cursor”) is determined, and the process of moving the displayed cursor on the display 111 upward to display the information is executed.
  • the processing sequence performed between the terminal device 100, the electroencephalogram sensor device 200, and the server device 300 and the processing flow performed by the processor 112 of the terminal device 100 are not shown.
  • the brain wave sensor device 200 detects the user's intention to operate any one of the hard keys 24 and 25 to execute a predetermined process.
  • the terminal device 100 performs a process of detecting the actual operation input or for displaying the start screen. It is not triggered by the actual operation input.
  • the processing in the terminal device 100 can be executed by detecting the intention of the user for the operation by the electroencephalogram sensor device 200.
  • the terminal device 100 is provided with the hard keys 24 and 25 that function as pseudo input interfaces, so that the processing itself is executed based on the intention detected by the electroencephalogram sensor device 200, but the user actually uses the terminal device. It is possible to give an operation feeling as if the 100 is being operated. In particular, in the case of a hard key, the user can directly feel the click feeling of the key, and a higher operation feeling can be obtained.
  • ⁇ Fourth Embodiment> the case where the brain wave sensor device 200 detects the user's brain wave and compares the pre-sampled user's brain wave with the detected brain wave to identify the user's intention information will be described. did.
  • a signal obtained by performing processing such as A / D conversion on the user's brain waves detected by the electrodes E1 to En is transmitted to the terminal device 100, and the user's intention information is transmitted by the processor 112 of the terminal device 100. Identify.
  • the present embodiment is the same as the configuration, processing, and procedure in the first to third embodiments, except for the points specifically described below. Therefore, detailed description of these matters will be omitted.
  • the operation identification table shown in FIGS. 4A, 8A, and 10A is stored in the memory 113 of the terminal device 100.
  • the intention information (T11) is received in the first to third embodiments, but in the present embodiment, the electroencephalogram signal detected by the electroencephalogram sensor 211 is received. ..
  • the processor 112 refers to the operation identification table stored in the memory 113 to identify the user's intention information.
  • the process based on the intention information is performed as in the first to third embodiments. Subsequent processing is the same as in the first to third embodiments.
  • the processing in the terminal device 100 can be executed by detecting the intention of the user for the operation by the electroencephalogram sensor device 200.
  • the terminal device 100 is provided with the hard keys 24 and 25 that function as pseudo input interfaces, so that the processing itself is executed based on the intention detected by the electroencephalogram sensor device 200, but the user actually uses the terminal device. It is possible to give an operation feeling as if the 100 is being operated.
  • the processes and procedures described herein can be realized not only by those explicitly described in the embodiments, but also by software, hardware or a combination thereof. Specifically, the processes and procedures described in the present specification are realized by implementing logic corresponding to the processes on a medium such as an integrated circuit, a volatile memory, a non-volatile memory, a magnetic disk, or an optical storage. Will be done. In addition, the processes and procedures described in the present specification can be implemented as computer programs and executed by various computers including terminal devices and server devices.
  • Terminal device 200 Brain wave sensor device 300 Server device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

ユーザの意図・意思に関する情報を利用して、ユーザが実際に入力インターフェイスを操作するよりも簡便に操作入力を可能にするための、ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を検出可能なセンサ装置から、前記センサ装置で検出されたユーザの意思を示す意思情報を受信する外部通信インターフェイスと、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、前記外部通信インターフェイスが受信した前記意思情報から前記ユーザの操作を特定し、特定された前記操作に対応する処理を実行するように構成されたプロセッサと、を含む端末装置。

Description

端末装置、プログラム、方法、及びシステム
　本開示は、検出されたユーザの意思を利用した端末装置、プログラム、方法、及びシステムに関する。
　ヒトは、外部から刺激を受けると、感覚受容器でその刺激を知覚し、判断し、なすべきことをデザインし、最終的に末梢の筋肉を収縮させ動作する。そして、一般的に、この刺激から動作まで何ら負荷のない状況でさえ２００ミリ秒の時間を要することが知られていた（非特許文献１）。例えばスマートフォンに代表されるような端末装置の操作においては、端末装置以外からも様々な刺激を受けそれによる判断が必要とされる状況下で操作されるため、ディスプレイから何らかの刺激を受けて指示入力を与えるまでに、２００ミリ秒以上の時間を要することが容易に考えられる。
　また、入力インターフェイスにおいては、筋肉を収縮させ動作を開始してからも、手指やマウスの移動、位置決め、タッチ（クリック）などの各タスクをこなす必要があり、全てを完結させるのに２００ミリ秒～１２００ミリ秒もの時間を要することが知られている（非特許文献２）。
　一方、従来より、ユーザの脳波を検出して、測定された脳波に基づいてユーザの意図を測り、様々な機器を操作し得ることが知られていた。たとえば、特許文献１には、ユーザの脳波によりユーザの注意領域及び注意度を測定し、電動車椅子の移動方向や速度を制御することが記載されている。
特開２００７－２０２８８２号公報
川村仁視ら「『反応時間の筋電図学的研究』　Ｉ」　愛知工業大学研究報告　Ｎｏ．７，３３～４３頁，１９７２年３月３０日発行 駒崎雅信「タッチスクリーンにおける人のポインティング特性に関する研究」　電気通信大学博士論文，２００８年９月
　そこで、上記のような技術を踏まえ、本開示では、様々な実施形態により、ユーザの意図・意思に関する情報を利用して、ユーザが実際に入力インターフェイスを操作するよりも簡便に操作入力が可能な端末装置、プログラム、方法、及びシステムを提供する。
　本開示の一態様によれば、「ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を検出可能なセンサ装置から、前記センサ装置で検出されたユーザの意思を示す意思情報を受信する外部通信インターフェイスと、所定の指示命令を記憶するように構成されたメモリと、前記指示命令に基づいて、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、前記外部通信インターフェイスが受信した前記意思情報から前記ユーザの操作を特定し、特定された前記操作に対応する処理を実行するように構成されたプロセッサと、を含む端末装置」が提供される。
　本開示の一態様によれば、「ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を検出可能なセンサ装置から、前記センサ装置で検出されたユーザの意思を示す意思情報を受信する外部通信インターフェイスと、所定の指示命令を記憶するように構成されたメモリと、を含むコンピュータを、前記指示命令に基づいて、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、前記外部通信インターフェイスが受信した前記意思情報から前記ユーザの操作を特定し、特定された前記操作に対応する処理を実行するように構成されたプロセッサ、として機能させるプログラム」が提供される。
　本開示の一態様によれば、「ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を検出可能なセンサ装置から、前記センサ装置で検出されたユーザの意思を示す意思情報を受信する外部通信インターフェイスと、所定の指示命令を記憶するように構成されたメモリと、を含むコンピュータにおいて、プロセッサが前記指示命令を実行することによりなされる方法であって、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、前記外部通信インターフェイスが受信した前記意思情報から前記ユーザの操作を特定する段階と、特定された前記操作に対応する処理を実行する段階と、を含む方法」が提供される。
　本開示の一態様によれば、「上記のいずれかの端末装置と、前記端末装置に有線又は無線により接続され、かつ前記端末装置の入力インターフェイスに一又は複数の操作入力をするユーザの意思を検出可能なセンサ装置と、を含む、システム」が提供される。
　本開示の一態様によれば、「ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を示す信号を受信する外部通信インターフェイスと、所定の指示命令を記憶するとともに、前記信号と前記ユーザの意思との対応関係を記憶するメモリと、前記指示命令に基づいて、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、受信した前記信号と前記メモリに記憶された前記対応関係とから前記ユーザの意思情報を生成し、生成された前記意思情報から前記ユーザの操作を特定し、特定された前記操作に対応する処理を実行するように構成されたプロセッサと、を含む端末装置」が提供される。
　本開示の様々な実施形態によれば、ユーザの意図・意思に関する情報を利用して、ユーザが実際に入力インターフェイスを操作するよりも簡便に操作入力が可能な端末装置、プログラム、方法、及びシステムを提供することができる。
　なお、上記効果は説明の便宜のための例示的なものであるにすぎず、限定的なものではない。上記効果に加えて、または上記効果に代えて、本開示中に記載されたいかなる効果や当業者であれば明らかな効果を奏することも可能である。
図１は、本開示の様々な実施形態に係るシステムにおける処理を概念的に示す図である。 図２は、本開示の第１実施形態に係るシステムにおける処理を概念的に示す図である。 図３は、本開示の第１実施形態に係るシステム１の構成の例を示すブロック図である。 図４Ａは、本開示の第１実施形態に係る脳波センサ装置２００のメモリ２１２に記憶される操作特定テーブルを概念的に示す図である。 図４Ｂは、本開示の第１実施形態に係る端末装置１００のメモリ１１３に記憶される処理特定テーブルを概念的に示す図である。 図５は、本開示の第１実施形態に係る端末装置１００、脳波センサ装置２００、及びサーバー装置３００との間で実行される処理シーケンスを示す図である。 図６は、本開示の第１実施形態にかかる端末装置１００において実行される処理フローを示す図である。 図７は、本開示の第２実施形態に係るシステムにおける処理を概念的に示す図である。 図８Ａは、本開示の第２実施形態に係る脳波センサ装置２００のメモリ２１２に記憶される操作特定テーブルを概念的に示す図である。 図８Ｂは、本開示の第２実施形態に係る端末装置１００のメモリ１１３に記憶される処理特定テーブルを概念的に示す図である。 図９は、本開示の第３実施形態に係るシステムにおける処理を概念的に示す図である。 図１０Ａは、本開示の第３実施形態に係る脳波センサ装置２００のメモリ２１２に記憶される操作特定テーブルを概念的に示す図である。 図１０Ｂは、本開示の第３実施形態に係る端末装置１００のメモリ１１３に記憶される処理特定テーブルを概念的に示す図である。
　添付図面を参照して本開示の様々な実施形態を説明する。なお、図面における共通する構成要素には同一の参照符号が付されている。
＜本開示に係るシステムの概要＞
　図１は、本開示の様々な実施形態に係るシステムにおける処理を概念的に示す図である。図１によると、当該システムでは、ユーザ１１に取り付けた脳波センサ装置２００により検出した脳波に基づいて、ユーザ１１の操作入力をするという意思を検出し、その検出結果に応じて、ユーザ１１が入力しようとする操作に対応する処理を実行する。
　ここで、一般に、スマートフォンなどに代表される端末装置において、ユーザが端末装置を操作するための入力インターフェイスは、非常に重要な構成要素である。例えば、ユーザの意図を脳波により検出し、その検出された意図に応じて端末装置を処理しさえすれば、ユーザが見たい画面への遷移など、ユーザの所望の結果を得ることは可能である。しかし、その場合、端末装置に対してユーザは何ら操作を行っていないため、ユーザ自らが端末装置を操作している感覚を得づらく、操作感の乏しいものとなる。より充実した操作感を得るためには、ユーザ自らが端末装置の入力インターフェイスを「押した」、「接触した」などの操作を行ったことを知覚することが重要となる。
　そこで、本開示の端末装置においては、ユーザの意図を脳波により検出し、その検出された意図に応じた処理がなされる一方で、端末装置を操作したユーザに対して、「押した」、「接触した」などの操作を行ったことを知覚させることが可能な疑似入力インターフェイスを備える。
　一例として示された図１のシステムでは、端末装置１００のディスプレイ１１１にアイコン２１及び２２を表示させる。当該アイコン２１及び２２は、ユーザがこれらのアイコンに指示体１２で接触すると、各アイコンに割り当てられた処理が実行されることを疑似的に知覚させるために表示される。したがって、実際にアイコン２１及び２２に接触したとしても、当該接触をトリガーとして処理が実行されるわけではない。
　一方で、ユーザ１１に取り付けた脳波センサ装置２００で、ディスプレイ１１１に表示されたアイコン２１又は２２のいずれかを操作するというユーザ１１の意思を検出すると、当該意思に関する情報を端末装置１００に送信する。端末装置１００は、当該情報を受信すると、アイコン２１又は２２のいずれかに対応付けられた処理を実行する。つまり、アイコン２１又は２２に対応付けられた処理の実行は、ユーザ１１が指示体１２によって実際に接触されたことを検出することを要せず、検出された意思に関する情報に基づいて行われる。
　なお、本開示において、「疑似入力インターフェイス」とは、接触や押下などの操作がなされたとしても、当該操作が処理の実行のトリガーとして扱われない入力インターフェイスのことをいう。したがって、図１では、「疑似入力インターフェイス」の例として、ディスプレイ１１１に表示されたアイコンを挙げた。しかし、「疑似入力インターフェイス」は、アイコンに限らず、ディスプレイ１１１に表示された他の表示オブジェクトや、ディスプレイ１１１そのもの、端末装置１００の筐体に固定的に設けられたハードキーなどであってもよい。
　また、「疑似入力インターフェイス」は、常に、接触や押下などの操作がなされても当該操作をトリガーとして扱わないようにする必要はない。すなわち、端末装置１００のモード、起動している機能・アプリケーション、ユーザの選択などに応じて、ユーザの意思検出機能がオンになっているときだけ、トリガーとして扱わないようにすれば良い。したがって、上記以外の時には、疑似入力インターフェイスとして機能するのではなく、操作を受け付けると所定の処理を実行するためのトリガーとなる入力インターフェイスとして機能してもよい。
＜第１実施形態＞
１．本開示の第１実施形態に係るシステム１の構成
　図２は、本開示の第１実施形態に係るシステムにおける処理を概念的に示す図である。図２によると、ユーザ１１に取り付けた脳波センサ装置２００で、疑似入力インターフェイスとして機能するディスプレイ１１１に対する接触、又はハードキー１１６に対する押下をするというユーザ１１の意思を脳波から検出すると、サーバー装置３００との通信を開始し、必要な情報の送受信を行う。このとき、サーバー装置３００との通信は検出されたユーザ１１の意思に基づいて行われており、実際にユーザ１１の指示体１２でディスプレイ１１１に対する接触や、ハードキー１１６に対する押下の検出は必要としていない。つまり、ディスプレイ１１１に対する接触やハードキー１１６に対する押下の有無にかかわらず、検出された意思に対応する処理を実行する。
　図３は、本開示の第１実施形態に係るシステム１の構成の例を示すブロック図である。図３を参照すると、システム１は、端末装置１００と、当該端末装置１００と有線又は無線により通信可能に接続された脳波センサ装置２００とを含む。端末装置１００及び脳波センサ装置２００は、図３に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。
　端末装置１００は、一例としては、スマートフォンに代表される無線通信可能な携帯型の端末装置が挙げられる。しかし、それ以外にも、携帯型ゲーム機、フィーチャーフォン、携帯情報端末、ＰＤＡ、ラップトップパソコン、デスクトップパソコン、据え置き型ゲーム機、音楽プレイヤー、複合機やレーザープリンターなどの印刷装置、工作機械や製造機械などの操作装置、カーナビゲーションシステムや自動車などの車載装置など、他の装置や他のモジュールなどと情報の入出力が可能で、ユーザによる操作入力が可能な装置であれば、本実施形態に係るシステム１を好適に適用することが可能である。
　図３によると、端末装置１００は、ディスプレイ１１１、プロセッサ１１２、メモリ１１３、タッチセンサ１１５及びハードキー１１６を含む入力インターフェイス１１４、並びにアンテナに接続された無線通信処理回路１１８及びＩ／Ｏポート１１９を含む外部通信インターフェイス１１７を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。
　ディスプレイ１１１は、プロセッサ１１２の指示に応じて、メモリ１１３に記憶された画像情報を読み出して各種表示を行う表示部として機能する。具体的には、ディスプレイ１１１は、例えば、図２の例においては、ゲームアプリケーションを起動した直後の画面において、ユーザからのスタート操作を受け付けるタイトル画面を表示する。また、特に図示はしないが、タイトル画面でタッチセンサ１１５又はハードキー１１６に対する操作入力を受け付けた場合には、当該ゲームアプリケーションのスタート画面を表示する。また、これらの表示によって、ディスプレイ１１１に対する操作が可能なことをユーザ１１に知覚させることで、ディスプレイ１１１そのものが疑似入力インターフェイスとして機能する。ディスプレイ１１１は、例えば液晶ディスプレイから構成される。
　プロセッサ１１２は、ＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ１１３に記憶された各種プログラムに基づいて、接続された他の構成要素を制御する制御部として機能する。プロセッサ１１２は、メモリ１１３に記憶された指示命令、すなわち本実施形態に係るゲームアプリケーションを実行するためのプログラムやＯＳを実行するためのプログラムを処理する。具体的には、プロセッサ１１２は、脳波センサ装置２００から受信した「操作入力をする」というユーザの意思を示す意思情報からユーザの操作を特定し、特定される操作に対応する処理を実行する。また、プロセッサ１１２は、場合により、入力インターフェイス１１４によりユーザの操作入力を受け付けると、当該操作入力により特定される操作情報に対応する処理を行ってもよい。なお、プロセッサ１１２は、単一のＣＰＵで構成されても良いが、複数のＣＰＵで構成されても良い。また、ＧＰＵ等、他の種類のプロセッサを適宜組み合わせてもよい。
　メモリ１１３は、ＲＡＭ、ＲＯＭ、又は不揮発性メモリ（場合によっては、ＨＤＤ）を含み、記憶部として機能する。ＲＯＭは、本実施形態に係るアプリケーションやＯＳを実行するための指示命令をプログラムとして記憶する。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ１１２により処理されている間、データの書き込み及び読み込みをするために用いられるメモリである。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。また、メモリ１１３には、脳波センサ装置２００によって検出された操作情報と、その操作によってなされる処理内容とが対応付けられた処理特定テーブル（図４Ｂ）が記憶される。
　入力インターフェイス１１４は、タッチセンサ１１５及びハードキー１１６を含み、ユーザからの様々な操作入力を受け付けるための入力部として機能する。タッチセンサ１１５は、ディスプレイ１１１に表示されたアイコンの操作や、ユーザによる文字列の入力など、ユーザからの各種操作入力の受け付けに利用される。タッチセンサ１１５は、ディスプレイ１１１を被覆するように配置され、ディスプレイ１１１の表示する画像データに対応して、指示体１２（ユーザの指やスタイラス等）の近接座標や接触座標の情報を出力する。タッチセンサ方式としては、抵抗膜方式、静電容量結合方式、超音波表面弾性波方式など、公知の方式を利用することができる。本実施形態においては、ユーザの指示体１２の近接も検出するため、静電容量結合方式のタッチセンサ１１５を用いるのが好ましい。ハードキー１１６には公知のものを適宜利用することができる。
　本実施形態においては、脳波センサ装置２００で検出された脳波に基づいて処理を行うため、疑似入力インターフェイスを備える。したがって、必ずしも入力インターフェイス１１４を備える必要はない。入力インターフェイス１１４を備える場合には、脳波センサ装置２００に基づく処理と併用してもよいし、脳波センサ装置２００に基づく処理がされない場合にのみ、入力インターフェイス１１４に基づく処理を行うようにしてもよい。
　また、本実施形態においては、ディスプレイ１１１を疑似入力インターフェイスとして機能させる。しかし、入力インターフェイス１１４も、場合に応じて、受け付けた操作を処理のトリガーとはせずに、疑似入力インターフェイスとして機能させてもよい。
　外部通信インターフェイス１１７は、無線通信処理回路１１８、及び当該無線通信処理装置に接続されたアンテナ、並びにＩ／Ｏポート１１９を含み、通信部として機能する。外部通信インターフェイス１１７は、遠隔に設置され、ネットワークを介して接続されたサーバー装置３００と、様々なアプリケーションの実行に必要なプログラムや、ユーザ情報、描画情報などの送受信を行う。特に本実施形態では、操作入力をするユーザの意思情報を脳波センサ装置２００から受信する。
　無線通信処理回路１１８及びアンテナは、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ－Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式やＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）方式に代表されるような広帯域の無線通信方式に基づいて処理されるが、ＩＥＥＥ８０２．１１に代表されるような無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような狭帯域の無線通信に関する方式に基づいて処理することも可能である。
　Ｉ／Ｏポート１１９は、有線により接続された外部装置のＩ／Ｏポートと接続される。Ｉ／Ｏポート１１９は、シリアルポート、パラレルポート、ＵＳＢ等、所望の接続形式を採用することが可能である。
　なお、本実施形態においては、脳波センサ装置２００との間で意思情報を含む様々な情報の送受信を行うが、この送受信は、無線通信処理回路１１８を介した無線通信と、Ｉ／Ｏポート１１９を介した有線通信とのいずれで行ってもよい。本実施形態にかかる端末装置１００を使用する場合、感覚受容器でその刺激を知覚し（ディスプレイ１１１上に表示された情報を認識し）、判断し、操作入力を決定し、最終的に末梢の筋肉を収縮させて動作（タッチセンサ１１５への操作入力）させるまでに２００ミリ秒以上の時間を要する。したがって、この時間を考慮して、脳波センサ装置２００との間の通信方式は、通信速度が早ければ早いほど好ましいが、一定以上の通信速度が確保できればよく、通信の安定性や速度の観点から適宜選択することが可能である。
　また、図３によると、脳波センサ装置２００は、一又は複数の電極Ｅ１～Ｅｎを含む脳波センサ２１１、メモリ２１２、プロセッサ２１３、外部通信インターフェイス２１４を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。
　脳波センサ２１１は、一又は複数の電極Ｅ１～Ｅｎを含む。脳は、一般に大脳皮質が知覚、随意運動、思考、推理などの各機能をつかさどり、さらに大脳皮質の中でも各部位ごとに果たす役割が異なることが知られている。たとえば、端末装置１００の操作入力を指で行うには、眼窩前頭皮質、運動連合野、一次運動野の働きが必要となる。したがって、電極Ｅ１～Ｅｎは、これらの活動部位に対応する頭皮上の位置に配置される。なお、電極Ｅ１～Ｅｎの配置及び個数は、あらかじめ脳波センサ装置２００を用いて、ユーザの脳波のサンプリングを行い、入力インターフェイス１１４への操作を行うときに観測されるピークが最も強く検出される電極を適宜選択することで決定することも可能である。各電極Ｅ１～Ｅｎから出力されるアナログ信号は適宜デジタル信号に変換されてその後の処理に用いられる。
　メモリ２１２は、ＲＡＭ、ＲＯＭ、又は不揮発性メモリ等を含み、記憶部として機能する。ＲＯＭは、本実施形態に係る脳波センサ２１１の制御や端末装置１００への情報の送受信を実行するための指示命令をプログラムとして記憶する。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ２１３により処理されている間、データの書き込み及び読み込みをするために用いられるメモリである。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。本実施形態においては、メモリ２１２には、疑似入力インターフェイスに対して操作をしようとした場合に検出される脳波の特徴点と、その特徴点が検出された場合に行われる処理内容とが対応付けられた操作特定テーブル（図４Ａ）が記憶される。
　プロセッサ２１３は、ＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ２１２に記憶された各種プログラムに基づいて、接続された他の構成要素を制御する制御部として機能する。プロセッサ２１３は、メモリ２１２に記憶された指示命令を実行するためのプログラムを処理する。具体的には、プロセッサ２１３は、脳波センサ２１１から出力された脳波信号と、操作特定テーブルを参照し、あらかじめサンプリングされた脳波信号の特徴点との一致点を判定し、ユーザがどのような操作内容の入力を行おうとしていたのかを判定する。
　外部通信インターフェイス２１４は、端末装置１００との情報の送受信のために用いられる通信部として機能する。したがって、外部通信インターフェイス２１４は、端末装置１００の外部通信インターフェイス１１７に対応して、無線通信処理回路１１８、当該無線通信処理装置に接続されたアンテナ、並びにＩ／Ｏポート１１９を適宜含む。
２．メモリ２１２に記憶された情報
　図４Ａは、本開示の第１実施形態に係る脳波センサ装置２００のメモリ２１２に記憶される操作特定テーブルを概念的に示す図である。具体的には、当該テーブルは、あらかじめサンプリングされたユーザが各操作入力を疑似的に行う時の脳波信号の特徴点を記憶し、ユーザがどのような疑似的な操作を行おうとしていたのかの判定に用いられる。図４Ａによると、各操作入力ＩＤ情報に対応付けて、特徴点情報と、操作内容情報とが記憶されている。特徴点情報は、あらかじめユーザが各種操作入力を疑似入力インターフェイスとして機能するディスプレイ１１１に対して行う時の脳波をサンプリングし、そこから得られた波形から特定された疑似的な各操作の特徴的なピークに関する情報である。操作内容情報は、各特徴点情報が得られたときにユーザが行っていた疑似的な操作の内容を示す情報である。本実施形態においては、例えば脳波センサ２１１において検出された脳波の波形が有する特徴点と、図４Ａの操作特定テーブルに記憶された各特徴点とを比較し、「Ｔ１」の特徴点情報と一致した場合には、疑似的な操作内容情報として「タッチ」入力が特定される。そして、脳波センサ装置２００からは、「タッチ」入力に対応する操作入力ＩＤ情報「Ｏ１」が意思情報として端末装置１００に出力される。
　図４Ｂは、本開示の第１実施形態に係る端末装置１００のメモリ１１３に記憶される処理特定テーブルを概念的に示す図である。具体的には、当該テーブルは、意思情報として脳波センサ装置２００から受信した操作入力ＩＤ情報と、それによって特定される処理内容とを対応付けて記憶する。図４Ｂによると、各処理ＩＤ情報に対応付けて、操作入力ＩＤ情報と処理内容とが記憶されている。操作入力ＩＤ情報は、脳波センサ装置２００で特定されたユーザが入力しようとした疑似的な操作を特定した情報である。処理内容情報は、ユーザが疑似入力インターフェイスに対して行った所定の疑似操作に基づいてプロセッサ１１２によって実行される処理内容を示す情報である。本実施形態においては、例えば脳波センサ装置２００から操作入力ＩＤ情報「Ｏ１」を受信すると、プロセッサ１１２は、当該処理特定テーブルを参照して、操作入力ＩＤ情報「Ｏ１」に対応付けられた処理内容情報（「次画面へ遷移」）を判定し、次画面へ遷移するための処理（サーバー装置３００との通信、描画処理など）を実行する。
３．各装置間で実行される処理シーケンス
　図５は、本開示の第１実施形態に係る端末装置１００、脳波センサ装置２００、及びサーバー装置３００との間で実行される処理シーケンスを示す図である。具体的には、図５は、図２に示す「格闘ゲームＡ」のゲームアプリケーションを端末装置１００において起動しタイトル画面が表示されたときに行う操作入力の例であって、脳波センサ装置２００においてユーザの操作入力を行うという意思を検出し、その検出に基づいて生成された意思情報を脳波センサ装置２００が送信することによって開始される割り込み処理のシーケンスを示す。なお、図５は、図２のタイトル画面での操作入力をすることで行われるサーバー装置３００との情報の送受信の例を挙げた。しかし、これは単なる一例である。つまり、ユーザに知覚させる状況は、タイトル画面に限らず他の状況であってもよい。また、サーバー装置３００が関わらない処理を行ってもよいし、他のサーバー装置や他の端末装置が関わる処理を行ってもよい。
　図５において、タイトル画面がディスプレイ１１１に表示されると、端末装置１００は、ディスプレイ１１１及びハードキー１１６を疑似入力インターフェイスとして設定する（Ｓ１１）。ディスプレイ１１１を通じてそれを知覚したユーザは、ディスプレイ１１１を接触又はハードキー１１６を押下するか否かの判断を行う。そして、ユーザは、その判断の結果、ディスプレイ１１１を接触（操作）してスタート画面に移行させるという意思決定を行う。この間、脳波センサ装置２００のプロセッサ２１３は、電極Ｅ１～Ｅｎを有する脳波センサ２１１から出力される波形が有する特徴点を随時監視する（Ｓ１２）。プロセッサ２１３は、得られた特徴点を、その都度、図４Ａに示す操作特定テーブルを参照し、あらかじめサンプリングされたユーザの操作入力が有する特徴点との一致を判定する。一致がなかった場合には、プロセッサ２１３は再び波形の監視処理に戻る。
　一方、特徴点の一致があった場合には、プロセッサ２１３は、一致した特徴点と対応付けられた操作内容情報を参照しユーザが操作入力しようとした内容を特定する。本実施形態においては、上記のとおり、タッチセンサ１１５のタッチという操作入力をする意思決定が行われているので、操作入力ＩＤ情報が「Ｏ１」の特徴点と一致する。したがって、プロセッサ２１３は、操作入力ＩＤ情報として「Ｏ１」を少なくとも含む意思情報を生成し、当該意思情報（Ｔ１１）を、外部通信インターフェイス２１４を介して端末装置１００に送信するよう制御する。
　次に、端末装置１００は、図４Ｂに記憶された処理特定テーブルを参照して、意思情報として受信した操作入力ＩＤ情報にあらかじめ対応付けられた処理を開始する（Ｓ１３）。本実施形態においては、まず、端末装置１００は、サーバー装置３００へ、メモリ１１３に記憶されたユーザ情報（Ｔ１２）を送信する。そして、これを受信したサーバー装置３００は、ユーザの認証処理を行い（Ｓ１４）、「格闘ゲームＡ」のゲームアプリケーションの正当なユーザであると認証がされると、サーバー装置３００に記憶された当該ユーザのゲームデータ（Ｔ１３）を端末装置１００に送信する。
　端末装置１００は、サーバー装置３００から送信されたゲームデータを順次受信する（Ｓ１５）。ゲームデータの受信が完了すると、端末装置１００は、受信したゲームデータや、メモリ１１３に記憶されたスタート画面の描画情報を利用して、ディスプレイ１１１にスタート画面を表示するための描画処理を開始する（Ｓ１６）。
　ここで、本実施形態においては、当該処理の過程で、疑似入力インターフェイスとして機能するディスプレイ１１１又はハードキー１１６に対する実際の接触や押下操作の検出を必要としない。すなわち、実際のこれらの操作の有無にかかわらず、意思情報として受信した操作入力ＩＤ情報に基づいて、端末装置１００は、Ｓ１３～Ｓ１６に係る処理を実行する。すなわち、仮に、操作するという意思の検出から遅れて、疑似入力インターフェイスとして機能するディスプレイ１１１又はハードキー１１６に対するユーザの実際の操作が終了したとしても、端末装置１００では実際の操作入力を検出する処理を行ったり（Ｓ１１１）、実際の操作入力をトリガーとして操作情報（Ｔ１１１）をサーバー装置３００に送信したりすることはない。
４．端末装置１００で実行される処理フロー
　図６は、本開示の第１実施形態にかかる端末装置１００において実行される処理フローを示す図である。具体的には、当該処理フローは、脳波センサ装置２００から意思情報を受信することによって開始される割り込み処理に関する。
　図６によると、プロセッサ１１２が、ディスプレイ１１１に、図２に示されたタイトル画面の表示を行うとともに、ディスプレイ１１１及びハードキー１１６を疑似入力インターフェイスとして設定することにより開始される（Ｓ１０１）。そして、プロセッサ１１２は、外部通信インターフェイス１１７を介して、脳波センサ装置２００から意思情報として操作入力ＩＤ情報を受信したか否かを判断する（Ｓ１０２）。そして、当該意思情報を受信すると、操作入力ＩＤ情報からユーザがこれから行おうとしている疑似的操作が、ディスプレイ１１１へのタッチであると特定する。そして、タイトル画面において疑似的なタッチ操作に対応付けられた処理を実行する。
　具体的には、まず、プロセッサ１１２は、サーバー装置３００にメモリ１１３に記憶されたユーザ情報を送信するよう、外部通信インターフェイス１１７を制御する（Ｓ１０３）。そして、プロセッサ１１２は、サーバー装置３００においてユーザの認証が行われゲームアプリケーションの実行に必要なゲームデータの受信を開始するよう制御する（Ｓ１０４）。次に、プロセッサ１１２は、受信したゲームデータと、メモリ１１３に記憶された描画情報に基づいて、順次、次の画面（スタート画面）の描画を開始する（Ｓ１０５）。
　ここで、本実施形態においては、当該処理の過程で、疑似入力インターフェイスとして機能するディスプレイ１１１又はハードキー１１６に対する実際の接触や押下操作の検出を必要としない。すなわち、実際のこれらの操作の有無にかかわらず、意思情報として受信した操作入力ＩＤ情報に基づいて、プロセッサ１１２はＳ１０３～Ｓ１０５に係る処理を実行する。すなわち、仮に、操作するという意思の検出ののちに、疑似入力インターフェイスとして機能するディスプレイ１１１又はハードキー１１６に対するユーザの実際の操作が終了したとしても、端末装置１００では実際の操作入力を検出する処理（Ｓ２０１）を行ったり、実際の操作入力をトリガーとして操作情報をサーバー装置３００に送信する処理（Ｓ２０２）を行うことはない。
　なお、疑似入力インターフェイスに対するユーザの疑似的な操作の意思が演出され、その操作内容が特定されると、特定された操作に応じたフィードバックをユーザに付与するようにしてもよい。具体的には、メモリ１１３に、特定された操作入力ＩＤごとに、付与するフィードバックを対応付けたフィードバックテーブルを記憶する。そして、プロセッサ１１２は、操作入力ＩＤ情報を受信することで操作内容が特定されると、当該テーブルを参照し、その特定された操作に応じたフィードバックを決定する。フィードバックの例としては、振動モータを利用したバイブレーションの駆動や、ＬＥＤの点灯、画面へのインジケータの表示などが挙げられる。
　以上、本実施形態においては、脳波センサ装置２００によってユーザの操作に対する意思を検出することによって、端末装置１００における処理を実行させることができる。一方、端末装置１００は、疑似入力インターフェイスとして機能するディスプレイ１１１及びハードキー１１６を備えることで、処理の実行自体は脳波センサ装置２００で検出された意思に基づいて行われるものの、ユーザが実際に端末装置１００を操作しているかのような操作感を与えることが可能となる。
＜第２実施形態＞
　第１実施形態では、タイトル画面において、ディスプレイ１１１の全体及びハードキー１１６が疑似入力インターフェイスとして機能する場合について説明した。つまり、脳波センサ装置２００によって、ディスプレイ１１１又はハードキー１１６に対するユーザの疑似的な操作をするという意思を検出し、その検出された意思に基づいて処理を実行する場合について説明した。第２実施形態においては、ディスプレイ１１１の全体を疑似入力インターフェイスとして機能させるのではなく、ディスプレイ１１１に表示された一部の領域のみを疑似入力インターフェイスとして機能させる場合について説明する。なお、本実施形態は、以下で具体的に説明する点を除いて、第１実施形態における構成、処理、手順と同様である。したがって、それらの事項の詳細な説明は省略する。
　図７は、本開示の第２実施形態に係るシステムにおける処理を概念的に示す図である。図２によると、ディスプレイ１１１の少なくとも一部の領域には、１又は複数のアイコン（アイコン２１及び２２）が表示されている。本実施形態においては、当該アイコン２１及び２２が表示された領域を疑似入力インターフェイスとして機能させ、例えば「格闘ゲームＡ」と表示された他の領域は疑似入力インターフェイスとして機能させず、単なる表示エリアとして機能させる。
　まず、ユーザ１１に取り付けた脳波センサ装置２００で、疑似入力インターフェイスとして機能するアイコン２１及びアイコン２２のいずれかに対して、指示体１２でタッチするというユーザの意思の検出を行う。そして、その検出がなされると、検出されたユーザの意思に応じて、それに対応付けられた処理の実行を行う。例えば、スタートアイコン２１に対してタッチ（いわゆる短押し）をするというユーザの意思が検出された場合には、当該意思情報から特定されたスタート画面の表示に係る処理を端末装置１００は実行する。このとき、処理の実行は検出されたユーザ１１の意思に基づいて行われており、実際にユーザ１１の指示体１２でアイコン２１に対して接触することは必要としていない。つまり、アイコン２１及び２２への操作の有無にかかわらず、検出された意思に対応する処理を実行する。
　図８Ａは、本開示の第２実施形態に係る脳波センサ装置２００のメモリ２１２に記憶される操作特定テーブルを概念的に示す図である。具体的には、当該テーブルは、あらかじめサンプリングされたユーザが各操作入力を疑似的に行う時の脳波信号の特徴点を記憶し、ユーザがどのような疑似的な操作を行おうとしていたのかの判定に用いられる。図８Ａによると、各操作入力ＩＤ情報に対応付けて、特徴点情報と、操作内容情報とが記憶されている。特徴点情報は、あらかじめユーザが各操作を疑似入力インターフェイスとして機能する各アイコンに対して行おうと意図したときの脳波をサンプリングし、そこから得られた波形から特定された特徴的なピークに関する情報である。操作内容情報は、各特徴点情報が得られたときにユーザが行っていた疑似的な操作の内容を示す情報であって、どのアイコンに対してどのような操作をしていたかが特定される。本実施形態においては、例えば脳波センサ２１１において検出された脳波の波形が有する特徴点と、図８Ａの操作特定テーブルに記憶された各特徴点とを比較し、「Ｓ１」の特徴点情報と一致した場合には、疑似的な操作内容情報として「アイコン２１に対するタッチ（短押し）」が特定される。そして、脳波センサ装置２００からは、「タッチ」入力に対応する操作入力ＩＤ情報「Ｑ１」が意思情報として端末装置１００に出力される。
　図８Ｂは、本開示の第２実施形態に係る端末装置１００のメモリ１１３に記憶される処理特定テーブルを概念的に示す図である。具体的には、当該テーブルは、意思情報として脳波センサ装置２００から受信した操作入力ＩＤ情報と、それによって特定される処理内容とを対応付けて記憶する。図８Ｂによると、各処理ＩＤ情報に対応付けて、操作入力ＩＤ情報と処理内容とが記憶されている。操作入力ＩＤ情報は、脳波センサ装置２００で特定されたユーザが入力しようとした疑似的な操作を特定した情報である。処理内容情報は、ユーザが疑似入力インターフェイスに対して行った所定の疑似操作に基づいてプロセッサ１１２によって実行される処理内容を示す情報である。本実施形態においては、例えば脳波センサ装置２００から操作入力ＩＤ情報「Ｑ１」を受信すると、プロセッサ１１２は、当該処理特定テーブルを参照して、操作入力ＩＤ情報「Ｑ１」に対応付けられた処理内容情報（「スタート画面の表示」）を判定し、スタート画面を表示するための処理（サーバー装置３００との通信、描画処理など）を実行する。
　なお、本実施形態においては、端末装置１００、脳波センサ装置２００、及びサーバー装置３００との間で行われる処理シーケンスや、端末装置１００のプロセッサ１１２が行う処理フローについて図示していない。しかし、第１実施形態と同様に、脳波センサ装置２００によってユーザのアイコン２１及び２２に対する操作の意思を検出することで、所定の処理を実行する。一方、疑似入力インターフェイスとして機能するアイコン２１及び２２に対するユーザの実際の操作がなされたとしても、端末装置１００では、この実際の操作入力を検出する処理を行ったり、スタート画面の表示のために実際の操作入力をトリガーとすることはない。
　以上、本実施形態においては、脳波センサ装置２００によってユーザの操作に対する意思を検出することによって、端末装置１００における処理を実行させることができる。一方、端末装置１００は、疑似入力インターフェイスとして機能するアイコン２１及び２２を表示することで、処理の実行自体は脳波センサ装置２００で検出された意思に基づいて行われるものの、ユーザが実際に端末装置１００を操作しているかのような操作感を与えることが可能となる。
＜第３実施形態＞
　第１実施形態では、タイトル画面において、ディスプレイ１１１の全体及びハードキー１１６が疑似入力インターフェイスとして機能する場合について説明した。また、第２実施形態では、タイトル画面において、ディスプレイの少なくとも一部の領域、具体的にはアイコン２１及び２２が疑似入力インターフェイスとして機能する場合について説明した。第３実施形態においては、ディスプレイ１１１やディスプレイ１１１に表示されたアイコン２１及び２２を疑似入力インターフェイスとして機能させるのではなく、端末装置１００の筐体上に固定的に設けられたハードキー２４及び２５を疑似入力インターフェイスとして機能させる場合について説明する。なお、本実施形態は、以下で具体的に説明する点を除いて、第１実施形態における構成、処理、手順と同様である。したがって、それらの事項の詳細な説明は省略する。
　図９は、本開示の第３実施形態に係るシステムにおける処理を概念的に示す図である。図９によると、端末装置１００は、筐体の表面上に固定的に設けられた方向キーや決定キーを含むハードキー２４、１～０の数字に対応して設けられるテンキーを含むハードキー２５を備える。本実施形態においては、これらハードキー２４及び２５を疑似入力インターフェイスとして機能させる。図９の例では、ディスプレイ１１１に表示された文字入力アプリケーションの画面において、ユーザが文字（数字等）の入力を行う場合について説明する。具体的には、ディスプレイ１１１には、これまでに入力された文字（「Ａ」～「Ｇ」）とともに、次に文字が入力される位置を示すカーソル（「Ｇ」の右隣）が示されている。
　まず、ユーザ１１に取り付けた脳波センサ装置２００で、疑似入力インターフェイスとして機能するハードキー２４及び２５のうちのいずれかのキーに対して、指示体１２で押下するというユーザの意思の検出を行う。そして、その検出がなされると、検出されたユーザの意思に応じて、それに対応付けられた処理の実行を行う。例えば、ハードキー２４のうちの左キーを押下するというユーザの意思が検出された場合には、当該意思情報から特定された処理を端末装置１００は実行する。このとき、処理の実行は検出されたユーザ１１の意思に基づいて行われており、実際にユーザ１１の指示体１２でハードキー２４を押下することは必要としていない。つまり、ハードキー２４又は２５への操作の有無にかかわらず、検出された意思に対応する処理を実行する。
　図１０Ａは、本開示の第３実施形態に係る脳波センサ装置２００のメモリ２１２に記憶される操作特定テーブルを概念的に示す図である。具体的には、当該テーブルは、あらかじめサンプリングされたユーザが各操作入力を疑似的に行う時の脳波信号の特徴点を記憶し、ユーザがどのような疑似的な操作を行おうとしていたのかの判定に用いられる。図１０Ａによると、各操作入力ＩＤ情報に対応付けて、特徴点情報と、操作内容情報とが記憶されている。特徴点情報は、あらかじめユーザが疑似入力インターフェイスとして機能するハードキー２４及び２５のうちのいずれかに対して押下を行おうと意図したときの脳波をサンプリングし、そこから得られた波形から特定された特徴的なピークに関する情報である。操作内容情報は、各特徴点情報が得られたときにユーザが行っていた疑似的な操作の内容を示す情報であって、どのハードキーに対して操作を行おうとしていたかが特定される。本実施形態においては、例えば脳波センサ２１１において検出された脳波の波形が有する特徴点と、図１０Ａの操作特定テーブルに記憶された各特徴点とを比較し、「Ｕ１」の特徴点情報と一致した場合には、疑似的な操作内容情報として「上キーの操作」が特定される。そして、脳波センサ装置２００からは、「上キーの操作」に対応する操作入力ＩＤ情報「Ｒ１」が意思情報として端末装置１００に出力される。
　図１０Ｂは、本開示の第３実施形態に係る端末装置１００のメモリ１１３に記憶される処理特定テーブルを概念的に示す図である。具体的には、当該テーブルは、意思情報として脳波センサ装置２００から受信した操作入力ＩＤ情報と、それによって特定される処理内容とを対応付けて記憶する。図１０Ｂによると、各処理ＩＤ情報に対応付けて、操作入力ＩＤ情報と処理内容とが記憶されている。操作入力ＩＤ情報は、脳波センサ装置２００で特定されたユーザが入力しようとした疑似的な操作を特定した情報である。処理内容情報は、ユーザが疑似入力インターフェイスに対して行った所定の疑似操作に基づいてプロセッサ１１２によって実行される処理内容を示す情報である。本実施形態においては、例えば脳波センサ装置２００から操作入力ＩＤ情報「Ｒ１」を受信すると、プロセッサ１１２は、当該処理特定テーブルを参照して、操作入力ＩＤ情報「Ｒ１」に対応付けられた処理内容情報（「カーソルの上への移動」）を判定し、ディスプレイ１１１の表示されたカーソルを上方向へ移動して表示させる処理を実行する。
　なお、本実施形態においては、端末装置１００、脳波センサ装置２００、及びサーバー装置３００との間で行われる処理シーケンスや、端末装置１００のプロセッサ１１２が行う処理フローについて図示していない。しかし、第１及び第２実施形態と同様に、脳波センサ装置２００によってユーザのハードキー２４及び２５のうちのいずれかに対する操作の意思を検出することで、所定の処理を実行する。一方、疑似入力インターフェイスとして機能するハードキー２４及び２５に対するユーザの実際の操作がなされたとしても、端末装置１００では、この実際の操作入力を検出する処理を行ったり、スタート画面の表示のために実際の操作入力をトリガーとすることはない。
　以上、本実施形態においては、脳波センサ装置２００によってユーザの操作に対する意思を検出することによって、端末装置１００における処理を実行させることができる。一方、端末装置１００は、疑似入力インターフェイスとして機能するハードキー２４及び２５を設けることで、処理の実行自体は脳波センサ装置２００で検出された意思に基づいて行われるものの、ユーザが実際に端末装置１００を操作しているかのような操作感を与えることが可能となる。特に、ハードキーの場合、キーのクリック感をユーザが直接的に感じることが可能となり、より高い操作感を得ることができる。
＜第４実施形態＞
　第１～第３実施形態では、脳波センサ装置２００において、ユーザの脳波を検出し、あらかじめサンプリングされたユーザの脳波と検出された脳波とを比較して、ユーザの意思情報を特定する場合について説明した。第４実施形態においては、電極Ｅ１～Ｅｎによって検出されたユーザの脳波についてＡ／Ｄ変換等の処理を行った信号を端末装置１００に送信し、端末装置１００のプロセッサ１１２においてユーザの意思情報を特定する。なお、本実施形態は、以下で具体的に説明する点を除いて、第１～第３実施形態における構成、処理、手順と同様である。したがって、それらの事項の詳細な説明は省略する。
　本実施形態においては、上記のとおり、端末装置１００のプロセッサ１１２においてユーザの意思情報を特定するため、図４Ａ、図８Ａ、及び図１０Ａに示す操作特定テーブルは端末装置１００のメモリ１１３に記憶される。そして、図５のＳ１２及びＳ１３の間に、第１～第３実施形態では意思情報（Ｔ１１）の受信がなされるが、本実施形態においては、脳波センサ２１１によって検出された脳波信号を受信する。そして、脳波信号を受信すると、プロセッサ１１２は、メモリ１１３に記憶された操作特定テーブルを参照して、ユーザの意思情報を特定する。そして、特定されたユーザの意思情報に基づいて、第１～第３実施形態と同様に、当該意思情報に基づく処理を行う。以降の処理は、第１～第３実施形態と同様である。
　以上、本実施形態においては、脳波センサ装置２００によってユーザの操作に対する意思を検出することによって、端末装置１００における処理を実行させることができる。一方、端末装置１００は、疑似入力インターフェイスとして機能するハードキー２４及び２５を設けることで、処理の実行自体は脳波センサ装置２００で検出された意思に基づいて行われるものの、ユーザが実際に端末装置１００を操作しているかのような操作感を与えることが可能となる。
　＜その他＞
　第１～第４実施形態においては、脳波センサ装置２００を用いる場合について説明した。しかし、本開示においては、ユーザの意思情報が検出されれば良いので、脳波に限らず様々な信号を用いて実施することが可能である。一例としては、ユーザの意思を脳から筋肉に伝達し、筋肉が動くときに検出される電気信号が検出可能なセンサ装置を利用することも可能である。
　なお、各実施形態で説明した各要素を適宜組み合わせるか、それらを置き換えてシステムを構成することも可能である。
　本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能である。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、端末装置やサーバー装置を含む各種のコンピュータに実行させることが可能である。
　本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行可能である。また、本明細書中で説明される各種情報が単一のメモリや記憶部に格納される旨が説明されたとしても、そのような情報は、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納可能である。さらに、本明細書において説明されるソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現可能である。
　１００　端末装置
　２００　脳波センサ装置
　３００　サーバー装置

Claims (12)

  1. 　ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、
    　有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を検出可能なセンサ装置から、前記センサ装置で検出されたユーザの意思を示す意思情報を受信する外部通信インターフェイスと、
    　所定の指示命令を記憶するように構成されたメモリと、
    　前記指示命令に基づいて、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、前記外部通信インターフェイスが受信した前記意思情報から前記ユーザの操作を特定し、特定された前記操作に対応する処理を実行するように構成されたプロセッサと、
    　を含む端末装置。
  2. 　前記端末装置は所定の表示をするように構成されたディスプレイを含み、
    　前記ユーザによる疑似的な操作は前記ディスプレイに対する操作である、
    　請求項１に記載の端末装置。
  3. 　前記端末装置は所定の表示をするように構成されたディスプレイを含み、
    　前記疑似入力インターフェイスは、前記ディスプレイに表示されたアイコンである、
    　請求項１に記載の端末装置。
  4. 　前記疑似入力インターフェイスは、前記端末装置の筐体に固定的に設けられた操作キーである、請求項１に記載の端末装置。
  5. 　前記外部通信インターフェイスは、遠隔に設置されたサーバー装置との間で所定の情報の送受信を行い、
    　前記処理は、前記サーバー装置との間で前記所定の情報の送受信を行う処理である、
    　請求項１～４のいずれか一項に記載の端末装置。
  6. 　前記プロセッサは、前記疑似入力インターフェイスに対して前記ユーザが実際に操作を行ったとしても、前記ユーザが実際に行った操作の検出を行うことなく、前記処理を実行する、請求項１～５のいずれか一項に記載の端末装置。
  7. 　前記センサ装置は、前記ユーザの脳波を検出するための一又は複数の電極を含む、請求項１～６のいずれか一項に記載の端末装置。
  8. 　前記端末装置は、前記ユーザの操作が特定されると、特定された前記操作に応じたフィードバックを前記ユーザに付与する、請求項１～７のいずれか一項に記載の端末装置。
  9. 　ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を検出可能なセンサ装置から、前記センサ装置で検出されたユーザの意思を示す意思情報を受信する外部通信インターフェイスと、所定の指示命令を記憶するように構成されたメモリと、を含むコンピュータを、
    　前記指示命令に基づいて、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、前記外部通信インターフェイスが受信した前記意思情報から前記ユーザの操作を特定し、特定された前記操作に対応する処理を実行するように構成されたプロセッサ、
    　として機能させるプログラム。
  10. 　ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を検出可能なセンサ装置から、前記センサ装置で検出されたユーザの意思を示す意思情報を受信する外部通信インターフェイスと、所定の指示命令を記憶するように構成されたメモリと、を含むコンピュータにおいて、プロセッサが前記指示命令を実行することによりなされる方法であって、
    　前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、前記外部通信インターフェイスが受信した前記意思情報から前記ユーザの操作を特定する段階と、
    　特定された前記操作に対応する処理を実行する段階と、
    　を含む方法。
  11. 　請求項１～８のいずれか一項に記載の端末装置と、
    　前記端末装置に有線又は無線により接続され、かつ前記端末装置の入力インターフェイスに一又は複数の操作入力をするユーザの意思を検出可能なセンサ装置と、
    　を含む、システム。
  12. 　ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、
    　有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を示す信号を受信する外部通信インターフェイスと、
    　所定の指示命令を記憶するとともに、前記信号と前記ユーザの意思との対応関係を記憶するメモリと、
    　前記指示命令に基づいて、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、受信した前記信号と前記メモリに記憶された前記対応関係とから前記ユーザの意思情報を生成し、生成された前記意思情報から前記ユーザの操作を特定し、特定された前記操作に対応する処理を実行するように構成されたプロセッサと、
    　を含む端末装置。
PCT/JP2019/014734 2019-04-03 2019-04-03 端末装置、プログラム、方法、及びシステム WO2020202488A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019518334A JP6695004B1 (ja) 2019-04-03 2019-04-03 検出されたユーザの意思を利用した端末装置
PCT/JP2019/014734 WO2020202488A1 (ja) 2019-04-03 2019-04-03 端末装置、プログラム、方法、及びシステム
US16/568,925 US10761606B1 (en) 2019-04-03 2019-09-12 Terminal device, program, method, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/014734 WO2020202488A1 (ja) 2019-04-03 2019-04-03 端末装置、プログラム、方法、及びシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/568,925 Continuation US10761606B1 (en) 2019-04-03 2019-09-12 Terminal device, program, method, and system

Publications (1)

Publication Number Publication Date
WO2020202488A1 true WO2020202488A1 (ja) 2020-10-08

Family

ID=70682326

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/014734 WO2020202488A1 (ja) 2019-04-03 2019-04-03 端末装置、プログラム、方法、及びシステム

Country Status (3)

Country Link
US (1) US10761606B1 (ja)
JP (1) JP6695004B1 (ja)
WO (1) WO2020202488A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887643B (zh) * 2021-10-12 2023-07-18 西安交通大学 一种基于伪标签自训练和源域再训练的新对话意图识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140210745A1 (en) * 2013-01-25 2014-07-31 University Of Washington Through Its Center For Commercialization Using Neural Signals to Drive Touch Screen Devices
JP2018190258A (ja) * 2017-05-10 2018-11-29 キヤノン株式会社 制御装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4093478B2 (ja) 2003-09-10 2008-06-04 日本電信電話株式会社 リンク先コンテンツの先読み装置及び先読み方法
JP5150942B2 (ja) 2006-02-03 2013-02-27 株式会社国際電気通信基礎技術研究所 活動補助システム
RU2410026C2 (ru) * 2006-11-15 2011-01-27 Панасоник Корпорэйшн Аппарат настройки для способа идентификации мозговых волн, способ настройки и компьютерная программа
WO2008117521A1 (ja) * 2007-03-28 2008-10-02 Panasonic Corporation 脳波識別の要否を決定する装置および方法
JP5283065B2 (ja) 2008-08-26 2013-09-04 学校法人慶應義塾 運動関連電位信号検出システム
US20140078318A1 (en) * 2009-05-22 2014-03-20 Motorola Mobility Llc Electronic Device with Sensing Assembly and Method for Interpreting Consecutive Gestures
US8792976B2 (en) * 2010-02-18 2014-07-29 The Board Of Trustees Of The Leland Stanford Junior University Brain machine interface
JP5544620B2 (ja) * 2010-09-01 2014-07-09 独立行政法人産業技術総合研究所 意思伝達支援装置及び方法
JP2013128642A (ja) 2011-12-21 2013-07-04 Kumamoto Univ ブレイン・コンピュータ・インターフェース及びブレイン・コンピュータ・インターフェースにおける対象物の制御方法
JP2014174880A (ja) 2013-03-12 2014-09-22 Aisin Aw Co Ltd 情報提供装置、及び情報提供プログラム
JP2015156912A (ja) 2014-02-21 2015-09-03 株式会社コロプラ ゲームサーバ、ゲームサーバ用プログラム及びゲームシステム
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
KR101648017B1 (ko) 2015-03-23 2016-08-12 현대자동차주식회사 디스플레이 장치, 차량 및 디스플레이 방법
JP6759496B2 (ja) 2016-05-12 2020-09-23 株式会社国際電気通信基礎技術研究所 脳波パターン分類装置、脳波パターン分類方法、脳波パターン分類プログラムおよびニューロフィードバックシステム
JP2018025888A (ja) 2016-08-08 2018-02-15 日本精機株式会社 操作装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140210745A1 (en) * 2013-01-25 2014-07-31 University Of Washington Through Its Center For Commercialization Using Neural Signals to Drive Touch Screen Devices
JP2018190258A (ja) * 2017-05-10 2018-11-29 キヤノン株式会社 制御装置

Also Published As

Publication number Publication date
US10761606B1 (en) 2020-09-01
JPWO2020202488A1 (ja) 2021-04-30
JP6695004B1 (ja) 2020-05-20

Similar Documents

Publication Publication Date Title
US8619046B2 (en) Information processing apparatus, notification method, and program
US9183373B2 (en) Secure input via a touchscreen
CN106951174B (zh) 一种虚拟键盘的调整方法及移动终端
JP5705243B2 (ja) 電子機器及び電子機器の制御方法
WO2018196699A1 (zh) 一种指纹识别区域的显示方法和移动终端
CN106383645A (zh) 一种音乐播放的控制方法及移动终端
CN107219988B (zh) 一种界面操作引导方法及移动终端
US20120327040A1 (en) Identifiable stylus
US6532003B2 (en) Data processing apparatus having control element for detecting false touch
EP2724213A1 (en) Intelligent stylus
MX2008014057A (es) Tecla de multiples funciones con desplazamiento.
WO2002095563A1 (en) User input apparatus, computer connected to user input apparatus, method of controlling computer connected to user input apparatus, and storage medium
CN107172287B (zh) 一种多卡通信方法及移动终端
US20230359351A1 (en) Virtual keyboard processing method and related device
CN107390931A (zh) 触摸操作的响应控制方法、装置、存储介质及移动终端
CN106230069B (zh) 一种充电方法及终端
JP6710771B1 (ja) 端末装置、プログラム、方法、及びシステム
WO2020202488A1 (ja) 端末装置、プログラム、方法、及びシステム
JP6220429B1 (ja) 情報処理装置、タッチパネル感度制御方法、及びプログラム
JP6112554B2 (ja) 電子機器
CN105867829A (zh) 一种控制终端显示界面切换的方法及终端
US20110216024A1 (en) Touch pad module and method for controlling the same
US20210373759A1 (en) Touch operation method and touch device using the same
KR20140010205A (ko) 터치스크린을 포함하는 단말을 이용한 마우스 기능의 제공 방법 및 장치
US11526220B2 (en) Method and apparatus of using a computer touchpad or digitizer stylus pad as a mousepad

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019518334

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19922906

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19922906

Country of ref document: EP

Kind code of ref document: A1