WO2023228337A1 - 提示システム、提示方法及び提示プログラム - Google Patents

提示システム、提示方法及び提示プログラム Download PDF

Info

Publication number
WO2023228337A1
WO2023228337A1 PCT/JP2022/021467 JP2022021467W WO2023228337A1 WO 2023228337 A1 WO2023228337 A1 WO 2023228337A1 JP 2022021467 W JP2022021467 W JP 2022021467W WO 2023228337 A1 WO2023228337 A1 WO 2023228337A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
presentation
unit
devices
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/021467
Other languages
English (en)
French (fr)
Inventor
宇翔 草深
裕 千明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2022/021467 priority Critical patent/WO2023228337A1/ja
Priority to US18/867,803 priority patent/US20250362748A1/en
Priority to JP2024522813A priority patent/JP7747193B2/ja
Publication of WO2023228337A1 publication Critical patent/WO2023228337A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Definitions

  • the present disclosure relates to a presentation system, a presentation method, and a presentation program.
  • UIs User Interfaces
  • IoT Internet of Things
  • a user operates a GUI (Graphical User Interface) using a mouse or a touch screen.
  • Brain-computer interfaces allow users to operate devices using their brains.
  • Brain-computer interfaces can be implemented using Steady State Visually Evoked Potential (SSVEP).
  • SSVEP Steady State Visually Evoked Potential
  • Methods using SSVEP include methods for presenting action options to the user.
  • a user's mental state is determined from observations of the user's SSVEP.
  • Action options are then presented based on the user's mental state.
  • the above-mentioned prior art may have difficulty in allowing the user to operate equipment in space using the user's brain waves.
  • the present disclosure provides a presentation system, a presentation method, and a presentation program that can enable a user to operate equipment in space using the user's brain waves.
  • the presentation system includes a first acquisition unit that acquires device data indicating a plurality of devices that can be operated by a user, and a second acquisition unit that acquires user data that specifies the user's field of view. a determining unit that determines a device within the field of view of the user from among the plurality of devices using the device data and the user data; and a presentation unit that presents a visual pattern that allows the brain waves to operate the determined device.
  • the presentation system may allow the user to operate equipment in the space using the user's brain waves.
  • FIG. 1 is a block diagram of an example environment for visual pattern presentation.
  • FIG. 2 shows an overview of one visual pattern presentation process according to the present disclosure.
  • FIG. 3 is a block diagram of an example configuration of a presentation system according to the present disclosure.
  • FIG. 4 shows an example of a configuration of a control unit and a storage unit according to the present disclosure.
  • FIG. 5 shows an example of a task related to visual pattern presentation.
  • FIG. 6A shows an example of visual pattern presentation processing according to the present disclosure.
  • FIG. 6B shows an example of visual pattern presentation processing according to the present disclosure.
  • FIG. 7 is a flowchart illustrating an example of a process for determining a device to be targeted for visual stimulus projection.
  • FIG. 8 shows an example of a computer hardware configuration.
  • SSVEP Steady State Visually Evoked Potential
  • the object (target) that the user is gazing at is estimated based on the user's brain waves.
  • the retina is excited by visual stimulation of 3.5Hz to 75Hz, brain waves are detected. The frequency of this brain wave is equivalent to visual stimulation.
  • the method using SSVEP does not require long-term training. Furthermore, the method using SSVEP has a high ITR (Information Transfer Rate) (ITR is one of the main indicators of brain-computer interface). For this reason, the method using SSVEP is attracting attention as a UI for people with disabilities.
  • ITR Information Transfer Rate
  • SSVEP is easier to calibrate compared to image analysis approaches. Furthermore, the method using SSVEP can accurately estimate the target of interest among several options. Additionally, SSVEP does not have resolution issues in the camera. SSVEP is robust to factors such as distance to the user, user posture, individual differences (eg, size of the iris of the eyes, wearing glasses), and ambient light.
  • SSVEP has the advantages described above, and SSVEP is applied to GUI operations.
  • GUI is a button displayed on a display.
  • SSVEP is also applied to GUI operations in VR (Virtual Reality).
  • a button is displayed within VR.
  • the technique for manipulating a GUI using SSVEP can be used to manipulate objects arranged on a plane, such as an array of buttons. However, such methods do not assume objects arranged in space.
  • the presentation system performs one or more visual pattern presentation processes described below.
  • FIG. 1 is a block diagram of environment 1, which is an example of an environment for visual pattern presentation.
  • environment 1 includes a presentation system 100, a network 200, an electroencephalograph 300, multiple devices 400, multiple cameras 500, and multiple projectors 600.
  • the presentation system 100 is a system that performs processing for presenting visual patterns.
  • processing is referred to as visual pattern presentation processing.
  • An overview of one visual pattern presentation process will be explained in Section 3.
  • Various visual pattern presentation processes will be explained in detail in Section 5.
  • Presentation system 100 includes one or more computers, such as one or more servers. An example of the configuration of the presentation system 100 will be described in Section 4.
  • the network 200 is a network such as a LAN (Local Area Network), a WAN (Wide Area Network), or the Internet.
  • Network 200 connects presentation system 100, electroencephalograph 300, equipment 400, camera 500, and projector 600.
  • the electroencephalograph 300 is an electroencephalograph used by the user.
  • the electroencephalograph 300 is, for example, a non-invasive electroencephalograph.
  • the electroencephalograph 300 is used to measure SSVEP.
  • the device 400 is a variety of computer devices used by users.
  • the device 400 is, for example, a residential IoT device such as a light, an air conditioner, or a television.
  • a residential IoT device such as a light, an air conditioner, or a television.
  • device 400 is placed in a user's room.
  • the camera 500 is a camera installed at a location related to the user.
  • the location is, for example, the user's room.
  • Camera 500 may be installed near equipment 400.
  • the projector 600 is a projector installed near the device 400.
  • projector 600 is attached to the ceiling of a user's room.
  • FIG. 2 shows an overview 10 that is an overview of one visual pattern presentation process according to the present disclosure. Summary 10 compares current uses of SSVEP and uses of SSVEP according to this disclosure.
  • SSVEP can be used to estimate the button that is being watched among multiple buttons.
  • a stimulus pattern is presented on each button. For example, some buttons flash at frequency A and other buttons flash at frequency B.
  • the user is focused on a button that flashes at frequency B.
  • the electroencephalograph measures the user's brain waves.
  • a power spectrum is obtained by taking the Fourier transform of the measured brain waves. The peak in the power spectrum corresponds to SSVEP at frequency B. That is, SSVEP tells us which stimulus pattern the user saw.
  • examples of current uses for SSVEP include GUI manipulation on displays and GUI manipulation within VR.
  • a high resolution display allows the user to select closely spaced buttons with precision. Note that the realistic number of stimulation patterns is about 10.
  • an example of the application of SSVEP according to the present disclosure is the operation of an IoT device placed in a user's room.
  • the presentation system 100 applies SSVEP to the operation/selection of devices in space, such as IoT devices.
  • the presentation system 100 presents the visual stimulation pattern where and when the visual stimulation pattern is needed. For example, if the user is facing toward the television, presentation system 100 projects a visual stimulus pattern onto the television using projector 600. Thereby, the presentation system 100 allows the user to operate or select equipment in the space.
  • FIG. 3 is a block diagram of an example of the configuration of the presentation system 100 according to the present disclosure.
  • the presentation system 100 includes a communication section 110, a control section 120, and a storage section 130.
  • the presentation system 100 may include an input unit (eg, keyboard, mouse) that receives input from an administrator of the presentation system 100.
  • the presentation system 100 may also include an output unit (for example, a liquid crystal display or an organic EL (Electro Luminescence) display) that displays information to the administrator.
  • an input unit eg, keyboard, mouse
  • an output unit for example, a liquid crystal display or an organic EL (Electro Luminescence) display
  • the communication unit 110 is implemented by a network device such as a NIC (Network Interface Card).
  • the communication unit 110 is connected to the network 200 by wire or wirelessly.
  • the communication unit 110 can send and receive data to and from the electroencephalograph 300 , the device 400 , the camera 500 , and the projector 600 via the network 200 .
  • the control unit 120 is implemented by a data processing device and various programs stored in a storage device.
  • the data processing device is, for example, a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a GPGPU (General Purpose Graphic Processing Unit).
  • the control unit 120 may be implemented as a controller for controlling multiple operations of the presentation system 100. For example, when one or more processors execute a program (multiple instructions) by using RAM (Random Access Memory) as a work area, the one or more processors execute multiple operations. conduct.
  • the storage unit 130 is implemented using a RAM, a semiconductor memory such as a flash memory, a magnetic disk such as a hard disk, or an optical disk.
  • the storage unit 130 can store various programs and various data.
  • the control unit 120 includes an acquisition unit 121, a determination unit 122, a presentation unit 123, a measurement unit 124, and an estimation unit 125.
  • the acquisition unit 121 is an example of a first acquisition unit and a second acquisition unit. The data processing carried out by the individual parts will be explained below. Further, details of the individual parts will be explained below with reference to FIG. 4.
  • the acquisition unit 121 acquires device data regarding the device 400.
  • the device data indicates multiple devices that can be operated by the user.
  • the devices are IoT devices in a particular environment (eg, a user's room).
  • the acquisition unit 121 also acquires user data regarding the user.
  • the user data is an image or video captured by the camera 500.
  • User data may indicate the user's location and facial orientation.
  • the acquisition unit 121 can measure the user's line of sight direction (that is, the range that the user is looking at) based on the user data.
  • the determining unit 122 determines devices within the user's field of vision. Such a device is, for example, an IoT device in the direction of the user's line of sight.
  • the determining unit 122 can determine a plurality of visual patterns each corresponding to a plurality of devices, for example, based on predetermined conditions (eg, specific rules) stored in a repository in the storage unit 130.
  • the presentation unit 123 presents the visual pattern on the device determined by the determination unit 122. For example, a plurality of different visual stimulus patterns are presented on an IoT device in the direction of the user's line of sight.
  • the measurement unit 124 measures the user's brain waves using the electroencephalograph 300.
  • the measurement unit 124 can measure SSVEP based on the user's brain waves.
  • the estimation unit 125 estimates the device operated by the user based on data related to the user's brain waves. For example, based on the SSVEP, the estimation unit 125 identifies the device operated by the user.
  • the storage unit 130 includes device data 131.
  • the device data 131 is various data regarding the device 400. Details of the device data 131 will be explained below with reference to FIG. 4.
  • FIG. 4 shows a configuration 20 that is an example of the configuration of the control unit 120 and storage unit 130 according to the present disclosure.
  • the configuration 20 includes a face direction acquisition unit 21, a user position acquisition unit 22, a photographing target determination unit 23, a visual stimulus presentation unit 24, an SSVEP measurement unit 25, a gaze target estimation unit 26, an environment MAP 27, and Includes equipment DB28.
  • the face direction acquisition section 21 and the user position acquisition section 22 are examples of the acquisition section 121.
  • the photographing target determining section 23 is an example of the determining section 122.
  • the visual stimulation presentation section 24 is an example of the presentation section 123.
  • the SSVEP measuring section 25 is an example of the measuring section 124.
  • the gaze target estimation section 26 is an example of the estimation section 125.
  • the environment MAP 27 and the device DB 28 are examples of the device data 131.
  • the face direction acquisition unit 21 acquires the user's face direction.
  • the direction is expressed using, for example, an azimuth angle.
  • the user position acquisition unit 22 acquires the user's position.
  • the position is expressed using coordinates, for example.
  • the photographing target determining unit 23 determines the visual stimulation pattern to be projected and the device to be projected for the visual stimulation pattern based on the user's position, the direction of the user's face, the environment MAP 27, and the device DB 28.
  • the imaging target determining unit 23 can acquire various visual stimulation patterns from a repository in the storage unit 130.
  • the visual stimulus presentation unit 24 presents a visual stimulus pattern.
  • the visual stimulus presentation unit 24 can project a visual stimulus pattern using the projector 600.
  • the SSVEP measurement unit 25 measures SSVEP data.
  • the SSVEP measurement unit 25 can measure SSVEP data using an electroencephalograph 300.
  • the gaze target estimating unit 26 estimates the target that the user is gazing at. For example, the gaze target estimating unit 26 estimates the device that the user is gazing at based on the SSVEP data, the visual stimulation target, and the device on which the visual stimulation target is projected.
  • the environment MAP 27 shows the environment in which the user is present.
  • the environment MAP 27 may indicate the positions of the camera 500 and the projector 600.
  • the device DB 28 is a database that stores data on the device 400.
  • the device DB 28 stores the device name of the device 400.
  • the device name is associated with the location of the device in space.
  • FIG. 5 shows task 30, which is an example of a task related to visual pattern presentation.
  • a system presents visual patterns.
  • Problem 30 is that the system deteriorates the estimation accuracy and analysis time of SSVEP.
  • FIG. 6A and 6B collectively illustrate visual pattern presentation processing 40, which is an example of visual pattern presentation processing according to the present disclosure.
  • the presentation system 100 presents a visual stimulus pattern based on the user's 41 position and face direction.
  • the user 41 has a device 400a, a device 400b, a device 400c, a device 400d, and a device 400e in the user's 41 room.
  • the acquisition unit 121 of the presentation system 100 estimates the position and face direction of the user 41 (42). For example, the acquisition unit 121 acquires the position and head direction of the user 41 using the camera 500.
  • the presentation unit 123 of the presentation system 100 presents the visual stimulation pattern only to the options that exist in the direction that the user 41 is facing (for example, the device 400a, the device 400d) (43). For example, the presentation unit 123 projects the visual stimulation pattern onto the device 400 in that direction using the projector 600.
  • the acquisition unit 121 detects changes in the position and face direction of the user 41 (44).
  • the acquisition unit 121 updates the position and face direction of the user 41 (45).
  • the presentation unit 123 updates the device 400 to be presented (46). In this way, when the user 41 turns his face toward the device 400 (e.g., device 400b, device 400e) that the user 41 wants to operate, and then looks at the visual stimulus pattern, the user 41 can see the device 400 that the user 41 wants to operate. can be selected.
  • the device 400 e.g., device 400b, device 400e
  • the visual pattern presentation process according to the present disclosure may be applied to selecting and operating devices in a VR space.
  • the device in the VR space corresponds to the device 400 in FIGS. 6A and 6B. That is, the presentation system 100 can target not only devices in the real world but also devices in the VR world.
  • the camera 500 may be integrated with the electroencephalograph 300.
  • the presentation system 100 (for example, the acquisition unit 121) may identify the device that the user is gazing at based on the image captured by the camera 500. Further, the presentation system 100 (for example, the presentation unit 123) may display the visual stimulation pattern on a screen provided in the device 400. Device 400 may be connected to a screen, for example.
  • An example of a visual pattern presentation process includes a process for determining a device to which a visual stimulus is projected.
  • the process for determining the target device for visual stimulus projection is performed by the presentation system 100 of FIG. 1, for example.
  • FIG. 7 is a flowchart showing processing P100, which is an example of processing for determining a device to be targeted for visual stimulus projection.
  • the environment MAP 27 and device DB 28 described above with reference to FIG. 4 are prepared in advance.
  • the environment MAP 27 has been created, and the device DB 28 has also been registered.
  • the acquisition unit 121 acquires the user's position and face direction (step S101).
  • the face direction acquisition unit 21 acquires the face direction
  • the user position acquisition unit 22 acquires the user's position.
  • the determining unit 122 determines a plurality of devices onto which visual stimuli are projected and their respective visual stimulus patterns (step S102). For example, the photographing target determining unit 23 determines the device 400 that is the object (target) of visual stimulus projection and its visual stimulus pattern based on the user's position, the user's face direction, the environment MAP 27, and the device DB 28. do.
  • the determined visual stimulation pattern is projected onto the determined device 400 by the presentation unit 123 (for example, the visual stimulation presentation unit 24).
  • the SSVEP data is measured by the measurement unit 124 (for example, the SSVEP measurement unit 25).
  • the estimation unit 125 identifies the device being watched by the user from among the determined devices based on the SSVEP data (step S103). For example, the gaze target estimating unit 26 estimates the device being gazed at by the user based on the SSVEP data and the projected visual stimulation pattern.
  • the acquisition unit 121 determines whether the user's position and face direction have changed (step S104). If it is determined that the user's position and face direction have changed (step S104: Yes), the acquisition unit 121 performs step S102 again. If it is determined that the user's position and face direction have not changed (step S104: No), the estimation unit 125 performs step S103 again.
  • Presentation system 100 may use a projector to project visual stimulus patterns that allow for visual manipulation of options (eg, equipment 400) in space. Since the presentation system 100 projects a visual stimulation pattern when a visual stimulation pattern is required, the presentation system 100 can also suppress the influence on the estimation accuracy of SSVEP and the analysis time.
  • options eg, equipment 400
  • FIG. 8 is a diagram showing a computer 1000, which is an example of a computer hardware configuration.
  • the systems and methods described in this specification are implemented by computer 1000, for example.
  • a computer 1000 is an example of a computer that implements the presentation system 100 by executing a program.
  • Computer 1000 has memory 1010 and CPU 1020.
  • Computer 1000 also has a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. These components are connected by a bus 1080.
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012.
  • the ROM 1011 stores, for example, a boot program such as BIOS (Basic Input Output System).
  • Hard disk drive interface 1030 is connected to hard disk drive 1090.
  • Disk drive interface 1040 is connected to disk drive 1100.
  • a removable storage medium eg, a magnetic disk or an optical disk
  • Serial port interface 1050 is connected to, for example, mouse 1110 and keyboard 1120.
  • Video adapter 1060 is connected to display 1130, for example.
  • the hard disk drive 1090 stores an OS 1091, application programs 1092, program modules 1093, and program data 1094.
  • the program executed by computer 1000 defines multiple operations of presentation system 100.
  • This program may be implemented as a program module 1093 written in code executable by the computer 1000.
  • Program module 1093 is stored in hard disk drive 1090, for example.
  • hard disk drive 1090 stores program modules 1093 for performing processing similar to the functionality of the components of presentation system 100.
  • the hard disk drive 1090 may be replaced with an SSD (Solid State Drive).
  • the hard disk drive 1090 can store a presentation program for visual pattern presentation processing.
  • Hard disk drive 1090 may store computer program products including presentation program(s).
  • the presentation program when executed, performs one or more methods, such as those described above.
  • the configuration data used for the various processes described above may be implemented as program data 1094.
  • the setting data is stored in the memory 1010 or the hard disk drive 1090, for example.
  • CPU 1020 loads program module 1093 and program data 1094 stored in memory 1010 and hard disk drive 1090 into RAM 1012 as necessary. The CPU 1020 then performs the various processes described above.
  • program module 1093 and program data 1094 may be stored in a removable storage medium instead of the hard disk drive 1090.
  • the CPU 1020 may load the program module 1093 and program data 1094 via the disk drive 1100 or the like.
  • program module 1093 and program data 1094 may be stored in another computer connected to computer 1000 via a network (LAN, WAN, etc.). In this case, the CPU 1020 may load the program module 1093 and program data 1094 via the network interface 1070.
  • the presentation system 100 includes the acquisition section 121, the determination section 122, and the presentation section 123.
  • the acquisition unit 121 acquires device data indicating a plurality of devices that can be operated by a user.
  • the acquisition unit 121 acquires user data that specifies the user's field of view.
  • the determination unit 122 determines a device within the user's field of vision from among a plurality of devices using device data and user data.
  • the presenting unit 123 presents on the device determined by the determining unit 122 a visual pattern that allows the user's brain waves to operate the determined device.
  • the determination unit 122 determines a plurality of devices within the field of view of the user from the plurality of devices, and determines a plurality of visual patterns corresponding to the plurality of devices, each visual pattern being a plurality of visual patterns. Determine multiple visual patterns that allow the user's brainwaves to operate the corresponding equipment.
  • the presentation unit 123 presents each visual pattern on a corresponding device.
  • the presentation unit 123 projects the visual pattern onto the device determined by the determination unit 122 using a projector located near the device determined by the determination unit 122.
  • the acquisition unit 121 acquires the positions of multiple devices that can be operated by the user as device data.
  • the acquisition unit 121 acquires the user's position and the direction of the user's face as user data.
  • the acquisition unit 121 acquires the user's position and the direction of the user's face using a camera installed at a specific location associated with the user.
  • presentation system 100 Various implementations of presentation system 100 are described herein or illustrated in the drawings. Some implementations relate to information including various data, data processing procedures, specific names, or parameters. Such implementations may be modified in any manner unless otherwise specified. For example, the various data are not limited to the data shown in the drawings.
  • the components of the system are shown in the drawing.
  • the illustrated components conceptually illustrate the functionality of the system.
  • the components are not necessarily physically arranged as shown in the drawings.
  • the components may be integrated or distributed, and the specific form of the system is not limited to that shown. All or part of the system may be functionally or physically integrated or distributed depending on various loads and usage conditions.
  • module (module, section, -er suffix or -or suffix) can be read as unit, means, circuit, etc.
  • a communication module, a control module, and a storage module can be read as a communication unit, a control unit, and a storage unit, respectively.
  • control unit 120 (Configuration of control unit)
  • the configuration of the control unit 120 shown in FIG. 3 is exemplary, and the data processing described with respect to a specific unit does not necessarily have to be performed by that specific unit.
  • the presentation unit 123 may perform the data processing described with respect to the determination unit 122.
  • the control unit 120 may include other units not shown in FIG. 3. Other units may perform the data processing described with respect to the control unit 120.
  • the data processing device described with respect to control unit 120 is not limited to the specific hardware described above.
  • the data processing device may be, for example, a variety of computers or an integrated circuit such as an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a GPGPU (General Purpose Graphic Processing Unit).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • GPGPU General Purpose Graphic Processing Unit

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本開示に係る提示システムは、取得部、決定部および提示部を含む。取得部は、ユーザが操作することができる複数の機器を示す機器データを取得する。そして、取得部は、ユーザの視界を特定するユーザデータを取得する。決定部は、複数の機器の中から、ユーザの視界内にある機器を、機器データおよびユーザデータを用いて決定する。提示部は、決定部によって決定された機器上に、ユーザの脳波がこの決定された機器を操作することを可能にする視覚パターンを提示する。

Description

提示システム、提示方法及び提示プログラム
　本開示は、提示システム、提示方法及び提示プログラムに関する。
　様々なＵＩ（User　Interface）が、コンピュータ、ＩｏＴ（Internet　of　Things）機器等の機器を操作するために使われている。一般的には、ユーザは、ＧＵＩ（Graphical　User　Interface）を、マウスやタッチスクリーンを使って操作する。
　ＵＩの研究は、手を使わずに機器を操作する方法を生み出している。ブレイン・コンピュータ・インターフェースは、ユーザが、ユーザの脳を使って機器を操作することを可能にする。ブレイン・コンピュータ・インターフェースは、定常状態視覚誘発電位（Steady　State　Visually　Evoked　Potential、ＳＳＶＥＰ）を使って実装され得る。
　ＳＳＶＥＰを使った手法には、ユーザに行動のオプションを提示するための手法がある。この手法では、ユーザの精神状態が、ユーザのＳＳＶＥＰの観測から決定される。そして、行動のオプションが、ユーザの精神状態に基づいて提示される。
特開２０１０－２３３７１９号公報
　しかしながら、上記の先行技術は、ユーザが、ユーザの脳波を使って空間の中の機器を操作することを可能にすることが難しい場合がある。
　そこで、本開示は、ユーザが、ユーザの脳波を使って空間の中の機器を操作することを可能にすることができる提示システム、提示方法及び提示プログラムを提供する。
　本開示の一態様では、提示システムは、ユーザが操作することができる複数の機器を示す機器データを取得する第１取得部と、前記ユーザの視界を特定するユーザデータを取得する第２取得部と、前記複数の機器の中から、前記ユーザの視界内にある機器を、前記機器データ及び前記ユーザデータを用いて決定する決定部と、前記決定部によって決定された機器上に、前記ユーザの脳波が当該決定された機器を操作することを可能にする視覚パターンを提示する提示部とを備える。
　提示システムは、ユーザが、ユーザの脳波を使って空間の中の機器を操作することを可能にすることができる。
図１は、視覚パターン提示のための環境の例のブロック図である。 図２は、本開示に係る１つの視覚パターン提示処理の概要を示す。 図３は、本開示に係る提示システムの構成の例のブロック図である。 図４は、本開示に係る制御部および記憶部の構成の例を示す。 図５は、視覚パターン提示に関連する課題の例を示す。 図６Ａは、本開示に係る視覚パターン提示処理の例を示す。 図６Ｂは、本開示に係る視覚パターン提示処理の例を示す。 図７は、視覚刺激投影の対象とされる機器を決定するための処理の例を示すフローチャートである。 図８は、コンピュータのハードウェア構成の例を示す。
　本開示の複数の実施形態が、添付の図面と、以下の説明に記載されている。なお、本発明は、これらの実施形態に限定されるものではない。これらの実施形態の様々な特徴は、これらの特徴が互いに矛盾しないという条件で、様々なやり方で組み合わされ得る。同種の符号は、同種の要素を示す。
　以下の説明は、１０個の節で構成されている：
　１．はじめに
　２．視覚パターン提示のための環境
　３．視覚パターン提示処理の概要
　４．提示システムの構成
　５．視覚パターン提示処理の詳細
　　５－１．課題の例
　　５－２．実空間における視覚刺激パターンの提示
　　５－３．他の実装の例
　６．視覚パターン提示処理のフローチャート
　７．効果
　８．ハードウェア構成
　９．実施形態のまとめ
　１０．補遺
〔１．はじめに〕
　ＳＳＶＥＰ（Steady　State　Visually　Evoked　Potential）が、ディスプレイ上のＧＵＩを操作するために使われている。ＳＳＶＥＰを使った手法では、ユーザが注視している対象（ターゲット）が、ユーザの脳波に基づいて推定される。網膜が、3.5Hzから75Hzの視覚刺激によって、興奮すると、脳波が検出される。この脳波の周波数は、視覚刺激と同等である。
　ＳＳＶＥＰを使った手法は、長期間のトレーニングを要さない。また、ＳＳＶＥＰを使った手法は、ＩＴＲ（Information　Transfer　Rate）が高い（ＩＴＲは、ブレイン・コンピュータ・インターフェースの主要な指標の１つである）。このため、ＳＳＶＥＰを使った手法は、障害者向けのＵＩとして、注目を集めている。
　ＳＳＶＥＰは、画像解析のアプローチに比べると、キャリブレーションするのが容易である。また、ＳＳＶＥＰを使った手法は、いくつかの選択肢のうちの注目されている対象を、正確に推定することができる。さらに、ＳＳＶＥＰには、カメラにおける解像度の問題がない。ＳＳＶＥＰは、ユーザとの距離、ユーザの姿勢、個人差（例えば、黒目のサイズ、メガネの着用）、環境光等の要因に対して、ロバストである。
　ＳＳＶＥＰには、上で述べたような利点があり、ＳＳＶＥＰは、ＧＵＩの操作に応用されている。例えば、ＧＵＩは、ディスプレイ上に表示されるボタンである。ＳＳＶＥＰは、ＶＲ（Virtual　Reality）内でのＧＵＩ操作にも応用されている。例えば、ボタンが、ＶＲ内に表示される。
　ＳＳＶＥＰを使ってＧＵＩを操作するための手法は、ボタンの配列等、平面に配置されたオブジェクトを操作するのに使われ得る。しかしながら、このような手法は、空間に配置されたオブジェクトを想定していない。
　その一方で、ＩｏＴテクノロジーが発展するにつれて、様々なコンピュータ機器が、多くの場面で使われている。ＩｏＴ機器等のコンピュータ機器は、現実世界で使用される。これらの機器は、部屋等の「空間」の中に配置される。上で述べたように、ＳＳＶＥＰを使ってＧＵＩを操作するための手法は、ＳＳＶＥＰの「空間の中のオブジェクト」への応用を考慮していない。このため、このような手法は、ＳＳＶＥＰを、空間の中に配置されている機器の操作に応用することが難しい。
　上記の課題を解決するために、本開示に係る提示システムは、以下で説明する１つまたは複数の視覚パターン提示処理を行う。
〔２．視覚パターン提示のための環境〕
　まず、視覚パターン提示のための環境を、図１を参照して説明する。
　図１は、視覚パターン提示のための環境の例である環境１のブロック図である。図１に示されるように、環境１は、提示システム１００、ネットワーク２００、脳波計３００、複数の機器４００、複数のカメラ５００および複数のプロジェクタ６００を含む。
　提示システム１００は、視覚パターンを提示するための処理を行うシステムである。この明細書では、このような処理は、視覚パターン提示処理と呼ばれる。１つの視覚パターン提示処理の概要を、３節で説明する。そして、様々な視覚パターン提示処理を、５節で詳細に説明する。
　提示システム１００は、１つまたは複数のサーバ等の、１つまたは複数のコンピュータを含む。提示システム１００の構成の例を、４節で説明する。
　ネットワーク２００は、ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）、インターネット等のネットワークである。ネットワーク２００は、提示システム１００、脳波計３００、機器４００、カメラ５００およびプロジェクタ６００を接続する。
　脳波計３００は、ユーザによって使われる脳波計である。脳波計３００は、例えば、非侵襲の脳波計である。脳波計３００は、ＳＳＶＥＰを計測するために使われる。
　機器４００は、ユーザによって使われる各種のコンピュータ機器である。機器４００は、例えば、照明、エアコン、テレビ等の、住宅のＩｏＴ機器である。例えば、機器４００は、ユーザの部屋の中に置かれる。
　カメラ５００は、ユーザに関連する場所に設置されたカメラである。場所は、例えば、ユーザの部屋である。カメラ５００は、機器４００の近くに設置されてもよい。
　プロジェクタ６００は、機器４００の近くに設置されたプロジェクタである。例えば、プロジェクタ６００は、ユーザの部屋の天井に取り付けられる。
〔３．視覚パターン提示処理の概要〕
　次に、１つの視覚パターン提示処理の概要を、図２を参照して説明する。なお、この概要は、本発明や、以下の節で説明する複数の実施形態を限定することを意図するものではない。
　図２は、本開示に係る１つの視覚パターン提示処理の概要である概要１０を示す。概要１０は、ＳＳＶＥＰの現在の用途と、本開示に係る、ＳＳＶＥＰの用途を比較するものである。
　図２に示されるように、ＳＳＶＥＰは、複数のボタンのうちの注目されているボタンを推定するために使用され得る。まず、刺激パターンが、それぞれのボタン上に提示される。例えば、あるボタンは、周波数Ａで点滅し、他のボタンは、周波数Ｂで点滅する。図２の例では、ユーザは、周波数Ｂで点滅するボタンに注目している。脳波計は、ユーザの脳波を計測する。そして、パワースペクトルが、計測された脳波のフーリエ変換をとることによって得られる。パワースペクトルのピークは、周波数ＢでのＳＳＶＥＰに対応する。すなわち、ＳＳＶＥＰは、ユーザがどの刺激パターンを見たのかを教えてくれる。
　上で説明したように、ＳＳＶＥＰの現在の用途の例として、ディスプレイ上のＧＵＩの操作およびＶＲ内でのＧＵＩ操作が挙げられる。ディスプレイの解像度が高ければ、ユーザは、密に配置されたボタンを、正確に選択することができる。なお、現実的な刺激パターンの数は、１０程度である。
　その一方で、本開示に係る、ＳＳＶＥＰの用途の例として、ユーザの部屋の中に置かれているＩｏＴ機器の操作が挙げられる。提示システム１００は、ＳＳＶＥＰを、ＩｏＴ機器等の、空間の中の機器の操作／選択に応用する。提示システム１００は、視覚刺激パターンを、視覚刺激パターンが必要な場所に、必要な時に提示する。例えば、ユーザがテレビの方向を向いている場合には、提示システム１００は、視覚刺激パターンを、テレビの上にプロジェクタ６００を使って投影する。これにより、提示システム１００は、ユーザが、空間の中の機器を操作または選択することを可能にする。
〔４．提示システムの構成〕
　次に、提示システム１００の構成の例を、図３を参照して説明する。
　図３は、本開示に係る提示システム１００の構成の例のブロック図である。図３に示されるように、提示システム１００は、通信部１１０、制御部１２０および記憶部１３０を含む。提示システム１００は、提示システム１００の管理者から入力を受け付ける入力部（例えば、キーボード、マウス）を含んでもよい。また、提示システム１００は、管理者に情報を表示する出力部（例えば、液晶ディスプレイ、有機ＥＬ（Electro　Luminescence）ディスプレイ）を含んでもよい。
（通信部１１０）
　通信部１１０は、ＮＩＣ（Network　Interface　Card）等のネットワーク機器によって実装される。通信部１１０は、有線または無線によりネットワーク２００と接続される。通信部１１０は、ネットワーク２００を介して、脳波計３００、機器４００、カメラ５００およびプロジェクタ６００との間で、データの送受信を行うことができる。
（制御部１２０）
　制御部１２０は、データ処理装置と、記憶装置に記憶された各種プログラムによって実装される。データ処理装置は、例えば、ＣＰＵ（Central　Processing　Unit）、ＭＰＵ（Micro　Processing　Unit）、ＧＰＧＰＵ（General　Purpose　Graphic　Processing　Unit）等のプロセッサである。制御部１２０は、提示システム１００の複数の動作を制御するためのコントローラ（controller）として実装され得る。例えば、１つまたは複数のプロセッサが、ＲＡＭ（Random　Access　Memory）を作業領域として使用することで、プログラム（複数の命令）を実行した場合に、この１つまたは複数のプロセッサは、複数の動作を行う。
（記憶部１３０）
　記憶部１３０は、ＲＡＭ、フラッシュメモリ（Flash　Memory）等の半導体メモリ、ハードディスク等の磁気ディスク、または光ディスクによって実装される。記憶部１３０は、各種プログラムおよび各種データを記憶することができる。
　図３に示されるように、制御部１２０は、取得部１２１、決定部１２２、提示部１２３、計測部１２４および推定部１２５を含む。取得部１２１は、第１取得部および第２取得部の一例である。個々の部によって行われるデータ処理を、以下で説明する。また、個々の部の詳細を、図４を参照して以下で説明する。
（取得部１２１）
　取得部１２１は、機器４００に関する機器データを取得する。機器データは、ユーザが操作することができる複数の機器を示す。例えば、複数の機器は、特定の環境（例えば、ユーザの部屋）におけるＩｏＴ機器である。また、取得部１２１は、ユーザに関するユーザデータを取得する。例えば、ユーザデータは、カメラ５００によって撮影された画像や映像である。ユーザデータは、ユーザの位置や顔の向きを示し得る。取得部１２１は、ユーザデータに基づいて、ユーザの視線方向（すなわち、ユーザが見ている範囲）を計測することができる。
（決定部１２２）
　決定部１２２は、ユーザの視界内にある機器を決定する。このような機器は、例えば、ユーザの視線方向にあるＩｏＴ機器である。決定部１２２は、例えば、記憶部１３０内のリポジトリに記憶された所定の条件（例えば、特定のルール）に基づいて、複数の機器にそれぞれ対応する複数の視覚パターンを決定することができる。
（提示部１２３）
　提示部１２３は、決定部１２２によって決定された機器上に、視覚パターンを提示する。例えば、ユーザの視線方向にあるＩｏＴ機器上に、異なる複数の視覚刺激パターンを提示する。
（計測部１２４）
　計測部１２４は、ユーザの脳波を、脳波計３００を使って計測する。計測部１２４は、ユーザの脳波に基づいて、ＳＳＶＥＰを計測することができる。
（推定部１２５）
　推定部１２５は、ユーザによって操作された機器を、ユーザの脳波に関するデータに基づいて推定する。例えば、ＳＳＶＥＰに基づいて、推定部１２５は、ユーザによって操作された機器を特定する。
　図３に示されるように、記憶部１３０は、機器データ１３１を含む。機器データ１３１は、機器４００に関する各種のデータである。機器データ１３１の詳細を、図４を参照して以下で説明する。
　図４は、本開示に係る制御部１２０および記憶部１３０の構成の例である構成２０を示す。図４に示されるように、構成２０は、顔方向取得部２１、ユーザ位置取得部２２、撮影対象決定部２３、視覚刺激提示部２４、ＳＳＶＥＰ計測部２５、注視対象推定部２６、環境ＭＡＰ２７および機器ＤＢ２８を含む。顔方向取得部２１およびユーザ位置取得部２２は、取得部１２１の一例である。撮影対象決定部２３は、決定部１２２の一例である。視覚刺激提示部２４は、提示部１２３の一例である。ＳＳＶＥＰ計測部２５は、計測部１２４の一例である。注視対象推定部２６は、推定部１２５の一例である。環境ＭＡＰ２７および機器ＤＢ２８は、機器データ１３１の一例である。
　顔方向取得部２１は、ユーザの顔の向きを取得する。向きは、例えば、方位角を使って表される。
　ユーザ位置取得部２２は、ユーザの位置を取得する。位置は、例えば、座標を使って表される。
　撮影対象決定部２３は、投影される視覚刺激パターンおよび視覚刺激パターンの投影の対象とされる機器を、ユーザの位置、ユーザの顔の向き、環境ＭＡＰ２７および機器ＤＢ２８に基づいて、決定する。撮影対象決定部２３は、各種の視覚刺激パターンを、記憶部１３０内のリポジトリから取得することができる。
　視覚刺激提示部２４は、視覚刺激パターンを提示する。視覚刺激提示部２４は、視覚刺激パターンを、プロジェクタ６００を使って投影することができる。
　ＳＳＶＥＰ計測部２５は、ＳＳＶＥＰデータを計測する。ＳＳＶＥＰ計測部２５は、ＳＳＶＥＰデータを、脳波計３００を使って計測することができる。
　注視対象推定部２６は、ユーザが注視している対象を推定する。例えば、注視対象推定部２６は、ユーザが注視している機器を、ＳＳＶＥＰデータ、視覚刺激対象および視覚刺激対象が投影された機器に基づいて、推定する。
　環境ＭＡＰ２７は、ユーザがいる環境を示す。環境ＭＡＰ２７は、カメラ５００およびプロジェクタ６００の位置を示してもよい。
　機器ＤＢ２８は、機器４００のデータを記憶するデータベースである。機器ＤＢ２８は、機器４００の機器名を記憶する。機器名は、機器の空間中の位置に関連付けられている。
〔５．視覚パターン提示処理の詳細〕
　１つの視覚パターン提示処理の概要を、図２を参照して上で説明した。様々な視覚パターン提示処理を、この節で詳細に説明する。
〔５－１．課題の例〕
　図５は、視覚パターン提示に関連する課題の例である課題３０を示す。図５の例では、あるシステムが、視覚パターンを提示する。課題３０は、システムが、ＳＳＶＥＰの推定精度や解析時間を悪化させることである。
　図５に示されるように、もし、ＳＳＶＥＰが、空間中の機器の選択に応用されると、システムは、視覚刺激パターンを、選択の対象とされ得る全ての機器に対して、常に提示することを必要とされる。しかしながら、ＳＳＶＥＰに使われる大量の視覚刺激パターンを用意することは、推定精度の低下、解析時間の増加等の悪影響を、実用的利用に与える。上で説明したように、刺激パターンの数は、通常は、１０程度である。そこで、提示システム１００は、視覚刺激パターンが必要とされる際に、必要な分だけ視覚刺激パターンを提示する。
〔５－２．実空間における視覚刺激パターンの提示〕
　図６Ａおよび図６Ｂは、本開示に係る視覚パターン提示処理の例である視覚パターン提示処理４０を、ひとまとめにして示す。視覚パターン提示処理４０では、提示システム１００は、視覚刺激パターンを、ユーザ４１の位置および顔方向に基づいて、提示する。ユーザ４１は、ユーザ４１の部屋に、機器４００ａ、機器４００ｂ、機器４００ｃ、機器４００ｄおよび機器４００ｅがある。
　図６Ａに示されるように、提示システム１００の取得部１２１は、ユーザ４１の位置および顔方向を推定する（４２）。例えば、取得部１２１は、ユーザ４１の位置および頭部方向を、カメラ５００を使って取得する。
　提示システム１００の提示部１２３は、視覚刺激パターンを、ユーザ４１が向いている方向に存在する選択肢（例えば、機器４００ａ、機器４００ｄ）に対してのみ、提示する（４３）。例えば、提示部１２３は、視覚刺激パターンを、その方向にある機器４００上に、プロジェクタ６００を使って投影する。
　図６Ｂを参照すると、取得部１２１は、ユーザ４１の位置および顔方向の変化を検出する（４４）。そして、取得部１２１は、ユーザ４１の位置および顔方向を更新する（４５）。提示部１２３は、提示対象の機器４００を更新する（４６）。このように、ユーザ４１が、ユーザ４１が操作したい機器４００（例えば、機器４００ｂ、機器４００ｅ）の方に顔を向け、それから視覚刺激パターンを注視すると、ユーザ４１は、ユーザ４１が操作したい機器４００を選択することができる。
〔５－３．他の実装の例〕
　本開示に係る視覚パターン提示処理は、ＶＲ空間中の機器の選択や操作に応用されてもよい。この場合、ＶＲ空間中の機器が、図６Ａおよび図６Ｂの機器４００に対応する。すなわち、提示システム１００は、実世界の機器だけなくＶＲ世界の機器も対象とし得る。
　カメラ５００は、脳波計３００と一体化されていてもよい。この場合、提示システム１００（例えば、取得部１２１）は、カメラ５００によって撮影された画像に基づいて、ユーザが注視している機器を特定してもよい。また、提示システム１００（例えば、提示部１２３）は、視覚刺激パターンを、機器４００に設けられたスクリーン上に表示してもよい。機器４００は、例えば、スクリーンに接続されていてもよい。
〔６．視覚パターン提示処理のフローチャート〕
　次に、視覚パターン提示処理の例のフローチャートを、図７を参照して説明する。視覚パターン提示処理の例は、視覚刺激投影の対象とされる機器を決定するための処理を含む。視覚刺激投影の対象とされる機器を決定するための処理は、例えば、図１の提示システム１００によって行われる。
　図７は、視覚刺激投影の対象とされる機器を決定するための処理の例である処理Ｐ１００を示すフローチャートである。
　図７の例では、図４を参照して上で説明した環境ＭＡＰ２７および機器ＤＢ２８は、事前に準備されている。環境ＭＡＰ２７は、作成済みであり、また、機器ＤＢ２８も登録済みである。
　取得部１２１は、ユーザの位置および顔方向を取得する（ステップＳ１０１）。例えば、顔方向取得部２１が、顔方向を取得し、ユーザ位置取得部２２が、ユーザの位置を取得する。
　決定部１２２は、視覚刺激が投影される複数の機器およびそれぞれの視覚刺激パターンを決定する（ステップＳ１０２）。例えば、撮影対象決定部２３が、視覚刺激の投影の対象（ターゲット）とされる機器４００と、その視覚刺激パターンを、ユーザの位置、ユーザの顔方向、環境ＭＡＰ２７および機器ＤＢ２８に基づいて、決定する。決定された視覚刺激パターンは、決定された機器４００上に、提示部１２３（例えば、視覚刺激提示部２４）によって投影される。そして、ＳＳＶＥＰデータが、計測部１２４（例えば、ＳＳＶＥＰ計測部２５）によって計測される。
　推定部１２５は、決定された複数の機器の中から、ユーザによって注視されている機器を、ＳＳＶＥＰデータに基づいて特定する（ステップＳ１０３）。例えば、注視対象推定部２６は、ユーザによって注視されている機器を、ＳＳＶＥＰデータおよび投影される視覚刺激パターンに基づいて、推定する。
　取得部１２１は、ユーザの位置および顔方向が変化したかを判定する（ステップＳ１０４）。ユーザの位置および顔方向が変化したと判定された場合に（ステップＳ１０４：Ｙｅｓ）、取得部１２１は、再度ステップＳ１０２を行う。ユーザの位置および顔方向が変化していないと判定された場合に（ステップＳ１０４：Ｎｏ）、推定部１２５は、再度ステップＳ１０３を行う。
〔７．効果〕
　提示システム１００は、空間中の選択肢（例えば、機器４００）を視覚的に操作することを可能にする視覚刺激パターンを、プロジェクタを使って投影することができる。提示システム１００は、視覚刺激パターンが必要とされる際に、視覚刺激パターンを投影するため、提示システム１００は、ＳＳＶＥＰの推定精度や解析時間への影響を抑えることもできる。
〔８．ハードウェア構成〕
　図８は、コンピュータのハードウェア構成の例であるコンピュータ１０００を示す図である。この明細書で説明されたシステムや方法は、例えば、コンピュータ１０００によって実装される。
　コンピュータ１０００は、プログラムを実行することで提示システム１００を実装するコンピュータの一例を示している。コンピュータ１０００は、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０およびネットワークインタフェース１０７０を有する。これらの構成要素は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。着脱可能な記憶媒体（例えば、磁気ディスクや光ディスク）が、ディスクドライブ１１００に挿入され得る。シリアルポートインタフェース１０５０は、例えば、マウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えば、ディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。コンピュータ１０００によって実行されるプログラムは、提示システム１００の複数の動作を規定する。このプログラムは、コンピュータ１０００により実行可能なコードで記述されたプログラムモジュール１０９３として実装され得る。プログラムモジュール１０９３は、例えば、ハードディスクドライブ１０９０に記憶される。例えば、ハードディスクドライブ１０９０は、提示システム１００の構成要素の機能と同様の処理を実行するためのプログラムモジュール１０９３を記憶する。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）に置き換えられてもよい。
　ハードディスクドライブ１０９０は、視覚パターン提示処理のための提示プログラムを記憶することができる。ハードディスクドライブ１０９０は、提示プログラム（複数の命令）を含むコンピュータプログラムプロダクトを記憶してもよい。提示プログラムは、実行された場合に、上で説明したような、１つまたは複数の方法を行う。
　上で説明した様々な処理に用いられる設定データは、プログラムデータ１０９４として実装され得る。設定データは、例えば、メモリ１０１０やハードディスクドライブ１０９０に記憶される。ＣＰＵ１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を、必要に応じて、ＲＡＭ１０１２にロードする。そして、ＣＰＵ１０２０は、上で説明した様々な処理を行う。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０ではなく、着脱可能な記憶媒体に記憶されてもよい。ＣＰＵ１０２０は、プログラムモジュール１０９３やプログラムデータ１０９４を、ディスクドライブ１１００等を介してロードしてもよい。あるいは、プログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ、ＷＡＮ等）を介してコンピュータ１０００に接続された他のコンピュータに記憶されてもよい。この場合、ＣＰＵ１０２０は、プログラムモジュール１０９３やプログラムデータ１０９４を、ネットワークインタフェース１０７０を介してロードしてもよい。
〔９．実施形態のまとめ〕
　上で説明したように、提示システム１００は、取得部１２１、決定部１２２および提示部１２３を含む。少なくとも１つの実施形態では、取得部１２１は、ユーザが操作することができる複数の機器を示す機器データを取得する。そして、取得部１２１は、ユーザの視界を特定するユーザデータを取得する。少なくとも１つの実施形態では、決定部１２２は、複数の機器の中から、ユーザの視界内にある機器を、機器データおよびユーザデータを用いて決定する。少なくとも１つの実施形態では、提示部１２３は、決定部１２２によって決定された機器上に、ユーザの脳波がこの決定された機器を操作することを可能にする視覚パターンを提示する。
　いくつかの実施形態では、決定部１２２は、複数の機器から、ユーザの視界内にある複数の機器を決定し、複数の機器にそれぞれ対応する複数の視覚パターンであって、それぞれの視覚パターンがユーザの脳波が対応する機器を操作することを可能にする複数の視覚パターンを決定する。いくつかの実施形態では、提示部１２３は、それぞれの視覚パターンを、対応する機器上に提示する。
　いくつかの実施形態では、提示部１２３は、決定部１２２によって決定された機器上に、視覚パターンを、決定部１２２によって決定された機器の近傍に位置するプロジェクタを用いて投影する。
　いくつかの実施形態では、取得部１２１は、機器データとして、ユーザが操作することができる複数の機器の位置を取得する。
　いくつかの実施形態では、取得部１２１は、ユーザデータとして、ユーザの位置およびユーザの顔の方向を取得する。
　いくつかの実施形態では、取得部１２１は、ユーザの位置およびユーザの顔の方向を、ユーザに関連付けられた特定の場所に設置されたカメラを用いて取得する。
〔１０．補遺〕
　最後に、上記の説明を、その他の実施形態で補う。様々な実施形態を、図面を参照して上で説明してきた。これらの実施形態は、例示的であり、上記の説明は、本開示を、これらの実施形態に限定することを意図するものではない。この明細書で説明された特徴は、当業者の知識に基づく変形や改良を含む、様々な方法（ways）で実現され得る。
（各種変形）
　この明細書では、いくつかの処理は、自動的に行われる処理として説明された。これらの処理の一部は、手動的に行われ得る。また、いくつかの他の処理は、手動的に行われる処理として説明された。これらの他の処理の全部または一部は、公知の方法を使って、自動的に行われ得る。
　提示システム１００の様々な実装が、本明細書で説明されるか、または図面に示されている。いくつかの実装は、各種のデータ、データ処理手順、具体的名称、またはパラメータを含む情報に関する。このような実装は、特に明記しない限り、任意に変更され得る。例えば、各種のデータは、図面に示されたデータに限られない。
　システムの構成要素が、図面に示されている。図示された構成要素は、システムの機能を、概念的に示すものである。構成要素は、必ずしも、図面に示されたように物理的に構成されているとは限らない。構成要素は、統合または分散されてもよく、システムの具体的形態は、図示された形態に限られない。システムの全部または一部は、各種の負荷や使用状況に応じて、機能的または物理的に統合または分散され得る。
（構成要素を表す用語）
　部（module、section、-er接尾辞または-or接尾辞）という用語は、ユニット、手段、回路などに読み替えることができる。例えば、通信部（communication　module）、制御部（control　module）および記憶部（storage　module）は、それぞれ、通信ユニット、制御ユニットおよび記憶ユニットに読み替えることができる。
（制御部の構成）
　図３に示された制御部１２０の構成は、例示的であり、特定の部に関して説明されたデータ処理は、必ずしも、その特定の部によって行われなくてもよい。例えば、提示部１２３は、決定部１２２に関して説明されたデータ処理を行ってもよい。また、制御部１２０は、図３に示されていないその他の部を含んでもよい。その他の部は、制御部１２０に関して説明されたデータ処理を行ってもよい。
（データ処理装置）
　制御部１２０に関して説明されたデータ処理装置は、上で説明した特定のハードウェアに限定されるものはない。データ処理装置は、例えば、各種のコンピュータ、またはＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＦＰＧＡ（Field　Programmable　Gate　Array）、ＧＰＧＰＵ（General　Purpose　Graphic　Processing　Unit）等の集積回路であってもよい。
　　　１　環境
　１００　提示システム
　１１０　通信部
　１２０　制御部
　１２１　取得部
　１２２　決定部
　１２３　提示部
　１２４　計測部
　１２５　推定部
　１３０　記憶部
　１３１　機器データ
　２００　ネットワーク
　３００　脳波計
　４００　機器
　５００　カメラ
　６００　プロジェクタ

Claims (8)

  1. 　ユーザが操作することができる複数の機器を示す機器データを取得する第１取得部と、
    　前記ユーザの視界を特定するユーザデータを取得する第２取得部と、
    　前記複数の機器の中から、前記ユーザの視界内にある機器を、前記機器データ及び前記ユーザデータを用いて決定する決定部と、
    　前記決定部によって決定された機器上に、前記ユーザの脳波が当該決定された機器を操作することを可能にする視覚パターンを提示する提示部と
    　を備える提示システム。
  2. 　前記決定部は、前記複数の機器から、前記ユーザの視界内にある複数の機器を決定し、前記複数の機器にそれぞれ対応する複数の視覚パターンであって、それぞれの視覚パターンが前記ユーザの脳波が対応する機器を操作することを可能にする複数の視覚パターンを決定し、
    　前記提示部は、前記それぞれの視覚パターンを、前記対応する機器上に提示する
    　請求項１に記載の提示システム。
  3. 　前記提示部は、前記決定部によって決定された機器上に、前記視覚パターンを、前記決定部によって決定された機器の近傍に位置するプロジェクタを用いて投影する
    　請求項１に記載の提示システム。
  4. 　前記第１取得部は、前記機器データとして、前記ユーザが操作することができる前記複数の機器の位置を取得する
    　請求項１に記載の提示システム。
  5. 　前記第２取得部は、前記ユーザデータとして、前記ユーザの位置及び前記ユーザの顔の方向を取得する
    　請求項１に記載の提示システム。
  6. 　前記第２取得部は、前記ユーザの位置及び前記ユーザの顔の方向を、前記ユーザに関連付けられた特定の場所に設置されたカメラを用いて取得する
    　請求項５に記載の提示システム。
  7. 　コンピュータが実行する提示方法であって、
    　ユーザが操作することができる複数の機器を示す機器データを取得する第１取得工程と、
    　前記ユーザの視界を特定するユーザデータを取得する第２取得工程と、
    　前記複数の機器の中から、前記ユーザの視界内にある機器を、前記機器データ及び前記ユーザデータを用いて決定する決定工程と、
    　前記決定工程によって決定された機器上に、前記ユーザの脳波が当該決定された機器を操作することを可能にする視覚パターンを提示する提示工程と
    　を含む提示方法。
  8. 　コンピュータを、請求項１～６のうちいずれか１つに記載の提示システムとして機能させるための提示プログラム。
PCT/JP2022/021467 2022-05-25 2022-05-25 提示システム、提示方法及び提示プログラム Ceased WO2023228337A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2022/021467 WO2023228337A1 (ja) 2022-05-25 2022-05-25 提示システム、提示方法及び提示プログラム
US18/867,803 US20250362748A1 (en) 2022-05-25 2022-05-25 Presentation system, presentation method, and presentation program
JP2024522813A JP7747193B2 (ja) 2022-05-25 2022-05-25 提示システム、提示方法及び提示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/021467 WO2023228337A1 (ja) 2022-05-25 2022-05-25 提示システム、提示方法及び提示プログラム

Publications (1)

Publication Number Publication Date
WO2023228337A1 true WO2023228337A1 (ja) 2023-11-30

Family

ID=88918735

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/021467 Ceased WO2023228337A1 (ja) 2022-05-25 2022-05-25 提示システム、提示方法及び提示プログラム

Country Status (3)

Country Link
US (1) US20250362748A1 (ja)
JP (1) JP7747193B2 (ja)
WO (1) WO2023228337A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025191654A1 (ja) * 2024-03-11 2025-09-18 Ｎｔｔ株式会社 情報提示装置および情報提示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209965A (ja) * 2010-03-29 2011-10-20 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2014206904A (ja) * 2013-04-15 2014-10-30 オリンパス株式会社 ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法
WO2019073603A1 (ja) * 2017-10-13 2019-04-18 マクセル株式会社 表示装置、脳波インタフェース装置、ヘッドアップディスプレイシステム、プロジェクタシステムおよび視覚刺激信号の表示方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1248426A (zh) * 1999-10-29 2000-03-29 清华大学 基于脑电稳态诱发响应的控制装置
EP1782228A1 (en) 2004-08-03 2007-05-09 Silverbrook Research Pty. Ltd Walk-up printing
CN120653123A (zh) * 2019-11-20 2025-09-16 奈克斯特曼德公司 脑计算机接口

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209965A (ja) * 2010-03-29 2011-10-20 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2014206904A (ja) * 2013-04-15 2014-10-30 オリンパス株式会社 ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法
WO2019073603A1 (ja) * 2017-10-13 2019-04-18 マクセル株式会社 表示装置、脳波インタフェース装置、ヘッドアップディスプレイシステム、プロジェクタシステムおよび視覚刺激信号の表示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025191654A1 (ja) * 2024-03-11 2025-09-18 Ｎｔｔ株式会社 情報提示装置および情報提示方法

Also Published As

Publication number Publication date
JP7747193B2 (ja) 2025-10-01
JPWO2023228337A1 (ja) 2023-11-30
US20250362748A1 (en) 2025-11-27

Similar Documents

Publication Publication Date Title
Swan et al. Matching and reaching depth judgments with real and augmented reality targets
JP6853261B2 (ja) モバイルデバイスを用いて検眼プログラムを実施する方法及びモバイルデバイス
US10456072B2 (en) Image interpretation support apparatus and method
EP3285635B1 (en) Systems and methods for determining distance from an object
CN102880290B (zh) 一种显示控制方法、装置及终端
EP3260951A1 (en) Information processing device, method, and program
US20190073029A1 (en) System and method for receiving user commands via contactless user interface
US11481179B2 (en) Information processing apparatus and information processing method
TWI509463B (zh) 一種使螢幕中的游標移至可按物件的方法及用於實現該方法的電腦系統與電腦程式產品
US10368737B2 (en) Method for determining visual acuity
JP2020080190A5 (ja) 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、プログラム
WO2015155843A1 (ja) 目視検査支援装置、目視検査支援方法及び目視検査支援プログラム
JP7747193B2 (ja) 提示システム、提示方法及び提示プログラム
JP2019046055A5 (ja)
KR20160068447A (ko) 이미지의 관심 영역 결정 방법 및 관심 영역 결정 장치
JP2011218076A (ja) 色覚検査装置、制御プログラム、及び前記色覚検査装置の制御方法
Kocejko et al. Gaze tracking in multi-display environment
WO2022265869A1 (en) Virtual reality techniques for characterizing visual capabilities
CN116133576B (zh) 视觉检查装置、视觉检查系统以及视觉检查程序
CN108113638A (zh) 一种动态视力检测方法
EP3943007B1 (en) Method, device and system for providing a virtual medical procedure drill
CN117873307A (zh) 眼动测试方法、装置、计算机设备及存储介质
Uchida et al. Application of 8× 8 Time-of-flight and LiDAR Sensors for Upper Limb Rehabilitation: Heatmap Visualization and Positional Accuracy Evaluation
CN112540673A (zh) 虚拟环境交互方法及设备
Sugino et al. Augmented Reality Brain–Computer Interface with Spatial Awareness

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22943739

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024522813

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18867803

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22943739

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 18867803

Country of ref document: US