WO2018185830A1 - 情報処理システム、情報処理方法、情報処理装置、及びプログラム - Google Patents

情報処理システム、情報処理方法、情報処理装置、及びプログラム Download PDF

Info

Publication number
WO2018185830A1
WO2018185830A1 PCT/JP2017/014083 JP2017014083W WO2018185830A1 WO 2018185830 A1 WO2018185830 A1 WO 2018185830A1 JP 2017014083 W JP2017014083 W JP 2017014083W WO 2018185830 A1 WO2018185830 A1 WO 2018185830A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
voice
operation mode
processing system
detected
Prior art date
Application number
PCT/JP2017/014083
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2017/014083 priority Critical patent/WO2018185830A1/ja
Priority to JP2019510527A priority patent/JP6679083B2/ja
Publication of WO2018185830A1 publication Critical patent/WO2018185830A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • the present invention relates to a technique for executing processing in response to a human operation.
  • Patent Document 1 describes a technique for recognizing a gesture for controlling a robot operation by operating a gesture recognition system when a predetermined keyword is included in an input voice.
  • a device such as a wearable terminal
  • such devices may only have one or several small physical buttons as input devices.
  • a small physical button When an operation for selecting a desired operation mode from among a large number of operation modes is performed using such an input device, for example, a small physical button must be pressed many times, resulting in a heavy operation burden. . In this case, erroneous operations are also likely to occur.
  • the user has to remember many gestures. Further, in this case, it is necessary to reliably distinguish a large number of gestures on the device side, and it is not easy to realize this. It is an object of the present invention to improve operability when a desired operation mode is selected from a plurality of operation modes and a process corresponding to the operation mode is executed by the apparatus.
  • the present invention includes a voice analysis unit that analyzes a voice detected by a sound detection unit, a selection unit that selects a predetermined operation mode for the voice analysis result from a plurality of operation modes, and a human body.
  • a voice analysis unit that analyzes a voice detected by a sound detection unit
  • a selection unit that selects a predetermined operation mode for the voice analysis result from a plurality of operation modes
  • a human body a human body.
  • an information processing system comprising detection means for detecting the position of the target part, and processing means for executing processing corresponding to the selected operation mode, which is predetermined with respect to the feature of the detected position.
  • FIG. The figure which shows an example of the operation table. 2 is a diagram illustrating an example of a functional configuration of the information processing system 1.
  • FIG. 1 The figure which shows an example of a function structure of the information processing system 3 which concerns on 2nd Embodiment.
  • SYMBOLS 1 Information processing system
  • 10 Wearable terminal
  • 20 Server apparatus
  • 111 Sound detection means
  • 112 Acquisition means
  • 113 Authentication means
  • 114 Voice recognition means
  • 115 Selection means
  • 116 Operation mode control means
  • 118 Imaging means
  • 119 Image recognition means
  • 120 Detection means
  • 121 Determination means
  • 122 Processing control means
  • 123 Processing means
  • 125 Voice analysis means
  • FIG. 1 is a diagram illustrating an example of a configuration of an information processing system 1 according to a first embodiment.
  • the information processing system 1 accepts an operation of the wearable terminal 10 by voice input and gesture input. Note that this gesture does not necessarily have to be accompanied by movement of the body or its part. For example, gestures that point to a certain position with a finger are also included in the gesture.
  • the information processing system 1 includes a wearable terminal 10 and a server device 20. Wearable terminal 10 and server device 20 are connected via communication line 2.
  • the communication line 2 includes, for example, the Internet and a wireless communication network. However, the communication line 2 is not limited to these communication networks, and may be configured by other communication lines.
  • FIG. 2 is a diagram illustrating an example of the appearance of the wearable terminal 10.
  • the wearable terminal 10 is a glasses-type device worn on the user's head.
  • the wearable terminal 10 is worn in the vicinity of one eye of the user. For example, when the user is a worker who works in a place such as a factory or a construction site, the wearable terminal 10 inputs and outputs information that supports this work.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of the wearable terminal 10.
  • the wearable terminal 10 includes a processor 11, a memory 12, a communication interface 13, a storage 14, a display device 15, a camera 16, a microphone 17, a speaker 18, and a sensor unit 19.
  • the processor 11 performs various controls and processes by reading the program into the memory 12 and executing it.
  • a CPU Central Processing Unit
  • the memory 12 stores a program executed by the processor 11.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the communication interface 13 is connected to the communication line 2 and performs data communication according to a predetermined wireless communication standard.
  • the storage 14 stores various data and programs. For example, a flash memory is used as the storage 14.
  • the display device 15 has a display panel 150 having light transparency, and displays various kinds of information on the display panel 150.
  • a liquid crystal display may be used, or an organic EL display may be used.
  • the display device 15 may be configured by the display panel 150 described above and a projection apparatus that projects an image on the display panel 150.
  • the display panel 150 is located in the user's field of view when the wearable terminal 10 is worn by the user. In this case, the user can see the scenery in front of the user through the display panel 150. When information is displayed on the display panel 150, the user can view the information displayed on the display panel 150 together with the scenery in front of him.
  • the camera 16 includes an image sensor and an optical system, and takes an image.
  • a digital camera is used as the camera 16, for example.
  • the camera 16 is installed at a position and an orientation that allows photographing along the user's field of view.
  • the microphone 17 is used for sound input.
  • the speaker 18 outputs sound.
  • the sensor unit 19 includes various sensors.
  • the sensor unit 19 includes an acceleration sensor and a gyro sensor.
  • the acceleration sensor measures the acceleration of the wearable terminal 10.
  • the gyro sensor measures the rotational angular velocity of the wearable terminal 10.
  • the wearable terminal 10 has a plurality of operation modes including a volume mode and a focus mode. In these operation modes, different processes are executed. This process is a process of changing the operating condition of the wearable terminal 10, for example. For example, in the volume mode, a process for changing the volume of the speaker 18 is executed. On the other hand, in the focus mode, processing for changing the focus of the camera 16 is executed in the focus mode.
  • FIG. 4 is a diagram illustrating an example of a hardware configuration of the server device 20.
  • the server device 20 recognizes the user's voice and gesture and controls the operation of the wearable terminal 10 according to the recognition result.
  • the server device 20 includes a processor 21, a memory 22, a communication interface 23, and a storage 24.
  • the processor 21 performs various controls and processes by reading the program into the memory 22 and executing it.
  • a CPU is used as the processor 21.
  • the memory 22 stores a program executed by the processor 21.
  • a ROM or a RAM is used as the memory 22.
  • the communication interface 23 is connected to the communication line 2 and performs data communication according to a predetermined communication standard.
  • the storage 24 stores various data and programs. As the storage 24, for example, a hard disk drive is used.
  • the storage 24 stores an operation table 101 and an operation table 102.
  • FIG. 5 is a diagram illustrating an example of the operation table 101.
  • the operation table 101 shows a correspondence relationship between each operation mode of the wearable terminal 10 and the contents of audio used for an operation for selecting the operation mode. This correspondence is predetermined.
  • the operation table 101 stores operation mode identification information and operation words in association with each other.
  • the operation mode identification information is information for uniquely identifying the operation mode.
  • the operation word is a phrase used for an operation for selecting an operation mode.
  • FIG. 6 is a diagram illustrating an example of the operation table 102.
  • the operation table 102 indicates the correspondence between the content of the process corresponding to each operation mode of the wearable terminal 10 and the feature of the position of the target part used for the operation for executing this process. This correspondence is predetermined.
  • the operation table 102 stores operation mode identification information, position feature information, and processing contents in association with each other.
  • the operation mode identification information is information for uniquely identifying the operation mode.
  • the position feature information is information indicating the position feature of the target part. This target region is at least a part of the user's body such as a hand or head.
  • the feature of the position may be a position corresponding to a specific object or a virtual object, or may be a change in position indicating a predetermined action.
  • the content of the process is information indicating the content of the process executed in each operation mode.
  • FIG. 7 is a diagram illustrating an example of a functional configuration of the information processing system 1.
  • the information processing system 1 includes a sound detection unit 111, an acquisition unit 112, an authentication unit 113, a voice recognition unit 114, a selection unit 115, an operation mode control unit 116, an activation unit 117, an imaging unit 118,
  • the image recognition unit 119 includes a detection unit 120, a determination unit 121, a processing control unit 122, a processing unit 123, and a voice analysis unit 125.
  • the sound detection unit 111, the activation unit 117, the imaging unit 118, and the processing unit 123 are mounted on the wearable terminal 10.
  • the acquisition unit 112, the authentication unit 113, the voice recognition unit 114, the selection unit 115, the operation mode control unit 116, the image recognition unit 119, the detection unit 120, the determination unit 121, the processing control unit 122, and the voice analysis unit 125 are configured as a server device. 20 is implemented.
  • the sound detection means 111 is realized by the microphone 17, for example.
  • the sound detection unit 111 detects the user's voice.
  • the acquisition unit 112 is realized by, for example, a combination of a program stored in the memory 22, a processor 21 that executes the program, and the communication interface 23.
  • the acquisition unit 112 acquires the sound detected by the sound detection unit 111.
  • acquisition includes reception.
  • voice includes voice expressed in a digital format, that is, voice data.
  • the acquisition unit 112 may acquire an image including a target part of the user's body, which is captured by the imaging unit 118.
  • a target part of the user's body For example, a hand is used as the target portion.
  • image includes an image expressed in a digital format, that is, image data.
  • the authentication unit 113 is realized, for example, by a combination of a program stored in the memory 22 and a processor 21 that executes the program.
  • the authentication unit 113 authenticates the user using the voice feature acquired by the acquisition unit 112.
  • the voice features include, for example, a voice waveform and an amplitude spectrum.
  • Both the voice recognition unit 114 and the voice analysis unit 125 are realized by a combination of a program stored in the memory 22 and the processor 21 that executes the program, for example.
  • the voice analysis unit 125 analyzes the voice acquired by the acquisition unit 112.
  • the voice analysis unit 125 includes a voice recognition unit 114.
  • the voice recognition unit 114 recognizes the voice acquired by the acquisition unit 112 and generates a character string indicating the recognition result.
  • the selection means 115 is realized by, for example, a combination of a program stored in the memory 22 and a processor 21 that executes the program.
  • the selection unit 115 selects an operation mode that is predetermined for the voice analysis result by the voice analysis unit 125 from among a plurality of operation modes.
  • As the voice analysis result for example, a character string indicating a result of voice recognition by the voice recognition unit 114 may be used.
  • the selection of the operation mode may be performed with reference to the operation table 101, for example.
  • the apparatus may have a plurality of operation modes. As this device, for example, a wearable terminal 10 is used.
  • the operation mode control means 116 is realized by, for example, a combination of a program stored in the memory 22, a processor 21 that executes the program, and a communication interface 23.
  • the operation mode control unit 116 controls the apparatus to activate the operation mode selected by the selection unit 115.
  • the activation unit 117 is realized by a combination of a program stored in the memory 12, a processor 11 that executes the program, and the communication interface 13, for example.
  • the activation unit 117 activates the operation mode selected by the selection unit 115 under the control of the operation mode control unit 116.
  • the imaging unit 118 is realized by the camera 16, for example.
  • the imaging unit 118 captures an image including a target part of the user's body.
  • the image recognition means 119 is realized by, for example, a combination of a program stored in the memory 22 and a processor 21 that executes the program.
  • the image recognition unit 119 recognizes the image acquired by the acquisition unit 112 and specifies the target part.
  • the identification of the target portion may be performed using a known image recognition technique.
  • the detecting means 120 is realized by a combination of a program stored in the memory 22 and a processor 21 that executes the program, for example.
  • the detection unit 120 detects the position of the target part specified by the image recognition unit 119.
  • the determining means 121 is realized by, for example, a combination of a program stored in the memory 22 and a processor 21 that executes the program.
  • the determination unit 121 determines a process corresponding to the operation mode selected by the selection unit 115, which is predetermined for the feature of the position detected by the detection unit 120. This process is, for example, a process of changing the volume of the sound output unit and the focus of the imaging unit. As this sound output means, for example, a speaker 18 is used. As this imaging means, for example, a camera 16 is used. This determination of processing may be performed with reference to the operation table 102, for example.
  • the processing control means 122 is realized by a combination of a program stored in the memory 22, a processor 21 that executes the program, and a communication interface 23, for example.
  • the process control unit 122 controls the apparatus so as to execute the process determined by the determination unit 121.
  • the processing means 123 is realized by, for example, a combination of a program stored in the memory 12, the processor 11 that executes the program, and the communication interface 13.
  • the processing unit 123 executes the processing determined by the determination unit 121 under the control of the processing control unit 122.
  • the wearable terminal 10 when the wearable terminal 10 is described as a subject of processing, specifically, a combination of a program stored in the memory 12 and a processor 11 that executes the program, or stored in the memory 12. This process is executed by a combination of the program, the processor 11 that executes the program, and the communication interface 13.
  • FIG. 8 is a sequence chart showing an example of the operation of the information processing system 1 according to the first embodiment. Here, it is assumed that the volume of the speaker 18 is changed.
  • the storage 24 of the server device 20 stores in advance authentication data used for authenticating the voice of a person who is permitted to operate the wearable terminal 10.
  • This authentication data may be data indicating a person's voice itself, or may be data indicating characteristics of a person's voice, for example, a sound spectrogram.
  • the person who is permitted to operate wearable terminal 10 includes the user of wearable terminal 10.
  • the storage 24 stores voice authentication data of the user of the wearable terminal 10.
  • step S101 the user uses the microphone 17 to input a voice including an operation word corresponding to the volume mode. It is assumed that the user has recognized in advance the operation word corresponding to each operation mode. As shown in FIG. 5, in this example, the operation word corresponding to the volume mode is “volume mode”. In this case, the user utters a sound “volume mode” toward the microphone 17. The microphone 17 collects the user's voice and converts it into voice data. As a result, sound data indicating sound of “volume mode” is generated.
  • step S102 the wearable terminal 10 transmits the generated audio data to the server device 20.
  • the acquisition unit 112 receives this audio data.
  • step S103 the authentication unit 113 authenticates the person who has input the voice using the voice feature indicated by the received voice data. Specifically, the authentication unit 113 compares the audio feature indicated by the received audio data with the audio feature indicated by the authentication data stored in the storage 24 so that the person who has input the audio can wear it. It is determined whether or not the user is permitted to operate the terminal 10. If the person who inputs the voice is not a person who is permitted to operate the wearable terminal 10, the authentication fails (step S103: NO). In this case, the subsequent processing is not performed. On the other hand, if the person who has input the voice is a person who is permitted to operate the wearable terminal 10, the authentication is successful (step S103: YES). In this case, the process proceeds to step S104.
  • step S104 the voice recognition unit 114 recognizes the voice indicated by the received voice data and generates a character string indicating the recognition result.
  • a character string “voice mode” is generated.
  • step S105 the selection unit 115 selects an operation mode corresponding to the generated character string from a plurality of operation modes.
  • a character string “volume mode” is generated.
  • the operation table 101 stores volume mode identification information “volume mode” in association with the operation word “volume mode”. In this case, the audio mode is selected.
  • step S106 the operation mode control means 116 transmits a command instructing activation of the selected operation mode to the wearable terminal 10.
  • the wearable terminal 10 receives this command.
  • step S107 the activation unit 117 activates the operation mode according to the received command.
  • the volume mode is activated.
  • step S108 the wearable terminal 10 starts capturing an image by the camera 16 when the operation mode is activated. This imaging may be performed at a predetermined time interval so that, for example, the movement of the target part of the user's body can be recognized.
  • the volume mode When the volume mode is activated, the user performs an operation to change the volume using the hand.
  • the volume is increased. It is assumed that the user has recognized in advance the operation corresponding to each process.
  • FIG. 9 is a diagram illustrating an example of an operation for increasing the volume.
  • “volume change” is associated with the position feature information “change in position indicating the action of shaking the hand upward from the state where the hand is leveled with the back of the hand up”.
  • the contents of the process of “raising” are stored. This indicates that the processing for raising the volume is executed by the operation of shaking the hand upward from the state where the hand is level with the back of the hand up.
  • the user performs this operation in the shooting range of the camera 16 as shown in FIG.
  • step S ⁇ b> 109 the wearable terminal 10 transmits image data indicating an image captured by the camera 16 to the server device 20.
  • this image includes the user's hand.
  • the transmission of the image data may be performed every time an image is captured, or may be performed at predetermined time intervals.
  • the acquisition unit 112 receives this image data.
  • step S110 the image recognition unit 119 recognizes the image indicated by the received image data, and identifies the target portion included in the image.
  • the user's hand included in the image is specified.
  • step S111 the detection means 120 detects the position of the specified target part in the image indicated by the received image data.
  • a plurality of positions indicating an operation of shaking the hand upward from a state where the hand is leveled with the back of the hand up is detected.
  • the change in the position becomes a feature of the position.
  • step S112 the determination unit 121 determines a process corresponding to the feature of this position in the operation mode selected in step S105 described above.
  • “volume change” is associated with the position feature information “change in position indicating the action of shaking the hand upward from the state where the hand is leveled with the back of the hand up”.
  • the contents of the process of “raising” are stored. In this case, a process for increasing the volume is determined.
  • step S113 the process control unit 122 transmits a command instructing execution of the determined process to the wearable terminal 10.
  • a command for instructing execution of a process for increasing the volume is transmitted.
  • the wearable terminal 10 receives this command.
  • step S114 the processing means 123 executes processing according to the received command.
  • a process for increasing the volume of the speaker 18 is performed.
  • step S101 a voice “focus mode” which is an operation word corresponding to the focus mode is input.
  • step S105 the focus mode is selected.
  • step S107 the focus mode is activated. When the focus mode is activated, the user performs an operation of changing the focus using the hand.
  • FIG. 10 is a diagram showing an example of the user's field of view.
  • This view includes two objects 151 and 152 through the display panel 150.
  • These objects 151 and 152 are objects and events that actually exist.
  • the part where the camera 16 is in focus is represented by hatching.
  • the camera 151 is focused on the object 151.
  • the camera 16 is not focused on the object 152.
  • the focus of the camera 16 is changed so that the object 152 is in focus. In this case, the user performs an operation of pointing the object 152 with a finger in front of the display panel 150.
  • the term “in front of the display panel 150” refers to a position in a direction opposite to the direction toward the user's face when viewed from the display panel 150. That is, the front of the display panel 150 refers to a position between the display panel 150 and the object 152 or 152.
  • step S108 images including the objects 151 and 152 and the user's finger are taken.
  • step S111 the position of this finger is detected. This position may be expressed using, for example, coordinates on the XY plane shown in FIG. As shown in FIG. 10, the position of the finger is a position corresponding to the object 152.
  • the position corresponding to the object 152 may be a position overlapping the object 152 as shown in FIG. 10, or may be a position within a predetermined range from the object 152.
  • a position corresponding to the object 152 is a feature of the position.
  • step S112 the content of processing corresponding to the feature of this position is determined in the focus mode.
  • the operation table 102 stores the contents of the process “focus on the object” in association with the feature information of the position “position corresponding to the object”.
  • a process for focusing on the object 152 is determined.
  • step S113 described above a command instructing execution of this process is transmitted.
  • step S114 as shown in FIG. 10, a process of focusing the camera 16 on the object 152 is executed.
  • an operation for selecting a desired operation mode from a plurality of operation modes is performed by voice input. Therefore, there is no need to learn a gesture for each of a plurality of operation modes as in the case where this operation is performed by gesture input, for example. Further, an operation for executing processing corresponding to the operation mode is performed by gesture input. Therefore, compared with the case where this operation is performed using a physical button, for example, the operation burden can be reduced. Further, since this operation is performed by gesture input, it is possible to perform the operation accurately even in a noisy place such as a factory or a construction site. Further, both of these operations can be performed while operating the machine because both hands are free. Thus, according to the first embodiment described above, it is possible to improve operability when selecting a desired operation mode from a plurality of operation modes and causing the apparatus to execute processing corresponding to the operation mode. it can.
  • the operation mode is activated only for the operation using the voice of a person who is permitted to operate the wearable terminal 10. That is, the operation mode is prevented from being activated by an operation using the voice of a person other than the person who is permitted to operate the wearable terminal 10. Thereby, information security can be strengthened. In addition, erroneous operation due to erroneous recognition of a third party's voice is prevented.
  • the operation of the wearable terminal 10 is supported using AR (Augmented Reality).
  • the configuration of the information processing system 3 according to the second embodiment is basically the same as the configuration of the information processing system 1 according to the first embodiment.
  • the functional configuration of the information processing system 3 is different from the functional configuration of the information processing system 1.
  • FIG. 11 is a diagram illustrating an example of a functional configuration of the information processing system 3.
  • the information processing system 3 includes the sound detection unit 111, the acquisition unit 112, the authentication unit 113, the voice recognition unit 114, the selection unit 115, the operation mode control unit 116, the activation unit 117, the imaging unit 118, the image recognition unit 119, and the detection described above.
  • a display control means 124 is provided in addition to the means 120, the determination means 121, the processing control means 122, the processing means 123, and the voice analysis means 125.
  • the display control unit 124 is mounted on the wearable terminal 10.
  • the display control means 124 is realized by, for example, a program stored in the memory 12 and the processor 11 that executes the program.
  • the display control unit 124 causes the display unit to display a virtual object that supports an operation using the target part.
  • This virtual object may be configured by an image, or may be configured by a character or a combination of an image and a character.
  • this display means for example, the display device 15 is used.
  • FIG. 12 is a diagram illustrating an example of the operation table 103.
  • the operation table 103 has a data structure similar to that of the operation table 102 described above. However, the content of the information stored in the operation table 103 is different from the operation table 102 described above.
  • the other configuration of the information processing system 3 is the same as the configuration of the information processing system 1 described above.
  • the same components as those of the information processing system 1 are denoted by the same reference numerals, and description thereof is omitted.
  • FIG. 13 is a sequence chart showing an example of the operation of the information processing system 3 according to the second embodiment. Here, it is assumed that the volume of the speaker 18 is changed. In steps S201 to S207, processing similar to that in steps S101 to S107 described above is performed.
  • step S208 the display control unit 124 causes the display panel 150 to display the virtual object 153 that supports the operation of changing the volume.
  • the virtual object 153 may be generated using parts of the virtual object 153 stored in advance in the wearable terminal 10, or may be generated using parts of the virtual object 153 stored in advance in the server apparatus 20, and the server apparatus 20 to the wearable terminal 10 may be provided.
  • FIG. 14 is a diagram showing an example of the user's field of view.
  • This field of view includes a virtual object 153 displayed on the display panel 150.
  • the virtual object 153 has a volume bar 153 a that indicates the current volume of the speaker 18.
  • the virtual object 153 supports an operation for changing the volume of the speaker 18. Specifically, the virtual object 153 indicates that the volume increases when the hand is rotated clockwise around the wrist, and the volume decreases when the hand is rotated counterclockwise around the wrist. Here, it is assumed that the volume is increased. In this case, the user performs an operation of rotating the hand clockwise around the wrist in front of the display panel 150.
  • steps S209 to 215 basically, the same processing as in steps S108 to S114 described in the first embodiment is performed.
  • step S212 a plurality of positions indicating an operation of rotating the hand clockwise around the wrist is detected. In this case, the change in the position becomes a feature of the position.
  • step S213 the content of the process corresponding to the feature of this position is determined in the volume mode.
  • the operation table 103 is associated with the position feature information “change in position indicating the operation of rotating the hand clockwise around the wrist” and the process of “increase volume”. The contents are stored. In this case, this process is determined.
  • step S214 a command instructing execution of this process is transmitted.
  • step S215 a process for increasing the volume is executed. At this time, as shown in FIG. 14, the virtual object 153 may be changed so that the volume bar 153a indicates the volume after processing.
  • the operability can be further improved.
  • Modification 1 In the second embodiment described above, when the position detected by the detection unit 120 is a position corresponding to the virtual object displayed on the display panel 150, processing corresponding to the virtual object may be executed.
  • the volume is determined according to whether or not the position detected by the detection unit 120 includes a position corresponding to the virtual object 153. Execution of processing such as changing the process may be controlled. For example, when a position corresponding to the virtual object 153 is included in the position detected by the detection unit 120, execution of the process may be permitted. On the other hand, when the position detected by the detection unit 120 does not include a position corresponding to the virtual object 153, execution of the process may be prohibited.
  • FIG. 15 is a diagram illustrating another example of the user's field of view according to the first modification.
  • the display panel 150 displays virtual objects 154 to 156 that support an operation for changing the volume.
  • the virtual objects 154 to 156 are used for different target operations.
  • the virtual object 154 is used for an operation of changing the volume of the system.
  • the virtual object 155 is used for volume control of the application.
  • the virtual object 156 is used for an operation of changing the volume of the speaker 18.
  • the virtual objects 154 to 156 have volume bars 154a to 156a indicating the current volume, respectively. Further, the virtual objects 154 to 156 support an operation for changing the volume.
  • each of the virtual objects 154 to 156 indicates that the processing for increasing the volume is executed by the operation of moving the finger in the ⁇ Y direction in the drawing.
  • Each of the virtual objects 154 to 156 indicates that the process of lowering the volume is executed by the operation of moving the finger in the Y direction in the drawing.
  • the user first points the virtual object 156 with a finger in front of the display panel 150.
  • the term “in front of the display panel 150” refers to a position in a direction opposite to the direction toward the user's face when viewed from the display panel 150.
  • the user performs an operation of moving the finger in the ⁇ Y direction in the drawing along the virtual object 156.
  • the camera 16 captures an image including the user's finger.
  • the detection unit 120 detects a plurality of positions indicating this operation in the image taken by the camera 16. In this case, the change in these positions becomes the characteristic of the position.
  • the determination unit 121 determines the process “increase the volume”, which is the content of the process corresponding to the feature of this position.
  • the determination unit 121 determines whether or not the position detected by the detection unit 120 includes a position corresponding to any of the virtual objects 154 to 156. As shown in FIG. 15, the position of the finger is a position corresponding to the virtual object 156. In this case, it is determined that the position corresponding to the virtual object 156 is included in the position detected by the detection unit 120. A specific determination method will be described later. In this case, the determination unit 121 determines the volume of the speaker 18 as an operation target.
  • the process control unit 122 transmits a command instructing execution of a process for increasing the volume of the speaker 18.
  • the processing unit 123 executes a process for increasing the volume of the speaker 18. At this time, the virtual object 156 may be changed so that the volume bar 156a indicates the volume after processing.
  • the volume of the system and the volume of the application are also changed by the operation of moving the finger in the arrow Y direction or -Y direction in FIG.
  • the virtual object 156 is pointed by the user, and the virtual objects 154 and 155 are not pointed. That is, the user's finger is at a position corresponding to the virtual object 156 and not at a position corresponding to the virtual objects 154 and 155.
  • the volume of the speaker 18 is changed, and the volume of the system and the volume of the application are not changed.
  • the first method is a method of reproducing the user's field of view using an image photographed by the camera 16.
  • the determination unit 121 converts the coordinates of the image captured by the camera 16 based on the position of the camera 16 and the position of the user's eyes so that the image is viewed from the position of the user's eyes. Further, the determining unit 121 displays an image on the display panel 150 in which the coordinates are converted so as to be an image viewed from the position of the user's eyes based on the position of the user's eyes and the position of the display panel 150.
  • the virtual objects 154 to 156 thus synthesized are synthesized.
  • the determination unit 121 determines whether a position corresponding to any of the virtual objects 154 to 156 is included in the position detected by the detection unit 120 in the synthesized image.
  • the second method is a method of displaying an image photographed by the camera 16 on the display panel 150.
  • an image taken by the camera 16 is displayed in real time. Real-time does not need to be completely simultaneous, and there may be a slight delay.
  • virtual objects 154 to 156 are displayed over the video. The user performs an operation of pointing one of the virtual objects 154 to 156 with his / her finger so that the position of the finger included in the video displayed on the display panel 150 becomes a position corresponding to any of the virtual objects 154 to 156. Do.
  • the determination unit 121 combines the video and the virtual objects 154 to 156 as displayed on the display panel 150. The determination unit 121 determines whether a position corresponding to any of the virtual objects 154 to 156 is included in the position detected by the detection unit 120 in the synthesized image.
  • the third method is a method of performing calibration processing in advance.
  • a mark used for alignment is displayed at the reference position of the display panel 150.
  • the user performs an operation of placing a finger on this mark.
  • the camera 16 takes an image including this finger.
  • the determination unit 121 generates information indicating the correspondence between the position of the finger included in the image captured by the camera 16 and the position of the mark on the display panel 150 and stores the information in the storage 24. This information may be generated and stored in a table format. These processes may be repeated a predetermined number of times.
  • the mark may be displayed at the same reference position, or may be displayed at a plurality of different positions such as the left, center, and right of the display panel 150.
  • the above-described operation of the wearable terminal 10 is performed.
  • the user performs an operation of pointing one of the virtual objects 154 to 156 shown in FIG. 15 with a finger.
  • the camera 16 takes an image including this finger.
  • the detection unit 121 converts the coordinates of the captured image into coordinates on the display panel 150.
  • the determination unit 121 determines whether a position corresponding to any of the virtual objects 154 to 156 is included in the position detected by the detection unit 120 in the image whose coordinates are converted.
  • the fourth method is to provide another camera for photographing the user's face.
  • This camera captures an image including the user's face.
  • the image recognition unit 119 recognizes the captured image and identifies the user's eyes.
  • the determining unit 121 specifies the direction of the user's line of sight based on the specified eye position or movement. It is considered that a virtual object in which the user points a finger is displayed in the direction of the line of sight.
  • the determining unit 121 determines whether a position corresponding to any of the virtual objects 154 to 156 is included in the position detected by the detecting unit 120 based on the identified line-of-sight direction.
  • the direction of the user's line of sight is the right side, as shown in FIG. 15, it is considered that the user points the virtual object 156 displayed on the right side of the display panel 150 with a finger. In this case, it is determined that the position corresponding to the virtual object 156 is included in the position detected by the detection unit 120.
  • the fifth method is a method in which the camera 16 is provided at a position where both the target part of the user and the display panel 150 can be photographed.
  • the image captured by the camera 16 includes a target region of the user and virtual objects 154 to 156 displayed on the display panel 150.
  • the determining unit 121 may determine whether the position detected by the detecting unit 120 includes a position corresponding to any of the virtual objects 154 to 156 in the image.
  • the amount of change when the operating condition is changed may be a predetermined amount, or the movement distance, movement speed, acceleration, and rotation angle of the target part.
  • the amount according to at least one may be sufficient.
  • the volume may be changed by an amount corresponding to the acceleration of the user's hand.
  • the volume may be changed by an amount corresponding to the rotation angle of the user's hand.
  • the volume may be changed by an amount corresponding to the movement distance of the user's finger.
  • a list of operation words may be displayed in response to a user's voice input.
  • the operation word corresponding to this list display is “list display”.
  • the user emits a voice “list display” toward the microphone 17.
  • the voice recognition unit 114 recognizes this voice.
  • the display control unit 124 displays a list of operation words on the display panel 150. Thereby, even if the user does not recognize the operation word corresponding to each operation mode, the user can select a desired operation mode by voice input. In this case, the user may select the operation mode by issuing an operation word corresponding to the desired operation mode, as in the second embodiment described above.
  • the operation mode may be selected by an operation of pointing an operation word corresponding to a desired operation mode with a finger.
  • the camera 16 captures an image including a user's finger and a list of operation words.
  • the detecting unit 120 detects the position of the finger in the image taken by the camera 16.
  • the selection unit 115 selects an operation mode corresponding to the operation word. To do.
  • the person permitted to operate the wearable terminal 10 is not limited to the user of the wearable terminal 10.
  • the wearable terminal 10 and an external device are connected via the communication line 2
  • the user of the external device may be permitted to operate the wearable terminal 10.
  • authentication data indicating the voice of the user of the external device or voice characteristics is stored in the storage 24 in advance.
  • the external device is provided with sound detection means such as a microphone.
  • the user of the external device when the volume of the wearable terminal 10 is changed, the user of the external device emits a voice “volume mode”.
  • the external device transmits sound data indicating the detected sound to the wearable terminal 10.
  • the wearable terminal 10 transmits the audio data received from the external device to the server device 20.
  • the authentication unit 113 authenticates the person who has input the voice using the voice feature indicated by the voice data.
  • the authentication unit 113 collates the voice feature indicated by the voice data with the voice feature indicated by the authentication data stored in the storage 24, so that the person who has input the voice can wear the wearable terminal 10. It is determined whether or not the operation is permitted.
  • the storage 24 stores voice authentication data of the user of the external device. In this case, it is determined that the person who has input the voice is a person who is permitted to operate the wearable terminal 10, and the authentication is successful.
  • the operation mode of the wearable terminal 10 can be selected and activated by the voice input of the user of the external device.
  • the person who performs the gesture input is different from the person who performs the voice input.
  • the target part may be authenticated using the image of the target part photographed by the camera 16.
  • the image data indicating the image including the target part of the person who is permitted to operate the wearable terminal 10 is stored in the storage 24.
  • the authentication unit 113 includes the feature of the target part included in the image indicated by the image data. Is used to authenticate the person having the target part. This feature may include, for example, the shape and color of the target part.
  • the feature of the target part may be a fingerprint of a finger.
  • the authentication unit 113 collates the feature of the target part included in the image indicated by the image data with the feature of the target part included in the image indicated by the image data stored in the storage 24, and It is determined whether or not the person having the target part is a person who is permitted to operate wearable terminal 10. If the person having the target part is not a person who is permitted to operate the wearable terminal 10, the authentication fails and the subsequent processing is not performed. On the other hand, if the person having the target part is not a person who is permitted to operate the wearable terminal 10, the authentication is successful and the process proceeds to the next process.
  • the processing is executed only for the operation using the target part of the person who is permitted to operate the wearable terminal 10. That is, the process is prevented from being executed by an operation using a target part of a person other than the person who is permitted to operate the wearable terminal 10.
  • information security can be strengthened.
  • an erroneous operation due to erroneous recognition of a target site of a third party is prevented.
  • an operation for executing the process may be accepted only during the period when the feature of the target part is imaged.
  • the feature of the target part is a fingerprint of a finger.
  • the user performs a gesture corresponding to this operation with the fingerprint of the finger directed at the camera 16.
  • the image recognition means 119 recognizes the image photographed by the camera 16 and identifies the fingerprint of the finger.
  • the detection means 120 detects the position of the hand only when a fingerprint is included in the image. That is, the detection unit 120 does not detect the position of the hand when the image does not include a fingerprint. Thereby, the operation using the target part can be performed only during the period when the feature of the target part is captured.
  • the operating conditions may be changed by voice input.
  • the virtual object 153 illustrated in FIG. 14 includes a volume scale that can be changed by voice input, for example.
  • the scales “1” to “5” are included.
  • the voice may be recognized and changed to a volume corresponding to “4”.
  • both an operation by voice input and an operation by gesture input may be accepted.
  • the volume that can be changed may be larger than the voice input.
  • the volume is changed in five stages
  • the volume is changed in ten stages. The volume may be changed.
  • the operation mode may be terminated by voice input.
  • the operation word used to end the operation mode is “end”.
  • the operation mode may end when the user makes a sound “End”.
  • the target site is not limited to the hand.
  • the target part may be a head or a foot.
  • the position of the target part may be detected by an acceleration sensor included in the sensor unit 19. That is, the detection unit 120 may be realized by the sensor unit 19.
  • the operation mode is not limited to the volume mode or the focus mode.
  • the operation mode may be any operation mode as long as the wearable terminal 10 has.
  • the process executed in each operation mode is not limited to the process of changing the volume and the process of changing the focus. This process may be any process as long as the process is executed by the wearable terminal 10.
  • the program for realizing the functions of the information processing system 1 or 3 may be executed by a single processor 11 or 21, or two or more processors 11 or 21. 21 may be executed simultaneously or sequentially.
  • the wearable terminal 10 may have a part of the function of the server device 20.
  • the wearable terminal 10 may have all the functions of the information processing system 1 as a single unit.
  • the wearable terminal 10 functions as an information processing device.
  • the subject that executes the process is not limited to the wearable terminal 10.
  • an apparatus having a shape that is not worn by the user may be used instead of the wearable terminal 10.
  • Modification 12 The steps of processing performed in the information processing system 1 or 3 are not limited to the examples described in the first embodiment or the second embodiment. The steps of this process may be interchanged as long as there is no contradiction. Further, the present invention may be provided as a method including steps of processing performed in the information processing system 1 or 3.
  • the present invention may be provided as a program executed in the wearable terminal 10 or the server device 20. These programs may be downloaded via a network such as the Internet. These programs are provided in a state where they are recorded on a computer-readable recording medium such as a magnetic recording medium (magnetic tape, magnetic disk, etc.), an optical recording medium (optical disk, etc.), a magneto-optical recording medium, or a semiconductor memory. May be.
  • a computer-readable recording medium such as a magnetic recording medium (magnetic tape, magnetic disk, etc.), an optical recording medium (optical disk, etc.), a magneto-optical recording medium, or a semiconductor memory. May be.
  • the voice analysis unit 125 analyzes a voice and extracts a feature amount.
  • This feature amount includes, for example, a voice waveform, a frequency, or a sound spectrogram.
  • an operation mode is determined in advance for the audio feature amount. It should be noted that the correspondence relationship between the audio feature quantity and the operation mode may be shown using an operation table as shown in FIG.
  • the selection unit 115 selects an operation mode predetermined for the feature amount extracted by the voice analysis unit 125.
  • the voice mode is determined for the first voice waveform and the focus mode is set for the second voice waveform.
  • the voice mode is selected.
  • the focus mode is selected.
  • the operation mode of the wearable terminal 10 is not limited to what the wearable terminal 10 has in advance.
  • the operation mode of the wearable terminal 10 may be added later. This addition of the operation mode may be realized by the processor 11 executing a program stored in the memory 12, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

音声分析手段は、音検出手段により検出された音声を分析する。選択手段は、複数の動作モードの中から、音声の分析結果について予め定められた動作モードを選択する。検出手段は、人の体の対象部位の位置を検出する。処理手段は、検出手段により検出された位置の特徴について予め定められた、選択手段により選択された動作モードに対応する処理を実行する。

Description

情報処理システム、情報処理方法、情報処理装置、及びプログラム
　本発明は、人の操作に応じて処理を実行する技術に関する。
　ジェスチャー入力や音声入力により装置を操作する技術が知られている。例えば特許文献１には、入力された音声に所定のキーワードが含まれる場合には、ジェスチャー認識システムが動作し、ロボットの動作を制御するジェスチャーを認識する技術が記載されている。
特開２００３－３９３６５号公報
　ウェアラブル端末等の装置においては、多数の動作モードが存在する場合がある。しかし、このような装置には、入力装置として一つ又は数個の小さな物理ボタンしか設けられていない場合がある。このような入力装置を用いて、多数の動作モードの中から所望の動作モードを選択する操作を行う場合には、例えば小さな物理ボタンを何度も押さなくてはならず、操作の負担が大きい。また、この場合には、誤操作も起こりやすい。他方、例えばジェスチャー入力によりこの操作を行う場合には、ユーザーが多数のジェスチャーを覚えなくてはならない。また、この場合には、装置側で多数のジェスチャーを確実に区別しなければならず、これを実現するのも容易ではない。
　本発明は、複数の動作モードの中から所望の動作モードを選択し、この動作モードに対応する処理を装置に実行させる際の操作性を向上させることを目的とする。
課題を解決する手段
　本発明は、音検出手段により検出された音声を分析する音声分析手段と、複数の動作モードの中から、前記音声の分析結果について予め定められた動作モードを選択する選択手段と、人の体の対象部位の位置を検出する検出手段と、前記検出された位置の特徴について予め定められた、前記選択された動作モードに対応する処理を実行する処理手段とを備える情報処理システムを提供する。
　本発明によれば、複数の動作モードの中から所望の動作モードを選択し、この動作モードに対応する処理を装置に実行させる際の操作性を向上させることができる。
第１実施形態に係る情報処理システム１の構成の一例を示す図。 ウェアラブル端末１０の外観の一例を示す図。 ウェアラブル端末１０のハードウェア構成の一例を示す図。 サーバー装置２０のハードウェア構成の一例を示す図。 操作テーブル１０１の一例を示す図。 操作テーブル１０２の一例を示す図。 情報処理システム１の機能構成の一例を示す図。 第１実施形態に係る情報処理システム１の動作の一例を示すシーケンスチャート。 音量を上げる操作の一例を示す図。 第１実施形態に係るユーザーの視界の一例を示す図。 第２実施形態に係る情報処理システム３の機能構成の一例を示す図。 操作テーブル１０３の一例を示す図。 第２実施形態に係る情報処理システム３の動作の一例を示すシーケンスチャート。 第２実施形態に係るユーザーの視界の一例を示す図。 変形例１に係るユーザーの視界の一例を示す図。
１：情報処理システム、１０：ウェアラブル端末、２０：サーバー装置、１１１：音検出手段、１１２：取得手段、１１３：認証手段、１１４：音声認識手段、１１５：選択手段、１１６：動作モード制御手段、１１７：起動手段、１１８：撮像手段、１１９：画像認識手段、１２０：検出手段、１２１：決定手段、１２２：処理制御手段、１２３：処理手段、１２４：表示制御手段、１２５：音声分析手段
第１実施形態
構成
　図１は、第１実施形態に係る情報処理システム１の構成の一例を示す図である。情報処理システム１は、音声入力及びジェスチャー入力によるウェアラブル端末１０の操作を受け付ける。なお、このジェスチャーは、必ずしも体やその部位の動きを伴ったものでなくてもよい。例えば指により或る位置を指し示す身振りも、ジェスチャーに含まれる。
　情報処理システム１は、ウェアラブル端末１０と、サーバー装置２０とを備える。ウェアラブル端末１０とサーバー装置２０とは、通信回線２を介して接続される。通信回線２は、例えばインターネット及び無線通信網を含む。ただし、通信回線２は、これらの通信網に限定されず、他の通信回線により構成されてもよい。
　図２は、ウェアラブル端末１０の外観の一例を示す図である。この例では、ウェアラブル端末１０は、ユーザーの頭部に装着される眼鏡型の装置である。このウェアラブル端末１０は、ユーザーの片目の近傍に装着される。例えば、ユーザーが工場や建設現場等の場所において作業する作業者である場合、ウェアラブル端末１０は、この作業を支援する情報を入出力する。
　図３は、ウェアラブル端末１０のハードウェア構成の一例を示す図である。ウェアラブル端末１０は、プロセッサー１１と、メモリー１２と、通信インタフェース１３と、ストレージ１４と、表示デバイス１５と、カメラ１６と、マイクロフォン１７と、スピーカー１８と、センサーユニット１９とを備える。
　プロセッサー１１は、プログラムをメモリー１２に読み出して実行することにより、各種の制御や処理を行う。プロセッサー１１としては、例えばＣＰＵ（Central Processing Unit）が用いられる。メモリー１２は、プロセッサー１１により実行されるプログラムを記憶する。メモリー１２としては、例えばＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）が用いられる。
　通信インタフェース１３は、通信回線２に接続され、所定の無線通信規格に従ってデータ通信を行う。ストレージ１４は、各種のデータ及びプログラムを記憶する。ストレージ１４としては、例えばフラッシュメモリーが用いられる。
　表示デバイス１５は、光透過性を有する表示パネル１５０を有し、この表示パネル１５０上に各種の情報を表示する。表示デバイス１５としては、例えば液晶ディスプレイが用いられてもよいし、有機ＥＬディスプレイが用いられてもよい。他の例において、表示デバイス１５は、上述した表示パネル１５０と、この表示パネル１５０に画像を投影する投影装置とにより構成されてもよい。
　図２に示すように、ウェアラブル端末１０がユーザーに装着された状態において、表示パネル１５０は、ユーザーの視界内に位置する。この場合、ユーザーは、この表示パネル１５０を介して、目の前の風景を見ることができる。また、表示パネル１５０上に情報が表示された場合、ユーザーは、目の前の風景とともに、表示パネル１５０上に表示された情報を見ることができる。
　カメラ１６は、撮像素子と光学系とを備え、画像を撮影する。カメラ１６としては、例えばデジタルカメラが用いられる。カメラ１６は、ユーザーの視界に沿って撮影し得る位置及び向きに設置される。
　マイクロフォン１７は、音の入力に用いられる。スピーカー１８は、音を出力する。センサーユニット１９は、各種のセンサーを備える。例えばセンサーユニット１９には、加速度センサー及びジャイロセンサーが含まれる。加速度センサーは、ウェアラブル端末１０の加速度を測定する。ジャイロセンサーは、ウェアラブル端末１０の回転角速度を測定する。
　ウェアラブル端末１０は、音量モードや焦点モードを含む複数の動作モードを有する。これらの動作モードにおいては、互いに異なる処理が実行される。この処理は、例えばウェアラブル端末１０の動作条件を変更する処理である。例えば、音量モードにおいては、スピーカー１８の音量を変更する処理が実行される。一方、焦点モードにおいては、焦点モードは、カメラ１６の焦点を変更する処理が実行される。
　図４は、サーバー装置２０のハードウェア構成の一例を示す図である。サーバー装置２０は、ユーザーの音声やジェスチャーを認識し、その認識結果に応じてウェアラブル端末１０の動作を制御する。サーバー装置２０は、プロセッサー２１と、メモリー２２と、通信インタフェース２３と、ストレージ２４とを備える。
　プロセッサー２１は、プログラムをメモリー２２に読み出して実行することにより、各種の制御や処理を行う。プロセッサー２１としては、例えばＣＰＵが用いられる。メモリー２２は、プロセッサー２１により実行されるプログラムを記憶する。メモリー２２としては、例えばＲＯＭやＲＡＭが用いられる。
　通信インタフェース２３は、通信回線２に接続され、所定の通信規格に従ってデータ通信を行う。ストレージ２４は、各種のデータ及びプログラムを記憶する。ストレージ２４としては、例えばハードディスクドライブが用いられる。ストレージ２４には、操作テーブル１０１と操作テーブル１０２とが格納される。
　図５は、操作テーブル１０１の一例を示す図である。操作テーブル１０１は、ウェアラブル端末１０が有する各動作モードと、この動作モードを選択する操作に用いられる音声の内容との対応関係を示す。この対応関係は、予め定められる。この例では、操作テーブル１０１には、動作モードの識別情報と、操作ワードとが対応付けて格納される。動作モードの識別情報は、動作モードを一意に識別する情報である。操作ワードは、動作モードを選択する操作に用いられる語句である。
　図６は、操作テーブル１０２の一例を示す図である。操作テーブル１０２は、ウェアラブル端末１０が有する各動作モードに対応する処理の内容と、この処理を実行する操作に用いられる対象部位の位置の特徴との対応関係を示す。この対応関係は、予め定められる。この例では、操作テーブル１０２には、動作モードの識別情報と、位置の特徴情報と、処理の内容とが対応付けて格納される。動作モードの識別情報は、動作モードを一意に識別する情報である。位置の特徴情報は、対象部位の位置の特徴を示す情報である。この対象部位は、例えば手や頭等のユーザーの体の少なくとも一部である。この位置の特徴は、特定のオブジェクト又は仮想オブジェクトに対応する位置であってもよいし、所定の動作を示す位置の変化であってもよい。処理の内容は、各動作モードにおいて実行される処理の内容を示す情報である。
　図７は、情報処理システム１の機能構成の一例を示す図である。情報処理システム１は、音検出手段１１１と、取得手段１１２と、認証手段１１３と、音声認識手段１１４と、選択手段１１５と、動作モード制御手段１１６と、起動手段１１７と、撮像手段１１８と、画像認識手段１１９と、検出手段１２０と、決定手段１２１と、処理制御手段１２２と、処理手段１２３と、音声分析手段１２５とを有する。この例では、音検出手段１１１、起動手段１１７、撮像手段１１８、及び処理手段１２３は、ウェアラブル端末１０に実装される。取得手段１１２、認証手段１１３、音声認識手段１１４、選択手段１１５、動作モード制御手段１１６、画像認識手段１１９、検出手段１２０、決定手段１２１、処理制御手段１２２、及び音声分析手段１２５は、サーバー装置２０に実装される。
　音検出手段１１１は、例えばマイクロフォン１７により実現される。音検出手段１１１は、ユーザーの音声を検出する。
　取得手段１１２は、例えばメモリー２２に記憶されたプログラムと、プログラムを実行するプロセッサー２１と、通信インタフェース２３との組み合わせにより実現される。取得手段１１２は、音検出手段１１１により検出された音声を取得する。なお、この「取得」という用語の概念には、受信が含まれる。また、「音声」という用語の概念には、デジタル形式で表現された音声、すなわち音声データが含まれる。
　また、取得手段１１２は、撮像手段１１８により撮影された、ユーザーの体の対象部位を含む画像を取得してもよい。この対象部位としては、例えば手が用いられる。なお、この「画像」という用語の概念には、デジタル形式で表現された画像、すなわち画像データが含まれる。
　認証手段１１３は、例えばメモリー２２に記憶されたプログラムと、プログラムを実行するプロセッサー２１との組み合わせにより実現される。認証手段１１３は、取得手段１１２により取得された音声の特徴を用いて、ユーザーを認証する。この音声の特徴には、例えば音声波形や振幅スペクトルが含まれる。
　音声認識手段１１４及び音声分析手段１２５は、いずれも、例えばメモリー２２に記憶されたプログラムと、プログラムを実行するプロセッサー２１との組み合わせにより実現される。音声分析手段１２５は、取得手段１１２により取得された音声を分析する。音声分析手段１２５は、音声認識手段１１４を有する。音声認識手段１１４は、取得手段１１２により取得された音声を認識し、認識した結果を示す文字列を生成する。
　選択手段１１５は、例えばメモリー２２に記憶されたプログラムと、プログラムを実行するプロセッサー２１との組み合わせにより実現される。選択手段１１５は、複数の動作モードの中から、音声分析手段１２５による音声の分析結果について予め定められた動作モードを選択する。この音声の分析結果としては、例えば音声認識手段１１４により音声が認識された結果を示す文字列が用いられてもよい。この動作モードの選択は、例えば操作テーブル１０１を参照して行われてもよい。また、複数の動作モードは、装置が有するものであってもよい。この装置としては、例えばウェアラブル端末１０が用いられる。
　動作モード制御手段１１６は、例えばメモリー２２に記憶されたプログラムと、プログラムを実行するプロセッサー２１と、通信インタフェース２３との組み合わせにより実現される。動作モード制御手段１１６は、選択手段１１５により選択された動作モードを起動するよう、装置を制御する。
　起動手段１１７は、例えばメモリー１２に記憶されたプログラムと、プログラムを実行するプロセッサー１１と、通信インタフェース１３との組み合わせにより実現される。起動手段１１７は、動作モード制御手段１１６の制御の下、選択手段１１５により選択された動作モードを起動する。
　撮像手段１１８は、例えばカメラ１６により実現される。撮像手段１１８は、ユーザーの体の対象部位を含む画像を撮影する。
　画像認識手段１１９は、例えばメモリー２２に記憶されたプログラムと、プログラムを実行するプロセッサー２１との組み合わせにより実現される。画像認識手段１１９は、取得手段１１２により取得された画像を認識して、対象部位を特定する。この対象部位の特定は、周知の画像認識技術を用いて行われてもよい。
　検出手段１２０は、例えばメモリー２２に記憶されたプログラムと、プログラムを実行するプロセッサー２１との組み合わせにより実現される。検出手段１２０は、画像認識手段１１９により特定された対象部位の位置を検出する。
　決定手段１２１は、例えばメモリー２２に記憶されたプログラムと、プログラムを実行するプロセッサー２１との組み合わせにより実現される。決定手段１２１は、検出手段１２０により検出された位置の特徴について予め定められた、選択手段１１５により選択された動作モードに対応する処理を決定する。この処理は、例えば音出力手段の音量や撮像手段の焦点を変更する処理である。この音出力手段としては、例えばスピーカー１８が用いられる。この撮像手段としては、例えばカメラ１６が用いられる。この処理の決定は、例えば操作テーブル１０２を参照して行われてもよい。
　処理制御手段１２２は、例えばメモリー２２に記憶されたプログラムと、プログラムを実行するプロセッサー２１と、通信インタフェース２３との組み合わせにより実現される。処理制御手段１２２は、決定手段１２１により決定された処理を実行するよう、装置を制御する。
　処理手段１２３は、例えばメモリー１２に記憶されたプログラムと、プログラムを実行するプロセッサー１１と、通信インタフェース１３との組み合わせにより実現される。処理手段１２３は、処理制御手段１２２の制御の下、決定手段１２１により決定された処理を実行する。
　なお、以下の説明において、ウェアラブル端末１０を処理の主体として記載する場合には、具体的にはメモリー１２に記憶されたプログラムと、プログラムを実行するプロセッサー１１との組み合わせ、又はメモリー１２に記憶されたプログラムと、プログラムを実行するプロセッサー１１と、通信インタフェース１３との組み合わせによりこの処理が実行されることを意味する。
動作
音量を変更する場合
　図８は、第１実施形態に係る情報処理システム１の動作の一例を示すシーケンスチャートである。ここでは、スピーカー１８の音量を変更する場合を想定する。
　この動作に先立って、サーバー装置２０のストレージ２４には、ウェアラブル端末１０の操作が許可された人の音声の認証に用いられる認証データが予め格納される。この認証データは、人の音声そのものを示すデータであってもよいし、人の音声の特徴、例えばサウンドスペクトログラムを示すデータであってもよい。ここでは、ウェアラブル端末１０の操作が許可された人に、ウェアラブル端末１０のユーザーが含まれる場合を想定する。この場合、ストレージ２４には、ウェアラブル端末１０のユーザーの音声の認証データが格納される。
　ステップＳ１０１において、ユーザーは、マイクロフォン１７を用いて、音量モードに対応する操作ワードを含む音声を入力する。なお、ユーザーは、各動作モードに対応する操作ワードを予め認識しているものとする。図５に示すように、この例では、音量モードに対応する操作ワードは「音量モード」である。この場合、ユーザーは、マイクロフォン１７に向かって「音量モード」という音声を発する。マイクロフォン１７は、ユーザーの音声を収集して、音声データに変換する。これにより、「音量モード」という音声を示す音声データが生成される。
　ステップＳ１０２において、ウェアラブル端末１０は、生成された音声データをサーバー装置２０に送信する。サーバー装置２０において、取得手段１１２は、この音声データを受信する。
　ステップＳ１０３において、認証手段１１３は、受信された音声データにより示される音声の特徴を用いて、音声を入力した人の認証を行う。具体的には、認証手段１１３は、受信された音声データにより示される音声の特徴を、ストレージ２４に格納された認証データにより示される音声の特徴と照合して、音声を入力した人が、ウェアラブル端末１０の操作が許可された人であるか否かを判定する。音声を入力した人が、ウェアラブル端末１０の操作が許可された人ではない場合、認証は失敗する（ステップＳ１０３：ＮＯ）。この場合、以降の処理は行われない。一方、音声を入力した人が、ウェアラブル端末１０の操作が許可された人である場合、認証は成功する（ステップＳ１０３：ＹＥＳ）。この場合、この処理はステップＳ１０４に進む。
　ステップＳ１０４において、音声認識手段１１４は、受信された音声データにより示される音声を認識し、認識した結果を示す文字列を生成する。この例では、「音声モード」という文字列が生成される。
　ステップＳ１０５において、選択手段１１５は、複数の動作モードの中から、生成された文字列に対応する動作モードを選択する。この例では、ステップＳ１０４において、「音量モード」という文字列が生成される。図５に示すように、操作テーブル１０１には、操作ワード「音量モード」と対応付けて音量モードの識別情報「音量モード」が格納されている。この場合、音声モードが選択される。
　ステップＳ１０６において、動作モード制御手段１１６は、選択された動作モードの起動を指示するコマンドをウェアラブル端末１０に送信する。ウェアラブル端末１０は、このコマンドを受信する。
　ステップＳ１０７において、起動手段１１７は、受信されたコマンドに従って、動作モードを起動する。この例では、音量モードが起動される。
　ステップＳ１０８において、ウェアラブル端末１０は、動作モードが起動されると、カメラ１６により画像の撮影を開始する。この撮影は、例えばユーザーの体の対象部位の動作を認識できるような所定の時間間隔で行われてもよい。
　音量モードが起動されると、ユーザーは、手を用いて音量を変更する操作を行う。ここでは、音量を上げる場合を想定する。なお、ユーザーは、各処理に対応する操作を予め認識しているものとする。
　図９は、音量を上げる操作の一例を示す図である。図６に示すように、操作テーブル１０２には、「手の甲を上にして手を水平にした状態から手先を上方に振る動作を示す位置の変化」という位置の特徴情報と対応付けて、「音量を上げる」という処理の内容が格納されている。これは、手の甲を上にして手を水平にした状態から手先を上方に振る動作により、音量を上げる処理が実行されることを示す。この場合、ユーザーは、図９に示すように、カメラ１６の撮影範囲においてこの動作を行う。
　ステップＳ１０９において、ウェアラブル端末１０は、カメラ１６により撮影された画像を示す画像データをサーバー装置２０に送信する。この例では、この画像には、ユーザーの手が含まれる。この画像データの送信は、画像が撮影される度に行われてもよいし、所定の時間間隔で行われてもよい。サーバー装置２０において、取得手段１１２は、この画像データを受信する。
　ステップＳ１１０において、画像認識手段１１９は、受信された画像データにより示される画像を認識し、この画像に含まれる対象部位を特定する。この例では、画像に含まれるユーザーの手が特定される。
　ステップＳ１１１において、検出手段１２０は、受信された画像データにより示される画像において、特定された対象部位の位置を検出する。この例では、手の甲を上にして手を水平にした状態から手先を上方に振る動作を示す複数の位置が検出される。この場合、これらの位置の変化が、位置の特徴となる。
　ステップＳ１１２において、決定手段１２１は、上述したステップＳ１０５において選択された動作モードにおいて、この位置の特徴に対応する処理を決定する。図６に示すように、操作テーブル１０２には、「手の甲を上にして手を水平にした状態から手先を上方に振る動作を示す位置の変化」という位置の特徴情報と対応付けて、「音量を上げる」という処理の内容が格納されている。この場合、この音量を上げる処理が決定される。
　ステップＳ１１３において、処理制御手段１２２は、決定された処理の実行を指示するコマンドをウェアラブル端末１０に送信する。この例では、音量を上げる処理の実行を指示するコマンドが送信される。ウェアラブル端末１０は、このコマンドを受信する。
　ステップＳ１１４において、処理手段１２３は、受信したコマンドに従って処理を実行する。この例では、スピーカー１８の音量を上げる処理が行われる。
焦点を変更する場合
　次に、カメラ１６の焦点を変更する場合を想定する。この場合、基本的には、上述したステップＳ１０１～Ｓ１１４と同様の処理が行われる。ただし、上述したステップＳ１０１では、焦点モードに対応する操作ワードである「焦点モード」という音声が入力される。上述したステップＳ１０５では、焦点モードが選択される。上述したステップＳ１０７では、焦点モードが起動される。焦点モードが起動されると、ユーザーは、手を用いて焦点を変更する操作を行う。
　図１０は、ユーザーの視界の一例を示す図である。この視界には、表示パネル１５０を介して二つのオブジェクト１５１及び１５２が含まれる。これらのオブジェクト１５１及び１５２は、現実に存在する物や事象である。この図では、カメラ１６の焦点が合っている部分を、ハッチングで表している。すなわち、オブジェクト１５１には、カメラ１６の焦点が合っている。一方、オブジェクト１５２には、カメラ１６の焦点が合っていない。ここでは、オブジェクト１５２に焦点が合うようにカメラ１６の焦点を変更する場合を想定する。この場合、ユーザーは、表示パネル１５０の前で、オブジェクト１５２を指で指し示す動作を行う。なお、表示パネル１５０の前とは、表示パネル１５０から見て、ユーザーの顔に向かう方向とは反対の方向にある位置をいう。すなわち、表示パネル１５０の前とは、表示パネル１５０とオブジェクト１５２又は１５２との間の位置をいう。
　この場合、上述したステップＳ１０８では、オブジェクト１５１及び１５２及びユーザーの指を含む画像が撮影される。上述したステップＳ１１１では、この指の位置が検出される。この位置は、例えば図１０に示すＸＹ平面上の座標を用いて表現されてもよい。図１０に示すように、指の位置は、オブジェクト１５２に対応する位置である。このオブジェクト１５２に対応する位置とは、図１０に示すようにオブジェクト１５２と重なる位置であってもよいし、オブジェクト１５２から所定の範囲内の位置であってもよい。この場合、オブジェクト１５２に対応する位置が、位置の特徴となる。上述したステップＳ１１２では、焦点モードにおいて、この位置の特徴に対応する処理の内容が決定される。
　図６に示すように、操作テーブル１０２には、「オブジェクトに対応する位置」という位置の特徴情報と対応付けて、「そのオブジェクトに焦点を合わせる」という処理の内容が格納されている。この例では、指の位置がオブジェクト１５２に対応する位置であるため、オブジェクト１５２に焦点を合わせる処理が決定される。上述したステップＳ１１３では、この処理の実行を指示するコマンドが送信される。ステップＳ１１４では、図１０に示すように、オブジェクト１５２にカメラ１６の焦点を合わせる処理が実行される。
　以上説明した第１実施形態によれば、音声入力により、複数の動作モードの中から所望の動作モードを選択する操作が行われる。したがって、例えばジェスチャー入力によりこの操作を行う場合のように、複数の動作モードのそれぞれについてジェスチャーを覚える必要がない。また、ジェスチャー入力により、動作モードに対応する処理を実行する操作が行われる。したがって、例えば物理ボタンを用いてこの操作を行う場合に比べて、操作の負担を減らすことができる。また、ジェスチャー入力によりこの操作が行われるため、工場や建築現場等の騒音が大きい場所であっても、正確に操作を行うことができる。さらに、これらの操作は、いずれも両手が自由になるため、例えば機械を操作しながら行うことができる。このように、上述した第１実施形態によれば、複数の動作モードの中から所望の動作モードを選択し、この動作モードに対応する処理を装置に実行させる際の操作性を向上させることができる。
　また、上述した第１実施形態では、音声を用いたユーザーの認証が行われるため、ウェアラブル端末１０の操作が許可された人の音声を用いた操作に限り、動作モードが起動される。すなわち、ウェアラブル端末１０の操作が許可された人以外の人の音声を用いた操作により動作モードが起動されることが防止される。これにより、情報セキュリティを強化することができる。また、第三者の音声が誤って認識されることによる誤操作が防止される。
第２実施形態
　第２実施形態では、ＡＲ（Augmented Reality）を利用して、ウェアラブル端末１０の操作を支援する。第２実施形態に係る情報処理システム３の構成は、基本的には、第１実施形態に係る情報処理システム１の構成と同様である。ただし、情報処理システム３の機能構成は、情報処理システム１の機能構成と異なる。
　図１１は、情報処理システム３の機能構成の一例を示す図である。情報処理システム３は、上述した音検出手段１１１、取得手段１１２、認証手段１１３、音声認識手段１１４、選択手段１１５、動作モード制御手段１１６、起動手段１１７、撮像手段１１８、画像認識手段１１９、検出手段１２０、決定手段１２１、処理制御手段１２２、処理手段１２３、及び音声分析手段１２５に加えて、表示制御手段１２４を有する。この例では、表示制御手段１２４は、ウェアラブル端末１０に実装される。
　表示制御手段１２４は、例えばメモリー１２に記憶されたプログラムと、プログラムを実行するプロセッサー１１とにより実現される。表示制御手段１２４は、対象部位を用いた操作を支援する仮想オブジェクトを表示手段に表示させる。この仮想オブジェクトは、画像により構成されてもよいし、文字又は画像と文字との組み合わせにより構成されてもよい。この表示手段としては、例えば表示デバイス１５が用いられる。
　また、ストレージ２４には、操作テーブル１０２に代えて、操作テーブル１０３が格納される。
　図１２は、操作テーブル１０３の一例を示す図である。操作テーブル１０３は、上述した操作テーブル１０２と同様のデータ構造を有する。ただし、操作テーブル１０３に格納された情報の内容が、上述した操作テーブル１０２とは異なる。
　情報処理システム３のその他の構成については、上述した情報処理システム１の構成と同じである。情報処理システム１と同じ構成については同じ符号を使用し、その説明を省略する。
動作
　図１３は、第２実施形態に係る情報処理システム３の動作の一例を示すシーケンスチャートである。ここでは、スピーカー１８の音量を変更する場合を想定する。ステップＳ２０１～Ｓ２０７では、上述したステップＳ１０１～Ｓ１０７と同様の処理が行われる。
　ステップＳ２０８において、表示制御手段１２４は、音量を変更する操作を支援する仮想オブジェクト１５３を表示パネル１５０に表示させる。この仮想オブジェクト１５３は、ウェアラブル端末１０において予め記憶された仮想オブジェクト１５３のパーツを用いて生成されてもよいし、サーバー装置２０において予め記憶された仮想オブジェクト１５３のパーツを用いて生成され、サーバー装置２０からウェアラブル端末１０に提供されてもよい。
　図１４は、ユーザーの視界の一例を示す図である。この視界には、表示パネル１５０に表示された仮想オブジェクト１５３が含まれる。仮想オブジェクト１５３は、スピーカー１８の現状の音量を示す音量バー１５３ａを有する。仮想オブジェクト１５３は、スピーカー１８の音量を変更する操作を支援する。具体的には、仮想オブジェクト１５３は、手首を中心に手先を時計回りに回転させると音量が上がり、手首を中心に手先を反時計回りに回転させると音量が下がることを示す。ここでは、音量を上げる場合を想定する。この場合、ユーザーは、表示パネル１５０の前で、手首を中心に手先を時計回りに回転させる動作を行う。
　ステップＳ２０９～２１５では、基本的には、第１実施形態で説明したステップＳ１０８～Ｓ１１４と同様の処理が行われる。ただし、ステップＳ２１２では、手首を中心に手先を時計回りに回転させる動作を示す複数の位置が検出される。この場合、これらの位置の変化が、位置の特徴となる。ステップＳ２１３では、音量モードにおいて、この位置の特徴に対応する処理の内容が決定される。図１２に示すように、操作テーブル１０３には、「手首を中心に手先を時計回りに回転させる動作を示す位置の変化」という位置の特徴情報と対応付けて、「音量を上げる」という処理の内容が格納されている。この場合、この処理が決定される。ステップＳ２１４では、この処理の実行を指示するコマンドが送信される。ステップＳ２１５では、音量を上げる処理が実行される。このとき、図１４に示すように、音量バー１５３ａが処理後の音量を示すように、仮想オブジェクト１５３が変更されてもよい。
　以上説明した第２実施形態によれば、ジェスチャー入力による操作を支援する仮想オブジェクトが表示されるため、操作性を一層向上させることができる。
変形例
　本発明は上述した実施形態に限定されず、種々の変形がなされてもよい。また、以下の変形例は、上述した各実施形態と組み合わせて実施されてもよいし、他の変形例と組み合わせて実施されてもよい。
変形例１
　上述した第２実施形態において、検出手段１２０により検出された位置が表示パネル１５０に表示された仮想オブジェクトに対応する位置である場合に、その仮想オブジェクトに対応する処理が実行されてもよい。
　例えば、図１４に示すように、表示パネル１５０に仮想オブジェクト１５３が表示された場合に、検出手段１２０により検出された位置に仮想オブジェクト１５３に対応する位置が含まれるか否かに応じて、音量を変更する等の処理の実行が制御されてもよい。例えば、検出手段１２０により検出された位置に仮想オブジェクト１５３に対応する位置が含まれる場合には、処理の実行が許可されてもよい。一方、検出手段１２０により検出された位置に仮想オブジェクト１５３に対応する位置が含まれない場合には、処理の実行が禁止されてもよい。
　図１５は、変形例１に係るユーザーの視界の別の例を示す図である。この例では、表示パネル１５０には、音量を変更する操作を支援する仮想オブジェクト１５４～１５６が表示される。仮想オブジェクト１５４～１５６は、それぞれ異なる対象の操作に用いられる。例えば、仮想オブジェクト１５４は、システムの音量を変更する操作に用いられる。仮想オブジェクト１５５は、アプリケーションの音量の操作に用いられる。仮想オブジェクト１５６は、スピーカー１８の音量を変更する操作に用いられる。また、仮想オブジェクト１５４～１５６は、それぞれ、現状の音量を示す音量バー１５４ａ～１５６ａを有する。さらに、仮想オブジェクト１５４～１５６は、音量を変更する操作を支援する。具体的には、仮想オブジェクト１５４～１５６は、いずれも、指を図中の－Ｙ方向に移動させる動作により、音量を上げる処理が実行されることを示す。また、仮想オブジェクト１５４～１５６は、いずれも、指を図中のＹ方向に移動させる動作により音量を下げる処理が実行されることを示す。
　ここでは、スピーカー１８の音量を上げる場合を想定する。この場合、ユーザーは、まず表示パネル１５０の前で、仮想オブジェクト１５６を指で指し示す。なお、表示パネル１５０の前とは、表示パネル１５０から見て、ユーザーの顔に向かう方向とは反対の方向にある位置をいう。続いて、ユーザーは、仮想オブジェクト１５６に沿って、指を図中の－Ｙ方向に移動させる動作を行う。この場合、カメラ１６により、ユーザーの指を含む画像が撮影される。検出手段１２０は、カメラ１６により撮影された画像において、この動作を示す複数の位置を検出する。この場合、これらの位置の変化が位置の特徴となる。この場合、決定手段１２１は、この位置の特徴に対応する処理の内容である「音量を上げる」という処理を決定する。
　また、決定手段１２１は、検出手段１２０により検出された位置に仮想オブジェクト１５４～１５６のいずれかに対応する位置が含まれるか否かを判定する。図１５に示すように、指の位置は、仮想オブジェクト１５６に対応する位置である。この場合、検出手段１２０により検出された位置に仮想オブジェクト１５６に対応する位置が含まれると判定する。なお、具体的な判定方法は後述する。この場合、決定手段１２１は、操作の対象として、スピーカー１８の音量を決定する。処理制御手段１２２は、スピーカー１８の音量を上げるという処理の実行を指示するコマンドを送信する。処理手段１２３は、スピーカー１８の音量を上げる処理を実行する。このとき、音量バー１５６ａが処理後の音量を示すように、仮想オブジェクト１５６が変更されてもよい。
　この変形例では、システムの音量やアプリケーションの音量も、スピーカー１８の音量と同様に、図１５中の矢印Ｙ方向又は－Ｙ方向に指を移動させる動作により変更される。しかし、上述した例では、ユーザーにより仮想オブジェクト１５６が指し示されており、仮想オブジェクト１５４及び１５５は指し示されていない。すなわち、ユーザーの指は、仮想オブジェクト１５６に対応する位置にあり、仮想オブジェクト１５４及び１５５に対応する位置にはない。この場合、上述したように、スピーカー１８の音量だけが変更され、システムの音量及びアプリケーションの音量は変更されない。
　検出手段１２０により検出された位置に仮想オブジェクト１５６に対応する位置が含まれるかを判定する方法としては、例えば以下の五つの方法が挙げられる。
　第一の方法は、カメラ１６により撮影された画像を用いてユーザーの視界を再現する方法である。例えば、決定手段１２１は、カメラ１６の位置とユーザーの目の位置とに基づいて、ユーザーの目の位置から見た画像になるように、カメラ１６により撮影された画像の座標を変換する。また、決定手段１２１は、ユーザーの目の位置と表示パネル１５０の位置とに基づいて、ユーザーの目の位置から見た画像になるように、座標が変換された画像に、表示パネル１５０に表示された仮想オブジェクト１５４～１５６を合成する。決定手段１２１は、合成された画像において、検出手段１２０により検出された位置に仮想オブジェクト１５４～１５６のいずれかに対応する位置が含まれるかを判定する。
　第二の方法は、カメラ１６により撮影された映像を表示パネル１５０に表示する方法である。表示パネル１５０には、カメラ１６により撮影された映像がリアルタイムで表示される。なお、リアルタイムとは、完全に同時である必要はなく、多少の時間の遅延があってもよい。また、表示パネル１５０には、この映像の上に重ねて仮想オブジェクト１５４～１５６が表示される。ユーザーは、表示パネル１５０に表示された映像に含まれる指の位置が、仮想オブジェクト１５４～１５６のいずれかに対応する位置になるように、仮想オブジェクト１５４～１５６のいずれかを指で指し示す動作を行う。決定手段１２１は、表示パネル１５０に表示されているように、映像と仮想オブジェクト１５４～１５６とを合成する。決定手段１２１は、合成された画像において、検出手段１２０により検出された位置に仮想オブジェクト１５４～１５６のいずれかに対応する位置が含まれるかを判定する。
　第三の方法は、予めキャリブレーション処理を行う方法である。このキャリブレーション処理では、表示パネル１５０の基準位置に、位置合わせに用いられるマークが表示される。ユーザーは、このマークに指を合わせる動作を行う。カメラ１６は、この指を含む画像を撮影する。決定手段１２１は、カメラ１６により撮影された画像に含まれる指の位置と、表示パネル１５０におけるマークの位置との対応関係を示す情報を生成し、ストレージ２４に記憶させる。この情報は、テーブル形式で生成し記憶されてもよい。これらの処理は、所定の回数だけ繰り返して行われてもよい。このとき、マークは同一の基準位置に表示されてもよいし、表示パネル１５０の左、中央、右等の互いに異なる複数の位置に表示されてもよい。
　キャリブレーション処理が完了した後、上述したウェアラブル端末１０の操作が行われる。この操作において、ユーザーは、例えば図１５に示す仮想オブジェクト１５４～１５６のいずれかを指で指し示す動作を行う。カメラ１６は、この指を含む画像を撮影する。検出手段１２１は、ストレージ２４に記憶された情報に基づいて、撮影された画像の座標を、表示パネル１５０上の座標に変換する。決定手段１２１は、座標が変換された画像において、検出手段１２０により検出された位置に仮想オブジェクト１５４～１５６のいずれかに対応する位置が含まれるかを判定する。
　第四の方法は、ユーザーの顔を撮影する別のカメラを設ける方法である。このカメラは、ユーザーの顔を含む画像を撮影する。画像認識手段１１９は、撮影された画像を認識して、ユーザーの目を特定する。決定手段１２１は、特定された目の位置又は動きに基づいて、ユーザーの視線の方向を特定する。この視線の方向には、ユーザーが指を指し示した仮想オブジェクトが表示されていると考えられる。決定手段１２１は、特定された視線の方向に基づいて、検出手段１２０により検出された位置に仮想オブジェクト１５４～１５６のいずれかに対応する位置が含まれるかを判定する。
　例えば、ユーザーの視線の方向が右側である場合には、図１５に示すように、表示パネル１５０の右側に表示された仮想オブジェクト１５６をユーザーが指で指し示していると考えられる。この場合、検出手段１２０により検出された位置に仮想オブジェクト１５６に対応する位置が含まれると判定される。
　第五の方法は、ユーザーの対象部位と表示パネル１５０との両方を撮影し得る位置にカメラ１６を設ける方法である。この場合、カメラ１６により撮影された画像には、ユーザーの対象部位と表示パネル１５０に表示された仮想オブジェクト１５４～１５６が含まれる。決定手段１２１は、この画像において、検出手段１２０により検出された位置に仮想オブジェクト１５４～１５６のいずれかに対応する位置が含まれるかを判定してもよい。
変形例２
　上述した第１実施形態及び第２実施形態において、動作条件が変更される際の変更量は、所定の量であってもよいし、対象部位の移動距離、移動速度、加速度、及び回転角の少なくとも一つに応じた量であってもよい。例えば、図９に示す例では、ユーザーの手の加速度に応じた量だけ音量が変更されてもよい。また、図１４に示す例では、ユーザーの手の回転角に応じた量だけ音量が変更されてもよい。また、図１５に示す例では、ユーザーの指の移動距離に応じた量だけ音量が変更されてもよい。
変形例３
　上述した第２実施形態において、ユーザーの音声入力に応じて、操作ワードの一覧が表示されてもよい。ここでは、この一覧表示に対応する操作ワードが「一覧表示」である場合を想定する。この場合、ユーザーは、マイクロフォン１７に向かって「一覧表示」という音声を発する。音声認識手段１１４は、この音声を認識する。表示制御手段１２４は、操作ワードの一覧を表示パネル１５０上に表示させる。これにより、ユーザーは、各動作モードに対応する操作ワードを認識していなくても、音声入力により所望の動作モードを選択することができる。この場合、ユーザーは、上述した第２実施形態と同様に、所望の動作モードに対応する操作ワードを発することにより、動作モードを選択してもよい。
　他の例において、表示パネル１５０上に表示された操作ワードの一覧において、所望の動作モードに対応する操作ワードを指で指し示す動作により、その動作モードが選択されてよい。この場合、カメラ１６により、ユーザーの指及び操作ワードの一覧を含む画像が撮影される。検出手段１２０は、カメラ１６により撮影された画像において、この指の位置を検出する。選択手段１１５は、検出手段１２０により検出された位置に、表示パネル１５０に表示された複数の操作ワードのいずれかに対応する位置が含まれる場合には、その操作ワードに対応する動作モードを選択する。
変形例４
　上述した第１実施形態及び第２実施形態において、ウェアラブル端末１０の操作が許可される人はウェアラブル端末１０のユーザーに限定されない。例えば、通信回線２を介してウェアラブル端末１０と外部装置とが接続される場合には、この外部装置のユーザーにウェアラブル端末１０の操作が許可されてもよい。この場合、外部装置のユーザーの音声又は音声の特徴を示す認証データが予めストレージ２４に格納される。また、外部装置には、マイクロフォン等の音検出手段が設けられる。
　例えば、ウェアラブル端末１０の音量を変更する場合、外部装置のユーザーは、「音量モード」という音声を発する。外部装置は、音検出手段によりこの音声を検出すると、検出された音声を示す音声データをウェアラブル端末１０に送信する。ウェアラブル端末１０は、外部装置から受信した音声データをサーバー装置２０に送信する。認証手段１１３は、この音声データにより示される音声の特徴を用いて、音声を入力した人の認証を行う。
　具体的には、認証手段１１３は、この音声データにより示される音声の特徴を、ストレージ２４に格納された認証データにより示される音声の特徴と照合して、音声を入力した人が、ウェアラブル端末１０の操作が許可された人であるか否かを判定する。この例では、ストレージ２４には、外部装置のユーザーの音声の認証データが記憶されている。この場合、音声を入力した人が、ウェアラブル端末１０の操作が許可された人であると判定され、認証は成功する。
　この変形例によれば、外部装置のユーザーの音声入力により、ウェアラブル端末１０の動作モードを選択し、起動することができる。なお、この場合、ジェスチャー入力を行う人は、音声入力を行う人とは異なる人になる。
変形例５
　上述した第１実施形態及び第２実施形態において、カメラ１６により撮影された対象部位の画像を用いて、対象部位の認証が行われてもよい。この場合、ジェスチャー入力による操作が行われる前に、ウェアラブル端末１０の操作が許可された人の対象部位を含む画像を示す画像データがストレージ２４に格納される。対象部位を含む画像が撮影され、撮影された画像を示す画像データがウェアラブル端末１０からサーバー装置２０に送信されると、認証手段１１３は、この画像データにより示される画像に含まれる対象部位の特徴を用いて、対象部位を有する人の認証を行う。この特徴には、例えば対象部位の形状や色が含まれてもよい。また、対象部位が手である場合、対象部位の特徴は指の指紋であってもよい。
　具体的には、認証手段１１３は、この画像データにより示される画像に含まれる対象部位の特徴を、ストレージ２４に格納された画像データにより示される画像に含まれる対象部位の特徴と照合して、対象部位を有する人が、ウェアラブル端末１０の操作が許可された人であるか否かを判定する。対象部位を有する人が、ウェアラブル端末１０の操作が許可された人ではない場合、認証は失敗し、以降の処理は行われない。一方、対象部位を有する人が、ウェアラブル端末１０の操作が許可された人ではない場合、認証は成功し、次の処理に進む。
　この変形例によれば、ウェアラブル端末１０の操作が許可された人の対象部位を用いた操作に限り、処理が実行される。すなわち、ウェアラブル端末１０の操作が許可された人以外の人の対象部位を用いた操作により処理が実行されることが防止される。これにより、情報セキュリティを強化することができる。また、第三者の対象部位が誤って認識されることによる誤操作が防止される。
　また、対象部位の特徴が撮影されている期間に限り、処理を実行する操作が受け付けられてもよい。例えば、対象部位の特徴が指の指紋である場合を想定する。この場合、ユーザーは、カメラ１６に指の指紋を向けた状態で、この操作に対応するジェスチャーを行う。画像認識手段１１９は、カメラ１６により撮影された画像を認識して、指の指紋を特定する。検出手段１２０は、画像に指紋が含まれる場合に限り、手の位置を検出する。すなわち、検出手段１２０は、画像に指紋が含まれない場合には、手の位置を検出しない。これにより、対象部位の特徴が撮影されている期間に限り、対象部位を用いた操作を行うことができる。
変形例６
　上述した第２実施形態において、音声入力により動作条件が変更されてもよい。この場合、図１４に示す仮想オブジェクト１５３には、例えば音声入力により変更可能な音量の目盛りが含まれる。例えば、音声入力により五段階の音量の変更が可能な場合には、「１」～「５」の目盛りが含まれる。例えば、ユーザーが「４」という音声を発すると、この音声が認識され、「４」に対応する音量に変更されてもよい。
　また、上述した第２実施形態において、音声入力による操作とジェスチャー入力による操作とが両方とも受け付けられてもよい。この場合、ジェスチャー入力により音量が変更される場合には、音声入力よりも変更可能な音量が多くてもよい。例えば、音声入力により音量が変更される場合には、五段階で音量が変更されるのに対し、上述した第２実施形態のようにジェスチャー入力により音量が変更される場合には、十段階で音量が変更されてもよい。
変形例７
　上述した第１実施形態及び第２実施形態において、音声入力により動作モードが終了されてもよい。ここでは、動作モードの終了に用いられる操作ワードが「終了」である場合を想定する。この場合、ユーザーにより「終了」という音声が発せられた場合には、動作モードが終了してもよい。
変形例８
　上述した第１実施形態及び第２実施形態において、対象部位は手に限定されない。例えば、対象部位は頭や足であってもよい。例えば対象部位が頭である場合、対象部位の位置は、センサーユニット１９に含まれる加速度センサーにより検出されてもよい。すなわち、検出手段１２０は、センサーユニット１９により実現されてもよい。
変形例９
　上述した第１実施形態及び第２実施形態において、動作モードは、音量モードや焦点モードに限定されない。動作モードは、ウェアラブル端末１０が有するものであれば、どのような動作モードであってもよい。また、各動作モードにおいて実行される処理は、音量を変更する処理や焦点を変更する処理に限定されない。この処理は、ウェアラブル端末１０により実行される処理であれば、どのような処理であってもよい。
変形例１０
　上述した第１実施形態又は第２実施形態において、情報処理システム１又は３の機能を実現するためのプログラムは、単一のプロセッサー１１又は２１により実行されてもよいし、２以上のプロセッサー１１又は２１により同時又は逐次に実行されてもよい。
変形例１１
　上述した第１実施形態又は第２実施形態において説明した情報処理システム１又は３の機能を実装する主体は、例示に過ぎず、これに限定されない。例えばサーバー装置２０の機能の一部をウェアラブル端末１０が有してもよい。他の例において、ウェアラブル端末１０が単体で情報処理システム１の機能を全て有してもよい。この場合、ウェアラブル端末１０は、情報処理装置として機能する。また、処理を実行する主体は、ウェアラブル端末１０に限定されない。例えばウェアラブル端末１０に代えて、ユーザーに装着されない形状の装置が用いられてもよい。
変形例１２
　情報処理システム１又は３において行われる処理のステップは、上述した第１実施形態又は第２実施形態で説明した例に限定されない。この処理のステップは、矛盾のない限り、入れ替えられてもよい。また、本発明は、情報処理システム１又は３において行われる処理のステップを備える方法として提供されてもよい。
変形例１３
　本発明は、ウェアラブル端末１０又はサーバー装置２０において実行されるプログラムとして提供されてもよい。これらのプログラムは、インターネット等のネットワークを介してダウンロードされてもよい。また、これらのプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリーなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。
変形例１４
　上述した第１実施形態及び第２実施形態において、必ずしも音声の認識は行われなくてもよい。例えば、音声分析手段１２５は、音声を分析して特徴量を抽出する。この特徴量には、例えば音声の波形、周波数、又はサウンドスペクトログラムが含まれる。また、音声の特徴量について、予め動作モードが定められる。なお、この音声の特徴量と動作モードとの対応関係は、図５に示すような操作テーブルを用いて示されてもよい。選択手段１１５は、音声分析手段１２５により抽出された特徴量について予め定められた動作モードを選択する。
　例えば、第１音声波形について音声モードが定められ、第２音声波形について焦点モードが定められている場合を想定する。この場合、音声分析手段１２５により音声が分析され、第１音声波形が抽出された場合には、音声モードが選択される。一方、音声分析手段１２５により音声が分析され、第２音声波形が抽出された場合には、焦点モードが選択される。
変形例１５
　上述した第１実施形態及び第２実施形態において、ウェアラブル端末１０の動作モードは、ウェアラブル端末１０が予め有するものに限定されない。例えば、ウェアラブル端末１０の動作モードは後から追加されてもよい。この動作モードの追加は、例えばプロセッサー１１がメモリー１２に記憶されたプログラムを実行することにより実現されてもよい。

Claims (15)

  1. 　音検出手段により検出された音声を分析する音声分析手段と、
    　複数の動作モードの中から、前記音声の分析結果について予め定められた動作モードを選択する選択手段と、
    　人の体の対象部位の位置を検出する検出手段と、
    　前記検出された位置の特徴について予め定められた、前記選択された動作モードに対応する処理を実行する処理手段と
    　を備える情報処理システム。
  2. 　前記動作モードは、動作条件を変更するモードであり、
    　前記処理は、動作条件を変更する処理である
    　請求項１に記載の情報処理システム。
  3. 　前記動作条件は、音出力手段の音量である
    　請求項２に記載の情報処理システム。
  4. 　前記対象部位を用いた操作を支援する仮想オブジェクトを表示する表示手段と、
    　撮像手段により撮影された前記対象部位を含む画像を認識して、前記対象部位を特定する画像認識手段とを更に備え、
    　前記検出手段は、前記撮影された画像において、前記特定された対象部位の位置を検出する
    　請求項１から３のいずれか１項に記載の情報処理システム。
  5. 　前記表示手段は、前記人の視界内に位置し、光透過性を有する表示パネルを有し、前記表示パネル上に前記仮想オブジェクトを表示し、
    　前記撮像手段は、前記人の視界に沿って前記対象部位を含む画像を撮影し、
    　前記処理手段は、前記検出された位置に前記仮想オブジェクトに対応する位置が含まれる場合には、前記処理を実行する
    　請求項４に記載の情報処理システム。
  6. 　前記表示手段は、複数の処理に対応する複数の仮想オブジェクトを前記表示パネル上に表示し、
    　前記処理手段は、前記検出された位置に前記複数の仮想オブジェクトのいずれかの仮想オブジェクトに対応する位置が含まれる場合には、前記複数の処理のうち前記仮想オブジェクトに対応する処理を実行する
    　請求項５に記載の情報処理システム。
  7. 　前記対象部位は、前記人の手であり、
    　前記位置の特徴は、前記手を用いた所定の動作を示す位置の変化である
    　請求項１から６のいずれか１項に記載の情報処理システム。
  8. 　前記対象部位は、前記人の頭であり、
    　前記位置の特徴は、前記頭を用いた所定の動作を示す位置の変化である
    　請求項１から３のいずれか１項に記載の情報処理システム。
  9. 　前記人の視界に沿って前記対象部位及び少なくとも１つのオブジェクトを含む画像を撮影する撮像手段と、
    　前記撮影された画像を認識して、前記対象部位を特定する画像認識手段とを更に備え、
    　前記動作条件は、前記撮像手段の焦点であり、
    　前記検出手段は、前記撮影された画像において、前記特定された対象部位の位置を検出し、
    　前記処理は、前記少なくとも１つのオブジェクトのうち、前記撮影された画像において前記対象部位に対応する位置にあるオブジェクトに前記焦点を合わせる処理である
    　請求項２に記載の情報処理システム。
  10. 　前記検出された音声の特徴を用いて、前記音声を入力した人を認証する認証手段を更に備え、
    　前記処理手段は、前記人の認証が失敗した場合には、前記処理を実行しない
    　請求項１から９のいずれか１項に記載の情報処理システム。
  11. 　前記対象部位を含む画像を撮影する撮像手段と、
    　前記撮影された画像に含まれる前記対象部位の特徴を用いて、前記人を認証する認証手段とを更に備え、
    　前記処理手段は、前記人の認証が失敗した場合には、処理を実行しない
    　請求項１から１０のいずれか１項に記載の情報処理システム。
  12. 　前記音声分析手段は、前記検出された音声を認識し、認識した結果を示す文字列を生成する画像認識手段を有し、
    　前記選択手段は、前記生成された文字列について予め定められた動作モードを選択する
    　請求項１から１１のいずれか１項に記載の情報処理システム。
  13. 　音検出手段により検出された音声を分析するステップと、
    　複数の動作モードの中から、前記音声の分析結果について予め定められた動作モードを選択するステップと、
    　人の体の対象部位の位置を検出するステップと、
    　前記検出された位置の特徴について予め定められた、前記選択された動作モードに対応する処理を実行するステップと
    　を備える情報処理方法。
  14. 　音検出手段により検出された音声を分析する音声分析手段と、
    　複数の動作モードの中から、前記音声の分析結果について予め定められた動作モードを選択する選択手段と、
    　人の体の対象部位の位置を検出する検出手段と、
    　前記検出された位置の特徴について予め定められた、前記選択された動作モードに対応する処理を実行する処理手段と
    　を備える情報処理装置。
  15. 　コンピュータに、
    　音検出手段により検出された音声を分析するステップと、
    　複数の動作モードの中から、前記音声の分析結果について予め定められた動作モードを選択するステップと、
    　人の体の対象部位の位置を検出するステップと、
    　前記検出された位置の特徴について予め定められた、前記選択された動作モードに対応する処理を実行するステップと
    　を実行させるためのプログラム。
PCT/JP2017/014083 2017-04-04 2017-04-04 情報処理システム、情報処理方法、情報処理装置、及びプログラム WO2018185830A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/014083 WO2018185830A1 (ja) 2017-04-04 2017-04-04 情報処理システム、情報処理方法、情報処理装置、及びプログラム
JP2019510527A JP6679083B2 (ja) 2017-04-04 2017-04-04 情報処理システム、情報処理方法、ウェアラブル端末、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/014083 WO2018185830A1 (ja) 2017-04-04 2017-04-04 情報処理システム、情報処理方法、情報処理装置、及びプログラム

Publications (1)

Publication Number Publication Date
WO2018185830A1 true WO2018185830A1 (ja) 2018-10-11

Family

ID=63712895

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/014083 WO2018185830A1 (ja) 2017-04-04 2017-04-04 情報処理システム、情報処理方法、情報処理装置、及びプログラム

Country Status (2)

Country Link
JP (1) JP6679083B2 (ja)
WO (1) WO2018185830A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020135667A (ja) * 2019-02-22 2020-08-31 菱洋エレクトロ株式会社 報告書作成するための方法、システム、及び装置
JP2020201627A (ja) * 2019-06-07 2020-12-17 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008149482A1 (ja) * 2007-06-05 2008-12-11 Mitsubishi Electric Corporation 車両用操作装置
JP2012103840A (ja) * 2010-11-09 2012-05-31 Sony Corp 情報処理装置、プログラムおよびコマンド生成方法
JP2013190925A (ja) * 2012-03-13 2013-09-26 Nikon Corp 入力装置、及び表示装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016103415A1 (ja) * 2014-12-25 2016-06-30 日立マクセル株式会社 ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイ装置の操作方法
US10477090B2 (en) * 2015-02-25 2019-11-12 Kyocera Corporation Wearable device, control method and non-transitory storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008149482A1 (ja) * 2007-06-05 2008-12-11 Mitsubishi Electric Corporation 車両用操作装置
JP2012103840A (ja) * 2010-11-09 2012-05-31 Sony Corp 情報処理装置、プログラムおよびコマンド生成方法
JP2013190925A (ja) * 2012-03-13 2013-09-26 Nikon Corp 入力装置、及び表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020135667A (ja) * 2019-02-22 2020-08-31 菱洋エレクトロ株式会社 報告書作成するための方法、システム、及び装置
JP2020201627A (ja) * 2019-06-07 2020-12-17 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法
JP7353806B2 (ja) 2019-06-07 2023-10-02 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法

Also Published As

Publication number Publication date
JP6679083B2 (ja) 2020-04-15
JPWO2018185830A1 (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
US10242364B2 (en) Image analysis for user authentication
US9049983B1 (en) Ear recognition as device input
US11663784B2 (en) Content creation in augmented reality environment
US9134800B2 (en) Gesture input device and gesture input method
US9274744B2 (en) Relative position-inclusive device interfaces
US9213436B2 (en) Fingertip location for gesture input
US10015402B2 (en) Electronic apparatus
JP5205187B2 (ja) 入力システム及び入力方法
JP2004504675A (ja) ビデオ会議及び他のカメラベースのシステム適用におけるポインティング方向の較正方法
KR102392437B1 (ko) 반사 기반 제어 활성화 기법
US20190156003A1 (en) Methods and Systems for Launching Additional Authenticators in an Electronic Device
JP2015090569A (ja) 情報処理装置及び情報処理方法
JP2004220376A (ja) セキュリティ管理方法およびシステム、プログラム、記録媒体
WO2019033322A1 (zh) 手持式控制器、跟踪定位方法以及系统
JP6679083B2 (ja) 情報処理システム、情報処理方法、ウェアラブル端末、及びプログラム
CN114945949A (zh) 化身显示装置、化身显示系统、化身显示方法以及化身显示程序
JP2017010459A (ja) ユーザ認証の方法、電子機器およびコンピュータ・プログラム
US20190096130A1 (en) Virtual mobile terminal implementing system in mixed reality and control method thereof
JP2016058061A (ja) 電子機器
JP2015052895A (ja) 情報処理装置及び情報処理方法
JP6631736B1 (ja) 生体認証装置、生体認証システムおよびプログラム
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
JP6631737B1 (ja) 生体認証装置およびプログラム
JP6365727B2 (ja) 認証判定装置及び認証判定方法
US20210049998A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17904888

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019510527

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17904888

Country of ref document: EP

Kind code of ref document: A1