WO2023243024A1 - セパレート型スマートデバイス - Google Patents

セパレート型スマートデバイス Download PDF

Info

Publication number
WO2023243024A1
WO2023243024A1 PCT/JP2022/024060 JP2022024060W WO2023243024A1 WO 2023243024 A1 WO2023243024 A1 WO 2023243024A1 JP 2022024060 W JP2022024060 W JP 2022024060W WO 2023243024 A1 WO2023243024 A1 WO 2023243024A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearer
movement
unit
orientation
smart glasses
Prior art date
Application number
PCT/JP2022/024060
Other languages
English (en)
French (fr)
Inventor
秀樹 染谷
Original Assignee
株式会社ビジョン・コンサルティング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ビジョン・コンサルティング filed Critical 株式会社ビジョン・コンサルティング
Priority to PCT/JP2022/024060 priority Critical patent/WO2023243024A1/ja
Publication of WO2023243024A1 publication Critical patent/WO2023243024A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a separate smart device.
  • smart glasses that can draw a three-dimensional virtual space according to the position and orientation of the wearer.
  • Such smart glasses include smart glasses that can photograph the movements of the wearer.
  • the wearer's movements include, for example, the wearer's gestures.
  • Smart glasses capable of photographing the wearer's movements can use the photographed movements to identify a position specified by the wearer in a three-dimensional virtual space. Thereby, the smart glasses can perform various processes using the specified position.
  • the various processes described above include, for example, a process of changing the display of an object corresponding to a designated position among a group of objects included in the three-dimensional virtual space displayed by the smart glasses. Further, the various processes described above include, for example, a process of generating an input corresponding to a specified position on the virtual input device displayed by the smart glasses.
  • a sensor mounted on smart glasses that can three-dimensionally measure the position of smart glasses, including their position and orientation, can contribute to increasing the accuracy of specifying a designated position.
  • sensors can add weight to smart glasses. The increased weight of smart glasses can negatively impact the wearer's experience with the glasses.
  • Patent Document 1 includes a wearable computer with a transmissive display and a wearable motion sensor, and the wearable motion sensor detects a search motion that identifies a user's search request motion.
  • the wearable computer has a camera function for displaying a camera image on a transparent display, and an activation request means for transmitting an activation request to the wearable computer in response to the search request operation.
  • an activation request detection means for energizing a camera function; a hand region recognition means for recognizing a hand region on a camera image; and a search image extraction means for extracting a search image from a search image range having a predetermined positional relationship with the hand region.
  • a wearable search system characterized by comprising a search execution means for searching for information related to a search image, and a search result display means for displaying the search results on a transparent display.
  • Patent Document 1 can produce effects such as (1) to (3) shown below.
  • the present inventors installed a mobile device that can detect the three-dimensional position etc. separately from the smart glasses, and created a mobile device that can detect the wearer's position and orientation in a three-dimensional virtual space.
  • the above problems can be solved by calibrating the three-dimensional correspondence between the position and orientation of the mobile device using the position detected by the mobile device, the orientation of the smart glasses, and the hand movement captured by the smart glasses.
  • This discovery led to the completion of the present invention.
  • the present invention provides the following.
  • FIG. 1 is a block diagram showing the hardware configuration and software configuration of a separate smart device 1 according to this embodiment.
  • FIG. 2 is a main flowchart showing an example of a preferred flow of virtual space display processing executed by the separate smart device 1 of this embodiment.
  • FIG. 3 is a flowchart showing an example of a preferred flow of the position etc. calibration process executed in step S2 of FIG.
  • FIG. 4 is a flowchart following FIG. 3.
  • FIG. 5 is a flowchart showing an example of a preferred flow of the movement calibration process executed in step S3 of FIG.
  • FIG. 6 is a flowchart following FIG. 5.
  • FIG. 7 is a flowchart showing an example of a preferable flow of interactive AI processing that can be executed by the separate smart device 1 or the like of this embodiment.
  • FIG. 8 is a flowchart following FIG. 7.
  • FIG. 9 is a flowchart following FIG. 8.
  • FIG. 10 is a schematic diagram showing an example of how the separate smart device 1 of this embodiment is used.
  • FIG. 11 is a schematic diagram showing the wearer pointing at the first target in the position etc. calibration process.
  • FIG. 12 is a schematic diagram showing the wearer pointing at the second target in the position etc. calibration process.
  • FIG. 13 is a schematic diagram showing a wearer who has received a movement instruction to a first movement destination in movement calibration processing.
  • FIG. 14 is a schematic diagram showing a wearer who has received a movement instruction to a second movement destination in movement calibration processing.
  • FIG. 15 is a schematic diagram showing the wearer bending down and pointing at the third landmark in the movement calibration process.
  • the mobile device 2 is portable by being hung around the neck of the wearer of the smart glasses 3 at the time when the separate smart device 1 is used.
  • the manner in which the portable device 2 is carried when the separate smart device 1 is used will be described in detail later using FIG. 9.
  • the mobile device 2 is capable of storing information regarding the smart glasses 3 and controlling the smart glasses 3.
  • the smart glasses 3 can have a configuration in which the members that realize the storage of the information and the members that realize the control are omitted. Therefore, the configuration can be lighter than a configuration including the member. Moreover, this configuration can reduce power consumption of the smart glasses 3. Thereby, the smart glasses 3 can have a configuration in which the power supply section is lightweight.
  • the device control unit 21 is a software component of the mobile device 2, and cooperates with the device control unit 21, the device storage unit 22, the device communication unit 23, and/or the position detection unit 24, etc., as necessary. , the calibration unit 213, etc. can be realized.
  • the device control unit 21 can cooperate with each of the above-mentioned members included in the mobile device 2 as necessary to realize the orientation acquisition unit 211 and/or the display command unit 212, which are software components of the mobile device 2. It is preferable.
  • the device storage unit 22 is a device in which data and/or files are stored.
  • the device storage unit 22 includes a data storage unit exemplified by a hard disk, a semiconductor memory, a recording medium, a memory card, and the like.
  • the device storage unit 22 stores a control program executed by the device control unit 21, information regarding the motion imaging unit 25, an interactive AI application, machine learning data of the interactive AI application, an Internet search application, and/or office work. applications, etc. are stored.
  • the information regarding the motion photographing unit 25 includes, for example, one or more of various types of information that can improve the accuracy of photographing hand movements and the like.
  • Examples of the various information include lens aberration correction, focal length correction, and inter-camera distance.
  • the information regarding the smart glasses 3 may include one or more of, for example, information regarding the three-dimensional correspondence between the position and orientation of the wearer and the position and orientation in the three-dimensional virtual space, information regarding the display of the three-dimensional virtual space, etc. include.
  • the information regarding the display of the three-dimensional virtual space includes, for example, information regarding the display of the virtual input device, information about objects displayed superimposed on the scenery of the real space, and the like.
  • the device communication unit 23 is not particularly limited as long as it enables the mobile device 2 and the smart glasses 3 to communicate.
  • a short-range wireless device compatible with the Bluetooth (registered trademark) standard for example, a Wi-Fi (Wireless Fidelity) compatible device compatible with IEEE 802.11, and a device between the mobile device 2 and the smart glasses 3. Devices that provide wired communications, etc.
  • the device communication unit 23 includes a device that provides wired communication between the mobile device 2 and the smart glasses 3. Thereby, the mobile device 2 can supply power to the smart glasses 3 via the cable used for wired communication.
  • the device communication unit 23 is capable of connecting the mobile device 2 to an external network.
  • the separate smart device 1 can be used as a mobile terminal having a wireless network connection function, exemplified by a smartphone.
  • a device communication section 23 may further include a device compatible with a mobile phone network.
  • the position etc. detection unit 24 is not particularly limited as long as it can detect the position etc. (position) including the three-dimensional position and three-dimensional orientation of the mobile device 2.
  • the position etc. detection unit 24 detects the above-mentioned position etc. using, for example, a conventional position sensor that can measure a three-dimensional position and a conventional orientation sensor that can measure a three-dimensional orientation. Any possible material may be used.
  • the virtual space display unit 311 (described later) can detect the wearer's position and orientation based on the wearer's position and orientation even if the smart glasses 3 cannot detect the three-dimensional position.
  • a drawn three-dimensional virtual space can be displayed.
  • the mobile device 2 includes a motion imaging section 25 .
  • the movement photographing section 25 is not particularly limited as long as it can photograph the movement of the wearer's hand.
  • the motion photographing unit 25 may be, for example, a camera that can be built into the mobile device 2. It is preferable that the movement photographing unit 25 is capable of photographing the movement of the wearer's hand from a plurality of mutually different positions on the mobile device 2. Thereby, the separate smart device 1 can three-dimensionally identify the movement of the wearer's hand.
  • the mobile device 2 includes a power supply section (not shown), such as a secondary battery, a primary battery, or the like.
  • the mobile device 2 includes a power button (not shown). This allows the wearer to turn off the power to the mobile device 2 and the like when the separate smart device 1 is not in use. Furthermore, the wearer can command the start/end of the calibration process, the start/end of the three-dimensional virtual space display, etc. using the power button.
  • the mobile device 2 includes one or more microphones (not shown). Thereby, the mobile device 2 can acquire audio information such as the wearer's voice and environmental sounds. Therefore, the mobile device 2 can perform various types of processing based on audio information. Furthermore, the mobile device 2 can estimate the wearer's health condition, psychological state, etc. based on the wearer's voice.
  • the mobile device 2 includes one or more speakers (not shown).
  • the smart glasses 3 include a glass control section 31, a glass storage section 32, a glass communication section 33, a display section 34, and an orientation detection section 35.
  • the glasses control section 31 cooperates with the glasses storage section 32, the glasses communication section 33, the display section 34, and/or the orientation detection section 35, etc. as necessary, and creates a virtual space that is a software component of the smart glasses 3.
  • the display unit 311 etc. can be realized.
  • the glasses control section 31 can cooperate with each of the above-mentioned members included in the smart glasses 3 as necessary, and realize a calibration section (not shown) as a software component of the smart glasses 3.
  • Glass storage unit 32 The hardware configuration of the glass storage section 32 is not particularly limited, and may be the same as the device storage section 22.
  • the glass storage unit 32 stores a control program executed by the glass control unit 31, and the like.
  • the glasses communication unit 33 is not particularly limited as long as it enables the mobile device 2 and the smart glasses 3 to communicate.
  • the hardware configuration of the glass communication unit 33 preferably includes a device that supports communication using the same communication method as the device communication unit 23.
  • the glasses communication unit 33 allows the smart glasses 3 to be connected to an external network.
  • the effects and configuration related to this are similar to those of the device communication section 23 that allows the mobile device 2 to be connected to an external network.
  • the display unit 34 is not particularly limited as long as it can display a three-dimensional virtual space superimposed on the scenery of the real world.
  • the display unit 34 may be, for example, a transmissive head-mounted display that can be used to realize an MR (mixed reality) experience. It is preferable that the display unit 34 is capable of reproducing audio.
  • the orientation detection unit 35 is not particularly limited as long as it can detect the three-dimensional orientation of the smart glasses 3.
  • the orientation detection unit 35 may be a member that can detect the three-dimensional orientation of the smart glasses 3 using, for example, a conventional orientation sensor that can measure the three-dimensional orientation.
  • a conventional orientation sensor is a three-axis gyro sensor.
  • the mobile device 2 includes the position detection unit 24, so that the smart glasses 3 can have a lightweight configuration that includes only the orientation detection unit 35 as a detection unit.
  • the smart glasses 3 may include a power supply unit, such as a secondary battery, a primary battery, or the like. It is preferable that the smart glasses 3 include a power button. This provides the same effect as when the mobile device 2 includes a power button.
  • the calibration process of the virtual space display process will be described as being performed by the calibration unit 213 of the mobile device 2. If the calibration unit of the smart glasses 3 performs the calibration process, this can be similarly achieved by replacing the device control unit 21 and the like with corresponding components of the smart glasses 3.
  • the device control unit 21 executes the calibration unit 213 to perform a process of determining whether or not to perform calibration (step S1, calibration execution determination step). If the device control unit 21 determines that calibration is to be performed, the process moves to step S2. If the device control unit 21 does not determine that calibration should be performed, the process moves to step S4.
  • the process of determining whether to perform calibration is not particularly limited.
  • the processing includes, for example, determining that calibration is to be performed when the power is first turned on from the factory shipment state, and determining that calibration is to be performed when the power button of the mobile device 2 and/or smart glasses 3 is pressed and held for a long time.
  • the process may include one or more of the following.
  • the calibration unit 213 includes a position etc. calibration unit 2131 capable of executing the position etc. calibration step (step S2).
  • the device control section 21 executes the display command section 212 in cooperation with the device storage section 22, the device communication section 23, and the position etc. detection section 24. , a process of commanding the display of a three-dimensional virtual space drawn based on the position of the mobile device 2, etc. and the orientation of the smart glasses 3 is performed (step S4, display command step).
  • the device control unit 21 moves the process to step S1 and repeats the processes from step S1 to step S4.
  • the process of commanding the display of the three-dimensional virtual space in the display command step is the process of commanding the display unit 34 of the smart glasses 3 to display.
  • the calibration unit 213 calculates the position and orientation of the wearer and the position and orientation in the three-dimensional virtual space based on the position of the mobile device 2, the orientation of the smart glasses 3, and the movement of the wearer's hand. It is possible to calibrate the three-dimensional correspondence between
  • the calibration performed by the calibration unit 213 is based on six degrees of freedom (six axes) such as position detected by the position detection unit 24, three degrees of freedom (three axes) such as three-dimensional orientation detected by the orientation detection unit 35, It is a calibration of 9 degrees of freedom (9 axes) including . Further, this calibration can further improve the accuracy of the calibration by further using the movement of the wearer photographed by the movement photographing section 25.
  • step S11 the device control unit 21 cooperates with the above-mentioned members to execute the first order pointing instruction unit of the position etc. calibration unit 2131, and displays the plurality of targets displayed in the first target display step. , performs a process of prompting the wearer to point in a specified order with the specified hand (step S12, first order pointing instruction step).
  • step S12 first order pointing instruction step.
  • the device control unit 21 moves the process to step S13.
  • the following processing will be explained assuming that the hand specified in step S12 is the right hand. Note that the processing in the case of the left hand can be similarly achieved by changing the left and right directions.
  • step S11 the position etc. calibration unit 2131 performs calibration using a movement in which the wearer points at multiple targets in a specified order, rather than a movement in which the wearer points at a single target. can. Therefore, the series of processes described above can improve the accuracy of calibration.
  • step S12 the device control unit 21 cooperates with the above-mentioned members to execute the second order pointing instruction unit, and sets the plurality of second targets displayed in step S15 to the hand instructed in step S12.
  • a process of prompting the wearer to point in a specified order using a different hand (left hand) (step S16, second order pointing instruction step) is performed.
  • the device control unit 21 moves the process to step S17.
  • the position etc. calibration unit 2131 includes an orientation re-change instruction unit (not shown) that prompts the user to change the neck orientation to a direction different from both the neck orientation in step S11 and the changed neck orientation in step S15.
  • a third target display section, a third order pointing instruction section, and a third pointing information acquisition section (not shown) which are similar to the second target display section, second order pointing instruction section, and second pointing information acquisition section, respectively. It is preferable to further include. Then, it is preferable that the position etc. calibration unit 2131 executes a series of processes from step S18 to step S21 shown below.
  • step S14 the device control section 21 cooperates with the above-mentioned members to execute the direction re-change instruction section, and the device control section 21 executes the direction re-change instruction section (a direction different from either the direction of the neck in step S11 or the direction of the neck after the change in step S15).
  • step S18 A process of prompting the wearer to change the direction of the neck to the right direction is performed (step S18, direction re-change instruction step).
  • the device control unit 21 moves the process to step S19.
  • step S15 the device control unit 21 cooperates with the above-mentioned members to execute the third target display unit, and when the wearer changes the neck orientation again, the device control unit 21 executes the third target display unit according to the neck orientation after the re-change.
  • a process of displaying a plurality of third targets in a predetermined direction (step S19, third target display step) is performed.
  • the device control unit 21 moves the process to step S20.
  • step S16 the device control unit 21 cooperates with the above-mentioned members to execute the third order pointing instruction unit, and sets the plurality of third targets displayed in step S19 to the hand instructed in step S12.
  • step S20 third order pointing instruction step
  • the device control unit 21 moves the process to step S21.
  • step S17 the device control unit 21 cooperates with the above-mentioned members to execute the third pointing information acquisition unit of the position etc. calibration unit 2131, and responds to the prompting in the third order pointing instruction step. Accordingly, a process is performed to acquire third pointing information including the movement of the wearer pointing at a plurality of targets, the orientation of the smart glasses 3, the position of the mobile device 2, etc. (step S21, third pointing information acquisition step) ). The device control unit 21 moves the process to step S22.
  • the device control unit 21 executes the position etc. calibration unit 2131 in cooperation with the device storage unit 22, the device communication unit 23, and the position etc. detection unit 24, and based on the first pointing information and the second pointing information, Among the three-dimensional correspondences described above, a process of calibrating the position and orientation of the wearer (step S22, position etc. calibration step) is executed.
  • the device control unit 21 moves the process to step S3.
  • the position etc. calibration unit 2131 can further improve the accuracy of calibration through a series of calibration procedures using movements in which the wearer points at multiple targets in a specified order in multiple head orientations.
  • the position etc. calibration section 2131 further includes a direction re-change instruction section, a third target display section, a third order pointing instruction section, and a third pointing information acquisition section
  • the position etc. calibration step includes the first pointing information, Among the three-dimensional correspondences described above, it is preferable to calibrate the position and orientation of the wearer based on the second pointing information and the third pointing information.
  • the position etc. calibration unit 2131 uses the approximately front of the wearer as a reference point, which is the most frequently specified position. In addition to calibrating the head to the left and right, it can also calibrate the response when the head is turned to the left and right. Thereby, the position etc. calibrating unit 2131 can further improve the accuracy of calibration in a normal usage mode in which the wearer's neck mainly faces substantially forward and turns to the left or right as needed.
  • FIG. 5 is a flowchart showing an example of a preferred flow of the movement calibration process executed in step S3 of FIG.
  • FIG. 6 is a flowchart following FIG. 5. A preferred flow of the movement calibration process will be described below with reference to FIGS. 5 and 6.
  • the movement calibration unit 2132 that performs position calibration processing includes at least a predetermined direction pointing instruction unit, a first landmark display unit, a first movement instruction unit, a first movement information acquisition unit, a second landmark display unit, and a first movement instruction unit. , a second movement information acquisition section, a third mark display section, a third movement instruction section, and a third movement information acquisition section (not shown).
  • the device control unit 21 cooperates with the device storage unit 22, the device communication unit 23, and the position etc. detection unit 24 to execute the predetermined direction pointing instruction part of the movement calibration unit 2132, and points in a predetermined direction.
  • a process of prompting the wearer to move is performed (step S31, pointing in a predetermined direction instruction step).
  • the device control unit 21 moves the process to step S32.
  • the following processing will be explained assuming that the predetermined direction in step S31 is approximately in front of the wearer. Processing when the predetermined direction is another direction can be similarly realized by changing the direction.
  • step S31 the device control section 21 cooperates with the above-mentioned members to execute the first landmark display section of the movement calibration section 2132, and displays the first mark in the direction pointed by the wearer in accordance with the process of step S31.
  • a process of displaying a first landmark indicating one destination is performed (step S32, first landmark display step).
  • the device control unit 21 moves the process to step S33.
  • the first mark is not particularly limited. It is preferable that the first landmark is a landmark that can identify the route to the first destination in addition to the first destination. Examples of such a first mark include a straight line/arrow extending from the wearer's fingertip to the first movement destination.
  • the device control section 21 cooperates with the above-mentioned members to execute the first movement instruction section of the movement calibration section 2132, and instructs the wearer to move to the first destination along the first landmark.
  • Step S33 first movement instruction step.
  • the device control unit 21 moves the process to step S34.
  • step S31 the device control unit 21 cooperates with the above-mentioned members to execute the first movement information acquisition unit of the movement calibration unit 2132, and the device control unit 21 executes the first movement information acquisition unit of the movement calibration unit 2132, and the smart glasses 3, the position of the mobile device 2, etc. is acquired (step S34, first movement information acquisition step).
  • step S35 first movement information acquisition step
  • step S32 the device control section 21 cooperates with the above-mentioned members to execute the second landmark display section of the movement calibration section 2132, and in response to the process of step S31, the device control section 21 executes the second landmark display section in cooperation with the above-mentioned members, and in accordance with the process of step S31, the device control section 21 executes the second landmark display section in cooperation with the above-mentioned members.
  • a process of displaying a second mark indicating the second destination in a direction substantially orthogonal to the vertical direction is performed (step S35, second mark display step).
  • the device control unit 21 moves the process to step S36.
  • the second mark is not particularly limited and may be the same as the first mark.
  • step S33 the device control unit 21 cooperates with the above-mentioned members to execute the second movement instruction unit of the movement calibration unit 2132, and instructs the wearer to move to the second movement destination along the second landmark.
  • Step S36 second movement instruction step.
  • the device control unit 21 moves the process to step S37.
  • step S34 the device control unit 21 cooperates with the above members to execute the second movement information acquisition unit of the movement calibration unit 2132, so that the wearer moves from the first movement destination to the second movement destination.
  • step S37 a process of acquiring second movement information including the orientation of the smart glasses 3, the position of the mobile device 2, etc. is performed (step S37, second movement information acquisition step).
  • step S38 second movement information acquisition step.
  • step S32 the device control section 21 cooperates with the above-mentioned members to execute the third mark display section of the movement calibration section 2132, and the third mark display section in the direction of gravity from the second movement destination displayed in step S35.
  • a process of displaying a third mark indicating the destination is performed (step S38, third mark display step).
  • the device control unit 21 moves the process to step S39.
  • the third mark is not particularly limited, and may be the same as the first mark and the second mark.
  • step S33 the device control unit 21 cooperates with the above-mentioned members to execute the third movement instruction unit of the movement calibration unit 2132, and becomes in a state of bending down and pointing at the third landmark without changing its posture.
  • a process is performed to prompt the wearer to do so (step S39, third movement instruction step).
  • the device control unit 21 moves the process to step S37.
  • step S34 the device control unit 21 cooperates with the above-mentioned members to execute the third movement information acquisition unit of the movement calibration unit 2132, and determines the orientation of the smart glasses 3 and the mobile device during the wearer's bending process.
  • a process of acquiring third movement information including the position of No. 2, etc. is performed (step S40, third movement information acquisition step).
  • the device control unit 21 moves the process to step S41.
  • the device control unit 21 executes the movement calibration unit 2132 in cooperation with the device storage unit 22, the device communication unit 23, and the position etc. detection unit 24, and calculates the first movement information, the second movement information, and the third movement information. Based on the three-dimensional correspondence described above, a process of calibrating the movement of the wearer (step S41, movement calibration main step) is executed. The device control unit 21 moves the process to step S4.
  • the movement of the wearer in the three-dimensional virtual space is expressed in three directions, exemplified by a combination of the front-back direction, the left-right direction, and the up-down direction.
  • the movement calibration unit 2132 moves the wearer in a predetermined direction (e.g., front-back direction) or in a direction orthogonal to the predetermined direction (e.g., left-right direction). , and prompt the user to move up and down. Then, the first to third movement information acquisition steps included in the series of procedures acquire the first to third movement information in the process of movement in each of these three directions. Then, the movement calibration main step uses these first to third movement information to calibrate correspondence regarding the movement of the wearer. Therefore, the mobile calibration unit 2132 can further improve the accuracy of calibration.
  • a predetermined direction e.g., front-back direction
  • a direction orthogonal to the predetermined direction e.g., left-right direction
  • FIG. 7 is a flowchart showing an example of a preferable flow of interactive AI processing that can be executed by the separate smart device 1 or the like of this embodiment.
  • FIG. 8 is a flowchart following FIG. 7.
  • FIG. 9 is a flowchart following FIG. 8.
  • a preferred flow of interactive AI processing will be explained using FIGS. 7 to 9.
  • the following explanation is for a case where interactive AI processing is executed on the mobile device 2 included in the separate smart device 1.
  • the device that executes the interactive AI processing is not limited to the mobile device 2.
  • the device may be, for example, smart glasses 3, a stationary PC, a laptop PC, a mobile terminal such as a tablet terminal or a smartphone, or the like.
  • the device that executes the interactive AI processing is preferably a device that is equipped with smart glasses, such as the separate smart device 1, and that can be operated with gestures, and/or a device that is part of the configuration of the device.
  • This allows the wearer to input a message without the risk of the contents of the message being known to those around them.
  • Surrounding people include, for example, the person to whom the message is addressed, people related to the content of the message, and passersby.
  • Inputs involving risks include, for example, inputs in which the contents of a message are uttered, inputs in which the message being input is displayed on a display that can be viewed, and the like.
  • this allows the wearer to check the contents of the message displayed on the smart glasses 3 without incurring the risk of the contents of the message being known to those around them.
  • the interactive AI process includes a series of processes related to messages from step S51 to step S54.
  • the device control unit 21 cooperates with the speaker and the like to make a call to the wearer that matches the wearer's preferences based on the determination result in step S55 and the machine learning data stored in the device storage unit 22. Output processing is performed (step S56, calling execution step). The device control unit 21 moves the process to step S57.
  • the device control unit 21 cooperates with the device communication unit 23 to perform a process of communicating with another AI based on the determination result in step S57 (step S58, inter-AI communication execution step).
  • the device control unit 21 moves the process to step S59.
  • the device control unit 21 cooperates with the motion imaging unit 25 and/or the microphone to perform a process of determining whether there is an input that requires a response from the wearer (step S59, response determination step). If the device control unit 21 determines that there is an input, the process moves to step S60. If the device control unit 21 does not determine that there is an input, the process moves to step S61.
  • the device control unit 21 works with the speaker to output a response tailored to the wearer's preferences based on the input that was determined in step S59 and the machine learning data stored in the device storage unit 22. (Step S60, response execution step). The device control unit 21 moves the process to step S61.
  • the interactive AI process includes a series of processes related to machine learning tailored to the wearer's preferences from step S61 to step S62.
  • an apparatus such as the separate smart device 1 can realize an interactive AI application (AI buddy).
  • AI buddy an interactive AI application
  • the device can respond to input from the wearer using machine learning in accordance with the wearer's preferences. Therefore, the device can realize an AI buddy that heals the wearer.
  • the mobile device 2 is suspended from the neck of the wearer U by two curved arms extending from the back side of the wearer U to the front side. These arm parts can reduce the change in the position and orientation of the mobile device 2 when the wearer U moves.
  • the orientation and position of the mobile device 2 hanging from the neck of the wearer U is based on the neck of the wearer U. Furthermore, the smart glasses 3 worn on the head of the wearer U have a predetermined orientation and position based on the orientation and position of the head. The direction and position of the head are based on the neck of the wearer U.
  • the orientation and position of the portable device 2 and the orientation and position of the smart glasses 3 are both based on the neck of the wearer U. This makes it easy to associate the position etc. detected by the position etc. detecting section 24 with the direction detected by the direction detecting section 35. Thereby, the portable device 2 can improve the accuracy of calibration in the calibration step.
  • the wearer U turns on the power of the separate smart device 1 via a power button or the like provided on the mobile device 2 and/or the smart glasses 3.
  • the mobile device 2 executes the calibration unit 213 to perform a calibration process.
  • FIG. 11 is a schematic diagram showing the wearer pointing at the first target in the position etc. calibration process.
  • FIG. 12 is a schematic diagram showing the wearer pointing at the second target in the position etc. calibration process.
  • solid lines indicate objects in real space.
  • dotted lines indicate objects in the three-dimensional virtual space displayed on the display unit 34.
  • the wearer U uses the index finger of his/her right hand to sequentially point out the first target T1a and the first target T1b displayed according to the command from the first target display section using the index finger of the right hand.
  • Point ( Figure 11) The first pointing information acquisition unit acquires first pointing information including sequential pointing movements by the wearer U.
  • the position etc. calibration unit 2131 calculates the three-dimensional correspondence between the position and orientation of the wearer U and the position and orientation in the three-dimensional virtual space based on the first to third pointing information. Calibration regarding the position and orientation of the wearer U can be performed.
  • the first target T1 and the second target T2 are shown enlarged from the actual size. It is preferable that the first target T1, the second target T2, and the third target have sizes that correspond to the positional accuracy required in using the virtual input device.
  • FIG. 13 is a schematic diagram showing a wearer who has received a movement instruction to a first movement destination in movement calibration processing.
  • FIG. 14 is a schematic diagram showing a wearer who has received a movement instruction to a second movement destination in movement calibration processing.
  • FIG. 15 is a schematic diagram showing the wearer bending down and pointing at the third landmark in the movement calibration process.
  • FIGS. 13 to 15 The solid lines and dotted lines in FIGS. 13 to 15 are the same as the solid lines and dotted lines in FIGS. 11 and 12.
  • the wearer U stands at the initial position P0.
  • the wearer U points substantially forward in accordance with instructions from the predetermined direction pointing instruction section.
  • the first mark display unit instructs to display the first mark M1 in the direction pointed by the wearer U.
  • the first movement instruction unit instructs the wearer U to move to the first movement destination D1 while keeping the same posture (FIG. 13).
  • the wearer U moves to the first destination D1 while maintaining the same posture. This movement is performed along the first mark M1.
  • the first movement information acquisition unit acquires first movement information in the process of movement.
  • the second mark display section instructs the display of a second mark M2 indicating a second destination D2 located to the left of the first destination D1.
  • the second movement instruction unit instructs the wearer U to move to the second movement destination D2 while keeping the same posture (FIG. 14).
  • the wearer U moves to the second destination D2 while maintaining the same posture. This movement is performed along the second mark M2.
  • the second movement information acquisition unit acquires second movement information in the process of movement.
  • the third mark display unit instructs to display a third mark M3 indicating a third movement destination D3 in the direction of gravity from the second movement destination D2.
  • the third movement instruction unit instructs the wearer U to bend down and point at the third mark M3 without changing his or her posture.
  • the wearer U bends down without changing his posture and points at the third destination D3 (FIG. 15).
  • the third movement information acquisition unit acquires third movement information in the bending process.
  • the movement calibration unit 2132 determines, based on the first to third movement information, the wearer's A calibration regarding the movement of U can be performed.
  • the first mark M1 to the third mark M3 are shown enlarged from the actual size. It is preferable that the first mark M1 to the third mark M3 have a size that corresponds to the positional accuracy required in using the virtual input device.
  • the display command unit 212 commands the virtual space display unit 311 to display a three-dimensional virtual space.
  • the virtual space display unit 311 displays a three-dimensional virtual space drawn based on the position of the mobile device 2 and the orientation of the smart glasses 3 on the display unit 34.
  • the wearer U operates the three-dimensional virtual space through the means illustrated below.
  • the wearer U performs an operation of moving in the three-dimensional virtual space by moving in the real space and/or changing the orientation.
  • the virtual space display unit 311 displays a three-dimensional virtual space that reflects the movement in response to the operation.
  • the wearer U manipulates objects in the three-dimensional virtual space through hand movements (gestures) in the real space.
  • the virtual space display section 311 displays a three-dimensional virtual space that reflects the hand movement photographed by the motion photographing section 25.
  • the wearer U activates the AI buddy by operating the virtual input device, and inputs a message to be conveyed to another user from the virtual input device.
  • Separate smart device 1 transmits the message to a device used by another user.
  • the device is, for example, another separate smart device 1 worn by another wearer U.
  • the device outputs the gist of the message in an expression that matches the preferences of other users based on machine learning.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】以下の目的（Ａ）（Ｂ）を両立可能な手段を提供すること。（Ａ）スマートグラスの装用者の動きから装用者が指定する位置を特定する精度の向上。（Ｂ）スマートグラスの軽量化。 【解決手段】本発明のセパレート型スマートデバイス１は、携帯デバイス２と、携帯デバイス２と通信可能であり、携帯デバイス２の所持者が装用し、携帯デバイス２及びスマートグラス３に関する位置等に基づいて３次元仮想空間を表示可能なスマートグラス３と、を備え、携帯デバイス２及び／又はスマートグラス３は、スマートグラス３を装用する装用者Ｕの手の動きを撮影可能な動き撮影部２５と、携帯デバイス２の位置等とスマートグラス３の向きと装用者Ｕの手の動きとに基づいて、装用者Ｕの位置及び向きと３次元仮想空間における位置及び向きとの間の３次元的な対応を較正する較正部２１３と、を有する。

Description

セパレート型スマートデバイス
　本発明は、セパレート型スマートデバイスに関する。
　装用者の位置及び向きに応じた３次元仮想空間を描画可能なスマートグラスがある。このようなスマートグラスは、装用者の動きを撮影可能なスマートグラスを含む。装用者の動きは、例えば、装用者のジェスチャー等を含む。装用者の動きを撮影可能なスマートグラスは、撮影した動きを用いて、その装用者が指定する位置を３次元仮想空間上で特定し得る。これにより、該スマートグラスは、指定された位置を用いる各種処理を実行し得る。
　上述の各種処理は、例えば、スマートグラスが表示する３次元仮想空間が含む物体群のうち、指定された位置に対応する物体の表示を変更する処理を含む。また、上述の各種処理は、例えば、スマートグラスが表示する仮想入力デバイス上の指定された位置に対応する入力を生成する処理を含む。
　このようなスマートグラスにおいて、指定された位置を特定する精度を高める要望がある。スマートグラスの位置・向きを含む位置等（ポジション）を３次元的に測定可能なスマートグラス搭載センサは、指定された位置を特定する精度を高めることに寄与し得る。しかし、このようなセンサは、スマートグラスの重量を増し得る。スマートグラスの重量が増すと、装用者のスマートグラス使用体験に悪影響を及ぼし得る。
　スマートグラスにおいて装用者が指定する位置を特定することに関し、特許文献１は、透過型ディスプレイを備えたウェアラブルコンピュータおよびウェアラブル動作センサを含み、ウェアラブル動作センサが、ユーザの検索要求動作を識別する検索動作識別手段と、検索要求動作に応答してウェアラブルコンピュータへ起動要求を送信する起動要求手段とを具備し、ウェアラブルコンピュータが、カメラ画像を透過型ディスプレイに表示するカメラ機能と、起動要求に応答してカメラ機能を付勢する起動要求検知手段と、カメラ画像上で手領域を認識する手領域認識手段と、手領域と所定の位置関係にある検索画像範囲から検索画像を抽出する検索画像抽出手段と、検索画像に関連する情報を検索する検索実行手段と、検索結果を透過型ディスプレイ上に表示する検索結果表示手段と、を具備したことを特徴とするウェアラブル検索システムを開示している。
　特許文献１の発明は、以下に示す（１）－（３）等の効果を奏し得る。
（１）発声や煩雑な動作を必要とせずに直感的な動作のみで画像検索が可能になる。
（２）ウェアラブルコンピュータの電力消費量が抑えられ、その使用可能時間を延ばすことが可能となる。
（３）検索対象と検索結果との対応付けが容易になる。
特開２０１６－１１５１２５号公報
　しかしながら、特許文献１の技術は、指定された領域をカメラ画像上で特定することによって、上述の（１）－（３）等の効果を奏し得るにとどまる。したがって、特許文献１の技術は、ユーザが指定する位置を３次元仮想空間上で特定する精度を高める点と、スマートグラスの重量を低減する点と、において、さらなる改良の余地がある。
　本発明は、上述のような従来技術の問題点を解決すべくなされたものであり、以下の目的（Ａ）（Ｂ）を両立可能な手段の提供を目的とする。
（Ａ）スマートグラスの装用者の動きから装用者が指定する位置を特定する精度の向上。
（Ｂ）スマートグラスの軽量化。
　本発明者らは、上記課題を解決するために鋭意検討した結果、３次元的な位置等を検出可能な携帯デバイスをスマートグラスと別体に設け、装用者の位置及び向きと３次元仮想空間における位置及び向きとの３次元的な対応を、携帯デバイスにおいて検出した位置等とスマートグラスの向きとスマートグラスが撮影した手の動きとを用いて較正すること等によって上述の課題を解決可能であることを見出し、本発明を完成させるに至った。具体的に、本発明は以下のものを提供する。
　第１の特徴に係る発明は、携帯デバイスと、前記携帯デバイスと通信可能であり、前記携帯デバイスの所持者が装用するスマートグラスと、を備え、前記携帯デバイスは、前記携帯デバイスの３次元的な位置及び３次元的な向きを含む位置等を検出可能な位置等検出部を有し、前記スマートグラスは、前記スマートグラスの３次元的な向きを検出可能な向き検出部と、前記携帯デバイスの位置等及び前記スマートグラスの向きに基づいて描画された３次元仮想空間を表示可能な仮想空間表示部と、を有し、前記携帯デバイス及び／又は前記スマートグラスは、前記スマートグラスを装用する装用者の手の動きを撮影可能な動き撮影部と、前記携帯デバイスの前記位置等と前記スマートグラスの前記向きと前記装用者の手の動きとに基づいて、前記装用者の位置及び向きと前記３次元仮想空間における位置及び向きとの間の３次元的な対応を較正する較正部と、を有する、セパレート型スマートデバイスを提供する。
　本発明は、以下の目的（Ａ）（Ｂ）を両立可能な手段を提供できる。
（Ａ）スマートグラスの装用者の動きから装用者が指定する位置を特定する精度の向上。
（Ｂ）スマートグラスの軽量化。
図１は、本実施形態のセパレート型スマートデバイス１のハードウェア構成及びソフトウェア構成を示すブロック図である。 図２は、本実施形態のセパレート型スマートデバイス１で実行される仮想空間表示処理の好ましい流れの一例を示すメインフローチャートである。 図３は、図２のステップＳ２で実行される位置等較正処理の好ましい流れの一例を示すフローチャートである。 図４は、図３に続くフローチャートである。 図５は、図２のステップＳ３で実行される移動較正処理の好ましい流れの一例を示すフローチャートである。 図６は、図５に続くフローチャートである。 図７は、本実施形態のセパレート型スマートデバイス１等で実行可能な対話型ＡＩ処理の好ましい流れの一例を示すフローチャートである。 図８は、図７に続くフローチャートである。 図９は、図８に続くフローチャートである。 図１０は、本実施形態のセパレート型スマートデバイス１の使用時における態様の一例を示す概略図である。 図１１は、位置等較正処理において第１目標を指差す装用者を示す概略図である。 図１２は、位置等較正処理において第２目標を指差す装用者を示す概略図である。 図１３は、移動較正処理において第１移動先への移動指示を受けた装用者を示す概略図である。 図１４は、移動較正処理において第２移動先への移動指示を受けた装用者を示す概略図である。 図１５は、移動較正処理において屈んで第３目印を指差す装用者を示す概略図である。
　以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
＜セパレート型スマートデバイス１＞
　図１は、本実施形態のセパレート型スマートデバイス１のハードウェア構成及びソフトウェア構成を示すブロック図である。本実施形態のセパレート型スマートデバイス１は、少なくとも、携帯デバイス２と、携帯デバイス２と通信可能であり、携帯デバイス２の所持者が装用するスマートグラス３と、を備える。
〔携帯デバイス２〕
　携帯デバイス２は、デバイス制御部２１と、デバイス記憶部２２と、デバイス通信部２３と、位置等検出部２４と、を有する。以下、携帯デバイス２は、動き撮影部２５をさらに有するものとして説明する。スマートグラス３が動き撮影部を有する場合、携帯デバイス２及びスマートグラス３の両方が動き撮影部を有する場合は、同様に実現可能である。
　必須の態様ではないが、携帯デバイス２は、セパレート型スマートデバイス１を使用するタイミングにおいて、スマートグラス３の装用者の首から提げて携帯可能であることが好ましい。セパレート型スマートデバイス１を使用するタイミングにおける携帯デバイス２を携帯する態様については、後に図９を用いて詳細に説明する。
　携帯デバイス２は、スマートグラス３に関する情報を記憶し、該スマートグラス３を制御可能であることが好ましい。これにより、スマートグラス３は、該情報の記憶を実現する部材及び該制御を実現する部材を省いた構成となり得る。よって、該構成は、該部材を含む構成より軽量な構成となり得る。また、該構成は、スマートグラス３の消費電力を低減し得る。これにより、スマートグラス３は、電源部を軽量化した構成とし得る。
　また、携帯デバイス２は、従来技術のスマートグラスに搭載されたカメラ及び／又はセンサ等の部材を有することが好ましい。これにより、スマートグラス３は、該部材を省いた構成となる。該構成は、情報の記憶及びスマートグラス３の制御に関する上述の構成と同様の効果を得うる。
　携帯デバイス２は、スマートグラス３に電力を供給可能であることが好ましい。これにより、スマートグラス３は、電源部を省いた構成又は電源部を軽量化した構成等とし得る。電源部を軽量化した構成等は、スマートグラス３のデザイン性向上を可能とし得る。
［デバイス制御部２１］
　デバイス制御部２１のハードウェア構成は、特に限定されず、従来技術のコントローラでよい。デバイス制御部２１は、ＣＰＵ、ＲＡＭ、及びＲＯＭ等を備える。
　デバイス制御部２１は、必要に応じて、デバイス制御部２１、デバイス記憶部２２、デバイス通信部２３、及び／又は、位置等検出部２４等と協働し、携帯デバイス２のソフトウェア構成要素である、較正部２１３等を実現可能である。
　デバイス制御部２１は、携帯デバイス２が備える上述の各部材と必要に応じて協働し、携帯デバイス２のソフトウェア構成要素である、向き取得部２１１及び／又は表示指令部２１２を実現可能であることが好ましい。
　携帯デバイス２のソフトウェア構成要素それぞれが提供する機能は、後述する較正処理の好ましい流れの説明等において示される。
［デバイス記憶部２２］
　デバイス記憶部２２は、データ及び／又はファイルが記憶される装置である。デバイス記憶部２２は、ハードディスク、半導体メモリ、記録媒体、及びメモリカード等によって例示されるデータのストレージ部を有する。
　デバイス記憶部２２には、デバイス制御部２１で実行される制御プログラム、動き撮影部２５に関する情報、対話型ＡＩアプリケーション、該対話型ＡＩアプリケーションの機械学習データ、インターネット検索用アプリケーション、及び／又は事務作業用アプリケーション、等が記憶されている。
　動き撮影部２５に関する情報は、例えば、手の動き等の撮影に関する精度を向上可能な各種情報の１以上を含む。該各種情報として、例えば、レンズ収差補正、焦点距離補正、カメラ間距離等が挙げられる。
　対話型ＡＩアプリケーション（ＡＩバディ）は、例えば、後に図７及び図８を用いて詳細に説明される対話型ＡＩ処理を実行するアプリケーションである。
　スマートグラス３に関する情報は、例えば、装用者の位置及び向きと３次元仮想空間における位置及び向きとの間の３次元的な対応に関する情報、３次元仮想空間の表示に関する情報、等の１以上を含む。
　３次元仮想空間の表示に関する情報は、例えば、仮想入力デバイスの表示に関する情報、現実空間の風景に重畳して表示する物体等の情報、等を含む。
［デバイス通信部２３］
　デバイス通信部２３は、携帯デバイス２とスマートグラス３とを通信可能にするものであれば特に限定されない。デバイス通信部２３として、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格等に対応した近距離無線装置、及びＩＥＥＥ８０２．１１に準拠したＷｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイス、携帯デバイス２とスマートグラス３との間での有線通信を提供するデバイス、等の１以上を含むものが挙げられる。
　デバイス通信部２３は、携帯デバイス２とスマートグラス３との間での有線通信を提供するデバイスを含むことが好ましい。これにより、携帯デバイス２は、有線通信に用いられるケーブルを介してスマートグラス３に電力を供給し得る。
　デバイス通信部２３は、携帯デバイス２を外部のネットワークに接続可能とするものであることが好ましい。これにより、セパレート型スマートデバイス１は、スマートフォンによって例示される無線ネットワーク接続機能を有する携帯端末として利用し得る。このようなデバイス通信部２３として、例えば、携帯電話ネットワークに対応したデバイス等をさらに含むものが挙げられる。
［位置等検出部２４］
　位置等検出部２４は、携帯デバイス２の３次元的な位置及び３次元的な向きを含む位置等（ポジション）を検出可能であれば、特に限定されない。位置等検出部２４は、例えば、３次元的な位置を測定可能な従来技術の位置センサと、３次元的な向きを測定可能な従来技術の向きセンサと、を用いて上述の位置等を検出可能な部材でよい。
　携帯デバイス２が位置等検出部２４を備えることにより、仮想空間表示部３１１（後述）は、スマートグラス３が３次元的な位置を検出可能でなくても、装用者の位置及び向きに基づいて描画された３次元仮想空間を表示できる。
［動き撮影部２５］
　携帯デバイス２は、動き撮影部２５を備えることが好ましい。動き撮影部２５は、装用者の手の動きを撮影可能であれば、特に限定されない。動き撮影部２５は、例えば、携帯デバイス２に内蔵可能なカメラ等でよい。動き撮影部２５は、携帯デバイス２上の互いに相異なる複数の位置から装用者の手の動きを撮影可能であることが好ましい。これにより、セパレート型スマートデバイス１は、装用者の手の動きを立体的に識別できる。
［その他の携帯デバイス２構成要素］
　携帯デバイス２は、二次電池、一次電池等によって例示される電源部（図示せず）を備えることが好ましい。
　携帯デバイス２は、電源ボタン（図示せず）を備えることが好ましい。これにより、装用者は、セパレート型スマートデバイス１を使用しない場合に携帯デバイス２等の電源を切ることができる。また、装用者は、電源ボタンを用いて較正処理の開始／終了、３次元仮想空間表示の開始／終了等を指令できる。
　携帯デバイス２は、１以上のマイク（図示せず）を備えることが好ましい。これにより、携帯デバイス２は、装用者の音声、環境音等の音声情報を取得し得る。したがって、携帯デバイス２は、音声情報に基づく各種の処理を実行し得る。また、携帯デバイス２は、装用者の音声に基づいて装用者の健康状態、心理状態等を推測し得る。
　携帯デバイス２は、１以上のスピーカー（図示せず）を備えることが好ましい。
〔スマートグラス３〕
　スマートグラス３は、グラス制御部３１と、グラス記憶部３２と、グラス通信部３３と、表示部３４と、向き検出部３５と、を含んで構成される。
［グラス制御部３１］
　グラス制御部３１のハードウェア構成は、特に限定されず、デバイス制御部２１と同様でよい。
　グラス制御部３１は、必要に応じて、グラス記憶部３２、グラス通信部３３、表示部３４、及び／又は向き検出部３５等と協働し、スマートグラス３のソフトウェア構成要素である、仮想空間表示部３１１等を実現可能である。
　グラス制御部３１は、スマートグラス３が備える上述の各部材と必要に応じて協働し、スマートグラス３のソフトウェア構成要素として、較正部（図示せず）を実現可能であることが好ましい。
［グラス記憶部３２］
　グラス記憶部３２のハードウェア構成は、特に限定されず、デバイス記憶部２２と同様でよい。グラス記憶部３２には、グラス制御部３１で実行される制御プログラム、等が記憶されている。
　グラス記憶部３２には、デバイス記憶部２２の説明にて述べた、スマートグラス３に関する情報の一部又は全部が記憶可能であることが好ましい。
［グラス通信部３３］
　グラス通信部３３は、携帯デバイス２とスマートグラス３とを通信可能にするものであれば特に限定されない。グラス通信部３３のハードウェア構成は、デバイス通信部２３と同じ通信方式による通信に対応するデバイスを含むことが好ましい。
　グラス通信部３３は、スマートグラス３を外部のネットワークに接続可能とするものであることが好ましい。これに関する効果・構成は、携帯デバイス２を外部のネットワークに接続可能とするデバイス通信部２３と同様である。
［表示部３４］
　表示部３４は、現実世界の風景に３次元仮想空間を重畳して表示可能であれば、特に限定されない。表示部３４は、例えば、ＭＲ（複合現実）体験の実現に利用可能な透過型ヘッドマウントディスプレイ等でよい。表示部３４は、音声を再生可能であることが好ましい。
［向き検出部３５］
　向き検出部３５は、スマートグラス３の３次元的な向きを検出可能であれば、特に限定されない。向き検出部３５は、例えば、３次元的な向きを測定可能な従来技術の向きセンサを用いてスマートグラス３の３次元的な向きを検出可能な部材でよい。このような従来技術の向きセンサとして、例えば、３軸ジャイロセンサ等が挙げられる。
　本実施形態では、携帯デバイス２が位置等検出部２４を備えることにより、スマートグラス３は、検出部として向き検出部３５のみを備える軽量な構成となり得る。
［その他のスマートグラス３構成要素］
　スマートグラス３は、二次電池、一次電池等によって例示される電源部を備えてもよい。スマートグラス３は、電源ボタンを備えることが好ましい。これにより、携帯デバイス２が電源ボタンを備える場合と同様の効果が得られる。
〔仮想空間表示処理のメインフローチャート〕
　図２は、本実施形態のセパレート型スマートデバイス１で実行される仮想空間表示処理の好ましい流れの一例を示すメインフローチャートである。以下、図２を用いて、仮想空間表示処理の好ましい流れが説明される。
　図２に示す例では、仮想空間表示処理のうち較正処理を、携帯デバイス２の較正部２１３が行うものとして説明する。スマートグラス３の較正部が較正処理を行う場合は、デバイス制御部２１等を対応するスマートグラス３の構成要素に置き換えることで、同様に実現可能である。
　まず、デバイス制御部２１は、較正部２１３を実行し、較正を行うか否かを判別する処理を行う（ステップＳ１、較正実行判別ステップ）。デバイス制御部２１は、較正を行うと判別したならば、処理をステップＳ２へ移す。デバイス制御部２１は、較正を行うと判別しなかったならば、処理をステップＳ４に移す。
　較正を行うか判別する処理は、特に限定されない。該処理は、例えば、工場出荷状態から最初に電源を投入したときに較正を行うと判別する処理、携帯デバイス２及び／又はスマートグラス３の電源ボタンを長押ししたときに較正を行うと判別する処理、等の１以上を含む処理でよい。
　較正部２１３は、位置等較正ステップ（ステップＳ２）を実行可能な位置等較正部２１３１を含むことが好ましい。
　較正部２１３が位置等較正部２１３１を含む場合、デバイス制御部２１は、デバイス記憶部２２、デバイス通信部２３、位置等検出部２４、及び動き撮影部２５と協働して位置等較正部２１３１を実行し、位置等較正処理を行う（ステップＳ２、位置等較正ステップ）。デバイス制御部２１は、処理をステップＳ３へ移す。位置等較正処理の詳細は、後に図３及び図４を用いて説明される。
　較正部２１３は、移動較正ステップ（ステップＳ３）を実行可能な移動較正部２１３２を含むことが好ましい。
　較正部２１３が移動較正部２１３２を含む場合、デバイス制御部２１は、デバイス記憶部２２、デバイス通信部２３、位置等検出部２４、及び動き撮影部２５と協働して移動較正部２１３２を実行し、移動較正処理を行う（ステップＳ３、移動較正ステップ）。デバイス制御部２１は、処理をステップＳ４に移す。移動較正処理の詳細は、後に図５及び図６を用いて説明される。
　携帯デバイス２のソフトウェア構成要素が表示指令部２１２を含む場合、デバイス制御部２１は、デバイス記憶部２２、デバイス通信部２３、及び位置等検出部２４と協働して表示指令部２１２を実行し、携帯デバイス２の位置等及びスマートグラス３の向きに基づいて描画された３次元仮想空間の表示を指令する処理を行う（ステップＳ４、表示指令ステップ）。デバイス制御部２１は、処理をステップＳ１へ移し、ステップＳ１からステップＳ４の処理を繰り返す。
　表示指令ステップにおける３次元仮想空間の表示を指令する処理は、スマートグラス３の表示部３４に表示を指令する処理である。
　仮想空間表示処理において、較正部２１３は、携帯デバイス２の位置等とスマートグラス３の向きと装用者の手の動きとに基づいて、装用者の位置及び向きと３次元仮想空間における位置及び向きとの間の３次元的な対応を較正可能である。
　本実施形態の構成では、互いに相異なる位置にある携帯デバイス２とスマートグラス３とが検出した位置等及び向きの９自由度（９軸）の情報を用いて３次元仮想空間を表示する。
　スマートグラスの装用者が指定する位置を３次元仮想空間上で特定する精度を高めることに関し、従来技術では、スマートグラスの３次元的な位置及び向きの６自由度（６軸）について、３次元仮想空間における位置及び向きとの３次元的な対応を較正する手法等が用いられていた。
　しかし、９自由度（９軸）の情報を用いて３次元仮想空間を表示する場合、従来技術の手法では、較正（キャリブレーション）が不十分となり得る。不十分な較正は、装用者が指定する位置を３次元仮想空間上で特定する精度を不十分なものとし得る。
　較正部２１３が行う較正は、位置等検出部２４が検出する位置等の６自由度（６軸）と、向き検出部３５が検出する３次元的な向きの３自由度（３軸）と、を含む９自由度（９軸）の較正である。また、この較正は、動き撮影部２５が撮影した装用者の動きをさらに用いて較正の精度を高め得る。
　これにより、較正部２１３は、スマートグラス３と別体に構成された携帯デバイス２が位置等検出部２４を備える構成であるにも関わらず、スマートグラス３の装用者の動きから装用者が指定する位置を特定する精度を高めることができる。また、これにより、較正部２１３は、動き撮影部２５がスマートグラス３ではなく携帯デバイス２に搭載された態様においても、スマートグラス３の装用者の動きから装用者が指定する位置を特定する精度を高めることができる。
　特に、スマートグラス３が仮想入力デバイスを表示する場合、上述の精度向上は、仮想入力デバイスがキーボード等の比較的小型の入力要素を有するデバイスであっても、装用者の意図と異なる入力が行われるリスクを低減可能であるとの効果を奏し得る。
〔位置等較正処理のフローチャート〕
　図３は、図２のステップＳ２で実行される位置等較正処理の好ましい流れの一例を示すフローチャートである。図４は、図３に続くフローチャートである。以下、図３及び図４を用いて、位置等較正処理の好ましい流れが説明される。
　位置等較正処理を行う位置等較正部２１３１は、少なくとも、第１目標表示部、第１順番指差し指示部、第１指差し情報取得部、向き変更指示部、第２目標表示部、第２順番指差し指示部、第２指差し情報取得部（図示せず）、を含む。
　まず、デバイス制御部２１は、デバイス記憶部２２、デバイス通信部２３、及び位置等検出部２４と協働して位置等較正部２１３１のうち第１目標表示部を実行し、装用者の略前方等に複数の目標を表示するよう表示部３４に指令する処理を行う（ステップＳ１１、第１目標表示ステップ）。デバイス制御部２１は、処理をステップＳ１２へ移す。
　デバイス制御部２１は、ステップＳ１１と同様に上記部材と協働して、位置等較正部２１３１のうち第１順番指差し指示部を実行し、第１目標表示ステップで表示された複数の目標を、指定した手で、指定の順番で指差すよう装用者に促す処理を行う（ステップＳ１２、第１順番指差し指示ステップ）。デバイス制御部２１は、処理をステップＳ１３へ移す。以下の処理は、ステップＳ１２で指定した手が右手であるものとして説明される。なお、左手である場合における処理は、左右を読み替えることで、同様に実現可能である。
　装用者に促す処理は、特に限定されない。該処理は、例えば、複数の目標を指定の順番で指差すよう促すメッセージの表示を表示部３４に指令する手順、該メッセージを音声で再生するよう表示部３４に指令する手順、の１以上を含む処理でよい。
　デバイス制御部２１は、ステップＳ１１と同様に上記部材と協働して、位置等較正部２１３１のうち第１指差し情報取得部を実行し、第１順番指差し指示ステップで促されたことに応じて装用者が複数の目標を指差す動き、スマートグラス３の向き、及び携帯デバイス２の位置等を含む第１指差し情報を取得する処理を行う（ステップＳ１３、第１指差し情報取得ステップ）。デバイス制御部２１は、処理をステップＳ１４へ移す。
　ステップＳ１１からステップＳ１３までの一連の処理により、位置等較正部２１３１は、装用者が１つの目標を指差す動きではなく、装用者が複数の目標を指定の順番で指差す動きを用いて較正できる。よって、上述の一連の処理は、較正の精度を高め得る。
　続いて、デバイス制御部２１は、デバイス記憶部２２、デバイス通信部２３、及び位置等検出部２４と協働して位置等較正部２１３１のうち向き変更指示部を実行し、ステップＳ１２で指令した手（右手）がある側と異なる向き（左向き）に、首の向きを変更するよう装用者に促す処理を行う（ステップＳ１４、向き変更指示ステップ）。デバイス制御部２１は、処理をステップＳ１５へ移す。
　デバイス制御部２１は、ステップＳ１１と同様に上記部材と協働して、第２目標表示部を実行し、装用者が首の向きを変更した場合に、変更後の首の向きに応じた所定の方向に複数の第２目標を表示する処理（ステップＳ１５、第２目標表示ステップ）を行う。デバイス制御部２１は、処理をステップＳ１６へ移す。
　デバイス制御部２１は、ステップＳ１２と同様に上記部材と協働して、第２順番指差し指示部を実行し、ステップＳ１５で表示された複数の第２目標を、ステップＳ１２で指令した手と異なる手（左手）を用いて、指定の順番で指差すよう装用者に促す処理（ステップＳ１６、第２順番指差し指示ステップ）を行う。デバイス制御部２１は、処理をステップＳ１７へ移す。
　デバイス制御部２１は、ステップＳ１３と同様に上記部材と協働して、位置等較正部２１３１のうち第２指差し情報取得部を実行し、第２順番指差し指示ステップで促されたことに応じて装用者が複数の目標を指差す動き、スマートグラス３の向き、及び携帯デバイス２の位置等を含む第２指差し情報を取得する処理を行う（ステップＳ１７、第２指差し情報取得ステップ）。デバイス制御部２１は、処理をステップＳ１８へ移す。
　位置等較正部２１３１は、ステップＳ１１における首の向き、ステップＳ１５における変更後の首の向きのいずれとも異なる向きに首の向きを変更するよう促す向き再変更指示部（図示せず）と、第２目標表示部、第２順番指差し指示部、第２指差し情報取得部とそれぞれ同様の第３目標表示部、第３順番指差し指示部、第３指差し情報取得部（図示せず）をさらに含むことが好ましい。そして、位置等較正部２１３１は、以下に示すステップＳ１８からステップＳ２１までの一連の処理を実行することが好ましい。
　デバイス制御部２１は、ステップＳ１４と同様に上記部材と協働して、向き再変更指示部を実行し、ステップＳ１１における首の向き、ステップＳ１５における変更後の首の向きのいずれとも異なる向き（右向き）に首の向きを変更するよう装用者に促す処理を行う（ステップＳ１８、向き再変更指示ステップ）。デバイス制御部２１は、処理をステップＳ１９へ移す。
　デバイス制御部２１は、ステップＳ１５と同様に上記部材と協働して、第３目標表示部を実行し、装用者が首の向きを再変更した場合に、再変更後の首の向きに応じた所定の方向に複数の第３目標を表示する処理（ステップＳ１９、第３目標表示ステップ）を行う。デバイス制御部２１は、処理をステップＳ２０へ移す。
　デバイス制御部２１は、ステップＳ１６と同様に上記部材と協働して、第３順番指差し指示部を実行し、ステップＳ１９で表示された複数の第３目標を、ステップＳ１２で指令した手と同じ手（右手）を用いて、指定の順番で指差すよう装用者に促す処理（ステップＳ２０、第３順番指差し指示ステップ）を行う。デバイス制御部２１は、処理をステップＳ２１へ移す。
　デバイス制御部２１は、ステップＳ１７と同様に上記部材と協働して、位置等較正部２１３１のうち第３指差し情報取得部を実行し、第３順番指差し指示ステップで促されたことに応じて装用者が複数の目標を指差す動き、スマートグラス３の向き、及び携帯デバイス２の位置等を含む第３指差し情報を取得する処理を行う（ステップＳ２１、第３指差し情報取得ステップ）。デバイス制御部２１は、処理をステップＳ２２へ移す。
　デバイス制御部２１は、デバイス記憶部２２、デバイス通信部２３、及び位置等検出部２４と協働して位置等較正部２１３１を実行し、第１指差し情報及び第２指差し情報に基づいて上述の３次元的な対応のうち、装用者の位置及び向きに関する較正を行う処理（ステップＳ２２、位置等較正ステップ）を実行する。デバイス制御部２１は、処理をステップＳ３へ移す。
　これにより、位置等較正部２１３１は、複数通りの首の向きにおいて装用者が複数の目標を指定の順番で指差す動きを用いて較正する一連の手順により、較正の精度をよりいっそう高め得る。
　位置等較正部２１３１が向き再変更指示部、第３目標表示部、第３順番指差し指示部、第３指差し情報取得部をさらに含む場合、位置等較正ステップは、第１指差し情報、第２指差し情報、及び第３指差し情報に基づいて上述の３次元的な対応のうち、装用者の位置及び向きに関する較正を行うことが好ましい。
　これにより、位置等較正部２１３１は、３通りの首の向きにおける動きを用いて装用者の位置及び向きに関する較正を行える。よって、位置等較正部２１３１は、較正の精度をさらにいっそう高め得る。
　特に、３通りの首の向きが、装用者の略前方、右方、左方の組合せである場合、位置等較正部２１３１は、位置を指定される頻度が高い装用者の略前方を基準とする較正を行うとともに、首を左右それぞれに向けたときの対応についても較正を行える。これにより、位置等較正部２１３１は、装用者の首が主に略前方を向いており、必要に応じて左右を向く通常の利用態様における較正の精度をさらにいっそう高め得る。
〔移動較正処理のフローチャート〕
　図５は、図２のステップＳ３で実行される移動較正処理の好ましい流れの一例を示すフローチャートである。図６は、図５に続くフローチャートである。以下、図５及び図６を用いて、移動較正処理の好ましい流れが説明される。
　位置等較正処理を行う移動較正部２１３２は、少なくとも、所定方向指差し指示部、第１目印表示部、第１移動指示部、第１移動情報取得部、第２目印表示部、第１移動指示部、第２移動情報取得部、第３目印表示部、第３移動指示部、第３移動情報取得部（図示せず）、を含む。
　まず、デバイス制御部２１は、デバイス記憶部２２、デバイス通信部２３、及び位置等検出部２４と協働して移動較正部２１３２のうち所定方向指差し指示部を実行し、所定方向を指差す動きを装用者に促す処理を行う（ステップＳ３１、所定方向指差し指示ステップ）。デバイス制御部２１は、処理をステップＳ３２へ移す。以下の処理は、ステップＳ３１の所定方向が装用者の略前方であるものとして説明される。所定方向が他の方向である場合における処理は、向きを読み替えることで、同様に実現可能である。
　デバイス制御部２１は、ステップＳ３１と同様に上記部材と協働して、移動較正部２１３２のうち第１目印表示部を実行し、ステップＳ３１の処理に応じて装用者が指差した方向に第１移動先を示す第１目印を表示する処理を行う（ステップＳ３２、第１目印表示ステップ）。デバイス制御部２１は、処理をステップＳ３３へ移す。
　第１目印は、特に限定されない。第１目印は、第１移動先に加えて第１移動先へ移動する経路を判別可能な目印であることが好ましい。このような第１目印として、例えば、装用者の指先から第１移動先へと伸びる直線／矢印等が挙げられる。
　デバイス制御部２１は、ステップＳ３１と同様に上記部材と協働して、移動較正部２１３２のうち第１移動指示部を実行し、第１目印に沿って第１移動先へ移動するよう装用者に促す処理を行う（ステップＳ３３、第１移動指示ステップ）。デバイス制御部２１は、処理をステップＳ３４へ移す。
　デバイス制御部２１は、ステップＳ３１と同様に上記部材と協働して、移動較正部２１３２のうち第１移動情報取得部を実行し、装用者が第１移動先へ移動する過程における、スマートグラス３の向き及び携帯デバイス２の位置等を含む第１移動情報を取得する処理を行う（ステップＳ３４、第１移動情報取得ステップ）。デバイス制御部２１は、処理をステップＳ３５へ移す。
　デバイス制御部２１は、ステップＳ３２と同様に上記部材と協働して、移動較正部２１３２のうち第２目印表示部を実行し、ステップＳ３１の処理に応じて装用者が指差した方向と異なり、鉛直方向と略直交する方向に第２移動先を示す第２目印を表示する処理を行う（ステップＳ３５、第２目印表示ステップ）。デバイス制御部２１は、処理をステップＳ３６へ移す。第２目印は、特に限定されず、第１目印と同様でよい。
　デバイス制御部２１は、ステップＳ３３と同様に上記部材と協働して、移動較正部２１３２のうち第２移動指示部を実行し、第２目印に沿って第２移動先へ移動するよう装用者に促す処理を行う（ステップＳ３６、第２移動指示ステップ）。デバイス制御部２１は、処理をステップＳ３７へ移す。
　デバイス制御部２１は、ステップＳ３４と同様に上記部材と協働して、移動較正部２１３２のうち第２移動情報取得部を実行し、装用者が第１移動先から第２移動先へと移動する過程における、スマートグラス３の向き及び携帯デバイス２の位置等を含む第２移動情報を取得する処理を行う（ステップＳ３７、第２移動情報取得ステップ）。デバイス制御部２１は、処理をステップＳ３８へ移す。
　デバイス制御部２１は、ステップＳ３２と同様に上記部材と協働して、移動較正部２１３２のうち第３目印表示部を実行し、ステップＳ３５で表示された第２移動先から重力方向に第３移動先を示す第３目印を表示する処理を行う（ステップＳ３８、第３目印表示ステップ）。デバイス制御部２１は、処理をステップＳ３９へ移す。第３目印は、特に限定されず、第１目印、第２目印と同様でよい。
　デバイス制御部２１は、ステップＳ３３と同様に上記部材と協働して、移動較正部２１３２のうち第３移動指示部を実行し、姿勢を変えずに屈んで第３目印を指差す状態となるよう装用者に促す処理を行う（ステップＳ３９、第３移動指示ステップ）。デバイス制御部２１は、処理をステップＳ３７へ移す。
　デバイス制御部２１は、ステップＳ３４と同様に上記部材と協働して、移動較正部２１３２のうち第３移動情報取得部を実行し、装用者が屈む過程における、スマートグラス３の向き及び携帯デバイス２の位置等を含む第３移動情報を取得する処理を行う（ステップＳ４０、第３移動情報取得ステップ）。デバイス制御部２１は、処理をステップＳ４１へ移す。
　デバイス制御部２１は、デバイス記憶部２２、デバイス通信部２３、及び位置等検出部２４と協働して移動較正部２１３２を実行し、第１移動情報、第２移動情報、及び第３移動情報に基づいて上述の３次元的な対応のうち、装用者の移動に関する較正を行う処理（ステップＳ４１、移動較正メインステップ）を実行する。デバイス制御部２１は、処理をステップＳ４へ移す。
　３次元仮想空間における装用者の移動は、前後方向、左右方向、及び上下方向の組合せによって例示される、３つの方向によって表現される。
　移動較正部２１３２は、所定方向指差し指示ステップから第３移動情報取得ステップまでの一連の手順において、装用者を所定方向（例えば、前後方向）、所定方向と直交する方向（例えば、左右方向）、及び上下方向に移動するよう促す。そして、該一連の手順に含まれる含む第１－第３移動情報取得ステップが、これら３つの方向それぞれに移動する過程における第１－第３移動情報を取得する。そして、移動較正メインステップがこれら第１－第３移動情報を用いて、装用者の移動に関する対応を較正する。よって、移動較正部２１３２は、較正の精度をさらにいっそう高め得る。
〔対話型ＡＩ処理のフローチャート〕
　図７は、本実施形態のセパレート型スマートデバイス１等で実行可能な対話型ＡＩ処理の好ましい流れの一例を示すフローチャートである。図８は、図７に続くフローチャートである。図９は、図８に続くフローチャートである。以下、図７から図９までを用いて、対話型ＡＩ処理の好ましい流れが説明される。
　以下の説明は、セパレート型スマートデバイス１が備える携帯デバイス２で対話型ＡＩ処理が実行される場合のものである。しかし、対話型ＡＩ処理を実行する装置は、携帯デバイス２に限定されない。該装置は、例えば、スマートグラス３、据置型ＰＣ、ラップトップＰＣ、タブレット端末・スマートフォン等の携帯端末、等であってもよい。
　対話型ＡＩ処理を実行する装置は、中でも、セパレート型スマートデバイス１等のスマートグラスを備え、ジェスチャーで操作可能な装置及び／又は該装置の構成の一部である装置であることが好ましい。これにより、装用者は、伝言の内容を周囲の人に知られるリスクを伴う入力を行うことなく、伝言を入力できる。周囲の人は、例えば、伝言の宛先となる人、伝言内容に関連する人、通行人等である。リスクを伴う入力は、例えば、伝言の内容を発声する入力、のぞき見可能なディスプレイに入力中の伝言を表示する入力、等である。また、これにより、装用者は、伝言の内容を周囲の人に知られるリスクを負うことなく、スマートグラス３に表示された伝言の内容を確認できる。
　対話型ＡＩ処理は、ステップＳ５１からステップＳ５４までの伝言に関する一連の処理を含むことが好ましい。
　まず、デバイス制御部２１は、動き撮影部２５及び／又はマイクと協働して、装用者から伝言を取得可能であるか否かを判別する処理を行う（ステップＳ５１、伝言取得判別ステップ）。該処理は、特に限定されない。該処理は、伝言取得を指示する所定のジェスチャー及び／又は所定の音声指示があった場合に伝言を取得可能であると判別する処理等でよい。
　デバイス制御部２１は、伝言を取得可能であると判別したならば、処理をステップＳ５２へ移す。デバイス制御部２１は、伝言を取得可能であると判別しなかったならば、処理をステップＳ５３に移す。
　デバイス制御部２１は、マイクと協働して、装用者から伝言を取得する処理を行う（ステップＳ５２、伝言取得実行ステップ）。デバイス制御部２１は、処理をステップＳ５３へ移す。
　デバイス制御部２１は、マイクと協働して、他の対話型ＡＩアプリケーションから受信した伝言を再生可能であるか否かを判別する処理を行う（ステップＳ５３、伝言再生判別ステップ）。デバイス制御部２１は、伝言を再生可能であると判別したならば、処理をステップＳ５４へ移す。デバイス制御部２１は、伝言を再生可能であると判別しなかったならば、処理をステップＳ５５に移す。
　デバイス制御部２１は、スピーカーと協働して、ステップＳ５３で再生可能であると判別された伝言を再生する処理を行う（ステップＳ５４、伝言再生実行ステップ）。該処理は、デバイス記憶部２２に格納された機械学習データに基づいて、伝言の表現を装用者の好みに合わせて変更して再生可能であることが好ましい。デバイス制御部２１は、処理をステップＳ５５へ移す。これにより、装用者は、直接言いづらいことを、ＡＩバディを介した表現で他の装用者に伝え得る。
　対話型ＡＩ処理は、ステップＳ５５からステップＳ５６までの装用者への呼びかけに関する一連の処理を含むことが好ましい。
　デバイス制御部２１は、必要に応じて動き撮影部２５及び／又はマイクと協働して、装用者への呼びかけを行うか否かを判別する処理を行う（ステップＳ５５、呼びかけ判別ステップ）。デバイス制御部２１は、呼びかけを行うと判別したならば、処理をステップＳ５６へ移す。デバイス制御部２１は、呼びかけを行うと判別しなかったならば、処理をステップＳ５７に移す。
　呼びかけを行うか否かを判別する処理は、特に限定されない。該処理は、例えば、動き撮影部２５及び／又はマイクから取得した装用者の様子に基づいて呼びかけを行うか否かを判別する手順を含む処理等でよい。該処理が該手順を含むことにより、対話型ＡＩ処理は、装用者が呼びかけを要する様子であると判別した場合に装用者に呼びかけることができる。
　デバイス制御部２１は、スピーカー等と協働して、ステップＳ５５における判別結果と、デバイス記憶部２２に格納された機械学習データと、に基づいて、装用者の好みに合う装用者への呼びかけを出力する処理を行う（ステップＳ５６、呼びかけ実行ステップ）。デバイス制御部２１は、処理をステップＳ５７へ移す。
　対話型ＡＩ処理がステップＳ５５からステップＳ５６までの装用者への呼びかけに関する一連の処理を含むことにより、対話型ＡＩ処理は、装用者への呼びかけを介して装用者を癒すことができる。
　対話型ＡＩ処理は、ステップＳ５７からステップＳ５８までのＡＩ間通信に関する一連の処理を含むことが好ましい。
　デバイス制御部２１は、他のＡＩとの通信（ＡＩ間通信）を行うか否かを判別する処理を行う（ステップＳ５７、ＡＩ間通信判別ステップ）。デバイス制御部２１は、ＡＩ間通信を行うと判別したならば、処理をステップＳ５８へ移す。デバイス制御部２１は、ＡＩ間通信を行うと判別しなかったならば、処理をステップＳ５９に移す。
　ＡＩ間通信を行うか否かを判別する処理は、特に限定されない。該処理は、例えば、装用者からの伝言が伝言先に伝達可能な伝言であるか否かに関する他のＡＩの判断を要すると判別した場合にＡＩ間通信を行うと判別する手順を含む処理等でよい。該処理が該手順を含むことにより、対話型ＡＩ処理は、必要に応じて他のＡＩの判断を仰ぐことができる。
　これにより、例えば、該伝言の伝達が法令・規約等に反し得る場合に、対話型ＡＩ処理は、法令・規約等に通じた専門的なＡＩの判断を仰ぎ、該判断に基づいて伝言を伝達するか否かを判別できる。このように、必要に応じて他のＡＩの判断を仰ぐことにより、対話型ＡＩ処理は、各種の高度な判断を行う複雑なＡＩ全てを自ら備えることなく、そのときどきの状況に応じて、専門化された他のＡＩの高度な判断を利用できる。また、対話型ＡＩ処理は、そのような専門化されたＡＩの判断を複数組合せて自らの判断を最適化し得る。
　デバイス制御部２１は、デバイス通信部２３と協働して、ステップＳ５７における判別結果に基づいて、他のＡＩと通信する処理を行う（ステップＳ５８、ＡＩ間通信実行ステップ）。デバイス制御部２１は、処理をステップＳ５９へ移す。
　対話型ＡＩ処理がステップＳ５７からステップＳ５８までのＡＩ間通信に関する一連の処理を含むことにより、対話型ＡＩ処理は、必要に応じて他のＡＩと通信し、対話型ＡＩ処理単体で成し得ない高度な判断に基づく処理を実現することができる。
　対話型ＡＩ処理は、ステップＳ５９からステップＳ６０までの装用者の好みに合わせた応答に関する一連の処理を含むことが好ましい。
　デバイス制御部２１は、動き撮影部２５及び／又はマイクと協働して、装用者から応答を要する入力があったか否かを判別する処理を行う（ステップＳ５９、応答判別ステップ）。デバイス制御部２１は、入力があったと判別したならば、処理をステップＳ６０へ移す。デバイス制御部２１は、入力があったと判別しなかったならば、処理をステップＳ６１に移す。
　デバイス制御部２１は、スピーカーと協働して、ステップＳ５９で判別対象となった入力と、デバイス記憶部２２に格納された機械学習データとに基づいて、装用者の好みに合わせた応答を出力する処理を行う（ステップＳ６０、応答実行ステップ）。デバイス制御部２１は、処理をステップＳ６１へ移す。
　対話型ＡＩ処理は、ステップＳ６１からステップＳ６２までの装用者の好みに合わせた機械学習に関する一連の処理を含む。
　デバイス制御部２１は、デバイス記憶部２２と協働して、機械学習可能な装用者からの入力があったか否かを判別する処理を行う（ステップＳ６１、機械学習判別ステップ）。デバイス制御部２１は、入力があったと判別したならば、処理をステップＳ６２へ移す。デバイス制御部２１は、入力があったと判別しなかったならば、処理をステップＳ５１に移し、ステップＳ５１からステップＳ６２の処理を繰り返す。
　デバイス制御部２１は、デバイス記憶部２２と協働して、ステップＳ５９で判別対象となった入力に基づいて、デバイス記憶部２２に格納された機械学習データを装用者の好みにより合わせた応答を出力可能であるよう更新する処理を行う（ステップＳ６２、機械学習更新ステップ）。デバイス制御部２１は、処理をステップＳ５１に移し、ステップＳ５１からステップＳ６２の処理を繰り返す。
　ステップＳ５１からステップＳ６２までの対話型ＡＩ処理により、セパレート型スマートデバイス１等の装置は、対話型ＡＩアプリケーション（ＡＩバディ）を実現できる。これにより、該装置は、装用者からの入力に対して、機械学習によって装用者の好みに合わせた応答を行える。よって、該装置は、装用者を癒すＡＩバディを実現し得る。
＜セパレート型スマートデバイス１の使用例＞
　続いて、本実施形態におけるセパレート型スマートデバイス１の使用例を説明する。
〔セパレート型スマートデバイス１を装用〕
　図１０は、本実施形態のセパレート型スマートデバイス１の使用時における態様の一例を示す概略図である。図１０に示す例では、スマートグラス３は、装用者Ｕの頭部に装用されている。
　図１０に示す例において、携帯デバイス２は、装用者Ｕの背中側から前側に延びる湾曲した２つの腕部によって装用者Ｕの首から提げられている。これらの腕部は、装用者Ｕが動いた場合に携帯デバイス２の位置・向きが変わってしまうことを低減可能である。
　装用者Ｕの首から提げた携帯デバイス２の向き及び位置は、装用者Ｕの首が基準となる。また、装用者Ｕの頭部に装用されるスマートグラス３は、その向き及び位置が頭部の向き及び位置を基準とする所定のポジションとなる。そして、頭部の向き及び位置は、装用者Ｕの首が基準となる。
　したがって、装用者Ｕの首から提げて携帯された携帯デバイス２では、携帯デバイス２の向き及び位置とスマートグラス３の向き及び位置がいずれも装用者Ｕの首を基準とする。これにより、位置等検出部２４が検出する位置等と向き検出部３５が検出する向きとの対応付けが容易となる。これにより、携帯デバイス２は、較正ステップにおける較正の精度を高め得る。
〔電源を投入〕
　装用者Ｕは、携帯デバイス２及び／又はスマートグラス３に設けられた電源ボタン等を介してセパレート型スマートデバイス１の電源を投入する。
〔較正処理を実行〕
　携帯デバイス２は、較正部２１３を実行し、較正処理を実行する。
［位置等較正処理を実行］
　図１１は、位置等較正処理において第１目標を指差す装用者を示す概略図である。図１２は、位置等較正処理において第２目標を指差す装用者を示す概略図である。以下、図１１及び図１２を用いて、上述の位置等較正処理の使い方の一例を説明する。図１１及び図１２において、実線は、現実空間の物体を示す。図１１及び図１２において、点線は、表示部３４に表示された３次元仮想空間の物体を示す。
　装用者Ｕは、第１順番指差し指示部の指示に沿って、第１目標表示部の指令によって表示されたａ号第１目標Ｔ１ａ、ｂ号第１目標Ｔ１ｂ、を右手の人差し指で順番に指差す（図１１）。第１指差し情報取得部は、装用者Ｕが順番に指差す動き等を含む第１指差し情報を取得する。
　装用者Ｕは、向き変更指示部の指示に沿って、首を左に向ける。装用者Ｕは、第２順番指差し指示部の指示に沿って、第２目標表示部の指示によって表示されたａ号第２目標Ｔ２ａ、ｂ号第２目標Ｔ２ｂ、を左手の人差し指で順番に指差す（図１２）。第２指差し情報取得部は、装用者Ｕが順番に指差す動き等を含む第２指差し情報を取得する。
　装用者Ｕは、向き再変更指示部の指示に沿って、首を右に向ける。装用者Ｕは、第３目標についても、同様に右手の人差し指で順番に指差す。第３指差し情報取得部は、装用者Ｕが順番に指差す動き等を含む第３指差し情報を取得する。
　これにより、位置等較正部２１３１は、第１－第３指差し情報に基づいて、装用者Ｕの位置及び向きと３次元仮想空間における位置及び向きとの間の３次元的な対応のうち、装用者Ｕの位置及び向きに関する較正を行うことができる。
　なお、図１１及び図１２では、第１目標Ｔ１及び第２目標Ｔ２を実際より拡大して図示している。第１目標Ｔ１、第２目標Ｔ２、及び第３目標は、仮想入力デバイスの利用において必要とされる位置精度に応じたサイズであることが好ましい。
［移動較正処理を実行］
　図１３は、移動較正処理において第１移動先への移動指示を受けた装用者を示す概略図である。図１４は、移動較正処理において第２移動先への移動指示を受けた装用者を示す概略図である。図１５は、移動較正処理において屈んで第３目印を指差す装用者を示す概略図である。
　以下、図１３から図１５を用いて、上述の移動較正処理の使い方の一例を説明する。図１３から図１５における、実線及び点線は、図１１及び図１２における実線及び点線と同様である。
　まず、装用者Ｕは、初期位置Ｐ０に立つ。装用者Ｕは、所定方向指差し指示部の指示に沿って、略前方を指差す。第１目印表示部は、装用者Ｕが指差した方向に第１目印Ｍ１の表示を指令する。第１移動指示部は、姿勢をそのままにして第１移動先Ｄ１へ移動するよう装用者Ｕに指示する（図１３）。装用者Ｕは、姿勢をそのままにして第１移動先Ｄ１へ移動する。この移動は、第１目印Ｍ１に沿って行われる。移動後に、装用者Ｕは、第１移動先Ｄ１を指差す。第１移動情報取得部は、移動する過程における第１移動情報を取得する。
　続いて、第２目印表示部は、第１移動先Ｄ１の左方向にある第２移動先Ｄ２を示す第２目印Ｍ２の表示を指令する。第２移動指示部は、姿勢をそのままにして第２移動先Ｄ２へ移動するよう装用者Ｕに指示する（図１４）。装用者Ｕは、姿勢をそのままにして第２移動先Ｄ２へ移動する。この移動は、第２目印Ｍ２に沿って行われる。移動後に、装用者Ｕは、第２移動先Ｄ２を指差す。第２移動情報取得部は、移動する過程における第２移動情報を取得する。
　そして、第３目印表示部は、第２移動先Ｄ２から重力方向に第３移動先Ｄ３を示す第３目印Ｍ３の表示を指令する。第３移動指示部は、姿勢を変えずに屈んで第３目印Ｍ３を指差す状態となるよう装用者Ｕに指示する。装用者Ｕは、姿勢を変えずに屈み、第３移動先Ｄ３を指差す（図１５）。第３移動情報取得部は、屈む過程における第３移動情報を取得する。
　これにより、移動較正部２１３２は、第１－第３移動情報に基づいて、装用者Ｕの位置及び向きと３次元仮想空間における位置及び向きとの間の３次元的な対応のうち、装用者Ｕの移動に関する較正を行うことができる。
　なお、図１３から図１５では、第１目印Ｍ１から第３目印Ｍ３を実際より拡大して図示している。第１目印Ｍ１から第３目印Ｍ３は、仮想入力デバイスの利用において必要とされる位置精度に応じたサイズであることが好ましい。
〔３次元仮想空間を表示〕
　表示指令部２１２は、仮想空間表示部３１１に３次元仮想空間の表示を指令する。仮想空間表示部３１１は、携帯デバイス２の位置等及びスマートグラス３の向きに基づいて描画された３次元仮想空間を表示部３４に表示する。
〔３次元仮想空間を操作〕
　装用者Ｕは、以下に例示する手段を介して、３次元仮想空間を操作する。
［移動・向きの変更］
　装用者Ｕは、現実空間での移動及び／又は向きの変更を介して、３次元仮想空間内を移動する操作を行う。仮想空間表示部３１１は、該操作に応じて、移動を反映した３次元仮想空間を表示する。
［ジェスチャーにより指定した対象を操作］
　装用者Ｕは、現実空間での手の動き（ジェスチャー）を介して、３次元仮想空間の物体を操作する。仮想空間表示部３１１は、動き撮影部２５が撮影した手の動きに応じて、該操作を反映した３次元仮想空間を表示する。
［仮想入力デバイスを介して入力］
　仮想空間表示部３１１は、３次元仮想空間に仮想入力デバイスを表示する。装用者Ｕは、現実空間での手の動きを介して、仮想入力デバイスを操作する。仮想空間表示部３１１は、動き撮影部２５が撮影した手の動きに応じて、仮想入力デバイスを操作する。そして、セパレート型スマートデバイス１は、該操作に応じた仮想入力デバイスからの入力を生成する。
　較正処理によってスマートグラス３の装用者Ｕの動きから装用者Ｕが指定する位置を特定する精度が高められていることにより、装用者Ｕは、仮想入力デバイスにおいて、意図通りの入力を行える。
〔ＡＩバディを利用〕
　装用者Ｕは、仮想入力デバイスを操作してＡＩバディを起動し、他のユーザに伝える伝言を仮想入力デバイスから入力する。セパレート型スマートデバイス１は、該伝言を他のユーザが使用する装置に送信する。該装置は、例えば、他の装用者Ｕが装用する他のセパレート型スマートデバイス１等である。該装置は、機械学習に基づく他のユーザの好みに合わせた表現で該伝言の趣旨を出力する。
１　　　　セパレート型スマートデバイス
２　　　　携帯デバイス
２１　　　デバイス制御部
２１１　　向き取得部
２１２　　表示指令部
２１３　　較正部
２１３１　位置等較正部
２１３２　移動較正部
２２　　　デバイス記憶部
２３　　　デバイス通信部
２４　　　位置等検出部
２５　　　動き撮影部
３　　　　スマートグラス
３１　　　グラス制御部
３１１　　仮想空間表示部
３２　　　グラス記憶部
３３　　　グラス通信部
３４　　　表示部
３５　　　向き検出部
Ｕ　　　　装用者
Ｔ１　　　第１目標
Ｔ２　　　第２目標
Ｍ１　　　第１目印
Ｍ２　　　第２目印
Ｍ３　　　第３目印
Ｄ１　　　第１移動先
Ｄ２　　　第２移動先
Ｄ３　　　第３移動先

Claims (5)

  1. 　携帯デバイスと、
    　前記携帯デバイスと通信可能であり、前記携帯デバイスの所持者が装用するスマートグラスと、
    を備え、
    　前記携帯デバイスは、前記携帯デバイスの３次元的な位置及び３次元的な向きを含む位置等を検出可能な位置等検出部を有し、
    　前記スマートグラスは、
    　　前記スマートグラスの３次元的な向きを検出可能な向き検出部と、
    　　前記携帯デバイスの位置等及び前記スマートグラスの向きに基づいて描画された３次元仮想空間を表示可能な仮想空間表示部と、
    を有し、
    　前記携帯デバイス及び／又は前記スマートグラスは、前記スマートグラスを装用する装用者の手の動きを撮影可能な動き撮影部と、前記携帯デバイスの前記位置等と前記スマートグラスの前記向きと前記装用者の手の動きとに基づいて、前記装用者の位置及び向きと前記３次元仮想空間における位置及び向きとの間の３次元的な対応を較正する較正部と、を有する、
    セパレート型スマートデバイス。
  2. 　前記携帯デバイスは、前記セパレート型スマートデバイスを使用するタイミングにおいて、前記装用者の首から提げて携帯可能である、請求項１に記載のセパレート型スマートデバイス。
  3. 　前記較正部は、
    　　複数の第１目標を表示する第１目標表示部と、
    　　前記複数の第１目標を指定の順番で指差すよう前記装用者に促す第１順番指差し指示部と、
    　　前記装用者が前記複数の第１目標を指差す動き、前記スマートグラスの前記向き、及び前記携帯デバイスの前記位置等を含む第１指差し情報を取得する第１指差し情報取得部と、
    　　首の向きを変更するよう前記装用者に促す向き変更指示部と、
    　　前記装用者が首の向きを変更した場合に、複数の第２目標を表示する第２目標表示部と、
    　　前記複数の第２目標を指定の順番で指差すよう前記装用者に促す第２順番指差し指示部と、
    　　前記首の向きを変更した装用者が前記複数の第２目標を指差す動き、前記首の向きの変更後における前記スマートグラスの前記向き、及び前記携帯デバイスの前記位置等を含む第２指差し情報を取得する第２指差し情報取得部と、
    　　前記第１指差し情報及び前記第２指差し情報に基づいて前記３次元的な対応のうち、前記装用者の位置及び向きに関する較正を行う位置等較正部と、
    　を含む、請求項１又は２に記載のセパレート型スマートデバイス。
  4. 　前記較正部は、
    　　所定方向を指差す動きを前記装用者に促す所定方向指差し指示部と、
    　　前記装用者が指差した方向に第１移動先を示す第１目印を表示する第１目印表示部と、
    　　前記第１目印に沿って前記第１移動先へ移動するよう前記装用者に促す第１移動指示部と、
    　　前記装用者が前記第１移動先へ移動する過程における、前記スマートグラスの前記向き及び前記携帯デバイスの前記位置等を含む第１移動情報を取得する第１移動情報取得部と、
    　　前記指差した方向と異なり、鉛直方向と略直交する方向に第２移動先を示す第２目印を表示する第２目印表示部と、
    　　前記第２目印に沿って前記第２移動先へ移動するよう前記装用者に促す第１移動指示部と、
    　　前記装用者が前記第２移動先へ移動する過程における、前記スマートグラスの前記向き及び前記携帯デバイスの前記位置等を含む第２移動情報を取得する第２移動情報取得部と、
    　　前記第２移動先から重力方向に第３移動先を示す第３目印を表示する第３目印表示部と、
    　　姿勢を変えずに屈んで前記第３目印を指差す状態となるよう前記装用者に促す第３移動指示部と、
    　　前記装用者が前記屈む過程における、前記スマートグラスの前記向き及び前記携帯デバイスの前記位置等を含む第３移動情報を取得する第３移動情報取得部と、
    　　前記第１移動情報、前記第２移動情報、及び前記第３移動情報に基づいて前記３次元的な対応のうち、前記装用者の移動に関する対応の較正を行う移動較正部と、
    　を含む、請求項１から請求項３のいずれか１項に記載のセパレート型スマートデバイス。
  5. 　請求項１から請求項４のいずれか１項に記載のセパレート型スマートデバイスに、
    　　装用者から第１伝言を取得可能であるか否かの第１判別を行う伝言取得判別ステップと、
    　　前記第１判別に基づいて前記装用者から前記第１伝言を取得する伝言取得実行ステップと、
    　　外部から受信した第２伝言を再生可能であるか否かの第２判別を行う伝言再生判別ステップと、
    　　前記第２判別に基づいて前記第２伝言を再生する伝言再生実行ステップと、
    　　前記装用者への呼びかけを行うか否かの第３判別を行う呼びかけ判別ステップと、
    　　前記第３判別と、機械学習データと、に基づいて、前記装用者の好みに合う前記呼びかけを出力する呼びかけ実行ステップと、
    　　他のＡＩとの通信を行うか否かの第４判別を行うＡＩ間通信判別ステップと、
    　　前記第４判別に基づいて、前記他のＡＩと通信するＡＩ間通信実行ステップと、
    　　前記装用者から応答を要する入力があったか否かを判別する応答判別ステップと、
    　　前記入力と、前記機械学習データとに基づいて、前記好みに合わせた前記応答を出力する応答実行ステップと、
    　　機械学習可能な前記装用者からの入力があったか否かを判別する機械学習判別ステップと、
    　　前記機械学習可能な入力に基づいて、前記機械学習データを前記好みにより合わせた応答を出力可能であるよう更新する機械学習更新ステップと、
    　を実行させることが可能な、プログラム。

     
PCT/JP2022/024060 2022-06-16 2022-06-16 セパレート型スマートデバイス WO2023243024A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/024060 WO2023243024A1 (ja) 2022-06-16 2022-06-16 セパレート型スマートデバイス

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/024060 WO2023243024A1 (ja) 2022-06-16 2022-06-16 セパレート型スマートデバイス

Publications (1)

Publication Number Publication Date
WO2023243024A1 true WO2023243024A1 (ja) 2023-12-21

Family

ID=89192514

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/024060 WO2023243024A1 (ja) 2022-06-16 2022-06-16 セパレート型スマートデバイス

Country Status (1)

Country Link
WO (1) WO2023243024A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018037034A (ja) * 2016-09-02 2018-03-08 株式会社タカラトミー 情報処理システム
WO2020189274A1 (ja) * 2019-03-19 2020-09-24 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP2021162993A (ja) * 2020-03-31 2021-10-11 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018037034A (ja) * 2016-09-02 2018-03-08 株式会社タカラトミー 情報処理システム
WO2020189274A1 (ja) * 2019-03-19 2020-09-24 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP2021162993A (ja) * 2020-03-31 2021-10-11 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Similar Documents

Publication Publication Date Title
JP6266736B1 (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP6240301B1 (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
CN104520787B (zh) 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器
US10438394B2 (en) Information processing method, virtual space delivering system and apparatus therefor
US10313481B2 (en) Information processing method and system for executing the information method
US20190018479A1 (en) Program for providing virtual space, information processing apparatus for executing the program, and method for providing virtual space
CN111163906B (zh) 能够移动的电子设备及其操作方法
JP2016198859A (ja) ロボット及びロボット制御方法並びにロボットシステム
JP6201024B1 (ja) ヘッドマウントデバイスを用いてコンテンツを提供するアプリケーションへの入力を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、およびコンテンツ表示装置
JP7371626B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020051111A1 (en) Display device sharing and interactivity in simulated reality (sr)
CN112835445A (zh) 虚拟现实场景中的交互方法、装置及系统
CN111103975B (zh) 显示方法、电子设备及系统
CN115552891A (zh) 远程控制系统和其远程作业装置、影像处理装置及程序
JP7405083B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2023243024A1 (ja) セパレート型スマートデバイス
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6278546B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019036239A (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
KR102044003B1 (ko) 영상 회의를 위한 전자 장치 및 그의 동작 방법
JP2018010480A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
KR20200116380A (ko) 모바일을 이용한 vr 디바이스에 호환 가능한 스포츠 기기와 컨테츠 제공 방법
JP2018097879A (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2019145161A (ja) プログラム、情報処理装置、及び情報処理方法
JP2020042593A (ja) プログラム、情報処理装置、および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22946842

Country of ref document: EP

Kind code of ref document: A1