WO2014147858A1 - ３次元ロック解除装置、３次元ロック解除方法及びプログラム - Google Patents

３次元ロック解除装置、３次元ロック解除方法及びプログラム Download PDF

Info

Publication number
WO2014147858A1
WO2014147858A1 PCT/JP2013/072244 JP2013072244W WO2014147858A1 WO 2014147858 A1 WO2014147858 A1 WO 2014147858A1 JP 2013072244 W JP2013072244 W JP 2013072244W WO 2014147858 A1 WO2014147858 A1 WO 2014147858A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
selection
operator
information
selection information
Prior art date
Application number
PCT/JP2013/072244
Other languages
English (en)
French (fr)
Inventor
幸司 森下
克幸 永井
尚志 野田
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to JP2015506534A priority Critical patent/JPWO2014147858A1/ja
Priority to CN201380074952.1A priority patent/CN105051650A/zh
Priority to EP13878884.9A priority patent/EP2977924A1/en
Priority to US14/778,348 priority patent/US20160055330A1/en
Publication of WO2014147858A1 publication Critical patent/WO2014147858A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/031—Protect user input by software means

Definitions

  • the present invention relates to a three-dimensional user interface technology.
  • the lock function includes a lock function that disables a specific operation in addition to a screen lock function that disables a screen operation.
  • a mobile terminal equipped with ANDROID has a screen lock function for releasing a screen lock when a trajectory pattern obtained by tracing nine points arranged vertically and horizontally matches a trajectory pattern registered in advance. have.
  • Patent Document 1 in order to reduce the risk of a lock pattern being guessed by a third party from fingerprint marks remaining on the touch panel, the user may trace the same position on the touch panel every time the lock pattern is specified. Techniques to prevent it have been proposed.
  • the present invention has been made in view of the circumstances as described above, and it is an object of the present invention to provide a technique for releasing a lock in accordance with an operator's three-dimensional operation.
  • the three-dimensional unlocking device is indicated by a virtual data generating unit that generates three-dimensional lock data indicating a plurality of virtual objects arbitrarily arranged in a three-dimensional coordinate space, and three-dimensional lock data.
  • a display processing unit that displays a plurality of virtual objects on the display unit, a position acquisition unit that acquires a three-dimensional position in a three-dimensional coordinate space related to the specific part of the operator, a three-dimensional position acquired by the position acquisition unit, and a plurality of positions
  • the virtual object selected based on the selection operation detected by the operation detection unit and the operation detection unit that detects the selection operation for the virtual object of the operator using the specific part using the three-dimensional position of the virtual object
  • a selection information acquisition unit for acquiring selection information indicating identification information corresponding to the selection order and a selection order; selection information acquired by the selection information acquisition unit; By comparing the selection information is recorded, it has a lock controller for unlocking, a.
  • the 3D unlocking method according to the second aspect is executed by at least one computer.
  • the three-dimensional unlocking method according to the second aspect generates three-dimensional lock data indicating a plurality of virtual objects arbitrarily arranged in a three-dimensional coordinate space, and generates a plurality of virtual objects indicated by the three-dimensional lock data.
  • Display on the display unit obtain a three-dimensional position in the three-dimensional coordinate space related to the specific part of the operator, and use the specific part using the obtained three-dimensional position and the three-dimensional positions of a plurality of virtual objects.
  • the selection operation on the virtual object of the operator is detected, and the selection information indicating the identification information and the selection order corresponding to the selected virtual object is acquired based on the detected selection operation. It includes releasing the lock by comparing with the registered selection information.
  • a program that causes at least one computer to execute the method according to the second aspect, or a computer-readable recording medium that records such a program. Also good.
  • This recording medium includes a non-transitory tangible medium.
  • FIG. 1 is a diagram conceptually illustrating a configuration example of a three-dimensional lock release apparatus 100 according to an embodiment of the present invention.
  • the three-dimensional lock release apparatus 100 includes a virtual data generation unit 101 that generates three-dimensional lock data indicating a plurality of virtual objects arbitrarily arranged in a three-dimensional coordinate space, and a three-dimensional lock.
  • the display processing unit 102 that displays a plurality of virtual objects indicated by the data on the display unit, the position acquisition unit 103 that acquires a three-dimensional position in the three-dimensional coordinate space related to the specific part of the operator, and the position acquisition unit 103
  • the operation detection unit 104 that detects a selection operation on the virtual object of the operator using the specific part using the three-dimensional position and the three-dimensional position of the plurality of virtual objects, and the selection operation detected by the operation detection unit 104 Based on the selection information acquisition unit 1 for acquiring selection information indicating identification information corresponding to the selected virtual object and the selection order Has a 5, by comparing the selection information and selection information obtained by the selection information acquiring unit 105 has already been registered, a locking control unit 106 for unlocking the.
  • a three-dimensional unlocking device 100 shown in FIG. 1 has, for example, the same hardware configuration as the three-dimensional user interface system 1 in a detailed embodiment described later, and a program is processed in the same manner as the three-dimensional user interface system 1. As a result, the above-described processing units are realized.
  • the display unit is communicably connected to the three-dimensional lock release device 100.
  • the three-dimensional unlocking method in the present embodiment is executed by at least one computer such as the above-described three-dimensional unlocking device 100.
  • This 3D lock release method generates 3D lock data indicating a plurality of virtual objects arbitrarily arranged in a 3D coordinate space, and causes the display unit to display a plurality of virtual objects indicated by the 3D lock data.
  • three-dimensional lock data is generated, and a plurality of virtual objects indicated by the three-dimensional lock data are displayed.
  • the three-dimensional position of the specific part of the operator in the same three-dimensional coordinate space as the three-dimensional coordinate space used in the three-dimensional lock data is acquired.
  • a selection operation on the virtual object of the operator using the specific part is detected.
  • the specific part is a part or the whole of the operator's body for indicating the operation position on the three-dimensional user interface.
  • the three-dimensional position of the specific part of the operator may be acquired by a known method, and the acquisition method is not limited in this embodiment.
  • selection information is acquired according to each detected selection operation, and the lock is released by comparing the selection information with the already registered selection information. For example, the lock is released when the selection order of the virtual objects indicated by the selection information matches between the two.
  • the selection information indicates a selection order of virtual objects and identification information corresponding to each selected virtual object.
  • the identification information may be any information that can identify each virtual object, and the specific content is not limited in the present embodiment. A specific aspect of the identification information will be described in detail in a detailed embodiment described later.
  • the already registered selection information may be held in the three-dimensional unlocking device 100 or may be held by another computer. Further, the lock released in the present embodiment may be a screen lock or a lock of another process.
  • FIG. 2 is a diagram conceptually illustrating a hardware configuration example of a three-dimensional user interface system (hereinafter simply referred to as a system) 1 in the first embodiment.
  • the system 1 in the first embodiment has a sensor side configuration and a display side configuration.
  • the sensor side configuration is formed by a three-dimensional sensor (hereinafter referred to as a 3D sensor) 8 and a sensor side device 10.
  • the display side configuration is formed of a head mounted display (hereinafter referred to as HMD) 9 and a display side device 20.
  • HMD head mounted display
  • 3D is abbreviated as 3D
  • 2D is abbreviated as 2D.
  • FIG. 3 is a diagram illustrating an example of a usage pattern of the system 1 in the first embodiment.
  • the 3D sensor 8 is arranged at a position where a specific part of the operator (user) can be detected.
  • the HMD 9 is mounted on the head of the operator (user), picks up a line-of-sight image for the operator, and displays the above-described plurality of virtual objects combined with the line-of-sight image. While viewing the video displayed on the display unit of the HMD 9, the operator performs a selection operation on the virtual object that appears in the video to release the lock.
  • the 3D sensor 8 detects 3D information used for detecting a specific part of the operator.
  • the 3D sensor 8 is realized by a visible light camera and a distance image sensor like Kinect (registered trademark), for example.
  • the distance image sensor also called a depth sensor, is operated from the distance image sensor based on information obtained by irradiating the operator with a near-infrared light pattern from a laser and capturing the pattern with a camera that detects the near-infrared light. The distance (depth) to the person is calculated.
  • the method of realizing the 3D sensor 8 itself is not limited, and the 3D sensor 8 may be realized by a three-dimensional scanner method using a plurality of visible light cameras. In FIG.
  • the 3D sensor 8 is illustrated as one element, but the 3D sensor 8 includes a plurality of devices such as a visible light camera that captures a two-dimensional image of the operator and a sensor that detects a distance to the operator. It may be realized with.
  • a common three-dimensional coordinate space is set in the display side configuration and the sensor side configuration by the marker 7 indicating a known shape.
  • the common real object for setting the common three-dimensional coordinate space is not limited to the dedicated marker 7 alone. If the common real object can always obtain a certain reference point and the directions of three axes orthogonal to each other from the reference point regardless of the reference direction, the specific form of the common real object is Not limited.
  • the marker 7 can be substituted with an image or an object arranged in the real world.
  • FIG. 4 is a diagram showing an example of the external configuration of the HMD 9.
  • FIG. 4 shows the configuration of an HMD 9 called a video see-through type.
  • the HMD 9 includes two line-of-sight cameras 9a and 9b and two displays 9c and 9d.
  • Each line-of-sight camera 9a and 9b captures each line-of-sight image corresponding to each line of sight of the user.
  • the HMD 9 can also be called an imaging unit.
  • Each display 9c and 9d is arranged so as to cover most of the visual field of the user, and displays a combined 3D image in which a virtual 3D operation region is combined with each line-of-sight image.
  • each display 9c and 9d can also be called a display part.
  • the sensor side device 10 and the display side device 20 each have a CPU (Central Processing Unit) 2, a memory 3, a communication device 4, an input / output interface (I / F) 5, etc., which are connected to each other by a bus or the like.
  • the memory 3 is a RAM (Random Access Memory), a ROM (Read Only Memory), a hard disk, a portable storage medium, or the like.
  • the input / output I / F 5 of the sensor side device 10 is connected to the 3D sensor 8, and the input / output I / F 5 of the display side device 20 is connected to the HMD 9.
  • the input / output I / F 5 and the 3D sensor 8 and the input / output I / F 5 and the HMD 9 may be connected so as to be communicable by radio.
  • Each communication device 4 communicates with other devices (such as the sensor-side device 10 and the display-side device 20) wirelessly or by wire.
  • the present embodiment does not limit the form of such communication.
  • the specific hardware configurations of the sensor side device 10 and the display side device 20 are not limited.
  • FIG. 5 is a diagram conceptually illustrating a processing configuration example of the sensor-side device 10 in the first embodiment.
  • the sensor side device 10 in the first embodiment includes a 3D information acquisition unit 11, a first object detection unit 12, a reference setting unit 13, a position calculation unit 14, a state acquisition unit 15, a transmission unit 16, and the like.
  • Each of these processing units is realized, for example, by executing a program stored in the memory 3 by the CPU 2.
  • the program may be installed from a portable recording medium such as a CD (Compact Disc) or a memory card or another computer on the network via the input / output I / F 5 and stored in the memory 3. Good.
  • CD Compact Disc
  • the 3D information acquisition unit 11 sequentially acquires 3D information detected by the 3D sensor 8.
  • the 3D information includes a 2D image of the operator obtained by visible light and information on the distance (depth) from the 3D sensor 8.
  • the 3D sensor 8 may be configured by a plurality of devices such as a visible light camera and a depth sensor.
  • the first object detection unit 12 detects a known common real object from the 3D information acquired by the 3D information acquisition unit 11.
  • the marker 7 shown in FIG. 3 is used as the common real object.
  • the first object detection unit 12 holds information about the shape, size, color, and the like indicated by the marker 7 in advance, and detects the marker 7 from the 3D information using such known information.
  • the reference setting unit 13 sets a 3D coordinate space based on the marker 7 detected by the first object detection unit 12, and calculates the position and orientation of the 3D sensor 8 in the 3D coordinate space. For example, the reference setting unit 13 sets a 3D coordinate space in which the reference point extracted from the marker 7 is the origin and the three directions from the reference point are orthogonal to each other. The reference setting unit 13 calculates the position and orientation of the 3D sensor 8 by comparing the known shape and size related to the marker 7 with the shape and size indicated by the marker 7 extracted from the 3D information.
  • the position calculation unit 14 uses the 3D information sequentially acquired by the 3D information acquisition unit 11 to sequentially calculate 3D position information on the 3D coordinate space regarding the specific part of the operator.
  • the position calculation unit 14 calculates the 3D position information specifically as follows.
  • the position calculation unit 14 first extracts 3D position information of the specific part of the operator from the 3D information acquired by the 3D information acquisition unit 11.
  • the 3D position information extracted here corresponds to the camera coordinate system of the 3D sensor 8. Therefore, the position calculation unit 14 uses the reference setting unit 13 to obtain 3D position information corresponding to the camera coordinate system of the 3D sensor 8 based on the position and orientation of the 3D sensor 8 calculated by the reference setting unit 13 and the 3D coordinate space. It is converted into 3D position information on the set 3D coordinate space. This conversion means conversion from the camera coordinate system of the 3D sensor 8 to the 3D coordinate system set based on the marker 7.
  • the position calculation unit 14 extracts 3D position information of a plurality of specific parts from the 3D information acquired by the 3D information acquisition unit 11, and each 3D position information in the 3D coordinate space is extracted from the 3D position information.
  • the specific part is a part of the body used by the operator to perform an operation, and thus has a certain area or volume. Therefore, the 3D position information calculated by the position calculation unit 14 may be position information of a certain point in the specific part or may be position information of a plurality of points.
  • the state acquisition unit 15 acquires state information of a specific part of the operator.
  • the state information of the specific part is information that can specify a state related to the shape of the specific part, and indicates, for example, a gripped state, an open state, a thumb-up state, and the like.
  • This specific part is the same as the specific part that is to be detected by the position calculation unit 14.
  • the present embodiment does not limit the number of states that can be indicated by this state information within a detectable range.
  • the state acquisition unit 15 acquires state information regarding each specific part.
  • the state acquisition unit 15 holds, for example, image feature information corresponding to each state to be identified of the specific part in advance, and is extracted from the 2D image included in the 3D information acquired by the 3D information acquisition unit 11.
  • the state information of the specific part is acquired by comparing the feature information with the image feature information held in advance.
  • the state acquisition unit 15 may acquire state information of the specific part from information obtained from a strain sensor (not shown) attached to the specific part.
  • the state acquisition unit 15 may acquire the state information from information from an input mouse (not shown) operated by the operator's hand.
  • the state acquisition unit 15 may acquire the state information by recognizing sound obtained by a microphone (not shown).
  • the transmission unit 16 displays the 3D position information on the 3D coordinate space calculated by the position calculation unit 14 regarding the specific part of the operator and the state information about the specific part of the operator acquired by the state acquisition unit 15 on the display side. Transmit to device 20.
  • FIG. 6 is a diagram conceptually illustrating a processing configuration example of the display-side device 20 in the first embodiment.
  • the display-side device 20 in the first embodiment includes a line-of-sight image acquisition unit 21, a second object detection unit 22, a coordinate setting unit 23, a virtual data generation unit 24, an operation information acquisition unit 25, an operation detection unit 26, and an image composition unit 27.
  • Each of these processing units is realized, for example, by executing a program stored in the memory 3 by the CPU 2.
  • the program may be installed from a portable recording medium such as a CD (Compact Disc) or a memory card or another computer on the network via the input / output I / F 5 and stored in the memory 3. Good.
  • CD Compact Disc
  • the line-of-sight image acquisition unit 21 acquires the line-of-sight image of the operator.
  • a line-of-sight image is an image picked up from substantially the same direction as the direction in which the operator's eyes are facing. However, the line-of-sight image may not completely match the image that is visible (visible) to the operator.
  • the line-of-sight image includes the same specific part as the specific part of the operator detected by the sensor-side device 10.
  • the line-of-sight images 9a and 9b are provided, the line-of-sight image acquisition unit 21 acquires line-of-sight images corresponding to the left eye and the right eye, respectively. Note that each processing unit performs the same processing on both line-of-sight images corresponding to the left eye and the right eye, and therefore, in the following description, a single line-of-sight image will be described.
  • the second object detection unit 22 detects the same known common real object as that detected by the sensor-side device 10 from the line-of-sight image acquired by the line-of-sight image acquisition unit 21. That is, in the present embodiment, the second object detection unit 22 detects the marker 7 shown in FIG. Since the processing of the second object detection unit 22 is the same as that of the first object detection unit 12 of the sensor-side device 10 described above, detailed description thereof is omitted here. Note that the marker 7 included in the line-of-sight image has a different imaging direction from the marker 7 included in the 3D information obtained by the 3D sensor 8.
  • the coordinate setting unit 23 sets the same 3D coordinate space as that set by the reference setting unit 13 of the sensor-side device 10 based on the marker 7 detected by the second object detection unit 22, and the position of the HMD 9 And calculate the orientation. Since the processing of the coordinate setting unit 23 is the same as that of the reference setting unit 13 of the sensor side device 10, detailed description thereof is omitted here. Since the 3D coordinate space set by the coordinate setting unit 23 is also set based on the same common real object (marker 7) as the 3D coordinate space set by the reference setting unit 13 of the sensor side device 10, as a result, The 3D coordinate space is shared between the sensor side device 10 and the display side device 20.
  • the virtual data generation unit 24 generates 3D lock data indicating a plurality of virtual objects arbitrarily arranged on the 3D coordinate space set by the coordinate setting unit 23. That is, the virtual data generation unit 24 corresponds to the virtual data generation unit 101 described above.
  • FIG. 7 is a diagram illustrating an example of a virtual object indicated by the 3D lock data generated in the first embodiment. Note that the dotted lines shown in FIG. 7 are supplementarily shown so that the arrangement of the virtual objects is easy to see, and are not displayed on the HMD 9.
  • FIG. 7 shows a spherical virtual object. However, in the first embodiment, the number, shape, color, and size of virtual objects are not limited. The virtual object may be translucent.
  • the virtual data generation unit 24 generates 3D lock data in which the plurality of virtual objects are arranged in a predetermined arrangement in a lattice shape in the 3D coordinate space.
  • the virtual objects arranged in a cube shape for each dimension in the 3D coordinate space are shown.
  • each virtual object has relative position information in the grid-like arrangement in addition to the information indicating the position in the 3D coordinate space.
  • 3D position information information indicating the position in the 3D coordinate space
  • relative position information information indicating the relative position in the lattice arrangement of the virtual object.
  • each virtual object has the following relative position information.
  • the relative position information is indicated by (x, y, z) by the position in the x direction, the position in the y direction, and the position in the z direction.
  • Virtual object OB1 relative position information (1, 3, 1)
  • Virtual object OB2 relative position information (1, 3, 3)
  • Virtual object OB3 relative position information (3, 3, 1)
  • Virtual object OB4 relative position information (1, 1, 3)
  • Virtual object OB5 relative position information (3, 1, 1)
  • the image composition unit 27 synthesizes a virtual object with the line-of-sight image acquired by the line-of-sight image acquisition unit 21 based on the position and orientation of the HMD 9 and the 3D coordinate space and 3D lock data. At this time, the position of the virtual object in the 3D coordinate space is determined using the viewing space in the 3D coordinate space corresponding to the space appearing in the line-of-sight image as a display reference. In the present embodiment, the image composition unit 27 generates each composite image based on each line-of-sight image captured by the line-of-sight cameras 9a and 9b. It should be noted that since a known method used in augmented reality (AR) or the like may be used for the composition processing by the image composition unit 27, detailed description thereof is omitted here.
  • AR augmented reality
  • the display processing unit 28 displays a plurality of virtual objects on the HMD 9 in the same manner as the display processing unit 102 described above.
  • the display processing unit 28 causes the HMD 9 to display a composite image of the virtual object and the line-of-sight image.
  • each composite image corresponding to each line of sight of the operator is displayed on the displays 9c and 9d, respectively, so that the operator can visually recognize the line-of-sight image and the virtual object stereoscopically by binocular parallax. .
  • FIG. 8 is a diagram illustrating an example of a composite image displayed on the HMD 9. Note that the dotted lines shown in FIG. 8 are supplementarily shown so that the arrangement of the virtual objects is easy to see, and are not displayed on the HMD 9.
  • the operator sees a composite image of the line-of-sight image and the plurality of virtual objects as shown in FIG. 8 through the displays 9c and 9d.
  • the composite image shown in the example of FIG. 8 includes a real-world table RT that appears in the line-of-sight image and nine virtual objects arranged in a grid pattern.
  • the display processing unit 28 can change the color of the selected virtual object and display the selection trajectory of the virtual object corresponding to the selection order.
  • the operation information acquisition unit 25 receives the 3D position information on the 3D coordinate space related to the specific part of the operator and the state information related to the specific part of the operator from the sensor side device 10. As a result, the operation information acquisition unit 25 corresponds to the position acquisition unit 103 described above.
  • the operation detection unit 26 uses the 3D position information related to the specific part of the operator, the 3D position information of the plurality of virtual objects, and the state information related to the specific part of the operator, and the virtual object of the operator using the specific part Detects selection operation for. For example, the operation detection unit 26 recognizes an operation detection area for each virtual object, the operator's specific part enters the operation detection area, and the state information is in a predetermined state (for example, a grasped state). ), It is detected that a selection operation has been performed on the virtual object. For example, the operation detection area is set to a predetermined range centered on the 3D position set for the virtual object in the 3D coordinate space. The operation detection area may be set to the size (size) of the virtual object in the 3D coordinate space.
  • the operation detection unit 26 may also detect a selection cancellation operation. For example, based on the state information, the operation detection unit 26 uses a change from a predetermined state (for example, a gripped state) corresponding to the selection operation to another predetermined state (for example, an open state) as a selection cancellation operation. It may be detected. In addition, the operation detection unit 26 may detect a movement of a specific part to a position away from a region where a plurality of virtual objects are arranged as a predetermined distance as an operation for deselection.
  • a predetermined state for example, a gripped state
  • another predetermined state for example, an open state
  • the selection information acquisition unit 29 acquires selection information in the same manner as the selection information acquisition unit 105 described above.
  • the selection information acquisition unit 29 acquires selection information indicating the relative position information and selection order of the selected virtual object based on the selection operation detected by the operation detection unit 26.
  • the position information of the virtual object indicated by the selection information may be the above-described 3D position information.
  • the selection information acquisition unit 29 acquires the relative position information and the order of the virtual objects as selection information in the order of detection of the selection operation by the operation detection unit 26 until the selection cancellation is detected.
  • the deselection may be detected in response to the detection of the deselection operation by the operation detection unit 26, or is detected when the elapsed time from the first detection of the selection operation by the operation detection unit 26 exceeds a predetermined time. May be.
  • the selection information acquisition unit 29 may detect the deselection when the number of selected virtual objects reaches the upper limit value.
  • the lock control unit 30 releases the lock by comparing the selection information with the already registered selection information, similarly to the lock control unit 106 described above. For example, the lock control unit 30 releases the lock when the selection order of the virtual objects indicated by the selection information matches the selection order of the virtual objects indicated by the already registered selection information.
  • Selection information already registered may be held in the display-side device 20 or may be held in another computer.
  • FIG. 9 is a sequence chart showing an operation example of the system 1 in the first embodiment.
  • the sensor-side device 10 or the display-side device 20 will be described as an execution subject of each method.
  • the execution subject may be at least one computer constituting the system 1.
  • the sensor side device 10 sequentially acquires 3D information from the 3D sensor 8 (S101).
  • the 3D information includes information on the marker 7 as the common real object and the operator's specific part.
  • the sensor side device 10 operates as follows with respect to the 3D information of a predetermined frame rate.
  • the sensor side device 10 detects the common real object (marker 7) from the 3D information (S102). Subsequently, the sensor-side device 10 sets a 3D coordinate space based on the detected common real object, and calculates the position and orientation of the 3D sensor 8 in the 3D coordinate space (S103).
  • the sensor side device 10 calculates 3D position information of the specific part of the operator using the 3D information (S104). Further, the sensor-side device 10 sets the 3D position information calculated in the step (S104) in the step (S103) based on the position and orientation of the 3D sensor 8 and the 3D coordinate space calculated in the step (S103). It is converted into 3D position information in the 3D coordinate space (S105).
  • the sensor side device 10 further acquires state information of the specific part of the operator (S106).
  • the sensor side device 10 transmits 3D position information and state information regarding the specific part of the operator to the display side device 20 (S107).
  • FIG. 9 shows an example in which steps (S102) and (S103) are executed at a predetermined frame rate of 3D information for convenience of explanation, but steps (S102) and (S103) are executed only during calibration. You may be made to do. Further, the execution timing of (S106) is not limited to the timing shown in FIG.
  • the display-side device 20 is sequentially acquiring the line-of-sight images from the HMD 9 (S111) asynchronously with the acquisition of the 3D information (S101).
  • the display-side device 20 operates as follows on the line-of-sight image having a predetermined frame rate.
  • the display-side device 20 detects the same common real object (marker 7) as that detected by the sensor-side device 10 from the line-of-sight image (S112). Subsequently, the display-side device 20 sets a 3D coordinate space based on the detected common real object, and calculates the position and orientation of the HMD 9 in this 3D coordinate space (S113). Since the same marker 7 (common real object) is used, the 3D coordinate space is shared between the sensor side device 10 and the display side device 20.
  • the display side device 20 generates the 3D lock data as described above (S114).
  • This 3D lock data includes information on a plurality of virtual objects, such as the position, size, shape, display mode, etc. in the 3D coordinate space set in (S113). Such setting information regarding the virtual object is acquired by an arbitrary method.
  • the display-side device 20 Based on the 3D coordinate space set in (S113), the display-side device 20 displays the line-of-sight image acquired in (S111) and a plurality of virtual objects indicated by the 3D lock data generated in (S114). Synthesize (S115). The display-side device 20 displays the image obtained by the synthesis on the HMD 9 (S116).
  • the display-side device 20 When the display-side device 20 receives the 3D position information and state information regarding the specific part of the operator from the sensor-side device 10 (S117), the 3D position of the specific part of the operator in the 3D coordinate space and the 3D of each virtual object Based on the position, the selection operation using the specific part of the operator for the virtual object is detected (S118). In detecting this selection operation, the display-side device 20 acquires the relative position information of the selected virtual object.
  • the display-side device 20 updates the selection information in response to the detection of the selection operation in (S118) (S119). Specifically, the display-side device 20 reflects the relative position information of the virtual object on which the selection operation detected in (S118) is performed in the selection information according to the selection order. The display-side device 20 repeats (S120), (S118), and (S119) until the selection cancellation is detected. Thereby, the relative position information of the selected virtual object and the selection order are accumulated in the selection information.
  • the display-side device 20 When the display-side device 20 detects selection cancellation (S120; YES), the display-side device 20 collates the selection information updated in (S119) with the selection information already registered (S121). When the selection order of both virtual objects matches (S122; YES), the display-side device 20 releases the lock (S123). On the other hand, if the selection order of both virtual objects does not match (S122; NO), the display-side device 20 initializes the selection information without releasing the lock (S124). Thereafter, until the selection order of both virtual objects coincides (S122), the display-side device 20 repeatedly executes (S118) and subsequent steps.
  • FIG. 9 shows an example in which (S112) to (S115) are executed at a predetermined frame rate of the line-of-sight image, but (S112) and (S113) are executed only during calibration. , (S114) and (S115) may be executed at a timing when unlocking is necessary.
  • the sensor-side device 10 and the display-side device 20 share the 3D coordinate space based on the common real object (marker 7) shown in the image information obtained by each of the HMD 9 and the 3D sensor 8. Is done. Then, based on this 3D coordinate space, the line-of-sight image and a plurality of virtual objects for unlocking are combined, and this combined image is displayed on the HMD 9 attached to the operator's head.
  • a sensor (3D sensor 8) capable of measuring the position of a specific part of the operator is provided separately from the imaging unit (line-of-sight camera 9a and line-of-sight camera 9b) that obtains a line-of-sight image.
  • the imaging unit line-of-sight camera 9a and line-of-sight camera 9b
  • the positional relationship between the specific part of the operator and the virtual object is compared, and a selection operation using the specific part of the operator using the specific part for the virtual object is detected.
  • a plurality of virtual objects to be selected are displayed in a grid pattern, and unlocking is determined based on relative position information of each virtual object and its selection order.
  • a lock release function using a three-dimensional lock pattern is realized, in other words, a lock function in a three-dimensional user interface can be realized.
  • the operator can visually recognize a plurality of virtual objects as if they existed in the real world in front of his / her eyes, and selects the virtual objects using his / her specific part for unlocking. be able to. That is, according to the first embodiment, the operator can perform an operation for unlocking with an intuitive operation feeling as if the virtual object is in direct contact. Further, since the virtual object can be seen only by the operator, it is difficult for the third party to grasp what the operation (gesture) using the specific part of the operator is intended for. That is, according to the first embodiment, it is possible to prevent a selection operation (gesture) using a specific part of the operator for unlocking from leaking to a third party.
  • the virtual object selection operation is detected from the position and state of the specific part of the operator. Accordingly, if an operation (gesture) of grasping a virtual object with a hand as a specific part is detected as a selection operation, a more intuitive operational feeling can be given to the operator. Furthermore, by providing a specific state of a specific part corresponding to the selection operation, erroneous detection of the selection operation for the virtual object can be prevented. For example, even if a specific part of the operator touches the virtual object operation detection area unintentionally, the operation can be prevented from being detected as a virtual object selection operation. According to the first embodiment, the usability of the lock function in the three-dimensional user interface can be improved by such an intuitive operation and prevention of erroneous detection.
  • the system 1 in the second embodiment determines unlocking based on the sign assigned to the virtual object.
  • the system 1 in the second embodiment will be described focusing on the contents different from the first embodiment. In the following description, the same contents as those in the first embodiment are omitted as appropriate.
  • the sensor side device 10 and the display side device 20 have the same processing configuration as that of the first embodiment. Only the processing units having different processing contents from the first embodiment will be described below.
  • the virtual data generation unit 24 generates three-dimensional lock data indicating a plurality of virtual objects to which signs that can be identified by the operator are uniquely assigned.
  • the virtual data generation unit 24 sets, for example, at least one of a color, a number, a character, and a symbol for each virtual object so that each virtual object can be identified.
  • the virtual data generation unit 24 can arbitrarily determine the arrangement of a plurality of virtual objects on the 3D coordinate space.
  • the virtual data generation unit 24 can also change the arrangement of a plurality of virtual objects at predetermined timings. The predetermined timing can be arbitrarily determined, for example, for each display of the virtual object or for each lock.
  • the display processing unit 28 causes the HMD 9 to display a composite image of the virtual object and the line-of-sight image.
  • 10A and 10B are diagrams illustrating examples of a composite image displayed on the HMD 9 in the second embodiment.
  • a unique number as a sign is assigned to each virtual object
  • a unique color as a sign is assigned to each virtual object.
  • the selection information acquisition unit 29 acquires selection information indicating the signs attached to the selected virtual object and the selection order.
  • the selection information acquisition unit 29 acquires selection information indicating the number and selection order of the selected virtual object.
  • the selection information acquisition unit 29 selects the selected virtual object.
  • the selection information indicating the color and the selection order is acquired.
  • the selection information in the second embodiment indicates the sign as the identification information corresponding to the virtual object and the selection order.
  • the three-dimensional unlocking method in the second embodiment is the same as that in the first embodiment shown in FIG. 9 except that a sign is used as identification information corresponding to a virtual object.
  • the display-side device 20 may arbitrarily change the arrangement of the virtual objects. (S114) in FIG. 9 is executed again when releasing the locked state after releasing the lock (S123).
  • each virtual object is assigned a sign that can be identified by the operator, and a plurality of virtual objects are combined with the line-of-sight image and displayed on the HMD 9.
  • the operator can perform unlocking by sequentially selecting virtual objects in the order of selection of the virtual object signs as selection information already registered for unlocking.
  • the operator can remember a pattern for unlocking with the arrangement of the signs of the virtual objects, so that an unlocking function that is easy for the operator to remember and easy to use can be realized. .
  • the virtual object selection order is indicated by the virtual object signs, so the virtual object arrangement can be arbitrary, and the virtual object arrangement can be changed each time it is displayed. You can also. Therefore, according to the second embodiment, since the operation (gesture) using the operator's specific part for unlocking can be changed every time, the operator's specific part for unlocking can be given to a third party. It is possible to further prevent the selection operation (gesture) using the leak.
  • a sign is used as identification information corresponding to a virtual object.
  • the virtual data generation unit 24 generates three-dimensional lock data indicating a plurality of virtual objects each having at least one of a shape and a size that can be identified by the operator.
  • the operator can perform unlocking by sequentially selecting virtual objects in order of selection of at least one of the shape and size of the virtual objects for unlocking. Since each virtual object can be identified by its shape and size, the same effects as those of the second embodiment can be obtained in such a modification.
  • any combination of the signs, shapes, and sizes used in the second embodiment may be used as the identification information.
  • the virtual object selection operation is detected using the 3D position information and the state information of the specific part of the operator.
  • the state information is not used. obtain.
  • the state acquisition unit 15 of the sensor side device 10 becomes unnecessary, and the transmission unit 16 transmits only the 3D position information of the specific part of the operator to the display side device 20.
  • the operation detection unit 26 detects the selection operation for the virtual object based on the 3D position of the specific part of the operator and the 3D positions of the plurality of virtual objects without using the state information.
  • the operation detection unit 26 detects a selection operation on the virtual object when the specific part of the operator exists in the operation detection area of the virtual object. Further, the operation detection unit 26 may detect a selection operation on the virtual object when the specific part of the operator is stopped for a predetermined time or longer in the operation detection area of the virtual object.
  • the operation detection unit 26 may detect a selection operation on the virtual object as follows. For example, the operation detection unit 26 detects a specific operation only for the first selection operation, and does not select a specific part into the operation detection area of the virtual object instead of the specific operation. You may make it detect. Specifically, the operation detection unit 26 detects the initial selection of the virtual object by stopping the specific part in the operation detection area of the virtual object for a certain period of time, and selects subsequent selections of the specific part. It is detected only by entering the operation detection area. In this way, the virtual object selection operation for unlocking can be simplified.
  • FIG. 11 is a diagram conceptually illustrating a processing configuration example of the display-side device 20 in the modification.
  • the system 1 may have a function of registering selection information to be compared.
  • the display-side device 20 may further include a selection information registration unit 35 in addition to the configuration in each of the embodiments described above, as shown in FIG.
  • the display-side device 20 divides the processing between registration of selection information and unlocking, and when the selection information is registered, the selection information registration unit 35 uses the selection information acquired by the selection information acquisition unit 29 as the regular selection information. Is registered in the storage unit.
  • the storage unit may be held by the display-side device 20 or may be held by another computer.
  • the display processing unit 28 causes the HMD 9 to display a screen for allowing the operator to select at least one of position information, a sign, a shape, and a size used as identification information corresponding to the virtual object.
  • the operation detection unit 26 detects an operation of selecting the form of identification information corresponding to the virtual object, and the selection information acquisition unit 29 includes the type of identification information selected by the operator and the identification information of that type.
  • the selection information is registered in the selection information registration unit 35 in association with the selection information.
  • the operator has a form using the relative position information (corresponding to the first embodiment) and a form using at least one of the sign, size and shape (corresponding to the second embodiment and the modification). You can choose.
  • the operator may select a desired sign from among signs such as colors, numbers, and symbols.
  • the operator may further select a grid-like arrangement pattern of virtual objects on the screen.
  • the virtual data generation unit 24 may generate 3D lock data indicating a plurality of virtual objects arranged in the arrangement pattern selected by the operator.
  • an arrangement pattern in addition to the cube illustrated in the first embodiment, there can be various patterns such as a rectangular parallelepiped, a triangular pyramid, and a regular octahedron.
  • virtual object arrangement pattern information is registered together with regular selection information. In this way, since the arrangement and identification information of the virtual objects can be changed for each operator, it is possible to further prevent the leakage of the selection operation using the specific part of the operator for unlocking.
  • the HMD 9 includes the line-of-sight cameras 9 a and 9 b and the displays 9 c and 9 d corresponding to the eyes of the operator (user). You may make it have one display.
  • one display may be arranged so as to cover the visual field of one eye of the operator, or may be arranged so as to cover the visual field of both eyes of the operator.
  • the virtual data generation unit 24 of the display-side device 20 may generate 3D lock data using a well-known 3DCG technique so that the virtual object can be displayed in 3DCG.
  • the video see-through type HMD 9 is used to obtain the line-of-sight image, but an optical see-through type HMD 9 may be used.
  • the HMD 9 may be provided with half-mirror displays 9c and 9d, and virtual objects may be displayed on the displays 9c and 9d.
  • a camera for obtaining an image for detecting the common real object in the line of sight of the operator is provided at a location that does not block the visual field of the operator of the HMD 9.
  • the sensor-side device 10 and the display-side device 20 are provided separately, and a virtual object is synthesized with the visual line image of the target person.
  • a virtual object is synthesized with the visual line image of the target person.
  • an image in which a virtual object is combined with a 2D image included in 3D information obtained by the sensor-side device 10 may be displayed.
  • FIG. 12 is a diagram conceptually illustrating a hardware configuration example of the system 1 in the modified example.
  • the system 1 includes a processing device 50, a 3D sensor 8, and a display device 51.
  • the processing device 50 includes a CPU 2, a memory 3, an input / output I / F 5, and the like.
  • the input / output I / F 5 is connected to the 3D sensor 8 and the display device 51.
  • the display device 51 displays a composite image.
  • FIG. 13 is a diagram conceptually illustrating a processing configuration example of the processing device 50 in the modification.
  • the processing device 50 in the modification includes the 3D information acquisition unit 11, the position calculation unit 14, and the state acquisition unit 15 included in the sensor side device 10 in each of the above-described embodiments, and the display side device 20 in each of the above-described embodiments. Includes a virtual data generation unit 24, an operation detection unit 26, an image composition unit 27, a display processing unit 28, a selection information acquisition unit 29, and a lock control unit 30.
  • These processing units are the same as those in the above-described embodiments except for the following points.
  • the position calculation unit 14 obtains the 3D position information of the specific part of the subject directly from the 3D information obtained from the 3D sensor 8 by the 3D information acquisition unit 11.
  • the operation detection unit 26 detects a selection operation on the virtual object based on the 3D position information of the camera coordinate system calculated by the position calculation unit 14 and the state information obtained by the state acquisition unit 15.
  • the image composition unit 27 synthesizes the 2D image included in the 3D information obtained by the 3D information acquisition unit 11 and the virtual object indicated by the 3D lock data generated by the virtual data generation unit 24.
  • the subject operates the virtual object while viewing his / her video imaged from a direction (3D sensor 8) other than his / her own line-of-sight direction. Therefore, in this modified example, intuition may be reduced as compared to the above-described embodiments using the subject's own line-of-sight image, but unlocking is performed by a three-dimensional operation on a virtual object using a specific part. can do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　３次元ロック解除装置（１００）は、３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成する仮想データ生成部（１０１）と、当該複数の仮想オブジェクトを表示部に表示させる表示処理部（１０２）と、操作者の特定部位に関する３次元座標空間上の３次元位置を取得する位置取得部（１０３）と、特定部位を用いた操作者の仮想オブジェクトに対する選択操作を検出する操作検出部（１０４）と、検出された選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得する選択情報取得部（１０５）と、取得された選択情報と既に登録されている選択情報とを比較することにより、ロックを解除するロック制御部（１０６）と、を有する。

Description

[規則37.2に基づきISAが決定した発明の名称]　３次元ロック解除装置、３次元ロック解除方法及びプログラム
　本発明は、３次元ユーザインタフェース技術に関する。
　スマートフォンやタブレット型端末のような携帯端末や、パーソナルコンピュータ（ＰＣ）等には、個人情報の漏洩や不正利用を防ぐために、ロック機能が設けられている。ロック機能には、画面操作を不可能にする画面ロック機能に加えて、特定の操作を不可能とするロック機能等も存在する。 　
　ＡＮＤＲＯＩＤ（登録商標）を搭載する携帯端末は、縦横３つずつ並ぶ９つのポイントをなぞることで得られる軌跡パターンが、予め登録されている軌跡パターンと合致した場合に画面ロックを解除する画面ロック機能を持つ。
　下記特許文献１では、タッチパネル上に残る指紋跡からロックパターンが第三者に推測される危険性を低減させるために、ユーザがロックパターンを指定する際にタッチパネル上で毎回同じ位置をなぞることがないようにする手法が提案されている。
特開２０１３－１６１１５号報
　上記提案手法やＡＮＤＲＯＩＤ（登録商標）で採用される手法は、タッチパネルを用いた２次元のユーザインタフェースを対象としている。一方、近年、ＫＩＮＥＣＴ（登録商標）等の距離センサやＷＥＢカメラ等を使用して、ユーザの３次元の動作を検出し、検出された動作に応じて機器を制御するユーザインタフェースが普及しつつある。このような３次元操作を扱うユーザインタフェースにおいて上述のようなロック機能を実現する手法については現状存在しない。
　本発明は、上述のような事情に鑑みてなされたものであり、操作者の３次元操作に伴いロックを解除する技術を提供することにある。
　本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
　第１の側面に係る３次元ロック解除装置は、３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成する仮想データ生成部と、３次元ロックデータにより示される複数の仮想オブジェクトを表示部に表示させる表示処理部と、操作者の特定部位に関する３次元座標空間上の３次元位置を取得する位置取得部と、位置取得部により取得される３次元位置及び複数の仮想オブジェクトの３次元位置を用いて、特定部位を用いた操作者の仮想オブジェクトに対する選択操作を検出する操作検出部と、操作検出部により検出される選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得する選択情報取得部と、選択情報取得部により取得される選択情報と既に登録されている選択情報とを比較することにより、ロックを解除するロック制御部と、を有する。
　第２の側面に係る３次元ロック解除方法は、少なくとも１つのコンピュータにより実行される。第２の側面に係る３次元ロック解除方法は、３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成し、３次元ロックデータにより示される複数の仮想オブジェクトを表示部に表示させ、操作者の特定部位に関する３次元座標空間上の３次元位置を取得し、取得された３次元位置及び複数の仮想オブジェクトの３次元位置を用いて、当該特定部位を用いた操作者の仮想オブジェクトに対する選択操作を検出し、検出された選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得し、取得された選択情報と既に登録されている選択情報とを比較することにより、ロックを解除する、ことを含む。
　なお、本発明の他の側面として、上記第２の側面における方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
　上記各側面によれば、操作者の３次元操作に伴いロックを解除する技術を提供することができる。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本発明の実施の形態に係る３次元ロック解除装置の構成例を概念的に示す図である。 第１実施形態における３次元ユーザインタフェースシステムのハードウェア構成例を概念的に示す図である。 第１実施形態における３次元ユーザインタフェースシステムの利用形態の例を示す図である。 ヘッドマウントディスプレイ（ＨＭＤ）の外観構成の例を示す図である。 第１実施形態におけるセンサ側装置の処理構成例を概念的に示す図である。 第１実施形態における表示側装置の処理構成例を概念的に示す図である。 第１実施形態で生成される３次元ロックデータが示す仮想オブジェクトの例を示す図である。 第１実施形態におけるヘッドマウントディスプレイ（ＨＭＤ）に表示される合成画像の例を示す図である。 第１実施形態における３次元ユーザインタフェースシステムの動作例を示すシーケンスチャートである。 第２実施形態におけるヘッドマウントディスプレイ（ＨＭＤ）に表示される合成画像の例を示す図である。 第２実施形態におけるヘッドマウントディスプレイ（ＨＭＤ）に表示される合成画像の例を示す図である。 変形例における表示側装置の処理構成例を概念的に示す図である。 変形例における３次元ユーザインタフェースシステムのハードウェア構成例を概念的に示す図である。 変形例における処理装置の処理構成例を概念的に示す図である。
　以下、本発明の実施の形態について説明する。なお、以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。
　図１は、本発明の実施の形態に係る３次元ロック解除装置１００の構成例を概念的に示す図である。図１に示されるように、３次元ロック解除装置１００は、３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成する仮想データ生成部１０１と、３次元ロックデータにより示される複数の仮想オブジェクトを表示部に表示させる表示処理部１０２と、操作者の特定部位に関する３次元座標空間上の３次元位置を取得する位置取得部１０３と、位置取得部１０３により取得される３次元位置及び複数の仮想オブジェクトの３次元位置を用いて、特定部位を用いた操作者の仮想オブジェクトに対する選択操作を検出する操作検出部１０４と、操作検出部１０４により検出される選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得する選択情報取得部１０５と、選択情報取得部１０５により取得される選択情報と既に登録されている選択情報とを比較することにより、ロックを解除するロック制御部１０６と、を有する。
　図１に示される３次元ロック解除装置１００は、例えば、後述する詳細実施形態における３次元ユーザインタフェースシステム１と同様のハードウェア構成を有し、その３次元ユーザインタフェースシステム１と同様にプログラムが処理されることで、上述の各処理部が実現される。表示部は、３次元ロック解除装置１００と通信可能に接続される。
　本実施形態における３次元ロック解除方法は、上述の３次元ロック解除装置１００のような少なくとも１つのコンピュータにより実行される。本３次元ロック解除方法は、３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成し、３次元ロックデータにより示される複数の仮想オブジェクトを表示部に表示させ、操作者の特定部位に関する３次元座標空間上の３次元位置を取得し、取得された３次元位置及び複数の仮想オブジェクトの３次元位置を用いて、当該特定部位を用いた操作者の仮想オブジェクトに対する選択操作を検出し、検出された選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得し、取得された選択情報と既に登録されている選択情報とを比較することにより、ロックを解除する、ことを含む。
　本実施形態では、３次元ロックデータが生成され、この３次元ロックデータで示される複数の仮想オブジェクトが表示される。一方で、３次元ロックデータで用いられる３次元座標空間と同じ３次元座標空間における、操作者の特定部位の３次元位置が取得される。そして、操作者の特定部位及び複数の仮想オブジェクトの各３次元位置に基づいて、特定部位を用いた操作者の仮想オブジェクトに対する選択操作が検出される。特定部位とは、３次元ユーザインタフェースで操作位置を指し示すための操作者の体の一部又は全部である。操作者の特定部位の３次元位置は、周知の手法で取得されればよく、本実施形態ではその取得方法は制限されない。
　本実施形態では、検出された各選択操作に応じて選択情報が取得され、その選択情報と既に登録されている選択情報との比較により、ロックが解除される。例えば、選択情報により示される仮想オブジェクトの選択順が両者間で一致する場合に、ロックが解除される。選択情報は、仮想オブジェクトの選択順と、選択された各仮想オブジェクトに対応する識別情報とを示す。識別情報は、各仮想オブジェクトをそれぞれ識別し得る情報であればよく、本実施形態では、その具体的内容は制限されない。識別情報の具体的態様は、後述する詳細実施形態において詳述する。既に登録されている選択情報は、３次元ロック解除装置１００に保持されていてもよいし、他のコンピュータにより保持されていてもよい。また、本実施形態で解除されるロックは、画面ロックであってもよいし、他の処理のロックであってもよい。
　このように、本実施形態では、３次元座標空間上に配置される複数の仮想オブジェクトに対する操作者の特定部位を用いた３次元操作により、ロックを解除するか否かが判断される。従って、本実施形態によれば、３次元操作に伴うロック解除が実現される。
　以下、上述の実施形態について更に詳細を説明する。以下には、詳細実施形態として第１実施形態及び第２実施形態を例示する。以下の各詳細実施形態は、上述の３次元ロック解除装置１００及び３次元ロック解除方法を３次元ユーザインタフェースシステムに適用した場合の例である。但し、以下の各詳細実施形態では、ロック解除に関連する処理のみが説明され、ロック解除以外の処理内容については、周知の技術が利用されればよいため、特に説明されない。
　［第１実施形態］
　〔システム構成〕
　図２は、第１実施形態における３次元ユーザインタフェースシステム（以降、単にシステムと表記する）１のハードウェア構成例を概念的に示す図である。第１実施形態におけるシステム１は、センサ側構成と表示側構成とを持つ。センサ側構成は、３次元センサ（以降、３Ｄセンサと表記する）８及びセンサ側装置１０から形成される。表示側構成は、ヘッドマウントディスプレイ（以降、ＨＭＤと表記する）９及び表示側装置２０から形成される。以降、３次元を３Ｄ、２次元を２Ｄと適宜省略して表記する。
　図３は、第１実施形態におけるシステム１の利用形態の例を示す図である。図３に示されるように、３Ｄセンサ８は、操作者（ユーザ）の特定部位を検出できる位置に配置される。ＨＭＤ９は、操作者（ユーザ）の頭部に装着され、操作者にとっての視線画像を撮像すると共に、その視線画像に合成された上述の複数の仮想オブジェクトを表示する。操作者は、ＨＭＤ９の表示部に表示される映像を見ながら、ロック解除のために、その映像に写る仮想オブジェクトに対して選択操作を行う。
　３Ｄセンサ８は、操作者の特定部位の検出などのために利用される３Ｄ情報を検出する。３Ｄセンサ８は、例えば、Ｋｉｎｅｃｔ（登録商標）のように、可視光カメラ及び距離画像センサにより実現される。距離画像センサは、深度センサとも呼ばれ、レーザから近赤外光のパターンを操作者に照射し、そのパターンを近赤外光を検知するカメラで撮像して得られる情報から距離画像センサから操作者までの距離（深度）が算出される。なお、３Ｄセンサ８自体の実現手法は制限されず、３Ｄセンサ８は、複数の可視光カメラを用いる３次元スキャナ方式で実現されてもよい。また、図２では、３Ｄセンサ８が１つ要素で図示されるが、３Ｄセンサ８は、操作者の２次元画像を撮像する可視光カメラ及び操作者までの距離を検出するセンサといった複数の機器で実現されてもよい。
　本実施形態では、図３に示されるように、既知の形状を示すマーカ７により、表示側構成及びセンサ側構成において共通の３次元座標空間が設定される。但し、共通の３次元座標空間を設定するための共通実オブジェクトは、専用のマーカ７のみに制限されない。その共通実オブジェクトから、参照方向によらず、或る基準点及びこの基準点からの相互に直交する３軸の方向を一定に得ることができるのであれば、この共通実オブジェクトの具体的形態は制限されない。例えば、マーカ７は、現実世界に配置された画像や物で代用され得る。
　図４は、ＨＭＤ９の外観構成の例を示す図である。図４には、ビデオシースルー型と呼ばれるＨＭＤ９の構成が示されている。図４の例では、ＨＭＤ９は、２つの視線カメラ９ａ及び９ｂ、２つのディスプレイ９ｃ及び９ｄを有する。各視線カメラ９ａ及び９ｂは、ユーザの各視線に対応する各視線画像をそれぞれ撮像する。これにより、ＨＭＤ９は撮像部と呼ぶこともできる。各ディスプレイ９ｃ及び９ｄは、ユーザの視野の大部分を覆う形に配置され、各視線画像に仮想３Ｄ操作領域が合成された合成３Ｄ画像を表示する。これにより、各ディスプレイ９ｃ及び９ｄは、表示部と呼ぶこともできる。
　センサ側装置１０及び表示側装置２０は、バスなどで相互に接続される、ＣＰＵ（Central Processing Unit）２、メモリ３、通信装置４、入出力インタフェース（Ｉ／Ｆ）５などをそれぞれ有する。メモリ３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク、可搬型記憶媒体などである。
　センサ側装置１０の入出力Ｉ／Ｆ５は、３Ｄセンサ８と接続され、表示側装置２０の入出力Ｉ／Ｆ５は、ＨＭＤ９と接続される。入出力Ｉ／Ｆ５と３Ｄセンサ８との間、及び、入出力Ｉ／Ｆ５とＨＭＤ９との間は無線により通信可能に接続されてもよい。各通信装置４は、無線又は有線にて、他の装置（センサ側装置１０、表示側装置２０など）と通信を行う。本実施形態は、このような通信の形態を制限しない。また、センサ側装置１０及び表示側装置２０の具体的ハードウェア構成についても制限されない。
　〔処理構成〕
　〈センサ側装置〉
　図５は、第１実施形態におけるセンサ側装置１０の処理構成例を概念的に示す図である。第１実施形態におけるセンサ側装置１０は、３Ｄ情報取得部１１、第１オブジェクト検出部１２、基準設定部１３、位置算出部１４、状態取得部１５、送信部１６などを有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ５を介してインストールされ、メモリ３に格納されてもよい。
　３Ｄ情報取得部１１は、３Ｄセンサ８により検出された３Ｄ情報を逐次取得する。３Ｄ情報は、可視光により得られる操作者の２Ｄ画像と、３Ｄセンサ８からの距離（深度）の情報とを含む。３Ｄセンサ８は、可視光カメラと深度センサといった複数の機器により構成されてもよい。
　第１オブジェクト検出部１２は、３Ｄ情報取得部１１により取得された３Ｄ情報から既知の共通実オブジェクトを検出する。本実施形態では、共通実オブジェクトとして、図３に示されるマーカ７が利用される。第１オブジェクト検出部１２は、マーカ７が示す形状、サイズ、色などについての情報を予め保持しており、このような既知の情報を用いて、マーカ７を３Ｄ情報から検出する。
　基準設定部１３は、第１オブジェクト検出部１２により検出されるマーカ７に基づいて、３Ｄ座標空間を設定し、かつ、この３Ｄ座標空間における３Ｄセンサ８の位置及び向きを算出する。例えば、基準設定部１３は、マーカ７から抽出される基準点を原点とし、その基準点からの相互に直交する３方向を各軸とする３Ｄ座標空間を設定する。基準設定部１３は、マーカ７に関する既知の形状及びサイズと、３Ｄ情報から抽出されたマーカ７が示す形状及びサイズとの比較により、３Ｄセンサ８の位置及び向きを算出する。
　位置算出部１４は、３Ｄ情報取得部１１により逐次取得される３Ｄ情報を用いて、操作者の特定部位に関する上記３Ｄ座標空間上の３Ｄ位置情報を逐次算出する。本実施形態では、位置算出部１４は、具体的に次のように当該３Ｄ位置情報を算出する。位置算出部１４は、まず、３Ｄ情報取得部１１により取得される３Ｄ情報から操作者の特定部位の３Ｄ位置情報を抽出する。ここで抽出される３Ｄ位置情報は、３Ｄセンサ８のカメラ座標系に対応する。そこで、位置算出部１４は、基準設定部１３により算出される３Ｄセンサ８の位置及び向き並びに３Ｄ座標空間に基づいて、３Ｄセンサ８のカメラ座標系に対応する３Ｄ位置情報を基準設定部１３で設定された３Ｄ座標空間上の３Ｄ位置情報に変換する。この変換は、３Ｄセンサ８のカメラ座標系から、上記マーカ７に基づき設定される３Ｄ座標系への変換を意味する。
　ここで、検出すべき操作者の特定部位は複数であってもよい。例えば、複数の特定部位として操作者の両手が利用される形態があり得る。この場合、位置算出部１４は、３Ｄ情報取得部１１により取得される３Ｄ情報から、複数の特定部位の３Ｄ位置情報をそれぞれ抽出し、この各３Ｄ位置情報を３Ｄ座標空間上の各３Ｄ位置情報にそれぞれ変換する。また、特定部位とは、操作者が操作を行うために用いる体の一部であるため、或る程度の面積又は体積を有する。よって、位置算出部１４により算出される３Ｄ位置情報は、当該特定部位の中の或る１点の位置情報であってもよいし、複数点の位置情報であってもよい。
　状態取得部１５は、操作者の特定部位の状態情報を取得する。特定部位の状態情報とは、特定部位の形状に関わる状態を特定し得る情報であり、例えば、握った状態、開いた状態、親指を立てた状態などを示す。この特定部位は、位置算出部１４で検出対象とされる特定部位と同一である。本実施形態は、検出可能な範囲で、この状態情報が示し得る状態の数を制限しない。また、複数の特定部位が利用される場合には、状態取得部１５は、各特定部位に関する状態情報をそれぞれ取得する。
　状態取得部１５は、例えば、当該特定部位の識別すべき各状態に対応する画像特徴情報を予めそれぞれ保持しておき、３Ｄ情報取得部１１により取得される３Ｄ情報に含まれる２Ｄ画像から抽出される特徴情報と、その予め保持される各画像特徴情報との比較により、当該特定部位の状態情報を取得する。また、状態取得部１５は、当該特定部位に装着されたひずみセンサ（図示せず）から得られる情報から、当該特定部位の状態情報を取得してもよい。また、状態取得部１５は、操作者の手で操作される入力マウス（図示せず）からの情報から、当該状態情報を取得してもよい。更に、状態取得部１５は、マイクロフォン（図示せず）により得られる音声を認識することで当該状態情報を取得してもよい。
　送信部１６は、操作者の特定部位に関する、位置算出部１４により算出された当該３Ｄ座標空間上の３Ｄ位置情報と、状態取得部１５により取得された操作者の特定部位に関する状態情報を表示側装置２０に送信する。
　〈表示側装置〉
　図６は、第１実施形態における表示側装置２０の処理構成例を概念的に示す図である。第１実施形態における表示側装置２０は、視線画像取得部２１、第２オブジェクト検出部２２、座標設定部２３、仮想データ生成部２４、操作情報取得部２５、操作検出部２６、画像合成部２７、表示処理部２８、選択情報取得部２９、ロック制御部３０などを有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ５を介してインストールされ、メモリ３に格納されてもよい。
　視線画像取得部２１は、操作者の視線画像を取得する。視線画像とは、操作者の目が向いている方向と略同じ方向から撮像される画像である。但し、視線画像は、操作者に見えている（見える）画像と完全に一致しなくてもよい。操作者が仮想オブジェクトの選択操作を行う場合、視線画像には、センサ側装置１０により検出される操作者の特定部位と同じ特定部位が写る。本実施形態では、視線カメラ９ａ及び９ｂが設けられているため、視線画像取得部２１は、左目及び右目の各々に対応する各視線画像をそれぞれ取得する。なお、各処理部は、左目及び右目に対応する両視線画像に対してそれぞれ同様に処理されるため、以下の説明では、１つの視線画像を対象に説明する。
　第２オブジェクト検出部２２は、視線画像取得部２１により取得される視線画像から、センサ側装置１０で検出されるものと同じ既知の共通実オブジェクトを検出する。即ち、本実施形態では、第２オブジェクト検出部２２は、図３に示されるマーカ７を検出する。第２オブジェクト検出部２２の処理は、上述のセンサ側装置１０の第１オブジェクト検出部１２と同様であるため、ここでは詳細説明を省く。なお、視線画像に含まれるマーカ７は、３Ｄセンサ８で得られる３Ｄ情報に含まれるマーカ７とは、撮像方向が異なる。
　座標設定部２３は、第２オブジェクト検出部２２により検出されたマーカ７に基づいて、センサ側装置１０の基準設定部１３により設定されたものと同じ３Ｄ座標空間を設定し、かつ、ＨＭＤ９の位置及び向きを算出する。座標設定部２３の処理についても、センサ側装置１０の基準設定部１３と同様であるため、ここでは詳細説明を省く。座標設定部２３により設定される３Ｄ座標空間も、センサ側装置１０の基準設定部１３により設定される３Ｄ座標空間と同じ共通の実オブジェクト（マーカ７）に基づいて設定されるため、結果として、３Ｄ座標空間がセンサ側装置１０と表示側装置２０との間で共有されることになる。
　仮想データ生成部２４は、座標設定部２３により設定された３Ｄ座標空間上に任意に配置される複数の仮想オブジェクトを示す３Ｄロックデータを生成する。即ち、仮想データ生成部２４は、上述の仮想データ生成部１０１に相当する。
　図７は、第１実施形態で生成される３Ｄロックデータが示す仮想オブジェクトの例を示す図である。なお、図７に示される点線は、仮想オブジェクトの配列を見易いように補足的に示したものであり、ＨＭＤ９には表示されない。また、図７には、球体の仮想オブジェクトが示されるが、第１実施形態では、仮想オブジェクトの数、形、色、サイズは制限されない。仮想オブジェクトは半透明化されてもよい。
　図７に示されるように、第１実施形態では、仮想データ生成部２４は、当該３Ｄ座標空間において当該複数の仮想オブジェクトが格子状に所定の並びで配置される３Ｄロックデータを生成する。図７の例では、３Ｄ座標空間の各次元について３つずつ立方体状に並ぶ２７個の仮想オブジェクトが示される。
　これにより、各仮想オブジェクトは、３Ｄ座標空間上の位置を示す情報に加えて、格子状の配置の中の相対的な位置情報をそれぞれ持つことになる。以降、仮想オブジェクトの位置情報のうち、３Ｄ座標空間上の位置を示す情報を３Ｄ位置情報と表記し、仮想オブジェクトの格子状の配置の中の相対的な位置を示す情報を相対位置情報と表記する。図７の例では、各仮想オブジェクトは、次のような相対位置情報をそれぞれ持つ。相対位置情報は、ｘ方向の位置、ｙ方向の位置、ｚ方向の位置により、（ｘ、ｙ、ｚ）により示される。
　仮想オブジェクトＯＢ１：相対位置情報（１，３，１）
　仮想オブジェクトＯＢ２：相対位置情報（１，３，３）
　仮想オブジェクトＯＢ３：相対位置情報（３，３，１）
　仮想オブジェクトＯＢ４：相対位置情報（１，１，３）
　仮想オブジェクトＯＢ５：相対位置情報（３，１，１）
　画像合成部２７は、ＨＭＤ９の位置及び向き並びに３Ｄ座標空間及び３Ｄロックデータに基づいて、視線画像取得部２１で取得された視線画像に仮想オブジェクトを合成する。このとき、仮想オブジェクトの３Ｄ座標空間上の位置は、視線画像に写る空間に相当する３Ｄ座標空間内の視認空間を表示基準として決定される。また、本実施形態では、画像合成部２７は、視線カメラ９ａ及び９ｂで撮像された各視線画像に基づく各合成画像をそれぞれ生成する。なお、画像合成部２７による合成処理には、拡張現実（ＡＲ）等で用いられる周知の手法が利用されればよいため、ここでは詳細説明を省略する。
　表示処理部２８は、上述の表示処理部１０２と同様に、複数の仮想オブジェクトをＨＭＤ９に表示させる。本実施形態では、表示処理部２８は、仮想オブジェクトと視線画像との合成画像をＨＭＤ９に表示させる。これにより、ディスプレイ９ｃ及び９ｄにそれぞれ操作者の各視線に対応する各合成画像がそれぞれ表示されるため、操作者は、両眼視差により、視線画像及び仮想オブジェクトを立体的に視認することができる。
　図８は、ＨＭＤ９に表示される合成画像の例を示す図である。なお、図８に示される点線は、仮想オブジェクトの配列を見易いように補足的に示したものであり、ＨＭＤ９には表示されない。操作者は、図８に示されるような、視線画像と複数の仮想オブジェクトとの合成画像をディスプレイ９ｃ及び９ｄを通じて見る。図８の例に示される合成画像は、視線画像に写る実世界のテーブルＲＴと、格子状に並ぶ９つの仮想オブジェクトを含む。表示処理部２８は、図８に示されるように、選択された仮想オブジェクトを変色させ、選択順に対応する仮想オブジェクトの選択軌跡を表示させることもできる。
　操作情報取得部２５は、操作者の特定部位に関する３Ｄ座標空間上の３Ｄ位置情報と、操作者の特定部位に関する状態情報をセンサ側装置１０から受信する。これにより、操作情報取得部２５は、上述の位置取得部１０３に相当する。
　操作検出部２６は、操作者の特定部位に関する３Ｄ位置情報及び複数の仮想オブジェクトの３Ｄ位置情報、並びに、操作者の特定部位に関する状態情報を用いて、当該特定部位を用いた操作者の仮想オブジェクトに対する選択操作を検出する。例えば、操作検出部２６は、各仮想オブジェクトに対する操作検出領域をそれぞれ認識しており、その操作検出領域内に操作者の特定部位が入り、かつ、状態情報が所定の状態（例えば、握った状態）を示す場合に、その仮想オブジェクトに対し選択操作が行われたことを検出する。操作検出領域は、例えば、３Ｄ座標空間上で仮想オブジェクトに設定される３Ｄ位置を中心にした所定の範囲に設定される。操作検出領域は、３Ｄ座標空間上の仮想オブジェクトの大きさ（サイズ）に設定されてもよい。
　また、操作検出部２６は、選択解除の操作も検出するようにしてもよい。例えば、操作検出部２６は、当該状態情報に基づいて、選択操作に対応する所定状態（例えば、握った状態）から他の所定状態（例えば、開いた状態）への変化を選択解除の操作として検出してもよい。また、操作検出部２６は、複数の仮想オブジェクトが並ぶ領域から所定距離離れた位置への特定部位の移動を、選択解除の操作として検出するようにしてもよい。
　選択情報取得部２９は、上述の選択情報取得部１０５と同様に、選択情報を取得する。本実施形態では、選択情報取得部２９は、操作検出部２６により検出された選択操作に基づいて、選択された仮想オブジェクトの相対位置情報と選択順とを示す選択情報を取得する。但し、選択情報が示す仮想オブジェクトの位置情報は、上述の３Ｄ位置情報であってもよい。選択情報取得部２９は、選択解除を検出するまで、操作検出部２６による選択操作の検出順に、仮想オブジェクトの相対位置情報及びその順番を選択情報として取得する。選択解除は、操作検出部２６による選択解除の操作の検出に応じて検出されてもよいし、操作検出部２６による選択操作の最初の検出からの経過時間が所定時間を超えたことにより検出されてもよい。また、選択情報取得部２９は、選択された仮想オブジェクトの数が上限値に達したことにより、選択解除を検出するようにしてもよい。
　ロック制御部３０は、上述のロック制御部１０６と同様に、当該選択情報と既に登録されている選択情報との比較により、ロックを解除する。例えば、ロック制御部３０は、当該選択情報により示される仮想オブジェクトの選択順と、既に登録されている選択情報により示される仮想オブジェクトの選択順とが一致する場合に、ロックを解除する。既に登録されている選択情報は、表示側装置２０に保持されていてもよいし、他のコンピュータに保持されていてもよい。
　〔動作例〕
　以下、第１実施形態における３次元ロック解除方法について図９を用いて説明する。図９は、第１実施形態におけるシステム１の動作例を示すシーケンスチャートである。以下では、センサ側装置１０又は表示側装置２０を各方法の実行主体として説明するが、実行主体は、システム１を構成する少なくとも１つのコンピュータとされてもよい。
　センサ側装置１０は、３Ｄセンサ８から３Ｄ情報を逐次取得する（Ｓ１０１）。３Ｄ情報には、共通実オブジェクトとしてのマーカ７及び操作者の特定部に関する情報が含まれる。センサ側装置１０は、所定のフレームレートの当該３Ｄ情報に対して次のように動作する。
　センサ側装置１０は、当該３Ｄ情報から共通実オブジェクト（マーカ７）を検出する（Ｓ１０２）。続いて、センサ側装置１０は、検出された共通実オブジェクトに基づいて、３Ｄ座標空間を設定し、かつ、この３Ｄ座標空間における３Ｄセンサ８の位置及び向きを算出する（Ｓ１０３）。
　更に、センサ側装置１０は、当該３Ｄ情報を用いて、操作者の特定部位の３Ｄ位置情報を算出する（Ｓ１０４）。更に、センサ側装置１０は、工程（Ｓ１０３）で算出された３Ｄセンサ８の位置及び向き並びに３Ｄ座標空間に基づいて、工程（Ｓ１０４）で算出された３Ｄ位置情報を工程（Ｓ１０３）で設定された３Ｄ座標空間上の３Ｄ位置情報に変換する（Ｓ１０５）。
　センサ側装置１０は、操作者の特定部位の状態情報を更に取得する（Ｓ１０６）。
　センサ側装置１０は、操作者の特定部位に関する３Ｄ位置情報及び状態情報を表示側装置２０に送信する（Ｓ１０７）。
　図９では、説明の便宜のため、工程（Ｓ１０２）及び（Ｓ１０３）が３Ｄ情報の所定のフレームレートで実行される例が示されるが、工程（Ｓ１０２）及び（Ｓ１０３）はキャリブレーション時のみ実行されるようにしてもよい。また、（Ｓ１０６）の実行タイミングは、図９に示されるタイミングに制限されない。
　一方で、表示側装置２０は、３Ｄ情報の取得（Ｓ１０１）とは非同期で、ＨＭＤ９から視線画像を逐次取得している（Ｓ１１１）。表示側装置２０は、所定のフレームレートの当該視線画像に対して次のように動作する。
　表示側装置２０は、当該視線画像からセンサ側装置１０で検出されるものと同じ共通実オブジェクト（マーカ７）を検出する（Ｓ１１２）。続いて、表示側装置２０は、検出された共通実オブジェクトに基づいて、３Ｄ座標空間を設定し、かつ、この３Ｄ座標空間におけるＨＭＤ９の位置及び向きを算出する（Ｓ１１３）。同じマーカ７（共通実オブジェクト）が用いられるため、センサ側装置１０と表示側装置２０との間で３Ｄ座標空間が共有されることになる。
　表示側装置２０は、上述のような３Ｄロックデータを生成する（Ｓ１１４）。この３Ｄロックデータは、複数の仮想オブジェクトに関する、（Ｓ１１３）で設定された３Ｄ座標空間上の位置、サイズ、形状、表示態様等の情報を含む。このような仮想オブジェクトに関する設定情報は任意の手法により取得される。
　表示側装置２０は、（Ｓ１１３）で設定された３Ｄ座標空間に基づいて、（Ｓ１１１）で取得された視線画像と、（Ｓ１１４）で生成された３Ｄロックデータにより示される複数の仮想オブジェクトとを合成する（Ｓ１１５）。表示側装置２０は、その合成により得られた画像をＨＭＤ９に表示させる（Ｓ１１６）。
　表示側装置２０は、センサ側装置１０から、操作者の特定部位に関する３Ｄ位置情報及び状態情報を受信すると（Ｓ１１７）、３Ｄ座標空間における操作者の特定部位の３Ｄ位置と、各仮想オブジェクトの３Ｄ位置とに基づいて、仮想オブジェクトに対する操作者の特定部位を用いた選択操作を検出する（Ｓ１１８）。この選択操作の検出において、表示側装置２０は、選択された仮想オブジェクトの相対位置情報を取得する。
　表示側装置２０は、（Ｓ１１８）の選択操作の検出に応じて、選択情報を更新する（Ｓ１１９）。具体的には、表示側装置２０は、（Ｓ１１８）で検出された選択操作が行われた仮想オブジェクトの相対位置情報を、選択順番に応じて、選択情報に反映する。表示側装置２０は、選択解除を検出するまで（Ｓ１２０）、（Ｓ１１８）及び（Ｓ１１９）を繰り返す。これにより、選択情報には、選択された仮想オブジェクトの相対位置情報とその選択された順番とが蓄積される。
　表示側装置２０は、選択解除を検出すると（Ｓ１２０；ＹＥＳ）、（Ｓ１１９）で更新された選択情報と既に登録されている選択情報とを照合する（Ｓ１２１）。表示側装置２０は、両者の仮想オブジェクトの選択順が一致すると（Ｓ１２２；ＹＥＳ）、ロックを解除する（Ｓ１２３）。一方、表示側装置２０は、両者の仮想オブジェクトの選択順が一致しない場合（Ｓ１２２；ＮＯ）、ロックを解除せず、選択情報を初期化する（Ｓ１２４）。以降、両者の仮想オブジェクトの選択順が一致するまで（Ｓ１２２）、表示側装置２０は、（Ｓ１１８）以降を繰り返し実行する。
　図９では、説明の便宜のため、（Ｓ１１２）から（Ｓ１１５）が視線画像の所定のフレームレートで実行される例が示されるが、（Ｓ１１２）及び（Ｓ１１３）は、キャリブレーション時のみ実行され、（Ｓ１１４）及び（Ｓ１１５）は、ロック解除が必要なタイミングで実行されるようにしてもよい。
　〔第１実施形態の作用及び効果〕
　このように、第１実施形態では、ＨＭＤ９及び３Ｄセンサ８の各々で得られる画像情報に写る共通実オブジェクト（マーカ７）に基づいて、センサ側装置１０及び表示側装置２０で３Ｄ座標空間が共有される。そして、この３Ｄ座標空間に基づいて、視線画像とロック解除のための複数の仮想オブジェクトとが合成され、この合成画像が操作者の頭部に装着されるＨＭＤ９に表示される。更に、第１実施形態では、視線画像を得る撮像部（視線カメラ９ａ及び視線カメラ９ｂ）とは別に、操作者の特定部位の位置を測定し得るセンサ（３Ｄセンサ８）が設けられ、当該共通の３Ｄ座標空間において操作者の特定部位と仮想オブジェクトとの位置関係が比較され、仮想オブジェクトに対する特定部位を用いた操作者の特定部位を用いた選択操作が検出される。
　また、第１実施形態では、選択操作が行われる複数の仮想オブジェクトが格子状に並べられて表示され、各仮想オブジェクトの相対的な位置情報とその選択順とに基づいて、ロック解除が判断される。このように、第１実施形態によれば、３次元化されたロックパターンを用いたロック解除機能が実現されており、言い換えれば、３次元ユーザインタフェースでのロック機能が実現され得る。
　更に、操作者は、あたかも自身の目の前の現実世界に存在するかのように複数の仮想オブジェクトを視認できると共に、ロック解除のために、それら仮想オブジェクトを自身の特定部位を用いて選択することができる。即ち、第１実施形態によれば、操作者は、仮想オブジェクトをあたかも直接触っているかのような直感的操作感により、ロック解除のための操作を行うことができる。また、仮想オブジェクトは操作者のみによって見ることができるため、第３者は、操作者の特定部位を用いた動作（ジェスチャ）が何を目的としているのか把握しづらい。即ち、第１実施形態によれば、第３者に、ロック解除のための操作者の特定部位を用いた選択操作（ジェスチャ）が漏洩するのを防止することができる。
　また、第１実施形態では、仮想オブジェクトの選択操作は、操作者の特定部位の位置と状態とから検出される。これにより、特定部位としての手で、仮想オブジェクトを握る動作（ジェスチャ）を選択操作として検出するようにすれば、操作者に、より直感的な操作感を与えることができる。更に、選択操作に対応する特定部位の特定状態を設けることにより、仮想オブジェクトに対する選択操作の誤検出を防ぐことができる。例えば、操作者の特定部位が仮想オブジェクトの操作検出領域に意図せず触れてしまったとしても、その動作により、仮想オブジェクトの選択操作と検出されることを防ぐことができる。第１実施形態によれば、このような直感的操作及び誤検出の防止により、３次元ユーザインタフェースでのロック機能のユーザビリティを向上させることができる。
　［第２実施形態］
　第２実施形態におけるシステム１は、仮想オブジェクトに割り当てられている標識に基づいてロック解除を判断する。以下、第２実施形態におけるシステム１について、第１実施形態と異なる内容を中心に説明する。以下の説明では、第１実施形態と同様の内容については適宜省略する。
　〔処理構成〕
　第２実施形態では、センサ側装置１０及び表示側装置２０は、第１実施形態と同様の処理構成を有する。以下には、第１実施形態と異なる処理内容の各処理部についてのみ説明する。
　〈表示側装置〉
　仮想データ生成部２４は、操作者により識別可能な標識がユニークにそれぞれ付される複数の仮想オブジェクトを示す３次元ロックデータを生成する。仮想データ生成部２４は、標識として、例えば、色、数字、文字及び記号の少なくとも１つを、各仮想オブジェクトがそれぞれ識別可能となるように、各仮想オブジェクトにそれぞれ設定する。第２実施形態では、仮想データ生成部２４は、複数の仮想オブジェクトの配置を３Ｄ座標空間上に任意に決定することができる。また、第２実施形態では、仮想データ生成部２４は、複数の仮想オブジェクトの配置を所定のタイミング毎に変更することもできる。所定のタイミングは、例えば、仮想オブジェクトの表示毎や、ロック毎等、任意に決定可能である。
　表示処理部２８は、仮想オブジェクトと視線画像との合成画像をＨＭＤ９に表示させる。図１０Ａ及び図１０Ｂは、第２実施形態におけるＨＭＤ９に表示される合成画像の例を示す図である。図１０Ａの例では、標識としてのユニークな数字が各仮想オブジェクトにそれぞれ割り当てられており、図１０Ｂの例では、標識としてのユニークな色が各仮想オブジェクトにそれぞれ割り当てられている。
　選択情報取得部２９は、選択された仮想オブジェクトに付された標識と選択順とを示す選択情報を取得する。図１０Ａの例では、選択情報取得部２９は、選択された仮想オブジェクトの数字と選択順とを示す選択情報を取得し、図１０Ｂの例では、選択情報取得部２９は、選択された仮想オブジェクトの色と選択順とを示す選択情報を取得する。このように、第２実施形態における選択情報は、仮想オブジェクトに対応する識別情報としての標識と選択順とを示す。
　〔動作例〕
　第２実施形態における３次元ロック解除方法は、仮想オブジェクトに対応する識別情報として標識を用いる点以外、図９に示される第１実施形態と同様である。但し、（Ｓ１１４）において３Ｄロックデータを生成する度に、表示側装置２０は、仮想オブジェクトの並びを任意に変えるようにしてもよい。図９の（Ｓ１１４）は、ロック解除（Ｓ１２３）後、再度掛けられたロックを解除する際に、また実行される。
　〔第２実施形態における作用及び効果〕
　このように、第２実施形態では、各仮想オブジェクトに、操作者により識別可能な標識がそれぞれ割り当てられ複数の仮想オブジェクトが視線画像と合成されてＨＭＤ９に表示される。これにより、操作者は、ロック解除のために既に登録されている選択情報としての仮想オブジェクトの標識の選択順に沿って、仮想オブジェクトを順次選択していくことで、ロック解除を行うことが出来る。第２実施形態によれば、操作者は、ロック解除のためのパターンを仮想オブジェクトの標識の並びで覚えることができるため、操作者にとって覚えやすく、使い勝手の良いロック解除機能を実現することができる。
　更に、第２実施形態では、仮想オブジェクトの選択順は、仮想オブジェクトの標識により示されるため、仮想オブジェクトの並びを任意とすることができ、かつ、表示の度に仮想オブジェクトの並びを変更することもできる。従って、第２実施形態によれば、ロック解除のための操作者の特定部位を用いた動作（ジェスチャ）を毎回変えることができるため、第３者に、ロック解除のための操作者の特定部位を用いた選択操作（ジェスチャ）が漏洩するのを更に防止することができる。
　［第１変形例］
　上述の第２実施形態では、仮想オブジェクトに対応する識別情報として標識が用いられたが、形状及びサイズの少なくとも１つが当該識別情報として用いられてもよい。この場合、仮想データ生成部２４は、操作者により識別可能な形状及びサイズの少なくとも一方がユニークにそれぞれ付される複数の仮想オブジェクトを示す３次元ロックデータを生成する。この場合、操作者は、ロック解除のために仮想オブジェクトの形状及びサイズの少なくとも一方の選択順に沿って、仮想オブジェクトを順次選択していくことで、ロック解除を行うことが出来る。形状及びサイズによっても、各仮想オブジェクトを識別することは可能であるため、このような変形例においても、第２実施形態と同様の作用効果を奏することができる。更に、第２実施形態において用いられた標識、形状及びサイズの中のいずれか複数の組み合わせが当該識別情報として用いられてもよい。
　［第２変形例］
　また、上述の第１実施形態及び第２実施形態では、操作者の特定部位の３Ｄ位置情報及び状態情報を用いて、仮想オブジェクトの選択操作が検出されたが、状態情報を用いない形態もあり得る。この場合、センサ側装置１０の状態取得部１５は不要となり、送信部１６は、操作者の特定部位の３Ｄ位置情報のみを表示側装置２０へ送信する。また、表示側装置２０では、操作検出部２６は、状態情報を用いず、操作者の特定部位の３Ｄ位置及び複数の仮想オブジェクトの３Ｄ位置に基づいて、仮想オブジェクトに対する選択操作を検出する。例えば、操作検出部２６は、操作者の特定部位が仮想オブジェクトの操作検出領域内に存在することで、その仮想オブジェクトに対する選択操作を検出する。また、操作検出部２６は、操作者の特定部位が仮想オブジェクトの操作検出領域内で所定時間以上停止した場合に、その仮想オブジェクトに対する選択操作を検出するようにしてもよい。
　また、操作検出部２６は、次のように、仮想オブジェクトに対する選択操作を検出するようにしてもよい。例えば、操作検出部２６は、最初の選択操作のみ特定の操作を検出し、選択解除までのその後の選択操作を、上記特定の操作ではなく、仮想オブジェクトの操作検出領域への特定部位の侵入を検出するようにしてもよい。具体的には、操作検出部２６は、仮想オブジェクトの最初の選択を、その仮想オブジェクトの操作検出領域での当該特定部位の一定時間以上の停止により検出し、以降の選択を、当該特定部位の操作検出領域への侵入のみにより、検出する。このようにすれば、ロック解除のための仮想オブジェクトの選択操作を簡単化することができる。
　［第３変形例］
　図１１は、変形例における表示側装置２０の処理構成例を概念的に示す図である。上述の各実施形態では特に触れられなかったが、システム１は、比較対象の選択情報を登録する機能を持つようにしてもよい。変形例では、表示側装置２０は、図１１に示されるように、上述の各実施形態における構成に加えて、選択情報登録部３５を更に有するようにしてもよい。表示側装置２０は、選択情報の登録時とロック解除時とで処理を分け、選択情報の登録時には、選択情報登録部３５が、選択情報取得部２９で取得された選択情報を正規の選択情報として格納部に登録する。この格納部は、表示側装置２０が持っていてもよいし、他のコンピュータが持っていてもよい。
　更に、選択情報の登録時には、表示処理部２８は、仮想オブジェクトに対応する識別情報として用いる、位置情報、標識、形状及びサイズの少なくとも１つを操作者に選択させるための画面をＨＭＤ９に表示させ、操作検出部２６は、仮想オブジェクトに対応する識別情報の形態を選択する操作を検出し、選択情報取得部２９は、操作者に選択された識別情報の種別と、その種別の識別情報を含む選択情報とを対応付けて選択情報登録部３５に登録させる。これにより、例えば、操作者は、相対位置情報を用いる形態（第１実施形態に相当）、及び、標識、サイズ及び形状の少なくとも１つを用いる形態（第２実施形態及び変形例に相当）を選択することができる。更に、当該画面において、操作者に、色、数字、記号等の標識の中の所望の標識を選択させるようにしてもよい。
　また、相対位置情報を用いる形態が選択された場合、当該画面において、更に、仮想オブジェクトの格子状の並びのパターンを操作者に選択させるようにしてもよい。この場合、仮想データ生成部２４は、操作者に選択された並びパターンで配置される複数の仮想オブジェクトを示す３Ｄロックデータを生成すればよい。並びパターンとしては、第１実施形態で例示された立方体に加えて、直方体、三角錐、正八面体など、様々なパターンがあり得る。この場合、正規の選択情報と共に仮想オブジェクトの並びパターンの情報が登録される。このようにすれば、操作者毎に仮想オブジェクトの並びや識別情報を変えることができるため、ロック解除のための操作者の特定部位を用いた選択操作の漏洩を一層防ぐことができる。
　［他の変形例］
　上述の各実施形態では、図３に示されるように、ＨＭＤ９が、操作者（ユーザ）の両目に対応して、視線カメラ９ａ及び９ｂ、並びに、ディスプレイ９ｃ及び９ｄを有したが、視線カメラ及びディスプレイを１つずつ持つようにしてもよい。この場合、１つのディスプレイは、操作者の片目の視野を覆うように配置されてもよいし、操作者の両目の視野を覆うように配置されてもよい。この場合、表示側装置２０の仮想データ生成部２４は、仮想オブジェクトを３ＤＣＧで表示させることができるように、周知の３ＤＣＧ技術を用いて３Ｄロックデータを生成すればよい。
　また、上述の各実施形態では、視線画像を得るためにビデオシースルー型のＨＭＤ９が用いられたが、光学シースルー型のＨＭＤ９が用いられてもよい。この場合には、ＨＭＤ９にはハーフミラーのディスプレイ９ｃ及び９ｄが設けられ、このディスプレイ９ｃ及び９ｄに仮想オブジェクトが表示されるようにすればよい。但し、この場合、操作者の視線方向で共通実オブジェクトを検出するための画像を得るためのカメラがＨＭＤ９の操作者の視野を遮らない箇所に設けられる。
　また、上述の第１実施形態及び第２実施形態では、図２に示されるように、センサ側装置１０と表示側装置２０とが別々に設けられ、対象者の視線画像に仮想オブジェクトが合成されたが、センサ側装置１０で得られる３Ｄ情報に含まれる２Ｄ画像に仮想オブジェクトが合成された画像が表示されるようにしてもよい。
　図１２は、変形例におけるシステム１のハードウェア構成例を概念的に示す図である。システム１は、処理装置５０、３Ｄセンサ８、及び、表示装置５１を有する。処理装置５０は、ＣＰＵ２、メモリ３、入出力Ｉ／Ｆ５等を有し、入出力Ｉ／Ｆ５は、３Ｄセンサ８及び表示装置５１に接続される。表示装置５１は、合成画像を表示する。
　図１３は、変形例における処理装置５０の処理構成例を概念的に示す図である。変形例における処理装置５０は、上述の各実施形態におけるセンサ側装置１０に含まれる３Ｄ情報取得部１１、位置算出部１４及び状態取得部１５を有し、上述の各実施形態における表示側装置２０に含まれる仮想データ生成部２４、操作検出部２６、画像合成部２７、表示処理部２８、選択情報取得部２９及びロック制御部３０を有する。これら各処理部については以下の点を除き、上述の各実施形態と同様である。
　位置算出部１４は、３Ｄ情報取得部１１により３Ｄセンサ８から得られる３Ｄ情報から直接的に、対象者の特定部位の３Ｄ位置情報を得る。操作検出部２６は、位置算出部１４により算出されるカメラ座標系の３Ｄ位置情報と状態取得部１５により得られる状態情報とに基づいて、仮想オブジェクトに対する選択操作を検出する。画像合成部２７は、３Ｄ情報取得部１１により得られる３Ｄ情報に含まれる２Ｄ画像と、仮想データ生成部２４により生成された３Ｄロックデータが示す仮想オブジェクトとを合成する。
　この変形例では、対象者は、自身の視線方向以外の方向（３Ｄセンサ８）から撮像された自身の映像を見ながら、仮想オブジェクトを操作することになる。よって、この変形例では、対象者自身の視線画像を用いる上述の各実施形態に比べて、直感性は低下する可能性があるが、特定部位を用いた仮想オブジェクトに対する３次元操作によりロック解除をすることができる。
　なお、上述の説明で用いたフローチャートでは、複数の工程（処理）が順番に記載されているが、本実施形態で実行される工程の実行順序は、その記載の順番に制限されない。本実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。
　この出願は、２０１３年３月１９日に出願された日本出願特願２０１３－０５７１８５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (13)

  1. 　３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成する仮想データ生成部と、
    　前記３次元ロックデータにより示される前記複数の仮想オブジェクトを表示部に表示させる表示処理部と、
    　操作者の特定部位に関する前記３次元座標空間上の３次元位置を取得する位置取得部と、
    　前記位置取得部により取得される３次元位置及び前記複数の仮想オブジェクトの３次元位置を用いて、前記特定部位を用いた前記操作者の該仮想オブジェクトに対する選択操作を検出する操作検出部と、
    　前記操作検出部により検出される選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得する選択情報取得部と、
    　前記選択情報取得部により取得される選択情報と既に登録されている選択情報とを比較することにより、ロックを解除するロック制御部と、
    　を備える３次元ロック解除装置。
  2. 　前記仮想データ生成部は、前記３次元座標空間において前記複数の仮想オブジェクトが格子状に所定の並びで配置される前記３次元ロックデータを生成し、
    　前記選択情報取得部は、選択された仮想オブジェクトの位置情報と選択順とを示す前記選択情報を取得する、
    　請求項１に記載の３次元ロック解除装置。
  3. 　前記仮想データ生成部は、前記操作者により識別可能な標識がユニークにそれぞれ付される前記複数の仮想オブジェクト、若しくは、前記操作者により識別可能なユニークな形状又はサイズにそれぞれ設定される前記複数の仮想オブジェクトを示す前記３次元ロックデータを生成し、
    　前記選択情報取得部は、選択された前記仮想オブジェクトに付された標識と選択順とを示す前記選択情報、若しくは、選択された前記仮想オブジェクトの形状又はサイズと選択順とを示す前記選択情報を取得する、
    　請求項１に記載の３次元ロック解除装置。
  4. 　前記仮想データ生成部は、前記複数の仮想オブジェクトの配置を所定のタイミング毎に変更する請求項３に記載の３次元ロック解除装置。
  5. 　前記操作者の前記特定部位の状態情報を取得する状態取得部、
    　を更に備え、
    　前記操作検出部は、前記位置取得部により取得される３次元位置及び前記複数の仮想オブジェクトの３次元位置、並びに、前記状態取得部により取得される状態情報を用いて、前記特定部位を用いた前記操作者の該仮想オブジェクトに対する選択操作を検出する、
    　請求項１から４のいずれか１項に記載の３次元ロック解除装置。
  6. 　前記ロック制御部において前記選択情報取得部により取得される選択情報と比較される、選択情報を登録する選択情報登録部、
    　を更に備え、
    　前記表示処理部は、前記仮想オブジェクトに対応する識別情報として用いる、位置情報、標識、形状及びサイズの少なくとも１つを前記操作者に選択させるための画面を前記表示部に表示させ、
    　前記選択情報取得部は、前記操作者に選択された識別情報の種別と、該種別の識別情報を含む前記選択情報とを対応付けて前記選択情報登録部に登録させる、
    　請求項１から５のいずれか１項に記載の３次元ロック解除装置。
  7. 　少なくとも１つのコンピュータにより実行される３次元ロック解除方法において、
    　３次元座標空間上に任意に配置される複数の仮想オブジェクトを示す３次元ロックデータを生成し、
    　前記３次元ロックデータにより示される前記複数の仮想オブジェクトを表示部に表示させ、
    　操作者の特定部位に関する前記３次元座標空間上の３次元位置を取得し、
    　前記取得された３次元位置及び前記複数の仮想オブジェクトの３次元位置を用いて、前記特定部位を用いた前記操作者の該仮想オブジェクトに対する選択操作を検出し、
    　前記検出された選択操作に基づいて、選択された仮想オブジェクトに対応する識別情報と選択順とを示す選択情報を取得し、
    　前記取得された選択情報と既に登録されている選択情報とを比較することにより、ロックを解除する、
    　ことを含む３次元ロック解除方法。
  8. 　前記３次元ロックデータの生成は、前記３次元座標空間において前記複数の仮想オブジェクトが格子状に所定の並びで配置される前記３次元ロックデータを生成し、
    　前記選択情報の取得は、前記選択された仮想オブジェクトの位置情報と選択順とを示す前記選択情報を取得する、
    　請求項７に記載の３次元ロック解除方法。
  9. 　前記３次元ロックデータの生成は、前記操作者により識別可能な標識がユニークにそれぞれ付される前記複数の仮想オブジェクト、若しくは、前記操作者により識別可能なユニークな形状又はサイズにそれぞれ設定される前記複数の仮想オブジェクトを示す前記３次元ロックデータを生成し、
    　前記選択情報の取得は、選択された前記仮想オブジェクトに付された標識と選択順とを示す前記選択情報、若しくは、選択された前記仮想オブジェクトの形状又はサイズと選択順とを示す前記選択情報を取得する、
    　請求項７に記載の３次元ロック解除方法。
  10. 　前記複数の仮想オブジェクトの配置を所定のタイミング毎に変更する、
    　ことを更に含む請求項９に記載の３次元ロック解除方法。
  11. 　前記操作者の前記特定部位の状態情報を取得する、
    　ことを更に含み、
    　前記選択操作の検出は、前記取得された３次元位置及び前記複数の仮想オブジェクトの３次元位置、並びに、前記取得された状態情報を用いて、前記特定部位を用いた前記操作者の該仮想オブジェクトに対する選択操作を検出する、
    　請求項７から１０のいずれか１項に記載の３次元ロック解除方法。
  12. 　前記仮想オブジェクトに対応する識別情報として用いる、位置情報、標識、形状及びサイズの少なくとも１つを前記操作者に選択させるための画面を前記表示部に表示させ、
    　前記操作者に選択された識別情報の種別と、該種別の識別情報を含む前記選択情報とを対応付けて登録する、
    　ことを更に含む請求項７から１１のいずれか１項に記載の３次元ロック解除方法。
  13. 　請求項７から１２のいずれか１項に記載の３次元ロック解除方法を少なくとも１つのコンピュータに実行させるプログラム。
PCT/JP2013/072244 2013-03-19 2013-08-21 ３次元ロック解除装置、３次元ロック解除方法及びプログラム WO2014147858A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015506534A JPWO2014147858A1 (ja) 2013-03-19 2013-08-21 ３次元ロック解除装置、３次元ロック解除方法及びプログラム
CN201380074952.1A CN105051650A (zh) 2013-03-19 2013-08-21 三维解锁设备、三维解锁方法和程序
EP13878884.9A EP2977924A1 (en) 2013-03-19 2013-08-21 Three-dimensional unlocking device, three-dimensional unlocking method and program
US14/778,348 US20160055330A1 (en) 2013-03-19 2013-08-21 Three-dimensional unlocking device, three-dimensional unlocking method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-057185 2013-03-19
JP2013057185 2013-03-19

Publications (1)

Publication Number Publication Date
WO2014147858A1 true WO2014147858A1 (ja) 2014-09-25

Family

ID=51579577

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/072244 WO2014147858A1 (ja) 2013-03-19 2013-08-21 ３次元ロック解除装置、３次元ロック解除方法及びプログラム

Country Status (5)

Country Link
US (1) US20160055330A1 (ja)
EP (1) EP2977924A1 (ja)
JP (1) JPWO2014147858A1 (ja)
CN (1) CN105051650A (ja)
WO (1) WO2014147858A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016115199A (ja) * 2014-12-16 2016-06-23 国立大学法人 鹿児島大学 認証処理装置及び認証処理方法
CN105955630A (zh) * 2015-09-24 2016-09-21 上海鼎为通讯电子有限公司 一种电子设备的屏幕解锁方法
JP2017068771A (ja) * 2015-10-02 2017-04-06 東京ガスエンジニアリングソリューションズ株式会社 敷設設備表示装置
WO2018143313A1 (ja) * 2017-02-01 2018-08-09 コニカミノルタ株式会社 ウェアラブル電子機器
JP2020501256A (ja) * 2016-11-25 2020-01-16 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ アイデンティティ検証方法および装置

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3123385B1 (en) * 2014-03-25 2020-03-11 Sony Corporation 3d graphical authentication by revelation of hidden objects
EP3119158A4 (en) * 2014-03-31 2017-03-08 Huawei Technologies Co. Ltd. Privacy protection method and terminal device
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10750161B2 (en) * 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
CN106682468A (zh) * 2016-12-30 2017-05-17 百度在线网络技术（北京）有限公司 解锁电子设备的方法以及电子设备
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US10719703B2 (en) * 2017-05-30 2020-07-21 Fujitsu Limited Non-transitory computer-readable storage medium for storing line-of-sight analysis program, line-of-sight analysis method, and line-of-sight analysis apparatus
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
EP3734428A4 (en) * 2017-12-27 2021-03-03 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
EP3518130A1 (en) 2018-01-30 2019-07-31 OneVisage SA Method and system for 3d graphical authentication on electronic devices
JP6623481B2 (ja) * 2018-03-23 2019-12-25 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US10783230B2 (en) * 2018-05-09 2020-09-22 Shape Matrix Geometric Instruments, LLC Methods and apparatus for encoding passwords or other information
US11334656B2 (en) * 2018-05-17 2022-05-17 Mindpass, Inc. 3D virtual interactive digital user authentication security
US11216586B2 (en) 2018-12-03 2022-01-04 At&T Intellectual Property I, L.P. Multi-dimensional progressive security for personal profiles
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
US12067092B2 (en) * 2022-03-31 2024-08-20 Lenovo (Singapore) Pte. Ltd. 3D passcode provided in virtual space

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282428A (ja) * 2000-03-29 2001-10-12 Matsushita Electric Ind Co Ltd 情報処理装置
JP2010139711A (ja) * 2008-12-11 2010-06-24 Brother Ind Ltd ヘッドマウントディスプレイ
WO2011081371A1 (en) * 2009-12-29 2011-07-07 Bizmodeline Co., Ltd Password processing method and apparatus
JP2012173772A (ja) * 2011-02-17 2012-09-10 Panasonic Corp ユーザインタラクション装置、ユーザインタラクション方法、ユーザインタラクションプログラム、及び集積回路
JP2013016115A (ja) 2011-07-06 2013-01-24 Nomura Research Institute Ltd 情報処理端末のロック解除方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
JP2002042172A (ja) * 2000-07-25 2002-02-08 Matsushita Electric Works Ltd 仮想物体の選択方法、この方法が適用される記録媒体およびサービス
JP3858091B2 (ja) * 2002-10-03 2006-12-13 独立行政法人産業技術総合研究所 パスワード認証装置およびパスワード認証方法
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
JP5565331B2 (ja) * 2011-01-28 2014-08-06 コニカミノルタ株式会社 表示システム、表示処理装置、表示方法、および表示プログラム
TWI463352B (zh) * 2012-04-16 2014-12-01 Phansco Corp Shaking and unlocking touch - type portable electronic device and its rocking and unlocking method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282428A (ja) * 2000-03-29 2001-10-12 Matsushita Electric Ind Co Ltd 情報処理装置
JP2010139711A (ja) * 2008-12-11 2010-06-24 Brother Ind Ltd ヘッドマウントディスプレイ
WO2011081371A1 (en) * 2009-12-29 2011-07-07 Bizmodeline Co., Ltd Password processing method and apparatus
JP2012173772A (ja) * 2011-02-17 2012-09-10 Panasonic Corp ユーザインタラクション装置、ユーザインタラクション方法、ユーザインタラクションプログラム、及び集積回路
JP2013016115A (ja) 2011-07-06 2013-01-24 Nomura Research Institute Ltd 情報処理端末のロック解除方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016115199A (ja) * 2014-12-16 2016-06-23 国立大学法人 鹿児島大学 認証処理装置及び認証処理方法
CN105955630A (zh) * 2015-09-24 2016-09-21 上海鼎为通讯电子有限公司 一种电子设备的屏幕解锁方法
JP2017068771A (ja) * 2015-10-02 2017-04-06 東京ガスエンジニアリングソリューションズ株式会社 敷設設備表示装置
JP2020501256A (ja) * 2016-11-25 2020-01-16 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ アイデンティティ検証方法および装置
US10831876B2 (en) 2016-11-25 2020-11-10 Advanced New Technologies Co., Ltd. Methods and apparatuses for identity authentication in virtual reality
WO2018143313A1 (ja) * 2017-02-01 2018-08-09 コニカミノルタ株式会社 ウェアラブル電子機器

Also Published As

Publication number Publication date
JPWO2014147858A1 (ja) 2017-02-16
EP2977924A1 (en) 2016-01-27
CN105051650A (zh) 2015-11-11
US20160055330A1 (en) 2016-02-25

Similar Documents

Publication Publication Date Title
WO2014147858A1 (ja) ３次元ロック解除装置、３次元ロック解除方法及びプログラム
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
JP5871345B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
JP5843340B2 (ja) ３次元環境共有システム及び３次元環境共有方法
JP6288372B2 (ja) インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
US8139087B2 (en) Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program
JP5499762B2 (ja) 画像処理装置、画像処理方法、プログラム及び画像処理システム
KR101146091B1 (ko) 증강 현실을 위한 입력 인터페이스 장치 및 이를 구비한 증강 현실 시스템
US20120135803A1 (en) Game device utilizing stereoscopic display, method of providing game, recording medium storing game program, and game system
JP2021520577A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
US20200326783A1 (en) Head mounted display device and operating method thereof
JP5863984B2 (ja) ユーザインタフェース装置及びユーザインタフェース方法
KR20110087407A (ko) 카메라 시뮬레이션 시스템 및 이를 이용한 위치 감지 방법
JP2013168120A (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
CN109144598A (zh) 基于手势的电子面罩人机交互方法与系统
JP2021039567A (ja) 作業支援システム及びプログラム
WO2019106862A1 (ja) 操作案内システム
JP2021162876A (ja) 画像生成システム、画像生成装置及び画像生成方法
KR20200120467A (ko) Hmd 장치 및 그 동작 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380074952.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13878884

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015506534

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013878884

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14778348

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE