WO2023181313A1 - コントローラ装置、情報処理システム、コントローラ装置の制御方法、及びプログラム - Google Patents

コントローラ装置、情報処理システム、コントローラ装置の制御方法、及びプログラム Download PDF

Info

Publication number
WO2023181313A1
WO2023181313A1 PCT/JP2022/014191 JP2022014191W WO2023181313A1 WO 2023181313 A1 WO2023181313 A1 WO 2023181313A1 JP 2022014191 W JP2022014191 W JP 2022014191W WO 2023181313 A1 WO2023181313 A1 WO 2023181313A1
Authority
WO
WIPO (PCT)
Prior art keywords
controller device
information processing
authentication
predetermined
main body
Prior art date
Application number
PCT/JP2022/014191
Other languages
English (en)
French (fr)
Inventor
仁 中村
祐未 植田
宗孝 安藤
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2022/014191 priority Critical patent/WO2023181313A1/ja
Publication of WO2023181313A1 publication Critical patent/WO2023181313A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication

Definitions

  • the present invention relates to a controller device, an information processing system, a control method for a controller device, and a program.
  • controllers used in games and the like have generally been made of a material that is relatively difficult to elastically deform, such as plastic.
  • the controller device when the main body of the controller device is formed from such an elastically deformable material, the controller device itself may be in a locked state (inoperable state until the user is authenticated), or an information processing device operated using the controller device, etc. At present, no consideration has been given to the method of controlling the locked state of the device.
  • the present invention has been made in view of the above-mentioned circumstances, and is a controller device whose main body is formed of an elastically deformable material, which takes into account the control of the locked state of equipment, and an information processing system including the controller device.
  • One of its purposes is to provide a control method and program for a controller device.
  • controller device which includes an elastically deformable main body, a detection section that detects a user's operation on the main body, and a controller device that detects a user's operation on the main body.
  • an output unit that outputs information representing an operation to the information processing device, and the information output by the output unit is used for authentication processing to control a locked state of the controller device or the information processing device. This is what I did.
  • a controller device an information processing system including the controller device, a method for controlling the controller device, and a program that take into consideration the control of the locked state of equipment.
  • FIG. 1 is a schematic diagram showing an example of a controller device according to an embodiment of the present invention.
  • 1 is a schematic perspective view showing an example of a sensor according to an example of a controller device according to an embodiment of the present invention.
  • 1 is a schematic block diagram showing an example of a circuit section of a controller device according to an embodiment of the present invention.
  • FIG. 2 is a functional block diagram illustrating an example of a control unit of a controller device according to an embodiment of the present invention. It is an explanatory view showing an example of a modification of a controller device concerning an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an example of authentication processing by the controller device according to the embodiment of the present invention.
  • a controller device 10 includes a controller body 11, a surface of the controller body 11, or a portion near the surface (inside the controller body 11). It is configured to include a capacitance sensor 12 arranged within a predetermined distance from the surface of .
  • the controller main body 11 is made of a deformable polymer gel material such as a silicon-based polymer gel material, a urethane-based gel material, a polystyrene-based elastomer, an olefin-based elastomer, a polyvinyl chloride-based elastomer, a polyurethane-based elastomer, a polyester-based elastomer, It is constructed using an elastically deformable material such as various elastomer materials such as polyamide elastomer. In some examples of this embodiment, it is also preferable that the controller main body 11 is made of a light-transmitting material.
  • a deformable polymer gel material such as a silicon-based polymer gel material, a urethane-based gel material, a polystyrene-based elastomer, an olefin-based elastomer, a polyvinyl chloride-based elastomer, a poly
  • the controller main body 11 has a predetermined shape, such as a spherical shape or a rectangular parallelepiped shape, in the absence of an external force, and when the user applies an external force with a finger or the like, the shape elastically changes according to the external force. Further, at least one capacitance sensor 12 is disposed on or near the surface of the controller main body 11. Furthermore, a circuit section 13 is arranged inside the controller main body 11.
  • Each of the capacitance sensors 12 includes a base portion 120, an electrode 121, a lead portion 122, and a wiring portion 123, as illustrated in FIG. .
  • the base portion 120 is a thin film-like member formed using an elastic insulating material (such as an insulating organic silicon compound), and the electrodes 121 and lead portions 122 are formed on this base portion 120.
  • the base portion 120 may be integrated with the main body 11.
  • the electrode 121 is formed of an elastic conductive material on the base portion 120.
  • This electrode 121 is formed into a predetermined shape having a predetermined area.
  • the conductive material forming this electrode 121 for example, a conductive ink material or the like can be used.
  • the predetermined shape of the electrode 121 may be circular, rectangular (the outer circumferential portion only may be annular), coiled, or the like.
  • the lead portion 122 has an end portion 122a that is electrically connected to the electrode 121, and is formed in a linear shape with a predetermined width on the base portion 120 using an elastic conductive material.
  • the conductive material for forming the lead portion 122 can be, for example, a conductive ink material.
  • One end of the wiring section 123 is electrically connected to an end 122b of the lead section 122 opposite to the end 122a connected to the electrode 121, and the other end is connected to the circuit section 13.
  • This wiring section 123 is arranged so as not to make electrical contact with the wiring sections 123 of other capacitance sensors 12 arranged on or near the surface of the controller main body 11.
  • the circuit section 13 is arranged at the center of the controller main body 11 of the controller device 10 (at a position as far away from the surface as possible).
  • this circuit section 13 includes a control section 131, a storage section 132, a communication section 133, a notification section 134, a power supply section 135, and an interface section (I/F) 136. It consists of:
  • the control unit 131 is connected to a storage unit 132, a communication unit 133, and a notification unit 134 via a bus B so that data can be exchanged with each other.
  • This control section 131 is a program controlled device and operates according to a program stored in the storage section 132.
  • the control unit 131 detects a user's operation on the controller main body 11 and transmits and outputs information representing the detected operation to the information processing device 20 . Further, when a predetermined condition is satisfied, the control unit 131 controls (locks) the controller device 10 itself or the information processing device 20 until a predetermined authentication operation (predetermined operation related to authentication) is performed. (or release the locked state). The operation of this control section 131 will be described later.
  • the locked state here refers to the state before authentication is performed.
  • the processes that can be executed based on user instructions are limited to some processes including authentication processing.
  • restrictions on executable processing such as starting and executing an application program (such as a game), are relaxed.
  • the locked state of the controller device 10 itself is a state in which information representing the content of the operation received by the controller device 10 is controlled not to be sent to the information processing device 20.
  • the controller device 10 controls not to send information to the information processing device 20 until it accepts a predetermined authentication operation to release its own locked state.
  • the controller device 10 sends to the information processing device 20 information representing the content of the operation performed while the locked state is released.
  • the storage unit 132 is a memory device or the like, and stores programs executed by the control unit 131. This program may be provided stored in a computer-readable, non-temporary recording medium, and may be copied and stored in the storage unit 132.
  • the storage unit 132 also operates as a work memory for the control unit 131.
  • the communication unit 133 is a wireless LAN network interface, Bluetooth (registered trademark), or the like, and transmits and receives data to and from the information processing device 20 wirelessly according to instructions input from the control unit 131.
  • the communication unit 133 also outputs data received from the outside to the control unit 131.
  • the notification unit 134 is controlled by the control unit 131 and presents light emission, sound, or vibration.
  • the notification section 134 includes a VCM (Voice Coil Motor), and presents vibrations in accordance with instructions input from the control section 131.
  • VCM Vehicle Coil Motor
  • this notification section 134 is not necessarily necessary.
  • the power supply section 135 has a built-in battery (a rechargeable secondary battery may be used) and supplies power to each section of the circuit section 13. This battery may be charged by wireless power supply according to standards such as Qi, for example.
  • the interface unit 136 is connected to the capacitance sensors 12 and outputs information representing the detection results of each capacitance sensor 12 to the control unit 131.
  • control section 131 functionally includes a detection processing section 31, an output processing section 32, and an authentication processing section 33, as illustrated in FIG.
  • the detection processing unit 31 repeatedly detects the user's operation on the controller body at predetermined timings (for example, 1/60 seconds). Specifically, the detection processing unit 31 detects user operations on the controller body 11, such as elastic deformation of the controller body 11, based on the detection results of a plurality of capacitance sensors 12 arranged on or near the surface of the controller body 11. Detect. For example, as illustrated in FIG. 5(a), an orthogonal XYZ coordinate system is virtually set whose origin is the center of the controller main body 11, which is spherical in its natural state with no external force applied. It is assumed that capacitance sensors 12 are arranged at six locations on the surface of the controller main body 11 in each of the XYZ axis directions.
  • the controller main body 11 moves the capacitance sensors 12 in the Y-axis direction and It can be determined that it extends in the Z-axis direction and is in a flat state. Further, the degree of flatness can be estimated by the pressing force detected by the two capacitance sensors 12 in the X-axis direction.
  • the detection processing unit 31 detects that the controller main body 11 is not being operated (for example, none of the capacitance sensors 12 is detecting a pressing force, and the approach of a finger or hand is also detected). (not done), - The device is held in the hand (for example, two or more adjacent capacitance sensors 12 detect the approach of fingers or hands, and at least one other capacitance sensor detects pressing force) are doing), ⁇ It is pressed in one direction and has a flat shape (for example, two capacitance sensors in either axial direction each detect a pressing force greater than a predetermined force), - being gripped (for example, five or more capacitance sensors 12 are detecting pressing force), - being pinched (for example, one capacitance sensor 12 is detecting the pressing force), being touched (for example, one or more capacitance sensors 12 detect the approach of a finger or hand, and none of the capacitance sensors detects a pressing force exceeding a predetermined threshold); - Being stroked (for example, multiple capacitance sensors 12 are alternate
  • the output processing unit 32 transmits information indicating the content of the detected operation (which type of operation was performed) to the authentication processing unit 33 or the information processing device 20. Output.
  • the output processing section 32 uses a timer or the like (not shown) to measure the elapsed time since the detection processing section 31 last detected an operation other than the "no operation" state. When the elapsed time exceeds a predetermined time, the controller device 10 is placed in a locked state.
  • the output processing unit 32 While in the locked state, upon receiving input from the detection processing unit 31 of information representing the content of the operation detected by the detection processing unit 31, the output processing unit 32 sends the information to the information processing device 20. The information is output to the authentication processing unit 33 without any processing.
  • the output processing unit 32 When the output processing unit 32 receives an instruction to release the lock state from the authentication processing unit 33 while the output processing unit 32 is in the locked state, the output processing unit 32 releases the lock state and then within a predetermined period of time (for example, 1 When the detection processing unit 31 receives input of information representing the content of the operation detected within 1 minute), the information is sent to the information processing device 20, and finally the content of the operation detected by the detection processing unit 31 is input. The process returns to the process of counting the elapsed time after outputting the represented information using a timer or the like (not shown).
  • the output processing section 32 may be controlled to shift to the lock state again. good.
  • the authentication processing unit 33 determines whether a predetermined authentication operation has been performed. Further, when the authentication processing unit 33 determines that a predetermined authentication operation has been performed, the authentication processing unit 33 releases the locked state of the controller device 10 or the information processing device 20 that is in a predetermined locked state.
  • the predetermined authentication operation determined by the authentication processing unit 33 is a predetermined series of operations (operation pattern for authentication, hereinafter referred to as an operation pattern for authentication) including at least one of the operations that can be detected by the detection processing unit 31. , simply referred to as an operation pattern).
  • this predetermined authentication operation is (Operation 1) Operation of pressing in either axial direction (referred to as the first axial direction) to make it flat (Operation 2) An axial direction perpendicular to the above first axial direction (referred to as the second axial direction) operation) to make it into a flat state, (Operation 3)
  • An operation pattern may be defined as a permutation of three operations: pressing in an axial direction perpendicular to the second axial direction to flatten the object.
  • This operation pattern of the authentication operation is an example, and does not necessarily have to consist only of pressing operations (that is, operations that involve elastic deformation), or may include at least one pressing operation (operation that involves elastic deformation). There may be one, or it may be one that does not include a pressing operation. Furthermore, not only one operation pattern but a plurality of operation patterns may be set.
  • the authentication processing unit 33 of this embodiment receives input of information representing an operation on the controller main body 11 from the output processing unit 32, it starts the authentication process illustrated in FIG. 6.
  • the authentication processing unit 33 determines whether an operation pattern for authentication is defined in which the operation represented by the input information is the first operation (S11: There is a matching operation pattern. mosquito).
  • step S11 if an operation pattern in which the operation represented by the input information is the first operation is not defined (S11: No), the authentication processing unit 33 ends the authentication process. Further, in step S11, if an operation pattern is defined in which the operation represented by the input information is the first operation (S11: Yes), the authentication processing unit 33 determines that the operation pattern that matches the series of operations input so far is It is checked whether there is an operation pattern that defines a series of operations (S12).
  • step S12 if there is an operation pattern that defines a series of operations that match the series of operations that have been input so far (S12: Yes), the authentication processing unit 33 determines that the authentication has been successful, and the output processing unit 32 An instruction to release the locked state is output to (S13).
  • the authentication processing unit 33 selects a series of operations that match the series of operations that have been input so far. It is determined whether there is an operation pattern that defines a series of operations starting from an operation pattern that defines (S14).
  • step S14 If the authentication processing unit 33 determines in step S14 that there is no operation pattern that satisfies the above conditions (S14: No), it ends the authentication process. On the other hand, in this step S14, if it is determined that there is an operation pattern that satisfies the above conditions (S14: Yes), the authentication processing unit 33 waits until a predetermined initial state (for example, a state in which it is held in a hand) is reached (S15). ), when it reaches a predetermined initial state, it waits for the next information to be input (S16).
  • a predetermined initial state for example, a state in which it is held in a hand
  • step S16 the controller device 10 is placed (none of the capacitance sensors 12 is detecting a pressing force or the approach of a finger or hand), and then a predetermined When the timeout period has elapsed (S16: timeout), the authentication processing unit 33 ends the process.
  • step S16 if information other than the information representing the "placed" state is input, the authentication processing unit 33 determines that the operation represented by the information is a predetermined list of operations to be ignored. Check whether it is included in the information (referred to as ignored operation information). If the operation represented by the information input here is included in the ignored operation information, the authentication processing unit 33 continues the process of step S16. If the operation represented by the input information is not included in the ignored operation information, the authentication processing unit 33 adds the information to the input series of operations (S17), and returns to step S12 for processing. Continue.
  • the ignored operation information is, for example, a list of operations that the user needs to perform before performing the next operation for authentication. For example, when the user presses in the first axis direction and then tries to press in the second axis direction, the user may move his hand or rotate the controller device 10 to adjust the pressing direction. The state in which the controller main body 11 is touched continues. Therefore, in this case, the "touched" operation is included as the ignored operation information.
  • This ignored operation information may be predetermined, or based on the next operation (N+1st operation in the above example) in the operation pattern found in step S14, at least one operation different from this It may be determined that a partial list is provided.
  • the ignored operation information here is the pressing operation. It may be determined in advance as a list of operations other than the operations described above.
  • step S11 the process moves to step S14, and as described above, this step Since the conditions of S14 are satisfied, the process further advances to step S15 and waits until the initial state is reached (information indicating that the state is only held in the hand is input from the output processing unit 32), and the initial state is returned. After that, the next operation is awaited (step S16).
  • step S13 the operation of operation 2 specified in the operation pattern, that is, (operation B') is performed by pressing in the axial direction (referred to as the second axial direction) orthogonal to the first axial direction to flatten the operation to bring it into a state.
  • the operation pattern starting from these operations A and B' is defined, so the process moves from step S14 to step S15, waits until the initial state is reached, and then performs the next operation.
  • step S16 when an operation (operation C) of pressing in the axial direction perpendicular to the second axial direction to flatten the state is performed, the inputted series of operations are repeated again from step S12. Since there is an operation pattern that defines a series of operations that match (operation A, operation B', operation C), the authentication processing section 33 assumes that the authentication has been successful and locks the output processing section 32. An instruction to cancel is output (step S13).
  • the controller device 10 basically has the above configuration, and operates as follows. According to the present embodiment, the controller device 10 controls itself to be in a locked state when a predetermined period of time has elapsed in a state in which no operation is performed (a state in which it is placed).
  • the controller device 10 controls the information processing device 20 so as not to send information representing operations performed by the user.
  • the controller device 10 accepts a series of user operations, checks whether the series of operations matches any of the operation patterns predetermined as a series of operations for authentication, and if it matches, For example, the locked state is released as if the authentication was successful.
  • the controller device 10 begins to send information representing the operation performed after releasing the locked state to the information processing device 20.
  • control unit 131 controls the notification unit 134 to present at least one of light emission, sound generation, and vibration. , it is also possible to notify the user that the operation has been accepted (operation acceptance notification).
  • the authentication process is not immediately terminated, and the authentication processing unit 33 performs the authentication process every time an operation that is not included in the ignored operation information is performed.
  • the operation acceptance notification may be performed by displaying at least one of light emission, sound generation, and vibration. In this way, the user is notified that the operation has been accepted, and the user can understand that the operation has been accepted.
  • the same type of operation acceptance notification is performed, which prevents the contents of the authentication operation set as the operation pattern from being leaked. .
  • the control unit 131 controls the notification unit 134 to present at least one of light emission, sound generation, and vibration.
  • a notification to that effect may be made. It is also preferable that the manner of notification at this time (aspects of light emission, sound generation, vibration) is different from the manner of operation acceptance notification.
  • the control unit 131 may also control the notification unit 134 to present at least one of light emission, sound, and vibration when notification is necessary in other cases.
  • a reset operation (operation for interrupting the authentication process) may be predefined for the authentication operation. This operation may be predetermined, for example, as "keep it in a gripped state for a time longer than a predetermined reset operation time”.
  • control unit 131 determines whether or not a “grasp” operation has been performed during the predetermined reset operation time in the above-mentioned step S16 of the authentication process as the authentication processing unit 33, and determines whether or not the “grasp” operation has been performed.
  • the authentication process is interrupted.
  • control unit 131 may control the notification unit 134 to display at least one of light emission, sound generation, and vibration in order to notify that effect.
  • control unit 131 may place the controller device 10 in the locked state when a predetermined operation (or a predetermined series of operations) is accepted in the unlocked state.
  • an operation for setting the locked state in advance for example, an operation of pressing in the first axial direction and then pressing in the second axial direction perpendicular to the first axial direction (this series of operations)
  • An operation pattern (hereinafter referred to as a lock operation pattern) is defined in advance.
  • the control unit 131 places the controller device 10 in the locked state when a series of operations defined in this locking operation pattern are performed in order in the unlocked state.
  • the operation pattern and lock operation pattern can be set arbitrarily by the user.
  • an operation for starting authentication pattern setting (setting start operation) may be defined in advance.
  • an operation for starting the setting of the operation pattern (operation pattern setting start operation) may be determined in advance.
  • control unit 131 When this operation pattern setting start operation (for example, an operation of holding the controller main body 11 for a predetermined period of time) is performed in an unlocked state, the control unit 131 performs a process of accepting the operation pattern setting. Start. At this time, the control unit 131 may control the notification unit 134 to display at least one of light emission, sound generation, and vibration in order to notify that the process has started.
  • the control unit 131 records information representing the recording target operation every time it detects a predetermined operation performed by the user that is to be recorded (hereinafter referred to as a recording target operation).
  • the operations to be recorded include operations specified as the ignored operation information mentioned above (for example, "touching" operation, etc.) and operations other than those specified in advance as operations indicating the end of recording. operation.
  • control unit 131 When the control unit 131 accepts a predetermined maximum number of operations to be recorded, or when the user performs an operation indicating the end of recording, the control unit 131 stores the permutation of information indicating the operations recorded so far as an operation pattern.
  • the control unit 131 performs the same operation when enabling the lock operation pattern to be set. In this case, the operation to start setting the lock operation pattern and the operation pattern setting start operation described above may be different operations.
  • the detection processing unit 31 when detecting a press on the controller main body 11, the detection processing unit 31 also detects information on the press force.
  • the authentication processing unit 33 determines the amount of deformation of the elastic deformation.
  • a condition (specifically, it may be determined by the pressing force applied to the controller main body 11) is also used.
  • the operation pattern exemplified above is (Operation 1) Operation of pressing in either axial direction (referred to as the first axial direction) with a pressing force P1 ⁇ P to make it flat (Operation 2) Axial direction orthogonal to the above first axial direction (second axis direction) with a pressing force P2 ⁇ P to make it flat; (Operation 3) Conditions for the pressing force are set, such as an operation of pressing in the axial direction perpendicular to the second axial direction with a pressing force P3 ⁇ P to flatten the object.
  • the authentication processing section 33 also acquires the pressing force P from the output processing section 32, and It is determined whether not only the type of operation specified by the pattern (type of flattening, gripping, etc.) but also the pressing force condition are satisfied.
  • the first operation performed by the user is an operation to press in the first axial direction to flatten the state, and the pressing force P is the same as that shown in operation 1 of the operation pattern. If the pressure is not within the range of P1 ⁇ P (if P ⁇ P1 ⁇ P or P>P1+ ⁇ P), the authentication processing unit 33 determines that the above operation pattern does not match.
  • the first operation performed by the user is an operation of pressing in the first axial direction to flatten the state, and the pressing force P is as shown in operation 1 of the above operation pattern. If the pressing force is within the range of P1 ⁇ P (if P1- ⁇ P ⁇ P ⁇ P1+ ⁇ P), the authentication processing unit 33 determines that an operation pattern is defined in which the operation represented by the input information is the first operation. do.
  • controller main body 11 of the controller device 10 has no vertical direction or horizontal direction.
  • the direction of the subsequent operation is determined by the specified direction.
  • the operation for authentication is defined as an operation pattern of pressing in a first axial direction, followed by pressing in a direction perpendicular to the first axial direction, the first pressing The direction of operation was the first axial direction.
  • the surface of the controller main body 11 is provided with a convex portion or a concave portion at a position that should face upward to clearly indicate the vertical direction, and the capacitance sensor 12 arranged at a position that should face upward. , and the capacitance sensor 12 placed at a position facing downward may be set as the Z-axis direction.
  • the first axis direction as, for example, the Z-axis direction.
  • the capacitance sensors 12 are arranged in six directions from the center of the controller body 11: up, down (referred to as the Z axis), right and left (referred to as the X axis), and front and back (referred to as the Y axis)
  • the direction of each axis may be defined by displaying different shapes in the vicinity of each of the capacitance sensors 12 (for example, by printing them on the surface). . For example, " ⁇ " near the capacitance sensor 12 on the top, "x" near the capacitance sensor 12 on the bottom, “ ⁇ ” near the capacitance sensor 12 on the left, etc.
  • the controller device 10 may release the locked state of the information processing device 20 communicably connected to the controller device 10 when a predetermined authentication operation is accepted. .
  • the information processing device 20 when the information processing device 20 is in a locked state (a state where only restricted operations including authentication operations are accepted), the information processing device 20 receives an instruction to release the locked state from the controller device 10 and enters the locked state. Release.
  • a locked state a state where only restricted operations including authentication operations are accepted
  • the controller device 10 performs an authentication process to unlock the information processing device 20 when its own lock state is released.
  • This authentication process is similar to the process shown in FIG. 6, but in step S12, an operation pattern (unlocking the information processing device 20 If there is an operation pattern (predetermined as an operation to do so), it is assumed that the authentication has been successful, and an instruction to release the locked state is sent to the information processing device 20.
  • the controller device 10 of the present embodiment may detect a user's operation on the controller main body 11, and estimate the pose of the user's hand operating the controller device based on the detected operation.
  • the controller device 10 detects a user's operation on the controller main body 11 and outputs information representing the content of the operation to the information processing device 20, and the information processing device 20 controls the controller based on the detected operation.
  • the pose of the hand of the user operating the device may be estimated.
  • the controller device 10 or the information processing device 20 determines the type of operation performed by the user (or the amount of deformation of the controller body 11 due to it, that is, the pressing force applied by the user) and the pose of the user's hand. Either the relationship is determined in advance, or a machine learning model for estimating the relationship is obtained by machine learning.
  • the controller device 10 or the information processing device 20 estimates the user's hand pose based on the type of operation performed by the user detected by the controller device 10, and uses information about the estimated hand pose as It is used for controlling application programs of the information processing device 20 (controlling game characters, etc.).
  • the information processing device 20 may have multiple login accounts set for different users. In this case, it may be possible to switch the login account by performing a predetermined operation on the controller device 10.
  • the controller device 10 when the user performs a series of operations including at least one predetermined operation while the controller device 10 is in the unlocked state, or when the user takes a predetermined hand pose, the controller device 10 is activated.
  • the device 10 may instruct the information processing device 20 to switch login accounts.
  • a capacitance sensor has been used as a sensor for detecting a user's operation.
  • the present embodiment is not limited to this example, and a strain sensor or other pressure-sensitive sensor may be used as long as the pressing force can be detected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

情報処理装置に通信可能に接続されるコントローラ装置10であって、弾性変形可能な本体11を有し、本体11に対するユーザの操作を検出し、当該検出した操作を表す情報を情報処理装置20へ出力する。またこの出力される情報が、コントローラ装置または情報処理装置のロック状態を制御する認証処理に供される。

Description

コントローラ装置、情報処理システム、コントローラ装置の制御方法、及びプログラム
 本発明は、コントローラ装置、情報処理システム、コントローラ装置の制御方法、及びプログラムに関する。
 従来、ゲーム等で用いるコントローラは、一般的にプラスチック等、比較的弾性変形しにくい材質で形成されていた。
 一方で近年ではゲーム等におけるユーザ体験の豊富化のため、振動や力覚等の触覚的体験を提示する技術が広く利用されつつある。
 上記のような現状の下、触覚的体験の豊富化を図ることのできるコントローラ装置を提供するため、弾性変形可能な材料でコントローラ装置の本体を形成することが考えられている。
 ところが、こうした弾性変形可能な材料でコントローラ装置の本体を形成した場合に、このコントローラ装置自身のロック状態(ユーザを認証するまでの操作不能状態)、またはコントローラ装置を用いて操作する情報処理装置等のロック状態を制御する方法については考慮されていないのが現状である。
 本発明は上記実状に鑑みて為されたもので、弾性変形可能な材料で本体が形成されているコントローラ装置であって、機器のロック状態の制御を考慮したコントローラ装置、それを含む情報処理システム、コントローラ装置の制御方法、及びプログラムを提供することを、その目的の一つとする。
 上記従来例の問題点を解決するための本発明の一態様は、コントローラ装置であって、弾性変形可能な本体と、前記本体に対するユーザの操作を検出する検出部と、前記検出部によって検出した操作を表す情報を前記情報処理装置へ出力する出力部と、を備え、前記出力部によって出力される情報は、前記コントローラ装置または前記情報処理装置のロック状態を制御する認証処理に用いられることとしたものである。
 本発明によると、機器のロック状態の制御を考慮したコントローラ装置、それを含む情報処理システム、コントローラ装置の制御方法、及びプログラムが提供される。
本発明の実施の形態に係るコントローラ装置の例を表す概略図である。 本発明の実施の形態に係るコントローラ装置の例に係るセンサの例を表す概略斜視図である。 本発明の実施の形態に係るコントローラ装置の回路部の例を表す概略ブロック図である。 本発明の実施の形態に係るコントローラ装置の制御部の例を表す機能ブロック図である。 本発明の実施の形態に係るコントローラ装置の変形態様の例を表す説明図である。 本発明の実施の形態に係るコントローラ装置による認証処理の例を表すフローチャート図である。
 本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態の一例に係るコントローラ装置10は、図1に例示するように、コンローラ本体11と、このコントローラ本体11の表面または表面近傍(コントローラ本体11の内部であって、コントローラ本体11の表面から所定の距離の範囲内)に配された静電容量センサ12と、回路部13とを含んで構成され、無線または有線にて情報処理装置20との間で通信可能に接続される。
 コントローラ本体11は、変形可能な、例えばシリコン系高分子ゲル素材、ウレタン系ゲル素材等の高分子ゲル素材、ポリスチレン系エラストマー、オレフィン系エラストマー、ポリ塩化ビニル系エラストマー、ポリウレタン系エラストマー、ポリエステル系エラストマー、ポリアミド系エラストマー等の種々のエラストマー素材など、弾性変形可能な材料を用いて構成される。また本実施の形態のある例では、このコントローラ本体11は、光透過性のある材料で構成されることとするのも好ましい。
 このコントローラ本体11は、例えば球形、直方体形など、外力がない状態で所定の形状を有し、ユーザが指などで外力を加えると、当該外力に応じてその形状を弾性的に変化させる。またこのコントローラ本体11の表面または表面近傍には静電容量センサ12が少なくとも一つ配される。さらにコントローラ本体11の内部には回路部13が配される。
 本実施の形態の例に係る静電容量センサ12のそれぞれは、図2に例示するように、ベース部120と、電極121と、リード部122と、配線部123とを有して構成される。ここでベース部120は、弾性を有する絶縁材料(絶縁性の有機シリコン化合物など)を用いて形成される薄膜状の部材であり、電極121,リード部122はこのベース部120上に形成される。このとき、ベース部120は、本体11と一体になっていてもよい。
 電極121は、ベース部120上に、弾性を有する導電性材料で形成される。この電極121は、所定面積を有する所定形状を成して形成される。この電極121を形成する導電性材料としては、例えば導電インク材等が利用できる。ここで電極121の所定の形状は、円形、矩形状(外周部のみの環状であってもよい)、コイル状などでよい。
 リード部122は、電極121に電気的に接続される端部122aを有し、ベース部120上に弾性を有する導電性材料を用いて所定幅を有する線状に形成される。このリード部122を形成するための導電性材料も、電極121と同様、例えば導電インク材等が利用できる。
 配線部123は、リード部122の、電極121に接続される端部122aとは反対側の端部122bに電気的にその一端が接続され、また回路部13に他端が接続される。この配線部123は、コントローラ本体11の表面または表面近傍に配される他の静電容量センサ12の配線部123と電気的に接触しないように配される。
 回路部13は、コントローラ装置10のコントローラ本体11の中心部(表面からできるだけ離隔した位置)に配される。この回路部13は、例えば図3に例示するように、制御部131と、記憶部132と、通信部133と、報知部134と、電源部135と、インタフェース部(I/F)136とを含んで構成される。
 制御部131は、記憶部132と通信部133と報知部134とにバスBを介して相互にデータを授受可能に接続される。この制御部131は、プログラム制御デバイスであり、記憶部132に格納されたプログラムに従って動作する。本実施の形態の例では、この制御部131は、コントローラ本体11に対するユーザの操作を検出し、当該検出した操作を表す情報を情報処理装置20へ送信出力する。またこの制御部131は、所定の条件が満足されたときに、所定の認証操作(認証に係る所定の操作)が行われるまでコントローラ装置10自身、または情報処理装置20のロック状態を制御(ロック状態となるよう設定、あるいはロック状態を解除)する。この制御部131の動作については後に述べる。
 なおここでロック状態は、認証が行われる前の状態を指す。例えば情報処理装置20は、ロック状態となるよう設定されていると、ユーザの指示に基づいて実行可能な処理が、認証処理を含む一部の処理に制限される。また情報処理装置20は、ロック状態が解除されると、アプリケーションプログラム(ゲームなど)の起動・実行処理など、実行可能な処理の制限が緩和される。
 またコントローラ装置10自身のロック状態は、当該コントローラ装置10が受けた操作の内容を表す情報を、情報処理装置20へ送出しないよう制御する状態である。このロック状態では、コントローラ装置10は、自身のロック状態を解除するための所定の認証操作を受け入れるまで、情報処理装置20への情報の送出を行わないよう制御する。つまりこの例ではコントローラ装置10は、ロック状態が解除されている間に行われた操作の内容を表す情報を情報処理装置20へ送出することとなる。
 記憶部132は、メモリデバイス等であり、制御部131によって実行されるプログラムを格納している。このプログラムは、コンピュータ可読、かつ非一時的な記録媒体に格納されて提供され、この記憶部132に複写されて格納されたものであってもよい。またこの記憶部132は、制御部131のワークメモリとしても動作する。
 通信部133は、無線LANネットワークインタフェースやブルートゥース(登録商標)等であり、制御部131から入力される指示に従って、無線にて情報処理装置20との間でデータを送受する。またこの通信部133は、外部から受信したデータを、制御部131に出力する。
 報知部134は、制御部131によって制御され、発光、発音、または振動を呈示する。一例としてこの報知部134は、VCM(Voice Coil Motor)を備え、制御部131から入力される指示に従って、振動を呈示する。もっとも状況を報知する必要がない場合、この報知部134は必ずしも必要ではない。
 電源部135は、電池(充電可能な二次電池でよい)を内蔵し、回路部13の各部に電源を供給する。この電池は例えばQi等の規格に従い、無線給電にて充電されてもよい。インタフェース部136は、静電容量センサ12に接続され、各静電容量センサ12の検出結果を表す情報を、制御部131に出力する。
 次に、本実施の形態の制御部131の動作例について説明する。本実施の一例では、この制御部131は、図4に例示するように、検出処理部31と、出力処理部32と、認証処理部33とを機能的に含む。
 検出処理部31は、所定のタイミング(例えば1/60秒)ごとに繰り返してコントローラ本体に対するユーザの操作を検出する。具体的にこの検出処理部31は、コントローラ本体11の表面または表面近傍に複数配された静電容量センサ12の検出結果に基づいて、コントローラ本体11の弾性変形など、コントローラ本体11に対するユーザの操作を検出する。例えば図5(a)に例示するように、外力を加えていない自然な状態で球状をなすコントローラ本体11の中心を原点とする直交XYZ座標系を仮想的に設定する。そしてコントローラ本体11の表面の上記XYZの各軸方向の6箇所に静電容量センサ12を配したとする。このとき、X軸方向の2つの静電容量センサ12が、ユーザの指により押圧されていることを検出したときには、コントローラ本体11は、図5(b)に例示するように、Y軸方向とZ軸方向とに伸び、扁平の状態となっていると判断できる。また扁平の度合いは、X軸方向の2つの静電容量センサ12が検出した押圧力によって推定できる。
 検出処理部31は、例えばこのようにしてコントローラ本体11が
・操作が行われていない(例えばいずれの静電容量センサ12も押圧力を検出しておらず、また、指や手の接近も検出していない)、
・手に持たれた状態となっている(例えば隣り合った2以上の静電容量センサ12が指や手の接近を検出し、かつそれ以外の少なくとも1つの静電容量センサが押圧力を検出している)、
・一方向に押圧されて扁平な形状となっている(例えばいずれかの軸方向にある2つの静電容量センサがそれぞれ所定の力以上の押圧力を検出している)、
・握られている(例えば5以上の静電容量センサ12が押圧力を検出している)、
・摘まれている(例えば1つの静電容量センサ12が押圧力を検出している)、
・触れられている(例えば1つ以上の静電容量センサ12が指や手の接近を検出し、かついずれの静電容量センサも所定のしきい値を超える押圧力を検出していない)、
・なでられている(例えば複数の静電容量センサ12が交互に指や手の接近を検出している)、…
などといった複数の状態のうち、どの状態にあるかを推定し、どのような種類の操作が行われているかを検出する。
 出力処理部32は、検出処理部31が操作を検出するごとに、当該検出した操作の内容(どの種類の操作が行われたか)を表す情報を、認証処理部33、または情報処理装置20へ出力する。本実施の形態の一例として、この出力処理部32は、最後に検出処理部31が「操作が行われていない」状態以外の操作を検出したときからの経過時間を、図示しないタイマ等を用いてカウントし、当該経過時間が予め定めた時間を超過したときに、コントローラ装置10をロック状態とする。
 ロック状態としている間、出力処理部32は、検出処理部31から、当該検出処理部31が検出した操作の内容を表す情報の入力を受けると、当該情報を、情報処理装置20に対して送出することなく、認証処理部33に出力する。
 またこの出力処理部32は、ロック状態としている間に認証処理部33からロック状態を解除するべき旨の指示の入力を受けると、ロック状態を解除して、その後、所定の時間内(例えば1分以内)に検出処理部31が検出した操作の内容を表す情報の入力を受けると、当該情報を、情報処理装置20に対して送出し、最後に検出処理部31が検出した操作の内容を表す情報を出力してからの経過時間を図示しないタイマ等を用いてカウントする処理に戻る。
 またロック状態を解除した後、上記所定の時間内に検出処理部31から、検出した操作の内容を表す情報の入力がなければ、出力処理部32は再びロック状態に移行するよう制御してもよい。
 認証処理部33は、所定の認証操作が行われたか否かを判断する。またこの認証処理部33は、所定の認証操作が行われたと判断したときに、所定のロック状態にあるコントローラ装置10または情報処理装置20のロック状態を解除する。
 本実施の形態において認証処理部33が判断する所定の認証操作は、検出処理部31が検出可能な操作の少なくとも一つを含んで予め定められた一連の操作(認証のための操作パターン、以下、単に操作パターンと呼ぶ)であってよい。例えばこの所定の認証操作は、
(操作1)いずれかの軸方向(第1の軸方向とする)に押圧して扁平な状態とする操作
(操作2)上記第1の軸方向に直交する軸方向(第2の軸方向とする)に押圧して、扁平な状態とする操作、
(操作3)上記第2の軸方向に直交する軸方向に押圧して、扁平な状態とする操作
の3つの操作の順列からなる操作パターンとして規定されてもよい。この認証操作の操作パターンは一例であり、必ずしも押圧の操作(つまり弾性変形を伴う操作)のみからなっていなくてもよいし、押圧の操作(弾性変形を伴う操作)を少なくとも一つ含むものであってもよいし、押圧の操作を含まないものであってもよい。さらにこの操作パターンは一つだけでなく、複数の操作パターンが設定できてもよい。
 本実施の形態の認証処理部33は、出力処理部32からコントローラ本体11に対する操作を表す情報の入力を受けると、図6に例示する認証処理を開始する。この処理では、認証処理部33は、上記入力された情報が表す操作を最初の操作とする、認証のための操作パターンが規定されているか否かを判断する(S11:合致する操作パターンがあるか)。
 ステップS11において、入力された情報が表す操作を最初の操作とする操作パターンが規定されていなければ(S11:No)、認証処理部33は、認証の処理を終了する。またステップS11において、入力された情報が表す操作を最初の操作とする操作パターンが規定されていれば(S11:Yes)、認証処理部33は、いままでに入力された一連の操作に合致する一連の操作を規定した操作パターンがあるか否かを調べる(S12)。このステップS12では、認証処理部33は、入力されたN個(Nは1以上の自然数)の操作からなる一連の操作Ii(i=1,2…,N)と、完全に一致するN個の操作からなる一連の操作Mi(i=1,2…,N)を規定した操作パターンを検索する。
 ステップS12において、いままでに入力された一連の操作に合致する一連の操作を規定した操作パターンがあれば(S12:Yes)、認証処理部33は、認証に成功したものとして、出力処理部32に対してロック状態を解除するべき旨の指示を出力する(S13)。
 一方、認証処理部33は、ステップS12においていままでに入力された一連の操作に合致する一連の操作を規定した操作パターンがなければ、いままでに入力された一連の操作に合致する一連の操作を規定した操作パターンから始まる一連の操作を規定した操作パターンがあるか否かを判断する(S14)。
 このステップS14では、認証処理部33は、入力されたN個(Nは1以上の自然数)の操作からなる一連の操作Ii(i=1,2…,N)から始まるN+1以上の数の操作からなる(いわば前方一致する)一連の操作Mi(i=1,2…)を規定した操作パターンを検索する。
 認証処理部33は、ステップS14で上記条件を満足する操作パターンがないと判断すると(S14:No)、認証の処理を終了する。一方このステップS14において、上記条件を満足する操作パターンがあると判断すると(S14:Yes)、認証処理部33は、所定の初期状態(例えば手に持たれた状態)となるまで待機し(S15)、所定の初期状態となったときには、次の情報の入力を待機する(S16)。
 このステップS16において、コントローラ装置10が置かれている(いずれの静電容量センサ12も押圧力を検出しておらず、また、指や手の接近も検出していない)状態となり、その後所定のタイムアウトの時間が経過したときには(S16:タイムアウト)、認証処理部33は処理を終了する。一方ステップS16において、「置かれている」状態を表す情報以外の情報の入力があったならば、認証処理部33は、当該情報が表す操作が、予め定められた無視するべき操作を列挙した情報(無視対象操作情報と呼ぶ)に含まれるか否かを調べる。ここで入力された情報が表す操作が、無視対象操作情報に含まれていれば認証処理部33は、ステップS16の処理を続ける。また入力された情報が表す操作が、無視対象操作情報に含まれていなければ、認証処理部33は、当該情報を入力された一連の操作に追加して(S17)、ステップS12に戻って処理を続ける。
 なお、無視対象操作情報は、例えばユーザが認証のための次の操作を行うまでに行う必要がある操作を列挙したものとする。一例としてユーザは、第1の軸方向に押圧した後、次に第2の軸方向に押圧しようとするとき、押圧する方向を調整するために手を移動したり、コントローラ装置10を回転させたりするなどしてコントローラ本体11に触れた状態が継続する。そこでこの場合、無視対象操作情報として、「触れられている」操作を含める。この無視対象操作情報は、予め定めておいてもよいし、ステップS14で見出された操作パターンにおける次の操作(上記の例のN+1番目の操作)に基づいて、これとは異なる操作の少なくとも一部を列挙したものとなるよう定めてもよい。
 さらに、操作パターンに含められる、認証のための操作がすべて押圧の操作(一方向に押圧するか、あるいは握る操作)に限定されることとするならば、ここでの無視対象操作情報は、押圧の操作以外の操作を列挙したものとして予め定めておけばよい。
 認証処理部33のこの認証処理によると、例えば上述のように、
(操作1)いずれかの軸方向(第1の軸方向とする)に押圧して扁平な状態とする操作
(操作2)上記第1の軸方向に直交する軸方向(第2の軸方向とする)に押圧して、扁平な状態とする操作、
(操作3)上記第2の軸方向に直交する軸方向に押圧して、扁平な状態とする操作
の3つの操作の順列からなる操作パターンが認証の操作として規定されている場合、ユーザがコントローラ装置10のコントローラ本体11を、(操作A)いずれかの第1の軸方向に押圧して、扁平な状態としたときに認証の処理を開始し、この操作Aを最初の操作とする操作パターンが規定されており(ステップS11,S14でYes)、かつ操作Aと同じ操作だけで規定される操作パターンがないので(ステップS12:No)、ステップS14に移行し、既に述べたようにこのステップS14の条件を満足するので、さらにステップS15に移行して初期状態となる(手に持っただけの状態となった旨の情報が、出力処理部32から入力される)まで待機し、初期状態となった後、次の操作を待機する(ステップS16)。
 ここでユーザが操作パターンに規定された操作2とは別の操作、例えば再度第1の軸方向に押圧して扁平な状態とする操作を行うと、ステップS12からの繰り返しの処理において、ステップS14にて、入力された一連の操作、つまりここでは
(操作A)第1の軸方向に押圧して扁平な状態とする操作、
(操作B)第1の軸方向に押圧して扁平な状態とする操作、
から始まる操作パターンが規定されていないので、認証に失敗したものとして処理を終了する。
 一方、上記操作Aの後、操作パターンに規定された操作2の操作、すなわち
(操作B′)第1の軸方向に直交する軸方向(第2の軸方向とする)に押圧して、扁平な状態とする操作、
を行うと、これら操作A,操作B′から始まる操作パターンが規定されているので、ステップS14を経てステップS15に移行して初期状態となるまで待機し、初期状態となった後、次の操作を待機する(ステップS16)。ここでさらに
(操作C)第2の軸方向に直交する軸方向に押圧して、扁平な状態とする操作
が行われると、再度のステップS12からの繰り返しの処理において、入力された一連の操作(操作A,操作B′,操作C)に合致する一連の操作を規定した操作パターンが存在するので、認証処理部33は、認証に成功したものとして、出力処理部32に対してロック状態を解除するべき旨の指示を出力することとなる(ステップS13)。
[動作]
 本発明の実施の形態に係るコントローラ装置10は、以上の構成を基本的に備えており、次のように動作する。本実施の形態によると、コントローラ装置10は、操作が行われない状態(置かれている状態)で所定の時間が経過すると、自身をロック状態とするよう制御する。
 ロック状態となっているとき、コントローラ装置10は、ユーザが行った操作を表す情報を、情報処理装置20に対して送出しないよう制御する。
 コントローラ装置10は、ユーザの一連の操作を受け入れて、当該一連の操作が予め認証のための一連の操作を定めた操作パターンのいずれかに合致しているか否かを調べ、合致しているならば、認証に成功したものとして、ロック状態を解除する。
 コントローラ装置10は、ロック状態を解除した後に行われた操作を表す情報を、情報処理装置20に対して送出するようになる。
[状態の報知]
 また制御部131は、認証処理部33としての認証処理において、例えば図6に例示したステップS17の処理において、報知部134を制御して、発光、発音、または振動の少なくとも一つを呈示して、ユーザに操作を受け入れたことを報知(操作受入報知)することとしてもよい。
 またこの場合は、ステップS14において条件を満足する操作パターンがないと判断した後もただちに認証の処理を終了せず、認証処理部33は、無視対象操作情報に含まれない操作が行われるごとに発光、発音、または振動の少なくとも一つを呈示して、操作受入報知を行うこととしてもよい。このようにすると、ユーザに対して操作を受け入れたことが報知され、ユーザは操作が受け入れられたことを理解できる。また、条件を満足する操作パターンがなくなった後も、操作が受け入れられる限り、同じ態様の操作受入報知が行われることで、操作パターンとして設定されている認証操作の内容が漏洩することも防止できる。
 さらに制御部131は、認証処理部33としての認証処理のステップS13の処理において、ロック状態を解除するときには、報知部134を制御して、発光、発音、または振動の少なくとも一つを呈示してその旨の報知を行ってもよい。この際の報知の態様(発光、発音、振動の態様)は、操作受入報知における態様とは異なっていることも好適である。
 制御部131は、その他の場合においても報知の必要があるときには、報知部134を制御して、発光、発音、または振動の少なくとも一つを呈示してもよい。
[リセット操作]
 また、本実施の形態では、認証操作に対してリセットの操作(認証処理を中断する操作)が予め規定されていてもよい。この操作は例えば、「所定のリセット操作時間以上の時間、握った状態とする」などとして予め定めておけばよい。
 この場合制御部131は、認証処理部33としての認証処理の上記ステップS16の処理において、上記所定のリセット操作時間に亘って、「握る」操作が行われたか否かを判断し、当該操作が行われたと判断したときに、認証の処理を中断する。
 この例では、ユーザが例えば操作を誤ったと判断したときに、上記リセット操作時間に亘って握ったままとすることで、最初から操作をやり直すことができる。この場合も制御部131は、認証の操作を中断する際、その旨を報知するため、報知部134を制御して、発光、発音、または振動の少なくとも一つを呈示してもよい。
[ロック状態の設定操作]
 また制御部131は、ロック状態が解除された状態で、所定の操作(あるいは所定の一連の操作)を受け入れたときに、コントローラ装置10をロック状態としてもよい。
 この例では、予め、ロック状態を設定するための操作として、例えば第1の軸方向に押圧し、続いてこの第1の軸方向とは直交する第2の軸方向に押圧する操作(この一連の操作を定める操作のパターンを、以下ロック操作パターンと呼ぶ)を定めておく。
 制御部131は、ロック状態が解除された状態で、このロック操作パターンに定められた一連の操作が順番に行われると、コントローラ装置10をロック状態とする。
[操作パターンの設定]
 また操作パターンやロック操作パターンは、ユーザが任意に設定できるようになっていることも好ましい。この例では、予め認証パターン設定を開始するための操作(設定開始操作)が規定されていてもよい。
 このために操作パターンの設定を開始するための操作(操作パターン設定開始操作)を予め定めておくこととしてもよい。
 制御部131は、ロックが解除された状態で、この操作パターン設定開始操作(例えば予め定めた時間だけコントローラ本体11を握った状態とする操作)が行われると、操作パターンの設定を受け入れる処理を開始する。このとき制御部131は、当該処理を開始したことを報知するため、報知部134を制御して、発光、発音、または振動の少なくとも一つを呈示してもよい。
 制御部131は、この処理の開始後、ユーザが行った所定の、記録の対象とする操作(以下、記録対象操作と呼ぶ)を検出するごとに、当該記録対象操作を表す情報を記録する。ここで記録対象操作は、検出可能な操作のうち、既に述べた無視対象操作情報として規定される操作(例えば「触れる」操作など)と、記録の終了を表す操作として予め規定された操作以外の操作とする。
 制御部131は、記録対象操作を予め定めた最大回数受け入れるか、あるいはユーザが記録の終了を表す操作を行うと、それまでに記録した操作を表す情報の順列を、操作パターンとして記憶する。
 制御部131は、ロック操作パターンを設定可能とする場合も同様に行う。この場合は、ロック操作パターンの設定を開始する操作と、上述の操作パターン設定開始操作とを異なる操作としておけばよい。
[変形量の情報をさらに利用する例]
 またここまでの説明では、いずれかの軸方向にある2つの静電容量センサがそれぞれ所定の力以上の押圧力を検出しているときには、制御部131は、一方向に押圧されて扁平な形状となっているものと判断していたが、このとき押圧力の大きさによって形状の変形量を併せて推定し、処理に供してもよい。
 この例では、検出処理部31は、コントローラ本体11に対する押圧を検出する際に、その押圧力の情報を併せて検出する。
 そして認証処理部33は、コントローラ本体11を握る、コントローラ本体11を所定の軸方向に押圧して扁平な形状に変形するといった弾性変形操作が操作パターンに含まれるときには、当該弾性変形の変形量の条件(具体的にはコントローラ本体11に与えられる押圧力によって定めてよい)を併せて用いる。
 すなわち本実施の形態のこの例では、先に例示した操作パターンは、
(操作1)いずれかの軸方向(第1の軸方向とする)に、押圧力P1±ΔPで押圧して扁平な状態とする操作
(操作2)上記第1の軸方向に直交する軸方向(第2の軸方向とする)に、押圧力P2±ΔPで押圧して、扁平な状態とする操作、
(操作3)上記第2の軸方向に直交する軸方向に、押圧力P3±ΔPで押圧して、扁平な状態とする操作
といったように、押圧力の条件を含めて設定される。
 そして認証処理部33は、図6に例示したステップS11,ステップS16の処理において、入力された操作が弾性変形操作であったときには、その押圧力Pを併せて出力処理部32から取得し、操作パターンで規定される操作の種類(扁平な形状とする、握る、などの種類)だけでなく、押圧力の条件との双方を満足するか否かを判断する。
 例えばステップS11において、ユーザが最初に行った操作が、第1の軸方向に押圧して扁平な状態とする操作であるが、その押圧力Pが、上記操作パターンの操作1に示された押圧力P1±ΔPの範囲にない場合(P<P1-ΔPまたはP>P1+ΔPならば)、認証処理部33は、上記操作パターンに合致しないと判断する。
 一方、ステップS11において、ユーザが最初に行った操作が、第1の軸方向に押圧して扁平な状態とする操作であり、かつその押圧力Pが、上記操作パターンの操作1に示された押圧力P1±ΔPの範囲にあれば(P1-ΔP≦P≦P1+ΔPならば)、認証処理部33は、入力された情報が表す操作を最初の操作とする操作パターンが規定されていると判断する。
[方向を規定しておく場合]
 ここまでの説明では、コントローラ装置10のコントローラ本体11において上下方向あるいは、左右の方向が規定されていないものとしていた。
 このため認証のための操作において、最初に、操作によって方向が規定できた場合に、その後の操作の方向を、当該規定した方向で決定していた。例えば認証のための操作が、第1の軸方向への押圧に続いて、当該第1の軸方向とは直交する方向へ押圧を行う操作パターンとして規定されている場合、最初に行われた押圧操作の方向を第1の軸方向としていた。
 しかしながら本実施の形態はこれに限られない。例えばコントローラ本体11の表面には、上方向となるべき位置に凸部または凹部を設けるなどして、上下の方向を明示し、その上方向となるべき位置に配された静電容量センサ12と、これに対向する下方向となるべき位置に配された静電容量センサ12とを結ぶ軸方向をZ軸方向としてもよい。
 この例によると、例えば第1の軸方向をZ軸方向などとして定めておくことが可能となる。同様に、例えば静電容量センサ12を、コントローラ本体11の中心から上下(Z軸とする)左右(X軸とする)前後(Y軸とする)の6方向に配しておくとき、コントローラ本体11のそれぞれの静電容量センサ12の近傍にそれぞれ互いに異なる図形を表示しておく(例えば表面に印刷するなどして表しておく)ことで、各軸方向が規定できるようになっていてもよい。例えば上方向にある静電容量センサ12の近傍に「○」、下方向にある静電容量センサ12の近傍に「×」、左方向にある静電容量センサ12の近傍に「△」…などとして図形を配しておくと、各軸方向を定めることが可能となり、制御部131における操作の種類の判断に供することが可能となる。
[情報処理装置のロック状態の制御]
 またここまでの説明では、コントローラ装置10が、ユーザの操作によりコントローラ装置10自身のロック状態を解除する例について述べたが、本発明の実施の形態はこの例だけに限られない。
 すなわち本実施の形態のある例では、コントローラ装置10は、所定の認証操作を受け入れたときに、コントローラ装置10と通信可能に接続されている情報処理装置20のロック状態を解除することとしてもよい。
 この例では、例えば情報処理装置20は、ロック状態(認証操作を含む制限された操作のみを受け入れる状態)にあるとき、コントローラ装置10からロック状態を解除するべき旨の指示を受信してロック状態を解除する。
 またこの例ではコントローラ装置10は、自身のロック状態が解除されているときに、情報処理装置20のロック状態を解除するための認証処理を行う。この認証処理は、図6に示した処理と同様のものであるが、ステップS12において、入力された一連の操作に合致する一連の操作を規定した操作パターン(情報処理装置20のロック状態を解除するための操作として定められた操作パターン)があれば、認証に成功したものとして、情報処理装置20に対してロック状態を解除するべき旨の指示を送出する。
[ジェスチャーの認識]
 また本実施の形態のコントローラ装置10は、コントローラ本体11に対するユーザの操作を検出し、当該検出された操作に基づいてコントローラ装置を操作するユーザの手のポーズを推定してもよい。あるいは、コントローラ装置10が、コントローラ本体11に対するユーザの操作を検出して情報処理装置20に対して当該操作の内容を表す情報を出力し、情報処理装置20が当該検出された操作に基づいてコントローラ装置を操作するユーザの手のポーズを推定してもよい。
 この例では、コントローラ装置10または情報処理装置20は、ユーザが行っている操作の種類(あるいはそれによるコントローラ本体11の変形量、つまりユーザが与えている押圧力)と、ユーザの手のポーズとの関係を予め定めておくか、あるいは機械学習して当該関係を推定するための機械学習モデルを得ておく。
 そしてコントローラ装置10または情報処理装置20は、コントローラ装置10が検出したユーザが行っている操作の種類等に基づいて、ユーザの手のポーズを推定し、当該推定された手のポーズの情報を、情報処理装置20のアプリケーションプログラムの制御など(ゲームキャラクタの制御など)に供する。
[アカウントの切り替え]
 また情報処理装置20には、互いに異なる複数のユーザのログインアカウントが設定されていてもよい。この場合、このコントローラ装置10に対する所定の操作等により、ログインアカウントの切り替えが可能となっていてもよい。
 具体的に、コントローラ装置10がロック解除の状態にあるときに、ユーザが予め定められた少なくとも一つの操作を含む一連の操作を行ったとき、あるいは所定の手のポーズをとったときに、コントローラ装置10は、ログインアカウントを切り替えるよう情報処理装置20に指示してもよい。
[他のセンサ]
 本実施の形態のここまでの説明では、ユーザの操作を検出するセンサとして、静電容量センサを用いていた。しかし本実施の形態はこの例に限られず、押圧力が検出可能であれば、ひずみセンサや、その他の感圧センサなどが用いられてもよい。
 10 コントローラ装置、11 コントローラ本体、12 静電容量センサ、13 回路部、20 情報処理装置、31 検出処理部、32 出力処理部、33 認証処理部、120 ベース部、121 電極、122 リード部、123 配線部、131 制御部、132 記憶部、133 通信部、134 報知部、135 電源部、136 インタフェース部。
 

Claims (9)

  1.  情報処理装置に通信可能に接続されるコントローラ装置であって、
     弾性変形可能な本体と、
     前記本体に対するユーザの操作を検出する検出部と、
     前記検出部によって検出した操作を表す情報を前記情報処理装置へ出力する出力部と、
    を備え、
     前記出力部によって出力される情報は、前記コントローラ装置または前記情報処理装置のロック状態を制御する認証処理に用いられる、コントローラ装置。
  2.  情報処理装置に通信可能に接続されるコントローラ装置であって、
     弾性変形可能な本体と、
     前記本体に対するユーザの操作を検出する検出部と、
     前記検出部によって検出した操作が所定の認証操作であるか否かを判断して認証処理を行う認証部と、を含み、
     前記認証部が、前記所定の認証操作が行われたと判断した場合、前記コントローラ装置または前記情報処理装置のロック状態を制御するコントローラ装置。
     
  3.  請求項1または2に記載のコントローラ装置であって、
     前記認証処理に用いられる操作は、前記検出部により検出される前記本体の少なくとも一種類の弾性変形を伴う操作を含むコントローラ装置。
  4.  請求項1から3のいずれか一項に記載のコントローラ装置であって、
     前記所定の認証操作は、前記検出手段により検出される少なくとも一種類の操作を含む予め定められた操作パターンであり、
     前記所定の認証操作のための操作パターンが複数通り定められ、前記認証処理では、当該複数通り定められた操作パターンの一連の操作のいずれかが行われたときに所定の認証操作が行われたと判断して、所定のロック状態にある前記コントローラ装置または前記情報処理装置のロック状態を解除するコントローラ装置。
  5.  請求項1から4のいずれか一項に記載のコントローラ装置であって、
     発光部、発音部、振動部の少なくとも一つを含む報知部をさらに備え、
     前記認証部は、所定の操作が行われた場合、前記報知部を動作させて、発光、発音、または振動の少なくとも一つの動作を行うコントローラ装置。
  6.  請求項5に記載のコントローラ装置であって、
     前記検出部が、認証に係る所定の操作を検出した際に、前記報知部を動作させて、発光、発音、または振動の少なくとも一つの動作を行うコントローラ装置。
  7.  弾性変形可能な本体を有するコントローラ装置と、当該コントローラ装置と通信可能に接続される情報処理装置とを有する情報処理システムであって、
     前記コントローラ装置が、前記本体に対するユーザの操作を検出し、
     前記検出された操作に基づいて、前記コントローラ装置または前記情報処理装置の少なくとも一方が前記コントローラ装置を操作するユーザの手のポーズを推定し、
    当該推定された手のポーズの情報が、所定の処理に用いられる情報処理システム。
  8.  弾性変形可能な本体を有し、情報処理装置に通信可能に接続されるコントローラ装置の制御方法であって、
     前記本体に対するユーザの操作を検出するステップと、
     検出された前記操作が所定の認証操作であるか否かを判断するステップと、
     前記所定の認証操作が行われたと判断された場合、前記コントローラ装置または前記情報処理装置のロック状態を制御するステップと、を含むコントローラ装置の制御方法。
  9.  一又は複数のプロセッサに実行されることにより、情報処理装置、または当該情報処理装置と通信可能に接続され、弾性変形可能な本体を備えるコントローラ装置を制御するプログラムであって、
     前記一又は複数のプロセッサに、
     前記本体に対するユーザの操作を検出するステップと、
     検出された前記操作が所定の認証操作であるか否か判断するステップと、
     前記所定の認証操作が行われたと判断された場合、前記コントローラ装置または前記情報処理装置のロック状態を制御するステップと、
     を実行させるプログラム。
     
PCT/JP2022/014191 2022-03-24 2022-03-24 コントローラ装置、情報処理システム、コントローラ装置の制御方法、及びプログラム WO2023181313A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/014191 WO2023181313A1 (ja) 2022-03-24 2022-03-24 コントローラ装置、情報処理システム、コントローラ装置の制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/014191 WO2023181313A1 (ja) 2022-03-24 2022-03-24 コントローラ装置、情報処理システム、コントローラ装置の制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023181313A1 true WO2023181313A1 (ja) 2023-09-28

Family

ID=88100813

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/014191 WO2023181313A1 (ja) 2022-03-24 2022-03-24 コントローラ装置、情報処理システム、コントローラ装置の制御方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023181313A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11312040A (ja) * 1998-01-12 1999-11-09 Xerox Corp コンピュ―タユ―ザインタフェ―ス及びコンピュ―タ
JP2008113719A (ja) * 2006-11-01 2008-05-22 Sony Computer Entertainment Inc コントローラ装置
JP2009500071A (ja) * 2005-06-29 2009-01-08 イースピード,インコーポレイテッド 電子取引のゲームコントローラ装置を管理するシステム
JP2013178759A (ja) * 2012-02-08 2013-09-09 Immersion Corp ハプティック・フレックス・ジェスチャリングのための方法及び装置
WO2015151980A1 (ja) * 2014-04-02 2015-10-08 ソニー株式会社 情報処理システム及びコンピュータプログラム
WO2021192115A1 (ja) * 2020-03-25 2021-09-30 株式会社ソニー・インタラクティブエンタテインメント コントローラ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11312040A (ja) * 1998-01-12 1999-11-09 Xerox Corp コンピュ―タユ―ザインタフェ―ス及びコンピュ―タ
JP2009500071A (ja) * 2005-06-29 2009-01-08 イースピード,インコーポレイテッド 電子取引のゲームコントローラ装置を管理するシステム
JP2008113719A (ja) * 2006-11-01 2008-05-22 Sony Computer Entertainment Inc コントローラ装置
JP2013178759A (ja) * 2012-02-08 2013-09-09 Immersion Corp ハプティック・フレックス・ジェスチャリングのための方法及び装置
WO2015151980A1 (ja) * 2014-04-02 2015-10-08 ソニー株式会社 情報処理システム及びコンピュータプログラム
WO2021192115A1 (ja) * 2020-03-25 2021-09-30 株式会社ソニー・インタラクティブエンタテインメント コントローラ

Similar Documents

Publication Publication Date Title
EP3506068A1 (en) Devices and methods for dynamic association of user input with mobile device actions
CN101165642B (zh) 通用输入设备、操作方法及电路
US7486273B1 (en) Communications in a system comprising a computer and a haptic interface device
US11360573B2 (en) Selectively displaced keys for input and output
WO2009085338A2 (en) Control of electronic device by using a person's fingerprints
JP2006333355A (ja) 携帯情報処理装置およびその操作方法
WO2015045060A1 (ja) 電子機器、及び、電子機器における照合方法
US20210060414A1 (en) Controlling data processing
JP6405052B2 (ja) 機械制御のためのジェスチャベースのスイッチに関する方法及びシステム
JPWO2020079853A1 (ja) 情報処理システム、コントローラ装置、情報処理装置、及びプログラム
WO2023181313A1 (ja) コントローラ装置、情報処理システム、コントローラ装置の制御方法、及びプログラム
CN105144028A (zh) 触觉效果信号交换解锁
JP2009163484A (ja) 転動型入力装置と指運動検出プログラム
US20140292635A1 (en) Expected user response
KR102355274B1 (ko) 햅틱 컨트롤러를 이용한 온도 피드백 제공 시스템 및 방법
CN107665082B (zh) 解锁方法及装置
CN104951378B (zh) 一种控制方法及终端
KR102394769B1 (ko) 햅틱 컨트롤러와 근전도 센서를 이용한 햅틱 피드백 제공 시스템 및 방법
JP6887526B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN107092376A (zh) 嵌入式鼠标控制方法和鼠标控制器
CN110049188B (zh) 一种防盗预警方法、移动终端
JP2013243578A (ja) 携帯端末
CN107491175B (zh) 终端设备的控制方法及终端设备
WO2023219041A1 (ja) インタラクション装置
WO2019187891A1 (ja) 触覚システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22933453

Country of ref document: EP

Kind code of ref document: A1