WO2023073760A1 - 表示制御システム、表示制御方法、及びプログラム - Google Patents
表示制御システム、表示制御方法、及びプログラム Download PDFInfo
- Publication number
- WO2023073760A1 WO2023073760A1 PCT/JP2021/039277 JP2021039277W WO2023073760A1 WO 2023073760 A1 WO2023073760 A1 WO 2023073760A1 JP 2021039277 W JP2021039277 W JP 2021039277W WO 2023073760 A1 WO2023073760 A1 WO 2023073760A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- display control
- node mechanism
- node
- points
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 8
- 230000007246 mechanism Effects 0.000 claims description 176
- 230000010365 information processing Effects 0.000 description 21
- 230000008859 change Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 229910000889 permalloy Inorganic materials 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
Definitions
- the present invention relates to a display control system, a display control method, and a program.
- Patent Document 1 discloses a game device that performs display according to the operation of an operation device by a user.
- the present invention has been made in view of the above problems, and one of its purposes is to provide a display control system, a display control method, and a program capable of expressing various display modes.
- a display control system provides display control for displaying a display object composed of a plurality of elements previously associated with any of a plurality of grid points included in a grid-shaped operation device. and acquisition means for acquiring position coordinates of the plurality of grid points, wherein the display control means pre-associates the display mode of each of the plurality of elements with each of the plurality of elements. determined based on the position coordinates of the plurality of grid points.
- a display control method includes the step of obtaining position coordinates of a plurality of lattice points included in a lattice-shaped operation device, and displaying a display object, wherein in the displaying step, the display mode of each of the plurality of elements is set to the position coordinates of the plurality of lattice points pre-associated with each of the plurality of elements. decision based on
- a program according to the present invention includes a procedure for acquiring position coordinates of a plurality of lattice points included in a lattice-shaped operation device, a display object composed of a plurality of elements pre-associated with any of the plurality of lattice points. wherein, in the displaying step, the display mode of each of the plurality of elements is set to the positions of the plurality of lattice points pre-associated with each of the plurality of elements Determine based on coordinates.
- FIG. 4 is a perspective view showing one node mechanism and four link shafts held by the node mechanism;
- FIG. 4 is a perspective view showing a state in which a part of the exterior of the node mechanism is removed;
- FIG. 4 is an exploded perspective view showing a state where the link shaft is removed from the node mechanism;
- FIG. 4 is a cross-sectional view showing how a magnet arranged to face the three-dimensional magnetic sensor is displaced; It is a figure which shows typically the wiring structure of the display control system which concerns on this embodiment.
- FIG. 4 is a diagram showing position coordinates of each part of the node mechanism section; It is a top view which shows a mode that the operation device was attached to the jig
- FIG. 4 is a side view showing how the operation device is attached to the jig; It is a figure which shows the example of a display of the display object displayed in this embodiment. It is a figure which shows the pick-up operation
- 4 is a flow chart showing a processing flow in the information processing apparatus of the embodiment; It is a figure which shows the example of a display of the display object displayed in this embodiment. It is a figure which shows the example of a display of the display object displayed in this embodiment. It is a figure which shows the example of a display of the display object displayed in this embodiment.
- FIG. 1 is a diagram showing an example of the physical configuration of a display control system according to this embodiment.
- FIG. 2 is a perspective view showing the operating device of this embodiment.
- FIG. 3 is a functional block diagram showing an example of functions realized by the information processing apparatus of this embodiment.
- the display control system 100 includes an operation device 10 , an information processing device (computer) 20 and a display device 40 .
- the operation device 10 is, as shown in FIG. 2, a lattice-like device having multiple node mechanism parts ND and multiple link shafts SF.
- the operation device 10 outputs a signal to the information processing apparatus 20 according to a change in posture due to user's operation. Note that the operation device 10 is preferably large enough for the user to grasp both ends thereof with both hands.
- the operation device 10 has a three-dimensional magnetic sensor 50, an IMU 60, and a position sensor 70, as shown in FIG.
- the position coordinates of each node mechanism unit ND can be acquired by these various sensors, and the shape of the entire operation device 10 can be recognized. Details of the configurations and functions of various sensors and the overall configuration of the operation device 10 will be described later.
- one node mechanism unit ND is provided with four three-dimensional magnetic sensors 50, but in FIG. , only one three-dimensional magnetic sensor 50 is shown.
- the information processing device 20 may be, for example, a game device having a game program execution function, a moving image reproduction function, a communication function via the Internet, and the like.
- the information processing device 20 includes a processor 21 , a storage section 22 , a communication section 23 and an input/output section 24 .
- the processor 21 is a program-controlled device such as a CPU that operates according to a program installed in the information processing device 20, for example.
- the processor 21 has a function of executing a program and generating a moving image as a result of the execution.
- the storage unit 22 is, for example, a storage element such as ROM or RAM, or a hard disk drive.
- the storage unit 22 stores programs and the like executed by the processor 21 .
- the communication unit 23 is, for example, a communication interface for wired communication or wireless communication.
- the input/output unit 24 is, for example, an input/output port such as an HDMI (registered trademark) (High-Definition Multimedia Interface) port or a USB port.
- HDMI registered trademark
- High-Definition Multimedia Interface High-Definition Multimedia Interface
- the operation device 10 is capable of wired communication or wireless communication with the communication unit 23 included in the information processing device 20 .
- the display device 40 may be, for example, a liquid crystal display or the like. Moreover, the display device 40 may be a head-mounted display that the user can wear on the head.
- the information processing device 20 implements an acquisition unit 31 , a calculation unit 32 , and a display control unit 33 .
- the acquisition unit 31 is implemented mainly by the processor 21 and the communication unit 23 .
- the calculation unit 32 and the display control unit 33 are realized mainly by the processor 21 .
- Each of these functions is implemented by a computer executing the program according to the present embodiment. This program may be stored in a computer-readable information storage medium.
- the acquisition unit 31 acquires the position coordinates of each of the plurality of lattice points included in the operation device 10.
- the position coordinates of the plurality of grid points correspond to the position coordinates of the plurality of node mechanism parts ND.
- the position coordinates of the plurality of node mechanism units ND are obtained based on information detected by various sensors included in the operation device 10.
- the calculation unit 32 calculates the positional coordinates of the plurality of control points pre-associated with the lattice points. Note that each of the plurality of control points may be associated in advance with a portion of the display object.
- the display control unit 33 determines the display mode of each of the plurality of elements included in the display object based on the position coordinates of the plurality of grid points pre-associated with each of the plurality of elements. Further, the display control unit 33 causes the display device 40 to display the display object based on the positional coordinates of the plurality of control points respectively corresponding to the positional coordinates of the plurality of lattice points.
- FIG. 2 shows the operating device 10 in its basic posture.
- the “basic posture” of the operation device 10 means that the plurality of node mechanism portions ND are all at the same position in the vertical direction, and the plurality of node mechanism portions ND are spaced equally apart in the front-rear direction and the left-right direction. It is the posture in which it is placed.
- the operation device 10 has multiple node mechanisms ND and multiple link shafts SF.
- the node mechanism part ND holds the end of the link shaft SF so that the posture of the link shaft SF can be changed.
- One node mechanism portion ND holds ends of at least two or more link shafts SF. Both ends of the SF of all link shafts are held by the node mechanism portion ND.
- FIG. 2 shows an example in which five node mechanism units ND are arranged side by side in the front-rear direction and the left-right direction. That is, an example in which the operation device 10 has 25 node mechanism units ND is shown. Due to such arrangement, the outer shape of the operation device 10 is substantially rectangular.
- FIG. 2 shows a state in which the node mechanism portion ND and the link shaft SF are exposed to the outside, but when actually used by the user, the entire operation device 10 is covered with a covering member such as cloth. May be covered.
- the covering member may be made of a size and material that can be deformed or expanded and contracted according to changes in the posture of the operation device 10 . .
- the node mechanism unit ND provided at the front end and left end of the lattice-shaped operation device 10 is denoted by "ND11".
- the number of the reference numerals is increased as the distance from the node mechanism unit ND11 to the rear or to the right is increased. That is, for example, the node mechanism portion ND adjacent to the rear side of the node mechanism portion ND11 is indicated by the reference numeral "ND21”, and the node mechanism portion ND adjacent to the right side of the node mechanism portion ND11 is indicated by the reference numeral "ND12". is added.
- it will simply be referred to as "node mechanism unit ND" when there is no particular need to distinguish it.
- Both ends of the link shaft SF are held by the node mechanism portions ND, and the node mechanism portions ND adjacent to each other among the plurality of node mechanism portions ND are connected to each other.
- the link shaft SF connects the node mechanism portions ND adjacent to each other in the left-right direction, and connects the node mechanism portions ND adjacent to each other in the front-rear direction.
- the shaft that extends in the left-right direction and connects the node mechanism portions ND that are adjacent to each other in the left-right direction is denoted by "SF1".
- a shaft that extends in the front-rear direction and connects node mechanism portions ND that are adjacent to each other in the front-rear direction is denoted by a reference numeral “SF2”.
- link shaft SF when there is no particular need to distinguish between them, they will simply be referred to as "link shaft SF”.
- two link shafts SF are held in the node mechanisms ND11, ND15, ND51, and ND55 arranged at the corners of the lattice-shaped operation device 10, respectively.
- Three link shafts SF are held in the node mechanism portions ND12 to ND14 and the like arranged at the ends other than the corners.
- the four link shafts SF are respectively held by the node mechanism portions ND22 and the like arranged at the ends.
- the number of link shafts SF held in the node mechanism portion ND differs depending on the arrangement of the node mechanism portion ND, but it is assumed that one node mechanism portion ND holds at least two or more link shafts. good.
- FIG. 4 is a perspective view showing one node mechanism and four link shafts held by the node mechanism.
- FIG. 5 is a perspective view showing a state in which a part of the exterior of the node mechanism is removed.
- FIG. 6 is an exploded perspective view showing a state where the link shaft is removed from the node mechanism.
- FIGS. 4 and 5 show a node mechanism portion ND to which four link shafts SF extending forward, rearward, leftward, and rightward are attached. 5 shows a state in which the node mechanism section shown in FIG. 4 is vertically inverted and at least the lower plate 12 and the mounting section 132 are removed.
- the node mechanism part ND has an upper plate 11, a lower plate 12, and a holding part 13 sandwiched between the upper plate 11 and the lower plate 12 and holding the end of the link shaft SF.
- the holding portion 13 is fixed to the upper plate 11 and the lower plate 12 .
- four holding units 13 are provided in one node mechanism unit ND. This is to enable connection via the link shaft SF to each of the node mechanism portions ND that are adjacent in the left-right direction and the front-rear direction.
- the holding portion 13 has a housing portion 131 that houses a spherical portion B that is an end portion of the link shaft SF, which will be described later, and that has an inner wall along the shape of the spherical portion B. .
- an opening 131h that opens the accommodating portion 131 and has a smaller diameter than the diameter of the spherical portion B is formed in the holding portion 13 .
- the holding portion 13 is arranged so that the link shaft SF2 extending forward from the node mechanism portion ND is rotated ⁇ 45° around the X axis and ⁇ 45° around the Z axis with the holding portion 13 as a starting point. Holds angle changes tolerable.
- the link shaft SF2 extending rearward from the node mechanism portion ND, the link shaft SF1 extending leftward, and the link shaft SF1 extending rightward are similarly held by the holding portion 13 so as to allow the change in angle. ing.
- the holding section 13 includes a first member 131a and a second member 131b that form a housing section 131, and an attachment section 132 to which they are attached.
- each of the holding portions 13 is provided with a three-dimensional magnetic sensor 50 as first detection means for detecting the extending direction of the link shaft SF with respect to the node mechanism portion ND. Since four holders 13 are provided in one node mechanism ND, four three-dimensional magnetic sensors 50 are provided in one node mechanism ND.
- the direction in which the link shaft SF extends with respect to the node mechanism portion ND is, in other words, the inclination angle of the link shaft SF with respect to the node mechanism portion ND.
- the three-dimensional magnetic sensor 50 is preferably provided facing the magnet M so as to be able to detect changes in the magnetic field generated by the magnet M provided inside the spherical portion B of the link shaft SF, which will be described later.
- the three-dimensional magnetic sensor 50 capable of detecting magnetic signals in the X-axis, Y-axis, and Z-axis directions will be described as an example of the first detection means.
- a magnetic sensor capable of detecting a magnetic signal in the axial direction may be provided respectively.
- the first detection means is not limited to the magnetic sensor, and may be any sensor having a function of detecting the direction in which the link shaft SF extends with respect to the node mechanism portion ND.
- a configuration including a magnetism suppressing wall is adopted as part of the holding portion 13 .
- the mounting portion 132 is configured with a magnetic suppression wall made of an iron plate that reduces the magnetic influence of the magnet M. As shown in FIG. As a result, the three-dimensional magnetic sensor 50 can be prevented from being magnetically affected by magnets M other than the magnets M arranged to face the three-dimensional magnetic sensor 50 .
- the magnetic suppression wall may be made of a high magnetic permeability material such as permalloy containing iron and nickel as main components.
- the upper plate 11 is mounted with an IMU (Inertial Measurement Unit) 60, which is a second detection means for detecting the attitude of the node mechanism part ND.
- the IMU 60 includes a gyro sensor and an acceleration sensor, and detects angular velocity and acceleration of the node mechanism unit ND.
- an IMU will be described as an example of the second detection means, but the present invention is not limited to this, and any sensor having a function of detecting the orientation of the node mechanism unit ND may be used.
- a microprocessor may be mounted on the lower plate 12 .
- various information such as the inclination angle of the link shaft SF and the length of the link shaft SF may be calculated based on the output values of the various sensors. Since each node mechanism unit ND is equipped with a microprocessor in this manner, real-time sensing can be ensured.
- FIG. 7 is a cross-sectional view showing how a magnet arranged to face the three-dimensional magnetic sensor is displaced.
- the link shaft SF has an extending portion E extending in the left-right direction or the front-rear direction, and a spherical portion B forming an end portion of the extending portion E.
- the extending portion E is configured to be stretchable. It is preferable that the extending portion E is configured by two members that are slidably provided relative to each other so as to be able to expand and contract.
- the extending portion E arranged to extend in the left-right direction can be stretched in the left-right direction, and the extending portion E arranged to extend in the front-rear direction can be stretched in the front-rear direction.
- the maximum length of the extended portion E is preferably about 1.4 times its minimum length.
- a position sensor 70 which is a third detecting means for detecting displacement of the extending portion E, is attached to the extending portion E.
- Position sensor 70 may be, for example, a resistive position sensor and include a variable resistor that converts changes in mechanical position into analog electrical signals.
- the displacement of the extending portion E detected by the position sensor 70 is output to the information processing device 20 as information regarding the distance between the two node mechanism portions ND holding both ends of the link shaft SF having the extending portion E. good.
- a magnet M is embedded in the spherical portion B.
- Magnet M is preferably a permanent magnet.
- the magnet M is preferably provided so as to face the three-dimensional magnetic sensor 50 provided in the node mechanism section ND.
- the orientation of the magnet M changes as the direction in which the link shaft SF extends with respect to the node mechanism portion ND changes.
- the magnetic field detected by the three-dimensional magnetic sensor 50 changes.
- a change in the magnetic field detected by the three-dimensional magnetic sensor 50 may be output to the information processing device 20 as information regarding the direction in which the link shaft SF extends with respect to the node mechanism portion ND.
- the solid line in FIG. 7 indicates the link shaft SF in the state where the operation device 10 is in the basic posture
- the broken line in FIG. 7 indicates the link shaft SF in the state inclined with respect to the node mechanism portion ND.
- the magnetic field detected by the three-dimensional magnetic sensor 50 differs between the solid line state in FIG. 7 and the broken line state in FIG. 7 because the attitude of the magnet M with respect to the three-dimensional magnetic sensor 50 is different.
- FIG. 8 is a diagram schematically showing the wiring configuration of the display control system according to this embodiment. Although the node mechanism portion ND and the link shaft SF are partially omitted in FIG. 8, their arrangement is the same as that shown in FIG.
- the three-dimensional magnetic sensor 50 and the IMU 60 are mounted in each of the multiple node mechanism units ND.
- a position sensor 70 is mounted on each of the shafts SF. Signals detected by these sensors are output to the information processing device 20 . If signal lines are individually connected to each of the plurality of node mechanism portions ND, the wiring becomes complicated.
- a configuration is adopted in which five node mechanism units ND arranged in the front-rear direction output signals to the information processing device 20 through a common transmission path.
- a common signal line SL is connected to five node mechanism units ND arranged in the front-rear direction. That is, in this embodiment, five signal lines SL arranged in the horizontal direction are employed.
- a host node mechanism unit NDh which is an information aggregating unit for aggregating signals sent through the five signal lines SL.
- signals from 25 node mechanism units ND can be aggregated by one host node mechanism unit NDh and output to the communication unit 23 of the information processing device 20 via the host node mechanism unit NDh (see FIG. 1).
- the term "host node mechanism unit NDh" is used here for convenience, the configuration of the host node mechanism unit NDh is different from that of the node mechanism unit ND. That is, the host node mechanism unit NDh does not have various sensors and the like.
- the power supply line should preferably have the same wiring configuration as the signal line SL shown in FIG. In other words, power should be supplied through a common power line to the five node mechanism units ND arranged in the front-rear direction.
- the signal may be sent to the information processing apparatus 20 by wireless communication without being limited to this.
- each node mechanism unit ND should be equipped with a wireless communication circuit. By using wireless communication technology in this way, wiring becomes unnecessary, and the posture of the operation device 10 can be changed more flexibly.
- FIG. 9 is a diagram showing the positional coordinates of each part of the node mechanism section.
- a node number is given to each of the plurality of node mechanism units ND. That is, as shown in FIG. 2, in an example in which there are 25 node mechanism units ND, each node mechanism unit ND is given a node number from 1 to 25.
- FIG. FIG. 9 shows a node mechanism part ND with a node number n and a node mechanism part ND with a node number n+1 adjacent to the node mechanism part ND.
- FIG. 9 shows how the link shaft SF connecting the node mechanism part ND with the node number n and the node number n+1 is tilted, and the posture of the node mechanism part ND with the node number n+1 is tilted. Acquisition of the position coordinates of the node mechanism unit ND with the node number n+1 in this state will be described below.
- P n (X n , Y n , Z n ) be the coordinates of the central position of the node mechanism unit ND with the node number n.
- P n+1 (X n+1 , Y n+1 , Z n+1 ) be the coordinates of the center position of the node mechanism unit ND with the node number n+1. Further, in this embodiment, the coordinates of the central position of the node mechanism portion ND are used as the position coordinates of the node mechanism portion ND.
- the coordinates of the holding positions of the four link shafts SF held in the node mechanism portion ND with the node number n are expressed as PJ m (J m X n , J m Y n , J m Z n ) (m is the shaft number 1-4).
- the holding position is the center of the spherical portion B of the shaft SF.
- the first holding position PJ1 is located on the opposite side of the third holding position PJ3 with respect to the central position of the node mechanism portion ND.
- the second holding position PJ -2 is located on the opposite side of the fourth holding position PJ- 4 with respect to the central position of the node mechanism portion ND.
- the coordinates of the holding positions of the four link shafts SF held in the node mechanism portion ND with the node number n+1 are expressed as PJ m (J m X n+1 , J m Y n+1 , J m Z n+1 ) (m is the shaft numbers 1-4).
- the angle of the link shaft SF held in the node mechanism portion ND with the node number n around the V-axis (yaw axis) and the H-axis (pitch axis) shown in FIG. 4 is AJ m (J m V n , J m H n ).
- W be the length between the first holding position PJ- 1 and the third holding position PJ -3 in each node mechanism portion ND. Also, from the first holding position PJ1 of the link shaft SF, one end of which is held by the node mechanism portion ND of node number n, to the third holding position PJ1 of the link shaft SF, of which the other end is held by the node mechanism portion ND of node number n+1. to the holding position PJ3 is Rn .
- the length W is a preset fixed length, and the length Rn is a length that varies according to the length of the telescopic link shaft SF.
- the coordinates of the central position of the node mechanism part ND with the node number n are (0, 0, 0)
- the coordinates of the first holding position PJ 1 in the node mechanism part ND are (J 1 X n , J 1 Y n , J 1 Z n ) becomes (W/2, 0, 0).
- the coordinates (J 2 X n , J 2 Y n , J 2 Z n ) of the second holding position PJ2 are (0, -W/2, 0), and the coordinates of the third holding position PJ3 ( J 3 X n , J 3 Y n , J 3 Z n ) becomes ( ⁇ W/2, 0, 0), and the coordinates of the fourth holding position PJ 4 (J 4 X n , J 4 Y n , J 4 Z n ) becomes (0, W/2, 0).
- the coordinates (J 3 X n+1 , J 3 Y n+1 , J 3 Z n+1 ) of the third holding position PJ 3 in the node mechanism unit ND with node number n+1 are the node mechanism unit with node number n.
- the polar coordinate conversion is expressed as follows: be done.
- J 3 X n+1 J 1 X n +R n *sin(90° ⁇ J 1 V n )*cos(J 1 H n )
- J 3 Y n+1 J 1 Y n +R n *sin(90° ⁇ J 1 V n )*sin(J 1 H n )
- J 3 Z n+1 J 1 Z n +R n *cos(90° ⁇ J 1 V n )
- the coordinates P (X n+1 , Y n+1 , Z n+1 ) of the center position of the node mechanism portion ND with node number n+1 are the coordinates ( J 3 X n+1 , J 3 Y n+1 , J 3 Z n+1 ) are expressed as follows.
- Xn +1 J3Xn +1 +W/2*sin(90°-Vn +1 )*cos(Hn +1 )
- Y n+1 J 3 Y n+1 +W/2*sin(90° ⁇ V n+1 )*sin(H n+1 )
- Z n+1 J 3 X n+1 +W/2*cos(90° ⁇ V n+1 )
- the position coordinates of the node mechanism part ND with the node number n+1 include the position coordinates of the node mechanism part ND with the node number n, the inclination of the posture of the node mechanism part ND with the node number n+1, the node number n can be calculated based on the inclination angle of the link shaft SF with respect to the node mechanism portion ND and the length of the link shaft SF. By performing such calculation according to the number of node mechanism parts ND, the position coordinates of all node mechanism parts ND can be obtained.
- the inclination angle of the link shaft SF is detected based on the output value of the three-dimensional magnetic sensor 50, and the length of the link shaft SF is detected based on the output value of the position sensor 70.
- the tilt of the attitude of the node mechanism unit ND itself is detected based on the output value of the IMU 60 .
- FIG. 10 is a top view showing how the operation device is attached to the jig.
- FIG. 11 is a side view showing how the operation device is attached to the jig.
- the node mechanism portion ND and the link shaft SF are partially omitted in FIG. 10, their arrangement is the same as that shown in FIG.
- the three-dimensional magnetic sensor 50 detects the direction in which the link shaft SF extends with respect to the node mechanism portion ND based on the detected magnetic field. That is, the tilt angle of the link shaft SF is detected. Then, the display control system 100 acquires the position coordinates of the node mechanism unit ND based on various sensor outputs including information about the tilt angle of the link shaft SF, and displays the display object based on the acquired position coordinates.
- each link shaft SF (each three-dimensional magnetic sensor 50) is calibrated in advance so as to reduce the influence of these individual differences. It is preferable to The individual difference is caused by, for example, the tolerance of the position of the magnet M and the variation in magnetic specificity of the magnet M itself.
- a dedicated jig 80 is used to collectively perform calibration for a plurality of link shafts SF held by one node mechanism portion ND.
- the jig 80 includes mounting portions 81 for mounting the same number of node mechanism portions ND as the number of node mechanism portions ND. At least one of the plurality of mounting portions 81 is vertically movable along the Z-axis and rotatable about the Z-axis as a central axis. By operating the mounting portion 81 in this manner, each link shaft SF can be set at an arbitrary angle.
- the movable mounting portion 81 is indicated as a "mounting portion 81a", and the manner in which the node mechanism portion ND33 is mounted on the mounting portion 81a is shown.
- FIG. 10 shows how the tilt angles of the four link shafts SF held by the node mechanism part ND33 change as the mounting part 81a on which the node mechanism part ND33 is mounted rotates around the Z axis. showing.
- the tilt angle is changed in this way, it is preferable to acquire the output values of the four three-dimensional magnetic sensors 50 provided in the node mechanism unit ND.
- the inclination angle of the link shaft SF in increments of 5°, it is preferable to acquire the output value in each state.
- the lengths of the four link shafts SF held by the node mechanism portion ND33 are extended as the inclination angle of the node mechanism portion ND33 changes.
- FIG. 11 shows how the inclination angles of the four link shafts SF held by the node mechanism part ND33 change due to the upward movement of the placing part 81a on which the node mechanism part ND33 is placed.
- It shows how the tilt angle of the link shaft SF changes.
- FIG. 12 is a diagram showing a display example of display objects displayed in this embodiment.
- 13A and 13B are diagrams showing a user's picking up operation of the node mechanism unit.
- FIG. 12 is a diagram showing a display example of display objects displayed in this embodiment.
- 13A and 13B are diagrams showing a user's picking up operation of the node mechanism unit.
- FIG. 12 schematically shows how the user operates the operation device 10, and also shows display objects that change according to the operation.
- FIG. 12 shows a face, which is a three-dimensional object, as a display object displayed on the screen of display device 40 .
- the face before change is shown on the left side of the drawing. That is, it shows the face displayed when the operation device 10 is in the basic posture.
- the face after the change is shown on the right side of the drawing. That is, the face displayed when the operation device 10 has changed from the basic posture is shown.
- a plurality of control points are associated in advance with the face, which is a three-dimensional object. Also, each of the plurality of control points is associated in advance with the plurality of grid points of the operation device 10 .
- FIG. 12 shows grid points a to c and control points a' to c' previously associated with the grid points a to c.
- FIG. 12 shows an example in which the control point a' is associated with the vicinity of the nose on the face, and the control points b' and c' are associated with the vicinity of the mouth of the face.
- the information processing device 20 acquires the position coordinates of the grid points a to c of the operation device 10 using the acquisition unit 31 . That is, the position coordinates of the node mechanism part ND corresponding to the grid points a to c are obtained.
- the information processing device 20 calculates the position coordinates of the control points a' to c' by the calculation unit 32 based on the position coordinates of the lattice points a to c.
- the information processing device 20 causes the display control unit 33 to display the face, which is a three-dimensional object, on the display device 40 based on the position coordinates of the control points a' to c'.
- FIG. 12 shows how the lattice point b and the lattice point c are separated from each other in the horizontal direction by changing the posture of the operation device 10 so as to expand the operation device 10 in the horizontal direction.
- the posture of the operation device 10 By changing the posture of the operation device 10 in this way, the distance between the control point b' and the control point c' is widened, so that the face, which is a three-dimensional object, is displayed spread out in the horizontal direction.
- the outer shape of the display object and the outer shape of the operation device 10 do not have to match. That is, the outer shape of the display object may be dissimilar to the outer shape formed by connecting a plurality of grid points.
- the position coordinates of a control point may be determined according to the amount of movement of a grid point associated with the control point in advance. That is, the position coordinates of the control point may be determined according to the difference between the position coordinates of the grid point before movement and the position coordinates of the grid point after movement.
- the pick-up operation means an operation of the user picking up a predetermined node mechanism part ND and lifting it upward, as shown in FIG. 13 .
- the four link shafts SF held by the node mechanism portion ND33 are tilted by the weight of the four node mechanism portions ND adjacent to the node mechanism portion ND33 in the front, rear, left, and right directions.
- the four link shafts SF held by the picked up node mechanism portion ND33 are lengthened by the weight of the four node mechanism portions ND adjacent to the picked up node mechanism portion ND33 in the front, rear, left, and right directions. It will grow.
- grid point a is associated with control point a' corresponding to the vicinity of the nose on the face. Therefore, by moving the lattice point a upward, the facial expression is deformed so that the face is pulled forward.
- the node mechanism part ND33 When the user releases the node mechanism part ND33 from the state shown in FIG. 13, the node mechanism part ND33 should move downward due to its own weight. As a result, the operation device 10 is in the state before the pick-up motion is performed. Along with this, the face displayed on the display device 40 should return to the expression shown on the left side in FIG. Thus, in this example, the shape of the face (display object) can be changed not only two-dimensionally but also three-dimensionally. As a result, it is possible to diversify the variation of the change in the shape of the face.
- FIG. 14 is a flow chart showing the processing flow in the information processing apparatus of this embodiment.
- the acquisition unit 31 acquires the position coordinates of a plurality of lattice points of the operation device 10 (step S1).
- the calculation unit 32 calculates the position coordinates of the plurality of control points based on the position coordinates of the plurality of grid points (step S2).
- the display control unit 33 causes the display device 40 to display the display object based on the position coordinates of the plurality of control points (step S3).
- FIG. 15 is a diagram showing a display example of display objects displayed in this embodiment.
- FIG. 15 schematically shows how the user operates the operation device 10, and also shows display objects that change according to the operation.
- display objects displayed on the screen of the display device 40 three cylindrical objects (hereinafter referred to as cylindrical objects) are shown as parts constituting a three-dimensional object.
- the three cylindrical objects are associated in advance with control points a' to c', respectively.
- the display control unit 33 integrates the three cylindrical objects and displays a new object.
- FIG. 15 shows a state in which three cylindrical objects are integrated to display one large cylindrical object by bringing the control point b' and the control point c' close to each other.
- control points a' to c' are newly associated with one large cylindrical object.
- the posture of the operation device 10 is changed by the user's operation, thereby changing the shape of one large cylindrical object.
- FIG. 15 shows an example in which a new object is displayed according to the intervals between a plurality of control points, that is, the density of a plurality of lattice points
- the present invention is not limited to this.
- a new object may be displayed based on the movement amount or movement speed of the lattice points.
- FIG. 16 and 17 are diagrams showing display examples of display objects displayed in this embodiment.
- FIG. 16 schematically shows how the user operates the operation device 10, and also shows display objects that change according to the operation.
- FIG. 17 shows a two-dimensional object including characters or images as a display object displayed on the screen of the display device 40 .
- the part of the two-dimensional object is preferably associated with one of the lattice points of the operation device 10 in advance.
- FIG. 16 shows an example in which a portion of the two-dimensional object that includes characters or an image of "56789" is preliminarily associated with grid point a.
- FIG. 16 shows how a portion including the characters or image of "56789" is enlarged and displayed.
- FIG. 17 shows the operation of the operation device 10 by the user and the display objects that change according to the operation.
- FIG. 17 shows a two-dimensional object including characters or images as a display object displayed on the screen of the display device 40 .
- FIG. 17 shows how the two-dimensional object portion is enlarged and displayed as the operation device 10 is expanded in the horizontal direction.
- the operation device 10 has a high degree of freedom of operation by the user.
- display objects are displayed based on the positional coordinates of each grid point of the operation device 10, which has a high degree of freedom in operation, so that the user can intuitively operate the display objects using the tactile sensation. realizable.
- various display modes can be represented by changing the display object three-dimensionally based on the position coordinates of a plurality of lattice points.
- n and m are preferably integers of at least 3 or more.
- n and m may be different numbers.
- the number of node mechanism units ND included in the operation device 10 may be variable. For example, among the node mechanism portions ND shown in FIG. 2, n and m are set to 6 or more by holding the link shaft SF in the node mechanism portion ND including the holding portion 13 that does not hold the link shaft SF. may be possible. For this purpose, regardless of the number of link shafts SF held, the configuration itself of the node mechanisms ND should be common to each other. Moreover, the manufacturing cost can be suppressed by sharing the configuration of the node mechanism unit ND. Further, regarding the link shafts SF as well, regardless of their arrangement and orientation, it is preferable that the configuration itself be common to each other.
- the four adjacent node mechanism portions ND and the four link shafts SF connecting them form a square lattice shape
- the present invention is not limited to this.
- polygonal grids may be arranged so as to form a triangular grid or a pentagonal grid.
- the link shaft SF may be rotatable about a roll axis (a dashed line shown in FIG. 4) when the V axis shown in FIG. 4 is the yaw axis and the H axis is the pitch axis. That is, the node mechanism part ND may hold the link shaft SF so as to allow rotation about the extending direction of the link shaft SF. By adopting such a configuration, it is possible to further improve the flexibility of the attitude of the operation device 10 .
- the operation device 10 includes various sensors and acquires the position coordinates of the node mechanism unit ND.
- the position coordinates of the node mechanism unit ND may be acquired using a camera or the like that photographs the operation device 10 from the outside. In this case, it is preferable to use a camera capable of acquiring three-dimensional position data.
- the operation device 10 only needs to change its shape due to the weight of the node mechanism portion ND.
- one of the node mechanism portion ND11 and the node mechanism portion ND12 shown in FIG. 2 holds the link shaft SF1 so that the extension direction of the link shaft SF1 held by itself changes due to the weight of the other. I hope you are. Therefore, for example, in a state in which the operation device 10 is placed on a placement surface on which unevenness is formed, the shape of the operation device 10 may be changed so as to follow the unevenness.
- the operation device 10 preferably does not have biasing means or the like for returning its shape to its original shape. That is, the operation device 10 preferably maintains its shape except when the user performs an operation to change its shape. For example, as shown on the right side of FIG. 17, when the user releases the operation device 10 while the display object is partially enlarged, the enlarged display may be maintained.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
様々な表示態様を表現可能な表示制御システム(100)を提供する。表示制御システム(100)は、格子状の操作デバイス(10)に含まれる複数の格子点のいずれかに予め対応付けられた複数の要素からなる表示オブジェクトを表示させる表示制御部(33)と、複数の格子点の位置座標をそれぞれ取得する取得手段(31)と、を有し、表示制御部(33)は、複数の要素のそれぞれの表示態様を、当該複数の要素のそれぞれに予め対応付けられる複数の格子点の位置座標に基づいて決定する。
Description
本発明は、表示制御システム、表示制御方法、及びプログラムに関する。
下記特許文献1には、ユーザによる操作デバイスの操作に応じた表示を行うゲーム装置が開示されている。
近年、ゲーム装置等においては、コンピュータの処理能力の向上に伴い、表示オブジェクトの多様な動作を表現することが可能となっている。それに伴い、入力操作に応じた様々な表示態様を表現可能な技術が求められている。
本発明は上記課題に鑑みてなされたものであって、その目的の1つは、様々な表示態様を表現可能な表示制御システム、表示制御方法、及びプログラムを提供することにある。
上記課題を解決するために、本発明に係る表示制御システムは、格子状の操作デバイスに含まれる複数の格子点のいずれかに予め対応付けられた複数の要素からなる表示オブジェクトを表示させる表示制御手段と、前記複数の格子点の位置座標をそれぞれ取得する取得手段と、を有し、前記表示制御手段は、前記複数の要素のそれぞれの表示態様を、当該複数の要素のそれぞれに予め対応付けられる前記複数の格子点の位置座標に基づいて決定する。
また、本発明に係る表示制御方法は、格子状の操作デバイスに含まれる複数の格子点の位置座標を取得するステップと、前記複数の格子点のいずれかに予め対応付けられた複数の要素からなる表示オブジェクトを表示させるステップと、を有し、前記表示させるステップにおいて、前記複数の要素のそれぞれの表示態様を、当該複数の要素のそれぞれに予め対応付けられる前記複数の格子点の位置座標に基づいて決定する。
また、本発明に係るプログラムは、格子状の操作デバイスに含まれる複数の格子点の位置座標を取得する手順、前記複数の格子点のいずれかに予め対応付けられた複数の要素からなる表示オブジェクトを表示させる手順、をコンピュータに実行させるプログラムであって、前記表示させる手順において、前記複数の要素のそれぞれの表示態様を、当該複数の要素のそれぞれに予め対応付けられる前記複数の格子点の位置座標に基づいて決定する。
以下、図面を参照して、本発明の実施形態(以下、本実施形態という)について説明する。以下の説明では、図2等のX1及びX2が示す方向をそれぞれ右方及び左方とし、図中のY1及びY2が示す方向をそれぞれ前方及び後方とし、図中のZ1及びZ2が示す方向をそれぞれ上方及び下方とする。
[表示制御システムの概要]
まず、図1~3を参照して、本実施形態に係る表示制御システム100の概要について説明する。図1は、本実施形態に係る表示制御システムの物理構成の一例を示す図である。図2は、本実施形態の操作デバイスを示す斜視図である。図3は、本実施形態の情報処理装置で実現される機能の一例を示す機能ブロック図である。
まず、図1~3を参照して、本実施形態に係る表示制御システム100の概要について説明する。図1は、本実施形態に係る表示制御システムの物理構成の一例を示す図である。図2は、本実施形態の操作デバイスを示す斜視図である。図3は、本実施形態の情報処理装置で実現される機能の一例を示す機能ブロック図である。
表示制御システム100は、操作デバイス10と、情報処理装置(コンピュータ)20と、表示装置40とを含む。
操作デバイス10は、図2に示すように、複数のノード機構部NDと、複数のリンクシャフトSFとを有する格子状の装置である。操作デバイス10は、ユーザの操作による姿勢の変化に応じて情報処理装置20に信号を出力する。なお、操作デバイス10は、その両端をユーザが両手で掴むことが出来る程度の大きさであるとよい。
操作デバイス10は、図1に示すように三次元磁気センサ50、IMU60、ポジションセンサ70を有している。表示制御システム100においては、これら各種センサにより各ノード機構部NDの位置座標を取得し、操作デバイス10全体の形状を認識することができる。なお、各種センサの構成や機能、操作デバイス10の全体構成の詳細については後述する。なお、後述するように1つのノード機構部NDには4つの三次元磁気センサ50が設けられているが、図1においては図面が煩雑になることを避けるため、1つのノード機構部NDに対応して1つの三次元磁気センサ50のみを図示している。
情報処理装置20は、例えば、ゲームプログラムの実行機能や動画像再生機能、インターネットを通じた通信機能などを有するゲーム装置であるとよい。情報処理装置20は、プロセッサ21と、記憶部22と、通信部23と、入出力部24とを含む。
プロセッサ21は、例えば情報処理装置20にインストールされるプログラムに従って動作するCPU等のプログラム制御デバイスである。プロセッサ21は、プログラムを実行し、その実行結果として動画像を生成する機能を有している。
記憶部22は、例えば、ROMやRAM等の記憶素子やハードディスクドライブなどである。記憶部22には、プロセッサ21によって実行されるプログラムなどが記憶される。
通信部23は、例えば、有線通信又は無線通信用の通信インタフェースである。
入出力部24は、例えば、HDMI(登録商標)(High-Definition Multimedia Interface)ポート、USBポートなどの入出力ポートである。
操作デバイス10は、情報処理装置20が備える通信部23と有線通信又は無線通信が可能となっている。
表示装置40は、例えば、液晶ディスプレイ等であるとよい。また、表示装置40は、ユーザが頭部に装着可能なヘッドマウントディスプレイであってもよい。
図3に示すように、情報処理装置20では、取得部31、演算部32、表示制御部33が実現される。取得部31は、プロセッサ21及び通信部23を主として実現される。演算部32及び表示制御部33は、プロセッサ21を主として実現される。これら各機能は、本実施形態に係るプログラムをコンピュータが実行することで実現される。このプログラムはコンピュータ可読情報記憶媒体に格納されていてもよい。
取得部31は、操作デバイス10に含まれる複数の格子点の位置座標をそれぞれ取得する。本実施形態において、複数の格子点の位置座標は、複数のノード機構部NDの位置座標にそれぞれ対応する。なお、複数のノード機構部NDの位置座標は、操作デバイス10に含まれる種々のセンサで検出された情報に基づいて取得される。
演算部32は、複数のノード機構部NDの格子点の位置座標に基づいて、格子点に予め対応付けられる複数の制御点の位置座標をそれぞれ算出する。なお、複数の制御点はそれぞれ、表示オブジェクトの部分に予め対応付けられているとよい。
表示制御部33は、表示オブジェクトに含まれる複数の要素のそれぞれの表示態様を、当該複数の要素のそれぞれに予め対応付けられる複数の格子点の位置座標に基づいて決定する。また、表示制御部33は、複数の格子点の位置座標にそれぞれ対応する複数の制御点の位置座標に基づいて、表示オブジェクトを表示装置40に表示させる。
[操作デバイスの構成]
次に、主に図2を参照して、本実施形態の操作デバイス10の構成について説明する。図2においては、基本姿勢にある操作デバイス10を示している。本実施形態において、操作デバイス10の「基本姿勢」とは、複数のノード機構部NDが上下方向において全て同じ位置にあり、かつ複数のノード機構部NDが前後方向及び左右方向において互いに等間隔に配置されている状態にある姿勢である。
次に、主に図2を参照して、本実施形態の操作デバイス10の構成について説明する。図2においては、基本姿勢にある操作デバイス10を示している。本実施形態において、操作デバイス10の「基本姿勢」とは、複数のノード機構部NDが上下方向において全て同じ位置にあり、かつ複数のノード機構部NDが前後方向及び左右方向において互いに等間隔に配置されている状態にある姿勢である。
操作デバイス10は、複数のノード機構部NDと、複数のリンクシャフトSFとを有する。
ノード機構部NDは、リンクシャフトSFの姿勢を変化可能にリンクシャフトSFの端部を保持している。1つのノード機構部NDは、少なくとも2つ以上のリンクシャフトSFの端部を保持している。また、全てのリンクシャフトのSFの両端は、ノード機構部NDにそれぞれ保持されている。このような構成を採用することにより、操作デバイス10は全体として格子状となっている。
図2においては、前後方向及び左右方向にそれぞれノード機構部NDが5個ずつ並んで配置される例を示している。すなわち、操作デバイス10が25個のノード機構部NDを有する例を示している。このような配置により、操作デバイス10の外形は、ほぼ矩形となっている。
なお、図2においては、ノード機構部ND及びリンクシャフトSFが外部に剥き出しになっている状態を示すが、実際にユーザに使用される際は、操作デバイス10は布等の被覆部材により全体が覆われていてもよい。その場合、被覆部材は、操作デバイス10の姿勢の変化に応じて変形又は伸縮可能な大きさや材質から成るとよい。。
図2においては、格子状の操作デバイス10の前端かつ左端に設けられるノード機構部NDを「ND11」との符号を付けて表す。また、ノード機構部ND11から後方又は右方に離れるほど、符号の数字を増加させて表す。すなわち、例えば、ノード機構部ND11と後方に隣り合うノード機構部NDを「ND21」との符号を付けて表し、ノード機構部ND11と右方に隣り合うノード機構部NDを「ND12」との符号を付けて表す。ただし、本明細書において、特に区別する必要のない場合は単に「ノード機構部ND」と表して説明する。
リンクシャフトSFは、その両端がノード機構部NDに保持されると共に、複数のノード機構部NDのうち互いに隣り合うノード機構部NDをそれぞれ接続している。具体的には、リンクシャフトSFは、左右方向で互いに隣り合うノード機構部NDを接続しており、また、前後方向で互いに隣り合うノード機構部NDを接続している。
図2に示すように、複数のリンクシャフトSFのうち、左右方向に延びると共に、左右方向で互いに隣り合うノード機構部NDを接続するシャフトを「SF1」との符号を付けて表す。また、複数のリンクシャフトSFのうち、前後方向に延びると共に、前後方向で互いに隣り合うノード機構部NDを接続するシャフトを「SF2」との符号を付けて表す。ただし、本明細書において、特に区別する必要のない場合は単に「リンクシャフトSF」と表して説明する。
なお、図2においては、格子状の操作デバイス10の角に配置されるノード機構部ND11、ND15、ND51、ND55には、2つのリンクシャフトSFがそれぞれ保持されている。また、角以外の端に配置されるノード機構部ND12~14等には、3つのリンクシャフトSFがそれぞれ保持されている。また、端以外に配置されるノード機構部ND22等には、4つのリンクシャフトSFがそれぞれ保持されている。このように、ノード機構部NDに保持されるリンクシャフトSFの数は、ノード機構部NDの配置によって異なるが、1のノード機構部NDには少なくとも2つ以上のリンクシャフトが保持されているとよい。
[ノード機構部]
次に、図4~図6を参照して、ノード機構部NDの構成の詳細について説明する。図4は、1つのノード機構部と、そのノード機構部に保持される4つのリンクシャフトを示す斜視図である。図5は、ノード機構部の外装の一部を取り除いた状態を示す斜視図である。図6は、ノード機構部からリンクシャフトを取り外した状態を示す分解斜視図である。図4、図5においては、前方、後方、左方、右方のそれぞれに向けて延びる4つのリンクシャフトSFが取り付けられるノード機構部NDを示している。なお、図5は、図4に示すノード機構部を上下方向で反転させると共に、少なくとも下板12及び取り付け部132を取り除いた状態を示している。
次に、図4~図6を参照して、ノード機構部NDの構成の詳細について説明する。図4は、1つのノード機構部と、そのノード機構部に保持される4つのリンクシャフトを示す斜視図である。図5は、ノード機構部の外装の一部を取り除いた状態を示す斜視図である。図6は、ノード機構部からリンクシャフトを取り外した状態を示す分解斜視図である。図4、図5においては、前方、後方、左方、右方のそれぞれに向けて延びる4つのリンクシャフトSFが取り付けられるノード機構部NDを示している。なお、図5は、図4に示すノード機構部を上下方向で反転させると共に、少なくとも下板12及び取り付け部132を取り除いた状態を示している。
ノード機構部NDは、上板11と、下板12と、上板11と下板12に挟まれると共にリンクシャフトSFの端部を保持する保持部13とを有する。保持部13は、上板11と下板12に対して固定されている。
図4、図5に示すように、保持部13は、1つのノード機構部NDに4つ設けられている。これは、左右方向及び前後方向に隣り合うノード機構部NDのそれぞれにリンクシャフトSFを介して接続可能とするためである。
本実施形態において、図5に示すように、保持部13は、後述のリンクシャフトSFの端部である球状部Bを収容すると共に、球状部Bの形状に沿う内壁を有する収容部131を有する。また、保持部13には、収容部131を開放すると共に、球状部Bの直径よりも径の小さい開口131hが形成されている。
また、図4に示すように、保持部13は、ノード機構部NDから前方に延びるリンクシャフトSF2を、その保持部13を起点としてX軸周りに±45°、Z軸周りに±45°の角度の変化を許容可能に保持している。ノード機構部NDから後方に向けて延びるリンクシャフトSF2、左方に向けて延びるリンクシャフトSF1、右方に向けて延びるリンクシャフトSF1も同様に角度の変化を許容可能に、保持部13により保持されている。
図6に示すように、保持部13は、収容部131を形成する第1部材131a及び第2部材131bと、それらが取り付けられる取り付け部132とを含む。
また、図6に示すように、保持部13のそれぞれには、ノード機構部NDに対するリンクシャフトSFが延伸する方向を検出する第1検出手段である三次元磁気センサ50が設けられている。1つのノード機構部NDには4つの保持部13が設けられていることより、1つのノード機構部NDには4つの三次元磁気センサ50が設けられている。なお、ノード機構部NDに対するリンクシャフトSFが延伸する方向は、言い換えると、ノード機構部NDに対するリンクシャフトSFの傾き角度である。
三次元磁気センサ50は、後述のリンクシャフトSFの球状部B内に設けられる磁石Mから生じる磁界の変化を検出可能に、その磁石Mに対向して設けられているとよい。なお、本実施形態においては、第1検出手段としてX軸、Y軸、及びZ軸方向の磁気信号を検出可能な三次元磁気センサ50を例に挙げて説明するが、これに限られず、各軸方向の磁気信号を検出可能な磁気センサをそれぞれ設けてもよい。また、第1検出手段は磁気センサに限られるものでもなく、ノード機構部NDに対するリンクシャフトSFが延伸する方向を検出する機能を備えるセンサであればよい。
ここで、1つのノード機構部NDには複数のリンクシャフトSFが保持されることより、複数の磁石Mが互いに隣接して配置されることとなる。そのため、それら複数の磁石Mが互いに磁気的に影響し合い、三次元磁気センサ50において適切に磁界の変化を検出できない可能性がある。そこで、本実施形態においては、保持部13の一部に、磁気抑制壁を含む構成を採用する。具体的には、取り付け部132を、磁石Mによる磁気的な影響を低減する鉄板から成る磁気抑制壁で構成した。これにより、三次元磁気センサ50が、該三次元磁気センサ50に対向して配置される磁石M以外の磁石Mから磁気的な影響を受けることを回避できる。その結果、三次元磁気センサ50において、当該三次元磁気センサ50が設けられるノード機構部NDに対してリンクシャフトSFが延伸する方向を精度良く検出することができる。なお、磁気抑制壁は、例えば、鉄およびニッケルを主成分とするパーマロイ等の高透磁率材料から成るものであってもよい。
また、図4に示すように、上板11には、ノード機構部NDの姿勢を検出する第2検出手段であるIMU(Inertial Measurement Unit)60が実装されている。IMU60はジャイロセンサおよび加速度センサを含み、ノード機構部NDの角速度や加速度を検出する。なお、本実施形態においては、第2検出手段としてIMUを例に挙げて説明するが、これに限られず、ノード機構部NDの姿勢を検出する機能を備えるセンサであればよい。
なお、図示は省略するが、下板12にはマイクロプロセッサが実装されているとよい。このマイクロプロセッサにおいては、各種センサの出力値に基づいて、リンクシャフトSFの傾き角度や、リンクシャフトSFの長さ等、各種情報が算出されるとよい。このように各ノード機構部NDそれぞれにマイクロプロセッサが実装されていることより、センシングのリアルタイム性を確保することができる。
[リンクシャフト]
次に、図4~図7を参照して、リンクシャフトSFの構成の詳細について説明する。図7は、三次元磁気センサに対向して配置される磁石が変位する様子を示す断面図である。
次に、図4~図7を参照して、リンクシャフトSFの構成の詳細について説明する。図7は、三次元磁気センサに対向して配置される磁石が変位する様子を示す断面図である。
リンクシャフトSFは、左右方向又は前後方向に延びる延伸部Eと、延伸部Eの端部を構成する球状部Bとを有する。本実施形態において、延伸部Eは伸縮可能な構成である。延伸部Eは、互いに摺動可能に設けられる2つの部材で構成されることで伸縮可能であるとよい。左右方向に延伸するように配置される延伸部Eは左右方向に伸縮可能であり、前後方向に延伸するように配置される延伸部Eは前後方向に伸縮可能である。延伸部Eは、その最大の長さが、その最小の長さの1.4倍程度であるとよい。
また、延伸部Eには、延伸部Eの変位を検出する第3検出手段であるポジションセンサ70が取り付けられている。ポジションセンサ70は、例えば、抵抗式ポジションセンサであって、機械的な位置の変化をアナログ電気信号に変換する可変抵抗器を含むとよい。ポジションセンサ70により検出された延伸部Eの変位は、その延伸部Eを有するリンクシャフトSFの両端を保持する2つのノード機構部ND間の距離に関する情報として、情報処理装置20へ出力されるとよい。
また、図7に示すように、球状部Bには、磁石Mが埋め込まれている。磁石Mは永久磁石であるとよい。磁石Mは、ノード機構部NDに設けられる三次元磁気センサ50に対向するように設けられているとよい。磁石Mの向きは、ノード機構部NDに対するリンクシャフトSFが延伸する方向が変化することにより変化する。磁石Mの向きが変化することにより、三次元磁気センサ50が検出する磁界が変化する。三次元磁気センサ50により検出された磁界の変化は、ノード機構部NDに対するリンクシャフトSFが延伸する方向に関する情報として、情報処理装置20へ出力されるとよい。
なお、図7の実線は、操作デバイス10が基本姿勢にある状態におけるリンクシャフトSFを示しており、図7の破線は、ノード機構部NDに対して傾斜した状態におけるリンクシャフトSFを示している。図7の実線の状態と、図7の破線の状態とでは、三次元磁気センサ50に対する磁石Mの姿勢が異なることより、三次元磁気センサ50が検出する磁界が異なることとなる。
[伝送路]
次に、図8を参照して、本実施形態に係る表示制御システム100の伝送路について説明する。図8は、本実施形態に係る表示制御システムの配線構成を模式的に示す図である。なお、図8においては、ノード機構部ND及びリンクシャフトSFを一部省略して図示しているが、それらの配置は図2で示したものと同じである。
次に、図8を参照して、本実施形態に係る表示制御システム100の伝送路について説明する。図8は、本実施形態に係る表示制御システムの配線構成を模式的に示す図である。なお、図8においては、ノード機構部ND及びリンクシャフトSFを一部省略して図示しているが、それらの配置は図2で示したものと同じである。
上述のように複数のノード機構部NDにはそれぞれ三次元磁気センサ50及びIMU60が実装されている。また、複数のシャフトSFにはそれぞれポジションセンサ70が実装されている。これらセンサで検出された信号は情報処理装置20へ出力される。複数のノード機構部NDそれぞれに信号線を個別に接続すると配線が複雑になる。
そこで、本実施形態においては、前後方向に並ぶ5つのノード機構部NDが共通の伝送路を通じて情報処理装置20に信号を出力する構成を採用する。具体的には、図8に示すように、前後方向に並ぶ5つのノード機構部NDに共通の信号線SLを接続する。すなわち、本実施形態においは、左右方向に並ぶ5本の信号線SLを採用する。
さらに、本実施形態においては、5本の信号線SLを通じて送られる信号を集約するための情報集約部であるホストノード機構部NDhを設けた。これにより、25個のノード機構部NDからの信号を1つのホストノード機構部NDhで集約して、ホストノード機構部NDhを介して情報処理装置20の通信部23に出力できる(図1参照)。なお、ここでは便宜上、ホストノード機構部NDhとの用語を用いたが、ホストノード機構部NDhの構成はノード機構部NDと異なるものである。すなわち、ホストノード機構部NDhは、各種センサ等を有していない。
また、電源線も図8に示す信号線SLと同じ配線構成であるとよい。すなわち、前後方向に並ぶ5つのノード機構部NDへは共通の電源線を通じて電力が供給されるとよい。
なお、ここでは、操作デバイス10が信号線SL及び電源線を含む例を説明したが、これに限らず、無線通信により、情報処理装置20へ信号を送ることとしてもよい。この場合、各ノード機構部NDが無線通信回路を実装するとよい。このように無線通信技術を用いることにより、配線が不要となるため操作デバイス10の姿勢をより柔軟に変化させることが可能となる。
[ノード機構部の位置座標の取得]
次に、図9を参照して、ノード機構部NDの位置座標の取得について説明する。図9は、ノード機構部の各部の位置座標を示す図である。ここで、複数のノード機構部NDにそれぞれノード番号を付与する。すなわち、図2に示すように、ノード機構部NDが25個ある例においては、各ノード機構部NDにはノード番号1~25のいずれかが付与される。図9においては、ノード番号nのノード機構部NDと、そのノード機構部NDに隣り合うノード番号n+1のノード機構部NDを示している。
次に、図9を参照して、ノード機構部NDの位置座標の取得について説明する。図9は、ノード機構部の各部の位置座標を示す図である。ここで、複数のノード機構部NDにそれぞれノード番号を付与する。すなわち、図2に示すように、ノード機構部NDが25個ある例においては、各ノード機構部NDにはノード番号1~25のいずれかが付与される。図9においては、ノード番号nのノード機構部NDと、そのノード機構部NDに隣り合うノード番号n+1のノード機構部NDを示している。
図9においては、ノード番号nとノード番号n+1のノード機構部NDを接続するリンクシャフトSFが傾くと共に、ノード番号n+1のノード機構部ND自身の姿勢が傾いている様子を示している。以下、この状態におけるノード番号n+1のノード機構部NDの位置座標の取得について説明する。
ノード番号nのノード機構部NDの中心位置の座標をPn(Xn、Yn、Zn)とする。また、ノード番号n+1のノード機構部NDの中心位置の座標をPn+1(Xn+1、Yn+1、Zn+1)とする。また、本実施形態においては、ノード機構部NDの中心位置の座標を、そのノード機構部NDの位置座標とする。
また、ノード番号nのノード機構部NDに保持される4つのリンクシャフトSFの保持位置の座標をPJm(JmXn、JmYn、JmZn)と表す(mはシャフト番号1~4)。本実施形態においては、保持位置は、シャフトSFの球状部Bの中心とする。図9に示すように、第1の保持位置PJ1は、ノード機構部NDの中心位置を介して第3の保持位置PJ3の反対側の位置である。また、第2の保持位置PJ2は、ノード機構部NDの中心位置を介して第4の保持位置PJ4の反対側の位置である。
同様に、ノード番号n+1のノード機構部NDに保持される4つのリンクシャフトSFの保持位置の座標をPJm(JmXn+1、JmYn+1、JmZn+1)と表す(mはシャフト番号1~4)。
また、ノード番号nのノード機構部NDに保持されるリンクシャフトSFの図4に示すV軸(ヨー軸)及びH軸(ピッチ軸)周りの角度をAJm(JmVn、JmHn)とする。
また、各ノード機構部NDにおける第1の保持位置PJ1と第3の保持位置PJ3との間の長さをWとする。また、ノード番号nのノード機構部NDに一端が保持されるリンクシャフトSFの第1の保持位置PJ1から、ノード番号n+1のノード機構部NDに他端が保持されるリンクシャフトSFの第3の保持位置PJ3までの長さをRnとする。長さWは予め設定された固定の長さであり、長さRnは伸縮可能なリンクシャフトSFの長さに応じて変化する長さである。
例えば、ノード番号nのノード機構部NDの中心位置の座標を(0、0、0)とした場合、そのノード機構部NDにおける第1の保持位置PJ1の座標(J1Xn、J1Yn、J1Zn)は(W/2、0、0)となる。同様に、第2の保持位置PJ2の座標(J2Xn、J2Yn、J2Zn)は(0、-W/2、0)となり、第3の保持位置PJ3の座標(J3Xn、J3Yn、J3Zn)は(-W/2、0、0)となり、第4の保持位置PJ4の座標(J4Xn、J4Yn、J4Zn)は(0、W/2、0)となる。
また、ノード番号n+1のノード機構部NDにおける第3の保持位置PJ3の座標(J3Xn+1、J3Yn+1、J3Zn+1)は、ノード番号nのノード機構部NDの第1の保持位置PJ1と、第1の保持位置PJ1で保持されるリンクシャフトSFのV軸及びH軸周りの角度AJ1とに基づいて、極座標変換により下記のように表される。
J3Xn+1=J1Xn+Rn*sin(90°-J1Vn)*cos(J1Hn)
J3Yn+1=J1Yn+Rn*sin(90°-J1Vn)*sin(J1Hn)
J3Zn+1=J1Zn+Rn*cos(90°-J1Vn)
J3Xn+1=J1Xn+Rn*sin(90°-J1Vn)*cos(J1Hn)
J3Yn+1=J1Yn+Rn*sin(90°-J1Vn)*sin(J1Hn)
J3Zn+1=J1Zn+Rn*cos(90°-J1Vn)
また、ノード番号n+1のノード機構部ND自身の姿勢の傾き、すなわちV軸及びH軸周りの角度を(Vn+1、Hn+1)とする。この場合、ノード番号n+1のノード機構部NDの中心位置の座標P(Xn+1、Yn+1、Zn+1)は、ノード番号n+1のノード機構部NDにおける第3の保持位置PJ3の座標(J3Xn+1、J3Yn+1、J3Zn+1)に基づいて、下記のように表される。
Xn+1=J3Xn+1+W/2*sin(90°-Vn+1)*cos(Hn+1)
Yn+1=J3Yn+1+W/2*sin(90°-Vn+1)*sin(Hn+1)
Zn+1=J3Xn+1+W/2*cos(90°-Vn+1)
Xn+1=J3Xn+1+W/2*sin(90°-Vn+1)*cos(Hn+1)
Yn+1=J3Yn+1+W/2*sin(90°-Vn+1)*sin(Hn+1)
Zn+1=J3Xn+1+W/2*cos(90°-Vn+1)
以上のように、ノード番号n+1のノード機構部NDの位置座標は、ノード番号nのノード機構部NDの位置座標に加えて、ノード番号n+1のノード機構部ND自身の姿勢の傾き、ノード番号nのノード機構部NDに対するリンクシャフトSFの傾き角度、そのリンクシャフトSFの長さに基づいて算出することができる。このような計算をノード機構部NDの数に応じて行うことで、全てのノード機構部NDの位置座標を取得することができる。なお、リンクシャフトSFの傾き角度は三次元磁気センサ50の出力値に基づいて検出されるものであり、リンクシャフトSFの長さはポジションセンサ70の出力値に基づいて検出されるものであり、ノード機構部ND自身の姿勢の傾きはIMU60の出力値に基づいて検出されるものである。
ただし、全てのノード機構部NDの位置座標を同様に算出することは必須ではなく、周辺のノード機構部NDの位置座標等から推定される推定値を用いてもよい。
[リンクシャフトの傾き角度と三次元磁気センサの出力値の関係]
次に、図10、図11を参照して、本実施形態におけるリンクシャフトSFの傾き角度と三次元磁気センサ50の出力値の関係について説明する。図10は、操作デバイスが治具に取り付けられた様子を示す上面図である。図11は、操作デバイスが治具に取り付けられた様子を示す側面図である。なお、図10においては、ノード機構部ND及びリンクシャフトSFを一部省略して図示しているが、それらの配置は図2で示したものと同じである。
次に、図10、図11を参照して、本実施形態におけるリンクシャフトSFの傾き角度と三次元磁気センサ50の出力値の関係について説明する。図10は、操作デバイスが治具に取り付けられた様子を示す上面図である。図11は、操作デバイスが治具に取り付けられた様子を示す側面図である。なお、図10においては、ノード機構部ND及びリンクシャフトSFを一部省略して図示しているが、それらの配置は図2で示したものと同じである。
上述のように、三次元磁気センサ50は、検出した磁界に基づいてノード機構部NDに対してリンクシャフトSFが延伸する方向を検出する。すなわち、リンクシャフトSFの傾き角度を検出する。そして、表示制御システム100においては、リンクシャフトSFの傾き角度に関する情報を含む各種センサ出力に基づいてノード機構部NDの位置座標を取得し、取得した位置座標に基づいて表示オブジェクトを表示させる。ここで、各三次元磁気センサ50で検出される磁界には個体差の影響が出るため、それら個体差の影響を低減するよう、各リンクシャフトSF(各三次元磁気センサ50)において予めキャリブレーションを行うことが好ましい。なお、個体差は、例えば、磁石Mの位置の公差や、磁石M自体の磁気的特定のばらつきにより生じるものである。
しかしながら、複数のノード機構部NDに保持される複数のリンクシャフトSFの1つ1つに対して順次キャリブレーションを行うには長時間を要することとなる。そこで、本実施形態においては、専用の治具80を用いて、1つのノード機構部NDに保持される複数のリンクシャフトSFにおけるキャリブレーションをまとめて行うこととした。
治具80は、ノード機構部NDの数と同数のノード機構部NDを載置する載置部81を含む。複数の載置部81のうち少なくとも一つは、Z軸に沿うように上下動可能であって、かつZ軸を中心軸として回転可能である。このように載置部81が動作することにより、各リンクシャフトSFを任意の角度にすることが可能となる。図10においては、可動する載置部81を「載置部81a」として示し、載置部81aにノード機構部ND33が載置される様子を示している。
図10は、ノード機構部ND33が載置される載置部81aがZ軸を中心軸として回転することにより、ノード機構部ND33に保持される4つのリンクシャフトSFの傾き角度が変化した様子を示している。このように傾き角度を変化させた状態において、ノード機構部NDに設けられる4つの三次元磁気センサ50における出力値をそれぞれ取得するとよい。また、例えば、5°刻みにリンクシャフトSFの傾き角度を変化させることで、それぞれの状態における出力値を取得するとよい。なお、図10に示す状態において、ノード機構部ND33に保持される4つのリンクシャフトSFは、ノード機構部ND33の傾き角度の変化に伴い、それらの長さが伸びた状態となっている。
また、図10に示すように、ノード機構部ND33に保持される4つのリンクシャフトSFの一端の傾き角度が変化するのに伴い、それら4つのリンクシャフトSFの他端における傾き角度も変化する。すなわち、ノード機構部ND23、ND32、ND34、ND43に保持されるリンクシャフトSFの傾き角度が変化している。このように図10に示す治具80を用いることにより、4つのリンクシャフトSFの一端及び他端の傾き角度に応じた8つの出力値をまとめて取得することができる。
また、図11は、ノード機構部ND33が載置される載置部81aが上方に移動することにより、ノード機構部ND33に保持される4つのリンクシャフトSFの傾き角度が変化した様子を示している。リンクシャフトSFの傾き角度が変化した様子を示している。この場合においても、リンクシャフトSFの傾き角度を変化させた状態において、ノード機構部NDに設けられる4つの三次元磁気センサ50における出力値をそれぞれ取得するとよい。また、例えば、5°刻みにリンクシャフトSFの傾き角度を変化させることで、それぞれの状態における出力値を取得するとよい。
[表示オブジェクトの表示例]
次に、図12、図13を参照して、本実施形態に係る表示制御システム100における表示オブジェクトの表示例を説明する。図12は、本実施形態において表示される表示オブジェクトの表示例を示す図である。図13は、ユーザによるノード機構部の摘まみ上げ動作を示す図である。
次に、図12、図13を参照して、本実施形態に係る表示制御システム100における表示オブジェクトの表示例を説明する。図12は、本実施形態において表示される表示オブジェクトの表示例を示す図である。図13は、ユーザによるノード機構部の摘まみ上げ動作を示す図である。
図12においては、ユーザによる操作デバイス10の操作の様子を模式的に示すと共に、その操作に応じて変化する表示オブジェクトを示している。図12においては、表示装置40の画面に表示される表示オブジェクトとして、三次元オブジェクトである顔面を示している。図12においては、図中左側に変化前の顔面を示している。すなわち、操作デバイス10が基本姿勢にある状態において表示される顔面を示している。一方、図中右側に変化後の顔面を示している。すなわち、操作デバイス10が基本姿勢から変化した状態において表示される顔面を示している。
三次元オブジェクトである顔面には、複数の制御点が予め対応付けられている。また、複数の制御点のそれぞれは、操作デバイス10の複数の格子点に予め対応付けられている。図12においては、格子点a~cと、それら格子点a~cに予め対応付けられている制御点a′~c′を示している。図12においては、制御点a′が顔面の鼻付近に対応付けられており、制御点b′、c′が顔面の口元付近に対応付けられている例を示している。
まず、情報処理装置20は、取得部31により操作デバイス10の格子点a~cの位置座標をそれぞれ取得する。すなわち、格子点a~cに対応するノード機構部NDの位置座標をそれぞれ取得する。
そして、情報処理装置20は、演算部32により、格子点a~cの位置座標に基づいて、制御点a′~c′の位置座標を算出する。
情報処理装置20は、表示制御部33により、制御点a′~c′の位置座標に基づいて三次元オブジェクトである顔面を、表示装置40に表示させる。
図12中の右側上方においては、操作デバイス10を左右方向に広げるように操作デバイス10の姿勢を変化させることで、格子点bと格子点cが互いに左右方向に離間する様子を示している。このように操作デバイス10の姿勢が変化することにより、制御点b′と制御点c′の間隔が広がることにより、三次元オブジェクトである顔面が左右方向に広がって表示されることとなる。
図12に示すように、表示オブジェクトの外形と、操作デバイス10の外形とは一致していなくてもよい。すなわち、表示オブジェクトの外形と、複数の格子点を結んで成る外形とは非相似であってもよい。
また、制御点の位置座標は、その制御点に予め対応付けられる格子点の移動量に応じて決定されてもよい。すなわち、移動前の格子点の位置座標と、移動後の格子点の位置座標の差に応じて、制御点の位置座標が決定されてもよい。
また、図12中の右側下方においては、ユーザによるノード機構部ND33の摘まみ上げ動作により、操作デバイス10の格子点aに対応するノード機構部ND33が上方に移動した際の顔面を示している。ここで、摘まみ上げ動作とは、図13に示すように、ユーザが所定のノード機構部NDを摘まむと共に、上方に持ち上げる動作をいう。ノード機構部ND33を摘まみ上げると、ノード機構部ND33に前後左右で隣接する4つのノード機構部NDの自重により、ノード機構部ND33に保持される4つのリンクシャフトSFが傾斜することとなる。また、摘まみ上げられたノード機構部ND33に保持される4つのリンクシャフトSFはそれぞれ、摘まみ上げられたノード機構部ND33に前後左右で隣接する4つのノード機構部NDの自重により、その長さが伸びることとなる。
上述のように、格子点aは、顔面の鼻付近に対応する制御点a′に対応付けられている。そのため、格子点aが上方に移動することにより、顔面が前方に引っ張られるように表情が変形することとなる。
図13に示す状態から、ユーザがノード機構部ND33を離すと、ノード機構部ND33はその自重により、下方に移動するとよい。それにより、操作デバイス10は、摘まみ上げ動作が行われる前の状態となる。それに伴い、表示装置40に表示される顔面は、図12中の左側に示される表情に戻るとよい。このように、本例においては、顔面の形状(表示オブジェクト)を平面的に変化させるのみでなく、三次元的に変化させることができる。その結果、顔面の形状の変化のバリエーションを多彩とすることが可能となる。
[フローチャート]
次に、図14を参照して、情報処理装置20における処理フローを説明する。図14は、本実施形態の情報処理装置における処理フローを示すフローチャートである。
次に、図14を参照して、情報処理装置20における処理フローを説明する。図14は、本実施形態の情報処理装置における処理フローを示すフローチャートである。
まず、取得部31により、操作デバイス10の複数の格子点の位置座標をそれぞれ取得する(ステップS1)。次に、演算部32により、複数の格子点の位置座標に基づいて複数の制御点の位置座標を算出する(ステップS2)。次に、表示制御部33により、複数の制御点の位置座標に基づいて、表示オブジェクトを表示装置40に表示させる(ステップS3)。
さらに、図15を参照して、表示オブジェクトの他の表示例を説明する。図15は、本本実施形態において表示される表示オブジェクトの表示例を示す図である。
図15においては、図14と同様に、ユーザによる操作デバイス10の操作の様子を模式的に示すと共に、その操作に応じて変化する表示オブジェクトを示している。図15においては、表示装置40の画面に表示される表示オブジェクトとして、三次元オブジェクトを構成する部分として3つの円柱状のオブジェクト(以下、円柱オブジェクト)を示している。3つの円柱オブジェクトは、それぞれ制御点a′~c′に予め対応付けられている。
本例においては、3つの円柱オブジェクトの位置座標のいずれかの位置座標の間隔が所定の範囲内となった場合、表示制御部33により、3つの円柱オブジェクトを一体化して、新たなオブジェクトを表示させることとした。図15においては、制御点b′と制御点c′とが近接することで、3つの円柱オブジェクトが一体化して、1つの大きな円柱オブジェクトが表示された様子を示している。
また、本例においては、1つの大きな円柱オブジェクトには制御点a′~c′が新たに対応付けられている。これにより、ユーザの操作により操作デバイス10の姿勢が変化することで、1つの大きな円柱オブジェクトの形状が変化する。
なお、図15においては、複数の制御点間の間隔、すなわち複数の格子点の密度に応じて新たなオブジェクトを表示させる例を示したが、これに限られない。例えば、格子点の移動量や移動速度に基づいて、新たなオブジェクトを表示させることとしてもよい。
次に、図16、図17を参照して、本実施形態に係る表示制御システム100における、表示オブジェクトの他の表示例を説明する。図16、図17は、本実施形態において表示される表示オブジェクトの表示例を示す図である。
図16においては、図12と同様に、ユーザによる操作デバイス10の操作の様子を模式的に示すと共に、その操作に応じて変化する表示オブジェクトを示している。図17においては、表示装置40の画面に表示される表示オブジェクトとして、文字又は画像を含む二次元オブジェクトを示している。
二次元オブジェクトの部分は、操作デバイス10の格子点のいずれかに予め対応付けられているとよい。図16においては、二次元オブジェクトのうち「56789」との文字又は画像を含む部分が、格子点aと予め対応付けられている例を示している。
図16においては、図14で示したユーザによる摘まみ上げ動作が行われることにより、格子点aに対応するノード機構部NDが上方に移動するのに伴い、格子点aに予め対応付けられている「56789」との文字又は画像を含む部分が拡大表示される様子を示している。
図17においては、図16と同様に、ユーザによる操作デバイス10の操作と、その操作に応じて変化する表示オブジェクトを示している。図17においては、図16と同様に、表示装置40の画面に表示される表示オブジェクトとして、文字又は画像を含む二次元オブジェクトを示している。
図17においては、操作デバイス10が左右方向に広げられるのに伴い、二次元オブジェクトの部分が拡大表示される様子を示している。
[まとめ]
以上説明した本実施形態に係る操作デバイス10においては、伸縮及び折り曲げによる複雑な形状変化が可能である。そのため、操作デバイス10は、ユーザによる操作の自由度が高い。また、本実施形態においては、操作の自由度の高い操作デバイス10の各格子点の位置座標に基づいて表示オブジェクトを表示することより、ユーザの触覚を利用して感覚的に表示オブジェクトの動作を実現できる。また、本実施形態においては、複数の格子点の位置座標に基づいて三次元的に表示オブジェクトを変化させることにより、様々な表示態様を表現することができる。
以上説明した本実施形態に係る操作デバイス10においては、伸縮及び折り曲げによる複雑な形状変化が可能である。そのため、操作デバイス10は、ユーザによる操作の自由度が高い。また、本実施形態においては、操作の自由度の高い操作デバイス10の各格子点の位置座標に基づいて表示オブジェクトを表示することより、ユーザの触覚を利用して感覚的に表示オブジェクトの動作を実現できる。また、本実施形態においては、複数の格子点の位置座標に基づいて三次元的に表示オブジェクトを変化させることにより、様々な表示態様を表現することができる。
また、本実施形態に係る操作デバイス10においては、方向キー、操作スティックなどを含む操作デバイスと比較して、複雑な三次元オブジェクトの動作を、ユーザの触覚を利用して感覚的かつ簡易に行うことが可能である。
[その他]
本実施形態においては、前後方向に並ぶノード機構部NDの個数をn個、左右方向に並ぶノード機構部NDの個数をm個とした場合、n=5、m=5である例を説明した。ただしこれに限られず、nとmは、少なくとも3以上の整数であるとよい。また、nとmは異なる数であってもよい。
本実施形態においては、前後方向に並ぶノード機構部NDの個数をn個、左右方向に並ぶノード機構部NDの個数をm個とした場合、n=5、m=5である例を説明した。ただしこれに限られず、nとmは、少なくとも3以上の整数であるとよい。また、nとmは異なる数であってもよい。
また、操作デバイス10に含まれるノード機構部NDの個数は可変であってもよい。例えば、図2に示されるノード機構部NDのうち、リンクシャフトSFを保持していない保持部13を含むノード機構部NDに、リンクシャフトSFを保持させることにより、n及びmを6以上にすることが可能であってもよい。このためには、リンクシャフトSFを保持する数に関わらず、ノード機構部NDの構成自体は互いに共通であるとよい。また、ノード機構部NDの構成を共通とすることにより製造コストを抑制することができる。また、リンクシャフトSFに関しても、その配置や向きに関わらず、構成自体は互いに共通であるとよい。
また、本実施形態の操作デバイス10においては、互いに隣接する4つのノード機構部NDと、それらを接続する4つのリンクシャフトSFにより、四角形の格子状を成す例を示したが、これに限られず、多角形の格子状を成すものであればよい。例えば、三角形の格子状を成したり、五角形の格子状を成したりするように、ノード機構部ND及びリンクシャフトSFを配置してもよい。
また、リンクシャフトSFは、図4に示すV軸をヨー軸、H軸をピッチ軸とした場合におけるロール軸(図4に示す一点鎖線)を回転軸として回転可能であってもよい。すなわち、ノード機構部NDは、リンクシャフトSFの延伸方向を回転軸とする回転を許容するようにリンクシャフトSFを保持していてもよい。このような構成を採用することにより、操作デバイス10の姿勢の自由度をより向上させることができる。
本実施形態においては、操作デバイス10が種々のセンサを含み、ノード機構部NDの位置座標を取得する例を説明した。ただし、これに限られず、操作デバイス10を外部から撮影するカメラ等を用いて、ノード機構部NDの位置座標を取得することとしてもよい。この場合、三次元位置データを取得可能なカメラを用いるとよい。
上述のように、操作デバイス10は、ノード機構部NDの自重により、その形状が変化するものであればよい。具体的には、例えば、図2に示すノード機構部ND11とノード機構部ND12の一方は、他方の自重により自身が保持するリンクシャフトSF1の延伸する方向が変化するように、リンクシャフトSF1を保持しているとよい。そのため、例えば、凹凸が形成される載置面上に、操作デバイス10が置かれた状態において、操作デバイス10は凹凸の沿うように形状を変化するとよい。
また、操作デバイス10は、その形状を元の形状に戻すための付勢手段等を有していないとよい。すなわち、操作デバイス10は、ユーザがその形状を変化させる操作を行う場合を除き、その形状を維持するものであるとよい。例えば、図17の右側に示すように、表示オブジェクトが部分的に拡大表示された状態において、ユーザが操作デバイス10から手を離した場合、拡大表示された状態が維持されるとよい。
Claims (9)
- 格子状の操作デバイスに含まれる複数の格子点のいずれかに予め対応付けられた複数の要素からなる表示オブジェクトを表示させる表示制御手段と、
前記複数の格子点の位置座標をそれぞれ取得する取得手段と、
を有し、
前記表示制御手段は、前記複数の要素のそれぞれの表示態様を、当該複数の要素のそれぞれに予め対応付けられる前記複数の格子点の位置座標に基づいて決定する、
表示制御システム。 - 前記表示オブジェクトは、三次元オブジェクトであり、
前記複数の要素はそれぞれ、前記三次元オブジェクトの部分であり、
前記三次元オブジェクトの部分は、複数の制御点のいずれかに予め対応付けられており、
前記複数の制御点はそれぞれ、前記複数の格子点のいずれかに予め対応付けられており、
前記複数の格子点のぞれぞれの位置座標に基づいて、前記複数の格子点に対応付けられる前記複数の制御点の位置座標をそれぞれ算出する演算手段を有し、
前記表示制御手段は、前記複数の制御点の位置座標に基づいて、前記三次元オブジェクトを表示させる、
請求項1に記載の表示制御システム。 - 前記三次元オブジェクトは、第1の制御点が予め対応付けられる第1のオブジェクトと、第2の制御点が予め対応付けられる第2のオブジェクトとを含み、
前記表示制御手段は、前記第1の制御点の位置座標と前記第2の制御点の位置座標との間隔が所定の範囲内となった場合、前記第1のオブジェクトと前記第2のオブジェクトとを一体化して新たなオブジェクトを表示させ、
前記新たなオブジェクトには1又は複数の前記制御点が新たに対応付けられる、
請求項2に記載の表示制御システム。 - 前記表示オブジェクトは、少なくとも文字又は画像を含む二次元オブジェクトであり、
前記複数の要素はそれぞれ、前記二次元オブジェクトの部分であり、
前記二次元オブジェクトの部分は、前記複数の格子点のいずれかに予め対応付けられており、
前記表示制御手段は、前記二次元オブジェクトの部分に予め対応付けられる前記格子点の位置座標に基づいて、前記二次元オブジェクトの部分を拡大表示させる、
請求項1に記載の表示制御システム。 - 前記表示オブジェクトの外形と、前記複数の格子点を結んで成る外形とは非相似である、
請求項1~4のいずれか1項に記載の表示制御システム。 - 前記操作デバイスは、
複数のリンクシャフトと、
前記複数のリンクシャフトと共に格子状を成す複数のノード機構部であって、当該各ノード機構部は、前記複数のリンクシャフトのうち少なくとも2つ以上のリンクシャフトの一端を、当該2つ以上のリンクシャフトの姿勢を変化可能にそれぞれ保持する複数のノード機構部と、
を有する、
請求項1~5のいずれか1項に記載の表示制御システム。 - 前記リンクシャフトは、互いに隣り合う前記ノード機構部間の距離を可変に伸縮可能である、
請求項6に記載の操作デバイス。 - 格子状の操作デバイスに含まれる複数の格子点の位置座標を取得するステップと、
前記複数の格子点のいずれかに予め対応付けられた複数の要素からなる表示オブジェクトを表示させるステップと、
を有し、
前記表示させるステップにおいて、前記複数の要素のそれぞれの表示態様を、当該複数の要素のそれぞれに予め対応付けられる前記複数の格子点の位置座標に基づいて決定する、
表示制御方法。 - 格子状の操作デバイスに含まれる複数の格子点の位置座標を取得する手順、
前記複数の格子点のいずれかに予め対応付けられた複数の要素からなる表示オブジェクトを表示させる手順、
をコンピュータに実行させるプログラムであって、
前記表示させる手順において、前記複数の要素のそれぞれの表示態様を、当該複数の要素のそれぞれに予め対応付けられる前記複数の格子点の位置座標に基づいて決定する、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/039277 WO2023073760A1 (ja) | 2021-10-25 | 2021-10-25 | 表示制御システム、表示制御方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/039277 WO2023073760A1 (ja) | 2021-10-25 | 2021-10-25 | 表示制御システム、表示制御方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023073760A1 true WO2023073760A1 (ja) | 2023-05-04 |
Family
ID=86157502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/039277 WO2023073760A1 (ja) | 2021-10-25 | 2021-10-25 | 表示制御システム、表示制御方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023073760A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000066626A (ja) * | 1998-08-18 | 2000-03-03 | Minolta Co Ltd | 立体表示装置 |
JP2005038303A (ja) * | 2003-07-18 | 2005-02-10 | Sony Corp | 3次元モデル処理装置、および3次元モデル処理方法、並びにコンピュータ・プログラム |
-
2021
- 2021-10-25 WO PCT/JP2021/039277 patent/WO2023073760A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000066626A (ja) * | 1998-08-18 | 2000-03-03 | Minolta Co Ltd | 立体表示装置 |
JP2005038303A (ja) * | 2003-07-18 | 2005-02-10 | Sony Corp | 3次元モデル処理装置、および3次元モデル処理方法、並びにコンピュータ・プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9703102B2 (en) | Information processing device including head mounted display | |
CN101568896B (zh) | 信息处理装置、系统、方法和输入装置 | |
US7958644B2 (en) | Orientation sensing in a multi part device | |
JP5959047B2 (ja) | 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置 | |
EP1808210B1 (en) | Storage medium having game program stored thereon and game apparatus | |
CN108604121A (zh) | 虚拟现实中的双手对象操纵 | |
US7123214B2 (en) | Information processing method and apparatus | |
JP5561092B2 (ja) | 入力装置、入力制御システム、情報処理方法及びプログラム | |
US10509489B2 (en) | Systems and related methods for facilitating pen input in a virtual reality environment | |
EP3156110A1 (en) | Information processing device provided with head-mounted display | |
US20120268493A1 (en) | Information processing system for augmented reality | |
JP2018036720A (ja) | 仮想空間観察システム、方法及びプログラム | |
WO2013173948A1 (zh) | 一种在三维虚拟现实场景中的物体空间摆位方法及装置 | |
CN108885493A (zh) | 体感控制器控制云台的方法、云台、体感控制器和系统 | |
CN103116411B (zh) | 定位指针位置的方法及系统 | |
US10114478B2 (en) | Control method, control apparatus, and program | |
WO2023073760A1 (ja) | 表示制御システム、表示制御方法、及びプログラム | |
WO2023073759A1 (ja) | 操作デバイス | |
US6246391B1 (en) | Three-dimensional tactile feedback computer input device | |
JP2013212316A (ja) | 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置 | |
US20020196232A1 (en) | Input device with two elastic fulcrums for six degrees of freedom data input | |
US20070216650A1 (en) | Data Recording Device for Data Processing Units | |
WO2024053087A1 (ja) | 操作デバイス | |
JP2007011460A (ja) | 物体の変位シミュレーション方法及び物体の変位シミュレーション装置、並びに力覚提示装置 | |
JP7452533B2 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21962311 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |