WO2012164871A1 - ポインティングシステム、ポインティングデバイス及びポインティング制御方法 - Google Patents

ポインティングシステム、ポインティングデバイス及びポインティング制御方法 Download PDF

Info

Publication number
WO2012164871A1
WO2012164871A1 PCT/JP2012/003335 JP2012003335W WO2012164871A1 WO 2012164871 A1 WO2012164871 A1 WO 2012164871A1 JP 2012003335 W JP2012003335 W JP 2012003335W WO 2012164871 A1 WO2012164871 A1 WO 2012164871A1
Authority
WO
WIPO (PCT)
Prior art keywords
pointer
area
unit
pointing
housing
Prior art date
Application number
PCT/JP2012/003335
Other languages
English (en)
French (fr)
Inventor
伊藤　鎮
川部　英雄
前田　毅
晃輔 関
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/118,590 priority Critical patent/US9880639B2/en
Priority to EP12793186.3A priority patent/EP2717117A4/en
Priority to CN201280025026.0A priority patent/CN103562840A/zh
Publication of WO2012164871A1 publication Critical patent/WO2012164871A1/ja
Priority to US15/860,013 priority patent/US10191562B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Definitions

  • This technology relates to a pointing system, a pointing device, and a pointing control method for moving a pointer displayed on a screen.
  • a mouse is widely used as an input device for operating a GUI (Graphical User Interface) displayed two-dimensionally on a display.
  • GUI Graphic User Interface
  • various input devices of the space operation type have been proposed without being limited to the planar operation type input device represented by the mouse.
  • Patent Literature 1 discloses an acceleration detection unit that detects acceleration in a first direction, an angular velocity detection unit that detects an angular velocity around an axis in a second direction orthogonal to the first direction, and the acceleration and angular velocity. Based on this, there is described a spatial operation type input device provided with a calculating means for calculating a velocity value in a first direction of the housing. This makes it possible to realize a natural movement of the pointer displayed on the screen with respect to the movement of the input device, thereby improving the operability.
  • an object of the present technology is to provide a pointing system, a pointing device, and a pointing control method that can present an intuitive operational feeling to a user.
  • a pointing system includes a pointing device and a control device.
  • the pointing device includes a housing, a tactile sense presentation unit, and a sensor unit.
  • the tactile sense presentation unit is configured to be capable of presenting a tactile sense to the casing.
  • the sensor unit detects an operation on the housing and outputs an operation signal for controlling movement of a pointer on the screen.
  • the control device includes a region setting unit and a signal generation unit.
  • the area setting unit includes a first area belonging to the display area of the object on the screen, a second area outside the display area of the object, the first area, and the second area. A third region belonging to the boundary is set.
  • the signal generation unit calculates a position of the pointer on the screen based on the operation signal, and when the pointer is located in the first area, the first tactile display unit is driven in the first drive mode. Control signal is generated. The signal generation unit generates a second control signal for driving the tactile sense presentation unit in a second drive mode different from the first drive mode when the pointer is positioned in the third region.
  • the dependence by the user's visual recognition is reduced, and a more intuitive pointing operation feeling is provided. be able to.
  • a tactile sensation different from that when the pointer is positioned within the display area is presented. The operation can be guided and the operational feeling can be improved.
  • the tactile sensation presented by the tactile sense presenting unit includes thermal stimulation, electrical stimulation, and the like in addition to mechanical stimulation such as tactile pressure, vibration, and motion.
  • the tactile sense presenting unit as one embodiment is composed of one or a plurality of vibrating bodies that generate vibrations. Examples of the vibrating body include a voice coil motor that generates vibration in one axial direction, and a vibration motor that generates vibration in multiple axial directions using the centrifugal force of a rotating eccentric weight.
  • the first drive mode and the second drive mode are appropriately set according to the strength of the sense of touch, the period, the rhythm, a combination thereof, and the like.
  • the difference between the first drive mode and the second drive mode is not particularly limited as long as it allows the user to recognize the difference in tactile sensation.
  • the tactile sense presenting unit is composed of a vibrating body, the tactile sense can be changed in such a manner that the user can distinguish the vibration intensity (amplitude), vibration period (frequency), vibration direction, and the like.
  • the type of pointing device is not particularly limited, and may be a space operation type input device or a plane operation type input device.
  • the planar operation type input device typically includes a mouse operated on a desktop. Further, various input devices such as a touch panel and a touch pad that can perform a pointing operation by detecting the movement of the user's fingers are also applicable.
  • Examples of objects displayed on the screen include graphics, images, etc. that symbolically represent the contents of programs and execution instructions such as icons.
  • the object includes 2D video or 3D video displayed on the screen.
  • the area setting unit may set the first to third areas as two-dimensional coordinates or three-dimensional coordinates according to the displayed object.
  • the tactile sense presentation unit may include a plurality of vibrating bodies that can generate vibrations in arbitrary axial directions by being individually driven. Accordingly, various tactile sensations according to the movement operation of the housing by the user can be presented, and a function for assisting the user's pointing operation can be provided.
  • the signal generation unit when the signal generation unit determines that the pointer is approaching the object by operating the housing, the signal generation unit drives the tactile sense providing unit toward the moving direction of the housing. 3 control signals are generated.
  • the signal generation unit determines that the pointer is moving away from the object by operating the housing, the signal generation unit drives the tactile sense presentation unit in a direction opposite to the moving direction of the housing. 4 control signals are generated.
  • a pointing device includes a housing, a tactile sense presentation unit, a sensor unit, and a signal generation unit.
  • the tactile sense presentation unit is configured to be capable of giving a tactile sensation to the casing.
  • the sensor unit detects a movement of the housing in the space and outputs an operation signal for controlling the movement of the pointer on the screen.
  • the signal generation unit generates a first control signal for driving the tactile sensation presentation unit in a first drive mode when the pointer is positioned within the display area of the object on the screen.
  • the signal generation unit generates a second control signal for driving the tactile sense presentation unit in a second drive mode different from the first drive mode when the pointer is located in a predetermined region around the object.
  • a pointing control method includes a first area belonging to an object display area on a screen, a second area outside the object display area, the first area, and the first area. Setting a third region belonging to the boundary with the second region. The position of the pointer on the screen is calculated based on an operation signal output from a pointing device that moves the pointer on the screen.
  • the pointing device presents a tactile sensation in the first driving mode
  • the pointer is located in the third area, the pointing device is in the first driving mode.
  • an intuitive pointing operation feeling can be provided.
  • FIG. 1 is a block diagram illustrating a pointing system according to an embodiment of the present technology. It is a block diagram showing an internal configuration of a pointing device concerning one embodiment of this art. It is a schematic plan view which shows the example of 1 structure of the tactile sense presentation part built in the said pointing device. It is a schematic side view which shows the example of 1 structure of the tactile sense presentation part built in the said pointing device. It is a schematic diagram which shows an example of the image displayed on a screen in the said pointing system. It is a figure explaining an example of 1 operation of the above-mentioned pointing system. It is a figure explaining an example of 1 operation of the above-mentioned pointing system.
  • FIG. 1 is a block diagram illustrating a pointing system according to an embodiment of the present technology.
  • a pointing system 100 according to the present embodiment includes an input device 1 (pointing device), a control device 2, and a display device 3.
  • the pointing system 100 receives an operation signal transmitted from the input device 1 by the control device 2, and controls an image displayed on the screen 31 of the display device 3 according to the received operation signal.
  • a screen 31 of the display device 3 has a horizontal direction in the X-axis direction, a vertical direction in the Y-axis direction, and a depth direction in the Z-axis direction in the drawing.
  • Examples of the display device 3 include, but are not limited to, a liquid crystal display and an EL (Electro-Luminescence) display.
  • the display device 3 may be a device integrated with a display capable of receiving a television broadcast or the like.
  • the display device 3 may be composed of, for example, a 3D television capable of displaying a 3D video on the screen 31.
  • the input device 1 includes a housing 10 that is large enough to be held by the user U.
  • the housing 10 is, for example, a substantially cylindrical body having a height direction in the y-axis direction and a radial direction in the x-axis direction and the z-axis direction, and several operation keys are arranged on one surface of the housing 10. Has been.
  • the input device 1 is mainly configured as a spatial operation type pointing device for moving the pointer P displayed on the screen 31.
  • the input device 1 When the user U moves the housing 10 in the x-axis direction in the space, the input device 1 generates an operation signal for moving the pointer P in the X-axis direction and transmits it to the control device 2.
  • an operation signal for moving the pointer P in the Y-axis direction is generated and transmitted to the control device 2.
  • the pointer P is displayed on the screen 31 so as to be able to move on the 3D video
  • the user U moves the housing 10 in the z-axis direction
  • an operation for moving the pointer P in the Z-axis direction A signal is generated and transmitted to the control device 2.
  • FIG. 2 is a block diagram showing the internal configuration of the input device 1.
  • the input device 1 includes a housing 10, a tactile sense presentation unit 11, a movement detection unit 12 (sensor unit), a key input unit 13, an information display unit 14, a control unit 15, a communication unit 16, and a power supply unit. 17.
  • the tactile sense presentation unit 11 includes an actuator that presents a tactile sense to the housing 10. That is, the tactile sense providing unit 11 has a function of presenting a tactile sense to the user U through the housing 10 by driving the actuator.
  • the tactile sense providing unit 11 is driven in a predetermined drive mode by a drive signal output from the control unit 15.
  • the tactile sense providing unit 11 includes a plurality of vibrators that can be driven individually to generate vibrations in an arbitrary axial direction.
  • the first set of vibrators 111a and 111b that face each other in the x-axis direction
  • the second set of vibrators 111c and 111d that face each other in the y-axis direction
  • the z-axis direction and the z-axis direction.
  • a third set of vibrators 111e and 111f opposite to each other.
  • Each vibrating body is constituted by a voice coil motor, for example.
  • each set of vibrators is arranged so that strong vibrations can be generated in directions away from each other.
  • the vibration amplitude and the like can be arbitrarily changed by adjusting the magnitude of the drive current and the like.
  • the housing 10 can be vibrated with various vibration patterns by driving an arbitrary vibrating body.
  • a predetermined vibration can be generated in six directions along the x, y, and z axes by driving any one vibrating body.
  • a predetermined vibration can be generated in an arbitrary direction intersecting with each axis by driving a plurality of arbitrary vibrating bodies and generating a combined vector in each vibration direction.
  • by controlling the driving force and driving timing of each vibrating body it is possible to generate a predetermined vibration around an arbitrary axis.
  • the movement detection unit 12 includes an inertial sensor that detects the movement of the casing 10 operated in the space.
  • an inertial sensor includes an acceleration sensor and an angular velocity sensor.
  • the movement detection unit 12 is configured to be able to detect the movement of the casing 10 in the x, y, and z axial directions, but the configuration is not particularly limited.
  • an acceleration sensor may be arranged along each axial direction, or a single or a plurality of angular velocity sensors may be combined.
  • a geomagnetic sensor, a pressure sensor, etc. may be used together.
  • the key input unit 13 includes various switches of a push type, a slide type, and a joystick type that are arranged at appropriate positions on the surface of the housing 10.
  • the key input unit 13 is not limited to a mechanical key switch, and may include an electrostatic or optical switch or sensor. Further, an arbitrary switch may be configured to be lit by a signal from the control unit 15 in a predetermined case.
  • the information display unit 14 is composed of a display incorporated in an appropriate size on the surface of the housing 10.
  • the information display unit 14 displays various types of information such as the operating state of the pointing system 100 or the input device 1 and the remaining battery level based on the output of the control unit 15.
  • the control unit 15 includes a computer including a ROM, a RAM, and a CPU (MPU), supplies power to each unit of the input device 1 and controls the operation of the input device 1.
  • the control unit 15 generates an operation signal S1 based on the outputs of the movement detection unit 12 and the key input unit 13, and transmits the operation signal S1 to the control device 2 via the communication unit 16.
  • the output of the movement detection unit 12 includes information related to the movement of the housing 10 such as the moving direction and the moving speed of the housing 10.
  • the output of the key input unit 13 includes information related to various setting operations such as operation settings of the input device 1 and display settings of the display device 3 in addition to various operations such as a click operation and a numeric keypad operation.
  • the control unit 15 outputs a predetermined drive signal S2 to the tactile sense presenting unit 11.
  • the drive signal S2 is generated based on the control signal S3 received from the control device 2 via the communication unit 16.
  • the drive signal S2 includes a vibration pattern including information such as a vibration generation direction, strength, and vibration cycle.
  • the control unit 15 generates a drive signal S2 corresponding to various vibration patterns according to the content of the control signal S3.
  • the communication unit 16 is configured by a wireless communication module that enables bidirectional communication with the communication unit 28 of the control device 2, but may be wired communication.
  • the communication method is not particularly limited, and may be communication between devices such as “ZigBee” (registered trademark) and “Bluetooth” (registered trademark), or communication via the Internet.
  • the power supply unit 17 constitutes a power supply for the input device 1 and supplies necessary power to each unit in the housing 10.
  • the power supply unit 17 is typically composed of a battery.
  • the battery may be a primary battery or a secondary battery.
  • the power supply part 17 may be comprised with a solar cell. In the case of wired or wireless power feeding, the power supply unit 17 is not necessary.
  • control device 2 includes a video RAM 23, a display control unit 24, an MPU 25, a RAM 26, a ROM 27, and a communication unit 28.
  • the communication unit 28 receives the operation signal S1 transmitted from the input device 1.
  • the MPU 25 analyzes the operation signal and performs various arithmetic processes using various setting values and programs stored in the RAM 26 and the ROM 27. As an example of the arithmetic processing, the MPU 25 calculates the position (coordinates) of the pointer displayed on the screen 31 based on the operation signal S1 transmitted from the input device 1.
  • the display control unit 24 mainly generates screen data to be displayed on the screen 31 of the display device 3 in accordance with the control of the MPU 25.
  • the screen data includes a pointer P, an icon, video data displayed by executing the icon, and the like.
  • the video RAM 23 serves as a work area for the display control unit 24 and temporarily stores the generated screen data.
  • the control device 2 may be a device dedicated to the input device 1 or a general information processing device such as a PC (personal computer).
  • the control device 2 may be a computer integrated with the display device 3.
  • the device to be controlled by the control device 2 may be an audio / visual device, a projector, a game device, a car navigation device, or the like.
  • control device 2 Details of the control device 2 will be described.
  • the control device 2 includes an area setting unit and a signal generation unit.
  • FIG. 5 is a schematic diagram showing an example of the image V displayed on the screen 31.
  • the area setting unit includes a first area C1 belonging to the display area of the image V (object) on the screen 31, a second area C2 belonging to the outside of the display area of the image V, the first area C1, and the second area C2.
  • the third region C3 belonging to the boundary with the region C2 is set.
  • the area setting unit may be configured by the MPU 25, may be configured by the display control unit 24, or may be configured by both of them.
  • the first area C1 is set in the display area of the image V, that is, in the display area occupied by the image V in the entire area of the screen 31.
  • the first area C1 and the display area of the image V do not necessarily coincide with each other, and it is only necessary that the first area C1 is set in the display area of the image V.
  • FIG. 5 shows an example in which the outer edge (broken line) of the first region C1 is set inward from the outer edge (solid line) of the image V indicated by the solid line.
  • the third region C3 is set so as to be adjacent to the outer edge of the first region C1, and is configured by an annular region including the outer edge of the image V in this embodiment.
  • the width of the ring in the annular region can be set as appropriate, and can be set as appropriate according to the shape, size, and type of the image V, the detection sensitivity of the position of the pointer P, and the like. Further, the setting width of the third region C3 may be configured to be changeable by the operation of the user U.
  • the image V is typically an icon, but may be other 2D video or 3D video.
  • the image V is a 3D video
  • at least the area C1 among the areas C1 to C3 is configured by a spatial area (spatial coordinate system) associated with the 3D video.
  • the signal generation unit calculates the position of the pointer P on the screen 31 based on the operation signal S1, and drives the tactile sense presentation unit 11 in the first drive mode when the pointer P is located in the first region C1.
  • a first control signal (S31) is generated.
  • the signal generation unit drives the tactile sense presentation unit 11 in a second drive mode different from the first drive mode (S32). Is generated.
  • the signal generation unit is configured by an MPU 25, for example.
  • the MPU 25 outputs the generated control signal to the communication unit 28, and the communication unit 28 transmits the control signal to the communication unit 16 of the input device 1.
  • the first drive mode and the second drive mode are appropriately set according to the strength of the sense of touch, the period, the rhythm, a combination thereof, and the like.
  • the difference between the first drive mode and the second drive mode is not particularly limited as long as it allows the user to recognize the difference in tactile sensation.
  • the tactile sense presenting unit is configured by a vibrating body
  • the tactile sense can be changed in a manner that the user can distinguish, such as a vibration force, a vibration cycle, and a vibration direction.
  • the MPU 25 drives the tactile sense providing unit 11 toward the moving direction of the housing 10.
  • the third control signal (S33) is output.
  • the tactile sense providing unit 11 faces in the direction opposite to the moving direction of the housing 10. Is configured to output a fourth control signal (S34).
  • the MPU 25 as the signal generation unit is configured to calculate the moving speed of the housing 10 and change the driving force of the tactile sense providing unit 11 according to the calculated moving speed of the pointer P.
  • the tactile sense providing unit 11 may be driven so as to present a stronger tactile sense as the moving speed of the housing 10 increases.
  • the driving direction of the tactile sense providing unit 11 may be adjusted in relation to the moving direction of the housing 10. Such processing is not limited to the MPU 25 and may be performed by the control unit 15 of the input apparatus 1.
  • FIG. 6A shows a display example of a screen 31 on which a plurality of icons V1 to V4 are arranged at intervals.
  • the icons V1 to V4 each have a rectangular shape with the same size, and are displayed on the screen 31 in a 2 ⁇ 2 layout.
  • the icons V1 to V4 are GUIs that are selected by an operation of moving the pointer P by the user U and executed by input to operation keys provided on the housing 10 of the input device 1.
  • the control device 2 sets the first area C1, the second area C2, and the third area C3 within the display area of the icons V1 to V4, outside the display area, and within a predetermined area at the boundary of the icons V1 to V4. Set each. Thereby, the area between the icons V1 to V4 adjacent to each other is a third area C3.
  • the movement of the pointer P1 on the screen 31 is controlled by a movement operation in the space of the input device 1 by the user U. That is, the movement of the housing 10 is detected by the movement detection unit 12 of the input device 1, and the operation signal S ⁇ b> 1 including information related to the movement of the housing 10 is generated by the control unit 15 of the input device 1.
  • the control device 2 receives the operation signal S1 transmitted from the input device 1, and calculates the position of the pointer P1 by a predetermined calculation process based on the operation signal S1. And the control apparatus 2 controls the movement display of the pointer P1 on the screen 31 by the direction and speed corresponding to the moving direction and moving speed of the housing
  • the control device 2 When the pointer P1 enters the third area C3 set around the icon V3, the control device 2 generates and inputs a control signal S3 (S32) for driving the tactile sense providing unit 11 in the second drive mode. Transmit to device 1.
  • the input device 1 generates a drive signal S2 corresponding to the control signal S3 (S32), and causes the tactile sense presenting unit 11 to generate a tactile sense in the second drive mode.
  • the user U can recognize that the pointer P1 has approached the icon V2.
  • the control device 2 controls the control signal S3 (S31) for driving the tactile sense providing unit 11 in the first drive mode. Is transmitted to the input device 1.
  • the input device 1 generates a drive signal S2 corresponding to the control signal S3 (S31), and gives a tactile sense in the first drive mode (for example, a tactile sense stronger than that in the second drive mode) to the tactile sense presenting unit 11.
  • the first drive mode drives the tactile sense providing unit 11 with a vibration pattern different from that of the second drive mode
  • the user U can reliably recognize that the pointer P1 has reached the icon V3, and the icon
  • the execution operation of V2 can be performed appropriately.
  • the tactile feedback is presented to the user U through the housing 10 at the time of the pointing operation on the icon V3, the dependence due to the visual recognition of the user U is reduced, and it is more intuitive. Can provide a comfortable pointing operation feeling. Further, when the pointer P1 is positioned in the area around the icon V3 (third area C3), a tactile sensation different from that in the display area of the icon V3 (first area C1) is presented. Therefore, it is possible to guide an appropriate pointing operation to the icon V3, and to improve the operational feeling.
  • FIG. 6B a case is considered in which the pointer P1 is linearly moved from the position on the icon V3 indicated by the chain line to the position on the icon V2 indicated by the solid line.
  • the pointer P1 crosses the third area C3. Therefore, when the pointer P1 moves from the icon V3 to the icon V2, the haptic sense in the second driving mode is presented again to the user U, and then the icon V2 is displayed. A tactile sensation in the first drive mode indicating that the position has been reached is presented to the user U. Thereby, the user U can recognize that the pointer P1 has reached the target icon V2 from the original icon V3.
  • the tactile sense presentation pattern in the first drive mode may be different for each icon, and this makes it possible to individually distinguish a plurality of icons only by tactile sense.
  • FIG. 7 and 8 are display examples of a screen showing a state when the icon V5 is pointed with the pointer P1
  • FIG. 7 shows a state in which the pointer P1 moves at a relatively slow speed
  • FIG. Shows moving at a relatively fast speed.
  • (A) shows how the pointer P1 moves toward the icon V5
  • (B) shows how the pointer P1 reaches the icon V5.
  • P0 indicates an afterimage group of the pointer P1, and is represented such that the images overlap when the moving speed is slow (FIG. 7), and the images are separated when the moving speed is fast. (FIG. 8). Of the images constituting the afterimage group, the lighter one represents the past image of the pointer P1.
  • the control device 2 when the pointer P1 is moved toward the icon V5, the control device 2 generates a tactile sense in the moving direction of the housing 10. S33) is generated and output to the input device 1.
  • the input device 1 receives the control signal, and the control unit 15 outputs a drive signal for generating vibration in the operation direction of the housing 10 to the tactile sense providing unit 11.
  • the vibrator 111b (see FIGS. 3 and 4) of the tactile sense providing unit 11 is driven, so that a tactile sense in the moving direction ( ⁇ X direction) of the housing 10 is presented to the user U through the housing 10. To do. Thereby, tactile sense presentation that guides the pointer P1 to the icon V5 is realized.
  • the control device 2 when the pointer P1 reaches the icon V5, the control device 2 generates a control signal for generating a tactile sense in a direction opposite to the moving direction of the housing 10. Generate and output to the input device 1.
  • the control unit 15 of the input device 1 outputs a drive signal for generating vibration in a direction opposite to the operation direction of the housing 10 to the tactile sense providing unit 11.
  • a tactile sense in a direction opposite to the moving direction of the housing 10 (+ X direction) is transmitted to the user through the housing 10.
  • Present to U As a result, it is possible to provide the user U with information prompting to stop the movement of the pointer P1, and the effect of guiding the pointer P1 to the icon V5 can be further enhanced.
  • the strength of tactile sensation so as to be synchronized with the moving speed of the pointer P1, it is possible to enhance the feeling of moving operation of the pointer P1 for the user U.
  • the tactile sensation is set to be large, but of course not limited to this.
  • the housing 10 may be controlled to generate a tactile sense in a direction opposite to the moving direction. Thereby, a tactile sensation that returns the pointer P1 to the display position of the icon V5 can be presented to the user U.
  • the sense of operation of the pointer P1 can be enhanced by presenting a tactile sensation synchronized with the moving speed of the pointer P1 to the user U. Further, by presenting to the user U a tactile sensation related to the relative position between the pointer P1 and the icon V5, the pointing operation is facilitated, and the burden on the user U can be reduced.
  • FIG. 9 is a control flow showing a processing procedure of the control device 2 based on the above operation example.
  • the illustrated flow is an example, and can be appropriately changed according to specifications and settings.
  • S10 is a step for determining whether or not the input device 1 has moved (whether or not the relative position of the input object has moved), and S11 is a step for determining the presence or absence of an icon (information).
  • S12 is a step of determining the positional relationship between the pointer and the icon, and S13 and S14 are steps of determining the moving direction of the pointer with respect to the icon.
  • S15 to S18 are steps for determining the moving speed of the pointer, and S19 to S26 are steps for executing a tactile sense determination result to be presented.
  • S10 if the input device 1 is not moved, the state is maintained until the movement of the input device 1 is detected. When the movement of the input device 1 is detected, the state transitions to S11.
  • the control device 2 determines whether there is an icon V5 that requires tactile presentation in the vicinity of the pointer P1, and if there is no icon V5, the process proceeds to S10, and if the icon V5 exists, the process proceeds to S12.
  • the control device 2 determines the positional relationship between the pointer P1 and the icon V5. This determination refers to the position of the pointer P1 and the first area C1 corresponding to the display area of the icon V5.
  • the control device 2 determines the moving direction of the pointer P1 with respect to the icon V5. If the pointer P1 is inward of the icon V5, the state transitions to S15 and S17, and the outside of the icon V5. If the vehicle is moving in the direction, the state transitions to S16 and S18.
  • control device 2 determines the moving speed of the pointer P1, and generates a control signal corresponding to a preset tactile presentation content in a case where it is slower than a predetermined value and a case where it is faster than a predetermined value ( S19 to S26).
  • the tactile intensity indicates a relative relationship and does not define an absolute value.
  • the two-stage evaluation of “slow” and “fast” is used for the determination of the moving speed.
  • the evaluation is not limited to this, and a multi-stage evaluation may be set. Instead, it may be continuous.
  • FIG. 10 shows a display example of a screen for explaining another operation example of the pointing system 100.
  • an image V6 shows small animals such as dogs and cats.
  • a first region C1 is set in the display region of the image V6, and a third region C3 is set in the peripheral portion of the image V6.
  • the control device 2 when the control device 2 moves the pointer P2 along the third region C3, for example, the control device 2 drives the tactile sense providing unit 11 in a drive mode in which a tactile sensation that presents the texture of stroking animal hair is presented. A control signal is generated.
  • the control device 2 controls the tactile sense providing unit 11 in a drive mode that presents a tactile sense that presents a texture when playing with an animal, for example. Is generated. Thereby, a more realistic sensation can be provided to the user U by stimulating tactile sensations in addition to the user's vision and hearing.
  • the image V6 may be a two-dimensional image or a three-dimensional image.
  • the first area C1 can be set to 3D coordinates related to the image. Then, even if the region C1 is further divided into a plurality of regions and the drive mode (first drive mode) of the tactile sense providing unit 11 is changed so that different tactile senses can be presented for each of the divided regions. Good. Thereby, different tactile sensations can be presented not only in the plane direction of the screen 31 but also in the depth direction of the screen.
  • FIG. 11 is a block diagram illustrating a configuration of an input device (pointing device) according to the second embodiment of the present technology.
  • pointing device a configuration of an input device (pointing device) according to the second embodiment of the present technology.
  • configurations different from those of the first embodiment will be mainly described, and configurations similar to those of the above-described embodiment will be denoted by the same reference numerals, and description thereof will be omitted or simplified.
  • the input device 101 of this embodiment includes a housing 10, a tactile sense presentation unit 11, a movement detection unit 12 (sensor unit), a key input unit 13, an information display unit 14, a control unit 15, and a communication unit 16. And a power supply unit 17.
  • the control unit 15 includes a signal generation unit 18.
  • the signal generation section 18 When the pointer is positioned within the display area (first area C1) of the icon (object) on the screen, the signal generation section 18 outputs a first control signal for driving the tactile sense presentation section 11 in the first drive mode. Generate. On the other hand, the signal generation unit 18 drives the tactile sense presentation unit 11 in a second drive mode different from the first drive mode when the pointer is located in a predetermined region (third region C3) around the icon. A second control signal is generated.
  • this embodiment is different from the first embodiment in that the control signal corresponding to the drive mode of the tactile sense providing unit 11 is generated by the input device 101 instead of the control device 2. Even with such a configuration, the same operation as in the first embodiment can be obtained.
  • information regarding the position of the pointer, the icon area, and the like is determined based on a control signal transmitted from the control device 2.
  • the input device 101 may acquire the coordinate information from another device other than the control device 2.
  • the pointing system 100 is configured to drive the haptic presentation unit 11 in a driving mode in which the pointer presents different haptics in the first region C1 and the third region C3.
  • a driving mode that presents a specific tactile sense may be set.
  • the example in which the motion in the space of the input device 1 is detected by the inertial sensor has been described, but instead of or in addition to this, the motion of the input device 1 is directly detected by the image sensor and the pointer is detected. Movement control may be performed.
  • the tactile sense providing unit 11 is not limited to a configuration that gives a tactile sensation to the housing 10 by a vibration action by a vibrating body.
  • various mechanisms such as partially deforming the surface of the housing 10, generating a moment inside the housing 10, and generating a voltage for applying electrical stimulation to the surface of the housing 10 can be employed.
  • this technique can also take the following structures.
  • a case a tactile sense presentation unit capable of presenting a tactile sensation to the case, and a sensor unit that detects an operation on the case and outputs an operation signal for controlling movement of a pointer on the screen
  • a pointing device having: A first area belonging to the display area of the object on the screen; a second area outside the display area of the object; and a third area belonging to a boundary between the first area and the second area.
  • a region setting unit for setting each of the regions, and a position of the pointer on the screen based on the operation signal. When the pointer is positioned in the first region, the tactile sense providing unit is driven first.
  • the pointing system is a spatially operated input device
  • the tactile sense presentation unit includes a plurality of vibrators that can be driven individually to generate vibrations in an arbitrary axial direction.
  • the signal generation unit generates a third control signal for driving the tactile sense presentation unit in the moving direction of the housing when it is determined that the pointer is approaching the object by the operation of the housing. Pointing system.
  • the pointing system according to any one of (1) to (3) above, When the signal generation unit determines that the pointer is moved away from the object by the operation of the housing, the signal generation unit drives the tactile sense presentation unit in a direction opposite to the moving direction of the housing. A pointing system that generates control signals.
  • the signal generation unit calculates a moving speed of the housing, and changes a driving force of the antenna presentation unit according to the calculated moving speed.
  • the object is an icon pointing system.
  • the pointing system according to any one of (1) to (6) above The object is a 3D image, The pointing system is a three-dimensional region associated with the three-dimensional image.
  • the pointing unit includes an inertial sensor that detects a movement of the housing and generates a signal related to the movement.
  • a housing capable of presenting a tactile sense to the housing;
  • a sensor unit that detects movement in the space of the housing and outputs an operation signal for controlling movement of a pointer on the screen;
  • a first control signal for driving the tactile sense presentation unit in the first drive mode is generated, and the pointer is moved to a predetermined area around the object.
  • a pointing device comprising: a signal generation unit that generates a second control signal for driving the tactile sense presentation unit in a second drive mode different from the first drive mode when positioned.
  • the first area belonging to the display area of the object on the screen, the second area outside the display area of the object, and the boundary portion between the first area and the second area Set each of the third areas, Calculate the position of the pointer on the screen based on an operation signal output from a pointing device that moves the pointer on the screen, When the pointer is located in the first area, the pointing device is presented in a tactile sense in the first driving mode, and when the pointer is located in the third area, the pointing device is set to the first driving mode. Is a pointing control method in which a tactile sensation is presented in a different second driving mode.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

ユーザに直感的な操作感を提示することができるポインティングシステムを提供する。ポインティングデバイスは、筐体と、触覚提示部と、センサ部とを有する。センサ部は、筐体に対する操作を検出し画面上のポインタの移動を制御するための操作信号を出力する。制御装置は、領域設定部と、信号生成部とを有する。領域設定部は、画面上のオブジェクトの表示領域内に属する第１の領域と、オブジェクトの表示領域外に属する第２の領域と、第１の領域と第２の領域との境界部に属する第３の領域とを設定する。信号生成部は、操作信号に基づいてポインタの位置を算出し、ポインタが第１の領域に位置するときは触覚提示部を第１の駆動モードで駆動する制御信号を生成し、ポインタが第３の領域に位置するときは触覚提示部を第２の駆動モードで駆動する制御信号を生成する。

Description

ポインティングシステム、ポインティングデバイス及びポインティング制御方法
　本技術は、画面上に表示されるポインタを移動させるためのポインティングシステム、ポインティングデバイス及びポインティング制御方法に関する。
　ディスプレイ上に二次元的に表示されるＧＵＩ（Graphical User Interface）を操作するための入力装置として、マウスが広く用いられている。近年においては、マウスに代表される平面操作型の入力装置に限られず、空間操作型の入力装置が多種提案されている。
　例えば特許文献１には、第１の方向の加速度を検出する加速度検出部と、第１の方向と直交する第２の方向の軸回りの角速度を検出する角速度検出部と、上記加速度と角速度に基づき、筐体の第１の方向の速度値を算出する算出手段とを備えた空間操作型の入力装置が記載されている。これにより入力装置の動きに対して、画面上に表示されるポインタの自然な動きを実現でき、操作性の向上が図れるとしている。
ＷＯ２００９／０３５００５号公報
　近年、ポインティングシステムには、操作性の更なる向上が求められている。例えば従来のポインティングシステムにおいては、ポインタの移動操作はユーザの視覚認識に依存するところが大きく、操作環境によってはユーザに過度な負担を強いることになる場合がある。このため、ユーザにとってより直感的な操作感が得られるような操作性の向上が求められている。
　以上のような事情に鑑み、本技術の目的は、ユーザに直感的な操作感を提示することができるポインティングシステム、ポインティングデバイス及びポインティング制御方法を提供することにある。
　本技術の一形態に係るポインティングシステムは、ポインティングデバイスと、制御装置とを具備する。
　上記ポインティングデバイスは、筐体と、触覚提示部と、センサ部とを有する。上記触覚提示部は、上記筐体に触覚を提示することが可能に構成される。上記センサ部は、上記筐体に対する操作を検出し画面上のポインタの移動を制御するための操作信号を出力する。
　上記制御装置は、領域設定部と、信号生成部とを有する。
　上記領域設定部は、上記画面上のオブジェクトの表示領域内に属する第１の領域と、上記オブジェクトの表示領域外に属する第２の領域と、上記第１の領域と上記第２の領域との境界部に属する第３の領域とをそれぞれ設定する。
　上記信号生成部は、上記操作信号に基づいて上記画面上のポインタの位置を算出し、上記ポインタが第１の領域に位置するときは上記触覚提示部を第１の駆動モードで駆動する第１の制御信号を生成する。上記信号生成部は、上記ポインタが上記第３の領域に位置するときは上記触覚提示部を上記第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号を生成する。
　上記ポインティングシステムによれば、オブジェクトへのポインティング操作時に筐体を通じてユーザへ触覚フィードバックを提示するようにしているため、ユーザの視覚認識による依存度を低減し、より直感的なポインティング操作感を提供することができる。また、ポインタがオブジェクトの表示領域内と表示領域外との境界部に位置するとき、ポインタが表示領域内に位置するときとは異なる触覚を提示するようにしているため、オブジェクトへの適正なポインティング操作を誘導でき、操作感の向上を図ることができる。
　触覚提示部によって提示される触覚は、触圧覚、振動覚、動き覚といった機械的刺激のほか、温熱的刺激、電気的刺激等が含まれる。一実施形態としての触覚提示部は、振動を発生させる単数又は複数の振動体で構成される。振動体としては、一軸方向に振動を発生させるボイスコイルモータ、回転する偏心錘の遠心力を利用して多軸方向に振動を発生させる振動モータ等が挙げられる。
　第１の駆動モード及び第２の駆動モードは、触覚の強さ、周期、リズム、これらの組み合わせ等によって適宜設定される。第１の駆動モードと第２の駆動モードとの違いは、ユーザに触覚の違いを認識させることができる態様であれば特に制限されない。触覚提示部が振動体で構成される場合、振動の強さ（振幅）、振動周期（周波数）、振動方向等、ユーザが区別し得る態様で触覚の変更が可能である。
　ポインティングデバイスの種類は特に限定されず、空間操作型の入力装置でもよいし、平面操作型の入力装置でもよい。平面操作型の入力装置には、典型的には、卓上で操作するマウスが挙げられる。また、タッチパネルやタッチパッド等のようなユーザの手指の移動を検出することでポインティング操作を可能とする各種入力装置も適用可能である。
　画面上に表示されるオブジェクトとしては、例えばアイコンのような、プログラムや実行命令の内容を象徴的に表した図形、画像等が挙げられる。これ以外にも、オブジェクトには、画面に表示された二次元映像あるいは三次元映像が含まれる。この場合、上記領域設定部は、表示されるオブジェクトに応じて、第１～第３の領域を二次元座標あるいは三次元座標として設定してもよい。
　上記ポインティングデバイスが空間操作型の入力装置である場合、上記触覚提示部は、個別に駆動されることで任意の軸方向に振動を発生させることが可能な複数の振動体を含んでもよい。
　これにより、ユーザによる筐体の移動操作に応じた種々の触覚を提示することができるとともに、ユーザのポインティング操作を補助する機能を提供することができる。
　例えば一実施形態として、上記信号生成部は、上記筐体の操作により上記ポインタが上記オブジェクトに近づいていると判定したときは、上記筐体の移動方向に向けて上記触覚提示部を駆動する第３の制御信号を生成する。
　一方、上記信号生成部は、上記筐体の操作により上記ポインタが上記オブジェクトから遠ざかっていると判定したときは、上記筐体の移動方向とは反対方向に向けて上記触覚提示部を駆動する第４の制御信号を生成する。
　これにより、ポインタをオブジェクトへ導くような触覚提示を実現でき、操作感を向上させることができる。
　本技術の一形態に係るポインティングデバイスは、筐体と、触覚提示部と、センサ部と、信号生成部とを具備する。
　上記触覚提示部は、上記筐体に触覚を付与することが可能に構成される。
　上記センサ部は、上記筐体の空間内における動きを検出し、画面上のポインタの移動を制御するための操作信号を出力する。
　上記信号生成部は、上記ポインタが上記画面上のオブジェクトの表示領域内に位置するときは上記触覚提示部を第１の駆動モードで駆動する第１の制御信号を生成する。上記信号生成部は、上記ポインタが上記オブジェクトの周囲の所定領域に位置するときは上記触覚提示部を上記第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号を生成する。
　本技術の一形態に係るポインティング制御方法は、画面上のオブジェクトの表示領域内に属する第１の領域と、上記オブジェクトの表示領域外に属する第２の領域と、上記第１の領域と上記第２の領域との境界部に属する第３の領域とをそれぞれ設定することを含む。
　上記画面上のポインタを移動させるポインティングデバイスから出力される操作信号に基づいて、上記画面上のポインタの位置が算出される。
　上記ポインタが第１の領域に位置するときは上記ポインティングデバイスは第１の駆動モードで触覚提示し、上記ポインタが上記第３の領域に位置するときは上記ポインティングデバイスは上記第１の駆動モードとは異なる第２の駆動モードで触覚提示する。
　以上のように本技術によれば、直感的なポインティング操作感を提供することができる。
本技術の一実施形態に係るポインティングシステムを示すブロック図である。 本技術の一実施形態に係るポインティングデバイスの内部構成を示すブロック図である。 上記ポインティングデバイスに内蔵される触覚提示部の一構成例を示す概略平面図である。 上記ポインティングデバイスに内蔵される触覚提示部の一構成例を示す概略側面図である。 上記ポインティングシステムにおいて画面に表示される画像の一例を示す模式図である。 上記ポインティングシステムの一動作例を説明する図である。 上記ポインティングシステムの一動作例を説明する図である。 上記ポインティングシステムの一動作例を説明する図である。 上記ポインティングシステムの一制御例を説明するフローチャートである。 上記ポインティングシステムの一動作例を説明する図である。 本技術の他の実施形態に係るポインティングデバイスの内部構成を示すブロック図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
［ポインティングシステム］
　図１は、本技術の一実施形態に係るポインティングシステムを示すブロック図である。本実施形態のポインティングシステム１００は、入力装置１（ポインティングデバイス）と、制御装置２と、表示装置３とを有する。
　ポインティングシステム１００は、入力装置１から送信される操作信号を制御装置２で受信し、受信した操作信号に応じて、表示装置３の画面３１に表示される画像を制御するものである。表示装置３の画面３１は、図中Ｘ軸方向に水平方向、Ｙ軸方向に垂直方向、Ｚ軸方向に奥行き方向をそれぞれ有する。
　表示装置３は、例えば液晶ディスプレイ、ＥＬ（Electro-Luminescence）ディスプレイ等が挙げられるが、これらに限られない。表示装置３は、テレビジョン放送等を受信できるディスプレイと一体となった装置でもよい。表示装置３は、画面３１上に３次元映像を表示することが可能な、例えば３Ｄテレビジョンで構成されてもよい。
　以下、入力装置１及び制御装置２について説明する。
［入力装置］
　入力装置１は、ユーザＵが把持できる大きさの筐体１０を有する。筐体１０は、例えば、ｙ軸方向に高さ方向、ｘ軸方向及びｚ軸方向に径方向を有する略円柱体であり、筐体１０の一方の表面には幾つかの操作キー等が配置されている。
　本実施形態において、入力装置１は、主として、画面３１に表示されたポインタＰを移動させるための空間操作型のポインティングデバイスとして構成されている。入力装置１は、空間内でユーザＵが筐体１０をｘ軸方向に動かしたとき、ポインタＰをＸ軸方向に移動させる操作信号を生成し、それを制御装置２へ送信する。同様に、ユーザＵが筐体１０をｙ軸方向に動かしたとき、ポインタＰをＹ軸方向に移動させる操作信号を生成し、それを制御装置２へ送信する。さらに、ポインタＰが三次元映像上を移動できるように画面３１に表示されている場合には、ユーザＵが筐体１０をｚ軸方向に動かしたとき、ポインタＰをＺ軸方向に移動させる操作信号を生成し、それを制御装置２へ送信する。
　図２は、入力装置１の内部構成を示すブロック図である。入力装置１は、筐体１０と、触覚提示部１１と、移動検出部１２（センサ部）と、キー入力部１３と、情報表示部１４と、制御部１５と、通信部１６と、電源部１７とを有する。
　触覚提示部１１は、筐体１０に触覚を提示するアクチュエータを含む。すなわち触覚提示部１１は、当該アクチュエータを駆動することで、筐体１０を通じてユーザＵに触覚を提示する機能を有する。触覚提示部１１は、制御部１５から出力される駆動信号によって所定の駆動モードで駆動される。
　図３及び図４は、触覚提示部１１の一構成例を示す概略平面図及び概略側面図である。触覚提示部１１は、個別に駆動されることで任意の軸方向に振動を発生させることが可能な複数の振動体を含む。本実施形態では、ｘ軸方向に相互に対向する第１の組の振動体１１１ａ，１１１ｂと、ｙ軸方向に相互に対向する第２の組の振動体１１１ｃ，１１１ｄと、ｚ軸方向に相互に対向する第３の組の振動体１１１ｅ，１１１ｆとを有する。各振動体は例えばボイスコイルモータで構成される。
　図３及び図４に示される矢印の方向は、各振動体１１１ａ～１１１ｆの主とする振動発生方向を表している。また矢印の太さは、振動の強さを相対的に表しており、矢印が太いほど強い振動を発生させる。すなわち本実施形態では、各組の振動体は相互に離間する方向へ強い振動をそれぞれ発生させることが可能なように配置されている。振動振幅等は、駆動電流の大きさ等を調整することによって任意に変化させることができる。
　上記構成により、任意の振動体を駆動することで、各種の振動パターンで筐体１０を振動させることができる。例えば、任意の１つの振動体を駆動することで、ｘ，ｙ及びｚの各軸に沿った６方向へ所定の振動を発生させることができる。また、任意の複数の振動体を駆動し、各振動方向の合成ベクトルを生成することで、各軸と交差する任意の方向へ所定の振動を発生させることができる。さらに、各振動体の駆動力や駆動タイミングを制御することで、任意の軸回りへ所定の振動を発生させることができる。
　移動検出部１２は、空間内で操作される筐体１０の動きを検出する慣性センサを含む。慣性センサとして、典型的には、加速度センサ、角速度センサが挙げられる。移動検出部１２は、ｘ、ｙ及びｚの各軸方向の筐体１０の動きを検出可能に構成されるが、その構成は特に限定されない。例えば、各軸方向に沿って加速度センサが配置されてもよいし、単数又は複数の角速度センサを組み合わせて構成されてもよい。その他、地磁気センサや圧力センサ等が併用されてもよい。
　キー入力部１３は、筐体１０の表面の適宜の位置に配置された押圧式、スライド式、ジョイスティック式の各種スイッチを含む。キー入力部１３は、機械式のキースイッチに限られず、静電式、光学式のスイッチ又はセンサを含んでもよい。また、所定の場合に制御部１５からの信号によって任意のスイッチが点灯可能に構成されてもよい。
　情報表示部１４は、筐体１０の表面に適宜の大きさで組み込まれたディスプレイで構成される。情報表示部１４は、制御部１５の出力に基づいて、ポインティングシステム１００あるいは入力装置１の動作状態や電池残量等の各種情報を表示する。
　制御部１５は、ＲＯＭ、ＲＡＭ、ＣＰＵ（ＭＰＵ）を含むコンピュータで構成され、入力装置１の各部へ電源を供給するとともに入力装置１の動作を制御する。制御部１５は、移動検出部１２及びキー入力部１３の出力に基づいて操作信号Ｓ１を生成し、通信部１６を介して操作信号Ｓ１を制御装置２へ送信する。移動検出部１２の出力には、筐体１０の移動方向や移動速度等、筐体１０の動きに関する情報が含まれる。キー入力部１３の出力には、クリック操作、テンキー操作等の各種操作のほか、入力装置１の動作設定や表示装置３の表示設定等の各種設定操作に関する情報が含まれる。
　制御部１５は、触覚提示部１１へ所定の駆動信号Ｓ２を出力する。本実施形態では、通信部１６を介して受信した制御装置２からの制御信号Ｓ３に基づいて、駆動信号Ｓ２を生成する。駆動信号Ｓ２には、振動の発生方向、強さ、振動周期等の情報を含む振動パターンが含まれる。制御部１５は、制御信号Ｓ３の内容に応じた各種の振動パターンに対応する駆動信号Ｓ２を生成する。
　通信部１６は、制御装置２の通信部２８との間で双方向の通信を可能とする無線通信モジュールで構成されるが、有線通信でもよい。通信方式は特に制限されず、「ZigBee」（登録商標）、「Bluetooth」（登録商標）などの機器間通信でもよいし、インターネットを経由した通信でもよい。
　電源部１７は、入力装置１の電源を構成し、筐体１０内部の各部へ必要な電力を供給する。電源部１７は、典型的にはバッテリで構成される。バッテリは一次電池でもよいし、二次電池でもよい。また電源部１７は、太陽電池で構成されてもよい。なお、有線やワイヤレス給電の場合、電源部１７は不要である。
［制御装置］
　制御装置２は、図１に示すように、ビデオＲＡＭ２３と、表示制御部２４と、ＭＰＵ２５と、ＲＡＭ２６と、ＲＯＭ２７と、通信部２８とを有する。
　通信部２８は、入力装置１から送信された操作信号Ｓ１を受信する。ＭＰＵ２５は、その操作信号を解析し、ＲＡＭ２６、及びＲＯＭ２７に格納された各種設定値及びプログラムを用いて各種の演算処理を行う。演算処理の一例として、ＭＰＵ２５は、入力装置１から送信された操作信号Ｓ１に基づいて、画面３１に表示されるポインタの位置（座標）を算出する。表示制御部２４は、ＭＰＵ２５の制御に応じて、主に、表示装置３の画面３１に表示するための画面データを生成する。画面データとしては、ポインタＰ、アイコン、当該アイコンの実行により表示される映像データ等が含まれる。ビデオＲＡＭ２３は、表示制御部２４の作業領域となり、生成された画面データを一時的に格納する。
　制御装置２は、入力装置１に専用の機器であってもよいし、ＰＣ（パーソナルコンピュータ）等の一般的な情報処理装置であってもよい。また、制御装置２は、表示装置３と一体となったコンピュータであってもよい。制御装置２による制御対象機器は、オーディオ／ビジュアル機器、プロジェクタ、ゲーム機器、カーナビゲーション機器等であってもよい。
　以下、制御装置２の詳細について説明する。
　制御装置２は、領域設定部と、信号生成部とを有する。
　図５は、画面３１に表示される画像Ｖの一例を示す模式図である。領域設定部は、画面３１上の画像Ｖ（オブジェクト）の表示領域内に属する第１の領域Ｃ１と、画像Ｖの表示領域外に属する第２の領域Ｃ２と、第１の領域Ｃ１と第２の領域Ｃ２との境界部に属する第３の領域Ｃ３とをそれぞれ設定する。領域設定部は、ＭＰＵ２５で構成されてもよいし、表示制御部２４で構成されてもよいし、これらの両方で構成されてもよい。
　第１の領域Ｃ１は画像Ｖの表示領域内、すなわち画面３１の全領域において画像Ｖが占める表示領域内に設定される。第１の領域Ｃ１と画像Ｖの表示領域とは必ずしも一致していなくてもよく、画像Ｖの表示領域内に第１の領域Ｃ１が設定されていればよい。図５は、実線で示される画像Ｖの外縁（実線）よりも内方側に第１の領域Ｃ１の外縁（破線）が設定された例を示している。
　第３の領域Ｃ３は、第１の領域Ｃ１の外縁に隣接するように設定され、本実施形態では、画像Ｖの外縁を内包する環状の領域で構成される。この環状の領域における環の幅は適宜設定可能であり、画像Ｖの形状や大きさや種類、ポインタＰの位置の検出感度等に応じて適宜設定可能である。また、ユーザＵの操作によって、第３の領域Ｃ３の設定幅が変更可能に構成されてもよい。
　画像Ｖは、典型的にはアイコンであるが、これ以外の二次元映像や三次元映像であってもよい。画像Ｖが三次元映像の場合、領域Ｃ１～Ｃ３のうち少なくとも領域Ｃ１は、当該三次元映像に関連付けられた空間領域（空間座標系）で構成される。
　信号生成部は、操作信号Ｓ１に基づいて画面３１上のポインタＰの位置を算出し、ポインタＰが第１の領域Ｃ１に位置するときは、触覚提示部１１を第１の駆動モードで駆動する第１の制御信号（Ｓ３１）を生成する。また上記信号生成部は、ポインタＰが第３の領域Ｃ３に位置するときは、触覚提示部１１を第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号（Ｓ３２）を生成する。信号生成部は、例えばＭＰＵ２５で構成される。ＭＰＵ２５は、生成した制御信号を通信部２８へ出力し、通信部２８は当該制御信号を入力装置１の通信部１６へ送信する。
　第１の駆動モード及び第２の駆動モードは、触覚の強さ、周期、リズム、これらの組み合わせ等によって適宜設定される。第１の駆動モードと第２の駆動モードとの違いは、ユーザに触覚の違いを認識させることができる態様であれば特に制限されない。触覚提示部が振動体で構成される本実施形態においては、振動力、振動周期、振動方向等、ユーザが区別し得る態様で触覚の変更が可能である。
　信号生成部としてのＭＰＵ２５は、さらに、ユーザＵによる筐体１０の操作によりポインタＰがアイコン（オブジェクト）に近づいていると判定したとき、筐体１０の移動方向に向けて触覚提示部１１を駆動する第３の制御信号（Ｓ３３）を出力するように構成される。一方、信号生成部としてのＭＰＵ２５は、ユーザＵによる筐体１０の操作によりポインタＰが上記アイコンから遠ざかっていると判定したとき、筐体１０の移動方向とは反対方向に向けて触覚提示部１１を駆動する第４の制御信号（Ｓ３４）を出力するように構成される。これにより、ポインタＰをアイコンへ導くような触覚提示を実現できるため、ユーザのポインティング操作を補助するような機能が得られ、操作感を向上させることができる。
　さらに、信号生成部としてのＭＰＵ２５は、筐体１０の移動速度を算出し、算出されたポインタＰの移動速度に応じて触覚提示部１１の駆動力を変化させるように構成される。例えば、筐体１０の移動速度が大きいほど強い触覚を提示するように、触覚提示部１１を駆動してもよい。また、筐体１０の移動方向に関連させて触覚提示部１１の駆動方向を調整してもよい。このような処理は、ＭＰＵ２５に限られず、入力装置１の制御部１５が行ってもよい。
［ポインティングシステムの動作例］
　次に、ポインティングシステム１００の幾つかの動作例を説明する。
　（動作例１）
　図６（Ａ）は、複数のアイコンＶ１～Ｖ４が間隔をおいて配置された画面３１の表示例を示している。図示の例ではアイコンＶ１～Ｖ４はそれぞれ同一の大きさの矩形状を有し、２行２列のレイアウトで画面３１上に表示されている。各アイコンＶ１～Ｖ４は、ユーザＵによるポインタＰの移動操作によって選択され、入力装置１の筐体１０に配備された操作キーへの入力により実行されるＧＵＩである。
　制御装置２は、アイコンＶ１～Ｖ４の表示領域内、表示領域外、及び、アイコンＶ１～Ｖ４の境界の所定領域内に、第１の領域Ｃ１、第２の領域Ｃ２及び第３の領域Ｃ３をそれぞれ設定する。これにより、相互に隣接するアイコンＶ１～Ｖ４の間の領域は、第３の領域Ｃ３とされている。
　画面３１上におけるポインタＰ１の移動は、ユーザＵによる入力装置１の空間内での移動操作によって制御される。すなわち、筐体１０の動きが入力装置１の移動検出部１２によって検出され、入力装置１の制御部１５によって筐体１０の動きに関する情報を含む操作信号Ｓ１が生成される。制御装置２は、入力装置１から送信される操作信号Ｓ１を受信し、当該操作信号Ｓ１に基づく所定の演算処理によってポインタＰ１の位置を算出する。そして制御装置２は、筐体１０の移動方向及び移動速度に対応する方向及び速度で、画面３１上のポインタＰ１の移動表示を制御する。
　例えばユーザＵがアイコンＶ３を選択するために、ポインタＰ１を図６（Ａ）に鎖線で示す位置から実線で示すアイコンＶ３上の位置に向かって直線的に移動させる場合を考える。アイコンＶ３の周囲に設定された第３の領域Ｃ３にポインタＰ１が進入すると、制御装置２は第２の駆動モードで触覚提示部１１を駆動させるための制御信号Ｓ３（Ｓ３２）を生成し、入力装置１へ送信する。これにより入力装置１は、制御信号Ｓ３（Ｓ３２）に対応する駆動信号Ｓ２を生成し、第２の駆動モードによる触覚を触覚提示部１１にて発生させる。これによりユーザＵは、ポインタＰ１がアイコンＶ２に近づいたことを認識することができる。
　次に、アイコンＶ３の表示領域内に設定された第１の領域Ｃ１にポインタＰ１が進入すると、制御装置２は第１の駆動モードで触覚提示部１１を駆動させるための制御信号Ｓ３（Ｓ３１）を生成し、入力装置１へ送信する。これにより入力装置１は、制御信号Ｓ３（Ｓ３１）に対応する駆動信号Ｓ２を生成し、第１の駆動モードによる触覚（例えば第２の駆動モードによる触覚よりも強い触覚）を触覚提示部１１にて発生させる。第１の駆動モードは第２の駆動モードとは異なる振動パターンで触覚提示部１１を駆動するため、ユーザＵは、ポインタＰ１がアイコンＶ３上に到達したことを確実に認識することができ、アイコンＶ２の実行操作を適正に行うことが可能となる。
　このように本実施形態によれば、アイコンＶ３へのポインティング操作時に筐体１０を通じてユーザＵへ触覚フィードバックを提示するようにしているため、ユーザＵの視覚認識による依存度を低減し、より直感的なポインティング操作感を提供することができる。また、ポインタＰ１がアイコンＶ３の周囲の領域（第３の領域Ｃ３）に位置するとき、アイコンＶ３の表示領域内（第１の領域Ｃ１）に位置するときとは異なる触覚を提示するようにしているため、アイコンＶ３への適正なポインティング操作を誘導でき、操作感の向上を図ることができる。
　一方、図６（Ｂ）に示すように、ポインタＰ１を図中鎖線で示すアイコンＶ３上の位置から実線で示すアイコンＶ２上の位置に向かって直線的に移動させる場合を考える。この場合、ポインタＰ１は第３の領域Ｃ３を横切ることになるため、ポインタＰ１がアイコンＶ３からアイコンＶ２へ移動させるときには、第２の駆動モードによる触覚がユーザＵへ再度提示された後、アイコンＶ２に到達したことを示す第１の駆動モードによる触覚がユーザＵへ提示される。これによりユーザＵは、ポインタＰ１が当初のアイコンＶ３から目標とするアイコンＶ２へ確実に到達したことを認識することができる。
　以上のように本実施形態によれば、複数のアイコンが画面上に配列されている場合であっても、各アイコンをポインタが乗り越えるような感覚をユーザへ提示することができるため、ユーザの視覚と触覚とにより所望とするアイコンへポインタを適正に誘導することができる。また、視覚に頼ることなく触覚だけで、アイコン間の行き来を認識することができる。さらに、アイコンごとに第１の駆動モードによる触覚提示パターンを相互に異ならせてもよく、これにより触覚だけで複数のアイコンを個々に区別することが可能となる。
　（動作例２）
　図７及び図８は、ポインタＰ１でアイコンＶ５をポインティング操作するときの様子を示す画面の表示例であり、図７はポインタＰ１が比較的遅い速度で移動する様子を示し、図８はポインタＰ１が比較的速い速度で移動する様子を示している。また、各図において（Ａ）はポインタＰ１がアイコンＶ５に向かって移動する様子を示し、（Ｂ）はポインタＰ１がアイコンＶ５に到達したときの様子を示している。
　ここで、図中の矢印は、ユーザＵへ提示される触覚の方向と強さを表し、矢印の軸が太いほど強い触覚を表す。またＰ０は、ポインタＰ１の残像群を示しており、移動速度が遅い場合は各像が重なるように表されており（図７）、移動速度が速い場合は各像が離間するように表されている（図８）。また、残像群を構成する各像のうち、淡い色のものほど過去のポインタＰ１の像を表している。
　図７（Ａ）及び図８（Ａ）に示すように、ポインタＰ１がアイコンＶ５に向かって移動させる場合において、制御装置２は、筐体１０の移動方向に向けて触覚を発生させる制御信号（Ｓ３３）を生成し、入力装置１へ出力する。入力装置１は、当該制御信号を受信し、制御部１５は、筐体１０の操作方向に振動を発生させる駆動信号を触覚提示部１１へ出力する。図示の例では、触覚提示部１１の振動体１１１ｂ（図３，図４参照）を駆動することで、筐体１０の移動方向（－Ｘ方向）の触覚を、筐体１０を通じてユーザＵへ提示する。これにより、ポインタＰ１をアイコンＶ５へ導くような触覚提示が実現される。
　そして図７（Ｂ）及び図８（Ｂ）に示すように、ポインタＰ１がアイコンＶ５に到達したとき、制御装置２は、筐体１０の移動方向とは反対方向に触覚を発生させる制御信号を生成し、入力装置１へ出力する。これを受けて、入力装置１の制御部１５は、筐体１０の操作方向とは反対方向に振動を発生させる駆動信号を触覚提示部１１へ出力する。図示の例では、触覚提示部１１の振動体１１１ａ（図３，図４参照）を駆動することで、筐体１０の移動方向とは反対方向（＋Ｘ方向）の触覚を、筐体１０を通じてユーザＵへ提示する。これにより、ポインタＰ１の移動の停止を促す情報をユーザＵへ提供することが可能となり、アイコンＶ５へのポインタＰ１の誘導効果をさらに一層高めることができる。
　また、ポインタＰ１の移動速度に同期するように触覚の強さを制御することにより、ユーザＵに対してポインタＰ１の移動操作感を高めることができる。図７及び図８の例では、ポインタＰ１の移動速度が大きいほど弱い触角を提示するとともに、ポインタＰ１の移動速度が大きいほど、アイコンＶ５への到達時に提示される移動方向とは反対方向への触覚が大きくなるように設定されるが、勿論これに限られない。
　さらに、ポインタＰ１がアイコンＶ５から離れる方向に移動した場合、筐体１０にその移動方向とは反対方向へ触覚を発生させるように制御されてもよい。これにより、ユーザＵにポインタＰ１をアイコンＶ５の表示位置へ戻すような触覚をユーザＵへ提示することができる。
　以上のように、ポインタＰ１の移動速度に同期する触覚をユーザＵへ提示することにより、ポインタＰ１の操作感を高めることができる。また、ポインタＰ１とアイコンＶ５との相対位置に関連する触覚をユーザＵへ提示することにより、ポインティング操作が容易となり、ユーザＵへの負担軽減を図ることが可能となる。
　図９は、以上の動作例に基づく制御装置２の処理手順を示す制御フローである。図示するフローは一例であり、仕様や設定に応じて適宜変更可能である。
　図９において、Ｓ１０は、入力装置１の移動の有無（仮想オブジェクトとの相対位置の移動の有無）を判定するステップであり、Ｓ１１は、アイコン（情報）の有無を判定するステップである。Ｓ１２は、ポインタとアイコンとの位置関係を判定するステップであり、Ｓ１３及びＳ１４は、アイコンに対するポインタの移動方向を判定するステップである。Ｓ１５～Ｓ１８は、ポインタの移動速度を判定するステップであり、Ｓ１９～Ｓ２６は、提示される触覚の判定結果を実行するステップである。
　Ｓ１０において、入力装置１が移動してなければ、入力装置１の移動を検知するまで状態が保持される。入力装置１の移動を検知したとき、Ｓ１１へ状態が遷移される。Ｓ１１において、制御装置２は、ポインタＰ１の近傍に触覚提示を必要とするアイコンＶ５が存在するか判定し、アイコンＶ５がなければＳ１０へ遷移し、アイコンＶ５が存在すればＳ１２へ遷移する。Ｓ１２において、制御装置２は、ポインタＰ１とアイコンＶ５との位置関係を判定する。この判定は、ポインタＰ１の位置と、アイコンＶ５の表示領域に対応する第１の領域Ｃ１とがそれぞれ参照される。
　ポインタＰ１がアイコンＶ５の表示領域内に位置する場合には状態がＳ１３へ遷移し、アイコンＶ５の表示領域外（例えば近傍）に位置する場合には状態がＳ１４へ遷移する。Ｓ１３，Ｓ１４において、制御装置２は、アイコンＶ５に対するポインタＰ１の移動方向を判定し、ポインタＰ１がアイコンＶ５の内方へ向かっている場合には状態がＳ１５，Ｓ１７へ遷移し、アイコンＶ５の外方へ向かっている場合には状態がＳ１６，Ｓ１８へ遷移する。Ｓ１５～Ｓ１８において、制御装置２は、ポインタＰ１の移動速度を判定し、所定値よりも遅い場合と速い場合とに分けて、予め設定された触覚の提示内容に対応する制御信号を生成する（Ｓ１９～Ｓ２６）。
　Ｓ１９～Ｓ２６において、触覚の強度は、相対的な関係を示すものであり絶対的な値を規定するものではない。また本例では、移動速度の判定に「遅い」及び「速い」の２段階の評価を用いたが、これに限定されず、さらに多段階の評価が設定されてもよいし、段階的なものでなく連続的なものであってもよい。またこれらの判定結果はあくまでも一例であり、ユーザにどのような体感を与えるか等、要求される効果によって力の提示方向や強度は適宜変更可能である。
　（動作例３）
　図１０は、ポインティングシステム１００の他の動作例を説明する画面の表示例を示している。図１０において、画像Ｖ６は、犬や猫等の小動物を示す。図示せずとも、画像Ｖ６の表示領域内には、第１の領域Ｃ１が設定され、画像Ｖ６の周縁部には第３の領域Ｃ３が設定されている。
　本例において制御装置２は、第３の領域Ｃ３に沿ってポインタＰ２を移動させたときに、例えば、動物の毛を撫でるような質感を呈する触覚を提示させる駆動モードで触覚提示部１１を駆動する制御信号を生成する。一方、ポインタＰ２を第１の領域Ｃ１内で移動させたときは、制御装置２は、例えば、動物とじゃれ合うときの質感を呈する触覚を提示させる駆動モードで触覚提示部１１を駆動する制御信号を生成する。これにより、ユーザの視覚や聴覚以外に触覚をも刺激することで、よりリアリティ性のある体感をユーザＵへ提供することができる。
　ここで、画像Ｖ６は、二次元映像でもよいし三次元映像であってもよい。例えば三次元映像の場合、第１の領域Ｃ１を映像に関連した三次元座標に設定することができる。そして、当該領域Ｃ１をさらに複数の領域に分割し、これら複数に分割された領域ごとに、異なる触覚を提示できるように触覚提示部１１の駆動モード（第１の駆動モード）を変化させてもよい。これにより、画面３１の平面方向だけでなく、画面の奥行き方向にも異なる触覚を提示することができる。
＜第２の実施形態＞
　図１１は、本技術の第２の実施形態に係る入力装置（ポインティングデバイス）の構成を示すブロック図である。以下、第１の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成については同様の符号を付しその説明を省略または簡略化する。
　本実施形態の入力装置１０１は、筐体１０と、触覚提示部１１と、移動検出部１２（センサ部）と、キー入力部１３と、情報表示部１４と、制御部１５と、通信部１６と、電源部１７とを有する。制御部１５は、信号生成部１８を含む。
　信号生成部１８は、ポインタが画面上のアイコン（オブジェクト）の表示領域内（第１の領域Ｃ１）に位置するときは触覚提示部１１を第１の駆動モードで駆動する第１の制御信号を生成する。一方、信号生成部１８は、ポインタが上記アイコンの周囲の所定領域（第３の領域Ｃ３）に位置するときは触覚提示部１１を第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号を生成する。
　すなわち本実施形態では、触覚提示部１１の駆動モードに対応する制御信号の生成を、制御装置２ではなく入力装置１０１で行うように構成されている点で、第１の実施形態と異なる。このような構成によっても第１の実施形態と同様の作用を得ることができる。
　本実施形態において、ポインタの位置やアイコンの領域等に関する情報（例えば座標情報）は、制御装置２から送信される制御信号に基づいて判定される。あるいは、入力装置１０１は、上記座標情報を制御装置２以外の別の機器から取得してもよい。
　以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
　例えば以上の実施形態では、ポインティングシステム１００は、ポインタが第１の領域Ｃ１と第３の領域Ｃ３とで異なる触覚を提示させる駆動モードで触覚提示部１１を駆動するように構成されたが、アイコンの表示領域外に設定された第２の領域Ｃ２にポインタが位置するときにも、特有の触覚を提示するような駆動モードが設定されてもよい。
　また、以上の実施形態では、ポインタの移動（方向、速度）に関連した触覚をユーザＵに提示する構成を説明したが、これに加えて、ポインタが停止（静止）した状態をユーザＵへ認識させる他の触覚提示モードが設定されてもよい。これにより、ポインタの停止、移動を含む操作感をユーザへ提供することができる。
　さらに以上の実施形態では、入力装置１の空間内の動きを慣性センサで検知する例を説明したが、これに代えて又は加えて、イメージセンサにより入力装置１の動きを直接検出してポインタの移動制御を行ってもよい。
　さらに、触覚提示部１１は振動体による振動作用で筐体１０に触覚を付与する構成に限られない。例えば、筐体１０の表面を部分的に変形させる、筐体１０の内部にモーメントを発生させる、筐体１０の表面に電気刺激を付与する電圧を発生させる等の各種機構が採用可能である。
　なお、本技術は以下のような構成も採ることができる。
（１）筐体と、前記筐体に触覚を提示することが可能な触覚提示部と、前記筐体に対する操作を検出し画面上のポインタの移動を制御するための操作信号を出力するセンサ部とを有するポインティングデバイスと、
　前記画面上のオブジェクトの表示領域内に属する第１の領域と、前記オブジェクトの表示領域外に属する第２の領域と、前記第１の領域と前記第２の領域との境界部に属する第３の領域とをそれぞれ設定する領域設定部と、前記操作信号に基づいて前記画面上のポインタの位置を算出し、前記ポインタが第１の領域に位置するときは前記触覚提示部を第１の駆動モードで駆動する第１の制御信号を生成し、前記ポインタが前記第３の領域に位置するときは前記触覚提示部を前記第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号を生成する信号生成部とを有する制御装置と
　を具備するポインティングシステム。
（２）上記（１）に記載のポインティングシステムであって、
　前記ポインティングデバイスは、空間操作型の入力装置であり、
　前記触覚提示部は、個別に駆動されることで任意の軸方向に振動を発生させることが可能な複数の振動体を含む
　ポインティングシステム。
（３）上記（１）又は（２）に記載のポインティングシステムであって、
　前記信号生成部は、前記筐体の操作により前記ポインタが前記オブジェクトに近づいていると判定したときは、前記筐体の移動方向に向けて前記触覚提示部を駆動する第３の制御信号を生成する
　ポインティングシステム。
（４）上記（１）～（３）の何れか１つに記載のポインティングシステムであって、
　前記信号生成部は、前記筐体の操作により前記ポインタが前記オブジェクトから遠ざかっていると判定したときは、前記筐体の移動方向とは反対方向に向けて前記触覚提示部を駆動する第４の制御信号を生成する
　ポインティングシステム。
（５）上記（１）～（４）の何れか１つに記載のポインティングシステムであって、
　前記信号生成部は、前記筐体の移動速度を算出し、算出された前記移動速度に応じて前記触角提示部の駆動力を変化させる
　ポインティングシステム。
（６）上記（１）～（５）の何れか１つに記載のポインティングシステムであって、
　前記オブジェクトは、アイコンである
　ポインティングシステム。
（７）上記（１）～（６）の何れか１つに記載のポインティングシステムであって、
　前記オブジェクトは、三次元映像であり、
　前記第１の領域は、前記三次元映像に関連付けられた三次元領域である
　ポインティングシステム。
（８）上記（１）～（７）の何れか１つに記載のポインティングシステムであって、
　前記センサ部は、前記筐体の動きを検出し前記動きに関連する信号を生成する慣性センサを含む
　ポインティングシステム。
（９）筐体と、
　前記筐体に触覚を提示することが可能な触覚提示部と、
　前記筐体の空間内における動きを検出し、画面上のポインタの移動を制御するための操作信号を出力するセンサ部と、
　前記ポインタが前記画面上のオブジェクトの表示領域内に位置するときは前記触覚提示部を第１の駆動モードで駆動する第１の制御信号を生成し、前記ポインタが前記オブジェクトの周囲の所定領域に位置するときは前記触覚提示部を前記第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号を生成する信号生成部と
　を具備するポインティングデバイス。
（１０）画面上のオブジェクトの表示領域内に属する第１の領域と、前記オブジェクトの表示領域外に属する第２の領域と、前記第１の領域と前記第２の領域との境界部に属する第３の領域とをそれぞれ設定し、
　前記画面上のポインタを移動させるポインティングデバイスから出力される操作信号に基づいて前記画面上のポインタの位置を算出し、
　前記ポインタが第１の領域に位置するときは前記ポインティングデバイスを第１の駆動モードで触覚提示させ、前記ポインタが前記第３の領域に位置するときは前記ポインティングデバイスを前記第１の駆動モードとは異なる第２の駆動モードで触覚提示させる
　ポインティング制御方法。
　１，１０１…入力装置
　２…制御装置
　３…表示装置
　１０…筐体
　１１…触覚提示部
　１２…移動検出部
　１５…制御部
　１８…信号生成部
　２４…表示制御部
　２５…ＭＰＵ
　３１…画面
　１００…ポインティングシステム
　１１１ａ～１１１ｆ…振動体
　Ｃ１…第１の領域
　Ｃ２…第２の領域
　Ｃ３…第３の領域
　Ｐ，Ｐ１，Ｐ２…ポインタ
　Ｕ…ユーザ
　Ｖ，Ｖ６…画像
　Ｖ１～Ｖ５…アイコン

Claims (10)

  1. 　筐体と、前記筐体に触覚を提示することが可能な触覚提示部と、前記筐体に対する操作を検出し画面上のポインタの移動を制御するための操作信号を出力するセンサ部とを有するポインティングデバイスと、
    　前記画面上のオブジェクトの表示領域内に属する第１の領域と、前記オブジェクトの表示領域外に属する第２の領域と、前記第１の領域と前記第２の領域との境界部に属する第３の領域とをそれぞれ設定する領域設定部と、前記操作信号に基づいて前記画面上のポインタの位置を算出し、前記ポインタが第１の領域に位置するときは前記触覚提示部を第１の駆動モードで駆動する第１の制御信号を生成し、前記ポインタが前記第３の領域に位置するときは前記触覚提示部を前記第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号を生成する信号生成部とを有する制御装置と
    　を具備するポインティングシステム。
  2. 　請求項１に記載のポインティングシステムであって、
    　前記ポインティングデバイスは、空間操作型の入力装置であり、
    　前記触覚提示部は、個別に駆動されることで任意の軸方向に振動を発生させることが可能な複数の振動体を含む
    　ポインティングシステム。
  3. 　請求項２に記載のポインティングシステムであって、
    　前記信号生成部は、前記筐体の操作により前記ポインタが前記オブジェクトに近づいていると判定したときは、前記筐体の移動方向に向けて前記触覚提示部を駆動する第３の制御信号を生成する
    　ポインティングシステム。
  4. 　請求項２に記載のポインティングシステムであって、
    　前記信号生成部は、前記筐体の操作により前記ポインタが前記オブジェクトから遠ざかっていると判定したときは、前記筐体の移動方向とは反対方向に向けて前記触覚提示部を駆動する第４の制御信号を生成する
    　ポインティングシステム。
  5. 　請求項２に記載のポインティングシステムであって、
    　前記信号生成部は、前記筐体の移動速度を算出し、算出された前記移動速度に応じて前記触角提示部の駆動力を変化させる
    　ポインティングシステム。
  6. 　請求項１に記載のポインティングシステムであって、
    　前記オブジェクトは、アイコンである
    　ポインティングシステム。
  7. 　請求項１に記載のポインティングシステムであって、
    　前記オブジェクトは、三次元映像であり、
    　前記第１の領域は、前記三次元映像に関連付けられた三次元領域である
    　ポインティングシステム。
  8. 　請求項１に記載のポインティングシステムであって、
    　前記センサ部は、前記筐体の動きを検出し前記動きに関連する信号を生成する慣性センサを含む
    　ポインティングシステム。
  9. 　筐体と、
    　前記筐体に触覚を提示することが可能な触覚提示部と、
    　前記筐体の空間内における動きを検出し、画面上のポインタの移動を制御するための操作信号を出力するセンサ部と、
    　前記ポインタが前記画面上のオブジェクトの表示領域内に位置するときは前記触覚提示部を第１の駆動モードで駆動する第１の制御信号を生成し、前記ポインタが前記オブジェクトの周囲の所定領域に位置するときは前記触覚提示部を前記第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号を生成する信号生成部と
    　を具備するポインティングデバイス。
  10. 　画面上のオブジェクトの表示領域内に属する第１の領域と、前記オブジェクトの表示領域外に属する第２の領域と、前記第１の領域と前記第２の領域との境界部に属する第３の領域とをそれぞれ設定し、
    　前記画面上のポインタを移動させるポインティングデバイスから出力される操作信号に基づいて前記画面上のポインタの位置を算出し、
    　前記ポインタが第１の領域に位置するときは前記ポインティングデバイスを第１の駆動モードで触覚提示させ、前記ポインタが前記第３の領域に位置するときは前記ポインティングデバイスを前記第１の駆動モードとは異なる第２の駆動モードで触覚提示させる
    　ポインティング制御方法。
PCT/JP2012/003335 2011-05-31 2012-05-22 ポインティングシステム、ポインティングデバイス及びポインティング制御方法 WO2012164871A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/118,590 US9880639B2 (en) 2011-05-31 2012-05-22 Pointing system, pointing device, and pointing control method
EP12793186.3A EP2717117A4 (en) 2011-05-31 2012-05-22 SHOWING SYSTEM, DISPLAY DEVICE AND TIMING PROCESS
CN201280025026.0A CN103562840A (zh) 2011-05-31 2012-05-22 定位系统、定位设备和定位控制方法
US15/860,013 US10191562B2 (en) 2011-05-31 2018-01-02 Pointing system, pointing device, and pointing control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011122494A JP5811597B2 (ja) 2011-05-31 2011-05-31 ポインティングシステム、ポインティングデバイス及びポインティング制御方法
JP2011-122494 2011-05-31

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/118,590 A-371-Of-International US9880639B2 (en) 2011-05-31 2012-05-22 Pointing system, pointing device, and pointing control method
US15/860,013 Continuation US10191562B2 (en) 2011-05-31 2018-01-02 Pointing system, pointing device, and pointing control method

Publications (1)

Publication Number Publication Date
WO2012164871A1 true WO2012164871A1 (ja) 2012-12-06

Family

ID=47258748

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003335 WO2012164871A1 (ja) 2011-05-31 2012-05-22 ポインティングシステム、ポインティングデバイス及びポインティング制御方法

Country Status (5)

Country Link
US (2) US9880639B2 (ja)
EP (1) EP2717117A4 (ja)
JP (1) JP5811597B2 (ja)
CN (1) CN103562840A (ja)
WO (1) WO2012164871A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016507771A (ja) * 2012-12-20 2016-03-10 ストラブワークス エルエルシー 三次元拡張オーディオを提供するシステム及び方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5811597B2 (ja) 2011-05-31 2015-11-11 ソニー株式会社 ポインティングシステム、ポインティングデバイス及びポインティング制御方法
WO2013151155A1 (ja) * 2012-04-06 2013-10-10 株式会社ニコン データ処理装置、及びデータ処理プログラム
CN103810166A (zh) * 2012-11-06 2014-05-21 腾讯科技（深圳）有限公司 一种通讯录内查找联系人的方法及电子终端
JP6384329B2 (ja) * 2012-12-28 2018-09-05 株式会社ニコン データ処理装置、およびデータ処理プログラム
JP6201824B2 (ja) * 2014-03-05 2017-09-27 株式会社デンソー 操作装置
DE112014006934T5 (de) * 2014-09-09 2017-06-14 Mitsubishi Electric Corporation Tastempfindung-Steuersystem und Tastempfindung-Steuerverfahren
USD796534S1 (en) * 2015-09-30 2017-09-05 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
JP6668980B2 (ja) * 2016-07-04 2020-03-18 富士通株式会社 送信制御プログラム、送信制御方法および情報処理装置
WO2018042716A1 (ja) * 2016-08-31 2018-03-08 アルプス電気株式会社 操作装置
JP7043166B2 (ja) * 2016-09-21 2022-03-29 株式会社デンソーテン 表示制御装置、表示制御システム及び表示制御方法
JP2019010778A (ja) * 2017-06-29 2019-01-24 株式会社リコー 印刷装置及び印刷方法
JPWO2021220816A1 (ja) * 2020-04-27 2021-11-04
US11644907B2 (en) * 2021-02-26 2023-05-09 Logitech Europe S.A. Systems, devices, and methods for physical surface tracking with a stylus device in an AR/VR environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114966A (ja) * 1996-10-01 1999-01-12 Sony Computer Entateimento:Kk ゲーム機用操作装置及びゲーム装置
JP2002236550A (ja) * 2001-02-07 2002-08-23 Fujitsu Ten Ltd 画面位置入力方法および装置
JP2003085590A (ja) * 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体
WO2009035005A1 (ja) 2007-09-12 2009-03-19 Sony Corporation 入力装置、制御装置、制御システム及び制御方法
JP2009294827A (ja) * 2008-06-04 2009-12-17 Denso Corp 操作表示制御システム。

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750877B2 (en) * 1995-12-13 2004-06-15 Immersion Corporation Controlling haptic feedback for enhancing navigation in a graphical environment
SE519661C2 (sv) * 1996-02-23 2003-03-25 Immersion Corp Pekdon och förfarande för markering av grafiska detaljer på en display med sensorisk återkoppling vid påträffande av nämnda detalj
US6252579B1 (en) * 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US6924787B2 (en) * 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
US7084854B1 (en) * 2000-09-28 2006-08-01 Immersion Corporation Actuator for providing tactile sensations and device for directional tactile sensations
EP1821180A1 (en) * 2005-12-31 2007-08-22 Ball-IT Oy User operable pointing device such as mouse
JP2008257295A (ja) * 2007-03-30 2008-10-23 Tokyo Institute Of Technology 触覚刺激提示方法
US8745514B1 (en) * 2008-04-11 2014-06-03 Perceptive Pixel, Inc. Pressure-sensitive layering of displayed objects
US20090303175A1 (en) * 2008-06-05 2009-12-10 Nokia Corporation Haptic user interface
US20100295667A1 (en) * 2009-05-22 2010-11-25 Electronics And Telecommunications Research Institute Motion based pointing apparatus providing haptic feedback and control method thereof
US20110012838A1 (en) * 2009-07-14 2011-01-20 Apple Inc. Computer input device including a display device
US9436280B2 (en) * 2010-01-07 2016-09-06 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
US8334840B2 (en) * 2010-01-19 2012-12-18 Visteon Global Technologies, Inc. System and method of screen manipulation using haptic enable controller
JP5811597B2 (ja) 2011-05-31 2015-11-11 ソニー株式会社 ポインティングシステム、ポインティングデバイス及びポインティング制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114966A (ja) * 1996-10-01 1999-01-12 Sony Computer Entateimento:Kk ゲーム機用操作装置及びゲーム装置
JP2002236550A (ja) * 2001-02-07 2002-08-23 Fujitsu Ten Ltd 画面位置入力方法および装置
JP2003085590A (ja) * 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体
WO2009035005A1 (ja) 2007-09-12 2009-03-19 Sony Corporation 入力装置、制御装置、制御システム及び制御方法
JP2009294827A (ja) * 2008-06-04 2009-12-17 Denso Corp 操作表示制御システム。

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2717117A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016507771A (ja) * 2012-12-20 2016-03-10 ストラブワークス エルエルシー 三次元拡張オーディオを提供するシステム及び方法

Also Published As

Publication number Publication date
JP2012252398A (ja) 2012-12-20
US20140085200A1 (en) 2014-03-27
EP2717117A1 (en) 2014-04-09
US9880639B2 (en) 2018-01-30
CN103562840A (zh) 2014-02-05
JP5811597B2 (ja) 2015-11-11
US10191562B2 (en) 2019-01-29
EP2717117A4 (en) 2014-12-17
US20180120955A1 (en) 2018-05-03

Similar Documents

Publication Publication Date Title
JP5811597B2 (ja) ポインティングシステム、ポインティングデバイス及びポインティング制御方法
EP1868063B1 (en) Tactile - feedback device
US11100771B2 (en) Devices and methods for providing localized haptic effects to a display screen
EP1927916A1 (en) Apparatus, method, and medium for outputting tactile feedback on display device
JP2008257295A (ja) 触覚刺激提示方法
JP5333397B2 (ja) 情報処理端末およびその制御方法
EP2693311A1 (en) Operation device
JP4445582B2 (ja) 仮想感覚提示装置
CN102902373A (zh) 输入装置、输入方法和控制系统
KR20100127207A (ko) 진동햅틱 모바일기기 및 그 구동방법
US20070152962A1 (en) User interface system and method
US20100295667A1 (en) Motion based pointing apparatus providing haptic feedback and control method thereof
JP2012252398A5 (ja)
US20120092332A1 (en) Input device, input control system, method of processing information, and program
KR101234094B1 (ko) 촉각 피드백을 제공하는 모션 기반 포인팅 장치 및 그 제어방법
KR101278293B1 (ko) 복수의 액추에이터를 가상 물체의 속도에 따라 주파수를 변화시키며 순차 구동하되 감지되는 진동 자극의 위치가 연속적으로 변하는 영역을 생성하며 이동 진동파를 구현하는 이동 진동파 생성 방법
KR101019163B1 (ko) 마우스
JP2005078310A (ja) 触覚呈示装置、触覚呈示方法、及びプログラム
JP6809868B2 (ja) 移動誘導装置、パネル装置、制御装置及び移動誘導方法
KR20200129454A (ko) 이동 진동파를 제공할 수 있는 vr 또는 게임 컨트롤러 및 그 제어 방법, 이를 구비한 vr 시스템
KR20110023117A (ko) 촉각정보제공장치 및 이를 이용한 촉각정보의 제공방법
KR20100107996A (ko) 터치면을 구비한 펜형 촉감 제시 장치와 그를 이용한 촉감 인터페이스 시스템
WO2019043787A1 (ja) 振動制御装置
CN102760035A (zh) 电子设备和控制方法
KR101156219B1 (ko) 디바이스에서 부분 진동을 생성하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12793186

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012793186

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14118590

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE