WO2012164871A1 - ポインティングシステム、ポインティングデバイス及びポインティング制御方法 - Google Patents

ポインティングシステム、ポインティングデバイス及びポインティング制御方法 Download PDF

Info

Publication number
WO2012164871A1
WO2012164871A1 PCT/JP2012/003335 JP2012003335W WO2012164871A1 WO 2012164871 A1 WO2012164871 A1 WO 2012164871A1 JP 2012003335 W JP2012003335 W JP 2012003335W WO 2012164871 A1 WO2012164871 A1 WO 2012164871A1
Authority
WO
WIPO (PCT)
Prior art keywords
pointer
area
unit
pointing
housing
Prior art date
Application number
PCT/JP2012/003335
Other languages
English (en)
French (fr)
Inventor
伊藤 鎮
川部 英雄
前田 毅
晃輔 関
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201280025026.0A priority Critical patent/CN103562840A/zh
Priority to US14/118,590 priority patent/US9880639B2/en
Priority to EP12793186.3A priority patent/EP2717117A4/en
Publication of WO2012164871A1 publication Critical patent/WO2012164871A1/ja
Priority to US15/860,013 priority patent/US10191562B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Definitions

  • This technology relates to a pointing system, a pointing device, and a pointing control method for moving a pointer displayed on a screen.
  • a mouse is widely used as an input device for operating a GUI (Graphical User Interface) displayed two-dimensionally on a display.
  • GUI Graphic User Interface
  • various input devices of the space operation type have been proposed without being limited to the planar operation type input device represented by the mouse.
  • Patent Literature 1 discloses an acceleration detection unit that detects acceleration in a first direction, an angular velocity detection unit that detects an angular velocity around an axis in a second direction orthogonal to the first direction, and the acceleration and angular velocity. Based on this, there is described a spatial operation type input device provided with a calculating means for calculating a velocity value in a first direction of the housing. This makes it possible to realize a natural movement of the pointer displayed on the screen with respect to the movement of the input device, thereby improving the operability.
  • an object of the present technology is to provide a pointing system, a pointing device, and a pointing control method that can present an intuitive operational feeling to a user.
  • a pointing system includes a pointing device and a control device.
  • the pointing device includes a housing, a tactile sense presentation unit, and a sensor unit.
  • the tactile sense presentation unit is configured to be capable of presenting a tactile sense to the casing.
  • the sensor unit detects an operation on the housing and outputs an operation signal for controlling movement of a pointer on the screen.
  • the control device includes a region setting unit and a signal generation unit.
  • the area setting unit includes a first area belonging to the display area of the object on the screen, a second area outside the display area of the object, the first area, and the second area. A third region belonging to the boundary is set.
  • the signal generation unit calculates a position of the pointer on the screen based on the operation signal, and when the pointer is located in the first area, the first tactile display unit is driven in the first drive mode. Control signal is generated. The signal generation unit generates a second control signal for driving the tactile sense presentation unit in a second drive mode different from the first drive mode when the pointer is positioned in the third region.
  • the dependence by the user's visual recognition is reduced, and a more intuitive pointing operation feeling is provided. be able to.
  • a tactile sensation different from that when the pointer is positioned within the display area is presented. The operation can be guided and the operational feeling can be improved.
  • the tactile sensation presented by the tactile sense presenting unit includes thermal stimulation, electrical stimulation, and the like in addition to mechanical stimulation such as tactile pressure, vibration, and motion.
  • the tactile sense presenting unit as one embodiment is composed of one or a plurality of vibrating bodies that generate vibrations. Examples of the vibrating body include a voice coil motor that generates vibration in one axial direction, and a vibration motor that generates vibration in multiple axial directions using the centrifugal force of a rotating eccentric weight.
  • the first drive mode and the second drive mode are appropriately set according to the strength of the sense of touch, the period, the rhythm, a combination thereof, and the like.
  • the difference between the first drive mode and the second drive mode is not particularly limited as long as it allows the user to recognize the difference in tactile sensation.
  • the tactile sense presenting unit is composed of a vibrating body, the tactile sense can be changed in such a manner that the user can distinguish the vibration intensity (amplitude), vibration period (frequency), vibration direction, and the like.
  • the type of pointing device is not particularly limited, and may be a space operation type input device or a plane operation type input device.
  • the planar operation type input device typically includes a mouse operated on a desktop. Further, various input devices such as a touch panel and a touch pad that can perform a pointing operation by detecting the movement of the user's fingers are also applicable.
  • Examples of objects displayed on the screen include graphics, images, etc. that symbolically represent the contents of programs and execution instructions such as icons.
  • the object includes 2D video or 3D video displayed on the screen.
  • the area setting unit may set the first to third areas as two-dimensional coordinates or three-dimensional coordinates according to the displayed object.
  • the tactile sense presentation unit may include a plurality of vibrating bodies that can generate vibrations in arbitrary axial directions by being individually driven. Accordingly, various tactile sensations according to the movement operation of the housing by the user can be presented, and a function for assisting the user's pointing operation can be provided.
  • the signal generation unit when the signal generation unit determines that the pointer is approaching the object by operating the housing, the signal generation unit drives the tactile sense providing unit toward the moving direction of the housing. 3 control signals are generated.
  • the signal generation unit determines that the pointer is moving away from the object by operating the housing, the signal generation unit drives the tactile sense presentation unit in a direction opposite to the moving direction of the housing. 4 control signals are generated.
  • a pointing device includes a housing, a tactile sense presentation unit, a sensor unit, and a signal generation unit.
  • the tactile sense presentation unit is configured to be capable of giving a tactile sensation to the casing.
  • the sensor unit detects a movement of the housing in the space and outputs an operation signal for controlling the movement of the pointer on the screen.
  • the signal generation unit generates a first control signal for driving the tactile sensation presentation unit in a first drive mode when the pointer is positioned within the display area of the object on the screen.
  • the signal generation unit generates a second control signal for driving the tactile sense presentation unit in a second drive mode different from the first drive mode when the pointer is located in a predetermined region around the object.
  • a pointing control method includes a first area belonging to an object display area on a screen, a second area outside the object display area, the first area, and the first area. Setting a third region belonging to the boundary with the second region. The position of the pointer on the screen is calculated based on an operation signal output from a pointing device that moves the pointer on the screen.
  • the pointing device presents a tactile sensation in the first driving mode
  • the pointer is located in the third area, the pointing device is in the first driving mode.
  • an intuitive pointing operation feeling can be provided.
  • FIG. 1 is a block diagram illustrating a pointing system according to an embodiment of the present technology. It is a block diagram showing an internal configuration of a pointing device concerning one embodiment of this art. It is a schematic plan view which shows the example of 1 structure of the tactile sense presentation part built in the said pointing device. It is a schematic side view which shows the example of 1 structure of the tactile sense presentation part built in the said pointing device. It is a schematic diagram which shows an example of the image displayed on a screen in the said pointing system. It is a figure explaining an example of 1 operation of the above-mentioned pointing system. It is a figure explaining an example of 1 operation of the above-mentioned pointing system.
  • FIG. 1 is a block diagram illustrating a pointing system according to an embodiment of the present technology.
  • a pointing system 100 according to the present embodiment includes an input device 1 (pointing device), a control device 2, and a display device 3.
  • the pointing system 100 receives an operation signal transmitted from the input device 1 by the control device 2, and controls an image displayed on the screen 31 of the display device 3 according to the received operation signal.
  • a screen 31 of the display device 3 has a horizontal direction in the X-axis direction, a vertical direction in the Y-axis direction, and a depth direction in the Z-axis direction in the drawing.
  • Examples of the display device 3 include, but are not limited to, a liquid crystal display and an EL (Electro-Luminescence) display.
  • the display device 3 may be a device integrated with a display capable of receiving a television broadcast or the like.
  • the display device 3 may be composed of, for example, a 3D television capable of displaying a 3D video on the screen 31.
  • the input device 1 includes a housing 10 that is large enough to be held by the user U.
  • the housing 10 is, for example, a substantially cylindrical body having a height direction in the y-axis direction and a radial direction in the x-axis direction and the z-axis direction, and several operation keys are arranged on one surface of the housing 10. Has been.
  • the input device 1 is mainly configured as a spatial operation type pointing device for moving the pointer P displayed on the screen 31.
  • the input device 1 When the user U moves the housing 10 in the x-axis direction in the space, the input device 1 generates an operation signal for moving the pointer P in the X-axis direction and transmits it to the control device 2.
  • an operation signal for moving the pointer P in the Y-axis direction is generated and transmitted to the control device 2.
  • the pointer P is displayed on the screen 31 so as to be able to move on the 3D video
  • the user U moves the housing 10 in the z-axis direction
  • an operation for moving the pointer P in the Z-axis direction A signal is generated and transmitted to the control device 2.
  • FIG. 2 is a block diagram showing the internal configuration of the input device 1.
  • the input device 1 includes a housing 10, a tactile sense presentation unit 11, a movement detection unit 12 (sensor unit), a key input unit 13, an information display unit 14, a control unit 15, a communication unit 16, and a power supply unit. 17.
  • the tactile sense presentation unit 11 includes an actuator that presents a tactile sense to the housing 10. That is, the tactile sense providing unit 11 has a function of presenting a tactile sense to the user U through the housing 10 by driving the actuator.
  • the tactile sense providing unit 11 is driven in a predetermined drive mode by a drive signal output from the control unit 15.
  • the tactile sense providing unit 11 includes a plurality of vibrators that can be driven individually to generate vibrations in an arbitrary axial direction.
  • the first set of vibrators 111a and 111b that face each other in the x-axis direction
  • the second set of vibrators 111c and 111d that face each other in the y-axis direction
  • the z-axis direction and the z-axis direction.
  • a third set of vibrators 111e and 111f opposite to each other.
  • Each vibrating body is constituted by a voice coil motor, for example.
  • each set of vibrators is arranged so that strong vibrations can be generated in directions away from each other.
  • the vibration amplitude and the like can be arbitrarily changed by adjusting the magnitude of the drive current and the like.
  • the housing 10 can be vibrated with various vibration patterns by driving an arbitrary vibrating body.
  • a predetermined vibration can be generated in six directions along the x, y, and z axes by driving any one vibrating body.
  • a predetermined vibration can be generated in an arbitrary direction intersecting with each axis by driving a plurality of arbitrary vibrating bodies and generating a combined vector in each vibration direction.
  • by controlling the driving force and driving timing of each vibrating body it is possible to generate a predetermined vibration around an arbitrary axis.
  • the movement detection unit 12 includes an inertial sensor that detects the movement of the casing 10 operated in the space.
  • an inertial sensor includes an acceleration sensor and an angular velocity sensor.
  • the movement detection unit 12 is configured to be able to detect the movement of the casing 10 in the x, y, and z axial directions, but the configuration is not particularly limited.
  • an acceleration sensor may be arranged along each axial direction, or a single or a plurality of angular velocity sensors may be combined.
  • a geomagnetic sensor, a pressure sensor, etc. may be used together.
  • the key input unit 13 includes various switches of a push type, a slide type, and a joystick type that are arranged at appropriate positions on the surface of the housing 10.
  • the key input unit 13 is not limited to a mechanical key switch, and may include an electrostatic or optical switch or sensor. Further, an arbitrary switch may be configured to be lit by a signal from the control unit 15 in a predetermined case.
  • the information display unit 14 is composed of a display incorporated in an appropriate size on the surface of the housing 10.
  • the information display unit 14 displays various types of information such as the operating state of the pointing system 100 or the input device 1 and the remaining battery level based on the output of the control unit 15.
  • the control unit 15 includes a computer including a ROM, a RAM, and a CPU (MPU), supplies power to each unit of the input device 1 and controls the operation of the input device 1.
  • the control unit 15 generates an operation signal S1 based on the outputs of the movement detection unit 12 and the key input unit 13, and transmits the operation signal S1 to the control device 2 via the communication unit 16.
  • the output of the movement detection unit 12 includes information related to the movement of the housing 10 such as the moving direction and the moving speed of the housing 10.
  • the output of the key input unit 13 includes information related to various setting operations such as operation settings of the input device 1 and display settings of the display device 3 in addition to various operations such as a click operation and a numeric keypad operation.
  • the control unit 15 outputs a predetermined drive signal S2 to the tactile sense presenting unit 11.
  • the drive signal S2 is generated based on the control signal S3 received from the control device 2 via the communication unit 16.
  • the drive signal S2 includes a vibration pattern including information such as a vibration generation direction, strength, and vibration cycle.
  • the control unit 15 generates a drive signal S2 corresponding to various vibration patterns according to the content of the control signal S3.
  • the communication unit 16 is configured by a wireless communication module that enables bidirectional communication with the communication unit 28 of the control device 2, but may be wired communication.
  • the communication method is not particularly limited, and may be communication between devices such as “ZigBee” (registered trademark) and “Bluetooth” (registered trademark), or communication via the Internet.
  • the power supply unit 17 constitutes a power supply for the input device 1 and supplies necessary power to each unit in the housing 10.
  • the power supply unit 17 is typically composed of a battery.
  • the battery may be a primary battery or a secondary battery.
  • the power supply part 17 may be comprised with a solar cell. In the case of wired or wireless power feeding, the power supply unit 17 is not necessary.
  • control device 2 includes a video RAM 23, a display control unit 24, an MPU 25, a RAM 26, a ROM 27, and a communication unit 28.
  • the communication unit 28 receives the operation signal S1 transmitted from the input device 1.
  • the MPU 25 analyzes the operation signal and performs various arithmetic processes using various setting values and programs stored in the RAM 26 and the ROM 27. As an example of the arithmetic processing, the MPU 25 calculates the position (coordinates) of the pointer displayed on the screen 31 based on the operation signal S1 transmitted from the input device 1.
  • the display control unit 24 mainly generates screen data to be displayed on the screen 31 of the display device 3 in accordance with the control of the MPU 25.
  • the screen data includes a pointer P, an icon, video data displayed by executing the icon, and the like.
  • the video RAM 23 serves as a work area for the display control unit 24 and temporarily stores the generated screen data.
  • the control device 2 may be a device dedicated to the input device 1 or a general information processing device such as a PC (personal computer).
  • the control device 2 may be a computer integrated with the display device 3.
  • the device to be controlled by the control device 2 may be an audio / visual device, a projector, a game device, a car navigation device, or the like.
  • control device 2 Details of the control device 2 will be described.
  • the control device 2 includes an area setting unit and a signal generation unit.
  • FIG. 5 is a schematic diagram showing an example of the image V displayed on the screen 31.
  • the area setting unit includes a first area C1 belonging to the display area of the image V (object) on the screen 31, a second area C2 belonging to the outside of the display area of the image V, the first area C1, and the second area C2.
  • the third region C3 belonging to the boundary with the region C2 is set.
  • the area setting unit may be configured by the MPU 25, may be configured by the display control unit 24, or may be configured by both of them.
  • the first area C1 is set in the display area of the image V, that is, in the display area occupied by the image V in the entire area of the screen 31.
  • the first area C1 and the display area of the image V do not necessarily coincide with each other, and it is only necessary that the first area C1 is set in the display area of the image V.
  • FIG. 5 shows an example in which the outer edge (broken line) of the first region C1 is set inward from the outer edge (solid line) of the image V indicated by the solid line.
  • the third region C3 is set so as to be adjacent to the outer edge of the first region C1, and is configured by an annular region including the outer edge of the image V in this embodiment.
  • the width of the ring in the annular region can be set as appropriate, and can be set as appropriate according to the shape, size, and type of the image V, the detection sensitivity of the position of the pointer P, and the like. Further, the setting width of the third region C3 may be configured to be changeable by the operation of the user U.
  • the image V is typically an icon, but may be other 2D video or 3D video.
  • the image V is a 3D video
  • at least the area C1 among the areas C1 to C3 is configured by a spatial area (spatial coordinate system) associated with the 3D video.
  • the signal generation unit calculates the position of the pointer P on the screen 31 based on the operation signal S1, and drives the tactile sense presentation unit 11 in the first drive mode when the pointer P is located in the first region C1.
  • a first control signal (S31) is generated.
  • the signal generation unit drives the tactile sense presentation unit 11 in a second drive mode different from the first drive mode (S32). Is generated.
  • the signal generation unit is configured by an MPU 25, for example.
  • the MPU 25 outputs the generated control signal to the communication unit 28, and the communication unit 28 transmits the control signal to the communication unit 16 of the input device 1.
  • the first drive mode and the second drive mode are appropriately set according to the strength of the sense of touch, the period, the rhythm, a combination thereof, and the like.
  • the difference between the first drive mode and the second drive mode is not particularly limited as long as it allows the user to recognize the difference in tactile sensation.
  • the tactile sense presenting unit is configured by a vibrating body
  • the tactile sense can be changed in a manner that the user can distinguish, such as a vibration force, a vibration cycle, and a vibration direction.
  • the MPU 25 drives the tactile sense providing unit 11 toward the moving direction of the housing 10.
  • the third control signal (S33) is output.
  • the tactile sense providing unit 11 faces in the direction opposite to the moving direction of the housing 10. Is configured to output a fourth control signal (S34).
  • the MPU 25 as the signal generation unit is configured to calculate the moving speed of the housing 10 and change the driving force of the tactile sense providing unit 11 according to the calculated moving speed of the pointer P.
  • the tactile sense providing unit 11 may be driven so as to present a stronger tactile sense as the moving speed of the housing 10 increases.
  • the driving direction of the tactile sense providing unit 11 may be adjusted in relation to the moving direction of the housing 10. Such processing is not limited to the MPU 25 and may be performed by the control unit 15 of the input apparatus 1.
  • FIG. 6A shows a display example of a screen 31 on which a plurality of icons V1 to V4 are arranged at intervals.
  • the icons V1 to V4 each have a rectangular shape with the same size, and are displayed on the screen 31 in a 2 ⁇ 2 layout.
  • the icons V1 to V4 are GUIs that are selected by an operation of moving the pointer P by the user U and executed by input to operation keys provided on the housing 10 of the input device 1.
  • the control device 2 sets the first area C1, the second area C2, and the third area C3 within the display area of the icons V1 to V4, outside the display area, and within a predetermined area at the boundary of the icons V1 to V4. Set each. Thereby, the area between the icons V1 to V4 adjacent to each other is a third area C3.
  • the movement of the pointer P1 on the screen 31 is controlled by a movement operation in the space of the input device 1 by the user U. That is, the movement of the housing 10 is detected by the movement detection unit 12 of the input device 1, and the operation signal S ⁇ b> 1 including information related to the movement of the housing 10 is generated by the control unit 15 of the input device 1.
  • the control device 2 receives the operation signal S1 transmitted from the input device 1, and calculates the position of the pointer P1 by a predetermined calculation process based on the operation signal S1. And the control apparatus 2 controls the movement display of the pointer P1 on the screen 31 by the direction and speed corresponding to the moving direction and moving speed of the housing
  • the control device 2 When the pointer P1 enters the third area C3 set around the icon V3, the control device 2 generates and inputs a control signal S3 (S32) for driving the tactile sense providing unit 11 in the second drive mode. Transmit to device 1.
  • the input device 1 generates a drive signal S2 corresponding to the control signal S3 (S32), and causes the tactile sense presenting unit 11 to generate a tactile sense in the second drive mode.
  • the user U can recognize that the pointer P1 has approached the icon V2.
  • the control device 2 controls the control signal S3 (S31) for driving the tactile sense providing unit 11 in the first drive mode. Is transmitted to the input device 1.
  • the input device 1 generates a drive signal S2 corresponding to the control signal S3 (S31), and gives a tactile sense in the first drive mode (for example, a tactile sense stronger than that in the second drive mode) to the tactile sense presenting unit 11.
  • the first drive mode drives the tactile sense providing unit 11 with a vibration pattern different from that of the second drive mode
  • the user U can reliably recognize that the pointer P1 has reached the icon V3, and the icon
  • the execution operation of V2 can be performed appropriately.
  • the tactile feedback is presented to the user U through the housing 10 at the time of the pointing operation on the icon V3, the dependence due to the visual recognition of the user U is reduced, and it is more intuitive. Can provide a comfortable pointing operation feeling. Further, when the pointer P1 is positioned in the area around the icon V3 (third area C3), a tactile sensation different from that in the display area of the icon V3 (first area C1) is presented. Therefore, it is possible to guide an appropriate pointing operation to the icon V3, and to improve the operational feeling.
  • FIG. 6B a case is considered in which the pointer P1 is linearly moved from the position on the icon V3 indicated by the chain line to the position on the icon V2 indicated by the solid line.
  • the pointer P1 crosses the third area C3. Therefore, when the pointer P1 moves from the icon V3 to the icon V2, the haptic sense in the second driving mode is presented again to the user U, and then the icon V2 is displayed. A tactile sensation in the first drive mode indicating that the position has been reached is presented to the user U. Thereby, the user U can recognize that the pointer P1 has reached the target icon V2 from the original icon V3.
  • the tactile sense presentation pattern in the first drive mode may be different for each icon, and this makes it possible to individually distinguish a plurality of icons only by tactile sense.
  • FIG. 7 and 8 are display examples of a screen showing a state when the icon V5 is pointed with the pointer P1
  • FIG. 7 shows a state in which the pointer P1 moves at a relatively slow speed
  • FIG. Shows moving at a relatively fast speed.
  • (A) shows how the pointer P1 moves toward the icon V5
  • (B) shows how the pointer P1 reaches the icon V5.
  • P0 indicates an afterimage group of the pointer P1, and is represented such that the images overlap when the moving speed is slow (FIG. 7), and the images are separated when the moving speed is fast. (FIG. 8). Of the images constituting the afterimage group, the lighter one represents the past image of the pointer P1.
  • the control device 2 when the pointer P1 is moved toward the icon V5, the control device 2 generates a tactile sense in the moving direction of the housing 10. S33) is generated and output to the input device 1.
  • the input device 1 receives the control signal, and the control unit 15 outputs a drive signal for generating vibration in the operation direction of the housing 10 to the tactile sense providing unit 11.
  • the vibrator 111b (see FIGS. 3 and 4) of the tactile sense providing unit 11 is driven, so that a tactile sense in the moving direction ( ⁇ X direction) of the housing 10 is presented to the user U through the housing 10. To do. Thereby, tactile sense presentation that guides the pointer P1 to the icon V5 is realized.
  • the control device 2 when the pointer P1 reaches the icon V5, the control device 2 generates a control signal for generating a tactile sense in a direction opposite to the moving direction of the housing 10. Generate and output to the input device 1.
  • the control unit 15 of the input device 1 outputs a drive signal for generating vibration in a direction opposite to the operation direction of the housing 10 to the tactile sense providing unit 11.
  • a tactile sense in a direction opposite to the moving direction of the housing 10 (+ X direction) is transmitted to the user through the housing 10.
  • Present to U As a result, it is possible to provide the user U with information prompting to stop the movement of the pointer P1, and the effect of guiding the pointer P1 to the icon V5 can be further enhanced.
  • the strength of tactile sensation so as to be synchronized with the moving speed of the pointer P1, it is possible to enhance the feeling of moving operation of the pointer P1 for the user U.
  • the tactile sensation is set to be large, but of course not limited to this.
  • the housing 10 may be controlled to generate a tactile sense in a direction opposite to the moving direction. Thereby, a tactile sensation that returns the pointer P1 to the display position of the icon V5 can be presented to the user U.
  • the sense of operation of the pointer P1 can be enhanced by presenting a tactile sensation synchronized with the moving speed of the pointer P1 to the user U. Further, by presenting to the user U a tactile sensation related to the relative position between the pointer P1 and the icon V5, the pointing operation is facilitated, and the burden on the user U can be reduced.
  • FIG. 9 is a control flow showing a processing procedure of the control device 2 based on the above operation example.
  • the illustrated flow is an example, and can be appropriately changed according to specifications and settings.
  • S10 is a step for determining whether or not the input device 1 has moved (whether or not the relative position of the input object has moved), and S11 is a step for determining the presence or absence of an icon (information).
  • S12 is a step of determining the positional relationship between the pointer and the icon, and S13 and S14 are steps of determining the moving direction of the pointer with respect to the icon.
  • S15 to S18 are steps for determining the moving speed of the pointer, and S19 to S26 are steps for executing a tactile sense determination result to be presented.
  • S10 if the input device 1 is not moved, the state is maintained until the movement of the input device 1 is detected. When the movement of the input device 1 is detected, the state transitions to S11.
  • the control device 2 determines whether there is an icon V5 that requires tactile presentation in the vicinity of the pointer P1, and if there is no icon V5, the process proceeds to S10, and if the icon V5 exists, the process proceeds to S12.
  • the control device 2 determines the positional relationship between the pointer P1 and the icon V5. This determination refers to the position of the pointer P1 and the first area C1 corresponding to the display area of the icon V5.
  • the control device 2 determines the moving direction of the pointer P1 with respect to the icon V5. If the pointer P1 is inward of the icon V5, the state transitions to S15 and S17, and the outside of the icon V5. If the vehicle is moving in the direction, the state transitions to S16 and S18.
  • control device 2 determines the moving speed of the pointer P1, and generates a control signal corresponding to a preset tactile presentation content in a case where it is slower than a predetermined value and a case where it is faster than a predetermined value ( S19 to S26).
  • the tactile intensity indicates a relative relationship and does not define an absolute value.
  • the two-stage evaluation of “slow” and “fast” is used for the determination of the moving speed.
  • the evaluation is not limited to this, and a multi-stage evaluation may be set. Instead, it may be continuous.
  • FIG. 10 shows a display example of a screen for explaining another operation example of the pointing system 100.
  • an image V6 shows small animals such as dogs and cats.
  • a first region C1 is set in the display region of the image V6, and a third region C3 is set in the peripheral portion of the image V6.
  • the control device 2 when the control device 2 moves the pointer P2 along the third region C3, for example, the control device 2 drives the tactile sense providing unit 11 in a drive mode in which a tactile sensation that presents the texture of stroking animal hair is presented. A control signal is generated.
  • the control device 2 controls the tactile sense providing unit 11 in a drive mode that presents a tactile sense that presents a texture when playing with an animal, for example. Is generated. Thereby, a more realistic sensation can be provided to the user U by stimulating tactile sensations in addition to the user's vision and hearing.
  • the image V6 may be a two-dimensional image or a three-dimensional image.
  • the first area C1 can be set to 3D coordinates related to the image. Then, even if the region C1 is further divided into a plurality of regions and the drive mode (first drive mode) of the tactile sense providing unit 11 is changed so that different tactile senses can be presented for each of the divided regions. Good. Thereby, different tactile sensations can be presented not only in the plane direction of the screen 31 but also in the depth direction of the screen.
  • FIG. 11 is a block diagram illustrating a configuration of an input device (pointing device) according to the second embodiment of the present technology.
  • pointing device a configuration of an input device (pointing device) according to the second embodiment of the present technology.
  • configurations different from those of the first embodiment will be mainly described, and configurations similar to those of the above-described embodiment will be denoted by the same reference numerals, and description thereof will be omitted or simplified.
  • the input device 101 of this embodiment includes a housing 10, a tactile sense presentation unit 11, a movement detection unit 12 (sensor unit), a key input unit 13, an information display unit 14, a control unit 15, and a communication unit 16. And a power supply unit 17.
  • the control unit 15 includes a signal generation unit 18.
  • the signal generation section 18 When the pointer is positioned within the display area (first area C1) of the icon (object) on the screen, the signal generation section 18 outputs a first control signal for driving the tactile sense presentation section 11 in the first drive mode. Generate. On the other hand, the signal generation unit 18 drives the tactile sense presentation unit 11 in a second drive mode different from the first drive mode when the pointer is located in a predetermined region (third region C3) around the icon. A second control signal is generated.
  • this embodiment is different from the first embodiment in that the control signal corresponding to the drive mode of the tactile sense providing unit 11 is generated by the input device 101 instead of the control device 2. Even with such a configuration, the same operation as in the first embodiment can be obtained.
  • information regarding the position of the pointer, the icon area, and the like is determined based on a control signal transmitted from the control device 2.
  • the input device 101 may acquire the coordinate information from another device other than the control device 2.
  • the pointing system 100 is configured to drive the haptic presentation unit 11 in a driving mode in which the pointer presents different haptics in the first region C1 and the third region C3.
  • a driving mode that presents a specific tactile sense may be set.
  • the example in which the motion in the space of the input device 1 is detected by the inertial sensor has been described, but instead of or in addition to this, the motion of the input device 1 is directly detected by the image sensor and the pointer is detected. Movement control may be performed.
  • the tactile sense providing unit 11 is not limited to a configuration that gives a tactile sensation to the housing 10 by a vibration action by a vibrating body.
  • various mechanisms such as partially deforming the surface of the housing 10, generating a moment inside the housing 10, and generating a voltage for applying electrical stimulation to the surface of the housing 10 can be employed.
  • this technique can also take the following structures.
  • a case a tactile sense presentation unit capable of presenting a tactile sensation to the case, and a sensor unit that detects an operation on the case and outputs an operation signal for controlling movement of a pointer on the screen
  • a pointing device having: A first area belonging to the display area of the object on the screen; a second area outside the display area of the object; and a third area belonging to a boundary between the first area and the second area.
  • a region setting unit for setting each of the regions, and a position of the pointer on the screen based on the operation signal. When the pointer is positioned in the first region, the tactile sense providing unit is driven first.
  • the pointing system is a spatially operated input device
  • the tactile sense presentation unit includes a plurality of vibrators that can be driven individually to generate vibrations in an arbitrary axial direction.
  • the signal generation unit generates a third control signal for driving the tactile sense presentation unit in the moving direction of the housing when it is determined that the pointer is approaching the object by the operation of the housing. Pointing system.
  • the pointing system according to any one of (1) to (3) above, When the signal generation unit determines that the pointer is moved away from the object by the operation of the housing, the signal generation unit drives the tactile sense presentation unit in a direction opposite to the moving direction of the housing. A pointing system that generates control signals.
  • the signal generation unit calculates a moving speed of the housing, and changes a driving force of the antenna presentation unit according to the calculated moving speed.
  • the object is an icon pointing system.
  • the pointing system according to any one of (1) to (6) above The object is a 3D image, The pointing system is a three-dimensional region associated with the three-dimensional image.
  • the pointing unit includes an inertial sensor that detects a movement of the housing and generates a signal related to the movement.
  • a housing capable of presenting a tactile sense to the housing;
  • a sensor unit that detects movement in the space of the housing and outputs an operation signal for controlling movement of a pointer on the screen;
  • a first control signal for driving the tactile sense presentation unit in the first drive mode is generated, and the pointer is moved to a predetermined area around the object.
  • a pointing device comprising: a signal generation unit that generates a second control signal for driving the tactile sense presentation unit in a second drive mode different from the first drive mode when positioned.
  • the first area belonging to the display area of the object on the screen, the second area outside the display area of the object, and the boundary portion between the first area and the second area Set each of the third areas, Calculate the position of the pointer on the screen based on an operation signal output from a pointing device that moves the pointer on the screen, When the pointer is located in the first area, the pointing device is presented in a tactile sense in the first driving mode, and when the pointer is located in the third area, the pointing device is set to the first driving mode. Is a pointing control method in which a tactile sensation is presented in a different second driving mode.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

ユーザに直感的な操作感を提示することができるポインティングシステムを提供する。ポインティングデバイスは、筐体と、触覚提示部と、センサ部とを有する。センサ部は、筐体に対する操作を検出し画面上のポインタの移動を制御するための操作信号を出力する。制御装置は、領域設定部と、信号生成部とを有する。領域設定部は、画面上のオブジェクトの表示領域内に属する第1の領域と、オブジェクトの表示領域外に属する第2の領域と、第1の領域と第2の領域との境界部に属する第3の領域とを設定する。信号生成部は、操作信号に基づいてポインタの位置を算出し、ポインタが第1の領域に位置するときは触覚提示部を第1の駆動モードで駆動する制御信号を生成し、ポインタが第3の領域に位置するときは触覚提示部を第2の駆動モードで駆動する制御信号を生成する。

Description

ポインティングシステム、ポインティングデバイス及びポインティング制御方法
 本技術は、画面上に表示されるポインタを移動させるためのポインティングシステム、ポインティングデバイス及びポインティング制御方法に関する。
 ディスプレイ上に二次元的に表示されるGUI(Graphical User Interface)を操作するための入力装置として、マウスが広く用いられている。近年においては、マウスに代表される平面操作型の入力装置に限られず、空間操作型の入力装置が多種提案されている。
 例えば特許文献1には、第1の方向の加速度を検出する加速度検出部と、第1の方向と直交する第2の方向の軸回りの角速度を検出する角速度検出部と、上記加速度と角速度に基づき、筐体の第1の方向の速度値を算出する算出手段とを備えた空間操作型の入力装置が記載されている。これにより入力装置の動きに対して、画面上に表示されるポインタの自然な動きを実現でき、操作性の向上が図れるとしている。
WO2009/035005号公報
 近年、ポインティングシステムには、操作性の更なる向上が求められている。例えば従来のポインティングシステムにおいては、ポインタの移動操作はユーザの視覚認識に依存するところが大きく、操作環境によってはユーザに過度な負担を強いることになる場合がある。このため、ユーザにとってより直感的な操作感が得られるような操作性の向上が求められている。
 以上のような事情に鑑み、本技術の目的は、ユーザに直感的な操作感を提示することができるポインティングシステム、ポインティングデバイス及びポインティング制御方法を提供することにある。
 本技術の一形態に係るポインティングシステムは、ポインティングデバイスと、制御装置とを具備する。
 上記ポインティングデバイスは、筐体と、触覚提示部と、センサ部とを有する。上記触覚提示部は、上記筐体に触覚を提示することが可能に構成される。上記センサ部は、上記筐体に対する操作を検出し画面上のポインタの移動を制御するための操作信号を出力する。
 上記制御装置は、領域設定部と、信号生成部とを有する。
 上記領域設定部は、上記画面上のオブジェクトの表示領域内に属する第1の領域と、上記オブジェクトの表示領域外に属する第2の領域と、上記第1の領域と上記第2の領域との境界部に属する第3の領域とをそれぞれ設定する。
 上記信号生成部は、上記操作信号に基づいて上記画面上のポインタの位置を算出し、上記ポインタが第1の領域に位置するときは上記触覚提示部を第1の駆動モードで駆動する第1の制御信号を生成する。上記信号生成部は、上記ポインタが上記第3の領域に位置するときは上記触覚提示部を上記第1の駆動モードとは異なる第2の駆動モードで駆動する第2の制御信号を生成する。
 上記ポインティングシステムによれば、オブジェクトへのポインティング操作時に筐体を通じてユーザへ触覚フィードバックを提示するようにしているため、ユーザの視覚認識による依存度を低減し、より直感的なポインティング操作感を提供することができる。また、ポインタがオブジェクトの表示領域内と表示領域外との境界部に位置するとき、ポインタが表示領域内に位置するときとは異なる触覚を提示するようにしているため、オブジェクトへの適正なポインティング操作を誘導でき、操作感の向上を図ることができる。
 触覚提示部によって提示される触覚は、触圧覚、振動覚、動き覚といった機械的刺激のほか、温熱的刺激、電気的刺激等が含まれる。一実施形態としての触覚提示部は、振動を発生させる単数又は複数の振動体で構成される。振動体としては、一軸方向に振動を発生させるボイスコイルモータ、回転する偏心錘の遠心力を利用して多軸方向に振動を発生させる振動モータ等が挙げられる。
 第1の駆動モード及び第2の駆動モードは、触覚の強さ、周期、リズム、これらの組み合わせ等によって適宜設定される。第1の駆動モードと第2の駆動モードとの違いは、ユーザに触覚の違いを認識させることができる態様であれば特に制限されない。触覚提示部が振動体で構成される場合、振動の強さ(振幅)、振動周期(周波数)、振動方向等、ユーザが区別し得る態様で触覚の変更が可能である。
 ポインティングデバイスの種類は特に限定されず、空間操作型の入力装置でもよいし、平面操作型の入力装置でもよい。平面操作型の入力装置には、典型的には、卓上で操作するマウスが挙げられる。また、タッチパネルやタッチパッド等のようなユーザの手指の移動を検出することでポインティング操作を可能とする各種入力装置も適用可能である。
 画面上に表示されるオブジェクトとしては、例えばアイコンのような、プログラムや実行命令の内容を象徴的に表した図形、画像等が挙げられる。これ以外にも、オブジェクトには、画面に表示された二次元映像あるいは三次元映像が含まれる。この場合、上記領域設定部は、表示されるオブジェクトに応じて、第1~第3の領域を二次元座標あるいは三次元座標として設定してもよい。
 上記ポインティングデバイスが空間操作型の入力装置である場合、上記触覚提示部は、個別に駆動されることで任意の軸方向に振動を発生させることが可能な複数の振動体を含んでもよい。
 これにより、ユーザによる筐体の移動操作に応じた種々の触覚を提示することができるとともに、ユーザのポインティング操作を補助する機能を提供することができる。
 例えば一実施形態として、上記信号生成部は、上記筐体の操作により上記ポインタが上記オブジェクトに近づいていると判定したときは、上記筐体の移動方向に向けて上記触覚提示部を駆動する第3の制御信号を生成する。
 一方、上記信号生成部は、上記筐体の操作により上記ポインタが上記オブジェクトから遠ざかっていると判定したときは、上記筐体の移動方向とは反対方向に向けて上記触覚提示部を駆動する第4の制御信号を生成する。
 これにより、ポインタをオブジェクトへ導くような触覚提示を実現でき、操作感を向上させることができる。
 本技術の一形態に係るポインティングデバイスは、筐体と、触覚提示部と、センサ部と、信号生成部とを具備する。
 上記触覚提示部は、上記筐体に触覚を付与することが可能に構成される。
 上記センサ部は、上記筐体の空間内における動きを検出し、画面上のポインタの移動を制御するための操作信号を出力する。
 上記信号生成部は、上記ポインタが上記画面上のオブジェクトの表示領域内に位置するときは上記触覚提示部を第1の駆動モードで駆動する第1の制御信号を生成する。上記信号生成部は、上記ポインタが上記オブジェクトの周囲の所定領域に位置するときは上記触覚提示部を上記第1の駆動モードとは異なる第2の駆動モードで駆動する第2の制御信号を生成する。
 本技術の一形態に係るポインティング制御方法は、画面上のオブジェクトの表示領域内に属する第1の領域と、上記オブジェクトの表示領域外に属する第2の領域と、上記第1の領域と上記第2の領域との境界部に属する第3の領域とをそれぞれ設定することを含む。
 上記画面上のポインタを移動させるポインティングデバイスから出力される操作信号に基づいて、上記画面上のポインタの位置が算出される。
 上記ポインタが第1の領域に位置するときは上記ポインティングデバイスは第1の駆動モードで触覚提示し、上記ポインタが上記第3の領域に位置するときは上記ポインティングデバイスは上記第1の駆動モードとは異なる第2の駆動モードで触覚提示する。
 以上のように本技術によれば、直感的なポインティング操作感を提供することができる。
本技術の一実施形態に係るポインティングシステムを示すブロック図である。 本技術の一実施形態に係るポインティングデバイスの内部構成を示すブロック図である。 上記ポインティングデバイスに内蔵される触覚提示部の一構成例を示す概略平面図である。 上記ポインティングデバイスに内蔵される触覚提示部の一構成例を示す概略側面図である。 上記ポインティングシステムにおいて画面に表示される画像の一例を示す模式図である。 上記ポインティングシステムの一動作例を説明する図である。 上記ポインティングシステムの一動作例を説明する図である。 上記ポインティングシステムの一動作例を説明する図である。 上記ポインティングシステムの一制御例を説明するフローチャートである。 上記ポインティングシステムの一動作例を説明する図である。 本技術の他の実施形態に係るポインティングデバイスの内部構成を示すブロック図である。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[ポインティングシステム]
 図1は、本技術の一実施形態に係るポインティングシステムを示すブロック図である。本実施形態のポインティングシステム100は、入力装置1(ポインティングデバイス)と、制御装置2と、表示装置3とを有する。
 ポインティングシステム100は、入力装置1から送信される操作信号を制御装置2で受信し、受信した操作信号に応じて、表示装置3の画面31に表示される画像を制御するものである。表示装置3の画面31は、図中X軸方向に水平方向、Y軸方向に垂直方向、Z軸方向に奥行き方向をそれぞれ有する。
 表示装置3は、例えば液晶ディスプレイ、EL(Electro-Luminescence)ディスプレイ等が挙げられるが、これらに限られない。表示装置3は、テレビジョン放送等を受信できるディスプレイと一体となった装置でもよい。表示装置3は、画面31上に3次元映像を表示することが可能な、例えば3Dテレビジョンで構成されてもよい。
 以下、入力装置1及び制御装置2について説明する。
[入力装置]
 入力装置1は、ユーザUが把持できる大きさの筐体10を有する。筐体10は、例えば、y軸方向に高さ方向、x軸方向及びz軸方向に径方向を有する略円柱体であり、筐体10の一方の表面には幾つかの操作キー等が配置されている。
 本実施形態において、入力装置1は、主として、画面31に表示されたポインタPを移動させるための空間操作型のポインティングデバイスとして構成されている。入力装置1は、空間内でユーザUが筐体10をx軸方向に動かしたとき、ポインタPをX軸方向に移動させる操作信号を生成し、それを制御装置2へ送信する。同様に、ユーザUが筐体10をy軸方向に動かしたとき、ポインタPをY軸方向に移動させる操作信号を生成し、それを制御装置2へ送信する。さらに、ポインタPが三次元映像上を移動できるように画面31に表示されている場合には、ユーザUが筐体10をz軸方向に動かしたとき、ポインタPをZ軸方向に移動させる操作信号を生成し、それを制御装置2へ送信する。
 図2は、入力装置1の内部構成を示すブロック図である。入力装置1は、筐体10と、触覚提示部11と、移動検出部12(センサ部)と、キー入力部13と、情報表示部14と、制御部15と、通信部16と、電源部17とを有する。
 触覚提示部11は、筐体10に触覚を提示するアクチュエータを含む。すなわち触覚提示部11は、当該アクチュエータを駆動することで、筐体10を通じてユーザUに触覚を提示する機能を有する。触覚提示部11は、制御部15から出力される駆動信号によって所定の駆動モードで駆動される。
 図3及び図4は、触覚提示部11の一構成例を示す概略平面図及び概略側面図である。触覚提示部11は、個別に駆動されることで任意の軸方向に振動を発生させることが可能な複数の振動体を含む。本実施形態では、x軸方向に相互に対向する第1の組の振動体111a,111bと、y軸方向に相互に対向する第2の組の振動体111c,111dと、z軸方向に相互に対向する第3の組の振動体111e,111fとを有する。各振動体は例えばボイスコイルモータで構成される。
 図3及び図4に示される矢印の方向は、各振動体111a~111fの主とする振動発生方向を表している。また矢印の太さは、振動の強さを相対的に表しており、矢印が太いほど強い振動を発生させる。すなわち本実施形態では、各組の振動体は相互に離間する方向へ強い振動をそれぞれ発生させることが可能なように配置されている。振動振幅等は、駆動電流の大きさ等を調整することによって任意に変化させることができる。
 上記構成により、任意の振動体を駆動することで、各種の振動パターンで筐体10を振動させることができる。例えば、任意の1つの振動体を駆動することで、x,y及びzの各軸に沿った6方向へ所定の振動を発生させることができる。また、任意の複数の振動体を駆動し、各振動方向の合成ベクトルを生成することで、各軸と交差する任意の方向へ所定の振動を発生させることができる。さらに、各振動体の駆動力や駆動タイミングを制御することで、任意の軸回りへ所定の振動を発生させることができる。
 移動検出部12は、空間内で操作される筐体10の動きを検出する慣性センサを含む。慣性センサとして、典型的には、加速度センサ、角速度センサが挙げられる。移動検出部12は、x、y及びzの各軸方向の筐体10の動きを検出可能に構成されるが、その構成は特に限定されない。例えば、各軸方向に沿って加速度センサが配置されてもよいし、単数又は複数の角速度センサを組み合わせて構成されてもよい。その他、地磁気センサや圧力センサ等が併用されてもよい。
 キー入力部13は、筐体10の表面の適宜の位置に配置された押圧式、スライド式、ジョイスティック式の各種スイッチを含む。キー入力部13は、機械式のキースイッチに限られず、静電式、光学式のスイッチ又はセンサを含んでもよい。また、所定の場合に制御部15からの信号によって任意のスイッチが点灯可能に構成されてもよい。
 情報表示部14は、筐体10の表面に適宜の大きさで組み込まれたディスプレイで構成される。情報表示部14は、制御部15の出力に基づいて、ポインティングシステム100あるいは入力装置1の動作状態や電池残量等の各種情報を表示する。
 制御部15は、ROM、RAM、CPU(MPU)を含むコンピュータで構成され、入力装置1の各部へ電源を供給するとともに入力装置1の動作を制御する。制御部15は、移動検出部12及びキー入力部13の出力に基づいて操作信号S1を生成し、通信部16を介して操作信号S1を制御装置2へ送信する。移動検出部12の出力には、筐体10の移動方向や移動速度等、筐体10の動きに関する情報が含まれる。キー入力部13の出力には、クリック操作、テンキー操作等の各種操作のほか、入力装置1の動作設定や表示装置3の表示設定等の各種設定操作に関する情報が含まれる。
 制御部15は、触覚提示部11へ所定の駆動信号S2を出力する。本実施形態では、通信部16を介して受信した制御装置2からの制御信号S3に基づいて、駆動信号S2を生成する。駆動信号S2には、振動の発生方向、強さ、振動周期等の情報を含む振動パターンが含まれる。制御部15は、制御信号S3の内容に応じた各種の振動パターンに対応する駆動信号S2を生成する。
 通信部16は、制御装置2の通信部28との間で双方向の通信を可能とする無線通信モジュールで構成されるが、有線通信でもよい。通信方式は特に制限されず、「ZigBee」(登録商標)、「Bluetooth」(登録商標)などの機器間通信でもよいし、インターネットを経由した通信でもよい。
 電源部17は、入力装置1の電源を構成し、筐体10内部の各部へ必要な電力を供給する。電源部17は、典型的にはバッテリで構成される。バッテリは一次電池でもよいし、二次電池でもよい。また電源部17は、太陽電池で構成されてもよい。なお、有線やワイヤレス給電の場合、電源部17は不要である。
[制御装置]
 制御装置2は、図1に示すように、ビデオRAM23と、表示制御部24と、MPU25と、RAM26と、ROM27と、通信部28とを有する。
 通信部28は、入力装置1から送信された操作信号S1を受信する。MPU25は、その操作信号を解析し、RAM26、及びROM27に格納された各種設定値及びプログラムを用いて各種の演算処理を行う。演算処理の一例として、MPU25は、入力装置1から送信された操作信号S1に基づいて、画面31に表示されるポインタの位置(座標)を算出する。表示制御部24は、MPU25の制御に応じて、主に、表示装置3の画面31に表示するための画面データを生成する。画面データとしては、ポインタP、アイコン、当該アイコンの実行により表示される映像データ等が含まれる。ビデオRAM23は、表示制御部24の作業領域となり、生成された画面データを一時的に格納する。
 制御装置2は、入力装置1に専用の機器であってもよいし、PC(パーソナルコンピュータ)等の一般的な情報処理装置であってもよい。また、制御装置2は、表示装置3と一体となったコンピュータであってもよい。制御装置2による制御対象機器は、オーディオ/ビジュアル機器、プロジェクタ、ゲーム機器、カーナビゲーション機器等であってもよい。
 以下、制御装置2の詳細について説明する。
 制御装置2は、領域設定部と、信号生成部とを有する。
 図5は、画面31に表示される画像Vの一例を示す模式図である。領域設定部は、画面31上の画像V(オブジェクト)の表示領域内に属する第1の領域C1と、画像Vの表示領域外に属する第2の領域C2と、第1の領域C1と第2の領域C2との境界部に属する第3の領域C3とをそれぞれ設定する。領域設定部は、MPU25で構成されてもよいし、表示制御部24で構成されてもよいし、これらの両方で構成されてもよい。
 第1の領域C1は画像Vの表示領域内、すなわち画面31の全領域において画像Vが占める表示領域内に設定される。第1の領域C1と画像Vの表示領域とは必ずしも一致していなくてもよく、画像Vの表示領域内に第1の領域C1が設定されていればよい。図5は、実線で示される画像Vの外縁(実線)よりも内方側に第1の領域C1の外縁(破線)が設定された例を示している。
 第3の領域C3は、第1の領域C1の外縁に隣接するように設定され、本実施形態では、画像Vの外縁を内包する環状の領域で構成される。この環状の領域における環の幅は適宜設定可能であり、画像Vの形状や大きさや種類、ポインタPの位置の検出感度等に応じて適宜設定可能である。また、ユーザUの操作によって、第3の領域C3の設定幅が変更可能に構成されてもよい。
 画像Vは、典型的にはアイコンであるが、これ以外の二次元映像や三次元映像であってもよい。画像Vが三次元映像の場合、領域C1~C3のうち少なくとも領域C1は、当該三次元映像に関連付けられた空間領域(空間座標系)で構成される。
 信号生成部は、操作信号S1に基づいて画面31上のポインタPの位置を算出し、ポインタPが第1の領域C1に位置するときは、触覚提示部11を第1の駆動モードで駆動する第1の制御信号(S31)を生成する。また上記信号生成部は、ポインタPが第3の領域C3に位置するときは、触覚提示部11を第1の駆動モードとは異なる第2の駆動モードで駆動する第2の制御信号(S32)を生成する。信号生成部は、例えばMPU25で構成される。MPU25は、生成した制御信号を通信部28へ出力し、通信部28は当該制御信号を入力装置1の通信部16へ送信する。
 第1の駆動モード及び第2の駆動モードは、触覚の強さ、周期、リズム、これらの組み合わせ等によって適宜設定される。第1の駆動モードと第2の駆動モードとの違いは、ユーザに触覚の違いを認識させることができる態様であれば特に制限されない。触覚提示部が振動体で構成される本実施形態においては、振動力、振動周期、振動方向等、ユーザが区別し得る態様で触覚の変更が可能である。
 信号生成部としてのMPU25は、さらに、ユーザUによる筐体10の操作によりポインタPがアイコン(オブジェクト)に近づいていると判定したとき、筐体10の移動方向に向けて触覚提示部11を駆動する第3の制御信号(S33)を出力するように構成される。一方、信号生成部としてのMPU25は、ユーザUによる筐体10の操作によりポインタPが上記アイコンから遠ざかっていると判定したとき、筐体10の移動方向とは反対方向に向けて触覚提示部11を駆動する第4の制御信号(S34)を出力するように構成される。これにより、ポインタPをアイコンへ導くような触覚提示を実現できるため、ユーザのポインティング操作を補助するような機能が得られ、操作感を向上させることができる。
 さらに、信号生成部としてのMPU25は、筐体10の移動速度を算出し、算出されたポインタPの移動速度に応じて触覚提示部11の駆動力を変化させるように構成される。例えば、筐体10の移動速度が大きいほど強い触覚を提示するように、触覚提示部11を駆動してもよい。また、筐体10の移動方向に関連させて触覚提示部11の駆動方向を調整してもよい。このような処理は、MPU25に限られず、入力装置1の制御部15が行ってもよい。
[ポインティングシステムの動作例]
 次に、ポインティングシステム100の幾つかの動作例を説明する。
 (動作例1)
 図6(A)は、複数のアイコンV1~V4が間隔をおいて配置された画面31の表示例を示している。図示の例ではアイコンV1~V4はそれぞれ同一の大きさの矩形状を有し、2行2列のレイアウトで画面31上に表示されている。各アイコンV1~V4は、ユーザUによるポインタPの移動操作によって選択され、入力装置1の筐体10に配備された操作キーへの入力により実行されるGUIである。
 制御装置2は、アイコンV1~V4の表示領域内、表示領域外、及び、アイコンV1~V4の境界の所定領域内に、第1の領域C1、第2の領域C2及び第3の領域C3をそれぞれ設定する。これにより、相互に隣接するアイコンV1~V4の間の領域は、第3の領域C3とされている。
 画面31上におけるポインタP1の移動は、ユーザUによる入力装置1の空間内での移動操作によって制御される。すなわち、筐体10の動きが入力装置1の移動検出部12によって検出され、入力装置1の制御部15によって筐体10の動きに関する情報を含む操作信号S1が生成される。制御装置2は、入力装置1から送信される操作信号S1を受信し、当該操作信号S1に基づく所定の演算処理によってポインタP1の位置を算出する。そして制御装置2は、筐体10の移動方向及び移動速度に対応する方向及び速度で、画面31上のポインタP1の移動表示を制御する。
 例えばユーザUがアイコンV3を選択するために、ポインタP1を図6(A)に鎖線で示す位置から実線で示すアイコンV3上の位置に向かって直線的に移動させる場合を考える。アイコンV3の周囲に設定された第3の領域C3にポインタP1が進入すると、制御装置2は第2の駆動モードで触覚提示部11を駆動させるための制御信号S3(S32)を生成し、入力装置1へ送信する。これにより入力装置1は、制御信号S3(S32)に対応する駆動信号S2を生成し、第2の駆動モードによる触覚を触覚提示部11にて発生させる。これによりユーザUは、ポインタP1がアイコンV2に近づいたことを認識することができる。
 次に、アイコンV3の表示領域内に設定された第1の領域C1にポインタP1が進入すると、制御装置2は第1の駆動モードで触覚提示部11を駆動させるための制御信号S3(S31)を生成し、入力装置1へ送信する。これにより入力装置1は、制御信号S3(S31)に対応する駆動信号S2を生成し、第1の駆動モードによる触覚(例えば第2の駆動モードによる触覚よりも強い触覚)を触覚提示部11にて発生させる。第1の駆動モードは第2の駆動モードとは異なる振動パターンで触覚提示部11を駆動するため、ユーザUは、ポインタP1がアイコンV3上に到達したことを確実に認識することができ、アイコンV2の実行操作を適正に行うことが可能となる。
 このように本実施形態によれば、アイコンV3へのポインティング操作時に筐体10を通じてユーザUへ触覚フィードバックを提示するようにしているため、ユーザUの視覚認識による依存度を低減し、より直感的なポインティング操作感を提供することができる。また、ポインタP1がアイコンV3の周囲の領域(第3の領域C3)に位置するとき、アイコンV3の表示領域内(第1の領域C1)に位置するときとは異なる触覚を提示するようにしているため、アイコンV3への適正なポインティング操作を誘導でき、操作感の向上を図ることができる。
 一方、図6(B)に示すように、ポインタP1を図中鎖線で示すアイコンV3上の位置から実線で示すアイコンV2上の位置に向かって直線的に移動させる場合を考える。この場合、ポインタP1は第3の領域C3を横切ることになるため、ポインタP1がアイコンV3からアイコンV2へ移動させるときには、第2の駆動モードによる触覚がユーザUへ再度提示された後、アイコンV2に到達したことを示す第1の駆動モードによる触覚がユーザUへ提示される。これによりユーザUは、ポインタP1が当初のアイコンV3から目標とするアイコンV2へ確実に到達したことを認識することができる。
 以上のように本実施形態によれば、複数のアイコンが画面上に配列されている場合であっても、各アイコンをポインタが乗り越えるような感覚をユーザへ提示することができるため、ユーザの視覚と触覚とにより所望とするアイコンへポインタを適正に誘導することができる。また、視覚に頼ることなく触覚だけで、アイコン間の行き来を認識することができる。さらに、アイコンごとに第1の駆動モードによる触覚提示パターンを相互に異ならせてもよく、これにより触覚だけで複数のアイコンを個々に区別することが可能となる。
 (動作例2)
 図7及び図8は、ポインタP1でアイコンV5をポインティング操作するときの様子を示す画面の表示例であり、図7はポインタP1が比較的遅い速度で移動する様子を示し、図8はポインタP1が比較的速い速度で移動する様子を示している。また、各図において(A)はポインタP1がアイコンV5に向かって移動する様子を示し、(B)はポインタP1がアイコンV5に到達したときの様子を示している。
 ここで、図中の矢印は、ユーザUへ提示される触覚の方向と強さを表し、矢印の軸が太いほど強い触覚を表す。またP0は、ポインタP1の残像群を示しており、移動速度が遅い場合は各像が重なるように表されており(図7)、移動速度が速い場合は各像が離間するように表されている(図8)。また、残像群を構成する各像のうち、淡い色のものほど過去のポインタP1の像を表している。
 図7(A)及び図8(A)に示すように、ポインタP1がアイコンV5に向かって移動させる場合において、制御装置2は、筐体10の移動方向に向けて触覚を発生させる制御信号(S33)を生成し、入力装置1へ出力する。入力装置1は、当該制御信号を受信し、制御部15は、筐体10の操作方向に振動を発生させる駆動信号を触覚提示部11へ出力する。図示の例では、触覚提示部11の振動体111b(図3,図4参照)を駆動することで、筐体10の移動方向(-X方向)の触覚を、筐体10を通じてユーザUへ提示する。これにより、ポインタP1をアイコンV5へ導くような触覚提示が実現される。
 そして図7(B)及び図8(B)に示すように、ポインタP1がアイコンV5に到達したとき、制御装置2は、筐体10の移動方向とは反対方向に触覚を発生させる制御信号を生成し、入力装置1へ出力する。これを受けて、入力装置1の制御部15は、筐体10の操作方向とは反対方向に振動を発生させる駆動信号を触覚提示部11へ出力する。図示の例では、触覚提示部11の振動体111a(図3,図4参照)を駆動することで、筐体10の移動方向とは反対方向(+X方向)の触覚を、筐体10を通じてユーザUへ提示する。これにより、ポインタP1の移動の停止を促す情報をユーザUへ提供することが可能となり、アイコンV5へのポインタP1の誘導効果をさらに一層高めることができる。
 また、ポインタP1の移動速度に同期するように触覚の強さを制御することにより、ユーザUに対してポインタP1の移動操作感を高めることができる。図7及び図8の例では、ポインタP1の移動速度が大きいほど弱い触角を提示するとともに、ポインタP1の移動速度が大きいほど、アイコンV5への到達時に提示される移動方向とは反対方向への触覚が大きくなるように設定されるが、勿論これに限られない。
 さらに、ポインタP1がアイコンV5から離れる方向に移動した場合、筐体10にその移動方向とは反対方向へ触覚を発生させるように制御されてもよい。これにより、ユーザUにポインタP1をアイコンV5の表示位置へ戻すような触覚をユーザUへ提示することができる。
 以上のように、ポインタP1の移動速度に同期する触覚をユーザUへ提示することにより、ポインタP1の操作感を高めることができる。また、ポインタP1とアイコンV5との相対位置に関連する触覚をユーザUへ提示することにより、ポインティング操作が容易となり、ユーザUへの負担軽減を図ることが可能となる。
 図9は、以上の動作例に基づく制御装置2の処理手順を示す制御フローである。図示するフローは一例であり、仕様や設定に応じて適宜変更可能である。
 図9において、S10は、入力装置1の移動の有無(仮想オブジェクトとの相対位置の移動の有無)を判定するステップであり、S11は、アイコン(情報)の有無を判定するステップである。S12は、ポインタとアイコンとの位置関係を判定するステップであり、S13及びS14は、アイコンに対するポインタの移動方向を判定するステップである。S15~S18は、ポインタの移動速度を判定するステップであり、S19~S26は、提示される触覚の判定結果を実行するステップである。
 S10において、入力装置1が移動してなければ、入力装置1の移動を検知するまで状態が保持される。入力装置1の移動を検知したとき、S11へ状態が遷移される。S11において、制御装置2は、ポインタP1の近傍に触覚提示を必要とするアイコンV5が存在するか判定し、アイコンV5がなければS10へ遷移し、アイコンV5が存在すればS12へ遷移する。S12において、制御装置2は、ポインタP1とアイコンV5との位置関係を判定する。この判定は、ポインタP1の位置と、アイコンV5の表示領域に対応する第1の領域C1とがそれぞれ参照される。
 ポインタP1がアイコンV5の表示領域内に位置する場合には状態がS13へ遷移し、アイコンV5の表示領域外(例えば近傍)に位置する場合には状態がS14へ遷移する。S13,S14において、制御装置2は、アイコンV5に対するポインタP1の移動方向を判定し、ポインタP1がアイコンV5の内方へ向かっている場合には状態がS15,S17へ遷移し、アイコンV5の外方へ向かっている場合には状態がS16,S18へ遷移する。S15~S18において、制御装置2は、ポインタP1の移動速度を判定し、所定値よりも遅い場合と速い場合とに分けて、予め設定された触覚の提示内容に対応する制御信号を生成する(S19~S26)。
 S19~S26において、触覚の強度は、相対的な関係を示すものであり絶対的な値を規定するものではない。また本例では、移動速度の判定に「遅い」及び「速い」の2段階の評価を用いたが、これに限定されず、さらに多段階の評価が設定されてもよいし、段階的なものでなく連続的なものであってもよい。またこれらの判定結果はあくまでも一例であり、ユーザにどのような体感を与えるか等、要求される効果によって力の提示方向や強度は適宜変更可能である。
 (動作例3)
 図10は、ポインティングシステム100の他の動作例を説明する画面の表示例を示している。図10において、画像V6は、犬や猫等の小動物を示す。図示せずとも、画像V6の表示領域内には、第1の領域C1が設定され、画像V6の周縁部には第3の領域C3が設定されている。
 本例において制御装置2は、第3の領域C3に沿ってポインタP2を移動させたときに、例えば、動物の毛を撫でるような質感を呈する触覚を提示させる駆動モードで触覚提示部11を駆動する制御信号を生成する。一方、ポインタP2を第1の領域C1内で移動させたときは、制御装置2は、例えば、動物とじゃれ合うときの質感を呈する触覚を提示させる駆動モードで触覚提示部11を駆動する制御信号を生成する。これにより、ユーザの視覚や聴覚以外に触覚をも刺激することで、よりリアリティ性のある体感をユーザUへ提供することができる。
 ここで、画像V6は、二次元映像でもよいし三次元映像であってもよい。例えば三次元映像の場合、第1の領域C1を映像に関連した三次元座標に設定することができる。そして、当該領域C1をさらに複数の領域に分割し、これら複数に分割された領域ごとに、異なる触覚を提示できるように触覚提示部11の駆動モード(第1の駆動モード)を変化させてもよい。これにより、画面31の平面方向だけでなく、画面の奥行き方向にも異なる触覚を提示することができる。
<第2の実施形態>
 図11は、本技術の第2の実施形態に係る入力装置(ポインティングデバイス)の構成を示すブロック図である。以下、第1の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成については同様の符号を付しその説明を省略または簡略化する。
 本実施形態の入力装置101は、筐体10と、触覚提示部11と、移動検出部12(センサ部)と、キー入力部13と、情報表示部14と、制御部15と、通信部16と、電源部17とを有する。制御部15は、信号生成部18を含む。
 信号生成部18は、ポインタが画面上のアイコン(オブジェクト)の表示領域内(第1の領域C1)に位置するときは触覚提示部11を第1の駆動モードで駆動する第1の制御信号を生成する。一方、信号生成部18は、ポインタが上記アイコンの周囲の所定領域(第3の領域C3)に位置するときは触覚提示部11を第1の駆動モードとは異なる第2の駆動モードで駆動する第2の制御信号を生成する。
 すなわち本実施形態では、触覚提示部11の駆動モードに対応する制御信号の生成を、制御装置2ではなく入力装置101で行うように構成されている点で、第1の実施形態と異なる。このような構成によっても第1の実施形態と同様の作用を得ることができる。
 本実施形態において、ポインタの位置やアイコンの領域等に関する情報(例えば座標情報)は、制御装置2から送信される制御信号に基づいて判定される。あるいは、入力装置101は、上記座標情報を制御装置2以外の別の機器から取得してもよい。
 以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
 例えば以上の実施形態では、ポインティングシステム100は、ポインタが第1の領域C1と第3の領域C3とで異なる触覚を提示させる駆動モードで触覚提示部11を駆動するように構成されたが、アイコンの表示領域外に設定された第2の領域C2にポインタが位置するときにも、特有の触覚を提示するような駆動モードが設定されてもよい。
 また、以上の実施形態では、ポインタの移動(方向、速度)に関連した触覚をユーザUに提示する構成を説明したが、これに加えて、ポインタが停止(静止)した状態をユーザUへ認識させる他の触覚提示モードが設定されてもよい。これにより、ポインタの停止、移動を含む操作感をユーザへ提供することができる。
 さらに以上の実施形態では、入力装置1の空間内の動きを慣性センサで検知する例を説明したが、これに代えて又は加えて、イメージセンサにより入力装置1の動きを直接検出してポインタの移動制御を行ってもよい。
 さらに、触覚提示部11は振動体による振動作用で筐体10に触覚を付与する構成に限られない。例えば、筐体10の表面を部分的に変形させる、筐体10の内部にモーメントを発生させる、筐体10の表面に電気刺激を付与する電圧を発生させる等の各種機構が採用可能である。
 なお、本技術は以下のような構成も採ることができる。
(1)筐体と、前記筐体に触覚を提示することが可能な触覚提示部と、前記筐体に対する操作を検出し画面上のポインタの移動を制御するための操作信号を出力するセンサ部とを有するポインティングデバイスと、
 前記画面上のオブジェクトの表示領域内に属する第1の領域と、前記オブジェクトの表示領域外に属する第2の領域と、前記第1の領域と前記第2の領域との境界部に属する第3の領域とをそれぞれ設定する領域設定部と、前記操作信号に基づいて前記画面上のポインタの位置を算出し、前記ポインタが第1の領域に位置するときは前記触覚提示部を第1の駆動モードで駆動する第1の制御信号を生成し、前記ポインタが前記第3の領域に位置するときは前記触覚提示部を前記第1の駆動モードとは異なる第2の駆動モードで駆動する第2の制御信号を生成する信号生成部とを有する制御装置と
 を具備するポインティングシステム。
(2)上記(1)に記載のポインティングシステムであって、
 前記ポインティングデバイスは、空間操作型の入力装置であり、
 前記触覚提示部は、個別に駆動されることで任意の軸方向に振動を発生させることが可能な複数の振動体を含む
 ポインティングシステム。
(3)上記(1)又は(2)に記載のポインティングシステムであって、
 前記信号生成部は、前記筐体の操作により前記ポインタが前記オブジェクトに近づいていると判定したときは、前記筐体の移動方向に向けて前記触覚提示部を駆動する第3の制御信号を生成する
 ポインティングシステム。
(4)上記(1)~(3)の何れか1つに記載のポインティングシステムであって、
 前記信号生成部は、前記筐体の操作により前記ポインタが前記オブジェクトから遠ざかっていると判定したときは、前記筐体の移動方向とは反対方向に向けて前記触覚提示部を駆動する第4の制御信号を生成する
 ポインティングシステム。
(5)上記(1)~(4)の何れか1つに記載のポインティングシステムであって、
 前記信号生成部は、前記筐体の移動速度を算出し、算出された前記移動速度に応じて前記触角提示部の駆動力を変化させる
 ポインティングシステム。
(6)上記(1)~(5)の何れか1つに記載のポインティングシステムであって、
 前記オブジェクトは、アイコンである
 ポインティングシステム。
(7)上記(1)~(6)の何れか1つに記載のポインティングシステムであって、
 前記オブジェクトは、三次元映像であり、
 前記第1の領域は、前記三次元映像に関連付けられた三次元領域である
 ポインティングシステム。
(8)上記(1)~(7)の何れか1つに記載のポインティングシステムであって、
 前記センサ部は、前記筐体の動きを検出し前記動きに関連する信号を生成する慣性センサを含む
 ポインティングシステム。
(9)筐体と、
 前記筐体に触覚を提示することが可能な触覚提示部と、
 前記筐体の空間内における動きを検出し、画面上のポインタの移動を制御するための操作信号を出力するセンサ部と、
 前記ポインタが前記画面上のオブジェクトの表示領域内に位置するときは前記触覚提示部を第1の駆動モードで駆動する第1の制御信号を生成し、前記ポインタが前記オブジェクトの周囲の所定領域に位置するときは前記触覚提示部を前記第1の駆動モードとは異なる第2の駆動モードで駆動する第2の制御信号を生成する信号生成部と
 を具備するポインティングデバイス。
(10)画面上のオブジェクトの表示領域内に属する第1の領域と、前記オブジェクトの表示領域外に属する第2の領域と、前記第1の領域と前記第2の領域との境界部に属する第3の領域とをそれぞれ設定し、
 前記画面上のポインタを移動させるポインティングデバイスから出力される操作信号に基づいて前記画面上のポインタの位置を算出し、
 前記ポインタが第1の領域に位置するときは前記ポインティングデバイスを第1の駆動モードで触覚提示させ、前記ポインタが前記第3の領域に位置するときは前記ポインティングデバイスを前記第1の駆動モードとは異なる第2の駆動モードで触覚提示させる
 ポインティング制御方法。
 1,101…入力装置
 2…制御装置
 3…表示装置
 10…筐体
 11…触覚提示部
 12…移動検出部
 15…制御部
 18…信号生成部
 24…表示制御部
 25…MPU
 31…画面
 100…ポインティングシステム
 111a~111f…振動体
 C1…第1の領域
 C2…第2の領域
 C3…第3の領域
 P,P1,P2…ポインタ
 U…ユーザ
 V,V6…画像
 V1~V5…アイコン

Claims (10)

  1.  筐体と、前記筐体に触覚を提示することが可能な触覚提示部と、前記筐体に対する操作を検出し画面上のポインタの移動を制御するための操作信号を出力するセンサ部とを有するポインティングデバイスと、
     前記画面上のオブジェクトの表示領域内に属する第1の領域と、前記オブジェクトの表示領域外に属する第2の領域と、前記第1の領域と前記第2の領域との境界部に属する第3の領域とをそれぞれ設定する領域設定部と、前記操作信号に基づいて前記画面上のポインタの位置を算出し、前記ポインタが第1の領域に位置するときは前記触覚提示部を第1の駆動モードで駆動する第1の制御信号を生成し、前記ポインタが前記第3の領域に位置するときは前記触覚提示部を前記第1の駆動モードとは異なる第2の駆動モードで駆動する第2の制御信号を生成する信号生成部とを有する制御装置と
     を具備するポインティングシステム。
  2.  請求項1に記載のポインティングシステムであって、
     前記ポインティングデバイスは、空間操作型の入力装置であり、
     前記触覚提示部は、個別に駆動されることで任意の軸方向に振動を発生させることが可能な複数の振動体を含む
     ポインティングシステム。
  3.  請求項2に記載のポインティングシステムであって、
     前記信号生成部は、前記筐体の操作により前記ポインタが前記オブジェクトに近づいていると判定したときは、前記筐体の移動方向に向けて前記触覚提示部を駆動する第3の制御信号を生成する
     ポインティングシステム。
  4.  請求項2に記載のポインティングシステムであって、
     前記信号生成部は、前記筐体の操作により前記ポインタが前記オブジェクトから遠ざかっていると判定したときは、前記筐体の移動方向とは反対方向に向けて前記触覚提示部を駆動する第4の制御信号を生成する
     ポインティングシステム。
  5.  請求項2に記載のポインティングシステムであって、
     前記信号生成部は、前記筐体の移動速度を算出し、算出された前記移動速度に応じて前記触角提示部の駆動力を変化させる
     ポインティングシステム。
  6.  請求項1に記載のポインティングシステムであって、
     前記オブジェクトは、アイコンである
     ポインティングシステム。
  7.  請求項1に記載のポインティングシステムであって、
     前記オブジェクトは、三次元映像であり、
     前記第1の領域は、前記三次元映像に関連付けられた三次元領域である
     ポインティングシステム。
  8.  請求項1に記載のポインティングシステムであって、
     前記センサ部は、前記筐体の動きを検出し前記動きに関連する信号を生成する慣性センサを含む
     ポインティングシステム。
  9.  筐体と、
     前記筐体に触覚を提示することが可能な触覚提示部と、
     前記筐体の空間内における動きを検出し、画面上のポインタの移動を制御するための操作信号を出力するセンサ部と、
     前記ポインタが前記画面上のオブジェクトの表示領域内に位置するときは前記触覚提示部を第1の駆動モードで駆動する第1の制御信号を生成し、前記ポインタが前記オブジェクトの周囲の所定領域に位置するときは前記触覚提示部を前記第1の駆動モードとは異なる第2の駆動モードで駆動する第2の制御信号を生成する信号生成部と
     を具備するポインティングデバイス。
  10.  画面上のオブジェクトの表示領域内に属する第1の領域と、前記オブジェクトの表示領域外に属する第2の領域と、前記第1の領域と前記第2の領域との境界部に属する第3の領域とをそれぞれ設定し、
     前記画面上のポインタを移動させるポインティングデバイスから出力される操作信号に基づいて前記画面上のポインタの位置を算出し、
     前記ポインタが第1の領域に位置するときは前記ポインティングデバイスを第1の駆動モードで触覚提示させ、前記ポインタが前記第3の領域に位置するときは前記ポインティングデバイスを前記第1の駆動モードとは異なる第2の駆動モードで触覚提示させる
     ポインティング制御方法。
PCT/JP2012/003335 2011-05-31 2012-05-22 ポインティングシステム、ポインティングデバイス及びポインティング制御方法 WO2012164871A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201280025026.0A CN103562840A (zh) 2011-05-31 2012-05-22 定位系统、定位设备和定位控制方法
US14/118,590 US9880639B2 (en) 2011-05-31 2012-05-22 Pointing system, pointing device, and pointing control method
EP12793186.3A EP2717117A4 (en) 2011-05-31 2012-05-22 SHOWING SYSTEM, DISPLAY DEVICE AND TIMING PROCESS
US15/860,013 US10191562B2 (en) 2011-05-31 2018-01-02 Pointing system, pointing device, and pointing control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011122494A JP5811597B2 (ja) 2011-05-31 2011-05-31 ポインティングシステム、ポインティングデバイス及びポインティング制御方法
JP2011-122494 2011-05-31

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/118,590 A-371-Of-International US9880639B2 (en) 2011-05-31 2012-05-22 Pointing system, pointing device, and pointing control method
US15/860,013 Continuation US10191562B2 (en) 2011-05-31 2018-01-02 Pointing system, pointing device, and pointing control method

Publications (1)

Publication Number Publication Date
WO2012164871A1 true WO2012164871A1 (ja) 2012-12-06

Family

ID=47258748

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003335 WO2012164871A1 (ja) 2011-05-31 2012-05-22 ポインティングシステム、ポインティングデバイス及びポインティング制御方法

Country Status (5)

Country Link
US (2) US9880639B2 (ja)
EP (1) EP2717117A4 (ja)
JP (1) JP5811597B2 (ja)
CN (1) CN103562840A (ja)
WO (1) WO2012164871A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016507771A (ja) * 2012-12-20 2016-03-10 ストラブワークス エルエルシー 三次元拡張オーディオを提供するシステム及び方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5811597B2 (ja) 2011-05-31 2015-11-11 ソニー株式会社 ポインティングシステム、ポインティングデバイス及びポインティング制御方法
WO2013151155A1 (ja) * 2012-04-06 2013-10-10 株式会社ニコン データ処理装置、及びデータ処理プログラム
CN103810166A (zh) * 2012-11-06 2014-05-21 腾讯科技(深圳)有限公司 一种通讯录内查找联系人的方法及电子终端
WO2014104007A1 (ja) * 2012-12-28 2014-07-03 株式会社ニコン データ処理装置、およびデータ処理プログラム
JP6201824B2 (ja) * 2014-03-05 2017-09-27 株式会社デンソー 操作装置
WO2016038675A1 (ja) * 2014-09-09 2016-03-17 三菱電機株式会社 触感制御システムおよび触感制御方法
USD796534S1 (en) * 2015-09-30 2017-09-05 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
JP6668980B2 (ja) * 2016-07-04 2020-03-18 富士通株式会社 送信制御プログラム、送信制御方法および情報処理装置
WO2018042716A1 (ja) * 2016-08-31 2018-03-08 アルプス電気株式会社 操作装置
JP7043166B2 (ja) * 2016-09-21 2022-03-29 株式会社デンソーテン 表示制御装置、表示制御システム及び表示制御方法
JP2019010778A (ja) * 2017-06-29 2019-01-24 株式会社リコー 印刷装置及び印刷方法
WO2021220816A1 (ja) * 2020-04-27 2021-11-04 株式会社Nttドコモ 制御装置、操作装置、及び、操作システム
US11644907B2 (en) * 2021-02-26 2023-05-09 Logitech Europe S.A. Systems, devices, and methods for physical surface tracking with a stylus device in an AR/VR environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114966A (ja) * 1996-10-01 1999-01-12 Sony Computer Entateimento:Kk ゲーム機用操作装置及びゲーム装置
JP2002236550A (ja) * 2001-02-07 2002-08-23 Fujitsu Ten Ltd 画面位置入力方法および装置
JP2003085590A (ja) * 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> 3次元情報操作方法およびその装置,3次元情報操作プログラムならびにそのプログラムの記録媒体
WO2009035005A1 (ja) 2007-09-12 2009-03-19 Sony Corporation 入力装置、制御装置、制御システム及び制御方法
JP2009294827A (ja) * 2008-06-04 2009-12-17 Denso Corp 操作表示制御システム。

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750877B2 (en) * 1995-12-13 2004-06-15 Immersion Corporation Controlling haptic feedback for enhancing navigation in a graphical environment
SE519661C2 (sv) * 1996-02-23 2003-03-25 Immersion Corp Pekdon och förfarande för markering av grafiska detaljer på en display med sensorisk återkoppling vid påträffande av nämnda detalj
US6252579B1 (en) * 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US6924787B2 (en) * 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
US7084854B1 (en) * 2000-09-28 2006-08-01 Immersion Corporation Actuator for providing tactile sensations and device for directional tactile sensations
EP1821180A1 (en) * 2005-12-31 2007-08-22 Ball-IT Oy User operable pointing device such as mouse
JP2008257295A (ja) * 2007-03-30 2008-10-23 Tokyo Institute Of Technology 触覚刺激提示方法
US8745514B1 (en) * 2008-04-11 2014-06-03 Perceptive Pixel, Inc. Pressure-sensitive layering of displayed objects
US20090303175A1 (en) * 2008-06-05 2009-12-10 Nokia Corporation Haptic user interface
US20100295667A1 (en) * 2009-05-22 2010-11-25 Electronics And Telecommunications Research Institute Motion based pointing apparatus providing haptic feedback and control method thereof
US20110012838A1 (en) * 2009-07-14 2011-01-20 Apple Inc. Computer input device including a display device
US9436280B2 (en) * 2010-01-07 2016-09-06 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
US8334840B2 (en) * 2010-01-19 2012-12-18 Visteon Global Technologies, Inc. System and method of screen manipulation using haptic enable controller
JP5811597B2 (ja) 2011-05-31 2015-11-11 ソニー株式会社 ポインティングシステム、ポインティングデバイス及びポインティング制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114966A (ja) * 1996-10-01 1999-01-12 Sony Computer Entateimento:Kk ゲーム機用操作装置及びゲーム装置
JP2002236550A (ja) * 2001-02-07 2002-08-23 Fujitsu Ten Ltd 画面位置入力方法および装置
JP2003085590A (ja) * 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> 3次元情報操作方法およびその装置,3次元情報操作プログラムならびにそのプログラムの記録媒体
WO2009035005A1 (ja) 2007-09-12 2009-03-19 Sony Corporation 入力装置、制御装置、制御システム及び制御方法
JP2009294827A (ja) * 2008-06-04 2009-12-17 Denso Corp 操作表示制御システム。

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2717117A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016507771A (ja) * 2012-12-20 2016-03-10 ストラブワークス エルエルシー 三次元拡張オーディオを提供するシステム及び方法

Also Published As

Publication number Publication date
JP2012252398A (ja) 2012-12-20
JP5811597B2 (ja) 2015-11-11
EP2717117A4 (en) 2014-12-17
EP2717117A1 (en) 2014-04-09
US20180120955A1 (en) 2018-05-03
US10191562B2 (en) 2019-01-29
US20140085200A1 (en) 2014-03-27
CN103562840A (zh) 2014-02-05
US9880639B2 (en) 2018-01-30

Similar Documents

Publication Publication Date Title
JP5811597B2 (ja) ポインティングシステム、ポインティングデバイス及びポインティング制御方法
EP1868063B1 (en) Tactile - feedback device
US11100771B2 (en) Devices and methods for providing localized haptic effects to a display screen
EP1927916A1 (en) Apparatus, method, and medium for outputting tactile feedback on display device
JP2008257295A (ja) 触覚刺激提示方法
JP5333397B2 (ja) 情報処理端末およびその制御方法
EP2693311A1 (en) Operation device
JP4445582B2 (ja) 仮想感覚提示装置
CN102902373A (zh) 输入装置、输入方法和控制系统
US20070152962A1 (en) User interface system and method
US20100295667A1 (en) Motion based pointing apparatus providing haptic feedback and control method thereof
JP2012252398A5 (ja)
US20120092332A1 (en) Input device, input control system, method of processing information, and program
CN103200304A (zh) 一种移动终端智能光标控制系统及方法
JP2015147259A (ja) ロボットの教示装置
KR101234094B1 (ko) 촉각 피드백을 제공하는 모션 기반 포인팅 장치 및 그 제어방법
KR101278293B1 (ko) 복수의 액추에이터를 가상 물체의 속도에 따라 주파수를 변화시키며 순차 구동하되 감지되는 진동 자극의 위치가 연속적으로 변하는 영역을 생성하며 이동 진동파를 구현하는 이동 진동파 생성 방법
KR101019163B1 (ko) 마우스
CN114911348A (zh) 触感增强机构、显示面板、电子设备和触感增强方法
JP2005078310A (ja) 触覚呈示装置、触覚呈示方法、及びプログラム
KR20200129454A (ko) 이동 진동파를 제공할 수 있는 vr 또는 게임 컨트롤러 및 그 제어 방법, 이를 구비한 vr 시스템
KR20110023117A (ko) 촉각정보제공장치 및 이를 이용한 촉각정보의 제공방법
KR20100107996A (ko) 터치면을 구비한 펜형 촉감 제시 장치와 그를 이용한 촉감 인터페이스 시스템
WO2019043787A1 (ja) 振動制御装置
JP2018072930A (ja) 移動誘導装置、パネル装置、制御装置及び移動誘導方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12793186

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012793186

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14118590

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE