WO2018043722A1 - ユーザインタフェース装置、接続装置、操作部、コマンド特定方法およびプログラム - Google Patents

ユーザインタフェース装置、接続装置、操作部、コマンド特定方法およびプログラム Download PDF

Info

Publication number
WO2018043722A1
WO2018043722A1 PCT/JP2017/031667 JP2017031667W WO2018043722A1 WO 2018043722 A1 WO2018043722 A1 WO 2018043722A1 JP 2017031667 W JP2017031667 W JP 2017031667W WO 2018043722 A1 WO2018043722 A1 WO 2018043722A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
flag
operation unit
information
state
Prior art date
Application number
PCT/JP2017/031667
Other languages
English (en)
French (fr)
Inventor
秋本 茂
亜輝男 萩谷
大西 明義
Original Assignee
株式会社村田製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社村田製作所 filed Critical 株式会社村田製作所
Priority to JP2018537572A priority Critical patent/JP6690722B2/ja
Publication of WO2018043722A1 publication Critical patent/WO2018043722A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks

Definitions

  • the present invention relates to a user interface device, a connection device, an operation unit, a command specifying method, and a program.
  • a user interface device using a ring type (ring type) pointing device provided with a small touchpad has been proposed (see, for example, Patent Document 1).
  • the user can move the cursor on the display screen of the display device of the personal computer by sliding the tip of the thumb on the touch pad while wearing the pointing device on the index finger of one hand.
  • this type of user interface device is being requested to be able to perform not only a cursor movement operation but also a scroll operation and a drag operation.
  • a command for switching a command to be assigned to an operation on the pointing device is operated, and a command to be assigned to an operation on the pointing device is changed from a cursor movement operation to a scroll operation or a drag operation.
  • Switch every time the user tries to change from the cursor movement operation to the scroll operation or the drag operation, it is necessary to switch the command to be assigned by operating the switch, and the operation may be complicated.
  • the present invention has been made in view of the above reasons, and provides a user interface device, a connection device, an operation unit, a command specifying method, and a program in which an operation for switching a command to be assigned to an operation on an operation unit is simplified. For the purpose.
  • a user interface device When operated by the user, an operation unit that sends out operation information indicating operation content and inclination information indicating inclination of the first reference axis with respect to the vertical direction; A combination of operation information and inclination information acquired from the operation unit and state specifying information for specifying the operation mode setting state of the operation unit, or a combination of the history of the operation information, the inclination information, and the state specifying information And a specifying unit that specifies a command to be executed by the information processing apparatus.
  • the user interface device includes: When the operation mode setting state is set to a variable state in which the operation mode of the operation unit changes according to the inclination of the operation unit with respect to the vertical direction of the first reference axis, A command specified when the operation unit is operated in a first operation unit posture in which an inclination angle of the operation unit with respect to a vertical direction of the first reference axis is equal to or less than a preset angle threshold; In the second operating portion posture in which the first reference axis is rotated in the first direction around the second reference axis perpendicular to the vertical direction, and the inclination angle of the first reference axis with respect to the vertical direction is larger than the angle threshold value.
  • the command specified when the operation unit is operated in the third operation unit posture in which the tilt angle of the axis with respect to the vertical direction is larger than the angle threshold is different from each other.
  • the operation mode setting state transitions from the variable state to the fixed state or from the fixed state to the variable state when a first operation preset by the user is performed on the operation unit. Also good.
  • the operation unit when the operation unit includes a pressing unit, the pressing unit is pressed in the first operation unit attitude, and the attitude of the operation unit is directly changed from the first operation unit attitude to the first operation unit.
  • An operation for changing to the second operation unit posture is given.
  • the variable state includes any one of a first variable state, a second variable state, and a third variable state, wherein commands specified when the operation unit is operated in the first operation unit posture are different from each other,
  • a first command is specified when the operation unit is operated in the first operation unit posture
  • a second command is specified when the operation unit is operated in the second operation unit posture
  • the third operation is specified when the operation unit is operated in the part posture
  • the second command is specified when the operation unit is operated in the first operation unit posture
  • the third command is specified when the operation unit is operated in the second operation unit posture
  • the first command is specified when the operation unit is operated in a three-operation unit posture
  • the third command is specified when the operation unit is operated in the first operation unit posture
  • the first command is specified when the operation unit is operated in the second operation unit posture
  • the first command is specified when the operation unit is operated in a three-operation unit posture
  • a transition from the third variable state to the first variable state may be performed.
  • the “second operation” for example, when the operation unit includes a pressing unit, the pressing unit is pressed in the first operation unit posture, and the posture of the operation unit is changed from the first operation unit posture as it is. An operation for changing to the third operation unit posture is given.
  • the fixed state includes any one of a first fixed state, a second fixed state, and a third fixed state in which commands specified when the operation unit is operated are different from each other
  • the operation mode setting state is set to the first fixed state
  • the first command is specified when the operation unit is operated
  • the operation mode setting state is set to the second fixed state
  • the second command is specified when the operation unit is operated
  • the operation mode setting state is set to the third fixed state
  • a third command is specified when the operation unit is operated
  • In the operation mode setting state when a second operation preset by the user is performed on the operation unit, the first fixed state to the second fixed state, and the second fixed state to the third fixed state.
  • a transition from the third fixed state to the first fixed state may be performed.
  • the user interface device includes:
  • the operation unit is A movement detecting unit for detecting a moving speed and a moving direction of at least a part of the user's body; A pressing part pressed by the user; A first inclination angle of the first reference axis in the first direction around the second reference axis or a second inclination angle of the first reference axis in the second direction around the second reference axis is detected.
  • the operation information includes moving speed information indicating the moving speed, moving direction information indicating the moving direction, and a pressing flag indicating whether or not the pressing unit is pressed
  • the inclination information includes an inclination flag indicating whether the first inclination angle or the second inclination angle of the operation unit is greater than or equal to the preset angle threshold, or less than the angle threshold;
  • the operation of the user determined based on the operation mode table associating the inclination flag and the state specifying information with the operation mode of the operation unit, the transition history of the pressing flag of the operation unit, and the moving speed
  • a command table that associates a plurality of commands including a command that uses the moving speed information and the moving direction information.
  • the user interface device includes: Whether to update the pressing flag, the tilt flag, the first operation mode setting flag indicating whether the operation mode setting state is the variable state or the fixed state, and the first operation mode setting flag.
  • An update availability flag for determining whether or not a flag storage unit for storing, When the first inclination angle detected by the inclination angle detector is equal to or smaller than the angle threshold, the inclination flag is set to a first value, and when the first inclination angle is larger than the angle threshold, the inclination flag Is set to a second value, the tilt flag is set to a third value if the second tilt angle is greater than the angle threshold, and the press is performed if the tilt flag is set to the first value.
  • the update availability flag is set to a fourth value or a fifth value according to the content of the flag, the slope flag is set to either the second value or the third value, and the update availability flag is set to the first value. If it is set to five values, it may further comprise a flag management unit that updates the first operation
  • the user interface device includes:
  • the flag storage unit further includes a second operation mode that defines an operation mode of the operation unit when the operation unit is in the first operation unit attitude, the second operation unit attitude, and the third operation unit attitude, respectively.
  • the update enable / disable flag further determines whether or not to update the second operation mode setting flag,
  • the flag management unit further sets the second operation mode according to the content of the pressing flag when the inclination flag is set to the third value and the update possibility flag is set to the fifth value.
  • the flag may be updated.
  • the user interface device includes:
  • the inclination angle detection unit may include an acceleration sensor.
  • the user interface device includes:
  • the operation unit is A main body that houses the movement detection unit, the pressing unit, and the tilt angle detection unit;
  • a ring portion that has an annular outer shape and is fixed to the main body, and is attached to a user's finger;
  • the movement detector has a trackball, and a part of the trackball is arranged to protrude from a part of the main body;
  • the pressing portion is disposed inside the main body portion at a position to be pressed when a user applies a pressing force in a direction of pressing the trackball toward the main body portion side. May be.
  • the operation unit is A main body that houses the movement detection unit, the pressing unit, and the tilt angle detection unit;
  • the movement detection unit has a tracking sensor disposed at one end in the longitudinal direction of the main body and arranged to be exposed on the outer surface of the main body. Pressed down when the pressing portion projects from one end portion in the longitudinal direction of the main body portion along the longitudinal direction of the main body portion and presses the main body portion along the longitudinal direction of the main body portion. It may include a knock button to be operated.
  • the operation unit is A plurality of the movement detection unit and the pressing unit may be provided.
  • the user interface device includes: An input device further comprising: a mounting unit on which the operation unit is detachably mounted; and a first power connector for supplying power to the operation unit;
  • the operation unit is A power storage unit;
  • a second power connector connected to the first power connector in a state of being mounted on the mounting portion;
  • the input device is In a state where the operation unit is mounted on the mounting unit, the power circuit is charged with the power storage unit by supplying power to the power circuit via the first power connector and the second power connector. It may be a thing.
  • the user interface device includes: There are a plurality of the operation units, The information is based on a combination of operation information, inclination information, and state specification information acquired from each of the plurality of operation units, or a combination of the history of the operation information, the inclination information, and the state specification information. It may specify a command to be executed by the processing device.
  • connection device When operated by the user, the operation information indicating the operation content, the inclination information indicating the inclination of the first reference axis relative to the vertical direction, and the state specifying information for specifying the operation mode setting state of the self A command to be executed by the information processing device based on a combination of operation information, inclination information, and state specifying information acquired from an operation unit to be sent, or a combination of history of the operation information, inclination information, and state specifying information A specifying unit for specifying is provided.
  • the operation unit according to the present invention viewed from another viewpoint is When operated by the user, the operation information indicating the operation content, the inclination information indicating the inclination of the first reference axis relative to the vertical direction, and the state specifying information for specifying the operation mode setting state of the self Acquire a command to be executed by the information processing device based on a combination of the operation information, the tilt information, and the state specifying information, or a combination of the operation information history, the tilt information, and the state specifying information A specific unit is provided.
  • the command specifying method from another viewpoint is as follows: When operated by the user, operation information indicating the operation content, inclination information indicating the inclination of the first reference axis of the operation unit with respect to the vertical direction, and state specifying information for specifying the operation mode setting state of the operation unit; Are executed by the information processing device based on a combination of operation information, inclination information, and state specifying information acquired from the operation unit or a combination of the history of operation information, the inclination information, and the state specifying information. Specify the command to be used.
  • the program according to the present invention from another viewpoint is as follows:
  • operation information indicating the operation content, inclination information indicating the inclination of the first reference axis of the operation unit with respect to the vertical direction, and state specifying information for specifying the operation mode setting state of the operation unit;
  • the specifying unit receives information based on a combination of operation information, inclination information, and state specifying information acquired from the operation unit, or a combination of operation information history, inclination information, and state specifying information. Identify the command to be executed on the processing unit.
  • the specifying unit can specify a plurality of types of commands corresponding to each of a plurality of pieces of tilt information for one piece of operation information. That is, since the specifying unit can specify a larger number of commands than the number of commands that can be specified only by operation information, the user performs an operation for switching a command assigned to each operation to the operation unit to another command. Frequency is reduced.
  • the user interface device according to the present invention has a simplified operation for switching the command assigned to the operation to the operation unit, as compared to the user interface device that specifies the command based only on the operation information of the operation unit. Yes.
  • FIG. 1 is a schematic configuration diagram of an information processing system including a user interface device according to Embodiment 1 of the present invention.
  • 1 is a perspective view of a ring device that constitutes a part of an information processing system including a user interface device according to Embodiment 1.
  • FIG. 1 is a block diagram of an information processing system according to Embodiment 1.
  • FIG. It is a figure which shows the content of the operation mode table which concerns on Embodiment 1.
  • FIG. It is a figure which shows the content of the command table which concerns on Embodiment 1.
  • FIG. 6 is a flowchart showing a flow of flag setting processing executed by the control unit of the operation unit according to the first embodiment. 6 is a diagram illustrating a horizontal posture of the operation unit according to Embodiment 1.
  • FIG. 1 is a schematic configuration diagram of an information processing system including a user interface device according to Embodiment 1 of the present invention.
  • FIG. 1 is a perspective view of a ring device that constitutes a
  • FIG. 6 is a diagram illustrating a left inclined posture of the operation unit according to Embodiment 1.
  • FIG. 6 is a diagram illustrating a right tilt posture of the operation unit according to Embodiment 1.
  • FIG. 6 is a flowchart showing a flow of flag setting processing executed by the control unit of the operation unit according to the first embodiment.
  • 6 is a flowchart showing a flow of command transmission processing executed by the control unit of the connection device according to the first embodiment. It is a figure which shows state ST1 of the user interface apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows state ST2 of the user interface apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows state ST3 of the user interface apparatus which concerns on Embodiment 1.
  • FIG. 3 is a time chart illustrating an example of a transition history according to the first embodiment.
  • FIG. 4 is a state transition diagram of the user interface device according to the first embodiment. It is a schematic block diagram of PC provided with the user interface apparatus which concerns on Embodiment 2 of this invention. 3 is a block diagram of an information processing system according to Embodiment 2.
  • FIG. It is a figure which shows the content of the command table which concerns on Embodiment 2.
  • FIG. 10 is a flowchart showing a flow of command transmission processing executed by the control unit of the keyboard according to the second embodiment. It is a schematic block diagram of the operation part which concerns on a modification. It is a schematic block diagram of an information processing system provided with the user interface device which concerns on a modification. It is a schematic block diagram of an information processing system provided with the user interface device which concerns on a modification. It is a figure which shows the content of the command table which concerns on a modification. It is a schematic block diagram of an information processing system provided with the user interface device which concerns on a modification. It is a block diagram of an information processing system provided with the user interface device concerning a modification. It is a figure which shows the content of the command table which concerns on a modification.
  • the user interface device includes a ring type (ring type) operation unit that a user uses by fitting it on a finger, and commands executed on a personal computer (PC) based on information received from the operation unit. And a connection device for specifying and transmitting to the PC. According to this user interface device, the user can remotely operate the PC by operating the operation unit fitted on the finger.
  • ring type ring type
  • PC personal computer
  • the user interface device includes an operation unit 11 and a connection device 12.
  • the user interface device 1 constitutes an information processing system together with the PC 16.
  • the operation unit 11 is used, for example, in a state of being fitted on the index finger of the user's right hand RH.
  • the user can perform an operation of moving the cursor image displayed on the screen 15 a of the display device 15 by operating the operation unit 11 and a scroll operation.
  • the user can also input character information to the PC 16 using the keyboard 17.
  • the operation unit 11 wirelessly communicates with the connection device 12 and, when operated by the user, sends operation information indicating operation contents to the connection device 12. Accordingly, the user can input information to the PC 16 using the operation unit 11.
  • the operation unit 11 When the operation unit 11 is operated by the user, the operation information indicating the operation content, the inclination flag (inclination information) indicating the inclination of the reference axis (first reference axis) of the operation unit 11 with respect to the vertical direction, and the operation unit 11 state specifying information for specifying the operation mode setting state.
  • the “operation mode setting state” means a plurality of types (three types in the present embodiment) of operation modes that can be set in the operation unit 11 and an inclination angle of the reference axis of the operation unit 11 with respect to the vertical direction. Indicates the state of the combination. As shown in FIG.
  • the operation unit 11 includes a main body unit 111, a tracking sensor (movement detection unit) 112, a push switch 113, an acceleration sensor (tilt angle detection unit) 116, and a ring unit 114.
  • the main body 111 has a flat, substantially rectangular parallelepiped shape.
  • the ring portion 114 has a size that allows the user's index finger to be inserted. A part of the ring part 114 is fixed to the main body part 111.
  • the tracking sensor 112 is constituted by a mechanical tracking sensor using a trackball 1129, and a part of the trackball 1129 is disposed so as to protrude from the main body 111.
  • the tracking sensor 112 rotates by detecting the moving speed of the tip of the user's finger (part of the user's body) that contacts the surface of the trackball 1129 from the rotating speed when the user rotates the trackball 1129 with the finger.
  • the direction of movement of the tip of the user's finger is detected from the direction.
  • the operation information includes a push flag indicating whether or not the push switch 113 is pressed, movement information including movement speed information indicating the movement speed of the user's finger and movement direction information indicating the movement direction of the user's finger, Is composed of.
  • the tilt flag indicates whether or not the tilt angle of the operation unit with respect to the vertical direction is greater than a preset angle threshold.
  • the state specifying information includes a lock flag (first operation mode setting flag) and a rotation flag (second operation mode setting flag).
  • the lock flag indicates that the operation mode setting state is a variable state in which the operation mode of the operation unit 11 changes according to the inclination of the reference axis (first reference axis) J1 of the operation unit 11 with respect to the vertical direction, and the first of the operation unit 11. It indicates whether the operation mode of the operation unit 11 is fixed regardless of the inclination of the reference axis J1 with respect to the vertical direction.
  • the rotation flag indicates the operation mode of the operation unit 11 when the operation unit 11 is in the horizontal posture (first operation unit posture) and the operation unit when the operation unit 11 is in the left inclined posture (second operation unit posture).
  • the push switch 113 includes, for example, opposing plate springs and metal plates.
  • the push switch 113 is disposed inside the main body 111 at a position to be pressed when a user applies a pressing force in a direction in which the user presses the trackball 1129 toward the main body 111.
  • the acceleration sensor 116 is composed of a triaxial acceleration sensor.
  • the acceleration sensor 116 is arranged so that the first reference axis J1 of the operation unit 11 extends in the direction along the thickness direction of the main body 111, that is, the direction along the pressing direction of the push switch 113.
  • the inclination angle of the first reference axis J1 with respect to the vertical direction is detected.
  • a general-purpose acceleration sensor applying thin film micromachining technology (MEMS) is employed as the acceleration sensor 116, the manufacturing cost and power consumption of the operation unit 11 can be reduced.
  • MEMS thin film micromachining technology
  • the operation unit 11 further includes a control unit 110, a wireless communication unit 115, and a power storage unit 117, as shown in FIG.
  • the wireless communication unit 115 has a modem function and a wireless communication function, transmits operation information input from the control unit 110 to the connection device 12 as a radio signal, and controls information received as a radio signal from the connection device 12. To 110.
  • the wireless communication unit 115 communicates with the connection device 12 by a communication method compliant with a wireless communication standard such as Bluetooth (registered trademark) or ZigBee (registered trademark).
  • the control unit 110 includes a CPU (Central Processing Unit) 118, a RAM (Random Access Memory) 119, and a ROM (Read Only Memory) 1110.
  • the RAM 119 includes a flag storage unit 1191 and a movement information storage unit 1192.
  • the flag storage unit 1191 stores a pressing flag, a tilt flag, a lock flag, and a rotation flag.
  • the flag storage unit 1191 further stores a check flag (update flag) that determines whether or not to update the lock flag or the rotation flag.
  • the movement information storage unit 1192 stores movement information including movement speed information indicating movement speed determined from the rotation speed of the trackball 1129 and movement direction information determined from the rotation direction of the trackball 1129. Further, the RAM 119 is used as a work area for the CPU 118. The ROM 1110 stores a program executed by the CPU 118.
  • the CPU 118 functions as an operation reading unit 1181, an inclination reading unit 1182, a flag management unit 1183, and a communication control unit 1184 by reading a program from the ROM 1110 into the RAM 119 and executing it.
  • the operation reading unit 1181 converts a signal input from the tracking sensor 112 into movement speed information and movement direction information, and stores the converted information in the movement information storage unit 1192. Further, the operation reading unit 1181 sets the content of the pressing flag in accordance with the signal input from the push switch 113 and stores it in the flag storage unit 1191.
  • the tilt reading unit 1182 reads the tilt of the reference axis J1 of the operation unit 11 with respect to the vertical direction based on the measurement information input from the acceleration sensor 116.
  • the inclination reading unit 1182 notifies the flag management unit 1183 of the read inclination of the operation unit 11 with respect to the vertical direction of the reference axis J1.
  • the flag management unit 1183 sets the contents of the tilt flag, the lock flag, the rotation flag, and the check flag by executing a flag setting process described later.
  • the communication control unit 1184 adds information on the transmission source and the transmission destination to various flags and movement information, and outputs the information to the wireless communication unit 115.
  • the PC 16 includes a processing unit 161, a storage unit 162, a display interface 163, and two USB (Universal Serial Interface) interfaces 164 and 165.
  • the display interface 163 is an interface for transmitting a video signal, and is connected to the display device 15.
  • the display device 15 includes a liquid crystal display, an organic EL display, or the like.
  • the USB interface 164 is connected to the keyboard 17.
  • the USB interface 165 is connected to the connection device 12.
  • the connection device 12 includes a control unit 120, a USB interface 124, and a wireless communication unit 125.
  • the control unit 120 includes a CPU 121, a RAM 122, and a ROM 123.
  • the USB interface 124 is connected to the USB interface 165 of the PC 16.
  • the wireless communication unit 125 has a modem function and a wireless communication function, transmits information input from the control unit 120 to the operation unit 11 as a radio signal, and also receives information received from the operation unit 11 as a radio signal. Output to.
  • the wireless communication unit 125 performs wireless communication with the operation unit 11 by a communication method compliant with a wireless communication standard such as Bluetooth (registered trademark) or ZigBee (registered trademark).
  • the RAM 122 includes a flag history storage unit 1221, a movement information storage unit 1222, a transition history storage unit 1223, and a command storage unit 1224.
  • the flag history storage unit 1221 stores a lock flag, a rotation flag, a press flag, and a tilt flag received from the operation unit 11.
  • the movement information storage unit 1222 stores movement information including movement speed information and movement direction information received by the connection device 12 from the operation unit 11.
  • the transition history storage unit 1223 stores the state transition history of the push flag received by the connection device 12 from the operation unit 11.
  • the transition history storage unit 1223 maintains transition information “D” indicating that the pressing flag has transitioned from “0 (off)” to “1 (on)” and the pressing flag is “1 (on)”.
  • Transition information “P” indicating that the pressing flag has transitioned from “1 (on)” to “0 (off)” and the pressing flag is maintained as “0 (off)”
  • the transition information “N” indicating that it is being stored is stored.
  • the transition history storage unit 1223 stores transition information “D”, transition information “P”, transition information “U”, and transition information “N” in time series according to the state transition history of the push flag.
  • the command storage unit 1224 stores the command specified by the specifying unit 1213 described later.
  • the ROM 123 has a table storage unit 1231 that stores an operation mode table and a command table.
  • the operation mode table TA1 associates various operation modes with a tilt flag, a lock flag, and a rotation flag.
  • the command table TA2 is used to change various commands executed on the PC 16 into an operation mode, presence / absence of a click operation of the operation unit 11, and an operation of rotating the trackball 1129 (hereinafter, referred to as a tracking sensor 112). This is referred to as “slide operation”).
  • Presence / absence of slide operation is determined based on the movement speed information of the tip of the user's finger that contacts the surface of the trackball 1129 included in the movement information received from the operation unit 11. Further, “with a click operation” corresponds to being turned off after a preset time has elapsed with the pressed flag being on.
  • the ROM 123 stores a program executed by the CPU 121.
  • the table storage unit 1231 may be provided in the RAM 122 when the CPU 121 reads a program from the ROM 123 into the RAM 122 and executes the program.
  • the CPU 121 functions as an acquisition unit 1211, a transition information generation unit 1212, a specification unit 1213, and a command transmission unit 1214 by reading a program from the ROM 123 into the RAM 122 and executing it.
  • the control unit 120 configures an input interface that acquires various flags and rotation information from the operation unit 11.
  • the user interface device 1 includes the connection device 12 including the control unit 120 and the wireless communication unit 125 and the operation unit 11.
  • the acquisition unit 1211 extracts the flag and the movement information from the operation information received from the operation unit 11 by the connection device 12. Then, the acquisition unit 1211 stores the extracted flag in the flag history storage unit 1221 of the RAM 122 in time series. Further, the acquisition unit 1211 stores the extracted movement information in the movement information storage unit 1222 of the RAM 122.
  • the transition information generation unit 1212 compares the content of the press flag included in the flag acquired by the connection device 12 from the operation unit 11 with the content of the previous press flag, and generates transition information indicating the transition of the press flag.
  • the transition information generation unit 1212 stores the generated transition information in the transition history storage unit 1223.
  • the specifying unit 1213 specifies a command to be executed by the PC 16 based on the combination of the press flag history acquired from the operation unit 11, the movement information, the tilt flag, the lock flag, and the rotation flag. First, the specifying unit 1213 specifies the operation mode of the operation unit 11 based on the combination of the tilt flag, the lock flag, and the rotation flag stored in the flag history storage unit 1221. Then, the specifying unit 1213 determines the presence / absence of the click operation from the history of the push flag, and determines the presence / absence of the slide operation from the movement speed information included in the movement information. Here, when the movement speed indicated by the movement speed information of the operation unit 11 is not “0”, the specifying unit 1213 determines that “the slide operation is present”.
  • the specifying unit 1213 determines that “no slide operation”. Thereafter, the specifying unit 1213 refers to the operation mode table and the command table stored in the table storage unit 1231, and based on the specified operation mode, the presence / absence of the slide operation and the presence / absence of the click operation, the command transmission unit 1214.
  • the command (first command, second command, third command) to be transmitted is identified and stored in the command storage unit 1224.
  • the command transmission unit 1214 acquires the command specified by the specifying unit 1213 from the command storage unit 1224 and transmits the command to the PC 16. Examples of the command include various commands as shown in FIG. 3B.
  • the control unit 110 sets the contents of the lock flag FLl, the rotation flag FLr, and the press flag FLp to be transmitted to the connection device 12 by executing a flag setting process.
  • the flag setting process is started when power is supplied to the operation unit 11.
  • the flag management unit 1183 executes initial setting of the lock flag FLl, the rotation flag FLr, and the pressing flag FLp (step S101). Specifically, the flag management unit 1183 sets the contents of the lock flag FLl, the rotation flag FLr, and the press flag FLp to “0”.
  • the flag management unit 1183 determines whether or not there has been a slide operation based on the movement speed information stored in the movement information storage unit 1192 (step S102). If the moving speed indicated by the moving speed information exceeds a preset threshold (for example, 0), the flag management unit 1183 determines that a slide operation has been performed. When the flag management unit 1183 determines that a slide operation has been performed (step S102: Yes), the flag management unit 1183 executes a process of step S104 described later.
  • a preset threshold for example, 0
  • step S102 determines whether or not the content of the press flag FLp stored in the flag storage unit 1191 has been changed. If the flag management unit 1183 determines that the content of the press flag FLp has not been changed (step S103: No), it executes the process of step S102 again.
  • the flag management unit 1183 determines that the content of the press flag FLp has been changed (step S103: Yes), based on the inclination of the first reference axis J1 of the operation unit 11 read by the inclination reading unit 1182, An inclination flag FLt is set (step S104).
  • the posture of the operation unit 11 is a horizontal posture (first angle) in which the inclination angle of the first reference axis J1 of the operation unit 11 with respect to the vertical direction (vertical axis J0) is equal to or less than a preset angle threshold ⁇ th.
  • the flag management unit 1183 sets the inclination flag FLt to “0 (horizontal)”.
  • the first reference axis J1 of the operation unit 11 is rotated in the first direction (counterclockwise direction in FIG. 5B) around the second reference axis J2 orthogonal to the vertical direction, and the first reference axis
  • the inclination angle (first inclination angle) ⁇ 1 with respect to the vertical direction (vertical axis J0) of J1 is greater than the angle threshold ⁇ th, so that the attitude of the operation unit 11 becomes the left inclination attitude (second operation part attitude).
  • the flag management unit 1183 sets the inclination flag FLt to “1 (left inclination)”.
  • the first reference axis J1 of the operation unit 11 is rotated around the second reference axis J2 in the second direction opposite to the first direction (clockwise direction in FIG. 5C).
  • the inclination angle (second inclination angle) ⁇ 2 of the first reference axis J1 with respect to the vertical direction (vertical axis J0) is larger than the angle threshold ⁇ th, so that the attitude of the operation unit 11 is changed to the right inclination attitude (third operation part attitude).
  • the flag management unit 1183 sets the inclination flag FLt to “2 (right inclination)”.
  • the flag management unit 1183 determines whether or not the inclination flag FLt is set to “0 (horizontal)” (step S105).
  • the flag management unit 1183 determines whether the pressing flag FLp is set to “1 (on)”.
  • Step S106 determines whether the pressing flag FLp is set to “1” (on)”.
  • step S107 the flag management unit 1183 sets the check flag FLc to “1” (step S107).
  • step S108 the flag management unit 1183 sets the check flag FLc to “0” (step S108).
  • the communication control unit 1184 acquires the inclination flag FLt, the lock flag FLl, the rotation flag FLr, and the press flag FLp from the flag storage unit 1191 and also acquires the movement information from the movement information storage unit 1192. Then, the communication control unit 1184 transmits the inclination flag FLt, the lock flag FLl, the rotation flag FLr, the press flag FLp, and the movement information to the connection device 12 via the wireless communication unit 115 (step S109).
  • the flag management unit 1183 determines that the inclination flag FLt is not “0 (horizontal)” in the process of step S105 (step S105: No). In this case, as shown in FIG. 6, the flag management unit 1183 determines whether or not the inclination flag FLt is set to “1 (left inclination)” (step S111). If the flag management unit 1183 determines that the inclination flag FLt is set to “1 (left inclination)” (step S111: Yes), it determines whether or not the pressing flag FLp is set to “1 (on)”. Determination is made (step S112). If the pressing flag FLp is set to “1 (ON)” by the flag management unit 1183 (step S112: Yes), the process of step S109 in FIG. 4 is executed as it is.
  • step S112 when the pressing flag FLp is set to “0 (off)” (step S112: No), the flag management unit 1183 determines whether or not the check flag FLc is set to “1 (on)”. (Step S113). If the check flag FLc is set to “0 (off)” by the flag management unit 1183 (step S113: No), the process of step S109 of FIG. 4 is executed as it is.
  • step S113 Yes
  • the flag management unit 1183 updates the lock flag FLl (step S114).
  • the lock flag FLl is set to “0 (off)”
  • the flag management unit 1183 updates the lock flag FLl to “1 (on)”
  • the lock flag FLl is “1 (on)”. Is set to “0 (off)”, the lock flag FLl is updated.
  • step S115 the flag management unit 1183 sets the check flag FLc to “0 (off)” (step S115). Thereafter, the process of step S109 in FIG. 4 is executed.
  • the flag management unit 1183 determines that the inclination flag FLt is “2 (right inclination)” in the process of step S111 (step S111: No). In this case, the flag management unit 1183 determines whether or not the pressing flag FLp is set to “1 (on)” (step S116). If the pressing flag FLp is set to “1 (ON)” by the flag management unit 1183 (step S116: Yes), the process of step S109 of FIG. 4 is executed as it is.
  • step S116: No the flag management unit 1183 determines whether or not the check flag FLc is set to “1 (on)”. (Step S117). If the check flag FLc is set to “0 (off)” by the flag management unit 1183 (step S117: No), the process of step S109 of FIG. 4 is executed as it is.
  • step S118 the flag management unit 1183 updates the rotation flag FLr (step S118).
  • the flag management unit 1183 updates the rotation flag FLr to “1”.
  • the flag management unit 1183 updates the rotation flag FLr to “2”.
  • the flag management unit 1183 updates the rotation flag FLr to “0”.
  • step S119 the flag management unit 1183 sets the check flag FLc to “0 (off)” (step S119). Thereafter, the process of step S109 in FIG. 4 is executed.
  • the control unit 120 executes a command transmission process to identify a command to be executed by the PC 16 based on various information received from the operation unit 11 and transmit the command to the PC 16.
  • the command transmission process is triggered when the connection device 12 is powered on, the CPU 121 of the control unit 120 is reset, USB communication with the PC 16 and communication with the operation unit 11 are established, and various information is received from the operation unit 11. Started as.
  • the transition information generation unit 1212 determines whether or not the connection device 12 has received the press flag FLp, the lock flag FLl, the rotation flag FLr, the tilt flag FLt, and the movement information from the operation unit 11, as shown in FIG. (Step S201).
  • the transition information generation unit 1212 stores the new press flag FLp, the lock flag FLl, the rotation flag FLr, and the tilt flag FLt in the flag history storage unit 1221, and whether or not new movement information is stored in the movement information storage unit 1222. Determine whether.
  • the transition information generation unit 1212 repeatedly executes the process of step S201 unless the pressing flag FLp, the lock flag FLl, the rotation flag FLr, the tilt flag FLt, and the movement information are received from the operation unit 11 (step S201: No).
  • the transition information generation unit 1212 determines that the pressing flag FLp, the lock flag FLl, the rotation flag FLr, the tilt flag FLt, and the movement information are received from the operation unit 11 (step S201: Yes). In this case, the transition information generation unit 1212 compares the content of the new press flag FLp stored in the flag history storage unit 1221 with the content of the previous press flag FLp, and indicates transition information indicating the transition of the press flag FLp. Is stored in the transition history storage unit 1223 (step S202).
  • the specifying unit 1213 specifies an operation mode according to the lock flag FLl, the rotation flag FLr, and the tilt flag FLt with reference to, for example, the operation mode table TA1 as shown in FIG. 3A (step S203).
  • the rotation flag FLr is set to “0”
  • the lock flag FLl is set to “0 (off)”.
  • the operation mode setting state is “A mode” if the inclination flag FLt is “0 (horizontal)”, and “B” if the inclination flag FLt is “1 (left inclination)”. If the “mode” and the inclination flag FLt are “2 (right inclination)”, the state is the “C mode” (first variable state).
  • the illustration of the ring portion 114 of the operation unit 11 is omitted. Further, it is assumed that the rotation flag FLr is set to “1” and the lock flag FLl is set to “0 (off)”. In this case, as shown in FIG. 8B, the operation mode setting state is “B mode” if the inclination flag FLt is “0 (horizontal)”, and “C” if the inclination flag FLt is “1 (left inclination)”. If the “mode” and the inclination flag FLt are “2 (right inclination)”, the state is the “A mode” (second variable state). Further, it is assumed that the rotation flag FLr is set to “2” and the lock flag FLl is set to “0 (off)”.
  • the operation mode setting state is “C mode” if the inclination flag FLt is “0 (horizontal)”, and “A” if the inclination flag FLt is “1 (left inclination)”. If the “mode” and the inclination flag FLt are “2 (right inclination)”, the state is the “B mode” (third variable state). That is, the operation mode setting state is set in the operation unit 11 when the operation unit 11 is in the horizontal posture and the operation mode set in the operation unit 11 and when the operation unit 11 is in the left inclined posture. And the operation mode set in the operation unit 11 when the posture of the operation unit 11 is the right inclined posture are different from each other.
  • the operation mode setting state differs depending on the contents of the rotation flag FLr.
  • the operation mode set in the operation unit 11 is different when the operation unit 11 has a horizontal posture, a left inclined posture, and a right inclined posture.
  • the operation mode setting state is a state (first fixed state) in which the operation mode set in the operation unit 11 is “A mode” regardless of the content of the inclination flag FLt. is there. 9A to 9C, the illustration of the ring portion 114 of the operation unit 11 is omitted. Further, it is assumed that the rotation flag FLr is set to “1” and the lock flag FLl is set to “1 (on)”. In this case, as shown in FIG.
  • the operation mode setting state is a state (second fixed state) in which the operation mode set in the operation unit 11 is “B mode” regardless of the content of the inclination flag FLt. is there. Further, it is assumed that the rotation flag FLr is set to “2” and the lock flag FLl is set to “1 (ON)”. In this case, as shown in FIG. 9C, the operation mode setting state is a state (third fixed state) in which the operation mode set in the operation unit 11 is “C mode” regardless of the content of the inclination flag FLt. is there.
  • the identifying unit 1213 determines whether or not there is a click operation based on the transition information history of the push flag FLp stored in the transition history storage unit 1223 (step S ⁇ b> 204).
  • the specifying unit 1213 determines that there is a click operation when the duration of the latest transition information “P” is equal to or greater than a preset first duration threshold. That is, as illustrated in FIG. 10, the specifying unit 1213 determines that there is a click operation when the duration ⁇ T of the latest transition information “P” is longer than a preset first duration threshold ⁇ Tth1. .
  • step S204: Yes When determining that there is a click operation (step S204: Yes), the specifying unit 1213 specifies a command corresponding to the click operation in the specified operation mode with reference to the command table TA2 as shown in FIG. 3B, for example. (Step S205). Subsequently, the command transmission unit 1214 transmits the command specified by the specifying unit 1213 to the PC 16 (step S206). On the other hand, when determining that there is no click operation (step S204: No), the specifying unit 1213 specifies a command corresponding to the slide operation corresponding to the specified operation mode (step S207). Thereafter, the process of step S206 is executed. After the process of step S206 is executed, the process of step S201 is executed again.
  • the specifying unit 1213 includes the operation unit 11 when the operation unit 11 is operated in the horizontal posture, the operation unit 11 is operated in the left inclined posture, and the operation unit 11 is operated. Are different from each other when the operation unit 11 is operated in the right inclined posture.
  • the lock flag FLl is set to “1 (ON)”, that is, the operation mode setting state of the operation unit 11 is set to the same operation mode regardless of the inclination of the operation unit 11.
  • the specifying unit 1213 includes the operation unit 11 when the operation unit 11 is operated in the horizontal posture, the operation unit 11 is operated in the left inclined posture, and the operation unit 11 is operated. The same command is specified when the operation unit 11 is operated in the right inclined posture.
  • the states in which the operation mode changes according to the inclination of the operation unit 11 shown in FIGS. 8A to 8C are the states ST1, ST2, and ST3, respectively, and the operation is performed regardless of the inclination of the operation unit 11 shown in FIGS. 9A to 9C.
  • the states in which the mode is fixed are referred to as states ST4, ST5, and ST6, respectively.
  • the state of the user interface device 1 changes according to the state transition diagram as shown in FIG. In FIG. 11, “L operation” is an operation performed on the operation unit 11 in order to update the contents of the lock flag.
  • the operation unit 11 In the “L operation”, first, the user presses the push switch 113 while the operation unit 11 is in the horizontal posture. Then, the user maintains the state in which the push switch 113 is pressed, and changes the posture of the operation unit 11 from the horizontal posture to the first direction around the central axis J2 of the ring unit 114 as shown in FIG. 5B (counterclockwise in FIG. 5B). The push switch 113 is released after first tilting to change to the left tilting posture (first operation). Thereby, the operation mode setting state of the operation unit 11 is changed from the state (first state, third state, fourth state) in which the operation unit 11 is set to a different operation mode depending on the inclination of the operation unit 11. Regardless, the operation unit 11 changes to a state (second state) set to the same operation mode, or changes from the second state to the first state, the third state, or the fourth state.
  • R operation is an operation performed on the operation unit 11 in order to update the contents of the rotation flag.
  • “R operation” first, the user presses the push switch 113 while the operation unit 11 is in a horizontal posture. Then, the user maintains the state in which the push switch 113 is pressed, and changes the posture of the operation unit 11 from the horizontal posture to the second direction around the central axis J2 of the ring portion 114 as shown in FIG. 5C (clockwise in FIG. 5C). The push switch 113 is released after changing to the right inclination posture (second operation).
  • the operation mode setting state is a state in which the operation mode is set to “A mode”, “B mode”, “C mode” when the operation unit 11 is in the horizontal posture, the left inclined posture, and the right inclined posture (first mode). Transition from one variable state) to a state set to "B mode", “C mode”, and "A mode” (second variable state).
  • the operation mode setting state is a state in which the operation mode is set to “B mode”, “C mode”, or “A mode” when the operation unit 11 is in the horizontal posture, the left inclined posture, and the right inclined posture (second mode). Transition from the variable state) to the state (third variable state) set to “C mode”, “A mode”, and “B mode”.
  • the operation mode setting state is a state in which the operation mode is set to “C mode”, “A mode”, “B mode” when the operation unit 11 is in the horizontal posture, the left inclined posture, and the right inclined posture (third mode) Transition from the variable state) to the state (first variable state) set to “A mode”, “B mode”, and “C mode”.
  • the user can transition the operation mode setting state to any one of the states ST1 to ST6 by appropriately combining the “L operation” and the “R operation”.
  • a method of using the user interface device 1 will be described by taking as an example a method of continuously performing a drag operation, a copy operation, and a paste operation.
  • a method of using the user interface device 1 will be described in comparison with a case of a user interface device composed of a general mouse having two operation buttons.
  • the table storage unit 1231 stores an operation mode table TA1 and a command table TA2 as shown in FIG. 3 will be described.
  • a method for continuously performing a drag operation, a copy operation, and a paste operation using a user interface device including a general mouse having two operation buttons will be described.
  • the user grasps and moves the mouse to move the cursor displayed on the display screen to the starting point of the area to be copied (hereinafter referred to as “copy area”).
  • copy area the area to be copied
  • the user selects the starting point of the copy area by pressing one of the two operation buttons, and performs a drag operation by moving the mouse while the one operation button is pressed. Release one of the operation buttons after selecting. Subsequently, the user performs a click operation on the other of the two operation buttons to display the command menu screen on the display screen.
  • the user moves the cursor displayed on the display screen to the “copy” command selection position displayed in the command menu screen by moving the mouse.
  • the user causes the PC to execute a “copy” command by performing a click operation on the one operation button.
  • the cursor displayed on the display screen is referred to as an area (hereinafter referred to as “paste area”) where information contained in the copy area is to be pasted (to be pasted). .)
  • the user selects the starting point of the paste area by performing a click operation on the one operation button.
  • the user performs a click operation on the other operation button to display a command menu screen on the display screen.
  • the user moves the cursor displayed on the display screen to the “paste” command selection position displayed in the command menu screen by moving the mouse.
  • the user performs a “paste” command on the PC by performing a click operation on the one operation button.
  • the user first moves the cursor displayed on the display screen to the starting point of the copy area by moving the trackball 1129 while maintaining the state where the first reference axis J1 of the operation unit 11 is equal to the vertical axis J0.
  • the user depresses the trackball 1129 and depresses the push switch 113 to select the starting point of the copy area.
  • the user sets the first reference axis J1 of the operation unit 11 to an angle ⁇ 1 larger than the angle threshold ⁇ th in the first direction (counterclockwise direction in FIG.
  • the user performs a click operation on the push switch 113 via the trackball 1129 to cause the PC to execute a “copy” command.
  • the user moves the trackball 1129 while keeping the first reference axis J1 of the operation unit 11 substantially equal to the vertical axis J0, thereby moving the cursor displayed on the display screen to the starting point of the paste area. Move.
  • the user tilts the first reference axis J1 of the operation unit 11 in the first direction (counterclockwise direction in FIG. 5B) by the angle ⁇ 1 with respect to the vertical axis J0.
  • the user performs a click operation on the push switch 113 via the trackball 1129 to display a command menu screen on the display screen.
  • the user returns the first reference axis J1 of the operation unit 11 to a state substantially equal to the vertical axis J0, and then moves the trackball 1129 to move the cursor displayed on the display screen into the command menu screen. Move to the displayed "Paste" command selection position.
  • the user performs a click operation on the push switch 113 via the trackball 1129 to cause the PC to execute a “paste” command.
  • 9 steps are taken, whereas in the case of the user interface according to the present embodiment, 14 steps are taken.
  • the number of operation procedures when the drag operation, the copy operation, and the paste operation are continuously performed using the user interface device 1 is compared with that in the case of a user interface device including a general mouse having two operation buttons. And not too many.
  • the specifying unit 1213 is based on the combination of the press flag history and movement information, the tilt flag, the rotation flag, and the lock flag acquired from the operation unit 11.
  • a command to be executed by the information processing apparatus is specified.
  • the specifying unit 1213 can specify a plurality of types of commands corresponding to each of a plurality of inclination flags for one pressing flag or movement information. That is, since the specifying unit 1213 can specify a larger number of commands than the number of commands that can be specified only by the pressing flag and the movement information, the user switches the command assigned to each operation on the operation unit 11 to another command. The frequency of performing the operation for this is reduced.
  • the user interface device 1 has a command assigned to an operation on the operation unit 11 as compared with a user interface device that specifies a command based only on the pressing flag of the operation unit 11 and the movement information report.
  • the operation for switching is simplified.
  • the operation mode table TA1 associates the tilt flag, the lock flag, and the rotation flag of the operation unit 11 with the operation mode.
  • the command table TA2 the operation mode of the operation unit 11, the presence / absence of the click operation, the presence / absence of the slide operation, and the command executed by the PC 16 are associated with each other.
  • the specifying unit 1213 specifies a command with reference to the operation mode table TA1 and the command table TA2.
  • the user can relatively easily switch the command assigned to each operation on the operation unit 11 to another command by only updating the contents of the operation mode table TA1 and the command table TA2.
  • the operation assigned to the B mode can be changed from dragging to a cursor key operation.
  • the flag storage unit 1191 stores a lock flag, a rotation flag, and a check flag. Then, when the tilt flag is set to “0 (horizontal)” (first value), the flag management unit 1183 sets the check flag to “0” (fourth value) or “1” according to the content of the pressing flag. ”(Fifth value). Further, the flag management unit 1183 sets the content of the push flag when the tilt flag is set to “1 (left tilt)” (second value) and the check flag is set to “1” (fifth value). The lock flag is updated accordingly.
  • the flag management unit 1183 sets the content of the push flag when the tilt flag is set to “2 (right tilt)” (third value) and the check flag is set to “1” (fifth value).
  • the rotation flag is updated accordingly. Accordingly, since the lock flag or the rotation flag is frequently updated only by tilting the operation unit 11 by the user, there is an advantage that the operability of the user interface is improved.
  • the operation unit 11 has an annular ring unit 114 that can be attached to the index finger by the user.
  • a part of the track ball 1129 of the tracking sensor 112 is disposed so as to be exposed from a part of the main body 111.
  • the push switch 113 is arranged so as to be pressed when the trackball 1129 is pressed.
  • the information processing system according to the present embodiment is different from the first embodiment in that it includes two operation units 3011 that are detachably attached to a keyboard (input device) 3010.
  • the keyboard 3010 is wired to the PC 16 via a cable CA.
  • the two operation units 3011 have a so-called palm shape that is large enough to fit in the palm of the user.
  • the operation unit 3011 includes a tracking sensor 3112 and a push switch 3113.
  • the push switch 3113 is disposed on the back side of the tracking sensor 3112 and is pressed when the user pushes the tracking sensor 3112.
  • the tracking sensor 3112 is composed of an optical tracking sensor, and is arranged such that the touch surface is exposed on the outer surface of the keyboard 3010. Further, the keyboard 3010 is provided with a mounting portion 3218 to which each of the two operation units 3011 is mounted, and a release button 3219 that is pressed when the operation unit 3011 is detached from the mounting unit 3218.
  • the operation unit 3011 further includes a control unit 110, a wireless communication unit 115, an acceleration sensor 116, a power storage unit 3118, a power circuit 3119, and a power connector (first power connector) 3120, as shown in FIG.
  • the power connector 3120 is a connector for receiving power supply from the keyboard 3010.
  • the power storage unit 3118 includes a secondary battery.
  • the power supply circuit 3119 has a step-up / step-down circuit. Assume that the operation unit 3011 is fitted in the mounting unit 3218 of the keyboard 3010. In this case, when the power supply circuit 3119 receives power supply from the keyboard 3010 from the mounting portion 3218 of the door 3010, the power supply circuit 3119 receives the power storage unit 3118 and charges the power storage unit 3118, and the tracking sensor 3112, While supplying power to the acceleration sensor 116, the control unit 110, and the wireless communication unit 115, the operation unit 3011 receives power supply from the keyboard, and supplies power to the tracking sensor 3112, the acceleration sensor 116, the control unit 110, and the wireless communication unit 115. Supply.
  • the keyboard 3010 includes a control unit 120, a USB interface 3214, a wireless communication unit 3215, and two power connectors (second power connectors) 3217.
  • the wireless communication unit 3215 has the same configuration as the wireless communication unit 125 described in Embodiment 1.
  • the control unit 120 has the same hardware configuration as that of the first embodiment.
  • the keyboard 3010 and the two operation units 3011 constitute a user interface device 3001.
  • the control unit 120 includes a CPU 121, a RAM (not shown), and a ROM (not shown) as described in the first embodiment.
  • the ROM has a table storage unit (not shown) as in the first embodiment.
  • the RAM has a flag history storage unit (not shown), a movement information storage unit (not shown), a transition history storage unit (not shown), and a command storage unit (not shown). ).
  • the table storage unit stores a command table TA11 as shown in FIG. 14 in addition to the operation mode table TA1 and the command table TA2 described in the first embodiment.
  • the command table TA11 includes the presence / absence of a pressing operation on the left operation unit (hereinafter referred to as “left operation unit”) 3011 in FIG.
  • the CPU 121 functions as an acquisition unit 1211, a transition information generation unit 1212, a specification unit 1213, a command transmission unit 1214, and a flag setting unit 3129 by reading a program from the ROM into the RAM and executing it.
  • the flag setting unit 3129 sets the content of the push flag stored in the flag history storage unit of the ROM in accordance with the operation information received from the operation unit 3011.
  • the USB interface 3214 is connected to the USB interface 164 of the PC 16 via the cable CA.
  • the USB interface 3214 outputs information input from the PC 16 to the control unit 120 and outputs operation information input from the control unit 120 to the PC 16.
  • the USB interface 3214 is also connected to each of the two power connectors 3217.
  • the power connector 3217 is electrically connected to the power connector 3120 of the operation unit 3011 in a state where the operation unit 3011 is mounted on the mounting unit 3218. In this state, power supplied from the PC 16 via the cable CA and USB interface 3214 is supplied to the operation unit 3011 via the power connector 3217.
  • the PC 16 exchanges information with the keyboard 3010 via the USB interface 3214 and supplies power to the keyboard 3010.
  • command transmission processing executed by the control unit 120 of the keyboard 3010 according to the present embodiment will be described with reference to FIG.
  • the same processes as those described in the first embodiment are denoted by the same reference numerals as those in FIG.
  • the connection device 12 is powered on, the CPU 121 of the control unit 120 is reset, USB communication with the PC 16 and communication with the operation unit 11 are established, and various information is received from the operation unit 11. It starts with this.
  • the acquisition unit 1211 determines whether or not the two operation units 3011 are mounted on the mounting unit 3218 (step S301). If it is determined by the acquisition unit 1211 that at least one of the two operation units 3011 is detached from the mounting unit 3218 (step S301: No), the processing after step S201 in FIG. 7 of the first embodiment is executed. . That is, when one of the two detachable operation units 3011 is detached from the mounting unit 3218, the operation unit 3011 that has been detached performs the same process as the flag setting process described in the first embodiment.
  • the control unit 120 of the keyboard 3010 executes processing similar to the command transmission processing described in the first embodiment.
  • step S301: Yes the acquisition unit 1211 determines whether operation information has been received from the two operation units 3011 (step S301). S302). If the acquisition unit 1211 has not received operation information (step S302: No), the acquisition unit 1211 executes the process of step S302 again. On the other hand, when receiving the operation information (step S302: Yes), the acquiring unit 1211 first displays the movement speed information and the movement direction information included in the operation information received from the left operation unit 3011 in FIG. (Step S303).
  • the flag setting unit 3129 refers to the content of the push flag included in the operation information of the left operation unit 3011 and determines whether or not the push switch 3113 of the left operation unit 3011 is pressed (step S304). . If the flag setting unit 3129 determines that the push switch 3113 of the left operation unit 3011 is pressed (step S304: Yes), the flag setting unit 3129 sets the pressing flag of the left operation unit 3011 stored in the flag history storage unit to “1 (ON)”. (Step S305).
  • step S304 determines that the push switch 3113 of the left operation unit 3011 is not pressed (step S304: No)
  • the flag setting unit 3129 sets the pressing flag of the left operation unit 3011 to “0 (off)” (step S304). 306).
  • the flag setting unit 3129 determines whether or not the pressing flag has been set for the other operation unit, that is, the right operation unit 3011 (step S307). If it is determined by the flag setting unit 3129 that the setting of the pressing flag for the right operation unit 3011 has not been completed (step S307: No), a series of processing from step S304 to S306 is executed for the right operation unit 3011.
  • the flag setting unit 3129 determines that the pressing flag has been set for the right operation unit 3011 (step S307: Yes).
  • the specifying unit 1213 refers to the command table TA11 as shown in FIG. 14 and specifies a command to be executed by the PC 16 based on the content of the push flag, the moving speed information, and the moving direction information ( Step S308).
  • step S309 the command transmission unit 1214 transmits the command specified by the specifying unit 1213 to the PC 16 (step S309). Thereafter, the process of step S301 is executed again.
  • the power storage unit 3118 of the operation unit 3011 is charged in a state where the operation unit 3011 is mounted on the mounting unit 3218 of the keyboard 3010.
  • the other operation unit 3011 is continuously charged from the PC 16 while being mounted on the mounting unit 3218. Therefore, for example, by using the two operation units 3011 by alternately separating them from the mounting unit 3218, the risk of battery shortage of the operation unit 3011 is avoided. That is, there is an advantage that it can be used semipermanently as long as there is no failure. Further, when the operation unit 3011 is detached from the keyboard 3010, there is an advantage that the user can operate the PC 16 away from the PC 16 or the keyboard 3010.
  • the operation unit 5011 includes a pen-shaped main body 5111, a tracking sensor 5112, and a knock button 5113.
  • the main body 5111 houses a tracking sensor 5112, a knock button 5113, and an acceleration sensor (not shown).
  • the tracking sensor 5112 is provided at one end in the longitudinal direction of the main body portion 5111 and is disposed so as to be exposed on the outer surface of the main body portion 5111.
  • the knock button 5113 protrudes from one end portion in the longitudinal direction of the main body portion 5111 along the longitudinal direction of the main body portion 5111 and applies a pressing force in a direction of pressing toward the main body portion 5111 side along the longitudinal direction of the main body portion 5111. Pressed.
  • the other configuration of the operation unit 5011 is the same as the configuration of the operation unit 11 illustrated in FIG.
  • the user can operate the PC 16 by holding the operation unit 5011 with the right hand RH as shown in FIG.
  • the operation unit 5011 may have a function as a writing instrument such as a ballpoint pen or a mechanical pencil.
  • the operation unit 5011 further includes a changeover switch for switching the function of the knock button 5113 to either the knock button function of the writing instrument or the operation button function of the PC 16.
  • the push sensor may be provided on the back side of the tracking sensor 5112.
  • the knock button 5113 can be specialized for the lead-out function, the changeover switch is not necessary.
  • the operation unit 5011 may function as a laser pointer that emits laser light from its tip.
  • the operation unit 5011 further includes a changeover switch for switching the function of the knock button 5113 to either the on / off switch function of the laser pointer or the operation button function of the PC 16.
  • a changeover switch for example, a switch using a rotation mechanism capable of rotating the pen point side of the main body 5111 with respect to the knock button 5113 side of the main body 5111 by a preset angle can be employed.
  • the knock button 5113 side of the main body portion 5111 is fixed to the right side when viewed from the pen tip side and fixed to the pen tip side of the main body portion 5111, it functions as an operation unit, and leftward when viewed from the pen tip side. When it is turned and fixed, it can be configured to function as a laser pointer.
  • the operation unit 5011 since the operation unit 5011 also functions as a writing instrument or a laser pointer, the user can use the operation unit 5011 for various purposes. Further, the main body 5111 can have a larger internal volume than the main body 111 of the ring-type operation unit 11 described in the first embodiment. Therefore, it becomes easy to secure a large space for the power storage unit in the contents of the main body unit 5111.
  • the configurations of the two operation units 11 and the connection device 12 according to this modification are the same as the configurations of the operation unit 11 and the connection device 12 described in the first embodiment.
  • the flag history storage unit 1221 stores a lock flag, a rotation flag, a press flag, and a tilt flag for each of the two operation units 11.
  • the movement information storage unit 1222 distinguishes and stores movement information for each of the two operation units 11.
  • the transition history storage unit 1223 distinguishes and stores the history of the transition information of the push flag for each of the two operation units 11.
  • the table storage unit 1231 stores a command table TA3 as shown in FIG.
  • various commands executed on the PC 16 are attached to the operation mode of the operation unit (hereinafter referred to as “left operation unit”) 11 attached to the user's left hand LH and to the user's right hand RH.
  • the operation mode of the operation unit (hereinafter referred to as “right operation unit”) 11 is associated with the presence / absence of a click operation and the presence / absence of a slide operation for each of the two operation units 11.
  • the acquisition unit 1211 extracts a flag from the operation information received by the connection device 12 from each of the two operation units 11, and stores the flag in the flag history storage unit 1221 in a time series so that the flag can be distinguished.
  • the acquisition unit 1211 extracts the movement information from the operation information received by the connection device 12 from each of the two operation units 11, and can identify which flag of the two operation units 11 is the movement information storage unit 1222.
  • the transition information generation unit 1212 generates the pressing flag transition information for each of the two operation units 11 and stores it in the transition history storage unit 1223.
  • the specifying unit 1213 specifies the operation mode of each of the two operation units 11 from the flag stored in the flag history storage unit 1221.
  • the specifying unit 1213 then sends a command to be transmitted by the command transmitting unit 1214 based on the specified operation mode of each of the two operation units 11 and the presence / absence of a slide operation and the presence / absence of a click operation for each of the two operation units 11. Is identified.
  • the flag setting process executed by the control unit 110 and the command transmission process executed by the control unit 120 according to this modification are the same as the flag setting process and the command transmission process described in the first embodiment.
  • the control unit 110 of each operation unit 11 assigns operation unit identification information for identifying which of the two operation units 11 is to the flag and the movement information in the process of step S109 of FIG. To the connection device 12.
  • the control unit 120 of the connection device 12 individually generates transition information for each of the two operation units 11 in the process of step S202 in FIG. 7, and the operation mode for each of the two operation units 11 in the process of step S203. Is identified.
  • the control unit 120 determines whether or not a click operation is individually performed for each of the two operation units 11 in the process of step S204.
  • the specifying unit 1213 specifies the operation mode for each of the two operation units 11 from the combination of the tilt flag, the rotation flag, and the lock flag. Then, the specifying unit 1213 specifies a command to be executed by the PC 16 based on the combination of the push flag transition information and movement information acquired from each of the two operation units 11 and the operation mode. Thereby, the specifying unit 1213 can specify a command from a plurality of types of commands corresponding to the transition information of the pressing flags of the two operation units 11, the presence / absence of a slide operation, and the number of combinations of operation modes.
  • the specifying unit can specify more commands than the number of commands that can be specified by only one operation unit, the user switches the command assigned to each operation for the two operation units 11 to another command. The frequency of performing operations for is reduced.
  • the user interface device according to the present embodiment is superior in operability compared to a user interface device that includes only one operation unit.
  • the operation unit may include an operation board 2511 having two tracking sensors 2112A and 2112B and two push switches 2113A and 2113B.
  • the operation board 2511 sends, for example, operation information regarding the two tracking sensors 2112A and 2112B and the two push switches 2113A and 2113B, an inclination flag indicating the inclination of the operation board 2511, a lock flag, and a rotation flag.
  • the operation board 2511 further includes a control unit 2110, a wireless communication unit 115, an acceleration sensor 116, and a power storage unit 117, as shown in FIG.
  • the control unit 2110 includes a CPU 118, a RAM 119, and a ROM 1110.
  • the RAM 119 includes a flag storage unit 1191 and a movement information storage unit 1192.
  • the CPU 118 functions as an operation reading unit 2181, an inclination detection unit 1182, a flag management unit 1183, and a communication control unit 1184 by reading a program from the ROM 1110 into the RAM 119 and executing it.
  • FIG. 21 the same reference numerals as those in FIG.
  • the flag storage unit 1191 stores a push flag for each of the two push switches 2113A and 2113B, a tilt flag indicating the tilt of the operation board 2511, a lock flag, and a rotation flag.
  • the movement information storage unit 1192 distinguishes and stores movement information for each of the two tracking sensors 2112A and 2112B.
  • the operation reading unit 2181 generates movement information corresponding to the two tracking sensors 2112A and 2112B and stores the signals input from the two tracking sensors 2112A and 2112B in the movement information storage unit 1192, respectively.
  • the operation reading unit 1181 generates a push flag for each of the two push switches 2113A and 2113B in accordance with signals input from the two push switches 2113A and 2113B, and stores them in the flag storage unit 1191.
  • the communication control unit 1184 transmits movement information corresponding to each of the two tracking sensors 2112A and 2112B, a pressing flag corresponding to each of the two push switches 2113A and 2113B, a tilt flag, a lock flag, and a rotation flag to the connection device 12. To do.
  • the flag setting process executed by the control unit 2110 of the operation board 2511 according to this modification is the same as the flag setting process described in the first embodiment.
  • the control unit 2110 determines whether or not there is a slide operation for at least one of the two tracking sensors 2112A and 2112B from the movement information corresponding to each of the two tracking sensors 2112A and 2112B. To do.
  • the control unit 2110 determines whether at least one of the pressing flags of the two push switches 2113A and 2113B has been updated.
  • connection device 12 The configuration of the connection device 12 is the same as the configuration of the connection device 12 described in the first embodiment, as shown in FIG. However, the flag history storage unit 1221 distinguishes and stores the pressing flags of the two push switches 2113A and 2113B.
  • the movement information storage unit 1222 distinguishes and stores movement information corresponding to the two tracking sensors 2112A and 2112B.
  • the transition history storage unit 1223 distinguishes and stores the history of the transition information of the press flag received from each of the two operation units 11.
  • the table storage unit 1231 stores a command table TA4 as shown in FIG.
  • various commands executed on the PC 16 are changed to the operation mode of the operation board 2511, the presence / absence of a click operation on each of the two push switches 2113A and 2113B, and the presence / absence of a slide operation on each of the two tracking sensors 2112A and 2112B And correspond to.
  • the specifying unit 1213 determines the presence or absence of a click operation from the history of the push flag transition information of the two push switches 2113A and 2113B, and determines the slide operation from the movement information (movement speed information) of the two tracking sensors 2112A and 2112B. Determine presence or absence. Then, the specifying unit 1213 specifies a command from the combination of the operation mode of the operation board 2511, the presence / absence of a click operation, and the presence / absence of a slide operation with reference to the command table TA4.
  • the operation mode of the operation board 2511 is specified from the combination of the tilt flag, the rotation flag, and the lock flag.
  • the specifying unit 1213 specifies a command to be executed by the PC 16 based on the combination of the push flag transition information and movement information acquired from each of the two operation units 11 and the operation mode. Thereby, the specifying unit 1213 can specify a larger number of commands than the number of commands that can be specified by only one operation unit.
  • the first reference axis J1 of the operation unit 11 is the first direction (counterclockwise direction in FIG. 5B) or the first direction around the second reference axis J2.
  • the example in which the flag management unit 1183 changes the tilt flag when tilting in the second direction (the clockwise direction in FIG. 5C) in the reverse direction has been described.
  • the direction in which the operation unit 11 is tilted to change the tilt flag is not limited to the direction of rotation around one second reference axis J2.
  • the tilt flag may be updated when the operation unit 11 is tilted around each of two reference axes that intersect each other. For example, as shown in FIGS.
  • the flag management unit 1183 displays the tilt flag.
  • the configuration may be changed.
  • the second reference axis J2 is orthogonal to the vertical direction (vertical axis J0).
  • the third reference axis J3 is orthogonal to the vertical direction (vertical axis J0) and the second reference axis J2.
  • the first reference axis J1 of the operation unit 11 is tilted around the second reference axis J2 in the first direction (counterclockwise direction in FIG. 23A), so that the operation unit 11 is moved to the first reference axis. It is assumed that the inclination angle ⁇ 1 with respect to the vertical direction (vertical axis J0) of J1 is greater than the angle threshold ⁇ th. In this case, the flag management unit 1183 sets the inclination flag to “1”. On the other hand, as shown in FIG. 23B, the first reference axis J1 of the operation unit 11 is tilted around the third reference axis J3 in the third direction (clockwise direction in FIG.
  • the operation unit 11 is It is assumed that the inclination angle ⁇ 3 with respect to the vertical direction (vertical axis J0) of the reference axis J1 is greater than the angle threshold ⁇ th. In this case, the flag management unit 1183 sets the inclination flag to “2”.
  • the flag setting process executed by the control unit 110 of the operation unit 11 according to this modification is the same as the flag setting process described in the first embodiment.
  • the flag management unit 1183 determines that both the inclination angle ⁇ 1 around the second reference axis J2 and the inclination angle ⁇ 3 around the third reference axis J3 of the operation unit 11 are larger than the angle threshold ⁇ th.
  • the tilt flag is set with priority given to one of the determination results for the tilt angles ⁇ 1 and ⁇ 3.
  • the tilt flag management unit 1183 gives priority to the determination result for the tilt angle ⁇ 1 around the second reference axis J2 of the operation unit 11, when both the tilt angles ⁇ 1 and ⁇ 3 are larger than the angle threshold ⁇ th, the tilt flag is set to “ Set to “1”.
  • the operation unit 4011 may identify a command to be executed by the PC 16 and transmit the command to the PC 16 via the wireless communication device 4012.
  • the hardware configuration of the operation unit 4011 is the same as the hardware configuration of the operation unit 11 described in the first embodiment.
  • a user interface device 4001 is configured by the operation unit 4011 and the wireless communication device 4012 connected to the USB interface 165 of the PC 16.
  • the operation reading unit 1181 sets the content of the pressing flag in accordance with the signal input from the push switch 113 and stores it in the flag history storage unit 1221.
  • the flag management unit 4183 sets the contents of the tilt flag, lock flag, rotation flag, and check flag and stores them in the flag storage unit 1191.
  • the command transmission unit 1214 acquires information indicating the command specified by the specifying unit 1213 from the command storage unit 1224 and transmits the information to the wireless communication device 4012 connected to the PC 16.
  • This command specific transmission process is a command transmission shown in FIG. 25 in place of the process of transmitting the tilt flag, lock flag, rotation flag, pressing flag and movement information in step S109 in the flag setting process shown in FIGS. The process is executed.
  • processing similar to the command transmission processing described in the first embodiment is denoted by the same reference numerals as those in FIG.
  • the connection device 12 described in the first embodiment is not necessary.
  • Embodiment 1 the example in which the command is specified based on the transition information of the pressing flag of each operation unit 11 of the specifying unit 1213 of the connection device 12 has been described.
  • the configuration is not limited thereto, and for example, the configuration may be such that the specifying unit 1213 specifies a command based on a pressing flag corresponding to the operation unit 11.
  • the example in which the operation unit 11 is mounted on the user's right hand RH has been described, but the mounting position is not necessarily limited to the right hand RH.
  • the operation unit 11 may be worn on the user's left hand LH, or may be worn on the user's toes.
  • the PC 16 is a desktop personal computer, and the keyboard 3010 is connected to the keyboard 30 via the cable CA.
  • the present invention is not limited thereto, and the PC 16 and the keyboard 3010 are wirelessly connected. It may be. Or you may be comprised from the notebook-type personal computer provided with the function of PC16 and the function of the keyboard 3010.
  • FIG. 1 is a desktop personal computer, and the keyboard 3010 is connected to the keyboard 30 via the cable CA.
  • the present invention is not limited thereto, and the PC 16 and the keyboard 3010 are wirelessly connected. It may be. Or you may be comprised from the notebook-type personal computer provided with the function of PC16 and the function of the keyboard 3010.
  • the operation unit 3011 is for television. It may be provided on the remote control. In this case, for example, the user can perform a cursor movement operation and a scroll operation by operating the operation unit 3011 of the remote controller in a state where an Internet browser screen is displayed on the television.
  • the operation unit 11 is configured to shift to a sleep mode that operates with low power consumption when the tracking sensor 112 or the push switch 113 configuring the operation unit 11 is not operated for a preset time. It may be. In this case, the operation unit 11 may shift from the sleep mode to the normal mode when the tracking sensor 112 or the push switch 113 configuring the operation unit 11 is operated.
  • the rotation flag may have four or more values, and the rotation flag may be set to four or more values by the user performing an “R operation”.
  • the operation unit 11 can take five operation modes of “A mode”, “B mode”, “C mode”, “D mode”, and “E mode”. In this case, as shown in FIGS. 26A to 26C and FIGS.
  • states ST21, ST22, ST23, ST24, and ST25 may exist as states in which the operation mode changes according to the inclination of the operation unit 11.
  • the states ST26, ST27, ST28, S29, and S30 can exist as the state in which the operation mode is fixed regardless of the inclination of the operation unit 11.
  • the state of the user interface device changes according to the state transition diagram as shown in FIG. In FIG. 30, “L operation” and “R operation” are the same operations as “L operation” and “R operation” in FIG.
  • the configuration may be such that the inclination flag can take four or more values, and different operation modes are selected according to each setting value of the inclination flag.
  • the operation unit 11 can take five operation modes, in addition to the tilt flags “0 (horizontal)”, “1 (left tilt)”, “2 (right tilt)”, “3 (slightly left) (Inclination) ”and“ 4 “Slight right inclination” ”.
  • the first reference axis J1 of the operation unit 11 is rotated around the second reference axis J2 orthogonal to the vertical direction in the first direction (counterclockwise direction in FIG.
  • the flag management unit 1183 sets the tilt flag to “3 (slightly tilted to the left)”, assuming that the operation unit 11 is slightly tilted to the left.
  • the first reference axis J1 of the operation unit 11 is rotated around the second reference axis J2 in the second direction (the clockwise direction in FIG. 31B) opposite to the first direction.
  • the inclination angle (second inclination angle) ⁇ 2 with respect to the vertical direction (vertical axis J0) of one reference axis J1 is larger than the angle 1 / 2 ⁇ th which is half the angle threshold ⁇ th and equal to or less than the angle threshold ⁇ th.
  • the flag management unit 1183 sets the tilt flag to “4 (slightly tilted to the right)”, assuming that the operation unit 11 is slightly tilted to the right.
  • step S111 when the flag management unit 1183 determines that the inclination flag is not set to “1 (left inclination)” in the process of step S111 in FIG. 6 (step S111: No), the inclination flag is set. It is determined whether or not “2 (right tilt)” is set. If the flag management unit 1183 determines that the inclination flag is set to “2 (right inclination)”, the flag management unit 1183 executes the process of step S116 of FIG. On the other hand, the flag management unit 1183 does not set the tilt flag to “2 (right tilt)”, that is, the tilt flag is set to “3 (slight left tilt)” or “4 (slight right tilt)”. Suppose that it is determined. In this case, the process of step S109 is executed as it is.
  • the specifying unit 1213 of the connection device 12 specifies the operation mode “D mode” regardless of the setting values of the lock flag and the rotation flag when the tilt flag is set to “3 (slightly left tilt)”. .
  • the specifying unit 1213 specifies the operation mode “E mode” regardless of the set values of the lock flag and the rotation flag.
  • the number of commands that can be specified by the specifying unit 1213 can be increased.
  • the operation unit 3011 executes the flag setting process described in the first embodiment while one of the two operation units 3011 is detached from the mounting unit 3218.
  • the configuration is not limited to this.
  • the operation unit 3011 may execute the flag setting process described in Embodiment 1 only when both the operation units 3011 are detached from the mounting unit 3218.
  • the acquisition unit 1211 may execute a process of determining whether or not at least one of the two operation units 3011 is mounted on the mounting unit 3218. .
  • control unit 110 of the operation unit 11 performs the flag setting process to set the contents of the lock flag and the rotation flag.
  • the configuration is not limited thereto.
  • the control unit 120 of the connection device 12 may execute a process of setting the contents of the lock flag and the rotation flag.
  • the specifying unit 1213 of the connection device 12 is executed by the PC 16 based on a combination of operation information acquired from each of the three or more operation units or a history of operation information and the operation mode of each operation unit. You may specify a command.
  • the tracking sensor 112 has been described as an example of a mechanical tracking sensor using a trackball 1129, but the configuration of the tracking sensor is not limited to this.
  • the tracking sensor may be composed of an optical tracking sensor using an image sensor having a touch surface touched by a user.
  • the tracking sensor may be arranged so that the touch surface is exposed on the peripheral surface of the main body.
  • the operation unit 11 has a touch surface and detects a pressure when the touch surface is pressed by the user, and a tracking unit that tracks a user's finger or the like that touches the touch surface.
  • a pressure-sensitive tracking sensor having a pressure-sensitive portion may be included.
  • the tracking unit detects the moving speed and moving direction of at least a part of the user's body, and the pressure sensing unit presses the touch surface from the magnitude of the pressure when the touch surface is pressed. Detect that.
  • various functions of the user interface device according to the present invention can be realized by using a normal computer system without depending on a dedicated system.
  • a program for executing the above operation is stored in a non-transitory recording medium (for example, a CD-ROM) that can be read by a computer system and distributed.
  • You may comprise the user interface apparatus which performs the above-mentioned process by installing in a system.
  • the method of providing the program to the computer is arbitrary.
  • the program may be uploaded to a bulletin board (BBS) on a communication line and distributed to a computer via the communication line.
  • BSS bulletin board
  • the computer activates this program and executes it like other applications under the control of the OS.
  • the computer functions as a user interface device that executes the above-described processing.
  • the present invention includes a combination of the embodiments and modifications as appropriate, and a modification appropriately added thereto.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザインタフェース装置(1)は、操作部(11)と特定部(1213)とを備える。操作部(11)は、ユーザにより操作されると、操作内容を示す操作情報と、操作部(11)の第1基準軸の鉛直方向に対する傾きを示す傾き情報と、を送出する。特定部(1213)は、操作部(11)から取得した操作情報に含まれる押下フラグの遷移情報および移動情報と、傾き情報と、ロックフラグおよびローテーションフラグと、の組み合わせに基づいて、PC(16)で実行されるコマンドを特定する。

Description

ユーザインタフェース装置、接続装置、操作部、コマンド特定方法およびプログラム
 本発明は、ユーザインタフェース装置、接続装置、操作部、コマンド特定方法およびプログラムに関する。
 小型のタッチパッドを備えたリング型(指輪型)のポインティングデバイスを用いたユーザインタフェース装置が提案されている(例えば特許文献1参照)。ユーザは、このポインティングデバイスを片手の人差し指に装着した状態で、親指の先端をタッチパッド上で摺動させることによりパソコンの表示装置の表示画面上でカーソルを移動させることができる。
特開2006-302204号公報
 ところで、この種のユーザインタフェース装置には、カーソル移動操作のみならず、スクロール操作やドラッグ操作も行えるようにすることが要請されつつある。これに対して、特許文献1に記載された構成では、ポインティングデバイスに対する操作に割り当てるコマンドを切り替えるためのスイッチを操作して、ポインティングデバイスに対する操作に割り当てるコマンドをカーソル移動操作からスクロール操作またはドラック操作に切り替える。そうすると、ユーザは、カーソル移動操作からスクロール操作またはドラッグ操作に変更しようとする度にスイッチを操作して割り当てるコマンドを切り替える必要があり操作が煩雑となる虞がある。
 本発明は、上記事由に鑑みてなされたものであり、操作部に対する操作に割り当てるコマンドを切り替えるための操作が簡素化されたユーザインタフェース装置、接続装置、操作部、コマンド特定方法およびプログラムを提供することを目的とする。
 上記目的を達成するために、本発明に係るユーザインタフェース装置は、
 ユーザにより操作されると、操作内容を示す操作情報と、自己の第1基準軸の鉛直方向に対する傾きを示す傾き情報と、を送出する操作部と、
 前記操作部から取得した操作情報と傾き情報と前記操作部の操作モード設定状態を特定するための状態特定情報との組み合わせまたは前記操作情報の履歴と前記傾き情報と前記状態特定情報との組み合わせに基づいて、情報処理装置で実行されるコマンドを特定する特定部と、を備える。
 また、本発明に係るユーザインタフェース装置は、
 前記操作モード設定状態が、前記操作部の前記第1基準軸の鉛直方向に対する傾きに応じて前記操作部の操作モードが変化する可変状態に設定されている場合、
 前記操作部の前記第1基準軸の鉛直方向に対する傾斜角度が予め設定された角度閾値以下である第1操作部姿勢で前記操作部が操作されたときに特定されるコマンドと、前記操作部の前記第1基準軸が鉛直方向に直交する第2基準軸周りに第1方向へ回転されて前記第1基準軸の鉛直方向に対する傾斜角度が前記角度閾値よりも大きくなった第2操作部姿勢で前記操作部が操作されたときに特定されるコマンドと、前記操作部の前記第1基準軸が前記第2基準軸周りに前記第1方向とは異なる第2方向へ回転されて前記第1基準軸の鉛直方向に対する傾斜角度が前記角度閾値よりも大きくなった第3操作部姿勢で前記操作部が操作されたときに特定されるコマンドと、は、互いに異なり、
 前記操作モード設定状態が、前記操作部の前記第1基準軸の鉛直方向に対する傾きに関わらず前記操作部の前記操作モードが固定されている固定状態に設定されている場合、
 前記第1操作部姿勢で前記操作部が操作されたときに特定されるコマンドと、前記第2操作部姿勢で前記操作部が操作されたときに特定されるコマンドと、前記第3操作部姿勢で前記操作部が操作されたときに特定されるコマンドと、は、同一であり、
 前記操作モード設定状態は、ユーザにより前記操作部に対して予め設定された第1操作がなされた場合、前記可変状態から前記固定状態または前記固定状態から前記可変状態へ遷移する、ものであってもよい。
 ここで、「第1操作」の一例として、例えば操作部が押下部を備える場合、前記第1操作部姿勢において押下部を押下し、そのまま前記操作部の姿勢を前記第1操作部姿勢から前記第2操作部姿勢に変化させる操作が挙げられる。
 また、本発明に係るユーザインタフェース装置は、
 前記可変状態が、前記第1操作部姿勢で前記操作部が操作されたときに特定されるコマンドが互いに異なる、第1可変状態、第2可変状態および第3可変状態のいずれかを含み、
 前記操作モード設定状態が、前記第1可変状態に設定されている場合、
 前記第1操作部姿勢で前記操作部が操作されたときに第1コマンドが特定され、前記第2操作部姿勢で前記操作部が操作されたときに第2コマンドが特定され、前記第3操作部姿勢で前記操作部が操作されたときに第3コマンドが特定され、
 前記操作モード設定状態が、前記第2可変状態に設定されている場合、
 前記第1操作部姿勢で前記操作部が操作されたときに前記第2コマンドが特定され、前記第2操作部姿勢で前記操作部が操作されたときに前記第3コマンドが特定され、前記第3操作部姿勢で前記操作部が操作されたときに前記第1コマンドが特定され、
 前記操作モード設定状態が、前記第3可変状態に設定されている場合、
 前記第1操作部姿勢で前記操作部が操作されたときに前記第3コマンドが特定され、前記第2操作部姿勢で前記操作部が操作されたときに前記第1コマンドが特定され、前記第3操作部姿勢で前記操作部が操作されたときに前記第2コマンドが特定され、
 前記操作モード設定状態は、ユーザにより前記操作部に対して予め設定された第2操作がなされた場合、前記第1可変状態から前記第2可変状態、前記第2可変状態から前記第3可変状態または前記第3可変状態から前記第1可変状態へ遷移する、ものであってもよい。
 ここで、「第2操作」の一例として、例えば操作部が押下部を備える場合、前記第1操作部姿勢において押下部を押下し、そのまま前記操作部の姿勢を前記第1操作部姿勢から前記第3操作部姿勢に変化させる操作が挙げられる。
 また、本発明に係るユーザインタフェース装置は、
 前記固定状態が、前記操作部が操作されたときに特定されるコマンドが互いに異なる、第1固定状態、第2固定状態および第3固定状態のいずれかを含み、
 前記操作モード設定状態が、前記第1固定状態に設定されている場合、前記操作部が操作されたときに第1コマンドが特定され、
 前記操作モード設定状態が、前記第2固定状態に設定されている場合、前記操作部が操作されたときに第2コマンドが特定され、
 前記操作モード設定状態が、前記第3固定状態に設定されている場合、前記操作部が操作されたときに第3コマンドが特定され、
 前記操作モード設定状態は、ユーザにより前記操作部に対して予め設定された第2操作がなされた場合、前記第1固定状態から前記第2固定状態、前記第2固定状態から前記第3固定状態または前記第3固定状態から前記第1固定状態へ遷移する、ものであってもよい。
 また、本発明に係るユーザインタフェース装置は、
 前記操作部が、
 ユーザの身体の少なくとも一部の移動速度および移動方向を検出する移動検出部と、
 ユーザにより押下される押下部と、
 前記第1基準軸の前記第2基準軸周りの前記第1方向への第1傾斜角度または前記第1基準軸の前記第2基準軸周りの前記第2方向への第2傾斜角度を検出する傾斜角度検出部と、を有し、
 前記操作情報が、前記移動速度を示す移動速度情報と、前記移動方向を示す移動方向情報と、前記押下部が押下されているか否かを示す押下フラグと、を含み、
 前記傾き情報が、前記操作部の前記第1傾斜角度または前記第2傾斜角度が予め設定された前記角度閾値以上か、前記角度閾値未満であるかを示す傾きフラグを含み、
 前記傾きフラグおよび前記状態特定情報と、前記操作部の操作モードとを対応づける操作モードテーブルと、前記操作部の前記押下フラグの遷移履歴と、前記移動速度に基づいて判別される前記ユーザの動作の有無と、前記移動速度情報および前記移動方向情報を使用するコマンドを含む複数のコマンドとを対応づけるコマンドテーブルと、を更に備える、ものであってもよい。
 また、本発明に係るユーザインタフェース装置は、
 前記押下フラグと、前記傾きフラグと、前記操作モード設定状態が前記可変状態と前記固定状態とのいずれであるかを示す第1操作モード設定フラグと、前記第1操作モード設定フラグを更新するか否かを定める更新可否フラグと、を記憶するフラグ記憶部と、
 前記傾斜角度検出部により検出される前記第1傾斜角度が前記角度閾値以下の場合、前記傾きフラグを第1値に設定し、前記第1傾斜角度が前記角度閾値よりも大きい場合、前記傾きフラグを第2値に設定し、前記第2傾斜角度が前記角度閾値よりも大きい場合、前記傾きフラグを第3値に設定し、前記傾きフラグが前記第1値に設定されている場合、前記押下フラグの内容に応じて前記更新可否フラグを第4値または第5値に設定し、前記傾きフラグが前記第2値または前記第3値のいずれか一方に設定され且つ前記更新可否フラグが前記第5値に設定されている場合、前記押下フラグの内容に応じて前記第1操作モード設定フラグを更新するフラグ管理部と、を更に備える、ものであってもよい。
 また、本発明に係るユーザインタフェース装置は、
 前記フラグ記憶部は、更に、前記操作部が前記第1操作部姿勢、前記第2操作部姿勢および前記第3操作部姿勢それぞれであるのときの前記操作部の操作モードを定める第2操作モード設定フラグを記憶し、
 前記更新可否フラグは、更に、前記第2操作モード設定フラグを更新するか否かを定め、
 前記フラグ管理部は、更に、前記傾きフラグが前記第3値に設定され且つ前記更新可否フラグが前記第5値に設定されている場合、前記押下フラグの内容に応じて前記第2操作モード設定フラグを更新する、ものであってもよい。
 また、本発明に係るユーザインタフェース装置は、
 前記傾斜角度検出部が、加速度センサを含む、ものであってもよい。
 また、本発明に係るユーザインタフェース装置は、
 前記操作部が、
 前記移動検出部、前記押下部および前記傾斜角度検出部を収納する本体部と、
 環状の外形を有し前記本体部に固定されるとともに、ユーザの指に装着されるリング部とを更に有し、
 前記移動検出部が、トラックボールを有し、前記トラックボールの一部が前記本体部の一部から突出するように配置され、
 前記押下部が、前記本体部の内部における、ユーザが前記トラックボールに対して前記本体部側に押し付ける方向への押圧力を作用させたときに押下される位置に配置されている、ものであってもよい。
 また、本発明に係るユーザインタフェース装置は、
 前記操作部が、
 前記移動検出部、前記押下部および前記傾斜角度検出部を収納する本体部を更に有し、
 前記移動検出部が、前記本体部の長手方向における一端部に設けられ前記本体部の外側面に露出するように配置されたトラッキングセンサを有し、
 前記押下部が、前記本体部の長手方向における一端部から前記本体部の長手方向に沿って突出し前記本体部の長手方向に沿って前記本体部側に押し付ける方向へ押圧力を作用させたとき押下されるノックボタンを含む、ものであってもよい。
 また、本発明に係るユーザインタフェース装置は、
 前記操作部が、
 前記移動検出部と前記押下部とを複数有する、ものであってもよい。
 また、本発明に係るユーザインタフェース装置は、
 前記操作部が着脱自在に装着される装着部と、前記操作部へ電力を供給するための第1電源コネクタと、を有する入力装置を更に備え、
 前記操作部が、
 蓄電部と、
 前記装着部に装着された状態で前記第1電源コネクタに接続される第2電源コネクタと、
 前記第2電源コネクタに供給される電力により前記蓄電部を充電する電源回路と、を有し、
 前記入力装置が、
 前記装着部に前記操作部が装着されている状態で、前記電源回路へ前記第1電源コネクタおよび前記第2電源コネクタを介して電力を供給することにより前記電源回路に前記蓄電部を充電させる、ものであってもよい。
 また、本発明に係るユーザインタフェース装置は、
 前記操作部が、複数存在し、
 前記特定部が、複数の前記操作部それぞれから取得した操作情報と傾き情報と状態特定情報との組み合わせまたは前記操作情報の履歴と前記傾き情報と前記状態特定情報との組み合わせに基づいて、前記情報処理装置で実行されるコマンドを特定する、ものであってもよい。
 また、他の観点から見た本発明に係る接続装置は、
 ユーザにより操作されると、操作内容を示す操作情報と、自己の第1基準軸の鉛直方向に対する傾きを示す傾き情報と、前記自己の操作モード設定状態を特定するための状態特定情報と、を送出する操作部から取得した操作情報と傾き情報と状態特定情報との組み合わせまたは前記操作情報の履歴と前記傾き情報と前記状態特定情報との組み合わせに基づいて、情報処理装置で実行されるコマンドを特定する特定部を備える。
 また、他の観点から見た本発明に係る操作部は、
 ユーザにより操作されると、操作内容を示す操作情報と、自己の第1基準軸の鉛直方向に対する傾きを示す傾き情報と、前記自己の操作モード設定状態を特定するための状態特定情報と、を取得し、前記操作情報と前記傾き情報と前記状態特定情報との組み合わせまたは前記操作情報の履歴と前記傾き情報と前記状態特定情報との組み合わせに基づいて、情報処理装置で実行されるコマンドを特定する特定部を備える。
 また、他の観点から見た本発明に係るコマンド特定方法は、
 ユーザにより操作されると、操作内容を示す操作情報と、操作部の第1基準軸の鉛直方向に対する傾きを示す傾き情報と、前記操作部の操作モード設定状態を特定するための状態特定情報と、を送出する前記操作部から取得した操作情報と傾き情報と状態特定情報との組み合わせまたは前記操作情報の履歴と前記傾き情報と前記状態特定情報との組み合わせに基づいて、情報処理装置で実行されるコマンドを特定する。
 また、他の観点からみた本発明に係るプログラムは、
 コンピュータを、
 ユーザにより操作されると、操作内容を示す操作情報と、操作部の第1基準軸の鉛直方向に対する傾きを示す傾き情報と、前記操作部の操作モード設定状態を特定するための状態特定情報と、を送出する前記操作部から取得した操作情報と傾き情報と状態特定情報との組み合わせまたは前記操作情報の履歴と前記傾き情報と前記状態特定情報との組み合わせに基づいて、情報処理装置で実行されるコマンドを特定する特定部、
 として機能させる。
 本発明に係るユーザインタフェース装置では、特定部が、操作部から取得した操作情報と傾き情報と状態特定情報との組み合わせまたは操作情報の履歴と傾き情報と状態特定情報との組み合わせに基づいて、情報処理装置で実行されるコマンドを特定する。これにより、特定部は、1つの操作情報について複数の傾き情報それぞれに対応する複数種類のコマンドを特定できる。即ち、特定部は、操作情報のみで特定できるコマンドの数に比べて多くのコマンドを特定することができるので、ユーザは操作部に対する各操作に割り当てるコマンドを別のコマンドに切り替えるための操作を行う頻度が低減される。このように、本発明に係るユーザインタフェース装置は、操作部の操作情報のみに基づいてコマンドを特定するユーザインタフェース装置に比べて、操作部に対する操作に割り当てるコマンドを切り替えるための操作が簡素化されている。
本発明の実施の形態1に係るユーザインタフェース装置を備える情報処理システムの概略構成図である。 実施の形態1に係るユーザインタフェース装置を備える情報処理システムの一部を構成するリング装置の斜視図である。 実施の形態1に係る情報処理システムのブロック図である。 実施の形態1に係る操作モードテーブルの内容を示す図である。 実施の形態1に係るコマンドテーブルの内容を示す図である。 実施の形態1に係る操作部の制御部が実行するフラグ設定処理の流れを示すフローチャートである。 実施の形態1に係る操作部の水平姿勢を示す図である。 実施の形態1に係る操作部の左傾斜姿勢を示す図である。 実施の形態1に係る操作部の右傾斜姿勢を示す図である。 実施の形態1に係る操作部の制御部が実行するフラグ設定処理の流れを示すフローチャートである。 実施の形態1に係る接続装置の制御部が実行するコマンド送信処理の流れを示すフローチャートである。 実施の形態1に係るユーザインタフェース装置の状態ST1を示す図である。 実施の形態1に係るユーザインタフェース装置の状態ST2を示す図である。 実施の形態1に係るユーザインタフェース装置の状態ST3を示す図である。 実施の形態1に係るユーザインタフェース装置の状態ST4を示す図である。 実施の形態1に係るユーザインタフェース装置の状態ST5を示す図である。 実施の形態1に係るユーザインタフェース装置の状態ST6を示す図である。 実施の形態1に係る遷移履歴の例を示すタイムチャートである。 実施の形態1に係るユーザインタフェース装置の状態遷移図である。 本発明の実施の形態2に係るユーザインタフェース装置を備えるPCの概略構成図である。 実施の形態2に係る情報処理システムのブロック図である。 実施の形態2に係るコマンドテーブルの内容を示す図である。 実施の形態2に係るキーボードの制御部が実行するコマンド送信処理の流れを示すフローチャートである。 変形例に係る操作部の概略構成図である。 変形例に係るユーザインタフェース装置を備える情報処理システムの概略構成図である。 変形例に係るユーザインタフェース装置を備える情報処理システムの概略構成図である。 変形例に係るコマンドテーブルの内容を示す図である。 変形例に係るユーザインタフェース装置を備える情報処理システムの概略構成図である。 変形例に係るユーザインタフェース装置を備える情報処理システムのブロック図である。 変形例に係るコマンドテーブルの内容を示す図である。 変形例に係る操作部の動作説明図である。 変形例に係る操作部の動作説明図である。 変形例に係るユーザインタフェース装置を備える情報処理システムのブロック図である。 変形例に係る操作部の制御部が実行するコマンド送信処理の流れを示すフローチャートである。 変形例に係るユーザインタフェース装置の状態ST21を示す図である。 変形例に係るユーザインタフェース装置の状態ST22を示す図である。 変形例に係るユーザインタフェース装置の状態ST23を示す図である。 変形例に係るユーザインタフェース装置の状態ST24を示す図である。 変形例に係るユーザインタフェース装置の状態ST25を示す図である。 変形例に係るユーザインタフェース装置の状態ST26を示す図である。 変形例に係るユーザインタフェース装置の状態ST27を示す図である。 変形例に係るユーザインタフェース装置の状態ST28を示す図である。 変形例に係るユーザインタフェース装置の状態ST29を示す図である。 変形例に係るユーザインタフェース装置の状態ST30を示す図である。 変形例に係るユーザインタフェース装置の状態遷移図である。 変形例に係る操作部の左少し傾斜姿勢を示す図である。 変形例に係る操作部の右少し傾斜姿勢を示す図である。 変形例に係る操作モードテーブルの内容を示す図である。
 以下、本発明の各実施の形態について図面を参照して詳細に説明する。
 (実施の形態1)
 本実施の形態に係るユーザインタフェース装置は、ユーザが指に嵌めて使用するリング型(指輪型)の操作部と、操作部から受信した情報に基づいてパーソナルコンピュータ(PC)で実行されるコマンドを特定してPCへ送信する接続装置と、を備える。このユーザインタフェース装置によれば、ユーザは、指に嵌めた操作部を操作することによりPCを遠隔操作できる。
 図1Aに示すように、ユーザインタフェース装置は、操作部11と接続装置12とを備える。そして、ユーザインタフェース装置1は、PC16とともに情報処理システムを構成する。操作部11は、例えばユーザの右手RHの人差し指に嵌められた状態で使用される。ユーザは、操作部11を操作して表示装置15の画面15a上に映し出されるカーソル画像を移動させる操作やスクロール操作を行うことができる。また、ユーザは、キーボード17を用いてPC16へ文字情報を入力することもできる。操作部11は、接続装置12と無線通信し、ユーザにより操作されると操作内容を示す操作情報を接続装置12へ送る。これにより、ユーザは、操作部11を用いてPC16へ情報を入力することができる。
 操作部11は、ユーザにより操作されると、その操作内容を示す操作情報と、操作部11の基準軸(第1基準軸)の鉛直方向に対する傾きを示す傾きフラグ(傾き情報)と、操作部11の操作モード設定状態を特定するための状態特定情報と、を送出する。ここで、「操作モード設定状態」とは、操作部11に設定されうる複数種類(本実施の形態では3種類)の操作モードと、操作部11の基準軸の鉛直方向に対する傾斜角度と、の組み合わせの状態を示す。操作部11は、図1Bに示すように、本体部111とトラッキングセンサ(移動検出部)112とプッシュスイッチ113と加速度センサ(傾斜角度検出部)116とリング部114とを備える。本体部111は、扁平な略直方体状の形状を有する。リング部114は、ユーザの人差し指の挿入が可能な大きさである。リング部114の一部は、本体部111に固定されている。トラッキングセンサ112は、トラックボール1129を用いた機械式トラッキングセンサから構成され、トラックボール1129の一部が本体部111から突出するように配置されている。トラッキングセンサ112は、ユーザが指でトラックボール1129を回転させたときの回転速度からトラックボール1129の表面に接触したユーザの指の先端部(ユーザの身体の一部)の移動速度を検出し回転方向からユーザの指の先端部の移動方向を検出する。
 操作情報は、プッシュスイッチ113が押下されているか否かを示す押下フラグと、ユーザの指の移動速度を示す移動速度情報およびユーザの指の移動方向を示す移動方向情報から構成される移動情報と、から構成される。傾きフラグは、操作部の鉛直方向に対する傾斜角度が予め設定された角度閾値よりも大きいか否かを示す。
 状態特定情報は、ロックフラグ(第1操作モード設定フラグ)とローテーションフラグ(第2操作モード設定フラグ)とから構成される。ロックフラグは、操作モード設定状態が、操作部11の基準軸(第1基準軸)J1の鉛直方向に対する傾きに応じて操作部11の操作モードが変化する可変状態と、操作部11の第1基準軸J1の鉛直方向に対する傾きに関わらず操作部11の操作モードが固定されている固定状態と、のいずれであるかを示す。ローテーションフラグは、操作部11が水平姿勢(第1操作部姿勢)であるのときの操作部11の操作モードと、操作部11が左傾斜姿勢(第2操作部姿勢)であるときの操作部11の操作モードと、操作部11が右傾斜姿勢(第3操作部姿勢)のときの操作部11の操作モードと、を定める。ここで、ユーザは、操作部11のリング部114に対して、人差し指を、図1Bに示すリング部114の中心軸(第2基準軸)J2に沿った方向AR0に挿入して装着するとする。この場合、操作部11を方向AR0から見たときに、操作部11が第2基準軸J2周りに左方向へ傾斜した姿勢を「左傾斜姿勢」、操作部11が第2基準軸J2周りに右方向へ傾斜した姿勢を「右傾斜姿勢」とする。
 プッシュスイッチ113は、例えば対向する板ばねと金属板とを含んで構成されている。プッシュスイッチ113は、本体部111の内部における、ユーザがトラックボール1129に対して本体部111側に押し付ける方向への押圧力を作用させたときに押下される位置に配置されている。
 加速度センサ116は、3軸加速度センサから構成されている。加速度センサ116は、例えば操作部11の第1基準軸J1を本体部111の厚さ方向に沿った方向、即ち、プッシュスイッチ113の押圧方向に沿った方向に延在するように配置し、この第1基準軸J1の鉛直方向に対する傾斜角度を検出する。特に、加速度センサ116として、薄膜微細加工技術(MEMS)を応用した汎用の加速度センサを採用すれば、操作部11の製造コストおよび消費電力を低減することができる。
 操作部11は、図2に示すように、制御部110と無線通信部115と蓄電部117とを更に備える。無線通信部115は、モデム機能と無線通信機能とを備え、制御部110から入力される操作情報を無線信号として接続装置12へ送信するとともに、接続装置12から無線信号として受信した情報を制御部110へ出力する。無線通信部115は、Bluetooth(登録商標)やZigBee(登録商標)のような無線通信規格に準拠した通信方式により接続装置12との間で通信する。
 制御部110は、CPU(Central Processing Unit)118とRAM(Random Access Memory)119とROM(Read Only Memory)1110とを備える。RAM119は、フラグ記憶部1191と移動情報記憶部1192とを有する。
 フラグ記憶部1191は、押下フラグと傾きフラグとロックフラグとローテーションフラグとを記憶する。フラグ記憶部1191は、更に、ロックフラグまたはローテーションフラグを更新するか否かを定めるチェックフラグ(更新可否フラグ)を記憶する。
 移動情報記憶部1192は、トラックボール1129の回転速度から定まる移動速度を示す移動速度情報とトラックボール1129の回転方向から定まる移動方向情報とから構成される移動情報を記憶する。更に、RAM119は、CPU118の作業領域としても使用される。ROM1110には、CPU118が実行するプログラムが格納されている。
 CPU118は、ROM1110からプログラムをRAM119に読み込んで実行することにより、操作読取部1181、傾き読取部1182、フラグ管理部1183および通信制御部1184として機能する。操作読取部1181は、トラッキングセンサ112から入力される信号を移動速度情報と移動方向情報とに変換して移動情報記憶部1192に記憶させる。また、操作読取部1181は、プッシュスイッチ113から入力される信号に応じて押下フラグの内容を設定してフラグ記憶部1191に記憶させる。傾き読取部1182は、加速度センサ116から入力される計測情報に基づいて、操作部11の基準軸J1の鉛直方向に対する傾きを読み取る。傾き読取部1182は、読み取った操作部11の基準軸J1の鉛直方向に対する傾きをフラグ管理部1183に通知する。フラグ管理部1183は、後述のフラグ設定処理を実行することにより、傾きフラグ、ロックフラグ、ローテーションフラグおよびチェックフラグの内容を設定する。通信制御部1184は、各種フラグおよび移動情報に送信元と送信先の情報を付加して無線通信部115へ出力する。
 PC16は、処理部161と記憶部162と表示インタフェース163と2つのUSB(Universal Serial Interface)インタフェース164、165とを備える。表示インタフェース163は、映像信号を伝送するためのインタフェースであり、表示装置15に接続されている。表示装置15は、液晶ディスプレイや有機ELディスプレイ等から構成される。USBインタフェース164は、キーボード17に接続されている。USBインタフェース165は、接続装置12に接続されている。
 接続装置12は、制御部120とUSBインタフェース124と無線通信部125とを備える。制御部120は、CPU121とRAM122とROM123とを備える。USBインタフェース124は、PC16のUSBインタフェース165に接続されている。無線通信部125は、モデム機能と無線通信機能とを備え、制御部120から入力される情報を無線信号として操作部11へ送信するとともに、操作部11から無線信号として受信した情報を制御部120へ出力する。無線通信部125は、Bluetooth(登録商標)やZigBee(登録商標)のような無線通信規格に準拠した通信方式により操作部11との間で無線通信する。
 RAM122は、フラグ履歴記憶部1221と移動情報記憶部1222と遷移履歴記憶部1223とコマンド記憶部1224とを有する。フラグ履歴記憶部1221は、操作部11から受信した、ロックフラグ、ローテーションフラグ、押下フラグ、及び傾きフラグを記憶する。移動情報記憶部1222は、接続装置12が操作部11から受信した、移動速度情報および移動方向情報から構成される移動情報を記憶する。
 遷移履歴記憶部1223は、接続装置12が操作部11から受信した押下フラグの状態遷移の履歴を記憶している。遷移履歴記憶部1223は、押下フラグが「0(オフ)」から「1(オン)」へ遷移したことを示す遷移情報「D」と、押下フラグが「1(オン)」で維持されていることを示す遷移情報「P」と、押下フラグが「1(オン)」から「0(オフ)」へ遷移したことを示す遷移情報「U」と、押下フラグが「0(オフ)」で維持されていることを示す遷移情報「N」とを記憶している。遷移履歴記憶部1223は、押下フラグの状態遷移の履歴に応じて、遷移情報「D」、遷移情報「P」、遷移情報「U」、遷移情報「N」を時系列で記憶している。コマンド記憶部1224は、後述の特定部1213が特定したコマンドを記憶する。
 ROM123は、操作モードテーブルとコマンドテーブルとを記憶するテーブル記憶部1231を有する。例えば図3Aに示すように、操作モードテーブルTA1は、各種操作モードを、傾きフラグ、ロックフラグおよびローテーションフラグと対応づけている。また、図3Bに示すように、コマンドテーブルTA2は、PC16で実行される各種コマンドを、操作モード、操作部11のクリック操作の有無およびトラッキングセンサ112でのトラックボール1129を回転させる操作(以下、「スライド操作」と称する。)の有無と対応づけている。「スライド操作の有無」は、操作部11から受信した移動情報に含まれる、トラックボール1129の表面に接触するユーザの指の先端部の移動速度情報に基づいて判別される。また、「クリック操作有り」は、押下フラグがオンの状態で予め設定された時間経過後にオフされたことに相当する。また、ROM123は、CPU121が実行するプログラムを格納する。なお、このテーブル記憶部1231は、CPU121がROM123からプログラムをRAM122に読み出して実行する際に、RAM122に設けられるものであってもよい。
 図2に戻って、CPU121は、ROM123からプログラムをRAM122に読み込んで実行することにより、取得部1211、遷移情報生成部1212、特定部1213およびコマンド送信部1214として機能する。ここで、制御部120は、操作部11から各種フラグおよび回転情報を取得する入力インタフェースを構成する。そして、この制御部120と無線通信部125とを備える接続装置12と操作部11とからユーザインタフェース装置1が構成されている。
 取得部1211は、接続装置12が操作部11から受信した操作情報からフラグおよび移動情報を抽出する。そして、取得部1211は、抽出したフラグを、RAM122のフラグ履歴記憶部1221に時系列に記憶させる。また、取得部1211は、抽出した移動情報を、RAM122の移動情報記憶部1222に記憶させる。
 遷移情報生成部1212は、接続装置12が操作部11から取得したフラグに含まれる押下フラグの内容と直前の押下フラグの内容とを比較して、押下フラグの遷移を示す遷移情報を生成する。遷移情報生成部1212は、生成した遷移情報を、遷移履歴記憶部1223に記憶させる。
 特定部1213は、操作部11から取得した押下フラグの履歴と、移動情報と、傾きフラグと、ロックフラグおよびローテーションフラグとの組み合わせに基づいて、PC16が実行するコマンドを特定する。特定部1213は、まず、フラグ履歴記憶部1221が記憶する、傾きフラグ、ロックフラグおよびローテーションフラグの組み合わせに基づいて、操作部11の操作モードを特定する。そして、特定部1213は、押下フラグの履歴からクリック操作の有無を判定し、移動情報に含まれる移動速度情報からスライド操作の有無を判定する。ここで、特定部1213は、操作部11についてその移動速度情報が示す移動速度が「0」でない場合、「スライド操作有り」と判別する。一方、特定部1213は、操作部11についてその移動速度情報が示す移動速度が「0」である場合、「スライド操作無し」と判別する。その後、特定部1213は、テーブル記憶部1231が記憶する操作モードテーブルおよびコマンドテーブルを参照して、特定した操作モードと、スライド操作の有無およびクリック操作の有無と、に基づいて、コマンド送信部1214が送信するコマンド(第1コマンド、第2コマンド、第3コマンド)を特定し、コマンド記憶部1224に記憶させる。
 コマンド送信部1214は、特定部1213により特定されたコマンドをコマンド記憶部1224から取得してPC16へ送信する。コマンドとしては、図3Bに示すような各種コマンドが挙げられる。
 次に、本実施の形態に係る操作部11の制御部110が実行するフラグ設定処理について図4乃至図6を参照しながら説明する。制御部110は、フラグ設定処理を実行することにより、接続装置12へ送信するロックフラグFLl、ローテーションフラグFLrおよび押下フラグFLpの内容を設定する。フラグ設定処理は、操作部11へ電源が投入されたことを契機として開始される。
 まず、フラグ管理部1183は、図4に示すように、ロックフラグFLl、ローテーションフラグFLrおよび押下フラグFLpの初期設定を実行する(ステップS101)。具体的には、フラグ管理部1183は、ロックフラグFLl、ローテーションフラグFLrおよび押下フラグFLpの内容を「0」に設定する。
 次に、フラグ管理部1183は、移動情報記憶部1192が記憶する移動速度情報に基づいて、スライド操作が有ったか否かを判定する(ステップS102)。フラグ管理部1183は、移動速度情報が示す移動速度が予め設定された閾値(例えば0)を超える場合、スライド操作があったと判定する。フラグ管理部1183は、スライド操作があったと判定すると(ステップS102:Yes)、後述のステップS104の処理を実行する。
 一方、フラグ管理部1183は、スライド操作が無いと判定すると(ステップS102:No)、フラグ記憶部1191が記憶する押下フラグFLpの内容が変更されているか否かを判定する(ステップS103)。フラグ管理部1183は、押下フラグFLpの内容が変更されていないと判定すると(ステップS103:No)、再びステップS102の処理を実行する。
 一方、フラグ管理部1183は、押下フラグFLpの内容が変更されていると判定すると(ステップS103:Yes)、傾き読取部1182が読み取った操作部11の第1基準軸J1の傾きに基づいて、傾きフラグFLtを設定する(ステップS104)。図5Aに示すように、操作部11の姿勢が、操作部11の第1基準軸J1の鉛直方向(鉛直軸J0)に対する傾斜角度が予め設定された角度閾値θth以下である水平姿勢(第1操作部姿勢)にあるとする。この場合、フラグ管理部1183は、傾きフラグFLtを「0(水平)」に設定する。
 また、図5Bに示すように、操作部11の第1基準軸J1が鉛直方向に直交する第2基準軸J2周りに第1方向(図5Bの左回り方向)へ回転されて第1基準軸J1の鉛直方向(鉛直軸J0)に対する傾斜角度(第1傾斜角度)θ1が角度閾値θthよりも大きくなることにより、操作部11の姿勢が左傾斜姿勢(第2操作部姿勢)になったとする。この場合、フラグ管理部1183は、傾きフラグFLtを「1(左傾斜)」に設定する。
 更に、図5Cに示すように、操作部11の第1基準軸J1が第2基準軸J2周りに第1方向とは逆方向の第2方向(図5Cの右回り方向)へ回転されて第1基準軸J1の鉛直方向(鉛直軸J0)に対する傾斜角度(第2傾斜角度)θ2が角度閾値θthよりも大きくなることにより、操作部11の姿勢が右傾斜姿勢(第3操作部姿勢)になったとする。この場合、フラグ管理部1183は、傾きフラグFLtを「2(右傾斜)」に設定する。
 図4に戻って、続いて、フラグ管理部1183は、傾きフラグFLtが「0(水平)」に設定されているか否かを判定する(ステップS105)。フラグ管理部1183は、傾きフラグFLtが「0(水平)」に設定されていると判定すると(ステップS105:Yes)、押下フラグFLpが「1(オン)」に設定されているか否かを判定する(ステップS106)。フラグ管理部1183は、押下フラグFLpが「1」に設定されていると(ステップS106:Yes)、チェックフラグFLcを「1」に設定する(ステップS107)。一方、フラグ管理部1183は、押下フラグFLpが「0」に設定されていると(ステップS106:No)、チェックフラグFLcを「0」に設定する(ステップS108)。
 その後、通信制御部1184は、フラグ記憶部1191から、傾きフラグFLt、ロックフラグFLl、ローテーションフラグFLrおよび押下フラグFLpを取得するとともに、移動情報記憶部1192から移動情報を取得する。そして、通信制御部1184は、傾きフラグFLt、ロックフラグFLl、ローテーションフラグFLrおよび押下フラグFLpと移動情報とを、無線通信部115を介して接続装置12へ送信する(ステップS109)。
 また、フラグ管理部1183は、ステップS105の処理において、傾きフラグFLtが「0(水平)」ではないと判定したとする(ステップS105:No)。この場合、フラグ管理部1183は、図6に示すように、傾きフラグFLtが「1(左傾斜)」に設定されているか否かを判定する(ステップS111)。フラグ管理部1183は、傾きフラグFLtが「1(左傾斜)」に設定されていると判定すると(ステップS111:Yes)、押下フラグFLpが「1(オン)」に設定されているか否かを判定する(ステップS112)。フラグ管理部1183により押下フラグFLpが「1(オン)」に設定されていると(ステップS112:Yes)、そのまま図4のステップS109の処理が実行される。
 一方、フラグ管理部1183は、押下フラグFLpが「0(オフ)」に設定されていると(ステップS112:No)、チェックフラグFLcが「1(オン)」に設定されているか否かを判定する(ステップS113)。フラグ管理部1183によりチェックフラグFLcが「0(オフ)」に設定されていると(ステップS113:No)、そのまま図4のステップS109の処理が実行される。
 一方、フラグ管理部1183は、チェックフラグFLcが「1(オン)」に設定されていると(ステップS113:Yes)、ロックフラグFLlを更新する(ステップS114)。ここで、フラグ管理部1183は、ロックフラグFLlが「0(オフ)」に設定されている場合、ロックフラグFLlを「1(オン)」に更新し、ロックフラグFLlが「1(オン)」に設定されている場合、ロックフラグFLlを「0(オフ)」に更新する。
 続いて、フラグ管理部1183は、チェックフラグFLcを「0(オフ)」に設定する(ステップS115)。その後、図4のステップS109の処理が実行される。
 また、フラグ管理部1183は、ステップS111の処理において、傾きフラグFLtが「2(右傾斜)」であると判定したとする(ステップS111:No)。この場合、フラグ管理部1183は、押下フラグFLpが「1(オン)」に設定されているか否かを判定する(ステップS116)。フラグ管理部1183により押下フラグFLpが「1(オン)」に設定されていると(ステップS116:Yes)、そのまま図4のステップS109の処理が実行される。
 一方、フラグ管理部1183は、押下フラグFLpが「0(オフ)」に設定されていると(ステップS116:No)、チェックフラグFLcが「1(オン)」に設定されているか否かを判定する(ステップS117)。フラグ管理部1183によりチェックフラグFLcが「0(オフ)」に設定されていると(ステップS117:No)、そのまま図4のステップS109の処理が実行される。
 一方、フラグ管理部1183は、チェックフラグFLcが「1(オン)」に設定されていると(ステップS117:Yes)、ローテーションフラグFLrを更新する(ステップS118)。ここで、フラグ管理部1183は、ローテーションフラグFLrが「0」に設定されている場合、ローテーションフラグFLrを「1」に更新する。また、フラグ管理部1183は、ローテーションフラグFLrが「1」に設定されている場合、ローテーションフラグFLrを「2」に更新する。更に、フラグ管理部1183は、ローテーションフラグFLrが「2」に設定されている場合、ローテーションフラグFLrを「0」に更新する。
 次に、フラグ管理部1183は、チェックフラグFLcを「0(オフ)」に設定する(ステップS119)。その後、図4のステップS109の処理が実行される。
 次に、本実施の形態に係る接続装置12の制御部120が実行するコマンド送信処理について図7乃至図8Cを参照しながら説明する。制御部120は、コマンド送信処理を実行することにより、操作部11から受信した各種情報に基づいてPC16で実行されるコマンドを特定してPC16へ送信する。コマンド送信処理は、接続装置12へ電源が投入され、制御部120のCPU121がリセットされ、PC16とのUSB通信並びに操作部11との通信が確立し操作部11から各種情報を受信したことを契機として開始される。
 まず、遷移情報生成部1212は、図7に示すように、接続装置12が操作部11から押下フラグFLp、ロックフラグFLl、ローテーションフラグFLr、傾きフラグFLtおよび移動情報を受信したか否かを判定する(ステップS201)。遷移情報生成部1212は、フラグ履歴記憶部1221に新たな押下フラグFLp、ロックフラグFLl、ローテーションフラグFLrおよび傾きフラグFLtが記憶され、移動情報記憶部1222に新たな移動情報が記憶されているか否かを判定する。遷移情報生成部1212は、操作部11から押下フラグFLp、ロックフラグFLl、ローテーションフラグFLr、傾きフラグFLtおよび移動情報を受信しない限り(ステップS201:No)、ステップS201の処理を繰り返し実行する。
 遷移情報生成部1212が、操作部11から押下フラグFLp、ロックフラグFLl、ローテーションフラグFLr、傾きフラグFLtおよび移動情報を受信したと判定したとする(ステップS201:Yes)。この場合、遷移情報生成部1212は、フラグ履歴記憶部1221が記憶する新たな押下フラグFLpの内容と、直前の押下フラグFLpの内容と、を比較して、押下フラグFLpの遷移を示す遷移情報を生成して遷移履歴記憶部1223に記憶させる(ステップS202)。
 次に、特定部1213は、例えば図3Aに示すような操作モードテーブルTA1を参照して、ロックフラグFLl、ローテーションフラグFLrおよび傾きフラグFLtに応じた操作モードを特定する(ステップS203)。例えばローテーションフラグFLrが「0」に設定され且つロックフラグFLlが「0(オフ)」に設定されているとする。この場合、操作モード設定状態は、図8Aに示すように、傾きフラグFLtが「0(水平)」であれば「Aモード」、傾きフラグFLtが「1(左傾斜)」であれば「Bモード」、傾きフラグFLtが「2(右傾斜)」であれば「Cモード」となる状態(第1可変状態)にある。なお、図8A乃至図8Cにおいて、操作部11のリング部114の図示は省略している。また、ローテーションフラグFLrが「1」に設定され且つロックフラグFLlが「0(オフ)」に設定されているとする。この場合、操作モード設定状態は、図8Bに示すように、傾きフラグFLtが「0(水平)」であれば「Bモード」、傾きフラグFLtが「1(左傾斜)」であれば「Cモード」、傾きフラグFLtが「2(右傾斜)」であれば「Aモード」となる状態(第2可変状態)にある。更に、ローテーションフラグFLrが「2」に設定され且つロックフラグFLlが「0(オフ)」に設定されているとする。この場合、操作モード設定状態は、図8Cに示すように、傾きフラグFLtが「0(水平)」であれば「Cモード」、傾きフラグFLtが「1(左傾斜)」であれば「Aモード」、傾きフラグFLtが「2(右傾斜)」であれば「Bモード」となる状態(第3可変状態)にある。つまり、操作モード設定状態は、操作部11の姿勢が水平姿勢である場合に操作部11に設定される操作モードと、操作部11の姿勢が左傾斜姿勢である場合に操作部11に設定される操作モードと、操作部11の姿勢が右傾斜姿勢である場合に操作部11に設定される操作モードとが互いに異なる状態となる。また、操作モード設定状態は、ローテーションフラグFLrの内容に応じて、操作部11の姿勢が水平姿勢、左傾斜姿勢および右傾斜姿勢のそれぞれ場合において操作部11に設定される操作モードが異なる。
 一方、ローテーションフラグFLrが「0」に設定され且つロックフラグFLlが「1(オン)」に設定されているとする。この場合、操作モード設定状態は、図9Aに示すように、傾きフラグFLtの内容とは無関係に、操作部11に設定される操作モードが「Aモード」となる状態(第1固定状態)にある。なお、図9A乃至図9Cにおいて、操作部11のリング部114の図示は省略している。また、ローテーションフラグFLrが「1」に設定され且つロックフラグFLlが「1(オン)」に設定されているとする。この場合、操作モード設定状態は、図9Bに示すように、傾きフラグFLtの内容とは無関係に、操作部11に設定される操作モードが「Bモード」となる状態(第2固定状態)にある。更に、ローテーションフラグFLrが「2」に設定され且つロックフラグFLlが「1(オン)」に設定されているとする。この場合、操作モード設定状態は、図9Cに示すように、傾きフラグFLtの内容とは無関係に、操作部11に設定される操作モードが「Cモード」となる状態(第3固定状態)にある。
 図7に戻って、次に、特定部1213は、遷移履歴記憶部1223が記憶する押下フラグFLpの遷移情報の履歴に基づいて、クリック操作が有りか否かを判定する(ステップS204)。ここで、特定部1213は、直近の遷移情報「P」の継続期間が予め設定された第1継続期間閾値以上である場合、クリック操作が有ったと判定する。即ち、特定部1213は、図10に示すように、直近の遷移情報「P」の継続期間△Tが予め設定された第1継続期間閾値△Tth1よりも長い場合、クリック操作が有りと判定する。
 特定部1213は、クリック操作が有ったと判定すると(ステップS204:Yes)、例えば図3Bに示すようなコマンドテーブルTA2を参照して、特定された操作モードにおけるクリック操作に対応するコマンドを特定する(ステップS205)。続いて、コマンド送信部1214は、特定部1213が特定したコマンドをPC16へ送信する(ステップS206)。一方、特定部1213は、クリック操作が無いと判定すると(ステップS204:No)、特定された操作モードに対応するスライド操作に対応するコマンドを特定する(ステップS207)。その後、ステップS206の処理が実行される。ステップS206の処理が実行された後、再びステップS201の処理が実行される。
 これにより、ロックフラグFLlが「0(オフ)」に設定されている状態、即ち、操作部11の操作モード設定状態が、操作部11の傾きによって操作部11が異なる操作モードに設定される状態(第1状態)であるとする。この場合、特定部1213は、操作部11の姿勢が水平姿勢で操作部11が操作されたときと、操作部11の姿勢が左傾斜姿勢で操作部11が操作されたときと、操作部11の姿勢が右傾斜姿勢で操作部11が操作されたときとで、互いに異なるコマンドを特定する。一方、ロックフラグFLlが「1(オン)」に設定されている状態、即ち、操作部11の操作モード設定状態が、操作部11の傾きに関わらず操作部11が同一の操作モードに設定される状態(第2状態)であるとする。この場合、特定部1213は、操作部11の姿勢が水平姿勢で操作部11が操作されたときと、操作部11の姿勢が左傾斜姿勢で操作部11が操作されたときと、操作部11の姿勢が右傾斜姿勢で操作部11が操作されたときとで、同一のコマンドを特定する。
 次に、本実施の形態に係るユーザインタフェース装置1の動作を、状態遷移図を用いて説明する。ここにおいて、図8A乃至図8Cに示す操作部11の傾きに応じて操作モードが変化する状態をそれぞれ状態ST1、ST2、ST3とし、図9A乃至図9Cに示す操作部11の傾きに依らず操作モードが固定された状態をそれぞれ状態ST4、ST5、ST6とする。そうすると、ユーザインタフェース装置1は、図11に示すような状態遷移図に従ってその状態が変化する。図11において、「L操作」とは、ロックフラグの内容を更新するために操作部11に対して行う操作である。「L操作」では、まず、ユーザは、操作部11の姿勢が水平姿勢の状態でプッシュスイッチ113を押下する。そして、ユーザは、プッシュスイッチ113を押下した状態を維持しつつ操作部11の姿勢を水平姿勢から図5Bに示すようにリング部114の中心軸J2回りの第1方向(図5Bの左回り)に傾斜させて左傾斜姿勢に変化させてからプッシュスイッチ113を離す(第1操作)。これにより、操作部11の操作モード設定状態は、操作部11の傾きによって操作部11が異なる操作モードに設定される状態(第1状態、第3状態、第4状態)から操作部11の傾きに関わらず操作部11が同一の操作モードに設定される状態(第2状態)へ遷移したり、第2状態から第1状態、第3状態または第4状態へ遷移したりする。
 また、図11において、「R操作」とは、ローテーションフラグの内容を更新するために操作部11に対して行う操作である。「R操作」では、まず、ユーザは、操作部11が水平姿勢の状態でプッシュスイッチ113を押下する。そして、ユーザは、プッシュスイッチ113を押下した状態を維持しつつ操作部11の姿勢を水平姿勢から図5Cに示すようにリング部114の中心軸J2回りの第2方向(図5Cの右回り)に傾斜させて右傾斜姿勢に変化させてからプッシュスイッチ113を離す(第2操作)。これにより、操作モード設定状態は、操作部11が水平姿勢、左傾斜姿勢および右傾斜姿勢のときに操作モードが「Aモード」、「Bモード」、「Cモード」に設定される状態(第1可変状態)から「Bモード」、「Cモード」、「Aモード」に設定される状態(第2可変状態)へ遷移する。或いは、操作モード設定状態は、操作部11が水平姿勢、左傾斜姿勢および右傾斜姿勢のときに操作モードが「Bモード」、「Cモード」、「Aモード」に設定される状態(第2可変状態)から「Cモード」、「Aモード」、「Bモード」に設定される状態(第3可変状態)へ遷移する。或いは、操作モード設定状態は、操作部11が水平姿勢、左傾斜姿勢および右傾斜姿勢のときに操作モードが「Cモード」、「Aモード」、「Bモード」に設定される状態(第3可変状態)から「Aモード」、「Bモード」、「Cモード」に設定される状態(第1可変状態)へ遷移する。そして、ユーザは、この「L操作」と「R操作」とを適宜組み合わせて実施することにより、操作モード設定状態を状態ST1乃至ST6のいずれかに遷移させることができる。
 次に、このユーザインタフェース装置1の使用方法について、ドラッグ操作とコピー操作とペースト操作を連続して行う方法を例に挙げて説明する。ここでは、ユーザインタフェース装置1の使用方法を、2つの操作釦を有する一般的なマウスから構成されるユーザインタフェース装置の場合と比較しながら説明する。ここでは、テーブル記憶部1231が、図3に示すような操作モードテーブルTA1およびコマンドテーブルTA2を記憶している場合について説明する。
 まず、2つの操作釦を有する一般的なマウスから構成されるユーザインタフェース装置を用いて、ドラッグ操作とコピー操作とペースト操作を連続して行う方法について説明する。ユーザは、まず、マウスを把持して動かすことにより、表示画面に表示されているカーソルを、コピーしようとする領域(以下、「コピー領域」と称する。)の起点まで移動させる。次に、ユーザは、2つの操作釦のうちの一方を押下することによりコピー領域の起点を選択し、上記一方の操作釦を押下した状態でマウスを動かしてドラッグ操作を行うことにより、コピー領域を選択してから上記一方の操作釦を放す。続いて、ユーザは、2つの操作釦のうちの他方に対してクリック操作を行うことにより、表示画面にコマンドメニュー画面を表示させる。その後、ユーザは、マウスを動かすことにより、表示画面に表示されているカーソルをコマンドメニュー画面内に表示されている「コピー」コマンド選択位置へ移動させる。次に、ユーザは、上記一方の操作釦に対してクリック操作を行うことにより、PCに「コピー」コマンドを実行させる。続いて、ユーザは、マウスを動かすことにより、表示画面に表示されているカーソルを、コピー領域に含まれる情報を貼り付けようとする(ペーストしようとする)領域(以下、「ペースト領域」と称する。)の起点まで移動させる。その後、ユーザは、上記一方の操作釦に対してクリック操作を行うことにより、ペースト領域の起点を選択する。その後、ユーザは、上記他方の操作釦に対してクリック操作を行うことにより、表示画面にコマンドメニュー画面を表示させる。次に、ユーザは、マウスを動かすことにより、表示画面に表示されているカーソルをコマンドメニュー画面内に表示されている「ペースト」コマンド選択位置へ移動させる。次に、ユーザは、上記一方の操作釦に対してクリック操作を行うことにより、PCに「ペースト」コマンドを実行させる。
 次に、本実施の形態に係るユーザインタフェース装置1を用いて、ドラッグ操作とコピー操作とペースト操作を連続して行う方法について説明する。ユーザは、まず、操作部11の第1基準軸J1が鉛直軸J0に等しい状態を維持したまま、トラックボール1129を動かすことにより、表示画面に表示されているカーソルを、コピー領域の起点まで移動させる。次に、ユーザは、トラックボール1129を押し込んでプッシュスイッチ113を押下することによりコピー領域の起点を選択する。そして、ユーザは、図5Bに示すように、操作部11の第1基準軸J1を、鉛直軸J0に対して第1方向(図5Bでの左回り方向)に角度閾値θthよりも大きい角度θ1だけ傾斜させる。続いて、ユーザは、操作部11を傾斜させたまま、トラックボール1129を動かしてドラッグ操作を行うことにより、コピー領域を選択してから、トラックボール1129を介してプッシュスイッチ113に対してクリック操作を行うことにより、表示画面にコマンドメニュー画面を表示させる。次に、ユーザは、操作部11の第1基準軸J1を鉛直軸J0に等しい状態に戻してから、トラックボール1129を動かすことにより、表示画面に表示されているカーソルをコマンドメニュー画面内に表示されている「コピー」コマンド選択位置へ移動させる。続いて、ユーザは、トラックボール1129を介してプッシュスイッチ113に対してクリック操作を行うことにより、PCに「コピー」コマンドを実行させる。そして、ユーザは、操作部11の第1基準軸J1が鉛直軸J0に略等しい状態を維持したまま、トラックボール1129を動かすことにより、表示画面に表示されているカーソルを、ペースト領域の起点まで移動させる。その後、ユーザは、再び図5Bに示すように、操作部11の第1基準軸J1を、鉛直軸J0に対して第1方向(図5Bでの左回り方向)に角度θ1だけ傾斜させる。次に、ユーザは、トラックボール1129を介してプッシュスイッチ113に対してクリック操作を行うことにより、表示画面にコマンドメニュー画面を表示させる。続いて、ユーザは、操作部11の第1基準軸J1を鉛直軸J0に略等しい状態に戻してから、トラックボール1129を動かすことにより、表示画面に表示されているカーソルをコマンドメニュー画面内に表示されている「ペースト」コマンド選択位置へ移動させる。その後、次に、ユーザは、トラックボール1129を介してプッシュスイッチ113に対してクリック操作を行うことにより、PCに「ペースト」コマンドを実行させる。このように、一般的なマウスの場合、9つの手順を踏むのに対して、本実施の形態に係るユーザインタフェースの場合、14個の手順を踏むことになる。ユーザインタフェース装置1を用いてドラッグ操作、コピー操作およびペースト操作を連続して行うときの操作手順の数は、2つの操作釦を有する一般的なマウスから構成されるユーザインタフェース装置の場合のそれに比べて極端に多いものではない。
 以上説明したように、本実施の形態に係るユーザインタフェース装置1では、特定部1213が、操作部11から取得した押下フラグの履歴および移動情報と傾きフラグとローテーションフラグおよびロックフラグとの組み合わせに基づいて、情報処理装置で実行されるコマンドを特定する。これにより、特定部1213は、1つの押下フラグまたは移動情報について複数の傾きフラグそれぞれに対応する複数種類のコマンドを特定できる。即ち、特定部1213は、押下フラグおよび移動情報のみで特定できるコマンドの数に比べて多くのコマンドを特定することができるので、ユーザは操作部11に対する各操作に割り当てるコマンドを別のコマンドに切り替えるための操作を行う頻度が低減される。このように、本実施の形態に係るユーザインタフェース装置1は、操作部11の押下フラグおよび移動情報報のみに基づいてコマンドを特定するユーザインタフェース装置に比べて、操作部11に対する操作に割り当てるコマンドを切り替えるための操作が簡素化されている。
 また、本実施の形態に係るユーザインタフェース装置1では、操作モードテーブルTA1において、操作部11の傾きフラグ、ロックフラグおよびローテーションフラグと、操作モードと、が対応付けられている。また、コマンドテーブルTA2において、操作部11の操作モード、クリック操作の有無およびスライド操作の有無とPC16で実行されるコマンドとが対応づけられている。そして、特定部1213が、操作モードテーブルTA1およびコマンドテーブルTA2を参照してコマンドを特定する。これにより、ユーザは、操作モードテーブルTA1およびコマンドテーブルTA2の内容を更新するだけで、操作部11に対する操作それぞれに割り当てるコマンドを比較的容易に別のコマンドに切り替えることができる。例えば、図3Bに示すコマンドテーブルTA2について、Bモードに割り当てる動作を、ドラッグからカーソルキー動作等に変更することが可能である。
 更に、本実施の形態に係るフラグ記憶部1191は、ロックフラグとローテーションフラグとチェックフラグとを記憶する。そして、フラグ管理部1183は、傾きフラグが「0(水平)」(第1値)に設定されている場合、押下フラグの内容に応じてチェックフラグを「0」(第4値)または「1」(第5値)に設定する。また、フラグ管理部1183は、傾きフラグが「1(左傾斜)」(第2値)に設定され且つチェックフラグが「1」(第5値)に設定されている場合、押下フラグの内容に応じてロックフラグを更新する。更に、フラグ管理部1183は、傾きフラグが「2(右傾斜)」(第3値)に設定され且つチェックフラグが「1」(第5値)に設定されている場合、押下フラグの内容に応じてローテーションフラグを更新する。これにより、ユーザが操作部11を傾けただけで頻繁にロックフラグまたはローテーションフラグが更新されることが防止されるので、ユーザインタフェースの操作性が向上するという利点がある。
 また、本実施の形態に係る操作部11は、ユーザが人指し指に装着することができる円環状のリング部114を有している。そして、トラッキングセンサ112のトラックボール1129の一部が、本体部111の一部から露出するように配置されている。また、プッシュスイッチ113は、トラックボール1129を押し込んだときに押下されるように配置されている。これにより、ユーザは、親指の先端をトラックボール1129のみに接触させることによりPC16の操作を行うことができるので、机がないような場所でも使用が制限されることはない。
(実施の形態2)
 本実施の形態に係る情報処理システムは、図12に示すように、キーボード(入力装置)3010に着脱自在に装着された2つの操作部3011を備える点が実施の形態1と相違する。なお、図12において実施の形態1と同様の構成については図1Aと同一の符号を付している。キーボード3010は、PC16にケーブルCAを介して有線接続されている。2つの操作部3011は、ユーザの手のひらに納まる程度の大きさのいわゆるパーム型の形状を有する。操作部3011は、トラッキングセンサ3112とプッシュスイッチ3113とを有する。プッシュスイッチ3113は、トラッキングセンサ3112の裏側に配置されており、ユーザがトラッキングセンサ3112を押し込むと押下される。トラッキングセンサ3112は、光学式のトラッキングセンサから構成され、タッチ面がキーボード3010の外面に露出する形で配置されている。また、キーボード3010には、2つ操作部3011それぞれが装着される装着部3218と、操作部3011を装着部3218から離脱させる際に押下される解除釦3219が設けられている。
 操作部3011は、図13に示すように、制御部110と無線通信部115と加速度センサ116と蓄電部3118と電源回路3119と電源コネクタ(第1電源コネクタ)3120とを更に備える。なお、図13において実施の形態1と同様の構成については図2と同一の符号を付している。電源コネクタ3120は、キーボード3010から電力供給を受けるためのコネクタである。蓄電部3118は二次電池から構成される。
 電源回路3119は、昇降圧回路を有する。操作部3011がキーボード3010の装着部3218に嵌め込まれているとする。この場合、電源回路3119は、キーボード3010から電力供給をド3010の装着部3218から離脱している場合、電源回路3119は、蓄電部3118受けて、蓄電部3118を充電するとともに、トラッキングセンサ3112、加速度センサ116、制御部110および無線通信部115へ電力を供給する一方、操作部3011がキーボーから電力供給を受けて、トラッキングセンサ3112、加速度センサ116、制御部110および無線通信部115へ電力を供給する。
 キーボード3010は、制御部120とUSBインタフェース3214と無線通信部3215と2つの電源コネクタ(第2電源コネクタ)3217とを備える。無線通信部3215は、実施の形態1で説明した無線通信部125と同様の構成を有する。また、制御部120は、実施の形態1と同様のハードウェア構成を有する。このキーボード3010と2つの操作部3011とからユーザインタフェース装置3001が構成されている。
 制御部120は、実施の形態1で説明したようにCPU121とRAM(図示せず)とROM(図示せず)とを有する。ROMは、実施の形態1と同様に、テーブル記憶部(図示せず)を有する。また、RAMは、実施の形態1と同様に、フラグ履歴記憶部(図示せず)と移動情報記憶部(図示せず)と遷移履歴記憶部(図示せず)とコマンド記憶部(図示せず)とを有する。テーブル記憶部は、実施の形態1で説明した操作モードテーブルTA1およびコマンドテーブルTA2の他に、図14に示すようなコマンドテーブルTA11を記憶している。コマンドテーブルTA11は、図12における左側の操作部(以下、「左側操作部」と称する。)3011の押下操作の有無およびトラッキングセンサ3112でのスライド操作の有無と、図12における右側の操作部(以下、「右側操作部」と称する。)3011の押下操作の有無およびトラッキングセンサ3112でのスライド操作の有無と、PC16で実行されるコマンドと、が対応付けられている。また、「押下操作有り」は、押下フラグが「1(オン)」であることに相当し、「押下操作無し」は、押下フラグが「0(オフ)」であることに相当する。CPU121は、ROMからプログラムをRAMに読み込んで実行することにより、取得部1211、遷移情報生成部1212、特定部1213、コマンド送信部1214およびフラグ設定部3129として機能する。フラグ設定部3129は、操作部3011から受信した操作情報に応じて、ROMのフラグ履歴記憶部が記憶する押下フラグの内容を設定する。
 USBインタフェース3214は、ケーブルCAを介してPC16のUSBインタフェース164に接続されている。このUSBインタフェース3214は、PC16から入力された情報を制御部120へ出力するとともに制御部120から入力される操作情報をPC16へ出力する。また、USBインタフェース3214は、2つの電源コネクタ3217それぞれにも接続されている。
 電源コネクタ3217は、操作部3011が装着部3218に装着された状態で操作部3011の電源コネクタ3120と電気的に接続される。この状態において、PC16からケーブルCA、USBインタフェース3214を介して供給される電力が、電源コネクタ3217を介して操作部3011へ供給される。
 PC16は、USBインタフェース3214を介して、キーボード3010との間で情報の授受を実行するとともにキーボード3010へ電力を供給する。
 次に、本実施の形態に係るキーボード3010の制御部120が実行するコマンド送信処理について図15を参照しながら説明する。なお、図15において実施の形態1で説明した処理と同様の処理については図7と同一の符号を付している。また、このコマンド送信処理は、接続装置12へ電源が投入され、制御部120のCPU121がリセットされ、PC16とのUSB通信並びに操作部11との通信が確立し操作部11から各種情報を受信したことを契機として開始される。
 まず、取得部1211は、2つの操作部3011が装着部3218に装着されているか否かを判定する(ステップS301)。取得部1211により2つの操作部3011の少なくとも一方が装着部3218から離脱していると判定されると(ステップS301:No)、実施の形態1の図7のステップS201以降の処理が実行される。即ち、2つの脱着可能な操作部3011のいずれか一方が、装着部3218から離脱した場合、離脱した方の操作部3011は、実施の形態1で説明したフラグ設定処理と同様の処理を実行し、キーボード3010の制御部120は、実施の形態1で説明したコマンド送信処理と同様の処理を実行する。
 一方、取得部1211は、2つの操作部3011が装着部3218に装着されていると判定すると(ステップS301:Yes)、2つの操作部3011から操作情報を受信したか否かを判定する(ステップS302)。取得部1211は、操作情報を受信していない場合(ステップS302:No)、再びステップS302の処理を実行する。一方、取得部1211は、操作情報を受信した場合(ステップS302:Yes)、まず、図12における左側操作部3011から受信した操作情報に含まれる移動速度情報と移動方向情報とを移動情報記憶部に記憶させる(ステップS303)。
 続いて、フラグ設定部3129は、左側操作部3011の操作情報に含まれる押下フラグの内容を参照して、左側操作部3011のプッシュスイッチ3113が押下されているか否かを判定する(ステップS304)。フラグ設定部3129は、左側操作部3011のプッシュスイッチ3113が押下されていると判定すると(ステップS304:Yes)、フラグ履歴記憶部が記憶する左側操作部3011の押下フラグを「1(オン)」に設定する(ステップS305)。一方、フラグ設定部3129は、左側操作部3011のプッシュスイッチ3113が押下されていないと判定すると(ステップS304:No)、左側操作部3011の押下フラグを「0(オフ)」に設定する(ステップ306)。
 その後、フラグ設定部3129は、他方の操作部、即ち、右側操作部3011について押下フラグの設定が完了したか否かを判定する(ステップS307)。フラグ設定部3129により右側操作部3011について押下フラグの設定が完了していないと判定されると(ステップS307:No)、右側操作部3011についてステップS304からS306までの一連の処理が実行される。
 一方、フラグ設定部3129が、右側操作部3011について押下フラグの設定が完了したと判定したとする(ステップS307:Yes)。この場合、特定部1213は、図14に示すようなコマンドテーブルTA11を参照して、押下フラグの内容、移動速度情報および移動方向情報と、に基づいて、PC16で実行されるコマンドを特定する(ステップS308)。
 次に、コマンド送信部1214は、特定部1213が特定したコマンドをPC16へ送信する(ステップS309)。その後、再びステップS301の処理が実行される。
 本実施の形態に係るユーザインタフェース装置3001によれば、操作部3011がキーボード3010の装着部3218に装着された状態で、操作部3011の蓄電部3118が充電される。また、2つの操作部3011のいずれか一方が、装着部3218から離脱した場合、他方の操作部3011は、装着部3218に装着された状態でPC16からの充電が継続される。従って、例えば2つの操作部3011を交互に装着部3218から離脱させて使用することにより、操作部3011のいわゆる電池切れのリスクが回避される。つまり、故障が無い限り半永久的に使用できるという利点がある。また、操作部3011がキーボード3010から離脱された状態では、ユーザがPC16やキーボード3010から離れたところでPC16の操作を行うことができるという利点もある。
(変形例)
 以上、本発明の実施の形態について説明したが、本発明は前述の実施の形態の構成に限定されるものではない。例えば図16に示すように、いわゆるペン型の操作部5011を備える構成であってもよい。
 この操作部5011は、ペン形状である本体部5111と、トラッキングセンサ5112と、ノックボタン5113と、を備える。本体部5111は、トラッキングセンサ5112、ノックボタン5113および加速度センサ(図示せず)を収納する。トラッキングセンサ5112は、本体部5111の長手方向における一端部に設けられ、本体部5111の外側面に露出するように配置されている。ノックボタン5113は、本体部5111の長手方向における一端部から本体部5111の長手方向に沿って突出し、本体部5111の長手方向に沿って本体部5111側に押し付ける方向へ押圧力を作用させたとき押下される。操作部5011のその他の構成は、図2に示す操作部11の構成と同様である。ユーザは、図17に示すように右手RHに操作部5011を把持してPC16の操作を行うことができる。また、この操作部5011は、ボールペンやシャープペンシルのような筆記具としての機能を有するものであってもよい。この場合、操作部5011は、ノックボタン5113の機能を筆記具のノックボタン機能またはPC16の操作用ボタン機能のいずれかに切り替えるための切替スイッチを更に備える構成となる。
 或いは、トラッキングセンサ5112の裏側にプッシュスイッチを備える構成であってもよい。この場合、ノックボタン5113は芯送り出し機能に特化させることができるので、上記切替スイッチが不要となる。
 また、操作部5011は、その先端部からレーザ光を放射するレーザポインタとして機能するものであってもよい。この場合、操作部5011は、ノックボタン5113の機能をレーザポインタのオンオフスイッチ機能またはPC16の操作用ボタン機能のいずれかに切り替えるための切替スイッチを更に備える構成となる。この切替スイッチとしては、例えば本体部5111のペン先側を本体部5111のノックボタン5113側に対して予め設定された角度だけ回転させることができる回転機構を利用したものを採用できる。この場合、例えば本体部5111のペン先側に対して本体部5111のノックボタン5113側をペン先側から見て右方向に回して固定すると操作部として機能し、ペン先側から見て左方向に回して固定するとレーザポインタとして機能する構成にできる。
 本構成によれば、操作部5011が筆記具或いはレーザポインタとしても機能するので、ユーザは操作部5011を多様な用途に利用することができる。また、本体部5111は、実施の形態1で説明したリング型の操作部11の本体部111に比べて内部の容積を大きくすることができる。従って、本体部5111の内容に蓄電部用に大きなスペースを確保し易くなる。
 実施の形態1では、操作部11が片手のみに装着される例について説明したが、これに限らず、例えば図18に示すように、左手LHおよび右手RHそれぞれに装着された2つの操作部11を備える構成であってもよい。
 この変形例に係る2つの操作部11および接続装置12の構成は、実施の形態1で説明した操作部11および接続装置12の構成と同様である。フラグ履歴記憶部1221は、2つの操作部11それぞれについてのロックフラグ、ローテーションフラグ、押下フラグおよび傾きフラグを記憶する。また、移動情報記憶部1222は、2つの操作部11それぞれについての移動情報を区別して記憶する。遷移履歴記憶部1223は、2つの操作部11それぞれについての押下フラグの遷移情報の履歴を区別して記憶している。
 テーブル記憶部1231は、図19に示すようなコマンドテーブルTA3を記憶する。コマンドテーブルTA3では、PC16で実行される各種コマンドを、ユーザの左手LHに装着された操作部(以下、「左側操作部」と称する。)11の操作モードと、ユーザの右手RHに装着された操作部(以下、「右側操作部」と称する。)11の操作モードと、2つの操作部11それぞれについてのクリック操作の有無およびスライド操作の有無と、に対応付けている。
 取得部1211は、接続装置12が2つの操作部11それぞれから受信した操作情報からフラグを抽出して、2つの操作部11のいずれのフラグかを区別できる形でフラグ履歴記憶部1221に時系列に記憶させる。また、取得部1211は、接続装置12が2つの操作部11それぞれから受信した操作情報から移動情報を抽出して、2つの操作部11のいずれのフラグかを区別できる形で移動情報記憶部1222に記憶させる。
 遷移情報生成部1212は、2つの操作部11それぞれについて押下フラグの遷移情報を生成して遷移履歴記憶部1223に記憶させる。
 特定部1213は、フラグ履歴記憶部1221が記憶するフラグから2つの操作部11それぞれの操作モードを特定する。そして、特定部1213は、特定した2つの操作部11それぞれ操作モードと、2つの操作部11それぞれについてのスライド操作の有無およびクリック操作の有無と、に基づいて、コマンド送信部1214が送信するコマンドを特定する。
 なお、本変形例に係る制御部110が実行するフラグ設定処理並びに制御部120が実行するコマンド送信処理は、実施の形態1で説明したフラグ設定処理並びにコマンド送信処理と同様である。但し、各操作部11の制御部110は、図4のステップS109の処理において、フラグおよび移動情報に、2つの操作部11のいずれについての情報であるかを識別する操作部識別情報を付与して接続装置12へ送信する。また、接続装置12の制御部120は、図7のステップS202の処理において、2つの操作部11それぞれについて個別に遷移情報を生成し、ステップS203の処理において、2つの操作部11それぞれについて操作モードを特定する。また、制御部120は、ステップS204の処理において、2つの操作部11それぞれについて個別にクリック操作の有無を判定する。
 本構成によれば、特定部1213が、2つの操作部11それぞれについて、傾きフラグ、ローテーションフラグおよびロックフラグの組み合わせから操作モードを特定する。そして、特定部1213は、2つの操作部11それぞれから取得した押下フラグの遷移情報および移動情報と、操作モードと、の組み合わせに基づいて、PC16で実行されるコマンドを特定する。これにより、特定部1213は、2つの操作部11それぞれの押下フラグの遷移情報、スライド操作の有無および操作モードの組み合わせの数に相当する複数種類のコマンドからコマンドを特定することができる。即ち、特定部は、1つの操作部のみで特定できるコマンドの数に比べて多くのコマンドを特定することができるので、ユーザは2つの操作部11に対する各操作に割り当てるコマンドを別のコマンドに切り替えるための操作を行う頻度が低減され。このように、本実施の形態に係るユーザインタフェース装置は、1つの操作部のみを備えるユーザインタフェース装置に比べて操作性に優れている。
 実施の形態1では、1つのトラッキングセンサ112と1つのプッシュスイッチ113とを有する操作部11を備える構成について説明したが、操作部が備えるトラッキングセンサとプッシュスイッチの数は1つに限定されるものではない。例えば図20に示すように、操作部が、2つのトラッキングセンサ2112A、2112Bと2つのプッシュスイッチ2113A、2113Bとを有する操作ボード2511から構成されていてもよい。操作ボード2511は、例えば2つのトラッキングセンサ2112A、2112Bと2つのプッシュスイッチ2113A、2113Bとに関する操作情報と、操作ボード2511の傾きを示す傾きフラグと、ロックフラグおよびローテーションフラグと、を送出する。
 また、操作ボード2511は、図21に示すように、制御部2110と無線通信部115と加速度センサ116と蓄電部117とを更に備える。制御部2110は、CPU118とRAM119とROM1110とを有する。RAM119は、フラグ記憶部1191と移動情報記憶部1192とを有する。CPU118は、ROM1110からプログラムをRAM119に読み込んで実行することにより、操作読取部2181、傾き検出部1182、フラグ管理部1183および通信制御部1184として機能する。なお、図21において実施の形態1と同様の構成については図2と同一の符号を付している。
 フラグ記憶部1191は、2つのプッシュスイッチ2113A、2113Bそれぞれの押下フラグと、操作ボード2511の傾きを示す傾きフラグと、ロックフラグおよびローテーションフラグと、を記憶する。移動情報記憶部1192は、2つのトラッキングセンサ2112A、2112Bそれぞれについての移動情報を区別して記憶する。操作読取部2181は、2つのトラッキングセンサ2112A、2112Bそれぞれから入力される信号を、2つのトラッキングセンサ2112A、2112Bそれぞれに対応する移動情報を生成して移動情報記憶部1192に記憶させる。また、操作読取部1181は、2つのプッシュスイッチ2113A、2113Bそれぞれから入力される信号に応じて、2つのプッシュスイッチ2113A、2113Bそれぞれの押下フラグを生成してフラグ記憶部1191に記憶させる。通信制御部1184は、2つのトラッキングセンサ2112A、2112Bそれぞれに対応する移動情報と2つのプッシュスイッチ2113A、2113Bそれぞれに対応する押下フラグと、傾きフラグ、ロックフラグおよびローテーションフラグとを接続装置12へ送信する。
 本変形例に係る操作ボード2511の制御部2110が実行するフラグ設定処理は、実施の形態1で説明したフラグ設定処理と同様である。但し、図4のステップS102の処理において、制御部2110は、2つのトラッキングセンサ2112A、2112Bそれぞれに対応する移動情報から2つのトラッキングセンサ2112A、2112Bの少なくとも一方についてスライド操作が有るか否かを判定する。また、図4のステップS103の処理において、制御部2110は、2つのプッシュスイッチ2113A、2113Bそれぞれの押下フラグの少なくとも一方が更新されたか否かを判定する。
 接続装置12の構成は、図21に示すように、実施の形態1で説明した接続装置12の構成と同様である。但し、フラグ履歴記憶部1221は、2つのプッシュスイッチ2113A、2113Bそれぞれの押下フラグを区別して記憶する。また、移動情報記憶部1222は、2つのトラッキングセンサ2112A、2112Bそれぞれに対応する移動情報を区別して記憶する。遷移履歴記憶部1223は、2つの操作部11それぞれから受信した押下フラグの遷移情報の履歴を区別して記憶している。
 テーブル記憶部1231は、図22に示すようなコマンドテーブルTA4を記憶する。コマンドテーブルTA4では、PC16で実行される各種コマンドを、操作ボード2511の操作モードと、2つのプッシュスイッチ2113A、2113Bそれぞれに対するクリック操作の有無と、2つのトラッキングセンサ2112A、2112Bそれぞれに対するスライド操作の有無と、に対応づけている。
 特定部1213は、2つのプッシュスイッチ2113A、2113Bそれぞれの押下フラグの遷移情報の履歴からクリック操作の有無を判定し、2つのトラッキングセンサ2112A、2112Bそれぞれの移動情報(移動速度情報)からスライド操作の有無を判定する。そして、特定部1213は、コマンドテーブルTA4を参照して、操作ボード2511の操作モードと、クリック操作の有無およびスライド操作の有無と、の組み合わせからコマンドを特定する。
 本構成によれば、操作ボード2511について、傾きフラグ、ローテーションフラグおよびロックフラグの組み合わせから操作モードを特定する。そして、特定部1213は、2つの操作部11それぞれから取得した押下フラグの遷移情報および移動情報と、操作モードと、の組み合わせに基づいて、PC16で実行されるコマンドを特定する。これにより、特定部1213は、1つの操作部のみで特定できるコマンドの数に比べて多くのコマンドを特定することが可能となる。
 各実施の形態では、図5Bおよび図5Cに示すように、操作部11の第1基準軸J1が第2基準軸J2周りに第1方向(図5Bの左回り方向)または第1方向とは逆方向の第2方向(図5Cの右回り方向)へ傾いたときに、フラグ管理部1183が、傾きフラグを変更する例について説明した。但し、傾きフラグを変更するために操作部11を傾ける方向は、1つの第2基準軸J2周りに回転する方向に限定されるものではない。例えば、操作部11が、互いに交差する2つの基準軸それぞれの周りに傾けられたときに、傾きフラグが更新される構成であってもよい。例えば図23Aおよび図23Bに示すように、操作部11の第1基準軸J1が互いに直交する第2基準軸J2および第3基準軸J3周りに傾いたときに、フラグ管理部1183が、傾きフラグを変更する構成であってもよい。ここで、第2基準軸J2は、鉛直方向(鉛直軸J0)に直交している。また、第3基準軸J3は、鉛直方向(鉛直軸J0)および第2基準軸J2に直交している。
 図23Aに示すように、操作部11の第1基準軸J1が第2基準軸J2周りに第1方向(図23Aの左回り方向)へ傾けられることにより、操作部11が、第1基準軸J1の鉛直方向(鉛直軸J0)に対する傾斜角度θ1が角度閾値θthよりも大きい姿勢になったとする。この場合、フラグ管理部1183は、傾きフラグを「1」に設定する。一方、図23Bに示すように、操作部11の第1基準軸J1が第3基準軸J3周りに第3方向(図23Bの右回り方向)へ傾けられることにより、操作部11が、第1基準軸J1の鉛直方向(鉛直軸J0)に対する傾斜角度θ3が角度閾値θthよりも大きい姿勢になったとする。この場合、フラグ管理部1183は、傾きフラグを「2」に設定する。
 本変形例に係る操作部11の制御部110が実行するフラグ設定処理は、実施の形態1で説明したフラグ設定処理と同様である。但し、図4のステップS104の処理において、フラグ管理部1183は、操作部11の第2基準軸J2周りの傾斜角度θ1と第3基準軸J3周りの傾斜角度θ3の両方が角度閾値θthよりも大きいと判定された場合、傾斜角度θ1、θ3に対する判定結果のいずれか一方を優先して傾きフラグを設定する。例えば、フラグ管理部1183が、操作部11の第2基準軸J2周りの傾斜角度θ1に対する判定結果を優先する場合、傾斜角度θ1、θ3の両方が角度閾値θthよりも大きいとき、傾きフラグを「1」に設定する。
 本構成によれば、操作部11を傾ける方向のバリエーションを増やすことができるので、操作部11の操作方法をユーザの嗜好に適合させ易くなるという利点がある。
 実施の形態では、接続装置12においてPC16で実行されるコマンドを特定してPC16へ送信する例について説明した。但し、これに限らず、例えば図24に示すように、操作部4011が、PC16で実行されるコマンドを特定し、無線通信装置4012を介してPC16へコマンドを送信するものであってもよい。なお、図24において実施の形態1と同様の構成については図2と同一の符号を付している。操作部4011のハードウェア構成は、実施の形態1で説明した操作部11のハードウェア構成と同様である。操作部4011と、PC16のUSBインタフェース165に接続された無線通信装置4012とからユーザインタフェース装置4001が構成されている。無線通信装置4012は、操作部4011からコマンドを示す情報を受信すると、そのコマンドを示す情報をPC16へ出力する。
 操作読取部1181は、プッシュスイッチ113から入力される信号に応じて押下フラグの内容を設定してフラグ履歴記憶部1221に記憶させる。フラグ管理部4183は、傾きフラグ、ロックフラグ、ローテーションフラグおよびチェックフラグの内容を設定してフラグ記憶部1191に記憶させる。コマンド送信部1214は、コマンド記憶部1224から特定部1213により特定されたコマンドを示す情報を取得してPC16に接続された無線通信装置4012へ送信する。
 次に、本変形例に係る操作部4011が実行するコマンド特定送信処理について説明する。このコマンド特定送信処理は、図4および図6に示すフラグ設定処理について、ステップS109の傾きフラグ、ロックフラグ、ローテーションフラグ、押下フラグおよび移動情報を送信する処理に代えて、図25に示すコマンド送信処理を実行するものである。なお、図25において、実施の形態1で説明したコマンド送信処理と同様の処理については図7と同一の符号を付している。
 本構成によれば、コマンドを特定する処理を操作部4011が担うことにより、実施の形態1で説明した接続装置12が不要となる。
 実施の形態1では、接続装置12の特定部1213各操作部11の押下フラグの遷移情報に基づいて、コマンドを特定する例について説明した。但し、これに限らず、例えば特定部1213が、操作部11に対応する押下フラグに基づいて、コマンドを特定する構成であってもよい。
 実施の形態1では、操作部11がユーザの右手RHに装着される例について説明したが、装着される場所は必ずしも右手RHに限定されるものではない。例えば操作部11がユーザの左手LHに装着されるものであってもよいし、或いは、ユーザの足の指に装着されるものであってもよい。
 実施の形態2では、PC16が、デスクトップ型のパソコンであり、キーボード3010とケーブルCAを介して有線接続している例について説明したが、これに限らず、PC16とキーボード3010とが無線接続されているものであってもよい。或いは、PC16の機能とキーボード3010の機能とを備えるノート型パソコンから構成されていてもよい。
 実施の形態2では、操作部3011がキーボード3010に設けられ、キーボード3010がPC16とケーブルCAを介して有線接続されている例について説明したが、これに限らず、例えば操作部3011がテレビ用のリモコンに設けられたものであってもよい。この場合、ユーザは、例えばテレビにインターネットのブラウザの画面を表示させた状態で、リモコンの操作部3011を操作してカーソル移動操作やスクロール操作を行うことができる。
 実施の形態1において、操作部11は、操作部11を構成するトラッキングセンサ112もしくはプッシュスイッチ113が、予め設定された時間だけ操作されなかった場合、低消費電力で動作するスリープモードに移行する構成であってもよい。この場合、操作部11は、操作部11を構成するトラッキングセンサ112もしくはプッシュスイッチ113が、操作されたことを契機として、スリープモードから通常モードへ移行するようにすればよい。
 各実施の形態では、操作部11がとりうる操作モードは、「Aモード」、「Bモード」、「Cモード」の3つである場合について説明したが、操作部11がとりうる操作モードの数は3つに限定されるものではなく、4つ以上であってもよい。例えば、ローテーションフラグが4種類以上の値をとりうるようにし、ユーザが「R操作」を行うことにより、ローテーションフラグが4種類以上の値に設定されうるようにしてもよい。この場合、ユーザが「R操作」を行うことにより、4つ以上の操作モードの中から、操作部11の傾きに応じて操作モードが変化する状態において実際に現れる3つの操作モードが選択される。例えば、操作部11が「Aモード」、「Bモード」、「Cモード」、「Dモード」、「Eモード」の5つの操作モードをとりうるとする。この場合、図26A乃至図26C並びに図27Aおよび図27Bに示すように、操作部11の傾きに応じて操作モードが変化する状態として状態ST21、ST22、ST23、ST24、ST25が存在しうる。また、図28A乃至図28C並びに図29Aおよび図29Bに示すように、操作部11の傾きに依らず操作モードが固定された状態として状態ST26、ST27、ST28、S29、S30が存在しうる。そうすると、ユーザインタフェース装置は、図30に示すような状態遷移図に従ってその状態が変化する。なお、図30において、「L操作」、「R操作」は、図11における「L操作」、「R操作」と同様の操作である。図26Aおよび図26Bに示すように、操作部11が状態ST21であるときに、ユーザにより「R操作」が実行されることにより操作部11が状態ST22に遷移すると、状態ST21では存在しなかった操作モード「Dモード」が新たに現れる。また、図26Bおよび図26Cに示すように、操作部11が状態ST22であるときに、ユーザにより「R操作」が実行されることにより操作部11が状態ST23に遷移すると、状態ST22では存在しなかった操作モード「Eモード」が新たに現れる。このように、本変形例に係るユーザインタフェース装置の場合、ユーザが「R操作」を行うことにより、5つの操作モードの中から、操作部11の傾きに応じて操作モードが変化する状態において実際に現れる3つの操作モードを選択することができる。
 或いは、傾きフラグが4種類以上の値をとりうるようにし、傾きフラグの各設定値に応じて異なる操作モードが選択される構成であってもよい。例えば、操作部11が、5つの操作モードをとりうる場合、傾きフラグが「0(水平)」、「1(左傾斜)」、「2(右傾斜)」に加えて、「3(左少し傾斜)」、「4「右少し傾斜」」に設定されるようにしてもよい。図31Aに示すように、操作部11の第1基準軸J1が鉛直方向に直交する第2基準軸J2周りに第1方向(図31Aの左回り方向)へ回転されて第1基準軸J1の鉛直方向(鉛直軸J0)に対する傾斜角度(第1傾斜角度)θ31が角度閾値θthの半分の角度1/2θthよりも大きく且つ角度閾値θth以下の範囲内になったとする。この場合、フラグ管理部1183は、操作部11が左に少し傾斜した姿勢になったとして、傾きフラグを「3(左少し傾斜)」に設定する。
 また、図31Bに示すように、操作部11の第1基準軸J1が第2基準軸J2周りに第1方向とは逆方向の第2方向(図31Bの右回り方向)へ回転されて第1基準軸J1の鉛直方向(鉛直軸J0)に対する傾斜角度(第2傾斜角度)θ2が角度閾値θthの半分の角度1/2θthよりも大きく且つ角度閾値θth以下の範囲内になったとする。この場合、フラグ管理部1183は、操作部11が右に少し傾斜した姿勢になったとして、傾きフラグを「4(右少し傾斜)」に設定する。
 また、本変形例では、フラグ管理部1183は、図6のステップS111の処理において、傾きフラグが「1(左傾斜)」に設定されていないと判定すると(ステップS111:No)、傾きフラグが「2(右傾斜)」に設定されているか否かを判定する。そして、フラグ管理部1183は、傾きフラグが「2(右傾斜)」に設定されていると判定すると、図6のステップS116の処理を実行する。一方、フラグ管理部1183が、傾きフラグが「2(右傾斜)」に設定されていない、即ち、傾きフラグが「3(左少し傾斜)」または「4(右少し傾斜)」に設定されていると判定したとする。この場合、そのままステップS109の処理が実行される。
 接続装置12のテーブル記憶部1231が、例えば図32に示すような操作モードテーブルTA5を記憶しているとする。この場合、接続装置12の特定部1213は、傾きフラグが「3(左少し傾斜)」に設定されている場合、ロックフラグおよびローテーションフラグの設定値に関わらず操作モード「Dモード」を特定する。また、特定部1213は、傾きフラグが「4(右少し傾斜)」に設定されている場合、ロックフラグおよびローテーションフラグの設定値に関わらず操作モード「Eモード」を特定する。
 本構成によれば、特定部1213が特定できるコマンドの数を増やすことができる。
 実施の形態2では、2つの操作部3011の一方が装着部3218から離脱した状態で、操作部3011が実施の形態1で説明したフラグ設定処理を実行する例について説明した。但し、これに限らす、例えば、2つの操作部3011の両方が装着部3218から離脱した状態でのみ、操作部3011が実施の形態1で説明したフラグ設定処理を実行する構成であってもよい。この場合、図15のステップS301の処理の代わりに、取得部1211が、2つの操作部3011の少なくとも一方が装着部3218に装着されているか否かを判定する処理を実行するようにすればよい。
 実施の形態1では、操作部11の制御部110がフラグ設定処理を実行することにより、ロックフラグおよびローテーションフラグの内容を設定する構成について説明した。但し、これに限らす、例えば接続装置12の制御部120が、ロックフラグおよびローテーションフラグの内容を設定する処理を実行する構成であってもよい。
 各実施の形態では、操作部が1つまたは2つの場合について説明したが、操作部の数は1つまたは2つに限定されるものではなく、3つ以上であってもよい。この場合、接続装置12の特定部1213は、3つ以上の操作部それぞれから取得した操作情報または操作情報の履歴と、各操作部の操作モードと、の組み合わせに基づいて、PC16で実行されるコマンドを特定してもよい。
 実施の形態1では、トラッキングセンサ112は、トラックボール1129を用いた機械式トラッキングセンサから構成されている例について説明したが、トラッキングセンサの構成はこれに限定されない。例えばトラッキングセンサが、ユーザによりタッチされるタッチ面を有する撮像素子を用いた光学式トラッキングセンサから構成されていてもよい。この場合、トラッキングセンサは、タッチ面が本体部の周面に露出するように配置されればよい。
 実施の形態1では、トラッキングセンサ112とプッシュスイッチ113とが別体である例について説明した。これに限らず、例えば、操作部11が、タッチ面を有し、このタッチ面に接触するユーザの指等のトラッキングを行うトラッキング部と、ユーザによりタッチ面が押下されたときの圧力を検出する感圧部と、を有する感圧トラッキングセンサを有するものであってもよい。この場合、トラッキング部が、ユーザの身体の少なくとも一部の移動速度および移動方向を検出し、感圧部が、タッチ面が押下されたときの圧力の大きさから、ユーザによりタッチ面が押下されたことを検出する。
 また、本発明に係るユーザインタフェース装置の各種機能は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、ネットワークに接続されているコンピュータに、上記動作を実行するためのプログラムを、コンピュータシステムが読み取り可能な非一時的な記録媒体(例えばCD-ROM)に格納して配布し、当該プログラムをコンピュータシステムにインストールすることにより、上述の処理を実行するユーザインタフェース装置を構成してもよい。
 また、コンピュータにプログラムを提供する方法は任意である。例えば、プログラムは、通信回線の掲示版(BBS)にアップロードされ、通信回線を介してコンピュータに配信されてもよい。そして、コンピュータは、このプログラムを起動して、OSの制御の下、他のアプリケーションと同様に実行する。これにより、コンピュータは、上述の処理を実行するユーザインタフェース装置として機能する。
 以上、本発明の実施の形態および変形例(なお書きに記載したものを含む。以下、同様。)について説明したが、本発明はこれらに限定されるものではない。本発明は、実施の形態および変形例が適宜組み合わされたもの、それに適宜変更が加えられたものを含む。
 本出願は、2016年9月5日に出願された日本国特許出願特願2016-172725号に基づく。本明細書中に日本国特許出願特願2016-172725号の明細書、特許請求の範囲および図面全体を参照として取り込むものとする。
1,2001,3001,4001:ユーザインタフェース装置、11,2011,3011,4011,5011:操作部、12:接続装置、16:PC、15:表示装置、15a:画面、17,3010:キーボード、110,120,2110:制御部、111,5111:本体部、112,2112A,2112B,3112,5112:トラッキングセンサ、113,2113A,2113B,3113:プッシュスイッチ、114:リング部、115,125,3215:無線通信部、116:加速度センサ、117,3118:蓄電部、118,121:CPU、119,122:RAM、123,1110:ROM、124,164,165,3214:USBインタフェース、161:処理部、162:記憶部、163:表示インタフェース、1129:トラックボール、1181,2181:操作読取部、1182:傾き読取部、1183,4183:フラグ管理部、1184:通信制御部、1191:フラグ記憶部、1192,1222:移動情報記憶部、1211:取得部、1212:遷移情報生成部、1213:特定部、1214:コマンド送信部、1221:フラグ履歴記憶部、1223:遷移履歴記憶部、1224:コマンド記憶部、1231:テーブル記憶部、2511:操作ボード、3120,3217:電源コネクタ、3119:電源回路、3129:フラグ設定部、3218:装着部、3219:解除釦、4012:無線通信装置、5113:ノックボタン、CA:ケーブル、LH:左手、RH:右手、TA1,TA5:操作モードテーブル、TA2,TA3,TA4,TA11:コマンドテーブル

Claims (17)

  1.  ユーザにより操作されると、操作内容を示す操作情報と、自己の第1基準軸の鉛直方向に対する傾きを示す傾き情報と、を送出する操作部と、
     前記操作部から取得した操作情報と傾き情報と前記操作部の操作モード設定状態を特定するための状態特定情報との組み合わせまたは前記操作情報の履歴と前記傾き情報と前記状態特定情報との組み合わせに基づいて、情報処理装置で実行されるコマンドを特定する特定部と、を備える、
     ユーザインタフェース装置。
  2.  前記操作モード設定状態が、前記操作部の前記第1基準軸の鉛直方向に対する傾きに応じて前記操作部の操作モードが変化する可変状態に設定されている場合、
     前記操作部の前記第1基準軸の鉛直方向に対する傾斜角度が予め設定された角度閾値以下である第1操作部姿勢で前記操作部が操作されたときに特定されるコマンドと、前記操作部の前記第1基準軸が鉛直方向に直交する第2基準軸周りに第1方向へ回転されて前記第1基準軸の鉛直方向に対する傾斜角度が前記角度閾値よりも大きくなった第2操作部姿勢で前記操作部が操作されたときに特定されるコマンドと、前記操作部の前記第1基準軸が前記第2基準軸周りに前記第1方向とは異なる第2方向へ回転されて前記第1基準軸の鉛直方向に対する傾斜角度が前記角度閾値よりも大きくなった第3操作部姿勢で前記操作部が操作されたときに特定されるコマンドと、は、互いに異なり、
     前記操作モード設定状態が、前記操作部の前記第1基準軸の鉛直方向に対する傾きに関わらず前記操作部の前記操作モードが固定されている固定状態に設定されている場合、
     前記第1操作部姿勢で前記操作部が操作されたときに特定されるコマンドと、前記第2操作部姿勢で前記操作部が操作されたときに特定されるコマンドと、前記第3操作部姿勢で前記操作部が操作されたときに特定されるコマンドと、は、同一であり、
     前記操作モード設定状態は、ユーザにより前記操作部に対して予め設定された第1操作がなされた場合、前記可変状態から前記固定状態または前記固定状態から前記可変状態へ遷移する、
     請求項1に記載のユーザインタフェース装置。
  3.  前記可変状態は、前記第1操作部姿勢で前記操作部が操作されたときに特定されるコマンドが互いに異なる、第1可変状態、第2可変状態および第3可変状態のいずれかから構成され、
     前記操作モード設定状態が、前記第1可変状態に設定されている場合、
     前記第1操作部姿勢で前記操作部が操作されたときに第1コマンドが特定され、前記第2操作部姿勢で前記操作部が操作されたときに第2コマンドが特定され、前記第3操作部姿勢で前記操作部が操作されたときに第3コマンドが特定され、
     前記操作モード設定状態が、前記第2可変状態に設定されている場合、
     前記第1操作部姿勢で前記操作部が操作されたときに前記第2コマンドが特定され、前記第2操作部姿勢で前記操作部が操作されたときに前記第3コマンドが特定され、前記第3操作部姿勢で前記操作部が操作されたときに前記第1コマンドが特定され、
     前記操作モード設定状態が、前記第3可変状態に設定されている場合、
     前記第1操作部姿勢で前記操作部が操作されたときに前記第3コマンドが特定され、前記第2操作部姿勢で前記操作部が操作されたときに前記第1コマンドが特定され、前記第3操作部姿勢で前記操作部が操作されたときに前記第2コマンドが特定され、
     前記操作モード設定状態は、ユーザにより前記操作部に対して予め設定された第2操作がなされた場合、前記第1可変状態から前記第2可変状態、前記第2可変状態から前記第3可変状態または前記第3可変状態から前記第1可変状態へ遷移する、
     請求項2に記載のユーザインタフェース装置。
  4.  前記固定状態は、前記操作部が操作されたときに特定されるコマンドが互いに異なる、第1固定状態、第2固定状態および第3固定状態のいずれかを含み、
     前記操作モード設定状態が、前記第1固定状態に設定されている場合、前記操作部が操作されたときに第1コマンドが特定され、
     前記操作モード設定状態が、前記第2固定状態に設定されている場合、前記操作部が操作されたときに第2コマンドが特定され、
     前記操作モード設定状態が、前記第3固定状態に設定されている場合、前記操作部が操作されたときに第3コマンドが特定され、
     前記操作モード設定状態は、ユーザにより前記操作部に対して予め設定された第2操作がなされた場合、前記第1固定状態から前記第2固定状態、前記第2固定状態から前記第3固定状態または前記第3固定状態から前記第1固定状態へ遷移する、
     請求項2に記載のユーザインタフェース装置。
  5.  前記操作部は、
     ユーザの身体の少なくとも一部の移動速度および移動方向を検出する移動検出部と、
     ユーザにより押下される押下部と、
     前記第1基準軸の前記第2基準軸周りの前記第1方向への第1傾斜角度または前記第1基準軸の前記第2基準軸周りの前記第2方向への第2傾斜角度を検出する傾斜角度検出部と、を有し、
     前記操作情報は、前記移動速度を示す移動速度情報と、前記移動方向を示す移動方向情報と、前記押下部が押下されているか否かを示す押下フラグと、を含み、
     前記傾き情報は、前記操作部の前記第1傾斜角度または前記第2傾斜角度が予め設定された前記角度閾値以上か、前記角度閾値未満であるかを示す傾きフラグを含み、
     前記傾きフラグおよび前記状態特定情報と、前記操作部の操作モードとを対応づける操作モードテーブルと、前記操作部の前記押下フラグの遷移履歴と、前記移動速度に基づいて判別される前記ユーザの動作の有無と、前記移動速度情報および前記移動方向情報を使用するコマンドを含む複数のコマンドとを対応づけるコマンドテーブルと、を更に備える、
     請求項2から4のいずれか1項に記載のユーザインタフェース装置。
  6.  前記押下フラグと、前記傾きフラグと、前記操作モード設定状態が前記可変状態と前記固定状態とのいずれであるかを示す第1操作モード設定フラグと、前記第1操作モード設定フラグを更新するか否かを定める更新可否フラグと、を記憶するフラグ記憶部と、
     前記傾斜角度検出部により検出される前記第1傾斜角度が前記角度閾値以下の場合、前記傾きフラグを第1値に設定し、前記第1傾斜角度が前記角度閾値よりも大きい場合、前記傾きフラグを第2値に設定し、前記第2傾斜角度が前記角度閾値よりも大きい場合、前記傾きフラグを第3値に設定し、前記傾きフラグが前記第1値に設定されている場合、前記押下フラグの内容に応じて前記更新可否フラグを第4値または第5値に設定し、前記傾きフラグが前記第2値または前記第3値のいずれか一方に設定され且つ前記更新可否フラグが前記第5値に設定されている場合、前記押下フラグの内容に応じて前記第1操作モード設定フラグを更新するフラグ管理部と、を更に備える、
     請求項5に記載のユーザインタフェース装置。
  7.  前記フラグ記憶部は、更に、前記操作部が前記第1操作部姿勢、前記第2操作部姿勢および前記第3操作部姿勢それぞれであるのときの前記操作部の操作モードを定める第2操作モード設定フラグを記憶し、
     前記更新可否フラグは、更に、前記第2操作モード設定フラグを更新するか否かを定め、
     前記フラグ管理部は、更に、前記傾きフラグが前記第3値に設定され且つ前記更新可否フラグが前記第5値に設定されている場合、前記押下フラグの内容に応じて前記第2操作モード設定フラグを更新する、
     請求項6に記載のユーザインタフェース装置。
  8.  前記傾斜角度検出部は、加速度センサを含む、
     請求項5から7のいずれか1項に記載のユーザインタフェース装置。
  9.  前記操作部は、
     前記移動検出部、前記押下部および前記傾斜角度検出部を収納する本体部と、
     環状の外形を有し前記本体部に固定されるとともに、ユーザの指に装着されるリング部とを更に有し、
     前記移動検出部は、トラックボールを有し、前記トラックボールの一部が前記本体部の一部から突出するように配置され、
     前記押下部は、前記本体部の内部における、ユーザが前記トラックボールに対して前記本体部側に押し付ける方向への押圧力を作用させたときに押下される位置に配置されている、
     請求項5から8のいずれか1項に記載のユーザインタフェース装置。
  10.  前記操作部は、
     前記移動検出部、前記押下部および前記傾斜角度検出部を収納する本体部を更に有し、
     前記移動検出部は、前記本体部の長手方向における一端部に設けられ前記本体部の外側面に露出するように配置されたトラッキングセンサを有し、
     前記押下部は、前記本体部の長手方向における一端部から前記本体部の長手方向に沿って突出し前記本体部の長手方向に沿って前記本体部側に押し付ける方向へ押圧力を作用させたとき押下されるノックボタンを含む、
     請求項5から8のいずれか1項に記載のユーザインタフェース装置。
  11.  前記操作部は、
     前記移動検出部と前記押下部とを複数有する、
     請求項5から8のいずれか1項に記載のユーザインタフェース装置。
  12.  前記操作部が着脱自在に装着される装着部と、前記操作部へ電力を供給するための第1電源コネクタと、を有する入力装置を更に備え、
     前記操作部は、
     蓄電部と、
     前記装着部に装着された状態で前記第1電源コネクタに接続される第2電源コネクタと、
     前記第2電源コネクタに供給される電力により前記蓄電部を充電する電源回路と、を有し、
     前記入力装置は、
     前記装着部に前記操作部が装着されている状態で、前記電源回路へ前記第1電源コネクタおよび前記第2電源コネクタを介して電力を供給することにより前記電源回路に前記蓄電部を充電させる、
     請求項1に記載のユーザインタフェース装置。
  13.  前記操作部は、複数存在し、
     前記特定部は、複数の前記操作部それぞれから取得した操作情報と傾き情報と状態特定情報との組み合わせまたは前記操作情報の履歴と前記傾き情報と前記状態特定情報との組み合わせに基づいて、前記情報処理装置で実行されるコマンドを特定する、
     請求項1から12のいずれか1項に記載のユーザインタフェース装置。
  14.  ユーザにより操作されると、操作内容を示す操作情報と、自己の第1基準軸の鉛直方向に対する傾きを示す傾き情報と、前記自己の操作モード設定状態を特定するための状態特定情報と、を送出する操作部から取得した操作情報と傾き情報と状態特定情報との組み合わせまたは前記操作情報の履歴と前記傾き情報と前記状態特定情報との組み合わせに基づいて、情報処理装置で実行されるコマンドを特定する特定部を備える、
     接続装置。
  15.  ユーザにより操作されると、操作内容を示す操作情報と、自己の第1基準軸の鉛直方向に対する傾きを示す傾き情報と、前記自己の操作モード設定状態を特定するための状態特定情報と、を取得し、前記操作情報と前記傾き情報と前記状態特定情報との組み合わせまたは前記操作情報の履歴と前記傾き情報と前記状態特定情報との組み合わせに基づいて、情報処理装置で実行されるコマンドを特定する特定部を備える、
     操作部。
  16.  ユーザにより操作されると、操作内容を示す操作情報と、操作部の第1基準軸の鉛直方向に対する傾きを示す傾き情報と、前記操作部の操作モード設定状態を特定するための状態特定情報と、を送出する前記操作部から取得した操作情報と傾き情報と状態特定情報との組み合わせまたは前記操作情報の履歴と前記傾き情報と前記状態特定情報との組み合わせに基づいて、情報処理装置で実行されるコマンドを特定する、
     コマンド特定方法。
  17.  コンピュータを、
     ユーザにより操作されると、操作内容を示す操作情報と、操作部の第1基準軸の鉛直方向に対する傾きを示す傾き情報と、前記操作部の操作モード設定状態を特定するための状態特定情報と、を送出する前記操作部から取得した操作情報と傾き情報と状態特定情報との組み合わせまたは前記操作情報の履歴と前記傾き情報と前記状態特定情報との組み合わせに基づいて、情報処理装置で実行されるコマンドを特定する特定部、
     として機能させるプログラム。
PCT/JP2017/031667 2016-09-05 2017-09-01 ユーザインタフェース装置、接続装置、操作部、コマンド特定方法およびプログラム WO2018043722A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018537572A JP6690722B2 (ja) 2016-09-05 2017-09-01 ユーザインタフェース装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-172725 2016-09-05
JP2016172725 2016-09-05

Publications (1)

Publication Number Publication Date
WO2018043722A1 true WO2018043722A1 (ja) 2018-03-08

Family

ID=61305217

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031667 WO2018043722A1 (ja) 2016-09-05 2017-09-01 ユーザインタフェース装置、接続装置、操作部、コマンド特定方法およびプログラム

Country Status (2)

Country Link
JP (1) JP6690722B2 (ja)
WO (1) WO2018043722A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7455277B2 (ja) 2020-04-30 2024-03-25 コックス スペース カンパニー リミテッド モーション信号とマウス信号を使用してホスト装置を制御するための電子装置
WO2024070266A1 (ja) * 2022-09-29 2024-04-04 Nissha株式会社 指装着型コントローラー

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10301706A (ja) * 1997-04-24 1998-11-13 Nec Niigata Ltd 装着形ポインティングデバイス装置
JPH1139091A (ja) * 1997-07-24 1999-02-12 Alps Electric Co Ltd データ入力装置
JP2001159951A (ja) * 1999-12-02 2001-06-12 Nec Corp 情報処理装置および情報処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10301706A (ja) * 1997-04-24 1998-11-13 Nec Niigata Ltd 装着形ポインティングデバイス装置
JPH1139091A (ja) * 1997-07-24 1999-02-12 Alps Electric Co Ltd データ入力装置
JP2001159951A (ja) * 1999-12-02 2001-06-12 Nec Corp 情報処理装置および情報処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7455277B2 (ja) 2020-04-30 2024-03-25 コックス スペース カンパニー リミテッド モーション信号とマウス信号を使用してホスト装置を制御するための電子装置
WO2024070266A1 (ja) * 2022-09-29 2024-04-04 Nissha株式会社 指装着型コントローラー

Also Published As

Publication number Publication date
JPWO2018043722A1 (ja) 2019-01-17
JP6690722B2 (ja) 2020-04-28

Similar Documents

Publication Publication Date Title
US11353969B2 (en) Dynamic visual indications for input devices
EP3226108B1 (en) Electronic pen and position detection system
US8810514B2 (en) Sensor-based pointing device for natural input and interaction
US20180246587A1 (en) Configurable communication protocol for communication between a stylus device and a host device
US20120019488A1 (en) Stylus for a touchscreen display
US11893169B2 (en) Multi-functional stylus
WO2011163601A1 (en) Activation objects for interactive systems
CN113396378A (zh) 针对用于二维和三维环境的多用途输入装置的系统和方法
US20120262369A1 (en) Hand-mountable device for providing user input
JP6690722B2 (ja) ユーザインタフェース装置
CN114995665A (zh) 触控笔的笔尖寿命提示方法、触控笔及电子设备
US20230418397A1 (en) Mouse input function for pen-shaped writing, reading or pointing devices
JP2019046088A (ja) 表示制御装置、ポインタの表示方法及びプログラム
JP6575613B2 (ja) ユーザインタフェース装置、操作部、接続装置、コマンド特定方法およびプログラム
KR20030017924A (ko) 펜형 무선 광마우스
EP2511792A1 (en) Hand-mountable device for providing user input
WO2022019899A1 (en) Stylus with force sensor arrays
KR20140069460A (ko) 정보 단말기와 연동하는 필기 장치
JP2000132327A (ja) ペン型ポインティングデバイス

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018537572

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17846725

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17846725

Country of ref document: EP

Kind code of ref document: A1