WO2022091760A1 - 操作装置 - Google Patents

操作装置 Download PDF

Info

Publication number
WO2022091760A1
WO2022091760A1 PCT/JP2021/037608 JP2021037608W WO2022091760A1 WO 2022091760 A1 WO2022091760 A1 WO 2022091760A1 JP 2021037608 W JP2021037608 W JP 2021037608W WO 2022091760 A1 WO2022091760 A1 WO 2022091760A1
Authority
WO
WIPO (PCT)
Prior art keywords
character
touch panel
contact
input
determination unit
Prior art date
Application number
PCT/JP2021/037608
Other languages
English (en)
French (fr)
Inventor
智仁 山▲崎▼
幹生 岩村
一太郎 塚田
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Publication of WO2022091760A1 publication Critical patent/WO2022091760A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Definitions

  • the present invention relates to an operating device.
  • Head-mounted displays that display virtual objects in virtual space and real objects in real space using AR (Augmented Reality) technology or MR (Mixed Reality) technology are becoming widespread.
  • AR Augmented Reality
  • MR Magnetic Reality
  • a head-mounted display including an operation unit operated at the time of character input has been proposed (for example, Patent Document 1).
  • the operating device is an operating device that can communicate with an information processing device having a display surface on which input characters are displayed and is held by the user. Therefore, whether or not the first operation is performed during the first operation period in which the touch panel in which the text input determination area is set and the first operation and the second operation different from each other can be accepted is the start of contact with the touch panel.
  • a determination operation determination unit for determining whether or not the position is within the text input determination area is provided, and the first operation is one or more first operations belonging to the first character group. It is an operation for selecting a character from the candidate characters, and the second operation is for selecting a character from one or more second candidate characters related to the character selected by the first operation. Including operations.
  • FIG. 1 It is a figure which shows the outline of the system including the operation apparatus which concerns on embodiment. It is explanatory drawing which shows the appearance of the information processing apparatus shown in FIG. It is a block diagram which shows the structure of the operation apparatus shown in FIG. It is a block diagram which shows the structure of the information processing apparatus shown in FIG. It is a figure which shows an example of the image displayed by the information processing apparatus shown in FIG. 1. It is explanatory drawing for demonstrating the operation with respect to the operation apparatus shown in FIG. It is a figure which shows another example of the image displayed by the information processing apparatus shown in FIG. 1. It is a figure which shows another example of the image displayed by the information processing apparatus shown in FIG. 1. It is a flowchart which shows an example of the operation of the operation apparatus shown in FIG.
  • FIG. 1 is a diagram showing an outline of a system SYS including an operation device 10 according to an embodiment.
  • the system SYS has an operation device 10 held by the user U and an information processing device 20 capable of communicating with the operation device 10.
  • the term "device” in the present specification may be read as another term such as a circuit, a device or a unit.
  • the operating device 10 accepts the operation of the user U, for example, by changing one or both of the posture and the position of the operating device 10 by the user U. Further, the operation device 10 has a touch panel 160, and receives an operation on the touch panel 160 by the user U. Details of the operating device 10 will be described with reference to FIG. 3, which will be described later.
  • any information processing device can be adopted.
  • it may be a wearable terminal worn on the head of the user U, or a portable information terminal such as a smartphone or a tablet terminal. May be.
  • the wearable terminal worn on the head of the user U is, for example, a head-mounted display, smart glasses, or the like. In the following description, smart glasses are assumed as the information processing device 20.
  • the information processing device 20 displays a virtual object in a virtual space and a real object in a real space by using, for example, AR (Augmented Reality) technology or MR (Mixed Reality) technology.
  • the information processing device 20 may make the user U visually recognize the real object and the virtual object by the optical see-through method, or the video see-through method in which the virtual object is fused with the image captured in the real space around the user U. Therefore, the user U may be made to visually recognize the real object and the virtual object.
  • the information processing apparatus 20 may display a virtual space by using VR (Virtual Reality) technology. That is, the information processing apparatus 20 may display a virtual space or the like by using xR (general term for AR, MR, VR, etc.) technology. In this embodiment, it is assumed that the information processing apparatus 20 employs an optical see-through method.
  • FIG. 2 is an explanatory diagram showing the appearance of the information processing apparatus 20 shown in FIG.
  • the information processing apparatus 20 has a half mirror HFM used for the optical see-through method and a frame FRM to which the half mirror HFM is attached.
  • a processing device 200 that controls the entire information processing device 20, a storage device 220 that stores various data, a communication device 240, an image pickup device 260, a display device 280, and sound are stored.
  • a sound output device 290 to be reproduced is arranged. That is, in the present embodiment, the image pickup apparatus 260 is attached to the user U.
  • the arrangement of the processing device 200, the storage device 220, the communication device 240, the image pickup device 260, the display device 280, and the sound output device 290 is not limited to the example shown in FIG.
  • the communication device 240 is hardware (transmission / reception device) for communicating with other devices such as the operation device 10.
  • the communication device 240 has one or both of a function of communicating with another device via a mobile communication network or a network and a function of communicating with another device by short-range wireless communication.
  • Examples of short-range wireless communication include Bluetooth (registered trademark), ZigBee (registered trademark), Wi-Fi (registered trademark), and the like.
  • the image pickup device 260 is a device that captures an image of a subject and outputs image information indicating the image of the captured subject. For example, the image pickup apparatus 260 generates image information indicating an image obtained by imaging the outside world. The image information is information indicating the state of the outside world such as a space in front of the user U (in the direction of the field of view).
  • the image pickup apparatus 260 includes, for example, an image pickup optical system and an image pickup element.
  • the image pickup optical system is an optical system including at least one image pickup lens LEN.
  • the image pickup optical system may have various optical elements such as a prism, or may have a zoom lens, a focus lens, and the like.
  • the image pickup device is, for example, a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary MOS) image sensor, or the like.
  • the display device 280 is an output device that displays an image.
  • the display device 280 displays a virtual object or the like under the control of the processing device 200.
  • various display panels such as a liquid crystal display panel and an organic EL (Electro Luminescence) display panel are preferably used.
  • the display device 280 appropriately includes various configurations such as a light source and an optical system for realizing a display by a see-through method in which a real object and a virtual object are visually recognized by a user.
  • the display device 280 displays an image
  • the light reflected by the half mirror HFM is projected onto the retina of the user U.
  • the light reflected by the half mirror HFM causes the user U to recognize the image displayed by the display device 280.
  • the surface visible from the user U corresponds to the display surface SC shown in FIG. Therefore, when the display device 280 is displaying an image, the user U passes through a region other than the region where the image is displayed in the display surface SC (half mirror HFM surface), for example, to see the outside world (outside world).
  • the image) can be visually recognized.
  • the image of the outside world that is visually recognized by the user U through the half mirror HFM is also referred to as an actual outside world image.
  • the appearance of the information processing apparatus 20 (for example, the shape of the half mirror HFM) is not limited to the example shown in FIG.
  • FIG. 3 is a block diagram showing the configuration of the operating device 10 shown in FIG.
  • the operating device 10 includes a processing device 100, a storage device 120, a communication device 140, a touch panel 160, an inertial sensor 180, and a vibration generator 190.
  • the processing device 100 is a processor that controls the entire operating device 10, and is composed of, for example, a single or a plurality of chips.
  • the processing device 100 is composed of, for example, a central processing unit (CPU: Central Processing Unit) including an interface with peripheral devices, an arithmetic unit, registers, and the like.
  • CPU Central Processing Unit
  • a part or all of the functions of the processing device 100 may be performed by hardware such as DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), and FPGA (Field Programmable Gate Array). It may be realized.
  • the processing apparatus 100 executes various processes in parallel or sequentially.
  • the processing device 100 functions as an operation determination unit 110 by executing, for example, the control program PR1 read from the storage device 120. That is, the processing device 100 has an operation determination unit 110.
  • the operation determination unit 110 determines whether or not the operation on the touch panel 160 performed during the first operation period in which different first operations and second operations can be received is the first operation.
  • the operation on the touch panel 160 may be, for example, for the user U to bring an object such as a finger into contact with the touch panel 160.
  • the operation on the touch panel 160 may be a touch operation such as a tap operation, a flick operation, and a drag operation.
  • the contact of the user U's finger or the like with the touch panel 160 is also referred to as a touch operation. Further, in the following, it is assumed that the finger of the user U touches the touch panel 160 as a touch operation.
  • the first operation is, for example, an operation for selecting a character from one or more first candidate characters belonging to the first character group.
  • This "character” includes alphabets, hiragana, katakana, kanji, numbers, symbols, symbols and the like.
  • the first character group is, for example, one character group selected from a plurality of character groups in which a plurality of first candidate characters that are candidates for input characters are classified.
  • the user U selects a desired character group from a plurality of character groups as the first character group by changing one or both of the positions and postures of the operating device 10.
  • the second operation includes an operation for selecting a character from one or more second candidate characters PW (see FIG. 8) related to the character selected by the first operation. Details of the operation of the operation determination unit 110 will be described with reference to FIG. 9 and the like described later.
  • the storage device 120 is a recording medium that can be read by the processing device 100, and stores a plurality of programs including the control program PR1 executed by the processing device 100 and various data used by the processing device 100.
  • the storage device 120 may be configured by at least one such as a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Erasable Programmable ROM), and a RAM (Random Access Memory).
  • the storage device 120 may be referred to as a register, a cache, a main memory (main storage device), or the like.
  • the control program PR1 may be transmitted from another device via a network such as the Internet.
  • the communication device 140 is hardware (transmission / reception device) for communicating with other devices such as the information processing device 20.
  • the communication device 140 has one or both of a function of communicating with another device via a mobile communication network or a network and a function of communicating with another device by short-range wireless communication.
  • the touch panel 160 detects the touch operation of the user U.
  • the touch panel 160 is configured by bonding a touch sensor unit capable of detecting a touch operation between various display panels such as a liquid crystal display panel and an organic EL display panel and a cover glass.
  • the touch panel 160 when the finger of the user U is in contact with the touch panel 160, the touch panel 160 periodically detects the contact position of the finger of the user U on the touch panel 160, and the operation determination unit uses touch information indicating the detected contact position. Send to 110.
  • the user U executes character input by, for example, performing a touch operation on the touch panel 160 during the first operation period. Further, in the first operation period, as shown in FIG. 6, which will be described later, the first region RA1 is set on the touch panel 160.
  • the first area RA1 is an example of a "text input determination area".
  • the inertial sensor 180 detects, for example, the acceleration of the operating device 10 in each of the three axes representing the three-dimensional space, and the angular velocity of the operating device 10 when each of the three axes is used as a rotation axis. Then, the processing device 100 generates motion information indicating the detection results of the acceleration and the angular velocity of the operating device 10. The motion information may be transmitted to the information processing device 20 by, for example, the communication device 140.
  • the vibration generator 190 is, for example, a vibrator and vibrates under the control of the processing device 100.
  • the processing device 100 vibrates the operating device 10 by vibrating the vibration generating device 190.
  • the configuration of the operating device 10 is not limited to the example shown in FIG.
  • the vibration generator 190 may be provided as needed or may be omitted.
  • the inertial sensor 180 may detect only one of acceleration and angular velocity.
  • the touch panel 160 does not have to include a display function.
  • the touch panel 160 may have a panel that does not include a display function instead of the display panel.
  • FIG. 4 is a block diagram showing the configuration of the information processing apparatus 20 shown in FIG. As described with reference to FIG. 2, the information processing device 20 includes a processing device 200, a storage device 220, a communication device 240, an image pickup device 260, a display device 280, and a sound output device 290.
  • the information processing device 20 includes a processing device 200, a storage device 220, a communication device 240, an image pickup device 260, a display device 280, and a sound output device 290.
  • a plurality of elements of the information processing apparatus 20 are connected to each other by a single unit or a plurality of buses for communicating information. Further, each of the plurality of elements of the information processing apparatus 20 may be composed of a single device or a plurality of devices. Alternatively, some elements of the information processing apparatus 20 may be omitted. Since the communication device 240, the image pickup device 260, the display device 280, and the sound output device 290 have been described in FIG. 2, FIG. 4 mainly describes the processing device 200.
  • the processing device 200 is a processor that controls the entire information processing device 20, and is configured in the same manner as the processing device 100 of the operation device 10 described with reference to FIG.
  • the processing device 200 functions as a character input control unit 210 by executing the control program PR2 read from the storage device 220.
  • the character input control unit 210 executes, for example, a process related to character input.
  • the processing related to character input includes, for example, a process of starting a character input period for accepting an operation related to character input, a process of ending the character input period, and an information processing device 20 for processing characters selected by an operation on the operation device 10.
  • the processing to be input to is applicable. Further, for example, the process of notifying the operation device 10 of the start and end of the character input period also corresponds to the process related to the character input.
  • the character input control unit 210 is based on at least one of image information indicating an image captured by the image pickup device 260 and motion information indicating a change in one or both of the position and posture of the operation device 10. It is determined whether or not the posture of the user U is stable.
  • the stable posture of the user U corresponds to, for example, a natural posture in which the user U lowers his / her hand. In the natural posture in which the user U lowers his / her hand, the distance between the position of the hand and the position of the eyes when the user U lowers the hand becomes a predetermined distance or more.
  • the position of the hand corresponds to the position of the operating device 10
  • the position of the eyes corresponds to the position of the imaging device 260. Therefore, the character input control unit 210 may determine that the posture of the user U is stable, for example, when the distance between the position of the image pickup device 260 and the position of the operation device 10 is a predetermined distance or more. ..
  • the character input control unit 210 determines that the posture of the user U is stable, the character input control unit 210 starts a character input period for accepting operations related to character input. If the character input period has already started, the character input period is continued while the posture of the user U is stable. In other words, if the character input control unit 210 determines that the posture of the user U is not stable, the character input control unit 210 ends the character input period.
  • the character input control unit 210 inputs characters or the like selected by operating the operation device 10 into the information processing device 20. A part of the character input period corresponds to the first operation period described in FIG. That is, the character input period includes the first operation period.
  • the storage device 220 is a recording medium that can be read by the processing device 200, and stores a plurality of programs including the control program PR2 executed by the processing device 200 and various data used by the processing device 200.
  • the storage device 220 may be composed of, for example, at least one of ROM, EPROM, EEPROM, RAM, and the like.
  • the storage device 220 may be referred to as a register, a cache, a main memory (main storage device), or the like.
  • the control program PR2 may be transmitted from another device via a network such as the Internet.
  • the configuration of the information processing apparatus 20 is not limited to the example shown in FIG.
  • the image pickup device 260 and the sound output device 290 may be provided as needed, or may be omitted.
  • FIG. 5 is a diagram showing an example of an image displayed by the information processing apparatus 20 shown in FIG.
  • FIG. 5 shows an example of an image displayed on the display surface SC by the information processing apparatus 20 during the character input period.
  • the information processing apparatus 20 displays, for example, an image in which the character input screen CIS is superimposed on the actual outside world image on the display surface SC.
  • the user U looks as if the character input screen CIS is displayed in the actual space.
  • the shape of the display surface SC corresponds to the shape of the surface of the half mirror HFM, but in FIG. 5, a quadrangular display surface SC is shown in order to make the figure easier to see. Further, in the example shown in FIG. 5, it is assumed that alphanumerical characters are input.
  • the character input screen CIS includes an input character area CIW for displaying a character string input by the user U, a first display area DRA1, and a second display area DRA2.
  • the broken line circle DLN1 indicating the boundary (outer circumference) of the first display area DRA1 and the dotted circle DLN2 indicating the boundary (outer circumference) of the second display area DRA2 may not be displayed on the display surface SC. , May be displayed.
  • the first display area DRA1 is set at the center of the display surface SC, but the first display area DRA1 is set at a position deviated from the center of the display surface SC. May be done.
  • FIG. 5 describes an image displayed in the first display area DRA1.
  • the image displayed in the second display area DRA2 will be described later with reference to FIG.
  • the group identification information IDFg for identifying each of the plurality of character groups is displayed.
  • a group of a plurality of character groups including 10 character groups including different numbers among the numbers from “0” to “9” and one character group including a question mark and the like.
  • the identification information IDFg is displayed in the first display area DRA1.
  • the 26 characters of the alphabet are classified into eight character groups including any number from "2" to "9".
  • a character group containing the number "2" includes the alphabets "A", "B” and "C”
  • a character group containing the number "9” includes the alphabets "W” and "C”. Includes “X”, "Y” and "Z”.
  • FIGS. 7 and 8 described later, in order to make the figure easier to see, the description of the leader line in the code is omitted in some of the group identification information IDFg among the plurality of group identification information IDFg. ing.
  • Group identification information IDFg is an example of "identification information for identifying each of a plurality of character groups". That is, in the example shown in FIG. 5, the information indicating the characters included in each character group corresponds to the identification information of each character group. For example, in a circular image containing the character string "DEF" and the number "3", the identification information of the character group including the alphabet "D", "E", "F” and the number "3" is displayed. Corresponds to the image. Further, in the example shown in FIG. 5, the key identification information IDFk for identifying each of a plurality of keys including a space key, a backspace key, a character type switching key, a case switching key, and an enter key. Is also displayed in the first display area DRA1.
  • FIG. 6 is an explanatory diagram for explaining the operation for the operating device 10 shown in FIG. Although FIG. 6 shows a quadrangular touch panel 160, the shape of the touch panel 160 is not limited to the quadrangle.
  • the touch panel 160 of the operation device 10 is set with a first area RA1 as a reference for determining whether or not the touch operation is the first operation.
  • the first region RA1 may be an region corresponding to the first display region DRA1 of the display surface SC of the information processing apparatus 20.
  • the shape of the first display region RA1 may be a shape that matches the shape of the first display region DRA1 or may be a shape different from the shape of the first display region DRA1.
  • the shape of the first display region DRA1 shown in FIG. 5 is a circle having a predetermined radius, but the shape of the first region RA1 shown in FIG. 6 is an ellipse.
  • the x mark in FIG. 6 indicates the center of the first region RA1.
  • the arrow starting from the contact start position SP with respect to the touch panel 160 indicates the moving direction D of the contact position, which is the contact position with respect to the touch panel 160, and the end point of the arrow indicates the end position of the contact.
  • the ellipse LN1 or the like indicating the boundary (outer circumference) of the first region RA1 may or may not be displayed on the touch panel 160.
  • the area other than the first area RA1 in the touch panel 160 may be referred to as a second area RA2.
  • FIG. 7 is a diagram showing another example of the image displayed by the information processing apparatus 20 shown in FIG.
  • the flick input screen FLW for selecting one of the plurality of first candidate characters belonging to the first character group selected from the plurality of character groups is displayed on the display surface SC.
  • the first character group is selected by, for example, an operation of changing one or both of the positions and postures of the operating device 10 and an operation including a touch operation of the touch panel 160 to the first region RA1.
  • the user U selects one character group from a plurality of character groups by changing the posture of the operation device 10 (for example, tilting the operation device 10). Then, the user U selects one character group from the plurality of character groups, and by touching the finger in the first area RA1 of the touch panel 160, the user U selects one character group from the plurality of character groups. Select a character group as the first character group. In the example shown in FIG. 7, it is assumed that the character group including the number "7" is selected as the first character group. Therefore, in the example shown in FIG. 7, any of a plurality of first candidate characters (“P”, “Q”, “R”, “S”, and “7”) belonging to the character group including the number “7”.
  • the flick input screen FLW for selecting the character is displayed on the display surface SC.
  • the alphabet "R” is selected from the plurality of first candidate characters, and the selected alphabet “R” is selected. Is displayed in the input character area CIW. That is, when the contact position of the finger with respect to the first region RA1 of the touch panel 160 moves in the direction Du, the alphabet “R” is selected as the character to be displayed in the input character region CIW. Similarly, if the finger contact position moves in the direction Dr, the alphabet "S” is selected, and if the finger contact position moves in the direction Dl, the alphabet "Q” is selected and the finger contact position is changed. When moving in the direction Dd, the number “7" is selected. If the finger does not move and moves away from the touch panel 160, the alphabet "P" is selected.
  • the first character group can be obtained.
  • a character is selected from one or more first candidate characters to which it belongs. Therefore, touching the finger in the first region RA1 and moving the contact position of the finger with respect to the first region RA1 or moving the finger away from the touch panel 160 without moving the finger corresponds to the first operation.
  • FIG. 8 is a diagram showing another example of the image displayed by the information processing apparatus 20 shown in FIG.
  • the contact position of the finger moves in the direction Du. That is, in the example shown in FIG. 8, it is assumed that the alphabet "R" is selected by the first operation. Further, in the example shown in FIG. 8, it is assumed that a lowercase letter is selected from the uppercase and lowercase letters. Therefore, in the example shown in FIG. 8, the lowercase alphabet "r" is displayed in the input character area CIW.
  • a plurality of second candidate characters PW related to the characters selected by the first operation are located outside the first display area DRA1. It is displayed in the second display area DRA2.
  • the plurality of second candidate characters PW are, for example, a plurality of input candidate characters predicted based on the characters selected by the first operation.
  • a plurality of second candidate characters PW related to the alphabet "r" selected by the first operation are displayed.
  • PW a plurality of second candidate characters PW related to the alphabet "r" selected by the first operation
  • “rate”, “radio”, “race”, “rain”, “reach”, “recent”, “reason”, “real”, and “ready” are used as a plurality of second candidate characters PW.
  • the plurality of second candidate characters PW may be displayed in the second display area DRA2, for example, based on the certainty of prediction.
  • the second candidate character PW having the highest prediction accuracy is the touch panel 160 when the first operation is completed as compared with the other second candidate characters PW. It may be displayed at a position close to the position in the display surface SC corresponding to the contact position inside. That is, the second candidate character PW having the highest prediction accuracy may be displayed at a position close to the position in the display surface SC corresponding to the contact end position determined to be the first operation.
  • the position in the display surface SC corresponding to the contact position (end position) in the touch panel 160 when the first operation is completed is also simply referred to as the end position in the display surface SC.
  • the finger of the user U When the second candidate character PW with the highest prediction accuracy is displayed at a position close to the end position on the display surface SC, the finger of the user U when selecting a character from the second candidate character PW after inputting one character. It can be expected that the amount of movement will be reduced. When the movement amount of the finger of the user U is reduced, the operability of character input is improved.
  • the operation determination unit 110 determines that the first operation is the start position of the contact.
  • Information indicating the SP and the end position may be transmitted to the information processing apparatus 20.
  • the information processing apparatus 20 easily determines the display position of the second candidate character PW, which has the highest prediction accuracy, based on the information indicating the contact start position SP and the contact end position determined to be the first operation. can.
  • the operation determination unit 110 of the operation device 10 determines whether or not the contact with the touch panel 160 is the first operation, and based on whether or not the start position SP of the contact with the touch panel 160 is within the first region RA1. judge. For example, the operation determination unit 110 acquires touch information indicating a contact position on the touch panel 160 from the touch panel 160. Then, the operation determination unit 110 determines whether or not the start position SP of contact with the touch panel 160 is within the first region RA1 based on the touch information acquired from the touch panel 160.
  • the operation determination unit 110 determines that the contact with the touch panel 160 is the first operation when the start position SP of the contact with the touch panel 160 in the first operation period is within the first region RA1.
  • the contact in which the start position SP is the start position SPA in the first region RA1 is determined to be the first operation.
  • one character group selected by changing the posture of the operating device 10 or the like is selected as the first character group.
  • the shaded group identification information IDFg in FIG. 8 indicates one character group selected by changing the posture of the operating device 10 or the like. That is, in the example shown in FIG. 8, it is assumed that a character group including the number "7" is selected.
  • the flick input screen FLW shown in FIG. 7 is displayed again on the display surface SC. Then, for example, when the contact position of the finger moves in the direction Da, the operation determination unit 110 selects the alphabet "Q" as an input character.
  • the operation determination unit 110 determines whether or not the contact with the touch panel 160 is the second operation based on the moving direction D of the contact position, which is the position of contact with the touch panel 160. To judge. For example, the operation determination unit 110 identifies the moving direction D of the contact position on the touch panel 160 based on the touch information periodically transmitted from the touch panel 160.
  • the operation determination unit 110 determines that the contact with the touch panel 160 is the second operation.
  • the contact in which the start position SP is the start position SPb or SPc in the second region RA2 is determined not to be the first operation.
  • the contact in which the start position SP is the start position SPb in the second region RA2 is determined to be the second operation when the movement direction D of the contact position is the direction Db1, and the movement direction D of the contact position is the direction Db2. In some cases, it is determined that neither the first operation nor the second operation is performed.
  • the direction Db1 is a direction toward the inside of the first region RA1 from the start position SPb, and the direction Db2 is not a direction toward the inside of the first region RA1 from the start position SPb.
  • the contact in which the start position SP is the start position SPc in the second region RA2 is determined to be the second operation because the movement direction D of the contact position is the direction Dc from the start position SPc toward the inside of the first region RA1.
  • the contact start position SP with respect to the touch panel 160 is outside the first region RA1, and the movement direction D of the contact position is the direction from the start position SP toward the inside of the first region RA1.
  • the contact with the touch panel 160 is determined to be the second operation.
  • the operation determination unit 110 touch panel when the start position SP of contact with the touch panel 160 is outside the first region RA1 and the moving direction D of the contact position is not from the start position SP toward the inside of the first region RA1. It is determined that the contact with the 160 is neither the first operation nor the second operation.
  • the direction from the start position SP toward the inside of the first region RA1 corresponds to the direction of the first region RA1.
  • the key identification information IDFk is also displayed in the second display area DRA2.
  • FIG. 9 is a flowchart showing an example of the operation of the operation device 10 shown in FIG. Note that FIG. 9 shows an example of the operation of the operating device 10 when one or more second candidate characters PW are displayed in the second display area DRA2 during the character input period.
  • step S100 the operation determination unit 110 determines whether or not the contact with the touch panel 160 has been started. For example, when touch information is periodically transmitted from the touch panel 160 during the period in which contact with the touch panel 160 is detected, the operation determination unit 110 determines whether or not the touch information is transmitted from the touch panel 160. Determines if contact with is initiated. For example, when touch information indicating that there is no contact is periodically transmitted from the touch panel 160 during the period when the touch to the touch panel 160 is not detected, the operation determination unit 110 determines the touch panel 160 based on the touch information. It may be determined whether or not contact with the device has begun.
  • step S100 If the result of the determination in step S100 is negative, the operation determination unit 110 advances the process to step S180. On the other hand, if the result of the determination in step S100 is affirmative, the operation determination unit 110 advances the process to step S120.
  • step S120 the operation determination unit 110 determines whether or not the contact start position SP is within the first region RA1 based on the touch information. If the result of the determination in step S120 is affirmative, the operation determination unit 110 determines in step S140 that the contact (touch operation) with the touch panel 160 is the first operation, and proceeds to the process in step S150.
  • the first input character specifying process in step S150 will be described with reference to FIG. 10 to be described later.
  • the operation determination unit 110 advances the process to step S180. On the other hand, if the result of the determination in step S120 is negative, the operation determination unit 110 advances the process to step S130.
  • step S130 the operation determination unit 110 determines whether or not the contact position, which is the contact position with respect to the touch panel 160, has moved, based on the touch information. If the result of the determination in step S130 is negative, the operation determination unit 110 advances the process to step S132. On the other hand, if the result of the determination in step S100 is affirmative, the operation determination unit 110 advances the process to step S134.
  • step S132 the operation determination unit 110 determines whether or not the contact with the touch panel 160 is completed. For example, when the touch information is periodically transmitted from the touch panel 160 during the period when the touch to the touch panel 160 is detected, the operation determination unit 110 touches the touch panel 160 based on whether or not the transmission of the touch information is interrupted. Determines if is finished. For example, when touch information indicating that there is no contact is periodically transmitted from the touch panel 160 during the period when the touch to the touch panel 160 is not detected, the operation determination unit 110 determines the touch panel 160 based on the touch information. It may be determined whether or not the contact with the touch is completed.
  • step S132 If the result of the determination in step S132 is affirmative, the operation determination unit 110 advances the process to step S180. That is, when the result of the determination in step S132 is affirmative, the operation determination unit 110 advances the process to step S180 without determining whether the touch operation is the first operation or the second operation. If the result of the determination in step S132 is affirmative, the operation determination unit 110 may determine that the touch operation is neither the first operation nor the second operation. On the other hand, if the result of the determination in step S132 is negative, the operation determination unit 110 returns the process to step S130.
  • step S134 the operation determination unit 110 determines whether or not the contact position has moved toward the inside of the first region RA1 based on the touch information. That is, the operation determination unit 110 determines whether or not the movement direction D of the contact position is the direction toward the inside of the first region RA1 from the start position SP.
  • step S134 determines that the touch operation is the second operation in step S160, and proceeds to the process in step S170.
  • the second input character specifying process in step S170 will be described with reference to FIG. 11 to be described later.
  • the operation determination unit 110 advances the process to step S180. If the result of the determination in step S134 is negative, the operation determination unit 110 advances the process to step S180.
  • step S180 the operation determination unit 110 determines whether or not the character input period has expired. For example, when the operation determination unit 110 receives the notification of the end of the character input period from the information processing apparatus 20, it determines that the character input period has ended. If the result of the determination in step S180 is negative, the operation determination unit 110 returns the process to step S100. On the other hand, if the result of the determination in step S180 is affirmative, the operation determination unit 110 ends the processing of the character input period.
  • the operation determination unit 110 When the finger of the user U touches the first region RA1 in a state where the key identification information IDFk is selected by, for example, changing the posture of the operation device 10, the operation determination unit 110 shows the following. It may operate as follows.
  • step S140 the operation determination unit 110 determines that the contact (touch operation) with respect to the touch panel 160 is an operation associated with the key identification information IDFk selected by changing the posture of the operation device 10 or the like. You may. In this case, the process of step S150 may not be executed.
  • FIG. 10 is a flowchart showing an example of the first input character specifying process shown in FIG. That is, the process shown in FIG. 10 is an example of the process of step S150 shown in FIG. Therefore, the process of step S152 is executed after the process of step S140 shown in FIG. 9 is executed.
  • step S152 as described in FIG. 7, the operation determination unit 110 selects one character group selected by changing the posture of the operation device 10 from the plurality of character groups as the first character group. Specify as. Then, the operation determination unit 110 advances the process to step S154.
  • step S154 the operation determination unit 110 determines whether or not the contact with the touch panel 160 is completed. If the result of the determination in step S154 is affirmative, the operation determination unit 110 advances the process to step S156. On the other hand, if the result of the determination in step S154 is negative, the operation determination unit 110 returns the process to step S154. That is, the operation determination unit 110 waits for the execution of the process of step S156 until the contact with the touch panel 160 is completed.
  • step S156 the operation determination unit 110 identifies an input character from the plurality of first candidate characters belonging to the first character group specified in step S152 based on the movement direction D of the contact position with respect to the touch panel 160. .. As a result, the input of one character by the first operation is completed, and the first input character specifying process is completed. Further, the operation determination unit 110 advances the process to step S180 shown in FIG. 9 after executing the process of step S156 (after the first input character specifying process is completed).
  • the information processing apparatus 20 displays a plurality of second candidate characters PW related to the character selected by the first operation as described in FIG. It is displayed in the second display area DRA2 of the SC.
  • FIG. 11 is a flowchart showing an example of the second input character specifying process shown in FIG. That is, the process shown in FIG. 11 is an example of the process of step S170 shown in FIG. Therefore, the process of step S172 is executed after the process of step S160 shown in FIG. 9 is executed.
  • step S172 the operation determination unit 110 identifies an input candidate selected by the user U from the plurality of second candidate characters PW based on the movement direction D of the finger contact position with respect to the touch panel 160.
  • a specific example of the operation of the operation determination unit 110 in step S172 is shown below.
  • the contact of the start position SPb shown in FIG. 8 is the contact determined in step S100 shown in FIG. 9, and the moving direction D of the contact position determined in step S134 shown in FIG. 9 is the direction Db1.
  • the operation determination unit 110 is the second candidate character PW in which the direction from the display position of the second candidate character PW toward the center of the first display area DRA1 is close to the direction Db1 among the plurality of second candidate characters PW (FIG. FIG. In the example shown in 8, "reason") is specified as an input candidate.
  • the contact of the start position SPc shown in FIG. 8 is the contact determined in step S100 shown in FIG. 9, and the moving direction D of the contact position determined in step S134 shown in FIG. 9 is the direction Dc.
  • the operation determination unit 110 is the second candidate character PW in which the direction from the display position of the second candidate character PW toward the center of the first display area DRA1 is close to the direction Dc among the plurality of second candidate characters PW (FIG. FIG. In the example shown in 8, "rain") is specified as an input candidate.
  • the operation determination unit 110 advances the process to step S174.
  • step S174 the operation determination unit 110 determines whether or not the contact with the touch panel 160 is completed. If the result of the determination in step S174 is affirmative, the operation determination unit 110 advances the process to step S176. On the other hand, if the result of the determination in step S174 is negative, the operation determination unit 110 returns the process to step S174. That is, the operation determination unit 110 waits for the execution of the process of step S176 until the contact with the touch panel 160 is completed.
  • step S176 the operation determination unit 110 specifies the input candidate specified in step S172 as an input character.
  • the character conversion by the second operation is completed, and the second input character specifying process is completed.
  • the character conversion by the second operation is, for example, converting the character input by the first operation into the input character selected by the second operation, and converting the input character selected by the second operation into the first operation. Includes input as a character following the character input by.
  • the contact with the touch panel 160 is the first operation. Is determined. Further, in the operation determination unit 110, the start position SP of contact with the touch panel 160 in the first operation period is outside the first region RA1, and the moving direction D of the contact position moves from the start position SP to the inside of the first region RA1. In the case of the direction, it is determined that the contact with the touch panel 160 is the second operation.
  • the present embodiment for example, an operation of switching between an input mode for inputting one character and an input mode for character conversion according to the first operation period in which the first operation and the second operation can be accepted, etc. It is possible to input one character and execute character conversion without the user U performing the above. Thereby, in the present embodiment, character input operations such as character conversion operations can be easily performed.
  • the operation determination unit 110 may determine that the touch operation is the second operation when the movement direction D of the contact position is the direction from the start position SP toward the vicinity of the center of the first region RA1. Specifically, in step S134 shown in FIG. 9, the operation determination unit 110 may determine whether or not the contact position has moved toward the vicinity of the center of the first region RA1. In this case, the criterion for determining whether the touch operation is the second operation is stricter than in the case where it is determined whether or not the contact position has moved toward the inside of the first region RA1, but it is shown in FIG. In step S172, it is possible to reduce the identification of erroneous input candidates.
  • the operation of the operating device 10 when the second candidate character PW is not displayed in the second display area DRA2 is not particularly described, but the second candidate character PW is the second.
  • the operating device 10 may operate as shown below.
  • the operation determination unit 110 changes the posture of the operation device 10 or the like.
  • the selected process may be specified as the process selected by the user U.
  • the process selected by changing the posture of the operating device 10 may be, for example, a process assigned to the key identification information IDFk or the like displayed on the display surface SC.
  • the contact start position SP with respect to the touch panel 160 may be either the first area RA1 or the second area RA2.
  • the contact start position SP may be determined whether or not the contact start position SP is in the first area RA1. In this case, the contact with the second region RA2 may be determined as an erroneous operation (erroneous touch).
  • the operation device 10 has a touch panel 160 in which the first region RA1 is set, and an operation determination unit 110.
  • the operation determination unit 110 determines whether or not the first operation is performed during the first operation period in which different first operations and second operations can be received, in the first region RA1 where the start position SP of contact with the touch panel 160 is set. Judgment is made based on the judgment result indicating whether or not there is.
  • the first operation is an operation for selecting a character from one or more first candidate characters belonging to the first character group.
  • the second operation includes an operation for selecting a character from one or more second candidate characters PW related to the character selected by the first operation.
  • whether or not the first operation is performed during the first operation period in which the first operation and the second operation can be accepted is determined by whether or not the contact start position SP with respect to the touch panel 160 is within the first region RA1. It is determined based on whether or not it is. That is, in the present embodiment, the first operation and the second operation can be accepted in the first operation period without separating the period for accepting the first operation and the period for accepting the second operation. Therefore, in the present embodiment, for example, the user U does not perform an operation for switching between the period for accepting the first operation and the period for accepting the second operation, and is desired among the first operation and the second operation. You can perform the operation. Thereby, in the present embodiment, character input operations such as character conversion operations can be easily performed. As a result, in the present embodiment, the usability of the operating device 10 can be improved.
  • the operation determination unit 110 determines that the contact with the touch panel 160 is the first operation when the start position SP of the contact with the touch panel 160 in the first operation period is within the first region RA1. Further, when the start position SP of contact with the touch panel 160 in the first operation period is outside the first region RA1, the operation determination unit 110 determines whether or not the second operation has been performed, which is the position of contact with the touch panel 160. The determination is made based on the moving direction D of the contact position. As described above, in the present embodiment, when the start position SP of the contact with the touch panel 160 is within the first region RA1, the contact with the touch panel 160 is determined to be the first operation, and therefore, whether or not the first operation is performed. Can be easily determined.
  • the contact start position SP with respect to the touch panel 160 is outside the first region RA1
  • the start position SP of contact with the touch panel 160 in the first operation period is outside the first region RA1, and the moving direction D of the contact position is the direction of the first region RA1. If, the contact with the touch panel 160 is determined to be the second operation. Thereby, in the present embodiment, it is possible to easily and accurately determine whether or not the second operation has been performed.
  • the start position SP of contact with the touch panel 160 in the first operation period is outside the first region RA1, and the moving direction D of the contact position is the direction of the first region RA1. If not, it is determined that the contact with the touch panel 160 is neither the first operation nor the second operation. As described above, in the present embodiment, it is possible to easily determine whether the contact with the touch panel 160 is an erroneous operation (erroneous touch) that is neither the first operation nor the second operation.
  • one or more second candidate characters PW are input candidates predicted based on the characters selected by the first operation.
  • the group identification information IDFg for identifying each of the plurality of character groups including the first character group in the display surface SC is displayed. It is displayed in the second display area DRA2 outside the first display area DRA1.
  • the user U can easily determine the contact position on the touch panel 160 with the display position of the second candidate character PW on the display surface SC as a guide. Therefore, in the present embodiment, the user U can easily perform the second operation of selecting a desired character from the second candidate character PW. As a result, in the present embodiment, the usability of the operating device 10 can be improved.
  • one or more second candidate characters PW may be displayed in the second display area DRA2 based on the certainty of prediction. In this case, it is possible to increase the probability that the input word input to the information processing apparatus 20 is included in the input candidates.
  • the second candidate character PW having the highest prediction accuracy is compared with the other second candidate characters PW when the first operation is completed. It may be displayed at a position close to the position in the display surface SC corresponding to the contact position in the touch panel 160. For example, when the second candidate character PW with the highest prediction accuracy is displayed at a position close to the end position on the display surface SC, the input word input to the information processing apparatus 20 is close to the end position on the display surface SC. It can be expected to be displayed at the position.
  • the input word is input from the input candidate by the second operation after the user U performs the first operation. It can be expected that the amount of movement of the finger of the user U when selecting is reduced. When the movement amount of the finger of the user U is reduced, the operability of character input is improved.
  • the cancellation of the second operation is not particularly described, but the second operation may be canceled when a predetermined cancellation condition is satisfied.
  • the predetermined cancellation condition may be, for example, that the contact with the touch panel 160 ends before the amount of movement of the contact position reaches the predetermined amount.
  • the operation determination unit 110 determines that the contact with the touch panel 160 is the second operation and then the contact with the touch panel 160 is completed before the movement amount of the contact position reaches a predetermined amount, the second operation is canceled. You may judge.
  • FIG. 12 is a flowchart showing an example of the second input character specifying process according to the first modification.
  • the second input character specifying process shown in FIG. 12 is the second input character specifying process shown in FIG. 11, except that the processes of steps S175 and S177 are added to the second input character specifying process shown in FIG. Is similar to.
  • the second input character specifying process shown in FIG. 12 is executed instead of the second input character specifying process shown in FIG. That is, the process of step S172 is executed after the process of step S160 shown in FIG. 9 is executed, and after the process of step S176 or S177 is executed, the process of step S180 shown in FIG. 9 is executed. ..
  • Detailed description of the process described with reference to FIG. 11 will be omitted.
  • step S172 the operation determination unit 110 identifies an input candidate selected by the user U from the plurality of second candidate characters PW based on the movement direction D of the finger contact position with respect to the touch panel 160. Then, the operation determination unit 110 advances the process to step S174.
  • step S174 the operation determination unit 110 determines whether or not the contact with the touch panel 160 is completed. If the result of the determination in step S174 is affirmative, the operation determination unit 110 advances the process to step S175. On the other hand, if the result of the determination in step S174 is negative, the operation determination unit 110 returns the process to step S174.
  • step S175 the operation determination unit 110 determines whether or not the amount of movement of the finger contact position with respect to the touch panel 160 is equal to or greater than a predetermined amount, based on the touch information. If the result of the determination in step S175 is affirmative, the operation determination unit 110 advances the process to step S176, executes the process of step S176, and then proceeds to the process to step S180 shown in FIG. On the other hand, if the result of the determination in step S175 is negative, the operation determination unit 110 advances the process to step S177.
  • step S177 the operation determination unit 110 determines that the second operation has been canceled, and cancels the selection of the input candidate specified in step S172. As a result, the character conversion by the second operation is canceled, and the second input character specifying process is completed. Further, the operation determination unit 110 advances the process to step S180 shown in FIG. 9 after executing the process of step S177 (after the second input character specifying process is completed).
  • the second input character identification process according to the first modification is not limited to the example shown in FIG.
  • the operation determination unit 110 may consider the movement speed when determining whether or not the second operation has been canceled based on the movement amount of the contact position. That is, the operation determination unit 110 may determine whether or not the second operation has been canceled based on the movement amount and the movement speed of the contact position. For example, when the reference moving speed is Vref, the reference amount is Mref, the moving speed of the contact position is V1, and the moving amount of the contact position is M1, the predetermined cancellation condition is "V1 x M1 ⁇ Vref x Mref". It may be that "" is established.
  • the movement amount of the finger at the time of the second operation can be reduced by increasing the moving speed of the contact position, and it is determined whether to cancel the second operation by slowing the moving speed of the contact position. You can lengthen the time for.
  • the time for determining whether to cancel the second operation corresponds to, for example, the time from when the finger touches the touch panel 160 until the input candidate is specified.
  • the predetermined cancellation condition may be that "M1 / V1 ⁇ Mref / Vref" is satisfied. In this case, it is possible to reduce the time for determining whether to cancel the second operation from varying depending on the moving speed of the contact position.
  • the same effect as that of the above-described embodiment can be obtained.
  • the first modification for example, if the contact with the touch panel 160 is completed before the movement amount of the finger contact position with respect to the touch panel 160 reaches a predetermined amount, it is determined that the second operation is canceled. Thereby, in the present embodiment, the second operation can be easily canceled. Therefore, in the present embodiment, for example, the user U can easily cancel the erroneous selection of the second candidate character PW even when the erroneous second candidate character PW is selected due to an erroneous operation or the like. As a result, in the first modification, it is possible to reduce the possibility that an erroneous input candidate is specified as an input character.
  • the setting method of the first region RA1 is not particularly described, but the first region RA1 learns, for example, the start position SP and the end position of the contact with the touch panel 160. May be set on the touch panel 160.
  • the first region RA1 may be set based on the learning result of the last n times of contact with the touch panel 160. Specifically, the coordinates of the contact position with respect to the touch panel 160 may be recorded each time a contact occurs, and a virtual circle centered on the center of gravity of n times immediately before may be set as the first region RA1.
  • the radius of the virtual circle may be set based on the average of the moving distances from the start position SP of the contact determined to be the first operation to the end position.
  • the radius of the virtual circle may be a value obtained by multiplying the average of the moving distances from the start position SP to the end position of the contact determined to be the first operation by a predetermined coefficient larger than 0.
  • the predetermined coefficient may be 1, greater than 1, or less than 1.
  • the virtual circle may be deformed into an ellipse or the like based on the moving direction D and the moving distance of the contact position of the contact determined to be the first operation.
  • the first region RA1 has a habit of the user U of the entire operation including the first operation and the second operation (for example, the radius of the virtual circle and the position of the center of gravity, etc.) after the number of trials of the first operation is sufficiently obtained. ) May be set.
  • the user U can label the correct answer of the operation and the incorrect answer of the operation due to a conversion error or the like.
  • Another characteristic of the character input operation is that the amount of data corresponding to the correct or incorrect answer of the operation is relatively large.
  • AI Artificial Intelligence
  • the same effect as that of the above-described embodiment and the first modification can be obtained. Further, in the second modification, the first region RA1 is set in the touch panel 160 by learning the start position SP and the end position of the contact with the touch panel 160, so that the first region RA1 is appropriately set in the touch panel 160. be able to.
  • the key identification information IDFk indicating the backspace key for canceling the immediately preceding input character is the second display area DRA2. It may be displayed in. In this case, the key identification information IDFk indicating the backspace key is closer to the position in the display surface SC corresponding to the contact position in the touch panel 160 when the first operation is completed, as compared with the plurality of second candidate characters PW. It may be displayed at the position. In this case, it is possible to reduce the amount of movement of the finger of the user U when canceling the input of the character selected by the first operation immediately before.
  • the key identification information IDFk indicating the character type switching key, the enter key, and the like may be displayed in the second display area DRA2.
  • the upper half of the second display area DRA2 is assigned to the second candidate character PW
  • the lower half of the second display area DRA2 is a plurality of key identifications indicating a backspace key, a character type switching key, an enter key, and the like. It may be assigned to the information IDFk.
  • a part or all of the key identification information IDFk displayed in the second display area DRA2 may be the same as the key identification information IDFk displayed in the first display area DRA1.
  • the same key identification information IDFk as the key identification information IDFk displayed in the first display area DRA1 may be controlled so as not to be displayed in the second display area DRA2.
  • the key identification information IDFk (key identification information IDFk desired by the user U) of one of the plurality of key identification information IDFk displayed in the second display area DRA2 may be selected, for example, by the second operation. ..
  • the key identification information IDFk of one of the plurality of key identification information IDFk displayed in the second display area DRA2 is an operation of changing one or both of the position and the posture of the operating device 10 and a touch to the touch panel 160. It may be selected by an operation including an operation.
  • the same effects as those of the above-described embodiment, first modification and second modification can be obtained.
  • the key identification information IDFk indicating the backspace key or the like is displayed in the second display area DRA2, so that the processing options can be increased.
  • the options of the processing executed by the second operation are increased. be able to.
  • the usability of the operating device 10 can be improved.
  • a plurality of second candidate characters PW are displayed in the second display area DRA2.
  • the present invention is not limited to such an embodiment.
  • a plurality of second candidate characters PW may be displayed in the second display area DRA2 when no character has been input (when the first operation has not been executed even once in the character input period). ..
  • a word or the like starting from a plurality of first candidate characters belonging to the one character group may be displayed. It may be displayed in the second display area DRA2 as a plurality of second candidate characters PW.
  • the second candidate character PW starting with any one of "S" and "7” may be displayed in the second display area DRA2.
  • the same effect as that of the above-described embodiment and the modification from the first modification to the third modification can be obtained. Further, in the fourth modification, even if the first operation is not executed even once, when one character group is selected from the plurality of character groups, the plurality of second candidate characters PW are second. Since it is displayed in the display area DRA2, the number of times the first operation is executed can be reduced. Thereby, in the fourth modification, the character input operation can be simplified.
  • the information processing apparatus 20 executes a process of specifying an input character from a plurality of first candidate characters, for example, in the first input character specifying process shown in FIG. 10, instead of the process of step S156, the following The processing shown in may be executed.
  • the operation determination unit 110 may specify the moving direction D of the contact position of the contact determined to be the first operation. Then, the operation determination unit 110 indicates the first direction information indicating the moving direction D of the contact position of the contact determined to be the first operation, and the first character group specified in step S152 shown in FIG. The first information including the one group information may be transmitted to the information processing apparatus 20.
  • the information processing device 20 may specify an input character from a plurality of first candidate characters belonging to the first character group based on the first information transmitted from the operation device 10.
  • the first information has information indicating the start position SP and the end position of the contact determined to be the first operation in addition to the first direction information or instead of the first direction information. May be good.
  • the information processing apparatus 20 may execute the process of step S152 shown in FIG. 10 instead of the operating apparatus 10.
  • the information processing device 20 may specify a first character group from a plurality of character groups based on motion information or the like indicating a detection result of an acceleration and an angular velocity of the operating device 10.
  • the information processing apparatus 20 executes a process of specifying an input character from a plurality of second candidate characters PW, for example, in the second input character specifying process shown in FIG. 11, instead of the process of steps S172 and S176.
  • the following processing may be executed.
  • the identification information of the input candidate is used. It may be specified based on the moving direction D of the contact position with respect to the touch panel 160.
  • the identification information of the input candidate may be transmitted to the information processing apparatus 20.
  • the identification information of the input candidate may be the position information assigned to the “rain” shown in FIG.
  • the information processing device 20 may specify an input character from a plurality of second candidate characters PW based on the input candidate identification information transmitted from the operation device 10.
  • the same effect as that of the above-described embodiment and the modification from the first modification to the fourth modification can be obtained.
  • one or both of the process of specifying the input character from the plurality of first candidate characters and the process of specifying the input character from the plurality of second candidate characters PW are information processing devices. Since it is executed by 20, the processing of the operating device 10 can be reduced.
  • the storage devices are recording media that can be read by the processing devices (for example, processing devices 100 and 200), and ROM, RAM, and the like are exemplified.
  • Flexible discs optomagnetic discs (eg, compact discs, digital versatile discs, Blu-ray® discs), smart cards, flash memory devices (eg, cards, sticks, key drives), CD-ROMs (Compact).
  • Disc-ROM registers, removable disks, hard disks, floppy (registered trademark) disks, magnetic strips, databases, servers and other suitable storage media.
  • the program may also be transmitted from the network via a telecommunication line.
  • the program may also be transmitted from the communication network via a telecommunication line.
  • the information, signals, and the like described may be represented using any of a variety of different techniques.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description are voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may be represented by a combination of.
  • the input / output information and the like may be stored in a specific place (for example, a memory) or may be managed by using a management table. Information to be input / output may be overwritten, updated, or added. The output information and the like may be deleted. The input information or the like may be transmitted to another device.
  • the determination may be made by a value represented by 1 bit (0 or 1) or by a boolean value (Boolean: true or false). , May be done by numerical comparison (eg, comparison with a given value).
  • each function exemplified in FIGS. 3 and 4 is realized by any combination of at least one of hardware and software. Further, the method of realizing each functional block is not particularly limited. That is, each functional block may be realized using one physically or logically coupled device, or two or more physically or logically separated devices can be directly or indirectly (eg, for example). , Wired, wireless, etc.) and may be realized using these plurality of devices. The functional block may be realized by combining the software with the one device or the plurality of devices.
  • the communication devices 140 and 240 are hardware (transmission / reception devices) for communicating between computers via at least one of a wired network and a wireless network, and are, for example, a network device, a network controller, a network card, a communication module, and the like. Also called.
  • the communication devices 140 and 240 have, for example, a high frequency switch, a duplexer, a filter, and a frequency synthesizer in order to realize at least one of frequency division duplex (FDD: Frequency Division Duplex) and time division duplex (TDD: Time Division Duplex). Etc. may be included in the configuration.
  • FDD Frequency Division Duplex
  • TDD Time Division Duplex
  • the software is an instruction, an instruction set, a code, regardless of whether the software is called software, firmware, middleware, microcode, hardware description language, or another name. It should be broadly interpreted to mean code segments, program code, programs, subprograms, software modules, applications, software applications, software packages, routines, subroutines, objects, executable files, execution threads, procedures, features, etc. ..
  • software, instructions, information, etc. may be transmitted and received via a transmission medium.
  • a transmission medium For example, a website that uses at least one of wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL: Digital Subscriber Line), etc.) and wireless technology (infrared, microwave, etc.).
  • wired technology coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL: Digital Subscriber Line), etc.
  • wireless technology infrared, microwave, etc.
  • the information, parameters, etc. described in the present disclosure may be expressed using absolute values, relative values from predetermined values, or other corresponding information. May be represented.
  • the radio resource may be indexed.
  • the names used for the parameters mentioned above are not limited in any respect. Further, mathematical formulas and the like using these parameters may differ from those explicitly disclosed in this disclosure. Since the various channels (eg, PUCCH, PDCCH, etc.) and information elements can be identified by any suitable name, the various names assigned to these various channels and information elements are in any respect limited names. is not.
  • the information processing apparatus 20 includes a case where the information processing device 20 is a mobile station (MS: Mobile Station).
  • Mobile stations can be used by those skilled in the art as subscriber stations, mobile units, subscriber units, wireless units, remote units, mobile devices, wireless devices, wireless communication devices, remote devices, mobile subscriber stations, access terminals, mobile terminals, wireless. It may also be referred to as a terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable term. Further, in the present disclosure, terms such as “mobile station”, “user terminal”, “user equipment (UE: User Equipment)", and “terminal” can be used interchangeably.
  • connection In the embodiments described above, the terms “connected”, “coupled”, or any variation thereof, are direct or indirect between two or more elements. It means any connection or connection and can include the presence of one or more intermediate elements between two elements that are “connected” or “bonded” to each other.
  • the connection or connection between the elements may be physical, logical, or a combination thereof.
  • connection may be read as "access”.
  • the two elements use at least one of one or more wires, cables and printed electrical connections, and as some non-limiting and non-comprehensive examples, the radio frequency domain. Can be considered to be “connected” or “coupled” to each other using electromagnetic energy having wavelengths in the microwave and light (both visible and invisible) regions.
  • determining and “determining” used in the present disclosure may include a wide variety of actions.
  • “Judgment” and “decision” are, for example, judgment (judging), calculation (calculating), calculation (computing), processing (processing), derivation (deriving), investigation (investigating), search (looking up, search, inquiry). It may include (eg, searching in a table, database or another data structure), ascertaining as “judgment” or “decision”.
  • judgment and “decision” are receiving (for example, receiving information), transmitting (for example, transmitting information), input (input), output (output), and access. It may include (for example, accessing data in memory) to be regarded as “judgment” or “decision”.
  • judgment and “decision” are considered to be “judgment” and “decision” when the things such as solving, selecting, choosing, establishing, and comparing are regarded as “judgment” and “decision”. Can include. That is, “judgment” and “decision” may include considering some action as “judgment” and “decision”. Further, “judgment (decision)” may be read as “assuming", “expecting”, “considering” and the like.
  • Each aspect / embodiment described in the present disclosure may be used alone, in combination, or may be switched and used according to the execution.
  • the notification of predetermined information (for example, the notification of "being X") is not limited to the explicit one, but is performed implicitly (for example, the notification of the predetermined information is not performed). May be good.
  • 10 ... Operation device, 20 ... Information processing device, 100 ... Processing device, 110 ... Operation determination unit, 120 ... Storage device, 140 ... Communication device, 160 ... Touch panel, 180 ... Inertivity sensor, 190 ... Vibration generator, 200 ... Processing Device, 210 ... Character input control unit, 220 ... Storage device, 240 ... Communication device, 260 ... Image pickup device, 280 ... Display device, 290 ... Sound output device.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

入力される文字が表示される表示面を有する情報処理装置と通信可能であり、ユーザに把持される操作装置は、テキスト入力判定領域が設定されるタッチパネルと、互いに異なる第１操作及び第２操作を受付可能な第１操作期間に第１操作が行われたか否かを、タッチパネルに対する接触の開始位置がテキスト入力判定領域内であるか否かを示す判定結果に基づいて、判定する操作判定部と、を備え、第１操作は、第１の文字グループに属する１つ以上の第１候補文字の中から文字を選択するための操作であり、第２操作は、第１操作により選択された文字に関連する１つ以上の第２候補文字の中から文字を選択するための操作を含む。

Description

操作装置
　本発明は、操作装置に関する。
　ＡＲ（Augmented　Reality）技術又はＭＲ（Mixed　Reality）技術等を用いて、仮想空間の仮想物体と現実空間の実物体とを表示するヘッドマウントディスプレイ等が普及している。例えば、文字入力時に操作される操作部を備えたヘッドマウントディスプレイが提案されている（例えば、特許文献１）。
特開２０１１－１８０６６４号公報
　ところで、ＡＲ技術又はＭＲ技術等を用いて仮想空間等を表示する環境下におけるコントローラ等の操作装置を用いた文字入力では、文字の変換操作等の文字入力操作を容易にすることが望まれる。
　以上の課題を解決するために、本発明の好適な態様に係る操作装置は、入力される文字が表示される表示面を有する情報処理装置と通信可能であり、ユーザに把持される操作装置であって、テキスト入力判定領域が設定されるタッチパネルと、互いに異なる第１操作及び第２操作を受付可能な第１操作期間に前記第１操作が行われたか否かを、前記タッチパネルに対する接触の開始位置が前記テキスト入力判定領域内であるか否かを示す判定結果に基づいて、判定する操作判定部と、を備え、前記第１操作は、第１の文字グループに属する１つ以上の第１候補文字の中から文字を選択するための操作であり、前記第２操作は、前記第１操作により選択された文字に関連する１つ以上の第２候補文字の中から文字を選択するための操作を含む。
　本発明によれば、仮想空間を表示する環境下における操作装置を用いた文字入力において、文字入力操作を容易にすることができる。
実施形態に係る操作装置を含むシステムの概要を示す図である。 図１に示した情報処理装置の外観を示す説明図である。 図１に示した操作装置の構成を示すブロック図である。 図１に示した情報処理装置の構成を示すブロック図である。 図１に示した情報処理装置が表示する画像の一例を示す図である。 図１に示した操作装置に対する操作を説明するための説明図である。 図１に示した情報処理装置が表示する画像の別の例を示す図である。 図１に示した情報処理装置が表示する画像の別の例を示す図である。 図３に示した操作装置の動作の一例を示すフローチャートである。 図９に示した第１入力文字特定処理の一例を示すフローチャートである。 図９に示した第２入力文字特定処理の一例を示すフローチャートである。 第１変形例に係る第２入力文字特定処理一例を示すフローチャートである。
［１．実施形態］
　図１は、実施形態に係る操作装置１０を含むシステムＳＹＳの概要を示す図である。システムＳＹＳは、ユーザＵに把持される操作装置１０と、操作装置１０と通信可能な情報処理装置２０とを有する。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。
　操作装置１０は、例えば、操作装置１０の姿勢及び位置の一方又は両方がユーザＵにより変更されることにより、ユーザＵの操作を受け付ける。また、操作装置１０は、タッチパネル１６０を有し、ユーザＵによるタッチパネル１６０に対する操作を受け付ける。操作装置１０の詳細は、後述する図３において説明する。
　情報処理装置２０としては、任意の情報処理装置を採用することができ、例えば、ユーザＵの頭部に装着されるウェアラブル端末であってもよいし、スマートフォン及びタブレット端末等の可搬型の情報端末であってもよい。ユーザＵの頭部に装着されるウェアラブル端末は、例えば、ヘッドマウントディスプレイ及びスマートグラス等である。なお、以下の説明では、情報処理装置２０として、スマートグラスを想定する。
　情報処理装置２０は、例えば、ＡＲ（Augmented　Reality）技術又はＭＲ（Mixed　Reality）技術等を用いて、仮想空間の仮想物体と現実空間の実物体とを表示する。なお、情報処理装置２０は、光学シースルー方式により、実物体と仮想物体とをユーザＵに視認させてもよいし、ユーザＵの周囲の現実空間を撮像した画像に仮想物体を融合するビデオシースルー方式により、実物体と仮想物体とをユーザＵに視認させてもよい。あるいは、情報処理装置２０は、ＶＲ（Virtual　Reality）技術を用いて、仮想空間を表示してもよい。すなわち、情報処理装置２０は、ｘＲ（ＡＲ、ＭＲ及びＶＲ等の総称）技術を用いて、仮想空間等を表示してもよい。本実施形態では、情報処理装置２０が光学シースルー方式を採用している場合を想定する。
　図２は、図１に示した情報処理装置２０の外観を示す説明図である。情報処理装置２０は、光学シースルー方式に用いられるハーフミラーＨＦＭと、ハーフミラーＨＦＭが取り付けられるフレームＦＲＭとを有する。フレームＦＲＭ内には、例えば、情報処理装置２０の全体を制御する処理装置２００と、各種のデータを記憶する記憶装置２２０と、通信装置２４０と、撮像装置２６０と、表示装置２８０と、音を再生する音出力装置２９０とが配置されている。すなわち、本実施形態では、撮像装置２６０は、ユーザＵに装着される。なお、処理装置２００、記憶装置２２０、通信装置２４０、撮像装置２６０、表示装置２８０及び音出力装置２９０の配置は、図２に示す例に限定されない。
　通信装置２４０は、操作装置１０等の他の装置と通信を行うためのハードウェア（送受信デバイス）である。例えば、通信装置２４０は、移動体通信網又はネットワークを介して他の装置と通信する機能、及び、近距離無線通信によって他の装置と通信する機能の一方又は両方を有する。近距離無線通信には、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、又は、Ｗｉ－Ｆｉ（登録商標）等が挙げられる。
　撮像装置２６０は、被写体を撮像し、撮像した被写体の画像を示す画像情報を出力する装置である。例えば、撮像装置２６０は、外界を撮像することにより得られる画像を示す画像情報を生成する。画像情報は、例えば、ユーザＵの前方（視界方向）の空間等の外界の状況を示す情報である。撮像装置２６０は、例えば、撮像光学系及び撮像素子を有する。撮像光学系は、少なくとも１つの撮像レンズＬＥＮを含む光学系である。例えば、撮像光学系は、プリズム等の各種の光学素子を有してもよいし、ズームレンズやフォーカスレンズ等を有してもよい。撮像素子は、例えば、ＣＣＤ（Charge　Coupled　Device）イメージセンサー又はＣＭＯＳ（Complementary　MOS）イメージセンサー等である。
　表示装置２８０は、画像を表示する出力デバイスである。例えば、表示装置２８０は、処理装置２００による制御のもとで、仮想物体等を表示する。表示装置２８０として、例えば、液晶表示パネル及び有機ＥＬ（Electro　Luminescence）表示パネル等の各種の表示パネルが好適に利用される。ここで、表示装置２８０は、実物体と仮想物体とをユーザに視認させるシースルー方式による表示を実現するための光源及び光学系等の各種構成を適宜に含む。例えば、表示装置２８０が画像を表示すると、ハーフミラーＨＦＭによって反射された光がユーザＵの網膜に投射される。ハーフミラーＨＦＭによって反射された光によって、ユーザＵは、表示装置２８０が表示した画像を認識する。
　ハーフミラーＨＦＭの２つの面のうち、ユーザＵから見える面は、図５に示す表示面ＳＣに該当する。従って、表示装置２８０が画像を表示している場合、ユーザＵは、例えば、表示面ＳＣ（ハーフミラーＨＦＭの面）のうち、画像が表示された領域以外の領域を通して、外界の様子（外界の像）を視認することができる。以下では、ハーフミラーＨＦＭを通してユーザＵに視認される外界の像は、現実の外界画像とも称される。なお、情報処理装置２０の外観（例えば、ハーフミラーＨＦＭの形状等）は、図２に示す例に限定されない。
　図３は、図１に示した操作装置１０の構成を示すブロック図である。操作装置１０は、処理装置１００と、記憶装置１２０と、通信装置１４０と、タッチパネル１６０と、慣性センサ１８０と、振動発生装置１９０とを有する。
　処理装置１００は、操作装置１０の全体を制御するプロセッサであり、例えば、単数又は複数のチップにより構成される。処理装置１００は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central　Processing　Unit）で構成される。なお、処理装置１００の機能の一部又は全部を、ＤＳＰ（Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、及び、ＦＰＧＡ（Field　Programmable　Gate　Array）等のハードウェアによって実現してもよい。処理装置１００は、各種の処理を並列的又は逐次的に実行する。
　処理装置１００は、例えば、記憶装置１２０から読み出した制御プログラムＰＲ１を実行することにより、操作判定部１１０として機能する。すなわち、処理装置１００は、操作判定部１１０を有する。
　操作判定部１１０は、互いに異なる第１操作及び第２操作を受付可能な第１操作期間に行われたタッチパネル１６０に対する操作が、第１操作であるか否を判定する。タッチパネル１６０に対する操作は、例えば、ユーザＵが指等の物体をタッチパネル１６０に接触させることであってもよい。具体的には、タッチパネル１６０に対する操作は、タップ操作、フリック操作及びドラッグ操作等のタッチ操作であってもよい。以下では、ユーザＵの指等のタッチパネル１６０に対する接触は、タッチ操作とも称される。また、以下では、タッチ操作として、ユーザＵの指がタッチパネル１６０に接触する場合を想定する。
　ここで、第１操作は、例えば、第１の文字グループに属する１つ以上の第１候補文字の中から文字（character）を選択するための操作である。この「character」は、アルファベット、ひらがな、カタカナ、漢字、数字、記号及び符号等を含む。第１の文字グループは、例えば、入力文字の候補となる複数の第１候補文字が分類された複数の文字グループから選択された一の文字グループである。例えば、ユーザＵは、操作装置１０の位置及び姿勢の一方又は両方を変化させることにより、複数の文字グループから所望の文字グループを第１の文字グループとして選択する。また、第２操作は、第１操作により選択された文字に関連する１つ以上の第２候補文字ＰＷ（図８参照）の中から文字を選択するための操作を含む。操作判定部１１０の動作の詳細は、後述する図９等において説明する。
　記憶装置１２０は、処理装置１００が読取可能な記録媒体であり、処理装置１００が実行する制御プログラムＰＲ１を含む複数のプログラム、及び、処理装置１００が使用する各種のデータを記憶する。記憶装置１２０は、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、及び、ＲＡＭ（Random　Access　Memory）等の少なくとも１つによって構成されてもよい。記憶装置１２０は、レジスタ、キャッシュ、又は、メインメモリ（主記憶装置）等と呼ばれてもよい。なお、制御プログラムＰＲ１は、インターネット等のネットワークを介して他の装置から送信されてもよい。
　通信装置１４０は、情報処理装置２０等の他の装置と通信を行うためのハードウェア（送受信デバイス）である。例えば、通信装置１４０は、移動体通信網又はネットワークを介して他の装置と通信する機能、及び、近距離無線通信によって他の装置と通信する機能の一方又は両方を有する。
　タッチパネル１６０は、ユーザＵのタッチ操作を検出する。例えば、タッチパネル１６０は、液晶表示パネル及び有機ＥＬ表示パネル等の各種の表示パネルとカバーガラスとの間に、タッチ操作を検出可能なタッチセンサユニットが貼り合わされて構成される。
　例えば、タッチパネル１６０は、ユーザＵの指がタッチパネル１６０に接触している場合に、ユーザＵの指のタッチパネル１６０における接触位置を周期的に検出し、検出した接触位置を示すタッチ情報を操作判定部１１０に送信する。ユーザＵは、例えば、第１操作期間にタッチパネル１６０に対するタッチ操作を実行することにより、文字入力を実行する。また、第１操作期間では、後述する図６に示すように、第１領域ＲＡ１がタッチパネル１６０に設定されている。なお、第１領域ＲＡ１は、「テキスト入力判定領域」の一例である。
　慣性センサ１８０は、例えば、三次元空間を表す３軸の各々における操作装置１０の加速度と、この３軸の各々を回転軸とした場合の操作装置１０の角速度とを検出する。そして、処理装置１００は、操作装置１０の加速度及び角速度の検出結果を示す動き情報を生成する。動き情報は、例えば、通信装置１４０によって、情報処理装置２０に送信されてもよい。
　振動発生装置１９０は、例えば、バイブレータであり、処理装置１００による制御のもとで振動する。例えば、処理装置１００は、振動発生装置１９０を振動させることにより、操作装置１０を振動させる。
　なお、操作装置１０の構成は、図３に示す例に限定されない。例えば、振動発生装置１９０は、必要に応じて設けられればよく、省略されてもよい。また、例えば、慣性センサ１８０は、加速度及び角速度のうちの一方のみを検出してもよい。また、タッチパネル１６０は、表示機能を含まなくてもよい。例えば、タッチパネル１６０は、表示パネルの代わりに、表示機能を含まないパネルを有してもよい。
　図４は、図１に示した情報処理装置２０の構成を示すブロック図である。情報処理装置２０は、図２において説明したように、処理装置２００、記憶装置２２０、通信装置２４０、撮像装置２６０、表示装置２８０及び音出力装置２９０を有する。
　情報処理装置２０の複数の要素は、情報を通信するための単体又は複数のバスで相互に接続される。また、情報処理装置２０の複数の要素の各々は、単数又は複数の機器により構成されてもよい。あるいは、情報処理装置２０の一部の要素は省略されてもよい。通信装置２４０、撮像装置２６０、表示装置２８０及び音出力装置２９０については、図２において説明したため、図４では、処理装置２００を中心に説明する。
　処理装置２００は、情報処理装置２０の全体を制御するプロセッサであり、図３において説明した操作装置１０の処理装置１００と同様に構成される。例えば、処理装置２００は、記憶装置２２０から読み出した制御プログラムＰＲ２を実行することにより、文字入力制御部２１０として機能する。
　文字入力制御部２１０は、例えば、文字入力に関する処理を実行する。文字入力に関する処理としては、例えば、文字入力に関する操作等を受け付ける文字入力期間を開始する処理、文字入力期間を終了する処理、及び、操作装置１０に対する操作により選択された文字等を情報処理装置２０に入力する処理等が該当する。また、例えば、文字入力期間の開始及び終了を操作装置１０に通知する処理も、文字入力に関する処理に該当する。
　例えば、文字入力制御部２１０は、撮像装置２６０により撮像された画像を示す画像情報と、操作装置１０の位置及び姿勢の一方又は両方の変化を示す動き情報とのうちの少なくとも一方に基づいて、ユーザＵの姿勢が安定しているか否かを判定する。ユーザＵの姿勢が安定している状態としては、例えば、ユーザＵが手を下げた自然な体勢等が該当する。ユーザＵが手を下げた自然な体勢では、ユーザＵが手を下げた状態における手の位置と目の位置との距離が所定の距離以上になる。例えば、手の位置は、操作装置１０の位置に対応し、目の位置は、撮像装置２６０の位置に対応する。このため、文字入力制御部２１０は、例えば、撮像装置２６０の位置と操作装置１０の位置との距離が所定の距離以上である場合、ユーザＵの姿勢が安定していると判定してもよい。
　そして、文字入力制御部２１０は、ユーザＵの姿勢が安定していると判定した場合、文字入力に関する操作等を受け付ける文字入力期間を開始する。なお、文字入力期間が既に開始されている場合は、ユーザＵの姿勢が安定している間、文字入力期間が継続される。換言すれば、文字入力制御部２１０は、ユーザＵの姿勢が安定していないと判定した場合、文字入力期間を終了する。文字入力期間では、例えば、文字入力制御部２１０は、操作装置１０に対する操作により選択された文字等を、情報処理装置２０に入力する。なお、文字入力期間内の一部の期間が、図３において説明した第１操作期間に該当する。すなわち、文字入力期間は、第１操作期間を含む。
　記憶装置２２０は、処理装置２００が読取可能な記録媒体であり、処理装置２００が実行する制御プログラムＰＲ２を含む複数のプログラム、及び、処理装置２００が使用する各種のデータを記憶する。記憶装置２２０は、例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びＲＡＭ等の少なくとも１つによって構成されてもよい。記憶装置２２０は、レジスタ、キャッシュ、又は、メインメモリ（主記憶装置）等と呼ばれてもよい。なお、制御プログラムＰＲ２は、インターネット等のネットワークを介して他の装置から送信されてもよい。
　なお、情報処理装置２０の構成は、図４に示す例に限定されない。例えば、撮像装置２６０及び音出力装置２９０は、必要に応じて設けられればよく、省略されてもよい。
　図５は、図１に示した情報処理装置２０が表示する画像の一例を示す図である。なお、図５は、文字入力期間に情報処理装置２０が表示面ＳＣに表示する画像の一例を示している。文字入力期間では、情報処理装置２０は、例えば、文字入力画面ＣＩＳを現実の外界画像に重畳した画像を、表示面ＳＣに表示する。これにより、ユーザＵには、現実の空間内に文字入力画面ＣＩＳが表示された様に見える。なお、表示面ＳＣの形状はハーフミラーＨＦＭの面の形状に対応するが、図５では、図を見やすくするために、四角形の表示面ＳＣを図示している。また、図５に示す例では、英数字が入力される場合を想定している。
　文字入力画面ＣＩＳは、ユーザＵが入力した文字列を表示する入力文字領域ＣＩＷと、第１表示領域ＤＲＡ１と、第２表示領域ＤＲＡ２とを含む。なお、第１表示領域ＤＲＡ１の境界（外周）を示す破線の円ＤＬＮ１、及び、第２表示領域ＤＲＡ２の境界（外周）を示す点線の円ＤＬＮ２は、表示面ＳＣに表示されなくてもよいし、表示されてもよい。また、図５に示す例では、第１表示領域ＤＲＡ１が表示面ＳＣの中央に設定される場合を想定しているが、第１表示領域ＤＲＡ１は、表示面ＳＣの中央からずれた位置に設定されてもよい。図５では、第１表示領域ＤＲＡ１に表示される画像について説明する。第２表示領域ＤＲＡ２に表示される画像については、後述する図８において説明する。
　第１表示領域ＤＲＡ１には、複数の文字グループの各々を識別するためのグループ識別情報ＩＤＦｇが表示される。図５に示す例では、「０」から「９」までの数字のうちの互いに異なる数字を含む１０個の文字グループと、疑問符等を含む１個の文字グループとを含む複数の文字グループのグループ識別情報ＩＤＦｇが、第１表示領域ＤＲＡ１に表示されている。なお、図５に示す例では、アルファベットの２６文字は、「２」から「９」までのいずれかの数字を含む８個の文字グループに分類される。例えば、数字の「２」を含む文字グループには、アルファベットの「Ａ」、「Ｂ」及び「Ｃ」が含まれ、数字の「９」を含む文字グループには、アルファベットの「Ｗ」、「Ｘ」、「Ｙ」及び「Ｚ」が含まれる。なお、図５、後述する図７及び図８では、図を見やすくするために、複数のグループ識別情報ＩＤＦｇのうちの一部のグループ識別情報ＩＤＦｇ等では、符号への引出線の記載が省略されている。
　グループ識別情報ＩＤＦｇは、「複数の文字グループの各々を識別するための識別情報」の一例である。すなわち、図５に示す例では、各文字グループに含まれる文字を示す情報が各文字グループの識別情報に該当する。例えば、「ＤＥＦ」の文字列及び数字の「３」を含む円形の画像は、アルファベットの「Ｄ」、「Ｅ」、「Ｆ」及び数字の「３」を含む文字グループの識別情報が表示された画像に該当する。また、図５に示す例では、スペースキー、バックスペースキー、文字種別の切り替えキー、大文字と小文字との切り替えキー、及び、エンターキーを含む複数のキーの各々を識別するためのキー識別情報ＩＤＦｋも第１表示領域ＤＲＡ１に表示されている。
　図６は、図１に示した操作装置１０に対する操作を説明するための説明図である。図６では、四角形のタッチパネル１６０を図示しているが、タッチパネル１６０の形状は四角形に限定されない。
　操作装置１０のタッチパネル１６０には、タッチ操作が第１操作か否かを判定するための基準となる第１領域ＲＡ１が、設定される。第１領域ＲＡ１は、情報処理装置２０の表示面ＳＣの第１表示領域ＤＲＡ１に対応する領域であってもよい。なお、第１領域ＲＡ１の形状は、第１表示領域ＤＲＡ１の形状と一致する形状であってもよいし、第１表示領域ＤＲＡ１の形状と異なる形状であってもよい。図５に示した第１表示領域ＤＲＡ１の形状は、所定の半径を有する円であるが、図６に示す第１領域ＲＡ１の形状は、楕円である。図６の×印は、第１領域ＲＡ１の中心を示す。また、タッチパネル１６０に対する接触の開始位置ＳＰを始点とする矢印は、タッチパネル１６０に対する接触の位置である接触位置の移動方向Ｄを示し、矢印の終点は、接触の終了位置を示す。
　なお、第１領域ＲＡ１の境界（外周）を示す楕円ＬＮ１等は、タッチパネル１６０に表示されなくてもよいし、表示されてもよい。以下では、便宜的に、タッチパネル１６０内の第１領域ＲＡ１以外の領域を、第２領域ＲＡ２と称する場合がある。
　図７は、図１に示した情報処理装置２０が表示する画像の別の例を示す図である。図７に示す例では、複数の文字グループの中から選択された第１の文字グループに属する複数の第１候補文字のいずれかを選択するためのフリック入力画面ＦＬＷが、表示面ＳＣに表示されている。第１の文字グループは、例えば、操作装置１０の位置及び姿勢の一方又は両方を変化させる操作と、タッチパネル１６０の第１領域ＲＡ１へのタッチ操作とを含む操作により選択される。
　例えば、ユーザＵは、操作装置１０の姿勢を変化させること（例えば、操作装置１０を傾けること）等により、複数の文字グループの中から一の文字グループを選択する。そして、ユーザＵは、複数の文字グループの中から一の文字グループを選択した状態で、タッチパネル１６０の第１領域ＲＡ１内に指を接触させることにより、複数の文字グループの中から選択した一の文字グループを、第１の文字グループとして選択する。図７に示す例では、数字の「７」を含む文字グループが第１の文字グループとして選択された場合を想定している。このため、図７に示す例では、数字の「７」を含む文字グループに属する複数の第１候補文字（「Ｐ」、「Ｑ」、「Ｒ」、「Ｓ」及び「７」）のいずれかを選択するためのフリック入力画面ＦＬＷが、表示面ＳＣに表示される。
　例えば、ユーザＵが第１領域ＲＡ１に接触している指を方向Ｄｕに移動させた場合、複数の第１候補文字のうち、アルファベットの「Ｒ」が選択され、選択されたアルファベットの「Ｒ」が入力文字領域ＣＩＷに表示される。すなわち、タッチパネル１６０の第１領域ＲＡ１に対する指の接触位置が方向Ｄｕに移動した場合、入力文字領域ＣＩＷに表示する文字として、アルファベットの「Ｒ」が選択される。同様に、指の接触位置が方向Ｄｒに移動した場合、アルファベットの「Ｓ」が選択され、指の接触位置が方向Ｄｌに移動した場合、アルファベットの「Ｑ」が選択され、指の接触位置が方向Ｄｄに移動した場合、数字の「７」が選択される。また、指が移動せずにタッチパネル１６０から離れた場合、アルファベットの「Ｐ」が選択される。
　このように、第１領域ＲＡ１内に指を接触させ、第１領域ＲＡ１に対する指の接触位置を移動させること、又は、指を移動させずにタッチパネル１６０から離すことにより、第１の文字グループに属する１つ以上の第１候補文字の中から文字が選択される。従って、第１領域ＲＡ１内に指を接触させ、第１領域ＲＡ１に対する指の接触位置を移動させること、又は、指を移動させずにタッチパネル１６０から離すことは、第１操作に該当する。
　図８は、図１に示した情報処理装置２０が表示する画像の別の例を示す図である。図８に示す例では、図７に示した例において、指の接触位置が方向Ｄｕに移動した場合を想定している。すなわち、図８に示す例では、第１操作により、アルファベットの「Ｒ」が選択された場合を想定している。また、図８に示す例では、大文字と小文字とのうち、小文字が選択されている場合を想定している。従って、図８に示す例では、小文字のアルファベットの「ｒ」が入力文字領域ＣＩＷに表示されている。また、図８に示す例では、第１操作が１回以上実行されているため、第１操作により選択された文字に関連する複数の第２候補文字ＰＷが、第１表示領域ＤＲＡ１の外側の第２表示領域ＤＲＡ２に表示されている。複数の第２候補文字ＰＷは、例えば、第１操作により選択された文字に基づいて予測された複数の入力候補の文字である。
　例えば、第２表示領域ＤＲＡ２には、第１操作により選択されたアルファベットの「ｒ」に関連する複数の第２候補文字ＰＷが表示される。図８に示す例では、複数の第２候補文字ＰＷとして、「ｒａｔｅ」、「ｒａｄｉｏ」、「ｒａｃｅ」、「ｒａｉｎ」、「ｒｅａｃｈ」、「ｒｅｃｅｎｔ」、「ｒｅａｓｏｎ」、「ｒｅａｌ」、「ｒｅａｄｙ」及び「ｒｅａｄ」が第２表示領域ＤＲＡ２に表示されている。
　複数の第２候補文字ＰＷは、例えば、予測の確からしさに基づいて、第２表示領域ＤＲＡ２に表示されてもよい。具体的には、複数の第２候補文字ＰＷのうち、予測の確からしさが最も高い第２候補文字ＰＷが、他の第２候補文字ＰＷに比べて、第１操作が終了したときのタッチパネル１６０内の接触位置に対応する表示面ＳＣ内の位置に近い位置に表示されてもよい。すなわち、予測の確からしさが最も高い第２候補文字ＰＷは、第１操作であると判定された接触の終了位置に対応する表示面ＳＣ内の位置に近い位置に表示されてもよい。以下では、第１操作が終了したときのタッチパネル１６０内の接触位置（終了位置）に対応する表示面ＳＣ内の位置は、単に、表示面ＳＣにおける終了位置とも称される。
　予測の確からしさが最も高い第２候補文字ＰＷが表示面ＳＣにおける終了位置に近い位置に表示される場合、１文字の入力後に第２候補文字ＰＷから文字を選択する場合のユーザＵの指の移動量が低減することを期待できる。ユーザＵの指の移動量が低減する場合、文字入力の操作性が向上する。
　なお、予測の確からしさが最も高い第２候補文字ＰＷが表示面ＳＣにおける終了位置に近い位置に表示される場合、例えば、操作判定部１１０は、第１操作であると判定した接触の開始位置ＳＰ及び終了位置を示す情報を情報処理装置２０に送信してもよい。情報処理装置２０は、予測の確からしさが最も高い第２候補文字ＰＷの表示位置を、第１操作であると判定された接触の開始位置ＳＰ及び終了位置を示す情報に基づいて、容易に決定できる。
　また、１つ以上の第２候補文字ＰＷが第２表示領域ＤＲＡ２に表示されている期間は、第１操作及び第２操作を受付可能な第１操作期間に該当する。従って、操作装置１０の操作判定部１１０は、タッチパネル１６０に対する接触が第１操作であるか否かを、タッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１内であるか否かに基づいて、判定する。例えば、操作判定部１１０は、タッチパネル１６０における接触位置を示すタッチ情報をタッチパネル１６０から取得する。そして、操作判定部１１０は、タッチパネル１６０から取得したタッチ情報に基づいて、タッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１内であるか否かを判定する。
　例えば、操作判定部１１０は、第１操作期間におけるタッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１内である場合、タッチパネル１６０に対する接触を第１操作と判定する。図８に示す例では、開始位置ＳＰが第１領域ＲＡ１内の開始位置ＳＰａである接触は、第１操作と判定される。この場合、図７において説明したように、操作装置１０の姿勢を変化させること等により選択された一の文字グループが第１の文字グループとして選択される。図８の網掛けのグループ識別情報ＩＤＦｇは、操作装置１０の姿勢を変化させること等により選択された一の文字グループを示す。すなわち、図８に示す例では、数字の「７」を含む文字グループが選択されている場合を想定している。このため、開始位置ＳＰが第１領域ＲＡ１内の開始位置ＳＰａである接触が行われた場合、図７に示したフリック入力画面ＦＬＷが、表示面ＳＣに再度表示される。そして、例えば、操作判定部１１０は、指の接触位置が方向Ｄａに移動した場合、アルファベットの「Ｑ」を入力文字として選択する。
　また、操作判定部１１０は、タッチパネル１６０に対する接触が第１操作でない場合、タッチパネル１６０に対する接触が第２操作であるか否かを、タッチパネル１６０に対する接触の位置である接触位置の移動方向Ｄに基づいて、判定する。例えば、操作判定部１１０は、タッチパネル１６０から周期的に送信されるタッチ情報に基づいて、タッチパネル１６０における接触位置の移動方向Ｄを特定する。
　そして、操作判定部１１０は、例えば、タッチパネル１６０における接触位置の移動方向Ｄが開始位置ＳＰから第１領域ＲＡ１内に向かう方向である場合、タッチパネル１６０に対する接触を第２操作と判定する。図８に示す例では、開始位置ＳＰが第２領域ＲＡ２内の開始位置ＳＰｂ又はＳＰｃである接触は、第１操作でないと判定される。そして、開始位置ＳＰが第２領域ＲＡ２内の開始位置ＳＰｂである接触は、接触位置の移動方向Ｄが方向Ｄｂ１である場合、第２操作と判定され、接触位置の移動方向Ｄが方向Ｄｂ２である場合、第１操作及び第２操作のいずれでもないと判定される。方向Ｄｂ１は、開始位置ＳＰｂから第１領域ＲＡ１内に向かう方向であり、方向Ｄｂ２は、開始位置ＳＰｂから第１領域ＲＡ１内に向かう方向ではない。なお、開始位置ＳＰが第２領域ＲＡ２内の開始位置ＳＰｃである接触は、接触位置の移動方向Ｄが開始位置ＳＰｃから第１領域ＲＡ１内に向かう方向Ｄｃであるため、第２操作と判定される。
　このように、操作判定部１１０は、タッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１外であり、かつ、接触位置の移動方向Ｄが開始位置ＳＰから第１領域ＲＡ１内に向かう方向である場合、タッチパネル１６０に対する接触を第２操作と判定する。また、操作判定部１１０は、タッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１外であり、かつ、接触位置の移動方向Ｄが開始位置ＳＰから第１領域ＲＡ１内に向かう方向でない場合、タッチパネル１６０に対する接触を、第１操作及び第２操作のいずれでもないと判定する。なお、開始位置ＳＰから第１領域ＲＡ１内に向かう方向は、第１領域ＲＡ１の方向に該当する。
　また、図８に示す例では、表示中の第２候補文字ＰＷとは別の第２候補文字ＰＷを第２表示領域ＤＲＡ２に表示するためのキーを含む複数のキーの各々を識別するためのキー識別情報ＩＤＦｋも第２表示領域ＤＲＡ２に表示されている。
　図９は、図３に示した操作装置１０の動作の一例を示すフローチャートである。なお、図９は、文字入力期間において、１つ以上の第２候補文字ＰＷが第２表示領域ＤＲＡ２に表示されている場合の操作装置１０の動作の一例を示す。
　先ず、ステップＳ１００において、操作判定部１１０は、タッチパネル１６０に対する接触が開始されたか否かを判定する。例えば、タッチパネル１６０に対する接触が検出されている期間にタッチパネル１６０からタッチ情報が周期的に送信される場合、操作判定部１１０は、タッチパネル１６０からタッチ情報が送信されたか否かに基づいて、タッチパネル１６０に対する接触が開始されたか否かを判定する。なお、例えば、タッチパネル１６０に対する接触が検出されていない期間に、接触がないことを示すタッチ情報がタッチパネル１６０から周期的に送信される場合、操作判定部１１０は、タッチ情報に基づいて、タッチパネル１６０に対する接触が開始されたか否かを判定してもよい。
　ステップＳ１００における判定の結果が否定の場合、操作判定部１１０は、処理をステップＳ１８０に進める。一方、ステップＳ１００における判定の結果が肯定の場合、操作判定部１１０は、処理をステップＳ１２０に進める。
　ステップＳ１２０において、操作判定部１１０は、接触の開始位置ＳＰが第１領域ＲＡ１内であるか否かをタッチ情報に基づいて判定する。ステップＳ１２０における判定の結果が肯定の場合、操作判定部１１０は、ステップＳ１４０において、タッチパネル１６０に対する接触（タッチ操作）を第１操作と判定し、処理をステップＳ１５０に進める。ステップＳ１５０の第１入力文字特定処理については、後述する図１０において説明する。操作判定部１１０は、ステップＳ１５０の第１入力文字特定処理を実行した後、処理をステップＳ１８０に進める。一方、ステップＳ１２０における判定の結果が否定の場合、操作判定部１１０は、処理をステップＳ１３０に進める。
　ステップＳ１３０において、操作判定部１１０は、タッチパネル１６０に対する接触の位置である接触位置が移動したか否かをタッチ情報に基づいて判定する。ステップＳ１３０における判定の結果が否定の場合、操作判定部１１０は、処理をステップＳ１３２に進める。一方、ステップＳ１００における判定の結果が肯定の場合、操作判定部１１０は、処理をステップＳ１３４に進める。
　ステップＳ１３２において、操作判定部１１０は、タッチパネル１６０に対する接触が終了したか否かを判定する。例えば、タッチパネル１６０に対する接触が検出されている期間にタッチパネル１６０からタッチ情報が周期的に送信される場合、操作判定部１１０は、タッチ情報の送信が途切れたか否かに基づいて、タッチパネル１６０に対する接触が終了したか否かを判定する。なお、例えば、タッチパネル１６０に対する接触が検出されていない期間に、接触がないことを示すタッチ情報がタッチパネル１６０から周期的に送信される場合、操作判定部１１０は、タッチ情報に基づいて、タッチパネル１６０に対する接触が終了したか否かを判定してもよい。
　ステップＳ１３２における判定の結果が肯定の場合、操作判定部１１０は、処理をステップＳ１８０に進める。すなわち、ステップＳ１３２における判定の結果が肯定の場合、操作判定部１１０は、タッチ操作が第１操作であるとも第２操作であるとも判定することなく、処理をステップＳ１８０に進める。なお、ステップＳ１３２における判定の結果が肯定の場合、操作判定部１１０は、タッチ操作が第１操作及び第２操作のいずれでもないと判定してもよい。一方、ステップＳ１３２における判定の結果が否定の場合、操作判定部１１０は、処理をステップＳ１３０に戻す。
　ステップＳ１３４において、操作判定部１１０は、接触位置が第１領域ＲＡ１内に向かって移動したか否かをタッチ情報に基づいて判定する。すなわち、操作判定部１１０は、接触位置の移動方向Ｄが開始位置ＳＰから第１領域ＲＡ１内に向かう方向であるか否かを判定する。
　ステップＳ１３４における判定の結果が肯定の場合、操作判定部１１０は、ステップＳ１６０において、タッチ操作を第２操作と判定し、処理をステップＳ１７０に進める。ステップＳ１７０の第２入力文字特定処理については、後述する図１１において説明する。操作判定部１１０は、ステップＳ１７０の第２入力文字特定処理を実行した後、処理をステップＳ１８０に進める。また、ステップＳ１３４における判定の結果が否定の場合、操作判定部１１０は、処理をステップＳ１８０に進める。
　ステップＳ１８０において、操作判定部１１０は、文字入力期間が終了したか否かを、判定する。例えば、操作判定部１１０は、文字入力期間の終了の通知を情報処理装置２０から受けた場合、文字入力期間が終了したと判定する。ステップＳ１８０における判定の結果が否定の場合、操作判定部１１０は、処理をステップＳ１００に戻す。一方、ステップＳ１８０における判定の結果が肯定の場合、操作判定部１１０は、文字入力期間の処理を終了する。
　なお、例えば、操作装置１０の姿勢を変化させること等によりキー識別情報ＩＤＦｋが選択されている状態において、ユーザＵの指が第１領域ＲＡ１に接触した場合、操作判定部１１０は、以下に示すように動作してもよい。
　例えば、操作判定部１１０は、ステップＳ１４０において、タッチパネル１６０に対する接触（タッチ操作）を、操作装置１０の姿勢を変化させること等により選択されているキー識別情報ＩＤＦｋに対応付けられた操作と判定してもよい。この場合、ステップＳ１５０の処理は実行されなくてもよい。
　図１０は、図９に示した第１入力文字特定処理の一例を示すフローチャートである。すなわち、図１０に示す処理は、図９に示したステップＳ１５０の処理の一例である。従って、ステップＳ１５２の処理は、図９に示したステップＳ１４０の処理が実行された後、実行される。
　ステップＳ１５２において、操作判定部１１０は、図７において説明したように、複数の文字グループのうち、操作装置１０の姿勢を変化させること等により選択された一の文字グループを、第１の文字グループとして特定する。そして、操作判定部１１０は、処理をステップＳ１５４に進める。
　ステップＳ１５４において、操作判定部１１０は、タッチパネル１６０に対する接触が終了したか否かを判定する。ステップＳ１５４における判定の結果が肯定の場合、操作判定部１１０は、処理をステップＳ１５６に進める。一方、ステップＳ１５４における判定の結果が否定の場合、操作判定部１１０は、処理をステップＳ１５４に戻す。すなわち、操作判定部１１０は、タッチパネル１６０に対する接触が終了するまで、ステップＳ１５６の処理の実行を待機する。
　ステップＳ１５６において、操作判定部１１０は、ステップＳ１５２において特定した第１の文字グループに属する複数の第１候補文字の中から、入力文字を、タッチパネル１６０に対する接触位置の移動方向Ｄに基づいて特定する。これにより、第１操作による１文字の入力が終了し、第１入力文字特定処理が終了する。また、操作判定部１１０は、ステップＳ１５６の処理を実行した後（第１入力文字特定処理が終了した後）、処理を図９に示したステップＳ１８０に進める。
　なお、第１操作による１文字の入力が終了した場合、情報処理装置２０は、図８において説明したように、第１操作により選択された文字に関連する複数の第２候補文字ＰＷを表示面ＳＣの第２表示領域ＤＲＡ２に表示する。
　図１１は、図９に示した第２入力文字特定処理の一例を示すフローチャートである。すなわち、図１１に示す処理は、図９に示したステップＳ１７０の処理の一例である。従って、ステップＳ１７２の処理は、図９に示したステップＳ１６０の処理が実行された後、実行される。
　ステップＳ１７２において、操作判定部１１０は、複数の第２候補文字ＰＷの中からユーザＵにより選択された入力候補を、タッチパネル１６０に対する指の接触位置の移動方向Ｄに基づいて特定する。ステップＳ１７２における操作判定部１１０の動作の具体例を以下に示す。
　例えば、図８に示した開始位置ＳＰｂの接触が図９に示したステップＳ１００において判定された接触であり、図９に示したステップＳ１３４において判定された接触位置の移動方向Ｄが方向Ｄｂ１である場合を想定する。この場合、操作判定部１１０は、複数の第２候補文字ＰＷのうち、第２候補文字ＰＷの表示位置から第１表示領域ＤＲＡ１の中心に向かう方向が方向Ｄｂ１に近い第２候補文字ＰＷ（図８に示す例では「ｒｅａｓｏｎ」）を、入力候補として特定する。
　また、例えば、図８に示した開始位置ＳＰｃの接触が図９に示したステップＳ１００において判定された接触であり、図９に示したステップＳ１３４において判定された接触位置の移動方向Ｄが方向Ｄｃである場合を想定する。この場合、操作判定部１１０は、複数の第２候補文字ＰＷのうち、第２候補文字ＰＷの表示位置から第１表示領域ＤＲＡ１の中心に向かう方向が方向Ｄｃに近い第２候補文字ＰＷ（図８に示す例では「ｒａｉｎ」）を、入力候補として特定する。操作判定部１１０は、ステップＳ１７２の処理を実行した後、処理をステップＳ１７４に進める。
　ステップＳ１７４において、操作判定部１１０は、タッチパネル１６０に対する接触が終了したか否かを判定する。ステップＳ１７４における判定の結果が肯定の場合、操作判定部１１０は、処理をステップＳ１７６に進める。一方、ステップＳ１７４における判定の結果が否定の場合、操作判定部１１０は、処理をステップＳ１７４に戻す。すなわち、操作判定部１１０は、タッチパネル１６０に対する接触が終了するまで、ステップＳ１７６の処理の実行を待機する。
　ステップＳ１７６において、操作判定部１１０は、ステップＳ１７２において特定した入力候補を、入力文字として特定する。これにより、第２操作による文字変換が終了し、第２入力文字特定処理が終了する。なお、第２操作による文字変換は、例えば、第１操作により入力された文字を第２操作により選択された入力文字に変換すること、及び、第２操作により選択された入力文字を第１操作により入力された文字に後続する文字として入力すること等を含む。操作判定部１１０は、ステップＳ１７６の処理を実行した後（第２入力文字特定処理が終了した後）、処理を図９に示したステップＳ１８０に進める。
　図９から図１１において説明したように、操作判定部１１０は、第１操作期間におけるタッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１内である場合、タッチパネル１６０に対する接触が第１操作であると判定する。また、操作判定部１１０は、第１操作期間におけるタッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１外であり、かつ、接触位置の移動方向Ｄが開始位置ＳＰから第１領域ＲＡ１内に向かう方向である場合、タッチパネル１６０に対する接触が第２操作であると判定する。このように、本実施形態では、例えば、第１操作及び第２操作を受付可能な第１操作期間により、１文字の入力のための入力モードと文字変換のための入力モードとを切り替える操作等をユーザＵが行うことなく、１文字の入力と文字変換とを実行することができる。これにより、本実施形態では、文字の変換操作等の文字入力操作を容易にできる。
　なお、操作装置１０の動作は、図９から図１１に示した例に限定されない。例えば、操作判定部１１０は、接触位置の移動方向Ｄが開始位置ＳＰから第１領域ＲＡ１の中心付近に向かう方向である場合、タッチ操作が第２操作であると判定してもよい。具体的には、図９に示したステップＳ１３４において、操作判定部１１０は、接触位置が第１領域ＲＡ１の中心付近に向かって移動したか否かを判定してもよい。この場合、接触位置が第１領域ＲＡ１内に向かって移動したか否かが判定される場合に比べて、タッチ操作が第２操作であるかの判定基準は厳しくなるが、図１１に示したステップＳ１７２において、誤った入力候補が特定されることを低減することができる。
　また、図９等に示した例では、第２候補文字ＰＷが第２表示領域ＤＲＡ２に表示されていない場合の操作装置１０の動作を特に説明していないが、第２候補文字ＰＷが第２表示領域ＤＲＡ２に表示されていない場合、操作装置１０は、以下に示すように動作してもよい。
　例えば、第２候補文字ＰＷが第２表示領域ＤＲＡ２に表示されていない状態において、ユーザＵの指がタッチパネル１６０に接触した場合、操作判定部１１０は、操作装置１０の姿勢を変化させること等により選択された処理を、ユーザＵが選択した処理として特定してもよい。操作装置１０の姿勢を変化させること等により選択された処理は、例えば、表示面ＳＣに表示されたキー識別情報ＩＤＦｋ等に割り当てられた処理であってもよい。
　また、第２候補文字ＰＷが第２表示領域ＤＲＡ２に表示されていない場合、タッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１内であるか否かは、判定されなくてもよい。すなわち、第２候補文字ＰＷが第２表示領域ＤＲＡ２に表示されていない場合、タッチパネル１６０に対する接触の開始位置ＳＰは、第１領域ＲＡ１及び第２領域ＲＡ２のいずれでもよい。なお、第２候補文字ＰＷが第２表示領域ＤＲＡ２に表示されていない場合においても、接触の開始位置ＳＰが第１領域ＲＡ１内であるか否かが判定されてもよい。この場合、第２領域ＲＡ２に対する接触は、誤操作（誤タッチ）と判定されてもよい。
　以上、本実施形態では、操作装置１０は、第１領域ＲＡ１が設定されるタッチパネル１６０と、操作判定部１１０とを有する。操作判定部１１０は、互いに異なる第１操作及び第２操作を受付可能な第１操作期間に第１操作が行われたか否かを、タッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１内であるか否かを示す判定結果に基づいて、判定する。第１操作は、第１の文字グループに属する１つ以上の第１候補文字の中から文字を選択するための操作である。また、第２操作は、第１操作により選択された文字に関連する１つ以上の第２候補文字ＰＷの中から文字を選択するための操作を含む。
　このように、本実施形態では、第１操作及び第２操作を受付可能な第１操作期間に第１操作が行われたか否かが、タッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１内であるか否かに基づいて、判定される。すなわち、本実施形態では、第１操作を受け付ける期間と第２操作を受け付ける期間とを分けることなく、第１操作期間に第１操作及び第２操作を受付可能である。このため、本実施形態では、例えば、ユーザＵは、第１操作を受け付ける期間と第２操作を受け付ける期間とを切り替えるための操作を行うことなく、第１操作及び第２操作のうちの所望の操作を実行できる。これにより、本実施形態では、文字の変換操作等の文字入力操作を容易にできる。この結果、本実施形態では、操作装置１０の使い勝手を向上させることができる。
　また、本実施形態では、操作判定部１１０は、第１操作期間におけるタッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１内である場合、タッチパネル１６０に対する接触を第１操作と判定する。また、操作判定部１１０は、第１操作期間におけるタッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１外である場合、第２操作が行われたか否かを、タッチパネル１６０に対する接触の位置である接触位置の移動方向Ｄに基づいて、判定する。このように、本実施形態では、タッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１内である場合に、タッチパネル１６０に対する接触が第１操作と判定されるため、第１操作が行われたか否かを容易に判定することができる。また、本実施形態では、タッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１外である場合、第２操作が行われたか否かが接触位置の移動方向Ｄに基づいて判定されるため、第２操作が行われたと誤って判定することを低減することができる。
　また、本実施形態では、操作判定部１１０は、第１操作期間におけるタッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１外であり、かつ、接触位置の移動方向Ｄが第１領域ＲＡ１の方向である場合、タッチパネル１６０に対する接触を第２操作と判定する。これにより、本実施形態では、第２操作が行われたか否かを、容易にかつ正確に判定することができる。
　また、本実施形態では、操作判定部１１０は、第１操作期間におけるタッチパネル１６０に対する接触の開始位置ＳＰが第１領域ＲＡ１外であり、かつ、接触位置の移動方向Ｄが第１領域ＲＡ１の方向でない場合、タッチパネル１６０に対する接触を、第１操作及び第２操作のいずれでもないと判定する。このように、本実施形態では、タッチパネル１６０に対する接触が、第１操作及び第２操作のいずれでもない誤操作（誤タッチ）であるかを、容易に判定することができる。
　また、本実施形態では、１つ以上の第２候補文字ＰＷは、第１操作により選択された文字に基づいて予測された入力候補である。これにより、本実施形態では、例えば、情報処理装置２０に入力される入力単語が入力候補に含まれる場合、ユーザＵは、入力候補から入力単語を第２操作により容易に選択することができる。この結果、本実施形態では、操作装置１０の使い勝手を向上させることができる。
　また、本実施形態では、１つ以上の第２候補文字ＰＷは、表示面ＳＣのうち、第１の文字グループを含む複数の文字グループの各々を識別するためのグループ識別情報ＩＤＦｇが表示される第１表示領域ＤＲＡ１の外側の第２表示領域ＤＲＡ２に表示される。これにより、本実施形態では、例えば、ユーザＵは、第２候補文字ＰＷの表示面ＳＣにおける表示位置を目安に、タッチパネル１６０における接触位置を容易に決定することができる。このため、本実施形態では、ユーザＵは、第２候補文字ＰＷの中から所望の文字を選択する第２操作を容易に行うことができる。この結果、本実施形態では、操作装置１０の使い勝手を向上させることができる。
　また、本実施形態では、１つ以上の第２候補文字ＰＷは、予測の確からしさに基づいて、第２表示領域ＤＲＡ２に表示されてもよい。この場合、情報処理装置２０に入力される入力単語が入力候補に含まれる確率を高くすることができる。
　また、本実施形態では、複数の第２候補文字ＰＷのうち、予測の確からしさが最も高い第２候補文字ＰＷは、他の第２候補文字ＰＷに比べて、第１操作が終了したときのタッチパネル１６０内の接触位置に対応する表示面ＳＣ内の位置に近い位置に表示されてもよい。例えば、予測の確からしさが最も高い第２候補文字ＰＷが表示面ＳＣにおける終了位置に近い位置に表示される場合、情報処理装置２０に入力される入力単語が、表示面ＳＣにおける終了位置に近い位置に表示されることが期待できる。従って、予測の確からしさが最も高い第２候補文字ＰＷが表示面ＳＣにおける終了位置に近い位置に表示される場合、ユーザＵが第１操作を行った後に入力候補から入力単語を第２操作により選択する場合のユーザＵの指の移動量が低減することを期待できる。ユーザＵの指の移動量が低減する場合、文字入力の操作性が向上する。
［２．変形例］
　本発明は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。
［第１変形例］
　上述した実施形態では、第２操作の取り消しについては特に説明していないが、第２操作は、所定の取り消し条件を充足した場合に取り消されてもよい。所定の取り消し条件は、例えば、タッチパネル１６０に対する接触が、接触位置の移動量が所定量に達する前に、終了することであってもよい。例えば、操作判定部１１０は、タッチパネル１６０に対する接触を第２操作と判定した後、接触位置の移動量が所定量に達する前に、タッチパネル１６０に対する接触が終了した場合、第２操作が取り消されたと判定してもよい。
　図１２は、第１変形例に係る第２入力文字特定処理の一例を示すフローチャートである。図１２に示す第２入力文字特定処理は、ステップＳ１７５及びＳ１７７の処理が図１１に示した第２入力文字特定処理に追加されることを除いて、図１１に示した第２入力文字特定処理と同様である。例えば、図１２に示す第２入力文字特定処理は、図１１に示した第２入力文字特定処理の代わりに実行される。すなわち、ステップＳ１７２の処理は、図９に示したステップＳ１６０の処理が実行された後に実行され、ステップＳ１７６又はＳ１７７の処理が実行された後、図９に示したステップＳ１８０の処理が実行される。図１１において説明した処理については、詳細な説明を省略する。
　ステップＳ１７２において、操作判定部１１０は、複数の第２候補文字ＰＷの中からユーザＵにより選択された入力候補を、タッチパネル１６０に対する指の接触位置の移動方向Ｄに基づいて特定する。そして、操作判定部１１０は、処理をステップＳ１７４に進める。
　ステップＳ１７４において、操作判定部１１０は、タッチパネル１６０に対する接触が終了したか否かを判定する。ステップＳ１７４における判定の結果が肯定の場合、操作判定部１１０は、処理をステップＳ１７５に進める。一方、ステップＳ１７４における判定の結果が否定の場合、操作判定部１１０は、処理をステップＳ１７４に戻す。
　ステップＳ１７５において、操作判定部１１０は、タッチパネル１６０に対する指の接触位置の移動量が所定量以上であるか否かを、タッチ情報に基づいて判定する。ステップＳ１７５における判定の結果が肯定の場合、操作判定部１１０は、処理をステップＳ１７６に進め、ステップＳ１７６の処理を実行した後、処理を図９に示したステップＳ１８０に進める。一方、ステップＳ１７５における判定の結果が否定の場合、操作判定部１１０は、処理をステップＳ１７７に進める。
　ステップＳ１７７において、操作判定部１１０は、第２操作が取り消されたと判定し、ステップＳ１７２において特定した入力候補の選択を取り消す。これにより、第２操作による文字変換が取り消され、第２入力文字特定処理が終了する。また、操作判定部１１０は、ステップＳ１７７の処理を実行した後（第２入力文字特定処理が終了した後）、処理を図９に示したステップＳ１８０に進める。
　なお、第１変形例に係る第２入力文字特定処理は、図１２に示す例に限定されない。例えば、操作判定部１１０は、第２操作が取り消されたか否かを接触位置の移動量に基づいて判定する場合に、移動速度を考慮してもよい。すなわち、操作判定部１１０は、接触位置の移動量と移動速度とに基づいて、第２操作が取り消されたか否かを判定してもよい。例えば、基準の移動速度をＶｒｅｆとし、基準量をＭｒｅｆとし、接触位置の移動速度をＶ１とし、接触位置の移動量をＭ１とした場合、所定の取り消し条件は、“Ｖ１×Ｍ１＜Ｖｒｅｆ×Ｍｒｅｆ”が成立することであってもよい。この場合、接触位置の移動速度を速くすることにより、第２操作時の指の移動量を低減することができ、接触位置の移動速度を遅くすることにより、第２操作を取り消すかを判断するための時間を長くすることができる。第２操作を取り消すかを判断するための時間は、例えば、指がタッチパネル１６０に接触してから入力候補が特定されるまでの時間に該当する。また、例えば、所定の取り消し条件は、“Ｍ１／Ｖ１＜Ｍｒｅｆ／Ｖｒｅｆ”が成立することであってもよい。この場合、第２操作を取り消すかを判断するための時間が接触位置の移動速度によってばらつくことを低減することができる。
　第１変形例においても、上述した実施形態と同様の効果を得ることができる。また、第１変形例では、例えば、タッチパネル１６０に対する指の接触位置の移動量が所定量に達する前に、タッチパネル１６０に対する接触が終了した場合、第２操作が取り消されたと判定される。これにより、本実施形態では、第２操作を容易に取り消すことができる。従って、本実施形態では、例えば、ユーザＵは、誤操作等により誤った第２候補文字ＰＷを選択した場合でも、第２候補文字ＰＷの誤った選択を容易に取り消すことができる。この結果、第１変形例では、誤った入力候補が入力文字として特定されることを低減することができる。
［第２変形例］
　上述した実施形態及び第１変形例では、第１領域ＲＡ１の設定方法については特に説明していないが、第１領域ＲＡ１は、例えば、タッチパネル１６０に対する接触の開始位置ＳＰ及び終了位置を学習することにより、タッチパネル１６０に設定されてもよい。
　例えば、第１領域ＲＡ１は、タッチパネル１６０に対する直前ｎ回の接触の学習結果に基づいて設定されてもよい。具体的には、タッチパネル１６０に対する接触位置の座標を、接触が発生する度に記録し、直前のｎ回の重心を中心とした仮想円を、第１領域ＲＡ１として設定してもよい。なお、仮想円の半径は、第１操作であると判定された接触の開始位置ＳＰから終了位置までの移動距離の平均に基づいて設定されてもよい。例えば、仮想円の半径は、第１操作であると判定された接触の開始位置ＳＰから終了位置までの移動距離の平均に、０より大きい所定の係数を乗じた値であってもよい。所定の係数は、１であってもよいし、１より大きくてもよいし、１より小さくてもよい。また、第１操作であると判定された接触の接触位置の移動方向Ｄ及び移動距離に基づいて、仮想円を楕円形等に変形してもよい。
　あるいは、第１領域ＲＡ１は、第１操作の試行回数が十分に得られた後に、第１操作及び第２操作を含む操作全体のユーザＵの癖（例えば、仮想円の半径及び重心の位置等）を学習することにより、設定されてもよい。この場合、操作の正解、及び、変換の間違い等による操作の不正解のラベル付けをユーザＵ自身が行うことが可能である。また、文字入力操作の特徴として、操作の正解又は不正解に対応するデータの量が比較的多いことが挙げられる。文字入力操作の学習結果を第１領域ＲＡ１の設定に利用することは、ＡＩ（Artificial　Intelligence）との親和性が高い。また、文字入力操作の学習は、定期的に実行されてもよい。
　第２変形例においても、上述した実施形態及び第１変形例と同様の効果を得ることができる。また、第２変形例では、タッチパネル１６０に対する接触の開始位置ＳＰ及び終了位置を学習することにより、第１領域ＲＡ１がタッチパネル１６０に設定されるため、第１領域ＲＡ１をタッチパネル１６０に適切に設定することができる。
［第３変形例］
　上述した実施形態、第１変形例及び第２変形例において、複数の第２候補文字ＰＷの他に、直前の入力文字を取り消すバックスペースキー等を示すキー識別情報ＩＤＦｋが、第２表示領域ＤＲＡ２に表示されてもよい。この場合、バックスペースキーを示すキー識別情報ＩＤＦｋは、複数の第２候補文字ＰＷに比べて、第１操作が終了したときのタッチパネル１６０内の接触位置に対応する表示面ＳＣ内の位置に近い位置に表示されてもよい。この場合、直前の第１操作により選択された文字の入力を取り消すときのユーザＵの指の移動量を低減することができる。
　さらに、バックスペースキーの他に、文字種別の切り替えキー及びエンターキー等を示すキー識別情報ＩＤＦｋが第２表示領域ＤＲＡ２に表示されてもよい。例えば、第２表示領域ＤＲＡ２の上半分が、第２候補文字ＰＷに割り当てられ、第２表示領域ＤＲＡ２の下半分が、バックスペースキー、文字種別の切り替えキー及びエンターキー等を示す複数のキー識別情報ＩＤＦｋに割り当てられてもよい。なお、第２表示領域ＤＲＡ２に表示されるキー識別情報ＩＤＦｋの一部又は全部は、第１表示領域ＤＲＡ１に表示されるキー識別情報ＩＤＦｋと同じであってもよい。あるいは、第１表示領域ＤＲＡ１に表示されるキー識別情報ＩＤＦｋと同じキー識別情報ＩＤＦｋは、第２表示領域ＤＲＡ２に表示されないように制御されてもよい。
　なお、第２表示領域ＤＲＡ２に表示された複数のキー識別情報ＩＤＦｋのうちの一のキー識別情報ＩＤＦｋ（ユーザＵの所望するキー識別情報ＩＤＦｋ）は、例えば、第２操作により選択されてもよい。あるいは、第２表示領域ＤＲＡ２に表示された複数のキー識別情報ＩＤＦｋのうちの一のキー識別情報ＩＤＦｋは、操作装置１０の位置及び姿勢の一方又は両方を変化させる操作と、タッチパネル１６０へのタッチ操作とを含む操作により選択されてもよい。
　第３変形例においても、上述した実施形態、第１変形例及び第２変形例と同様の効果を得ることができる。また、第３変形例では、バックスペースキー等を示すキー識別情報ＩＤＦｋが第２表示領域ＤＲＡ２に表示されるため、処理の選択肢を増加させることができる。例えば、第２表示領域ＤＲＡ２に表示された複数のキー識別情報ＩＤＦｋのうちの一のキー識別情報ＩＤＦｋが第２操作により選択可能である場合、第２操作により実行される処理の選択肢を増加させることができる。このように、第３変形例では、操作装置１０の使い勝手を向上させることができる。
［第４変形例］
　上述した実施形態、及び、第１変形例から第３変形例までの変形例では、第１操作が１回以上実行された後、複数の第２候補文字ＰＷが第２表示領域ＤＲＡ２に表示される場合を示したが、本発明はこのような態様に限定されるものではない。例えば、複数の第２候補文字ＰＷは、１文字も入力されていない場合（文字入力期間において第１操作が１回も実行されていない場合）に、第２表示領域ＤＲＡ２に表示されてもよい。
　例えば、操作装置１０の姿勢を変化させること等により、複数の文字グループの中から一の文字グループが選択されたときに、一の文字グループに属する複数の第１候補文字から始まる単語等が、複数の第２候補文字ＰＷとして、第２表示領域ＤＲＡ２に表示されてもよい。具体的には、例えば、図５に示した数字の「７」を含む文字グループが選択された後で、第１操作が実行される前に、「Ｐ」、「Ｑ」、「Ｒ」、「Ｓ」及び「７」のいずれかから始まる第２候補文字ＰＷが、第２表示領域ＤＲＡ２に表示されてもよい。
　第４変形例においても、上述した実施形態、及び、第１変形例から第３変形例までの変形例と同様の効果を得ることができる。また、第４変形例では、第１操作が１回も実行されていない場合でも、複数の文字グループの中から一の文字グループが選択されたときに、複数の第２候補文字ＰＷが第２表示領域ＤＲＡ２に表示されるため、第１操作の実行回数を低減することができる。これにより、第４変形例では、文字入力操作を簡略化することができる。
［第５変形例］
　上述した実施形態、及び、第１変形例から第４変形例までの変形例では、複数の第１候補文字の中から入力文字を特定する処理、及び、複数の第２候補文字ＰＷの中から入力文字を特定する処理を操作装置１０が実行する場合を示したが、本発明はこのような態様に限定されるものではない。例えば、複数の第１候補文字の中から入力文字を特定する処理、及び、複数の第２候補文字ＰＷの中から入力文字を特定する処理の一方又は両方は、情報処理装置２０により実行されてもよい。
　複数の第１候補文字の中から入力文字を特定する処理が情報処理装置２０により実行される場合、例えば、図１０に示した第１入力文字特定処理において、ステップＳ１５６の処理の代わりに、以下に示す処理が実行されてもよい。
　例えば、操作判定部１１０は、第１操作であると判定した接触の接触位置の移動方向Ｄを特定してもよい。そして、操作判定部１１０は、第１操作であると判定した接触の接触位置の移動方向Ｄを示す第１方向情報と、図１０に示したステップＳ１５２において特定した第１の文字グループを示す第１グループ情報とを含む第１情報を、情報処理装置２０に送信してもよい。
　そして、情報処理装置２０は、操作装置１０から送信された第１情報に基づいて、第１の文字グループに属する複数の第１候補文字の中から入力文字を特定してもよい。なお、第１情報は、第１操作であると判定された接触の開始位置ＳＰ及び終了位置を示す情報を、第１方向情報に加えて、又は、第１方向情報の代わりに、有してもよい。また、情報処理装置２０は、図１０に示したステップＳ１５２の処理を操作装置１０の代わりに実行してもよい。例えば、情報処理装置２０は、操作装置１０の加速度及び角速度の検出結果を示す動き情報等に基づいて、複数の文字グループの中から第１の文字グループを特定してもよい。
　複数の第２候補文字ＰＷの中から入力文字を特定する処理が情報処理装置２０により実行される場合、例えば、図１１に示した第２入力文字特定処理において、ステップＳ１７２及びＳ１７６の処理の代わりに、以下に示す処理が実行されてもよい。
　例えば、操作装置１０の操作判定部１１０、図１１に示したステップＳ１７２において、複数の第２候補文字ＰＷに割り当てられた複数の識別情報（位置情報等）のうち、入力候補の識別情報を、タッチパネル１６０に対する接触位置の移動方向Ｄに基づいて特定してもよい。
　そして、操作判定部１１０、図１１に示したステップＳ１７６において、入力候補の識別情報を、情報処理装置２０に送信してもよい。例えば、図８に示した開始位置ＳＰｃの接触が第２操作である場合、入力候補の識別情報は、図８に示した「ｒａｉｎ」に割り当てられた位置情報であってもよい。情報処理装置２０は、操作装置１０から送信された入力候補の識別情報に基づいて、複数の第２候補文字ＰＷの中から入力文字を特定してもよい。
　第５変形例においても、上述した実施形態、及び、第１変形例から第４変形例までの変形例と同様の効果を得ることができる。また、第５変形例では、複数の第１候補文字の中から入力文字を特定する処理、及び、複数の第２候補文字ＰＷの中から入力文字を特定する処理の一方又は両方が情報処理装置２０により実行されるため、操作装置１０の処理を軽減することができる。
［第６変形例］
　上述した実施形態、及び、第１変形例から第５変形例までの変形例では、文字入力操作により英数字が情報処理装置２０に入力される場合を示したが、本発明はこのような態様に限定されるものではない。例えば、文字入力操作により日本語の仮名文字が情報処理装置２０に入力されてもよい。この場合、例えば、入力文字の候補となる複数の仮名文字が日本語の子音に基づいて分類された複数の文字グループから、第１の文字グループが選択されてもよい。
　第６変形例においても、上述した実施形態、及び、第１変形例から第５変形例までの変形例と同様の効果を得ることができる。
［３．その他］
（１）上述した実施形態では、記憶装置（例えば、記憶装置１２０及び２２０）は、処理装置（例えば、処理装置１００及び２００）が読取可能な記録媒体であり、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact　Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網から送信されてもよい。
（２）上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
（４）上述した実施形態において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
（６）図３及び図４に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
　また、通信装置１４０及び２４０は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１４０及び２４０は、例えば、周波数分割複信（ＦＤＤ：Frequency　Division　Duplex）及び時分割複信（ＴＤＤ：Time　Division　Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。
（７）上述した実施形態で例示したプログラムは、ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
（９）本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。
（１０）上述した実施形態において、情報処理装置２０は、移動局（ＭＳ：Mobile　Station）である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末（user　terminal）」、「ユーザ装置（ＵＥ：User　Equipment）」、「端末」等の用語は、互換的に使用され得る。
（１１）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
（１２）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
（１３）本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking　up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
（１４）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
（１５）本開示において、例えば、英語でのa,　an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
（１６）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
（１７）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
　１０…操作装置、２０…情報処理装置、１００…処理装置、１１０…操作判定部、１２０…記憶装置、１４０…通信装置、１６０…タッチパネル、１８０…慣性センサ、１９０…振動発生装置、２００…処理装置、２１０…文字入力制御部、２２０…記憶装置、２４０…通信装置、２６０…撮像装置、２８０…表示装置、２９０…音出力装置。

Claims (10)

  1. 　入力される文字が表示される表示面を有する情報処理装置と通信可能であり、ユーザに把持される操作装置であって、
    　テキスト入力判定領域が設定されるタッチパネルと、
    　互いに異なる第１操作及び第２操作を受付可能な第１操作期間に前記第１操作が行われたか否かを、前記タッチパネルに対する接触の開始位置が前記テキスト入力判定領域内であるか否かを示す判定結果に基づいて、判定する操作判定部と、
    　を備え、
    　前記第１操作は、第１の文字グループに属する１つ以上の第１候補文字の中から文字を選択するための操作であり、
    　前記第２操作は、前記第１操作により選択された文字に関連する１つ以上の第２候補文字の中から文字を選択するための操作を含む、
    　ことを特徴とする操作装置。
  2. 　前記操作判定部は、
    　前記第１操作期間における前記タッチパネルに対する前記接触の開始位置が前記テキスト入力判定領域内である場合、前記タッチパネルに対する前記接触を前記第１操作と判定し、
    　前記第１操作期間における前記タッチパネルに対する前記接触の開始位置が前記テキスト入力判定領域外である場合、前記第２操作が行われたか否かを、前記タッチパネルに対する前記接触の位置である接触位置の移動方向に基づいて、判定する、
    　ことを特徴とする請求項１に記載の操作装置。
  3. 　前記操作判定部は、
    　前記第１操作期間における前記タッチパネルに対する前記接触の開始位置が前記テキスト入力判定領域外であり、かつ、前記接触位置の移動方向が前記テキスト入力判定領域の方向である場合、前記タッチパネルに対する前記接触を前記第２操作と判定する、
    　ことを特徴とする請求項２に記載の操作装置。
  4. 　前記操作判定部は、
    　前記タッチパネルに対する前記接触を前記第２操作と判定した後、前記接触位置の移動量が所定量に達する前に、前記タッチパネルに対する前記接触が終了した場合、前記第２操作が取り消されたと判定する、
    　ことを特徴とする請求項３に記載の操作装置。
  5. 　前記操作判定部は、
    　前記第１操作期間における前記タッチパネルに対する前記接触の開始位置が前記テキスト入力判定領域外であり、かつ、前記接触位置の移動方向が前記テキスト入力判定領域の方向でない場合、前記タッチパネルに対する前記接触を、前記第１操作及び前記第２操作のいずれでもないと判定する、
    　ことを特徴とする請求項２から４のいずれか１項に記載の操作装置。
  6. 　前記１つ以上の第２候補文字は、前記第１操作により選択された文字に基づいて予測された入力候補である、
    　ことを特徴とする請求項１から５のいずれか１項に記載の操作装置。
  7. 　前記１つ以上の第２候補文字は、前記表示面のうち、前記第１の文字グループを含む複数の文字グループの各々を識別するための識別情報が表示される第１表示領域の外側の第２表示領域に表示される、
    　ことを特徴とする請求項６に記載の操作装置。
  8. 　前記１つ以上の第２候補文字は、予測の確からしさに基づいて、前記第２表示領域に表示される、
    　ことを特徴とする請求項７に記載の操作装置。
  9. 　前記１つ以上の第２候補文字として複数の第２候補文字が予測された場合、前記複数の第２候補文字のうち、予測の確からしさが最も高い第２候補文字は、他の第２候補文字に比べて、前記第１操作が終了したときの前記タッチパネル内の前記接触の位置に対応する前記表示面内の位置に近い位置に表示される、
    　ことを特徴とする請求項８に記載の操作装置。
  10. 　前記テキスト入力判定領域は、前記タッチパネルに対する前記接触の開始位置及び終了位置を学習することにより、前記タッチパネルに設定される、
    　ことを特徴とする請求項１から９のいずれか１項に記載の操作装置。
PCT/JP2021/037608 2020-10-21 2021-10-11 操作装置 WO2022091760A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020176490 2020-10-21
JP2020-176490 2020-10-21

Publications (1)

Publication Number Publication Date
WO2022091760A1 true WO2022091760A1 (ja) 2022-05-05

Family

ID=81383728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037608 WO2022091760A1 (ja) 2020-10-21 2021-10-11 操作装置

Country Status (1)

Country Link
WO (1) WO2022091760A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011158641A1 (ja) * 2010-06-17 2011-12-22 日本電気株式会社 情報処理端末およびその操作制御方法
WO2012132767A1 (ja) * 2011-03-31 2012-10-04 株式会社エヌ・ティ・ティ・ドコモ 携帯端末
JP2014048999A (ja) * 2012-09-03 2014-03-17 Fujitsu Ltd 文字変換装置、文字変換方法、及びプログラム
WO2017086396A1 (ja) * 2015-11-17 2017-05-26 知己 半司 タッチ操作による文字入力装置・方法・プログラム
JP2020149418A (ja) * 2019-03-14 2020-09-17 オムロン株式会社 文字入力装置、文字入力方法、及び、文字入力プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011158641A1 (ja) * 2010-06-17 2011-12-22 日本電気株式会社 情報処理端末およびその操作制御方法
WO2012132767A1 (ja) * 2011-03-31 2012-10-04 株式会社エヌ・ティ・ティ・ドコモ 携帯端末
JP2014048999A (ja) * 2012-09-03 2014-03-17 Fujitsu Ltd 文字変換装置、文字変換方法、及びプログラム
WO2017086396A1 (ja) * 2015-11-17 2017-05-26 知己 半司 タッチ操作による文字入力装置・方法・プログラム
JP2020149418A (ja) * 2019-03-14 2020-09-17 オムロン株式会社 文字入力装置、文字入力方法、及び、文字入力プログラム

Similar Documents

Publication Publication Date Title
CN103718082B (zh) 具有集成的手指跟踪输入传感器的可穿戴式平视显示器
Lee et al. Towards augmented reality driven human-city interaction: Current research on mobile headsets and future challenges
US20200026939A1 (en) Electronic device and method for controlling the same
US20150220265A1 (en) Information processing device, information processing method, and program
US20180132088A1 (en) MOBILE TERMINAL AND METHOD FOR CONTROLLING THE SAME (As Amended)
CN108369479B (zh) 在小形状因数显示器上的目标选择
US20170115782A1 (en) Combined grip and mobility sensing
KR20190083845A (ko) 데이터를 난독화 및 복호화 하는 전자 장치 및 그의 제어 방법
CN105912119A (zh) 用于字符输入的方法和可穿戴装置
US10466801B2 (en) Detection and usability of personal electronic devices for field engineers
US20160306421A1 (en) Finger-line based remote control
CN104932782A (zh) 一种信息处理方法、装置及智能眼镜
US10019072B2 (en) Imagined grid fingertip input editor on wearable device
WO2022091760A1 (ja) 操作装置
US20230236673A1 (en) Non-standard keyboard input system
WO2020039703A1 (ja) 入力装置
Lee et al. Towards augmented reality-driven human-city interaction: Current research and future challenges
KR101559424B1 (ko) 손 인식에 기반한 가상 키보드 및 그 구현 방법
US11743574B2 (en) System and method for AI enhanced shutter button user interface
JP7287600B2 (ja) 情報処理装置
WO2021220867A1 (ja) 情報処理装置
KR101892738B1 (ko) 제스처를 인식하는 방법 및 장치
WO2022190774A1 (ja) 情報処理装置
KR102539045B1 (ko) 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법
US11270386B2 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21885879

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21885879

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP