WO2014007381A1 - 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体 - Google Patents

情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2014007381A1
WO2014007381A1 PCT/JP2013/068550 JP2013068550W WO2014007381A1 WO 2014007381 A1 WO2014007381 A1 WO 2014007381A1 JP 2013068550 W JP2013068550 W JP 2013068550W WO 2014007381 A1 WO2014007381 A1 WO 2014007381A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
touch screen
input device
screen display
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/068550
Other languages
English (en)
French (fr)
Inventor
英樹 金谷
良彦 芝
典明 遊佐
憲一 石飛
威 鑓田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to US14/412,299 priority Critical patent/US20150186037A1/en
Priority to CN201380035983.6A priority patent/CN104428746A/zh
Publication of WO2014007381A1 publication Critical patent/WO2014007381A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to an information processing apparatus equipped with a touch screen display capable of displaying a virtual input device, a control method for the information processing apparatus, a control program, and a computer-readable recording medium.
  • Patent Document 1 discloses an information processing apparatus that detects the size of a user's hand placed on a touch screen display and displays a virtual keyboard having a size corresponding to the detected size.
  • the information processing apparatus includes a touch screen display and a detection unit that detects a size of a user's hand placed on the touch screen display in response to a detection signal from the touch screen display.
  • Virtual keyboard display means for displaying a virtual keyboard including a plurality of virtual keys for inputting key codes on the touch screen display, the virtual keyboard having a size corresponding to the size detected by the detection means
  • Display means for displaying a keyboard, and output means for outputting code data corresponding to the operated virtual key in the virtual keyboard.
  • Japanese Patent Publication Japanese Unexamined Patent Publication No. 2011-159089 (published on August 18, 2011)
  • the present invention has been made in view of the above-described problems, and an object thereof is an information processing apparatus capable of displaying a virtual input device in a user-friendly shape on a touch screen display screen with a simple operation.
  • An information processing apparatus control method, a control program, and a computer-readable recording medium are realized.
  • an information processing apparatus includes a touch screen display and displays a virtual input device for a user to perform an operation input on the touch screen display.
  • the designated point acquisition means for acquiring two designated points designated on the touch screen display, and the two designated points obtained by the designated point acquisition means, respectively.
  • Shape determining means for determining the size and position of the virtual input device on the touch screen display so that each of the reference points matches, and the virtual input device at the size and position determined by the shape determining means.
  • Virtual input device display means for displaying on a touch screen display It is characterized.
  • a method for controlling an information processing apparatus comprising: a touch screen display; A designated point acquisition step for obtaining two designated points designated on the screen display, and two of the two designated points obtained in the designated point obtaining step are set in advance in the virtual input device.
  • a shape determining step for determining the size and position of the virtual input device on the touch screen display so that each of the reference points matches, and the virtual input device at the size and position determined in the shape determining step.
  • Virtual input device display screen displayed on the touch screen display Tsu is characterized in that it comprises a flop, the.
  • the information processing apparatus includes a designated point acquisition unit that acquires two designated points designated on the touch screen display, and each of the two designated points obtained by the designated point acquisition unit.
  • the shape determining means for determining the size and position of the virtual input device on the touch screen display and the shape determining means are determined so that each of two reference points set in advance in the virtual input device matches.
  • the control method of the information processing apparatus includes a specified point acquisition step for acquiring two specified points specified on a touch screen display, and the two specified points acquired in the specified point acquisition step.
  • a shape determining step for determining a size and a position of the virtual input device on the touch screen display so that two reference points set in advance in the virtual input device respectively match, and a shape determining step
  • the desired position of the user can be obtained. And the virtual input device can be displayed in size.
  • FIG. 1 It is a functional block diagram which shows the outline of a structure of the information processing apparatus which concerns on one embodiment of this invention. It is explanatory drawing which shows an example of the external appearance of the touch screen display with which the information processing apparatus shown in FIG. 1 is provided. (A)-(c) is explanatory drawing which shows the outline
  • FIG. 2 is an explanatory diagram illustrating an example of a virtual input device other than a virtual keyboard displayed by the information processing apparatus illustrated in FIG. 1, where (a) illustrates a virtual numeric keypad and (b) illustrates a virtual touchpad.
  • FIG. 2 is an explanatory diagram illustrating a method of selecting a virtual input device to be displayed from a plurality of types of virtual input devices in the information processing apparatus illustrated in FIG. 1.
  • 3 is a flowchart showing a flow of processing for selecting a virtual input device to be displayed from a plurality of types of virtual input devices in the information processing apparatus shown in FIG. 1.
  • (A)-(c) is explanatory drawing which shows the example of the pattern of an application screen at the time of the information processing apparatus shown in FIG.
  • FIG. 1 displaying a virtual keyboard.
  • (A)-(c) is explanatory drawing which shows the example of the form of the virtual keyboard which the information processing apparatus shown in FIG. 1 displays. It is explanatory drawing which shows the example of a display of the virtual keyboard displayed on the touchscreen display which concerns on the modification 1 of this invention.
  • (A) And (b) is explanatory drawing which shows the example of a display of the virtual keyboard displayed on the touch screen display which concerns on the modification 3 of this invention.
  • A)-(c) is explanatory drawing which shows the example of a display of the virtual keyboard displayed on the touch screen display which concerns on the modification 3 of this invention.
  • (A) And (b) is explanatory drawing which shows the example of a display of the virtual keyboard displayed on the touch screen display which concerns on the modification 3 of this invention.
  • (A) And (b) is explanatory drawing which shows the example of a display of the virtual keyboard displayed on the touch screen display which concerns on the modification 3 of this invention. It is explanatory drawing which shows the example of a display of the image displayed on a touchscreen display when inputting from the specific virtual keyboard. It is explanatory drawing which shows the example of a display of the image displayed on a touchscreen display when inputting from the specific virtual keyboard.
  • FIG. 2 An example of the external appearance of the touch screen display 2 with which the information processing apparatus 1 which concerns on one Embodiment of this invention is provided is shown.
  • the information processing apparatus 1 is an apparatus that includes at least a touch screen display 2 and displays virtual input devices such as virtual keyboards 31 and 32 for a user to perform operation input on the touch screen display 2.
  • virtual input devices such as virtual keyboards 31 and 32 for a user to perform operation input on the touch screen display 2.
  • a created keyboard may be distinguished as a virtual keyboard 31, and a newly created keyboard as a virtual keyboard 32.
  • the touch screen display 2 of the information processing apparatus 1 includes a transparent touch panel 2T (FIG. 1) disposed on a display surface of an LCD (Liquid Crystal Display) 2D (FIG. 1), and is realized by the LCD 2D and the touch panel 2T. Yes.
  • a transparent touch panel 2T for example, a resistance film method or a capacitance method can be used.
  • a multi-touch panel that can simultaneously detect a plurality of touch positions may be used as the touch panel 2T.
  • the touch screen display 2 is configured such that the touch panel 2T can detect the touch position on the display screen of the LCD 2D touched by the user with a pen or a finger. Coordinate data indicating the touch position on the display screen of the touch screen display 2 is input from the touch screen display 2 to a processing unit described later in the information processing apparatus 1. Thereby, the user can select various objects (for example, icons representing folders and files, menus, buttons, and the like) displayed on the display screen of the LCD 2D using a fingertip or a pen.
  • objects for example, icons representing folders and files, menus, buttons, and the like
  • the touch screen display 2 can display a virtual keyboard 31 (also referred to as a software keyboard).
  • the virtual keyboard 31 includes a plurality of virtual keys (also referred to as software buttons) for inputting a plurality of key codes. More specifically, the virtual keys are numeric keys, alphabet keys, arrow keys, function keys, and other auxiliary keys.
  • the user touches the virtual key of the virtual keyboard 31 displayed on the LCD 2D via the touch panel 2T, thereby causing various code data (key code, character code, command, etc.) to be displayed on the application window displayed on the LCD 2D. Etc.) can be entered.
  • the information processing apparatus 1 allows a plurality of people to operate the touch screen display 2 simultaneously from different directions. That is, on the touch screen display 2 of the information processing apparatus 1, a plurality of users can generate and display virtual keyboards 31 and 32 in accordance with the size and orientation of their hands. Specifically, when the first user displays and uses his / her virtual keyboard 31 on the touch screen display 2, the second user generates his / her virtual keyboard 32 on the touch screen display 2. Can be displayed.
  • the virtual keyboards 31 and 32 can be changed to different sizes, orientations, and positions after being displayed once.
  • the virtual input device to be displayed on the touch screen display 2 may be a virtual numeric keypad or a virtual touch pad in addition to a virtual keyboard, but is not limited to this, and a shape such as a size on the touch screen display 2 may be used. Any change can be applied as long as it can be changed for each user.
  • the form of the virtual input device displayed on the touch screen display 2 may be a general-purpose form that does not limit the application, but may be a dedicated form so as to be used in a specific application.
  • a TV remote control key (FIG. 11A), a smart phone touch panel (FIG. 11B), a BD recorder operation key (FIG. 11C), etc.
  • FIG. 1 is a functional block diagram showing an outline of the configuration of the information processing apparatus 1.
  • the information processing apparatus 1 includes a touch screen display 2, a touch panel driver 3, a virtual input device control unit 4, an application unit 5, and a display driver 6.
  • the touch screen display 2 includes the LCD (Liquid Crystal Display) 2D and the transparent touch panel 2T disposed on the upper surface of the LCD 2D.
  • the touch panel 2T outputs a touch detection signal that detects a position touched by the user to the touch panel driver 3.
  • the LCD 2D displays virtual input devices such as an application screen and virtual keyboards 31 and 32 via the display driver 6.
  • the touch panel driver 3 generates coordinate data (touch position detection information) indicating the touch position on the touch screen display 2 from the touch detection signal from the touch panel 2T, and outputs the coordinate data to the virtual input device control unit 4.
  • the application unit 5 receives the code data output from the virtual input device control unit 4 and processes it by a predetermined application.
  • the display driver 6 displays virtual input devices such as the virtual keyboards 31 and 32 on the LCD 2D of the touch screen display 2 under the control of the virtual input device control unit 4.
  • the display driver 6 displays an application screen on the LCD 2 ⁇ / b> D of the touch screen display 2 under the control of the application unit 5.
  • the virtual input device controller 4 determines the type, size, orientation, position, etc. of the virtual input device and displays it on the LCD 2D of the touch screen display 2 via the display driver 6.
  • the virtual input device control unit 4 includes a mode switching unit 11, a virtual key selection unit 12, a key assignment information storage unit 13, a code output unit 14, a virtual input device setting unit 15, a timer 16, a setting table storage unit 17, and a virtual table.
  • An input device display unit (virtual input device display means) 18 is provided.
  • the mode switching unit 11 switches the processing mode of the virtual input device control unit 4.
  • the mode switching unit 11 transitions from the normal mode to the function creation mode when a predetermined touch operation described later is performed.
  • the mode switching unit 11 outputs touch position detection information from the touch panel driver 3 to the virtual key selection unit 12 in the normal mode.
  • the touch position detection information is output to the virtual input device setting unit 15.
  • the virtual key selection unit 12 selects a virtual key touched by the user from a plurality of virtual keys of the virtual keyboard 31.
  • the selection of the virtual key is performed by referring to the key assignment information stored in the key assignment information storage unit 13 based on the touch position detection information indicating the touch position.
  • the key assignment information storage unit 13 stores key assignment information 13.
  • key assignment information a correspondence relationship between an area on the touch screen display 2 where each of a plurality of virtual keys is displayed, that is, the position of the display area of each virtual key, and code data to be output is set in advance.
  • the code output unit 14 outputs code data corresponding to the virtual key selected by the virtual key selection unit 12 to the application unit 5.
  • the virtual input device setting unit 15 newly generates a virtual input device such as the virtual keyboard 32 and changes the position and shape.
  • the virtual input device setting unit 15 stores setting information indicating the position, shape, and the like of the virtual input device for each user in association with the ID of the user who generated or changed the virtual input device. You may keep it.
  • the virtual input device setting unit 15 acquires two designated points P1 and P2 designated on the touch panel 2T, and assigns each of the two designated points P1 and P2 to a virtual input device such as a virtual keyboard 32.
  • the size, position and orientation of the virtual input device are determined so that the two reference points K1 and K2 set in advance match each other. That is, the virtual input device setting unit 15 determines the size of the virtual input device by expanding or reducing the distance between the reference points K1 and K2 of the virtual input device according to the distance between the two designated points P1 and P2.
  • a virtual input device such as the virtual keyboard 32 on the touch screen display 2 in a shape that is easy for the user to use with a simple operation.
  • the virtual input device setting unit 15 includes a designated point acquisition unit (designated point acquisition unit) 21, a shape determination unit (shape determination unit) 22, and a device selection unit (device selection unit) 23.
  • the designated point acquisition unit 21 has two designated points P1 and P2 designated on the touch screen display 2 as the first designated point P1 designated as the first and the second designated point P2 designated as the second. And get it separately. Specifically, the designated point acquisition unit 21 obtains the predetermined range of the touch screen display 2 based on the first designated point P1 for a predetermined time (input available time t2) after obtaining the first designated point P1. In the second designated point input area 33 ((a) in FIG. 3), when the same position is designated for a predetermined time (long press time t3), the position is acquired as the second designated point P2.
  • the shape determining unit 22 touches the touch screen so that the two reference points K1 and K2 set in advance on the virtual keyboard match the two specified points P1 and P2 acquired by the specified point acquiring unit 21, respectively.
  • the size and position of the virtual keyboard 32 on the display 2 are determined.
  • the shape determination unit 22 determines the orientation of the virtual keyboard 32 on the touch screen display 2 according to the relative positional relationship between the first designated point P1 and the second designated point P2.
  • the two designated points P1 and P2 are distinguished into a first designated point P1 designated as the first and a second designated point P2 designated as the second, depending on the input operation.
  • the two reference points K1 and K2 are distinguished into a first reference point K1 corresponding to the first specified point P1 and a second reference point K2 corresponding to the second specified point P2.
  • the shape determination unit 22 associates the first reference point K1 with the first designated point P1 and associates the second designated point P2 with the second reference point K2, so that the size and position of the virtual keyboard 32 are simultaneously provided. Determine the orientation.
  • the device selection unit 23 acquires a user operation to select a virtual input device to be displayed on the touch screen display 2 from a plurality of preset types (virtual keyboard 32, virtual numeric keypad 41, virtual touch pad 42).
  • the timer 16 detects the touch time of the touch signal detected on the touch screen display 2 input to the mode switching unit 11 and the virtual input device setting unit 15. Specifically, the timer 16 is used for measuring the first long press time t1, the input possible time t2, and the second long press time t3. The first long press time t1, the input possible time t2, and the second long press time t3 can be arbitrarily set.
  • the setting table storage unit 17 stores a setting table for the virtual input device setting unit 15 to refer to.
  • the positions of the first reference point K1 and the second reference point K2 are set in advance for each type of virtual input device.
  • the virtual input device display unit 18 displays the virtual keyboard 32 on the touch screen display 2 with the size and position determined by the shape determination unit 22.
  • the virtual input device control unit 4 receives touch position detection information in the normal mode, and is touched by a user from a plurality of virtual keys in the virtual keyboard 31 based on the touch position detection information.
  • the virtual key is selected, and based on the key assignment information 13, code data corresponding to the touch position detection information is output to the application unit 5.
  • the virtual input device control unit 4 receives touch position detection information in the function creation mode, and based on the touch position detection information, the type, size, orientation, position, etc. of the virtual keyboard 32 to be displayed.
  • the virtual keyboard 32 is displayed on the LCD 2D via the display driver 6 in the determined shape.
  • FIG. 3 is an explanatory diagram showing an outline of a virtual keyboard setting method.
  • FIG. 4 is an explanatory diagram showing two reference points set in the virtual keyboard.
  • FIG. 5 is a table showing an example of a setting table stored in the setting table storage unit 17.
  • first long press time t1 when a touch operation for a predetermined time (first long press time t1) or more is performed at a certain position on the touch screen display 2 by a user's finger or the like, the position is displayed. While determining as the 1st designated point P1, the 2nd designated point input area 33 which is a circle centering on the touch position on the touch screen display 2 is displayed.
  • a touch operation for a predetermined time (second long press time t3) or more with the user's other finger or the like in the displayed second designated point input area 33.
  • the position is determined as the second designated point P2.
  • a distance c between the first designated point P1 and the second designated point P2 is calculated.
  • the virtual keyboard is set such that the distance c is a distance d between two reference points K1 and a second reference point (for example, center coordinates of the two keys Key1 and Key2) set in advance on the virtual keyboard.
  • the size of 32 is determined ((c) of FIG. 3).
  • the second designated point P2 can be input only within the second designated point input area 33 for a predetermined time (input possible time t2) after the first designated point P1 is inputted. Thereby, it can prevent malfunctioning by operation by persons other than the user who is going to set the virtual keyboard 32.
  • FIG. 1 input possible time t2
  • the position coordinates (xP1, yP1) of the first designated point P1 are the first reference points K1 (x1) which are the center coordinates of the key 1 of the virtual keyboard. , Y1), and the position coordinates (xP2, yP2) of the second designated point P2 correspond to the second reference point K2 (x2, y2) which is the center coordinate of the Key2.
  • the first reference point K1 and the second reference point K2 are input to the first designated point P1 by the user with the right thumb
  • the second designated point P2 can be set to be input with the right hand little finger.
  • the first reference point K1 can be assigned to the center coordinate of the space key (Key1)
  • the second reference point K2 can be assigned to the center coordinate of the enter key (Key2).
  • the positions of the two reference points K1 and K2 on the virtual keyboard and the input method of the two designated points P1 and P2 are not limited to the above and can be arbitrarily selected.
  • the virtual points P1 and P2 are stopped for a predetermined time (change determination long press time td) or more, as described above in [Overview of Virtual Keyboard Setting Method], the virtual points are set based on the positions of the designated points P1 and P2. The direction, size and position of the keyboard 31 are determined.
  • the change start long press time ts and the change determination long press time td can be arbitrarily set.
  • FIG. 6 is a flowchart showing the flow of display processing of the virtual input device.
  • the mode switching unit 11 acquires touch position detection information indicating the position coordinates (xP1, yP1) of the touch position P1 detected on the touch screen display 2 (S1).
  • the timer 16 measures the duration of the touch operation at the touch position P1, and the touch operation is longer than the first long press time t1.
  • the position is determined as the first designated point P1, and the second designated point input area 33, which is a circle with a predetermined radius centered on the touch position, is displayed on the touch screen display 2. (S3).
  • the duration of the touch operation is less than the first long press time t1 (No in S2), the process proceeds to step S1.
  • the second designated point input area 33 is displayed as a circular image on the touch screen display 2, so that the transition from the normal mode to the function creation mode is completed, the input of the first designated point P 1 is completed, the second designated point. It is possible to inform the user that P2 can be input and the input range of the second designated point P2.
  • the mode switching unit 11 shifts from the normal mode to the function creation mode, and outputs the touch position detection information to the virtual input device setting unit 15. That is, as described above, the position coordinates (xP1, yP1) of the touch position P1 are output to the designation acquisition unit 21. Then, the designated point acquisition unit 21 sets the touch position P1 as the first designated point P1, and causes the virtual input device display unit 18 to select the second of the predetermined radius centered on the position coordinates (xP1, yP1) of the first designated point P1. The designated point input area 33 is displayed on the touch screen display 2 via the display driver 6. Thereafter, when a touch operation in the second designated point input area 33 is detected, the touch position detection information is also output from the mode switching unit 11 to the designation obtaining unit 21.
  • the timer 16 measures the elapsed time from the display of the second designated point input area 33. Then, the touch position detection indicating the position coordinates (xP2, yP2) of the touch position P2 detected on the touch screen display 2 by the designated point acquisition unit 21 within the input possible time t2 from the display of the second designated point input area 33.
  • the timer 16 measures the duration of the touch operation at the touch position P2. Start (S6).
  • the position is determined as the second designated point P2, and the first designated point P1 and the second designated point are determined.
  • the shape and the like of the virtual keyboard 32 are determined (S7; shape determination step). Specifically, as described above, the shape determining unit 22 touches each of the two designated points P1 and P2 so that the two reference points K1 and K2 set in advance on the virtual keyboard match each other. The size and position of the virtual keyboard 32 on the screen display 2 are determined. Then, the virtual input device display unit 18 displays the virtual keyboard 32 on the touch screen display 2 according to the determined size, orientation, and position (S8; virtual input device display step). The above steps S1 to S6 correspond to the designated point acquisition step.
  • the designated point acquisition unit 21 displays the virtual input device display.
  • the display of the second designated point input area 33 displayed on the screen display 2 is stopped in the unit 18, and the process proceeds to step S1.
  • the touch position P2 is outside the second designated point input area 33 (No in S5), and the duration of the touch operation at the touch position P2 is the second long press. If it is less than time t3 (No in S6), the process proceeds to step S4 and waits for detection of a new touch position P2.
  • FIG. 7 is an explanatory diagram illustrating an example of a virtual input device other than a virtual keyboard, where (a) illustrates a virtual numeric keypad and (b) illustrates a virtual touchpad.
  • the first reference point K ⁇ b> 1 and the second reference point K ⁇ b> 2 are input to the first designated point P ⁇ b> 1 by the right thumb by the user, Is set to input the second designated point P2.
  • the first reference point K1 is assigned to the center coordinates of the “0” key (Key1)
  • the second reference point K2 is assigned to the center coordinates of the “ ⁇ ” key (Key2).
  • the first reference point K ⁇ b> 1 and the second reference point K ⁇ b> 2 are input to the first designated point P ⁇ b> 1 by the user with the right thumb.
  • the second designated point P2 is set to be input by the right hand index finger.
  • the first reference point K1 is assigned to the lower left corner of the touch area and the upper right corner of the touch area.
  • the virtual input device displayed on the touch screen display 2 is not limited to a virtual keyboard, a virtual numeric keypad, and a virtual touch pad, and can change the shape such as the size on the touch screen display 2 for each user. If so, it can be arbitrarily applied. Further, the positions of the two reference points K1 and K2 in each virtual input device and the input method of the two designated points P1 and P2 are not limited to the above and can be arbitrarily selected.
  • FIG. 8 is an explanatory diagram illustrating a method of selecting a virtual input device to be displayed from a plurality of types of virtual input devices in the information processing apparatus 1.
  • FIG. 9 is a flowchart illustrating a flow of processing for selecting a virtual input device to be displayed from a plurality of types of virtual input devices in the information processing apparatus 1.
  • Steps S1 to S6 and S7 to S8 in the flowchart shown in FIG. 9 are the same as steps S1 to S6 and S7 to S8 in the flowchart shown in FIG. 6 described above in [Detailed flow of display method of virtual keyboard]. Therefore, the repeated explanation is not described here.
  • the device selection unit 23 replaces the second designated point input area 33 with a device selection circle 34 via the virtual input device display unit 18. It is displayed on the display 2 (S9).
  • the device selection circle 34 has, for example, a circular shape centered on the first designated point P1.
  • the entire circumference of the device selection circle 34 is divided into arcs of the number of selectable virtual input devices, and selectable virtual input devices are assigned to the respective arcs. Then, the user can select the virtual input device assigned to the arc approaching the first designated point P1 by bringing the touch of the first designated point P1 closer to any arc.
  • the user can select a virtual input device by selecting any arc of the device selection circle 34 or an icon of a virtual input device assigned to the arc.
  • the touch of the first designated point P1 is moved in the direction of the virtual input device to be selected, or once the finger or the like is touched on the touch screen display 2. Touch the icon of the virtual input device you want to select.
  • the device selection unit 23 measures the elapsed time from the display of the device selection circle 34 by the timer 16.
  • the device selection unit 23 detects that the touch of the first designated point P1 is released from the touch screen display 2 within a predetermined time (first device selection time t4) from the display of the device selection circle 34 (in S10) Yes)
  • the moving direction of the touch position is calculated, and the first designated point P1 is any of the device selection circles 34. It is determined whether or not the arc has approached, and the selected virtual input device is determined (S12-1). In the example of FIG. 8, since the first designated point P1 has moved downward in the drawing of the device selection circle 34, it is determined that the virtual keyboard assigned to the arc positioned ahead in the movement direction has been selected.
  • the device selection circle 34 is within a predetermined time (second device selection time t5) after the touch is released.
  • the selection operation for one of the arcs or the icon of the virtual input device assigned to the arc is acquired, and the selected virtual input device is determined (S12-2).
  • the shape determining unit 22 determines the shape and the like of the virtual input device such as the virtual keyboard 32 based on the first designated point P1 acquired in step S2 and step S6 (S7; shape determining step). Then, the virtual input device display unit 18 displays the selected type of virtual input device on the touch screen display 2 according to the determined size, orientation, and position (S8; virtual input device display step).
  • step S1 when the device selection unit 23 does not detect that the touch of the first designated point P1 has been released from the touch screen display 2 within the first device selection time t4 from the display of the device selection circle 34 (in S10) No), and if the selection operation of the icon of the virtual input device is not performed on the device selection circle 34 within the second device selection time t5 (No in S12-2), the process proceeds to step S1.
  • the first device selection time t4 and the second device selection time t5 can be arbitrarily set.
  • FIG. (A) to (c) of FIG. 10 are explanatory diagrams showing examples of application screen patterns when displaying a virtual keyboard.
  • input to the application screen is managed exclusively for the plurality of virtual keyboards 51 and 52.
  • the new virtual keyboard 52 may not be created.
  • the display screen of the application unit 5 is fixed to the touch screen display 2 and is not changed. Good.
  • the display screen of the application unit 5 is displayed in accordance with the orientation of the virtual keyboard 51.
  • the display screen of the application unit 5 is matched with the position and orientation of the virtual keyboard 52, You may display so that the user of the virtual keyboard 52 can see easily.
  • the display screen 53 of the application unit 5 is rotated, reduced or enlarged and displayed near the virtual keyboard 52.
  • the virtual input device display unit 18 starts input from the virtual keyboard 52
  • the character string input from the virtual keyboard 52 is displayed in the display screen of the application unit 5. You may display the state which is displayed.
  • an input window 54 is displayed according to the position and orientation of the virtual keyboard 52 so that the user of the virtual keyboard 52 can easily see.
  • the input window 54 is displayed in a balloon shape so that it can be seen that the character string or the like input to the input window 54 is input to the input box 55 of the application unit 5.
  • FIG. 12 shows a virtual keyboard 51 and a virtual keyboard 52 displayed on the touch screen display 2 in this modification. Although two virtual keyboards are shown in FIG. 12, the number of virtual keyboards is not particularly limited.
  • start input means that the input box 55 on the display screen of the application unit 5 has focus and one or more confirmed characters have been entered in the input box 55 or a temporary character before confirmation. A state in which characters are displayed in the input box 55. When all the character strings and the like input from the specific virtual keyboard to the input box 55 are deleted by the DEL key and the BS key, the input state is not set.
  • the virtual keyboard 51 and the virtual keyboard 52 as shown in FIG.
  • the input from the virtual keyboard 51 becomes impossible. That is, the virtual keyboard 51 receives exclusive control.
  • the virtual keyboard 52 confirms the input character string in the input box 55 and confirms the input to the input box 55 with the ENTER key or the like, the virtual keyboard 51 that cannot be input can be input. Also good.
  • the display of the virtual keyboard 51 that has received the exclusive control may be changed.
  • the virtual keyboard 51 that has undergone exclusive control is displayed with a dotted line, but the virtual keyboard that has undergone exclusive control may be displayed in gray or may be input, for example.
  • the display form is not particularly limited as long as the virtual keyboard subjected to the exclusive control can be distinguished from the virtual keyboard that can be input.
  • the virtual keyboard that is under exclusive control is also displayed as a dotted line in the diagrams for explaining other modified examples, but the virtual keyboard that is not being input is also not controlled exclusively and is in a state where input is possible, and a solid line May be displayed.
  • the virtual keyboard that receives the above exclusive control, only a part of the keys may not be input.
  • the keys described above there are keys involved in character input.
  • special keys such as function keys that are not involved in character input may be input.
  • the display of only the keys for which some inputs are impossible may be changed as described above so that the keys can be distinguished from the keys that can be input.
  • the exclusive control of the other virtual keyboard 51 is released.
  • the display of the virtual keyboard 51 that has received the exclusive control returns to the display before the exclusive control.
  • the user who has started the input can input it without any intervention from the input of the other person during the input. Further, by changing the display of the virtual keyboard 51 that has received exclusive control, the user of the virtual keyboard 51 that has received exclusive control can recognize the release of exclusive control. Therefore, it is possible to smoothly prompt the user to input.
  • a configuration in which exclusive control of other virtual keyboards 51 is not performed while a specific virtual keyboard 52 is being input may be employed.
  • the other person can support the character input of a specific user on the way. Moreover, it is possible to input without confusion by considering the other party on the same touch panel.
  • Display example 1 An example of image display at the time of input from the virtual keyboard will be described with reference to FIG.
  • members having the same functions as those described in the embodiment, the first modification, and the second modification are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 13 shows a display screen displayed on the touch screen display 2 in this display example.
  • (A) in FIG. 13 is a display example of an image displayed on the touch screen display 2 when there is no virtual keyboard being input. That is, all virtual keyboards are waiting for input.
  • the touch screen display 2 displays a virtual keyboard 51, a virtual keyboard 52, and a display screen Q other than the virtual keyboard.
  • the display screen Q includes a window 61 having an input box 55 displayed by the application unit 5 and other windows 62.
  • the number of windows 62 that do not include the input box 55 is not particularly limited.
  • (B) of FIG. 13 is a display example of an image displayed on the touch screen display 2 when inputting from a specific virtual keyboard.
  • the display screen Q is rotated without changing the size of the display screen according to the position and orientation of the virtual keyboard 52, and the display screen is changed.
  • the display screen is Q1.
  • the display screen Q1 includes a window 61a and a window 62a obtained by rotating the window 61 and the window 62 in the same manner as the display screen Q1.
  • the window 61a the entire area of the input box 55 is displayed on the touch screen display 2.
  • the input with the virtual keyboard is temporary, and if the entire area of the input box 55 can be displayed, a part of the display screen Q including the window 61a may protrude beyond the display area of the touch screen display 2, or the virtual keyboard 51, It is not a problem even if it is overlaid on 52 and invisible.
  • the input box 55 can be displayed so that the user who performs the input can easily see.
  • FIG. 14 shows a display screen displayed on the touch screen display 2 in this display example.
  • (A) of FIG. 14 is a display example of an image displayed on the touch screen display 2 when the virtual keyboard to be input is not fixed.
  • the touch screen display 2 displays a virtual keyboard 51, a virtual keyboard 52, and a display screen Q other than the virtual keyboard.
  • the display screen Q includes a window 61 having an input box 55 displayed by the application unit 5 and other windows 62.
  • FIG. 14B is a display example of an image displayed on the touch screen display 2 when a specific virtual keyboard starts input.
  • the display screen Q is rotated and reduced, and the entire display screen Q is displayed near the virtual keyboard 52 as the display screen Q2. .
  • Display screen Q2 includes window 61 and window 62 in which window 61 and window 62 are rotated and reduced in the same manner as display screen Q1.
  • the user of the virtual keyboard 52 can continuously perform character input and subsequent operations in an easy-to-see manner.
  • (C) of FIG. 14 is a display example of another image displayed on the touch screen display 2 when a specific virtual keyboard is input.
  • the display screen Q when the specific virtual keyboard 52 is input, the display screen Q is rotated and reduced and displayed as the display screen Q3.
  • the input box 55 On the display screen Q3, at least the input box 55 is displayed at a position where both users of the virtual keyboard 51 and the virtual keyboard 52 can easily see.
  • the screen tilt and position of the display screen Q3 are displayed so as to be intermediate between the virtual keyboard 51 and the virtual keyboard 52.
  • FIG. 15 shows a display screen displayed on the touch screen display 2 in this display example.
  • FIG. 15 shows a display example of an image displayed on the touch screen display 2 when a virtual keyboard for input is not fixed.
  • the touch screen display 2 displays a virtual keyboard 51, a virtual keyboard 52, and a display screen Q other than the virtual keyboard.
  • the display screen Q includes a window 61 having an input box 55 displayed by the application unit 5 and other windows 62.
  • FIG. 15 shows a display example of an image displayed on the touch screen display 2 when a specific virtual keyboard starts input.
  • the window 61 which is an active window for inputting characters, is rotated and displayed as a window 61b on the front of the virtual keyboard 52.
  • a reduced version of the window 61 may be rotated and displayed as the window 61b. If the entire area of the input box 55 can be displayed, a part of the display screen Q including the window 61a is displayed on the display area of the touch screen display 2. It does not matter if it protrudes outside or is not visible because it is superimposed on the virtual keyboards 51 and 52.
  • FIG. 16 shows a display example of an image displayed on the touch screen display 2 when inputting a specific virtual keyboard in this display example.
  • the touch screen display 2 displays a virtual keyboard 51, a virtual keyboard 52, a window 61 including an input box 55 displayed by the application unit 5, and other windows 62.
  • an input window 64 is displayed adjacent to the vicinity of the virtual keyboard 52 being input.
  • the layout of the entire screen is not changed, and all users can continue to view the input window that is the target of character input without any problem. Furthermore, the user who inputs characters can comfortably perform input work while referring to the characters input to the input window.
  • the input windows 64a and 64b may be displayed in adjacent areas of both virtual keyboards 51 and 52.
  • exclusive control may not be applied to a virtual keyboard other than the virtual keyboard that is performing the input. In this case, it is possible to input independently from the virtual keyboards 51 and 52 to the input windows 64a and 64b.
  • the character strings in the input windows 64a and 64b are transferred to the original input window.
  • (Modification 4) Display example in the case where there are a plurality of input boxes in the display screen of the application in which a character string or the like can be input from the virtual keyboard
  • FIGS. 17 and 18 the virtual input device display unit 18 A display example showing how a character string or the like input from the virtual keyboard is displayed in the display screen of the application unit 5 will be described.
  • members having the same functions as those described in the embodiment, the first modification, the second modification, and the third modification are denoted by the same reference numerals and the description thereof is omitted.
  • FIG. 17 shows a display example of an image displayed on the touch screen display 2 when a specific virtual keyboard starts input.
  • the touch screen display 2 displays a virtual keyboard 51, a virtual keyboard 52, a window 71 including a plurality of input boxes including an input box 73 displayed by the application unit 5, and other windows 72. Is done.
  • the number of windows 72 that do not include an input box is not particularly limited.
  • an input window 64c is displayed so that the user of the virtual keyboard 52 can easily see.
  • the input window 64c is displayed in a balloon shape so that it can be seen that a character string or the like input to the input window 64c is input to a certain input window 73 among the plurality of input windows of the application unit 5.
  • the state of input to the input box displayed by the application unit 5 can be clearly shown in association with the virtual keyboard. Therefore, even in the case of an application having a plurality of input boxes, it is possible to input characters accurately.
  • FIG. 18 shows another display example of an image displayed on the touch screen display 2 when a specific virtual keyboard starts input.
  • the touch screen display 2 displays a virtual keyboard 51, a virtual keyboard 52, a window 76 having a plurality of input boxes including an input box 74 displayed by the application unit 5, and other windows 77. Is done.
  • an input window 64 d is displayed in an adjacent area of the virtual keyboard 52.
  • a frame 75 is displayed around the input box 74 so that a character string or the like input to the input window 64d is input to the input box 74 among the plurality of input boxes of the application unit 5.
  • the frame 75 and the input window 64d do not have a continuous area on the image display like the balloon of the input window 64c shown in FIG.
  • the above-described information processing apparatus 1 can be widely applied to information devices equipped with a touch screen display such as a television receiver, a personal computer, an electronic white board, digital signage, a remote control device, a smart phone, a mobile phone, and other portable terminals. . These information devices including the information processing apparatus 1 are also included in the category of the invention described in this specification.
  • the touch screen display of the information processing apparatus 1 can be realized by a configuration in which a transparent touch panel member is disposed on a display surface of an LCD (liquid crystal display device).
  • the present invention is not limited to this, and may be realized by a configuration in which a part of the touch sensor function is provided inside the LCD pixel or a configuration in which the touch sensor function is integrally provided on the color filter substrate of the LCD body.
  • each block of the information processing apparatus 1, particularly the virtual input device control unit 4 may be configured by hardware logic, or may be realized by software using a CPU as follows.
  • the information processing apparatus 1 includes a CPU (central processing unit) that executes instructions of a program that implements each function, a ROM (read only memory) that stores the program, and a RAM (random access memory that expands the program). ), A storage device (recording medium) such as a memory for storing the program and various data.
  • An object of the present invention is to provide a recording medium in which a program code (execution format program, intermediate code program, source program) of a control program of the information processing apparatus 1 which is software for realizing the above-described functions is recorded so as to be readable by a computer. This can also be achieved by supplying the information processing apparatus 1 and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU).
  • Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R.
  • Card system such as IC card, IC card (including memory card) / optical card, or semiconductor memory system such as mask ROM / EPROM / EEPROM (registered trademark) / flash ROM.
  • the information processing apparatus 1 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited.
  • the Internet intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication. A net or the like is available.
  • the transmission medium constituting the communication network is not particularly limited.
  • wired such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL line, etc.
  • infrared rays such as IrDA and remote control, Bluetooth (Registered trademark), 802.11 wireless, HDR, mobile phone network, satellite line, terrestrial digital network, and the like can also be used.
  • the present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
  • an information processing apparatus includes a touch screen display, and displays a virtual input device for a user to perform an operation input on the touch screen display.
  • the virtual input device is set in advance for each of the specified point acquisition means for acquiring the two specified points specified on the touch screen display and the two specified points acquired by the specified point acquisition means.
  • Shape determining means for determining the size and position of the virtual input device in the touch screen display so that each of the two reference points matches, and the virtual input device with the size and position determined by the shape determining means Virtual input device display means for displaying on the touch screen display. It is characterized in Rukoto.
  • a method for controlling an information processing apparatus comprising: a touch screen display; A designated point acquisition step for obtaining two designated points designated on the screen display, and two of the two designated points obtained in the designated point obtaining step are set in advance in the virtual input device.
  • a shape determining step for determining the size and position of the virtual input device on the touch screen display so that each of the reference points matches, and the virtual input device at the size and position determined in the shape determining step.
  • Virtual input device display screen displayed on the touch screen display Tsu is characterized in that it comprises a flop, the.
  • the information processing apparatus acquires two designated points designated on the touch screen display, and two reference points set in advance in the virtual input device for each of the two designated points.
  • the size and position of the virtual input device on the touch screen display are determined so that each of these matches. Then, the virtual input device is displayed on the touch screen display according to the determined size and position.
  • the position of the virtual input device to be displayed can be determined as the position of the designated point.
  • the size of the virtual input device to be displayed is determined by determining the degree of scaling of the virtual input device so that the distance between the two designated points matches the distance between the two reference points of the virtual input device. be able to.
  • the desired position of the user can be obtained. And the virtual input device can be displayed in size.
  • the virtual input device can be displayed on the touch display at a position and size easy for the user to use by a simple operation of inputting two designated points on the touch screen display.
  • the designated point acquisition unit acquires the first designated point designated as the first and the second designated point designated as the second.
  • the shape determining means determines the orientation of the virtual input device on the touch screen display according to the relative positional relationship between the first designated point and the second designated point. Yes.
  • the information processing apparatus further acquires the two specified points by distinguishing the first specified point specified as the first from the second specified point specified as the second.
  • the orientation of the virtual input device on the touch screen display is determined according to the relative positional relationship between the first designated point and the second designated point.
  • the relative positional relationship between the two designated points can be determined as one.
  • the orientation of the virtual input device on the touch screen display can be determined.
  • the user when the user inputs two specified points on the touch screen display, for example, by inputting the second specified point after inputting the first specified point, the user enters the touch screen display.
  • the direction of the virtual input device to be displayed can be designated.
  • the virtual input device can be displayed on the touch display in a user-friendly direction by a simple operation of distinguishing and inputting two designated points on the touch screen display.
  • the specified point acquisition unit is the same for a predetermined time within a predetermined range of the touch screen display with the first specified point as a reference after acquiring the first specified point.
  • the position is acquired as the second designated point.
  • the information processing apparatus when the information processing apparatus further specifies the same position for a predetermined time within a predetermined range of the touch screen display with the first specified point as a reference after acquiring the first specified point.
  • the position is acquired as the second designated point. That is, the second designated point is detected as a long press operation within a limited range.
  • the “predetermined time” is set to a time when the user who has input two specified points does not have an excess or deficiency to clearly indicate the intention to input the second specified point.
  • the information processing apparatus changes the arrangement of all or part of an image displayed on the touch screen display simultaneously with the virtual input device in accordance with the display of the virtual input device on the touch screen display. It is characterized by that.
  • the image displayed simultaneously with the virtual input device can be displayed so that the user who performs the input can easily see.
  • the information processing apparatus is configured to display a plurality of virtual input devices on the touch screen display while the user performs an operation input using one virtual input device, and the like.
  • the virtual input device is configured such that a user cannot perform an operation input.
  • the user who has started input can input exclusively during input. In other words, it is possible to input with peace of mind without receiving intervention from others.
  • the information processing apparatus further includes device selection means for acquiring a user operation for selecting the virtual input device to be displayed on the touch screen display from a plurality of preset types. Yes.
  • the information processing apparatus further acquires a user operation for selecting a virtual input device to be displayed on the touch screen display from a plurality of preset types.
  • a virtual keyboard for example, a virtual keyboard, a virtual numeric keypad, and a virtual touchpad can be considered.
  • the present invention is not limited to this, and can be arbitrarily applied as long as the shape such as the size can be changed.
  • the user can select and display a virtual input device to be displayed from a plurality of types of virtual input devices.
  • an electronic white board according to the present invention is characterized by including the above information processing apparatus.
  • a television receiver according to the present invention is characterized by including the above information processing apparatus.
  • the virtual input device can be displayed in a user-friendly shape on the screen (touch screen display) of the television receiver with a simple operation.
  • the digital signage according to the present invention is characterized by including the above-described information processing apparatus.
  • the information processing apparatus may be realized by a computer.
  • an information processing apparatus control program for causing the information processing apparatus to be realized by the computer by causing the computer to operate as the above-described means, and A computer-readable recording medium on which is recorded also falls within the scope of the present invention.
  • the present invention can display a virtual input device such as a virtual keyboard on a touch screen display in a user-friendly shape by a simple operation, a TV, a personal computer, an electronic white board, a digital signage, a remote control device, It can be widely used in information devices equipped with touch screen displays such as smart phones, mobile phones, and other mobile terminals.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

　タッチスクリーンディスプレイ画面に簡便な操作で、使用者の使いやすい形状で仮想入力装置を表示する。　情報処理装置１は、タッチスクリーンディスプレイ（２）で指定された２つの指定点を取得する指定点取得部（２１）と、２つの指定点のそれぞれに、仮想入力装置にあらかじめ設定されている２つの基準点のそれぞれが一致するように、仮想入力装置の大きさ、位置、および向き決定する形状決定部（２２）とを備える。

Description

情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体
　本発明は、仮想入力装置を表示することが可能なタッチスクリーンディスプレイを搭載した情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体に関する。
　スマートホンなど、タッチパネルで操作する電子機器が増えてきており、電子黒板やＴＶ会議システムなどタッチパネルが搭載された大型の表示装置も導入されている。特に近年、８０インチを超える大型サイズのタッチスクリーンディスプレイを備えたテレビ受像機やデジタルサイネージも商品化されてきている。一方で、タッチスクリーンディスプレイ上に置かれた使用者の手の大きさに対応した大きさで、複数の仮想キーを含み、仮想キーのコードデータを出力する仮想キーボードをタッチスクリーンディスプレイに表示できる技術が開発されている。
　例えば、特許文献１には、タッチスクリーンディスプレイ上に置かれた使用者の手の大きさを検出し、検出された大きさに応じた大きさの仮想キーボードを表示する情報処理装置が開示されている。詳細には、上記情報処理装置は、タッチスクリーンディスプレイと、前記タッチスクリーンディスプレイからの検出信号に応じて、前記タッチスクリーンディスプレイ上に置かれた使用者の手の大きさを検出する検出手段と、キーコードをそれぞれ入力するための複数の仮想キーを含む仮想キーボードを前記タッチスクリーンディスプレイ上に表示する仮想キーボード表示手段であって、前記検出手段によって検出された大きさに応じた大きさの前記仮想キーボードを表示する表示手段と、前記仮想キーボードの内の操作された仮想キーに対応するコードデータを出力する出力手段を具備する。
日本国公開特許公報「特開２０１１－１５９０８９号公報（２０１１年８月１８日公開）」
　しかしながら、上記従来の構成では、入力を開始するまでに、キーボードを「表示させる」、「移動する」、「大きさを調整する」といった数段階の動作を必要とするので、作業効率が損なわれてしまうという問題を生じる。具体的には、特許文献１の情報処理装置では、使用者の手の大きさを検出するために両手を使用する必要があり、合わせて１０か所のポイントをタッチパネルで認識しなければならない。
　また、近時、タッチパネルを複数人で四方から同時に操作する場面も想定され、操作性の向上が必要である。しかしながら、上記従来の構成では、そのような課題は考慮されていない。
　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、タッチスクリーンディスプレイ画面に簡便な操作で、使用者の使いやすい形状で仮想入力装置を表示することができる情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体を実現することにある。
　上記の課題を解決するために、本発明に係る情報処理装置は、タッチスクリーンディスプレイを備え、使用者が操作入力を行うための仮想入力装置を上記タッチスクリーンディスプレイに表示する情報処理装置において、上記タッチスクリーンディスプレイ上で指定された２つの指定点を取得する指定点取得手段と、上記指定点取得手段が取得した上記２つの指定点のそれぞれに、上記仮想入力装置にあらかじめ設定されている２つの基準点のそれぞれが一致するように、上記タッチスクリーンディスプレイにおける上記仮想入力装置の大きさおよび位置を決定する形状決定手段と、上記形状決定手段が決定した大きさおよび位置で上記仮想入力装置を上記タッチスクリーンディスプレイに表示する仮想入力装置表示手段と、を備えることを特徴としている。
　また、本発明に係る情報処理装置の制御方法は、タッチスクリーンディスプレイを備え、使用者が操作入力を行うための仮想入力装置を上記タッチスクリーンディスプレイに表示する情報処理装置の制御方法において、上記タッチスクリーンディスプレイ上で指定された２つの指定点を取得する指定点取得ステップと、上記指定点取得ステップにて取得した上記２つの指定点のそれぞれに、上記仮想入力装置にあらかじめ設定されている２つの基準点のそれぞれが一致するように、上記タッチスクリーンディスプレイにおける上記仮想入力装置の大きさおよび位置を決定する形状決定ステップと、上記形状決定ステップにて決定した大きさおよび位置で上記仮想入力装置を上記タッチスクリーンディスプレイに表示する仮想入力装置表示ステップと、を含むことを特徴としている。
　以上より、本発明に係る情報処理装置は、タッチスクリーンディスプレイ上で指定された２つの指定点を取得する指定点取得手段と、上記指定点取得手段が取得した上記２つの指定点のそれぞれに、仮想入力装置にあらかじめ設定されている２つの基準点のそれぞれが一致するように、上記タッチスクリーンディスプレイにおける上記仮想入力装置の大きさおよび位置を決定する形状決定手段と、上記形状決定手段が決定した大きさおよび位置で上記仮想入力装置を上記タッチスクリーンディスプレイに表示する仮想入力装置表示手段と、を備える構成である。
　また、本発明に係る情報処理装置の制御方法は、タッチスクリーンディスプレイ上で指定された２つの指定点を取得する指定点取得ステップと、上記指定点取得ステップにて取得した上記２つの指定点のそれぞれに、仮想入力装置にあらかじめ設定されている２つの基準点のそれぞれが一致するように、上記タッチスクリーンディスプレイにおける上記仮想入力装置の大きさおよび位置を決定する形状決定ステップと、上記形状決定ステップにて決定した大きさおよび位置で上記仮想入力装置を上記タッチスクリーンディスプレイに表示する仮想入力装置表示ステップと、を含む方法である。
　それゆえ、使用者が２つの指定点をタッチスクリーンディスプレイ上に、仮想入力装置を表示したい位置に、表示したい仮想入力装置の大きさを指定するように入力することにより、使用者の所望の位置および大きさで仮想入力装置を表示することができる。
　よって、タッチスクリーンディスプレイ上に２つの指定点を入力するという簡便な操作により、使用者の使いやすい位置および大きさで仮想入力装置をタッチディスプレイに表示することができるという効果を奏する。
本発明の一実施の形態に係る情報処理装置の構成の概略を示す機能ブロック図である。 図１に示した情報処理装置が備えるタッチスクリーンディスプレイの外観の一例を示す説明図である。 （ａ）～（ｃ）は、図１に示した情報処理装置が表示する仮想キーボードの設定方法の概要を示す説明図である。 図１に示した情報処理装置が表示する仮想キーボードに設定された２つの基準点を示す説明図である。 図１に示した情報処理装置が備える設定テーブル記憶部に記憶される設定テーブルの一例を示すテーブルである。 図１に示した情報処理装置における仮想入力装置の表示処理の流れを示すフローチャートである。 図１に示した情報処理装置が表示する仮想キーボード以外の仮想入力装置の例を示す説明図であり、（ａ）は仮想テンキーパッド、（ｂ）は仮想タッチパッドを示す。 図１に示した情報処理装置において、複数種の仮想入力装置から表示する仮想入力装置を選択する方法を示す説明図である。 図１に示した情報処理装置において、複数種の仮想入力装置から表示する仮想入力装置を選択する処理の流れを示すフローチャートである。 （ａ）～（ｃ）は、図１に示した情報処理装置が仮想キーボードを表示する際のアプリケーション画面のパターンの例を示す説明図である。 （ａ）～（ｃ）は、図１に示した情報処理装置が表示する仮想キーボードの形態の例を示す説明図である。 本発明の変形例１に係るタッチスクリーンディスプレイに表示される仮想キーボードの表示例を示す説明図である。 （ａ）および（ｂ）は、本発明の変形例３に係るタッチスクリーンディスプレイに表示される仮想キーボードの表示例を示す説明図である。 （ａ）～（ｃ）は、本発明の変形例３に係るタッチスクリーンディスプレイに表示される仮想キーボードの表示例を示す説明図である。 （ａ）および（ｂ）は、本発明の変形例３に係るタッチスクリーンディスプレイに表示される仮想キーボードの表示例を示す説明図である。 （ａ）および（ｂ）は、本発明の変形例３に係るタッチスクリーンディスプレイに表示される仮想キーボードの表示例を示す説明図である。 特定の仮想キーボードから入力している時のタッチスクリーンディスプレイに表示される画像の表示例を示す説明図である。 特定の仮想キーボードから入力している時のタッチスクリーンディスプレイに表示される画像の表示例を示す説明図である。
　〔実施形態〕
　以下、図１～図１８を参照しながら、本発明の一実施の形態について詳細に説明する。
　〔情報処理装置の概要〕
　図２に、本発明の一実施形態に係る情報処理装置１が備えるタッチスクリーンディスプレイ２の外観の一例を示す。
　情報処理装置１は、タッチスクリーンディスプレイ２を少なくとも備え、使用者が操作入力を行うための仮想キーボード３１、３２等の仮想入力装置をタッチスクリーンディスプレイ２に表示する装置である。なお、本実施の形態においては、タッチスクリーンディスプレイ２に表示する仮想キーボードのうち、作成済みのものを仮想キーボード３１、新規に作成するものを仮想キーボード３２として区別して示すことがある。
　情報処理装置１のタッチスクリーンディスプレイ２は、ＬＣＤ（液晶表示装置）２Ｄ（図１）の表示面に、透明のタッチパネル２Ｔ（図１）が配置されており、ＬＣＤ２Ｄとタッチパネル２Ｔとによって実現されている。なお、タッチパネル２Ｔには、例えば、抵抗膜方式または静電容量方式等を用いることができる。また、タッチパネル２Ｔには、複数のタッチ位置を同時に検知可能なマルチタッチパネルを使用してもよい。
　タッチスクリーンディスプレイ２は、使用者がペンまたは指によってタッチしたＬＣＤ２Ｄの表示画面上のタッチ位置を、タッチパネル２Ｔが検知可能に構成されている。タッチスクリーンディスプレイ２の表示画面上のタッチ位置を示す座標データは、タッチスクリーンディスプレイ２から情報処理装置１内の後述する処理部に入力される。これにより、使用者は、ＬＣＤ２Ｄの表示画面上に表示された各種オブジェクト（例えば、フォルダやファイルを表すアイコン、メニュー、ボタン、等）を指先やペンなどを用いて選択することができる。
　本実施の形態では、図２に示すように、タッチスクリーンディスプレイ２は、仮想キーボード３１（ソフトウェアキーボードとも言う）の表示が可能である。この仮想キーボード３１は、複数のキーコードをそれぞれ入力するための複数の仮想キー（ソフトウェアボタンとも言う）を含む。より詳しくは、仮想キーは、数字キー、アルファベットキー、矢印キー、ファンクションキー、その他の補助キー等である。使用者は、ＬＣＤ２Ｄに表示される仮想キーボード３１の仮想キーを、タッチパネル２Ｔを介してタッチ操作することにより、ＬＣＤ２Ｄに表示されるアプリケーションウィンドウ等に対して各種コードデータ（キーコード、文字コード、コマンド等）を入力することができる。
　また、情報処理装置１は、タッチスクリーンディスプレイ２を複数人が異なる方向から同時に操作することが可能である。すなわち、情報処理装置１のタッチスクリーンディスプレイ２には、複数の使用者がそれぞれ、自分の手の大きさおよび向きに合わせて、仮想キーボード３１、３２を生成し、表示することができる。具体的には、１人目の使用者がタッチスクリーンディスプレイ２に自分の仮想キーボード３１を表示させて使用しているとき、２人目の使用者がタッチスクリーンディスプレイ２に自分の仮想キーボード３２を生成して、表示することができる。そして、仮想キーボード３１、３２は、一度表示された後に、異なる大きさ、向きおよび位置に変更することができる。
　なお、タッチスクリーンディスプレイ２に表示する仮想入力装置としては、仮想キーボードの他、仮想テンキーパッド、仮想タッチパッドが考えられるが、これに限定されず、タッチスクリーンディスプレイ２上における大きさ等の形状を使用者毎に変更可能なものであれば、任意に適用できる。また、タッチスクリーンディスプレイ２に表示する仮想入力装置の形態は、アプリケーションを限定しない汎用の形態であってもよいが、特定のアプリケーションで用いられるように専用の形態であってもよい。専用の形態の仮想入力装置としては、テレビのリモコンキー（図１１の（ａ））、スマートホンのタッチパネル（図１１の（ｂ））、ＢＤレコーダの操作キー（図１１の（ｃ））などが具体例として挙げられるが、これらに限られるものではない。
　次に、図１を参照して、タッチスクリーンディスプレイ２に仮想入力装置を表示させるためのシステムの構成について説明する。図１は、情報処理装置１の構成の概略を示す機能ブロック図である。
　〔仮想入力装置表示のための情報処理装置の構成〕
　図１に示すように、情報処理装置１は、タッチスクリーンディスプレイ２、タッチパネルドライバ３、仮想入力装置制御部４、アプリケーション部５、表示ドライバ６を備えて構成されている。
　タッチスクリーンディスプレイ２は、上述のように、ＬＣＤ（液晶表示装置）２Ｄと、ＬＣＤ２Ｄの上面に配置されている透明のタッチパネル２Ｔから構成される。タッチパネル２Ｔは、使用者がタッチした位置を検出したタッチ検出信号をタッチパネルドライバ３に出力する。ＬＣＤ２Ｄは、表示ドライバ６を介して、アプリケーション画面や仮想キーボード３１、３２等の仮想入力装置を表示する。
　タッチパネルドライバ３は、タッチパネル２Ｔからのタッチ検出信号から、タッチスクリーンディスプレイ２上のタッチ位置を示す座標データ（タッチ位置検出情報）を生成して、仮想入力装置制御部４に出力する。
　アプリケーション部５は、仮想入力装置制御部４から出力されたコードデータを受信し、所定のアプリケーションによって処理する。
　表示ドライバ６は、仮想入力装置制御部４の制御に従って、仮想キーボード３１、３２等の仮想入力装置をタッチスクリーンディスプレイ２のＬＣＤ２Ｄに表示する。また、表示ドライバ６は、アプリケーション部５の制御に従って、アプリケーション画面をタッチスクリーンディスプレイ２のＬＣＤ２Ｄに表示する。
　仮想入力装置制御部４は、仮想入力装置の種別、大きさ、向き、位置等の形状を決定して、表示ドライバ６を介して、タッチスクリーンディスプレイ２のＬＣＤ２Ｄに表示する。
　そのため、仮想入力装置制御部４は、モード切り換え部１１、仮想キー選択部１２、キー割り当て情報記憶部１３、コード出力部１４、仮想入力装置設定部１５、タイマー１６、設定テーブル記憶部１７、仮想入力装置表示部（仮想入力装置表示手段）１８を備えて構成されている。
　モード切り換え部１１は、仮想入力装置制御部４の処理のモード切り換えを行う。モード切り換え部１１は、後述する所定のタッチ操作が行われたとき、通常モードから機能作成モードに遷移する。モード切り換え部１１は、通常モードのとき、タッチパネルドライバ３からのタッチ位置検出情報を仮想キー選択部１２に出力する。一方、機能作成モードにおいては、タッチ位置検出情報を仮想入力装置設定部１５に出力する。
　仮想キー選択部１２は、仮想キーボード３１の複数の仮想キーから使用者によってタッチされた仮想キーを選択する。仮想キーの選択は、タッチ位置を示すタッチ位置検出情報に基づき、キー割当て情報記憶部１３に記憶されているキー割当て情報を参照することにより行われる。
　キー割当て情報記憶部１３は、キー割り当て情報１３を記憶している。キー割り当て情報には、複数の仮想キーそれぞれが表示されるタッチスクリーンディスプレイ２上の領域、つまり仮想キーそれぞれの表示領域の位置と、出力すべきコードデータとの対応関係があらかじめ設定されている。
　コード出力部１４は、仮想キー選択部１２によって選択された仮想キーに対応するコードデータをアプリケーション部５に出力する。
　仮想入力装置設定部１５は、仮想キーボード３２等の仮想入力装置の新規生成および位置や形状等の変更を行う。なお、仮想入力装置設定部１５は、仮想入力装置の位置や形状等を示す設定情報を、その仮想入力装置を生成あるいは設定を変更した使用者のＩＤ等と対応付けて、使用者毎に記憶しておいてもよい。
　具体的には、仮想入力装置設定部１５は、タッチパネル２Ｔで指定された２つの指定点Ｐ１、Ｐ２を取得し、２つの指定点Ｐ１、Ｐ２のそれぞれに、仮想キーボード３２等の仮想入力装置にあらかじめ設定されている２つの基準点Ｋ１、Ｋ２のそれぞれが一致するように、仮想入力装置の大きさ、位置、および向き決定する。すなわち、仮想入力装置設定部１５は、２つの指定点Ｐ１、Ｐ２の距離に合わせて、仮想入力装置の基準点Ｋ１、Ｋ２の距離を拡縮させて仮想入力装置の大きさを決定する。これにより、簡便な操作で、使用者の使いやすい形状で仮想キーボード３２等の仮想入力装置をタッチスクリーンディスプレイ２に表示することができる。
　そのために、仮想入力装置設定部１５は、指定点取得部（指定点取得手段）２１、形状決定部（形状決定手段）２２、装置選択部（装置選択手段）２３を備える。
　指定点取得部２１は、タッチスクリーンディスプレイ２上で指定された２つの指定点Ｐ１、Ｐ２を、１つ目に指定された第１指定点Ｐ１と２つ目に指定された第２指定点Ｐ２とで区別して取得する。具体的には、指定点取得部２１は、第１指定点Ｐ１の取得後、所定時間（入力可能時間ｔ２）の間に、該第１指定点Ｐ１を基準とするタッチスクリーンディスプレイ２の所定範囲（第２指定点入力領域３３（図３の（ａ）））内において、所定時間（長押し時間ｔ３）、同じ位置が指定されたとき、当該位置を第２指定点Ｐ２として取得する。
　形状決定部２２は、指定点取得部２１が取得した２つの指定点Ｐ１、Ｐ２のそれぞれに、仮想キーボードにあらかじめ設定されている２つの基準点Ｋ１、Ｋ２のそれぞれが一致するように、タッチスクリーンディスプレイ２における仮想キーボード３２の大きさおよび位置を決定する。また、形状決定部２２は、第１指定点Ｐ１と第２指定点Ｐ２との相対的位置関係に応じて、タッチスクリーンディスプレイ２における仮想キーボード３２の向きを決定する。
　具体的には、２つの指定点Ｐ１、Ｐ２を、入力操作の先後に応じて、１つ目に指定された第１指定点Ｐ１と２つ目に指定された第２指定点Ｐ２とに区別するとともに、２つの基準点Ｋ１、Ｋ２を、第１指定点Ｐ１に対応する第１基準点Ｋ１と第２指定点Ｐ２に対応する第２基準点Ｋ２とに区別しておく。そして、形状決定部２２は、第１指定点Ｐ１に第１基準点Ｋ１を対応させ、第２指定点Ｐ２に第２基準点Ｋ２を対応させることにより、仮想キーボード３２の大きさおよび位置と同時に、向きを決定する。
　装置選択部２３は、タッチスクリーンディスプレイ２に表示する仮想入力装置を、あらかじめ設定された複数種（仮想キーボード３２、仮想テンキーパッド４１、仮想タッチパッド４２）から選択する使用者の操作を取得する。
　さらに、タイマー１６は、モード切り換え部１１および仮想入力装置設定部１５に入力された、タッチスクリーンディスプレイ２上で検出されたタッチ信号のタッチ時間を検出する。具体的には、タイマー１６は、第１長押し時間ｔ１、入力可能時間ｔ２、第２長押し時間ｔ３の計時に利用される。なお、第１長押し時間ｔ１、入力可能時間ｔ２、第２長押し時間ｔ３は任意に設定できる。
　設定テーブル記憶部１７は、仮想入力装置設定部１５が参照するための設定テーブルを記憶する。設定テーブルには、仮想入力装置の種別毎に、第１基準点Ｋ１および第２基準点Ｋ２の位置が対応付けて、あらかじめ設定されている。
　仮想入力装置表示部１８は、形状決定部２２が決定した大きさおよび位置で仮想キーボード３２をタッチスクリーンディスプレイ２に表示する。
　上記の構成により、仮想入力装置制御部４は、通常モードのとき、タッチ位置検出情報を受信し、そのタッチ位置検出情報に基づいて、仮想キーボード３１内の複数の仮想キーから使用者によってタッチされた仮想キーを選択し、キー割当て情報１３に基づいて、当該タッチ位置検出情報に対応するコードデータをアプリケーション部５に出力する。また一方で、仮想入力装置制御部４は、機能作成モードのとき、タッチ位置検出情報を受信し、そのタッチ位置検出情報に基づいて、表示する仮想キーボード３２の種類、大きさ、向き、位置等の形状を決定し、決定された形状で仮想キーボード３２を表示ドライバ６を介して、ＬＣＤ２Ｄに表示させる。
　〔仮想キーボードの設定方法の概要〕
　図３から５を参照して、使用者が使用しやすい大きさ、向きおよび位置に仮想キーボードを表示する方法の概要について説明する。図３は、仮想キーボードの設定方法の概要を示す説明図である。図４は、仮想キーボードに設定された２つの基準点を示す説明図である。図５は、設定テーブル記憶部１７に記憶される設定テーブルの一例を示すテーブルである。
　図３の（ａ）に示すように、タッチスクリーンディスプレイ２上のある位置に、使用者の指等により、所定時間（第１長押し時間ｔ１）以上のタッチ操作が行われると、当該位置を第１指定点Ｐ１として決定するとともに、タッチスクリーンディスプレイ２上に、そのタッチ位置を中心とした円である第２指定点入力領域３３を表示する。
　次に、図３の（ｂ）に示すように、表示された第２指定点入力領域３３内に、使用者の別の指等により、所定時間（第２長押し時間ｔ３）以上のタッチ操作が行われると、当該位置を第２指定点Ｐ２として決定する。そして、第１指定点Ｐ１および第２指定点Ｐ２の間の距離ｃを演算する。そして、距離ｃが、仮想キーボードにあらかじめ設定されている２つの基準点Ｋ１、第２基準点（例えば、２つのキーＫｅｙ１、Ｋｅｙ２のそれぞれの中心座標）間の距離ｄとなるように、仮想キーボード３２の大きさを決定する（図３の（ｃ））。
　ここで、第２指定点Ｐ２の入力は、第１指定点Ｐ１の入力後の所定時間（入力可能時間ｔ２）の間だけ、第２指定点入力領域３３内に限って行えるようにする。これにより、仮想キーボード３２を設定しようとしている使用者以外の者による操作によって、誤作動することを防止することができる。
　図３の（ｂ）（ｃ）および図４に示されているように、第１指定点Ｐ１の位置座標（ｘＰ１，ｙＰ１）は仮想キーボードのＫｅｙ１の中心座標である第１基準点Ｋ１（ｘ１，ｙ１）に対応し、第２指定点Ｐ２の位置座標（ｘＰ２，ｙＰ２）はＫｅｙ２の中心座標である第２基準点Ｋ２（ｘ２，ｙ２）に対応する。ここで、図３の（ｃ）および図５に示されているように、例えば、第１基準点Ｋ１および第２基準点Ｋ２は、使用者が右手親指によって第１指定点Ｐ１を入力し、右手小指によって第２指定点Ｐ２を入力するものとして設定することができる。また、第１基準点Ｋ１はスペースキー（Ｋｅｙ１）の中心座標に、第２基準点Ｋ２はエンターキー（Ｋｅｙ２）の中心座標に割り当てることができる。ただし、２つの基準点Ｋ１、Ｋ２の仮想キーボードにおける位置や、２つの指定点Ｐ１、Ｐ２の入力方法については、上記に限定されず任意に選択することができる。
　〔仮想キーボードの設定変更方法の概要〕
　次に、タッチスクリーンディスプレイ２上に表示された仮想キーボード３１の向き、大きさおよび位置の変更方法について説明する。
　使用者が、タッチスクリーンディスプレイ２上に表示された仮想キーボード３１のＫｅｙ１およびＫｅｙ２の領域を同時に所定時間（変更開始長押し時間ｔｓ）以上タッチ操作すると、Ｋｅｙ１およびＫｅｙ２にタッチ操作を行っている指（操作体）等の中心座標を、第１指定点Ｐ１および第２指定点Ｐ２として取得する。このとき、図５に基づき、Ｋｅｙ１にタッチ操作を行っている指等の中心座標を第１指定点Ｐ１とし、Ｋｅｙ２にタッチ操作を行っている指等の中心座標を第２指定点Ｐ２とする。その後、使用者がタッチ操作を行っている指等をタッチスクリーンディスプレイ２上で移動させると、それに連動して指定点Ｐ１、Ｐ２を移動させる。そして、指定点Ｐ１、Ｐ２が所定時間（変更決定長押し時間ｔｄ）以上停止したとき、〔仮想キーボードの設定方法の概要〕において上述したように、指定点Ｐ１、Ｐ２の位置に基づいて、仮想キーボード３１の向き、大きさおよび位置を決定する。なお、変更開始長押し時間ｔｓ、変更決定長押し時間ｔｄは、任意に設定できる。
　〔仮想キーボードの表示方法の詳細な流れ〕
　図６を参照して、使用者が使用しやすい大きさ、向きおよび位置の仮想キーボードをタッチスクリーンディスプレイ２上に表示する処理の流れについて説明する。図６は、仮想入力装置の表示処理の流れを示すフローチャートである。
　まず、モード切り換え部１１が、タッチスクリーンディスプレイ２上で検出されたタッチ位置Ｐ１の位置座標（ｘＰ１，ｙＰ１）を示すタッチ位置検出情報を取得する（Ｓ１）。そして、モード切り換え部１１がタッチ位置検出情報を取得したとき（Ｓ１においてＹｅｓ）、タイマー１６がタッチ位置Ｐ１におけるタッチ操作の持続時間を計測し、タッチ操作が第１長押し時間ｔ１以上であった場合（Ｓ２においてＹｅｓ）、当該位置を第１指定点Ｐ１として決定するとともに、タッチスクリーンディスプレイ２上に、そのタッチ位置を中心とした所定半径の円である第２指定点入力領域３３を表示する（Ｓ３）。一方、タッチ操作の持続時間が第１長押し時間ｔ１未満であった場合（Ｓ２においてＮｏ）、ステップＳ１に移行する。
　このように、タッチ操作の第１長押し時間ｔ１以上の持続を検出することによって、誤作動による仮想入力装置表示を防止することができる。また、第２指定点入力領域３３を円画像としてタッチスクリーンディスプレイ２に表示することにより、通常モードから機能作成モードに移行したこと、第１指定点Ｐ１の入力が完了したこと、第２指定点Ｐ２の入力が可能であることと、第２指定点Ｐ２の入力可能な範囲を使用者に知らせることができる。
　ここで、モード切り換え部１１は、タッチ操作を長押し操作として検出したとき、通常モードから機能作成モードに移行し、タッチ位置検出情報を仮想入力装置設定部１５に出力する。すなわち、上記のように、タッチ位置Ｐ１の位置座標（ｘＰ１，ｙＰ１）を指定取得部２１に出力する。そして、指定点取得部２１は、タッチ位置Ｐ１を第１指定点Ｐ１とし、仮想入力装置表示部１８に、第１指定点Ｐ１の位置座標（ｘＰ１，ｙＰ１）を中心とした所定半径の第２指定点入力領域３３を、表示ドライバ６を介しタッチスクリーンディスプレイ２に表示させる。その後、第２指定点入力領域３３内へのタッチ操作が検出されると、そのタッチ位置検出情報もモード切り換え部１１から指定取得部２１に出力される。
　次に、仮想入力装置表示部１８が第２指定点入力領域３３を表示した後、タイマー１６が第２指定点入力領域３３の表示からの経過時間を計測する。そして、第２指定点入力領域３３の表示から入力可能時間ｔ２以内に、指定点取得部２１がタッチスクリーンディスプレイ２上で検出されたタッチ位置Ｐ２の位置座標（ｘＰ２，ｙＰ２）を示すタッチ位置検出情報を取得し（Ｓ４においてＹｅｓ）、かつ、該タッチ位置Ｐ２が第２指定点入力領域３３内であった場合（Ｓ５においてＹｅｓ）、タイマー１６がタッチ位置Ｐ２におけるタッチ操作の持続時間の計測を開始する（Ｓ６）。そして、タッチ位置Ｐ２におけるタッチ操作の持続時間が第２長押し時間ｔ３となったとき（Ｓ６においてＹｅｓ）、当該位置を第２指定点Ｐ２として決定するとともに、第１指定点Ｐ１および第２指定点Ｐ２に基づいて、仮想キーボード３２の形状等を決定する（Ｓ７；形状決定ステップ）。詳細には、上述したように、形状決定部２２が、２つの指定点Ｐ１、Ｐ２のそれぞれに、仮想キーボードにあらかじめ設定されている２つの基準点Ｋ１、Ｋ２のそれぞれが一致するように、タッチスクリーンディスプレイ２における仮想キーボード３２の大きさおよび位置を決定する。そして、仮想入力装置表示部１８が、決定された大きさ、向きおよび位置にしたがって仮想キーボード３２をタッチスクリーンディスプレイ２に表示する（Ｓ８；仮想入力装置表示ステップ）。なお、上記のステップＳ１～Ｓ６が、指定点取得ステップに対応する。
　一方、第２指定点入力領域３３の表示から入力可能時間ｔ２以内に、タッチスクリーンディスプレイ２上でタッチ操作が検出されなかった場合（Ｓ４においてＮｏ）、指定点取得部２１は、仮想入力装置表示部１８にスクリーンディスプレイ２に表示していた第２指定点入力領域３３の表示を止めさせ、ステップＳ１に移行する。また、タッチ操作が検出されなかった場合でも、タッチ位置Ｐ２が第２指定点入力領域３３外であった場合（Ｓ５においてＮｏ）、および、タッチ位置Ｐ２におけるタッチ操作の持続時間が第２長押し時間ｔ３未満の場合（Ｓ６においてＮｏ）には、ステップＳ４に移行して、新たなタッチ位置Ｐ２の検出を待つ。
　このように、第２指定点入力領域３３の表示時間を入力可能時間ｔ２に限定することにより、誤作動による仮想入力装置の表示を防止することができる。また、第２指定点Ｐ２の入力を第２指定点入力領域３３に限定することにより、誤作動による仮想入力装置の表示を防止することができる。
　〔仮想キーボード以外の仮想入力装置の例〕
　タッチスクリーンディスプレイ２に表示する仮想入力装置は、仮想キーボードに限られない。以下、仮想キーボード以外の仮想入力装置の例として、仮想テンキーパッド、仮想タッチパッドについて説明する。図７は、仮想キーボード以外の仮想入力装置の例を示す説明図であり、（ａ）は仮想テンキーパッド、（ｂ）は仮想タッチパッドを示す。
　図７の（ａ）および図５に示すように、仮想テンキーパッド４１では、第１基準点Ｋ１および第２基準点Ｋ２は、使用者が右手親指によって第１指定点Ｐ１を入力し、右手人指し指によって第２指定点Ｐ２を入力するものとして設定されている。そして、第１基準点Ｋ１は“０”キー（Ｋｅｙ１）の中心座標に、第２基準点Ｋ２は“－”キー（Ｋｅｙ２）の中心座標に割り当てられている。
　また、図７の（ｂ）および図５に示すように、仮想タッチパッド４２では、第１基準点Ｋ１および第２基準点Ｋ２は、使用者が右手親指によって第１指定点Ｐ１を入力し、右手人指し指によって第２指定点Ｐ２を入力するものとして設定されている。そして、第１基準点Ｋ１はタッチ領域の左下すみに、タッチ領域の右上すみに割り当てられている。
　ただし、タッチスクリーンディスプレイ２に表示する仮想入力装置としては、仮想キーボード、仮想テンキーパッド、仮想タッチパッドに限定されず、タッチスクリーンディスプレイ２上における大きさ等の形状を使用者毎に変更可能なものであれば、任意に適用できる。また、２つの基準点Ｋ１、Ｋ２の各仮想入力装置における位置や、２つの指定点Ｐ１、Ｐ２の入力方法については、上記に限定されず任意に選択することができる。
　〔複数種の仮想入力装置から表示する仮想入力装置を選択する方法〕
　次に、図８、図９を参照して、複数種の仮想入力装置から表示する仮想入力装置を選択する方法の概要について説明する。図８は、情報処理装置１において、複数種の仮想入力装置から表示する仮想入力装置を選択する方法を示す説明図である。図９は、情報処理装置１において、複数種の仮想入力装置から表示する仮想入力装置を選択する処理の流れを示すフローチャートである。
　図９に示すフローチャートにおけるステップＳ１～Ｓ６、Ｓ７～Ｓ８は、〔仮想キーボードの表示方法の詳細な流れ〕で前述した図６に示されたフローチャートのステップＳ１～Ｓ６、Ｓ７～Ｓ８と同様であるため、ここでは繰り返し説明を記述しない。
　図９に示すように、ステップＳ６までの条件が満たされると、装置選択部２３は、第２指定点入力領域３３に代えて、装置選択サークル３４を仮想入力装置表示部１８を介してタッチスクリーンディスプレイ２に表示する（Ｓ９）。
　ここで、図８に示すように、装置選択サークル３４は、例えば、第１指定点Ｐ１を中心とする円形状である。装置選択サークル３４は、全円周が、選択可能な仮想入力装置の数の円弧に分割されており、各円弧上に、選択可能な仮想入力装置がそれぞれ割り当てられている。そして、使用者が第１指定点Ｐ１のタッチをいずれかの円弧に近づけることによって、第１指定点Ｐ１が近づいた円弧に割り当てられた仮想入力装置を選択することができる。あるいは、使用者が装置選択サークル３４のいずれかの円弧あるいは円弧に割り当てられた仮想入力装置のアイコンを選択することにより、仮想入力装置を選択することができる。すなわち、装置選択サークル３４を用いて仮想入力装置の種類を選択する方法としては、選択したい仮想入力装置の方向に第１指定点Ｐ１のタッチを移動させる、もしくは、いったん指等をタッチスクリーンディスプレイ２から離し、選択したい仮想入力装置のアイコンにタッチ操作する。
　詳細には、装置選択部２３は、タイマー１６により、装置選択サークル３４の表示からの経過時間を計測する。装置選択サークル３４の表示から所定時間（第１装置選択時間ｔ４）以内に、装置選択部２３が、タッチスクリーンディスプレイ２上から第１指定点Ｐ１のタッチが離れたことを検出した場合（Ｓ１０においてＹｅｓ）、第１指定点Ｐ１のタッチが離れたときの位置座標が、第１指定点Ｐ１の装置選択サークル３４の表示開示時の位置座標と同じであるかを判定する（Ｓ１１）。
　そして、タッチが離れたとき、第１指定点Ｐ１の位置座標が変化している場合（Ｓ１１においてＮｏ）、タッチ位置の移動方向を計算し、第１指定点Ｐ１が装置選択サークル３４のいずれの円弧に近づいたかを判定して、選択された仮想入力装置を決定する（Ｓ１２－１）。図８の例では、第１指定点Ｐ１が装置選択サークル３４の図面下方向へ移動したため、移動方向の先に位置する円弧に割り当てられている仮想キーボードが選択されたと決定する。
　また、タッチが離れたとき、第１指定点Ｐ１の位置座標が変化していない場合（Ｓ１１においてＹｅｓ）、タッチが離れてから所定時間（第２装置選択時間ｔ５）以内に、装置選択サークル３４のいずれかの円弧あるいは円弧に割り当てられた仮想入力装置のアイコンに対する選択操作を取得し、選択された仮想入力装置を決定する（Ｓ１２－２）。
　その後、形状決定部２２は、ステップＳ２において取得した第１指定点Ｐ１およびステップＳ６に基づいて、仮想キーボード３２等の仮想入力装置の形状等を決定する（Ｓ７；形状決定ステップ）。そして、仮想入力装置表示部１８が、選択された種別の仮想入力装置を、決定された大きさ、向きおよび位置にしたがってタッチスクリーンディスプレイ２に表示する（Ｓ８；仮想入力装置表示ステップ）。
　一方、装置選択サークル３４の表示から第１装置選択時間ｔ４以内に、装置選択部２３が、タッチスクリーンディスプレイ２上から第１指定点Ｐ１のタッチが離れたことを検出しなかった場合（Ｓ１０においてＮｏ）、および、装置選択サークル３４に対して仮想入力装置のアイコンの選択操作が、第２装置選択時間ｔ５以内に行われなかった場合（Ｓ１２－２においてＮｏ）、ステップＳ１に移行する。
　なお、第１装置選択時間ｔ４、第２装置選択時間ｔ５は、任意に設定できる。
　〔仮想キーボードの表示パターン〕
　次に、図１０を参照して、仮想キーボードの表示パターンの例について説明する。図１０の（ａ）～（ｃ）は、仮想キーボードを表示する際のアプリケーション画面のパターンの例を示す説明図である。なお、以下で説明する例では、アプリケーション画面に対する入力が複数の仮想キーボード５１、５２に対して排他的に管理されているものとする。すなわち、仮想キーボード５２から入力を開始したとき、それまで入力可能であった仮想入力キーボード５１からは入力ができなくなる。そして、既存の仮想キーボード５１が入力中であったときには、新規の仮想キーボード５２を作成できないようにしてもよい。
　図１０の（ａ）に示すように、仮想入力装置表示部１８は、仮想キーボード５２から入力を開始したとき、アプリケーション部５の表示画面をタッチスクリーンディスプレイ２に固定したまま、変更しなくてもよい。図１０の（ａ）では、仮想キーボード５１の向きに合わせて、アプリケーション部５の表示画面が表示されている。
　また、図１０の（ｂ）に示すように、仮想入力装置表示部１８は、仮想キーボード５２から入力を開始したとき、アプリケーション部５の表示画面を、仮想キーボード５２の位置や向きに合わせて、仮想キーボード５２の使用者が見やすいように表示してもよい。図１０の（ｂ）では、アプリケーション部５の表示画面５３が回転、縮小あるいは拡大され、仮想キーボード５２の近傍に表示されている。
　また、図１０の（ｃ）に示すように、仮想入力装置表示部１８は、仮想キーボード５２から入力を開始したとき、仮想キーボード５２から入力された文字列等がアプリケーション部５の表示画面内に表示される様子を示す表示をしてもよい。図１０の（ｃ）では、仮想キーボード５２の位置や向きに合わせて、仮想キーボード５２の使用者が見やすいように入力ウインドウ５４が表示されている。この入力ウインドウ５４は、入力ウインドウ５４に入力された文字列等がアプリケーション部５の入力ボックス５５に入力されることが分かるように吹き出しの形状で表示されている。
　（変形例１）複数表示された仮想キーボードの排他的制御
　〔排他的制御の規定〕
　次に、図１２を参照して、複数表示された仮想キーボードの排他的制御の一例について説明する。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　図１２は本変形例におけるタッチスクリーンディスプレイ２に表示される仮想キーボード５１および仮想キーボード５２を示している。図１２においては、２つの仮想キーボードが示されているが、仮想キーボードの数は特に限定されない。
　本変形例において、「入力の開始」とは、アプリケーション部５の表示画面の入力ボックス５５にフォーカスがあり、確定した文字が入力ボックス５５に１文字以上入力されている、または、確定前の仮文字が入力ボックス５５に表示されている状態をいう。特定の仮想キーボードから入力ボックス５５へ入力された文字列などが、ＤＥＬキーおよびＢＳキーなどによってすべて削除された場合は、入力状態ではない。
　入力ボックス５５にフォーカスがある状態では、例えば、図１０の（ａ）に示すような仮想キーボード５１および仮想キーボード５２は、ともに入力が可能である。本変形例においては、仮想キーボード５２から１文字を入力した時点において、仮想キーボード５１からの入力が不可能になる。すなわち、仮想キーボード５１は排他的制御を受ける。その後、仮想キーボード５２が入力ボックス５５において入力文字列を確定し、ENTERキー等で入力ボックス５５への入力を確定した時点で、入力が不可能であった仮想キーボード５１の入力が可能となってもよい。
　例えば、検索サイト等では、文字の入力が完了し、検索が完了後、フォーカスは入力ボックス５５からはずれる。再度、入力ボックス５５に入力する場合において、使用者は各自のマウスや、キーボードのTABキーによって入力ボックス５５にフォーカスする。フォーカス後は、最も早く入力を開始した仮想キーボード以外の仮想キーボードは入力できなくなる。
　〔排他的制御を受けた仮想キーボードの表示〕
　また、図１２に示すように、排他的制御を受けた時点で、排他的制御を受けた仮想キーボード５１の表示を変更してもよい。図１２においては、排他的制御を受けた仮想キーボード５１を点線で表示しているが、排他的制御を受けた仮想キーボードの表示としては、例えば、グレー表示としてもよいし、入力が可能である仮想キーボードよりも低い輝度で表示してもよい。なお、排他的制御を受けた仮想キーボードが、入力可能である仮想キーボードと区別可能であれば、表示の形態は特に限定されない。
　なお、他の変形例の説明をする図においても排他的制御を受けている仮想キーボードを点線で表示しているが、入力中でない仮想キーボードも排他制御せず、入力可能な状態としておき、実線で表示しても良い。
　また、上記排他的制御を受けている仮想キーボードにおいては、一部のキーのみが入力できない状態となっていてもよい。例えば、上記の一部のキーとしては、文字入力に関与するキーなどが挙げられる。一方で、文字入力に関与しないファンクションキーなどの特殊キーについては、入力が可能であってもよい。該仮想キーボードにおいては、一部の入力が不可能になったキーのみの表示を、入力が可能なキーと区別できるように、上述したように変更してもよい。
　また、特定の仮想キーボード５２の入力が終了すると、他の仮想キーボード５１の排他的制御は解除される。排他的制御が解除されると、排他的制御を受けていた仮想キーボード５１の表示が、排他的制御を受ける前の表示に戻る。
　上記の構成によると、入力を開始した使用者が入力中に、他者の入力の介入を受けることなく安心して入力できる。また、排他的制御を受けていた仮想キーボード５１の表示を変更することによって、排他的制御を受けていた仮想キーボード５１の使用者が、排他的制御の解除を認識できる。よって、使用者の入力を促すことがスムーズにできる。
　また、特定の仮想キーボード５２の入力中も、他の仮想キーボード５１の排他的制御を行わない構成であってもよい。上記の構成によると、特定の使用者の文字入力を、他者が途中でサポートすることができる。また、同一タッチパネル上で、相手に配慮することで混乱なく入力することができる。
　（変形例２）仮想キーボードによる文字入力中の新規仮想キーボード作成の制御
　次に、仮想キーボードによる文字入力中の新規仮想キーボード作成の制御の一例について説明する。なお、説明の便宜上、前記実施形態および変形例１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　例えば、特定の仮想キーボードによって文字が入力中の状態で、他の仮想キーボードを作成すると、一般的なアプリケーションおよびOperating System(ＯＳ)の構成上、一時的にフォーカスが入力ボックス以外に移る。そのため、使用者にとって、フォーカスを入力ボックスに戻す操作が煩雑となる。
　本変形例においては、上述したように、既存の仮想キーボードが入力中であった場合、新規の仮想キーボードを作成できないようにする。上記の構成によると、仮想キーボードによる入力中において、新規の仮想キーボードができない。したがって、新規の仮想キーボードの作成時に、フォーカスが入力ボックス以外へ移動することを防止できる。よって、使用者による操作性が向上する。
　（変形例３）仮想キーボードの入力時における画像表示例
　次に、図１３～１６を参照して、仮想キーボードからの入力の入力時における仮想入力装置表示部１８による画像表示例について説明する。なお、説明の便宜上、前記実施形態、変形例１および変形例２にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　〔表示例１〕
　仮想キーボードからの入力時における画像表示の一例について図１３を参照して説明する。なお、説明の便宜上、前記実施形態、変形例１および変形例２にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　図１３は本表示例における、タッチスクリーンディスプレイ２に表示される表示画面を示す。
　図１３の（ａ）は、入力中の仮想キーボードがない時のタッチスクリーンディスプレイ２に表示される画像の表示例である。すなわち、すべての仮想キーボードが入力待ちの状態である。
　図１３の（ａ）に示すように、タッチスクリーンディスプレイ２には、仮想キーボード５１、仮想キーボード５２および仮想キーボード以外の表示画面Ｑが表示される。表示画面Ｑは、アプリケーション部５によって表示される入力ボックス５５を備えるウインドウ６１およびその他のウインドウ６２等を含む。なお、入力ボックス５５を備えていないウインドウ６２の数は特に限定されない。
　図１３の（ｂ）は、特定の仮想キーボードからの入力時のタッチスクリーンディスプレイ２に表示される画像の表示例である。
　図１３の（ｂ）に示すように、特定の仮想キーボード５２が入力を開始すると、仮想キーボード５２の位置や向きに合わせて表示画面のサイズを変えずに表示画面Ｑを回転させ、表示画面を表示画面Ｑ１とする。
　表示画面Ｑ１は、ウインドウ６１およびウインドウ６２を表示画面Ｑ１と同様に回転させたウインドウ６１ａおよびウインドウ６２ａを含む。ウインドウ６１ａにおいては、入力ボックス５５の全領域がタッチスクリーンディスプレイ２に表示される。仮想キーボードによる入力は一時的なものであり、入力ボックス５５の全領域が表示できれば、ウインドウ６１ａを含む表示画面Ｑの一部が、タッチスクリーンディスプレイ２の表示領域外にはみ出したり、仮想キーボード５１、５２に重畳されて見えない状態となっても問題ではない。
　上記の構成によると、入力を行う使用者が見やすいように入力ボックス５５を表示させることができる。
　〔表示例２〕
　次に、仮想キーボードからの入力時における画像表示の他の一例について図１４を参照して説明する。
　図１４は本表示例における、タッチスクリーンディスプレイ２に表示される表示画面を示す。
　図１４の（ａ）は、入力を行う仮想キーボードが確定していない時のタッチスクリーンディスプレイ２に表示される画像の表示例である。
　図１４の（ａ）に示すように、タッチスクリーンディスプレイ２には、仮想キーボード５１、仮想キーボード５２および仮想キーボード以外の表示画面Ｑが表示される。表示画面Ｑは、アプリケーション部５によって表示される入力ボックス５５を備えるウインドウ６１およびその他のウインドウ６２等を含む。
　図１４の（ｂ）は、特定の仮想キーボードが入力を開始した時のタッチスクリーンディスプレイ２に表示される画像の表示例である。
　図１４の（ｂ）に示すように、特定の仮想キーボード５２が入力を開始すると、表示画面Ｑが回転、縮小され、表示画面Ｑ２として表示画面Ｑの全体が仮想キーボード５２の近傍に表示される。
　表示画面Ｑ２は、ウインドウ６１およびウインドウ６２を表示画面Ｑ１と同様に回転、縮小されたウインドウ６１およびウインドウ６２を含む。
　上記の構成によると、仮想キーボード５２の使用者は、継続して、文字入力とそれに続く作業を見やすく行うことができる。
　また、図１４の（ｃ）は、特定の仮想キーボードの入力時のタッチスクリーンディスプレイ２に表示される他の画像の表示例である。
　図１４の（ｃ）に示す表示例においては、特定の仮想キーボード５２の入力時に、表示画面Ｑが回転、縮小され、表示画面Ｑ３として表示される。表示画面Ｑ３は、少なくとも入力ボックス５５が仮想キーボード５１および仮想キーボード５２の両方の使用者が見やすい位置に表示される。例えば、表示画面Ｑ３の画面の傾きおよび位置を、仮想キーボード５１と仮想キーボード５２との中間になるように表示する。上記の構成によると、入力時において、文字入力を行っている使用者と共に、文字入力を行っていない使用者にも画面の確認が容易となる。
　〔表示例３〕
　次に、仮想キーボードからの入力時における画像表示の他の一例について図１５を参照して説明する。
　図１５は本表示例における、タッチスクリーンディスプレイ２に表示される表示画面を示す。
　図１５の（ａ）は、入力を行う仮想キーボードが確定していない時のタッチスクリーンディスプレイ２に表示される画像の表示例を示す。
　図１５の（ａ）に示すように、タッチスクリーンディスプレイ２には、仮想キーボード５１、仮想キーボード５２および仮想キーボード以外の表示画面Ｑが表示される。表示画面Ｑは、アプリケーション部５によって表示される入力ボックス５５を備えるウインドウ６１およびその他のウインドウ６２等を含む。
　図１５の（ｂ）は、特定の仮想キーボードが入力を開始した時のタッチスクリーンディスプレイ２に表示される画像の表示例を示す。
　図１５の（ｂ）に示すように、特定の仮想キーボード５２が入力を開始すると、文字入力を行うアクティブウインドウであるウインドウ６１のみを回転させ、仮想キーボード５２の正面にウインドウ６１ｂとして表示する。なお、ウインドウ６１を縮小したものを回転させ、ウインドウ６１ｂとして表示してもよく、入力ボックス５５の全領域が表示できれば、ウインドウ６１ａを含む表示画面Ｑの一部が、タッチスクリーンディスプレイ２の表示領域外にはみ出したり、仮想キーボード５１、５２に重畳されて見えない状態となっても問題ではない。
　上記の構成によると、タッチスクリーンディスプレイ２上に複数のウインドウが表示されている場合において、文字入力を行うウインドウのみが位置を変更し、文字入力と無関係なウインドウの表示は変更されない。よって、特定の使用者が文字入力を行う時、使用者全員が文字入力を行うアクティブウインドウ以外のアプリケーションについて問題なく見続けることができる。
　〔表示例４〕
　次に、仮想キーボードからの入力時における画像表示の他の一例について図１６を参照して説明する。
　図１６は本表示例における、特定の仮想キーボードの入力時のタッチスクリーンディスプレイ２に表示される画像の表示例を示す。
　タッチスクリーンディスプレイ２には、仮想キーボード５１、仮想キーボード５２、アプリケーション部５によって表示される入力ボックス５５を備えるウインドウ６１およびその他のウインドウ６２等が表示される。
　図１６の（ａ）に示すように、特定の仮想キーボード５２の入力時に、入力ウインドウ６４が、入力中の仮想キーボード５２の近傍に隣接して表示される。
　上記の構成によると、画面全体のレイアウトを変更されず、使用者全員が文字入力の対象である入力ウインドウを問題なく見続けることができる。さらに、文字入力を行う使用者が、入力ウインドウに入力される文字を参照しながら、快適に入力作業を行うことができる。
　また、図１６の（ｂ）に示すように、仮想キーボード５１および５２の両方の仮想キーボードの隣接した領域に入力ウインドウ６４ａおよび６４ｂを表示してもよい。なお、複数の仮想キーボードのそれぞれに隣接した各領域に入力ウインドウをそれぞれ表示する構成においては、入力を行っている仮想キーボード以外の仮想キーボードにおいても、排他的制御を受けないようにしてもよい。この場合、仮想キーボード５１および５２から、入力ウインドウ６４ａおよび６４ｂに独立に入力することができる。次に、ENTERキー等を押すことで、入力ウインドウ６４ａおよび６４ｂの文字列が本来の入力ウインドウに転送される。
　（変形例４）仮想キーボードから文字列等を入力可能な入力ボックスがアプリケーションの表示画面内に複数ある場合の表示例
　次に、図１７および図１８を参照して、仮想入力装置表示部１８による、仮想キーボードから入力される文字列等がアプリケーション部５の表示画面内に表示される様子を示す表示例について説明する。なお、説明の便宜上、前記実施形態、変形例１、変形例２および変形例３にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　図１７は、特定の仮想キーボードが入力を開始した時のタッチスクリーンディスプレイ２に表示される画像の表示例を示す。
　図１７に示すように、タッチスクリーンディスプレイ２には、仮想キーボード５１、仮想キーボード５２、アプリケーション部５によって表示される入力ボックス７３を含む複数の入力ボックスを備えるウインドウ７１およびその他のウインドウ７２等が表示される。なお、入力ボックスを備えていないウインドウ７２の数は特に限定されない。特定の仮想キーボード５２が入力を開始すると、仮想キーボード５２の使用者が見やすいように入力ウインドウ６４ｃが表示される。この入力ウインドウ６４ｃは、入力ウインドウ６４ｃに入力された文字列等がアプリケーション部５の複数の入力ウインドウのうちのある入力ウインドウ７３に入力されることが分かるように吹き出しの形状で表示される。ここで、図１７に示すように、入力ウインドウ６４ｃの吹き出しの先端は、入力文字列における最終文字の後部を指していることが望ましい。
　上記の構成によると、アプリケーション部５によって表示される入力ボックスへの入力の様子を、仮想キーボードと対応づけて明確に示すことができる。よって、入力ボックスが複数あるようなアプリの場合でも、的確に文字入力を行うことができる。
　図１８は、特定の仮想キーボードが入力を開始した時のタッチスクリーンディスプレイ２に表示される画像の他の表示例を示す。
　図１８に示すように、タッチスクリーンディスプレイ２には、仮想キーボード５１、仮想キーボード５２、アプリケーション部５によって表示される入力ボックス７４を含む複数の入力ボックスを備えるウインドウ７６およびその他のウインドウ７７等が表示される。特定の仮想キーボード５２の入力時に、仮想キーボード５２の隣接領域に入力ウインドウ６４ｄが表示される。
　そして、この入力ウインドウ６４ｄに入力された文字列等がアプリケーション部５の複数の入力ボックスのうち入力ボックス７４に入力されることが分かるように、入力ボックス７４の周りには枠７５が表示される。ここで、枠７５と入力ウインドウ６４ｄとは、図１７に示した入力ウインドウ６４ｃの吹き出しのような、画像表示上連続した領域を持っていない。
　上記の構成によると、仮想キーボードの前に表示された入力ウインドウから、アプリケーション部５によって表示されるウインドウ内の入力先の入力ウインドウを、吹き出しなどによって指し示す必要がなくなる。よって、上記吹き出しなどによって隠れてしまい、使用者が見ることができなくなる表示画像の箇所をなくすことができる。
　〔適用例〕
　上述した情報処理装置１は、テレビ受像機、パソコン、電子白板、デジタルサイネージや、リモコン装置、スマートホン、携帯電話、その他携帯端末等のタッチスクリーンディスプレイを備えた情報機器に広く適用することができる。また、情報処理装置１を備えるこれらの情報機器も本明細書に記載された発明の範疇に含まれる。
　〔補足〕
　情報処理装置１のタッチスクリーンディスプレイは、上述のように、ＬＣＤ（液晶表示装置）の表示面に、透明のタッチパネル部材を配置した構成によって実現できる。しかし、これに限定されず、タッチセンサ機能の一部をＬＣＤの画素内部に設けた構成、またはＬＣＤ本体のカラーフィルター基板に一体に設けた構成によって実現してもよい。
　最後に、情報処理装置１の各ブロック、特に仮想入力装置制御部４は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
　後者の場合、情報処理装置１は、各機能を実現するプログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである情報処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記情報処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ－Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
　また、情報処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　また、本発明は次のように表現する事もできる。すなわち、上記の課題を解決するために、本発明に係る情報処理装置は、タッチスクリーンディスプレイを備え、使用者が操作入力を行うための仮想入力装置を上記タッチスクリーンディスプレイに表示する情報処理装置において、上記タッチスクリーンディスプレイ上で指定された２つの指定点を取得する指定点取得手段と、上記指定点取得手段が取得した上記２つの指定点のそれぞれに、上記仮想入力装置にあらかじめ設定されている２つの基準点のそれぞれが一致するように、上記タッチスクリーンディスプレイにおける上記仮想入力装置の大きさおよび位置を決定する形状決定手段と、上記形状決定手段が決定した大きさおよび位置で上記仮想入力装置を上記タッチスクリーンディスプレイに表示する仮想入力装置表示手段と、を備えることを特徴としている。
　また、本発明に係る情報処理装置の制御方法は、タッチスクリーンディスプレイを備え、使用者が操作入力を行うための仮想入力装置を上記タッチスクリーンディスプレイに表示する情報処理装置の制御方法において、上記タッチスクリーンディスプレイ上で指定された２つの指定点を取得する指定点取得ステップと、上記指定点取得ステップにて取得した上記２つの指定点のそれぞれに、上記仮想入力装置にあらかじめ設定されている２つの基準点のそれぞれが一致するように、上記タッチスクリーンディスプレイにおける上記仮想入力装置の大きさおよび位置を決定する形状決定ステップと、上記形状決定ステップにて決定した大きさおよび位置で上記仮想入力装置を上記タッチスクリーンディスプレイに表示する仮想入力装置表示ステップと、を含むことを特徴としている。
　上記の構成によれば、情報処理装置は、タッチスクリーンディスプレイ上で指定された２つの指定点を取得し、上記２つの指定点のそれぞれに、仮想入力装置にあらかじめ設定されている２つの基準点のそれぞれが一致するように、タッチスクリーンディスプレイにおける仮想入力装置の大きさおよび位置を決定する。そして、決定した大きさおよび位置に従って、仮想入力装置をタッチスクリーンディスプレイに表示する。
　したがって、表示する仮想入力装置の位置を、指定点の位置に決定することができる。また、２つの指定点の距離が、仮想入力装置の２つの基準点の距離と一致するように、仮想入力装置の拡縮の程度を決定することによって、表示する仮想入力装置の大きさを決定することができる。
　それゆえ、使用者が２つの指定点をタッチスクリーンディスプレイ上に、仮想入力装置を表示したい位置に、表示したい仮想入力装置の大きさを指定するように入力することにより、使用者の所望の位置および大きさで仮想入力装置を表示することができる。
　よって、タッチスクリーンディスプレイ上に２つの指定点を入力するという簡便な操作により、使用者の使いやすい位置および大きさで仮想入力装置をタッチディスプレイに表示することができる。
　さらに、本発明に係る情報処理装置は、上記指定点取得手段は、１つ目に指定された第１指定点と２つ目に指定された第２指定点とを区別して取得するものであり、上記形状決定手段は、上記第１指定点と上記第２指定点との相対的位置関係に応じて、上記タッチスクリーンディスプレイにおける上記仮想入力装置の向きを決定するものである、ことを特徴としている。
　上記の構成によれば、さらに、情報処理装置は、上記２つの指定点を、１つ目に指定された第１指定点と２つ目に指定された第２指定点とを区別して取得し、第１指定点と第２指定点との相対的位置関係に応じて、タッチスクリーンディスプレイにおける仮想入力装置の向きを決定する。ここで、２つの指定点を区別することにより、２つの指定点の相対的位置関係を一つに決定することができる。その結果、タッチスクリーンディスプレイにおける仮想入力装置の向きを決定することが可能となる。
　それゆえ、使用者が２つの指定点をタッチスクリーンディスプレイ上に入力する際、例えば、１つ目の指定点を入力後に２つ目の指定点を入力することにより、使用者はタッチスクリーンディスプレイに表示する仮想入力装置の向きを指定することができる。
　よって、タッチスクリーンディスプレイ上に２つの指定点を区別して入力するという簡便な操作により、使用者の使いやすい向きで仮想入力装置をタッチディスプレイに表示することができる。
　さらに、本発明に係る情報処理装置は、上記指定点取得手段は、上記第１指定点の取得後、該第１指定点を基準とする上記タッチスクリーンディスプレイの所定範囲内において、所定時間、同じ位置が指定されたとき、当該位置を上記第２指定点として取得するものであることを特徴としている。
　上記の構成によれば、さらに、情報処理装置は、第１指定点の取得後、該第１指定点を基準とするタッチスクリーンディスプレイの所定範囲内において、所定時間、同じ位置が指定されたとき、当該位置を第２指定点として取得する。すなわち、第２指定点を、限られた範囲内での長押し操作として検出する。ここで、「所定範囲」は、タッチスクリーンディスプレイに２つの指定点を入力している使用者のみが操作可能な位置および形状に設定することが望ましい。また、「所定時間」は、２つの指定点を入力している使用者が、第２指定点を入力する意図を明示するのに過不足のない時間に設定することが望ましい。
　これにより、仮想入力装置を表示するために２つの指定点を入力している使用者による操作のみを、２つの指定点の入力として取得することができる。
　よって、他人の偶発的な操作入力を検出し、誤作動により、仮想入力装置の表示することを防止できる。
　さらに、本発明に係る情報処理装置は、上記タッチスクリーンディスプレイにおける上記仮想入力装置の表示に応じて、当該仮想入力装置と同時に上記タッチスクリーンディスプレイに表示する画像の全部または一部の配置を変更することを特徴としている。
　上記の構成によれば、仮想入力装置と同時に表示する画像を、入力を行う使用者が見やすいように表示させることができる。また、入力時において、入力を行っていない使用者の画面の確認を容易にすることもできる。
　さらに、本発明に係る情報処理装置は、複数の上記仮想入力装置を上記タッチスクリーンディスプレイに表示しているとき、１つの上記仮想入力装置を用いて使用者が操作入力を行っている期間、他の上記仮想入力装置からは使用者が操作入力を行えないようにすることを特徴としている。
　上記の構成によれば、入力を開始した使用者が、入力中に、独占的に入力することができる。すなわち、他者の入力の介入を受けることなく安心して入力できる。
　さらに、本発明に係る情報処理装置は、上記タッチスクリーンディスプレイに表示する上記仮想入力装置を、あらかじめ設定された複数種から選択する使用者の操作を取得する装置選択手段をさらに備えることを特徴としている。
　上記の構成によれば、さらに、情報処理装置は、タッチスクリーンディスプレイに表示する仮想入力装置を、あらかじめ設定された複数種から選択する使用者の操作を取得する。
　これにより、使用者の選択に応じて、仮想入力装置を表示することができる。複数種の仮想入力装置としては、例えば、仮想キーボード、仮想テンキーパッド、仮想タッチパッドが考えられる。ただし、これに限定されず、大きさ等の形状を変更可能なものであれば、任意に適用できる。
　よって、使用者は複数種の仮想入力装置から表示したい仮想入力装置を選択して表示することができる。
　また、本発明に係る電子白板は、上記の情報処理装置を備えていることを特徴としている。
　よって、電子白板の画面（タッチスクリーンディスプレイ）に簡便な操作で、使用者の使いやすい形状で仮想入力装置を表示することが可能となる。
　また、本発明に係るテレビ受像機は、上記の情報処理装置を備えていることを特徴としている。
　よって、テレビ受像機の画面（タッチスクリーンディスプレイ）に簡便な操作で、使用者の使いやすい形状で仮想入力装置を表示することが可能となる。
　また、本発明に係るデジタルサイネージは、上記の情報処理装置を備えていることを特徴としている。
　よって、デジタルサイネージの画面（タッチスクリーンディスプレイ）に簡便な操作で、使用者の使いやすい形状で仮想入力装置を表示することが可能となる。
　なお、上記情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は、タッチスクリーンディスプレイに仮想キーボード等の仮想入力装置を、簡便な操作で、使用者の使いやすい形状で表示することができるため、テレビ、パソコン、電子白板、デジタルサイネージや、リモコン装置、スマートホン、携帯電話、その他携帯端末等のタッチスクリーンディスプレイを備えた情報機器において広く利用することができる。
　　１　　情報処理装置
　　２　　タッチスクリーンディスプレイ
　１８　　仮想入力装置表示部（仮想入力装置表示手段）
　２１　　指定点取得部（指定点取得手段）
　２２　　形状決定部（形状決定手段）
　２３　　装置選択部（装置選択手段）
　３２　　仮想キーボード（仮想入力装置）
　３３　　第２指定点入力領域
　４１　　仮想テンキーパッド（仮想入力装置）
　４２　　仮想タッチパッド（仮想入力装置）
Ｐ１、Ｐ２　　指定点
Ｋ１、Ｋ２　　基準点
Ｓ１～Ｓ６　　指定点取得ステップ
　Ｓ７　　形状決定ステップ
　Ｓ８　　仮想入力装置表示ステップ

Claims (12)

  1. 　タッチスクリーンディスプレイを備え、使用者が操作入力を行うための仮想入力装置を上記タッチスクリーンディスプレイに表示する情報処理装置において、
    　上記タッチスクリーンディスプレイ上で指定された２つの指定点を取得する指定点取得手段と、
    　上記指定点取得手段が取得した上記２つの指定点のそれぞれに、上記仮想入力装置にあらかじめ設定されている２つの基準点のそれぞれが一致するように、上記タッチスクリーンディスプレイにおける上記仮想入力装置の大きさおよび位置を決定する形状決定手段と、
    　上記形状決定手段が決定した大きさおよび位置で上記仮想入力装置を上記タッチスクリーンディスプレイに表示する仮想入力装置表示手段と、を備えることを特徴とする情報処理装置。
  2. 　上記指定点取得手段は、１つ目に指定された第１指定点と２つ目に指定された第２指定点とを区別して取得するものであり、
    　上記形状決定手段は、上記第１指定点と上記第２指定点との相対的位置関係に応じて、上記タッチスクリーンディスプレイにおける上記仮想入力装置の向きを決定するものである、ことを特徴とする請求項１に記載の情報処理装置。
  3. 　上記指定点取得手段は、上記第１指定点の取得後、該第１指定点を基準とする上記タッチスクリーンディスプレイの所定範囲内において、所定時間、同じ位置が指定されたとき、当該位置を上記第２指定点として取得するものであることを特徴とする請求項２に記載の情報処理装置。
  4. 　上記タッチスクリーンディスプレイにおける上記仮想入力装置の表示に応じて、当該仮想入力装置と同時に上記タッチスクリーンディスプレイに表示する画像の全部または一部の配置を変更することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
  5. 　複数の上記仮想入力装置を上記タッチスクリーンディスプレイに表示しているとき、１つの上記仮想入力装置を用いて使用者が操作入力を行っている期間、他の上記仮想入力装置からは使用者が操作入力を行えないようにすることを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
  6. 　上記タッチスクリーンディスプレイに表示する上記仮想入力装置を、あらかじめ設定された複数種から選択する使用者の操作を取得する装置選択手段をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
  7. 　請求項１から６のいずれか１項に記載の情報処理装置を備えていることを特徴とする電子白板。
  8. 　請求項１から６のいずれか１項に記載の情報処理装置を備えていることを特徴とするテレビ受像機。
  9. 　請求項１から６のいずれか１項に記載の情報処理装置を備えていることを特徴とするデジタルサイネージ。
  10. 　タッチスクリーンディスプレイを備え、使用者が操作入力を行うための仮想入力装置を上記タッチスクリーンディスプレイに表示する情報処理装置の制御方法において、
    　上記タッチスクリーンディスプレイ上で指定された２つの指定点を取得する指定点取得ステップと、
    　上記指定点取得ステップにて取得した上記２つの指定点のそれぞれに、上記仮想入力装置にあらかじめ設定されている２つの基準点のそれぞれが一致するように、上記タッチスクリーンディスプレイにおける上記仮想入力装置の大きさおよび位置を決定する形状決定ステップと、
    　上記形状決定ステップにて決定した大きさおよび位置で上記仮想入力装置を上記タッチスクリーンディスプレイに表示する仮想入力装置表示ステップと、を含むことを特徴とする情報処理装置の制御方法。
  11. 　請求項１から６のいずれか１項に記載の情報処理装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
  12. 　請求項１１に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2013/068550 2012-07-06 2013-07-05 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体 Ceased WO2014007381A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/412,299 US20150186037A1 (en) 2012-07-06 2013-07-05 Information processing device, information processing device control method, control program, and computer-readable recording medium
CN201380035983.6A CN104428746A (zh) 2012-07-06 2013-07-05 信息处理装置、信息处理装置的控制方法、控制程序以及计算机可读取的记录介质

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012153097 2012-07-06
JP2012-153097 2012-07-06
JP2013-141112 2013-07-04
JP2013141112A JP5584802B2 (ja) 2012-07-06 2013-07-04 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
WO2014007381A1 true WO2014007381A1 (ja) 2014-01-09

Family

ID=49882132

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/068550 Ceased WO2014007381A1 (ja) 2012-07-06 2013-07-05 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体

Country Status (4)

Country Link
US (1) US20150186037A1 (ja)
JP (1) JP5584802B2 (ja)
CN (1) CN104428746A (ja)
WO (1) WO2014007381A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10712918B2 (en) 2014-02-13 2020-07-14 Samsung Electronics Co., Ltd. User terminal device and displaying method thereof
US10866714B2 (en) * 2014-02-13 2020-12-15 Samsung Electronics Co., Ltd. User terminal device and method for displaying thereof
US10747416B2 (en) 2014-02-13 2020-08-18 Samsung Electronics Co., Ltd. User terminal device and method for displaying thereof
US20160026358A1 (en) * 2014-07-28 2016-01-28 Lenovo (Singapore) Pte, Ltd. Gesture-based window management
JP6330565B2 (ja) * 2014-08-08 2018-05-30 富士通株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US10817172B2 (en) * 2015-03-27 2020-10-27 Intel Corporation Technologies for graphical user interface manipulations using multi-finger touch interactions
US20170003837A1 (en) * 2015-06-30 2017-01-05 Integrated Computer Solutions, Inc. Systems and Methods for Generating, Presenting, and Adjusting Adjustable Virtual Keyboards
JP2017174177A (ja) * 2016-03-24 2017-09-28 カシオ計算機株式会社 情報処理装置、情報処理方法およびプログラム
JP6763333B2 (ja) * 2017-03-30 2020-09-30 富士通株式会社 情報処理システム、情報処理装置および情報処理方法
CN110780778A (zh) * 2018-07-31 2020-02-11 中强光电股份有限公司 电子白板系统、操控方法及电子白板
WO2021054266A1 (ja) 2019-09-17 2021-03-25 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
EP4004695A4 (en) * 2019-09-18 2022-09-28 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD THEREOF
CN111782062B (zh) * 2020-07-01 2021-11-05 广州朗国电子科技有限公司 软输入法位置调整方法、装置、存储介质及大屏一体机
CN112035901B (zh) * 2020-09-03 2023-09-12 北京元心科技有限公司 信息输入方法、装置、电子设备及介质
CN114063876B (zh) * 2021-09-30 2024-08-13 北京搜狗科技发展有限公司 虚拟键盘设置方法、装置及存储介质
CN115268743B (zh) * 2022-07-29 2025-02-18 深圳市商汤科技有限公司 图像处理方法、装置、电子设备、信息输入系统和介质
CN117133084B (zh) * 2023-08-28 2026-04-21 中国工商银行股份有限公司 自助服务方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07325655A (ja) * 1994-05-31 1995-12-12 Wacom Co Ltd 情報入力方法およびその装置
JP2004054589A (ja) * 2002-07-19 2004-02-19 Sony Corp 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
JP2005531861A (ja) * 2002-07-04 2005-10-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 自動的に適応可能な仮想キーボード
JP2006065558A (ja) * 2004-08-26 2006-03-09 Canon Inc 入力表示装置
WO2009147901A1 (ja) * 2008-06-02 2009-12-10 シャープ株式会社 入力装置、入力方法、プログラムおよび記録媒体
JP2011215792A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 表示装置、及び、プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231281A1 (en) * 2008-03-11 2009-09-17 Microsoft Corporation Multi-touch virtual keyboard
KR101682579B1 (ko) * 2010-03-30 2016-12-05 삼성전자 주식회사 터치 단말에서 문자 입력기 제공 방법 및 장치
US9430145B2 (en) * 2011-04-06 2016-08-30 Samsung Electronics Co., Ltd. Dynamic text input using on and above surface sensing of hands and fingers
US9035883B2 (en) * 2012-03-07 2015-05-19 Google Technology Holdings LLC Systems and methods for modifying virtual keyboards on a user interface

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07325655A (ja) * 1994-05-31 1995-12-12 Wacom Co Ltd 情報入力方法およびその装置
JP2005531861A (ja) * 2002-07-04 2005-10-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 自動的に適応可能な仮想キーボード
JP2004054589A (ja) * 2002-07-19 2004-02-19 Sony Corp 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
JP2006065558A (ja) * 2004-08-26 2006-03-09 Canon Inc 入力表示装置
WO2009147901A1 (ja) * 2008-06-02 2009-12-10 シャープ株式会社 入力装置、入力方法、プログラムおよび記録媒体
JP2011215792A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 表示装置、及び、プログラム

Also Published As

Publication number Publication date
JP2014029686A (ja) 2014-02-13
US20150186037A1 (en) 2015-07-02
JP5584802B2 (ja) 2014-09-03
CN104428746A (zh) 2015-03-18

Similar Documents

Publication Publication Date Title
JP5584802B2 (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体
CN102681760B (zh) 信息处理设备和信息处理方法
US8760422B2 (en) Information processing apparatus, information processing method, and program
JP2013238935A (ja) 入力装置、入力装置の制御方法、制御プログラム、および記録媒体
JP2008146243A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2013021878A1 (ja) 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体
JP2015007949A (ja) 表示装置、表示制御方法及びコンピュータプログラム
KR20230060497A (ko) 사용자 단말 장치, 전자 장치, 시스템 및 그 제어 방법
CN105812945A (zh) 一种信息输入方法、装置及智能终端
JP2014081800A (ja) 手書き入力装置及び機能制御プログラム
JP2014016743A (ja) 情報処理装置、情報処理装置の制御方法、および情報処理装置の制御プログラム
US9244556B2 (en) Display apparatus, display method, and program
JP5957041B2 (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体
JP2012146017A (ja) 電子黒板システム、電子黒板システムの制御方法、プログラムおよびその記録媒体
JP2014059767A (ja) 携帯型情報処理装置
CN102063239A (zh) 三维的屏幕键盘系统及其输入方法
JP5165661B2 (ja) 制御装置、制御方法、制御プログラム、及び記録媒体
JP2014011589A (ja) 表示制御装置、表示制御方法、表示制御システム、表示制御プログラム、記録媒体
TWI547862B (zh) Multi - point handwriting input control system and method
JP5418440B2 (ja) 入力装置及びプログラム
JP6008313B2 (ja) 表示装置
CN104102666B (zh) 数据分享系统及其数据分享方法
JP5864050B2 (ja) 入力装置、入力装置の制御方法、制御プログラム、および記録媒体
KR102090443B1 (ko) 터치 제어 방법, 장치, 프로그램 및 컴퓨터 판독가능 기록매체
JP2002268869A (ja) 座標入力装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13813393

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14412299

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13813393

Country of ref document: EP

Kind code of ref document: A1