WO2014042247A1 - 入力表示制御装置、シンクライアントシステム、入力表示制御方法および記録媒体 - Google Patents

入力表示制御装置、シンクライアントシステム、入力表示制御方法および記録媒体 Download PDF

Info

Publication number
WO2014042247A1
WO2014042247A1 PCT/JP2013/074861 JP2013074861W WO2014042247A1 WO 2014042247 A1 WO2014042247 A1 WO 2014042247A1 JP 2013074861 W JP2013074861 W JP 2013074861W WO 2014042247 A1 WO2014042247 A1 WO 2014042247A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
screen
input
displayed
touch panel
Prior art date
Application number
PCT/JP2013/074861
Other languages
English (en)
French (fr)
Inventor
康樹 門松
Original Assignee
Necシステムテクノロジー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Necシステムテクノロジー株式会社 filed Critical Necシステムテクノロジー株式会社
Priority to EP13837920.1A priority Critical patent/EP2897029A4/en
Priority to CN201380047808.9A priority patent/CN104620199B/zh
Priority to CA2882396A priority patent/CA2882396A1/en
Priority to KR1020157005809A priority patent/KR101709242B1/ko
Priority to US14/427,842 priority patent/US9874940B2/en
Publication of WO2014042247A1 publication Critical patent/WO2014042247A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/16Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities

Definitions

  • the present invention relates to an input display control device, a thin client system, an input display control method, and a recording medium.
  • the keyboard screen is displayed translucently. Therefore, even if the user superimposes and displays the keyboard screen on a part of the text input area, the user can visually recognize the entire text input area.
  • the present invention has been made in view of the above-described circumstances, and an input display control device, a thin client system, and an input that can eliminate the unsightly appearance of a virtual keyboard that is displayed superimposed on a displayed image.
  • An object is to provide a display control method and a recording medium.
  • An input display control device includes: A touch panel display; Screen display means for displaying an image including a symbol display area for displaying a symbol input by a user on the screen of the touch panel display; Image displayed by the screen display means on the operation buttons arranged on the virtual keyboard for inputting the symbols to be displayed in the symbol display area by tapping the touch panel display, and the symbols assigned to the operation buttons
  • a keyboard display means for displaying the operation buttons on the screen of the touch panel display in a translucent manner
  • Display color changing means for changing the display color of the symbols assigned to the operation buttons arranged on the virtual keyboard displayed by the keyboard display means to a display color selected from a plurality of preset display colors; , Is provided.
  • a thin client system provides: A thin client system comprising a server and an input display control device having a touch panel display connected via a network, The server Image transmission means for transmitting image information for generating an image to be displayed on the screen of the touch panel display to the input display control device;
  • the input display control device includes: Image receiving means for receiving the image information from the server; Screen display means for displaying an image including a symbol display area for displaying a symbol input by a user on the screen of the touch panel display based on the image information received by the image receiving means; Image displayed by the screen display means on the operation buttons arranged on the virtual keyboard for inputting the symbols to be displayed in the symbol display area by tapping the touch panel display, and the symbols assigned to the operation buttons
  • a keyboard display means for displaying the operation buttons on the screen of the touch panel display in a translucent manner, Display color changing means for changing the display color of the symbols assigned to the operation buttons arranged on the virtual keyboard displayed by the keyboard display means to a display color selected from a plurality of preset display colors
  • An input display control method includes: An input display control method executed by an input display control device including a touch panel display, A screen display step in which the input display control device displays an image including a symbol display area for displaying a symbol input by a user on the screen of the touch panel display;
  • the input display control device has an operation button arranged on a virtual keyboard for inputting a symbol to be displayed in the symbol display area by a tap on the touch panel display, and a symbol assigned to the operation button,
  • a keyboard display step for superimposing the operation button on the image displayed in the screen display step and displaying the operation button on the screen of the touch panel display in a translucent manner;
  • the input display control device changes the display color of the symbols assigned to the operation buttons arranged in the virtual keyboard displayed in the keyboard display step to a display color selected from a plurality of preset display colors.
  • a display color changing step to be changed; Is provided.
  • An input display control method includes: An input display control method executed by a thin client system configured by a server and an input display control device including a touch panel display connected via a network, The server executes, An image transmission step of transmitting image information for generating an image displayed on the screen of the touch panel display to the input display control device; Executed by the input display control device; An image receiving step of receiving the image information from the server; A screen display step for displaying an image including a symbol display area for displaying a symbol input by a user on the screen of the touch panel display based on the image information received in the image reception step; An operation button arranged on a virtual keyboard for inputting a symbol to be displayed in the symbol display area by tapping the touch panel display, and an image in which the symbols assigned to the operation button are displayed in the screen display step.
  • a keyboard display step for displaying the operation buttons on the touch panel display screen in a translucent manner
  • a display color changing step for changing the display color of the symbols assigned to the operation buttons arranged in the virtual keyboard displayed in the keyboard display step to a display color selected from a plurality of preset display colors; , Is provided.
  • the recording medium is: A computer that controls an input display control device including a touch panel display, Screen display means for displaying an image including a symbol display area for displaying a symbol input by a user on the screen of the touch panel display; An operation button arranged on a virtual keyboard for inputting a symbol to be displayed in the symbol display area by tapping on the touch panel display, and an image in which a symbol assigned to the operation button is displayed on the screen display means Keyboard display means for displaying the operation buttons on the screen of the touch panel display in a translucent manner, Display color changing means for changing the display color of the symbols assigned to the operation buttons arranged on the virtual keyboard displayed by the keyboard display means to a display color selected from a plurality of preset display colors; Record the program that will function as
  • the input display control application according to the embodiment of the present invention is referred to as a smart keyboard manager.
  • the input display control device 1 includes a touch panel display D as shown in FIG. 1A.
  • a touch panel display D On the screen of the touch panel display D, for example, an image including a symbol display area A that displays a symbol input by the user is displayed.
  • the symbols include alphabetic characters, hiragana characters, numbers, symbols, unit displays, function displays, and the like.
  • the image includes various characters, numbers, codes, photographs, drawings, and the like.
  • the input display control device 1 completes the activation of the smart keyboard manager while displaying an image on the screen of the touch panel display D
  • the virtual display of the smart keyboard manager is displayed on the screen of the touch panel display D as shown in FIG. 1B.
  • the keyboard K is displayed superimposed on the displayed image.
  • the virtual keyboard K of the smart keyboard manager is for allowing the user to input symbols to be displayed in the symbol display area A by tapping (contacting) the touch panel display.
  • the virtual keyboard K includes a keyboard frame W1, a plurality of operation buttons W2 arranged, and symbols (alphabetic characters, hiragana characters, numbers, symbols, unit display, function display, etc.) assigned to each operation button W2. ) W3.
  • the tap means that the user contacts the screen of the touch panel display D so as to satisfy a predetermined condition, and details will be described later.
  • Translucent display refers to calculating and displaying pixels so that a superimposed image can be seen through.
  • the symbol W3 is not translucent but is painted (opaque). Therefore, in the area where the symbol W3 is displayed, the user cannot see the superimposed image.
  • the smart keyboard manager may display a plurality of virtual keyboards K1, K2, and K3 superimposed on the displayed image on the screen of the touch panel display D.
  • the smart keyboard manager may display (floating display) the virtual keyboards K1, K2, and K3 so that the user can freely arrange them on the screen of the touch panel display D.
  • the smart keyboard manager displays an image in which, for example, a combination of the virtual keyboard K1 and the virtual keyboard K3 or the combination of the virtual keyboard K2 and the virtual keyboard K3 is displayed on the screen of the touch panel display D according to the user's selection. You may superimpose and display.
  • the smart keyboard manager may display a virtual keyboard K4 related to input of alphabetic characters superimposed on the displayed image on the screen of the touch panel display D. Good.
  • the smart keyboard manager switches the virtual keyboard K4 related to the input of the alphabetic characters to the virtual keyboard related to the input of the katakana characters, for example. You may display on the screen of the display D.
  • the input display control device 1 displays the tapped symbol W3.
  • Corresponding processing for example, display of alphabetic characters on the screen of the touch panel display D or deletion of already displayed numbers
  • the input display control device 1 changes the display color of the symbols W3 of the virtual keyboards K and K1 to K4 displayed on the screen of the touch panel display D.
  • the input display control device 1 displays a display color candidate window W4 for presenting a plurality of display color candidates when the hardware button B1 is pressed by the user. Displayed on the screen of the display D and prompts the user to select a display color.
  • the input display control device 1 displays the display in which the display color of the symbol W3 of the virtual keyboards K and K1 to K4 is selected. Change to color.
  • the input display control device 1 can change the display color of the symbol W3 of the virtual keyboards K and K1 to K4 to a display color selected from a plurality of display color candidates (keyboard frame W1, operation The display color of the button W2 is fixed). Therefore, the user can display the symbol W3 on the screen of the touch panel display D in an easy-to-see display color according to the images displayed superimposed on the virtual keyboards K and K1 to K4. That is, the user can eliminate the difficulty of seeing the virtual keyboards K and K1 to K4. Further, the input display control device 1 displays the keyboard frame W1 and the operation buttons W2 in a translucent manner. Thereby, the user can see the superimposed image through the virtual keyboards K and K1 to K4.
  • the input display control device 1 displays the symbol W3 in a filled (opaque) manner instead of being translucent. Therefore, the user can easily see the symbol W3 displayed on the screen of the touch panel display D.
  • the input display control device 1 includes a display unit 11, an input unit 12, an operation recognition unit 13, a storage unit 14, a display control unit 15, and a hardware button unit 16.
  • the display unit 11 is composed of a liquid crystal panel or the like, and displays the image generated by the display control unit 15.
  • the input unit 12 is configured by a position input device such as a touch pad that detects a tap installed on the surface of a liquid crystal panel that constitutes the display unit 11 and receives an input by a user's tap.
  • the display unit 11 and the input unit 12 are realized by a touch panel display D.
  • the operation recognition unit 13 acquires the position on the touch panel display D where the input unit 12 has detected the tap, and collates with the screen coordinate information indicating the screen coordinates stored in the storage unit 14 to recognize the contact coordinates. Further, the operation recognition unit 13 recognizes the continuous tap time from the start to the end of the tap detected by the input unit 12. The operation recognition unit 13 transmits the contact coordinates and the continuous tap time to the display control unit 15.
  • the display control unit 15 reads image information for generating an image to be displayed on the screen of the display unit 11 from the storage unit 14, generates an image to be displayed on the display unit 11 from the read image information, and generates the generated image. And displayed on the screen of the display unit 11.
  • the display control unit 15 reads the data of the virtual keyboard K of the smart keyboard manager from the storage unit 14 and displays the virtual keyboard K at a predetermined position on the screen of the display unit 11. .
  • the display control unit 15 determines whether the user has tapped the operation button W2 (see FIGS. 1 and 2) based on the contact coordinates received from the operation recognition unit 13 and the continuous tap time.
  • the display control unit 15 determines that the tap has been made when the contact coordinates at the start of the tap are within the range of the display area of the operation button W2 and the continuous tap time is not less than the threshold value ⁇ and not more than the threshold value ⁇ . To do.
  • the threshold value ⁇ it is possible to prevent the display control unit 15 from erroneously determining a touch with a short continuous tap time, such as when the user touches unconsciously, as a tap.
  • the threshold value ⁇ when the wrong operation button W2 is touched, the user can cancel the operation by continuously tapping the touched operation button.
  • the display control unit 15 can be operated so that the user can cancel the operation by moving the touched position. 15 may be configured. Furthermore, the display control unit 15 may be configured to determine that all the taps are made when the contact coordinates at the start of the tap are within the range of the display area of the operation button W2 and the continuous tap time is 0 or more. .
  • the display control unit 15 When it is determined that the user has tapped the operation button W2, the display control unit 15 generates event information to be issued when the operation button W2 is selected from the data stored in the storage unit 14, and issues an event.
  • the display control unit 15 refers to the processing information indicating the correspondence between the event and the processing stored in the storage unit 14, and executes the processing associated with the issued event.
  • the display control unit 15 displays the hiragana character “a” on the screen of the display unit 11.
  • the event issued when the operation button W2 is selected is “BACK SPACE”
  • the display control unit 15 selects one character or the like before the cursor displayed on the screen of the display unit 11. delete. Note that the processing corresponding to the issued event with reference to the processing information may be executed not by the display control unit 15 but by another functional unit included in the input display control device 1.
  • the hardware button unit 16 includes a hardware button B1 and a signal output device.
  • the hardware button unit 16 causes the signal output device to output an electrical signal when the hardware button B1 is pressed.
  • the display control unit 15 reads display color information indicating a plurality of display colors from the storage unit 14, and displays a display color candidate window W 4 on the display unit 11. Displayed on the screen to prompt the user to select a display color.
  • the display control unit 15 changes the display color of the symbol W3 of the virtual keyboards K and K1 to K4 to the selected display color. To do.
  • the process shown in the flowchart of FIG. 4 is performed when, for example, the input unit 12 receives a start instruction of the smart keyboard manager and the full screen display of the virtual keyboards K and K4 (see FIGS. 1B and 2B) (the user operation is performed). Will be started).
  • the display control unit 15 reads the data of the virtual keyboard K (or any of the data of the virtual keyboard K4) of the smart keyboard manager from the storage unit 14 and reads the virtual keyboard K (or the virtual keyboard K4) of the display unit 11.
  • a full screen display is performed by superimposing on the image displayed on the screen (step S11).
  • the display control unit 15 determines whether or not the hardware button B1 is pressed (step S12).
  • step S12 determines that the hardware button B1 is pressed (step S12: Yes)
  • step S12 determines that the hardware button B1 is pressed (step S12: Yes)
  • step S13 display color candidate window W4 is read from the storage unit 14 and displayed on the screen of the touch panel display D to prompt the user to select a display color (step S13).
  • step S15 When the hardware button B1 is pressed to input that the display color selection is completed, the display control unit 15 selects the display color of the symbol W3 of the virtual keyboard K (or the virtual keyboard K4) as the selected display color. The color is changed (step S14). Thereafter, the operation recognition unit 13 executes step S15.
  • step S12 determines that the hardware button B1 is not pressed (step S12; No), that is, if no electrical signal is received, the display control unit 15 skips step S13 and step S14.
  • the operation recognition unit 13 determines whether or not there is a tap on the touch panel display D (step S15). When the operation recognition unit 13 determines that there is no tap on the touch panel display D (step S15; No), that is, when the input unit 12 has not detected a tap on the touch panel display D, the operation recognition unit 13 performs processing. Is returned to step S12.
  • step S15 when the operation recognition unit 13 determines that there is a tap on the touch panel display D (step S15; Yes), that is, when the input unit 12 detects a tap on the touch panel display D, the input unit 12 detects the tap.
  • the position on the touch panel display D is acquired and collated with the screen coordinate information stored in the storage unit 14 to recognize the contact coordinates and the continuous tap time (step S16).
  • the operation recognition part 13 transmits a contact coordinate and continuous tap time to the display control part 15 (step S16).
  • the display control unit 15 executes the following process in step S17. That is, the display control unit 15 specifies which of the operation buttons W2 has been tapped based on the contact coordinates and the continuous tap time received from the operation recognition unit 13. And the display control part 15 produces
  • the display control unit 15 refers to the processing information indicating the correspondence between the event and the process stored in the storage unit 14, and executes the process associated with the issued event (step S18).
  • the display control unit 15 determines whether or not there is an instruction to end the smart keyboard manager (step S19). Based on the contact coordinates and the continuous tap time received in step S16 from the operation recognizing unit 13, the display control unit 15 determines that the operation button W2 is not tapped but the button for ending the smart keyboard manager is tapped. In the case (step S19: Yes), the smart keyboard manager is terminated and the processing shown in FIG. 4 is terminated.
  • step S19: No if the display control unit 15 determines that the button for ending the smart keyboard manager has not been tapped (step S19: No), the process returns to step S12.
  • the display color of the symbols W3 of the virtual keyboards K and K4 can be changed to the display color selected from the display color candidates in the display color candidate window W4. Therefore, the user can display the symbol W ⁇ b> 3 on the screen of the touch panel display D in a display color that is easy to see according to the images that are displayed superimposed on the virtual keyboards K and K ⁇ b> 4. That is, the user can eliminate the difficulty of viewing the virtual keyboards K and K4. Further, the input display control device 1 displays the keyboard frame W1 and the operation buttons W2 in a translucent manner. Thereby, the user can see the superimposed image through the virtual keyboards K and K1 to K4.
  • the input display control device 1 displays the symbol W3 in a filled (opaque) manner instead of being translucent. Therefore, the user can easily see the symbol W3 displayed on the screen of the touch panel display D.
  • the input display control device 1 according to the second embodiment has the same configuration as the input display control device 1 according to the first embodiment.
  • the user can freely move the virtual keyboards K1 to K3 (see FIG. 2A) of the smart keyboard manager by dragging.
  • the operation of the input display control device 1 according to the second embodiment will be described with reference to FIG.
  • the process shown in the flowchart of FIG. 5 is performed when the start instruction of the smart keyboard manager and the floating display of the virtual keyboards K1 to K3 (see FIG. 2A) are received by the input unit 12, for example (when a user operation is performed). Be started.
  • the display control unit 15 reads the data of the virtual keyboards K1 to K3 of the smart keyboard manager from the storage unit 14, and displays the virtual keyboards K1 to K3 on the screen of the display unit 11. It is superimposed on the displayed screen and displayed at a predetermined position (step S31). That is, the display control unit 15 displays the virtual keyboards K1 to K3 on a part of the screen of the touch panel display D.
  • the display control unit 15 executes the processing from step S12 to step S14 depending on whether or not the hardware button B1 is pressed.
  • Step S12 when the display control unit 15 determines that the hardware button B1 is pressed (Step S12; Yes), the display control unit 15 reads display color information indicating a plurality of display colors from the storage unit 14, and displays the display color candidate window W4 on the touch panel display. D is displayed on the screen of D and the user is prompted to select a display color (step S13).
  • the display control unit 15 changes the display color of the symbol W3 of the virtual keyboards K1 to K3 to the selected display color (Ste S14).
  • the display colors of the keyboard frame W1 and the operation buttons W2 are fixed (for example, red).
  • step S15 determines whether or not there is a tap on the touch panel display D. If the operation recognition unit 13 determines that there is no tap on the touch panel display D (step S15; No), the process returns to step S12. On the other hand, the operation recognition part 13 performs step S16, when it determines with there being a tap to the touchscreen display D (step S15; Yes).
  • step S16 the display control unit 15 determines whether or not the contact coordinates received from the operation recognition unit 13 in step S16 are included in the region (display region) where the virtual keyboards K1 to K3 are displayed. (Step S32). If the display control unit 15 determines that the contact coordinates are not included in any of the display areas of the virtual keyboards K1 to K3 (step S32; No), the display control unit 15 compares the information stored in the storage unit 14 with the contact coordinates. A predetermined process corresponding to the included area is executed (step S33), and the process proceeds to step S19.
  • step S34 determines whether any of the virtual keyboards K1 to K3 has been dragged. If the display control unit 15 determines that it has been dragged (step S34: Yes), it moves, for example, the virtual keyboard K1 to the position of the changed tap coordinates (if the display area of the virtual keyboard K1 includes contact coordinates, step S35), the process proceeds to step S19.
  • the display control unit 15 Judged as dragged.
  • step S34 determines that it is not dragged (step S34; No), based on the contact coordinates and the continuous tap time received from the operation recognition unit 13 in step S16, which of the operation buttons W2 is selected. Is identified as tapped (step S17). Thereafter, the display control unit 15 executes a process corresponding to the specified operation button W2 (step S18), and the process proceeds to step S19.
  • the display control unit 15 determines whether or not the termination of the smart keyboard manager is instructed in step S19.
  • the user can place the virtual keyboards K1 to K3 having the symbol W3 whose display color can be changed at arbitrary positions. Therefore, the user can arrange the virtual keyboards K1 to K3 at easy-to-see positions.
  • the symbols W3 of the virtual keyboards K1 to K3 are displayed in a display color selected from a plurality of display colors.
  • the display color can be changed. Therefore, the user can display the symbol W3 on the screen of the touch panel display D in an easy-to-see display color according to the image displayed superimposed on the virtual keyboards K1 to K3. In other words, the user can eliminate the difficulty of viewing the virtual keyboards K1 to K3.
  • the input display control device 1 displays the keyboard frame W1 and the operation buttons W2 in a translucent manner. Thereby, the user can see the superimposed image through the virtual keyboards K and K1 to K4.
  • the input display control device 1 displays the symbol W3 in a filled (opaque) manner instead of being translucent. Therefore, the user can easily see the symbol W3 displayed on the screen of the touch panel display D.
  • the input display control device 1 according to the third embodiment has the same configuration as the input display control device 1 according to the first embodiment.
  • the input display control device 1 changes the display color of the symbols W3 of the virtual keyboards K and K4 of the smart keyboard manager according to the display color of the image displayed on the display unit 11.
  • the display control unit 15 acquires image information for generating an image to be displayed on the screen of the display unit 11 from the storage unit 14. And the display control part 15 calculates the ratio of the display color used on the screen currently displayed for every display color used from the acquired image information. Furthermore, the display control unit 15 specifies five display colors in order of the calculated display colors having the highest used ratio, and displays the symbols W3 of the virtual keyboards K and K4 as display colors other than the five specified display colors. Change the display color. Note that the display colors of the keyboard frame W1 and the operation buttons W2 are fixed (for example, red).
  • FIG. 6 is a flowchart showing an example of the operation of the input display control device 1 according to the third embodiment.
  • the process shown in the flowchart of FIG. 6 is performed when the start instruction of the smart keyboard manager and the full screen display of the virtual keyboards K and K4 (see FIGS. 1B and 2B) are received by the input unit 12, for example (user operation is performed). Start).
  • start the same processes as those shown in the flowchart of FIG.
  • the display control unit 15 reads the virtual keyboard K data (or virtual keyboard K4 data) of the smart keyboard manager from the storage unit 14, and the virtual keyboard K (or virtual keyboard). K4) is superimposed on the image displayed on the screen of the display unit 11 and displayed in full screen (step S11).
  • the display control unit 15 acquires image information for generating an image to be displayed on the screen of the display unit 11 from the storage unit 14 (step S41). And the display control part 15 calculates the ratio of the display color currently used on the screen currently displayed for every display color used from the acquired image information (step S42).
  • the display control unit 15 specifies five display colors in descending order of the used display colors, and specifies the display colors of the symbol W3 of the virtual keyboard K (or virtual keyboard K4).
  • the display color is changed to one other than (step S43).
  • the display control unit 15 changes the display color other than the five specified display colors, that is, one of the remaining three types.
  • the display color of the symbol W3 on the virtual keyboard K (or virtual keyboard K4) is changed.
  • step S15 when it is determined that the touch panel display D is not tapped (step S15: No), the operation recognition unit 13 returns the process to step S41.
  • step S15 when the input unit 12 detects a tap on the touch panel display D (step S15: Yes), the operation recognition unit 13 executes step S16. Thereafter, the display control unit 15 executes the processes of steps S17 to S19.
  • the display control unit 15 determines whether or not there is an instruction to end the smart keyboard manager in step S19.
  • the display color of the symbols W3 of the virtual keyboards K and K4 of the smart keyboard manager is changed according to the display color of the image displayed on the display unit 11. Therefore, the user can easily see the symbols W3 of the virtual keyboards K and K4 displayed on the screen of the touch panel display D. That is, the user can eliminate the difficulty of viewing the virtual keyboards K and K4.
  • the input display control device 1 displays the keyboard frame W1 and the operation buttons W2 in a translucent manner. Thereby, the user can see the superimposed image through the virtual keyboards K and K4. Therefore, the virtual keyboards K and K4 are unlikely to interfere with user operations.
  • the input display control device 1 displays the symbol W3 in a filled (opaque) manner instead of being translucent. Therefore, the user can easily see the symbol W3 displayed on the screen of the touch panel display D.
  • the input display control device 1 according to the fourth embodiment has the same configuration as the input display control device 1 according to the second embodiment.
  • the display color of the symbol W3 of the virtual keyboards K1 to K3 of the smart keyboard manager is changed according to the display color of the image in the area (display area) displaying the virtual keyboards K1 to K3.
  • the display colors of the keyboard frame W1 and the operation buttons W2 are fixed (for example, red).
  • the display control unit 15 acquires image information for generating an image to be displayed on the display unit 11 from the storage unit 14. Then, the display control unit 15 displays the ratio of the display colors used in the area (display area) where the virtual keyboards K1 to K3 are displayed from the acquired image information. Ask for each color. Furthermore, the display control unit 15 specifies five display colors in descending order of the display color ratio for each area, and sets the display colors of the virtual keyboards K1 to K3 to display colors other than the five display colors specified for each area. The display color of each symbol W3 is changed.
  • FIG. 7 is a flowchart showing an example of the operation of the input display control device 1 according to the fourth embodiment.
  • the process shown in the flowchart of FIG. 7 is performed when the start instruction of the smart keyboard manager and the floating display of the virtual keyboards K1 to K3 (see FIG. 2A) are received by the input unit 12, for example (when a user operation is performed). Be started.
  • the same processes as those shown in the flowchart of FIG. 7 the same processes as those shown in the flowchart of FIG.
  • the display control unit 15 reads the data of the virtual keyboards K1 to K3 of the smart keyboard manager from the storage unit 14, and displays the virtual keyboards K1 to K3 on the screen of the display unit 11. It is superimposed on the displayed screen and displayed at a predetermined position (step S31). That is, the display control unit 15 displays the virtual keyboards K1 to K3 on a part of the screen of the touch panel display D.
  • the display control unit 15 acquires image information for generating an image to be displayed on the display unit 11 from the storage unit 14 (step S51). Then, the display control unit 15 displays the ratio of the display colors used in the area (display area) where the virtual keyboards K1 to K3 are displayed from the acquired image information. It calculates
  • the display control unit 15 specifies five display colors for each region in descending order of the display color ratio, and sets the virtual keyboards K1 to K3 to one display color other than the five display colors specified for each region.
  • the display color of each symbol W3 is changed (step S53).
  • the display control unit 15 increases the order of the display colors used in the area where the virtual keyboard K1 is displayed.
  • 5 are specified as, for example, blue, red, yellow, green, and black, one display color other than the five display colors, that is, one of the remaining three display colors (for example, white ), The display color of the symbol W3 of the virtual keyboard K1 is changed.
  • the display control unit 15 specifies, for example, blue, white, yellow, green, and black in order of decreasing display color ratio used in the area where the virtual keyboard K2 is displayed.
  • the display color of the symbol W3 of the virtual keyboard K2 is changed to one display color other than the five display colors, that is, one of the remaining three display colors (for example, purple).
  • the display control unit 15 specifies the five colors in the descending order of the display colors used in the area where the virtual keyboard K3 is displayed, for example, red, white, yellow, green, and black. Then, the display color of the symbol W3 of the virtual keyboard K3 is changed to one display color other than the five display colors, that is, one of the remaining three display colors (for example, pink).
  • step S15 Yes
  • step S16 the operation recognition unit 13 executes step S16.
  • the display control unit 15 executes the processes of steps S33 to S35 and the processes of steps S17 to S19 according to the determination.
  • Step S15 when the input unit 12 has not detected a tap on the touch panel display D (Step S15: No), the operation recognition unit 13 returns the process to Step S51.
  • the user can place the virtual keyboards K1 to K3 having the symbol W3 whose display color can be changed at arbitrary positions. Therefore, the user can arrange the virtual keyboards K1 to K3 at easy-to-see positions.
  • the display color of the symbol W3 of the virtual keyboards K1 to K3 of the smart keyboard manager is changed to the display color of the image in the area displaying the virtual keyboards K1 to K3. Change accordingly. Therefore, the user can easily see the symbol W3 of the virtual keyboards K1 to K3 displayed on the screen of the touch panel display D. In other words, the user can eliminate the difficulty of viewing the virtual keyboards K1 to K3.
  • the input display control device 1 displays the keyboard frame W1 and the operation buttons W2 in a translucent manner. Thereby, the user can see the superimposed image through the virtual keyboards K and K1 to K4. Therefore, the virtual keyboards K and K1 to K4 are unlikely to interfere with user operations. Further, the input display control device 1 displays the symbol W3 in a filled (opaque) manner instead of being translucent. Therefore, the user can easily see the symbol W3 displayed on the screen of the touch panel display D.
  • the thin client system 100 includes an input display control device 1 and a server 2 connected via a network.
  • the input display control apparatus 1 includes a display unit 11, an input unit 12, an operation recognition unit 13, a storage unit 14, a display control unit 15, a hardware button unit 16, a screen reception unit 17, and an event transmission unit 18.
  • the server 2 includes an execution unit 21, a storage unit 22, a screen transmission unit 23, and an event reception unit 24.
  • the display unit 11, the input unit 12, the operation recognition unit 13, the storage unit 14, and the hardware button unit 16 of the input display control device 1 have the same configuration as that of the input display control device 1 of the first embodiment.
  • the screen reception unit 17 generates image information transmitted from the screen transmission unit 23 by the processing of the execution unit 21 of the server 2, that is, an image for generating an image to be displayed on the screen of the display unit 11 (screen of the touch panel display D). Receive information. And the display control part 15 produces
  • the display control unit 15 generates a virtual keyboard K (or virtual keyboard K4) from the data stored in the storage unit 14, and displays the generated virtual keyboard K (or virtual keyboard K4) on the screen of the display unit 11. To do.
  • the display control unit 15 superimposes the virtual keyboard K (or the virtual keyboard K4) on the image displayed on the screen of the display unit 11 and displays the entire screen (keyboard frame W1 and operation buttons). (W2 is translucent, and symbol W3 is not translucent but is painted (opaque)). If the display control unit 15 determines that the hardware button B1 is pressed, the display control unit 15 reads display color information indicating a plurality of display colors from the storage unit 14 and displays a display color candidate window W4 on the screen of the display unit 11. To prompt the user to select a display color.
  • the display control unit 15 changes the display color of the symbols W3 of the virtual keyboards K and K4 to the selected display color. To do. Note that the display colors of the keyboard frame W1 and the operation buttons W2 are fixed (for example, red).
  • the display control unit 15 specifies which one of the operation buttons W2 has been tapped based on the contact coordinates and the continuous tap time received from the operation recognition unit 13. And the display control part 15 produces
  • the display control unit 15 then outputs the generated event information to the event transmission unit 18.
  • Other configurations of the display control unit 15 are the same as those in the first embodiment.
  • the event transmission unit 18 transmits the event information received from the display control unit 15 to the event reception unit 24 of the server 2.
  • the event receiving unit 24 When the event receiving unit 24 receives event information from the event transmitting unit 18 of the input display control device 1, it outputs the event information to the executing unit 21.
  • the execution unit 21 refers to the process information indicating the correspondence between the event and the process stored in the storage unit 22 and executes the process corresponding to the received event information.
  • the execution unit 21 reads image information indicating the executed processing screen from the storage unit 22 and sends the image information to the image transmission unit 23. Then, the image transmission unit 23 transmits image information to the screen reception unit 17 of the input display control device 1.
  • the display control unit 15 When the screen receiving unit 17 of the input display control device 1 receives image information indicating the processing screen from the screen transmitting unit 23 of the server 2, the display control unit 15 performs processing based on the image information received by the screen receiving unit 17. A screen is generated, and the generated processing screen is displayed on the display unit 11.
  • the above-described thin client system can be configured by using not only the input display control device 1 of the first embodiment but also the input display control device 1 of the second to fourth embodiments.
  • the server 2 since the server 2 executes the process, the load on the input display control device 1 is reduced. Thereby, the cost reduction and size reduction of the input display control apparatus 1 are attained.
  • the server 2 when the server 2 includes a display, the display screen of the server 2 is displayed on the touch panel display D of the input display control device 1.
  • the touch panel display D of the input display control device 1 is smaller than the display of the server 2, the screen is reduced and displayed. Even in such a case, the user can see the superimposed image through the virtual keyboards K and K4. Therefore, the virtual keyboards K and K4 are unlikely to interfere with user operations. In addition, the user can eliminate the difficulty of viewing the virtual keyboards K and K4.
  • the control unit 31 includes a CPU (Central Processing Unit) and the like, and executes each process of the operation recognition unit 13 and the display control unit 15 according to a control program 39 stored in the external storage unit 33.
  • CPU Central Processing Unit
  • the main storage unit 32 is composed of a RAM (Random-Access Memory) or the like, loads a control program 39 stored in the external storage unit 33, and is used as a work area of the control unit 31.
  • RAM Random-Access Memory
  • the external storage unit 33 includes a non-volatile memory such as a flash memory, a hard disk, a DVD-RAM (Digital Versatile Disc Random-Access Memory), a DVD-RW (Digital Versatile Disc Disc ReWritable), and performs processing of the input display control device 1.
  • a control program 39 to be executed by the control unit 31 is stored in advance.
  • the external storage unit 33 supplies various data used when the control program 39 is executed to the control unit 31 and stores the data supplied from the control unit 31 in accordance with instructions from the control unit 31.
  • the storage unit 14 includes an external storage unit 33.
  • the operation unit 34 includes an interface device that connects a position input device such as a touch pad and an input device such as a button switch to the internal bus 30. When the user performs an operation input on the operation unit 34, an instruction corresponding to the operation input is supplied from the operation unit 34 to the control unit 31.
  • the operation unit 34 functions as the input unit 12 and the hardware button unit 16.
  • the display unit 35 includes a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), and displays an application screen.
  • the display unit 35 functions as the display unit 11.
  • the timer 36 periodically supplies the current time to the control unit 31 via the internal bus 30.
  • the control unit 31 recognizes the continuous tap time based on the current time supplied from the timer 36.
  • the input display control device 1 in the thin client system 100 further includes a network termination device or a wireless communication device connected to the network, a serial interface or a LAN (Local Area Network) interface connected to them, and the like.
  • the communication part comprised by is provided.
  • the communication unit is connected to the server 2 via a network.
  • the communication unit functions as the screen reception unit 17 and the event transmission unit 18.
  • the display unit 11, the input unit 12, the operation recognition unit 13, the storage unit 14, the display control unit 15, and the hardware button unit 16 shown in FIG. 3 are controlled by the control program 39, the control unit 31, the main storage unit 32, and the external storage unit. 33, which is realized by performing processing using the operation unit 34, the display unit 35, and the timer 36 as resources.
  • the central part that performs processing in the system composed of the control unit 31, the main storage unit 32, the external storage unit 33, the internal bus 30 and the like can be realized by using a normal computer system without using a dedicated system.
  • a computer program for executing the operation described in each embodiment is stored in a computer-readable recording medium (flexible disk, CD-ROM, DVD-ROM, etc.) and distributed.
  • You may comprise the input display control apparatus 1 which implement
  • the input display control device 1 may be configured by storing the computer program in a storage device included in a server device on a communication network such as the Internet and downloading the computer program by a normal computer system. .
  • the functions of the input display control device 1 are realized by sharing between an OS (Operating System) and an application program, or in cooperation with the OS and the application program, only the application program portion is recorded on a recording medium or a storage device. May be stored.
  • OS Operating System
  • a computer program may be posted on a bulletin board (BBS: Bulletin Board System) on a communication network, and the computer program may be distributed via the network. Then, by starting this computer program and executing the computer program in the same manner as other application programs under the control of the OS, the input display control device 1 that realizes the operation described in each embodiment is configured. Also good.
  • BSS Bulletin Board System
  • the input display control device 1 of each embodiment displays the symbols W3 of the virtual keyboards K and K1 to K4 in a solid color instead of being translucent (displayed opaquely), this is not restrictive. That is, the input display control device 1 of each embodiment may display the symbol W3 in a translucent manner.
  • the user operates the operation button W2 by directly tapping the operation button W2 with a finger, but is not limited thereto.
  • the input display control device 1 of each embodiment may be configured so that the user operates the operation button W2 by pressing it with the pointer.
  • the display color of the symbol W3 of the virtual keyboards K and K1 to K4 is changed to the selected display color, but the present invention is not limited to this. That is, the input display control device 1 of each embodiment may change the display color of the keyboard frame W1 and the operation button W2 to the selected display color in addition to the symbol W3.
  • the input display control device 1 of the first, second, and fifth embodiments determines that the hardware button B1 is pressed, the display color candidate window W4 is displayed on the screen of the touch panel display D, and the hardware button B1 is displayed.
  • the button is pressed again to indicate that the selection of the display color has been completed, the display color of the symbol W3 of the virtual keyboard is changed to the selected display color, but the present invention is not limited to this. That is, the input display control device 1 according to the first, second, and fifth embodiments replaces the determination of pressing the hardware button B1 with any one operation button W2 (for example, a display color changing function assigned to the virtual keyboard).
  • the operation button When the operation button is determined to be tapped, a plurality of display color candidates are displayed on the screen of the touch panel display D, and an input to the effect that selection of the display color is completed is an arbitrary operation button W2. When this is done, the display color of the symbol W3 on the virtual keyboard may be changed to the selected display color.
  • the contact coordinates at the start of the tap are within the display area of any one of the virtual keyboards K1 to K3, and the displacement from the contact coordinates at the start of the tap is a threshold value.
  • the threshold value for determining that the tapping is performed may be different from the threshold value for determining that the tapping is performed.
  • the input display control device 1 specifies five display colors in descending order of the display color ratio, and sets the virtual keyboards K and K1 to one display color other than the five specified display colors.
  • the display color of the symbol W3 of .about.K4 is changed, the present invention is not limited to this. That is, the input display control device 1 according to the third and fourth embodiments specifies, for example, three display colors in descending order of the display color ratio, and sets the virtual keyboard K to one display color other than the specified three display colors.
  • the display color of the symbol W3 of K1 to K4 may be changed.
  • the seven display colors are specified in descending order of the display color ratio, and the virtual keyboard is set to one display color other than the seven specified display colors.
  • the display color of the symbol W3 of K and K1 to K4 may be changed.
  • the input display control device 1 may change the display color of the symbol W3 of the virtual keyboards K and K1 to K4 to, for example, the complementary color of the display color having the highest display color ratio. .
  • the input display control device 1 specifies which of the operation buttons W2 has been selected based on the contact coordinates and the continuous tap time, and confirms that the specified operation button W2 has been selected. Event information is generated and an event is issued, but the present invention is not limited to this.
  • the input display control device 1 transmits the contact coordinates and the continuous tap time to the server 2, and the server 2 side specifies which of the operation buttons W2 is selected based on the contact coordinates and the continuous tap time.
  • the event may be issued by generating event information indicating that the specified operation button W2 has been selected.
  • the display control unit 15 when the pressing of the hardware button B1 is detected, the display control unit 15 reads display color information indicating a plurality of display colors from the storage unit 14, and displays a plurality of display color candidates as a display unit.
  • the present invention is not limited to this.
  • the display control unit 15 transmits a detection signal to the server 2 via the event transmission unit 18. And the execution part 21 of the server 2 will read the display color information memorize
  • the display control unit 15 receives the transmitted display color information via the screen reception unit 17, the display control unit 15 extracts a plurality of display color candidates from the received display color information, and extracts the extracted display color candidates. You may display on the screen of the display part 11.
  • a touch panel display A touch panel display; Screen display means for displaying an image including a symbol display area for displaying a symbol input by a user on the screen of the touch panel display; Image displayed by the screen display means on the operation buttons arranged on the virtual keyboard for inputting the symbols to be displayed in the symbol display area by tapping the touch panel display, and the symbols assigned to the operation buttons
  • a keyboard display means for displaying the operation buttons on the screen of the touch panel display in a translucent manner
  • Display color changing means for changing the display color of the symbols assigned to the operation buttons arranged on the virtual keyboard displayed by the keyboard display means to a display color selected from a plurality of preset display colors; , An input display control device.
  • the display color changing means is Selection accepting means for accepting, from a user, selection of one display color from the plurality of preset display colors; Selection changing means for changing the display color of the symbols assigned to the operation buttons arranged on the virtual keyboard to one display color received by the selection receiving means;
  • the input display control device according to appendix 1 or 2, further comprising:
  • the display color changing means is Image information acquisition means for acquiring image information for generating an image to be displayed on the screen of the touch panel display by the screen display means; When the virtual keyboard is displayed on the entire screen of the touch panel display, the ratio of the display color used on the currently displayed screen is used from the image information acquired by the image information acquisition unit. A whole surface ratio acquisition means for each displayed color; A predetermined number of display colors are specified in descending order of the display color ratio obtained by the entire surface ratio acquisition means, and one display color other than the specified display color is selected from the plurality of preset display colors. Display color selection means; Full surface selection changing means for changing the display color of the symbols assigned to the operation buttons arranged on the virtual keyboard to one display color selected by the full surface display color selecting means; The input display control device according to any one of supplementary notes 1 to 3, further comprising:
  • the display color changing means is When the virtual keyboard is displayed on a part of the screen of the touch panel display, from the image information acquired by the image information acquisition means, the ratio of the display color used in the area where the virtual keyboard is displayed, Area ratio acquisition means for each display color used, An area for specifying a predetermined number of display colors in descending order of the display color ratio obtained by the area ratio acquisition means, and selecting one display color other than the specified display color from the plurality of preset display colors Display color selection means; An area selection changing means for changing the display color of the symbols assigned to the operation buttons arranged on the virtual keyboard to the one display color selected by the area display color selection means;
  • the input display control device according to appendix 4, comprising:
  • a thin client system comprising a server and an input display control device having a touch panel display connected via a network, The server Image transmission means for transmitting image information for generating an image to be displayed on the screen of the touch panel display to the input display control device;
  • the input display control device includes: Image receiving means for receiving the image information from the server; Screen display means for displaying an image including a symbol display area for displaying a symbol input by a user on the screen of the touch panel display based on the image information received by the image receiving means; Image displayed by the screen display means on the operation buttons arranged on the virtual keyboard for inputting the symbols to be displayed in the symbol display area by tapping the touch panel display, and the symbols assigned to the operation buttons
  • a keyboard display means for displaying the operation buttons on the screen of the touch panel display in a translucent manner, Display color changing means for changing the display color of the symbols assigned to the operation buttons arranged on the virtual keyboard displayed by the keyboard display means to a display color selected from a plurality of preset display colors; ,
  • a thin client system comprising
  • the input display control device has an operation button arranged on a virtual keyboard for inputting a symbol to be displayed in the symbol display area by a tap on the touch panel display, and a symbol assigned to the operation button,
  • a keyboard display step for superimposing the operation button on the image displayed in the screen display step and displaying the operation button on the screen of the touch panel display in a translucent manner;
  • the input display control device changes the display color of the symbols assigned to the operation buttons arranged in the virtual keyboard displayed in the keyboard display step to a display color selected from a plurality of preset display colors.
  • An input display control method comprising:
  • the server executes, An image transmission step of transmitting image information for generating an image displayed on the screen of the touch panel display to the input display control device; Executed by the input display control device; An image receiving step of receiving the image information from the server; A screen display step for displaying an image including a symbol display area for displaying a symbol input by a user on the screen of the touch panel display based on the image information received in the image reception step; An operation button arranged on a virtual keyboard for inputting a symbol to be displayed in the symbol display area by tapping the touch panel display, and an image in which the symbols assigned to the operation button are displayed in the screen display step.
  • a keyboard display step for displaying the operation buttons on the touch panel display screen in a translucent manner
  • a display color changing step for changing the display color of the symbols assigned to the operation buttons arranged in the virtual keyboard displayed in the keyboard display step to a display color selected from a plurality of preset display colors
  • a computer that controls an input display control device including a touch panel display, Screen display means for displaying an image including a symbol display area for displaying a symbol input by a user on the screen of the touch panel display; An operation button arranged on a virtual keyboard for inputting a symbol to be displayed in the symbol display area by tapping on the touch panel display, and an image in which a symbol assigned to the operation button is displayed on the screen display means
  • Keyboard display means for displaying the operation buttons on the screen of the touch panel display in a translucent manner
  • Display color changing means for changing the display color of the symbols assigned to the operation buttons arranged on the virtual keyboard displayed by the keyboard display means to a display color selected from a plurality of preset display colors
  • a computer-readable recording medium in which a program that functions as a computer is recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

 入力表示制御装置(1)の表示制御部(15)は、ユーザが入力した記号を表示する記号表示領域を含む画像を表示部(11)の画面に表示する。また、表示制御部(15)は、記号表示領域に表示させる記号を表示部(11)へのタップで入力させるための仮想キーボードに配列されている操作ボタン、および操作ボタンに割り当てられている記号を、表示制御部(15)が表示した画像に重畳して、操作ボタンを半透明で、表示部(11)の画面に表示する。また、表示制御部(15)は、表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する。

Description

入力表示制御装置、シンクライアントシステム、入力表示制御方法および記録媒体
 本発明は、入力表示制御装置、シンクライアントシステム、入力表示制御方法および記録媒体に関する。
 ユーザにより入力された文字等を表示するテキスト入力域の一部に、ユーザに文字等を入力させるためのキーボード画面(仮想キーボード)を重畳して表示しても、ユーザがテキスト入力域を視認することができる装置として、特許文献1に記載された画像読取装置がある。
 特許文献1に記載された画像読取装置では、キーボード画面は、半透明で表示される。よって、ユーザは、テキスト入力域の一部にキーボード画面を重畳して表示しても、テキスト入力域全体を視認することができる。
特開2011-254358号公報
 しかし、例えば、表示されている画像とこれに重畳して表示するキーボード画面の表示色が同一色、或いは同系色の場合、ユーザは、キーボード画面が見辛くなる。このように、表示色によっては、キーボード画面(仮想キーボード)が見辛くなるので、ユーザが仮想キーボードを操作し難いという問題点があった。
 本発明は、上述した事情に鑑みてなされたものであり、表示されている画像に重畳して表示する仮想キーボードの見辛さを解消することが可能な入力表示制御装置、シンクライアントシステム、入力表示制御方法および記録媒体を提供することを目的とする。
 本発明の第1の観点に係る入力表示制御装置は、
 タッチパネルディスプレイと、
 ユーザが入力した記号を表示する記号表示領域を含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段と、
 前記記号表示領域に表示させる記号を前記タッチパネルディスプレイへのタップで入力させるための仮想キーボードに配列されている操作ボタン、および前記操作ボタンに割り当てられている記号を、前記画面表示手段が表示した画像に重畳して、前記操作ボタンを半透明で、前記タッチパネルディスプレイの画面に表示するキーボード表示手段と、
 前記キーボード表示手段が表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する表示色変更手段と、
 を備える。
 本発明の第2の観点に係るシンクライアントシステムは、
 ネットワークを介して接続される、サーバと、タッチパネルディスプレイを備える入力表示制御装置と、で構成されるシンクライアントシステムであって、
 前記サーバは、
 前記タッチパネルディスプレイの画面に表示される画像を生成するための画像情報を前記入力表示制御装置に送信する画像送信手段を備え、
 前記入力表示制御装置は、
 前記サーバから前記画像情報を受信する画像受信手段と、
 前記画像受信手段が受信した画像情報に基づいて、ユーザが入力した記号を表示する記号表示領域を含む画像を、前記タッチパネルディスプレイの画面に表示する画面表示手段と、
 前記記号表示領域に表示させる記号を前記タッチパネルディスプレイへのタップで入力させるための仮想キーボードに配列されている操作ボタン、および前記操作ボタンに割り当てられている記号を、前記画面表示手段が表示した画像に重畳して、前記操作ボタンを半透明で、前記タッチパネルディスプレイの画面に表示するキーボード表示手段と、
 前記キーボード表示手段が表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する表示色変更手段と、
 を備える。
 本発明の第3の観点に係る入力表示制御方法は、
 タッチパネルディスプレイを備える入力表示制御装置が実行する入力表示制御方法であって、
 前記入力表示制御装置が、ユーザが入力した記号を表示する記号表示領域を含む画像を前記タッチパネルディスプレイの画面に表示する画面表示ステップと、
 前記入力表示制御装置が、前記記号表示領域に表示させる記号を前記タッチパネルディスプレイへのタップで入力させるための仮想キーボードに配列されている操作ボタン、および前記操作ボタンに割り当てられている記号を、前記画面表示ステップで表示した画像に重畳して、前記操作ボタンを半透明で、前記タッチパネルディスプレイの画面に表示するキーボード表示ステップと、
 前記入力表示制御装置が、前記キーボード表示ステップで表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する表示色変更ステップと、
 を備える。
 本発明の第4の観点に係る入力表示制御方法は、
 ネットワークを介して接続される、サーバと、タッチパネルディスプレイを備える入力表示制御装置と、で構成されるシンクライアントシステムが実行する入力表示制御方法であって、
 前記サーバが実行する、
 前記タッチパネルディスプレイの画面に表示される画像を生成するための画像情報を前記入力表示制御装置に送信する画像送信ステップと、
 前記入力表示制御装置が実行する、
 前記サーバから前記画像情報を受信する画像受信ステップと、
 前記画像受信ステップで受信した画像情報に基づいて、ユーザが入力した記号を表示する記号表示領域を含む画像を、前記タッチパネルディスプレイの画面に表示する画面表示ステップと、
 前記記号表示領域に表示させる記号を前記タッチパネルディスプレイへのタップで入力させるための仮想キーボードに配列されている操作ボタン、および前記操作ボタンに割り当てられている記号を、前記画面表示ステップで表示した画像に重畳して、前記操作ボタンを半透明で、前記タッチパネルディスプレイの画面に表示するキーボード表示ステップと、
 前記キーボード表示ステップで表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する表示色変更ステップと、
 を備える。
 本発明の第5の観点に係る記録媒体は、
 タッチパネルディスプレイを備える入力表示制御装置を制御するコンピュータを、
 ユーザが入力した記号を表示する記号表示領域を含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段、
 前記記号表示領域に表示させる記号を前記タッチパネルディスプレイへのタップで入力させるための仮想キーボードに配列されている操作ボタン、および前記操作ボタンに割り当てられている記号を、前記画面表示手段で表示した画像に重畳して、前記操作ボタンを半透明で、前記タッチパネルディスプレイの画面に表示するキーボード表示手段、
 前記キーボード表示手段で表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する表示色変更手段、
 として機能させるプログラムを記録する。
 本発明によれば、仮想キーボードの見辛さを解消することが可能である。
本発明の実施の形態1に係る入力表示制御装置のタッチパネルディスプレイの画面表示を示す図である。 本発明の実施の形態1に係る入力表示制御装置のスマートキーボードマネージャの仮想キーボードを示す図である。 本発明の実施の形態1に係る入力表示制御装置の仮想キーボードがフローティング表示である場合を示す図である。 本発明の実施の形態1に係る入力表示制御装置の仮想キーボードが全画面表示である場合を示す図である。 本発明の実施の形態1に係る入力表示制御装置において、表示色候補ウィンドウが表示された画面を示す図である。 本発明の実施の形態1に係る入力表示制御装置の構成例を示すブロック図である。 本発明の実施の形態1に係る入力表示制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態2に係る入力表示制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態3に係る入力表示制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態4に係る入力表示制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態5に係るシンクライアントシステムの構成例を示すブロック図である。 本発明の実施の形態に係る入力表示制御装置のハードウェア構成の一例を示すブロック図である。
 以下、本発明の実施の形態について図面を参照しながら説明する。以下の説明では、本発明の実施形態に係る入力表示制御アプリケーションをスマートキーボードマネージャと呼ぶ。
(実施の形態1)
 本発明の実施の形態1に係るスマートキーボードマネージャのキーボードの表示について、図1を参照しながら説明する。実施の形態1に係る入力表示制御装置1は、図1Aに示すように、タッチパネルディスプレイDを備える。タッチパネルディスプレイDの画面には、例えば、ユーザが入力した記号を表示する記号表示領域Aを含む画像が表示される。ここで、記号とは、アルファベット文字、ひらがな文字、数字、符号、単位表示、機能表示等を含む。また、画像とは、各種文字、数字、符号、写真、描画等を含む。
 入力表示制御装置1は、タッチパネルディスプレイDの画面に画像を表示している状態で、スマートキーボードマネージャの起動を完了すると、図1Bに示すように、タッチパネルディスプレイDの画面に、スマートキーボードマネージャの仮想キーボードKを、表示されている画像に重畳して表示する。
 スマートキーボードマネージャの仮想キーボードKは、タッチパネルディスプレイのタップ(接触)により、記号表示領域Aに表示させる記号を、ユーザに入力させるためのものである。仮想キーボードKは、キーボード枠W1と、配列されている複数の操作ボタンW2と、各操作ボタンW2に割り当てられている記号(アルファベット文字、ひらがな文字、数字、符号、単位表示、機能表示等を含む)W3と、から構成される。ここで、タップとは、ユーザが、タッチパネルディスプレイDの画面に所定の条件を満たすように接触することであり、詳細は後述する。
 キーボード枠W1および操作ボタンW2は、半透明で表示される。半透明で表示するとは、重畳されている画像が透過して見えるように画素を演算して表示することをいう。
 一方、記号W3は、半透明ではなく塗り潰されて(不透明に)表示される。よって、記号W3が表示されている領域では、ユーザは、重畳されている画像を見ることができない。
 スマートキーボードマネージャは、例えば、図2Aに示すように、複数の仮想キーボードK1、K2、K3を、タッチパネルディスプレイDの画面に、表示されている画像に重畳して表示してもよい。このとき、スマートキーボードマネージャは、仮想キーボードK1、K2、K3を、タッチパネルディスプレイDの画面に、ユーザが自由に配置できるように表示(フローティング表示)してもよい。更に、スマートキーボードマネージャは、ユーザの選択に応じて、例えば、仮想キーボードK1と仮想キーボードK3、または、仮想キーボードK2と仮想キーボードK3、の組み合わせを、タッチパネルディスプレイDの画面に、表示されている画像に重畳して表示してもよい。
 その他にも、スマートキーボードマネージャは、例えば、図2Bに示すように、アルファベット文字の入力に関連する仮想キーボードK4を、タッチパネルディスプレイDの画面に、表示している画像に重畳して表示してもよい。このとき、スマートキーボードマネージャは、例えば、ハードウェアボタン部16がユーザにより押下されると、例えば、アルファベット文字の入力に関連する仮想キーボードK4をカタカナ文字の入力に関連する仮想キーボードに切り換えて、タッチパネルディスプレイDの画面に表示してもよい。
 入力表示制御装置1は、タッチパネルディスプレイDの画面に表示している記号W3(各操作ボタンW2に割り当てられている記号W3)が、ユーザによりタップ(接触)されると、タップされた記号W3に対応する処理(例えば、タッチパネルディスプレイDの画面へのアルファベット文字の表示、或いは既に表示されている数字の削除等)を実行する。
 また、入力表示制御装置1は、ハードウェアボタンB1がユーザにより押下されると、タッチパネルディスプレイDの画面に表示されている仮想キーボードK、K1~K4の記号W3の表示色を変更する。
 具体的には、入力表示制御装置1は、図2Cに示すように、ハードウェアボタンB1がユーザにより押下されると、複数の表示色の候補を提示するための表示色候補ウィンドウW4を、タッチパネルディスプレイDの画面に表示し、表示色の選択をユーザに促す。再びハードウェアボタンB1がユーザにより押下され、表示色の選択が完了した旨が入力されると、入力表示制御装置1は、仮想キーボードK、K1~K4の記号W3の表示色を選択された表示色に変更する。
 上述の通り、入力表示制御装置1は、仮想キーボードK、K1~K4の記号W3の表示色を、複数の表示色の候補から選択された表示色に変更することができる(キーボード枠W1、操作ボタンW2の表示色は、固定)。よって、ユーザは、仮想キーボードK、K1~K4に重畳して表示される画像に応じて、見易い表示色で、タッチパネルディスプレイDの画面に、記号W3を表示できる。即ち、ユーザは、仮想キーボードK、K1~K4の見辛さを解消することが可能である。また、入力表示制御装置1は、キーボード枠W1および各操作ボタンW2を、半透明で表示する。これにより、ユーザは、仮想キーボードK、K1~K4を透過して、重畳されている画像を見ることが可能である。よって、仮想キーボードK、K1~K4は、ユーザ操作の邪魔になりにくい。また、入力表示制御装置1は、記号W3を、半透明ではなく塗り潰しで(不透明に)表示する。よって、ユーザは、タッチパネルディスプレイDの画面に表示された記号W3が見易い。
 次に、図3を参照しながら、実施の形態1に係る入力表示制御装置1の構成を説明する。入力表示制御装置1は、表示部11、入力部12、操作認識部13、記憶部14、表示制御部15およびハードウェアボタン部16、を備える。
 表示部11は、液晶パネル等で構成されており、表示制御部15で生成された画像を表示する。入力部12は、表示部11を構成する液晶パネルの表面に設置した、タップを検出するタッチパッド等の位置入力装置で構成されており、ユーザのタップによる入力を受け付ける。表示部11および入力部12は、タッチパネルディスプレイDで実現される。
 操作認識部13は、入力部12がタップを検出したタッチパネルディスプレイD上の位置を取得し、記憶部14が記憶する、画面の座標を示す画面座標情報と照合して、接点座標を認識する。また、操作認識部13は、入力部12が検出したタップについて、タップを開始してから終了するまでの連続タップ時間を認識する。操作認識部13は、接点座標および連続タップ時間を表示制御部15に送信する。
 表示制御部15は、記憶部14から、表示部11の画面に表示する画像を生成するための画像情報を読み出し、読み出した画像情報から表示部11に表示させる画像を生成し、生成した画像を、表示部11の画面に表示する。
 また、表示制御部15は、スマートキーボードマネージャの起動が完了すると、スマートキーボードマネージャの仮想キーボードKのデータを記憶部14から読み出し、仮想キーボードKを、表示部11の画面の所定の位置に表示する。
 表示制御部15は、操作認識部13から受け取った接点座標および連続タップ時間に基づいて、ユーザが操作ボタンW2(図1、2参照)をタップしたか否かを判定する。
 本実施の形態では、表示制御部15は、タップ開始時の接点座標が操作ボタンW2の表示領域の範囲内であり、連続タップ時間が閾値α以上閾値β以下である場合に、タップしたと判定する。閾値αを設けることにより、ユーザが無意識に触れた場合等の、連続タップ時間の短いタッチを、表示制御部15が誤ってタップと判定することを防止することができる。また、閾値βを設けることで、間違った操作ボタンW2をタッチしてしまったときに、ユーザは、タッチした操作ボタンを長くタップし続けることで、操作を解除することができる。
 また、連続タップ時間の閾値の他に、例えば、タップ開始時の接点座標からの変位に閾値を設けることにより、ユーザが、タッチした位置を移動させることで、操作を解除できるよう、表示制御部15を構成してもよい。更に、タップ開始時の接点座標が操作ボタンW2の表示領域の範囲内であり、連続タップ時間が0以上である場合は、すべてタップしたと判定するよう、表示制御部15を構成してもよい。
 表示制御部15は、ユーザが操作ボタンW2をタップしたと判定した場合、記憶部14が記憶するデータから、操作ボタンW2が選択された場合に発行するイベント情報を生成し、イベントを発行する。
 また、表示制御部15は、記憶部14が記憶する、イベントと処理との対応を示す処理情報を参照し、発行されたイベントに対応付けられている処理を実行する。
 例えば、表示制御部15は、操作ボタンW2が選択された場合に発行するイベントがひらがな文字の「あ」であった場合、表示部11の画面に、ひらがな文字「あ」を表示する。また、表示制御部15は、操作ボタンW2が選択された場合に発行するイベントが「BACK SPACE」であった場合、表示部11の画面に表示されているカーソルの前にある文字等を1つ削除する。なお、処理情報を参照し、発行されたイベントに対応する処理を実行するのは、表示制御部15でなく、入力表示制御装置1が備える他の機能部でもよい。
 ハードウェアボタン部16は、ハードウェアボタンB1と信号出力装置とから構成される。ハードウェアボタン部16は、ハードウェアボタンB1が押下されると、信号出力装置に電気信号を出力させる。出力された電気信号が、表示制御部15で受信されると、表示制御部15は、複数の表示色を示す表示色情報を記憶部14から読み出し、表示色候補ウィンドウW4を、表示部11の画面に表示して、表示色の選択をユーザに促す。ハードウェアボタンB1が押下され、表示色の選択が完了した旨が入力されると、表示制御部15は、選択された表示色に、仮想キーボードK、K1~K4の記号W3の表示色を変更する。
 次に、図4を参照しながら、実施の形態1に係る入力表示制御装置1の動作を説明する。図4のフローチャートに示す処理は、スマートキーボードマネージャの起動指示および仮想キーボードK、K4の全画面表示(図1B、図2B参照)が、例えば、入力部12で受け付けられた場合(ユーザ操作が行われた場合)に開始される。
 まず、表示制御部15は、スマートキーボードマネージャの仮想キーボードKのデータ(または仮想キーボードK4のデータのいずれか)を記憶部14から読み出し、仮想キーボードK(または仮想キーボードK4)を、表示部11の画面に表示している画像に重畳して、全画面表示する(ステップS11)。
 次に、表示制御部15は、ハードウェアボタンB1の押下の有無を判定する(ステップS12)。表示制御部15は、ハードウェアボタンB1が押下されたと判定すると(ステップS12:Yes)、即ち、ハードウェアボタン部16から出力された電気信号を受信すると、複数の表示色を示す表示色情報を記憶部14から読み出し、表示色候補ウィンドウW4を、タッチパネルディスプレイDの画面に表示して、表示色の選択をユーザに促す(ステップS13)。
 ハードウェアボタンB1が押下されて、表示色の選択が完了した旨が入力されると、表示制御部15は、仮想キーボードK(または仮想キーボードK4)の記号W3の表示色を、選択された表示色に変更する(ステップS14)。その後、操作認識部13により、ステップS15が実行される。
 一方、表示制御部15は、ハードウェアボタンB1が押下されていないと判定した場合(ステップS12;No)、即ち、電気信号を受信していない場合、ステップS13およびステップS14をスキップする。
 次に、操作認識部13は、タッチパネルディスプレイDへのタップの有無を判定する(ステップS15)。操作認識部13が、タッチパネルディスプレイDへのタップがないと判定した場合(ステップS15;No)、即ち、タッチパネルディスプレイDのタップを入力部12が検出していない場合、操作認識部13は、処理を、ステップS12に戻す。
 一方、操作認識部13は、タッチパネルディスプレイDへのタップがあったと判定した場合(ステップS15;Yes)、即ち、タッチパネルディスプレイDのタップを入力部12が検出した場合、入力部12がタップを検出したタッチパネルディスプレイD上の位置を取得し、記憶部14が記憶する画面座標情報と照合して、接点座標および連続タップ時間を認識する(ステップS16)。そして、操作認識部13は、接点座標および連続タップ時間を表示制御部15に送信する(ステップS16)。
 次に、表示制御部15は、ステップS17で次の処理を実行する。即ち、表示制御部15は、操作認識部13から受け取った接点座標および連続タップ時間に基づいて、操作ボタンW2のうちのどれが、タップされたかを特定する。そして、表示制御部15は、記憶部14が記憶するデータから、操作ボタンW2が選択された場合に発行するイベント情報を生成し、イベントを発行する。
 その後、表示制御部15は、記憶部14が記憶する、イベントと処理との対応を示す処理情報を参照し、発行されたイベントに対応付けられている処理を実行する(ステップS18)。
 そして、表示制御部15は、スマートキーボードマネージャの終了の指示の有無を判定する(ステップS19)。表示制御部15は、操作認識部13からステップS16で受け取った接点座標および連続タップ時間に基づいて、操作ボタンW2がタップされたのではなく、スマートキーボードマネージャを終了するボタンがタップされたと判定した場合(ステップS19:Yes)、スマートキーボードマネージャを終了して、図4に示す処理を終了する。
 一方、表示制御部15は、スマートキーボードマネージャを終了するボタンがタップされていないと判定した場合(ステップS19:No)、処理を、ステップS12に戻す。
 実施の形態1の入力表示制御装置1によれば、表示色候補ウィンドウW4の表示色の候補から選択された表示色に、仮想キーボードK、K4の記号W3の表示色を変更することができる。よって、ユーザは、仮想キーボードK、K4に重畳して表示される画像に応じて、見易い表示色で、タッチパネルディスプレイDの画面に、記号W3を表示できる。即ち、ユーザは、仮想キーボードK、K4の見辛さを解消することが可能である。また、入力表示制御装置1は、キーボード枠W1および各操作ボタンW2を、半透明で表示する。これにより、ユーザは、仮想キーボードK、K1~K4を透過して、重畳されている画像を見ることが可能である。よって、仮想キーボードK、K1~K4は、ユーザ操作の邪魔になりにくい。また、入力表示制御装置1は、記号W3を、半透明ではなく塗り潰しで(不透明に)表示する。よって、ユーザは、タッチパネルディスプレイDの画面に表示された記号W3が見易い。
(実施の形態2)
 実施の形態2に係る入力表示制御装置1は、実施の形態1に係る入力表示制御装置1と同様の構成である。実施の形態2では、スマートキーボードマネージャの仮想キーボードK1~K3(図2A参照)を、ユーザは、ドラッグすることで自由に移動させることができる。
 図5を参照しながら、実施の形態2に係る入力表示制御装置1の動作を説明する。図5のフローチャートに示す処理は、スマートキーボードマネージャの起動指示および仮想キーボードK1~K3のフローティング表示(図2A参照)が、例えば入力部12で受け付けられた場合(ユーザ操作が行われた場合)に開始される。なお、図5のフローチャートに示す処理は、図4のフローチャートに示す処理と同一の処理については、同一の符号が付されている。
 図5のフローチャートに示す処理が開始されると、表示制御部15は、スマートキーボードマネージャの仮想キーボードK1~K3のデータを記憶部14から読み出し、仮想キーボードK1~K3を、表示部11の画面に表示している画面に重畳して、所定の位置に表示する(ステップS31)。即ち、表示制御部15は、タッチパネルディスプレイDの画面の一部に、仮想キーボードK1~K3を表示する。
 その後、表示制御部15は、ハードウェアボタンB1の押下の有無に応じて、ステップS12~ステップS14の処理を実行する。
 即ち、表示制御部15は、ハードウェアボタンB1が押下されたと判定すると(ステップS12;Yes)、複数の表示色を示す表示色情報を記憶部14から読み出し、表示色候補ウィンドウW4を、タッチパネルディスプレイDの画面に表示して、表示色の選択をユーザに促す(ステップS13)。
 ハードウェアボタンB1が押下され、表示色の選択が完了した旨が入力されると、表示制御部15は、仮想キーボードK1~K3の記号W3の表示色を、選択された表示色に変更する(ステップS14)。なお、キーボード枠W1、操作ボタンW2の表示色は、固定(例えば、赤色)である。
 次に、操作認識部13は、タッチパネルディスプレイDへのタップの有無を判定する(ステップS15)。操作認識部13は、タッチパネルディスプレイDへのタップがないと判定した場合(ステップS15;No)、処理を、ステップS12に戻す。一方、操作認識部13は、タッチパネルディスプレイDへのタップがあったと判定した場合(ステップS15;Yes)、ステップS16を実行する。
 ステップS16の実行後、表示制御部15は、ステップS16で操作認識部13から受け取った接点座標が、仮想キーボードK1~K3が表示されている領域(表示領域)に含まれるか否かを判定する(ステップS32)。表示制御部15は、仮想キーボードK1~K3の表示領域のいずれにも接点座標が含まれないと判定した場合(ステップS32;No)、記憶部14が記憶する情報と照合して、接点座標が含まれる領域に対応する所定の処理を実行し(ステップS33)、処理をステップS19に移行する。
 一方、表示制御部15は、仮想キーボードK1~K3の表示領域のいずれかに接点座標が含まれると判定した場合(ステップS32;Yes)、ステップS16で操作認識部13から受け取った連続タップ時間から、仮想キーボードK1~K3のいずれかがドラッグされたか否かを判定する(ステップS34)。表示制御部15は、ドラッグされたと判定した場合(ステップS34:Yes)、変化したタップ座標の位置に、例えば仮想キーボードK1を移動させ(仮想キーボードK1の表示領域に接点座標が含まれる場合、ステップS35)、処理をステップS19に移行する。ここで、表示制御部15は、タップ開始時の接点座標が仮想キーボードK1~K3のいずれかの表示領域の範囲内であり、タップ開始時の接点座標からの変位が閾値γより大きい場合に、ドラッグされたと判定する。
 一方、表示制御部15は、ドラッグされていないと判定した場合(ステップS34;No)、ステップS16で操作認識部13から受け取った接点座標および連続タップ時間に基づいて、操作ボタンW2のうちのどれが、タップされたかを特定する(ステップS17)。その後、表示制御部15は、特定された操作ボタンW2に対応する処理を実行し(ステップS18)、処理をステップS19に移行する。
 そして、表示制御部15は、ステップS19で、スマートキーボードマネージャの終了が指示されたか否かを判定する。
 上述した実施の形態2の入力表示制御装置1によれば、表示色を変更可能な記号W3を有する仮想キーボードK1~K3を、それぞれ、ユーザは、任意の位置に配置することができる。よって、ユーザは、見易い位置に、仮想キーボードK1~K3を配置することができる。
 また、実施の形態2の入力表示制御装置1によれば、実施の形態1の入力表示制御装置1と同様、複数の表示色から選択された表示色に、仮想キーボードK1~K3の記号W3の表示色を変更することができる。よって、ユーザは、仮想キーボードK1~K3に重畳して表示される画像に応じて、見易い表示色で、タッチパネルディスプレイDの画面に、記号W3を表示できる。即ち、ユーザは、仮想キーボードK1~K3の見辛さを解消することが可能である。また、入力表示制御装置1は、キーボード枠W1および各操作ボタンW2を、半透明で表示する。これにより、ユーザは、仮想キーボードK、K1~K4を透過して、重畳されている画像を見ることが可能である。よって、仮想キーボードK、K1~K4は、ユーザ操作の邪魔になりにくい。また、入力表示制御装置1は、記号W3を、半透明ではなく塗り潰しで(不透明に)表示する。よって、ユーザは、タッチパネルディスプレイDの画面に表示された記号W3が見易い。
(実施の形態3)
 実施の形態3に係る入力表示制御装置1は、実施の形態1に係る入力表示制御装置1と同様の構成である。実施の形態3では、入力表示制御装置1は、スマートキーボードマネージャの仮想キーボードK、K4の記号W3の表示色を、表示部11に表示した画像の表示色に応じて、変更する。
 実施の形態3では、表示制御部15は、表示部11の画面に表示する画像を生成するための画像情報を、記憶部14から取得する。そして、表示制御部15は、取得した画像情報から、現在表示されている画面で使用されている表示色の割合を、使用されている表示色毎に算出する。更に、表示制御部15は、算出した使用されている割合が高い表示色の順に5つの表示色を特定し、特定した5つの表示色以外の表示色に、仮想キーボードK、K4の記号W3の表示色を変更する。なお、キーボード枠W1、操作ボタンW2の表示色は、固定(例えば、赤色)である。
 図6は、実施の形態3に係る入力表示制御装置1の動作の一例を示すフローチャートである。図6のフローチャートに示す処理は、スマートキーボードマネージャの起動指示および仮想キーボードK、K4の全画面表示(図1B、図2B参照)が、例えば入力部12で受け付けられた場合(ユーザ操作が行われた場合)に開始される。なお、図6のフローチャートに示す処理は、図4のフローチャートに示す処理と同一の処理については、同一の符号が付されている。
 図6のフローチャートに示す処理が開始されると、表示制御部15は、スマートキーボードマネージャの仮想キーボードKのデータ(または仮想キーボードK4のデータ)を記憶部14から読み出し、仮想キーボードK(または仮想キーボードK4)を、表示部11の画面に表示している画像に重畳して、全画面表示する(ステップS11)。
 次に、表示制御部15は、表示部11の画面に表示する画像を生成するための画像情報を、記憶部14から取得する(ステップS41)。そして、表示制御部15は、取得した画像情報から、現在表示されている画面で使用されている表示色の割合を、使用されている表示色毎に算出する(ステップS42)。
 そして、表示制御部15は、使用されている表示色の割合が高い順に5つの表示色を特定し、仮想キーボードK(または仮想キーボードK4)の記号W3の表示色を、特定した5つの表示色以外の一の表示色に変更する(ステップS43)。例えば、仮想キーボードK、K4の表示色が8種類で変更可能である場合、表示制御部15は、特定した5つの表示色以外の表示色、即ち、残り3種類のうちの1つの表示色に、仮想キーボードK(または仮想キーボードK4)の記号W3の表示色を変更する。
 その後、操作認識部13は、タッチパネルディスプレイDがタップされていないと判定した場合(ステップS15:No)、処理を、ステップS41に戻す。
 一方、操作認識部13は、タッチパネルディスプレイDのタップを入力部12が検出した場合(ステップS15:Yes)、ステップS16を実行する。その後、表示制御部15は、ステップS17~ステップS19の処理を実行する。
 そして、表示制御部15は、ステップS19で、スマートキーボードマネージャの終了の指示があったか否かを判定する。
 実施の形態3の入力表示制御装置1によれば、スマートキーボードマネージャの仮想キーボードK、K4の記号W3の表示色を、表示部11に表示した画像の表示色に応じて、変更する。よって、ユーザは、タッチパネルディスプレイDの画面に表示された仮想キーボードK、K4の記号W3を見易くすることができる。即ち、ユーザは、仮想キーボードK、K4の見辛さを解消することが可能である。また、入力表示制御装置1は、キーボード枠W1および各操作ボタンW2を、半透明で表示する。これにより、ユーザは、仮想キーボードK、K4を透過して、重畳されている画像を見ることが可能である。よって、仮想キーボードK、K4は、ユーザ操作の邪魔になりにくい。また、入力表示制御装置1は、記号W3を、半透明ではなく塗り潰しで(不透明に)表示する。よって、ユーザは、タッチパネルディスプレイDの画面に表示された記号W3が見易い。
(実施の形態4)
 実施の形態4に係る入力表示制御装置1は、実施の形態2に係る入力表示制御装置1と同様の構成である。実施の形態4では、スマートキーボードマネージャの仮想キーボードK1~K3の記号W3の表示色を、仮想キーボードK1~K3を表示している領域(表示領域)の画像の表示色に応じて、変更する。なお、キーボード枠W1、操作ボタンW2の表示色は、固定(例えば、赤色)である。
 実施の形態4では、表示制御部15は、表示部11に表示する画像を生成するための画像情報を、記憶部14から取得する。そして、表示制御部15は、取得した画像情報から、仮想キーボードK1~K3が表示されている領域(表示領域)で使用されている表示色の割合を、それぞれの領域で、使用されている表示色毎に求める。更に、表示制御部15は、表示色の割合が高い順に5つの表示色を、それぞれの領域毎に特定し、領域毎に特定した5つの表示色以外の表示色に、仮想キーボードK1~K3の記号W3のそれぞれの表示色を変更する。
 図7は、実施の形態4に係る入力表示制御装置1の動作の一例を示すフローチャートである。図7のフローチャートに示す処理は、スマートキーボードマネージャの起動指示および仮想キーボードK1~K3のフローティング表示(図2A参照)が、例えば入力部12で受け付けられた場合(ユーザ操作が行われた場合)に開始される。なお、図7のフローチャートに示す処理は、図5のフローチャートに示す処理と同一の処理については、同一の符号が付されている。
 図7のフローチャートに示す処理が開始されると、表示制御部15は、スマートキーボードマネージャの仮想キーボードK1~K3のデータを記憶部14から読み出し、仮想キーボードK1~K3を、表示部11の画面に表示している画面に重畳して、所定の位置に表示する(ステップS31)。即ち、表示制御部15は、タッチパネルディスプレイDの画面の一部に、仮想キーボードK1~K3を表示する。
 次に、表示制御部15は、表示部11に表示する画像を生成するための画像情報を、記憶部14から取得する(ステップS51)。そして、表示制御部15は、取得した画像情報から、仮想キーボードK1~K3が表示されている領域(表示領域)で使用されている表示色の割合を、それぞれの領域で、使用されている表示色毎に求める(ステップS52)。
 そして、表示制御部15は、表示色の割合が高い順に5つの表示色をそれぞれの領域毎に特定し、領域毎に特定した5つの表示色以外の1の表示色に、仮想キーボードK1~K3の記号W3のそれぞれの表示色を変更する(ステップS53)。
 例えば、仮想キーボードK1~K3の記号W3の表示色が8種類で変更可能である場合、表示制御部15は、仮想キーボードK1が表示されている領域で使用されている表示色の割合が高い順の5つを、例えば、青、赤、黄、緑、黒に特定したとすると、その5つの表示色以外の1の表示色、即ち、残り3種類のうちの1つの表示色(例えば、白)に、仮想キーボードK1の記号W3の表示色を変更する。
 また、表示制御部15は、仮想キーボードK2が表示されている領域で使用されている表示色の割合が高い順の5つを、例えば、青、白、黄、緑、黒に特定したとすると、その5つの表示色以外の1の表示色、即ち、残り3種類のうちの1つの表示色(例えば、紫)に、仮想キーボードK2の記号W3の表示色を変更する。
 同様に、表示制御部15は、仮想キーボードK3が表示されている領域で使用されている表示色の割合が高い順の5つを、例えば、赤、白、黄、緑、黒に特定したとすると、その5つの表示色以外の1の表示色、即ち、残り3種類のうちの1つの表示色(例えば、ピンク)に、仮想キーボードK3の記号W3の表示色を変更する。
 その後、操作認識部13は、タッチパネルディスプレイDのタップを入力部12が検出した場合(ステップS15:Yes)、ステップS16を実行する。その後、表示制御部15は、判定に応じて、ステップS33~ステップS35の処理、およびステップS17~ステップS19の処理を実行する。
 一方、操作認識部13は、タッチパネルディスプレイDのタップを入力部12が検出していない場合(ステップS15:No)、処理を、ステップS51に戻す。
 上述した実施の形態4の入力表示制御装置1によれば、表示色を変更可能な記号W3を有する仮想キーボードK1~K3を、それぞれ、ユーザは、任意の位置に配置することができる。よって、ユーザは、見易い位置に、仮想キーボードK1~K3を配置することができる。
 また、実施の形態4の入力表示制御装置1によれば、スマートキーボードマネージャの仮想キーボードK1~K3の記号W3の表示色を、仮想キーボードK1~K3を表示している領域の画像の表示色に応じて、変更する。よって、ユーザは、タッチパネルディスプレイDの画面に表示された仮想キーボードK1~K3の記号W3を見易くすることができる。即ち、ユーザは、仮想キーボードK1~K3の見辛さを解消することが可能である。また、入力表示制御装置1は、キーボード枠W1および各操作ボタンW2を、半透明で表示する。これにより、ユーザは、仮想キーボードK、K1~K4を透過して、重畳されている画像を見ることが可能である。よって、仮想キーボードK、K1~K4は、ユーザ操作の邪魔になりにくい。また、入力表示制御装置1は、記号W3を、半透明ではなく塗り潰しで(不透明に)表示する。よって、ユーザは、タッチパネルディスプレイDの画面に表示された記号W3が見易い。
(実施の形態5)
 図8を参照しながら、本発明の実施の形態5に係るシンクライアントシステムの構成を説明する。シンクライアントシステム100は、ネットワークを介して接続される、入力表示制御装置1とサーバ2とで構成される。入力表示制御装置1は、表示部11、入力部12、操作認識部13、記憶部14、表示制御部15、ハードウェアボタン部16、画面受信部17およびイベント送信部18を備える。サーバ2は、実行部21、記憶部22、画面送信部23およびイベント受信部24を備える。
 入力表示制御装置1の表示部11、入力部12、操作認識部13、記憶部14およびハードウェアボタン部16は、実施の形態1の入力表示制御装置1と同様の構成である。
 画面受信部17は、サーバ2の実行部21の処理によって画面送信部23から送信された画像情報、即ち、表示部11の画面(タッチパネルディスプレイDの画面)に表示する画像を生成するための画像情報を、受信する。そして、表示制御部15は、画面受信部17が受信した画像情報から、記号表示領域A(図1A参照)を含む画像を生成して、表示部11の画面(タッチパネルディスプレイDの画面)に表示する。
 また、表示制御部15は、記憶部14が記憶するデータから、仮想キーボードK(または仮想キーボードK4)を生成し、生成した仮想キーボードK(または仮想キーボードK4)を、表示部11の画面に表示する。
 実施の形態5では、表示制御部15は、仮想キーボードK(または仮想キーボードK4)を、表示部11の画面に表示している画像に重畳して、全画面表示する(キーボード枠W1および操作ボタンW2は、半透明で、記号W3は、半透明ではなく塗り潰して(不透明に)表示する)。そして、表示制御部15は、ハードウェアボタンB1が押下されたと判定すると、複数の表示色を示す表示色情報を記憶部14から読み出し、表示色候補ウィンドウW4を、表示部11の画面に表示して、表示色の選択をユーザに促す。
 表示色の選択が完了した旨の入力が、ハードウェアボタンB1のユーザ操作で行われると、表示制御部15は、選択された表示色に、仮想キーボードK、K4の記号W3の表示色を変更する。なお、キーボード枠W1、操作ボタンW2の表示色は、固定(例えば、赤色)である。
 また、表示制御部15は、操作認識部13から受け取った接点座標および連続タップ時間に基づいて、操作ボタンW2のうちのどれが、タップされたかを特定する。そして、表示制御部15は、記憶部14が記憶するデータから、操作ボタンW2が選択された場合に発行するイベント情報を生成し、イベントを発行する。
 そして、表示制御部15は、生成したイベント情報をイベント送信部18に出力する。表示制御部15のその他の構成は、実施の形態1と同様である。イベント送信部18は、表示制御部15から受け取ったイベント情報を、サーバ2のイベント受信部24に送信する。
 イベント受信部24は、入力表示制御装置1のイベント送信部18からイベント情報を受信すると、実行部21に出力する。実行部21は、記憶部22が記憶する、イベントと処理との対応を示す処理情報を参照し、受信したイベント情報に対応する処理を実行する。実行部21は、実行した処理画面を示す画像情報を、記憶部22から読み出して画像送信部23に送る。すると、画像送信部23は、入力表示制御装置1の画面受信部17に画像情報を送信する。
 入力表示制御装置1の画面受信部17が、サーバ2の画面送信部23から処理画面を示す画像情報を受信すると、表示制御部15は、画面受信部17が受信した画像情報に基づいて、処理画面を生成し、生成した処理画面を表示部11に表示する。
 上述したシンクライアントシステムは、実施の形態1の入力表示制御装置1だけでなく、実施の形態2~4の入力表示制御装置1を用いても、構成が可能である。
 実施の形態5のシンクライアントシステム100によれば、処理の実行をサーバ2で行うので、入力表示制御装置1の負荷が小さくなる。これにより、入力表示制御装置1のコストの低減や小型化が可能になる。
 シンクライアントシステム100では、サーバ2がディスプレイを備える場合、サーバ2のディスプレイ用の画面を、入力表示制御装置1のタッチパネルディスプレイDに表示させる。入力表示制御装置1のタッチパネルディスプレイDが、サーバ2のディスプレイよりも小さい場合、画面が縮小されて表示される。このような場合であっても、ユーザは、仮想キーボードK、K4を透過して、重畳されている画像を見ることが可能である。よって、仮想キーボードK、K4は、ユーザ操作の邪魔になりにくい。また、ユーザは、仮想キーボードK、K4の見辛さを解消することが可能である。
 図9を参照しながら、各実施の形態に係る入力表示制御装置1のハードウェア構成を説明する。
 制御部31は、CPU(Central Processing Unit)等から構成され、外部記憶部33に記憶されている制御プログラム39に従って、操作認識部13および表示制御部15の各処理を実行する。
 主記憶部32は、RAM(Random-Access Memory)等から構成され、外部記憶部33に記憶されている制御プログラム39をロードし、制御部31の作業領域として用いられる。
 外部記憶部33は、フラッシュメモリ、ハードディスク、DVD-RAM(Digital Versatile Disc Random-Access Memory)、DVD-RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成され、入力表示制御装置1の処理を制御部31に行わせるための制御プログラム39を予め記憶している。また、外部記憶部33は、制御部31の指示に従って、制御プログラム39の実行時に使用される各種データを制御部31に供給すると共に、制御部31から供給されたデータを記憶する。記憶部14は、外部記憶部33から構成される。
 操作部34は、タッチパッド等の位置入力装置およびボタン式スイッチ等の入力装置を、内部バス30に接続するインタフェース装置から構成されている。ユーザが操作部34で操作入力を行うと、操作入力に応じた指示が、操作部34から制御部31に供給される。操作部34は、入力部12およびハードウェアボタン部16として機能する。
 表示部35は、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)等から構成され、アプリケーション画面等を表示する。表示部35は、表示部11として機能する。
 タイマ36は、内部バス30を介して現在時刻を定期的に制御部31に供給する。制御部31は、タイマ36から供給された現在時刻に基づいて、連続タップ時間を認識する。
 なお、実施の形態5のシンクライアントシステム100での入力表示制御装置1は、更に、ネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインタフェースまたはLAN(Local Area Network)インタフェース等で構成される通信部を備える。通信部は、ネットワークを介して、サーバ2に接続する。通信部は、画面受信部17およびイベント送信部18として機能する。
 図3に示す表示部11、入力部12、操作認識部13、記憶部14、表示制御部15およびハードウェアボタン部16は、制御プログラム39が、制御部31、主記憶部32、外部記憶部33、操作部34、表示部35およびタイマ36を資源として用いて処理を行うことで実現される。
 その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
 制御部31、主記憶部32、外部記憶部33、内部バス30等から構成されるシステムで処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、各実施の形態で説明した動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD-ROM、DVD-ROM等)に格納して配布し、該コンピュータプログラムをコンピュータにインストールすることにより、各実施の形態で説明した動作を実現する入力表示制御装置1を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に該コンピュータプログラムを格納しておき、通常のコンピュータシステムが該コンピュータプログラムをダウンロード等することで入力表示制御装置1を構成してもよい。
 また、入力表示制御装置1の機能を、OS(Operating System)とアプリケーションプログラムとの分担、またはOSとアプリケーションプログラムとの協働により実現する場合等には、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
 また、コンピュータプログラムを搬送波に重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板(BBS:Bulletin Board System)にコンピュータプログラムを掲示し、ネットワークを介して、コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様にコンピュータプログラムを実行することにより、各実施の形態で説明した動作を実現する入力表示制御装置1を構成してもよい。
 以上、本発明の実施の形態を説明したが、この発明は上記の実施の形態に限定されず、種々の変形および応用が可能である。
 例えば、各実施の形態の入力表示制御装置1は、仮想キーボードK、K1~K4の記号W3を、半透明ではなく塗り潰して表示したが(不透明に表示したが)、これに限らない。即ち、各実施の形態の入力表示制御装置1は、記号W3を、半透明で表示してもよい。
 また、各実施の形態の入力表示制御装置1では、ユーザは、操作ボタンW2を指で直接タップして操作したが、これに限らない。即ち、ユーザが、操作ボタンW2をポインタで押圧して操作するよう、各実施の形態の入力表示制御装置1を構成してもよい。
 また、各実施の形態の入力表示制御装置1は、選択された表示色に、仮想キーボードK、K1~K4の記号W3の表示色を変更したが、これに限らない。即ち、各実施の形態の入力表示制御装置1は、記号W3に加え、キーボード枠W1、操作ボタンW2の表示色を、選択された表示色に変更してもよい。
 また、実施の形態1、2、5の入力表示制御装置1は、ハードウェアボタンB1が押下されたと判定すると、タッチパネルディスプレイDの画面に、表示色候補ウィンドウW4を表示し、ハードウェアボタンB1が再び押下され、表示色の選択が完了した旨が入力されると、選択された表示色に、仮想キーボードの記号W3の表示色を変更したが、これに限らない。即ち、実施の形態1、2、5の入力表示制御装置1は、ハードウェアボタンB1の押下の判定に代えて、仮想キーボードの任意の1つの操作ボタンW2(例えば、表示色の変更機能が割り当てられた操作ボタン)がタップされたと判定した場合に、タッチパネルディスプレイDの画面に、複数の表示色の候補を表示し、表示色の選択が完了した旨の入力が、任意の1つの操作ボタンW2のタップにより行われると、選択された表示色に、仮想キーボードの記号W3の表示色を変更してもよい。
 また、実施の形態2、4の入力表示制御装置1は、タップ開始時の接点座標が仮想キーボードK1~K3のいずれかの表示領域の範囲内で、タップ開始時の接点座標からの変位が閾値γを超える場合にドラッグされたと判定し、閾値γ以下の場合にタップされたと判定したが、これに限られない。即ち、タップされたと判定するための閾値とドラッグされたと判定するための閾値とは異なってもよい。
 また、実施の形態3、4の入力表示制御装置1は、表示色の割合が高い順に5つの表示色を特定し、特定した5つの表示色以外の1の表示色に、仮想キーボードK、K1~K4の記号W3の表示色を変更したが、これに限らない。即ち、実施の形態3、4の入力表示制御装置1は、例えば、表示色の割合が高い順に3つの表示色を特定し、特定した3つの表示色以外の1の表示色に、仮想キーボードK、K1~K4の記号W3の表示色を変更してもよく、例えば、表示色の割合が高い順に7つの表示色を特定し、特定した7つの表示色以外の1の表示色に、仮想キーボードK、K1~K4の記号W3の表示色を変更してもよい。
 また、実施の形態3、4の入力表示制御装置1は、例えば、表示色の割合が最も高い表示色の補色に、仮想キーボードK、K1~K4の記号W3の表示色を変更してもよい。
 また、実施の形態5では、入力表示制御装置1が接点座標および連続タップ時間に基づいて、操作ボタンW2のうちのどれが選択されたかを特定し、特定した操作ボタンW2が選択されたことを示すイベント情報を生成してイベントを発行するが、これに限らない。
 即ち、入力表示制御装置1が接点座標および連続タップ時間をサーバ2に送信し、サーバ2側で、接点座標および連続タップ時間に基づいて、操作ボタンW2のうちのどれが選択されたかを特定し、特定した操作ボタンW2が選択されたことを示すイベント情報を生成してイベントを発行してもよい。
 また、実施の形態5では、ハードウェアボタンB1の押下を検出すると、表示制御部15は、複数の表示色を示す表示色情報を記憶部14から読み出し、複数の表示色の候補を、表示部11の画面に表示したが、これに限らない。
 即ち、次の構成でもよい。ハードウェアボタンB1の押下を検出した場合、表示制御部15は、イベント送信部18を介して検出信号をサーバ2に送信する。そして、サーバ2の実行部21は、イベント受信部24を介して検出信号を受信すると、記憶部22に記憶されている表示色情報を読み出して、読み出した表示色情報を、画面送信部23を介して入力表示制御装置1に送信する。そして、表示制御部15は、送信された表示色情報を、画面受信部17を介して受信すると、受信した表示色情報から複数の表示色の候補を抽出し、抽出した表示色の候補を、表示部11の画面に表示してもよい。
 上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
 タッチパネルディスプレイと、
 ユーザが入力した記号を表示する記号表示領域を含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段と、
 前記記号表示領域に表示させる記号を前記タッチパネルディスプレイへのタップで入力させるための仮想キーボードに配列されている操作ボタン、および前記操作ボタンに割り当てられている記号を、前記画面表示手段が表示した画像に重畳して、前記操作ボタンを半透明で、前記タッチパネルディスプレイの画面に表示するキーボード表示手段と、
 前記キーボード表示手段が表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する表示色変更手段と、
 を備える入力表示制御装置。
(付記2)
 前記キーボード表示手段は、前記仮想キーボードに配列されている操作ボタンに割り当てられている記号を不透明に表示する、
 付記1に記載の入力表示制御装置。
(付記3)
 前記表示色変更手段は、
 前記予め設定されている複数の表示色からの1の表示色の選択を、ユーザから受け付ける選択受付手段と、
 前記選択受付手段が受け付けた1の表示色に、前記仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を変更する選択変更手段と、
 を備える付記1または2に記載の入力表示制御装置。
(付記4)
 前記表示色変更手段は、
 前記画面表示手段が前記タッチパネルディスプレイの画面に表示する画像を生成するための画像情報を取得する画像情報取得手段と、
 前記タッチパネルディスプレイの画面の全面に前記仮想キーボードが表示されている場合、前記画像情報取得手段が取得した画像情報から、現在表示されている画面で使用されている表示色の割合を、使用されている表示色毎に求める全面割合取得手段と、
 前記全面割合取得手段が求めた表示色の割合が高い順に所定数の表示色を特定し、特定した表示色以外の1の表示色を、前記予め設定されている複数の表示色から選択する全面表示色選択手段と、
 前記全面表示色選択手段が選択した1の表示色に、前記仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を変更する全面選択変更手段と、
 を備える付記1から3のいずれか1つに記載の入力表示制御装置。
(付記5)
 前記表示色変更手段は、
 前記タッチパネルディスプレイの画面の一部に前記仮想キーボードが表示されている場合、前記画像情報取得手段が取得した画像情報から、仮想キーボードが表示されている領域で使用されている表示色の割合を、使用されている表示色毎に求める領域割合取得手段と、
 前記領域割合取得手段が求めた表示色の割合が高い順に所定数の表示色を特定し、特定した表示色以外の1の表示色を、前記予め設定されている複数の表示色から選択する領域表示色選択手段と、
 前記領域表示色選択手段が選択した1の表示色に、前記仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を変更する領域選択変更手段と、
 を備える付記4に記載の入力表示制御装置。
(付記6)
 ネットワークを介して接続される、サーバと、タッチパネルディスプレイを備える入力表示制御装置と、で構成されるシンクライアントシステムであって、
 前記サーバは、
 前記タッチパネルディスプレイの画面に表示される画像を生成するための画像情報を前記入力表示制御装置に送信する画像送信手段を備え、
 前記入力表示制御装置は、
 前記サーバから前記画像情報を受信する画像受信手段と、
 前記画像受信手段が受信した画像情報に基づいて、ユーザが入力した記号を表示する記号表示領域を含む画像を、前記タッチパネルディスプレイの画面に表示する画面表示手段と、
 前記記号表示領域に表示させる記号を前記タッチパネルディスプレイへのタップで入力させるための仮想キーボードに配列されている操作ボタン、および前記操作ボタンに割り当てられている記号を、前記画面表示手段が表示した画像に重畳して、前記操作ボタンを半透明で、前記タッチパネルディスプレイの画面に表示するキーボード表示手段と、
 前記キーボード表示手段が表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する表示色変更手段と、
 を備えるシンクライアントシステム。
(付記7)
 タッチパネルディスプレイを備える入力表示制御装置が実行する入力表示制御方法であって、
 前記入力表示制御装置が、ユーザが入力した記号を表示する記号表示領域を含む画像を前記タッチパネルディスプレイの画面に表示する画面表示ステップと、
 前記入力表示制御装置が、前記記号表示領域に表示させる記号を前記タッチパネルディスプレイへのタップで入力させるための仮想キーボードに配列されている操作ボタン、および前記操作ボタンに割り当てられている記号を、前記画面表示ステップで表示した画像に重畳して、前記操作ボタンを半透明で、前記タッチパネルディスプレイの画面に表示するキーボード表示ステップと、
 前記入力表示制御装置が、前記キーボード表示ステップで表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する表示色変更ステップと、
 を備える入力表示制御方法。
(付記8)
 ネットワークを介して接続される、サーバと、タッチパネルディスプレイを備える入力表示制御装置と、で構成されるシンクライアントシステムが実行する入力表示制御方法であって、
 前記サーバが実行する、
 前記タッチパネルディスプレイの画面に表示される画像を生成するための画像情報を前記入力表示制御装置に送信する画像送信ステップと、
 前記入力表示制御装置が実行する、
 前記サーバから前記画像情報を受信する画像受信ステップと、
 前記画像受信ステップで受信した画像情報に基づいて、ユーザが入力した記号を表示する記号表示領域を含む画像を、前記タッチパネルディスプレイの画面に表示する画面表示ステップと、
 前記記号表示領域に表示させる記号を前記タッチパネルディスプレイへのタップで入力させるための仮想キーボードに配列されている操作ボタン、および前記操作ボタンに割り当てられている記号を、前記画面表示ステップで表示した画像に重畳して、前記操作ボタンを半透明で、前記タッチパネルディスプレイの画面に表示するキーボード表示ステップと、
 前記キーボード表示ステップで表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する表示色変更ステップと、
 を備える入力表示制御方法。
(付記9)
 タッチパネルディスプレイを備える入力表示制御装置を制御するコンピュータを、
 ユーザが入力した記号を表示する記号表示領域を含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段、
 前記記号表示領域に表示させる記号を前記タッチパネルディスプレイへのタップで入力させるための仮想キーボードに配列されている操作ボタン、および前記操作ボタンに割り当てられている記号を、前記画面表示手段で表示した画像に重畳して、前記操作ボタンを半透明で、前記タッチパネルディスプレイの画面に表示するキーボード表示手段、
 前記キーボード表示手段で表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する表示色変更手段、
 として機能させるプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
 本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態および変形が可能とされるものである。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内およびそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
 本発明は、2012年9月14日に出願された日本国特許出願2012-203202号に基づく。本明細書中に日本国特許出願2012-203202号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
         1 入力表示制御装置
         2 サーバ
        11 表示部
        12 入力部
        13 操作認識部
        14 記憶部
        15 表示制御部
        16 ハードウェアボタン部
        17 画面受信部
        18 イベント送信部
        21 実行部
        22 記憶部
        23 画面送信部
        24 イベント受信部
        30 内部バス
        31 制御部
        32 主記憶部
        33 外部記憶部
        34 操作部
        35 表示部
        36 タイマ
        39 制御プログラム
       100 シンクライアントシステム
         A 記号表示領域
        B1 ハードウェアボタン
         D タッチパネルディスプレイ
   K、K1~K4 仮想キーボード
        W1 キーボード枠
        W2 操作ボタン
        W3 記号
        W4 表示色候補ウィンドウ

Claims (9)

  1.  タッチパネルディスプレイと、
     ユーザが入力した記号を表示する記号表示領域を含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段と、
     前記記号表示領域に表示させる記号を前記タッチパネルディスプレイへのタップで入力させるための仮想キーボードに配列されている操作ボタン、および前記操作ボタンに割り当てられている記号を、前記画面表示手段が表示した画像に重畳して、前記操作ボタンを半透明で、前記タッチパネルディスプレイの画面に表示するキーボード表示手段と、
     前記キーボード表示手段が表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する表示色変更手段と、
     を備える入力表示制御装置。
  2.  前記キーボード表示手段は、前記仮想キーボードに配列されている操作ボタンに割り当てられている記号を不透明に表示する、
     請求項1に記載の入力表示制御装置。
  3.  前記表示色変更手段は、
     前記予め設定されている複数の表示色からの1の表示色の選択を、ユーザから受け付ける選択受付手段と、
     前記選択受付手段が受け付けた1の表示色に、前記仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を変更する選択変更手段と、
     を備える請求項1または2に記載の入力表示制御装置。
  4.  前記表示色変更手段は、
     前記画面表示手段が前記タッチパネルディスプレイの画面に表示する画像を生成するための画像情報を取得する画像情報取得手段と、
     前記タッチパネルディスプレイの画面の全面に前記仮想キーボードが表示されている場合、前記画像情報取得手段が取得した画像情報から、現在表示されている画面で使用されている表示色の割合を、使用されている表示色毎に求める全面割合取得手段と、
     前記全面割合取得手段が求めた表示色の割合が高い順に所定数の表示色を特定し、特定した表示色以外の1の表示色を、前記予め設定されている複数の表示色から選択する全面表示色選択手段と、
     前記全面表示色選択手段が選択した1の表示色に、前記仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を変更する全面選択変更手段と、
     を備える請求項1から3のいずれか1項に記載の入力表示制御装置。
  5.  前記表示色変更手段は、
     前記タッチパネルディスプレイの画面の一部に前記仮想キーボードが表示されている場合、前記画像情報取得手段が取得した画像情報から、仮想キーボードが表示されている領域で使用されている表示色の割合を、使用されている表示色毎に求める領域割合取得手段と、
     前記領域割合取得手段が求めた表示色の割合が高い順に所定数の表示色を特定し、特定した表示色以外の1の表示色を、前記予め設定されている複数の表示色から選択する領域表示色選択手段と、
     前記領域表示色選択手段が選択した1の表示色に、前記仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を変更する領域選択変更手段と、
     を備える請求項4に記載の入力表示制御装置。
  6.  ネットワークを介して接続される、サーバと、タッチパネルディスプレイを備える入力表示制御装置と、で構成されるシンクライアントシステムであって、
     前記サーバは、
     前記タッチパネルディスプレイの画面に表示される画像を生成するための画像情報を前記入力表示制御装置に送信する画像送信手段を備え、
     前記入力表示制御装置は、
     前記サーバから前記画像情報を受信する画像受信手段と、
     前記画像受信手段が受信した画像情報に基づいて、ユーザが入力した記号を表示する記号表示領域を含む画像を、前記タッチパネルディスプレイの画面に表示する画面表示手段と、
     前記記号表示領域に表示させる記号を前記タッチパネルディスプレイへのタップで入力させるための仮想キーボードに配列されている操作ボタン、および前記操作ボタンに割り当てられている記号を、前記画面表示手段が表示した画像に重畳して、前記操作ボタンを半透明で、前記タッチパネルディスプレイの画面に表示するキーボード表示手段と、
     前記キーボード表示手段が表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する表示色変更手段と、
     を備えるシンクライアントシステム。
  7.  タッチパネルディスプレイを備える入力表示制御装置が実行する入力表示制御方法であって、
     前記入力表示制御装置が、ユーザが入力した記号を表示する記号表示領域を含む画像を前記タッチパネルディスプレイの画面に表示する画面表示ステップと、
     前記入力表示制御装置が、前記記号表示領域に表示させる記号を前記タッチパネルディスプレイへのタップで入力させるための仮想キーボードに配列されている操作ボタン、および前記操作ボタンに割り当てられている記号を、前記画面表示ステップで表示した画像に重畳して、前記操作ボタンを半透明で、前記タッチパネルディスプレイの画面に表示するキーボード表示ステップと、
     前記入力表示制御装置が、前記キーボード表示ステップで表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する表示色変更ステップと、
     を備える入力表示制御方法。
  8.  ネットワークを介して接続される、サーバと、タッチパネルディスプレイを備える入力表示制御装置と、で構成されるシンクライアントシステムが実行する入力表示制御方法であって、
     前記サーバが実行する、
     前記タッチパネルディスプレイの画面に表示される画像を生成するための画像情報を前記入力表示制御装置に送信する画像送信ステップと、
     前記入力表示制御装置が実行する、
     前記サーバから前記画像情報を受信する画像受信ステップと、
     前記画像受信ステップで受信した画像情報に基づいて、ユーザが入力した記号を表示する記号表示領域を含む画像を、前記タッチパネルディスプレイの画面に表示する画面表示ステップと、
     前記記号表示領域に表示させる記号を前記タッチパネルディスプレイへのタップで入力させるための仮想キーボードに配列されている操作ボタン、および前記操作ボタンに割り当てられている記号を、前記画面表示ステップで表示した画像に重畳して、前記操作ボタンを半透明で、前記タッチパネルディスプレイの画面に表示するキーボード表示ステップと、
     前記キーボード表示ステップで表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する表示色変更ステップと、
     を備える入力表示制御方法。
  9.  タッチパネルディスプレイを備える入力表示制御装置を制御するコンピュータを、
     ユーザが入力した記号を表示する記号表示領域を含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段、
     前記記号表示領域に表示させる記号を前記タッチパネルディスプレイへのタップで入力させるための仮想キーボードに配列されている操作ボタン、および前記操作ボタンに割り当てられている記号を、前記画面表示手段で表示した画像に重畳して、前記操作ボタンを半透明で、前記タッチパネルディスプレイの画面に表示するキーボード表示手段、
     前記キーボード表示手段で表示した仮想キーボードに配列されている操作ボタンに割り当てられている記号の表示色を、予め設定されている複数の表示色から選択された表示色に変更する表示色変更手段、
     として機能させるプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
PCT/JP2013/074861 2012-09-14 2013-09-13 入力表示制御装置、シンクライアントシステム、入力表示制御方法および記録媒体 WO2014042247A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP13837920.1A EP2897029A4 (en) 2012-09-14 2013-09-13 INPUT DISPLAY CONTROL DEVICE, LIGHT CUSTOMER SYSTEM, INPUT DISPLAY CONTROL METHOD, AND RECORDING MEDIUM
CN201380047808.9A CN104620199B (zh) 2012-09-14 2013-09-13 输入显示控制设备、瘦客户端系统、输入显示控制方法和输入显示控制装置
CA2882396A CA2882396A1 (en) 2012-09-14 2013-09-13 Input display control device, thin client system, input display control method, and recording medium
KR1020157005809A KR101709242B1 (ko) 2012-09-14 2013-09-13 입력 표시 제어 장치, 씬 클라이언트 시스템, 입력 표시 제어 방법 및 기록매체
US14/427,842 US9874940B2 (en) 2012-09-14 2013-09-13 Input display control device, thin client system, input display control method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012203202A JP5522755B2 (ja) 2012-09-14 2012-09-14 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
JP2012-203202 2012-09-14

Publications (1)

Publication Number Publication Date
WO2014042247A1 true WO2014042247A1 (ja) 2014-03-20

Family

ID=50278352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/074861 WO2014042247A1 (ja) 2012-09-14 2013-09-13 入力表示制御装置、シンクライアントシステム、入力表示制御方法および記録媒体

Country Status (7)

Country Link
US (1) US9874940B2 (ja)
EP (1) EP2897029A4 (ja)
JP (1) JP5522755B2 (ja)
KR (1) KR101709242B1 (ja)
CN (1) CN104620199B (ja)
CA (1) CA2882396A1 (ja)
WO (1) WO2014042247A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160246466A1 (en) * 2015-02-23 2016-08-25 Nuance Communications, Inc. Transparent full-screen text entry interface

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6488903B2 (ja) * 2015-06-16 2019-03-27 富士通株式会社 画面転送制御システム、画面転送制御プログラム及び画面転送制御方法
JP2017157027A (ja) * 2016-03-02 2017-09-07 京セラドキュメントソリューションズ株式会社 表示装置
JP6786272B2 (ja) * 2016-06-24 2020-11-18 キヤノン株式会社 画像処理装置、及びその制御方法ならびにコンピュータプログラム
KR102607564B1 (ko) 2016-09-13 2023-11-30 삼성전자주식회사 소프트 키를 표시하는 방법 및 그 전자 장치
JP2019000589A (ja) * 2017-06-20 2019-01-10 キヤノンメディカルシステムズ株式会社 X線診断装置
US10956033B2 (en) * 2017-07-13 2021-03-23 Hand Held Products, Inc. System and method for generating a virtual keyboard with a highlighted area of interest
KR102521933B1 (ko) 2018-10-04 2023-04-14 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN111338525A (zh) * 2020-02-21 2020-06-26 维沃移动通信有限公司 一种电子设备的控制方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343662A (ja) * 2003-05-19 2004-12-02 Sony Corp 撮像装置
JP2007183787A (ja) * 2006-01-06 2007-07-19 Hitachi High-Technologies Corp ソフトウェアキーボード表示装置
JP2010117205A (ja) * 2008-11-12 2010-05-27 Japan Radio Co Ltd スキャニングソナーの表示装置、水深表示方法、及び水深表示プログラム
JP2011254358A (ja) 2010-06-03 2011-12-15 Pfu Ltd 画像読取装置、画像処理方法、および、プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581243A (en) * 1990-06-04 1996-12-03 Microslate Inc. Method and apparatus for displaying simulated keyboards on touch-sensitive displays
US5638501A (en) 1993-05-10 1997-06-10 Apple Computer, Inc. Method and apparatus for displaying an overlay image
JPH076013A (ja) * 1993-06-21 1995-01-10 Toshiba Corp プラント監視装置
JPH08211860A (ja) * 1995-02-08 1996-08-20 Hitachi Ltd 表示色変更装置
CA2264167A1 (en) 1996-08-28 1998-03-05 Via, Inc. Touch screen systems and methods
US6130665A (en) * 1998-04-01 2000-10-10 Telefonaktiebolaget Lm Ericsson Touch screen handling
US6501464B1 (en) 2000-10-31 2002-12-31 Intel Corporation On-screen transparent keyboard interface
JP2003067098A (ja) * 2001-08-30 2003-03-07 Sony Corp 仮想キーボード及び仮想キーボードの操作方法
US20060167935A1 (en) * 2002-10-15 2006-07-27 Yoshitaka Atarashi Input support method and apparatus in communication-type navigation system
JP4475634B2 (ja) * 2004-03-26 2010-06-09 キヤノン株式会社 情報処理装置および方法
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
US8019390B2 (en) * 2009-06-17 2011-09-13 Pradeep Sindhu Statically oriented on-screen transluscent keyboard
WO2011025200A2 (ko) * 2009-08-23 2011-03-03 (주)티피다시아이 확장키를 이용한 정보입력시스템 및 정보입력방법
JP2011192179A (ja) * 2010-03-16 2011-09-29 Kyocera Corp 文字入力装置、文字入力方法及び文字入力プログラム
US20110264442A1 (en) * 2010-04-22 2011-10-27 Microsoft Corporation Visually emphasizing predicted keys of virtual keyboard
WO2012037200A2 (en) * 2010-09-15 2012-03-22 Spetalnick Jeffrey R Methods of and systems for reducing keyboard data entry errors
KR101044320B1 (ko) * 2010-10-14 2011-06-29 주식회사 네오패드 가상 키입력수단의 배경화면 컨텐츠 제공 방법 및 시스템
KR101761409B1 (ko) * 2010-10-27 2017-07-25 주식회사 엘지유플러스 가상화 플랫폼 제공 방법 및 장치
US20130002562A1 (en) * 2011-06-30 2013-01-03 Nokia Corporation Virtual keyboard layouts
KR101169374B1 (ko) 2012-04-04 2012-07-30 서주홍 스마트 기기용 키패드 표시 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343662A (ja) * 2003-05-19 2004-12-02 Sony Corp 撮像装置
JP2007183787A (ja) * 2006-01-06 2007-07-19 Hitachi High-Technologies Corp ソフトウェアキーボード表示装置
JP2010117205A (ja) * 2008-11-12 2010-05-27 Japan Radio Co Ltd スキャニングソナーの表示装置、水深表示方法、及び水深表示プログラム
JP2011254358A (ja) 2010-06-03 2011-12-15 Pfu Ltd 画像読取装置、画像処理方法、および、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2897029A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160246466A1 (en) * 2015-02-23 2016-08-25 Nuance Communications, Inc. Transparent full-screen text entry interface

Also Published As

Publication number Publication date
EP2897029A4 (en) 2016-04-20
CN104620199B (zh) 2018-02-27
CN104620199A (zh) 2015-05-13
KR101709242B1 (ko) 2017-02-23
US9874940B2 (en) 2018-01-23
CA2882396A1 (en) 2014-03-20
US20150347006A1 (en) 2015-12-03
KR20150043365A (ko) 2015-04-22
EP2897029A1 (en) 2015-07-22
JP2014059637A (ja) 2014-04-03
JP5522755B2 (ja) 2014-06-18

Similar Documents

Publication Publication Date Title
JP5522755B2 (ja) 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
US6496182B1 (en) Method and system for providing touch-sensitive screens for the visually impaired
JP3630153B2 (ja) 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
KR101493603B1 (ko) 외부 표시 장치와 접속가능한 표시 단말 장치 및 방법
US20140351758A1 (en) Object selecting device
US20130067419A1 (en) Gesture-Enabled Settings
US20130047100A1 (en) Link Disambiguation For Touch Screens
US20090073136A1 (en) Inputting commands using relative coordinate-based touch input
US20110138275A1 (en) Method for selecting functional icons on touch screen
US8166417B2 (en) Display control apparatus and control method thereof
JP5388246B1 (ja) 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
EP2180400A2 (en) Image processing apparatus, image processing method, and program
CN103597438A (zh) 信息处理终端及方法、程序和记录介质
WO2014034369A1 (ja) 表示制御装置、シンクライアントシステム、表示制御方法および記録媒体
US20150062015A1 (en) Information processor, control method and program
CN113485603A (zh) 消息显示方法、装置和电子设备
CN104281318A (zh) 减少软键盘按压的显示延迟的方法和装置
JP6253861B1 (ja) タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置
CN115421632A (zh) 消息显示方法、装置、电子设备以及存储介质
US20170228128A1 (en) Device comprising touchscreen and camera
KR20120020730A (ko) 휴대용 단말기에서 문자 입력 방법 및 장치
JP4684746B2 (ja) 電子黒板システム
JP6213597B2 (ja) 表示制御装置、表示制御方法及びプログラム
JPH11259236A (ja) 入力装置
CN111752430A (zh) 应用界面移动方法及相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13837920

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013837920

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2882396

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 20157005809

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14427842

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE