WO2015029222A1 - 情報処理装置，表示制御プログラム及び表示制御方法 - Google Patents

情報処理装置，表示制御プログラム及び表示制御方法 Download PDF

Info

Publication number
WO2015029222A1
WO2015029222A1 PCT/JP2013/073345 JP2013073345W WO2015029222A1 WO 2015029222 A1 WO2015029222 A1 WO 2015029222A1 JP 2013073345 W JP2013073345 W JP 2013073345W WO 2015029222 A1 WO2015029222 A1 WO 2015029222A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
input means
information
display form
display control
Prior art date
Application number
PCT/JP2013/073345
Other languages
English (en)
French (fr)
Inventor
宏亮 白石
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2013/073345 priority Critical patent/WO2015029222A1/ja
Priority to JP2015533897A priority patent/JPWO2015029222A1/ja
Publication of WO2015029222A1 publication Critical patent/WO2015029222A1/ja
Priority to US15/055,175 priority patent/US20160179352A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Definitions

  • the present invention relates to an information processing apparatus, a display control program, and a display control method.
  • an input operation can be performed by touching the screen with a finger.
  • an input operation motion input operation
  • an input operation is performed by moving an object in a three-dimensional space without using an input device such as a mouse and touching the screen. Is possible.
  • GUI Graphical User Interface
  • object such as a button
  • touch input operation since an object on the touch panel is directly operated with a finger, a large operation such as a gesture with a plurality of fingers can be quickly performed, but a small object is difficult to operate.
  • motion input operation an object is operated by hand movement or finger gesture, so that a large operation can be performed quickly as in the case of touch input operation, but ON / OFF like click in mouse input operation or tap in touch input operation. Cannot switch off.
  • the user may use the input means depending on his / her preference and situation. For example, in the same GUI application, a certain user uses only a mouse input operation, but another user may use a mouse input operation and a touch input operation together. Also, there are cases where the input means is used properly depending on the situation, such as using a touch input operation at the place of going out but using a mouse input operation at home. Furthermore, there is a possibility that a plurality of input operations such as touching the screen while operating the mouse are performed simultaneously.
  • an object of the present invention is to provide an efficient input operation regardless of changes in input means.
  • the present invention is not limited to the above-described object, and is an operational effect derived from each configuration shown in the best mode for carrying out the invention described later, and has an operational effect that cannot be obtained by conventional techniques. It can be positioned as one of the purposes.
  • the information processing apparatus includes a plurality of input units, a first storage unit that stores object display form information in which a plurality of types of display form information are associated with a GUI object, and an input According to the detection unit that detects change of the means and the detected input means after the change, the display form information about the GUI object is selected, and the GUI object is displayed using the selected display form information.
  • a display control unit According to the detection unit that detects change of the means and the detected input means after the change, the display form information about the GUI object is selected, and the GUI object is displayed using the selected display form information.
  • the display control program detects a change in the input unit in a computer provided in the information processing apparatus having a plurality of input units, and stores the change in the first storage unit according to the detected input unit after the change.
  • the display mode information for the GUI object is selected from the object display mode information in which a plurality of types of display mode information are associated with the GUI object, and the GUI object is displayed using the selected display mode information. To execute the process.
  • this display control method detects a change in the input means in an information processing apparatus having a plurality of input means, and stores the GUI stored in the first storage unit according to the detected input means after the change.
  • the display form information about the GUI object is selected from the object display form information associated with a plurality of types of display form information, and the GUI object is displayed using the selected display form information.
  • FIG. 1 is a diagram schematically illustrating a functional configuration of an information processing system as an example of an embodiment.
  • An information processing system 1 as an example of the present embodiment includes an information processing device 10, a mouse (pointing device) 20, a motion sensor 30, a display (touch panel) 40, a storage device 50, and a medium reading device 60 as shown in FIG. Prepare.
  • the information processing apparatus 10, the mouse 20, the motion sensor 30, the display 40, the storage device 50, and the medium reading device 60 are connected so as to be communicable with each other as illustrated.
  • the mouse 20 is an example of an input unit.
  • the mouse 20 functions as a pointing device input unit, and is used to operate a pointer displayed on the display 40 (see symbol P of A1 in FIG. 6).
  • the mouse 20 is merely an example of a pointing device, and may be a touch pad or a trackball in a notebook computer.
  • the motion sensor 30 is an example of an input unit.
  • the motion sensor 30 functions as a motion input unit, measures a user's movement, and detects it as an input operation.
  • the motion sensor 30 is, for example, an optical sensor, an infrared sensor, or a camera, and is a sensor that can detect position information of an object in a three-dimensional space.
  • the motion sensor 30 has a resolution equal to or higher than that of the display 40. Further, as the motion sensor 30, a sensor capable of acquiring coordinates in a three-dimensional space in front of the screen resolution of the display 40 is used. In addition, as the motion sensor 30, you may use what attached the acceleration sensor and the transmitter to the user's hand.
  • the touch panel 40 is an example of an input unit, and functions as a touch input unit in the example of the present embodiment.
  • the touch panel 40 is an apparatus in which an input device and a display device are integrated. Information such as a position on the touch panel 40 touched by a user or an instruction is passed to the information processing apparatus 10, and various information for the user or the like. Is displayed.
  • As a sensing method of the touch panel 40 various methods such as a capacitance method and a pressure sensitive method can be applied.
  • the user can arbitrarily switch the mouse 20, the motion sensor 30, and the touch panel 40 as a plurality of input means according to the user's own preference and situation. Then, the detection unit 111 of the CPU 11 included in the information processing apparatus 10 detects switching of the input unit as described later with reference to FIGS.
  • the medium reading device 60 is configured so that a recording medium RM can be loaded.
  • the medium reading device 60 is configured to be able to read information recorded on the recording medium RM when the recording medium RM is mounted.
  • the recording medium RM has portability.
  • the recording medium RM is a computer-readable recording medium such as a flexible disk, CD (CD-ROM, CD-R, CD-RW, etc.), DVD (DVD-ROM, DVD-RAM, DVD-R, etc.). DVD + R, DVD-RW, DVD + RW, HD DVD, etc.), Blu-ray disc, magnetic disc, optical disc, magneto-optical disc, or semiconductor memory.
  • the storage device 50 is a known device that stores data in a readable and writable manner, and is, for example, a hard disk drive (HDD) or a solid state drive (SSD).
  • the storage device 50 in an example of the present embodiment functions as a first storage unit 51 and a second storage unit 52 as illustrated.
  • the first storage unit 51 stores object display form information 510.
  • FIG. 2 is a diagram illustrating display form information included in the object display form information in the information processing apparatus as an example of the embodiment.
  • the object display form information 510 is associated with a plurality of types of display form information 511 that defines the display form of the object.
  • the GUI application that operates on the information processing apparatus 10 includes a plurality of GUI objects (hereinafter simply referred to as objects).
  • each object is switched to a display form in any one of three display modes, for example, a mouse mode, a touch mode, and a motion mode, in accordance with a user operation state.
  • the mouse mode is a mode when the object is operated with the mouse 20
  • the touch mode is a mode when the object is operated with the touch panel 40.
  • the motion mode is a mode when the user's finger is operating on the front surface of the touch panel 40 in an attempt to touch the object.
  • the display form of each object in each display mode is defined as display form information 511.
  • display form information 511 is defined in advance so as to be suitable for each display mode, such as changing the type, shape, and position of an object.
  • the display form information 511 is defined so that the size of the object becomes a normal size when the mouse is operated (mouse mode).
  • the display form information is displayed so that the object is enlarged when the distance between the touch panel 40 and the finger is shortened according to the distance between the touch panel 40 and the user's finger.
  • 511 is defined.
  • the display form information 511 is defined so that the object continues to be enlarged when the touch panel 40 is touched (touch mode).
  • the attribute 1 indicating the display position of the object on the display 40 (coordinate value on the display 40) is set.
  • (Position X, Position Y) (30, 20) (unit is pixel, for example).
  • the attributes 1 to 3 are defined as display modes for the mouse mode of “button 1”.
  • attributes 1 to 3 are defined as object display forms in the case where the display mode is “touch mode” and “motion mode”. Further, even when “button 2” is in each display mode, attributes 1 to 3 are defined as object display modes.
  • the definition of the object display form information 510 shown in FIG. 2 may be performed in advance when the information processing apparatus 10 or the display control program is shipped from the factory, or may be arbitrarily set by the user. In the example shown in FIG. 2, the number of attributes included in each display form information 511 is three. However, the number of attributes is not limited to this, and the number of attributes may be two or less or four or more.
  • FIG. 3 is a diagram illustrating transition pattern display form information included in the object display form information in the information processing apparatus as an example of the embodiment.
  • the object display form information 510 includes a plurality of types of transition pattern display form information 512. That is, the object display form information 510 includes the display form information 511 shown in FIG. 2 and the transition pattern display form information 512 shown in FIG.
  • the transition pattern display form information 512 detects a specific transition pattern in the display mode of the target object, the transition pattern display form information 512 has priority over the application of the display form information 511 shown in FIG. This is information that associates display forms applied to objects.
  • the transition pattern is “touch ⁇ motion”, all buttons are highlighted (highlighted) as the additional operation 1, and changes in height and width are suppressed as the additional operation 2.
  • the display size of the object is enlarged or reduced depending on the distance between the display 40 and the user's finger. As you go, the objects shrink.
  • the detection unit 111 described later detects that the mode has been switched to the “motion mode” immediately after touching (selecting) the “button 1” in the “touch mode”, the display size of the button is not reduced. This improves the convenience for the user. Therefore, by defining the transition pattern display form information 512 as illustrated in FIG. 3, the detection unit 111, which will be described later, switches to “motion mode” immediately after “button 1” is touched in “touch mode”. Is detected, the “button 1” is highlighted, and the “button 1” is prevented from being reduced.
  • transition pattern display form information 512 if the same transition pattern is defined, such as “mouse ⁇ motion” and “mouse ⁇ motion ⁇ touch”, the respective transition pattern display form information
  • the additional operations defined in 512 may be performed together. Also, priority may be given to any of the transition patterns, and an additional operation in a transition pattern with a high priority may be performed.
  • the number of additional operations included in each transition pattern display form information 512 is two. However, the number of additional operations is not limited to this, and the number of additional operations may be one or three or more.
  • the second storage unit 52 stores input history information 520.
  • FIG. 4 is a diagram illustrating input history information in the information processing apparatus as an example of the embodiment. As shown in FIG. 4, the input history information 520 is information in which input means, occurrence date and time, and input coordinates are associated with each other.
  • the input history information 520 holds (X, Y) two-axis input coordinates in the mouse mode and touch mode, and holds (X, Y, Z) three-axis input coordinates in the motion mode. .
  • the input history information 520 also indicates information related to input mode transition.
  • the input transition is “mouse ⁇ motion ⁇ touch ⁇ motion”.
  • the update timing of the input history information 520 may be every predetermined time or may be every predetermined movement amount in the input coordinates.
  • the information processing apparatus 10 is, for example, a personal computer (PC), a multi-function mobile phone (smart phone), a tablet terminal, or a personal digital assistant (PDA).
  • a central processing unit (CPU; computer) 11 and a memory 12 is provided.
  • the memory 12 is a storage device including a Read Only Memory (ROM) and a Random Access Memory (RAM).
  • ROM Read Only Memory
  • RAM Random Access Memory
  • BIOS Basic Input / Output System
  • the software program on the memory 12 is appropriately read and executed by the CPU 11.
  • the RAM of the memory 12 is used as a primary recording memory or a working memory.
  • the CPU 11 is a processing device that performs various controls and operations, and implements various functions by executing an OS and programs stored in the memory 12. That is, the CPU 11 functions as a detection unit 111 and a display control unit 112 as shown in FIG.
  • a program display control program
  • the computer reads the program from the recording medium RM via the medium reading device 60, transfers it to the internal storage device or the external storage device, and uses it.
  • the program may be recorded in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided to the computer from the storage device via a communication path.
  • the program stored in the internal storage device (memory 12 in this embodiment) is executed by the microprocessor of the computer (CPU 11 in this embodiment). .
  • the computer may read and execute the program recorded on the recording medium.
  • the detection unit 111 detects a change in input means. That is, the detection unit 111 determines which input means is used by the user among the mouse 20, the motion sensor 30, or the touch panel 40, and detects a change in the input means.
  • the detection unit 111 detects that a pointing device input unit is used as an input unit when an input such as a pointer movement or a click by the mouse 20 occurs. Moreover, the detection part 111 detects that the touch input means is used as an input means, when there exists touch inputs, such as a tap to the touch panel 40. FIG. Further, when the motion sensor 30 detects an object, the detection unit 111 detects that the motion input unit is used as the input unit.
  • the detection unit 111 always detects one of the display modes for each object. However, the detection unit 111 may detect that a certain object on the GUI application is in the mouse mode, and may detect that another object is in the touch mode. That is, each object is independently in any mode. In addition, the detection unit 111 causes the second storage unit 52 to store information regarding the detected input unit as input history information 520. And the detection part 111 detects the transition pattern of an input means based on the input history information 520. FIG. The update timing of the input history information 520 by the detection unit 111 may be every predetermined time or may be every predetermined movement amount in the input coordinates. When the input history information 520 is updated every predetermined time, the detection unit 111 acquires coordinate values even when the mouse 20, the motion sensor 30, and the touch panel 40 are not operated.
  • the display control unit 112 displays the object on the display 40. Specifically, the display control unit 112 selects the display form information 511 for the object in accordance with the changed input means detected by the detection unit 111, and displays the object using the selected display form information 511. Let That is, the display control unit 112 selects the display form information 511 for the object based on the input history information 520 stored in the second storage unit 52.
  • FIG. 5 is a diagram illustrating the transition of the input mode state of the GUI object in the information processing apparatus as an example of the embodiment.
  • the three input modes described above can be transitioned to each other as shown in FIG.
  • the detection unit 111 detects a motion input in the mouse mode B1
  • the display control unit 112 changes the target object to the motion mode B2 (see reference numeral B11).
  • the detection unit 111 detects a touch input in the mouse mode B1
  • the display control unit 112 changes the target object to the touch mode B3 (see reference B12).
  • the display control unit 112 changes the target object to the mouse mode B1 (see symbol B21).
  • the display control unit 112 changes the target object to the touch mode B3 (see reference symbol B22).
  • the display control unit 112 changes the target object to the mouse mode B1 (see reference numeral B31).
  • FIG. 6 is a diagram illustrating a display example of a GUI object in the information processing apparatus as an example of the embodiment.
  • the detection unit 111 uses any one of mouse, touch, or motion input means for the object to be operated. Detect whether it is in use. Then, the display control unit 112 switches the operation target object to a display mode corresponding to each input unit. That is, the mouse mode is set when the object is operated with the mouse 20, the touch mode is set when the object is operated with the touch panel 40, and the finger is approaching the touch panel 40 to touch the object. It becomes the motion mode.
  • the display control unit 112 causes the touch panel 40 to display a window 400 including “OK button” and “Cancel button” as objects.
  • a “OK button” and “Cancel button” as objects and a pointer P are displayed on the window 400 (see reference numeral A1).
  • the user operates the pointer P using the mouse 20. That is, the detection unit 111 detects that the pointing device input unit is used as the input unit, and stores the input unit, the generation date and time, and the input coordinates in the second storage unit 52 as input history information 520. Let Then, the display control unit 112 displays the “OK button” that is the target object in the mouse mode based on the object display form information 510. Note that, in the example indicated by the symbol A1 in FIG. 6, the display control unit 112 also displays the “Cancel button” in the mouse mode.
  • the motion sensor 30 measures the distance between the user's finger F and the touch panel 40, and the finger F is “OK button”. ”Is detected.
  • the detection unit 111 detects that the motion input unit is used as the input unit, and stores the input unit, the generation date and time, and the input coordinates in the second storage unit 52 as input history information 520.
  • the detection unit 111 also detects that the input unit has been changed from the pointing device input unit to the motion input unit.
  • the display control unit 112 displays the “OK button” that is the target object in the motion mode based on the object display form information 510. In the example of the display form information 511 shown in FIG.
  • the size of the object in the motion mode is enlarged or reduced depending on the distance between the display 40 and the finger F. Therefore, in the example shown in FIG. Is enlarged.
  • a method for determining the target object by the detection unit 111 will be described later with reference to FIGS. 9 and 10.
  • the motion sensor 30 measures the distance between the user's finger F and the touch panel 40, and the finger F is closer to the “OK button”. Detect that.
  • the detection unit 111 detects that the motion input unit is used as the input unit, and stores the input unit, the generation date and time, and the input coordinates in the second storage unit 52 as input history information 520. Further, the display control unit 112 continues to display the “OK button” that is the target object in the motion mode based on the object display form information 510. Here, since the finger F is closer to the “OK button”, the display control unit 112 further enlarges and displays the “OK button”.
  • the touch panel 40 detects a touch input to the “OK button”.
  • the detection unit 111 detects that the touch input unit is used as the input unit, and stores the input unit, the generation date and time, and the input coordinates in the second storage unit 52 as input history information 520 in association with each other.
  • the detection unit 111 also detects that the input unit is changed from the motion input unit to the touch input unit.
  • the display control unit 112 displays the “OK button” as the target object in the touch mode based on the object display form information 510. In the example illustrated in FIG. 6, the display control unit 112 highlights the “OK button” (see the shaded portion).
  • the motion sensor 30 measures the distance between the user's finger F and the touch panel 40, and indicates that the finger F is separated from the “OK button”. To detect.
  • the detection unit 111 detects that the motion input unit is used as the input unit, and stores the input unit, the generation date and time, and the input coordinates in the second storage unit 52 as input history information 520.
  • the detection unit 111 also detects that the input unit is changed from the touch input unit to the motion input unit.
  • the display control unit 112 displays the “OK button” that is the target object in the motion mode based on the object display form information 510. However, in the example of the transition pattern display form information 512 shown in FIG.
  • the display control unit 112 highlights the “OK button” (see the hatched portion) and maintains the size of the “OK button”. That is, even if the finger F is released from the “OK button”, the display control unit 112 does not reduce the display size of the “OK button”.
  • the motion sensor 30 measures the distance between the user's finger F and the touch panel 40, and the finger F is further away from the “OK button”. Detect that.
  • the detection unit 111 detects that the motion input unit is used as the input unit, and stores the input unit, the generation date and time, and the input coordinates in the second storage unit 52 as input history information 520.
  • the display control unit 112 continues to display the object object while maintaining the height and width of the “OK button” that is the target object according to the addition operations 1 and 2 of the transition pattern display form information 512 based on the object display form information 510. . Further, the display control unit 112 continues to highlight the “OK button” (see the shaded area) and keeps the size of the “OK button”.
  • the motion sensor 30 measures the distance between the user's finger F and the touch panel 40, and the finger F is further away from the “OK button”. Detect that.
  • the detection unit 111 detects that the motion input unit is used as the input unit, and stores the input unit, the generation date and time, and the input coordinates in the second storage unit 52 as input history information 520.
  • the display control unit 112 continues to display the object object while maintaining the height and width of the “OK button” that is the target object according to the addition operations 1 and 2 of the transition pattern display form information 512 based on the object display form information 510. . Further, the display control unit 112 cancels the highlight display of the “OK button” on condition that the distance between the user's finger F and the touch panel 40 is equal to or greater than a threshold value, for example.
  • the user operates the mouse 20 to bring the pointer P closer to the “OK button” (see symbol A8).
  • the detection unit 111 detects that the pointing device input unit is used as the input unit, and stores the input unit, the generation date and time, and the input coordinates in the second storage unit 52 as input history information 520. .
  • the detection unit 111 also detects that the input unit has been changed from the motion input unit to the pointing device input unit.
  • the display control unit 112 displays the “OK button” that is the target object in the mouse mode based on the object display form information 510. In the example illustrated in FIG. 6, the display control unit 112 returns the “OK button” to the size indicated by the symbol A1.
  • FIG. 7 is a diagram illustrating a display example of a GUI application in the information processing apparatus as an example of the embodiment.
  • the display control unit 112 displays a window 400 on the touch panel 40 as a GUI application as illustrated in FIG. 7.
  • the window 400 illustrated in FIG. 7 includes “RadioButton1”, “RadioButton2”, “OK button”, and “Cancel button” as objects.
  • the window 400 in FIGS. 8 to 10 referred to below has the same configuration as the window 400 shown in FIG.
  • FIG. 8 is a diagram illustrating a hit area of a GUI application in the information processing apparatus as an example of the embodiment.
  • the hit area 410 for each object in the window 400 shown in FIG. 7 is shaded.
  • Each object has an invisible hit area 410 defined (see shaded area).
  • a selection operation such as clicking or tapping in any of the hit areas 410, it is considered that the object associated with the hit area 410 has been selected. For example, when the user clicks using the mouse 20 in the hit area 410 of “RadioButton1”, “RadioButton1” is selected.
  • the hit area 410 is rectangular, but is not limited thereto, and may be various shapes according to the shape of the object, for example.
  • FIG. 9 is a diagram illustrating a mode change area in the mouse mode and the touch mode of the GUI application in the information processing apparatus as an example of the embodiment.
  • an invisible mode change area 420 is defined so that each object surrounds the hit area 410 outside the hit area 410 (see the shaded area) (see the shaded area). Illustration of the hit area 410 and the mode change area 420 in each object other than “RadioButton1” is omitted for simplicity.
  • the input unit is used for the target object.
  • the detection unit 111 uses a pointing device input means as an input means for “RadioButton1”. Detect. Then, the display control unit 112 displays “RadioButton1” in the mouse mode based on the object display form information 510.
  • the mode change area 420 in the mouse mode and the touch mode is the same area, but the present invention is not limited to this, and different areas may be set for each.
  • the entire window 400 may be used as the mode change area 420.
  • the display control unit 112 changes the display mode.
  • the mode change area 420 in the mouse mode and the touch mode is rectangular.
  • the present invention is not limited to this, and can be various shapes according to the shape of the object, for example. .
  • FIG. 10 is a diagram illustrating a mode change area in the motion mode of the GUI application in the information processing apparatus as an example of the embodiment. Since the motion input is an input in a three-dimensional space, the mode change area 421 is also set as an area in the three-dimensional space as shown in FIG. 10 (see the shaded area). For example, the mode change area 421 has a shape in which the mode change area 420 illustrated in FIG. 9 is vertically projected from the screen of the touch panel 40 by a predetermined distance. Illustration of the mode change area 421 in each object other than “RadioButton1” is omitted for simplicity.
  • the detection unit 111 detects a motion input unit as an input unit for “RadioButton1”. Then, the display control unit 112 displays “RadioButton1” in the motion mode based on the object display form information 510.
  • the mode change area 421 in the motion mode is a rectangular parallelepiped.
  • the present invention is not limited to this.
  • a solid having a curved surface may be used according to the shape of the object.
  • Information about the hit area 410 and the mode change areas 420 and 421 shown in FIGS. 8 to 10 is stored in the storage device 50 together with data about the window 400 and the object.
  • Step S10 Operation An input mode control process in the information processing apparatus 10 as an example of the embodiment configured as described above will be described with reference to a flowchart (steps S10 to S40) shown in FIG.
  • the detection unit 111 adds the input I to the input history information 520 ( Step S10).
  • the detection unit 111 associates the input means of the input I, the occurrence date and time, and the input coordinates, and stores the input history information 520 in the second storage unit 52.
  • the detection unit 111 Based on the input history information 520, the detection unit 111 obtains a transition of input means (step S20). In other words, the detection unit 111 detects a change in the input unit. The detection unit 111 determines whether the input coordinates of the input I are within the mode change areas 420 and 421 of any object (step S30). If the input coordinates of the input I are not within the mode change areas 420 and 421 of any object (see NO route in step S30), the input mode control process is terminated.
  • Step S40 the mode switching determination process in the information processing apparatus 10 as an example of the embodiment will be described with reference to the flowchart (steps S41 to S45) shown in FIG.
  • the display control unit 112 determines whether a display mode change has occurred according to the mode state transition of the object (step S41). If the display mode has not changed in accordance with the mode state transition of the object (see NO route in step S41), the display control unit 112 does not change the display mode of the object (step S42), and the input mode switching process Exit. For example, if the input I newly made in step S10 of FIG. 11 is made by the mouse 20, and the input immediately before the input I in the input history information 520 is made by the mouse 20, the process proceeds to step S42. Then, the input mode switching process ends.
  • step S43 the display control unit 112 changes the display mode of the object. For example, if the input I newly made in step S10 of FIG. 11 is from the motion sensor 30 and the input immediately before the input I in the input history information 520 is made by the mouse 20, the process goes to step S43. Then, the input mode switching process is terminated.
  • the display control unit 112 updates the display of the object according to the current display mode (step S44).
  • the display control unit 112 adds an operation based on the transition pattern and the display mode before the change of the object (step S45), and ends the input mode switching process.
  • the detection unit 111 detects the change of the input unit, and the display control unit 112 responds to the detected input unit after the change.
  • the display form information 511 for the GUI object is selected.
  • the display control unit 112 selects the transition pattern display form information 512 for the GUI object based on the input history information 520 when there is a predetermined input means transition pattern in the input history information 520. Thereby, based on the transition pattern and the mode before the change of the target object, further operations can be added to the object, and an optimal GUI object can be displayed by the transition pattern of the input means. For example, when “touch ⁇ motion” is included in the transition pattern of the input history information 520, the display control unit 112 can perform fine control of the object without changing the size of the target object.
  • the display control unit 112 enlarges or reduces the GUI object according to the distance between the touch panel 40 and the user's finger or the like based on the display form information. . Accordingly, it is possible to determine the GUI object that the user is trying to operate before trying to perform a touch operation, and to display the target GUI object in an optimal display.
  • Information processing apparatus 11 CPU (computer) 111 Detection Unit 112 Display Control Unit 12 Memory 20 Mouse (Pointing Device) 30 motion sensor 40 display (touch panel) 400 window 410 hit area 420 mode change area 421 mode change area 50 storage device 51 first storage section 510 object display form information 511 display form information 512 transition pattern display form information 52 second storage section 520 input history information 60 medium reader F Finger P pointer RM recording medium

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

　複数の入力手段（２０，３０，４０）と、Graphical User Interface（ＧＵＩ）オブジェクトに対して、複数種類の表示形態情報を関連付けたオブジェクト表示形態情報を格納する第１格納部（５１）と、入力手段（２０，３０，４０）の変更を検知する検知部（１１１）と、検知された変更後の前記入力手段（２０，３０，４０）に応じて、前記ＧＵＩオブジェクトについての表示形態情報を選択し、選択した当該表示形態情報を用いて前記ＧＵＩオブジェクトを表示させる表示制御部（１１２）と、を備える。

Description

情報処理装置，表示制御プログラム及び表示制御方法
　本発明は、情報処理装置，表示制御プログラム及び表示制御方法に関する。
　タッチパネルを搭載したコンピュータで動作するOperating System（ＯＳ）においては、従来からのマウスによる入力操作に加えて、画面に指をタッチすることによって入力操作（タッチ入力操作）を行なうことが可能である。更に、モーションセンサを搭載したコンピュータで動作するＯＳにおいては、マウス等の入力デバイスを使わず、画面に触れない状態で、３次元空間上の物体の移動による入力操作（モーション入力操作）を行なうことが可能である。
　これらのマウス，タッチパネル及びモーションセンサを使用する各入力操作においては、例えば以下の利点及び欠点が存在する。マウス入力操作では画面上のポインタを移動させてボタン等のGraphical User Interface（ＧＵＩ）オブジェクト（以下、単にオブジェクトという）を操作するため、小さいオブジェクトを操作する際の精度は高いが、操作量が多くなる。また、タッチ入力操作では指でタッチパネル上のオブジェクトを直接操作するため、複数の指でのジェスチャ等の大きな操作を素早く行なえるが、小さなオブジェクトは操作しづらい。更に、モーション入力操作では手の移動や指のジェスチャによってオブジェクトを操作するため、タッチ入力操作と同様に大きな操作を素早く行なえるが、マウス入力操作におけるクリックやタッチ入力操作におけるタップのようなＯＮ／ＯＦＦの切り替えができない。
　このように、入力手段の種類によって利点及び欠点が異なることから、それぞれの入力手段において最適なオブジェクトの種類や形状，位置は異なる。
　そこで、コンピュータが搭載する入力手段のいずれかに適したＧＵＩを設計する技術が知られている。
特開平１１－９５９７１号公報 特開平８－１６３５３号公報 特開平１１－２８２５９７号公報 特開２０１１－１３８１８５号公報 特開２０１０－２５７４９５号公報
　しかしながら、複数の入力手段を利用可能な環境においては、ユーザは自身の好みや状況に応じて入力手段を使い分けることがある。例えば、同一のＧＵＩアプリケーションにおいて、あるユーザはマウス入力操作しか利用しないが、別のユーザはマウス入力操作とタッチ入力操作とを併用することがある。また、外出先ではタッチ入力操作を利用するが、自宅ではマウス入力操作を利用するといったように、状況によって入力手段を使い分けることがある。更に、マウスを操作しながら画面をタッチする等、複数の入力操作を同時に行なう可能性もある。
　そのため、ＧＵＩアプリケーションにおけるオブジェクトの種類や形状，位置を１つに固定してしまうと、使用する入力手段によっては効率的な入力操作を行なえないという課題がある。
　１つの側面では、本発明は、入力手段の変更に関わらず効率的な入力操作を提供することを目的とする。
　なお、前記目的に限らず、後述する発明を実施するための最良の形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の１つとして位置付けることができる。
　上記の目的を達成するために、この情報処理装置は、複数の入力手段と、ＧＵＩオブジェクトに対して、複数種類の表示形態情報を関連付けたオブジェクト表示形態情報を格納する第１格納部と、入力手段の変更を検知する検知部と、検知された変更後の前記入力手段に応じて、前記ＧＵＩオブジェクトについての表示形態情報を選択し、選択した当該表示形態情報を用いて前記ＧＵＩオブジェクトを表示させる表示制御部と、を備える。
　また、この表示制御プログラムは、複数の入力手段を有する情報処理装置に備えられるコンピュータに、入力手段の変更を検知し、検知された変更後の前記入力手段に応じて、第１格納部に格納された、ＧＵＩオブジェクトに対して、複数種類の表示形態情報を関連付けたオブジェクト表示形態情報から、前記ＧＵＩオブジェクトについての表示形態情報を選択し、選択した当該表示形態情報を用いて前記ＧＵＩオブジェクトを表示させる、処理を実行させる。
　更に、この表示制御方法は、複数の入力手段を有する情報処理装置において、入力手段の変更を検知し、検知された変更後の前記入力手段に応じて、第１格納部に格納された、ＧＵＩオブジェクトに対して、複数種類の表示形態情報を関連付けたオブジェクト表示形態情報から、前記ＧＵＩオブジェクトについての表示形態情報を選択し、選択した当該表示形態情報を用いて前記ＧＵＩオブジェクトを表示させる。
　開示の情報処理装置によれば、入力手段の変更に関わらず効率的な入力操作を提供することができる。
実施形態の一例としての情報処理システムの機能構成を模式的に示す図である。 実施形態の一例としての情報処理装置におけるオブジェクト表示形態情報が含む表示形態情報を例示する図である。 実施形態の一例としての情報処理装置におけるオブジェクト表示形態情報が含む遷移パターン表示形態情報を例示する図である。 実施形態の一例としての情報処理装置における入力履歴情報を例示する図である。 実施形態の一例としての情報処理装置におけるＧＵＩオブジェクトの入力モード状態の遷移を説明する図である。 実施形態の一例としての情報処理装置におけるＧＵＩオブジェクトの表示例を示す図である。 実施形態の一例としての情報処理装置におけるＧＵＩアプリケーションの表示例を示す図である。 実施形態の一例としての情報処理装置におけるＧＵＩアプリケーションのヒット領域を説明する図である。 実施形態の一例としての情報処理装置におけるＧＵＩアプリケーションのマウスモード及びタッチモードでのモード変更領域を説明する図である。 実施形態の一例としての情報処理装置におけるＧＵＩアプリケーションのモーションモードでのモード変更領域を説明する図である。 実施形態の一例としての情報処理装置における入力モード制御処理を示すフローチャートである。 実施形態の一例としての情報処理装置における入力モード切り替え処理を示すフローチャートである。
　以下、図面を参照して情報処理装置，表示制御プログラム及び表示制御方法に係る一実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。
　また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
　以下、図中において、同一の各符号は同様の部分を示しているので、その説明は省略する。
　〔Ａ〕システム構成
　図１は、実施形態の一例としての情報処理システムの機能構成を模式的に示す図である。
　本実施形態の一例としての情報処理システム１は、図１に示すように情報処理装置１０，マウス（ポインティングデバイス）２０，モーションセンサ３０，ディスプレイ（タッチパネル）４０，記憶装置５０及び媒体読取装置６０を備える。情報処理装置１０とマウス２０，モーションセンサ３０，ディスプレイ４０，記憶装置５０及び媒体読取装置６０とは、図示するように互いに通信可能に接続されている。
　マウス２０は、入力手段の一例であり、本実施形態の一例においてはポインティングデバイス入力手段として機能し、ディスプレイ４０上に表示されるポインタ（図６のＡ１の符号Ｐ参照）を操作するために用いる。なお、マウス２０はポインティングデバイスの一例に過ぎず、ノートパソコンにおけるタッチパッドやトラックボール等であっても良い。
　モーションセンサ３０は、入力手段の一例であり、本実施形態の一例においてはモーション入力手段として機能し、ユーザの動きを計測して入力操作として検知する。モーションセンサ３０は、例えば光センサや赤外線センサ，カメラであり、物体の３次元空間上の位置情報が検出可能なセンサである。モーションセンサ３０は、ディスプレイ４０の解像度と同等もしくはそれ以上の解像度を持つことか望ましい。また、モーションセンサ３０としては、ディスプレイ４０の画面解像度前面の３次元空間上の座標を取得できるセンサを使用する。なお、モーションセンサ３０としては、ユーザの手に加速度センサや発信器をつけたものを用いても良い。
　タッチパネル４０は、入力手段の一例であり、本実施形態の一例においてはタッチ入力手段として機能する。タッチパネル４０は、入力装置と表示装置とを一体にした装置であり、ユーザによりタッチ入力されたタッチパネル４０上での位置等の情報又は指示を情報処理装置１０へ渡し、又、ユーザ等に対する各種情報を表示する。なお、タッチパネル４０のセンシング方式としては、静電容量方式や感圧方式等の種々の方式を適用することができる。
　ユーザは、複数の入力手段としてのマウス２０，モーションセンサ３０及びタッチパネル４０の切り替えを、ユーザ自身の好みや状況に応じて任意に行なうことができる。そして、情報処理装置１０が備えるＣＰＵ１１の検知部１１１が図７～図１０を用いて後述するように入力手段の切り替えを検知する。
　媒体読取装置６０は、記録媒体ＲＭが装着可能に構成される。媒体読取装置６０は、記録媒体ＲＭが装着された状態において、記録媒体ＲＭに記録されている情報を読み取り可能に構成される。本例では、記録媒体ＲＭは可搬性を有する。記録媒体ＲＭは、コンピュータ読取可能な記録媒体であって、例えば、フレキシブルディスク，ＣＤ（ＣＤ－ＲＯＭ，ＣＤ－Ｒ，ＣＤ－ＲＷ等），ＤＶＤ（ＤＶＤ－ＲＯＭ，ＤＶＤ－ＲＡＭ，ＤＶＤ－Ｒ，ＤＶＤ＋Ｒ，ＤＶＤ－ＲＷ，ＤＶＤ＋ＲＷ，ＨＤ　ＤＶＤ等），ブルーレイディスク，磁気ディスク，光ディスク，光磁気ディスク又は、半導体メモリ等である。
　記憶装置５０は、データを読み書き可能に格納する既知の装置であり、例えば、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ）である。本実施形態の一例における記憶装置５０は、図示するように第１格納部５１及び第２格納部５２として機能する。
　第１格納部５１は、オブジェクト表示形態情報５１０を格納する。
　図２は、実施形態の一例としての情報処理装置におけるオブジェクト表示形態情報が含む表示形態情報を例示する図である。
　オブジェクト表示形態情報５１０は、図２に示すように、オブジェクトに対して、当該オブジェクトの表示形態を規定する複数種類の表示形態情報５１１が関連付けられている。
　本実施形態の一例における情報処理装置１０上で動作するＧＵＩアプリケーションは、複数のＧＵＩオブジェクト（以下、単にオブジェクトという）で構成される。また、各オブジェクトは、ユーザの操作状況に応じて、例えばマウスモード，タッチモード又はモーションモードの３つの表示モードのうちいずれかのモードでの表示形態に切り替わる。マウスモードはオブジェクトがマウス２０で操作されている際のモードであり、タッチモードはオブジェクトがタッチパネル４０で操作されている際のモードである。また、モーションモードは、オブジェクトがタッチされようとして、ユーザの指がタッチパネル４０の前面で動作している際のモードである。
　各表示モードにおける各オブジェクトの表示形態は、表示形態情報５１１として定義されている。各表示モードにおいて、オブジェクトの種類や形状，位置を変えるなど、それぞれの表示モードに適したものになるように表示形態情報５１１が予め定義される。例えば、マウス操作の際（マウスモード）にはオブジェクトのサイズを通常の大きさになるように、表示形態情報５１１を定義する。また、指をタッチパネル４０に近づけた際（モーションモード）にはタッチパネル４０とユーザの指との距離に応じてタッチパネル４０と指との距離が短くなるとオブジェクトが拡大表示されるように、表示形態情報５１１を定義する。更に、タッチパネル４０をタッチした際（タッチモード）にはオブジェクトが拡大表示され続けるように、表示形態情報５１１を定義する。
　図２に示す例においては、オブジェクトの１つである「ボタン１」が「マウスモード」である場合には、ディスプレイ４０におけるオブジェトの表示位置（ディスプレイ４０上での座標値）を示す属性１が（位置Ｘ，位置Ｙ）＝（３０，２０）である（単位は例えばピクセル）。また、オブジェクトの表示サイズを示す属性２が（高さ，幅）＝（３０，６０）であり（単位は例えばピクセル）、ボタンの色を示す属性３がグレーである。このように、「ボタン１」のマウスモードに対して、表示形態として属性１～３が定義されている。
　また、この同じ「ボタン１」に対して、表示モードが「タッチモード」及び「モーションモード」の各場合についても、同様にオブジェクトの表示形態として属性１～３がそれぞれ定義されている。更に、「ボタン２」が各表示モードの場合についても、オブジェクトの表示形態として属性１～３がそれぞれ定義されている。
　なお、図２に示すオブジェクト表示形態情報５１０の定義は、情報処理装置１０や表示制御プログラムの工場出荷時に予め行なっても良いし、ユーザが任意に設定できるようにしても良い。また、図２に示す例では各表示形態情報５１１が含む属性の数を３つとしたが、これに限定されるものではなく、属性の数を２つ以下又は４つ以上としても良い。
　図３は、実施形態の一例としての情報処理装置におけるオブジェクト表示形態情報が含む遷移パターン表示形態情報を例示する図である。
　オブジェト表示形態情報５１０は、複数種類の遷移パターン表示形態情報５１２を含む。すなわち、オブジェクト表示形態情報５１０は、図２に示した表示形態情報５１１及び図３に示す遷移パターン表示形態情報５１２を含む。
　遷移パターン表示形態情報５１２は、対象のオブジェトの表示モードに特定の遷移パターンが検知された場合に、当該遷移パターンに対して、図２に示した表示形態情報５１１の適用に優先して対象のオブジェクトに対して適用される表示形態を関連付けた情報である。
　図３に示す例においては、遷移パターンが「タッチ→モーション」である場合に、追加動作１として全ボタンをハイライト（強調表示）させ、追加動作２として高さと幅の変更を抑止する。
　図２に示した例においては、「ボタン１」が「モーションモード」の場合には、オブジェクトの表示サイズは、ディスプレイ４０とユーザの指との距離によって拡縮され、例えばディスプレイ４０から指を離していくとオブジェクトは縮小されていく。しかしながら、「タッチモード」で「ボタン１」をタッチ（選択）した直後に「モーションモード」に切り替わったことを後述する検知部１１１により検知した場合には、ボタンの表示サイズを小さくさせないようにすることでユーザに対する利便性が向上する。そこで、図３に例示するように遷移パターン表示形態情報５１２を定義することで、「タッチモード」で「ボタン１」がタッチされた直後に「モーションモード」に切り替わったことを後述する検知部１１１により検知した場合には、「ボタン１」をハイライト表示させ、且つ、「ボタン１」が縮小されるのを抑止する。
　なお、遷移パターン表示形態情報５１２において、「マウス→モーション」と「マウス→モーション→タッチ」とのように、一部同一の遷移パターンが定義されている場合には、それぞれの遷移パターン表示形態情報５１２に定義されている追加動作をともに行なっても良い。また、いずれかの遷移パターンに優先度をつけて、優先度の高い遷移パターンにおける追加動作を行なっても良い。図２に示す例では各遷移パターン表示形態情報５１２が含む追加動作の数を２つとしたが、これに限定されるものではなく、追加動作の数を１つ又は３つ以上にしても良い。
　第２格納部５２は、入力履歴情報５２０を格納する。
　図４は、実施形態の一例としての情報処理装置における入力履歴情報を例示する図である。
　入力履歴情報５２０は、図４に示すように、入力手段と発生日時と入力座標とが対応づけられた情報である。
　図４に示す例においては、３月２７日１２時１３分５１秒００に「マウス」で座標（９０，２８）に入力があったことを示し、５２秒１３に「モーション」で座標（２６，１３，１８５）に入力があったことを示している。また、５３秒１０に「タッチ」で座標（３２，１９）に入力があったことを示している。
　このように、入力履歴情報５２０は、マウスモード及びタッチモードでは（Ｘ，Ｙ）の２軸の入力座標を保持し、モーションモードでは（Ｘ，Ｙ，Ｚ）の３軸の入力座標を保持する。
　また、入力履歴情報５２０は、入力モードの遷移に関する情報も示している。図４に示す例においては、入力の遷移は「マウス→モーション→タッチ→モーション」となる。
　なお、入力履歴情報５２０の更新タイミングは、所定時間毎でも良いし、入力座標における所定の移動量毎であっても良い。
　情報処理装置１０は、例えばPersonal Computer（ＰＣ）や多機能携帯電話（スマートフォン），タブレット端末，Personal Digital Assistant（ＰＤＡ）であり、図１に示すようにCentral Processing Unit（ＣＰＵ；コンピュータ）１１及びメモリ１２を備える。
　メモリ１２は、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む記憶装置である。メモリ１２のＲＯＭには、Basic Input/Output System（ＢＩＯＳ）等のプログラムが書き込まれている。メモリ１２上のソフトウェアプログラムは、ＣＰＵ１１に適宜読み込まれて実行される。また、メモリ１２のＲＡＭは、一次記録メモリあるいはワーキングメモリとして利用される。
　ＣＰＵ１１は、種々の制御や演算を行なう処理装置であり、メモリ１２に格納されたＯＳやプログラムを実行することにより、種々の機能を実現する。すなわち、ＣＰＵ１１は、図１に示すように、検知部１１１及び表示制御部１１２として機能する。
　なお、これらの検知部１１１及び表示制御部１１２としての機能を実現するためのプログラム（表示制御プログラム）は、例えば前述した記録媒体ＲＭに記録された形態で提供される。そして、コンピュータは媒体読取装置６０を介してその記録媒体ＲＭからプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、その記憶装置から通信経路を介してコンピュータに提供してもよい。
　検知部１１１及び表示制御部１１２としての機能を実現する際には、内部記憶装置（本実施形態ではメモリ１２）に格納されたプログラムがコンピュータのマイクロプロセッサ（本実施形態ではＣＰＵ１１）によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行してもよい。
　検知部１１１は、入力手段の変更を検知する。すなわち、検知部１１１は、マウス２０，モーションセンサ３０又はタッチパネル４０のうちいずれの入力手段をユーザが利用しているかを判定し、入力手段の変更を検知する。
　検知部１１１は、マウス２０によるポインタの移動やクリック等の入力が発生した場合に、入力手段としてポインティングデバイス入力手段が用いられていることを検知する。また、検知部１１１は、タッチパネル４０へのタップ等のタッチ入力があった場合に、入力手段としてタッチ入力手段が用いられていることを検知する。更に、検知部１１１は、モーションセンサ３０で物体が検知された場合に、入力手段としてモーション入力手段が用いられていることを検知する。
　なお、検知部１１１は、各オブジェクトについて常にいずれかの表示モードを検知する。但し、検知部１１１は、ＧＵＩアプリケーション上のあるオブジェクトについてはマウスモードであることを検知し、別のオブジェトについてはタッチモードであることを検知する場合がある。すなわち、オブジェクトは、各々独立していずれかのモードとなる。
　また、検知部１１１は、検知した入力手段に関する情報を入力履歴情報５２０として第２格納部５２に格納させる。そして、検知部１１１は、入力履歴情報５２０に基づき、入力手段の遷移パターンを検知する。なお、検知部１１１による入力履歴情報５２０の更新タイミングは、所定時間毎でも良いし、入力座標における所定の移動量毎であっても良い。所定時間毎に入力履歴情報５２０を更新する場合には、マウス２０やモーションセンサ３０，タッチパネル４０が操作されていなくても、検知部１１１は座標値を取得する。
　表示制御部１１２は、ディスプレイ４０にオブジェクトを表示させる。具体的には、表示制御部１１２は、検知部１１１によって検知された変更後の入力手段に応じて、オブジェクトについての表示形態情報５１１を選択し、選択した表示形態情報５１１を用いてオブジェクトを表示させる。すなわち、表示制御部１１２は、第２格納部５２が格納する入力履歴情報５２０に基づき、オブジェクトについての表示形態情報５１１を選択する。
　表示制御部１１２は、入力履歴情報５２０において所定の入力手段の遷移パターンを検知部１１１によって検知された場合に、入力履歴情報５２０に基づいたオブジェクトについての遷移パターン表示形態情報５１２を選択する。そして、表示制御部１１２は、遷移パターン表示形態情報５１２を表示形態情報５１１に対して優先して適用する。
　図５は、実施形態の一例としての情報処理装置におけるＧＵＩオブジェクトの入力モード状態の遷移を説明する図である。
　上述した３つの入力モードは、図５に示すように互いに遷移可能になっている。
　マウスモードＢ１において検知部１１１がモーション入力を検知すると、表示制御部１１２は、対象オブジェクトをモーションモードＢ２に変更する（符号Ｂ１１参照）。
　マウスモードＢ１において検知部１１１がタッチ入力を検知すると、表示制御部１１２は、対象オブジェクトをタッチモードＢ３に変更する（符号Ｂ１２参照）。
　モーションモードＢ２において検知部１１１がマウス入力を検知すると、表示制御部１１２は、対象オブジェクトをマウスモードＢ１に変更する（符号Ｂ２１参照）。
　モーションモードＢ２において検知部１１１がタッチ入力を検知すると、表示制御部１１２は、対象オブジェクトをタッチモードＢ３に変更する（符号Ｂ２２参照）。
　タッチモードＢ３において検知部１１１がマウス入力を検知すると、表示制御部１１２は、対象オブジェクトをマウスモードＢ１に変更する（符号Ｂ３１参照）。
　タッチモードＢ３において検知部１１１がモーション入力を検知すると、表示制御部１１２は、対象オブジェクトをモーションモードＢ２に変更する（符号Ｂ３２参照）。
　図６は、実施形態の一例としての情報処理装置におけるＧＵＩオブジェクトの表示例を示す図である。
　本実施形態の一例においては、ユーザがＧＵＩアプリケーション上のあるオブジェクトを操作しようとしている際に、検知部１１１は、ユーザが操作対象のオブジェクトに対してマウス，タッチ又はモーションのうちいずれの入力手段を用いているかを検出する。そして、表示制御部１１２は、操作対象のオブジェクトをそれぞれの入力手段に対応した表示モードに切り替える。すなわち、オブジェクトがマウス２０で操作されている場合にはマウスモードとなり、タッチパネル４０で操作されている場合にはタッチモードとなり、又、オブジェクトをタッチしようとしてタッチパネル４０に指が近づいている場合にはモーションモードとなる。
　図６の符号Ａ１～Ａ８に示す例においては、表示制御部１１２は、オブジェクトとして「OKボタン」及び「Cancelボタン」を含むウインドウ４００をタッチパネル４０上に表示させる。
　始め、ウインドウ４００上にオブジェクトとしての「OKボタン」及び「Cancelボタン」とポインタＰとが表示されている（符号Ａ１参照）。ここでは、ユーザはマウス２０を用いてポインタＰの操作を行なっている。すなわち、検知部１１１は、入力手段としてポインティングデバイス入力手段が用いられていることを検知し、入力手段と発生日時と入力座標とを対応づけて入力履歴情報５２０として、第２格納部５２に格納させる。そして、表示制御部１１２は、オブジェクト表示形態情報５１０に基づき、対象オブジェクトである「OKボタン」をマウスモードで表示させる。なお、図６の符号Ａ１に示す例においては、表示制御部１１２は、「Cancelボタン」もマウスモードで表示させる。
　ここで、ユーザがマウス２０から手を離してタッチパネル４０に指を近づけると（符号Ａ２参照）、モーションセンサ３０は、ユーザの指Ｆとタッチパネル４０との距離を計測し、指Ｆが「OKボタン」に近づいていることを検出する。検知部１１１は、入力手段として、モーション入力手段が用いられていることを検知し、入力手段と発生日時と入力座標とを対応づけて入力履歴情報５２０として、第２格納部５２に格納させる。ここで、検知部１１１は、入力手段がポインティングデバイス入力手段からモーション入力手段に変更されたことも検知する。また、表示制御部１１２は、オブジェクト表示形態情報５１０に基づき、対象オブジェクトである「OKボタン」をモーションモードで表示させる。図２に示した表示形態情報５１１の一例においては、モーションモードにおけるオブジェクトのサイズはディスプレイ４０と指Ｆとの距離によって拡縮するため、図６に示す例においても表示制御部１１２は「OKボタン」を拡大表示させる。なお、検知部１１１による対象オブジェクトの判定手法は、図９及び図１０を参照しながら後述する。
　ユーザが指Ｆを「OKボタン」に更に近づけると（符号Ａ３参照）、モーションセンサ３０は、ユーザの指Ｆとタッチパネル４０との距離を計測し、指Ｆが「OKボタン」に更に近づいていることを検出する。検知部１１１は、入力手段として、モーション入力手段が用いられていることを検知し、入力手段と発生日時と入力座標とを対応づけて入力履歴情報５２０として、第２格納部５２に格納させる。また、表示制御部１１２は、オブジェクト表示形態情報５１０に基づき、対象オブジェクトである「OKボタン」をモーションモードで表示させ続ける。ここでは、指Ｆが「OKボタン」に更に近づいているため、表示制御部１１２は、「OKボタン」を更に拡大表示させる。
　ユーザが指Ｆで「OKボタン」をタップ（選択）すると（符号Ａ４参照）、タッチパネル４０は、「OKボタン」に対するタッチ入力を検出する。検知部１１１は、入力手段として、タッチ入力手段が用いられていることを検知し、入力手段と発生日時と入力座標とを対応づけて入力履歴情報５２０として、第２格納部５２に格納させる。ここで、検知部１１１は、入力手段がモーション入力手段からタッチ入力手段に変更されたことも検知する。また、表示制御部１１２は、オブジェクト表示形態情報５１０に基づき、対象オブジェクトである「OKボタン」をタッチモードで表示させる。図６に示す例においては、表示制御部１１２は、「OKボタン」を強調表示させる（網掛部参照）。
　ユーザが指Ｆを「OKボタン」から離すと（符号Ａ５参照）、モーションセンサ３０は、ユーザの指Ｆとタッチパネル４０との距離を計測し、指Ｆが「OKボタン」から離れていることを検出する。検知部１１１は、入力手段として、モーション入力手段が用いられていることを検知し、入力手段と発生日時と入力座標とを対応づけて入力履歴情報５２０として、第２格納部５２に格納させる。ここで、検知部１１１は、入力手段がタッチ入力手段からモーション入力手段に変更されたことも検知する。また、表示制御部１１２は、オブジェクト表示形態情報５１０に基づき、対象オブジェクトである「OKボタン」をモーションモードで表示させる。ただし、図３に示した遷移パターン表示形態情報５１２の一例においては、タッチモードからモーションモードに遷移した場合には対象オブジェクトをハイライト表示させ、高さと幅の変更を抑止するように定義されている。図６に示す例においても、表示制御部１１２は、「OKボタン」をハイライト表示させ（斜線部参照）、「OKボタン」のサイズを維持する。すなわち、「OKボタン」から指Ｆが離れても、表示制御部１１２は、「OKボタン」の表示サイズを小さくしない。
　ユーザが指Ｆを「OKボタン」から更に離すと（符号Ａ６参照）、モーションセンサ３０は、ユーザの指Ｆとタッチパネル４０との距離を計測し、指Ｆが「OKボタン」から更に離れていることを検出する。検知部１１１は、入力手段として、モーション入力手段が用いられていることを検知し、入力手段と発生日時と入力座標とを対応づけて入力履歴情報５２０として、第２格納部５２に格納させる。また、表示制御部１１２は、オブジェクト表示形態情報５１０に基づき、遷移パターン表示形態情報５１２の追加動作１，２に従って、対象オブジェクトである「OKボタン」の高さと幅を維持した状態で表示させ続ける。更に、表示制御部１１２は、「OKボタン」をハイライト表示させ続け（斜線部参照）、「OKボタン」のサイズを維持し続ける。
　ユーザが指Ｆを「OKボタン」から更に離すと（符号Ａ７参照）、モーションセンサ３０は、ユーザの指Ｆとタッチパネル４０との距離を計測し、指Ｆが「OKボタン」から更に離れていることを検出する。検知部１１１は、入力手段として、モーション入力手段が用いられていることを検知し、入力手段と発生日時と入力座標とを対応づけて入力履歴情報５２０として、第２格納部５２に格納させる。また、表示制御部１１２は、オブジェクト表示形態情報５１０に基づき、遷移パターン表示形態情報５１２の追加動作１，２に従って、対象オブジェクトである「OKボタン」の高さと幅を維持した状態で表示させ続ける。更に、表示制御部１１２は、例えばユーザの指Ｆとタッチパネル４０との距離が閾値以上になったことを条件として、「OKボタン」のハイライト表示を解除する。
　ユーザがマウス２０を操作してポインタＰを「OKボタン」に近づける（符号Ａ８参照）。検知部１１１は、入力手段として、ポインティングデバイス入力手段が用いられていることを検知し、入力手段と発生日時と入力座標とを対応づけて入力履歴情報５２０として、第２格納部５２に格納させる。ここで、検知部１１１は、入力手段がモーション入力手段からポインティングデバイス入力手段に変更されたことも検知する。また、表示制御部１１２は、オブジェクト表示形態情報５１０に基づき、対象オブジェクトである「OKボタン」をマウスモードで表示させる。図６に示す例においては、表示制御部１１２は、「OKボタン」を符号Ａ１で示したサイズに戻す。
　このように、本実施形態の一例における情報処理装置１０においては、マウスの操作状況，タッチパネル４０へのタッチ及び指Ｆのタッチパネル４０（オブジェクト）への近接状況に従って、ＧＵＩアプリケーション上のオブジェクトの種類や形状，位置，動作をリアルタイムで切り替える。
　図７は、実施形態の一例としての情報処理装置におけるＧＵＩアプリケーションの表示例を示す図である。
　表示制御部１１２は、例えば、図７に示すようにＧＵＩアプリケーションとしてウインドウ４００をタッチパネル４０上に表示する。この図７に例示するウインドウ４００には、オブジェクトとしての「RadioButton1」，「RadioButton2」，「OKボタン」及び「Cancelボタン」が備えられている。
　以下で参照する図８～図１０におけるウインドウ４００は、図７に示すウインドウ４００と同様の構成となっている。
　図８は、実施形態の一例としての情報処理装置におけるＧＵＩアプリケーションのヒット領域を説明する図である。
　図８においては、図７に示すウインドウ４００の各オブジェクトについてのヒット領域４１０を網掛けで示す。
　各オブジェクトは、不可視のヒット領域４１０が定義されている（網掛部参照）。いずれかのヒット領域４１０内でクリックやタップ等の選択操作を行なうことで、当該ヒット領域４１０に関連付けられたオブジェクトが選択されたとみなされる。例えば、ユーザが「RadioButton1」のヒット領域４１０内でマウス２０を用いてクリックを行なうと、「RadioButton1」が選択される。
　なお、図８に示す例においては、ヒット領域４１０を長方形としたが、これに限定されるものではなく、例えばオブジェクトの形状に従った様々な形状とすることができる。
　図９は、実施形態の一例としての情報処理装置におけるＧＵＩアプリケーションのマウスモード及びタッチモードでのモード変更領域を説明する図である。
　マウスモード及びタッチモードにおいて、各オブジェクトには、ヒット領域４１０（網掛部参照）の外側にヒット領域４１０を環囲するように不可視のモード変更領域４２０が定義されている（斜線部参照）。「RadioButton1」以外の各オブジェクトにおけるヒット領域４１０及びモード変更領域４２０の図示は、簡単のため省略している。このモード変更領域４２０内にポインタが侵入し、又はタッチ入力が行なわれると、対象オブジェクトに対して当該入力手段が用いられているとみなされる。例えば、ユーザがマウス２０を用いて「RadioButton1」のモード変更領域４２０の外側からモード変更領域４２０内へポインタを移動させると、検知部１１１は、「RadioButton1」についての入力手段としてポインティングデバイス入力手段を検知する。そして、表示制御部１１２は、オブジェクト表示形態情報５１０に基づき、「RadioButton1」をマウスモードで表示させる。
　なお、図９に示す例においては、マウスモード及びタッチモードにおけるモード変更領域４２０を同一の領域としたが、これに限定されるものではなく、それぞれに別の領域を設定しても良い。また、ウインドウ４００全体をモード変更領域４２０としても良く、この場合には、ポインタ又はタッチ入力の座標がウインドウ４００内にあれば、表示制御部１１２は、表示モードを変更する。更に、図９に示す例においては、マウスモード及びタッチモードにおけるモード変更領域４２０を長方形としたが、これに限定されるものではなく、例えばオブジェクトの形状に従った様々な形状とすることができる。
　図１０は、実施形態の一例としての情報処理装置におけるＧＵＩアプリケーションのモーションモードでのモード変更領域を説明する図である。
　モーション入力は３次元空間における入力であるため、モード変更領域４２１も図１０に示すような３次元空間上の領域として設定される（斜線部参照）。モード変更領域４２１は、例えば、図９に示したモード変更領域４２０をタッチパネル４０の画面から所定の距離、鉛直に突出させた形状である。「RadioButton1」以外の各オブジェクトにおけるモード変更領域４２１の図示は、簡単のため省略している。例えば、ユーザの指が「RadioButton1」のモード変更領域４２１内へ侵入すると、検知部１１１は、「RadioButton1」についての入力手段としてモーション入力手段を検知する。そして、表示制御部１１２は、オブジェクト表示形態情報５１０に基づき、「RadioButton1」をモーションモードで表示させる。
　なお、図１０に示す例においては、モーションモードにおけるモード変更領域４２１を直方体としたが、これに限定されるものではなく、例えばオブジェクトの形状に従い曲面を持った立体としても良い。
　図８～図１０に示したヒット領域４１０及びモード変更領域４２０，４２１に関する情報は、ウインドウ４００やオブジェクトに関するデータとともに記憶装置５０に格納される。
　〔Ｂ〕動作
　上述の如く構成された実施形態の一例としての情報処理装置１０における入力モード制御処理を図１１に示すフローチャート（ステップＳ１０～Ｓ４０）に従って説明する。
　ＧＵＩアプリケーションがユーザからの操作を受け付けるアクティブ状態になっている際に、マウス２０，タッチパネル４０又はモーションセンサ３０に入力Ｉが発生すると、検知部１１１は、入力履歴情報５２０に入力Ｉを追加する（ステップＳ１０）。具体的には、検知部１１１は、入力Ｉの入力手段と発生日時と入力座標とを対応づけて、入力履歴情報５２０として第２格納部５２に格納させる。
　検知部１１１は、入力履歴情報５２０に基づき、入力手段の遷移を求める（ステップＳ２０）。言い換えれば、検知部１１１は、入力手段の変更を検知する。
　検知部１１１は、入力Ｉの入力座標がいずれかのオブジェクトのモード変更領域４２０，４２１内であるかを判定する（ステップＳ３０）。
　入力Ｉの入力座標がいずれかのオブジェクトのモード変更領域４２０，４２１内でない場合には（ステップＳ３０のＮＯルート参照）、入力モード制御処理を終了する。
　入力Ｉの入力座標がいずれかのオブジェクトのモード変更領域４２０，４２１内である場合には（ステップＳ３０のＹＥＳルート参照）、表示制御部１１２は、該当する全てのオブジェクトに対してモード切り替え判定を行ない（ステップＳ４０）、入力モード制御処理を終了する。
　次に、実施形態の一例としての情報処理装置１０におけるモード切り替え判定処理を図１２に示すフローチャート（ステップＳ４１～Ｓ４５）に従って説明する。
　すなわち、図１１に示したステップＳ４０におけるモード切り替え判定処理の詳細を示す。
　表示制御部１１２は、オブジェクトのモード状態遷移に従って表示モードの変更が発生しているかを判定する（ステップＳ４１）。
　オブジェクトのモード状態遷移に従って表示モードの変更が発生していない場合には（ステップＳ４１のＮＯルート参照）、表示制御部１１２は、オブジェクトの表示モードを変更せず（ステップＳ４２）、入力モード切り替え処理を終了する。例えば、図１１のステップＳ１０において新たに行なわれた入力Ｉがマウス２０によるものであり、入力履歴情報５２０において入力Ｉの直前の入力がマウス２０によって行なわれた場合には、このステップＳ４２に移行し、入力モード切り替え処理を終了する。
　オブジェクトのモード状態遷移に従って表示モードの変更が発生している場合には（ステップＳ４１のＹＥＳルート参照）、表示制御部１１２は、オブジェクトの表示モードを変更する（ステップＳ４３）。例えば、図１１のステップＳ１０において新たに行なわれた入力Ｉがモーションセンサ３０によるものであり、入力履歴情報５２０において入力Ｉの直前の入力がマウス２０によって行なわれた場合には、このステップＳ４３に移行し、入力モード切り替え処理を終了する。
　表示制御部１１２は、オブジェクトの表示を現在の表示モードに応じて更新する（ステップＳ４４）。
　表示制御部１１２は、遷移パターンとオブジェクトの変更前の表示モードに基づき、動作を追加し（ステップＳ４５）、入力モード切り替え処理を終了する。
　〔Ｃ〕効果
　このように、本実施形態の一例における情報処理装置１０によれば、検知部１１１は入力手段の変更を検知し、表示制御部１１２は検知された変更後の入力手段に応じてＧＵＩオブジェクトについての表示形態情報５１１を選択する。これにより、ユーザによるＧＵＩアプリケーションの操作中においても、各ＧＵＩオブジェクトを各入力手段に適した表示モードに瞬時に切り替えることができ、ユーザは入力手段やＧＵＩアプリケーションを利用する状況に依らない一定した操作を行なえる。また、入力手段の変更に関わらず効率的な入力操作を提供することができる。
　表示制御部１１２は、入力履歴情報５２０において所定の入力手段の遷移パターンがある場合に、入力履歴情報５２０に基づいたＧＵＩオブジェクトについての遷移パターン表示形態情報５１２を選択する。これにより、遷移パターンと対象オブジェクトの変更前のモードに基づき、オブジェクトに対して更に動作を追加することができ、入力手段の遷移パターンによって最適なＧＵＩオブジェクトを表示させることができる。例えば、入力履歴情報５２０の遷移パターンに「タッチ→モーション」が含まれる場合には、表示制御部１１２は、対象オブジェクトの大きさを変えず、オブジェクトのきめ細かい制御ができる。
　表示制御部１１２は、検知部１１１がモーション入力手段３０への変更を検知した場合に、表示形態情報に基づき、タッチパネル４０とユーザの指等との距離に従って、ＧＵＩオブジェクトを拡大表示又は縮小表示させる。これにより、ユーザがタッチ操作しようとする前に操作しようとしているＧＵＩオブジェクトを判断し、対象のＧＵＩオブジェクトを最適な表示にすることができる。
　〔Ｄ〕その他
　開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
　なお、本発明の各実施形態が開示されていれば、本発明の情報処理装置，表示制御プログラム及び表示制御方法を当業者によって実施・製造することが可能である。
　１　　　情報処理システム
　１０　　情報処理装置
　１１　　ＣＰＵ（コンピュータ）
　１１１　検知部
　１１２　表示制御部
　１２　　メモリ
　２０　　マウス（ポインティングデバイス）
　３０　　モーションセンサ
　４０　　ディスプレイ（タッチパネル）
　４００　ウインドウ
　４１０　ヒット領域
　４２０　モード変更領域
　４２１　モード変更領域
　５０　　記憶装置
　５１　　第１格納部
　５１０　オブジェクト表示形態情報
　５１１　表示形態情報
　５１２　遷移パターン表示形態情報
　５２　　第２格納部
　５２０　入力履歴情報
　６０　　媒体読取装置
　Ｆ　　　指
　Ｐ　　　ポインタ
　ＲＭ　　記録媒体

Claims (21)

  1. 　複数の入力手段と、
    　Graphical User Interface（ＧＵＩ）オブジェクトに対して、複数種類の表示形態情報を関連付けたオブジェクト表示形態情報を格納する第１格納部と、
    　入力手段の変更を検知する検知部と、
    　検知された変更後の前記入力手段に応じて、前記ＧＵＩオブジェクトについての表示形態情報を選択し、選択した当該表示形態情報を用いて前記ＧＵＩオブジェクトを表示させる表示制御部と、
    を備えることを特徴とする、情報処理装置。
  2. 　前記複数の入力手段による入力の履歴を示す入力履歴情報を格納する第２格納部をさらに備え、
    　前記検知部は、検知した入力手段に関する情報を前記入力履歴情報として前記第２格納部に格納させ、
    　前記表示制御部は、前記入力履歴情報に基づき、前記ＧＵＩオブジェクトについての表示形態情報を選択する、
    ことを特徴とする、請求項１に記載の情報処理装置。
  3. 　前記オブジェト表示形態情報は、複数種類の遷移パターン表示形態情報を含み、
    　前記表示制御部は、前記入力履歴情報において所定の入力手段の遷移パターンがある場合に、前記入力履歴情報に基づいた前記ＧＵＩオブジェクトについての遷移パターン表示形態情報を選択する、
    ことを特徴とする、請求項２に記載の情報処理装置。
  4. 　前記複数の入力手段は、
    　前記ＧＵＩオブジェクトをポインティングデバイスにより操作するポインティングデバイス入力手段と、
    　前記ＧＵＩオブジェクトをタッチ入力により操作するタッチ入力手段と、
    　前記ＧＵＩオブジェクトをユーザの動作により操作するモーション入力手段と、
    のうち少なくとも２つを有することを特徴とする、請求項３に記載の情報処理装置。
  5. 　前記表示制御部は、前記入力履歴情報において前記遷移パターンとして前記タッチ入力手段から前記モーション入力手段への遷移がある場合に、前記タッチ入力手段によって選択されたＧＵＩオブジェクトを強調表示させる、
    ことを特徴とする、請求項４に記載の情報処理装置。
  6. 　前記表示制御部は、前記検知部が前記モーション入力手段への変更を検知した場合に、前記表示形態情報に基づき、当該情報処理装置の画面と前記ユーザとの距離に従って、前記ＧＵＩオブジェクトを拡大表示又は縮小表示させる、
    ことを特徴とする、請求項４又は５に記載の情報処理装置。
  7. 　前記表示制御部は、前記検知部が前記タッチ入力手段への変更を検知した場合に、前記表示形態情報に基づき、前記ＧＵＩオブジェクトを拡大表示させる、
    ことを特徴とする、請求項４～６のいずれか１項に記載の情報処理装置。
  8. 　複数の入力手段を有する情報処理装置に備えられるコンピュータに、
    　入力手段の変更を検知し、
    　検知された変更後の前記入力手段に応じて、第１格納部に格納された、Graphical User Interface（ＧＵＩ）オブジェクトに対して、複数種類の表示形態情報を関連付けたオブジェクト表示形態情報から、前記ＧＵＩオブジェクトについての表示形態情報を選択し、選択した当該表示形態情報を用いて前記ＧＵＩオブジェクトを表示させる、
    処理を実行させることを特徴とする、表示制御プログラム。
  9. 　検知した入力手段に関する情報を前記複数の入力手段による入力の履歴を示す入力履歴情報として第２格納部に格納し、
    　前記入力履歴情報に基づき、前記ＧＵＩオブジェクトについての表示形態情報を選択する、
    処理を前記コンピュータに実行させることを特徴とする、請求項８に記載の表示制御プログラム。
  10. 　前記オブジェト表示形態情報は、複数種類の遷移パターン表示形態情報を含み、
    　前記入力履歴情報において所定の入力手段の遷移パターンがある場合に、前記入力履歴情報に基づいた前記ＧＵＩオブジェクトについての遷移パターン表示形態情報を選択する、
    処理を前記コンピュータに実行させることを特徴とする、請求項９に記載の表示制御プログラム。
  11. 　前記複数の入力手段は、
    　前記ＧＵＩオブジェクトをポインティングデバイスにより操作するポインティングデバイス入力手段と、
    　前記ＧＵＩオブジェクトをタッチ入力により操作するタッチ入力手段と、
    　前記ＧＵＩオブジェクトをユーザの動作により操作するモーション入力手段と、
    のうち少なくとも２つを有することを特徴とする、請求項１０に記載の表示制御プログラム。
  12. 　前記入力履歴情報において前記遷移パターンとして前記タッチ入力手段から前記モーション入力手段への遷移がある場合に、前記タッチ入力手段によって選択されたＧＵＩオブジェクトを強調表示させる、
    処理を前記コンピュータに実行させることを特徴とする、請求項１１に記載の表示制御プログラム。
  13. 　前記モーション入力手段への変更を検知した場合に、前記表示形態情報に基づき、前記情報処理装置の画面と前記ユーザとの距離に従って、前記ＧＵＩオブジェクトを拡大表示又は縮小表示させる、
    処理を前記コンピュータに実行させることを特徴とする、請求項１１又は１２に記載の表示制御プログラム。
  14. 　前記タッチ入力手段への変更を検知した場合に、前記表示形態情報に基づき、前記ＧＵＩオブジェクトを拡大表示させる、
    処理を前記コンピュータに実行させることを特徴とする、請求項１１～１３のいずれか１項に記載の表示制御プログラム。
  15. 　複数の入力手段を有する情報処理装置において、
    　入力手段の変更を検知し、
    　検知された変更後の前記入力手段に応じて、第１格納部に格納された、Graphical User Interface（ＧＵＩ）オブジェクトに対して、複数種類の表示形態情報を関連付けたオブジェクト表示形態情報から、前記ＧＵＩオブジェクトについての表示形態情報を選択し、選択した当該表示形態情報を用いて前記ＧＵＩオブジェクトを表示させる、
    ことを特徴とする、表示制御方法。
  16. 　検知した入力手段に関する情報を前記複数の入力手段による入力の履歴を示す入力履歴情報として第２格納部に格納し、
    　前記入力履歴情報に基づき、前記ＧＵＩオブジェクトについての表示形態情報を選択する、
    ことを特徴とする、請求項１５に記載の表示制御方法。
  17. 　前記オブジェト表示形態情報は、複数種類の遷移パターン表示形態情報を含み、
    　前記入力履歴情報において所定の入力手段の遷移パターンがある場合に、前記入力履歴情報に基づいた前記ＧＵＩオブジェクトについての遷移パターン表示形態情報を選択する、
    ことを特徴とする、請求項１６に記載の表示制御方法。
  18. 　前記複数の入力手段は、
    　前記ＧＵＩオブジェクトをポインティングデバイスにより操作するポインティングデバイス入力手段と、
    　前記ＧＵＩオブジェクトをタッチ入力により操作するタッチ入力手段と、
    　前記ＧＵＩオブジェクトをユーザの動作により操作するモーション入力手段と、
    のうち少なくとも２つを有することを特徴とする、請求項１７に記載の表示制御方法。
  19. 　前記入力履歴情報において前記遷移パターンとして前記タッチ入力手段から前記モーション入力手段への遷移がある場合に、前記タッチ入力手段によって選択されたＧＵＩオブジェクトを強調表示させる、
    ことを特徴とする、請求項１８に記載の表示制御方法。
  20. 　前記モーション入力手段への変更を検知した場合に、前記表示形態情報に基づき、前記情報処理装置の画面と前記ユーザとの距離に従って、前記ＧＵＩオブジェクトを拡大表示又は縮小表示させる、
    ことを特徴とする、請求項１８又は１９に記載の表示制御方法。
  21. 　前記タッチ入力手段への変更を検知した場合に、前記表示形態情報に基づき、前記ＧＵＩオブジェクトを拡大表示させる、
    ことを特徴とする、請求項１８～２０のいずれか１項に記載の表示制御方法。
PCT/JP2013/073345 2013-08-30 2013-08-30 情報処理装置，表示制御プログラム及び表示制御方法 WO2015029222A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2013/073345 WO2015029222A1 (ja) 2013-08-30 2013-08-30 情報処理装置，表示制御プログラム及び表示制御方法
JP2015533897A JPWO2015029222A1 (ja) 2013-08-30 2013-08-30 情報処理装置，表示制御プログラム及び表示制御方法
US15/055,175 US20160179352A1 (en) 2013-08-30 2016-02-26 Information processing apparatus, computer-readable recording medium storing display control program, and display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/073345 WO2015029222A1 (ja) 2013-08-30 2013-08-30 情報処理装置，表示制御プログラム及び表示制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/055,175 Continuation US20160179352A1 (en) 2013-08-30 2016-02-26 Information processing apparatus, computer-readable recording medium storing display control program, and display control method

Publications (1)

Publication Number Publication Date
WO2015029222A1 true WO2015029222A1 (ja) 2015-03-05

Family

ID=52585836

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/073345 WO2015029222A1 (ja) 2013-08-30 2013-08-30 情報処理装置，表示制御プログラム及び表示制御方法

Country Status (3)

Country Link
US (1) US20160179352A1 (ja)
JP (1) JPWO2015029222A1 (ja)
WO (1) WO2015029222A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015060468A (ja) * 2013-09-19 2015-03-30 シャープ株式会社 表示制御装置、および、制御プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963044B2 (en) * 2016-09-30 2021-03-30 Intel Corporation Apparatus, system and method for dynamic modification of a graphical user interface
KR102480573B1 (ko) 2016-10-05 2022-12-23 바이오레이즈, 인크. 치과용 시스템 및 방법
DE102017201236B4 (de) * 2017-01-26 2023-09-07 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Bediensystems, Bediensystem und Fahrzeug mit einem Bediensystem

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020759A (ja) * 2007-07-12 2009-01-29 Sony Corp 入力装置、記憶媒体、情報入力方法及び電子機器
WO2010050477A1 (ja) * 2008-10-28 2010-05-06 シャープ株式会社 ２つの表示装置を有する電子機器、その制御方法および記録媒体
WO2012070538A1 (ja) * 2010-11-22 2012-05-31 シャープ株式会社 電子機器、表示制御方法、およびプログラム
JP2012181879A (ja) * 2012-06-27 2012-09-20 Nec Infrontia Corp 端末およびソフトウェアキー入力方法ならびにそのためのプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63201812A (ja) * 1987-02-18 1988-08-19 Hitachi Ltd マンマシンインタフエ−ス装置
JPH07175587A (ja) * 1993-10-28 1995-07-14 Hitachi Ltd 情報処理装置
JPH08101759A (ja) * 1994-09-30 1996-04-16 Ricoh Co Ltd 複数種類の入力手段を有する電子機器
JP2001117686A (ja) * 1999-10-20 2001-04-27 Toshiba Corp ペン入力装置およびペン入力装置のポインティング処理方法
JP2007011459A (ja) * 2005-06-28 2007-01-18 Konica Minolta Business Technologies Inc 画像形成装置
US10031549B2 (en) * 2008-07-10 2018-07-24 Apple Inc. Transitioning between modes of input
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
US20110148786A1 (en) * 2009-12-18 2011-06-23 Synaptics Incorporated Method and apparatus for changing operating modes
KR101748668B1 (ko) * 2011-04-14 2017-06-19 엘지전자 주식회사 이동 단말기 및 그의 입체영상 제어방법
US8645874B2 (en) * 2011-06-14 2014-02-04 Nintendo Co., Ltd. Multi-page sorting for menu items on a handheld
JP2013125247A (ja) * 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置
US9928562B2 (en) * 2012-01-20 2018-03-27 Microsoft Technology Licensing, Llc Touch mode and input type recognition
US9335922B2 (en) * 2013-01-16 2016-05-10 Research In Motion Limited Electronic device including three-dimensional gesture detecting display
US9026939B2 (en) * 2013-06-13 2015-05-05 Google Inc. Automatically switching between input modes for a user interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020759A (ja) * 2007-07-12 2009-01-29 Sony Corp 入力装置、記憶媒体、情報入力方法及び電子機器
WO2010050477A1 (ja) * 2008-10-28 2010-05-06 シャープ株式会社 ２つの表示装置を有する電子機器、その制御方法および記録媒体
WO2012070538A1 (ja) * 2010-11-22 2012-05-31 シャープ株式会社 電子機器、表示制御方法、およびプログラム
JP2012181879A (ja) * 2012-06-27 2012-09-20 Nec Infrontia Corp 端末およびソフトウェアキー入力方法ならびにそのためのプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015060468A (ja) * 2013-09-19 2015-03-30 シャープ株式会社 表示制御装置、および、制御プログラム

Also Published As

Publication number Publication date
JPWO2015029222A1 (ja) 2017-03-02
US20160179352A1 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
JP5625599B2 (ja) 情報処理装置、情報処理方法、及びプログラム
EP2766793B1 (en) Enhanced target selection for a touch-based input enabled user interface
JP5402322B2 (ja) 情報処理装置および情報処理方法
EP2917814B1 (en) Touch-sensitive bezel techniques
JP4752887B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP5287403B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5664147B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5102412B1 (ja) 情報端末、情報端末の制御方法、及び、プログラム
US20110227947A1 (en) Multi-Touch User Interface Interaction
JP2010176332A (ja) 情報処理装置、情報処理方法およびプログラム
US20120032903A1 (en) Information processing apparatus, information processing method, and computer program
US20140082559A1 (en) Control area for facilitating user input
JP5679977B2 (ja) 接触入力位置補正装置、入力装置、接触入力位置補正方法、プログラム、及び集積回路
JP2010224663A5 (ja)
KR102205283B1 (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
CN102346637A (zh) 信息处理装置、信息处理方法及计算机程序
WO2015029222A1 (ja) 情報処理装置，表示制御プログラム及び表示制御方法
JP2010139686A (ja) プロジェクター、プログラムおよび情報記憶媒体
US9292185B2 (en) Display device and display method
JP2010211323A (ja) 入力システム、携帯端末、入出力装置、入力システム制御プログラム、コンピュータ読み取り可能な記録媒体、および、入力システムの制御方法
TW201617793A (zh) 穿戴式裝置及其操作方法
JP2012146017A (ja) 電子黒板システム、電子黒板システムの制御方法、プログラムおよびその記録媒体
JP5065838B2 (ja) 座標入力装置
JP6331022B2 (ja) 表示装置、表示制御方法、及び表示制御プログラム
KR20100107611A (ko) 단말 제어 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13892344

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015533897

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13892344

Country of ref document: EP

Kind code of ref document: A1