WO2008074223A1 - Dispositif d'interaction entre l'homme et l'ordinateur, dispositif électronique, et procédé permettant une interaction entre l'homme et l'ordinateur - Google Patents

Dispositif d'interaction entre l'homme et l'ordinateur, dispositif électronique, et procédé permettant une interaction entre l'homme et l'ordinateur Download PDF

Info

Publication number
WO2008074223A1
WO2008074223A1 PCT/CN2007/003670 CN2007003670W WO2008074223A1 WO 2008074223 A1 WO2008074223 A1 WO 2008074223A1 CN 2007003670 W CN2007003670 W CN 2007003670W WO 2008074223 A1 WO2008074223 A1 WO 2008074223A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
mouse
devices
area
keyboard
Prior art date
Application number
PCT/CN2007/003670
Other languages
English (en)
French (fr)
Inventor
Bo Qiu
Original Assignee
Bo Qiu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bo Qiu filed Critical Bo Qiu
Priority to EP07845978A priority Critical patent/EP2105823A4/en
Priority to JP2009541737A priority patent/JP2010514020A/ja
Priority to CN200780047057.5A priority patent/CN101595445B/zh
Priority to US12/520,181 priority patent/US20100109999A1/en
Priority to AU2007335142A priority patent/AU2007335142A1/en
Priority to CN201610578564.2A priority patent/CN106484125B/zh
Publication of WO2008074223A1 publication Critical patent/WO2008074223A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/021—Arrangements integrating additional peripherals in a keyboard, e.g. card or barcode reader, optical scanner
    • G06F3/0213—Arrangements providing an integrated pointing device in a keyboard, e.g. trackball, mini-joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Definitions

  • the invention mainly relates to the field of computer human-computer interaction (HCI), and particularly relates to a human-computer interaction device, an electronic device and a human-computer interaction method.
  • HCI computer human-computer interaction
  • Computer-aided devices are an indispensable part.
  • Human-computer interaction devices are important computer-aided devices in the process of human-computer interaction, such as keyboards, mice, and tablets.
  • Hard keyboard including external keyboard, such as the ordinary external keyboard of the desktop; also includes a keyboard integrated with the mainframe, such as a keyboard integrated with the mainframe of a laptop or a palmtop computer; and a special keyboard, such as a numerical control device, a cash register, etc. Keyboard, and more.
  • Soft keyboard a keyboard graphic displayed on the screen, which can be input by mouse or touch.
  • the soft keyboard is an input device that can be displayed as a soft keyboard that can be used in electronic devices such as portable devices, consoles or control panels.
  • An external mouse such as a commonly used scroll wheel or optical mouse
  • An external trackball similar to an input device of a mouse, can directly move the trackball by hand to realize the movement of the cursor, and can also be provided with a button to achieve the same function as the left and right buttons of the mouse;
  • a touchpad or a touchscreen is a device for inputting or outputting a touch; a touchpad, also called a touchpad (English, TouchPad), is a touchpad mouse that is widely used in notebook computers and is located under the host keyboard.
  • the touchpad is very simple to use, the finger touches the touchpad below the keyboard, and the cursor moves with it; tapping the surface of the touchpad will be recognized as a corresponding mouse operation such as clicking or double clicking.
  • the pointing stick English for TrackPoint, was invented by IBM. It is currently found in IBM's laptops. It has a small button located between the G, B, and H keys of the keyboard. There are two large buttons below the blank button. Button, where the small button senses the magnitude and direction of the finger thrust and is
  • the external tablet is connected to the computer to complete the input functions such as Chinese characters and graphics.
  • the composite tablet is integrated with the touchpad, that is, the function of inputting Chinese characters and graphics on the touchpad is realized on the touchpad.
  • the application combination of the keyboard and the mouse in the computer is mainly divided into the following ways, and the tablet can be externally connected to the host or implemented by the touchpad.
  • Method 1 the mouse is connected to the host
  • Method 2 the device and the keyboard for realizing the mouse function are fixed on the host
  • This method is the way the notebook computer is currently used.
  • One is to set a touchpad under the fixed keyboard of the notebook computer.
  • the disadvantage is that the front arm needs to be moved frequently due to the certain distance between the keyboard and the touchpad during operation. , work efficiency is low.
  • the second is to set the pointing stick in the fixed keyboard of the laptop, and set two big under the blank key.
  • the disadvantage is that there is a certain distance between the two big buttons and the keyboard, and the forearm needs to be moved frequently, and the working efficiency is low. Summary of the invention
  • the technical problem to be solved by the present invention is to provide a human-computer interaction input/output device, an electronic device and a human-computer interaction method, which reduces the operation area of the key input and the mouse function, and can realize the key input and the mouse function without moving the forearm. high working efficiency.
  • a human-machine interaction device comprising: a second input device and a first input device for implementing a mouse function, wherein the second input device is located at least in an area where the first input device is located There is a partial overlap, the area where the first input device is located is composed of an area where one or more input keys are located, and does not include an area between the respective input keys;
  • All of the first input devices described above may be replaced with some type of input device, wherein the input device includes a key input device.
  • the area overlap or area multiplexing is area overlap or area multiplexing in the same time or in different time; or
  • the first input device is a key input device, that is, a device that realizes input by a key operation
  • the "key” includes one or more of the following forms: a form on a keyboard or a control panel, invisible, Invisible or visible keys, buttons, icons, menu items, commands, command settings, display modes, buttons or commands or icons that can be clicked, graphics similar to input and/or output devices; software implemented or displayed Forms, invisible, invisible or visible, implicit, explicit or displayed keys, buttons, icons, menu items, commands, command settings, display methods, buttons or clickable operations on the keyboard or control panel Command or illustration, similar to the graphics of the input and / or output device; or,
  • the second input device is a mouse emulation device for implementing a mouse function
  • the mouse functions include, but are not limited to, one or more of the following functions: executing, selecting, dragging, displaying a menu, moving a cursor, scrolling display Screen, and multi-dimensional simultaneous display
  • the key input device and/or the mouse simulation device include the following types of input devices or input/output devices or a combination thereof, or soft devices implemented on the input and output device: an electronic whiteboard, a whiteboard, a projection keyboard device, a touch screen, a touch panel, Other touch devices, electric input devices, electromagnetic induction devices, pressure devices, infrared devices, laser devices, mechanical devices.
  • the above human-machine interaction device can also have the following features:
  • the mouse emulation device is multiplexed with an area overlapping the button area, and at least works in two modes of a key input and a mouse function;
  • the operation area of the mouse simulation device coincides with or overlaps with the key operation area of the key input device, that is, the same area can be used or implemented as a function of different, any multiple devices. .
  • the mouse emulation device includes one or more auxiliary components in or outside a key operation area of the key input device, and these auxiliary components are used to implement all or part of the mouse function of the human-machine interaction device; or, The implementation of the split mouse function, including the 'display ⁇ single' or 'multi-dimensional simultaneous display' function.
  • the above human-machine interaction device can also have the following features:
  • the human-machine interaction device is further provided with one or more control switches for turning on or off the mouse function.
  • the control switch is a soft control switch or a hard control switch, and the area of the switch is: in the first or the first Within or around the area where the input device is located; or,
  • the control switch adopts one or a combination of the following forms: at least one independently set button
  • the mouse emulation device includes one or more main emulation devices, and one or more auxiliary components disposed in or around a button region of the key input device, the main emulation device and the touch device implementing the All or part of the mouse function of the human-machine interaction device includes at least an auxiliary component that implements a cursor movement function and an auxiliary component that implements a mouse button function;
  • the auxiliary element comprises one or a combination of: at least one pointing stick, at least one rolling ball controlling the movement of the target, at least one scroll wheel controlling the movement of the target, at least one pressing operation for confirming the operation, at least one touch device, and At least one operation button that can work in the mouse function mode.
  • the above human-machine interaction device can also have the following features:
  • the key input device is a keyboard
  • the mouse simulation device includes a main simulation device disposed on the left or right side of the keyboard, and a plurality of buttons disposed on the other side of the keyboard, and the plurality of buttons can be selected to include standard fingering
  • the middle finger returns one or more keys on the button after the button is pressed to implement the button function of the mouse; or
  • the button input device is a keyboard
  • the mouse simulation device includes a main simulation device disposed on the keyboard, and a plurality of buttons disposed in the keyboard button region and outside the main simulation device, where the buttons are In the standard fingering, the left-hand operation button is used to implement the left mouse button function, and the right-hand operation button in the standard fingering method is used to implement the right mouse button function;
  • the main analog device may include, but is not limited to, the following types of input devices or input/output devices or a combination thereof: electronic whiteboard, whiteboard, projection keyboard device, touch rhinoceros, touch pad, other touch devices, electrical input devices, electromagnetic induction devices , pressure device, infrared device, laser device, mechanical device.
  • the above human-machine interaction device can also have the following features:
  • the key input device is a soft keyboard or a soft control panel displayed on the human-machine interaction device
  • the mouse simulation device is a soft device displayed on the human-machine interaction device
  • the human-machine interaction device is further provided with one or a plurality of hard control switches or soft control switches for turning on or off the mouse function
  • the human-machine interaction device may include but is not limited to the following types of input devices or input/output devices or a combination thereof: electronic whiteboard, whiteboard, projection keyboard device , touch screen, touch pad, other touch devices, electric input devices, electromagnetic induction devices, pressure devices, infrared devices, laser devices.
  • the above human-machine interaction device can also have the following features:
  • the button input device is a soft device displayed on the human-machine interaction device, and a surface of the button area is provided with a completely transparent shape of a button or a film between completely transparent and completely opaque, and the film is provided with a keyboard.
  • the human-machine interaction device includes, but is not limited to, one or a combination of the following devices: an electronic whiteboard, a whiteboard, a projection keyboard device, a touch thick, a touchpad, other touch devices, an electrical input device, and an electric device Magnetic induction device, pressure device, infrared device, laser device.
  • the above human-machine interaction device can also have the following features:
  • the mouse simulation device includes a main analog device, and the key input device and the main analog device are hard devices, and the main analog device is in a part of a button area of the key input device. Formed by one or more small-sized main analog devices that are identical in shape and size to the button input device and are divided according to a normal key boundary, and the four-block main analog device has a telescopic or movable direction in a vertical direction.
  • the elastic device; wherein the main simulation device may include but is not limited to the following types of input devices or input/output devices or a combination thereof: electronic whiteboard, whiteboard, projection keyboard device, touch screen, touch pad, other touch devices, electrical input Device, electromagnetic induction device, pressure device, infrared device, laser device, mechanical device.
  • the mouse simulation device includes a main simulation device that is divided into multiple regions in a form, invisibly, invisibly or visibly, implicitly, explicitly or displayly, and the mouse function implemented in each region can be
  • the various areas and their functions are fixed, varied, or configurable; the main analog device may include, but is not limited to, the following types of devices or combinations: electronic whiteboard, whiteboard, projection keyboard device, touch screen , touchpad, other touch devices, and electrical input devices, electromagnetic induction devices, pressure devices, infrared devices, laser devices, mechanical devices.
  • the present invention also provides an electronic device comprising the above various human-machine interaction devices.
  • the above electronic device may also have the following features:
  • the human-machine interaction device is a keyboard-type integrated keyboard and mouse simulation device of a mobile phone, other handheld devices or a notebook computer, or a desktop computer keyboard type keyboard and a mouse simulation device provided on the keyboard; or in the form of , invisible, invisible or visible, displayed, explicitly or implicitly disposed on a keyboard emulation device disposed on a keyboard of the electronic device; or in the form of invisible, invisible or visible a device or an implicit device disposed on the input and output device of the electronic device; the input and output device may include but is not limited to the following types of input/output devices or combinations: electronic whiteboard, whiteboard, projection keyboard device, touch screen, touch Control board, other touch devices, electric input devices, electromagnetic induction devices, pressure devices, infrared devices, laser devices.
  • the above electronic device may also have the following features:
  • the above electronic device may also have the following features:
  • the key input device is a soft device displayed or set on the input/output device
  • the mouse simulation device includes a touch panel or other input/output device displayed or set on the input/output device, which is turned on.
  • a soft touchpad or other input/output device that is displayed or set in an overlapping area when the mouse function is displayed, and displays a soft key input device in an overlapping area when the mouse function is turned off; or simultaneously displays the key input device and the touchpad on the input/output device Or other input/output devices, wherein the display area of one of the devices is completely transparent or between completely transparent and opaque;
  • the input and output device includes, but is not limited to, one or a combination of the following devices: an electronic whiteboard, a whiteboard, a projection keyboard device, a touch screen, a touch panel, other touch devices, an electrical input device, an electromagnetic induction device, a pressure device, an infrared device , laser device.
  • the present invention also provides a human-computer interaction method using the human-machine interaction device described above. In the process of inputting through a key input device, if a mouse function is required, some or all of the mouse functions are turned on, and at least part of the mouse function can be selected.
  • the mouse emulation device in the operation area is located in the button area or in other input devices, and in this mode, if it is required to switch to the key input mode or other modes, the mouse function can be selected to be turned off; wherein the key input device and And/or mouse emulation devices include, but are not limited to, the following types of input or input/output devices or combinations, or soft devices implemented on input and output devices: electronic whiteboard, whiteboard, projection keyboard device, touch screen, touch pad, other touch devices, electricity Input device, electromagnetic induction device, pressure device, infrared device, laser device, mechanical device.
  • the mouse function when the mouse simulation device has the main simulation device, the mouse function is separately implemented by the operation of the main simulation device;
  • the mouse function is realized by the operation of the main simulation device and the operation button, wherein the operation button is used to implement part or all of the button functions of the mouse;
  • the mouse simulation device has a main simulation device, and when an auxiliary component is added on the keyboard, the mouse function is realized by operating the main simulation device and the auxiliary component;
  • Mode D when the mouse simulation device has a plurality of auxiliary components added on the keyboard, the mouse function is realized by the operation of the auxiliary component;
  • the mouse simulation device has a main simulation device, and when an auxiliary component is added to the keyboard, the mouse function is implemented by the main simulation device, the auxiliary component and the original button; the mouse function includes Not limited to one or more of the following functions: Execute, select, drag, display menus, move the cursor, scroll the display screen, and multi-dimensional simultaneous display;
  • the main simulation device includes, but is not limited to, the following types of input devices or input/output devices or a combination thereof: an electronic whiteboard, a whiteboard, a projection keyboard device, a touch screen, a touch pad and other touch input devices, an electrical input device, an electrical input device, Electromagnetic induction device, pressure device, infrared device, laser device, mechanical device.
  • the above human-computer interaction method may also have the following features:
  • the mouse emulation device or the main emulation device therein is implicitly, explicitly or displayly divided into a plurality of regions, including an area implementing a cursor moving function, and at least one region for implementing at least one of the following functions: execution, selection , dragging, displaying menus, scrolling screens, multi-dimensional simultaneous moving displays; and the various areas and their functions are fixed, varied or configurable.
  • the above human-computer interaction method may also have the following features:
  • the mouse function is implemented by a main analog device disposed on the left or right side of the button input device button area and a thousand button disposed on the other side of the keyboard, and the plurality of buttons are used in the standard fingering to return the finger after the button
  • the device is implemented by a plurality of buttons disposed outside the main analog device.
  • the left/right hand operated buttons in the standard fingering function are used to implement the function of the left/right mouse button, and the buttons for the right/left hand operation in the standard fingering method are used. Implement the right/left mouse button function.
  • the auxiliary component includes at least: an auxiliary component that implements a cursor movement function and an auxiliary component that implements a mouse button function;
  • the auxiliary component for realizing the mouse movement function adopts one or a combination of the following forms: at least one pointing stick, at least one input device for controlling the movement of the target, at least one rolling ball for controlling the movement of the target, and at least one roller for controlling the movement of the target;
  • the auxiliary element implementing the function of the mouse button adopts one or a combination of at least one button for confirming operation, at least one pointing stick, at least one rolling ball, at least one input device for controlling movement of the target, at least one wheel and At least one operation button that can work in the mouse function mode.
  • the opening and closing of the mouse function is implemented by including one or more of the following manners:
  • the main simulation device includes but is not limited to the following types of input devices or input and output devices or The combination: electronic whiteboard, whiteboard, projection device, touch, touchpad, other touch devices, electrical input devices, electromagnetic induction devices, pressure devices, infrared devices, laser devices, mechanical devices.
  • the above human-computer interaction method may also have the following features:
  • the set movement mode includes at least one of the following: the moving distance of the finger reaches or Exceeding the set value;
  • the number of reciprocating movements of the finger reaches or exceeds the set value
  • the pressure applied by the finger to the at least one button reaches or exceeds the set value
  • the movement path of the finger conforms to the set shape
  • the main analog device implements a mouse function as follows:
  • the first click is regarded as clicking the left button of the mouse, and the first sliding is to control the cursor movement;
  • the last operation When clicked, the last operation is click or slide. If you click on the left click point or the left end of the last stroke, it is regarded as the function of clicking the left mouse button and continuing to click; if clicked on The right click point or the right side of the last stroked end is considered to be a right mouse click;
  • the last operation When clicked, the last operation is click or slide. If the point at the last click or the end of the last stroke starts to slide or swipe within the circle with the radius M in the center, then slide or The swipe is regarded as dragging until there is a click or leave the main simulation device; when swiping, the last operation is the swipe, and the distance from the swiped line is less than N and in the stroke
  • the end point of the motion is the center of the circle with the radius M, which is regarded as the operation of the middle button of the mouse; the M, N is the set distance.
  • the above human-computer interaction method may also have the following features:
  • the key input device is a soft device, and can move according to the movement of the cursor or the finger.
  • the cursor or the finger moves from the current position to the direction of the button to be operated, the finger movement of the entire key input device or the key input device is oriented.
  • the part moves at the same time or at different times with respect to the direction of movement of the finger.
  • the above human-computer interaction method may also have the following features:
  • the mouse simulation device includes a main simulation device, the area of the main simulation device maps all or part of the screen; when clicking a certain point of the main simulation device, the cursor moves to a point on the screen that has a mapping relationship with the point At the same time, when moving one unit on the main simulation device, the cursor also moves by one unit on the screen, or moves multiple units according to the ratio of the main simulation device to the screen size; the main simulation
  • the device includes, but is not limited to, the following types of input devices or input/output devices or combinations thereof: electronic whiteboard, whiteboard, projection 4 device, touch screen, touch pad and other touch input devices, electrical input devices, electrical input devices, electromagnetic induction devices, Pressure device, infrared device, laser device, mechanical device.
  • the above human-computer interaction method may also have the following features:
  • the above human-computer interaction method may also have the following features:
  • the article for realizing the position of the positioning cursor or display the material of which is: soft or hard metal, plastic, wood product, biological product or other soft or hard product.
  • the above human-computer interaction method may also have the following features:
  • the function of controlling the switch can be realized by at least one set of combination keys, and any combination key (such as Ctrl+L) can be set, and the hard touchpad can be turned on or off by pressing the combination key.
  • the function of the control switch can also be implemented irregularly through the custom operation mode on the hard touch panel.
  • Touching and tapping means inputting a certain symbol, text, image, graphic, performing a certain command, a function represented by a key, etc., sliding as a mouse or a multi-dimensional Dynamic function; When sliding more than 5mm, start the touch mouse emulation device, as shown in Figure 2, 20, when tapping a touch character, etc., turn off the touch screen and perform keyboard operation.
  • the human-machine interaction device of the embodiment is provided with a roller 5 for controlling the target motion on the right side of the operation button group, and the keyboard of the human-machine interaction device is a hard keyboard 1 and a mouse.
  • the analog device includes a hard touch panel 20.
  • the roller 5 can also be placed at other positions, and even the gap between some of the operating buttons can be increased to set the roller 5 to the gap position.
  • This embodiment Although only one roller 5 is shown, a plurality of rollers can be provided. Similarly, a roller can be added to the base of the second embodiment and the third embodiment to obtain another embodiment.
  • the mouse function of this embodiment is implemented by mode C.
  • the hard touchpad uses the traditional hard touchpad to implement the mouse movement and part of the button function, and clicks the button 6 to realize the function of clicking the right mouse button (or the left button, the middle button).
  • all the functions of the mouse can be realized. For example, when the two left and right buttons are set, the left and right functions of the mouse can be realized separately. Or set 3 buttons to realize the function of left, center and right mouse.
  • the button 6 can be used to control the opening and closing of the mouse function, such as by pressing the button 6 to turn the hard trackpad and function on or off.
  • the mouse function can be implemented in mode A or mode B.
  • the function of opening and closing the mouse is realized by other methods such as a combination of a button, a custom operation mode of a hard trackpad, and the like.
  • the mouse function is realized by the following methods: Two pointing sticks 4 arranged between the operation buttons R, T and F and the operation buttons Y, U and H are used to control the cursor respectively. Move and realize the function of scrolling the middle wheel of the mouse (optional), the button 6 set between the operation buttons E, R and D and between the operation buttons U, I and J (located on the left and right sides of the keyboard line) is used to realize the left and right mouse buttons Click, double click, etc.
  • mode D the manner in which the hard touch panel is not used, and the mouse function is realized by the auxiliary elements added in the keyboard operation area is referred to as mode D.
  • a button or a pointing stick can be added to control the opening and closing of the mouse function, or by a custom operation such as tapping on the above pointing stick.
  • the interval between the two keys pressed is 100 milliseconds (this value should be set), and is counted as a combination key that is input at the same time.
  • the keys and keyboard are the same size as the hard keyboard of the IBM ThinkPad X61s laptop.
  • the keyboard has shortcut keys such as 1E, WORD, Outlook, power button, etc., and its position with the outermost key and the position of the indicator light are slightly changed to make the soft keyboard rectangular.
  • the original space bar is reduced, leaving the left side of the space bar as the toggle button.
  • the soft touch panel 2 and the soft keyboard 7 may not be displayed when displaying content, and the entire surface of the touch screen 8 serves as a display area, and the soft touch panel 2 is displayed in the input area only when the operator needs input. And/or the soft keyboard 7, this process can be implemented by a set changeover switch or command, as mentioned above or by the operator activating the input area via the touch screen 8, displaying the soft trackpad 2 and/or the soft keyboard 7.
  • the display of the soft touchpad 2 and the soft keyboard 7 overlaps, and the soft touchpad 2 can be used to cover the soft keyboard 7.
  • the usual coverage method is that the soft touchpad has an outer frame, and the interior thereof is transparent or nearly transparent. Its transparency does not affect the operator's use of the soft keyboard 7 as a standard.
  • using software to implement the soft keyboard 7 can also achieve similar results by covering the soft touchpad 2.
  • the various embodiments mentioned above and their possible variations will also involve how to set a control switch to control the opening or closing of the touchpad (soft or hard), in the manners mentioned in the first to eighth embodiments.
  • the hard control switch for the soft keyboard is the soft control switch.
  • the soft control switch may be a soft pointing stick, a soft scroll wheel, a soft button for confirming the operation independently set, a combination key or a custom operation mode on the touch panel, or a combination of the above.
  • the mouse function can be implemented on the touchpad in the following special manner, which belongs to the mode A, but is different from the existing touchpad operation, hereinafter referred to as mode A E :
  • the pattern in Figure 13 simulates the shape of the mouse, including an elliptical outline with a small ellipse 103 in the center of the upper portion and a large ellipse 101 underneath, with the remainder of the outer contour separated by the two ellipse , the right two parts 105, 107.
  • the ellipse 101 area is used to provide the function of the entire area of the conventional touch panel, and starts to slide or swipe from the ellipse 101 to realize the function of moving, dragging, and selecting the mouse cursor; the ellipse 103 area is used to provide the function of the middle button of the mouse. Sliding or swiping from the upper ellipse 103 to realize a control display function such as scrolling.
  • the touchpad area can be mapped to full screen (that is, one unit is moved on the touch panel, the cursor can be moved by several units on the screen), or when the unit is moved by one unit on the touch panel, the cursor is also moved by one unit on the screen. .
  • the pattern of the touch panel can be designed as a rectangle as shown in Fig. 15, divided into left and right portions.
  • the left side is at least three rectangular areas from the top, which are used to implement the cutting, copying and pasting operations respectively.
  • the right side includes at least three rectangular areas from the top, which are respectively used for inserting, deleting and clearing operations.
  • the above division is just an example. There are many options for the number, location and corresponding operation of the area.
  • the touchpad can be configured in different ways into multiple areas, which can be displayed or implicit.
  • the touchpad or touch screen in the above mouse emulation device is used to implement most of the mouse functions, and may be referred to as a main emulation device of the mouse.
  • the main emulation device may adopt the following types of devices or combinations: electronic whiteboard, whiteboard, projection keyboard Device, touch screen, touch pad, other touch devices, and electrical input devices, electromagnetic induction devices, pressure devices, infrared devices, laser devices,
  • a soft keyboard film 13 is provided on the surface of the soft keyboard 7, and other aspects are the same as those in the embodiment 9, as shown in FIG.
  • the soft keyboard film 13 is disposed on the surface of the display soft keyboard 7 on the surface of the touch display 8, and is generally slightly larger than the occupied area of the soft keyboard 7.
  • a soft keyboard film 13 which is completely transparent or has a good transparency can be provided on the entire surface of the touch screen 8.
  • the function of the transparent soft keyboard film 13 is to change the hand feeling when inputting.
  • the soft keyboard 7 the operator has the feeling of using a real hard keyboard, and the key and the key on the upper surface can have a groove, such as 0.5 ⁇ deep.
  • the mouse function of this embodiment can adopt any one of the above methods A ⁇ D, A E.
  • a ⁇ D only the operated buttons, the touchpad and the auxiliary components are displayed on the screen. " Device only, the method has not changed.
  • the human-machine interaction device can also be designed to move the button according to the movement of the cursor or the finger. For example, when a finger moves from a certain position to the direction of the button to be operated (sliding, etc.), the portion of the entire key input device such as the keyboard or keyboard on which the finger moves can move relative to the direction in which the finger moves. In this way, in some cases where the screen size is limited and only some of the keys in the keyboard can be displayed, the button to be operated can be moved to the screen for display.
  • Figure 16 shows a foldable phone with a touch screen in the middle that folds the phone at the centerline of Figure 16. In this mobile phone, a standard keyboard is used, and only a part of the keyboard area can be displayed at a time due to the screen limitation. When such a screen is input, the above method can be used to implement all the keys.
  • the keys or symbols of the keyboard can be in a variety of colors, such as: Q, W, E, R, T, Y, U, I, 0, ⁇ use the first color, such as blue; A, S, D, F, G, H, J, K:, L, : Use the second color, such as red; Z, X, C, V, B, N, M, , , . , I, use the third color, such as green.
  • Q, W, E, R, T, Y, U, I, 0, ⁇ use the first color, such as blue; A, S, D, F, G, H, J, K:, L, : Use the second color, such as red; Z, X, C, V, B, N, M, , , . , I, use the third color, such as green.
  • a color flashing ⁇ light ⁇ change etc.
  • a color flashing light ⁇ transformation game machine soft keyboard ⁇ mobile keyboard ⁇ computer keyboard, and the like.
  • the human-machine interaction device implemented on the touch screen can be integrated with an electronic device such as a mobile phone or a computer having a touch screen, and an automatic mechanical device. That is, the present invention also provides an electronic device having a touch screen, which employs any of the above-described human-computer interaction devices.
  • the human-machine interaction device can be displayed on the touch screen of the electronic device, or can be controlled to be displayed on the touch screen of the electronic device by whether a person or object touches the input area, hardware or software display switch.
  • the advantage of this method is that the hard keyboard and the touchpad occupying more space on the electronic device are removed, which provides more space for the display screen.
  • the above embodiments mainly describe the operation mode and operation object used for the realization of the mouse function. According to the above, the technical solution of the present invention can be easily implemented by those skilled in the art.
  • One of the human-computer interaction methods of the present invention is a method for turning on or off the mouse function.
  • This method is easier to understand, as shown in Figure 6.
  • Set a button on the keyboard press the button once to turn the mouse on or off, and press again to turn the mouse off or on.
  • the keyboard can be either a hard keyboard or a soft keyboard.
  • the corresponding button is also a hardware button or soft.
  • the combination keys on the computer are often used, such as Ctrl+Alt+del is the common hot start combination key of the computer.
  • the invention can arbitrarily set the combination key (as long as it does not cooperate with the system
  • the combination keys in the conflict such as Ctrl+L, Alt+0, Shift + U..., press the key combination to turn the mouse function on or off, and press the key combination again to turn the mouse function off or on.
  • the keyboard can be a hard keyboard or a soft keyboard.
  • the mouse function can be turned on or off by sequentially pressing the combination key.
  • the pointing stick is set in the operation button area of the hard keyboard, and the pointing stick is turned on or off once, and then the pointing stick is turned off or the mouse function is turned on.
  • This method is to set the rolling ball in the operation button area of the hard keyboard, turn the rolling ball once to turn the mouse function on or off, and if it is continuous during this period (the delay time can be set, the delay time is considered not continuous) Turning the rolling ball realizes the rolling ball function of the ordinary mouse; then turning the rolling ball once again to turn off or turn on the mouse function.
  • the wheel is set in the operation button area of the hard keyboard, and the mouse function is turned on or off once, and during this period, if it is continuous (the delay time can be set, the delay time is considered not continuous)
  • the scroll wheel implements the scroll function of the normal mouse; turn the wheel once again to turn the mouse off or on.
  • the operation of the mouse emulation device is not received within the set time.
  • the mouse function is turned off.
  • the mouse function is turned off. Preventing the button of the mouse emulation device from being pressed or tapped during standby causes a malfunction.
  • This method means that during the input operation of the keyboard, if you want to open the mouse function, you can open the mouse function by simply moving a finger in the touchpad area; this displacement or moving distance The size is larger than the natural sliding distance of the finger on the button during the input operation of the general keyboard to avoid malfunction. Of course, this moving distance can be set by the system as needed.
  • This method means that during the input operation of the keyboard, if you want to open the mouse function, you can open the mouse function by simply moving a finger in the touchpad area; the moving rate is larger than (or less than) the natural movement rate of the finger on the button during the input operation of the general keyboard, so as not to cause a malfunction.
  • this movement rate can be set by the system. Since the moving rate can be set differently than the natural moving speed during the operation of the touchpad, when the mouse function is turned on and the input operation is performed, if the keyboard input is desired, only a finger is performed in the touchpad area. With a quick move, you can turn off the mouse function.
  • This method means that during the input operation of the keyboard, if you want to open the mouse function, you can open the mouse function by simply moving the finger back and forth in the touchpad area; the number of reciprocating movements is larger than The number of natural reciprocating movements of the finger on the button during the input operation of the general keyboard to avoid malfunction.
  • this number of reciprocating movements can be set by the system. Since the number of reciprocating movements can be set differently than the number of natural reciprocating movements during the operation of the touch panel, when the mouse function is turned on and the input operation is performed, if the keyboard input is desired, only the finger is performed in the touch panel area.
  • the mouse function can be turned off by moving back and forth a number of times.
  • the pressure applied by the finger to the at least one button in the touchpad reaches or exceeds the set value. This means that during the input operation of the keyboard, if the mouse function is to be turned on, only the finger is in the touchpad area. Applying a set pressure to at least one button opens the mouse function; The set pressure is greater than the natural pressure of the finger on the button during the normal keyboard input operation to avoid malfunction.
  • the pressure of this setting can be set by the system. Since the pressure of this setting can be set differently from the natural pressure during the operation of the touchpad, when the mouse function is turned on and the input operation is performed, if the keyboard input is desired, only the finger in the touchpad area is at least The mouse function can be turned off by applying a set pressure to a button.
  • any one of these control methods can be used to implement the method of turning on and off the mouse function as long as it has the hardware required for the above control method, such as a touch panel and an auxiliary component.
  • the touch panel when the touch panel is operated such as clicking, swiping/sliding, the pressure is exceeded after a certain pressure (such as the pressure placed on the hand), and the certain strength is recognized as the input of the finger.
  • a certain pressure such as the pressure placed on the hand
  • the present invention provides a touch panel provided in an operation button area of a keyboard.
  • the touch panel When input through the keyboard, the touch panel is opened for operation. No need to move the forearm frequently during use, work efficiently, and bring Convenient.
  • the human-computer interaction device is applied to the integration of the electronic device and the computer, so that the computer human-computer interaction is more convenient, more display space or more fully utilize the display space, so that the functions of the computer, the mobile phone, the PDA, the PIM, the home appliance, etc. It is more convenient and powerful, and it is smaller in size, has more display space or can make full use of the display space, and is more convenient to carry and use.

Description

人机交互装置、 电子装置及人机交互方法
技术领域
本发明主要涉及计算机人机交互（ HCI―— Human Computer Interaction ) 领域， 尤其涉及一种人机交互装置、 电子装置及人机交互方法。 背景技术
当今社会，计算机得到了非常广泛的应用，计算机辅助设备是不可缺少 的部份，人机交互设备又是人机交互过程中重要的计算机辅助设备，如键盘、 鼠标与手写板等。
现有技术的键盘有以下两种：
硬键盘， 包括外接键盘， 如台式机的普通外接键盘； 还包括与主机一体 的键盘， 如笔记本电脑或掌上电脑的与主机一体的键盘； 以及专用键盘， 如 数控设备、 收银机等应用的专用键盘， 等等。
软键盘，显示于屏幕上的键盘图形，可以通过鼠标或触摸的方式输入信 息。软键盘作为输入装置是可以显示的软键盘， 可用于便携式设备、控制台 或控制面板等电子装置。
现有技术鼠标功能的实现装置有以下四种：
外接鼠标， 如常用的滚轮或光电式鼠标；
外接轨迹球， 类似于鼠标的一种输入设备，通过手直接拨动轨迹球来实 现光标的移动， 同时还可设有按键来实现与鼠标左右键相同的功能；
触摸板或触摸屏等为触摸输入或输出的装置； 触控板， 也称触摸板（英 文， TouchPad ) , 如目前笔记本电脑广泛使用的设于主机键盘下方的触摸板 鼠标。触摸板的使用很筒单，手指触摸键盘下方的触摸板，光标会随着移动； 轻敲触摸板的表面将被识别为单击或双击等对应的鼠标操作。
指点杆， 英文为 TrackPoint, 是由 IBM公司发明的， 目前常见于 IBM 的笔记本电脑中， 它有一个小按钮位于键盘的 G、 B、 H三键之间， 在空白 键下方还有两个大按钮，其中小按钮能够感应手指推力的大小和方向， 并由
1
确认本 此来控制鼠标的移动轨迹， 而下方的大按钮相当于标准鼠标的左右键。 现有技术的手写板有以下两种：
外接的手写板， 外接于计算机， 完成如汉字及图形的输入功能； 复合手写板， 与触控板复合成一体，也就是在触控板上实现了手写板的 输入汉字及图形的功能。
以上三种常用的人机输入装置中，键盘和鼠标在计算机中的应用组合主 要分为以下几种方式， 手写板可外接于主机或用触控板实现。
方式一， 鼠标外接于主机
这种方式涉及台式机与笔记本电脑（一些人由于习惯的原因在笔记本电 脑上也会外接鼠标使用） 。
其优点是鼠标使用灵活方便， 其缺点是由于鼠标独立设置，在操作时由 于键盘与鼠标（或手写板）分离， 需要频繁移动前臂， 工作效率低， 同时携 带不方便。
方式二， 实现鼠标功能的装置与键盘固定于主机上
这种方式就是目前笔记本电脑采用的方式，其一是在笔记本电脑的固定 键盘下方设置一个触控板，其缺点是在操作时由于键盘与触控板之间有一定 的距离， 需要频繁移动前臂， 工作效率低。 其二是笔记本电脑的固定的键盘 中设置指点杆，在空白键下方设置两个大 其缺点是两个大按钮与键盘 之间有一定的距离， 需要频繁移动前臂， 工作效率低。 发明内容
本发明要解决的技术问题是提供一种人机交互输入输出装置、电子装置 及人机交互方法，其缩小了按键输入和鼠标功能的操作区域，无需移动前臂 即可实现按键输入和鼠标功能， 工作效率高。
为了解决上述技术问题，本发明提供了一种人机交互装置， 包括第一输 入装置和第二输入装置，其特征在于， 所述第二输入装置的全部或某一功能 至少有部分操作区域位于所述第一输入装置的按键操作区域内； 或者，
一种人机交互装置， 其特征在于， 包括： 第二输入装置或其部分， 以及 第一输入装置或其部分，在包含所述的部分或全部的第二输入装置和所述的 部分或全部的第一输入装置的区域或空间内的任意位置的任意大小的任意 区域内，所述的部分或全部的第二输入装置和所述的部分或全部的第一输入 装置使用相同的区域或空间， 即完全或部分区域重合或区域复用；
或者，
一种人机交互装置， 其特征在于， 包括： 第二输入装置或其部分， 以及 第一输入装置或其部分，在包含所述的部分或全部的第二输入装置和所述的 部分或全部的第一输入装置的区域或空间内的任意位置的任意大小的任意 区域内 ,所述的部分或全部的第二输入装置和所述的部分或全部的第一输入 装置使用相同的区域或空间， 即完全或部分区域重合或区域复用， 所迷区域 重合或区域复用是在相同时间内或者在不同时间内的区域重合或区域复用； 或者，
所迷第二输入装置至少有部分操作区域位于所述除专门 /仅鼠标功能或 有限功能装置之外的第一输入装置的按键操作区域内，其中有限功能装置指 该装置的功能是有限的或该装置的功能的个数是有限的， 专门 /仅鼠标功能 或有限功能装置之外的第一输入装置可包括但不限于硬装置或软装置； 或者，
一种人机交互装置， 其特征在于， 包括： 用于实现鼠标功能的第二输入 装置和第一输入装置，其中， 所述的第二输入装置所在区域与第一输入装置 所在的区域内至少存在部分重合，所述第一输入装置所在的区域是由一个或 多个输入按键所在的区域构成， 且不包括各个输入按键之间的区域；
或者，
一种人机交互装置， 其特征在于， 包括： 用于实现鼠标功能的触控板、 触摸展或其他的硬输入装置， 和第一输入装置， 其中， 所述的触控板、 触摸 屏或其他的硬输入装置为用于通过触摸方式输入的装置，且所述触控板、触 摸屏或其他的硬输入装置所在区域与第一输入装置所在的区域内至少存在 部分重合，所述第一输入装置所在的区域是由一个或多个输入按键所在的区 域以及各个输入按键之间的区域构成；
或者，
一种人机交互装置， 其特征在于， 包括： 用于实现鼠标功能的第二输入 装置和软第一输入装置，其中， 所述的第二输入装置所在区域与软第一输入 装置所在的区域内至少存在部分重合，所述软第一输入装置所在的区域是由 一个或多个输入按键所在的区域以及各个输入按键之间的区域构成；
或者，
一种人机交互装置， 其特征在于， 包括： 用于实现鼠标功能的第二输入 装置和第一软输入装置。
或者，
以上所述所有的第一输入装置可替换为某种输入装置，其中输入装置包 括按键输入装置。
进一步地， 上述人机交互装置还可具有以下特点：
所述区域重合或区域复用是在相同时间内或者在不同时间内的区域重 合或区域复用； 或者，
所述第一输入装置为按键输入装置， 即通过对键操作来实现输入的装 置，所述"键"包括以下形式中的一种或多种：键盘或控制面板上的形式的、 隐形的、 不可见的或可见的键、 按钮、 图标、 菜单项、 命令、 命令设置、 显 示方式、 钮或可以点击操作的命令或图示、 相似于输入和 /或输出装置的图 形； 软件实现的或者显示的键盘或控制面板上的形式的、 隐形的、 不可见的 或可见的、 隐式、显式或显示的键、按 、 图标、 菜单项、命令、命令设置、 显示方式、 钮或可以点击操作的命令或图示、 相似于输入和 /或输出装置的 图形； 或者，
所述第二输入装置为用于实现鼠标功能的鼠标模拟装置，所述鼠标功能 包括但不限于以下功能中的一种或多种： 执行、 选择、 拖动、 显示菜单、 移 动光标、 滚动显示屏幕， 以及多维同时移动显示； 所述按键输入装置和 /或鼠标模拟装置包括以下类型的输入装置或输入 输出装置或其组合， 或输入输出装置上实现的软装置： 电子白板、 白板、投 影键盘装置，触摸屏、触控板、其它触摸装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械装置。
进一步地， 上述人机交互装置还可具有以下特点：
所述鼠标模拟装置包括至少一个键的部分或全部表面或键间的部分或 全部区域，可以位于所述按键输入装置的按键区域内的一独立区域或者一部 分位于按键区域内， 余下部分位于其他区域；
并且 /或者， 所述鼠标模拟装置与所述按键区域重叠的区域复用， 至少 可工作于按键输入和鼠标功能两种模式；
并且 /或者， 所述鼠标模拟装置至少有部分操作区域与所述的按键输入 装置的按键操作区域重合或区域复用，即相同的一个区域可用作或实现不同 的、 任意多个装置的功能。
进一步地， 上述人机交互装置还可具有以下特点：
所述鼠标模拟装置包括在所述按键输入装置的按键操作区域内或外的 一个或多个辅助元件，这些辅助元件用于实现本人机交互装置的全部或部分 鼠标功能； 或者， 这些辅助元件用于实现的郜分鼠标功能， 其中包括 '显示 茱单' 或 '多维同时移动显示' 的功能。
进一步地， 上述人机交互装置还可具有以下特点：
所述人机交互装置上还设置了一个或多个控制开关，用于打开或关闭鼠 标功能，该控制开关为软控制开关或硬控制开关，上述开关的所在的区域为： 在第一或第二输入装置所在区域内或区域周边； 或者，
在与第二输入装置所在区域至少部分重合的第一输入装置的所在区域 内； 或者，
在与第二输入装置所在区域至少部分重合的软 /硬的台式计算机键盘式 键盘、 笔记本计算机键盘式键盘或者键盘长度大于 X厘米的键盘的所在区 域内； 其中 X为 8, 10、 12、 14、 16或 18; 或者， 在离与笫二输入装置所在区域至少部分重合的软 /硬的台式计算机键盘 式键盘、 笔记本计算机键盘式键盘或键盘长度大于 X厘米的键盘的空格按 键的 Y厘米的区域以内的区域内； Y为 1、 3、 5、 7或 9。
进一步地， 上迷人机交互装置还可具有以下特点：
所述控制开关采用以下形式中的一种或者组合： 至少一独立设置的按
¾、 至少一指点杆、 至少一滚动球、 至少一滚轮、 至少一组组合键、 至少一 鼠标模拟装置区域外的操作按键，至少一种在所述人机交互装置上自定义的 操作方式。
进一步地， 上述人机交互装置还可具有以下特点：
所述鼠标模拟装置包括一个或多个主模拟装置，以及在所述按键输入装 置的按键区域内或周边设置的一个或多个辅助元件，所述主模拟装置和所述 触摸装置一起实现所述人机交互装置的全部或部分鼠标功能，至少包括实现 光标移动功能的辅助元件和实现鼠标按键功能的辅助元件；
所述主模拟装置可以包括但不限于以下类型的输入装置或输入输出装 置或其组合： 电子白板、 白板、 投影键盘装置， 触摸屏、 触控板、 其它触摸 装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械 装置。
进一步地， 上述人机交互装置还可具有以下特点：
所述辅助元件包括以下形式中的一种或者组合： 至少一个指点杆、至少 一个控制目标运动的滚动球、至少一个控制目标运动的滚轮、至少一个确认 操作的按¾, 至少一个触摸装置， 以及至少一个可工作于鼠标功能模式的操 作按键。
进一步地， 上述人机交互装置还可具有以下特点：
所述按键输入装置为一键盘，所述鼠标模拟装置包括设置在所述键盘左 侧或右侧的一主模拟装置， 以及设置在键盘另一侧的若干按键，该若干按键 可以选择包含标准指法中手指在按键后返回其上的一个或多个按键，用于实 现鼠标的按键功能； 或者， 所述按键输入装置为一键盘，所述鼠标模拟装置包括设置在所述键盘上 的一主模拟装置，以及设置在键盘按键区域内且在所述主模拟装置外的若干 按键，在该若干按键中，标准指法中左手操作的按键用于实现鼠标左键的功 能， 标准指法中右手操作的按键用于实现鼠标右键功能；
所述主模拟装置可以包括但不限于以下类型的输入装置或输入输出装 置或其组合： 电子白板、 白板、 投影键盘装置， 触摸犀、 触控板、 其它触摸 装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械 装置。
进一步地， 上述人机交互装置还可具有以下特点：
所述按键输入装置为硬键盘或控制面板， 所述鼠标模拟装置为硬装置， 所述按键输入装置的按键区域内或周边还设置一个或多个用于打开和关闭 鼠标功能的硬控制开关，或者，所述鼠标模拟装置上设置有用于打开和关闭 鼠标功能的软控制开关； 或者，
. 所述按键输入装置为显示在人机交互装置上的软键盘或软控制面板，所 述鼠标模拟装置为显示在人机交互装置的软装置，所述人机交互装置上还设 置了一个或多个用于打开或关闭鼠标功能的硬控制开关或者软控制开关；所 述人机交互装置可以包括但不限于以下类型的输入装置或输入输出装置或 其组合： 电子白板、 白板、投影键盘装置， 触摸屏、触控板、其它触摸装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置。
进一步地， 上述人机交互装置还可具有以下特点：
所述按键输入装置为所述人机交互装置上显示的软装置，且在按键区域 的表面设有按键形状的完全透明或介于完全透明和完全不透明之间的膜，该 膜上设有键盘沟紋并具有触感；所述人机交互装置包括且不限于以下装置中 的一种或组合： 电子白板、 白板、 投影键盘装置， 触摸厚、 触控板、 其它触 摸装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置。
进一步地， 上述人机交互装置还可具有以下特点：
所述鼠标模拟装置包括一主模拟装置，所述按键输入装置和所述主模拟 装置均为硬装置，所述主模拟装置在所迷按键输入装置的按键区域内的部分 由一个或多个与所述按键输入装置的按键形状和大小一致，且按照正常键位 边界划分的小块主模拟装置组成，且该 4、块主模拟装置具有可在垂直方向上 伸缩或运动的弹性机构； 其中，所述主模拟装置可以包括但不限于以下类型 的输入装置或输入输出装置或其组合： 电子白板、 白板、投影键盘装置， 触 摸屏、 触控板、 其它触摸装置、 电输入装置、 电磁感应装置、 压力装置、 红 外装置、 激光装置、 机械装置。
进一步地， 上述人机交互装置还可具有以下特点：
所述鼠标模拟装置包括一主模拟装置，所述主模拟装置形式地、隐形地、 不可见地或可见地、 隐式、显式或显示地划分为多个区域，每个区域实现的 鼠标功能可以有所不同， 所述各个区域及其功能是固定的、变化的或是可以 配置的； 所述主模拟装置可以包括但不限于以下类型的装置或组合： 电子白 板、 白板、投影键盘装置、触摸屏、触控板、其它触摸装置、及电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械装置。
本发明还提供了一种电子装置， 包括上述各种人机交互装置。
进一步地， 上述电子装置还可具有以下特点：
所述人机交互装置为手机、其他手持装置或笔记本电脑的键盘式的集成 的键盘和鼠标模拟装置 ,或者为台式计算机键盘式的键盘和在该键盘上设置 的鼠标模拟装置； 或者为形式的、 隐形的、 不可见的或可见的、 显示的、 显 式或隐式设置于所述电子装置的键盘上设置的鼠标模拟装置； 或者为形式 的、 隐形的、 不可见的或可见的、显式或隐式设置于所述电子装置的输入输 出装置上的软装置；所述输入输出装置可以包括但不限于以下类型的输入输 出装置或組合： 电子白板、 白板、 投影键盘装置， 触摸屏、 触控板、 其它触 摸装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置。
进一步地， 上述电子装置还可具有以下特点：
所述人机交互装置为显示于所述电子装置包含的输入输出装置上的软 装置，所述输入输出装置通过硬件或软件的控制来决定在某一区域显示的装 置或内容， 包含实现多种显示装置或显示内容的切换； 所述输入输出装置可 以包括但不限于以下类型的输入输出装置或组合： 电子白板、 白板、投影键 盘装置， 触摸屏、 触控板、 其它触摸装置、 电输入装置、 电磁感应装置、 压 力装置、 红外装置、 激光装置。
进一步地， 上述电子装置还可具有以下特点：
所述按键输入装置为在所迷输入输出装置上显示的或设置的软装置，所 述鼠标模拟装置包括在所述输入输出装置上显示的或设置的触控板或其它 输入输出装置 ,在打开鼠标功能时在重叠区域显示或设置的软触控板或其它 输入输出装置， 关闭鼠标功能时在重叠区域显示软按键输入装置； 或者 在输入输出装置上同时显示所述按键输入装置和触控板或其他输入输 出装置， 其中一个装置的显示区域为完全透明或介于完全透明和不透明之 间；
所述输入输出装置包括且不限于以下装置中的一种或组合： 电子白板、 白板、 投影键盘装置， 触摸屏、 触控板、 其它触摸装置、 电输入装置、 电磁 感应装置、 压力装置、 红外装置、 激光装置。
本发明还提供了一种使用上述人机交互装置的人机交互方法，在通过按 键输入装置输入的过程中 ,如需使用鼠标功能， 则打开部分或全部的鼠标功 能，可以选择对至少有部分操作区域位于按键区域内或其他输入装置内的鼠 标模拟装置进行操作，在该模式下如需切换到按键输入模式或其它模式， 则 可以选择关闭所迷鼠标功能； 其中， 所述按键输入装置和 /或鼠标模拟装置 包括且不限于以下类型的输入或输入输出装置或组合，或输入输出装置上实 现的软装置： 电子白板、 白板、 投影键盘装置， 触摸屏、 触控板、 其它触摸 装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械 装置。
进一步地，上述人机交互方法还可具有以下特点： 所迷鼠标功能通过以 下方式中的一种或多种实现：
方式 A， 鼠标模拟装置具有主模拟装置时， 通过对所述主模拟装置的操 作单独实现鼠标功能； 方式 B, 鼠标模拟装置具有主模拟装置时， 通过对所述主模拟装置， 及 操作按键的操作实现鼠标功能，其中操作按键用于实现鼠标的部分或全部按 键功能；
方式 C，鼠标模拟装置具有主模拟装置，及在键盘上增设的辅助元件时， 通过对所述主模拟装置， 及辅助元件的操作实现鼠标功能；
方式 D, 鼠标模拟装置上具有多个在键盘上增设的辅助元件时， 通过对 所述辅助元件的操作实现鼠标功能；
方式 E, 鼠标模拟装置上具有多个在键盘上增设的辅助元件时， 通过对 所述辅助元件的操作及原有的按键实现鼠标功能；
方式 F,鼠标模拟装置具有主模拟装置，及在键盘上增设的辅助元件时， 通过对所述主模拟装置， 及辅助元件和原有的按键的搡作实现鼠标功能； 所述鼠标功能包括且不限于以下功能中的一种或多种： 执行、 选择、拖 动、 显示菜单、 移动光标、 滚动显示屏幕， 以及多维同时移动显示；
所述主模拟装置包括且不限于以下类型的输入装置或输入输出装置或 其组合： 电子白板、 白板、 投影键盘装置， 触摸屏、 触摸板和其它的触摸输 入装置、 电输入装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械装置。
进一步地， 上述人机交互方法还可具有以下特点：
将所述鼠标模拟装置或其中的主模拟装置隐式、显式或显示地划分为多 个区域， 包括实现光标移动功能的区域， 以及至少一个用于实现以下至少一 个功能的区域： 执行、 选择、 拖动、 显示菜单、 滚动屏幕、 多维同时移动显 示； 且所述各个区域及其功能是固定的、 变化的或是可以配置的。
进一步地， 上述人机交互方法还可具有以下特点：
所述鼠标功能由设置在所述按键输入装置按键区域左侧或右侧的一主 模拟装置和设置在键盘另一侧的若千按键实现，该若干按键为标准指法中手 指在按键后返回其上的一个或多个按键，用于实现鼠标的按键功能； 或者所 述鼠标功能由部分或全部设置在所述按键输入装置按键区域内的一主模拟 装置和设置在所述主模拟装置外的若干按键实现，在该若干按键中，标准指 法中左 /右手操作的按键用于实现鼠标左 /右键的功能，标准指法中右 /左手操 作的按键用于实现鼠标右 /左键功能。
进一步地， 上述人机交互方法还可具有以下特点：
所述辅助元件至少包括：一实现光标移动功能的辅助元件和一实现鼠标 按键功能的辅助元件；
所述实现鼠标移动功能的辅助元件采用以下形式中的一种或者组合：至 少一个指点杆、至少一个控制目标运动的输入装置、至少一个控制目标运动 的滚动球和至少一个控制目标运动的滚轮；
所述实现鼠标按键功能的辅助元件采用 ^下形式中的一种或者组合：至 少一个确认操作的按钮， 至少一个指点杆、 至少一个滚动球、至少一个控制 目标运动的输入装置、至少一个滚轮和至少一个可工作于鼠标功能模式的操 作按键。
进一步地，上述人机交互方法还可具有以下特点： 所述打开和关闭鼠标 功能通过包含以下方式中的一种或多种实现：
通过按下或敲击键盘上独立设置的确认操作的按钮打开或关闭鼠标功 能；
通过按下或顺序敲击键盘上的组合键打开或关闭鼠标功能；
通过触摸指点杆的方式打开或关闭鼠标功能；
通过转动一次滚动球的方式打开或关闭鼠标功能；
通过转动一次滚轮的方式打开或关闭鼠标功能；
接收到鼠标模拟装置操作区域外的键盘的输入操作， 关闭鼠标功能； 设定时间内没有接收到鼠标模拟装置或鼠标模拟装置中的主模拟装置 的操作， 关闭鼠标功能；
通过手指在鼠标模拟装置或鼠标模拟装置中的主模拟装置内设定的移 动方式打开或关闭鼠标功能；
所述主模拟装置包括但不限于以下类型的输入装置或输入输出装置或 其组合： 电子白板、 白板、投影 装置， 触摸 、触控板、其它触摸装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械装置。
进一步地， 上述人机交互方法还可具有以下特点：
所述通过手指在鼠标模拟装置或鼠标模拟装置中的主模拟装置内设定 的移动方式打开或关闭触控板时， 所述设定的移动方式包括以下至少一项： 手指的移动距离达到或超过设定值；
手指的移动速率达到或超过设定值；
手指的往复移动次数达到或超过设定值；
手指对至少一个按键施加的压力达到或超过设定值；
手指从一个按键的表面移动或滑动至另一个按键的表面；
手指的移动轨迹符合设定的形状；
手指单击或默击区域内的定点、 某个区域、 某个区域的顶点。
进一步地，上述人机交互方法还可具有以下特点： 所述主模拟装置按以 下方式实现鼠标功能：
在所述主模拟装置开启后， 若之前无滑动也无点击， 则为第一次点击， 视为点击鼠标的左键， 第一次滑动为控制光标移动；
点击时，之前最后一次操作为点击或滑动，若点击在该最后一次点击的 点或该最后一次划动的终点的左侧，视为点击鼠标左键并继续保持点击的功 能； 若点击在该最后一次点击的点或该最后一次划动的终点的右侧，视为点 击鼠标右键；
点击时，之前最后一次操作为点击或滑动， 若在该最后一次点击的点或 该最后一次划动的终点为中心的半径为 M的圆内开始滑动或划动， 则将其 后的滑动或划动均视为拖动， 直到有点击或离开所述主模拟装置为止； 划动时， 之前最后一次操作为划动， 在离该划动的线的距离小于 N的 区域内且在该划动的终点为中心的半径为 M的圆之外，视为操作鼠标中键； 所述 M, N为设置的距离。 进一步地， 上述人机交互方法还可具有以下特点：
所述按键输入装置为软装置， 且可根据光标或手指的移动而移动， 当光 标或手指从当前位置向要操作的按键方向移动时，整个按键输入装置或按键 输入装置中手指运动所朝向的部分相对于手指运动方向同时或不同时移动。
进一步地， 上述人机交互方法还可具有以下特点：
所述鼠标模拟装置包括主模拟装置，所述主模拟装置的区域映射全部或 部分屏幕； 点击所述主模拟装置的某个点时，光标移动到所述屏幕上与该点 具有映射关系的点上； 同时， 在所述主模拟装置上移动一个单位时， 光标在 所述屏幕上也移动一个单位，或者根据所述主模拟装置与所述 幕大小的比 例移动多个单位；所述主模拟装置包括但不限于以下类型的输入装置或输入 输出装置或其组合： 电子白板、 白板、 投影 4 装置， 触摸屏、 触摸板和其 它的触摸输入装置、 电输入装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械装置。
进一步地， 上述人机交互方法还可具有以下特点：
在对所述鼠标模拟装置操作时， 用软或硬的指曱、 人造的指甲、 指环、 指套、 指尖套、 指上用品、 手上用品或其他物品及其部分和 /或组合来实现 定位光标或显示的位置。
进一步地， 上述人机交互方法还可具有以下特点：
所述用于实现定位光标或显示的位置的物品， 其材料为： 软或硬金属、 塑料、 木制品、 生物制品或其他软或硬制品。
进一步地， 上述人机交互方法还可具有以下特点：
所述用于实现定位光标或显示的位置的物品， 其形状可以是任意形状、 带一个小尖点的物体、 球形、 或椭圆形球面、 或 6、 8、 12、 24面体、 或其 他曲面及其部分和 /或组合。
进一步地， 上述人机交互方法还可具有以下特点：
所述鼠标模拟装置以人体感觉到的接触的人体部分的某种点或部位的 移动， 来实现定位和 /或移动光标及光标的形式的、 隐形的、 不可见的或可 见的位置、 位移或运动相关的或者与光标相对位置关系相关的下列至少一 个： 形式的、 隐形的、 不可见或可见的命令、 命令设置、 显示方式、 图示、 图形、 图像、 命令菜单、 钮、键或可以点击操作的命令或图示、 相似于输入 和 /或输出装置的图形， 人体感觉到的接触的人体部分的某种点或部位包括 接触到的手指的部分的中心点或中心部分； 或者按压的力度、面积或图形来 判断输入操作。.
进一步地， 上述人机交互方法还可具有以下特点：
在对所述按键输入装置和 /或鼠标模拟装置操作时， 用震动、 颤动、 麻 感、 热感、 闪动和 /或其他感觉实现手感、 触感。
从本发明的技术方案可以看出，通过将触控板等鼠标模拟装置设于键盘 的操作按键区域。在通过键盘输入时， 打开鼠标模拟装置进行操作。 无需在 使用时频繁移动前臂， 工作效率高， 并且体积小携带方便。 同时， 将人机交 互装置应用于电子装置与计算机一体化，使计算机人机交互更加便捷、有更 多的显示空间或更能充分利用显示空间， 使计算机、 手机、 PDA、 PIM、 家 电等功能更便捷、 强大的同时， 体积更小， 有更多的显示空间或更能充分利 用显示空间， 更便于携带、使用。 且特别适用于笔记本和台式机等适合双手 输入的装置的输入。 附图概述
图 1为本发明实施例一所述的一种人机交互装置的结构示意图； 图 1为本发明实施例二所述的一种人机交互装置的结构示意图； 图 3为本发明实施例三所述的一种人机交互装置的结构示意图； 图 4为本发明实施例四所述的一种人机交互装置的结构示意图； 图 5为本发明实施例五所述的一种人机交互装置的结构示意图； 图 6为本发明实施例六所述的一种人机交互装置的结构示意图； 图 7为本发明实施例七所述的一种人机交互装置的结构示意图； 图 8为本发明实施例八所述的一种人机交互装置的结构示意图； 图 9 为本发明实施例九所述的一种人机交互装置在触摸屏中布置的示 意图；
图 10为图 9在不显示人机交互装置时的示意图；
图 11为本发明实施例十所述的一种人机交互装置在触摸屏中布置的示 意图， 在图 9中的人机交互装置加上了软键盘膜；
图 12为图 11触摸屏的剖面示意图；
图 13为本发明实施例九中触控板表面显示的鼠标图案的示意图； 图 14为本发明实施例九中触控板表面显示的区域划分的示意图； 图 15为本发明另一实施例九中触控板表面的区域划分的示意图。
图 16为一种在手机屏幕上显示部分键盘的示意图。
图 17为图 16中的部分键盘在整个键盘上的位置的示意图。
图 18A和图 18B是本发明两维同动功能的两种指示方式的示意图。 本发明的较佳实施方式
为了无需移动前臂即可轻易实现键盘输入和鼠标功能，本发明的人机交 互装置将按键输入装置和鼠标模拟装置的操作区域至少部分重叠，使得所有 正常人（非残疾、 弱智等）不用移动手臂即可完成对两者的操作。
本文中，按键输入装置可以是硬键盘、 软键盘， 也可以是任何通过对键 操作来实现输入的装置， '如控制面板。 这里的 "键" 包括以下形式中的一种 或多种：键盘或控制面板上的形式的、隐形的、不可见的或可见的键、按钮、 图标、 菜单项、 命令、 命令设置、 显示方式、 钮或可以点击操作的命令或图 示、 相似于输入和 /或输出装置的图形； 软件实现的或者显示的键盘或控制 面板上的形式的、 隐形的、 不可见的或可见的、 隐式、 显式或显示的键、 按 钮、 图标、 菜单项、 命令、 命令设置、 显示方式、 钮或可以点击操作的命令 或图示、 相似于输入和 /或输出装置的图形。
鼠标模拟装置（也可称为鼠标模拟装置）是泛指除鼠标外的各种用于实 现鼠标功能的装置。 如触摸屏、 触控板、 指点杆、 按钮、 用于实现鼠标功能 的键、 滚轮或其组合等等。 而这里所说的 "鼠标功能"指鼠标可以实现的各 种功能，如执行（命令、 图标）、选择（命令、 图标）、拖动（命令、 图标）、 显示菜单、 滚动显示屏幕、移动光标等， 这些功能在鼠标上通常是通过移动 鼠标以及对鼠标的左键、 中键和右键的操作来实现的。 特别地， 本发明鼠标 功能（也可以直接称为鼠标功能）还可以包括在已有鼠标上没有应用但可以 釆用鼠标实现的功能， 如名称为 "用于 IT领域的同时多维、 增速、 省空间 的系统显示方法，， （中国发明专利申请号： 200610046372.3 ) , "多维信息 显示输出控制方法及装置及输入装置" （国际申请号： PCT/CN2007/001333 ) 中公开的多维同时移动显示的功能。
上述按键输入装置和鼠标模拟装置可以是硬装置，也可以是软装置。且 可以使用各种类型的输入装置或输入输出装置来实现， 如可以是电子白板、 白板、投影键盘装置，触摸屏、触摸板和其它的触摸输入装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械装置。 在这些输入装 置中，有些手指离开输入装置一定的距离也可操作该输入装置。 以下实施例 中仅以其中的部分类型来进行说明。
下面结合附图对本发明的具体实施方式进行详细说明：
实施例一
本实施例的人机交互装置的按键输入装置为硬键盘 1 , 鼠标模拟装置由 硬触控板 20构成，其结构如图 1所示，硬触控板 20包括至少一个操作按键 的部分或全部表面。 图 1中硬触控板 20包括操作^ U、 I、 H、 K、 N与 Μ的部分表面以及操作按键 J的全部表面，占用了硬键盘 1的操作按键区域 内的一个独立区域。该区域包括一个或多个操作按键的部分或全部表面，甚 至将硬键盘的操作按键区域全部设置为硬触控板。 硬触控板 20可以划分为 多个小块硬触控板，如按照正常键位的边界来划分。每个小块硬触控板的结 构与工作原理均相当于现有技术的一块硬触控板，将其组合起来实现一个完 整的硬触控板。小块硬触控板块也可为显示的按键块状的小显示块或小触摸 屏（每个显示块为一个小显示屏或小触摸展）， 且该小块触控板或小触摸展 具有可在垂直方向上伸缩或运动的弹性机构， 可以按下， 有较好的手感。 鼠标功能可以分为两类，一类是移动功能，用于将光标运动到目标位置； 一类是按键功能（将中间的滚轮视为中键），用于实现确认、选中、执行（双 击）、 拖动、 弹出菜单、 滚屏等多种操作。 现有硬触控板可以实现移动功能 和部分按键操作如左键单击、双击、拖动的功能。 一些按键功能则通过硬触 控板下方的按鈕来实现的。本实施例通过对硬触控板的操作就可实现所有鼠 标功能， 且不移动手臂。
由于键盘和硬触控板有重叠部分， 需要切换该部分的工作模式。 即在通 过键盘输入的过程中，打开设于键盘的操作按键区域内的硬触控板，进行硬 触控板操作。 当然， 在完成一组硬触控板搡作后还应该可以关闭硬触控板。
为了便于操作，需要在键盘中设置控制开关来打开或关闭鼠标功能即硬 触控板的功能。对于本实施例来说，可以通过至少一組组合键来实现控制开 关的功能， 可设定任意的组合键（如 Ctrl+L )， 通过按下此组合键来打开或 关闭硬触控板。也可以通过硬触控板上的自定义搡作方式不定期实现控制开 关的功能。 所述自定义操作方式可以是以下方式中的一种或多种： A, 手指 在硬触控板内的移动距离达到或超过设定值； B, 手指在硬触控板内的移动 速率达到或超过设定值； 如 0.5秒划 " /" 或 "X" 长度超过 5cm; C, 手指 在硬触控板内的移动轨迹符合设定的形状，例如： " V " " " " X" " X"； D, 可用单击或双击定点、 某个区域、 某个区域（如键格）的顶点。
本实施例对在硬触控板上的操作进行了拓展，通过以下方式实现所有的 鼠标功能:
在硬触控板开启后， 若之前无滑动也无点击， 则为第一次点击， 视为点 击鼠标的左键， 第一次滑动为控制光标移动。 点击时， 若之前最后一次操作 为点击或滑动（也称为划动）， 则若点击在该最后一次点击的点或该最后一 次划动的终点的左侧，视为点击鼠标左键并继续保持点击的功能，或者视为 设置的其他功能；若点击在该最后一次点击的点或该最后一次划动的终点的 右侧，视为点击鼠标右键； 若在该最后一次点击的点或该最后一次划动的终 点为中心的半径 8mm (或其它设置的值 M )的圆内开始滑动或划动， 则将 其后的滑动或划动均视为拖动， 直到有点击为止； 划动时， 若最后一次操作 为划动， 在离该最后一次划动的线的距离小于 8mm (或其它设置的值 N ) 的区域内且在该划动的终点为中心的半径 ¾nm (或其它设置的值 M )的圆 之外， 视为操作鼠标中键（如滚屏功能） 。
又如， 触摸屏或触摸板实现的软键盘， 点触、 敲击表示输入相应某种符 号、 文字、 图像、 图形、 执行某种命令 \某键所表示的功能等， 滑动用作鼠 标或多维同动功能； 滑动超过 5mm时， 启动触摸 的鼠标模拟装置， 如图 1中的 20, 当有点触输入字符等敲击时， 关闭触摸屏， 进行键盘操作。
以下将这种通过硬触控板单独实现鼠标功能的方式称为方式 A。也可用 触摸屏、 投影键盘、 电子白板等输入装置代替硬触控板实现。 以下实施例 均同此， 不再——说明。
实施例二
本实施例的人机交互装置的按键输入装置为硬键盘 1， 鼠标模拟装置包 括第一硬触控板 21和第二硬触控板 22, 其结构如图 2所示。 第一硬触控板 21包括操作按键 U、 I、 0、 J、 K与 L的部分表面， 第二硬触控板 22包括 操作按键 、 E、 S与 D的全部表面。 本实施例中的硬触控板占用了硬键盘 操作按键区域内的两个独立区域。 且第一、 第二硬触控板 21、 22为两种不 同的形状， 当然在实际使用中第一和第二硬触控板 21、 22也可以采用相同 的形状。在其它实施方式中，硬触控板可以占用更多的独立区域（大于 2 )。
本实施例可以采用组合键或硬触控板上的自定义操作等方式来控制打 开和关闭鼠标功能即硬触控板的功能。 两个硬触控板可同时控制，也可以单 独控制，或者可设置为同时控制或单独控制。在硬触控板上实现鼠标功能的 具体操作方式可采用实施例一描述的方式 A。
实施例三
本实施例人机交互装置的按键输入装置为硬键盘 1 , 鼠标模拟装置包括 硬触控板 23和硬键蠱中的 4个操作按键 "A" 、 "S" 、 "D" 和 "F" 。 其 结构如图 3所示。 硬触控板 23包括至少一个操作按键的部分或全部表面以 及操作按键之间或之夕卜的空置区域表面。 图 3中硬触控板 23包括操作按键 U、 0、 H、 J、 K与 L的部分表面、 操作按键 I的全部表面， 以及操作按键 U、 I与 0上面的操作按键间的空置区域的表面。 本实施例中的硬触控板 23 占用了一个独立区域， 由部分硬键盘操作按键区域和部分空置区域组成，在 其它实施方式中，硬触控板也可以占用更多数目的独立区域， 而其面积可以 大于硬键盘的操作按键区域。
本实施例可以采用组合键或硬触控板上的自定义操作等方式来控制打 开和关闭鼠标功能， 即打开和关闭硬触控板 23及上述 4个按键的功能。 实 现鼠标功能的方式与现在笔记本电脑上的硬触控板与按鈕組合的方式相似， 只是用 "A" 、 "S" 、 "D" 和 "F" 这 4个按键代替了传统的按鈕， 来实 现鼠标的按键功能， 其中 "F"键用于实现右键功能， "A" 键用于实现左 键功能， "S" 和 "D" 键均可实现中键功能。 打开鼠标功能后， 该若干按 键的功能即切换为鼠标按键的功能。 另一种方式是只使用 "A" 、 "S" 、 "D" 3个键， 或者 "S，， 、 "D" 、 "F" 3个键， 从左到右依次实现左、 中、 右键功能。
之所以采用以上几个按键是因为按标准指法，在输入间隔人的左手会返 回到这几个键上，这样在键盘切换到鼠标功能模式后， 能利用双手且不用移 动手指即可实现按键功能， 可以提高输入效率。 明显地， 当硬触控板设置在 键盘的左侧时， 可以利用 "J" 、 "K" 、 "L" 和 "； "键中的 3个或 4个 来实现鼠标的左、 中、 右键的功能。
另一种实施方式是，在打开硬触控板后使整个键盘工作于鼠标按键的功 能模式，将对标准键盘指法中左手使用的任意一个键的操作视为对鼠标的左 键的操作，对右手使用的任意一个键的操作视为对鼠标的右键的操作。 当然 也可以用其他的众多的方式定义或定义更多的功能。
又一种实施方式是，将图 3中硬触控板下方的 3个操作按键" N"、 "M" 和 "," 分别作为左、 中、 右键。 这里的选择很多， 不再一一列举。
以下将这种通过硬触控板和操作按键实现鼠标功能的方式称为方式 B。 当然基于这个实施例的结构， 同样可以采用方式 A来实现鼠标功能。 在实施例一、 实施例二与实施例三的基础上，硬键盘的操作按键区域内 还设有至少一个指点杆、至少一个控制目标运动的滚动球、至少一个控制目 标运动的滚轮和 /或至少一个确认操作的按钮。 构成以下新的实施例。
实施例四
如图 4所示， 本实施例的人机交互装置在实施例一的基础上，在操作按 键0、 H与 B之间设有一个指点杆 4。 人机交互装置的键盘为硬键盘 1 , 鼠 标模拟装置则包括硬触控板 20和指点杆 4。 当然， 指点杆 4也可以设置于 其它操作按键之间。本实施例虽然只给出了一个指点杆 4的示例，但也可设 置多个指点杆。同样，可以在实施例二和实施例三结构的基石出上加上指点杆， 得到另外的实施方式。
本实施例中，指点杆 4可以用于打开和关闭鼠标功能，如通过触动指点 杆来打开或关闭硬触控板和指点杆的鼠标功能。 当然，打开和关闭鼠标功能 仍可以通过按键组合、硬触控板的自定义操作方式等其它方式实现，指点杆 可只用于实现鼠标功能。
本实施例鼠标功能的实现方式中，硬触控板沿用传统硬触控板实现鼠标 移动和部分按键功能的方式，通过敲击上述指点杆 4实现点击鼠标右键 (或 左键、 中键）的功能。 当设置多个指点杆时， 就可以实现鼠标全部的^ 功 能，如设置两个左、右布置的指点杆 4时，可分别实现鼠标左、右键的功能。 或者设置 3个按钮分别实现鼠标左、 中、 右键的功能。 另外， 指点杆也可以 和硬触控板一样，具有鼠标的移动功能， 即操作指点杆和硬触控板均可移动 光标。以下将这种通过硬触控板和在键盘上增设的辅助元件实现鼠标功能的 方式称为方式 C。
当然基于这个实施例的结构， 同样可以采用方式 A和方式 B来实现鼠 标功能。
实施例五
如图 5所示， 本实施例的人机交互装置在实施例一的基础上，在操作按 键組右侧设有一个控制目标运动的滚动球 12, 人机交互装置的键盘为硬键 盘 1 , 鼠标模拟装置包括硬触控板 20。 当然， 滚动球 12也可以设置于其它 位置， 甚至可以加大某些操作按键之间的间隙， 将滚动球 12设于此间隙位 置。 本实施例虽然只给出了一个滚动球 12, 但也可设置多个滚动球。 同样， 可以在实施例二和实施例三结构的基础上加上滚动球， 得到另外的实施方 式。
本实施例中， 滚动球 12可以控制打开和关闭鼠标功能， 如通过触动滚 动球来打开或关闭硬触控板。 鼠标功能可通过方式 A或方式 B实现。
但基于以上结构，在其它实施例中，打开和关闭硬触控板的功能仍可以 通过按键組合、 硬触控板的自定义操作方式等其它方式实现。 而滚动球 12 也可以作为鼠标模拟装置的一部分，用来实现鼠标的按键功能，如用于实现 鼠标中键的滚屏功能或移动光标的功能。 即采用方式 C来实现鼠标功能。
实施例六
如图 6所示，本实施例的人机交互装置在实施例一的基础上，在操作按 键组右侧设有一个控制目标运动的滚轮 5，人机交互装置的键盘为硬键盘 1 , 鼠标模拟装置包括硬触控板 20。 当然， 滚轮 5也可以设置于其它位置， 甚 至可以加大某些操作按键之间的间隙，将滚轮 5设于此间隙位置。本实施例 虽然只给出了一个滚轮 5, 但也可设置多个滚轮。 同样， 可以在实施例二和 实施例三结构的基 上加上滚轮， 得到另外的实施方式。
本实施例中，滚轮 5可以控制打开和关闭鼠标功能， 如通过触动滚轮来 打开或关闭硬触控板。 鼠标功能可通过方式 A或方式 B实现。
但基于以上结构，在其它实施例中， 打开和关闭鼠标功能仍可以通过按 键組合、硬触控板的自定义操作方式等其它方式实现。且滚轮 5也可以作为 鼠标模拟装置的一部分，用来实现鼠标的按键功能， 如用于实现鼠标中键的 滚屏功能。 即采用方式 C来实现鼠标功能。
实施例七
如图 7所示，本实施例的人机交互装置在实施例一的基础上，在操作按 键组左侧设有一个确认操作的按钮 6， 人机交互装置的键盘为硬键盘 1， 鼠 标模拟装置包括硬触控板 20和按 ¾ 6。 当然， 按鈕 6也可以设置于其它位 置，甚至可以改变目前键盘的布置将此按钮 6设于理想位置。本实施例虽然 只给出了一个按钮 6, 但也可设置多个按钮。 同样， 可以在实施例二和实施 例三结构的基 上加上按钮， 得到另外的实施方式。
本实施例中， 打开和关闭鼠标功能通过按键组合、硬触控板的自定义操 作方式等其它方式实现。
本实施例的鼠标功能通过方式 C来实现。硬触控板沿用传统硬触控板实 现鼠标移动和部分按键功能的方式，通过敲击按钮 6实现点击鼠标右键（或 左键、 中键）的功能。 当设置多个按钮时，就可以实现鼠标全部的按键功能， 如设置两个左、 右布置的铵钮时， 可分别实现鼠标左、右键的功能。 或者设 置 3个按钮分别实现鼠标左、 中、 右键的功能。
但基于以上结构，在其它实施例中，按钮 6可以用于控制打开和关闭鼠 标功能， 如通过按动按钮 6来打开或关闭硬触控板和功能。 而鼠标功能可以 采用方式 A或方式 B来实现。
实施例八
本实施例的人机交互装置的按键输入装置为硬键盘 1 , 鼠标模拟装置包 括指点杆 4和按 6， 各设有两个。 如图 8所示， 在普通标准键盘上， 在操 作按键 R、 T与 F间和操作按键丫、 U与 H间各加了一个指点杆 4, 在操作 按键 E、 R与 D间和操作按键 U、 I与 J间各加了一个按鈕 6。 当然，设置上 述指点杆和按钮的位置可以变化， 如还可设置在操作按键0、 F与 C间、 操 作按键 J、 N与 M间、 操作按键 、 G与 V间、 操作按键 H、 J与 N间、 操 作按键 T、 Y与 G间等等。 另外设置的指点杆 4和按钮 6的数目可以是一个 或更多个（3个及以上） 。
本实施例中，打开和关闭鼠标功能通过按键组合、硬触控板的自定义操 作方式等其它方式实现。 而鼠标功能通过以下方式实现： 在操作按键 R、 T 与 F间和操作按键 Y、 U与 H间设置的两个指点杆 4分别用来控制光标的 移动以及实现鼠标中轮的滚屏的功能（可选） , 在操作按键 E、 R与 D间和 操作按键 U、 I与 J间 （位于键盘中线的左右）设置的按钮 6用来实现鼠标 左右键的单击、 双击等功能。 下文中将这种不使用硬触控板， 而完全通过键 盘操作区域内增设的辅助元件实现鼠标功能的方式称为方式 D。
但基于上述结构，在其它实施例中，可以再增加一个按鈕或指点杆来控 制打开和关闭鼠标功能，或者通过对上述指点杆的自定义操作如敲击来实现 这一功能。
以上的人机交互装置可以与采用硬键盘的手机、计算机等电子装置、 自 动机械装置合为一体。 即本发明还提供了一种采用硬键盘的电子装置，可以 采用上述提到的任意一种的人机交互装置。该人机交互装置可以设于电子装 置的主机上，如在目前的笔记本电脑的固定操作按键的部分或全部表面，或 操作按键间的空置区域表面设置硬触控板或辅助元件。或者，在台式机的键 盘上设置所述硬触控板或辅助元件。这些设备上的鼠标功能应很敏感，较佳 设成最敏感的模式， 象触摸板一样。
以上实施例是按键输入装置为硬键盘的情况， 还可以有很多其它的变 形，就不再——列出。 以下将对键盘为软键盘时的几种实施方式进行具体说 明。
实施例九
本实施例人机交互装置的按键输入装置为软键盘 7, 鼠标模拟装置为软 触控板 2， 其结构如图 9所示。 软键盘 7和软触控板 2均显示于触摸犀（也 可以是其它可显示内容的输入装置， 如电子白板、 白板、投影键盘装置， 触 摸屏、 触摸板和其它的触摸输入装置、 电输入装置、 电磁感应装置、 压力装 置、 红外装置、 激光装置、 机械装置。 即鼠标模拟装置和按键输入装置均可 以用上述可显示内容的输入装置来实现。其它实施例同此） 8的输入区域内， 因软键盘 7与软触控板 2均采用 "软件"方式来实现， 故其表现形式上是软 触控板 2与软键盘 7的至少一个操作按键的部分或全部表面重叠。本实施例 中，在触摸屏上显示的软键盘的功能与 IBM ThinkPad X61s笔记本电脑的硬 键盘的功能一样， 可以实现键盘的命令键、 及組合键， 如 Ctrl+S、 Ctrl+A、 Ctrl+C, Ctrl+V、 Ctrl+N、 Win+E和 Win+M等， 且支持同时输入。 例如所 按的两个键的间隔在 100毫秒（此值要可以设定）内， 算作同时输入的组合 键。 键和键盘的大小与 IBM ThinkPad X61s笔记本电脑的硬键盘一样。 键盘 上有 1E、 WORD、 Outlook, 电源键等快捷键， 且其与最外边的键的位置和 指示灯的位置稍作改变来使软键盘呈矩形。原空格键减小， 留出空格键的左 边作为切换键。
本实施例软触控板 2 的表面包括部分操作按键区域和部分空置区域表 面， 其显示出的形状和结构与采用硬键盘的图 3相似。 明显地， 对于上述实 施例一至九的任一采用硬键盘的人机交互装置的结构，及在这些实施例中提 到的各种变形结构， 都可以在触摸屏上用软件实现， 其中触控板、 按钮、 指 点杆、滚轮等都可以在触摸屏的相应位置设置其图形和标记，并通过软件实 现其功能， 可以称为软触控板、软按钮、 软指点杆和软滚轮。 从而得到各自 相应的在触摸屏上实现的方案。 例如， 对应于实施例 3 , 也可以用软键盘上 的 "A" 、 "S" 、 "D" 和 "F" 键来实现鼠标按键功能， 或者稍做变形， 如鼠标左键的位置应该在包含键 F的位置的矩形中，鼠标中键的位置在以键 SD为宽且键盘能容下的较大矩形， 鼠标右键在包含键 A的矩形中。 对于其 它实施例的对应， 就不再 加以列举。
在显示方面，软触控板 2与软键盘 7在显示内容时可以不显示出来，触 摸屏 8的整个表面均作为显示区域， 只有在操作者需要输入时， 才在输入区 域显示软触控板 2和 /或软键盘 7,这一过程可以通过设定的转换开关或命令 实现，如上述提到过的或操作者通过触摸屏 8激活输入区域，显示软触控板 2和 /或软键盘 7。
软触控板 2和软键盘 7重叠的显示， 可以采用软触控板 2覆盖软键盘 7 的方式，通常的覆盖方式是软触控板具有一个外框，其内部是透明或接近透 明的，其透明度以不影响操作人员使用软键盘 7为标准。 当然用软件实现软 键盘 7覆盖软触控板 2的方式也可以达到相似的效果。
软触控板 2和软键盘 7重叠的显示，还可以只显示当前工作的一个装置， 需要时切换为显示另一装置的方式。可以通过一个简单的转换开关或按鈕来 实现切换，例如可以在软触控板 2与软键盘 7上均设置一个返回其对应状态 的返回軟按妞， 就可实现该功能。较佳地， 可以与鼠标功能的打开和关闭结 合起来，打开鼠标功能时在重叠区域显示软触控板， 关闭鼠标功能时在重叠 区域显示软键盘。 这种在同一个区域上可以同时用作 /显示不同的输入装置 或在不同时间用作 /显示不同的输入装置的方法文中称为区域重合。 而在上 述实施例中，使用同一区域的同一输入装置来实现按键输入功能和鼠标功能 (或其它功能组合）的情况，如实施例 1中的同时作为按键和触控板的块形 触控板， 文中称为区域复用。
在上述提及的各种实施方式及其可能的变化形式，同样会涉及到如何设 置一控制开关来控制触控板（软或硬）的打开或关闭， 可以采用实施例一至 八提到的方式， 只是对于硬键盘是硬控制开关， 对于软键盘是软控制开关。 如，该软控制开关可以是软指点杆、软滚轮、独立设置的确认操作的软按鈕、 组合键或者在触控板上的自定义操作方式， 或者是以上方式的组合。
对于本实施例，可以采用以下特别的方式在触控板上实现鼠标功能，该 方式属于方式 A, 但不同于现有的触控板操作， 下文中称为方式 AE:
触控板开启后，可以在触控板表面显示介于完全透明和完全不透明之间 的类似或近于鼠标的形状， 如图 13或图 14中的图案。
图 13中的图案模拟鼠标形状， 包括一个椭圓形外廓， 在上部中央有一 个小^椭圆 103， 在其下有一个大的椭圆 101 , 外廓内的其余部分被这两个 椭圆分开左、 右两个部分 105、 107。 椭圆 101 区域用于提供常规触控板整 个区域的功能，从椭圆 101内开始滑动或划动，实现鼠标的光标移动、拖动、 选中等功能； 椭圆 103区域用于提供鼠标中键的功能，从上部的椭圆 103内 开始滑动或划动， 实现滚屏等控制显示功能。余下的左侧部分 105用于提供 鼠标左键的功能， 点击、按压该区域可实现点击左、按压鼠标左键的相应功 能，余下的右侧部分 107用于提供鼠标右键的功能， 点击该区域可实现点击 鼠标右键的相应功能。
图 14中的图案为矩形， 包括下方的触控区域和上方的左键、 中键、 右 键等软按钮， 在触控板或触摸犀点击、 按压显示的鼠标左键、 右键、 中键 等软按钮， 分别执行点击实际鼠标的左键、 右键、 中键等按钮的相应操作。 图 13和图 14的图案在触摸板或触摸屏上可以显式设置，也可以隐形地 设置， 在不同区域点击或滑动，执行相应的操作。还可以在触摸板或触摸屏 上隐形地或显式地设置与触摸屏类似的光标，实现象在触摸屏上显式显示光 标那样类似的功能。
以上设计中， 触摸板区域可以映射全屏（即在触摸板上移动一个单位， 光标可以在屏幕上移动几个单位）， 也可以在触摸板上移动一个单位时， 光 标也在屏幕上移动一个单位。
在通过其它方式如指点杆实现鼠标移动功能的其它实施例中，可以将触 控板的图案设计为如图 15所示的矩形， 分成左、 右两部分。 左方从上至少 依次为 3个矩形区域， 分别用于实现剪切、 复制和粘贴操作， 右方从上至少 也依次包括 3个矩形区域， 分别用于实现插入、删除和清除搡作。 当然以上 划分仅仅是一个示例，在区域的数目、位置和对应的操作方面可以有很多的 选择方式， 这里不再——列举。 同时， 可以将触控板中按不同方式配置为多 个区域， 这些区域可以是显示或隐式的。
上述鼠标模拟装置中的触控板或触摸屏用于实现大部分的鼠标功能，可 以称为鼠标的主模拟装置， 所述主模拟装置可以采用以下类型的装置或组 合： 电子白板、 白板、 投影键盘装置、 触摸屏、 触控板、 其它触摸装置、 及 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、
实施例十
本实施例在软键盘 7的表面设有软键盘膜 13， 其它方面均与实施例九 相同， 如图 11所示。 如图 12所示， 软键盘膜 13设置于触摸展 8表面的显 示软键盘 7的区域，一般要稍大于软键盘 7的占用面积。 为了显示时不至于 有差别， 可以在整个触摸屏 8表面设置完全透明或透明度较好的软键盘膜 13。 这里透明软键盘膜 13作用是改变输入时的手感， 使用软键盘 7时让操 作者有使用真正的硬键盘的感觉， 其上面的键与键之间可以有沟纹， 如 0.5 亳米深， 0.5毫米宽， 就能足以让人感到是不同的键。 本实施例的鼠标功能可以采用上述的方式 A~D、 AE中的任何一种， 对 于方式 A~D而言， 只是操作的按键、 触控板和辅助元件是显示在屏幕上的 "软" 装置而已， 方法没有变化。
实施例十一
本实施例的人机交互装置的组成和操作方式都可以与实施例九相同，但 是在触摸屏上的显示方式有一定差别。
本实施例人机交互装置的按键输入装置和鼠标模拟装置在触摸展的显 示位置不是固定设置的， 而是可以在光标的附近如上、 下、 左、 右， 或与光 标完全或部分重叠，可以用不同的形状、颜色和透明度等来区别于背景的图 案。 如可以选择 IE、 OFFICE, 应用程序等显示在键盘的上面 （键盘不能压 住文档 )或背景上显示或将两者错开显示。开始栏可选择显示在紧邻近在键 盘下面或上面。
该人机交互装置还可以设计为按键根据光标或手指的移动而移动。 例 如， 当手指从某一位置开始向要操作的按键方向运动（滑动等）时， 整个按 键输入装置如键盘或键盘上手指运动所朝向的部分可以相对于手指运动方 向而运动。这样在某些受屏幕大小限制，只能显示键盘中部分按键的场合下， 就可以将要操作的按键移动到屏幕中显示出来。 图 16所示是一个可折叠的 手机， 中间的矩形是一个触摸屏， 可以在图 16 的中线处折叠手机。 在该手 机用采用标准的键盘， 由于屏幕限制， 一次只能显示一部分的键盘区域， 在 这种屏幕输入时， 就可以利用上述方法来实现对所有按键的操作。
即使对于可以全部显示出来的软键盘，这种移动方面也可以使得使用者 不必使劲伸长手指去操作一些距离较远的键，而只需在屏幕上先向该按键方 面移动很短的距离，即可使得要操作的按键自动移动到手指附近而可轻易操 作，提高了操作的精度。 上述键盘移动的速度可以大于手指移动的速度， 当 然也可以和手指移动速度一样或小于手指移动的速度。在移动过程中，手指 移动方向所朝向的一个或多个目标键可以变大并可适当变形，其他与目标键 邻近的键可以变小或远离。 根据光标来移动的方式也是类似，只是需要识别的由手指的移动改为光 标的移动， 光标移动可以用本发明的鼠标模拟装置或其它方式来实现。
需要说明的是，上述按键根据手指或光标移动而相对移动的方案可以独 立釆用， 即无需采用将鼠标模拟装置和按键输入装置部分重叠的方案。甚至 在一些没有鼠标功能的电子装置上也可以采用该方法来实现无需移动前臂 的输入， 以及克服屏幕大小的限制和提高输入的精度。
本实施例的触控板还可以实现两 /多维同动即可以同时在两 /多个方向上 滚动屏幕的功能， 请参见图 16、 图 17和图 18A和 18B。 图 16屋示的是部 分键盘， 其在整个键盘中的位置如图 17所示。 而在图 18A和 18B中则分别 通过移动十字架和大小矩形来指示图 16 中的部分键盘在整个键盘中的位 置。该功能可以设置为鼠标中键功能，如可以在图 13和图 14触控板显示区 域中对应于中键操作的区域来操作和显示。 图 18A中十字架上的短线指示 当前显示在整个图形中的横纵坐标，反之，移动十字架上的短线则当前显示 在整个图形中的横纵坐标变化。 并有 +形指示。 图 18B中的小矩形代表正在 显示的区域， 大巨形代表被显示的文档， 显示的位置变化， 小矩形表示相对 于大矩形的位置及其相应变化。移动要灵敏， 即时跟随， 只要是起始于中键 的曲线（终止于任何位置都行） ， 都可实现多维同时移动显示。
另外， 键盘的键或符号可以采用多种颜色， 如： Q、 W、 E、 R、 T、 Y、 U、 I、 0、 Ρ采用第一种颜色， 如蓝色； A、 S、 D、 F、 G、 H、 J、 K：、 L、 ： 采用第二种颜色， 如红色； Z、 X、 C、 V、 B、 N、 M、 ， 、 。 、 I, 采用第 三种颜色， 如绿色。 在显示效果方面， 按键等时， 可以有彩色闪烁 \^光\变 换等； 彩色的闪烁 光\变换等的游戏机软键盘 \手机键盘\计算机键盘等。
本实施例人机交互装置显示的键盘可以有多种， 采用 shift+1或其它方 式进行多种软键盘之间的切换。如用 Shift+S\D\F等选择至少 3种常用键盘： (标点）符号键盘、拼音键盘、其他常用输入符号键盘、手机、游戏键盘等。 另夕卜，上述人机交互装置显示区域的大小和形状也可以调整。如键盘可最小 化、 拖动和关闭、 变小变大。 在 17" 、 14.1" 宽屏等上显示键盘大小也应 与实际一样。 以上在触摸屏上实现的人机交互装置可以与具有触摸屏的手机、计算机 等电子装置、 自动机械装置合为一体。 即本发明还提供了一种具有触摸屏的 电子装置，采用了上述任意一种人机交互装置。该人机交互装置可以显示于 电子装置的触摸屏上，或者通过是否有人或物触摸输入区域、硬件或软件的 显示开关来控制是否显示在电子装置的触摸屏上。这种方式的优点是去掉了 电子装置上占用空间较多的硬键盘与触控板，也就为显示屏提供了更大的空 间。 具体地讲， 就是将键盘、 鼠标、 显示器和触摸屏复用并一体化， 并可以 与计算机一体化，使计算机人机交互更加便捷、有更多的显示空间或更能充 分利用显示空间， 使计算机、 手机、 PDA、 PIM、 家电等功能更便捷、 强大 的同时，体积更小， 有更多的显示空间或更能充分利用显示空间， 更便于携 带、 使用。
因为鼠标功能在计算机或其它逻辑运算装置的内部实现已经是 4艮成熟 的技术， 以上各个实施例对于鼠标功能的实现，主要介绍了所使用的操作方 式和操作对象。根据上迷内容，本领域的技术人员已可以很容易地实施本发 明的技术方案。
. 本发明所述的人机交互方法的之一是打开或关闭鼠标功能的方式，除了 上述实施例已经介绍的方式外还有一些其它方式， 这里再将其集中说明一 下， 具体包括以下方式中的至少一种或多种的结合：
一、通过按下或敲击键盘上独立设置的确认操作的按钮打开或关闭鼠标 功能。
这种方式较易理解， 如图 6, 在键盘上设置一个按 ¾, 按下一次打开或 关闭鼠标功能，再按一次关闭或打开鼠标功能。键盘可以是硬键盘也可以是 软键盘， 当然对应的按钮也是硬件的按鈕或软 。
二、 通过按下或顺序敲击键盘上的组合键打开或关闭鼠标功能 这种方式较易理解， 计算机上的组合键经常会用到， 如 Ctrl+Alt+del就 是计算机常用的热启动组合键。本发明可以任意设置组合键 (只要不与系统 中的组合键相冲突） ， 如 Ctrl+L、 Alt+0、 Shift + U…… , 使用时按下一次 组合键打开或关闭鼠标功能，再按一次組合键关闭或打开鼠标功能。键盘可 以是硬键盘也可以是软键盘 ,对于软键盘可采用顺序按下组合键的方式来打 开或关闭鼠标功能。
三、 通过触摸指点杆的方式打开或关闭鼠标功能
这种方式是在硬键盘的操作按键区域内设置指点杆，触摸一次指点杆打 开或关闭鼠标功能， 再触摸一次指点杆关闭或打开鼠标功能。
四、 通过转动滚动球的方式打开或关闭
这种方式是在硬键盘的操作按键区域内设置滚动球，转动一次滚动球打 开或关闭鼠标功能， 并在此期间内如连续（可以设定其延时时间， 超过延时 时间则认为不是连续 )转动滚动球则实现普通鼠标的滚动球功能；再转动一 次滚动球关闭或打开鼠标功能。
五、 通过转动滚轮的方式打开或关闭
这种方式是在硬键盘的操作按键区域内设置滚轮，转动一次滚轮打开或 关闭鼠标功能， 并在此期间内如连续（可以设定其延时时间 , 超过延时时间 则认为不是连续）转动滚轮则实现普通鼠标的滚轮功能； 再转动一次滚轮关 闭或打开鼠标功能。
六、 接收到键盘的输入操作， 关闭鼠标功能
在使用鼠标模拟装置进行输入操作的过程中，一旦系统接收到鼠标模拟 装置操作区域外的键盘的输入操作，立即关闭鼠标功能， 防止在输入过程中 按下或敲击鼠标功能区域内的按键产生误动作，这相当于将鼠标模拟装置操 作区域外的一个操作按键当成了控制开关。当然此时不能用于使用按键来实 现鼠标按键功能的场合。
七、 设定时间内没有接收到鼠标模拟装置的操作， 关闭鼠标功能 在使用鼠标模拟装置进行输入操作的过程中，如果系统在设定时间内没 有接收到鼠标模拟装置的操作， 关闭鼠标功能， 防止在待机过程中按下或敲 击鼠标模拟装置的按键产生误动作。 八、 通过手指在触控板内设定的移动方式打开或关闭鼠标功能 因手指触摸触控板是人为操作的其形式多种多样， 实现方式也较复杂， 主要的以下几种控制方式：
1 )手指在触控板内的移动距离达到或超过设定值
这种方式是指在键盘的输入操作过程中，如想打开鼠标功能， 则只需手 指在触控板区域内进行一个较大位移的移动，就可打开鼠标功能； 这一位移 或移动距离的大小要大于一般的键盘的输入操作过程中手指在按键上的自 然滑动距离， 以避免产生误动作。 当然， 这一移动距离具体可以根据需要通 过系统进行设定的。
2 )手指在触控板内的移动速率达到或超过设定值
这种方式是指在键盘的输入操作过程中，如想打开鼠标功能， 则只需手 指在触控板区域内进行一个较快的移动，就可打开鼠标功能； 这一移动速率 的大小要大于（或小于）一般的键盘的输入操作过程中手指在按键上的自然 移动速率， 不致于产生误动作。 当然， 这一移动速率是可以通过系统进行设 定的。 由于此移动速率可以设定不同于触控板操作过程中的自然移动速率， 因此，在鼠标功能打开之后输入操作过程中，如想采用键盘输入则只需手指 在触控板区域内进行一个较快的移动， 就可关闭鼠标功能。
3 )手指在触控板内的往复移动次数达到或超过设定值
这种方式是指在键盘的输入操作过程中，如想打开鼠标功能， 则只需手 指在触控板区域内进行多次往复移动，就可打开鼠标功能； 这一往复移动次 数的大小要大于一般的键盘的输入操作过程中手指在按键上的自然往复移 动次数， 以避免产生误动作。 当然， 这一往复移动次数是可以通过系统进行 设定的。由于此往复移动次数可以设定不同于触控板操作过程中的自然往复 移动次数， 因此， 在鼠标功能打开之后输入操作过程中， 如想采用键盘输入 则只需手指在触控板区域内进行多次往复移动， 就可关闭鼠标功能。
4 )手指在触控板内对至少一个按键施加的压力达到或超过设定值 这种方式是指在键盘的输入操作过程中，如想打开鼠标功能， 则只需手 指在触控板区域内对至少一个按键施加设定的压力，就可打开鼠标功能； 这 一设定的压力的大小要大于一般的键盘的输入操作过程中手指在按键上的 自然压力， 以避免产生误动作。 当然， 这一设定的压力是可以通过系统进行 设定的。 由于此设定的压力可以设定不同于触控板操作过程中的自然压力， 因此，在鼠标功能打开之后输入操作过程中，如想采用键盘输入则只需手指 在触控板区域内对至少一个按键施加设定的压力， 就可关闭鼠标功能
5 )手指在触控板内从一个按键的表面移动至另一个按键的表面 这种方式是指在键盘的输入操作过程中，如想打开鼠标功能，则只需手 指在触控板区域内从一个按键的表面移动或滑动至另一个按键的表面，就可 打开鼠标功能； 由于此方式可以配合第五种方式 "接收到键盘的输入操作， 关闭鼠标功能"， 因此， 在键盘的输入操作过程中即使连续使用触控板区域 内的两个按键， 也不会产生误动作。
6 )手指在触控板内的移动轨迹符合设定的形状
这种方式是指在键盘的输入操作过程中，如想打开鼠标功能， 则只需手 指在触控板区域内移动符合设定形状的轨迹，就可打开鼠标功能； 比如画一 个 " " "O" " Λ " ……， 就可以打开鼠标功能。 当然， 这一设定形状的 轨迹是可以通过系统进行设定的。
当然， 在鼠标功能打开之后输入操作过程中， 如想采用键盘输入， 则只 需手指在触控板区域内移动符合设定形状的轨迹，就可关闭鼠标功能； 比如 画一个 "χ，， "―" …… , 就可以关闭开鼠标功能。 7 )单击或双击触控板内的定点、 某个区域、 某个区域的顶点。
对于本发明的人机交互装置，只要具有以上控制方式所需的硬件如触控 板和辅助元件等，就可以采用这些控制方式中的任意一种来实现打开和关闭 鼠标功能的方法。
以上各个实施方式中，还可以提供以下实现精确定位、产生触感的方法： 例如， 需在输入装置如触控板或触摸屏的操作中实现精确定位或移动， 可以用硬件如指曱、 人造指尖套式的指曱、 软或硬的指环、 指套、 指尖套等 来实现精确定位光标、 显示的位置。 其材料可以是： 软硬金属、 塑料、 木制 品、生物制品等；其形状可以任意如：带一个小尖点的（可以是小球形的点）、 或球形、 椭圆形球面、 或 6、 8、 12、 或 24面体、 或其他曲面、 及以上的部 分及其组合。 如一个带钢球形尖的硬塑料指尖环。
另外，还可以在输入装置如触控板或触摸屏接触的人体部分的中心点或 中心部位的移动，来迅速实现精确定位和移动。用输入装置如触控板或触摸 屏检测的接触到的面积的中心点或中心部位的移动、速度或加速度等来迅速 实现精确定位和移动。 当敲在多个键上时，判断为此次接触面积最大的键为 输入键。
为了在按键区域和触控板区域重叠的位置， 也实现按键操作时的触感， 可以在该重叠区域设置有键盘形状的完全透明的有键盘沟紋和触感的薄膜。 并用震动或颤动（例如象现在的多数手机那样震动， 但很轻微、较短促， 可 与手指对触摸屏的压力、 与触摸屏接触的面积成正比） 、 闪动等实现手感、 触感。
以上所述，仅为本发明较佳的具体实施方式，在发明内容部分还揭示了 很多其它变换方式， 在此不再一"" ^兌明。 本发明的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的 变化或替换， 都应涵盖在本发明的保护范围之内。 因此， 本发明的保护范围 应该以权利要求的保护范围为准。
另外， 以上的触控板的操作均可以使用另外的感应装置来代替，此时未 必一定触摸，可以悬空 (一定的高度，如 <=15mm or 10cm )也能实现相应的 操作 α
. 例如， 在触控板上操作如点击、 划动 /滑动时， 超过一定的压力 （如： 手放在上面的压力）才输入， 识别一定的力度才算手指的输入。
工业实用性
. 本发明通过将触控板设于键盘的操作按键区域。在通过键盘输入时，打 开所述触控板进行操作。 无需在使用时频繁移动前臂， 工作效率高， 同时携 带方便。 同时， 将人机交互装置应用于电子装置与计算机一体化，使计算机 人机交互更加便捷、有更多的显示空间或更能充分利用显示空间，使计算机、 手机、 PDA、 PIM、 家电等功能更便捷、 强大的同时， 体积更小， 有更多的 显示空间或更能充分利用显示空间， 更便于携带、 使用。

Claims

权 利 要 求 书
1、 一种人机交互装置， 包括第一输入装置和第二输入装置， 其特征在 于，所述第二输入装置的全部或某一功能至少有部分搡作区域位于所述第一 输入装置的按键操作区域内；
或者，
一种人机交互装置， 其特征在于， 包括： 笫二输入装置或其部分， 以及 第一输入装置或其部分，在包含所述的部分或全部的第二输入装置和所述的 部分或全部的第一输入装置的区域或空间内的任意位置的任意大小的任意 区域内，所述的部分或全部的第二输入装置和所述的部分或全部的第一输入 装置使用相同的区域或空间， 即完全或部分区域重合或区域复用；
或者，
一种人机交互装置， 其特征在于， 包括： 第二输入装置或其部分， 以及 第一输入装置或其部分，在包含所述的部分或全部的第二输入装置和所述的 部分或全部的第一输入装置的区域或空间内的任意位置的任意大小的任意 区域内 ,所述的部分或全部的第二输入装置和所述的部分或全部的第一输入 装置使用相同的区域或空间， 即完全或部分区域重合或区域复用，所述区域 重合或区域复用是在相同时间内或者在不同时间内的区域重合或区域复用； 或者，
所述第二输入装置至少有部分操作区域位于所述除专门 /仅鼠标功能或 有限功能装置之外的第一输入装置的按键操作区域内，其中有限功能装置指 该装置的功能是有限的或该装置的功能的个数是有限的， 专门 /仅鼠标功能 或有限功能装置之外的第一输入装置可包括但不限于硬装置或软装置； 或者，
一种人机交互装置， 其特征在于， 包括： 用于实现鼠标功能的第二输入 装置和第一输入装置，其中，所述的第二输入装置所在区域与第一输入装置 所在的区域内至少存在部分重合，所述第一输入装置所在的区域是由一个或 多个输入按键所在的区域构成， 且不包括各个输入按键之间的区域； 或者，
一种人机交互装置， 其特征在于， 包括： 用于实现鼠标功能的触控板、 触摸屏或其他的硬输入装置， 和第一输入装置， 其中， 所述的触控板、 触摸 屏或其他的硬输入装置为用于通过触摸方式输入的装置，且所述触控板、触 摸屏或其他的硬输入装置所在区域与第一输入装置所在的区域内至少存在 部分重合，所述第一输入装置所在的区域是由一个或多个输入按键所在的区 域以及各个输入按键之间的区域构成；
或者，
一种人机交互装置， 其特征在于， 包括： 用于实现鼠标功能的第二输入 装置和软第一输入装置，其中， 所述的第二输入装置所在区域与软第一输入 装置所在的区域内至少存在部分重合，所迷软第一输入装置所在的区域是由 一个或多个输入按键所在的区域以及各个输入按键之间的区域构成；
或者，
一种人机交互装置， 其特征在于， 包括： 用于实现鼠标功能的第二输入 装置和第一软输入装置。
或者，
以上所述所有的第一输入装置可替换为输入装置，其中输入装置包括按 键输入装置。
2、 如权利要求 1所迷的人机交互装置， 其特征在于： 所述区域重合或区域复用是在相同时间内或者在不同时间内的区域重 合或区域复用； 或者，
所述第一输入装置为按键输入装置， 即通过对键操作来实现输入的装 置，所述 "键"包括以下形式中的一种或多种：键盘或控制面板上的形式的、 隐形的、 不可见的或可见的键、 按钮、 图标、 菜单项、 命令、 命令设置、 显 示方式、 钮或可以点击操作的命令或图示、 相似于输入和 /或输出装置的图 形; 软件实现的或者显示的键 或控制面板上的形式的、 隐形的、 不可见的 或可见的、 隐式、显式或显示的键、按扭、 图标、 菜单项、命令、命令设置、 显示方式、 钮或可以点击操作的命令或图示、 相似于输入和 /或输出装置的 图形； 或者，
所述第二输入装置为用于实现鼠标功能的鼠标模拟装置，所述鼠标功能 包括但不限于以下功能中的一种或多种： 执行、 选择、 拖动、 显示菜单、 移 动光标、 滚动显示屏幕， 以及多维同时移动显示；
所述按键输入装置和 /或鼠标模拟装置包括以下类型的输入装置或输入 输出装置或其组合， 或输入输出装置上实现的软装置： 电子白板、 白板、 投 影键盘装置，触摸屏、触控板、其它触摸装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械装置。
3、 如权利要求 2·所述的人机交互装置， 其特征在于：
所述鼠标模拟装置包括至少一个键的部分或全部表面或键间的部分或 全部区域，可以位于所述按键输入装置的按键区域内的一独立区域或者一部 分位于按键区域内， 余下部分位于其他区域；
并且 /或者， 所述鼠标模拟装置与所述按键区域重叠的区域复用， 至少 可工作于按键输入和鼠标功能两种模式；
并且 /或者， 所述鼠标模拟装置至少有部分操作区域与所述的按键输入 装置的按键操作区域重合或区域复用，即相同的一个区域可用作或实现不同 的、 任意多个装置的功育¾。
4、 如权利要求 2所述的人机交互装置， 其特征在于：
所述鼠标模拟装置包括在所述按键输入装置的按键操作区域内或外的 一个或多个辅助元件，这些辅助元件用于实现本人机交互装置的全部或部分 鼠标功能； 或者， 这些辅助元件用于实现的部分鼠标功能， 其中包括 '显示 菜单， 或 '多维同时移动显示， 的功能。
5、 如权利要求 1、 2、 3或 4所述的人机交互装置， 其特征在于： 所述人机交互装置上还设置了一个或多个控制开关，用于打开或关闭鼠 标功能，该控制开关为软控制开关或硬控制开关，上述开关的所在的区域为： 在第一或第二输入装置所在区域内或区域周边； 或者， 在与第二输入装置所在区域至少部分重合的第一输入装置的所在区域 内； 或者，
在与第二输入装置所在区域至少部分重合的软 /硬的台式计算机键盘式 键盘、 笔记本计算机键盘式键盘或者键盘长度大于 X厘米的键盘的所在区 域内； 其中 X为 8、 10、 12、 14、 16或 18; 或者，
在离与第二输入装置所在区域至少部分重合的软 /硬的台式计算机键盘 式键盘、 笔记本计算机键盘式键盘或键盘长度大于 X厘米的键盘的空格按 键的 Y厘米的区域以内的区域内； Y为 1、 3、 5、 7或 9。
6、 如权利要求 5所述的人机交互装置， 其特征在于：
所述控制开关采用以下形式中的一种或者组合： 至少一独立设置的按 鈕、 至少一指点杆、 至少一滾动球、 至少一滚轮、 至少一组組合键、 至少一 鼠标模拟装置区域外的操作按键，至少一种在所述人机交互装置上自定义的 操作方式。
7> 如权利要求 3所述的人机交互装置， 其特征在于：
所述鼠标模拟装置包括一个或多个主模拟装置，以及在所述按键输入装 置的^ 区域内或周边设置的一个或多个辅助元件，所迷主模拟装置和所述 触摸装置一起实现所述人机交互装置的全部或部分鼠标功能，至少包括实现 光标移动功能的辅助元件和实现鼠标按键功能的辅助元件；
所述主模拟装置可以包括但不限于以下类型的输入装置或输入输出装 置或其组合： 电子白板、 白板、 投影键盘装置， 触摸展、 触控板、 其它触摸 装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械 装置。
8、 如权利要求 4或 7所述的人机交互装置， 其特征在于：
所述辅助元件包括以下形式中的一种或者组合： 至少一个指点杆、至少 一个控制目标运动的滚动球、至少一个控制目标运动的滚轮、至少一个确认 操作的按钮， 至少一个触摸装置， 以及至少一个可工作于鼠标功能模式的操 作按键。
9、 如权利要求 1所述的人机交互装置， 其特征在于：
所述按键输入装置为一键盘，所述鼠标模拟装置包括设置在所述键盘左 侧或右侧的一主模拟装置， 以及设置在键盘另一侧的若干按键， 该若干按键 可以选择包含标准指法中手指在按键后返回其上的一个或多个按键，用于实 现鼠标的按键功能； 或者，
所述按键输入装置为一键盘，所述鼠标模拟装置包括设置在所述键盘上 的一主模拟装置，以及设置在键盘按键区域内且在所述主模拟装置外的若干
：,在该若干按键中，标准指法中左手操作的按键用于实现鼠标左键的功 能， 标准指法中右手操作的按键用于实现鼠标右键功能；
所述主模拟装置可以包括但不限于以下类型的输入装置或输入输出装 置或其组合： 电子白板、 白板、投影键盘装置， 触摸屏、 触控板、 其它触摸 装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械 装置。
10、 如权利要求 2、 3或 4所述的人机交互装置， 其特征在于： 所述按键输入装置为硬键盘或控制面板， 所述鼠标模拟装置为硬装置， 所述按键输入装置的按键区域内或周边还设置一个或多个用于打开和关闭 鼠标功能的硬控制开关，或者，所述鼠标模拟装置上设置有用于打开和关闭 鼠标功能的软控制开关； 或者，
所述按键输入装置为显示在人机交互装置上的软键盘或软控制面板，所 述鼠标模拟装置为显示在人机交互装置的软装置，所述人机交互装置上还设 置了一个或多个用于打开或关闭鼠标功能的硬控制开关或者软控制开关；所 述人机交互装置可以包括但不限于以下类型的输入装置或输入输出装置或 其组合： 电子白板、 白板、投影键盘装置， 触摸屏、触控板、其它触摸装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置。
11、 如权利要求 2、 3或 4所迷的人机交互装置， 其特征在于： 所述按键输入装置为所述人机交互装置上显示的软装置，且在按键区域 的表面设有按键形状的完全透明或介于完全透明和完全不透明之间的膜，该 膜上设有键盘沟紋并具有触感；所迷人机交互装置包括且不限于以下装置中 的一种或組合： 电子白板、 白板、 投影键盘装置， 触摸屏、 触控板、 其它触 摸装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置。
12、 如权利要求 3所述的人机交互装置， 其特征在于：
所述鼠标模拟装置包括一主模拟装置，所述按键输入装置和所述主模拟 装置均为硬装置，所述主模拟装置在所述按键输入装置的按键区域内的部分 由一个或多个与所述按键输入装置的按键形状和大小一致，且按照正常键位 边界划分的 d、块主模拟装置組成 ,且该小块主模拟装置具有可在垂直方向上 伸缩或运动的弹性机构； 其中，所述主模拟装置可以包括但不限于以下类型 的输入装置或输入输出装置或其组合： 电子白板、 白板、投影键盘装置， 触 摸屏、 触控板、 其它触摸装置、 电输入装置、 电磁感应装置、 压力装置、 红 外装置、 激光装置、 机械装置。
13、 如权利要求 3所述的人机交互装置， 其特征在于：
所述鼠标模拟装置包括一主模拟装置，所述主模拟装置形式地、隐形地、 不可见地或可见地、 隐式、显式或显示地划分为多个区域， 每个区域实现的 鼠标功能可以有所不同，所述各个区域及其功能是固定的、变化的或是可以 配置的； 所迷主模拟装置可以包括但不限于以下类型的装置或组合： 电子白 板、 白板、投影键盘装置、触摸屏、触控板、其它触摸装置、及电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械装置。
14、 一种电子装置， 其特征在于， 包括如权利要求 1~13中任一权利要 求所述的人机交互装置。
15、 如权利要求 14所述的电子装置， 其特征在于：
所述人机交互装置为手机、其他手持装置或笔记本电脑的键盘式的集成 的键盘和鼠标模拟装置，或者为台式计算机键盘式的键盘和在该键盘上设置 的鼠标模拟装置； 或者为形式的、 隐形的、 不可见的或可见的、 显示的、 显 式或隐式设置于所述电子装置的键盘上设置的鼠标模拟装置； 或者为形式 的、 隐形的、 不可见的或可见的、显式或隐式设置于所述电子装置的输入输 出装置上的软装置；所迷输入输出装置可以包括但不限于以下类型的输入输 出装置或组合： 电子白板、 白板、 投影键盘装置， 触摸屏、 触控板、 其它触 摸装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置。
16、 如权利要求 14所述的电子装置， 其特征在于：
所述人机交互装置为显示于所述电子装置包含的输入输出装置上的软 装置，所述输入输出装置通过硬件或软件的控制来决定在某一区域显示的装 置或内容， 包含实现多种显示装置或显示内容的切换； 所述输入输出装置可 以包括但不限于以下类型的输入输出装置或组合： 电子白板、 白板、投影键' 盘装置， 触摸屏、 触控板、 其它触摸装置、 电输入装置、 电磁感应装置、 压 力装置、 红外装置、 激光装置。
17、 如权利要求 14所述的人机交互装置， 其特征在于：
所述按键输入装置为在所述输入输出装置上显示的或设置的软装置，所 述鼠标模拟装置包括在所述输入输出装置上显示的或设置的触控板或其它 输入输出装置，在打开鼠标功能时在重叠区域显示或设置的软触控板或其它 输入输出装置， 关闭鼠标功能时在重叠区域显示软按键输入装置； 或者
在输入输出装置上同时显示所述按键输入装置和触控板或其他输入输 出装置， 其中一个装置的显示区域为完全透明或介于完全透明和不透明之 间；
所述输入输出装置包括且不限于以下装置中的一种或組合： 电子白板、 白板、 投影键盘装置， 触摸屏、 触控板、 其它触摸装置、 电输入装置、 电磁 感应装置、 压力装置、 红外装置、 激光装置。
18、 一种使用如权利要求 1~13中任一权利要求所述的人机交互装置的 人机交互方法， 其特征在于： 在通过按键输入装置输入的过程中， 如需使用 鼠标功能, 则打开部分或全部的鼠标功能，可以选择对至少有部分操作区域 位于按键区域内或其他输入装置内的鼠标模拟装置进行操作，在该模式下如 需切换到按键输入模式或其它模式， 则可以选择关闭所述鼠标功能； 其中， 所述按键输入装置和 /或鼠标模拟装置包括且不限于以下类型的输入或输入 输出装置或组合， 或输入输出装置上实现的软装置： 电子白板、 白板、投影 键盘装置， 触摸屏、 触控板、 其它触摸装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械装置。
19、 如权利要求 18所述的人机交互方法， 其特征在于： 所迷鼠标功能 通过以下方式中的一种或多种实现：
方式 A， 鼠标模拟装置具有主模拟装置时， 通过对所述主模拟装置的操 作单独实现鼠标功能；
方式 B， 鼠标模拟装置具有主模拟装置时， 通过对所述主模拟装置， 及 操作按键的操作实现鼠标功能，其中操作按键用于实现鼠标的部分或全部按 键功能；
方式 C,鼠标模拟装置具有主模拟装置，及在键盘上增设的辅助元件时， 通过对所述主模拟装置， 及辅助元件的操作实现鼠标功能；
方式 D, 鼠标模拟装置上具有多个在键盘上增设的辅助元件时，通过对 所述辅助元件的操作实现鼠标功能；
方式 E， 鼠标模拟装置上具有多个在键盘上增设的辅助元件时， 通过对 所述辅助元件的操作及原有的按键实现鼠标功能；
方式 F,鼠标模拟装置具有主模拟装置，及在键盘上增设的辅助元件时， 通过对所述主模拟装置， 及辅助元件和原有的按键的操作实现鼠标功能； 所迷鼠标功能包括且不限于以下功能中的一种或多种： 执行、 选择、 拖动、 显示菜单、 移动光标、 滚动显示屏幕， 以及多维同时移动显示； 所迷主模拟装置包括且不限于以下类型的输入装置或输入输出装置 或其组合： 电子白板、 白板、投影键盘装置， 触摸屏、 触摸板和其它的触 摸输入装置、 电输入装置、 电输入装置、 电磁感应装置、 压力装置、 红外 装置、 激光装置、 机械装置。
20、 如权利要求 18或 19所迷的人机交互方法， 其特征在于： 将所述鼠标模拟装置或其中的主模拟装置隐式、显式或显示地划分为多 个区域， 包括实现光标移动功能的区域， 以及至少一个用于实现以下至少一 个功能的区域： 执行、 选择、 拖动、 显示菜单、 滚动屏幕、 多维同时移动显 示； 且所述各个区域及其功能是固定的、 变化的或是可以配置的。
21、 如权利要求 18或 19所述的人机交互方法， 其特征在于： 所述鼠标功能由设置在所述按键输入装置按键区域左侧或右侧的一主 模拟装置和设置在键盘另一侧的若干按键实现，该若干按键为标准指法中手 指在按键后返回其上的一个或多个按键，用于实现鼠标的按键功能； 或者所 述鼠标功能由部分或全部设置在所述按键输入装置按键区域内的一主模拟 装置和设置在所述主模拟装置外的若干按键实现，在该若干按键中，标准指 法中左 /右手操作的按键用于实现鼠标左 /右键的功能，标准指法中右 /左手操 作的按键用于实现鼠标右 /左键功能。
22、 如权利要求 18或 19所述的输入方法， 其特征在于：
所述辅助元件至少包括：一实现光标移动功能的辅助元件和一实现鼠标 按键功能的辅助元件；
所述实现鼠标移动功能的辅助元件采用以下形式中的一种或者组合：至 少一个指点杆、至少一个控制目标运动的输入装置、至少一个控制目标运动 的滚动球和至少一个控制目标运动的滚轮；
所述实现鼠标按键功能的辅助元件采用以下形式中的一种或者组合：至 少一个确认操作的按钮， 至少一个指点杆、 至少一个滚动球、 至少一个控制 目标运动的输入装置、至少一个滚轮和至少一个可工作于鼠标功能模式的操 作按键。
23、 如权利要求 18所述的输入方法， 其特征在于： 所述打开和关闭鼠 标功能通过包含以下方式中的一种或多种实现：
通过按下或敲击键盘上独立设置的确认操作的按钮打开或关闭鼠标功 能；
通过按下或顺序敲击键盘上的组合键打开或关闭鼠标功能；
通过触摸指点杆的方式打开或关闭鼠标功能；
通过转动一次滚动球的方式打开或关闭鼠标功能；
通过转动一次滚轮的方式打开或关闭鼠标功能； 接收到鼠标模拟装置操作区域外的键盘的输入操作， 关闭鼠标功能； 设定时间内没有接收到鼠标模拟装置或鼠标模拟装置中的主模拟装置 的操作， 关闭鼠标功能；
通过手指在鼠标模拟装置或鼠标模拟装置中的主模拟装置内设定的移 动方式打开或关闭鼠标功能；
所述主模拟装置包括但不限于以下类型的输入装置或输入输出装置或 其组合： 电子白板、 白板、投影键盘装置， 触摸屏、触控板、其它触摸装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械装置。
24、 如权利要求 23所述的输入方法， 其特征在于：
所述通过手指在鼠标模拟装置或鼠标模拟装置中的主模拟装置内设定 的移动方式打开或关闭触控板时， 所述设定的移动方式包括以下至少一项： 手指的移动距离达到或超过设定值；
手指的移动速率达到或超过设定值；
手指的往复移动次数达到或超过设定值；
手指对至少一个按键施加的压力达到或超过设定值；
手指从一个按键的表面移动或滑动至另一个按键的表面；
手指的移动轨迹符合设定的形状；
手指单击或双击区域内的定点、 某个区域、 某个区域的顶点。
25、 如权利要求 19所述的输入方法， 其特征在于： 所述主模拟装置按 以下方式实现鼠标功能：
在所迷主模拟装置开启后， 若之前无滑动也无点击， 则为第一次点击， 视为点击鼠标的左键， 第一次滑动为控制光标移动；
点击时，之前最后一次操作为点击或滑动，若点击在该最后一次点击的 点或该最后一次划动的终点的左侧，视为点击鼠标左键并继续保持点击的功 能； 若点击在该最后一次点击的点或该最后一次划动的终点的右侧，视为点 击鼠标右键； 点击时，之前最后一次操作为点击或滑动，若在该最后一次点击的点或 该最后一次划动的终点为中心的半径为 M的圆内开始滑动或划动， 则将其 后的滑动或划动均视为拖动， 直到有点击或离开所述主模拟装置为止；
划动时， 之前最后一次操作为划动， 在离该划动的线的距离小于 N的 区域内且在该划动的终点为中心的半径为 M的圓之外，视为操作鼠标中键； 所述 M, N为设置的距离。
26、 如权利要求 19所述的输入方法， 其特征在于：
所述按键输入装置为软装置，且可根据光标或手指的移动而移动， 当光 标或手指从当前位置向要操作的按键方向移动时，整个按键输入装置或按键 输入装置中手指运动所朝向的部分相对于手指运动方向同时或不同时移动。
27、 如权利要求 18所述的输入方法， 其特征在于：
所述鼠标模拟装置包括主模拟装置，所述主模拟装置的区域映射全部或 部分屏幕； 点击所述主模拟装置的某个点时，光标移动到所述屏幕上与该点 具有映射关系的点上； 同时， 在所述主模拟装置上移动一个单位时， 光标在 所述屏幕上也移动一个单位，或者根据所述主模拟装置与所述屏幕大小的比 例移动多个单位；所述主模拟装置包括但不限于以下类型的输入装置或输入 输出装置或其组合： 电子白板、 白板、 投影键盘装置， 触摸屏、 触摸板和其 它的触摸输入装置、 电输入装置、 电输入装置、 电磁感应装置、 压力装置、 红外装置、 激光装置、 机械装置。
28、 如权利要求 18所述的人机交互装置， 其特征在于：
在对所述鼠标模拟装置操作时， 用软或硬的指甲、 人造的指曱、 指环、 指套、 指尖套、 指上用品、 手上用品或其他物品及其部分和 /或组合来实现 定位光标或显示的位置。
29、 如权利要求 28所述的人机交互装置， 其特征在于：
所述用于实现定位光标或显示的位置的物品， 其材料为： 软或硬金属、 塑料、 木制品、 生物制品或其他软或硬制品。
30、 如权利要求 28所述的人机交互装置， 其特征在于： 所述用于实现定位光标或显示的位置的物品， 其形状可以是任意形状、 带一个小尖点的物体、 球形、 或椭圆形球面、 或 6、 8、 12、 24面体、 或其 他曲面及其部分和 /或组合。
31、 如权利要求 28所述的人机交互装置， 其特征在于：
所述鼠标模拟装置以人体感觉到的接触的人体部分的某种点或部位的 移动， 来实现定位和 /或移动光标及光标的形式的、 隐形的、 不可见的或可 见的位置、 位移或运动相关的或者与光标相对位置关系相关的下列至少一 个： 形式的、 隐形的、 不可见或可见的命令、 命令设置、 显示方式、 图示、 图形、 图像、命令菜单、钮、 键或可以点击操作的命令或图示、 相似于输入 和 /或输出装置的图形， 人体感觉到的接触的人体部分的某种点或部位包括 接触到的手指的部分的中心点或中心部分； 或者按压的力度、面积或图形来 判断输入操作。
32、 如权利要求 18所述的人机交互装置， 其特征在于：
在对所述按键输入装置和 /或鼠标模拟装置操作时， 用震动、 颤动、 麻 感、 热感、 闪动和 /或其他感觉实现手感、 触感。
PCT/CN2007/003670 2006-12-19 2007-12-19 Dispositif d'interaction entre l'homme et l'ordinateur, dispositif électronique, et procédé permettant une interaction entre l'homme et l'ordinateur WO2008074223A1 (fr)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP07845978A EP2105823A4 (en) 2006-12-19 2007-12-19 INTERACTION DEVICE BETWEEN MAN AND COMPUTER, ELECTRONIC DEVICE, AND METHOD FOR INTERACTION BETWEEN MAN AND COMPUTER
JP2009541737A JP2010514020A (ja) 2006-12-19 2007-12-19 ヒューマンインタラクション装置、電子装置及びヒューマンインタラクション方法
CN200780047057.5A CN101595445B (zh) 2006-12-19 2007-12-19 人机交互装置、电子装置及人机交互方法
US12/520,181 US20100109999A1 (en) 2006-12-19 2007-12-19 Human computer interaction device, electronic device and human computer interaction method
AU2007335142A AU2007335142A1 (en) 2006-12-19 2007-12-19 Human computer interaction device, electronic device and human computer interaction method
CN201610578564.2A CN106484125B (zh) 2006-12-19 2007-12-19 人机交互装置、电子装置及方法

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
CN200610171339 2006-12-19
CN200610171339.3 2006-12-19
CN200710086457.9 2007-03-12
CN200710086457 2007-03-12
CN200710104347.0 2007-05-08
CN200710104347 2007-05-08
CN200710107261 2007-05-25
CN200710107261.3 2007-05-25
CN200710147366 2007-09-06
CN200710147366.1 2007-09-06

Publications (1)

Publication Number Publication Date
WO2008074223A1 true WO2008074223A1 (fr) 2008-06-26

Family

ID=39535991

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2007/003670 WO2008074223A1 (fr) 2006-12-19 2007-12-19 Dispositif d'interaction entre l'homme et l'ordinateur, dispositif électronique, et procédé permettant une interaction entre l'homme et l'ordinateur

Country Status (6)

Country Link
US (1) US20100109999A1 (zh)
EP (1) EP2105823A4 (zh)
JP (1) JP2010514020A (zh)
KR (1) KR20090096528A (zh)
AU (1) AU2007335142A1 (zh)
WO (1) WO2008074223A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8436816B2 (en) 2008-10-24 2013-05-07 Apple Inc. Disappearing button or slider
JP5182260B2 (ja) * 2009-09-02 2013-04-17 ソニー株式会社 操作制御装置、操作制御方法およびコンピュータプログラム
US8621380B2 (en) 2010-01-06 2013-12-31 Apple Inc. Apparatus and method for conditionally enabling or disabling soft buttons
US8432362B2 (en) * 2010-03-07 2013-04-30 Ice Computer, Inc. Keyboards and methods thereof
US8756522B2 (en) * 2010-03-19 2014-06-17 Blackberry Limited Portable electronic device and method of controlling same
JP4956644B2 (ja) * 2010-05-31 2012-06-20 株式会社東芝 電子機器、及び入力制御方法
TWI594128B (zh) 2010-07-10 2017-08-01 鄭尚澈 可更換智慧核心元件之智慧平台
US8593422B2 (en) 2010-11-05 2013-11-26 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US8587547B2 (en) * 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US10365819B2 (en) 2011-01-24 2019-07-30 Apple Inc. Device, method, and graphical user interface for displaying a character input user interface
US9250798B2 (en) 2011-01-24 2016-02-02 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
US10001806B2 (en) 2011-04-20 2018-06-19 Shang-Che Cheng Computing device with two or more display panels
CN102385455A (zh) * 2011-10-20 2012-03-21 上海仙视电子有限公司 交互式液晶电子白板
TW201342128A (zh) * 2012-04-13 2013-10-16 Wistron Corp 觸控鍵盤
CN103513878A (zh) * 2012-06-29 2014-01-15 国际商业机器公司 触摸输入方法及设备
US8884903B2 (en) 2012-09-10 2014-11-11 Furuno Electric Co., Ltd. Remote controller for multiple navigation devices
US10048861B2 (en) * 2012-11-27 2018-08-14 Thomson Licensing Adaptive virtual keyboard
JP2015535628A (ja) * 2012-11-27 2015-12-14 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 適応的な仮想キーボード
US20140160029A1 (en) * 2012-12-06 2014-06-12 Jenny Yuen Systems and Methods for a Trackpad Within a Keyboard
US20140198050A1 (en) * 2013-01-14 2014-07-17 Ko Ja (Cayman) Co., Ltd. Multifunction touch keyboard module
DE102014001744A1 (de) * 2014-02-10 2015-08-13 Horst-Dieter Rector Verfahren der Texteingabe für die miniaturisierten Touch Screen Tastaturen der Smart Watches
FR3020481B1 (fr) * 2014-04-25 2017-08-11 Thales Sa Dispositif de visualisation a surface tactile fonctionnant en environnement degrade
WO2015175419A1 (en) 2014-05-12 2015-11-19 Ice Computer, Inc. Mobile computing resource
CN105320358A (zh) * 2014-06-20 2016-02-10 鸿合科技有限公司 基于红外白板的触摸轨迹显示方法、装置及红外白板
CN110780778A (zh) * 2018-07-31 2020-02-11 中强光电股份有限公司 电子白板系统、操控方法及电子白板
CN111062065A (zh) * 2018-10-16 2020-04-24 中兴通讯股份有限公司 一种生成密码输入键盘的方法、装置、设备以及存储介质
US11126282B2 (en) 2019-03-29 2021-09-21 Honda Motor Co., Ltd. System and method for touchpad display interaction with interactive and non-interactive regions
US11237014B2 (en) 2019-03-29 2022-02-01 Honda Motor Co., Ltd. System and method for point of interest user interaction
CN113064528A (zh) * 2020-01-01 2021-07-02 宋运峰 一种人机交互方法和系统
CN114764270B (zh) * 2021-07-29 2023-03-24 华为技术有限公司 输入转换方法、电子设备和可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1538267A (zh) * 2003-04-14 2004-10-20 义隆电子股份有限公司 结合了按键和手写功能的电容式触控板
CN1661522A (zh) * 2004-02-25 2005-08-31 郭文修 具鼠标结构的数字键盘
CN1265270C (zh) * 2002-05-29 2006-07-19 金桥电子实业股份有限公司 多媒体键盘
WO2007121677A1 (fr) 2006-04-21 2007-11-01 Bo Qiu Procédé et appareil de commande de l'affichage de l'information multidimensionnelle

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04184826A (ja) * 1990-11-19 1992-07-01 Sony Corp 液晶タッチパネル
JPH0695776A (ja) * 1992-02-28 1994-04-08 Nec Home Electron Ltd キーボード
JP3197764B2 (ja) * 1994-11-21 2001-08-13 三洋電機株式会社 入力装置
US7209127B2 (en) * 1997-10-09 2007-04-24 Bowen James H Electronic sketch pad and auxiliary monitor
JPH11134103A (ja) * 1997-10-29 1999-05-21 Yoshikazu Ichiyama タッチスクリーン用フィンガースタイラス及び小型コンピューター
JPH11327762A (ja) * 1998-05-11 1999-11-30 Misawa Homes Co Ltd マウス機能付きキー入力装置
US20030174125A1 (en) * 1999-11-04 2003-09-18 Ilhami Torunoglu Multiple input modes in overlapping physical space
JP2002244781A (ja) * 2001-02-15 2002-08-30 Wacom Co Ltd 入力システム、プログラム、及び、記録媒体
US6776546B2 (en) * 2002-06-21 2004-08-17 Microsoft Corporation Method and system for using a keyboard overlay with a touch-sensitive display screen
JP2004086365A (ja) * 2002-08-23 2004-03-18 Sony Corp 情報処理機器及びユーザ入力操作に応じた情報処理機器の制御方法、並びにコンピュータ・プログラム
JP2004118778A (ja) * 2002-09-30 2004-04-15 Mitsumi Electric Co Ltd Ｕｓｂキーボード装置及びｕｓｂ制御信号生成方法
AU2003296487A1 (en) * 2002-12-09 2004-06-30 Adam Kaplan Method and apparatus for user interface
TWM240050U (en) * 2003-04-02 2004-08-01 Elan Microelectronics Corp Capacitor touch panel with integrated keyboard and handwriting function
JP2005275975A (ja) * 2004-03-25 2005-10-06 Honda Motor Co Ltd 生産管理システム
US7477233B2 (en) * 2005-03-16 2009-01-13 Microsoft Corporation Method and system for providing modifier key behavior through pen gestures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1265270C (zh) * 2002-05-29 2006-07-19 金桥电子实业股份有限公司 多媒体键盘
CN1538267A (zh) * 2003-04-14 2004-10-20 义隆电子股份有限公司 结合了按键和手写功能的电容式触控板
CN1661522A (zh) * 2004-02-25 2005-08-31 郭文修 具鼠标结构的数字键盘
WO2007121677A1 (fr) 2006-04-21 2007-11-01 Bo Qiu Procédé et appareil de commande de l'affichage de l'information multidimensionnelle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2105823A4

Also Published As

Publication number Publication date
JP2010514020A (ja) 2010-04-30
US20100109999A1 (en) 2010-05-06
EP2105823A1 (en) 2009-09-30
AU2007335142A1 (en) 2008-06-26
EP2105823A4 (en) 2012-12-26
KR20090096528A (ko) 2009-09-10
AU2007335142A8 (en) 2010-06-24

Similar Documents

Publication Publication Date Title
WO2008074223A1 (fr) Dispositif d&#39;interaction entre l&#39;homme et l&#39;ordinateur, dispositif électronique, et procédé permettant une interaction entre l&#39;homme et l&#39;ordinateur
CN106484125B (zh) 人机交互装置、电子装置及方法
US20050162402A1 (en) Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
CN103123543B (zh) 多点触控鼠标
EP2534561B1 (en) Computer keyboard with integrated an electrode arrangement
Bachl et al. Challenges for designing the user experience of multi-touch interfaces
KR20130073824A (ko) 터치 키패드 모듈 및 그 모드 스위칭 방법
WO2011142151A1 (ja) 携帯型情報端末およびその制御方法
Matejka et al. The design and evaluation of multi-finger mouse emulation techniques
JPH10228350A (ja) 入力装置
CN103365451B (zh) 用于智能平台的多维增速省空间的人机交互方法及装置
TW201535237A (zh) 指令輸入裝置與指令輸入方法
Mistry et al. Mouseless: a computer mouse as small as invisible
TW200807284A (en) Programmable touch system
Benko et al. Imprecision, inaccuracy, and frustration: The tale of touch input
KR20080095811A (ko) 문자입력장치
CN105138148A (zh) 一种穿戴式滑动输入设备及输入方法
JP2015072540A (ja) ポインティング・スティックを含む入力装置、携帯式コンピュータおよび動作方法
KR101117117B1 (ko) 정보통신기기의 입력 장치
KR101631069B1 (ko) 멀티터치 트랙패드를 통한 심리스한 입력모드 전환을 지원하는 통합 전용 입력 플랫폼
CN104063046A (zh) 输入装置及切换输入方式的方法
WO2013078621A1 (zh) 用于电子设备的触屏输入方法和电子设备
JP5108824B2 (ja) 入力処理装置
Lindemann A short report on multi-touch user interfaces
CN116301405A (zh) 一种利用拇指辅助定位的鼠标

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780047057.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07845978

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2009541737

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2009127578

Country of ref document: RU

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2007845978

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2007335142

Country of ref document: AU

Ref document number: 2644/KOLNP/2009

Country of ref document: IN

Ref document number: 1020097015228

Country of ref document: KR

Ref document number: 2007845978

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2007335142

Country of ref document: AU

Date of ref document: 20071219

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 12520181

Country of ref document: US