WO2011145276A1 - 操作装置、操作方法、プログラム、記録媒体、及び集積回路 - Google Patents

操作装置、操作方法、プログラム、記録媒体、及び集積回路 Download PDF

Info

Publication number
WO2011145276A1
WO2011145276A1 PCT/JP2011/002409 JP2011002409W WO2011145276A1 WO 2011145276 A1 WO2011145276 A1 WO 2011145276A1 JP 2011002409 W JP2011002409 W JP 2011002409W WO 2011145276 A1 WO2011145276 A1 WO 2011145276A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
area
unit
state
region
Prior art date
Application number
PCT/JP2011/002409
Other languages
English (en)
French (fr)
Inventor
久美 原田
良宏 小島
山内 真樹
知成 高橋
池田 洋一
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2011536228A priority Critical patent/JPWO2011145276A1/ja
Priority to CN2011800024250A priority patent/CN102473074A/zh
Priority to US13/377,832 priority patent/US8854323B2/en
Publication of WO2011145276A1 publication Critical patent/WO2011145276A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224Touch pad or touch panel provided on the remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to an operating device for operating a graphical user interface (hereinafter referred to as “GUI”) on a display screen with a plurality of input devices.
  • GUI graphical user interface
  • TVs are not only used for watching broadcast programs or movies, but also for browsing various information through the Internet connection and devices connected to the network at home. And various applications such as photo browsing or games.
  • the pointing device is an input device that controls a pointer or cursor displayed on the display screen and can specify an arbitrary position and direction.
  • a pointer or cursor displayed on the display screen and can specify an arbitrary position and direction.
  • there are types such as a touchpad, a trackball, a joystick, and a mouse.
  • a touchpad a trackball
  • a joystick a mouse
  • the touchpad is characterized by intuition that can be operated by directly touching itself with a finger or pen.
  • touch pad sensing technology not only one finger can be operated but also one capable of advanced input such as a gesture using two fingers simultaneously has been developed. That is, operation with both hands as well as one hand is possible.
  • Patent Document 1 discloses a remote controller for home appliances equipped with a touchpad.
  • the remote control disclosed in Patent Document 1 includes a touch pad in a housing and operates an operation target on a display screen with the touch pad. Specifically, an operation area on the display screen is associated with the touch pad, and an operation on the touch pad can be reflected in the operation area.
  • the touchpad can detect two or more contacts at the same time, it can be operated with both hands at the same time. Furthermore, it is possible to adaptively change which operation area on the display screen corresponds to the input area of the touch pad according to the arrangement of the operation target on the display screen, the orientation of the housing, or the application. it can.
  • the input area on the left half of the touchpad is assigned to the area on the left half of the keyboard on the display screen, and the input area on the right half of the touchpad is assigned. Assign to the right half area of the keyboard on the display screen.
  • a selection word word list
  • the input area on the left half of the touch pad is displayed in the word list and the input area on the right half of the touch pad is displayed on the display screen. It is possible to assign operations to all areas of the keyboard.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an operating device that can dynamically change the correspondence between an input unit and an operation area based on the operation status of the input unit. To do.
  • An operation device is a region that occupies a predetermined area on a display screen provided in a display device for a user operation input to each of a plurality of input units provided in the input device. , And reflected in each of the plurality of operation areas associated with each input unit. Specifically, using the operation information acquisition unit that acquires the operation information indicating the operation content of the user input to each input unit from the input device, and the operation information acquired by the operation information acquisition unit An operation amount calculation unit that calculates an operation amount of a user with respect to each input unit, and a larger amount of the operation amount calculated by the operation amount calculation unit, so that the area of the corresponding operation region increases. An operation region changing unit that changes the size of the operation region.
  • the size of the corresponding operation area is dynamically changed according to the operation amount, a comfortable operation environment can be provided to the user. For example, when performing operations using multiple input units at the same time, assign an operation area equally to these input units, and when performing operations using only a specific input unit, the input It is possible to allocate a large operation area to a part.
  • the operation region changing unit may set the area of the operation region corresponding to the input unit to 0 when the operation amount falls below a predetermined threshold.
  • the operation area changing unit may change the size of each operation area so that the ratio of the areas of the operation areas approaches the corresponding operation amount ratio. Thereby, a more comfortable operating environment can be provided to the user.
  • the operation amount calculation unit calculates a plurality of operation features having different properties based on the operation information, and calculates a weighted linear sum of a predetermined weight count and the plurality of operation features. May be calculated as Thereby, a user's intention and a situation can be presumed more correctly.
  • the input unit includes an input area that occupies a predetermined area, and outputs at least one of position coordinates and contact strength on the input area when the user touches the input area as the operation information. It may be a sensor.
  • the operation amount calculation unit calculates, as the operation feature, at least one of a movement distance, a movement speed, a movement acceleration, and an operation direction based on the position coordinates, or an average intensity based on the contact strength. May be.
  • the above operating features are examples and are not limited to these.
  • the touch sensor may be a capacitive type.
  • the contact strength may be a capacitance value when a user's finger contacts or approaches the touch sensor.
  • the touch sensor may be a pressure-sensitive method.
  • the contact strength may be a pressure value at which a user's finger presses the touch sensor.
  • the operation device includes an operation amount storage unit that stores the operation amount calculated by the operation amount calculation unit, and the corresponding input unit based on the operation amount stored in the operation amount storage unit.
  • An operation state determination unit that determines the operation state of the operation state, and an operation state storage unit that stores a determination result by the operation state determination unit.
  • the operation state determination unit determines an operation OFF state indicating that the corresponding input unit is not operated when the operation amount is less than the threshold value, and when the operation amount is equal to or greater than the threshold value. , It may be determined as an operation ON state indicating that the corresponding input unit is being operated.
  • the operation device determines whether or not it is necessary to update the operation region state parameter indicating whether or not the user's operation input to the input device is reflected in the corresponding operation region.
  • a parameter update condition determination unit that is determined based on the operation region state parameter based on a determination result of the operation state determination unit when the parameter update condition determination unit determines that the operation region state parameter needs to be updated. You may provide the operation area state parameter update part which updates a parameter.
  • the parameter update condition determination unit may determine that the operation region state parameter needs to be updated when the latest determination result by the operation state determination unit is different from the past determination result.
  • the operation area state parameter update unit indicates that, when the latest determination result is an operation ON state, the operation area state parameter reflects the input to the input device to the corresponding operation area. When the latest determination result is an operation OFF state, the operation region state parameter may be in an invalid state indicating that an input to the input device is not reflected in the corresponding operation region.
  • the operation device updates the operation region attribute parameter including at least information indicating the area of the operation region according to the value of the operation region state parameter updated by the operation region state parameter update unit.
  • An attribute parameter update unit may be provided.
  • the operation region attribute parameter update unit has an area of the operation region in which the operation region state parameter is valid among the plurality of operation regions larger than an area of the operation region in which the operation region state parameter is invalid.
  • the operation region attribute parameter may be updated.
  • the operation area changing unit may change the size of each operation area according to the value of the operation area attribute parameter updated by the operation area attribute parameter updating unit.
  • the operation area attribute parameter may include information indicating the shape of the operation area, the position on the display screen, and the area, shape, and position changing method.
  • the operation device may include an operation region change presentation unit that notifies the user of the contents of the operation region attribute parameter updated by the operation region attribute parameter update unit.
  • the operation device is configured to display the operation area on the input unit that the user touches based on a ratio between the area of the operation area indicated by the operation area attribute parameter and the area of the input section associated with the operation area.
  • a pointer position determining unit that displays a pointer may be provided at a position on the operation area corresponding to the position.
  • the operating device may further include the input device.
  • the input device may include a housing and the plurality of input units arranged side by side on the same plane of the housing.
  • the operation device may further include the display device.
  • An operation method is a region that occupies a predetermined area on a display screen provided in a display device for a user operation input to each of a plurality of input units provided in the input device. This is a method of reflecting each of the plurality of operation areas associated with each input unit. Specifically, using the operation information acquisition step for acquiring operation information indicating the operation content of the user input to each input unit from the input device, and the operation information acquired in the operation information acquisition step The operation amount calculation step for calculating the operation amount of the user with respect to each input unit, and the operation amount calculated in the operation amount calculation step so that the area of the corresponding operation region increases as the operation amount calculated in the operation amount calculation step increases. And an operation area changing step for changing the size of the operation area.
  • the present invention it is possible to dynamically change the correspondence between the input unit and the operation area based on the operation information output from each of the plurality of input units. That is, it is determined that an input operation is intentionally performed by the user on an input unit having a large operation amount, and an operation that is not intended (or erroneous) by the user is performed on an input unit having a small operation amount.
  • a larger operation area can be associated with an input unit with a large operation amount.
  • the present invention provides a comfortable operating environment for the user by automatically changing the correspondence between the input unit and the operation area in consideration of the usage situation of the user's left and right hands. Can do.
  • a program according to an aspect of the present invention is a region that occupies a predetermined area on a display screen provided in a display device, for a user operation input to each of a plurality of input units provided in the input device,
  • the computer causes the computer to execute processing to be reflected in each of the plurality of operation areas associated with each input unit.
  • the operation information acquisition step for acquiring operation information indicating the operation content of the user input to each input unit from the input device, and the operation information acquired in the operation information acquisition step
  • the operation amount calculation step for calculating the operation amount of the user with respect to each input unit, and the operation amount calculated in the operation amount calculation step so that the area of the corresponding operation region increases as the operation amount calculated in the operation amount calculation step increases.
  • An operation area changing step for changing the size of the operation area is executed by the computer.
  • the above-described program is recorded on a non-transitory computer-readable recording medium for a computer according to an aspect of the present invention.
  • An integrated circuit is a region that occupies a predetermined area on a display screen provided in a display device for a user operation input to each of a plurality of input units provided in the input device. , And reflected in each of the plurality of operation areas associated with each input unit. Specifically, using the operation information acquisition unit that acquires the operation information indicating the operation content of the user input to each input unit from the input device, and the operation information acquired by the operation information acquisition unit An operation amount calculation unit that calculates an operation amount of a user with respect to each input unit, and a larger amount of the operation amount calculated by the operation amount calculation unit, so that the area of the corresponding operation region increases. An operation region changing unit that changes the size of the operation region.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an input device, an operation device, and a display device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a detailed configuration of the input device, the operation device, and the display device according to the embodiment of the present invention.
  • FIG. 3 is a block diagram showing an example of the appearance of the input device and the display device according to an embodiment of the present invention.
  • FIG. 4A is a diagram illustrating the position coordinates of the input areas of the first and second input units.
  • FIG. 4B is a diagram illustrating the position coordinates of the first and second operation areas.
  • FIG. 5 is a flowchart showing a processing procedure of the controller device according to the embodiment of the present invention.
  • FIG. 6A is a diagram illustrating an example of operation information generated by the first input unit and acquired by the operation information acquisition unit.
  • FIG. 6B is a diagram illustrating an example of operation information generated by the second input unit and acquired by the operation information acquisition unit.
  • FIG. 7 is a flowchart illustrating processing for calculating an operation amount according to an embodiment of the present invention.
  • FIG. 8A is a diagram illustrating an example of the operation amount of the first input unit stored in the operation amount storage unit.
  • FIG. 8B is a diagram illustrating an example of the operation amount of the second input unit stored in the operation amount storage unit.
  • FIG. 9 is a flowchart illustrating processing for determining an operation state according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating processing for determining an operation state according to an embodiment of the present invention.
  • FIG. 10A is a diagram illustrating an example of an operation state of the first input unit stored in the operation state storage unit.
  • FIG. 10B is a diagram illustrating an example of the operation state of the second input unit stored in the operation state storage unit.
  • FIG. 11 is a flowchart for explaining operation region parameter update determination processing according to an embodiment of the present invention.
  • FIG. 12A is a diagram illustrating an example of an operation region parameter update determination result of the first input unit.
  • FIG. 12B is a diagram illustrating an example of the operation region parameter update determination result of the second input unit.
  • FIG. 13 is a flowchart illustrating processing for updating the operation region state parameter according to an embodiment of the present invention.
  • FIG. 14A is a diagram illustrating an example of the operation region state parameter of the first input unit.
  • FIG. 14A is a diagram illustrating an example of the operation region state parameter of the first input unit.
  • FIG. 14B is a diagram illustrating an example of the operation region state parameter of the second input unit.
  • FIG. 15 is a flowchart illustrating processing for determining an operation area attribute parameter according to an embodiment of the present invention.
  • FIG. 16A is a diagram illustrating the relationship between the operation area and the input area when the first input unit is in the “valid state” and the second input unit is in the “valid state”.
  • FIG. 16B is a diagram illustrating the relationship between the operation area and the input area when the first input unit is in the “valid state” and the second input unit is in the “invalid state”.
  • FIG. 16C is a diagram illustrating a relationship between the operation area and the input area when the first input unit is “invalid state” and the second input unit is “valid state”.
  • FIG. 16A is a diagram illustrating the relationship between the operation area and the input area when the first input unit is in the “valid state” and the second input unit is in the “valid state”.
  • FIG. 16B is a diagram illustrating the relationship between the
  • FIG. 16D is a diagram illustrating a relationship between an operation area and an input area when the first input unit is “invalid state” and the second input unit is “invalid state”.
  • FIG. 17 is a diagram illustrating an example of a method for presenting a change in the operation area according to an embodiment of the present invention.
  • FIG. 18 is a flowchart for describing processing for determining a pointer position according to an embodiment of the present invention.
  • FIG. 19A is a diagram illustrating an input area and a contact position of the first input unit.
  • FIG. 19B is a diagram illustrating an input area and a contact position of the second input unit.
  • FIG. 20A is a diagram illustrating an example of the relationship between the contact position and the pointer position when the first input unit is in the “valid state” and the second input unit is in the “valid state”.
  • FIG. 20B is a diagram illustrating an example of the relationship between the contact position and the pointer position when the first input unit is in the “valid state” and the second input unit is in the “invalid state”.
  • FIG. 21A is a diagram illustrating an example of objects a to f displayed on the operation area.
  • FIG. 21B is a diagram illustrating coordinates on the operation area of the objects a to f.
  • FIG. 21C is a diagram showing a state in which the object f is highlighted.
  • FIG. 1 is a functional block diagram of an operation device 200, an input device 203, and a display device 219 according to an embodiment.
  • the operation device 200 according to the embodiment of the present invention displays a user operation input to the first and second input units 201 and 202 provided on the input device 203 according to a display screen 218 provided on the display device 219. It is a device to be reflected in the upper operation area.
  • the input device 203 includes a plurality of input units, that is, first and second input units 201 and 202 as shown in FIG.
  • the input device 203 outputs a user operation input to each of the first and second input units 201 and 202 to the operation device 200 as operation information.
  • the operation device 200 includes at least an operation information acquisition unit 204, an operation amount calculation unit 205, and an operation area change unit 215.
  • the operation device 200 is a device that acquires operation information from the input device 203, calculates pointer position coordinates based on the operation information, and outputs the pointer position coordinates to the display device 219.
  • the operation information acquisition unit 204 acquires operation information indicating the user's operation content input to the first and second input units 201 and 202 from the input device 203.
  • the operation amount calculation unit 205 calculates the operation amount of the user for each of the first and second input units 201 and 202 using the operation information acquired by the operation information acquisition unit 204.
  • the operation region changing unit 215 changes the size of each operation region such that the larger the operation amount calculated by the operation amount calculating unit 205 is, the larger the corresponding operation region is.
  • the display device 219 includes a display screen 218.
  • the display device 219 acquires the pointer position coordinates from the operation device 200 and displays the pointer at a position on the display screen 218 indicated by the pointer position coordinates.
  • the display screen 218 is divided into first and second operation areas 301 and 302 associated with the first and second input units 201 and 202, respectively.
  • the first operation area 301 occupies a predetermined area on the display screen 218 and is associated with the first input unit 201. Then, the user operation input to the first input unit 201 is reflected in the first operation area 301 in accordance with the control of the operation device 200.
  • the second operation area 302 occupies a predetermined area on the display screen 218 and is associated with the second input unit 202. Then, the user operation input to the second input unit 202 is reflected in the second operation area 302 according to the control of the operation device 200.
  • FIG. 2 is a block diagram illustrating detailed configurations of the input device 203, the operation device 200, and the display device 219 according to an embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of the appearance of the input device 203 and the display device 219 according to an embodiment of the present invention.
  • FIG. 4A is a diagram illustrating the position coordinates of the input areas of the first and second input units 201 and 202.
  • FIG. 4B is a diagram illustrating the position coordinates of the first and second operation areas 301 and 302.
  • the same reference number is attached
  • the input device 203 includes a housing 220 and first and second input units 201 and 202. As shown in FIG. 3, the first and second input units 201 and 20 are arranged side by side on the same surface of the housing 220. Then, the user holds the casing 220 with both hands, operates the first input unit 201 with the left hand, and operates the second input unit 202 with the right hand, thereby selecting an operation target on the display screen 218 of the display device 219. Manipulate.
  • 1st input part 201 will output the operation information which shows a user's operation content for every predetermined time interval, if the input by operation of a user's finger and hand is received.
  • the operation information is any one or more of position information, time, and contact strength at which the user is in contact with the input area of the first input unit 201. The same applies to the second input unit 202.
  • first and second input units 201 and 202 is a touch pad including an input region occupying a predetermined area.
  • This touch pad is either a capacitance type or a pressure sensitive type.
  • a user may contact a touchpad using devices other than fingers and hands, such as a pen, for example.
  • the touch pad may be a touch sensor capable of multipoint recognition that detects a plurality of inputs at a time.
  • the housing 220 may be provided with one or more touch sensors.
  • the housing 220 may be provided with a button or switch mechanism having a function of determining an input operation.
  • the touch pad itself may be provided with a mechanism that can be pressed, and may be a touch pad that can be pressed at an arbitrary contact position.
  • touch pad is used as an example of the input unit, the present invention is not limited to this, and other pointing devices may be used.
  • pointing devices there are a mouse, a trackball, and a pen-type input device.
  • both the first and second input units 201 and 202 are touch pads.
  • the operation device 200 includes an operation information acquisition unit 204, an operation amount calculation unit 205, an operation amount storage unit 206, an operation state determination unit 207, an operation state storage unit 208, an operation region parameter determination unit 209, and an operation region.
  • a change presentation unit 214, an operation area change unit 215, and a pointer position determination unit 216 are provided.
  • the operation device 200 is a device that acquires operation information from the input device 203, calculates pointer position coordinates based on the operation information, and outputs the pointer position coordinates to the display device 219.
  • the operation information acquisition unit 204 acquires the operation information output from the first input unit 201 and the second input unit 202.
  • a specific method for acquiring the operation information is not particularly limited.
  • the operation information acquisition unit 204 and the input device 203 may be connected by wire or wireless to transmit and receive the operation information.
  • the operation amount calculation unit 205 uses the operation information acquired by the operation information acquisition unit 204 to determine operation amounts input by the user to the first input unit 201 and the second input unit 202, respectively.
  • the operation amount is calculated based on operation characteristics such as the moving distance, moving speed, moving acceleration, and average intensity of the user's hand or finger on the input area.
  • the operation amount storage unit 206 stores the operation amounts of the first and second input units 201 and 202 obtained by the operation amount calculation unit 205.
  • Specific examples of the storage medium are not particularly limited.
  • any storage capable of storing data such as DRAM (Dynamic random access memory), SDRAM (Static random access memory), flash memory, or HDD (Hard Disc Drive). Medium can be employed.
  • the operation state determination unit 207 determines the operation states of the respective users of the first input unit 201 and the second input unit 202 using the operation amount for each predetermined time interval stored in the operation amount storage unit 206. To do.
  • the operation state is one of an “operation ON state” indicating that the user is operating each of the first and second input units 201 and 202, and an “operation OFF state” indicating that the user is not operating. It is.
  • the operation state storage unit 208 stores the operation states of the first and second input units 201 and 202 obtained by the operation state determination unit 207 at predetermined time intervals.
  • a specific example of the storage medium is common to the operation amount storage unit 206.
  • the operation region parameter determination unit 209 includes a parameter update condition determination unit 210 and an operation region parameter update unit 211. Furthermore, the operation region parameter update unit 211 includes an operation region state parameter update unit 212 and an operation region attribute parameter update unit 213. The operation region parameter determination unit 209 is configured to determine the parameters related to the operation region on the display screen 218 corresponding to the input regions of the first input unit 201 and the second input unit 202 by the operation state determination unit 207. Determine based on the operation state.
  • the operation area parameter includes an operation area state parameter that represents the state of the operation area corresponding to each of the first and second input units 201 and 202, and an operation area attribute parameter that represents the attribute of the operation area.
  • the operation area state parameter is “valid state” indicating that the input to the input area is reflected in the corresponding operation area, or “invalid state” indicating that the input to the input area is not reflected in the corresponding operation area. Either.
  • the operation region attribute parameter includes at least one of information on the area, shape, and arrangement (position on the operation region) of the operation region. Furthermore, the operation region attribute parameter may include the area, shape, arrangement change speed, and change method of the operation amount region.
  • the parameter update condition determination unit 210 determines whether the operation area parameter is “updated” or “not updated” based on the history of the user's operation state every predetermined time stored in the operation state storage unit 208. judge. Specifically, the current (latest) operation state is compared with the past operation state, and if they are different, the operation region parameter is determined to be “updated”, and if they are the same, it is determined to be “not updated”.
  • the operation region state parameter update unit 212 updates the operation region state parameter based on the latest operation state when the parameter update condition determination unit 210 determines that the operation region parameter is “updated”.
  • the latest operation state stored in the operation state storage unit 208 is “operation ON state”
  • the corresponding operation region state parameter is set to “valid state”
  • the latest operation state is “operation OFF state”. If there is, the corresponding operation area state parameter is set to “invalid state”.
  • the operation region attribute parameter update unit 213 updates the operation region attribute parameter based on the operation region state parameters corresponding to the first and second input units 201 and 202 updated by the operation region state parameter update unit 212, respectively. .
  • the other operation region attribute parameter is updated.
  • the operation area attribute parameter update unit 213 has an operation area in which the operation area state parameter is valid among the first and second operation areas 301 and 302, and an operation in which the operation area state parameter is invalid.
  • the operation area attribute parameter is updated so as to be larger than the area area.
  • the operation region change presentation unit 214 presents to the user that the correspondence between the input region and the operation region is changed when the parameter update condition determination unit 210 determines to update the operation region parameter. (Notice.
  • the operation region change unit 215 performs the first input unit 201 and the first operation based on the updated operation region parameter.
  • the correspondence relationship with the region 301 and the correspondence relationship between the second input unit 202 and the second operation region 302 are each changed.
  • the pointer position determination unit 216 Based on the position information included in the operation information of each of the first and second input units 201 and 202 and the operation region parameter changed by the operation region changing unit 215, the pointer position determination unit 216 The pointer position on the display screen 218 corresponding to the position information of each of the two input units 201 and 202 or the object indicated by the pointer position is determined. More specifically, as illustrated in FIGS. 4A and 4B, the pointer position determination unit 216 includes the areas of the first and second operation areas 301 and 302 and the first and second input units 201 and 202. The position of the pointer is determined so that the pointer is displayed at a position on the operation area corresponding to the position on the input area touched by the user.
  • the display device 219 includes a display control unit 217 and a display screen 218.
  • the display control unit 217 displays control information for displaying the GUI screen on the display screen 218 based on the results output from the operation region change presentation unit 214, the operation region change unit 215, and the pointer position determination unit 216. And output to the display screen 218.
  • the display screen 218 displays the GUI screen based on the GUI screen control information output from the display control unit 217. That is, in response to an operation in which the user moves a finger or a hand on the input areas of the first input unit 201 and the second input unit 202, for example, the display of the pointer to be operated or the object pointed to by the pointer is another object.
  • the operation process or operation result such as highlighting for identification, operation of objects such as menus or icons, writing of characters, drawing of pictures, etc., is displayed.
  • first and second operation areas 301 and 302 corresponding to the first input unit 201 and the second input unit 202 are set.
  • the coordinate system on the first and second input units 201 and 202 and the coordinate system of the first and second operation areas 301 and 302 are absolute coordinate systems, and each coordinate is associated one-to-one.
  • a specific example of the display screen 218 is not particularly limited, and for example, a CRT (Cathode Ray Tube) display, a liquid crystal display, a plasma display, an organic EL (Electro Luminescence) display, or the like can be adopted.
  • CTR Cathode Ray Tube
  • liquid crystal display a liquid crystal display
  • plasma display a plasma display
  • organic EL Electro Luminescence
  • both the first input unit 201 and the second input unit 202 are touch pads having the same performance and size, and the shape is a rectangle.
  • FIG. 4A is a diagram illustrating input areas of the first input unit 201 and the second input unit 202.
  • the upper left corner coordinates are (0, 0)
  • the lower right corner coordinates are (300, 500).
  • FIG. 4B is a diagram showing the first and second operation areas 301 and 302 on the display screen 218.
  • all operation areas In the entire operation area (hereinafter referred to as “all operation areas”), the upper left coordinates are (0, 0) and the lower right coordinates are (1600, 900).
  • the first input unit 201 is associated with the first operation area 301 represented by the upper left coordinates (0, 0) and the lower right coordinates (800, 900), and the second The input unit 202 is associated with a second operation area 302 represented by upper left corner coordinates (800, 0) and lower right corner coordinates (1600, 900).
  • first and second operation areas 301 and 302 have the same shape and the same size. Furthermore, the first and second operation areas 301 and 302 are the same as the arrangement of the first and second input units 201 and 202 when viewed from the user when the user holds the housing 220 with both hands. Are arranged adjacent to each other.
  • the upper left corner coordinates (0, 0) of the first input unit 201 are associated with the upper left corner coordinates (0, 0) of the first operation area 301, and the lower right corner coordinates ( 300, 500) and the lower right coordinates (800, 900) of the first operation area 301 are associated with each other.
  • the correspondence relationship of other coordinates can be obtained by proportionally distributing the area of the first input unit 201 and the area of the first operation region 301.
  • the correspondence relationship between the second input unit 202 and the second operation area 302 is the same.
  • the input device 203 configured as described above notifies the operation device 200 of operation information indicating that the user has touched the input areas of the first and second input units 201 and 202.
  • the operation device 200 that has acquired the operation information determines a first operation area 301 to be assigned to the first input unit 201 and a second operation area 302 to be assigned to the second input unit 202 based on the operation information.
  • the display device 219 is notified.
  • the display device 219 sets the notified first operation area 301 and second operation area 302 on the display screen 218, and displays a pointer position corresponding to the contact position of the user. Specific processing contents will be described later.
  • FIG. 1 illustrates an example in which the operation device 200, the input device 203, and the display device 219 are separate bodies.
  • a desktop PC Personal Computer
  • FIG. 1 illustrates an example in which the operation device 200, the input device 203, and the display device 219 are separate bodies.
  • a desktop PC Personal Computer
  • FIG. 1 illustrates an example in which the operation device 200, the input device 203, and the display device 219 are separate bodies.
  • a desktop PC Personal Computer
  • the operation device 200 and the input device 203 may be integrated, the operation device 200 and the display device 219 may be integrated, or the operation device 200, the input device 203, and the display device. 219 may be integrated.
  • control information (pointer position coordinates) calculated by this device is displayed on the display device 219. You may send it.
  • the display device 219 is incorporated in the display device 219, the display device 219 and the control device 200 are integrated, and the operation information is acquired from the input device 203 by this device to perform display control. Good.
  • the housing 220 and the display device 219 may be connected by wire, or the housing 220 includes a remote control signal transmission unit and transmits a remote control signal to the display device 219 that is not physically connected to the housing 220. It may be a form to do. Specific examples of the above two examples include a combination of a remote control (input device 203 side) and a television (display device 219 side).
  • the input device 203, the operation device 200, and the display device 219 may be integrated by incorporating the operation device 200 in the housing 220 and disposing the display screen 218 on the surface of the housing 220.
  • Specific examples of this example include, for example, a configuration in which a touch pad with high transparency is stacked on the display screen and the touch pad and the display screen are integrated, a configuration in which the display screen is arranged side by side on the touch pad, or a laptop PC of a type
  • FIG. 5 is a flowchart showing the operation of the controller device 200. Every time operation information is acquired from the input device 203, the operation device 200 executes the processing (S401 to S412) shown in FIG. 5 using the acquired latest operation information.
  • the operation information acquisition unit 204 of the operation device 200 acquires operation information indicating the user's operation content input to the first and second input units 201 and 202 from the input device 203 (S401).
  • the operation information includes any one or more of position information (coordinates of the contact position) on the input area in contact with the user, time, and contact strength.
  • the contact strength is obtained based on the capacitance value when the touch pad is a capacitive touch pad.
  • a pressure type touch pad it is obtained based on the pressure value.
  • FIG. 6A is a diagram illustrating an example of operation information generated by the first input unit 201 and acquired by the operation information acquisition unit 204.
  • FIG. 6B is a diagram illustrating an example of operation information generated by the second input unit 202 and acquired by the operation information acquisition unit 204.
  • the operation information acquisition unit 204 acquires operation information including the coordinates of the contact position and the contact strength from the input device 203 at predetermined time intervals.
  • the contact strength is 0 and there is no information on the contact position. That is, the user does not touch the first input unit 201 at time t 0 .
  • the coordinates of the contact position are (88, 157), and the contact strength is 11.
  • the contact position and the contact strength are acquired at times t 2 , t 3 , and t 4 .
  • the operation information generated at the times t 0 to t 4 is acquired for the second input unit 202 as well.
  • the operation amount calculation unit 205 uses the operation information acquired by the operation information acquisition unit 204 to determine the operation amount input by the user to each of the first input unit 201 and the second input unit 202 (S402). ).
  • the operation amount calculation unit 205 calculates a plurality of operation features having different properties from each other based on the operation information, and calculates a weighted linear sum of a predetermined weight count and the plurality of operation features as an operation amount.
  • Examples of the operation features include a movement distance, a movement speed, an operation direction, and an average intensity.
  • the operation amount according to an embodiment is calculated based on two operation characteristics of the user's finger movement distance on the first and second input units 201 and 202 and the average strength.
  • the operation amount calculation unit 205 calculates an operation feature based on the operation information of each of the first input unit 201 and the second input unit 202 (S700). Specifically, the operation amount calculation unit 205 obtains the operation information of the first input unit 201 illustrated in FIG. 6A and the operation information of the second input unit 202 illustrated in FIG.
  • the operation feature is calculated by the following method.
  • the time between the time t 4 and time t 3 the immediately preceding the [Delta] T 4 illustrating a method of calculating the average intensity and the moving distance in [Delta] T 4.
  • the position coordinates at time t 4 are (95, 145), the contact strength is 23, the position coordinates at time t 3 are (92, 150), and the contact strength is 20. That is, the moving distance is determined to be approximately 6 and the average intensity is determined to be 21.5.
  • the moving distance is 16.8 and the average intensity is 73.5.
  • the operation amount calculation unit 205 calculates the operation amount at ⁇ T 4 based on the two operation characteristics, that is, the movement distance and the average intensity (S701).
  • the operation amount is obtained by a weighted linear sum having elements of each operation feature value and a weighting factor corresponding to each operation feature. That is, assuming that the moving distance weighting factor is a1 and the average strength weighting factor is a2, the manipulated variable C ( ⁇ T) at ⁇ T is obtained as a1 ⁇ (moving distance) + a2 ⁇ (average strength). If both a1 and a2 are positive values, the value of the manipulated value increases as the moving distance and the average intensity value increase. For example, if a1 is 10 and a2 is 1, the manipulated variable C ( ⁇ T) at time ⁇ T can be obtained by 10 ⁇ (movement distance) + (average intensity).
  • the operation amounts from time t 0 to t 4 calculated in this way are shown in FIGS. 8A and 8B. Since the at time t 0 the operation information has not been acquired, between times t 0 and t 1, i.e. the operation amount of [Delta] T 1 is not calculated.
  • the movement distance and the average intensity are used as operation characteristics in order to calculate the operation amount.
  • the present invention is not limited to this example, and other movement speeds, movement accelerations, movement directions, the number of gesture operations. You may use the value showing the characteristic regarding operation, such as the number of event executions (determined operation number etc.).
  • the operation amount C ( ⁇ T n ) at ⁇ T n (time t n ⁇ 1 to t n ) is represented by m operation features C1 ( ⁇ T n ) to Cm ( ⁇ T n ) as shown in the following equation 1. And a weighted linear sum having m weighting factors a1 to am as elements.
  • the manipulated variable at ⁇ T n is obtained based on the manipulated characteristic obtained between times t n ⁇ 1 and t n , but is further obtained using the manipulated variable calculated within a predetermined time before that. May be. That is, the operation characteristic Cm ( ⁇ T n) in Equation 1 is obtained by replacing Cm' ( ⁇ T n) as in Equation 2 below.
  • the operation amount is a weighted linear sum including k operation features from time t n to time t (n ⁇ k + 1) going back a predetermined time, and k positive weight coefficients bk as elements.
  • the predetermined time to go back may be set according to the operation characteristics of the user and the application to be operated.
  • the operation amount calculation unit 205 stores the operation amounts calculated for the first and second input units 201 and 201 in the operation amount storage unit 206 (S403). That is, the operation amount storage unit 206 stores the operation amount of the first input unit 201 illustrated in FIG. 8A and the operation amount of the second input unit 202 illustrated in FIG. 8B.
  • the operation state determination unit 207 uses the operation amount for each predetermined time interval stored in the operation amount storage unit 206 to operate the user operation state in the first input unit 201 and the second input unit 202. Is determined (S404).
  • the operation state is either an “operation ON state” indicating that the user is operating the first and second input units 201 and 202 or an “operation OFF state” indicating that the user is not operating. is there.
  • the procedure of this process will be described with reference to FIGS. 9, 10A, and 10B.
  • the operation amount increases when the user is performing any operation on the first and second input units 201 and 202, while the first and second input units 201 and 202 are operated.
  • the weighting factor is set so that the value becomes smaller when the finger is placed on the first and second input units 201 and 202 but not operated.
  • the operation state determination unit 207 determines that the operation state of the first and second input units 201 and 202 is “operation ON state” when the operation amount is equal to or greater than a predetermined threshold (YES in S900 and S903). (S901, S904). On the other hand, when the operation amount is smaller than the predetermined threshold value (NO in S900 and S903), it is determined that the “operation is in an OFF state” (S902 and S905).
  • the operation states in ⁇ T 1 to ⁇ T 3 can also be determined by the same method.
  • the operation state determination unit 207 stores the determination result of the user's operation state for each of the first and second input units 201 and 202 in the operation state storage unit 208 (S405). That is, the operation state storage unit 208 stores the operation state of the first input unit 201 and the operation state 1001 of the second input unit 202. However, the operation amount is not calculated at ⁇ T 1 , but “operation OFF state” is set as the initial state.
  • the operation region parameter determination unit 209 includes a parameter update condition determination unit 210, an operation region state parameter update unit 212, and an operation region attribute parameter update unit 213.
  • the first input unit 201 and the second The parameters relating to the first and second operation areas 301 and 302, which are ranges that can be input by the input unit 202, are determined based on the operation state of the user.
  • the operation area parameter includes an operation area state parameter indicating the states of the first and second operation areas 301 and 302 corresponding to the first and second input units 201 and 202, and the first and second operations. It consists of operation area attribute parameters representing the attributes of the areas 301 and 302.
  • the operation area state parameter is either “valid state” indicating that the operation input to the input area can be reflected in the operation area, or “invalid state” that cannot be reflected.
  • the operation region attribute parameter includes at least one of the area, shape, and arrangement of the operation region. Furthermore, the operation region attribute parameter can also include the area, shape, arrangement change speed, and change method of the operation region.
  • the parameter update condition determination unit 210 determines whether or not to update the operation region parameter based on the operation states of the first and second input units 201 and 202 determined by the operation state determination unit 207 (S406). . If it is determined that the operation region parameter is “updated” (YES in S406), the operation region state parameter update unit 212 updates the operation region state parameter (S407). On the other hand, when it is determined that the operation area parameter is “not updated” (NO in S406), the process returns to the step of acquiring operation information (S401).
  • the operation area attribute parameter update unit 213 determines whether or not to update the operation area attribute parameter (S408). When it is determined that the operation area attribute parameter is “updated” (YES in S408), the operation area attribute parameter is calculated (S409). On the other hand, when it determines with "not updating” (NO of S408), it returns to the step which acquires operation information (S401).
  • the parameter update condition determination unit 210 “updates the operation region parameter of the first input unit 201 based on the history of the user's operation state with respect to the first input unit 201 stored in the operation state storage unit 208. It is determined whether “Yes” or “No update” (S1101). Specifically, the current operation state is compared with the past operation state, and if they are different (YES in S1101), it is determined that the operation region parameter is “updated” (S1102). On the other hand, if they are the same (NO in S1101), it is determined that “do not update” (S1103).
  • the current operation state and the past operation state are compared, and if they are different (YES in S1104), the operation region parameter is determined to be “updated” (S1105), and the same In the case (NO in S1104), it is determined that “not update” (S1106).
  • the operation state shown in FIGS. 10A and 10B is stored in the operation state storage unit 208.
  • the operation state at ⁇ T 2 is “operation OFF state”, which is the same as the operation state at ⁇ T 1 immediately before the operation, so that the operation of the first input unit 201 is performed at time t 2 . It is determined that the area parameter is “not updated”. Similarly, since ⁇ T 3 and ⁇ T 4 are also in the “operation OFF state”, it is determined that the operation region parameter is “not updated” at times t 3 and t 4 .
  • the operation states of ⁇ T 1 and ⁇ T 2 are both “operation OFF state” for the second input unit 202, it is determined that the operation region parameter at time t 2 is “not updated”.
  • the operation state of ⁇ T 3 is “operation ON state”, and since the operation state of ⁇ T 2 and ⁇ T 3 are different, it is determined that the operation region parameter is “updated” at time t 3 .
  • the operation state of ⁇ T 4 is “operation ON state” and the same as ⁇ T 3, it is determined that the operation region parameter is “not updated” at time t 4 .
  • the operation region parameter update determination result of the first input unit 201 shown in FIG. 12A and the operation region parameter update determination result of the second input unit 202 shown in FIG. 12B are obtained.
  • the parameter update condition may be set based on a plurality of past operation states without being limited to the previous operation state.
  • the operation area state parameter update unit 212 first determines that the first input unit 201 is “updated” by the parameter update condition determination unit 210 (YES in S1300), and the operation state of the user is “operation ON state”. In the case (YES in S1301), the operation area state parameter is updated to “valid state” (S1302). On the other hand, when the parameter update condition determination unit 210 determines “update” (YES in S1300) and the user's operation state is “operation OFF state” (NO in S1301), the operation region state parameter is set to “invalid state”. (S1303).
  • the operation region state parameter update unit 212 executes the same process for the second input unit 202 after the parameter update process (S1300 to S1303) of the first input unit 201. That is, if the parameter update condition determination unit 210 determines “update” (YES in S1304) and the user's operation state is “operation ON state” (YES in S1305), the operation region state parameter is set to “valid state”. (S1306). On the other hand, when the parameter update condition determination unit 210 determines “update” (YES in S1304) and the operation state of the user is “operation OFF state” (NO in S1305), the operation region state parameter is set to “invalid state”. (S1307).
  • 12A and 12B show the operation state obtained from the time t 0 to t 1 , t 2 , t 3 , t 4 , and the operation state parameters obtained based on the operation information acquired at each time. The result of the update determination is shown.
  • the operation region state parameter at time t 0 is set to “invalid state”.
  • the operation state is determined to be “operation OFF state” in all of ⁇ T 1 to ⁇ T 4 , and the operation region parameter is determined to be “not updated” at all times. As a result, the operation region state parameter is not updated, and the initial “invalid state” is continued.
  • the operation state of the second input unit 202 is determined as “operation OFF state” at ⁇ T 1 and ⁇ T 2, and is determined as “operation ON state” at ⁇ T 3 and ⁇ T 4 .
  • the operation region state parameter was determined to be “not updated” at ⁇ T 1 , ⁇ T 2 , and ⁇ T 4 , and “updated” at ⁇ T 3 .
  • the operation region state parameter continues to the initial “invalid state” at ⁇ T 1 and ⁇ T 2 and is updated to “valid state” at ⁇ T 3 .
  • the operation region state parameter at ⁇ T 3 is not updated, and the “valid state” is continued.
  • the operation area attribute parameter update unit 213 performs the first and second operations based on the latest combination of the operation area state parameters of the first and second input units 201 and 202 updated by the operation area state parameter update unit 212.
  • the operation area attribute parameters of the input units 201 and 202 are updated.
  • the first input unit 201 is associated with the first operation area 301 and the second input unit 202 is associated with the second operation area 302.
  • the operation region attribute parameter update unit 213 determines that both the first and second input units 201 and 202 are operated, and sets the area ratio of the first operation region 301 and the second operation region 302 to 1. : 1 is updated (S1502).
  • the first and second operation areas 301 and 302 are made to be congruent rectangles (S1503).
  • the first operation area 301 and the second operation area 302 are the same as the arrangement relationship of the first input unit 201 and the second input unit 202 when the user holds the housing 220 with both hands. (S1504).
  • FIG. 16A shows the update result.
  • the operation region attribute parameter update unit 213 determines that only the first input unit 201 is operated, and updates the area ratio of the first operation region 301 and the second operation region 302 to 1: 0 ( S1505). Further, the shape of the first operation area 301 is the same as the shape of the display screen 218, and the first operation area 301 is the entire display screen 218 (all operation areas) (S1506). FIG. 16B shows the update result.
  • the operation region attribute parameter update unit 213 determines that only the second input unit 202 is operated, and updates the area ratio between the first operation region 301 and the second operation region 302 to 0: 1 ( S1508). Further, the shape of the second operation area 302 is the same as the shape of the display screen 218, and the second operation area 302 is the entire display screen 218 (all operation areas) (S1509).
  • FIG. 16C shows the update result.
  • the operation region attribute parameter update unit 213 determines that both the first and second input units 201 and 201 are not operated, and sets the area ratio between the first operation region 301 and the second operation region 302 to 0. : Updated to 0 (S1510). That is, the operation area is not assigned to any of the first and second input units 201 and 202.
  • FIG. 16D shows the update result.
  • the operation area attribute parameters the updated area and shape, the change speed to change to the arrangement state, or the change method, the speed set in advance based on the operation state before the change and the operation state after the change, Use the method.
  • one operation region state parameter of the first and second input units 201 and 202 maintains “valid state”, and the other operation region state parameter is updated from “valid state” to “invalid state”.
  • the operation area is changed at the speed V1.
  • one operation state parameter of the first and second input units 201 and 202 maintains the “valid state”, and the other operation region state parameter is changed from the “invalid state” to the “valid state”. In the case, that is, when updating from FIG. 16B or FIG. 16C to FIG. 16A, the operation area is changed at the speed V3.
  • one operation region state parameter of the first and second input units 201 and 202 is updated from “valid” to “invalid”, and the other operation region state parameter is changed from “invalid” to “valid”.
  • the state is updated, that is, when the state is updated from FIG. 16B or 16C to FIG. 16A, the operation area is changed at the speed V4.
  • one operation region state parameter of the first and second input units 201 and 202 is updated from the “valid state” to the “invalid state”, and the other operation region state parameter maintains the “invalid state”. In the case, that is, when updating from FIG. 16B or FIG. 16C to FIG. 16D, the operation area is changed at the speed V5.
  • one operation region state parameter of the first and second input units 201 and 202 maintains the “valid state” and the other operation region state parameter is updated from the “invalid state” to the “valid state”. That is, when updating from FIG. 16B or FIG. 16C to FIG. 16A, the operation area is changed at the speed V7.
  • the change speed and the change method may be determined based on the operation amount without being limited to this method.
  • the current operation state may be determined based further on the change of the past operation state within a predetermined time.
  • the area ratio with the operation region 302 is changed to 1: 1 (S1502)
  • the area ratio may be changed based on the ratio of the operation amount without being limited thereto. That is, when the operation amount of the first input unit 201 is CA and the operation amount of the second input unit 202 is CB, the area ratio between the first operation region 301 and the second operation region 302 is CA: CB. It may be changed. However, it is not always necessary for the first and second operation regions 301 and 302 to completely match the operation amount ratio, and control may be performed so that the area ratio of the operation regions approaches the operation amount ratio. .
  • the operation region change presentation unit 214 presents to the user that the operation region is changed when the parameter update condition determination unit 210 determines to update the operation region parameter (S410).
  • the presentation method is not particularly limited, for example, the operation region change presentation unit 214 presents the user with visual information or auditory information through the display device 219. An example of presentation using visual information will be described with reference to FIGS. In FIGS. 17A to 17D, both the first and second input units 201 and 202 are in the “valid state” before the operation area change parameter is updated, and the first input unit 201 is updated after the update. An example in which becomes “invalid state”.
  • FIG. 17 (a) displays a pop-up on the display screen 218 and presents a message indicating that the correspondence between the input area and the operation area is to be changed. For example, a phrase “invalidate the first input unit 201” is presented. Delete pop-ups immediately before or immediately after updating operation area parameters. Other words may be used.
  • FIG. 17B displays a guide schematically representing the casing 220 and the first and second input units 201 and 202, and the first and second operation areas 301 and 302 are displayed in the first and second operation areas 301 and 302. Which of the second input units 201 and 202 is associated is presented.
  • FIG. 17C displays the boundary between the first and second operation areas 301 and 302.
  • the process in which the second operation area 302 is enlarged and the first operation area 301 is reduced may be expressed by an animation in which the boundary line gradually moves to the left.
  • the backgrounds of the first operation area 301 and the second operation area 302 are colored with different colors.
  • the update process may be expressed by animation.
  • auditory information may be used.
  • the method for presenting the change of the operation area is not limited to these examples, and other expression methods may be used. Further, a plurality of presentation methods may be combined.
  • the operation area changing unit 215 determines the correspondence relationship between the first input area 201 and the second input section 202 and the first operation area 301 and the second operation area 302 based on the operation area parameters. Change (S411). Specifically, the operation area is changed by changing the upper left corner coordinates and the lower right corner coordinates of each operation area.
  • the operation area parameter is updated, for example, the operation area is updated from the state of FIG. 16A to FIG. 16B.
  • the coordinates of all the operation areas at this time are shown in FIG. 16B. That is, the entire operation area is rectangular, the coordinates of the upper left corner of the operation area are (0, 0), and the coordinates of the lower right edge of the operation area are (1600, 900).
  • the upper left corner coordinates of the first operation area 301 are (0, 0)
  • the lower right corner coordinates are (800, 900)
  • the upper left coordinates of the second operation area 302 are (800, 0).
  • the lower right coordinates are (1600, 900).
  • the operation area is changed from the state shown in FIG. 16A to FIG. 16B
  • the upper left corner coordinates of the first operation area 301 are changed to (0, 0)
  • the lower right corner coordinates are changed to (1600, 900).
  • the coordinates are changed, and the coordinates of the second operation area 302 are not set, and the state is “none”.
  • the second operation area 302 is eliminated and the entire operation area is changed to the first operation area 301 (that is, the first operation area 301 is made to coincide with the entire operation area).
  • the operation region is changed by changing the upper left corner coordinates and the lower right corner coordinates of each operation region.
  • the pointer position determination unit 216 displays on the display screen 218 based on the position information output from each of the first and second input units 201 and 202 and the operation area obtained by the operation area change unit 215.
  • the pointer position on the GUI screen displayed on the screen or the object pointed to by the pointer position is determined (S412).
  • the pointer position determination unit 216 acquires the coordinates of the operation area on the display screen 218 corresponding to the input areas of the first input unit 201 and the second input unit 202 (S1800). Next, the pointer position determination unit 216 acquires the contact position coordinates of the user in each of the first input unit 201 and the second input unit 202 (S1801). Then, the pointer position determination unit 216 determines the pointer positions corresponding to the contact positions of the first input unit 201 and the second input unit 202 based on the correspondence relationship between the input area and the operation area and the contact position coordinates. Calculate (S1802).
  • FIG. 19A is a diagram showing an input area of the first input unit 201 and a contact position.
  • FIG. 19B is a diagram illustrating an input area of the second input unit 202 and a contact position.
  • Each input area has the same size and shape, and the upper left corner coordinates of the input area are (0, 0) and the lower right corner coordinates are (300, 500). It is assumed that the user contacts the first input unit 201 and the contact position coordinates are (234, 432). It is also assumed that the second input unit 202 is touched and the contact position coordinates are (200, 250).
  • the upper left corner coordinates of the first operation region 301 are (0, 0)
  • the lower right corner coordinates are (800, 900)
  • the second operation region 302 The upper left corner coordinates are (800, 0)
  • the lower right corner coordinates are (1600, 900).
  • the pointer position is a point on the display screen 218 corresponding to the contact position of the user on the first and second input units 201 and 202. That is, the pointer position is obtained by converting the contact area coordinate system in the first and second input units 201 and 202 into the operation area coordinate system in the display screen 218.
  • the operation area parameter is updated and updated from the state shown in FIG. 16A to the state shown in FIG. 16B.
  • the second operation area 302 does not exist and the pointer B disappears.
  • the pointer position is determined by the above processing, and as shown in FIG. 20B, the position of the pointer A is updated from (624, 778) to (1248, 778), and the position of the pointer B is changed from (1333, 455) to “ Update to None.
  • the display control unit 217 controls the GUI displayed on the display screen 218 based on the information output from the operation area change presentation unit 214 and the pointer position determination unit 216. That is, the display control unit 217 controls the GUI based on the information presented by the operation area change presentation unit 214 and the pointer position obtained by the pointer position determination unit 216. More specifically, information such as a figure or a picture representing the pointer itself is displayed at the pointer position, or when there is an object at the pointer position, the object indicated by the pointer is highlighted.
  • FIG. 20A shows an example in which the pointer A is displayed with a black circle and the pointer B is displayed with a white circle.
  • the pointer position may not be represented by a pointer diagram or picture.
  • the current pointer position can be shown to the user by displaying the locus of the pointer position as a point sequence.
  • the display control unit 217 checks whether the pointer position exists in the object in the operation area, and when it exists, highlights the object. For example, as shown in FIG. 21A, it is assumed that there are six rectangular objects from object a to object f on the operation area, and each object is arranged at the coordinates shown in FIG. 21B. Further, it is assumed that the position of the pointer A is obtained as (1248, 712). Since the pointer A is included in the area of the object f, the object f is highlighted. For example, as shown in FIG. 21C, the user is presented with a state that is different from other objects, such as making the outer circumference of the region of the object f thicker than others or changing the color.
  • the display control unit 217 may display the pointer in a diagram or a picture as illustrated in FIG. 20B, for example. Good.
  • the display control unit 217 may ensure that any object is selected even if the pointer position exists in an area other than the object. . For example, when the position of the pointer A is obtained as (1248, 778), the pointer is not included in any object, but is present in the object f closest to the pointer position, and the object f is highlighted. May be.
  • the object closest to the pointer position is highlighted.
  • the present invention is not limited to this, and the object to be highlighted is considered in consideration of other operation information or operation state such as the movement speed, movement direction, and contact strength of the pointer. You may decide.
  • the highlighting method include making the boundary area of the object thicker than other objects, changing the background color of the object, and blinking the object. If possible, it is not limited to these methods. Further, a plurality of methods may be combined.
  • the display screen 218 displays a GUI screen according to the control of the display control unit 217.
  • the pointer operated by the user's finger or hand movement is displayed using the first input unit 201 and the second input unit 202, or the object indicated by the pointer is highlighted so that it can be distinguished from other objects.
  • the operation process and operation results are displayed.
  • the operation state indicating whether or not the user is operating is determined from the operation amounts for the first and second input units 201 and 202, and the first and second input units are determined based on the result.
  • the operation area to be assigned to each of 201 and 202 is determined. For this reason, an operation area is not assigned to an input unit that is determined not to be operated even if it is in contact, or only an input unit that is determined to be operated can be made operable.
  • the housing 220 is grasped with both hands in order to operate stably and only one of the first and second input units 201 and 202 (second input unit 202) is operated with the right hand, the left hand is intended. Even if it is in a state where it is in contact with the other (first input unit 201), the value of the operation amount to the first input unit 201 becomes small, and it is determined that it is not in operation. As a result, it is possible to invalidate the contact with the first input unit 201 by gripping, or to assign the entire operation region to the second input unit 202 of the right hand without assigning the operation region to the first input unit 201. .
  • the housing 220 can be freely gripped without worrying about the holding position of the housing 220 or unintentional contact with each input unit. Therefore, the user can stably hold the housing 220 and perform highly accurate operations. As a result, the operability of the controller device 200 is improved. Further, since it is not determined that the finger is not operated even if the finger that has not been operated is placed on the input region, a finger that is not used for the operation can be placed on the input region, and the user's fatigue can be reduced.
  • the operation area when determining the operation area based on the history of operation status, for example, whether the user is currently “not operating”, whether he / she has been still for a while or has been operating until just before Can be judged.
  • the operation of the hand on the side different from the dominant hand is stopped to increase the operation area of the dominant hand, or the input It is possible to more accurately recognize whether the movement of the hand temporarily stops while moving the hand on the area. Thereby, in the latter case, even if the operation amount is unintentionally temporarily reduced, the operation area does not become small, so that the operability is improved.
  • Each of the above devices is specifically a computer system including a microprocessor, ROM, RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like.
  • a computer program is stored in the RAM or the hard disk unit.
  • Each device achieves its functions by the microprocessor operating according to the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • the system LSI is a super multifunctional LSI manufactured by integrating a plurality of components on one chip, and specifically, a computer system including a microprocessor, a ROM, a RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • the constituent elements constituting each of the above devices may be constituted by an IC card or a single module that can be attached to and detached from each device.
  • the IC card or module is a computer system that includes a microprocessor, ROM, RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its functions by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of a computer program.
  • the present invention also relates to a computer-readable recording medium capable of reading a computer program or a digital signal, such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray Disc), It may be recorded in a semiconductor memory or the like. Further, it may be a digital signal recorded on these recording media.
  • a computer-readable recording medium capable of reading a computer program or a digital signal, such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray Disc), It may be recorded in a semiconductor memory or the like. Further, it may be a digital signal recorded on these recording media.
  • the present invention may transmit a computer program or a digital signal via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
  • the present invention may be a computer system including a microprocessor and a memory.
  • the memory may store the computer program, and the microprocessor may operate according to the computer program.
  • program or digital signal may be recorded on a recording medium and transferred, or the program or digital signal may be transferred via a network or the like, and may be implemented by another independent computer system.
  • the operation device includes a plurality of operation input units in a housing, and is useful as a remote control for home appliances or an input device for information devices.
  • Operation apparatus 201 1st input part 202 2nd input part 203 Input apparatus 204 Operation information acquisition part 205 Operation amount calculation part 206 Operation amount memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

 操作装置(200)は、第1及び第2の入力部(201、202)に入力されたユーザの操作内容を示す操作情報を、入力装置(203)から取得する操作情報取得部(204)と、操作情報取得部(204)で取得された操作情報を用いて、第1及び第2の入力部(201、202)に対するユーザの操作量を算出する操作量算出部(205)と、操作量算出部(205)で算出された操作量が大きい程、対応する第1及び第2の操作領域(301、302)の面積が大きくなるように、第1及び第2の操作領域(301、302)の大きさを変更する操作領域変更部(215)とを備える。

Description

操作装置、操作方法、プログラム、記録媒体、及び集積回路
 本発明は、表示画面上のグラフィカルユーザインタフェース(以下「GUI」と表記する)を、複数の入力デバイスで操作する操作装置に関するものである。
 表示画面の大型化及び高性能化に伴い、TVは、単に放送番組又は映画を視聴するために利用されるだけでなく、インターネット接続による多様な情報閲覧、家庭内でネットワークに接続された機器との連携、あるいは写真閲覧又はゲームといった各種アプリケーションなどにも利用されつつある。
 このような状況において、今後も更に開発されると予想される多種多様な機能及びアプリケーションを操作するためには、複数のボタンで構成される従来の代表的な入力デバイスに加えて、より自由度が高く、かつ直感的に入力操作が可能な操作装置の開発が必須となる。
 ポインティングデバイスは、表示画面に表示されたポインタ又はカーソルを制御し、任意の位置や方向を指定することができる入力デバイスである。例えば、タッチパッド、トラックボール、ジョイスティック、及びマウスなどの種類がある。ボタンのみで構成される入力デバイスに比べて、GUIの構成及びアプリケーションの内容に関わらず、任意の位置の指示、メニュー及びオブジェクトの選択操作が直感的で容易に行えるため、近年の携帯電話、AV機器、及びゲーム機器等に数多く搭載されつつある。
 中でも、タッチパッドは、指やペンでそれ自体を直接タッチすることで操作できる直感性が特徴である。タッチパッドのセンシング技術の向上に伴い、1本の指で操作するだけでなく、2本の指を同時に使ったジェスチャで操作するといった高度な入力が行えるものも開発されている。つまり、片手だけでなく、両手での操作も可能である。また、複数のタッチパッドを一つの操作装置に搭載して、自由度の高い操作を実現する方法もある。このような操作を行う場合は、単一のタッチパッドを1本の指で操作する場合に比べて、多種類の操作又は自由度の高い操作が、短時間で素早く行えるため、今後も入力デバイスとして情報機器及び家電機器への適用が拡大されると考えられる。
 特許文献1には、タッチパッドを搭載した家電機器向けのリモコンが開示されている。特許文献1に開示されているリモコンは、筐体にタッチパッドを備え、タッチパッドで表示画面上の操作対象を操作する。具体的には、タッチパッドに表示画面上の操作領域が対応付けられており、タッチパッド上の操作を当該操作領域に反映させることができる。
 また、タッチパッドは、同時に2以上の接触を検知できるため、両手での同時操作が可能である。さらに、表示画面における操作対象の配置や、筐体の持ち方の向き、又はアプリケーションに応じて、タッチパッドの入力領域を表示画面上のどの操作領域に対応させるかを適応的に変更することができる。
 一例として、表示画面に表示されたキーボードをタッチパッドで操作する場合について、タッチパッドの左半分の入力領域を表示画面上のキーボードの左半分の領域に割り当て、タッチパッドの右半分の入力領域を表示画面上のキーボードの右半分の領域に割り当てる。他の例として、表示画面上のキーボードにさらに選択候補単語(ワードリスト)が表示された場合、タッチパッドの左半分の入力領域をワードリストに、タッチパッドの右半分の入力領域を表示画面上のキーボードの全領域に操作を割り当てる、ということが可能である。
国際公開第2009/006221号
 しかしながら、上記のリモコンでは、タッチパッドと操作領域との対応関係が固定されてしまうので、上記のような割り当てを行うと、常に左右の手を使って操作しなくてはならない。そのため、利き手と異なる側の手で複雑な操作をしなければならなかったり、片方の手が塞がっている場合に操作が制限されたりと、不便を感じる場合がある。
 本発明は、上記の事情に鑑みてなされたものであり、入力部の操作状況に基づいて、入力部と操作領域との対応関係を動的に変更可能な操作装置を提供することを目的とする。
 本発明の一形態に係る操作装置は、入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる。具体的には、前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得部と、前記操作情報取得部で取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出部と、前記操作量算出部で算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更部とを備える。
 上記構成によれば、操作量に応じて対応する操作領域の大きさを動的に変更するので、ユーザに対して快適な操作環境を提供することができる。例えば、同時に複数の入力部を用いて操作を行っている場合は、これらの入力部に対して操作領域を均等に割り当て、特定の入力部のみを用いて操作を行っている場合は、その入力部に大きな操作領域を割り当てること等が可能である。
 また、前記操作領域変更部は、前記操作量が予め定められた閾値を下回る場合に、当該入力部に対応する前記操作領域の面積を0にしてもよい。これにより、例えば、ユーザが入力装置を左手で把持し、右手だけで入力部を操作しているような状況において、左手が他の入力部に僅かに触れてしまった場合でも、これを入力操作と判断しないので、ユーザの意図しない操作が実行されるのを防止することができる。
 さらに、前記操作領域変更部は、前記各操作領域の面積の比を対応する前記操作量の比に近づけるように、前記各操作領域の大きさを変更してもよい。これにより、ユーザに対してより快適な操作環境を提供することができる。
 また、前記操作量算出部は、前記操作情報に基づいて、互いに性質の異なる複数の操作特徴を算出し、予め定められた重み計数と前記複数の操作特徴との重み付き線形和を前記操作量として算出してもよい。これにより、ユーザの意図や状況をより的確に推定することができる。
 また、前記入力部は、所定の面積を占める入力領域を備え、ユーザが前記入力領域に接触したときの前記入力領域上の位置座標及び接触強度の少なくとも1つを、前記操作情報として出力するタッチセンサであってもよい。そして、前記操作量算出部は、前記位置座標に基づいて移動距離、移動速度、移動加速度、及び操作方向の少なくとも1つを、又は前記接触強度に基づいて平均強度を、前記操作特徴として算出してもよい。上記の操作特徴は一例であり、これらに限定されるものではない。
 一例として、前記タッチセンサは、静電容量方式であってもよい。そして、前記接触強度は、ユーザの指が前記タッチセンサに接触または近接したときの静電容量値であってもよい。他の例として、前記タッチセンサは、感圧方式であってもよい。そして、前記接触強度は、ユーザの指が前記タッチセンサを押す圧力値であってもよい。
 さらに、該操作装置は、前記操作量算出部によって算出される前記操作量を記憶する操作量記憶部と、前記操作量記憶部に記憶されている前記操作量に基づいて、対応する前記入力部の操作状態を判定する操作状態判定部と、前記操作状態判定部による判定結果を記憶する操作状態記憶部とを備えてもよい。そして、前記操作状態判定部は、前記操作量が前記閾値を下回る場合に、対応する前記入力部が操作されていないことを示す操作OFF状態と判定し、前記操作量が前記閾値以上の場合に、対応する前記入力部が操作されていることを示す操作ON状態と判定してもよい。
 さらに、該操作装置は、前記入力装置に入力されたユーザの操作を対応する前記操作領域に反映させるか否かを示す操作領域状態パラメータの更新の要否を、前記操作状態判定部の判定結果に基づいて判定するパラメータ更新条件判定部と、前記パラメータ更新条件判定部によって前記操作領域状態パラメータの更新が必要と判定された場合に、前記操作状態判定部の判定結果に基づいて前記操作領域状態パラメータを更新する操作領域状態パラメータ更新部とを備えてもよい。前記パラメータ更新条件判定部は、前記操作状態判定部による最新の判定結果と過去の判定結果とが異なる場合に、前記操作領域状態パラメータの更新が必要と判定してもよい。そして、前記操作領域状態パラメータ更新部は、前記最新の判定結果が操作ON状態である場合、前記操作領域状態パラメータを、前記入力装置への入力を対応する前記操作領域に反映させることを示す有効状態とし、前記最新の判定結果が操作OFF状態である場合に、前記操作領域状態パラメータを、前記入力装置への入力を対応する前記操作領域に反映させないことを示す無効状態としてもよい。
 さらに、該操作装置は、前記操作領域状態パラメータ更新部によって更新された前記操作領域状態パラメータの値に応じて、少なくとも前記操作領域の面積を示す情報を含む前記操作領域属性パラメータを更新する操作領域属性パラメータ更新部を備えてもよい。前記操作領域属性パラメータ更新部は、前記複数の操作領域のうち、前記操作領域状態パラメータが有効状態である操作領域の面積が、前記操作領域状態パラメータが無効状態である操作領域の面積より大きくなるように、前記操作領域属性パラメータを更新してもよい。そして、前記操作領域変更部は、前記操作領域属性パラメータ更新部によって更新された前記操作領域属性パラメータの値に応じて、前記各操作領域の大きさを変更してもよい。さらに、前記操作領域属性パラメータは、前記操作領域の形状、前記表示画面上の位置、及び面積、形状、位置の変更方法を示す情報を含んでもよい。
 さらに、該操作装置は、前記操作領域属性パラメータ更新部によって更新された前記操作領域属性パラメータの内容を、ユーザに通知する操作領域変更提示部を備えてもよい。これにより、操作領域の大きさが変更されたことに気づかないまま操作を継続するのを防止できるので、ユーザの意図する操作が正確に操作領域に反映されないといった不快感を、ユーザに抱かせるのを防止することができる。
 さらに、該操作装置は、前記操作領域属性パラメータに示される前記操作領域の面積と、当該操作領域に対応付けられた前記入力部の面積との比に基づいて、ユーザが接触した前記入力部上の位置に対応する前記操作領域上の位置に、ポインタを表示させるポインタ位置決定部を備えてもよい。
 一例として、該操作装置は、さらに、前記入力装置を備えてもよい。そして、前記入力装置は、筐体と、前記筐体の同一平面上に並べて配置される前記複数の入力部とを備えてもよい。他の例として、該操作装置は、さらに、前記表示装置を備えてもよい。
 本発明の一形態に係る操作方法は、入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる方法である。具体的には、前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得ステップと、前記操作情報取得ステップで取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出ステップと、前記操作量算出ステップで算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更ステップとを含む。
 本発明によれば、複数の入力部それぞれから出力される操作情報に基づいて、入力部と操作領域との対応関係を動的に変更することができる。すなわち、操作量の大きい入力部にはユーザが意図して入力操作を行っていると判断し、操作量の小さい入力部にはユーザが意図しない(若しくは誤った)操作が行われていると判断し、操作量の多い入力部に対して、より大きな操作領域を対応付けることができる。
 よって、複数の入力部と操作領域との対応関係が固定化されている従来の発明においては、利き手と異なる側の手で複雑な操作をしなければならない場合もあったが、本発明では、例えば、利き手と異なる手の操作を止めて、操作量を小さくすることにより、表示画面のほぼ全ての操作領域を利き手で操作することができるようになる。
 同様に、従来例では、片方の手が塞がっている場合には、塞がっている手に対応する操作領域を操作することができなかったが、本発明では、塞がっている手の操作量がほとんどなくなるので、自動的に、もう一方の手で全ての操作領域を操作することができるようになる。
 このように、本発明では、ユーザの左右の手の使用状況を考慮して入力部と操作領域との対応関係を自動的に変更することにより、ユーザに対して快適な操作環境を提供することができる。
 本発明の一形態に係るプログラムは、入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる処理をコンピュータに実行させる。具体的には、前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得ステップと、前記操作情報取得ステップで取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出ステップと、前記操作量算出ステップで算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更ステップとを、コンピュータに実行させる。
 本発明の一形態に係るコンピュータ用非一時的コンピュータ読み取り可能記録媒体には、上記記載のプログラムが記録されている。
 本発明の一形態に係る集積回路は、入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる。具体的には、前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得部と、前記操作情報取得部で取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出部と、前記操作量算出部で算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更部とを備える。
図1は、本発明の一実施形態に係る入力装置、操作装置、及び表示装置の概略構成を示すブロック図である。 図2は、本発明の一実施形態に係る入力装置、操作装置、及び表示装置の詳細な構成を示すブロック図である。 図3は、本発明の一実施形態に係る入力装置及び表示装置の外観の一例を示すブロック図である。 図4Aは、第1及び第2の入力部の入力領域の位置座標を示す図である。 図4Bは、第1及び第2の操作領域の位置座標を示す図である。 図5は、本発明の一実施形態に係る操作装置の処理の手順を示すフローチャートである。 図6Aは、第1の入力部で生成され、操作情報取得部で取得された操作情報の一例を示す図である。 図6Bは、第2の入力部で生成され、操作情報取得部で取得された操作情報の一例を示す図である。 図7は、本発明の一実施形態に係る操作量を算出する処理を説明するフローチャートである。 図8Aは、操作量記憶部に記憶されている第1の入力部の操作量の例を示す図である。 図8Bは、操作量記憶部に記憶されている第2の入力部の操作量の例を示す図である。 図9は、本発明の一実施形態に係る操作状態を判定する処理を説明するフローチャートである。 図10Aは、操作状態記憶部に記憶されている第1の入力部の操作状態の例を示す図である。 図10Bは、操作状態記憶部に記憶されている第2の入力部の操作状態の例を示す図である。 図11は、本発明の一実施形態に係る操作領域パラメータの更新判定の処理を説明するフローチャートである。 図12Aは、第1の入力部の操作領域パラメータ更新判定結果の例を示す図である。 図12Bは、第2の入力部の操作領域パラメータ更新判定結果の例を示す図である。 図13は、本発明の一実施形態に係る操作領域状態パラメータを更新する処理を説明するフローチャートである。 図14Aは、第1の入力部の操作領域状態パラメータの例を示す図である。 図14Bは、第2の入力部の操作領域状態パラメータの例を示す図である。 図15は、本発明の一実施形態に係る操作領域属性パラメータを決定する処理を説明するフローチャートである。 図16Aは、第1の入力部が「有効状態」、第2の入力部が「有効状態」の場合の操作領域と入力領域との関係を示す図である。 図16Bは、第1の入力部が「有効状態」、第2の入力部が「無効状態」の場合の操作領域と入力領域との関係を示す図である。 図16Cは、第1の入力部が「無効状態」、第2の入力部が「有効状態」の場合の操作領域と入力領域との関係を示す図である。 図16Dは、第1の入力部が「無効状態」、第2の入力部が「無効状態」の場合の操作領域と入力領域との関係を示す図である。 図17は、本発明の一実施形態に係る操作領域の変更を提示する方法の一例を示す図である。 図18は、本発明の一実施形態に係るポインタ位置を決定する処理を説明するフローチャートである。 図19Aは、第1の入力部の入力領域と接触位置とを示す図である。 図19Bは、第2の入力部の入力領域と接触位置とを示す図である。 図20Aは、第1の入力部が「有効状態」、第2の入力部が「有効状態」の場合の接触位置とポインタ位置との関係の例を示す図である。 図20Bは、第1の入力部が「有効状態」、第2の入力部が「無効状態」の場合の接触位置とポインタ位置との関係の例を示す図である。 図21Aは、操作領域上に表示されるオブジェクトa~fの例を示す図である。 図21Bは、オブジェクトa~fの操作領域上における座標を示す図である。 図21Cは、オブジェクトfが強調表示された状態を示す図である。
 以下本発明の実施の形態について、図面を参照しながら説明する。
 (実施の形態)
 図1は、一実施形態に係る操作装置200、入力装置203、及び表示装置219の機能ブロック図である。本発明の一実施形態に係る操作装置200は、入力装置203に設けられた第1及び第2の入力部201、202に入力されたユーザの操作を、表示装置219に設けられた表示画面218上の操作領域に反映させる装置である。
 入力装置203は、複数の入力部、つまり、図1に示されるように、第1及び第2の入力部201、202を備える。この入力装置203は、第1及び第2の入力部201、202それぞれに入力されたユーザの操作を、操作情報として操作装置200に出力する。
 操作装置200は、図1に示されるように、少なくとも、操作情報取得部204と、操作量算出部205と、操作領域変更部215とを備える。この操作装置200は、入力装置203から操作情報を取得し、当該操作情報に基づいてポインタ位置座標を算出し、当該ポインタ位置座標を表示装置219に出力する装置である。
 操作情報取得部204は、第1及び第2の入力部201、202それぞれに入力されたユーザの操作内容を示す操作情報を、入力装置203から取得する。操作量算出部205は、操作情報取得部204で取得された操作情報を用いて、第1及び第2の入力部201、202それぞれに対するユーザの操作量を算出する。操作領域変更部215は、操作量算出部205で算出された操作量が大きい程、対応する操作領域の面積が大きくなるように、各操作領域の大きさを変更する。
 表示装置219は、表示画面218を備える。表示装置219は、操作装置200からポインタ位置座標を取得し、当該ポインタ位置座標で示される表示画面218上の位置にポインタを表示させる。表示画面218は、第1及び第2の入力部201、202それぞれに対応付けられた第1及び第2の操作領域301、302に区分されている。
 第1の操作領域301は、表示画面218上の所定の面積を占める領域であって、第1の入力部201に対応付けられている。そして、第1の入力部201に入力されたユーザの操作が操作装置200の制御に従って、第1の操作領域301に反映される。同様に、第2の操作領域302は、表示画面218上の所定の面積を占める領域であって、第2の入力部202に対応付けられている。そして、第2の入力部202に入力されたユーザの操作が操作装置200の制御に従って、第2の操作領域302に反映される。
 以下、図2、図3、図4A、及び図4Bを参照して、一実施形態に係る操作装置200の詳細を説明する。図2は、本発明の一実施形態に係る入力装置203と、操作装置200と、表示装置219との詳細な構成を示すブロック図である。図3は、本発明の一実施形態に係る入力装置203と、表示装置219との外観の一例を示す図である。図4Aは、第1及び第2の入力部201、202の入力領域の位置座標を示す図である。図4Bは、第1及び第2の操作領域301、302の位置座標を示す図である。なお、図1と共通する構成要素には、同一の参照番号を付している。
 入力装置203は、筐体220と、第1及び第2の入力部201、202とを備える。図3に示されるように、第1及び第2の入力部201、20は、筐体220の同一面上に並べて配置される。そして、ユーザは、筐体220を両手で把持し、第1の入力部201を左手で、第2の入力部202を右手で操作することによって、表示装置219の表示画面218上の操作対象を操作する。
 第1の入力部201は、ユーザの指や手の操作による入力を受け付けると、ユーザの操作内容を示す操作情報を所定の時間間隔毎に出力する。操作情報は、ユーザが第1の入力部201の入力領域に接触している位置情報と、時刻と、接触強度とのうち、いずれか一つ以上の情報である。第2の入力部202についても同様である。
 なお、第1及び第2の入力部201、202の典型例は、所定の面積を占める入力領域を備えるタッチパッドである。このタッチパッドは、静電容量式、または感圧式のいずれかである。そして、ユーザは、例えばペンなどの指や手以外のデバイスを用いて、タッチパッドに接触してもよい。なお、タッチパッドは、一度に複数の入力を検知する多点認識が可能なタッチセンサでもよい。この場合は、筐体220に1以上のタッチセンサを備えればよい。
 また、筐体220には、入力した操作を決定する機能をもつボタン又はスイッチの機構を備えていてもよい。または、タッチパッド自体が押下可能な機構を備え、任意の接触位置で押下可能なタッチパッドであってもよい。
 さらに、入力部の一例としてタッチパッドを用いているが、これに限らず、他のポインティングデバイスであってもよい。例えば、マウス、トラックボール、及びペン型入力デバイスなどがある。但し、以下では、第1及び第2の入力部201、202が共にタッチパッドであるとして説明する。
 操作装置200は、操作情報取得部204と、操作量算出部205と、操作量記憶部206と、操作状態判定部207と、操作状態記憶部208と、操作領域パラメータ決定部209と、操作領域変更提示部214と、操作領域変更部215と、ポインタ位置決定部216とを備える。この操作装置200は、入力装置203から操作情報を取得し、当該操作情報に基づいてポインタ位置座標を算出し、当該ポインタ位置座標を表示装置219に出力する装置である。
 操作情報取得部204は、第1の入力部201と第2の入力部202とから出力された操作情報を取得する。操作情報を取得する具体的な方法は特に限定されないが、例えば、操作情報取得部204と入力装置203とを有線又は無線で接続し、操作情報を送受信させればよい。
 操作量算出部205は、操作情報取得部204で取得された操作情報を用いて、ユーザが第1の入力部201及び第2の入力部202それぞれに入力した操作量を求める。操作量は、入力領域上でのユーザの手や指の移動距離、移動速度、移動加速度、及び平均強度等の操作特徴に基づいて算出される。
 操作量記憶部206は、操作量算出部205で求められた第1及び第2の入力部201、202それぞれの操作量を記憶する。なお、記憶媒体の具体例は特に限定されないが、例えば、DRAM(Dynamic random access memory)、SDRAM(Static random access memory)、フラッシュメモリ、又はHDD(Hard Disc Drive)等のデータを記憶可能なあらゆる記憶媒体を採用することができる。
 操作状態判定部207は、操作量記憶部206に記憶されている所定の時間間隔毎の操作量を用いて、第1の入力部201及び第2の入力部202それぞれのユーザの操作状態を判定する。操作状態は、ユーザが第1及び第2の入力部201、202それぞれを操作していることを示す「操作ON状態」、または操作していないことを示す「操作OFF状態」のいずれかの状態である。
 操作状態記憶部208は、操作状態判定部207で求められた第1及び第2の入力部201、202それぞれの操作状態を、所定の時間間隔毎に記憶する。記憶媒体の具体例は、操作量記憶部206と共通する。
 操作領域パラメータ決定部209は、パラメータ更新条件判定部210と、操作領域パラメータ更新部211とを備える。さらに、操作領域パラメータ更新部211は、操作領域状態パラメータ更新部212と、操作領域属性パラメータ更新部213とを備える。この操作領域パラメータ決定部209は、第1の入力部201及び第2の入力部202それぞれの入力領域に対応する表示画面218上の操作領域に関するパラメータを、操作状態判定部207で判定されたユーザの操作状態に基づいて決定する。
 操作領域パラメータは、第1及び第2の入力部201、202それぞれに対応する操作領域の状態を表す操作領域状態パラメータと、操作領域の属性を表す操作領域属性パラメータとで構成される。操作領域状態パラメータは、入力領域への入力を対応する操作領域に反映させることを示す「有効状態」、または、入力領域への入力を対応する操作領域に反映させないことを示す「無効状態」のいずれかである。また、操作領域属性パラメータは、操作領域の面積、形状、及び配置(操作領域上の位置)の情報の少なくともいずれか一つ以上含む。更に、操作領域属性パラメータは、操作量領域の面積、形状、配置の変更速度、及び変更方法を含んでもよい。
 パラメータ更新条件判定部210は、操作状態記憶部208に記憶されている所定時間毎のユーザの操作状態の履歴に基づいて、操作領域パラメータを「更新する」、あるいは「更新しない」のいずれかを判定する。具体的には、現在(最新)の操作状態と過去の操作状態とを比較し、異なる場合には操作領域パラメータを「更新する」と判定し、同じ場合には「更新しない」と判定する。
 操作領域状態パラメータ更新部212は、パラメータ更新条件判定部210で操作領域パラメータを「更新する」と判定された場合、最新の操作状態に基づいて操作領域状態パラメータを更新する。操作状態記憶部208に記憶されている最新の操作状態が「操作ON状態」である場合、対応する操作領域状態パラメータを「有効状態」と設定し、最新の操作状態が「操作OFF状態」である場合、対応する操作領域状態パラメータを「無効状態」と設定する。
 操作領域属性パラメータ更新部213は、操作領域状態パラメータ更新部212で更新された第1及び第2の入力部201、202それぞれに対応する操作領域状態パラメータに基づいて、操作領域属性パラメータを更新する。第1及び第2の入力部202、203のうちの少なくとも一方の操作領域状態パラメータが「無効状態」になった場合、他方の操作領域属性パラメータを更新する。例えば、操作領域属性パラメータ更新部213は、第1及び第2の操作領域301、302のうち、操作領域状態パラメータが有効状態である操作領域の面積が、操作領域状態パラメータが無効状態である操作領域の面積より大きくなるように、操作領域属性パラメータを更新する。
 操作領域変更提示部214は、パラメータ更新条件判定部210で操作領域パラメータを「更新する」と決定された場合に、入力領域と操作領域との対応関係が変更されることをユーザに対して提示(通知)する。
 操作領域変更部215は、パラメータ更新条件判定部210で操作領域パラメータを「更新する」と決定された場合に、更新された操作領域パラメータに基づいて、第1の入力部201と第1の操作領域301との対応関係、及び第2の入力部202と第2の操作領域302との対応関係を、それぞれ変更する。
 ポインタ位置決定部216は、第1及び第2の入力部201、202それぞれの操作情報に含まれる位置情報と、操作領域変更部215で変更された操作領域パラメータとに基づいて、第1及び第2の入力部201、202それぞれの位置情報に対応する表示画面218上のポインタ位置、またはポインタ位置が指し示すオブジェクトを決定する。より具体的には、ポインタ位置決定部216は、図4A及び図4Bに示されるように、第1及び第2の操作領域301、302の面積と、第1及び第2の入力部201、202の面積との比に基づいて、ユーザが接触した入力領域上の位置に対応する操作領域上の位置にポインタが表示されるように、ポインタの位置を決定する。
 表示装置219は、表示制御部217と、表示画面218とを備える。
 表示制御部217は、操作領域変更提示部214と、操作領域変更部215と、ポインタ位置決定部216とから出力された結果に基づいて、表示画面218にGUI画面を表示するための制御情報を、表示画面218に出力する。
 表示画面218は、表示制御部217から出力されたGUI画面の制御情報に基づいて、GUI画面を表示する。すなわち、第1の入力部201及び第2の入力部202の入力領域上でユーザが指や手を動かす操作に対応して、例えば、操作するポインタの表示、又はポインタが指し示すオブジェクトを他のオブジェクトと識別するための強調表示、メニュー又はアイコン等のオブジェクトの操作、文字を書く、絵を描くなど、の操作過程又は操作結果を表示する。
 表示画面218には、第1の入力部201及び第2の入力部202それぞれに対応する第1及び第2の操作領域301、302が設定される。なお、第1及び第2の入力部201、202上の座標系と第1及び第2の操作領域301、302の座標系とは絶対座標系とし、各座標を1対1に対応付ける。
 なお、表示画面218の具体例は特に限定されないが、例えば、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ、プラズマディスプレイ、及び有機EL(Electro Luminescence)ディスプレイ等を採用することができる。
 図4A及び図4Bは、第1及び第2の入力部201、202の入力領域の位置座標と、第1及び第2の操作領域301、302の位置座標との対応関係を示す図である。なお、この例では、第1の入力部201と第2の入力部202とは、ともに同じ性能と大きさとをもつタッチパッドであり、形状は長方形とする。
 図4Aは、第1の入力部201および第2の入力部202の入力領域を示す図である。図4Aに示される入力領域は、左上端座標を(0、0)、右下端座標を(300、500)とする。
 また、図4Bは、表示画面218上の第1及び第2の操作領域301、302を示す図である。操作領域全体(以下「全操作領域」と表記する)は、左上端座標を(0、0)、右下端座標を(1600、900)とする。そして、全操作領域のうち、第1の入力部201には左上端座標(0、0)、右下端座標(800、900)で表される第1の操作領域301を対応付け、第2の入力部202には左上端座標(800、0)、右下端座標(1600、900)で表される第2の操作領域302を対応付ける。
 なお、第1及び第2の操作領域301、302も同じ形状で、且つ同じ大きさとする。さらに、第1及び第2の操作領域301、302は、ユーザが筐体220を両手で把持したときに、ユーザから見て第1及び第2の入力部201、202の配置と同じになるように、隣接して配置される。
 そして、第1の入力部201の左上端座標(0、0)と、第1の操作領域301の左上端座標(0、0)とを対応付け、第1の入力部201の右下端座標(300、500)と、第1の操作領域301の右下端座標(800、900)とを対応付ける。その他の座標の対応関係は、第1の入力部201の面積と第1の操作領域301の面積とを比例配分して求めることができる。第2の入力部202と第2の操作領域302との対応関係も同様である。
 上記構成の入力装置203は、第1及び第2の入力部201、202それぞれの入力領域にユーザが接触したことを示す操作情報を操作装置200に通知する。操作情報を取得した操作装置200は、当該操作情報に基づいて、第1の入力部201に割り当てる第1の操作領域301、および第2の入力部202に割り当てる第2の操作領域302を決定し、表示装置219に通知する。表示装置219は、通知された第1の操作領域301と、第2の操作領域302とを表示画面218に設定し、ユーザの接触位置に対応するポインタ位置を表示する。具体的な処理内容は、後述する。
 なお、図1には、操作装置200と、入力装置203と、表示装置219とが別体である例を示している。この場合の具体例としては、例えば、タッチパッドやマウス等に相当する入力装置203と、コンピュータ本体に相当する操作装置200と、ディスプレイに相当する表示装置219とを備えるデスクトップ型のPC(Personal Computer)等が挙げられる。
 しかしながら、上記の例に限ることなく、操作装置200と入力装置203とを一体としてもよいし、操作装置200と表示装置219とを一体としてもよいし、操作装置200と入力装置203と表示装置219とを一体としてもよい。
 一例として、入力装置203の筐体220内に操作装置200を組み込むことによって、入力装置203と操作装置200とを一体化し、この装置で算出された制御情報(ポインタ位置座標)を表示装置219に送信してもよい。他の例として、表示装置219内に操作装置200を組み込むことによって、表示装置219と操作装置200とを一体化し、この装置で入力装置203から操作情報を取得して、表示制御を行ってもよい。
 なお、筐体220と表示装置219とは有線接続されていてもよいし、筐体220にリモコン信号送信部を備え、筐体220と物理的に接続されていない表示装置219にリモコン信号を送信する形態であってもよい。上記の2例の具体例としては、例えば、リモコン(入力装置203側)と、テレビ(表示装置219側)との組み合わせが挙げられる。
 さらに他の例として、筐体220内に操作装置200を組み込み、筐体220の表面に表示画面218を配置することによって、入力装置203と操作装置200と表示装置219とを一体化してもよい。この例の具体例としては、例えば、表示画面上に透過性の高いタッチパッドを重ね、タッチパッドと表示画面とが一体となった構成、タッチパッドに表示画面を並べて配置する構成、あるいはラップトップ型のPC等が挙げられる。
 <動作>
 次に、図5を参照して、一実施形態に係る操作装置200の動作について説明する。図5は、操作装置200の動作を示すフローチャートである。操作装置200は、入力装置203から操作情報を取得する度に、当該取得した最新の操作情報を用いて、図5に示される処理(S401~S412)を、実行する。
 まず、操作装置200の操作情報取得部204は、第1及び第2の入力部201、202に入力されたユーザの操作内容を示す操作情報を、入力装置203から取得する(S401)。操作情報には、ユーザが接触している入力領域上の位置情報(接触位置の座標)と、時刻と、接触強度とのうち、いずれか一つ以上の情報が含まれる。なお、接触強度は、タッチパッドが静電容量式タッチパッドの場合、静電容量値に基づいて求められる。一方、圧力式タッチパッドの場合、圧力値に基づいて求められる。
 図6Aは、第1の入力部201で生成され、操作情報取得部204で取得された操作情報の一例を示す図である。図6Bは、第2の入力部202で生成され、操作情報取得部204で取得された操作情報の一例を示す図である。図6A及び図6Bの例では、操作情報取得部204は、接触位置の座標及び接触強度を含む操作情報を、入力装置203から所定の時間間隔毎に取得している。
 例えば、時刻t0における第1の入力部201の操作情報を参照すると、接触強度は0であり、接触位置の情報はない。つまり、時刻t0において、ユーザは、第1の入力部201に触れていないことを示している。次に、時刻t1における第1の入力部の操作情報を参照すると、接触位置の座標は(88、157)であり、接触強度は11である。また、時刻t2、t3、t4についても同様に、接触位置と接触強度とを取得している。さらに、第2の入力部202についても同様に、時刻t0~t4の各時刻に生成された操作情報を取得している。
 次に、操作量算出部205は、操作情報取得部204で取得された操作情報を用いて、ユーザが第1の入力部201及び第2の入力部202それぞれに入力した操作量を求める(S402)。なお、操作量算出部205は、操作情報に基づいて、互いに性質の異なる複数の操作特徴を算出し、予め定められた重み計数と複数の操作特徴との重み付け線形和を、操作量として算出する。また、操作特徴の例としては、移動距離、移動速度、操作方向、及び平均強度等が挙げられる。一実施形態係る操作量は、第1及び第2の入力部201、202上でのユーザの指の移動距離と、平均強度との二つの操作特徴に基づいて算出する。
 この処理の詳細を、図7、図8A、及び図8Bを用いて説明する。
 まず、操作量算出部205は、第1の入力部201及び第2の入力部202それぞれの操作情報に基づいて、操作特徴を算出する(S700)。具体的には、操作量算出部205は、図6Aに示した第1の入力部201の操作情報と、図6Bに示した第2の入力部202の操作情報とを、操作情報取得部204から取得し、下記のような方法で操作特徴を算出する。
 例えば、時刻t4とその直前の時刻t3との時間をΔT4として、ΔT4における移動距離と平均強度とを算出する方法を説明する。第1の入力部201について、時刻t4における位置座標は(95、145)、接触強度は23であり、時刻t3における位置座標は(92、150)、接触強度は20である。つまり、移動距離は約6、平均強度は21.5と求められる。第2の入力部202についても同様に、移動距離は16.8、平均強度は73.5と求められる。
 次に、操作量算出部205は、ΔT4における操作量を、二つの操作特徴である移動距離と平均強度とに基づいて算出する(S701)。操作量は、各操作特徴の値と、各操作特徴に対応する重み係数とを要素とした重み付き線形和で求める。すなわち、移動距離の重み係数をa1、平均強度の重み係数をa2として、ΔTにおける操作量C(ΔT)をa1×(移動距離)+a2×(平均強度)で求める。a1とa2とを共に正の値とすれば、移動距離及び平均強度の値が大きいほど操作量の値は大きくなる。例えば、a1を10、a2を1とすると、時刻ΔTにおける操作量C(ΔT)は10×(移動距離)+(平均強度)で求められる。
 従って、第1の入力部201のΔT4における操作量は、CA(ΔT4)=(10×6+1×21.5)=81.5、第2の入力部202のΔT4における操作量は、CB(ΔT4)=(10×6.5+1×73.5)=137.5、と算出される。このようにして算出された時刻t0~t4までの操作量を、図8A及び図8Bに示す。なお、時刻t0において操作情報は取得されていないため、時刻t0とt1との間、すなわちΔT1における操作量は算出されない。
 なお、上記の例では、操作量を算出するために操作特徴として移動距離と平均強度とを用いたが、この例に限らず、それ以外の移動速度、移動加速度、移動方向、ジェスチャ操作数、イベント実行数(決定操作数など)などの操作に関する特徴を表す値を用いてもよい。その場合、ΔTn(時刻tn-1からtn)における操作量C(ΔTn)は、下記式1に示されるように、m個の操作特徴C1(ΔTn)~Cm(ΔTn)と、m個の重み係数a1~amとを要素とした重み付き線形和で求めることができる。
Figure JPOXMLDOC01-appb-M000001
 なお、ΔTnにおける操作量を時刻tn-1~tnの間で得られる操作特徴に基づいて求めたが、さらにそれ以前の所定時間さかのぼった時間内に算出された操作量を用いて求めてもよい。すなわち、式1における操作特徴Cm(ΔTn)を、下記の式2のようにCm´(ΔTn)に置き換えて求める。
Figure JPOXMLDOC01-appb-M000002
 すなわち、操作量を、時刻tnから所定時間さかのぼった時刻t(n-k+1)までのk個の操作特徴と、k個の正の重み係数bkを各要素とした重み付き線形和で求める。なお、さかのぼる所定時間はユーザの操作特徴、及び操作対象のアプリケーションに応じて設定してよい。
 次に、操作量算出部205は、第1及び第2の入力部201、201それぞれについて算出した操作量を、操作量記憶部206に記憶させる(S403)。つまり、操作量記憶部206は、図8Aに示される第1の入力部201の操作量と、図8Bに示される第2の入力部202の操作量とを記憶する。
 次に、操作状態判定部207は、操作量記憶部206に記憶されている所定の時間間隔毎の操作量を用いて、第1の入力部201及び第2の入力部202におけるユーザの操作状態を判定する(S404)。操作状態は、ユーザが第1及び第2の入力部201、202を操作していることを示す「操作ON状態」、または操作していないことを示す「操作OFF状態」のいずれかの状態である。
 この処理の手順を、図9、図10A、及び図10Bを用いて説明する。操作量は、ユーザが第1及び第2の入力部201、202に対して何らかの操作を行っている場合は値が大きくなり、一方、第1及び第2の入力部201、202を操作していない、あるいは第1及び第2の入力部201、202に指を置いているが操作していない場合は値が小さくなるように、重み係数を設定している。
 そのため、操作状態判定部207は、第1及び第2の入力部201、202の操作状態を、操作量が所定の閾値以上の場合(S900、S903でYES)に、「操作ON状態」と判定(S901、S904)する。一方、操作量が所定の閾値より小さい場合(S900、S903でNO)に、「操作OFF状態」と判定する(S902、S905)。
 例えば、判定条件の閾値を100と定めたとする。ΔT4における第1の入力部201の操作量はCA(ΔT4)=81.5であり、閾値より小さい(S900でNO)ため、ΔT4における第1の入力部201の操作状態は、「操作OFF状態」と判定される(S902)。一方、第2の入力部202の操作量はCB(ΔT4)=137.5であり、閾値以上(S903でYES)のため、ΔT4における第2の入力部202の操作状態は、「操作ON状態」と判定される(S904)。ΔT1~ΔT3における操作状態も同様の方法で判定することができる。
 次に、操作状態判定部207は、第1及び第2の入力部201、202それぞれに対するユーザの操作状態の判定結果を、操作状態記憶部208に記憶させる(S405)。つまり、操作状態記憶部208には、第1の入力部201の操作状態と、第2の入力部202の操作状態1001とが記憶される。但し、ΔT1では操作量は算出されていないが、初期状態として「操作OFF状態」を設定する。
 操作領域パラメータ決定部209は、パラメータ更新条件判定部210と、操作領域状態パラメータ更新部212と、操作領域属性パラメータ更新部213とを備え、表示画面218において、第1の入力部201と第2の入力部202とが入力可能な範囲である第1及び第2の操作領域301、302に関するパラメータを、ユーザの操作状態に基づいて決定する。
 まず、操作領域パラメータは、第1及び第2の入力部201、202それぞれに対応する第1及び第2の操作領域301、302の状態を表す操作領域状態パラメータと、第1及び第2の操作領域301、302の属性を表す操作領域属性パラメータとで構成される。操作領域状態パラメータは、入力領域に入力された操作を操作領域に反映させることが可能であることを示す「有効状態」、及び反映させることが不可能である「無効状態」のいずれかである。また、操作領域属性パラメータは、操作領域の面積、形状、または配置のいずれか一つ以上を含む。更に、操作領域属性パラメータは、操作領域の面積、形状、配置の変更速度、及び変更方法をも含むことができる。
 操作領域パラメータ決定部209の処理手順の概要を説明する。
 パラメータ更新条件判定部210は、操作状態判定部207で判定された第1及び第2の入力部201、202の操作状態に基づいて、操作領域パラメータを更新するか否かを判定する(S406)。そして、操作領域パラメータを「更新する」と判定された場合(S406のYES)、操作領域状態パラメータ更新部212は、操作領域状態パラメータを更新する(S407)。一方、操作領域パラメータを「更新しない」と判定された場合(S406のNO)、操作情報を取得するステップに戻る(S401)。
 次に、操作領域属性パラメータ更新部213は、操作領域属性パラメータを更新するか否かを判定する(S408)。そして、操作領域属性パラメータを「更新する」と判定した場合(S408のYES)、操作領域属性パラメータを算出する(S409)。一方、「更新しない」と判定した場合(S408のNO)、操作情報を取得するステップに戻る(S401)。
 次に、パラメータ更新条件判定部210、操作領域状態パラメータ更新部212、および操作領域属性パラメータ更新部213それぞれの処理の詳細を、説明する。
 まず、パラメータ更新条件判定部210の処理(図5のS406)の具体的な手順の一例を、図11、図12A、及び図12Bを用いて説明する。
 まず、パラメータ更新条件判定部210は、操作状態記憶部208に記憶されている第1の入力部201に対するユーザの操作状態の履歴に基づいて、第1の入力部201の操作領域パラメータを「更新する」、あるいは「更新しない」のいずれかを判定する(S1101)。具体的には、現在の操作状態と過去の操作状態とを比較し、異なる場合には(S1101でYES)、操作領域パラメータを「更新する」と判定する(S1102)。一方、同じ場合(S1101でNO)には「更新しない」と判定する(S1103)。
 第2の入力部202についても同様に、現在の操作状態と過去の操作状態とを比較し、異なる場合(S1104でYES)には操作領域パラメータを「更新する」と判定し(S1105)、同じ場合(S1104でNO)には「更新しない」と判定する(S1106)。
 すなわち、操作状態記憶部208に記憶された操作状態に基づいて、第1の入力部201の現在の操作状態CA(ΔTn)が過去の操作状態CA(ΔT(n-1))と異なる場合、第1の入力部201の操作領域パラメータを「更新する」と判定する。一方、CA(ΔTn)がCA(ΔT(n-1))と同じ場合、第1の入力部201の操作領域パラメータを「更新しない」と判定する。第2の入力部202についても同様に、現在の操作状態CB(ΔTn)が過去の操作状態B(ΔT(n-1))と異なる場合、第2の入力部202の操作領域パラメータを「更新する」と判定する。一方、CB(ΔTn)がCB(ΔT(n-1))と同じ場合、第2の入力部202の操作領域パラメータを「更新しない」と判定する。
 この処理を具体例を用いて説明する。操作状態記憶部208に図10A及び図10Bに示した操作状態が記憶されていたとする。第1の入力部201について、ΔT2での操作状態は「操作OFF状態」であり、その直前のΔT1での操作状態と同じであるため、時刻t2では第1の入力部201の操作領域パラメータを「更新しない」と判定する。同様に、ΔT3およびΔT4でも「操作OFF状態」であるため、時刻t3、t4においても操作領域パラメータを「更新しない」と判定する。
 次に、第2の入力部202について、ΔT1とΔT2との操作状態はともに「操作OFF状態」であるため、時刻t2における操作領域パラメータを「更新しない」と判定する。一方、ΔT3の操作状態は「操作ON状態」であり、ΔT2とΔT3との操作状態は異なるため、時刻t3では操作領域パラメータを「更新する」と判定する。ΔT4の操作状態は「操作ON状態」でΔT3と同じあるため、時刻t4では操作領域パラメータを「更新しない」と判定する。
 以上の手順により図12Aに示す第1の入力部201の操作領域パラメータ更新判定結果と、図12Bに示す第2の入力部202の操作領域パラメータ更新判定結果とを得る。なお、現在の操作状態と直前の操作状態とのみを比較したが、直前の操作状態に限らず、過去の複数の操作状態に基づいてパラメータ更新条件を設定してもよい。
 次に、操作領域状態パラメータ更新部212の処理(図5のS407)の具体的な手順の一例を、図13、図14A、及び図14Bを用いて説明する。
 操作領域状態パラメータ更新部212は、まず第1の入力部201について、パラメータ更新条件判定部210で「更新する」と判定され(S1300でYES)、且つユーザの操作状態が「操作ON状態」の場合(S1301でYES)、操作領域状態パラメータを「有効状態」に更新する(S1302)。一方、パラメータ更新条件判定部210で「更新する」と判定され(S1300でYES)、且つユーザの操作状態が「操作OFF状態」の場合(S1301でNO)、操作領域状態パラメータを「無効状態」に更新する(S1303)。
 次に、操作領域状態パラメータ更新部212は、第1の入力部201のパラメータの更新処理(S1300~S1303)の後に、第2の入力部202についても同様の処理を実行する。つまり、パラメータ更新条件判定部210で「更新する」と判定され(S1304のYES)、且つユーザの操作状態が「操作ON状態」の場合(S1305のYES)、操作領域状態パラメータを「有効状態」に更新する(S1306)。一方、パラメータ更新条件判定部210で「更新する」と判定され(S1304のYES)、且つユーザの操作状態が「操作OFF状態」の場合(S1305のNO)、操作領域状態パラメータを「無効状態」に更新する(S1307)。
 この処理を具体例を用いて説明する。図12A及び図12Bには、時刻t0からt1、t2、t3、t4と時間が経過し、各時刻に取得された操作情報に基づいて得られた操作状態、および操作領域パラメータ更新判定の結果を示している。初期状態として時刻t0における操作領域状態パラメータを「無効状態」に設定する。
 次に、第1の入力部201について、操作状態はΔT1~ΔT4において全て「操作OFF状態」と判定され、操作領域パラメータはすべての時刻において「更新しない」と判定された。その結果、操作領域状態パラメータを更新せず、初期状態の「無効状態」を継続する。
 一方、第2の入力部202について、操作状態はΔT1とΔT2とにおいて「操作OFF状態」と判定され、ΔT3とΔT4とにおいて「操作ON状態」と判定された。操作領域状態パラメータは、ΔT1、ΔT2、及びΔT4において「更新しない」と判定され、ΔT3において「更新する」と判定された。その結果、操作領域状態パラメータを、ΔT1とΔT2とでは初期状態の「無効状態」を継続し、ΔT3では「有効状態」に更新する。さらに、ΔT4では、ΔT3での操作領域状態パラメータを更新せず、「有効状態」を継続する。
 以上の手順により、図14Aに示す第1の入力部201の操作領域状態パラメータと、図14Bに示す第2の入力部202の操作領域状態パラメータとを得る。
 次に、操作領域属性パラメータ更新部213の処理(図5のS409)の具体的な手順の一例を、図15及び図16A~図16Dを用いて説明する。
 操作領域属性パラメータ更新部213は、操作領域状態パラメータ更新部212で更新された第1及び第2の入力部201、202それぞれの最新の操作領域状態パラメータの組み合わせに基づいて、第1及び第2の入力部201、202の操作領域属性パラメータを更新する。なお、初期状態として、第1の入力部201が第1の操作領域301に、第2の入力部202が第2の操作領域302に対応付けられている。
 まず、第1の入力部201の操作領域状態パラメータが「有効状態」で(S1500でYES)、且つ第2の入力部202の操作領域状態パラメータが「有効状態」の場合(S1501でYES)、操作領域属性パラメータ更新部213は、第1及び第2の入力部201、202の両方が操作されていると判定し、第1の操作領域301と第2の操作領域302との面積比を1:1に更新する(S1502)。また、第1及び第2の操作領域301、302の形状を合同な長方形とする(S1503)。さらに、第1の操作領域301と第2の操作領域302とを、ユーザが筐体220を両手で把持したときの第1の入力部201及び第2の入力部202の配置関係と同じになるように配置する(S1504)。図16Aに更新結果を示す。
 また、第1の入力部201の操作領域状態パラメータが「有効状態」で(S1500でYES)、且つ第2の入力部202の操作領域状態パラメータが「無効状態」の場合(S1501でNO)、操作領域属性パラメータ更新部213は、第1の入力部201のみが操作されていると判定し、第1の操作領域301と第2の操作領域302との面積比を1:0に更新する(S1505)。また、第1の操作領域301の形状を表示画面218の形状と同じとし、第1の操作領域301を表示画面218全体(全操作領域)とする(S1506)。図16Bに更新結果を示す。
 また、第1の入力部201の操作領域状態パラメータが「無効状態」で(S1500でNO)、且つ第2の入力部202の操作領域状態パラメータが「有効状態」の場合(S1507でYES)、操作領域属性パラメータ更新部213は、第2の入力部202のみが操作されていると判定し、第1の操作領域301と第2の操作領域302との面積比を0:1に更新する(S1508)。また、第2の操作領域302の形状を表示画面218の形状と同じとし、第2の操作領域302を表示画面218全体(全操作領域)とする(S1509)。図16Cに更新結果を示す。
 さらに、第1の入力部201の操作領域状態パラメータが「無効状態」で(S1500でNO)、且つ第2の入力部202の操作領域状態パラメータが「無効状態」の場合(S1507のNO)、操作領域属性パラメータ更新部213は、第1及び第2の入力部201、201の両方とも操作されていないと判定し、第1の操作領域301と第2の操作領域302との面積比を0:0に更新する(S1510)。すなわち操作領域を第1及び第2の入力部201、202のいずれにも割り当てない。図16Dに更新結果を示す。
 なお、操作領域属性パラメータのうち、更新される面積や形状、配置の状態に変更する変更速度、あるいはその変更方法について、変更前の操作状態および変更後の操作状態に基づいて予め設定した速度や方法を用いる。
 例えば、第1及び第2の入力部201、202のうちの一方の操作領域状態パラメータが「有効状態」を維持し、他方の操作領域状態パラメータが「有効状態」から「無効状態」に更新される場合、すなわち図16Aから図16Bまたは図16Cに示す状態に更新される場合、速度V1で操作領域を変更する。
 また、第1及び第2の入力部201、202の両方の操作状態パラメータが「有効状態」から「無効状態」に更新される場合、すなわち図16Aから図16Dに更新される時、速度V2で操作領域を変更する。
 また、第1及び第2の入力部201、202のうちの一方の操作状態パラメータが「有効状態」を維持し、他方の操作領域状態パラメータが「無効状態」から「有効状態」に変更される場合、すなわち図16Bまたは図16Cから図16Aに更新される場合、速度V3で操作領域を変更する。
 また、第1及び第2の入力部201、202のうちの一方の操作領域状態パラメータが「有効状態」から「無効状態」に更新され、他方の操作領域状態パラメータが「無効状態」から「有効状態」に更新される場合、すなわち図16Bまたは図16Cから図16Aに更新される時、速度V4で操作領域を変更する。
 また、第1及び第2の入力部201、202のうちの一方の操作領域状態パラメータが「有効状態」から「無効状態」に更新され、他方の操作領域状態パラメータが「無効状態」を維持する場合、すなわち図16Bまたは図16Cから図16Dに更新される場合、速度V5で操作領域を変更する。
 また、第1及び第2の入力部201、202の両方の操作領域状態パラメータが「無効状態」から「有効状態」に更新される時、すなわち図16Dから図16Aに更新される場合、速度V6で操作領域を変更する。
 また、第1及び第2の入力部201、202の一方の操作領域状態パラメータが「有効状態」を維持し、他方の操作領域状態パラメータが「無効状態」から「有効状態」に更新される場合、すなわち図16Bまたは図16Cから図16Aに更新される場合、速度V7で操作領域を変更する。
 なお、変更速度V1~V7は、全ての値が異なっていてもよく、あるいはいずれかが同じであってもよい。変更速度が非常に速ければ、ユーザにとっては一瞬で操作領域の面積が変わったように提示される。変更速度が遅ければ、徐々に操作領域の面積が拡大、または縮小されるように提示される。
 さらに変更方法について、面積が徐々に拡大または縮小されるように変更する。
 なお、操作状態に基づいて移動速度と変更速度を変更したが、この方法に限らず、さらに操作量に基づいて変更速度や変更方法を決定してもよい。
 なお、操作領域状態パラメータの一方が有効状態、他方が無効状態の場合、すなわち図16Bまたは図16Cの場合、第1及び第2の入力部201、202のうちの「有効状態」の側に全操作領域を割り当て、「無効状態」の側の操作領域の面積を0にしたが、これに限らず、図16Aに示すように、「有効状態」の側の操作領域は変更せず、「無効状態」の側の入力操作を無効化し、操作領域に操作を反映させないようにしてもよい。
 なお、操作状態の比較には直前の過去の状態のみを用いたが、さらにさかのぼって所定時間内における過去の操作状態の変化に基づいて現在の操作状態を決定してよい。
 なお、第1の入力部201と第2の入力部202との操作領域状態パラメータがともに「有効状態」の場合(S1500でYES、かつS1501でYES)、第1の操作領域301と第2の操作領域302との面積比を1:1に変更したが(S1502)、これに限らず、操作量の比に基づいて面積比を変更してもよい。すなわち、第1の入力部201の操作量がCA、第2の入力部202の操作量がCBの時、第1の操作領域301と第2の操作領域302との面積比をCA:CBに変更してもよい。但し、第1及び第2の操作領域301、302が操作量の比に完全に一致することは必ずしも必要ではなく、操作領域の面積の比が操作量の比に近づくように、制御すればよい。
 以上で、操作領域パラメータ決定部209の処理の説明を終える。
 次に、操作領域変更提示部214は、パラメータ更新条件判定部210で操作領域パラメータの更新が決定された場合に、操作領域が変更されることを、ユーザに提示する(S410)。提示の方法は特に限定されないが、例えば、操作領域変更提示部214は、表示装置219を通じて視覚情報、または聴覚情報によってユーザに提示する。視覚情報によって提示する一例を、図17の(a)~(d)を用いて説明する。なお、図17の(a)~(d)は、操作領域変更パラメータ更新前に第1及び第2の入力部201、202の両方が「有効状態」であり、更新後に第1の入力部201が「無効状態」になる場合の例を示す。
 図17(a)は、表示画面218上にポップアップを表示し、入力領域と操作領域との対応関係を変更することを示すメッセージを提示する。例えば、「第1の入力部201を無効にします」という文言を提示する。操作領域パラメータの更新直前、または更新直後にポップアップを消去する。なお、他の文言を用いてもよい。
 図17(b)は、筐体220と第1及び第2の入力部201、202とを模式的に表現したガイドを表示し、第1及び第2の操作領域301、302に、第1及び第2の入力部201、202のうちのどちらが対応付けられているかを提示する。
 図17(c)は、第1及び第2の操作領域301、302の境界を表示する。例えば、第2の操作領域302が拡大し、第1の操作領域301が縮小する過程を、境界線が徐々に左に移動するようなアニメーションで表現してもよい。
 図17(d)は、第1の操作領域301と第2の操作領域302との背景を異なる色で着色する。図17(c)と同様に、更新過程をアニメーションで表現してもよい。
 なお、視覚情報を用いて操作領域パラメータの変更を提示する方法の一例について述べたが、聴覚情報を用いてもよい。例えば、更新前に、「第1の入力部201を無効にします」と音声情報を出力するという方法がある。文言はこれに限らない。また、操作領域の変更を提示する方法はこれらの例に限らず、他の表現方法を用いてもよい。さらに、複数の提示方法を組み合わせてもよい。
 次に、操作領域変更部215は、操作領域パラメータに基づいて、第1の入力部201及び第2の入力部202と、第1の操作領域301及び第2の操作領域302との対応関係を変更する(S411)。具体的には、各操作領域の左上端座標と右下端座標とを変更することで、操作領域を変更する。
 操作領域変更部215の処理の手順について、図16A~図16Dを用いて説明する。
 操作領域パラメータが更新され、例えば、操作領域が図16Aから図16Bの状態に更新されたとする。このときの全操作領域の座標は、図16Bに示している。つまり、全操作領域は長方形であり、操作領域の左上端の座標は(0、0)、操作領域の右下端の座標は(1600、900)である。操作領域パラメータ更新前において、第1の操作領域301の左上端座標を(0、0)、右下端座標を(800、900)とし、第2の操作領域302の左上端座標を(800、0)、右下端座標を(1600、900)とする。
 ここで、操作領域が図16Aから図16Bの状態に変更されると、それに基づいて、第1の操作領域301の左上端座標を(0、0)、右下端座標を(1600、900)に変更し、第2の操作領域302の各座標を設定せず、「なし」という状態にする。この結果、第2の操作領域302をなくして、全操作領域を第1の操作領域301に変更する(つまり、第1の操作領域301を全操作領域に一致させる)。その他のある状態からある状態への変更についても同様に、各操作領域の左上端座標および右下端座標を変更することで、操作領域を変更する。
 次に、ポインタ位置決定部216は、第1及び第2の入力部201、202それぞれから出力された位置情報と、操作領域変更部215で求められた操作領域とに基づいて、表示画面218上に表示されるGUI画面におけるポインタ位置、またはポインタ位置が指し示すオブジェクトを決定する(S412)。
 ポインタ位置決定の処理(図5のS412)の具体的な手順の一例を、図18を用いて説明する。
 まず、ポインタ位置決定部216は、第1の入力部201及び第2の入力部202それぞれの入力領域に対応する表示画面218上の操作領域の座標を取得する(S1800)。次に、ポインタ位置決定部216は、第1の入力部201及び第2の入力部202それぞれにおけるユーザの接触位置座標を取得する(S1801)。そして、ポインタ位置決定部216は、第1の入力部201及び第2の入力部202それぞれの接触位置に対応するポインタ位置を、入力領域と操作領域との対応関係、及び接触位置座標に基づいて算出する(S1802)。
 ポインタ位置の決定方法の具体例を、図19A、図19B、図20A、及び図20Bを用いて説明する。
 図19Aは、第1の入力部201の入力領域と、接触位置とを示す図である。図19Bは、第2の入力部202の入力領域と、接触位置とを示す図である。各入力領域は同じ大きさ、同じ形状であり、それぞれ入力領域の左上端座標を(0、0)、右下端座標を(300、500)とする。ユーザは、第1の入力部201に接触し、その接触位置座標が(234、432)であったとする。また、第2の入力部202にも接触し、その接触位置座標が(200、250)であったとする。
 操作領域パラメータ更新前における操作領域を図16Aとすると、第1の操作領域301の左上端座標は(0、0)、右下端座標は(800、900)であり、第2の操作領域302の左上端座標は(800、0)、右下端座標は(1600、900)である。
 ポインタ位置は、第1及び第2の入力部201、202上のユーザの接触位置と対応する表示画面218上の点である。すなわち、ポインタ位置は、第1及び第2の入力部201、202における接触領域座標系を、表示画面218における操作領域座標系に変換することで求められる。
 具体的には、第1の操作領域301について、ユーザの接触位置に対応する位置をポインタAで表し、その座標を(xpA、ypA)とすると、xpA=234÷300×800=624、ypA=432÷500×800≒778、で求められる。同様に、第2の操作領域302について、ユーザの接触位置に対応する位置をポインタBで表し、その座標を(xpB、ypB)とすると、xpB=(200÷300×800)+800≒1333、ypB=250÷500×800≒450で求められる。すなわち、図19Aに示される第1の入力部201上の接触位置は、図20Aに示されるポインタAの位置に決定される。同様に、図19Bに示される第2の入力部202上の接触位置は、図20Aに示されるポインタBの位置に決定される。
 次に、操作領域パラメータが更新され、図16Aから図16Bの状態に更新されたとする。その結果、第2の操作領域302は存在しなくなり、ポインタBはなくなる。一方、第1の操作領域301が全操作領域となるので、ポインタAの位置座標を変更する必要が生じる。上述の更新前におけるポインタ位置の算出方法と同様に、第1の入力部201に対応する第1の操作領域301の左上端座標は(0、0)、右下端座標は(1600、900)であるから、ポインタAの座標を(xpA’、ypA’)とすると、xpA’=234÷300×1600=1248、ypA’=ypA=778で求められる。
 以上の処理によってポインタ位置を決定し、図20Bに示されるように、ポインタAの位置を(624、778)から(1248、778)に更新し、ポインタBの位置を(1333、455)から「なし」に更新する。
 次に、表示制御部217は、操作領域変更提示部214とポインタ位置決定部216とから出力された情報に基づいて、表示画面218に表示するGUIを制御する。つまり、表示制御部217は、操作領域変更提示部214で提示される情報と、ポインタ位置決定部216で求められたポインタ位置とに基づいてGUIを制御する。より具体的には、ポインタ位置にポインタ自体を表す図又は絵などの情報を表示する、あるいはポインタ位置にオブジェクトがある場合はポインタが指し示すオブジェクトを強調表示する。
 前者の場合、ポインタ位置決定部216で求められたポインタ位置にポインタを表す図又は絵などの情報を表示する。例えば、図20Aには、ポインタAを黒丸で、ポインタBを白丸で表示している例を示す。なお、このポインタに限らず、他の図や絵などの表現を用いてよい。あるいは、ポインタ位置をポインタの図又は絵で表現しなくてもよい。例えば、文字を書くアプリケーションが実行されている場合、ポインタ位置の軌跡を点列で表示することで、ユーザに現在のポインタ位置を示すことができる。
 後者の場合、すなわち、ポインタ位置にオブジェクトがある場合は、ポインタが指し示すオブジェクトを強調表示する。その具体的な方法を、図21A~図21Cを用いて説明する。
 表示制御部217は、ポインタ位置が操作領域におけるオブジェクト内に存在するかを調べ、存在する場合、そのオブジェクトを強調表示する。例えば、図21Aに示すように操作領域上にオブジェクトaからオブジェクトfまで6個の長方形のオブジェクトが存在し、各オブジェクトは図21Bに示す座標に配置されているとする。また、ポインタAの位置が(1248、712)と求められたとする。ポインタAはオブジェクトfの領域内に含まれるため、オブジェクトfを強調表示する。例えば、図21Cに示すように、オブジェクトfの領域の外周線を他より太くする、色を変える、など、他のオブジェクトと異なる状態であることをユーザに提示する。
 一方、ポインタ位置がオブジェクト内に存在しない場合、すなわち、オブジェクトが存在しない領域にポインタが位置する場合、表示制御部217は、例えば、図20Bに示すようにポインタを図又は絵で表示してもよい。あるいは、操作領域上でユーザが行える操作がオブジェクト選択のみの場合、表示制御部217は、ポインタ位置がオブジェクト以外の領域に存在したとしても、いずれかのオブジェクトが必ず選択されるようにしてもよい。例えば、ポインタAの位置が(1248、778)と求められた場合、ポインタはいずれのオブジェクト内にも含まれないが、ポインタ位置に最も近いオブジェクトf内に存在するものとし、オブジェクトfを強調表示してもよい。
 なお、ポインタ位置から最も近いオブジェクトを強調表示するようにしたが、これに限らず、ポインタの移動速度や移動方向、接触強度などその他の操作情報又は操作状態を考慮して強調表示を行うオブジェクトを決定してもよい。
 なお、強調表示する方法の具体例として、オブジェクトの境界領域を他のオブジェクトより太くする、あるいはオブジェクトの背景色を変更する、オブジェクトを明滅させる、などの方法が挙げられるが、他のオブジェクトと区別できればこれらの方法に限らない。さらに、複数の方法を組み合わせてもよい。
 なお、ポインタ位置の表示とオブジェクトの強調表示とを同時に行ってもよい。
 表示画面218は、表示制御部217の制御に従って、GUI画面を表示する。すなわち、第1の入力部201と第2の入力部202とを用いてユーザの指や手の動作によって操作されるポインタを表示する、あるいはポインタが指し示すオブジェクトを他のオブジェクトと識別できるよう強調表示する、といった操作の過程や操作結果を表示する。
 かかる構成によれば、第1及び第2の入力部201、202に対する操作量からユーザが操作しているか否かを表す操作状態を判定し、その結果に基づいて第1及び第2の入力部201、202それぞれに割り当てる操作領域を決定する。このため、接触していても操作していないと判定された入力部には操作領域を割り当てない、あるいは操作していると判定された入力部のみを操作可能な状態にすることができる。
 例えば、安定して操作するために筐体220を両手で把持し、第1及び第2の入力部201、202の一方(第2の入力部202)のみを右手で操作する場合、左手が意図せず他方(第1の入力部201)に接触している状態であっても、第1の入力部201への操作量の値は小さくなり、操作していない状態と判定される。その結果、把持による第1の入力部201への接触を無効化、あるいは第1の入力部201に操作領域を割り当てず、かつ全操作領域を右手の第2の入力部202に割り当てることができる。
 すなわち、筐体220の持ち位置や各入力部への意図しない接触を気にすることなく、自由に筐体220を把持することができる。このため、ユーザは筐体220を安定して把持し、精度の高い操作を行うことができる。その結果、操作装置200の操作性が向上する。また、操作していない指を入力領域上に置いても操作していると判定されないため、操作に使わない指を入力領域上に置くことができ、ユーザの疲労を軽減することができる。
 また、操作状態の履歴に基づいて操作領域を決定する場合、例えば、現在ユーザが「操作していない」と判定された場合でも、しばらく静止し続けているのか、あるいは直前まで操作していたのかを判断することができる。このように、瞬間ではなく一定時間におけるユーザの手指の動きに基づいて判断することにより、例えば、利き手の操作領域を広げるために利き手と異なる側の手の操作を止めているのか、あるいは、入力領域上で手を動かしている途中で一時的に手の動きが止まったのか、をより正確に認識することができる。それにより、後者の場合、操作量が意図せず一時的に小さくなったとしても操作領域は小さくならないため、操作性が向上する。
 (その他変形例)
 なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
 上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
 上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成要素を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶さている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
 上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
 本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
 また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
 また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
 また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作するとしてもよい。
 また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
 上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。
 以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
 本発明にかかる操作装置は、筐体に複数の操作入力部を備え、家電機器のリモコンや情報機器の入力装置として有用である。
 200 操作装置
 201 第1の入力部
 202 第2の入力部
 203 入力装置
 204 操作情報取得部
 205 操作量算出部
 206 操作量記憶部
 207 操作状態判定部
 208 操作状態記憶部
 209 操作領域パラメータ決定部
 210 パラメータ更新条件判定部
 211 操作領域パラメータ更新部
 212 操作領域状態パラメータ更新部
 213 操作領域属性パラメータ更新部
 214 操作領域変更提示部
 215 操作領域変更部
 216 ポインタ位置決定部
 217 表示制御部
 218 表示画面
 219 表示装置
 220 筐体
  301 第1の操作領域
 302 第2の操作領域

Claims (19)

  1.  入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる操作装置であって、
     前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得部と、
     前記操作情報取得部で取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出部と、
     前記操作量算出部で算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更部とを備える
     操作装置。
  2.  前記操作領域変更部は、前記操作量が予め定められた閾値を下回る場合に、当該入力部に対応する前記操作領域の面積を0にする
     請求項1に記載の操作装置。
  3.  前記操作領域変更部は、前記各操作領域の面積の比を対応する前記操作量の比に近づけるように、前記各操作領域の大きさを変更する
     請求項1又は2に記載の操作装置。
  4.  前記操作量算出部は、前記操作情報に基づいて、互いに性質の異なる複数の操作特徴を算出し、予め定められた重み計数と前記複数の操作特徴との重み付き線形和を前記操作量として算出する
     請求項1~3のいずれか1項に記載の操作装置。
  5.  前記入力部は、所定の面積を占める入力領域を備え、ユーザが前記入力領域に接触したときの前記入力領域上の位置座標及び接触強度の少なくとも1つを、前記操作情報として出力するタッチセンサであり、
     前記操作量算出部は、前記位置座標に基づいて移動距離、移動速度、移動加速度、及び操作方向の少なくとも1つを、又は前記接触強度に基づいて平均強度を、前記操作特徴として算出する
     請求項4に記載の操作装置。
  6.  前記タッチセンサは、静電容量方式であり、
     前記接触強度は、ユーザの指が前記タッチセンサに接触または近接したときの静電容量値である
     請求項5に記載の操作装置。
  7.  前記タッチセンサは、感圧方式であり、
     前記接触強度は、ユーザの指が前記タッチセンサを押す圧力値である
     請求項5に記載の操作装置。
  8.  該操作装置は、さらに、
     前記操作量算出部によって算出される前記操作量を記憶する操作量記憶部と、
     前記操作量記憶部に記憶されている前記操作量に基づいて、対応する前記入力部の操作状態を判定する操作状態判定部と、
     前記操作状態判定部による判定結果を記憶する操作状態記憶部とを備え、
     前記操作状態判定部は、
     前記操作量が前記閾値を下回る場合に、対応する前記入力部が操作されていないことを示す操作OFF状態と判定し、前記操作量が前記閾値以上の場合に、対応する前記入力部が操作されていることを示す操作ON状態と判定する
     請求項1~7のいずれか1項に記載の操作装置。
  9.  該操作装置は、さらに、
     前記入力装置に入力されたユーザの操作を対応する前記操作領域に反映させるか否かを示す操作領域状態パラメータの更新の要否を、前記操作状態判定部の判定結果に基づいて判定するパラメータ更新条件判定部と、
     前記パラメータ更新条件判定部によって前記操作領域状態パラメータの更新が必要と判定された場合に、前記操作状態判定部の判定結果に基づいて前記操作領域状態パラメータを更新する操作領域状態パラメータ更新部とを備え、
     前記パラメータ更新条件判定部は、前記操作状態判定部による最新の判定結果と過去の判定結果とが異なる場合に、前記操作領域状態パラメータの更新が必要と判定し、
     前記操作領域状態パラメータ更新部は、
     前記最新の判定結果が操作ON状態である場合、前記操作領域状態パラメータを、前記入力装置への入力を対応する前記操作領域に反映させることを示す有効状態とし、
     前記最新の判定結果が操作OFF状態である場合に、前記操作領域状態パラメータを、前記入力装置への入力を対応する前記操作領域に反映させないことを示す無効状態とする
     請求項8に記載の操作装置。
  10.  該操作装置は、さらに、
     前記操作領域状態パラメータ更新部によって更新された前記操作領域状態パラメータの値に応じて、少なくとも前記操作領域の面積を示す情報を含む前記操作領域属性パラメータを更新する操作領域属性パラメータ更新部を備え、
     前記操作領域属性パラメータ更新部は、前記複数の操作領域のうち、前記操作領域状態パラメータが有効状態である操作領域の面積が、前記操作領域状態パラメータが無効状態である操作領域の面積より大きくなるように、前記操作領域属性パラメータを更新し、
     前記操作領域変更部は、前記操作領域属性パラメータ更新部によって更新された前記操作領域属性パラメータの値に応じて、前記各操作領域の大きさを変更する
     請求項9に記載の操作装置。
  11.  前記操作領域属性パラメータは、さらに、前記操作領域の形状、前記表示画面上の位置、及び面積、形状、位置の変更方法を示す情報を含む
     請求項10に記載の操作装置。
  12.  該操作装置は、さらに、前記操作領域属性パラメータ更新部によって更新された前記操作領域属性パラメータの内容を、ユーザに通知する操作領域変更提示部を備える
     請求項10又は11に記載の操作装置。
  13.  該操作装置は、さらに、前記操作領域属性パラメータに示される前記操作領域の面積と、当該操作領域に対応付けられた前記入力部の面積との比に基づいて、ユーザが接触した前記入力部上の位置に対応する前記操作領域上の位置に、ポインタを表示させるポインタ位置決定部を備える
     請求項10~12のいずれか1項に記載の操作装置。
  14.  該操作装置は、さらに、前記入力装置を備え、
     前記入力装置は、
     筐体と、
     前記筐体の同一平面上に並べて配置される前記複数の入力部とを備える
     請求項1~13のいずれか1項に記載の操作装置。
  15.  該操作装置は、さらに、前記表示装置を備える
     請求項1~13のいずれか1項に記載の操作装置。
  16.  入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる操作方法であって、
     前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得ステップと、
     前記操作情報取得ステップで取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出ステップと、
     前記操作量算出ステップで算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更ステップとを含む
     操作方法。
  17.  入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる処理を、コンピュータに実行させるプログラムであって、
     前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得ステップと、
     前記操作情報取得ステップで取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出ステップと、
     前記操作量算出ステップで算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更ステップとを、コンピュータに実行させる
     プログラム。
  18.  請求項17に記載のプログラムが記録された
     コンピュータ用非一時的コンピュータ読み取り可能記録媒体。
  19.  入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる集積回路であって、
     前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得部と、
     前記操作情報取得部で取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出部と、
     前記操作量算出部で算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更部とを備える
     集積回路。
PCT/JP2011/002409 2010-05-20 2011-04-25 操作装置、操作方法、プログラム、記録媒体、及び集積回路 WO2011145276A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011536228A JPWO2011145276A1 (ja) 2010-05-20 2011-04-25 操作装置、操作方法、プログラム、記録媒体、及び集積回路
CN2011800024250A CN102473074A (zh) 2010-05-20 2011-04-25 操作装置、操作方法、程序、记录介质以及集成电路
US13/377,832 US8854323B2 (en) 2010-05-20 2011-04-25 Operating apparatus, operating method, program, recording medium, and integrated circuit

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010116758 2010-05-20
JP2010-116758 2010-05-20

Publications (1)

Publication Number Publication Date
WO2011145276A1 true WO2011145276A1 (ja) 2011-11-24

Family

ID=44991399

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/002409 WO2011145276A1 (ja) 2010-05-20 2011-04-25 操作装置、操作方法、プログラム、記録媒体、及び集積回路

Country Status (4)

Country Link
US (1) US8854323B2 (ja)
JP (1) JPWO2011145276A1 (ja)
CN (1) CN102473074A (ja)
WO (1) WO2011145276A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389825A (zh) * 2012-05-08 2013-11-13 株式会社东海理化电机制作所 信息处理装置以及输入装置
JP2013257776A (ja) * 2012-06-13 2013-12-26 Tokai Rika Co Ltd タッチ式入力装置
JP2014102793A (ja) * 2012-11-22 2014-06-05 Brother Ind Ltd 操作領域作成装置
JP2015162028A (ja) * 2014-02-26 2015-09-07 富士ゼロックス株式会社 表示制御装置、画像形成装置およびプログラム
US10379626B2 (en) 2012-06-14 2019-08-13 Hiroyuki Ikeda Portable computing device
JP2019200726A (ja) * 2018-05-18 2019-11-21 株式会社東海理化電機製作所 演算装置およびプログラム

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587422B2 (en) 2010-03-31 2013-11-19 Tk Holdings, Inc. Occupant sensing system
JP5805974B2 (ja) 2010-03-31 2015-11-10 ティーケー ホールディングス,インコーポレーテッド ステアリングホイールセンサ
DE102011006649B4 (de) 2010-04-02 2018-05-03 Tk Holdings Inc. Lenkrad mit Handsensoren
EP2570903A1 (en) * 2011-09-15 2013-03-20 Uniqoteq Oy Method, computer program and apparatus for enabling selection of an object on a graphical user interface
US10423328B2 (en) * 2011-12-28 2019-09-24 Hiroyuki Ikeda Portable terminal for controlling two cursors within a virtual keyboard according to setting of movement by a single key at a time or a plurality of keys at a time
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
JP5966557B2 (ja) * 2012-04-19 2016-08-10 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
US9493342B2 (en) 2012-06-21 2016-11-15 Nextinput, Inc. Wafer level MEMS force dies
EP2870445A1 (en) 2012-07-05 2015-05-13 Ian Campbell Microelectromechanical load sensor and methods of manufacturing the same
DE112013004512T5 (de) 2012-09-17 2015-06-03 Tk Holdings Inc. Einzelschicht-Kraftsensor
US9930082B2 (en) 2012-11-20 2018-03-27 Nvidia Corporation Method and system for network driven automatic adaptive rendering impedance
US10547713B2 (en) * 2012-11-20 2020-01-28 Nvidia Corporation Method and system of transmitting state based input over a network
CN104216651B (zh) * 2013-06-04 2018-04-06 腾讯科技(深圳)有限公司 显示社交信息的方法和装置
US9819604B2 (en) 2013-07-31 2017-11-14 Nvidia Corporation Real time network adaptive low latency transport stream muxing of audio/video streams for miracast
US9902611B2 (en) 2014-01-13 2018-02-27 Nextinput, Inc. Miniaturized and ruggedized wafer level MEMs force sensors
US20150309601A1 (en) * 2014-04-28 2015-10-29 Shimane Prefectural Government Touch input system and input control method
GB201408258D0 (en) 2014-05-09 2014-06-25 British Sky Broadcasting Ltd Television display and remote control
US10466119B2 (en) 2015-06-10 2019-11-05 Nextinput, Inc. Ruggedized wafer level MEMS force sensor with a tolerance trench
CN105117056B (zh) * 2015-08-17 2019-02-01 青岛海信移动通信技术股份有限公司 一种操作触摸屏的方法和设备
JP6776601B2 (ja) * 2016-04-26 2020-10-28 株式会社ジェイテクト 作業指示システム
CN106411323B (zh) * 2016-09-14 2020-03-17 芯海科技(深圳)股份有限公司 一种压力式按键的防误触发的方法
CN110494724B (zh) 2017-02-09 2023-08-01 触控解决方案股份有限公司 集成数字力传感器和相关制造方法
US11243125B2 (en) 2017-02-09 2022-02-08 Nextinput, Inc. Integrated piezoresistive and piezoelectric fusion force sensor
EP3655740A4 (en) 2017-07-19 2021-07-14 Nextinput, Inc. STRESS TRANSFER STACKING IN MEMS FORCE SENSOR
US11423686B2 (en) 2017-07-25 2022-08-23 Qorvo Us, Inc. Integrated fingerprint and force sensor
WO2019023552A1 (en) 2017-07-27 2019-01-31 Nextinput, Inc. PIEZORESISTIVE AND PIEZOELECTRIC FORCE SENSOR ON WAFER AND METHODS OF MANUFACTURING THE SAME
WO2019079420A1 (en) 2017-10-17 2019-04-25 Nextinput, Inc. SHIFT TEMPERATURE COEFFICIENT COMPENSATION FOR FORCE SENSOR AND STRAIN GAUGE
US11385108B2 (en) 2017-11-02 2022-07-12 Nextinput, Inc. Sealed force sensor with etch stop layer
US11874185B2 (en) 2017-11-16 2024-01-16 Nextinput, Inc. Force attenuator for force sensor
DE112018006732B4 (de) * 2018-01-31 2022-03-10 Mitsubishi Electric Corporation Berührungsbildschirmvorrichtung
US10845979B2 (en) * 2019-01-10 2020-11-24 Tcl Research America, Inc. Method and system for digital content display and interaction
US10962427B2 (en) 2019-01-10 2021-03-30 Nextinput, Inc. Slotted MEMS force sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11143623A (ja) * 1997-11-04 1999-05-28 Wacom Co Ltd 複数の位置指示器を検出可能な位置検出方法及び装置
WO2008152679A1 (ja) * 2007-06-13 2008-12-18 Yappa Corporation 携帯端末装置および入力装置
WO2009006221A1 (en) * 2007-06-28 2009-01-08 Panasonic Corporation Virtual keypad systems and methods

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7800592B2 (en) * 2005-03-04 2010-09-21 Apple Inc. Hand held electronic device with multiple touch sensing devices
US11275405B2 (en) * 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7728824B2 (en) * 2006-02-22 2010-06-01 Sharp Kabushiki Kaisha Display device, input device, printing device, and electric device
JP2007334737A (ja) * 2006-06-16 2007-12-27 Canon Inc 情報処理装置及び情報処理方法
JP5066055B2 (ja) * 2008-10-28 2012-11-07 富士フイルム株式会社 画像表示装置、画像表示方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11143623A (ja) * 1997-11-04 1999-05-28 Wacom Co Ltd 複数の位置指示器を検出可能な位置検出方法及び装置
WO2008152679A1 (ja) * 2007-06-13 2008-12-18 Yappa Corporation 携帯端末装置および入力装置
WO2009006221A1 (en) * 2007-06-28 2009-01-08 Panasonic Corporation Virtual keypad systems and methods

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389825A (zh) * 2012-05-08 2013-11-13 株式会社东海理化电机制作所 信息处理装置以及输入装置
JP2013257776A (ja) * 2012-06-13 2013-12-26 Tokai Rika Co Ltd タッチ式入力装置
US10379626B2 (en) 2012-06-14 2019-08-13 Hiroyuki Ikeda Portable computing device
US10664063B2 (en) 2012-06-14 2020-05-26 Hiroyuki Ikeda Portable computing device
JP2014102793A (ja) * 2012-11-22 2014-06-05 Brother Ind Ltd 操作領域作成装置
JP2015162028A (ja) * 2014-02-26 2015-09-07 富士ゼロックス株式会社 表示制御装置、画像形成装置およびプログラム
JP2019200726A (ja) * 2018-05-18 2019-11-21 株式会社東海理化電機製作所 演算装置およびプログラム

Also Published As

Publication number Publication date
CN102473074A (zh) 2012-05-23
US8854323B2 (en) 2014-10-07
JPWO2011145276A1 (ja) 2013-07-22
US20120092299A1 (en) 2012-04-19

Similar Documents

Publication Publication Date Title
WO2011145276A1 (ja) 操作装置、操作方法、プログラム、記録媒体、及び集積回路
AU2021201748C1 (en) User interface for manipulating user interface objects
DK180032B8 (en) User Interface for manipulating user interface objects
US10545657B2 (en) User interface for manipulating user interface objects
US8217905B2 (en) Method and apparatus for touchscreen based user interface interaction
US10282081B2 (en) Input and output method in touch screen terminal and apparatus therefor
US8860730B2 (en) Information processing apparatus, animation method, and program
JP5966557B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
US20110227947A1 (en) Multi-Touch User Interface Interaction
US20190187887A1 (en) Information processing apparatus
US20150277673A1 (en) Child container control of parent container of a user interface
JP5713180B2 (ja) 検知領域がディスプレイの表示領域よりも小さくても同等時のように動作するタッチパネル装置
US20150015550A1 (en) Computer input apparatus and method using smart terminal with electronic pen
JP2015060303A (ja) 情報処理装置
US20130159934A1 (en) Changing idle screens
US20130021367A1 (en) Methods of controlling window display on an electronic device using combinations of event generators
US20180188940A1 (en) Control input method and device for executing the same
JP2010211323A (ja) 入力システム、携帯端末、入出力装置、入力システム制御プログラム、コンピュータ読み取り可能な記録媒体、および、入力システムの制御方法
JP2012146017A (ja) 電子黒板システム、電子黒板システムの制御方法、プログラムおよびその記録媒体
JP6331022B2 (ja) 表示装置、表示制御方法、及び表示制御プログラム
KR20150098366A (ko) 가상 터치패드 조작방법 및 이를 수행하는 단말기
EP2977878B1 (en) Method and apparatus for displaying screen in device having touch screen
KR101904529B1 (ko) 전자 기기, 그 입력 방법 및 그 방법을 실행하기 위해 매체에 저장된 컴퓨터 프로그램
JP2011076363A (ja) タッチパッド、情報処理端末、タッチパッドの制御方法、及びプログラム
KR102008692B1 (ko) 전자 기기 및 전자 기기의 오브젝트 포인팅 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180002425.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011536228

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13377832

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11783215

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11783215

Country of ref document: EP

Kind code of ref document: A1