WO2010061448A1 - 操作入力装置、情報処理装置及び選択ボタン特定方法 - Google Patents

操作入力装置、情報処理装置及び選択ボタン特定方法 Download PDF

Info

Publication number
WO2010061448A1
WO2010061448A1 PCT/JP2008/071518 JP2008071518W WO2010061448A1 WO 2010061448 A1 WO2010061448 A1 WO 2010061448A1 JP 2008071518 W JP2008071518 W JP 2008071518W WO 2010061448 A1 WO2010061448 A1 WO 2010061448A1
Authority
WO
WIPO (PCT)
Prior art keywords
trajectory
information
item button
specifying
item
Prior art date
Application number
PCT/JP2008/071518
Other languages
English (en)
French (fr)
Inventor
田村　雄一
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2008/071518 priority Critical patent/WO2010061448A1/ja
Publication of WO2010061448A1 publication Critical patent/WO2010061448A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the present invention relates to an operation input device, an information processing device, a selection button specifying method, a selection button specifying program, and a recording medium on which the program is recorded.
  • Patent Document 1 hereinafter referred to as “conventional example”.
  • this conventional technique a part of the human body is photographed, and the movement, position, etc. of the user's hand are grasped from the photographed image, and the standby state, input information, callback, etc. are determined. .
  • the present invention has been made in view of the above circumstances, and provides a new operation input device, information processing device, and selection button specifying method that can improve user convenience when performing operation input.
  • the purpose is to do.
  • an operation input device for specifying an item button selected from among a plurality of arranged item buttons, the trajectory information of an operation point on an object to be selected.
  • Collecting means for collecting the operation point for each item button based on the collected trajectory information and the information of the item button selected when the collected trajectory information is collected.
  • Learning means for learning trajectory features; and specifying means for specifying item buttons to be selected in consideration of trajectory information collected by the collecting means and the learning result.
  • the operation input device according to any one of claims 1 to 6; and an identification result of an item button by the operation input device, and corresponding to the identification result
  • An information processing apparatus comprising: a process execution unit that executes a process.
  • a selection button specifying method used in an operation input device for specifying an item button selected from a plurality of arranged item buttons, wherein the selection operation is performed. Based on the collection result of the trajectory information of the operation point in the object to be performed and the information of the item button selected as the selection target when the trajectory information is collected, the trajectory feature of the operation point is learned for each item button.
  • a selection step comprising: a learning step to be performed; a specifying step of specifying an item button to be selected in consideration of a result of collecting new trajectory information of the operation point and a result of the learning. It is a specific method.
  • the present invention is a selection button specifying program characterized by causing a calculation means to execute the selection button specifying method of the present invention.
  • the present invention is a recording medium in which the selection button specifying program of the present invention is recorded so as to be readable by a calculation means.
  • FIG. 6 is a diagram (part 1) for describing an operation point extracted from a photographing result
  • FIG. 10 is a diagram (No. 2) for describing operation points extracted from a photographing result
  • FIG. 3 is a flowchart for explaining a learning process of trajectory characteristics of an operation point and an item button specifying process in the information processing apparatus of FIG. 2.
  • FIG. It is a flowchart for demonstrating the prediction process of the item button in FIG. It is a figure for demonstrating the 1st predetermined distance defined in the relationship between the surface of a touch panel, and an operation point. It is a figure for demonstrating the extracted operation point in a modification.
  • FIG. 1 shows a schematic configuration of an information processing apparatus 700 according to an embodiment.
  • the information processing apparatus 700 includes an operation input device 710 and a process execution unit 790.
  • the operation input device 710 specifies an item button selected by the user from among a plurality of item buttons BT 1 , BT 2 ,... Arranged in the item button array BTA.
  • the process execution means 790 receives the identification result of the item button by the operation input device 710, and executes the process corresponding to the identification result.
  • the operation input device 710 includes a collecting unit 720, a learning unit 730, and a specifying unit 740.
  • the collection means 720 collects the trajectory information of the operation point on the object to be selected.
  • examples of the “operation point” in the object on which the selection operation is performed include a fingertip, a pen tip, and the like of the user who wants to press the item button.
  • position information of the operation point in the spatial coordinate system can be employed.
  • the collecting unit 720 includes a photographing unit 721 and a deriving unit 722.
  • the photographing result by the photographing unit 721 is sent to the deriving unit 722.
  • the deriving means 722 receives the result of photographing by the photographing means 721. Then, the deriving unit 722 analyzes the shooting result, and extracts an operation point on the object when the shooting result includes an object to be selected. Subsequently, the deriving unit 722 derives the trajectory information of the operation point. A result derived by the deriving unit 722 is sent to the learning unit 730 and the specifying unit 740.
  • Said learning means 730 along with receiving the orbit information of which operating point is derived result by deriving means 722, the information of the item button BT p from the item button BT p that is a selection target when collected the orbit information receive.
  • the learning unit 730 learns the trajectory characteristics of the operation point when the item button BT p is selected based on the collected trajectory information of the operation point and the information of the item button BT p. .
  • the specifying unit 740 receives the trajectory information collected by the collecting unit 720. Then, the specifying unit 740 specifies the item button BT p to be selected in consideration of the collected trajectory information and the trajectory feature of the operation point as a result of learning by the learning unit 730. Then, the specifying unit 740 sends the specifying result of the item button BT p to the process execution unit 790. The processing for a particular item buttons BT p of the selected object will be described later.
  • the specifying unit 740 receives information on the item button BT p from the selected item button BT p . Then, the specifying unit 740 sends the information of the item button BT p to the process executing unit 790 as the specifying result.
  • the above is the configuration of the operation input device 710.
  • the processing execution means 790 receives the item button identification result by the operation input device 710 as described above. And the process execution means 790 performs the process corresponding to the said specific result.
  • the photographing unit 721 of the collecting unit 720 performs photographing around the item button array BTA, and the derivation unit 722 analyzes the photographing result by the photographing unit 721. Then, when the object to be selected is included in the photographing result, the derivation unit 722 extracts an operation point on the object. Subsequently, the deriving unit 722 derives the trajectory information of the operation point at that time. The trajectory information of the operation point thus derived is sent to the learning means 730.
  • the learning means 730 receives the orbital information of the operating point from the outlet means 722, by the user, the item button BT p is selected, the information of the item button BT p from the item button BT p that is a selection target receive. Then, the learning unit 730 selects the average trajectory of the operation point when selecting the item button BT p based on the collected trajectory information of the operation point and the information of the item button BT p , and the average trajectory. The degree of variation is calculated. The average trajectory of the operation point calculated in this way and the degree of variation of the average trajectory are held in, for example, a nonvolatile rewritable storage area as the trajectory feature of the operation point when the item button BT p is selected. Is done.
  • imaging means 721 performs photographing around the item button array BTA, deriving means 722 analyzes the photographed results.
  • the deriving unit 722 extracts an operation point on the object and derives trajectory information on the operation point when the photographing result includes an object on which the selection operation is performed.
  • the trajectory information of the operation point thus derived is sent to the specifying means 740.
  • the specifying means 740 Upon receiving the trajectory information of the operation point from the derivation means 722, the specifying means 740 takes into consideration the collected trajectory information and the result of the trajectory feature learning by the learning means 730, and selects the item button BT p to be selected. To identify.
  • the specifying unit 740 selects an average trajectory in which the variation degree of the average trajectory of the operation point is equal to or less than a predetermined value when specifying the item button BT p . It is used as a candidate trajectory.
  • the specifying unit 740 calculates the distance between the operation point obtained from the collected track information and the candidate track, and the calculated distance is A first determination is periodically performed to determine whether or not the distance is equal to or less than a first predetermined distance determined in accordance with the relationship between the surface of the item button array BTA and the operation point.
  • the first predetermined distance is determined in advance based on experiments, simulations, experiences, and the like from the viewpoint of narrowing down to candidate trajectories having a high probability of being selected. ing.
  • the specifying unit 740 determines whether or not the calculated distance is equal to or less than a second predetermined distance shorter than the first predetermined distance. Perform regularly. Then, the specifying unit 740 selects the selection target when the number of times that the result of the second determination described above becomes affirmative continuously becomes a predetermined number according to the approach of the operation point to the surface of the item button array BTA. to identify the item button BT p. When the item button BT p to be selected is specified by the specifying unit 740 in this way, the specifying result is sent to the process executing unit 790.
  • the second predetermined distance and the predetermined number of times are determined in advance based on experiments, simulations, experiences, and the like from the viewpoint of systematically specifying the item button BT p to be selected.
  • the item button BT p is identified using the result of the trajectory feature learning in the same manner as described above.
  • the imaging unit 721 of the collection unit 720 performs imaging around the item button array BTA, and the derivation unit 722 analyzes the imaging result.
  • the deriving unit 722 extracts an operation point on the object and derives trajectory information on the operation point when the photographing result includes an object on which the selection operation is performed.
  • the trajectory information of the operation point thus derived is sent to the learning means 730 and the specifying means 740.
  • the learning means 730 receives the orbital information of the operation point, by the user, the item button BT p is selected, and the orbit information of the collected operating point, based on the information of the item button BT p, operation Learn the trajectory characteristics of points.
  • the specifying unit 740 specifies the item button BT p to be selected in consideration of the collected trajectory information and the learning result by the learning unit 730.
  • the intrusion detection means for detecting that the object to be selected has entered the vicinity area of the item button array BTA is further provided, and when the object is detected by the intrusion detection means, The photographing unit 721 can start photographing around the item button array BTA.
  • the item button array BTA in which a plurality of item buttons BT 1 , BT 2 ,... Are arranged can be displayed on the display device.
  • the algorithm for specifying the item button to be selected is not limited to the method employed in the above embodiment, and may be another method.
  • the information processing apparatus 700 can be configured to include a computer as a calculation unit, and the functions of the above-described units other than the photographing unit 721 can be realized by executing a program.
  • These programs may be acquired in a form recorded on a portable recording medium such as a CD-ROM or DVD, or may be acquired in a form distributed via a network such as the Internet. Can do.
  • FIG. 2 shows a schematic configuration of the information processing apparatus 100 according to an embodiment.
  • the information processing apparatus 100 is an aspect of the information processing apparatus 700 (see FIG. 1) of the above-described embodiment.
  • the information processing apparatus 100 includes a control unit 110 and a storage unit 120.
  • the information processing apparatus 100 includes a display unit 140 and a touch panel unit 150 as touch panel means.
  • the information processing apparatus 100 includes photographing units 160 1 and 160 2 as photographing means 721 and an object detection unit 170 as intrusion detecting means.
  • the above control unit 110 performs overall control of the information processing apparatus 100.
  • the control unit 110 will be described later.
  • the storage unit 120 includes a hard disk device that is a nonvolatile storage device.
  • the storage unit 120 stores various data such as trajectory feature information (TCI).
  • TCI trajectory feature information
  • the storage unit 120 can be accessed by the control unit 110.
  • trajectory feature information As shown in FIG. 3, individual trajectory feature information (TCA p ) for each item button BT p is stored. As shown in FIG. 4, the individual trajectory feature information (TCA p ) is calculated from the position information (TC) of the operation points for the number of times (# 1, # 2,%) Collected and calculated from the position information. The average trajectory (AV) and standard deviation (SD) are stored.
  • the position information (TC) the coordinate value of the operation point in the XYZ coordinate system is stored.
  • the average trajectory (AV) and standard deviation (SD) include an average value ((AX (Z), AY (Z)), etc And standard deviation ((DX (Z)) calculated for each predetermined Z interval. , DY (Z)), ...) are stored.
  • the display unit 140 includes a display device 141 (see FIG. 5) such as a liquid crystal panel, and displays an image corresponding to the display data received from the control unit 110.
  • the display unit 140 displays a menu image including a plurality of item buttons, operation guidance information, and the like under the control of the control unit 110.
  • the touch panel unit 150 includes a touch panel 151 and a drive circuit (not shown) that drives the touch panel 151.
  • the touch panel 151 is disposed on the display surface of the display device 141 as shown in FIG.
  • the drive circuit acquires data related to the position of the touch operation performed on the touch panel 151 and sends the data to the control unit 110 as operation input data.
  • the operation content of the information processing apparatus 100 is set by the user operating the touch panel 151. For example, the user performs an image display command or the like on the display device 141 using the touch panel 151. Such input contents are sent to the control unit 110.
  • each of the photographing units 160 1 and 160 2 includes a camera device.
  • each of the photographing units 160 1 and 160 2 is arranged on the outer edge of the display device 141 in the display device, and a display in which a plurality of item buttons are arranged and displayed. It has a field of view capable of photographing the periphery of the device 141.
  • FIG. 6 (A) is illustrated field of view photographed by the photographing unit 160 1.
  • FIG. 6 (B) shows the field of view to be photographed by the photographing unit 160 2.
  • Each of these photographing units 160 1 and 160 2 starts photographing around the display device 141 when receiving a photographing start request from the control unit 110, and performs photographing when receiving a photographing stop request from the control unit 110. Stop. Incidentally, in FIG. 6 (A), it does not show the imaging unit 160 2 and the object detection unit 170 (described later (FIG. 7 (A) as well). Further, in FIG. 6 (B) imaging unit 160 1 and the object detection unit 170 are not shown (this will be described later (the same applies to FIG. 7B)).
  • the object detection unit 170 includes a distance measuring sensor.
  • the distance measuring sensor measures a distance to an object (for example, a user's finger) that performs a touch operation, and the object enters the vicinity area of the display device 141 where a plurality of item buttons are arranged and displayed from the measurement result. Detect if you did.
  • the object detection unit 170, photographable region in the photographing unit 160 1 and the photographing unit 160 2 (FIG. 6 (A), (B) refer) when an object intrudes into the object intrusion reports
  • the data is sent to the control unit 110.
  • the distance measuring sensor a sensor that detects the presence of an arbitrary object within a predetermined range using infrared reflection can be employed.
  • the control unit 110 includes a central processing unit (CPU) and its peripheral circuits.
  • CPU central processing unit
  • the various functions described above are realized by the control unit 110 executing various programs. These functions include functions as the derivation unit 722, the learning unit 730, the specifying unit 740, and the processing execution unit 790 in the above-described embodiment.
  • the control unit 110 Upon receiving an object intrusion report from the object detection unit 170, the control unit 110 issues an imaging start request to the imaging units 160 1 and 160 2 . Then, the control unit 110 acquires the shooting results from the shooting unit 160 1 and the shooting unit 160 2 , analyzes each of the shooting results, and extracts information on the operation point on the object (FIG. 7 ( (See A) and (B)). Subsequently, the control unit 110 calculates the position of the operation point based on the information of the operation point obtained from the two imaging results, and derives the position information of the operation point.
  • the control unit 110 Based on the position information of the operation point thus derived and the item button information from the item button selected as the selection target when the position information is collected, the control unit 110 selects the item button as the selection target.
  • the trajectory characteristics of the operating point are learned.
  • control unit 110 considers the derived position information and the trajectory feature of the operation point, which is the result of the learning described above, together with the learning process of the trajectory feature of the operation point. Identify. And the control unit 110 performs the process corresponding to the content of the identified item button.
  • control unit 110 issues a photographing stop request to the photographing units 160 1 and 160 2 .
  • touch panel input device as the operation input device 710 in the above-described embodiment is configured by the information processing device 100 excluding the function as the processing execution unit 790 in the control unit 110.
  • step S11 the control unit 110 determines whether or not an intrusion report from the object detection unit 170 has been received. If the result of this determination is negative (step S11: N), the process of step S11 is repeated.
  • step S11 when the result of the determination in step S11 becomes affirmative (step S11: Y), the process proceeds to step S12.
  • step S12 the specific coefficient ND is set to zero.
  • the specific coefficient ND serves as an index for specifying the item button that the user intends to select. Thereafter, the process proceeds to step S13.
  • step S13 the control unit 110 issues a photographing start request to the photographing units 160 1 and 160 2 .
  • the photographing units 160 1 and 160 2 start photographing around the display device 141.
  • step S14 the control unit 110 acquires the photographing results from the photographing units 160 1 and 160 2 at predetermined time intervals, and the operation point on the object is detected. Extract information. Then, the control unit 110 calculates the position of the operation point based on the information of the operation point obtained from the two imaging results. Thereafter, the process proceeds to step S15.
  • step S15 the control unit 110 reads out individual trajectory feature information for a plurality of item buttons displayed on the display device 141 from the trajectory feature information (TCI) stored in the storage unit 120. Then, the control unit 110 determines whether or not there is a candidate trajectory in the average trajectory of the operation point when selecting the plurality of item buttons.
  • the candidate trajectory is an average trajectory in which the standard deviation of the average trajectory of the operation point is equal to or less than a predetermined value from the viewpoint of accurately specifying the item button to be selected. If the result of this determination is affirmative (step S15: Y), the process proceeds to step S16.
  • step S16 the prediction process of the item button that the user is going to select is performed.
  • this item button prediction process as shown in FIG. 9, first, in step S21, the control unit 110 calculates the distance DTS between the operation point and the candidate trajectory in the XY plane.
  • step S22 the control unit 110 determines that the distance DTS is equal to or less than the first predetermined distance D1 (Z) that is predetermined according to the relationship between the surface of the touch panel 151 and the operation point (that is, the distance in the Z direction). It is determined whether or not.
  • the first predetermined distance D1 (Z) is shortened as the operation point approaches the surface of the touch panel 151, and from the viewpoint of narrowing down the candidate trajectories having a high probability of being selected from a plurality of candidate trajectories, experiments, simulations, Based on experience and the like, it is determined in advance.
  • average trajectories A, B, and C with constant Y and trajectories of operation points are shown. Further, it is assumed that each of the average trajectories A, B, and C is a candidate trajectory by the process of step S15 (see FIG. 8) described above.
  • step S22: Y If the result of this determination is affirmative (step S22: Y), the process proceeds to step S23. On the other hand, when the result of the determination in step S22 is negative (step S22: N), the process proceeds to step S17 in FIG.
  • step S23 the control unit 110 determines whether or not the distance DTS is equal to or less than the second predetermined distance D2.
  • the second predetermined distance D2 is shorter than the first predetermined distance D1, and from the viewpoint of accurately specifying the item button BT to be selected, based on experiments, simulations, experiences, etc. It is determined in advance. If the result of this determination is negative (step S23: N), the process proceeds to step S24.
  • step S24 the specific coefficient ND is reset to zero, and then the process proceeds to step S17 in FIG.
  • step S23 determines whether the result of the determination in step S23 is affirmative (step S23: Y).
  • step S25 the specific coefficient ND is incremented.
  • step S26 the control unit 110 determines whether or not the specific coefficient ND is a predetermined value.
  • the predetermined value is determined in advance based on experiments, simulations, experiences, and the like from the viewpoint of systematically specifying item buttons to be selected. If the result of this determination is affirmative (step S26: Y), the process proceeds to step S27.
  • step S27 the item button corresponding to the candidate trajectory employed when counting the specific coefficient ND is specified as the item button to be selected. Thereafter, the process proceeds to step S17 in FIG.
  • step S26 if the result of the determination in step S26 is negative (step S26: N), the process proceeds to step S17 in FIG.
  • step S ⁇ b> 17 the control unit 110 determines whether an item button has been specified.
  • the identification of the item button may be identification of the item button performed in the process of step S27 (see FIG. 9) described above, or identification of the item button performed by the user pressing the item button. It may be. If the result of this determination is negative (step S17: N), the process returns to step S14.
  • step S17 when the result of the determination in step S17 becomes affirmative (step S17: Y), the process proceeds to step S18.
  • step S18 the control unit 110 issues a photographing stop request to the photographing units 160 1 and 160 2 . As a result, the photographing process by the photographing units 160 1 and 160 2 is stopped.
  • step S19 the control unit 110 selects the item button as the selection target based on the position information of the operation point and the item button information from the item button selected when the position information is collected.
  • the process of learning the trajectory feature of the operation point at the time is performed.
  • the control unit 110 newly calculates the average trajectory and standard deviation of the operation point in consideration of the individual trajectory feature information about the item button and the collected position information of the operation point. To calculate.
  • the control unit 110 reflects the newly calculated average trajectory and standard deviation of the operating point in the content of the individual trajectory feature information for the item button together with the position information collected this time.
  • the photographing units 160 1 and 160 2 Imaging of the periphery of the display device 141 is started.
  • the control unit 110 acquires the imaging results from the imaging units 160 1 and 160 2 and calculates the position of the operation point on the object.
  • the control unit 110 learns the trajectory characteristics of the operation point based on the collected position information of the operation point and the information of the item button.
  • the control unit 110 specifies an item button to be selected in consideration of the collected position information and the result of learning the trajectory feature of the operation point described above.
  • the number of operation points extracted from the detected object is one.
  • two operation point candidates may be extracted.
  • the operation point candidate that has pressed the item button may be learned as the operation point.
  • the prediction process of the item button that the user is trying to select is performed by using the distance between the operation point on the XY plane and the candidate trajectory.
  • the item button prediction process may be performed using the distance between the operation point and the candidate trajectory in the spatial coordinate system.
  • the object detection unit that detects an object that has entered the vicinity of the display device.
  • the object detection unit may be omitted. In this case, always, shooting of the vicinity of the display device by the shooting unit, and analysis of the shooting result by the control unit, and when the object is extracted from the result of the analysis, the learning process of the trajectory characteristics of the operation point, What is necessary is just to perform the identification process of an item button.
  • the number of photographing units is two, but the number of photographing units may be three or more or one.
  • the position of the operation point may be derived in consideration of the size of the analyzed object.
  • every time the position of the operation point is calculated it is confirmed whether there is a candidate trajectory (see FIG. 8). On the other hand, whether or not there is a candidate trajectory may be confirmed after detecting the intrusion of the object.
  • the information processing apparatus includes the touch panel input device as the operation input device.
  • the operation input device may include a hard button, or both the touch panel and the hard button. May be provided.
  • the functions of the respective means other than the photographing means, the intrusion detection means, and the touch panel means are realized by executing a program by a computer. It may be configured by hardware using an LSI (Large Scale Integrated Circuit) or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　収集手段７２０の撮影手段７２１が、項目ボタン配列ＢＴＡの周辺の撮影を行い、導出手段７２２が、撮影結果を解析する。そして、導出手段７２２は、当該撮影結果に選択の操作を行う物体が含まれている場合に、当該物体における操作点を抽出して、当該操作点の軌道情報を導出する。こうして導出された操作点の軌道情報は、学習手段７３０及び特定手段７４０へ送られる。操作点の軌道情報を受けた学習手段７３０では、利用者により、項目ボタンＢＴpが選択されると、収集された操作点の軌道情報と、当該項目ボタンＢＴpの情報とに基づいて、操作点の軌道特徴の学習を行う。一方、特定手段７４０では、当該収集されている軌道情報と、学習手段７３０による学習の結果とを考慮して、選択対象の項目ボタンＢＴpの特定を行う。この結果、操作入力を行う場合において、利用者の利便性を向上させることができる。

Description

操作入力装置、情報処理装置及び選択ボタン特定方法
　本発明は、操作入力装置、情報処理装置、選択ボタン特定方法、選択ボタン特定プログラム、及び、当該プログラムが記録された記録媒体に関する。
　従来から、様々な情報処理装置が、利用者に提供されている。こうした情報処理装置の中には、利用者が項目ボタンに接触することなく、利用者の所望する項目ボタンを特定し、当該項目ボタンに対応する処理を実行するものがある。
　かかる項目ボタンの特定方法の一つとして、利用者のジェスチャーにより行うものがある（特許文献１参照：以下、「従来例」と呼ぶ）。この従来例の技術では、人体の一部を撮影し、撮影された画像から、利用者の手の動き、位置等を把握して、スタンバイ状態、入力情報、コールバック等を判定するものである。
特開２０００－７５９９１号公報
　しかしながら、従来例の技術では、利用者が手を開いたり握ったりする等、通常の操作入力動作（例えば、指先によるタッチパネルに対する項目ボタンの押下動作）と異なる動作を行わなければならない。こうした事態は、これまで慣れ親しんできた通常の操作入力動作と異なるため、利用者にとって、使いづらかったり、煩わしかったりする一面がある。
　ところで、項目ボタンに接触することなく、利用者の所望する項目ボタンを特定する際には、正確、かつ、なるべく早い段階で項目ボタンの特定を行うことができれば、利用者にとっての利便性を飛躍的に向上させることができる。
　このため、通常の操作入力動作と同じような動作を行い、正確かつ早い段階で、利用者が選択しようとしている項目ボタンを特定することのできる技術が待望されている。かかる要請に応えることが、本発明が解決すべき課題の一つに挙げられる。
　本発明は、上記の事情を鑑みてなされたものであり、操作入力を行う場合において、利用者の利便性を向上させることができる新たな操作入力装置、情報処理装置及び選択ボタン特定方法を提供することを目的とする。
　本発明は、第１の観点からすると、配列されている複数の項目ボタンの内から選択された項目ボタンを特定する操作入力装置であって、前記選択の操作を行う物体における操作点の軌道情報を収集する収集手段と；前記収集された軌道情報と、前記収集された軌道情報を収集した際に選択対象とされた項目ボタンの情報とに基づいて、前記項目ボタンごとに、前記操作点の軌道特徴の学習を行う学習手段と；前記収集手段により収集されている軌道情報と、前記学習の結果とを考慮して、選択対象の項目ボタンの特定を行う特定手段と；を備えることを特徴とする操作入力装置である。
　本発明は、第２の観点からすると、請求項１～６のいずれか一項に記載された操作入力装置と；前記操作入力装置による項目ボタンの特定結果を受けて、前記特定結果に対応する処理を実行する処理実行手段と；を備えることを特徴とする情報処理装置である。
　本発明は、第３の観点からすると、配列されている複数の項目ボタンの内から選択された項目ボタンを特定する操作入力装置において使用される選択ボタン特定方法であって、前記選択の操作を行う物体における操作点の軌道情報の収集結果と、前記軌道情報を収集した際に選択対象とされた項目ボタンの情報とに基づいて、前記項目ボタンごとに、前記操作点の軌道特徴の学習を行う学習工程と；前記操作点の新たな軌道情報の収集結果と、前記学習の結果とを考慮して、選択対象の項目ボタンの特定を行う特定工程と；を備えることを特徴とする選択ボタン特定方法である。
　本発明は、第４の観点からすると、本発明の選択ボタン特定方法を演算手段に実行させる、ことを特徴とする選択ボタン特定プログラムである。
　本発明は、第５の観点からすると、本発明の選択ボタン特定プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体である。
本発明の一実施形態に係る情報処理装置の構成を説明するためのブロック図である。 本発明の一実施例に係る情報処理装置の構成を説明するためのブロック図である。 図２の軌道特徴情報（ＴＣＩ）の構成を説明するための図である。 図３の個別軌道特徴情報（ＴＣＡp）の内容を説明するための図である。 図２の装置におけるタッチパネル及び撮影ユニットの位置関係を説明するための図である。 撮影ユニットにより撮影される視野を説明するための図（その１）である。 撮影ユニットによる撮影される視野を説明するための図（その２）である。 撮影結果から抽出された操作点を説明するための図（その１）である。 撮影結果から抽出された操作点を説明するための図（その２）である。 図２の情報処理装置における操作点の軌道特徴の学習処理、及び、項目ボタンの特定処理を説明するためのフローチャートである。 図８における項目ボタンの予測処理を説明するためのフローチャートである。 タッチパネルの面と操作点との関係において定められる第１所定距離を説明するための図である。 変形例における抽出された操作点を説明するための図である。
　以下、本発明の一実施形態を、図１を参照して説明する。なお、以下の説明においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
　［構成］
　図１には、一実施形態に係る情報処理装置７００の概略的な構成が示されている。
　この図１に示されるように、情報処理装置７００は、操作入力装置７１０と、処理実行手段７９０とを備えている。ここで、操作入力装置７１０は、項目ボタン配列ＢＴＡに配列されている複数の項目ボタンＢＴ1，ＢＴ2，…の内から、利用者により選択された項目ボタンを特定する。そして、処理実行手段７９０は、操作入力装置７１０による項目ボタンの特定結果を受けて、当該特定結果に対応する処理を実行する。
　上記の操作入力装置７１０は、収集手段７２０と、学習手段７３０と、特定手段７４０とを備えている。
　上記の収集手段７２０は、選択の操作を行う物体における操作点の軌道情報を収集する。ここで、選択の操作を行う物体における「操作点」としては、項目ボタンを押下しようとする利用者の指先、ペン先等が挙げられる。そして、「軌道情報」としては、空間座標系における操作点の位置情報を採用することができる。
　本実施形態では、収集手段７２０は、撮影手段７２１と、導出手段７２２とを備えている。
　上記の撮影手段７２１は、カメラデバイスを備えて構成され、複数の項目ボタンＢＴp（ｐ＝１，２，…）が配列されている項目ボタン配列ＢＴＡの周辺の撮影を行う。撮影手段７２１による撮影結果は、導出手段７２２へ送られる。
　上記の導出手段７２２は、撮影手段７２１による撮影結果を受ける。そして、導出手段７２２は、当該撮影結果を解析して、当該撮影結果に選択の操作を行う物体が含まれている場合に、当該物体における操作点を抽出する。引き続き、導出手段７２２は、当該操作点の軌道情報を導出する。導出手段７２２による導出結果は、学習手段７３０及び特定手段７４０へ送られる。
　上記の学習手段７３０は、導出手段７２２による導出結果である操作点の軌道情報を受けるとともに、当該軌道情報を収集した際に選択対象とされた項目ボタンＢＴpから当該項目ボタンＢＴpの情報を受ける。そして、学習手段７３０は、収集された操作点の軌道情報と、当該項目ボタンＢＴpの情報とに基づいて、当該項目ボタンＢＴpを選択対象とした際の操作点の軌道特徴の学習を行う。この学習手段７３０は、項目ボタン配列ＢＴＡに配列されている複数の項目ボタンＢＴp（ｐ＝１，２，…）ごとに、操作点の軌道特徴の学習を行うようになっている。
　こうした軌道特徴の学習にあたっては、学習手段７３０は、項目ボタンＢＴp（ｐ＝１，２，…）ごとの操作点の平均軌道、及び、当該平均軌道のばらつき度合いを算出する。以後、学習手段７３０は、上述した操作点の軌道情報と、当該軌道情報を収集した際に選択対象とされた項目ボタンＢＴpから当該項目ボタンＢＴpの情報とを受けるごとに、項目ボタンＢＴpを選択対象とした際の操作点の平均軌道、及び、当該平均軌道のばらつき度合いを算出して、軌道特徴の内容を更新する。
　上記の特定手段７４０は、収集手段７２０により収集されている軌道情報を受ける。そして、特定手段７４０は、当該収集されている軌道情報と、学習手段７３０による学習の結果である操作点の軌道特徴とを考慮して、選択対象の項目ボタンＢＴpの特定を行う。そして、特定手段７４０は、項目ボタンＢＴpの特定結果を、処理実行手段７９０へ送る。なお、当該選択対象の項目ボタンＢＴpの特定に関する処理については、後述する。
　また、特定手段７４０は、利用者により、項目ボタンＢＴpが押下された場合に、選択された項目ボタンＢＴpから当該項目ボタンＢＴpの情報を受ける。そして、特定手段７４０は、当該項目ボタンＢＴpの情報を特定結果として、処理実行手段７９０へ送る。以上が、操作入力装置７１０の構成である。
　上記の処理実行手段７９０は、上述したように、操作入力装置７１０による項目ボタンの特定結果を受ける。そして、処理実行手段７９０は、当該特定結果に対応する処理を実行する。
　［動作］
　上記のように構成された情報処理装置７００において実行される選択ボタン特定方法について、説明する。
　＜軌道特徴の学習処理＞
　まず、操作点の軌道特徴の学習処理について説明する。
　操作点の軌道情報の学習処理に際して、収集手段７２０の撮影手段７２１が、項目ボタン配列ＢＴＡの周辺の撮影を行い、導出手段７２２が、撮影手段７２１による撮影結果を解析する。そして、当該撮影結果に選択の操作を行う物体が含まれている場合には、導出手段７２２は、当該物体における操作点を抽出する。引き続き、導出手段７２２は、その時点における操作点の軌道情報を導出する。こうして導出された操作点の軌道情報は、学習手段７３０へ送られる。
　導出手段７２２からの操作点の軌道情報を受けた学習手段７３０では、利用者により、項目ボタンＢＴpが選択されると、選択対象とされた項目ボタンＢＴpから当該項目ボタンＢＴpの情報を受ける。そして、学習手段７３０は、収集された操作点の軌道情報と、当該項目ボタンＢＴpの情報とに基づいて、当該項目ボタンＢＴpを選択する際の操作点の平均軌道、及び、当該平均軌道のばらつき度合いを算出する。こうして算出された操作点の平均軌道、及び、当該平均軌道のばらつき度合いは、項目ボタンＢＴpを選択対象とした際の操作点の軌道特徴として、例えば、不揮発性の書き換え可能な記憶領域に保持される。
　以後、導出手段７２２が、選択の操作を行う物体における操作点を抽出するたびに、上記と同様にして、その時に選択対象とされた項目ボタンＢＴp（ｐ＝１，２，…）における操作点の軌道特徴の学習処理が行われ、軌道特徴の内容が更新される。
　＜項目ボタンの特定処理＞
　次に、軌道特徴の学習の結果を利用した項目ボタンＢＴpの特定処理について説明する。なお、この項目ボタンＢＴpの特定処理は、上述した操作点の軌道特徴の学習処理と並行して行われるようになっている。
　項目ボタンＢＴpの特定処理に際して、上述した操作点の軌道特徴の学習処理と同様に、撮影手段７２１が、項目ボタン配列ＢＴＡの周辺の撮影を行い、導出手段７２２が、撮影結果を解析する。そして、導出手段７２２は、当該撮影結果に選択の操作を行う物体が含まれている場合に、当該物体における操作点を抽出して、当該操作点の軌道情報を導出する。こうして導出された操作点の軌道情報は、特定手段７４０へ送られる。
　導出手段７２２からの操作点の軌道情報を受けた特定手段７４０では、当該収集されている軌道情報と、学習手段７３０による軌道特徴の学習の結果とを考慮して、選択対象の項目ボタンＢＴpの特定を行う。
　この特定手段７４０は、精度良く選択対象の項目ボタンＢＴpの特定を行うという観点から、操作点の平均軌道のばらつき度合いが所定の値以下となった平均軌道を、項目ボタンＢＴpの特定に際して候補軌道として利用するようになっている。
　かかる選択対象の項目ボタンＢＴpの特定処理に際して、本実施形態では、特定手段７４０は、収集されている軌道情報から得られる操作点と候補軌道との距離を算出し、算出された距離が、項目ボタン配列ＢＴＡの面と操作点との関係に応じて予め定められた第１所定距離以下であるか否かを判定する第１判定を定期的に行う。ここで、第１所定距離は、複数の候補軌道が存在する場合に、選択対象である蓋然性の高い候補軌道に絞り込むという観点から、実験、シミュレーション、経験等に基づいて、予め定められるようになっている。
　引き続き、特定手段７４０は、第１判定の結果が肯定的である場合に、算出された距離が、第１所定距離よりも短い第２所定距離以下であるか否かを判定する第２判定を定期的に行う。そして、特定手段７４０は、操作点の項目ボタン配列ＢＴＡの面への接近に応じて、連続して上述した第２判定の結果が肯定的となる回数が所定回数となった場合に、選択対象の項目ボタンＢＴpを特定する。こうして特定手段７４０により選択対象の項目ボタンＢＴpが特定されると、特定結果は処理実行手段７９０へ送られる。
　ここで、第２所定距離及び所定回数は、制度良く選択対象の項目ボタンＢＴpの特定を行うという観点から、実験、シミュレーション、経験等に基づいて、予め定められるようになっている。
　以後、導出手段７２２が、選択の操作を行う物体における操作点を抽出するたびに、上記と同様にして、軌道特徴の学習の結果を利用した項目ボタンＢＴpの特定処理が行われる。
　以上説明したように、本実施形態では、収集手段７２０の撮影手段７２１が、項目ボタン配列ＢＴＡの周辺の撮影を行い、導出手段７２２が、撮影結果を解析する。そして、導出手段７２２は、当該撮影結果に選択の操作を行う物体が含まれている場合に、当該物体における操作点を抽出して、当該操作点の軌道情報を導出する。こうして導出された操作点の軌道情報は、学習手段７３０及び特定手段７４０へ送られる。操作点の軌道情報を受けた学習手段７３０では、利用者により、項目ボタンＢＴpが選択されると、収集された操作点の軌道情報と、当該項目ボタンＢＴpの情報とに基づいて、操作点の軌道特徴の学習を行う。一方、特定手段７４０では、当該収集されている軌道情報と、学習手段７３０による学習の結果とを考慮して、選択対象の項目ボタンＢＴpの特定を行う。
　したがって、本発明の実施形態によれば、操作入力を行う場合において、利用者の利便性を向上させることができる。
　なお、上記の実施形態では、選択の操作を行う物体が項目ボタン配列ＢＴＡの近傍領域に侵入したことを検出する侵入検出手段を更に備える構成とし、侵入検出手段により物体が検出されたときに、撮影手段７２１が項目ボタン配列ＢＴＡの周辺の撮影を開始するようにすることができる。
　また、上記の実施形態では、画像を表示する表示デバイスと；当該表示デバイスの表示面上に被タッチ部分が配設された光透過性のタッチパネル手段と；を更に備える構成とすることができる。この場合には、複数の項目ボタンＢＴ1，ＢＴ2，…が配列されている項目ボタン配列ＢＴＡは、表示デバイスに表示されるようにすることができる。
　また、選択対象の項目ボタンの特定のためのアルゴリズムは、上記の実施形態において採用した方法に限定されず、他の方法であってもよい。
　また、実施形態の情報処理装置７００を、演算手段としてのコンピュータを備えて構成し、撮影手段７２１を除く上述した各手段の機能を、プログラムを実行することにより実現するようにすることができる。これらのプログラムは、ＣＤ－ＲＯＭ，ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにすることができる。
　以下、本発明の情報処理装置の一実施例を、図２～図１０を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素については同一の符号を付し、重複する説明を省略する。
　図２には、一実施例に係る情報処理装置１００の概略的な構成が示されている。なお、情報処理装置１００は、上述した一実施形態の情報処理装置７００（図１参照）の一態様となっている。
　［構成］
　この図２に示されるように、情報処理装置１００は、制御ユニット１１０と、記憶ユニット１２０とを備えている。また、情報処理装置１００は、表示ユニット１４０と、タッチパネル手段としてのタッチパネルユニット１５０とを備えている。さらに、情報処理装置１００は、撮影手段７２１としての撮影ユニット１６０1，１６０2と、侵入検出手段としての物体検出ユニット１７０とを備えている。
　上記の制御ユニット１１０は、情報処理装置１００の全体を統括制御する。この制御ユニット１１０については、後述する。
　上記の記憶ユニット１２０は、不揮発性の記憶装置であるハードディスク装置等から構成される。記憶ユニット１２０は、軌道特徴情報（ＴＣＩ）等の様々なデータを記憶する。この記憶ユニット１２０には、制御ユニット１１０がアクセスできるようになっている。
　上記の軌道特徴情報（ＴＣＩ）には、図３に示されるように、項目ボタンＢＴpごとの個別軌道特徴情報（ＴＣＡp）が記憶されている。この個別軌道特徴情報（ＴＣＡp）には、図４に示されるように、収集した回数（＃１，＃２，…）分の操作点の位置情報（ＴＣ）、及び、当該位置情報から算出した平均軌道（ＡＶ）、標準偏差（ＳＤ）が記憶されている。
　ここで、位置情報（ＴＣ）としては、ＸＹＺ座標系における操作点の座標値が記憶されている。また、平均軌道（ＡＶ）及び標準偏差（ＳＤ）には、所定のＺ間隔ごとに算出した平均値（（ＡＸ（Ｚ），ＡＹ（Ｚ）），…）及び標準偏差（（ＤＸ（Ｚ），ＤＹ（Ｚ）），…）が記憶されている。なお、本実施例において採用するＸＹＺ座標系は、図５に示されるようになっており、Ｚ軸は後述するタッチパネル１５１の面の鉛直方向であり、Ｚ＝０がタッチパネル１５１の面となるようになっている。
　図２に戻り、上記の表示ユニット１４０は、液晶パネル等の表示デバイス１４１（図５参照）を備えて構成され、制御ユニット１１０から受信した表示データに対応する画像を表示する。この表示ユニット１４０は、制御ユニット１１０による制御のもとで、複数の項目ボタンを含むメニュー画像、操作ガイダンス情報等を表示する。
　上記のタッチパネルユニット１５０は、タッチパネル１５１と、当該タッチパネル１５１を駆動する不図示の駆動回路等とを備えて構成されている。タッチパネル１５１は、図５に示されるように、表示デバイス１４１の表示面上に配設されている。駆動回路は、タッチパネル１５１に対して行われたタッチ操作の位置に関するデータを取得して、操作入力データとして、制御ユニット１１０へ向けて送る。
　このタッチパネル１５１を利用者が操作することにより、情報処理装置１００の動作内容の設定が行われる。例えば、表示デバイス１４１への画像の表示指令等を、利用者がタッチパネル１５１を利用して行う。こうした入力内容は、制御ユニット１１０に送られる。
　図２に戻り、上記の撮影ユニット１６０1，１６０2のそれぞれは、カメラデバイスを備えて構成されている。本実施例では、撮影ユニット１６０1，１６０2のそれぞれは、図５に示されるように、表示装置における表示デバイス１４１の外側縁部に配置されており、複数の項目ボタンが配列表示される表示デバイス１４１の周辺を撮影することのできる視野を有している。図６（Ａ）には、撮影ユニット１６０1により撮影される視野が示されている。また、図６（Ｂ）には、撮影ユニット１６０2により撮影される視野が示されている。これらの撮影ユニット１６０1，１６０2のそれぞれは、制御ユニット１１０からの撮影開始依頼を受けると表示デバイス１４１の周辺の撮影を開始し、制御ユニット１１０からの撮影停止依頼を受けると、当該撮影を停止する。なお、図６（Ａ）においては、撮影ユニット１６０2及び物体検出ユニット１７０を図示していない（後述する（図７（Ａ）も同様）。また、図６（Ｂ）においては、撮影ユニット１６０1及び物体検出ユニット１７０は図示していない（後述する（図７（Ｂ）も同様）。
　図２に戻り、上記の物体検出ユニット１７０は、測距センサを備えて構成されている。測距センサは、タッチ操作を行う物体（例えば、利用者の指）までの距離を計測し、計測結果から、当該物体が、複数の項目ボタンが配列表示される表示デバイス１４１の近傍領域に侵入したかを検出する。本実施例では、物体検出ユニット１７０は、撮影ユニット１６０1及び撮影ユニット１６０2において撮影可能な領域（図６（Ａ），（Ｂ）参照）に物体が侵入したときに、物体の侵入報告を制御ユニット１１０へ送るようになっている。なお、この測距センサとしては、所定の範囲内にある任意物体の存在を、赤外線の反射を利用して検出するものを採用することができる。
　次に、上記の制御ユニット１１０について説明する。この制御ユニット１１０は、中央処理装置（ＣＰＵ）及びその周辺回路を備えて構成されている。制御ユニット１１０が様々なプログラムを実行することにより、上記の各種機能が実現されるようになっている。こうした機能の中には、上述した一実施形態における導出手段７２２、学習手段７３０、特定手段７４０及び処理実行手段７９０としての機能も含まれている。
　この制御ユニット１１０は、物体検出ユニット１７０からの物体の侵入報告を受けると、撮影ユニット１６０1，１６０2に対して撮影開始依頼を発行する。そして、制御ユニット１１０は、撮影ユニット１６０1及び撮影ユニット１６０2からの撮影結果を取得して、それぞれの撮影結果に対して解析処理を行い、物体における操作点の情報を抽出する（図７（Ａ），（Ｂ）参照）。引き続き、制御ユニット１１０は、２つの撮影結果から得られた操作点の情報に基づき、当該操作点の位置を算出し、当該操作点の位置情報を導出する。
　制御ユニット１１０は、こうして導出した操作点の位置情報と、当該位置情報を収集した際に選択対象とされた項目ボタンからの項目ボタン情報とに基づいて、当該項目ボタンを選択対象とした際の操作点の軌道特徴の学習を行う。
　また、制御ユニット１１０は、この操作点の軌道特徴の学習処理とともに、導出されている位置情報と、上述した学習の結果である操作点の軌道特徴とを考慮して、選択対象の項目ボタンの特定を行う。そして、制御ユニット１１０は、特定された項目ボタンの内容に対応する処理を実行する。
　なお、制御ユニット１１０による操作点の軌道特徴の学習、及び、項目ボタンの特定の詳細については、後述する。
　また、制御ユニット１１０は、項目ボタンが特定されると、撮影ユニット１６０1，１６０2に対して撮影停止依頼を発行する。
　なお、制御ユニット１１０における処理実行手段７９０としての機能を除いた情報処理装置１００により、上述の実施形態における操作入力装置７１０としてのタッチパネル入力装置が構成されるようになっている。
　［動作］
　以上のようにして構成された情報処理装置１００の動作について、操作点の軌道特徴の学習処理、及び、軌道特徴の学習の結果を利用した項目ボタンの特定処理に主に着目して説明する。
　この学習処理、及び、特定処理は、図８に示されるように、まず、ステップＳ１１において、制御ユニット１１０が、物体検出ユニット１７０からの侵入報告を受けたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ１１：Ｎ）には、ステップＳ１１の処理が繰り返される。
　一方、ステップＳ１１における判定の結果が肯定的になると（ステップＳ１１：Ｙ）、処理はステップＳ１２へ進む。このステップＳ１２では、特定係数ＮＤをゼロにセットする。ここで、この特定係数ＮＤは、利用者が選択しようとしている項目ボタンを特定する際の指標となるものである。この後、処理はステップＳ１３へ進む。
　ステップＳ１３では、制御ユニット１１０が、撮影ユニット１６０1，１６０2へ向けて撮影開始依頼を発行する。この結果、撮影ユニット１６０1，１６０2により、表示デバイス１４１の周辺の撮影が開始される。
　こうして表示デバイス１４１の周辺の撮影が開始されると、ステップＳ１４において、制御ユニット１１０が、所定の時間間隔で、撮影ユニット１６０1，１６０2からの撮影結果を取得して、物体における操作点の情報を抽出する。そして、制御ユニット１１０は、２つの撮影結果から得られた操作点の情報に基づき、当該操作点の位置を算出する。この後、処理はステップＳ１５へ進む。
　ステップＳ１５では、制御ユニット１１０が、記憶ユニット１２０に記憶されている軌道特徴情報（ＴＣＩ）から、表示デバイス１４１に表示されている複数の項目ボタンについての個別軌道特徴情報を読み出す。そして、制御ユニット１１０は、当該複数の項目ボタンを選択する際の操作点の平均軌道の中に、候補軌道が存在するか否かを判定する。ここで、候補軌道となるのは、精度良く選択対象の項目ボタンの特定を行うという観点から、操作点の平均軌道の標準偏差が所定の値以下となる平均軌道である。この判定の結果が肯定的であった場合（ステップＳ１５：Ｙ）には、処理はステップＳ１６へ進む。
　このステップＳ１６では、利用者が選択しようとしている項目ボタンの予測処理が行われる。この項目ボタンの予測処理では、図９に示されるように、まず、ステップＳ２１において、制御ユニット１１０が、ＸＹ平面における操作点と候補軌道との距離ＤＴＳを算出する。
　引き続き、ステップＳ２２において、制御ユニット１１０が、距離ＤＴＳがタッチパネル１５１の面と操作点との関係（すなわち、Ｚ方向の距離）に応じて予め定められた第１所定距離Ｄ１（Ｚ）以下であるか否かを判定する。ここで、第１所定距離Ｄ１（Ｚ）は、操作点がタッチパネル１５１の面に近づくにつれて短くなり、複数の候補軌道から選択対象である蓋然性の高い候補軌道を絞り込むという観点から、実験、シミュレーション、経験等に基づいて、予め定められるようになっている。
　例えば、図１０に示されるように、Ｚ＝Ｚａのときの第１所定距離Ｄ１（Ｚａ）は、Ｚ＝Ｚｂのときの第１所定距離Ｄ１（Ｚｂ）よりも短くなるようになっている。なお、図１０においては、説明の便宜上、Ｙが一定同一の平均軌道Ａ，Ｂ，Ｃ、及び、操作点の軌道が示されている。また、平均軌道Ａ，Ｂ，Ｃのそれぞれは、上述したステップＳ１５（図８参照）の処理により、候補軌道となっているものとする。
　この判定の結果が肯定的であった場合（ステップＳ２２：Ｙ）には、処理はステップＳ２３へ進む。一方、ステップＳ２２における判定の結果が否定的であった場合（ステップＳ２２：Ｎ）には、処理は、図８のステップＳ１７へ進む。
　なお、操作点の位置がＺ＝Ｚｂのときに、ステップＳ２２における判定処理が行われると、選択対象とされる可能性のある候補軌道は、平均軌道Ａ，Ｂに絞り込まれることになる。また、操作点の位置がＺ＝Ｚａのときに、ステップＳ２２における判定処理が行われると、選択対象とされる可能性のある候補軌道は、平均軌道Ａに絞り込まれることになる（図１０参照）。
　ステップＳ２３では、制御ユニット１１０が、距離ＤＴＳが第２所定距離Ｄ２以下であるか否かを判定する。ここで、第２所定距離Ｄ２は、第１所定距離Ｄ１よりも短い距離となっており、精度良く選択対象の項目ボタンＢＴの特定を行うという観点から、実験、シミュレーション、経験等に基づいて、予め定められるようになっている。この判定の結果が否定的であった場合（ステップＳ２３：Ｎ）には、処理はステップＳ２４へ進む。ステップＳ２４では、特定係数ＮＤがゼロにリセットされ、この後、処理は、図８のステップＳ１７へ進む。
　一方、ステップＳ２３における判定の結果が肯定的であった場合（ステップＳ２３：Ｙ）には、処理はステップＳ２５へ進む。ステップＳ２５では、特定係数ＮＤがインクリメントされる。
　引き続き、ステップＳ２６において、制御ユニット１１０が、特定係数ＮＤが所定値であるか否かを判定する。ここで、当該所定値は、制度良く選択対象の項目ボタンの特定を行うという観点から、実験、シミュレーション、経験等に基づいて、予め定められるようになっている。この判定の結果が肯定的であった場合（ステップＳ２６：Ｙ）には、処理はステップＳ２７へ進む。このステップＳ２７では、特定係数ＮＤをカウントする際に採用された候補軌道に対応する項目ボタンを、選択対象の項目ボタンとして特定する。この後、処理は、図８のステップＳ１７へ進む。
　一方、ステップＳ２６における判定の結果が否定的であった場合（ステップＳ２６：Ｎ）には、処理は、図８のステップＳ１７へ進む。
　図８に戻り、ステップＳ１７では、制御ユニット１１０が、項目ボタンの特定が行われたか否かを判定する。ここで、項目ボタンの特定は、上述したステップＳ２７（図９参照）の処理において行われる項目ボタンの特定であってもよいし、利用者が項目ボタンを押下することにより行われる項目ボタンの特定であってもよい。この判定の結果が否定的であった場合（ステップＳ１７：Ｎ）には、処理はステップＳ１４へ戻る。
　一方、ステップＳ１７における判定の結果が肯定的になると（ステップＳ１７：Ｙ）、処理はステップＳ１８へ進む。ステップＳ１８では、制御ユニット１１０が、撮影ユニット１６０1，１６０2へ向けて撮影停止依頼を発行する。この結果、撮影ユニット１６０1，１６０2による撮影処理が停止される。
　引き続き、ステップＳ１９において、制御ユニット１１０が、操作点の位置情報と、当該位置情報を収集した際に選択対象とされた項目ボタンからの項目ボタン情報とに基づいて、当該項目ボタンを選択対象とした際の操作点の軌道特徴の学習処理を行う。かかる操作点の軌道特徴の学習処理に際して、制御ユニット１１０は、当該項目ボタンについての個別軌道特徴情報と、収集した操作点の位置情報とを考慮して、操作点の平均軌道、標準偏差を新たに算出する。そして、制御ユニット１１０は、新たに算出した操作点の平均軌道、標準偏差を、今回収集した位置情報とともに、当該項目ボタンについての個別軌道特徴情報の内容に反映させる。
　以後、物体検出ユニット１７０により物体が検出されるごとに、上記の処理が実行されて、操作点の軌道特徴の学習処理、及び、軌道特徴の学習の結果を利用した項目ボタンの特定処理が行われる。
　以上説明したように、本実施例では、物体検出ユニット１７０が、複数の項目ボタンが配列表示される表示デバイス１４１の近傍領域への物体の侵入を検出すると、撮影ユニット１６０1，１６０2が、表示デバイス１４１の周辺の撮影を開始する。制御ユニット１１０は、撮影ユニット１６０1，１６０2からの撮影結果を取得して、物体における操作点の位置を算出する。引き続き、制御ユニット１１０は、利用者により、項目ボタンが選択されると、収集された操作点の位置情報と、当該項目ボタンの情報とに基づいて、操作点の軌道特徴の学習を行う。また、制御ユニット１１０は、収集された位置情報と、上述した操作点の軌道特徴の学習の結果とを考慮して、選択対象の項目ボタンの特定を行う。
　したがって、本実施例によれば、操作入力を行う場合において、利用者の利便性を向上させることができる。
　［実施例の変形］
　本発明は、上記の実施例に限定されるものではなく、様々な変形が可能である。
　例えば、上記の実施例では、検出された物体から抽出する操作点の数を１個とした。これに対して、物体の形状が、図１１に示されるような場合には、２個の操作点候補を抽出するようにしてもよい。この場合においては、操作点の軌道特徴の学習初期段階においては、項目ボタンを押下した方の操作点候補を、操作点として学習するようにすればよい。
　また、上記の実施例では、利用者が選択しようとしている項目ボタンの予測処理は、ＸＹ平面における操作点と候補軌道との距離を利用することにより行った。これに対して、空間座標系における操作点と候補軌道との距離を利用して、項目ボタンの予測処理を行うようにしてもよい。
　また、上記の実施例では、表示デバイスの近傍に侵入した物体を検出する物体検出ユニットを備える構成としたが、物体検出ユニットを省略する構成とすることもできる。この場合においては、常時、撮影ユニットによる表示デバイス近傍の撮影、及び、制御ユニットによる撮影結果の解析を行い、当該解析の結果から物体が抽出されたときに、操作点の軌道特徴の学習処理、項目ボタンの特定処理を行うようにすればよい。
　また、上記の実施例では、撮影ユニットの数を２個としたが、撮影ユニットの数を３個以上、又は、１個とすることができる。撮影ユニットの数を１個とした場合においては、解析処理した物体の大きさ等を考慮して、操作点の位置を導出するようにすればよい。
　また、上記の実施例では、操作点の位置を算出するごとに、候補軌道があるか否かの確認を行うようにした（図８参照）。これに対して、候補軌道があるか否かの確認は、物体の侵入検出後に行うようにしてもよい。
　また、上記の実施例の情報処理装置は、操作入力装置としてのタッチパネル入力装置を備えるものとしたが、操作入力装置としてはハードボタンを備えるものであってもよいし、タッチパネルとハードボタンの両方を備えるものであってもよい。
　また、上記の実施例では、コンピュータによるプログラムの実行により、撮影手段、侵入検出手段及びタッチパネル手段を除く各手段の機能を実現するようにしたが、これらの各手段の全部又は一部を、専用のＬＳＩ（Large Scale Integrated circuit）等を用いたハードウェアにより構成するようにしてもよい。

Claims (10)

  1. 　配列されている複数の項目ボタンの内から選択された項目ボタンを特定する操作入力装置であって、
    　前記選択の操作を行う物体における操作点の軌道情報を収集する収集手段と；
    　前記収集された軌道情報と、前記収集された軌道情報を収集した際に選択対象とされた項目ボタンの情報とに基づいて、前記項目ボタンごとに、前記操作点の軌道特徴の学習を行う学習手段と；
    　前記収集手段により収集されている軌道情報と、前記学習の結果とを考慮して、選択対象の項目ボタンの特定を行う特定手段と；
    　を備えることを特徴とする操作入力装置。
  2. 　前記収集手段は、
    　前記複数の項目ボタンの配列位置の周辺の撮影を行う撮影手段と；
    　前記撮影手段による撮影結果に基づいて、前記軌道情報を導出する導出手段と；
    　を備えることを特徴とする請求項１に記載の操作入力装置。
  3. 　前記物体が、前記項目ボタンの近接領域に侵入したことを検出する侵入検出手段を更に備え、
    　前記収集手段は、前記侵入検出手段により前記物体の侵入が検出されたときに、前記軌道情報の収集を開始する、
    　ことを特徴とする請求項１又は２に記載の操作入力装置。
  4. 　前記学習手段は、前記項目ボタンごとに、選択対象とされた場合における前記操作点の軌道のばらつき度合いを算出し、
    　前記特定手段は、前記ばらつき度合いが所定の値以下となった項目ボタンが選択対象であった場合における前記操作点の平均軌道を、前記特定に際して候補軌道として利用する、
    　ことを特徴とする請求項１～３のいずれか一項に記載の操作入力装置。
  5. 　前記特定手段は、
    　前記操作点と、前記候補軌道との距離を算出し、前記算出された距離が、前記複数の項目ボタンの配列面と前記操作点との関係に応じて予め定められた第１所定距離以下であるか否かを判定する第１判定と、前記第１判定の結果が肯定的である場合に、前記算出された距離が、前記第１所定距離よりも短い第２所定距離以下であるか否かを判定する第２判定とを定期的に行い、
    　前記物体の前記複数の項目ボタンの配列面への接近に応じて、連続して前記第２判定の結果が肯定的となる回数が所定回数となった場合に、選択対象の項目ボタンを特定する、
    　ことを特徴とする請求項４に記載の操作入力装置。
  6. 　画像を表示する表示デバイスと；
    　前記表示デバイスの表示面上に被タッチ部分が配設された光透過性のタッチパネル手段と；を更に備え、
    　前記項目ボタンの情報は、前記表示デバイスに表示される、
    　ことを特徴とする請求項１～５のいずれか一項に記載の操作入力装置。
  7. 　請求項１～６のいずれか一項に記載された操作入力装置と；
    　前記操作入力装置による項目ボタンの特定結果を受けて、前記特定結果に対応する処理を実行する処理実行手段と；
    　を備えることを特徴とする情報処理装置。
  8. 　配列されている複数の項目ボタンの内から選択された項目ボタンを特定する操作入力装置において使用される選択ボタン特定方法であって、
    　前記選択の操作を行う物体における操作点の軌道情報の収集結果と、前記軌道情報を収集した際に選択対象とされた項目ボタンの情報とに基づいて、前記項目ボタンごとに、前記操作点の軌道特徴の学習を行う学習工程と；
    　前記操作点の新たな軌道情報の収集結果と、前記学習の結果とを考慮して、選択対象の項目ボタンの特定を行う特定工程と；
    　を備えることを特徴とする選択ボタン特定方法。
  9. 　請求項８に記載の選択ボタン特定方法を演算手段に実行させる、ことを特徴とする選択ボタン特定プログラム。
  10. 　請求項９に記載の選択ボタン特定プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体。
PCT/JP2008/071518 2008-11-27 2008-11-27 操作入力装置、情報処理装置及び選択ボタン特定方法 WO2010061448A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/071518 WO2010061448A1 (ja) 2008-11-27 2008-11-27 操作入力装置、情報処理装置及び選択ボタン特定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/071518 WO2010061448A1 (ja) 2008-11-27 2008-11-27 操作入力装置、情報処理装置及び選択ボタン特定方法

Publications (1)

Publication Number Publication Date
WO2010061448A1 true WO2010061448A1 (ja) 2010-06-03

Family

ID=42225341

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/071518 WO2010061448A1 (ja) 2008-11-27 2008-11-27 操作入力装置、情報処理装置及び選択ボタン特定方法

Country Status (1)

Country Link
WO (1) WO2010061448A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014058268A (ja) * 2012-09-19 2014-04-03 Alps Electric Co Ltd 動作予測装置及びそれを用いた入力装置
CN106891724A (zh) * 2017-01-22 2017-06-27 斑马信息科技有限公司 汽车主控屏系统及方法
US20190266770A1 (en) * 2018-02-23 2019-08-29 ExoAnalytic Solutions, Inc. Systems and visualization interfaces for identification and display of space object imagery
US10407191B1 (en) 2018-02-23 2019-09-10 ExoAnalytic Solutions, Inc. Systems and visual interfaces for real-time orbital determination of space objects
US10976911B2 (en) 2019-07-25 2021-04-13 ExoAnalytic Solutions, Inc. Systems and visualization interfaces for orbital paths and path parameters of space objects
US12060172B2 (en) 2022-07-29 2024-08-13 ExoAnalytic Solutions, Inc. Space object alert management and user interfaces

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005071246A (ja) * 2003-08-27 2005-03-17 Nissan Motor Co Ltd 操作入力装置及び操作入力方法
WO2008004332A1 (fr) * 2006-07-07 2008-01-10 Sony Computer Entertainment Inc. Procédé de traitement d'images et appareil d'interface d'entrée
JP2008140268A (ja) * 2006-12-04 2008-06-19 Denso Corp 操作推定装置およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005071246A (ja) * 2003-08-27 2005-03-17 Nissan Motor Co Ltd 操作入力装置及び操作入力方法
WO2008004332A1 (fr) * 2006-07-07 2008-01-10 Sony Computer Entertainment Inc. Procédé de traitement d'images et appareil d'interface d'entrée
JP2008140268A (ja) * 2006-12-04 2008-06-19 Denso Corp 操作推定装置およびプログラム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014058268A (ja) * 2012-09-19 2014-04-03 Alps Electric Co Ltd 動作予測装置及びそれを用いた入力装置
CN106891724A (zh) * 2017-01-22 2017-06-27 斑马信息科技有限公司 汽车主控屏系统及方法
CN106891724B (zh) * 2017-01-22 2022-05-03 斑马信息科技有限公司 汽车主控屏系统及方法
US10407191B1 (en) 2018-02-23 2019-09-10 ExoAnalytic Solutions, Inc. Systems and visual interfaces for real-time orbital determination of space objects
US10402672B1 (en) 2018-02-23 2019-09-03 ExoAnalytic Solutions, Inc. Systems and synchronized visualization interfaces for tracking space objects
US10416862B1 (en) 2018-02-23 2019-09-17 ExoAnalytic Solutions, Inc. Systems and tagging interfaces for identification of space objects
US10467783B2 (en) 2018-02-23 2019-11-05 ExoAnalytic Solutions, Inc. Visualization interfaces for real-time identification, tracking, and prediction of space objects
US10497156B2 (en) 2018-02-23 2019-12-03 ExoAnalytic Solutions, Inc. Systems and visualization interfaces for display of space object imagery
US10647453B2 (en) * 2018-02-23 2020-05-12 ExoAnalytic Solutions, Inc. Systems and visualization interfaces for identification and display of space object imagery
US10661920B2 (en) 2018-02-23 2020-05-26 ExoAnalytic Solutions, Inc. Systems and visualization interfaces for display of space object imagery
US11017571B2 (en) 2018-02-23 2021-05-25 ExoAnalytic Solutions, Inc. Systems and tagging interfaces for identification of space objects
US20190266770A1 (en) * 2018-02-23 2019-08-29 ExoAnalytic Solutions, Inc. Systems and visualization interfaces for identification and display of space object imagery
US11987397B2 (en) 2018-02-23 2024-05-21 ExoAnalytic Solutions, Inc. Systems and tagging interfaces for identification of space objects
US10976911B2 (en) 2019-07-25 2021-04-13 ExoAnalytic Solutions, Inc. Systems and visualization interfaces for orbital paths and path parameters of space objects
US11402986B2 (en) 2019-07-25 2022-08-02 ExoAnalytic Solutions, Inc. Systems and visualization interfaces for orbital paths and path parameters of space objects
US12060172B2 (en) 2022-07-29 2024-08-13 ExoAnalytic Solutions, Inc. Space object alert management and user interfaces

Similar Documents

Publication Publication Date Title
US11650659B2 (en) User input processing with eye tracking
EP3046002B1 (en) Virtual input device and method for receiving user input using the same
CN111247536B (zh) 用于搜索相关图像的电子装置及其控制方法
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
US9075462B2 (en) Finger-specific input on touchscreen devices
US10444951B2 (en) Method and device for identifying a left-hand or a right-hand mode of operation on a user handheld device
KR101811909B1 (ko) 제스처 인식을 위한 장치 및 방법
US20150220150A1 (en) Virtual touch user interface system and methods
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
US20120256824A1 (en) Projection device, projection method and projection program
US20150220149A1 (en) Systems and methods for a virtual grasping user interface
WO2010061448A1 (ja) 操作入力装置、情報処理装置及び選択ボタン特定方法
JP2008192092A (ja) タッチパネル装置、情報処理装置及びプログラム
JP2005346583A (ja) 画像表示装置、マルチディスプレイ・システム、座標情報出力方法及びその制御プログラム
KR20160058117A (ko) 미래 사용자 입력을 예측한 상태 변화에 관한 정보를 사용하는 사용자 입력에 대한 반응을 제공하는 시스템 및 방법
WO2015159548A1 (ja) 投影制御装置、投影制御方法及び投影制御プログラムを記録した記録媒体
US20130222241A1 (en) Apparatus and method for managing motion recognition operation
KR20160101605A (ko) 제스처 입력 처리 방법 및 이를 지원하는 전자 장치
JP2012027515A (ja) 入力方法及び入力装置
JP2008305339A (ja) 操作時間測定装置及び方法、習熟度判定装置及び方法、プログラム
US20170068321A1 (en) Gesture Interactive Operation Method
Nishida et al. Single-tap Latency Reduction with Single-or Double-tap Prediction
WO2019039065A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6098752B1 (ja) 情報処理装置およびプログラム
JP2016066280A (ja) 画像処理装置、人物検出方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08878405

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08878405

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP