WO2014097611A1 - 振動制御装置、タッチパネル入力装置、および振動制御方法 - Google Patents

振動制御装置、タッチパネル入力装置、および振動制御方法 Download PDF

Info

Publication number
WO2014097611A1
WO2014097611A1 PCT/JP2013/007396 JP2013007396W WO2014097611A1 WO 2014097611 A1 WO2014097611 A1 WO 2014097611A1 JP 2013007396 W JP2013007396 W JP 2013007396W WO 2014097611 A1 WO2014097611 A1 WO 2014097611A1
Authority
WO
WIPO (PCT)
Prior art keywords
frequency
vibration
sound
touch panel
dominant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/007396
Other languages
English (en)
French (fr)
Inventor
真史 杉山
敬之 西川
要一 西田
亮 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to CN201380053600.8A priority Critical patent/CN104885040B/zh
Publication of WO2014097611A1 publication Critical patent/WO2014097611A1/ja
Priority to US14/737,726 priority patent/US9874955B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • the present invention relates to a vibration control device and a vibration control method used for a touch panel that vibrates in synchronization with a touch operation.
  • the vibration of the touch panel may propagate to other parts of the touch panel input device, a desk on which the touch panel input device is placed, etc., and generate a vibration sound.
  • the frequency of such a vibration sound generated by panel vibration (hereinafter referred to as “panel vibration sound” as appropriate) is usually equal to the frequency of the panel vibration.
  • panel vibration sound is an unnecessary sound and can give an unpleasant feeling to the operator and the surrounding people.
  • Patent Document 2 discloses a technique for performing panel vibration at a frequency that is difficult to be transmitted to the human ear.
  • Patent Literature 3 describes a technique for making it difficult to hear panel vibration sound by separately generating high-frequency sound. These conventional techniques can reduce discomfort caused by panel vibration noise.
  • the conventional technology has a problem that it is difficult to achieve both reduction of discomfort due to panel vibration sound and maintenance of the touch operation feeling of the touch panel.
  • the reason is as follows.
  • the audible range of the human ear is usually 20 to 20,000 Hz.
  • the vibration band in which a touch operation feeling can be sufficiently obtained within a range that does not adversely affect other functions of the touch panel input device is usually around 50 Hz to 400 Hz (see Patent Document 3).
  • most of the panel vibration frequency that provides a feeling of operation overlaps the audible range of the human ear.
  • a certain level of vibration intensity is required, but it is necessary to increase the volume of the high frequency sound accordingly. That is, separately generating a high frequency sound may increase the discomfort given to the operator and the surrounding people.
  • An object of the present invention is to achieve both reduction of discomfort due to panel vibration sound and maintenance of touch operation feeling when using a touch panel that vibrates in synchronization with a touch operation.
  • a vibration control device is a vibration control device used for a touch panel that vibrates in synchronization with a touch operation, and a sound data acquisition unit (sound data) that acquires sound data of ambient sounds of the touch panel acquiring section), a predominant frequency acquiring section that extracts the predominant frequency of ambient sound from the acquired sound data, and synchronizes with the sound of the prevailing frequency (in consonant with) )
  • a consonant sound determination unit (consonant sound determining section) that determines the sound frequency (consonant sound frequency), and a vibration frequency setting part that sets the vibration frequency of the touch panel to the determined sound frequency vibrational frequency setting section).
  • a touch panel input device includes a touch panel that receives a touch operation, a vibration generation unit that generates vibration in the touch panel in synchronization with the touch operation, and a sound data acquisition unit that acquires sound data of ambient sounds of the touch panel And, from the acquired sound data, a dominant frequency extracting unit that extracts the dominant frequency of the ambient sound, and a consonant determining unit that determines a consonant frequency that is a frequency of the sound that cooperates with the extracted dominant frequency sound, A vibration frequency setting unit that sets the vibration frequency of the touch panel to the determined harmony frequency.
  • a vibration control method is a vibration control method used for a touch panel that vibrates in synchronization with a touch operation, the step of acquiring sound data of ambient sounds of the touch panel, and the acquired sound Extracting the dominant frequency of the ambient sound from the data, determining the consonant frequency that is the frequency of the sound that cooperates with the extracted dominant frequency sound, and determining the frequency of the touch panel vibration. Setting to a frequency.
  • the present invention can achieve both reduction in discomfort due to panel vibration sound and maintenance of touch operation feeling when using a touch panel that vibrates in synchronization with a touch operation.
  • FIG. 6 is a plan view illustrating an example of a display image in Embodiment 2.
  • Spectrum diagram showing another example of the frequency spectrum of the sound pressure level in the second embodiment The figure which shows an example of the vibration frequency candidate group in Embodiment 2.
  • Embodiment 1 of the present invention is an example of a basic aspect of the present invention.
  • FIG. 1 is a block diagram showing an example of the configuration of the vibration control device according to the present embodiment.
  • a vibration control device 300 shown in FIG. 1 is a device used for a touch panel that vibrates in synchronization with a touch operation.
  • the vibration control device 300 includes a sound data acquisition unit (sound data acquisition section) 315, a dominant frequency extraction unit (predominant frequency acquisition section) 320, a consonant sound determination section (consonant sound generation judging section) 330, and a vibration frequency setting. Section (vibrational frequency setting section) 340.
  • the sound data acquisition unit 315 acquires sound data of a surrounding sound of the touch panel (hereinafter simply referred to as “ambient sound”).
  • the prevailing frequency extraction unit 320 extracts the predominant frequency of ambient sounds from the acquired sound data.
  • the dominant frequency of the ambient sound is a frequency of sound that is recognized as a main component of the ambient sound by a person who has heard the ambient sound.
  • the consonant determination unit 330 determines a consonant sound frequency, which is a frequency of sound that resonates with the extracted sound having a dominant frequency (hereinafter referred to as “predominant sound”).
  • the vibration frequency setting unit 340 sets the vibration frequency of the touch panel to the determined harmony frequency.
  • the vibration control device 300 is, for example, a CPU (central processing unit), a storage medium such as a ROM (read only memory) storing a control program and various data, and a working memory such as a RAM (random access memory).
  • a CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • Consonant sounds reduce the discomfort given to the listener compared to the individual sounds that make up the consonant. Therefore, if the panel vibration sound is in a consonant relationship with the dominant sound of the surrounding sound (in consonant with), the discomfort that the panel vibration sound gives to the operator and surrounding people is reduced. In addition, the consonance can give comfort to the listener as compared with the case of silence.
  • the state of ambient sounds varies depending on the time and place. For this reason, the dominant frequency of the ambient sound is unspecified. Therefore, in most cases, the panel vibration sound can be merely acoustic noise regardless of the relationship with the dominant sound included in the ambient sound.
  • the vibration control device 300 sets the frequency of the panel vibration so that the panel vibration sound becomes a sound that cooperates with the dominant sound included in the ambient sound.
  • the vibration control device 300 according to the present embodiment keeps the frequency of the panel vibration in the audible range and does not output other high-frequency sound, and the panel vibration sound gives the person unpleasant feeling. Can be reduced. That is, the vibration control device 300 according to the present embodiment can achieve both reduction in discomfort caused by panel vibration sound and maintenance of the operation feeling of the touch operation when using the touch panel that vibrates in synchronization with the touch operation. it can.
  • the vibration control device 300 according to the present embodiment can expand the range of the frequency band that can be used for panel vibration as compared with the technique described in Patent Document 2 described above. That is, in the vibration control device 300 according to the present embodiment, the wider the range of frequency bands that can be used for panel vibration, the wider the range of tactile sensations that can be transmitted to the operator. Therefore, for example, the vibration control device 300 according to the present embodiment can set vibrations of different frequencies that allow the operator to recognize the difference for a plurality of operation contents.
  • the vibration control apparatus 300 since the vibration control apparatus 300 according to the present embodiment does not need to output high-frequency sound separately, it is possible to suppress an increase in power consumption compared to the technique described in Patent Document 3 described above.
  • Embodiment 2 of the present invention is an example of a specific aspect of the present invention when the present invention is applied to a touch panel input device.
  • FIG. 2 is a block diagram showing an example of the configuration of the touch panel input device including the vibration control device according to the present embodiment.
  • the touch panel input device 100 includes a display 210, a touch panel 220, a vibration element 230, a display control unit 240, a touch panel detection unit 250, a vibration element control unit 260, a microphone 270, and a vibration control device 300.
  • the display 210 displays an image based on image data input from a display control unit 240 described later.
  • Specific examples of the display 210 include an LCD (Liquid Crystal Display), an organic EL (Electro Luminescence) display, and an LED (Light Emitting Diode) display.
  • the touch panel 220 is disposed on the surface of the display 210 and receives a touch operation (press-down input). Then, every time a touch operation is performed, the touch panel 220 outputs an operation signal indicating the position of the touch operation to the touch panel detection unit 250 described later.
  • the operation signal is, for example, a signal indicating an X-axis voltage value and a Y-axis voltage value of the touch panel 220.
  • Specific examples of the touch panel 220 include a resistive film type touch panel formed of a film and plastic.
  • the vibration element 230 is arranged on the back surface of the display 210 and generates vibration based on a vibration control signal input from a vibration element control unit 260 described later. It is assumed that the vibration frequency generated by the vibration element 230 is variable at least in a frequency range described later.
  • examples of the vibration element 230 include a piezoelectric actuator type vibration element, a linear resonance actuator (LRA) type vibration element, and a vibrator.
  • the display control unit 240 performs display control of an image displayed on the display 210. Specifically, the display control unit 240 generates image data of an image to be displayed on the display 210, and outputs the generated image data to the display 210. In addition, the display control unit 240 outputs operation target information indicating operation contents that can be input by a touch operation on the image to the vibration control device 300.
  • the display control unit 240 causes the display 210 to display an image in which a plurality of buttons are arranged. Then, the display control unit 240 outputs coordinate range information and vibration necessity information to the vibration control device 300 as the operation target information.
  • the coordinate range information is information indicating a position (hereinafter referred to as “display position”) displayed on the display control unit 240 of each button.
  • the vibration necessity information is information indicating whether or not each button is a button that requires feedback by vibration during operation (hereinafter referred to as “vibration button”).
  • the vibration control device 300 stores the input coordinate range information and vibration necessity information in a memory that can be referred to from each part of the vibration control device 300.
  • the touch panel detection unit 250 detects the position of the touch operation performed on the touch panel 220 (hereinafter simply referred to as “touch operation”) on the touch panel 220 based on the operation signal input from the touch panel 220. For example, the touch panel detection unit 250 converts an operation signal into a digital value and obtains an X coordinate and a Y coordinate on the touch panel 220.
  • the correspondence between the position on the touch panel 220 and the position on the display 210 is set in the touch panel detection unit 250 in advance.
  • the touch panel detection unit 250 detects the position of the touch operation on the display 210 based on this correspondence.
  • the touch panel detection unit 250 then outputs information indicating the position of the touch operation on the display 210 (hereinafter referred to as “operation position information”) to the vibration control device 300.
  • the vibration element control unit 260 vibrates the vibration element 230 in synchronization with the touch operation based on a vibration instruction signal input from the vibration control device 300 described later. That is, the vibration element control unit 260 constitutes a vibration generation unit of the present invention together with the vibration element 230 described above, and causes the touch panel 220 to generate vibration in synchronization with the touch operation. Further, the vibration element control unit 260 controls the frequency of the vibration based on the vibration instruction signal.
  • the microphone 270 is disposed in the vicinity of the touch panel 220, and sounds around the touch panel 220 (hereinafter simply referred to as “ambient sounds”) are input to the microphone 270. Then, the microphone 270 outputs the sound data of the input ambient sound to the vibration control device 300.
  • the sound data is time-series data of sound pressure levels detected by the microphone 270, for example.
  • the vibration control device 300 includes a frequency range setting unit 310, a sound data acquisition unit 315, a dominant frequency extraction unit 320, a consonance determination unit 330, and a vibration frequency setting unit 340.
  • the frequency range setting unit 310 acquires operation details that can be input by a touch operation, and sets a frequency range and a frequency default value for the acquired operation details. However, when there are a plurality of operation contents, the frequency range setting unit 310 sets different frequency ranges and different frequency default values for the plurality of operation contents. In addition, the frequency range setting unit 310 has a frequency from a vibration frequency band (for example, 50 Hz to 400 Hz) in which a touch operation feeling can be sufficiently obtained within a range that does not adversely affect other functions of the touch panel input device. Set the range.
  • a vibration frequency band for example, 50 Hz to 400 Hz
  • the frequency range setting unit 310 acquires the display position of the vibration required button from the operation target information (coordinate range information and vibration necessity information) input from the display control unit 240. And the frequency range setting part 310 sets a frequency range and a frequency default value for every vibration required button.
  • “operation contents that can be input by touch operation” corresponds to individual vibration buttons.
  • the frequency range setting unit 310 can refer to information indicating the frequency range and frequency default value set for each vibration button (hereinafter referred to as “frequency information for each region”) from each device unit of the vibration control device 300. Store in memory.
  • the sound data acquisition unit 315 acquires sound data input from the microphone 270 and transfers the sound data to the dominant frequency extraction unit 320.
  • the dominant frequency extraction unit 320 determines whether or not a dominant frequency exists in the ambient sound from the sound data transferred from the sound data acquisition unit 315. Then, the dominant frequency extraction unit 320 extracts the dominant frequency of the ambient sound from the sound data when the dominant frequency exists in the ambient sound. Then, the dominant frequency extraction unit 320 notifies the consonance determination unit 330 of the extracted dominant frequency.
  • the consonant determining unit 330 determines the frequency of the sound that is to be integrated with the extracted dominant frequency sound (hereinafter referred to as “consonant frequency”). Then, the consonance determination unit 330 notifies the vibration frequency setting unit 340 of the determined consonance frequency.
  • the vibration frequency setting unit 340 acquires a frequency range and a frequency default value set in advance for the operation content of the touch operation every time the touch operation is performed.
  • the vibration frequency setting unit 340 acquires the frequency range and the frequency default value based on the operation signal input from the touch panel detection unit 250 and the frequency information for each region generated by the frequency range setting unit 310.
  • the vibration frequency setting unit 340 determines whether or not the acquired (preset) frequency range includes the consonant frequency notified from the consonant determining unit 330. When the consonant frequency is included in the frequency range, the vibration frequency setting unit 340 determines the panel vibration frequency as the consonant frequency. Further, the vibration frequency setting unit 340 determines the panel vibration frequency as the frequency default value when the frequency range does not include the consonant frequency.
  • the vibration frequency setting unit 340 generates a vibration instruction signal for instructing the vibration element 230 to vibrate for a predetermined time at the determined frequency, and outputs the generated vibration instruction signal to the vibration element control unit 260. That is, the vibration frequency setting unit 340 causes the touch panel 220 to vibrate in synchronism with the sound of the dominant frequency of the ambient sound via the vibration element control unit 260 and the vibration element 230 in synchronization with the touch operation.
  • the touch panel input device 100 includes, for example, a CPU, a storage medium such as a ROM storing a control program and various data, and a working memory such as a RAM.
  • a CPU central processing unit
  • a storage medium such as a ROM storing a control program and various data
  • a working memory such as a RAM.
  • the function of each unit described above is realized by the CPU executing the control program.
  • the touch panel input device 100 having such a configuration can display a screen including a plurality of buttons, accept a touch operation on the buttons, and vibrate the touch panel 220 in synchronization with the touch operation. Further, the touch panel input device 100 can set the frequency of the panel vibration so that the panel vibration sound is a sound that cooperates with the sound of the dominant frequency of the surrounding sound. Furthermore, the touch panel input device 100 can generate a panel vibration at a different frequency for each button by setting a frequency range and a frequency default value for each button.
  • FIG. 3 is a diagram schematically illustrating an example of the configuration of the touch panel 220.
  • the touch panel 220 includes a piezoelectric element 226 having a first drive electrode 223, a second drive electrode 224, and a Y application side extraction electrode 225 between the support substrate 221 and the movable plate 222. It is arranged. For each piezoelectric element 226, a first lead wire 227 connected to the Y application side lead electrode 225 and a second lead wire 228 connected to the second drive electrode 224 are wired on the movable plate 222. .
  • the movable plate 222 of the touch panel 220 is propagated to the movable plate 222 of the touch panel 220 and transmitted to the finger of the person performing the touch operation.
  • the movable plate 222 becomes a surface sound source, and the panel vibration sound described above is generated.
  • FIG. 4 is a waveform diagram showing an example of a vibration waveform of the touch panel 220.
  • the vertical axis represents amplitude [ ⁇ m]
  • the horizontal axis represents time [msec].
  • the touch panel 220 vibrates with a sine wave 411 having an amplitude of 10 ⁇ m and a period of 2.5 msec (that is, a frequency of 400 Hz), for example.
  • the touch panel 220 generates a panel vibration sound of 400 Hz that is the same frequency as the vibration frequency.
  • a panel vibration sound is a sound in a human audible range, and as described above, there is a possibility of giving an unpleasant feeling to the operator and surrounding people.
  • touch panel input apparatus 100 sets the panel vibration frequency so that the panel vibration sound and the sound of the dominant frequency existing in the ambient sound constitute a consonant sound.
  • the dominant frequency of the ambient sound is the frequency of the sound recognized as the main component of the sound by the person who has heard the ambient sound.
  • the dominant frequency extraction unit 320 shown in FIG. 2 determines whether or not the dominant frequency exists in the ambient sound based on the dominant frequency condition that defines the condition of the dominant frequency.
  • the prevailing frequency condition includes being within a range of sound frequencies at which a human can recognize a pitch.
  • the dominant frequency extraction unit 320 stores, for example, a prevailing frequency condition in advance.
  • FIG. 5 is a diagram illustrating an example of the dominant frequency condition.
  • the prevailing frequency condition 430 defines, for example, a sound pressure level 431 of “40 dB or more” and a frequency range 432 of “20 Hz to 1000 Hz” as prevailing frequency conditions.
  • a sound that is so small that it is difficult to hear as a sound to the human ear, or a sound in a frequency range that is difficult to be heard by the human ear is extracted as an object of extraction of the dominant frequency. It can be prevented from handling.
  • a consonant is a perfect 1 degree frequency ratio, a short 3 degree frequency ratio, a long 3 degree frequency ratio, a perfect 4 degree frequency ratio, a perfect 5 degree, and a perfect 8 degree frequency ratio.
  • the consonance is composed of consonances even when the sound constituting the consonance is replaced with a sound of N octave difference (N is a natural number) (N octave (s) higher or lower sounds). That is, the frequency ratio obtained by multiplying or dividing the above-mentioned frequency ratio by an integer power of 2 is also the frequency ratio of the two sounds that make up the consonant sound.
  • a consonant is a frequency ratio equal to the quotient of two natural numbers of 6 or less, a frequency ratio obtained by multiplying the frequency ratio by an integer power of 2, and a quotient of two natural numbers of 6 or less.
  • each of these consonants has a unique tolerance.
  • the consonance is a combination of a plurality of sounds that satisfy the permissible range among the above-mentioned consonances.
  • the frequency of this sound constitutes the frequency ratio of the consonant sound.
  • the “frequency ratio of the consonance” means a frequency ratio that is regarded as a pitch that is consonated when the frequency ratio is replaced with a pitch of equal temperament, that is, a range of frequency ratio that is acceptable to the listener as a consonant. .
  • a sound outside the allowable range of the frequency ratio as a consonant sound may be audible as a sound of a different height when the “do” key is pressed on the piano. Specifically, for example, the sound is heard as a sound of “do #”, “re”, “shi”, “shi”.
  • the “frequency ratio of the consonance” in the present embodiment is not limited to one octave as described above, but includes all arbitrary consonances in musical instrument acoustics and their allowable ranges.
  • the harmonies reduce the discomfort given to the listener compared to the individual sounds that make up the harmonies. Furthermore, the consonance can give comfort to the listener as compared to the case of silence. In addition, when including sounds with different octaves in the vibration frequency candidates of the touch panel 220, the consonant sound can be obtained from a wide range of bands. However, it is usually better for the listener that the vibration frequency candidates are within one octave. The comfort given is high.
  • the consonance determination unit 330 shown in FIG. 2 calculates the above consonant frequencies based on a consonance frequency ratio list describing frequency ratios that can form the above consonants (hereinafter referred to as “consonance frequency ratios”). judge.
  • the consonance determination unit 330 stores a consonance frequency ratio list in advance.
  • FIG. 6 is a diagram illustrating an example of a Kyowa frequency ratio list.
  • the consonant frequency ratio list 440 is a list of ratios of frequencies of two sounds when two sounds form a consonant. As shown in FIG. 6, the consonant frequency ratio list 440 describes a frequency ratio 442 corresponding to the frequency 441 for each frequency 441 of the consonance as an item of the list. The description of the frequency 441 is not necessarily required in the consonant frequency ratio list 440.
  • the consonant frequency ratio list 440 describes at least one frequency ratio different from the harmonic frequency ratio among the frequency ratios constituting the consonant.
  • the frequency ratio which makes a harmonic is frequency ratio 1: n (n is an integer power of 2).
  • the frequency ratio 442 may be described in an integer ratio format as shown in FIG. 6, or may be described in another format such as a decimal format or a fraction format.
  • consonant frequency ratio list 440 is referred to, and the above-mentioned consonant frequency is easily and quickly performed by performing the calculation for each frequency 441 by multiplying the dominant frequency by the consonant frequency ratio 442. Can be determined.
  • the consonant determination unit 330 may obtain the frequency of the determined octave difference of the consonant by multiplying the frequency of the consonant by the Nth power of 2 or may be obtained by an N-bit left shift operation. .
  • FIG. 7 is a plan view showing an example of an image displayed on the display 210.
  • a menu 510 is displayed on the display 210.
  • the menu screen 510 includes a first operation button 511 described as “Mail”, a second operation button 512 described as “Web”, and a third operation button 513 described as “SNS”. Yes.
  • the menu screen 510 includes a fourth operation button 514 described as “Camera”, a fifth operation button 515 described as “Music”, a sixth operation button 516 described as “Memo”, and A seventh operation button 517 described as “Cancel” is provided.
  • the operator touches (presses down) an area corresponding to an arbitrary button among the first to sixth operation buttons 511 to 516 on the touch panel 220, thereby pressing the arbitrary button. Can be touched.
  • the operator touches the first operation button 511 when starting the mail application, and presses the second operation button when starting the web application.
  • Each button is associated with a process having a different purpose, but the description is omitted here.
  • FIG. 8 is a diagram showing an example of coordinate range information generated corresponding to the display image shown in FIG. As described above, the coordinate range information is information generated by the display control unit 240 and information indicating the display position of each button.
  • the coordinate range information 520 is associated with the region identifier 521 and includes a minimum value 522 of the X coordinate, a minimum value 523 of the Y coordinate, a maximum value 524 of the X coordinate, and a maximum value 525 of the Y coordinate. It is described.
  • the area identifier 521 is information for identifying an operation component (here, the first to sixth operation buttons 511 to 516) displayed on the display 210. Values 522 to 525 indicating coordinate values indicate the coordinate range on the display 210 of the area where the operation component is displayed.
  • the method of describing the coordinate range in the coordinate range information 520 is not limited to the above example.
  • the coordinate range of the circular operation button can be described by the X and Y coordinates and the radius of the center point.
  • the operation button coordinate range having a more complicated shape can be described by a data structure representing a curve connecting a plurality of points.
  • the coordinate range may include a Z coordinate. As a result, for example, it can be used as a condition for determining that the finger has been pressed when the X coordinate and the Y coordinate are within a predetermined range and the finger pressure exceeds a predetermined value.
  • FIG. 9 is a diagram illustrating an example of vibration necessity information.
  • the vibration necessity information is information generated by the display control unit 240 and is information indicating whether or not each button is a vibration button.
  • the vibration necessity information 530 describes the vibration necessity 532 in association with the area identifier 531 (corresponding to the area identifier 521 in FIG. 8).
  • the necessity for vibration 532 indicates whether or not the button is a vibration required button.
  • the vibration necessity 532 of “YES” is described in association with the area identifier 531 of the first to sixth operation buttons 511 to 516.
  • a vibration necessity 532 of “NO” is described in association with the area identifier 531 of the seventh operation button 517. This indicates that the first to sixth operation buttons 511 to 516 are vibration-required buttons and the seventh operation button 517 is not a vibration-required button.
  • the frequency range setting unit 310 sets a frequency range and a frequency default value for each of the operation buttons based on the coordinate range information 520 and the vibration necessity information 530. Then, the frequency range setting unit 310 notifies the vibration frequency setting unit 340 of the frequency information for each region indicating the setting content.
  • FIG. 10 is a diagram illustrating an example of frequency information for each region.
  • the frequency information for each region is information generated by the frequency range setting unit 310 as described above, and is information indicating the frequency range and frequency default value of each vibration button.
  • the frequency information 540 for each region describes a frequency default value 542 and an allowable error range 543 in association with the region identifier 541 (corresponding to the region identifier 521 in FIG. 8).
  • a range obtained by applying the error allowable range 543 to the frequency default value 542 is the above-described frequency range.
  • a frequency default value 542 of “140 Hz” and an error allowable range 543 of “ ⁇ 15%” are described in association with the area identifier 541 of the first operation button 511. This indicates that the frequency range is 119 Hz to 161 Hz.
  • the frequency default value 542 indicates that it is the median value of the frequency range.
  • a frequency default value 542 of “0 Hz” and an error allowable range 543 of “0%” are described in association with the area identifier 541 of the seventh operation button 517. This indicates that the frequency default value and frequency range are not set substantially. This is because the seventh operation button 517 is not a vibration required button.
  • Such frequency information 540 by region, the above-described coordinate range information 520 (see FIG. 8), and vibration necessity information 530 (see FIG. 9) are stored in the vibration control device 300. Thereby, when a touch operation is performed on any of the operation buttons, the vibration control device 300 can quickly and easily identify the frequency range corresponding to the operation button.
  • the description method of the frequency range and the frequency default value in the frequency information 540 by region is not limited to the above example.
  • the frequency range and the frequency default value can be described by the minimum value and the maximum value of the frequency range and the fact that the frequency default value is the median value of the frequency range.
  • the vibration control device 300 starts an operation described below every time operation target information about a new image is input from the display control unit 240, for example.
  • the menu 510 (FIG. 7) is displayed on the display 210.
  • FIG. 11 is a flowchart showing an example of the operation of the vibration control device.
  • the frequency range setting unit 310 sets a frequency default value and a frequency range for each operation content corresponding to the operation button, for example.
  • the frequency range setting unit 310 performs such setting based on the operation target information input from the display control unit 240.
  • the operation target information is generated for each display image, and includes coordinate range information 520 and vibration necessity information 530 (see FIGS. 8 and 9).
  • step S1200 the dominant frequency extraction unit 320 performs a dominant frequency determination process, and proceeds to step S1300.
  • the dominant frequency determination process is a process for determining the dominant frequency when the surrounding sound has a dominant frequency. Details of the dominant frequency determination process will be described later.
  • step S1300 the consonance determination unit 330 determines whether or not a dominant frequency exists in the ambient sound.
  • the consonance sound determination unit 330 can determine whether or not the dominant frequency is present in the surrounding sound, for example, based on whether or not the dominant frequency is notified.
  • the consonance determination unit 330 can determine from the flag whether or not the dominant frequency exists in the ambient sound.
  • step S1400 the consonance determination unit 330 proceeds to step S1500 described later.
  • step S1400 the consonance determination unit 330 determines the frequency of the sound that cooperates with the sound of the dominant frequency as a vibration frequency candidate (hereinafter referred to as “vibration frequency candidate”) of the touch panel 220.
  • the consonance determination unit 330 multiplies each frequency ratio 442 described in the consonance frequency ratio list shown in FIG. 6 and the reciprocal of each frequency ratio 442 by the dominant frequency. Then, the consonant sound determination unit 330 determines the calculation result as a vibration frequency candidate group, and notifies the vibration frequency setting unit 340 of the determination result.
  • step S1500 the vibration frequency setting unit 340 determines whether or not an operation requiring feedback due to vibration during operation (hereinafter referred to as “vibration requiring operation”) has been performed.
  • the vibration frequency setting unit 340 includes operation position information from the touch panel detection unit 250, coordinate range information 520 (see FIG. 8) and vibration necessity information 530 (see FIG. 9) from the display control unit 240. This determination is made based on the above.
  • the vibration frequency setting unit 340 determines whether or not the position of the touch operation is included in the coordinate range of any of the operation buttons. If included, the vibration operation is performed on the corresponding operation button. to decide. Then, the vibration frequency setting unit 340 determines whether or not the operation button on which the corresponding touch operation is performed is a vibration required button.
  • the vibration frequency setting unit 340 proceeds to step S1600 when a vibration requiring operation is performed (S1500: YES). Moreover, the vibration frequency setting part 340 progresses to below-mentioned step S2100, when vibration required operation is not performed (S1500: NO).
  • step S1600 the vibration frequency setting unit 340 determines whether or not a dominant frequency exists in the ambient sound.
  • the vibration frequency setting unit 340 can determine whether or not a dominant frequency exists in the ambient sound, for example, based on whether or not a vibration frequency candidate group has been notified.
  • the vibration frequency setting unit 340 can determine from the flag whether or not the dominant frequency is present in the ambient sound.
  • the vibration frequency setting unit 340 proceeds to step S1700 when a dominant frequency is present in the ambient sound (S1600: YES). In addition, when the dominant frequency does not exist in the ambient sound (S1600: NO), the vibration frequency setting unit 340 proceeds to step S1900 described later.
  • step S1700 the vibration frequency setting unit 340 determines whether any vibration frequency candidate is included in the frequency range set for the operation content of the performed operation.
  • the vibration frequency setting unit 340 obtains the frequency range and the frequency default value for the operation button on which the touch operation has been performed, from the frequency information 540 for each region notified from the frequency range setting unit 310 (see FIG. 10). get.
  • the vibration frequency setting unit 340 includes a plurality of vibration frequency candidates described in the vibration frequency candidate group 460 (see FIG. 14) notified from the consonance determination unit 330 and included in the acquired frequency range. Determine if it exists.
  • the vibration frequency setting unit 340 proceeds to step S1800 when at least one vibration frequency candidate is included in the frequency range (S1700: YES). If none of the vibration frequency candidates is included in the frequency range (S1700: NO), vibration frequency setting unit 340 proceeds to step S1900 described later.
  • vibration frequency setting unit 340 determines the vibration frequency candidate as the vibration frequency of touch panel 220. Further, when there are a plurality of vibration frequency candidates included in the frequency range, the vibration frequency setting unit 340 determines a vibration frequency candidate closer to the frequency default value as the vibration frequency of the touch panel 220.
  • the vibration frequency of the touch panel 220 can change within the set frequency range due to the change of the dominant frequency. By determining the vibration frequency candidate closer to the frequency default value, a large change in the vibration frequency of the operation button can be avoided as much as possible, and the uncomfortable feeling given to the operator can be reduced.
  • step S1900 the vibration frequency setting unit 340 determines the frequency default value as the vibration frequency of the touch panel 220. This is because the dominant frequency does not exist or there is no consonance in the frequency range set for the operation button on which the touch operation is performed.
  • the vibration frequency setting unit 340 determines 800 Hz that is the frequency default value set in the fifth operation button 515 as the vibration frequency of the touch panel 220.
  • the vibration frequency setting unit 340 may prioritize vibration at a frequency that becomes a consonant sound, rather than vibrating the touch panel 220 within the frequency range set for the operation button. In this case, for example, the vibration frequency setting unit 340 may ignore the frequency range and determine the consonance closest to the frequency default value as the vibration frequency of the touch panel 220.
  • step S2000 the vibration frequency setting unit 340 causes the touch panel 220 to vibrate at the determined vibration frequency. Specifically, the vibration frequency setting unit 340 generates a vibration instruction signal instructing to vibrate the vibration element 230 for a predetermined time with the determined vibration frequency. Then, the vibration frequency setting unit 340 outputs the generated vibration instruction signal to the vibration element control unit 260.
  • step S2100 the dominant frequency extraction unit 320 determines whether it is time to end the processing for the same display screen.
  • the process for the same display screen is a process for determining the vibration frequency using the frequency information 540 for each region (see FIG. 10) generated in step S1100 as it is.
  • the superior frequency extraction unit 320 returns to step S1200 when it is not time to end the process for the same display screen, such as when the same display screen is maintained (S2100: NO).
  • the dominant frequency extraction unit 320 ends a series of processes when it is a timing to end the process for the same display screen, such as a timing at which the display screen is switched or a timing at which the screen display ends (S2100: YES). To do. Note that when the display screen is switched to another screen that accepts a touch operation, the vibration control device 300 starts processing from step S1100.
  • FIG. 12 is a flowchart illustrating an example of the dominant frequency determination process.
  • the sound data acquisition unit 315 acquires ambient sound data from the microphone 270.
  • step S1220 the dominant frequency extraction unit 320 extracts the frequency spectrum of the sound pressure level from the acquired sound data by spectrum conversion processing such as Fourier transform.
  • step S1230 the dominant frequency extraction unit 320 determines whether there is a frequency that satisfies the superior frequency condition 430 shown in FIG.
  • the superior frequency extracting unit 320 proceeds to step S1240. Further, when there is no frequency satisfying the dominant frequency condition 430 (S1230: NO), the dominant frequency extracting unit 320 proceeds to step S1250.
  • step S1240 the dominant frequency extracting unit 320 determines that the dominant frequency exists in the ambient sound, extracts the dominant frequency, and returns to the processing of FIG.
  • step S1240 the dominant frequency extraction unit 320 determines that there is no dominant frequency in the ambient sound, and returns to the process of FIG.
  • FIG. 13 is a diagram illustrating an example of a frequency spectrum of ambient sound extracted by the microphone 270.
  • the horizontal axis indicates the frequency [Hz]
  • the vertical axis indicates the sound pressure level (sound intensity) [dB].
  • a relatively large ambient sound close to a pure sound of 100 Hz is sounding at a sound pressure level of 65 dB around the touch panel 220 is shown.
  • the frequency spectrum curve 551 has a sound pressure level predominant (outstanding) near 100 Hz and a value of 65 dB. .
  • An ambient sound having a frequency at which the sound pressure level is prominent as compared with other frequencies is easily heard by humans.
  • the dominant frequency extraction unit 320 extracts a frequency of 100 Hz as a dominant frequency.
  • the dominant frequency extraction unit 320 does not necessarily use a continuous frequency spectrum graph as a technique for extracting the dominant frequency, and may use discrete data (array) of a set of frequency and sound pressure level. . Further, the dominant frequency extraction unit 320 may use other parameters indicating the sound intensity, such as sound pressure (no unit), instead of the sound pressure level [dB], as a technique for extracting the dominant frequency.
  • FIG. 14 is a diagram illustrating an example of a vibration frequency candidate group. Here, an example in which 100 Hz is extracted as the dominant frequency is shown.
  • the vibration frequency candidate group 460 includes, for example, “50.0 Hz”. This is the result of multiplying 100 Hz by a complete frequency ratio of 1/2 to 8 degrees.
  • the vibration frequency candidate group 460 includes, for example, “20.0 Hz”. This is a result of multiplying 100 Hz by 2, which is the reciprocal of the frequency ratio 1/2 of 8 degrees.
  • FIG. 15 is a diagram illustrating an example of how the vibration frequency is determined. Here, a case where a touch operation is performed on the first operation button 511 (see FIG. 7) is shown.
  • the frequency range set for the first operation button 511 is within a range of ⁇ 15% of 140 Hz, that is, a range of 119 Hz to 161 Hz. is there.
  • the vibration frequency candidate group 460 there are five vibration frequency candidates included in the frequency range. Of these five vibration frequency candidates, “133.3 Hz” is the closest to the frequency default value of 140 Hz.
  • the vibration frequency setting unit 340 determines 133.3 Hz as the vibration frequency of the touch panel 220.
  • various information described as being notified to other device units may be indirectly exchanged by being stored in a memory that can be referred to from the other device units. Good. Conversely, various types of information described as being stored in a memory that can be referred to by another device unit may be directly notified to the other device unit.
  • the touch panel input device 100 allows the vibration control device 300 to perform the touch operation so that the panel vibration sound becomes a sound that is in harmony with the sound of the dominant frequency existing in the ambient sound. Sets the frequency of panel vibration.
  • the touch panel input device 100 keeps the vibration frequency of the touch panel 220 in a band where a feeling of operation of the touch operation can be sufficiently obtained, and an unpleasant discomfort due to the panel vibration sound ( annoying discomfort) can be reduced.
  • the touch panel input device 100 according to the present embodiment does not need to separately generate high frequency sound. That is, touch panel input device 100 according to the present embodiment achieves both reduction in discomfort due to panel vibration sound and maintenance of the operation feeling of touch operation on touch panel in the use of touch panel that vibrates in synchronization with touch operation. be able to.
  • the dominant frequency condition is not limited to the example described in FIG.
  • FIG. 16 is a diagram showing another example of the dominant frequency condition, and corresponds to FIG.
  • the dominant frequency condition 430 a defines, for example, a lower limit 433 of a duration of “500 msec” and a frequency tolerance 434 of “within ⁇ 5%” as conditions of the dominant frequency. .
  • the duration of “500 msec” corresponds to the minimum duration of the sound length that allows humans to recognize the pitch.
  • a frequency tolerance 434 of “within ⁇ 5%” corresponds to a semitone.
  • a semitone is a pitch difference between adjacent sounds on the keyboard. When converted to a frequency ratio, the semitones are, for example, 16 to 17, 17 to 18, 18 to 19, and 19 to 20. Sounds that do not fit in a semitone are difficult to be recognized as one pitch.
  • the dominant frequency extraction unit 320 can also extract the dominant frequency using, for example, the dominant frequency condition 430a shown in FIG. 16 together with the superior frequency condition 430 shown in FIG. That is, when the dominant frequency is not stable, the dominant frequency extracting unit 320 can also prevent the dominant frequency from being handled as the dominant frequency.
  • the dominant frequency extraction unit 320 performs the extraction process of the dominant frequency a plurality of times during the period of the lower limit 433 of the duration time. For example, the dominant frequency extraction unit 320 periodically performs a process of extracting the dominant frequency every 100 msec. In this case, the dominant frequency extraction unit 320 extracts the dominant frequency for five times during 500 msec, which is the lower limit 433 of the duration. The dominant frequency extraction unit 320 obtains the maximum value and the minimum value of the dominant frequency extracted a plurality of times. Then, the dominant frequency extraction unit 320 determines that the dominant frequency is stable when the obtained minimum and maximum values of the dominant frequency are included in the range of the frequency tolerance 434. In addition, the dominant frequency extraction unit 320 determines that the dominant frequency is not stable when at least one of the obtained minimum and maximum values of the dominant frequency is not included in the range of the frequency tolerance 434.
  • the dominant frequency extraction unit 320 is a sound whose sound pressure is equal to or higher than a predetermined level with a bandwidth not exceeding the predetermined bandwidth, and the sound pressure is continuously higher than a predetermined time length. It can be added to the condition of the dominant frequency that the sound is above the level.
  • the sound that can constitute the Kyowa is a sound that allows humans to recognize the pitch. If the bandwidth of a sound whose sound pressure is equal to or higher than a predetermined level exceeds a semitone, it is difficult to be recognized as a sound of one pitch. In addition, it is difficult to recognize the pitch of a sound having a very short duration. A sound that is difficult to be recognized as a sound of one pitch is difficult to constitute a consonant sound. Therefore, by using such a superior frequency condition 430a, the dominant frequency extraction unit 320 can generate a frequency of a sound that is difficult to be recognized as one pitch sound, such as a sound with a wide bandwidth or a very short sound. It is possible not to handle it as a frequency.
  • the vibration control device of the present disclosure is a vibration control device used for a touch panel that vibrates in synchronization with a touch operation, and includes a sound data acquisition unit that acquires sound data of ambient sounds of the touch panel, and acquired sound data From the above, the dominant frequency extracting unit that extracts the dominant frequency of the surrounding sound, the consonant determining unit that determines the consonant frequency that is the frequency of the sound that cooperates with the extracted dominant frequency sound, and the vibration frequency of the touch panel, And a vibration frequency setting unit that sets the determined harmony frequency.
  • the vibration frequency setting unit determines whether or not the consonant frequency is included in a preset frequency range.
  • the frequency default value that is a frequency that is included in the above frequency range and is a preset value. May be set.
  • the frequency range may be a frequency range in which a touch operation feeling can be obtained when the frequency of the vibration of the touch panel is set within the frequency range.
  • the dominant frequency extraction unit determines whether or not the ambient frequency has a dominant frequency
  • the vibration frequency setting unit determines the frequency of the vibration when the ambient sound has no dominant frequency. It may be set to a default value.
  • the dominant frequency extraction unit determines whether or not a dominant frequency exists in the ambient sound based on the dominant frequency condition that defines the condition of the dominant frequency. It may include being within the range of the frequency of the sound capable of recognizing the pitch.
  • the prevailing frequency condition is a frequency of a sound whose sound pressure is equal to or higher than a predetermined level in a bandwidth that does not exceed a predetermined bandwidth, and continues for a predetermined length of time. Then, at least one of the frequencies of the sound whose sound pressure is equal to or higher than a predetermined level may be included.
  • the consonance determination unit may determine, as a consonance frequency, a value obtained by multiplying the extracted dominant frequency by a frequency ratio between two sounds constituting the consonance. Good.
  • the frequency ratio between the two sounds constituting the Kyowa sound is a perfect 1 degree frequency ratio, a short 3 degree frequency ratio, a long 3 degree frequency ratio, and a perfect 4 degree frequency ratio.
  • a perfect 5 degree frequency ratio, a perfect 8 degree frequency ratio, and a frequency ratio obtained by multiplying or dividing each of these frequency ratios by an integer power of 2 may be included.
  • the vibration control device further includes a frequency range setting unit that acquires operation details that can be input by a touch operation, and sets the frequency range and a frequency default value for the acquired operation details.
  • the setting unit may set different frequency ranges and different frequency default values for a plurality of operation contents.
  • the touch panel input device is acquired by a touch panel that receives a touch operation, a vibration generation unit that generates vibration on the touch panel in synchronization with the touch operation, a sound data acquisition unit that acquires sound data of ambient sounds of the touch panel, From the sound data, a frequency extractor that extracts the dominant frequency of the surrounding sound, a consonance determination unit that determines the consonant frequency that is the frequency of the sound that synchronizes with the extracted sound of the dominant frequency, and the vibration frequency A vibration frequency setting unit that sets the determined harmony frequency.
  • the vibration control method of the present disclosure is a vibration control method used for a touch panel that vibrates in synchronization with a touch operation, the step of acquiring sound data of ambient sound of the touch panel, and the surrounding sound from the acquired sound data. Extracting the dominant frequency of the sound, determining the consonant frequency that is the frequency of the sound that cooperates with the extracted dominant frequency sound, and setting the vibration frequency of the touch panel to the determined consonant frequency Steps.
  • the present invention relates to a vibration control device, a touch panel input device, and a touch panel input device that are capable of reducing both discomfort caused by panel vibration sound and maintaining the operational feeling of touch operation in the use of a touch panel that vibrates in synchronization with the touch operation. This is useful as a vibration control method.
  • the present invention is suitable for electronic devices such as smartphones, tablet terminals, car navigation systems, refrigerators, microwave ovens, and copy machines.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

　タッチ操作に同期して振動するタッチパネルの使用において、パネル振動音による不快感の低減と、タッチパネルのタッチ操作の操作感の維持とを両立させる。振動制御装置（３００）は、タッチ操作に同期して振動するタッチパネルに対して用いられる装置であって、タッチパネルの周囲音の音データを取得する音データ取得部（３１５）と、取得された音データから、周囲音の卓越周波数音を抽出する卓越周波数抽出部（３２０）と、抽出された卓越周波数の音と協和する音の周波数である協和音周波数を判定する協和音判定部（３３０）と、タッチパネルの振動の周波数を、判定された協和音周波数に設定する振動周波数設定部（３４０）と、を有する。

Description

振動制御装置、タッチパネル入力装置、および振動制御方法
　本発明は、タッチ操作に同期して振動するタッチパネルに対して用いられる、振動制御装置および振動制御方法に関する。
　近年、スマートフォンやタブレット端末等、タッチパネルを備えた各種のタッチパネル入力装置において、タッチ操作に同期してタッチパネルを振動させることが広く行われている（例えば、特許文献１参照）。このようなタッチパネルの振動は、タッチ操作に触覚によるフィードバックを付与し、従来のキースイッチ操作において得られていた操作感（operational feeling）（例えば、クリック感（click feeling）、タクタイル感（tactile feeling））を補完することができる。
　ところが、タッチパネルの振動（以下、適宜「パネル振動」という）は、タッチパネル入力装置の他の部分や、タッチパネル入力装置が置かれた机等に伝搬し、振動音を発生させることがある。このような、パネル振動により発生する振動音（以下、適宜「パネル振動音」（panel vibration sound）という）の周波数は、通常、パネル振動の周波数に一致する。本来、パネル振動音は、不要な音であり、操作者や周囲の人に不快感を与え得る。
　そこで、人の耳に伝わり難い周波数でパネル振動を行う技術が、例えば、特許文献２に記載されている。また、高周波数の音を別途発生させることにより、パネル振動音を聞こえ難くする技術が、例えば、特許文献３に記載されている。これらの従来技術は、パネル振動音による不快感を低減することができる。
特開２００３－１２２５０７号公報 特開２００６－７９１３６号公報 特開２００８－１３００５５号公報
梅本堯夫、「音楽心理学」、誠信書房、第２章§３「協和に関する実験的知見」、１９６６年６月２８日
　しかしながら、従来技術は、パネル振動音による不快感の低減と、タッチパネルのタッチ操作の操作感の維持とを両立させることが難しいという課題を有する。
　理由は、以下の通りである。人の耳の可聴域は、通常、２０～２万Ｈｚである。一方、タッチパネル入力装置の他の機能に悪影響を及ぼさない範囲で、タッチ操作の操作感が十分に得られるような振動の帯域は、通常、５０Ｈｚ～４００Ｈｚ付近（特許文献３参照）である。すなわち、操作感が得られるパネル振動の周波数の大部分は、人の耳の可聴域と重複している。また、操作感を得るためには、ある程度の振動強度が必要であるが、その分、高周波数の音の音量を大きくする必要がある。すなわち、高周波数の音を別途発生させることは、操作者や周囲の人に与える不快感を増大させるおそれがある。
　本発明の目的は、タッチ操作に同期して振動するタッチパネルの使用において、パネル振動音による不快感の低減と、タッチ操作の操作感の維持とを両立させることである。
　本発明の一態様に係る振動制御装置は、タッチ操作に同期して振動するタッチパネルに対して用いられる振動制御装置であって、タッチパネルの周囲音の音データを取得する音データ取得部（sound data acquiring section）と、取得された音データから、周囲音の卓越周波数（predominant frequency）を抽出する卓越周波数抽出部（predominant frequency acquiring section）と、抽出された卓越周波数の音と協和する（in consonant with）音の周波数である協和音周波数（consonant sound frequency）を判定する協和音判定部（consonant sound determining section）と、タッチパネルの振動の周波数を、判定された協和音周波数に設定する振動周波数設定部（vibrational frequency setting section）と、を有する。
　本発明の一態様に係るタッチパネル入力装置は、タッチ操作を受け付けるタッチパネルと、タッチ操作に同期してタッチパネルに振動を発生させる振動発生部と、タッチパネルの周囲音の音データを取得する音データ取得部と、取得された音データから、周囲音の卓越周波数を抽出する卓越周波数抽出部と、抽出された卓越周波数の音と協和する音の周波数である協和音周波数を判定する協和音判定部と、タッチパネルの振動の周波数を、判定された協和音周波数に設定する振動周波数設定部と、を有する。
　本発明の一態様に係る振動制御方法は、タッチ操作に同期して振動するタッチパネルに対して用いられる振動制御方法であって、タッチパネルの周囲音の音データを取得するステップと、取得された音データから、周囲音の卓越周波数を抽出するステップと、抽出された卓越周波数の音と協和する音の周波数である協和音周波数を判定するステップと、タッチパネルの振動の周波数を、判定された協和音周波数に設定するステップと、を有する。
　本発明は、タッチ操作に同期して振動するタッチパネルの使用において、パネル振動音による不快感の低減と、タッチ操作の操作感の維持とを両立させることができる。
本発明の実施の形態１に係る振動制御装置の構成の一例を示すブロック図 本発明の実施の形態２に係るタッチパネル入力装置の構成の一例を示すブロック図 実施の形態２におけるタッチパネルの構成の一例を模式的に示す図 実施の形態２におけるタッチパネルの振動波形の一例を示す波形図 実施の形態２における卓越周波数条件の一例を示す図 実施の形態２における協和音周波数比リストの一例を示す図 実施の形態２における表示画像の一例を示す平面図 実施の形態２における座標範囲情報の一例を示す図 実施の形態２における振動要否情報の一例を示す図 実施の形態２における領域別周波数情報の一例を示す図 実施の形態２に係る振動制御装置の動作の一例を示すフローチャート 実施の形態２における卓越周波数判定処理の一例を示すフローチャート 実施の形態２における音圧レベルの周波数スペクトルの他の例を示すスペクトル図 実施の形態２における振動周波数候補群の一例を示す図 実施の形態２における振動周波数の決定の様子の一例を示す図 実施の形態２における卓越周波数条件の他の例を示す図
　以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
　（実施の形態１）
　本発明の実施の形態１は、本発明の基本的態様の一例である。
　図１は、本実施の形態に係る振動制御装置の構成の一例を示すブロック図である。
　図１に示す振動制御装置３００は、タッチ操作に同期して振動するタッチパネルに対して用いられる装置である。図１において、振動制御装置３００は、音データ取得部（sound data acquiring section）３１５、卓越周波数抽出部（predominant frequency acquiring section）３２０、協和音判定部（consonant sound judging section）３３０、および振動周波数設定部（vibrational frequency setting section）３４０を有する。
　音データ取得部３１５は、タッチパネルの周囲音（surrounding sound）（以下、単に「周囲音」という）の音データを取得する。
　卓越周波数抽出部３２０は、取得された音データから、周囲音の卓越周波数（predominant frequency）を抽出する。なお、周囲音の卓越周波数とは、周囲音を聞いた人に、当該周囲音の主成分として認識される音の周波数である。
　協和音判定部３３０は、抽出された卓越周波数の音（以下「卓越音」（predominant sound）という）と協和する音の周波数である、協和音周波数（consonant sound frequency）を判定する。
　振動周波数設定部３４０は、タッチパネルの振動の周波数を、判定された協和音周波数に設定する。
　振動制御装置３００は、図示しないが、例えば、ＣＰＵ（central processing unit）、制御プログラムおよび各種データを格納したＲＯＭ（read only memory）等の記憶媒体、およびＲＡＭ（random access memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　協和音（consonant sound）は、協和音を構成する個々の音のみに比べて、聞く人に与える不快感を低減する。したがって、パネル振動音が周囲音の卓越音と協和する（in consonant with）関係にあれば、パネル振動音が操作者や周囲の人に与える不快感は、低減される。また、協和音は、無音の場合に比べて、聞く人に対して心地良さを与え得る。
　一方で、周囲音の状態は、時刻および場所に応じて異なる。このため、周囲音の卓越周波数は、不特定である。したがって、パネル振動音は、ほとんどの場合において、周囲音に含まれる卓越音と協和する関係になく、単なる音響ノイズとなり得る。
　そこで、本実施の形態に係る振動制御装置３００は、上述の通り、パネル振動音が、周囲音に含まれる卓越音と協和する音となるように、パネル振動の周波数を設定する。
　これにより、本実施の形態に係る振動制御装置３００は、パネル振動の周波数を可聴域に留めたままで、かつ、他の高周波数の音を出力することなく、パネル振動音が人に与える不快感を低減することができる。すなわち、本実施の形態に係る振動制御装置３００は、タッチ操作に同期して振動するタッチパネルの使用において、パネル振動音による不快感の低減と、タッチ操作の操作感の維持とを両立させることができる。
　また、本実施の形態に係る振動制御装置３００は、上述の特許文献２に記載の技術に比べて、パネル振動に用いることができる周波数帯域の範囲を広げることができる。つまり、本実施の形態に係る振動制御装置３００は、パネル振動に用いることができる周波数帯域の範囲が広いほど、操作者に対して伝えることができる触覚の種類の範囲も広くなる。したがって、本実施の形態に係る振動制御装置３００は、例えば、複数の操作内容に対して、操作者が違いを認識することが可能な異なる周波数の振動を設定することが可能となる。
　また、本実施の形態に係る振動制御装置３００は、高周波数の音を別途出力する必要がないため、上述の特許文献３に記載の技術に比べて、消費電力の増大を抑えることができる。
　（実施の形態２）
　本発明の実施の形態２は、本発明をタッチパネル入力装置に適用した場合の、本発明の具体的態様の一例である。
　＜タッチパネル入力装置の構成＞
　図２は、本実施の形態に係る振動制御装置を含むタッチパネル入力装置の構成の一例を示すブロック図である。
　図２において、タッチパネル入力装置１００は、ディスプレイ２１０、タッチパネル２２０、振動素子２３０、ディスプレイ制御部２４０、タッチパネル検出部２５０、振動素子制御部２６０、マイクロフォン２７０、および振動制御装置３００を有する。
　ディスプレイ２１０は、後述のディスプレイ制御部２４０から入力される画像データに基づいて、画像を表示する。ディスプレイ２１０の具体例としては、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）ディスプレイ、およびＬＥＤ（Light Emitting Diode）ディスプレイ等が挙げられる。
　タッチパネル２２０は、ディスプレイ２１０の表面に配置され、タッチ操作（押下入力（press down input））を受け付ける。そして、タッチパネル２２０は、タッチ操作が行われる毎に、タッチ操作の位置を示す操作信号を、後述のタッチパネル検出部２５０へ出力する。操作信号は、例えば、タッチパネル２２０のＸ軸の電圧値およびＹ軸の電圧値を示す信号である。タッチパネル２２０の具体例としては、フィルムとプラスチックで構成される抵抗膜方式のタッチパネル等が挙げられる。
　振動素子２３０は、ディスプレイ２１０の裏面に配置され、後述の振動素子制御部２６０から入力される振動制御信号に基づいて、振動を発生する。振動素子２３０が発生する振動の周波数は、少なくとも後述の周波数範囲において、可変であるものとする。具体的には、振動素子２３０は、例えば、ピエゾ・アクチュエータ方式の振動素子、リニア共振アクチュエータ（LRA: Linear Resonant Actuator）方式の振動素子、およびバイブレータ等が挙げられる。
　ディスプレイ制御部２４０は、ディスプレイ２１０に表示される画像の表示制御を行う。具体的には、ディスプレイ制御部２４０は、ディスプレイ２１０に表示されるべき画像の画像データを生成し、生成した画像データを、ディスプレイ２１０へ出力する。また、ディスプレイ制御部２４０は、上記画像においてタッチ操作により入力可能な操作内容を示す操作対象情報を、振動制御装置３００へ出力する。
　本実施の形態において、ディスプレイ制御部２４０は、複数のボタンが配置された画像を、ディスプレイ２１０に表示させる。そして、ディスプレイ制御部２４０は、上記操作対象情報として、座標範囲情報および振動要否情報を、振動制御装置３００へ出力する。座標範囲情報は、各ボタンのディスプレイ制御部２４０において表示される位置（以下「表示位置」という）を示す情報である。振動要否情報は、各ボタンが操作時に振動によるフィードバックを要するボタン（以下「要振動ボタン」という）であるか否かを示す情報である。
　なお、振動制御装置３００は、入力された座標範囲情報および振動要否情報を、振動制御装置３００の各部から参照可能なメモリに格納する。
　タッチパネル検出部２５０は、タッチパネル２２０から入力される操作信号に基づいて、タッチパネル２２０に対して行われたタッチ操作（以下、単に「タッチ操作」という）の、タッチパネル２２０における位置の検出を行う。例えば、タッチパネル検出部２５０は、操作信号をデジタル値へと変換し、タッチパネル２２０におけるＸ座標とＹ座標を得る。
　なお、本実施の形態において、タッチパネル２２０上の位置とディスプレイ２１０上の位置との対応関係は、予めタッチパネル検出部２５０に設定されている。タッチパネル検出部２５０は、この対応関係に基づいて、タッチ操作のディスプレイ２１０における位置を検出する。そして、タッチパネル検出部２５０は、タッチ操作のディスプレイ２１０における位置を示す情報（以下「操作位置情報」という）を、振動制御装置３００へ出力する。
　振動素子制御部２６０は、後述の振動制御装置３００から入力される振動指示信号に基づいて、タッチ操作に同期して振動素子２３０を振動させる。すなわち、振動素子制御部２６０は、上述の振動素子２３０と共に本発明の振動発生部を構成し、タッチ操作に同期してタッチパネル２２０に振動を発生させる。また、振動素子制御部２６０は、上記振動指示信号に基づいて、当該振動の周波数を制御する。
　マイクロフォン２７０は、タッチパネル２２０の近傍に配置され、タッチパネル２２０の周囲の音（以下、単に「周囲音」という）がマイクロフォン２７０に入力される。そして、マイクロフォン２７０は、入力された周囲音の音データを、振動制御装置３００へ出力する。音データは、例えば、マイクロフォン２７０において検出される音圧レベルの時系列データである。
　振動制御装置３００は、周波数範囲設定部３１０、音データ取得部３１５、卓越周波数抽出部３２０、協和音判定部３３０、および振動周波数設定部３４０を有する。
　周波数範囲設定部３１０は、タッチ操作により入力可能な操作内容を取得し、取得した操作内容に対して、周波数範囲および周波数デフォルト値を設定する。但し、周波数範囲設定部３１０は、複数の操作内容が存在するとき、当該複数の操作内容に対して、異なる周波数範囲および異なる周波数デフォルト値を設定する。また、周波数範囲設定部３１０は、タッチパネル入力装置の他の機能に悪影響を及ぼさない範囲で、タッチ操作の操作感が十分に得られるような振動の周波数帯域（例えば、５０Ｈｚ～４００Ｈｚ）から、周波数範囲を設定する。
　これら周波数範囲および周波数デフォルト値は、後述の協和音判定部３３０により、振動素子２３０の振動の周波数を決定する際に用いられる。
　本実施の形態において、周波数範囲設定部３１０は、ディスプレイ制御部２４０から入力された操作対象情報（座標範囲情報および振動要否情報）から、要振動ボタンの表示位置を取得する。そして、周波数範囲設定部３１０は、要振動ボタン毎に、周波数範囲および周波数デフォルト値を設定する。すなわち、本実施の形態において、「タッチ操作により入力可能な操作内容」とは、個々の要振動ボタンに対応する。
　そして、周波数範囲設定部３１０は、要振動ボタン毎に設定した、周波数範囲および周波数デフォルト値を示す情報（以下「領域別周波数情報」という）を、振動制御装置３００の各装置部から参照可能なメモリに格納する。
　音データ取得部３１５は、マイクロフォン２７０から入力された音データを取得し、卓越周波数抽出部３２０へ転送する。
　卓越周波数抽出部３２０は、音データ取得部３１５から転送されてくる音データから、周囲音に卓越周波数が存在するか否かを判断する。そして、卓越周波数抽出部３２０は、周囲音に卓越周波数が存在するとき、音データから、周囲音の卓越周波数を抽出する。そして、卓越周波数抽出部３２０は、抽出した卓越周波数を、協和音判定部３３０へ通知する。
　協和音判定部３３０は、卓越周波数抽出部３２０から通知された卓越周波数に基づいて、抽出された卓越周波数の音と協和する音の周波数（以下「協和音周波数」という）を判定する。そして、協和音判定部３３０は、判定した協和音周波数を、振動周波数設定部３４０へ通知する。
　振動周波数設定部３４０は、タッチ操作が行われる毎に、そのタッチ操作の操作内容に対して予め設定された周波数範囲および周波数デフォルト値を取得する。振動周波数設定部３４０は、これら周波数範囲および周波数デフォルト値の取得を、タッチパネル検出部２５０から入力される操作信号と、周波数範囲設定部３１０が生成した領域別周波数情報とに基づいて行う。
　そして、振動周波数設定部３４０は、取得した（予め設定された）周波数範囲に、協和音判定部３３０から通知された協和音周波数が含まれるか否かを判断する。振動周波数設定部３４０は、当該周波数範囲に当該協和音周波数が含まれるとき、パネル振動の周波数を当該協和音周波数に決定する。また、振動周波数設定部３４０は、当該周波数範囲に当該協和音周波数が含まれないとき、パネル振動の周波数を当該周波数デフォルト値に決定する。
　そして、振動周波数設定部３４０は、決定した周波数で振動素子２３０を所定時間振動させることを指示する振動指示信号を生成し、生成した振動指示信号を、振動素子制御部２６０へ出力する。すなわち、振動周波数設定部３４０は、振動素子制御部２６０および振動素子２３０を介して、タッチパネル２２０を、周囲音の卓越周波数の音と協和する周波数で、タッチ操作に同期して振動させる。
　タッチパネル入力装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムおよび各種データを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　このような構成を有するタッチパネル入力装置１００は、複数のボタンを含む画面を表示し、ボタンに対するタッチ操作を受け付け、そのタッチ操作に同期して、タッチパネル２２０を振動させることができる。また、タッチパネル入力装置１００は、パネル振動音が、周囲音の卓越周波数の音と協和する音となるように、パネル振動の周波数を設定することができる。更に、タッチパネル入力装置１００は、ボタン毎に周波数範囲および周波数デフォルト値を設定することにより、ボタン毎に異なる周波数で、パネル振動を発生させることができる。
　ここで、パネル振動音、卓越周波数、および協和音について説明する。
　＜パネル振動音についての説明＞
　図３は、タッチパネル２２０の構成の一例を模式的に示す図である。
　図３に示すように、タッチパネル２２０は、支持基板２２１と可動板２２２との間に、第１の駆動電極２２３、第２の駆動電極２２４、およびＹ印加側引き出し電極２２５を有する圧電素子２２６を配置している。可動板２２２には、圧電素子２２６毎に、Ｙ印加側引き出し電極２２５に接続する第１のリード線２２７と、第２の駆動電極２２４に接続する第２のリード線２２８とが配線されている。
　図２に示す振動素子２３０で発生した振動は、タッチパネル２２０の可動板２２２に伝搬し、タッチ操作を行っている人の指に伝達する。ところが、この可動板２２２は、その振動により、可動板２２２が面音源となり、上述のパネル振動音が発生する。
　図４は、タッチパネル２２０の振動波形の一例を示す波形図である。図４において、縦軸は振幅［μｍ］を示し、横軸は時間［ｍｓｅｃ］を示す。
　図４に示すように、タッチパネル２２０は、例えば、振幅１０μｍ、周期２.５ｍｓｅｃ（つまり、周波数４００Ｈｚ）の正弦波４１１にて、振動する。この場合、タッチパネル２２０は、当該振動周波数と同一の周波数である４００Ｈｚのパネル振動音を発生する。このようなパネル振動音は、人の可聴域の音であり、上述の通り、操作者や周囲の人に対して不快感を与えるおそれがある。
　そこで、本実施の形態に係るタッチパネル入力装置１００は、上述の通り、パネル振動音と周囲音に存在する卓越周波数の音とが協和音を構成するように、パネル振動の周波数を設定する。
　＜卓越周波数についての説明＞
　本実施の形態において、周囲音の卓越周波数とは、周囲音を聞いた人に当該音の主成分として認識される音の周波数である。
　そこで、図２に示す卓越周波数抽出部３２０は、卓越周波数の条件を定義した卓越周波数条件に基づいて、周囲音に卓越周波数が存在するか否かを判定する。卓越周波数条件は、人間が音程を認識することが可能な音の周波数の範囲内であることを含む。卓越周波数抽出部３２０は、例えば、予め卓越周波数条件を記憶している。
　＜卓越周波数条件＞
　図５は、卓越周波数条件の一例を示す図である。
　図５に示すように、卓越周波数条件４３０は、例えば、「４０ｄＢ以上」という音圧レベル４３１と、「２０Ｈｚ～１０００Ｈｚ」という周波数の範囲４３２とを、卓越周波数の条件として定義している。
　本実施の形態において、このような卓越周波数条件４３０を用いることにより、人の耳に音として聞こえにくいほど小さい音、あるいは、人の耳に聞こえにくい周波数範囲の音は、卓越周波数の抽出対象として取り扱わないようにすることができる。
　協和音とは、完全１度の周波数比、短３度の周波数比、長３度の周波数比、完全４度の周波数比、完全５度、および完全８度の周波数比のいずれかとなるような、複数の音の組み合わせである。また、協和音は、協和音を構成する音を、Ｎオクターブ違い（Ｎは自然数）の音（N octave(s) higher or lower sounds）に入れ替えた場合でも、協和音が構成される。すなわち、上述の周波数比に２の整数乗を乗じまたは除して得られる周波数比も、協和音を構成する２つの音の周波数比である。
　すなわち、音響学的に協和音とは、６以下の２つの自然数の商に等しい周波数比、当該周波数比に２の整数乗を乗じた周波数比、および、６以下の２つの自然数の商に等しい周波数比に２の整数乗で除した周波数比を有する複数の音をいう。但し、このような協和音は、それぞれ固有の許容範囲を有する。本実施の形態において、協和音とは、特に、上述の協和音のうち、当該許容範囲を満たす複数の音の組み合わせを指すものとする。
　例えば、ピアノで「ド」の鍵盤を押したときに、受聴者が「ド」の音として聞こえる場合、この音の周波数は、協和音の周波数比を構成する。なお、「協和音の周波数比」とは、周波数比を平均律の音程に置き換えたときに協和する音程とみなされる周波数比、すなわち、受聴者が協和音として許容可能な周波数比の範囲をいう。
　なお、ピアノで「ド」の鍵盤を押したときに、ピアノの調律が悪くて本来の「ド」の音からは少しずれていても、受聴者には「ド」の音として聞こえる場合がある。また、弦楽器や人の発声で「ド」の高さの音を奏でたときに、ビブラートがかかって本来の「ド」の音のから少し上下した場合に、受聴者には「ド」の音として聞こえる場合がある。本実施の形態において、このようなずれは許容範囲であり、このような音の周波数は、協和音の周波数比を構成する。
　一方で、協和音として周波数比の許容範囲外の音には、ピアノの調律が悪く、ピアノで「ド」の鍵盤を押したときに、別の高さの音として聞こえる場合がある。具体的には、例えば、「ド♯」、「レ」または「シ」、「シ♭」の音として聞こえた場合である。
　なお、このような協和音における周波数比と許容範囲との関係は音響学の当業者には周知であるため（例えば、非特許文献１参照）、ここでの詳細な説明を割愛する。
　また、本実施の形態における「協和音の周波数比」は、上述の通り、１オクターブ内に限られるものではなく、楽器音響学における任意の協和音およびその許容範囲をすべて包含する。
　例えば、ピアノで「ド」の鍵盤と、「ソ」の鍵盤とを、同時に押した場合は、完全５度の協和音が発せられるが、ピアノで「ド」の鍵盤と、１オクターブ上の「ソ」の鍵盤を押した場合も、協和音の範囲内である。更に、ピアノで「ド」の鍵盤と、２オクターブ上の「ソ」の鍵盤が押された場合も、同様に協和音の範囲である。
　協和音は、協和音を構成する個々の音のみに比べて、聞く人に与える不快感を低減する。更に、協和音は、無音の場合に比べて、聞く人に対して心地良さを与え得る。なお、オクターブ違いの音をタッチパネル２２０の振動周波数の候補に含める場合、協和音を広範囲の帯域から得ることができるが、振動周波数の候補が１オクターブ内に収まっているほうが、通常、聞く人に与える心地良さは高い。
　図２に示す協和音判定部３３０は、上述の協和音を形成し得る周波数比（以下「協和音の周波数比」という）を記述した協和音周波数比リストに基づいて、上述の協和音周波数を判定する。協和音判定部３３０は、例えば、予め協和音周波数比リストを記憶している。
　＜協和音周波数比リスト＞
　図６は、協和音周波数比リストの一例を示す図である。
　図６において、協和音周波数比リスト４４０は、ある２つの音が協和音を構成する際の、２つの音の周波数の比をリストにしたものである。図６に示すように、協和音周波数比リスト４４０は、リストの項目として、協和音の度数４４１毎に、度数４４１に対応する周波数比４４２を記述している。協和音周波数比リスト４４０において、度数４４１の記述は必ずしも必要ではない。
　但し、協和音周波数比リスト４４０は、協和音を構成する周波数比のうち、調波の周波数比とは異なる周波数比を、少なくとも１つ記述しているものとする。なお、調波をなす周波数比とは、周波数比１：ｎ（ｎは２の整数乗）である。
　なお、周波数比４４２は、図６に示すように整数比形式で記述されてもよいし、少数形式や分数形式等、他の形式で記述されていてもよい。
　本実施の形態では、このような協和音周波数比リスト４４０を参照し、卓越周波数に協和音の周波数比４４２を乗じる演算を各度数４４１について行うことにより、上述の協和音周波数を高速かつ容易に判定することができる。
　なお、協和音判定部３３０は、判定した協和音のオクターブ違いの周波数を、２のＮ乗を協和音の周波数に乗じることにより求めてもよいし、Ｎビットの左シフト演算により求めてもよい。
　＜各種情報の具体例＞
　次に、振動制御装置３００の動作に先立って、表示画面の一例、座標範囲情報の一例、振動要否情報の一例、領域別周波数情報の一例について説明する。
　＜表示画像＞
　図７は、ディスプレイ２１０に表示される画像の一例を示す平面図である。
　図７に示すように、ディスプレイ２１０には、例えば、メニュー５１０が表示される。メニュー画面５１０は、「Ｍａｉｌ」と記載された第１の操作ボタン５１１、「Ｗｅｂ」と記載された第２の操作ボタン５１２、および「ＳＮＳ」と記載された第３の操作ボタン５１３を備えている。また、メニュー画面５１０は、「Ｃａｍｅｒａ」と記載された第４の操作ボタン５１４、「Ｍｕｓｉｃ」と記載された第５の操作ボタン５１５、「Ｍｅｍｏ」と記載された第６の操作ボタン５１６、および「Ｃａｎｃｅｌ」と記載された第７の操作ボタン５１７を備えている。
　操作者は、タッチパネル２２０のうち、第１～第６の操作ボタン５１１～５１６のうち任意のボタンに対応する領域をタッチする（押下（おうか）する（press down））ことにより、当該任意のボタンに対してタッチ操作を行うことができる。
　例えば、操作者は、メールアプリを起動したい場合、第１の操作ボタン５１１をタッチし、Ｗｅｂアプリを起動したい場合、第２の操作ボタンを押下する。各ボタンは、それぞれ異なる目的の処理に対応付けられているが、ここでは説明を割愛する。
　＜座標範囲情報＞
　図８は、図７に示す表示画像に対応して生成される座標範囲情報の一例を示す図である。座標範囲情報は、上述の通り、ディスプレイ制御部２４０により生成される情報であり、各ボタンの表示位置を示す情報である。
　図８に示すように、座標範囲情報５２０は、領域識別子５２１に対応付けて、Ｘ座標の最小値５２２、Ｙ座標の最小値５２３、Ｘ座標の最大値５２４、およびＹ座標の最大値５２５を記述している。領域識別子５２１は、ディスプレイ２１０に表示される操作部品（ここでは第１～第６の操作ボタン５１１～５１６）を識別する情報である。座標値を示す値５２２～５２５は、操作部品が表示される領域の、ディスプレイ２１０上での座標範囲を示す。
　なお、座標範囲情報５２０における座標範囲の記述の仕方は、上述の例に限定されない。例えば、円形の操作ボタンの座標範囲は、中心点のＸ座標およびＹ座標と半径とにより記述することができる。また、より複雑な形状の操作ボタン座標範囲は、複数の点を結ぶ曲線を表現するデータ構造により記述することができる。また、座標範囲は、Ｚ座標を含むものであってもよい。これにより、例えば、Ｘ座標とＹ座標が所定の範囲に収まった上で指の押圧が所定の値を上回ることを、押下されたと判断する際の条件として用いることが可能となる。
　＜振動要否情報＞
　図９は、振動要否情報の一例を示す図である。振動要否情報は、上述の通り、ディスプレイ制御部２４０により生成される情報であり、各ボタンが要振動ボタンかである否かを示す情報である。
　図９に示すように、振動要否情報５３０は、領域識別子５３１（図８の領域識別子５２１と対応）に対応づけて、振動要否５３２を記述している。振動要否５３２は、要振動ボタンであるか否かを示す。
　ここでは、第１～第６の操作ボタン５１１～５１６の領域識別子５３１に対応付けて、「ＹＥＳ」という振動要否５３２が記述されている。そして、第７の操作ボタン５１７の領域識別子５３１に対応付けて、「ＮＯ」という振動要否５３２が記述されている。これは、第１～第６の操作ボタン５１１～５１６が要振動ボタンであり、第７の操作ボタン５１７が要振動ボタンではないことを示す。
　周波数範囲設定部３１０は、これら座標範囲情報５２０および振動要否情報５３０に基づき、操作ボタンのそれぞれについて、周波数範囲および周波数デフォルト値を設定する。そして、周波数範囲設定部３１０は、設定内容を示す領域別周波数情報を、振動周波数設定部３４０に通知する。
　＜領域別周波数情報＞
　図１０は、領域別周波数情報の一例を示す図である。領域別周波数情報は、上述の通り、周波数範囲設定部３１０により生成される情報であり、各要振動ボタンの周波数範囲および周波数デフォルト値を示す情報である。
　図１０に示すように、領域別周波数情報５４０は、領域識別子５４１（図８の領域識別子５２１と対応）に対応づけて、周波数デフォルト値５４２および誤差許容範囲５４３を記述している。周波数デフォルト値５４２に誤差許容範囲５４３を適用して得られる範囲が、上述の周波数範囲である。
　例えば、第１の操作ボタン５１１の領域識別子５４１に対応付けて、「１４０Ｈｚ」という周波数デフォルト値５４２と、「±１５％」という誤差許容範囲５４３とが記述されている。これは、周波数範囲が、１１９Ｈｚ～１６１Ｈｚであることを示す。また、周波数デフォルト値５４２が、周波数範囲の中央値であることを示す。
　また、第７の操作ボタン５１７の領域識別子５４１に対応付けて、「０Ｈｚ」という周波数デフォルト値５４２と、「０％」という誤差許容範囲５４３とが記述されている。これは、実質的に、周波数デフォルト値および周波数範囲を設定していないことを示す。これは、第７の操作ボタン５１７が、要振動ボタンではないためである。
　このような領域別周波数情報５４０と、上述の座標範囲情報５２０（図８参照）および振動要否情報５３０（図９参照）とが、振動制御装置３００に記憶される。これにより、振動制御装置３００は、いずれかの操作ボタンに対してタッチ操作が行われたときに、その操作ボタンに対応する周波数範囲を、高速かつ容易に特定することができる。
　なお、領域別周波数情報５４０における周波数範囲および周波数デフォルト値の記述の仕方は、上述の例に限定されない。例えば、周波数範囲および周波数デフォルト値は、周波数範囲の最小値および最大値と、周波数デフォルト値を周波数範囲の中央値とする旨とにより、記述することができる。
　＜振動制御装置の動作＞
　次に、タッチパネル入力装置１００の動作のうち、振動制御装置３００の動作について説明する。
　振動制御装置３００は、例えば、ディスプレイ制御部２４０から新たな画像についての操作対象情報を入力される毎に、以下に説明する動作を開始する。この時点で、ディスプレイ２１０には、例えば、メニュー５１０（図７）が表示されている。
　図１１は、振動制御装置の動作の一例を示すフローチャートである。
　まず、ステップＳ１１００において、周波数範囲設定部３１０は、例えば、操作ボタンに対応した操作内容毎に、周波数デフォルト値および周波数範囲を設定する。周波数範囲設定部３１０は、ディスプレイ制御部２４０から入力された操作対象情報に基づき、かかる設定を行う。操作対象情報は、表示画像毎に生成され、座標範囲情報５２０および振動要否情報５３０（図８および図９参照）を含む。
　ステップＳ１２００において、卓越周波数抽出部３２０は、卓越周波数判定処理を行い、ステップＳ１３００へ進む。卓越周波数判定処理は、周囲音に卓越周波数が存在するとき、卓越周波数を判定する処理である。なお、卓越周波数判定処理の詳細については、後述する。
　ステップＳ１３００において、協和音判定部３３０は、周囲音に卓越周波数が存在するか否かを判断する。
　協和音判定部３３０は、例えば、卓越周波数を通知されたか否かにより、周囲音に卓越周波数が存在するか否かを判断することができる。また、卓越周波数抽出部３２０が、卓越周波数の有無を示すフラグを生成する場合、協和音判定部３３０は、このフラグから、周囲音に卓越周波数が存在するか否かを判断することができる。
　協和音判定部３３０は、周囲音に卓越周波数が存在する場合（Ｓ１３００：ＹＥＳ）、ステップＳ１４００へ進む。また、協和音判定部３３０は、周囲音に卓越周波数が存在しない場合（Ｓ１３００：ＮＯ）、後述のステップＳ１５００へ進む。
　ステップＳ１４００において、協和音判定部３３０は、卓越周波数の音と協和する音の周波数を、タッチパネル２２０の振動周波数の候補（以下「振動周波数候補」という）に決定する。
　具体的には、協和音判定部３３０は、図６に示す協和音周波数比リストに記述された各周波数比４４２、および、各周波数比４４２の逆数を、それぞれ、卓越周波数に乗じる。そして、協和音判定部３３０は、その算出結果を、振動周波数候補群として決定し、決定結果を、振動周波数設定部３４０に通知する。
　ステップＳ１５００において、振動周波数設定部３４０は、操作時に振動によるフィードバックを要する操作（以下「要振動操作」という）が行われたか否かを判断する。
　本実施の形態では、要振動ボタンに対するタッチ操作が行われたか否かを判断する。
　具体的には、振動周波数設定部３４０は、タッチパネル検出部２５０からの操作位置情報と、ディスプレイ制御部２４０からの座標範囲情報５２０（図８参照）および振動要否情報５３０（図９参照）とに基づいて、かかる判断を行う。
　すなわち、振動周波数設定部３４０は、タッチ操作の位置が、いずれかの操作ボタンの座標範囲に含まれるか否かを判定し、含まれる場合、該当する操作ボタンに対してタッチ操作が行われたと判断する。そして、振動周波数設定部３４０は、該当するタッチ操作が行われた操作ボタンが、要振動ボタンであるか否かを判定する。
　振動周波数設定部３４０は、要振動操作が行われた場合（Ｓ１５００：ＹＥＳ）、ステップＳ１６００へ進む。また、振動周波数設定部３４０は、要振動操作が行われていない場合（Ｓ１５００：ＮＯ）、後述のステップＳ２１００へ進む。
　ステップＳ１６００において、振動周波数設定部３４０は、周囲音に卓越周波数が存在するか否かを判断する。
　振動周波数設定部３４０は、例えば、振動周波数候補群を通知されたか否かにより、周囲音に卓越周波数が存在するか否かを判断することができる。また、卓越周波数抽出部３２０が、卓越周波数の有無を示すフラグを生成する場合、振動周波数設定部３４０は、このフラグから、周囲音に卓越周波数が存在するか否かを判断することができる。
　振動周波数設定部３４０は、周囲音に卓越周波数が存在する場合（Ｓ１６００：ＹＥＳ）、ステップＳ１７００へ進む。また、振動周波数設定部３４０は、周囲音に卓越周波数が存在しない場合（Ｓ１６００：ＮＯ）、後述のステップＳ１９００へ進む。
　ステップＳ１７００において、振動周波数設定部３４０は、行われた操作の操作内容に対して設定された周波数範囲に、いずれかの振動周波数候補が含まれるか否かを判断する。
　具体的には、振動周波数設定部３４０は、周波数範囲設定部３１０から通知された領域別周波数情報５４０（図１０参照）から、タッチ操作が行われた操作ボタンについての周波数範囲および周波数デフォルト値を取得する。そして、振動周波数設定部３４０は、協和音判定部３３０から通知された振動周波数候補群４６０（図１４参照）に記述された複数の振動周波数候補の中に、取得した周波数範囲に含まれるものが存在するか否かを判断する。
　振動周波数設定部３４０は、周波数範囲に少なくとも一つの振動周波数候補が含まれる場合（Ｓ１７００：ＹＥＳ）、ステップＳ１８００へ進む。また、振動周波数設定部３４０は、周波数範囲に振動周波数候補のいずれもが含まれていない場合（Ｓ１７００：ＮＯ）、後述のステップＳ１９００へ進む。
　ステップＳ１８００において、振動周波数設定部３４０は、周波数範囲に含まれる振動周波数候補の数が１つである場合、当該振動周波数候補を、タッチパネル２２０の振動周波数に決定する。また、振動周波数設定部３４０は、周波数範囲に含まれる振動周波数候補の数が複数である場合、周波数デフォルト値により近い振動周波数候補を、タッチパネル２２０の振動周波数に決定する。
　タッチパネル２２０の振動周波数は、卓越周波数の変化により、設定された周波数範囲内で変化し得る。周波数デフォルト値により近い振動周波数候補を決定することにより、操作ボタンの振動周波数の大きな変化をできるだけ回避することができ、操作者に与える違和感を低減することができる。
　ステップＳ１９００において、振動周波数設定部３４０は、周波数デフォルト値を、タッチパネル２２０の振動周波数に決定する。これは、卓越周波数が存在しないか、タッチ操作が行われた操作ボタンに設定された周波数範囲には協和音が存在しないためである。
　例えば、第５の操作ボタン５１５（図７参照）に対するタッチ操作が行われた場合、周波数範囲は、８００Ｈｚの±１５％の範囲、つまり、６８０Ｈｚ～９２０Ｈｚの範囲である。かかる周波数範囲に含まれる振動周波数候補は、存在しない。したがって、振動周波数設定部３４０は、第５の操作ボタン５１５に設定された周波数デフォルト値である８００Ｈｚを、タッチパネル２２０の振動周波数に決定する。
　なお、振動周波数設定部３４０は、操作ボタンに設定された周波数範囲内でタッチパネル２２０を振動させることよりも、協和音となる周波数で振動させることを優先してもよい。この場合、例えば、振動周波数設定部３４０は、周波数範囲を無視し、周波数デフォルト値に最も近い協和音を、タッチパネル２２０の振動周波数に決定すればよい。
　そして、ステップＳ２０００において、振動周波数設定部３４０は、タッチパネル２２０を、決定した振動周波数で振動させる。具体的には、振動周波数設定部３４０は、決定した振動周波数で振動素子２３０を所定時間振動させることを指示する振動指示信号を、生成する。そして、振動周波数設定部３４０は、生成した振動指示信号を、振動素子制御部２６０へ出力する。
　そして、ステップＳ２１００において、卓越周波数抽出部３２０は、同一の表示画面についての処理を終了するタイミングであるか否かを判断する。同一の表示画面についての処理とは、つまり、ステップＳ１１００で生成された領域別周波数情報５４０（図１０参照）をそのまま用いて振動周波数を決定する処理である。
　卓越周波数抽出部３２０は、同一の表示画面が維持されているなど、同一の表示画面についての処理を終了するタイミングではない場合（Ｓ２１００：ＮＯ）、ステップＳ１２００へ戻る。また、卓越周波数抽出部３２０は、表示画面が切り替わるタイミング、あるいは、画面表示が終了するタイミングなど、同一の表示画面についての処理を終了するタイミングである場合（Ｓ２１００：ＹＥＳ）、一連の処理を終了する。なお、表示画面が、タッチ操作を受け付ける別の画面に切り替わった場合、振動制御装置３００は、ステップＳ１１００から処理を開始することになる。
　＜卓越周波数判定処理＞
　図１２は、卓越周波数判定処理の一例を示すフローチャートである。まず、ステップＳ１２１０において、音データ取得部３１５は、マイクロフォン２７０から、周囲音の音データを取得する。
　そして、ステップＳ１２２０において、卓越周波数抽出部３２０は、取得された音データから、フーリエ変換等のスペクトル変換処理により、音圧レベルの周波数スペクトルを抽出する。
　そして、ステップＳ１２３０において、卓越周波数抽出部３２０は、上述の図５に示す卓越周波数条件４３０を満たす周波数が存在するか否かを判断する。
　卓越周波数抽出部３２０は、卓越周波数条件４３０を満たす周波数が存在する場合（Ｓ１２３０：ＹＥＳ）、ステップＳ１２４０へ進む。また、卓越周波数抽出部３２０は、卓越周波数条件４３０を満たす周波数が存在しない場合（Ｓ１２３０：ＮＯ）、ステップＳ１２５０へ進む。
　ステップＳ１２４０において、卓越周波数抽出部３２０は、周囲音に卓越周波数が存在すると判定し、卓越周波数を抽出して、図１１の処理へ戻る。
　ステップＳ１２４０において、卓越周波数抽出部３２０は、周囲音に卓越周波数が存在しないと判定し、図１１の処理へ戻る。
　＜周囲音の周波数スペクトル＞
　図１３は、マイクロフォン２７０により抽出される周囲音の周波数スペクトルの一例を示す図である。図１３において、横軸は周波数［Ｈｚ］を示し、縦軸は音圧レベル（音の強さ）［ｄＢ］を示す。なお、ここでは、タッチパネル２２０の周囲で、１００Ｈｚの純音に近い比較的大きな周囲音が、６５ｄＢの音圧レベルで鳴っている場合の例を示す。
　図１３に示すように、１００Ｈｚの比較的大きな周囲音が鳴っている場合、周波数スペクトル曲線５５１は、１００Ｈｚ付近で音圧レベルが卓越（predominant）（突出（outstanding））し、６５ｄＢの値となる。このような他の周波数に比べて音圧レベルが突出している周波数の周囲音は、人に聞こえ易い。
　図１３に示す例では、１００Ｈｚの音は、「４０ｄＢ以上」であり、「２０Ｈｚ～１０００Ｈｚ」に含まれるため、図５に示す卓越周波数条件４３０を満たす。したがって、卓越周波数抽出部３２０は、１００Ｈｚの周波数を、卓越周波数として抽出する。
　なお、卓越周波数抽出部３２０は、卓越周波数を抽出する手法として、必ずしも連続的な周波数スペクトルのグラフを用いる必要はなく、周波数と音圧レベルとの組の離散データ（配列）を用いてもよい。また、卓越周波数抽出部３２０は、卓越周波数を抽出する手法として、音圧レベル［ｄＢ］ではなく、音圧（単位なし）など、音の強さを示す他のパラメータを用いてもよい。
　＜振動周波数候補群＞
　図１４は、振動周波数候補群の一例を示す図である。ここでは、卓越周波数として１００Ｈｚが抽出された場合の例を示す。
　図１４に示すように、振動周波数候補群４６０には、例えば、「５０.０Ｈｚ」が含まれている。これは、１００Ｈｚに、完全８度の周波数比１／２を、乗じた結果である。また、振動周波数候補群４６０には、例えば、「２００.０Ｈｚ」が含まれている。これは、１００Ｈｚに、完全８度の周波数比１／２の逆数である２を、乗じた結果である。
　＜振動周波数の決定＞
　図１５は、振動周波数の決定の様子の一例を示す図である。ここでは、第１の操作ボタン５１１（図７参照）に対するタッチ操作が行われた場合を示す。
　図１５に示すように、領域別周波数情報５４０（図１０参照）によると、第１の操作ボタン５１１に設定された周波数範囲は、１４０Ｈｚの±１５％の範囲、つまり、１１９Ｈｚ～１６１Ｈｚの範囲である。かかる周波数範囲に含まれる振動周波数候補は、振動周波数候補群４６０（図１４参照）によると、５個存在する。そして、これら５個の振動周波数候補の中で、周波数デフォルト値である１４０Ｈｚに最も近いのは、「１３３.３Ｈｚ」である。
　したがって、振動周波数設定部３４０は、１３３.３Ｈｚを、タッチパネル２２０の振動周波数に決定する。
　なお、以上の説明において、他の装置部へ通知されると説明された各種情報は、かかる他の装置部から参照可能なメモリに格納されることにより、間接的に授受されるようにしてもよい。また、逆に、他の装置部から参照可能なメモリに格納されると説明された各種情報は、他の装置部へ直接的に通知されるようにしてもよい。
　＜まとめ＞
　以上説明したように、本実施の形態に係るタッチパネル入力装置１００は、振動制御装置３００において、パネル振動音が、周囲音に存在する卓越周波数の音と協和する音となるように、タッチ操作の際のパネル振動の周波数を設定する。
　これにより、本実施の形態に係るタッチパネル入力装置１００は、タッチパネル２２０の振動周波数を、タッチ操作の操作感が十分に得られるような帯域に留めつつ、かつ、パネル振動音による耳障りな不快感（annoying discomfort）を軽減することができる。しかも、本実施の形態に係るタッチパネル入力装置１００は、高周波数の音を別途発生させる必要がない。すなわち、本実施の形態に係るタッチパネル入力装置１００は、タッチ操作に同期して振動するタッチパネルの使用において、パネル振動音による不快感の低減と、タッチパネルのタッチ操作の操作感の維持とを両立させることができる。
　なお、卓越周波数条件は、図５で説明した例に限定されない。
　図１６は、卓越周波数条件の他の例を示す図であり、図５に対応するものである。
　図１６に示すように、卓越周波数条件４３０ａは、例えば、「５００ｍｓｅｃ」という継続時間の下限４３３と、「±５％以内」という周波数の許容誤差４３４とを、卓越周波数の条件として定義している。
　「５００ｍｓｅｃ」という継続時間は、人間が音程を認識することが可能な音の長さの最小継続時間に相当する。また、「±５％以内」という周波数の許容誤差４３４は、半音に相当する。半音とは、鍵盤で隣り合う音の間の音程の差異のことである。半音は、周波数比に換算すると、例えば、１６対１７、１７対１８、１８対１９、１９対２０となる。半音に収まっていない音は、１つの音程の音として認識され難い。
　卓越周波数抽出部３２０は、例えば、図５に示す卓越周波数条件４３０と併せて、図１６に示す卓越周波数条件４３０ａを用いて、卓越周波数を抽出することもできる。すなわち、卓越周波数抽出部３２０は、卓越周波数が安定していない場合、当該卓越周波数を卓越周波数として取り扱わないようにすることもできる。
　具体的には、以下の通りである。まず、卓越周波数抽出部３２０は、継続時間の下限４３３の期間中、複数回、卓越周波数の抽出処理を行う。例えば、卓越周波数抽出部３２０は、１００ｍｓｅｃ毎に定期的に卓越周波数の抽出処理を行う。この場合、卓越周波数抽出部３２０は、継続時間の下限４３３の５００ｍｓｅｃの間に、５回分の卓越周波数を抽出する。卓越周波数抽出部３２０は、この複数回抽出された卓越周波数の最大値および最小値を求める。そして、卓越周波数抽出部３２０は、求めた卓越周波数の最小値および最大値が、周波数の許容誤差４３４の範囲内に含まれている場合、卓越周波数が安定していると判断する。また、卓越周波数抽出部３２０は、求めた卓越周波数の最小値および最大値の少なくとも一方が、周波数の許容誤差４３４の範囲内に含まれていない場合、卓越周波数が安定していないと判断する。
　これにより、卓越周波数抽出部３２０は、所定の帯域幅を超えない帯域幅で音圧が所定のレベル以上となる音であること、および、所定の時間長さ以上継続して音圧が所定のレベル以上となる音であることを、卓越周波数の条件に加えることができる。
　協和音を構成することができる音は、人間が音程を認識することが可能な音である。音圧が所定のレベル以上となっている音の帯域幅が半音を超えている場合、１つの音程の音として認識され難い。また、継続時間が非常に短い音は、音程を認識することは難しい。１つの音程の音として認識され難い音は、協和音を構成し難い。したがって、卓越周波数抽出部３２０は、このような卓越周波数条件４３０ａを用いることにより、音の帯域幅が広い音あるいは非常に短い音など、１つの音程の音として認識され難い音の周波数を、卓越周波数として取り扱わないようにすることができる。
　本開示の振動制御装置は、タッチ操作に同期して振動するタッチパネルに対して用いられる振動制御装置であって、タッチパネルの周囲音の音データを取得する音データ取得部と、取得された音データから、周囲音の卓越周波数を抽出する卓越周波数抽出部と、抽出された卓越周波数の音と協和する音の周波数である協和音周波数を判定する協和音判定部と、タッチパネルの振動の周波数を、判定された協和音周波数に設定する振動周波数設定部と、を有する。
　また、上記振動制御装置において、振動周波数設定部は、予め設定された周波数範囲内に協和音周波数が含まれるか否かを判断し、上記周波数範囲内に協和音周波数が含まれるとき、タッチパネルの振動の周波数を協和音周波数に設定し、上記周波数範囲内に協和音周波数が含まれないとき、振動の周波数を上記周波数範囲内に含まれる周波数であって予め設定された値である周波数デフォルト値に設定してもよい。
　また、上記振動制御装置において、上記周波数範囲は、タッチパネルの振動の周波数を当該周波数範囲内に設定したとき、タッチ操作の操作感が得られるような周波数範囲であってもよい。
　また、上記振動制御装置において、卓越周波数抽出部は、周囲音に卓越周波数が存在するか否かを判断し、振動周波数設定部は、周囲音に卓越周波数が存在しないとき記振動の周波数を周波数デフォルト値に設定してもよい。
　また、上記振動制御装置において、卓越周波数抽出部は、卓越周波数の条件を定義した卓越周波数条件に基づいて、周囲音に卓越周波数が存在するか否かを判定し、卓越周波数条件は、人間が音程を認識することが可能な音の周波数の範囲内であることを含んでもよい。
　また、上記振動制御装置において、卓越周波数条件は、所定の帯域幅を超えない帯域幅で音圧が所定のレベル以上となっている音の周波数であること、および、所定の時間長さ以上継続して音圧が所定のレベル以上となっている音の周波数であること、のうち少なくとも１つを含んでもよい。
　また、上記振動制御装置において、協和音判定部は、抽出された卓越周波数に、協和音を構成する２つの音の間の周波数比を乗じて得られる値を、協和音周波数として判定してもよい。
　また、上記振動制御装置において、協和音を構成する２つの音の間の周波数比は、完全１度の周波数比、短３度の周波数比、長３度の周波数比、完全４度の周波数比、完全５度の周波数比、完全８度の周波数比、および、これらの周波数比の各々に２の整数乗を乗じまたは除して得られる周波数比、のうち、少なくとも１つを含んでもよい。
　また、上記振動制御装置は、タッチ操作により入力可能な操作内容を取得し、取得した操作内容に対して、上記周波数範囲および周波数デフォルト値を設定する周波数範囲設定部、を更に有し、周波数範囲設定部は、複数の操作内容に対して、異なる周波数範囲および異なる周波数デフォルト値を設定してもよい。
　本開示のタッチパネル入力装置は、タッチ操作を受け付けるタッチパネルと、タッチ操作に同期してタッチパネルに振動を発生させる振動発生部と、タッチパネルの周囲音の音データを取得する音データ取得部と、取得された音データから、周囲音の卓越周波数を抽出する卓越周波数抽出部と、抽出された卓越周波数の音と協和する音の周波数である協和音周波数を判定する協和音判定部と、振動の周波数を、判定された協和音周波数に設定する振動周波数設定部と、を有する。
　本開示の振動制御方法は、タッチ操作に同期して振動するタッチパネルに対して用いられる振動制御方法であって、タッチパネルの周囲音の音データを取得するステップと、取得された音データから、周囲音の卓越周波数を抽出するステップと、抽出された卓越周波数の音と協和する音の周波数である協和音周波数を判定するステップと、タッチパネルの振動の周波数を、判定された協和音周波数に設定するステップと、を有する。
　本発明は、タッチ操作に同期して振動するタッチパネルの使用において、パネル振動音による不快感の低減と、タッチ操作の操作感の維持とを両立させることができる振動制御装置、タッチパネル入力装置、および振動制御方法として有用である。本発明は、例えば、スマートフォン、タブレット端末、カーナビゲーション、冷蔵庫、電子レンジ、コピー機等の電子機器に好適である。
　１００　タッチパネル入力装置
　２１０　ディスプレイ
　２２０　タッチパネル
　２３０　振動素子
　２４０　ディスプレイ制御部
　２５０　タッチパネル検出部
　２６０　振動素子制御部
　２７０　マイクロフォン
　３００　振動制御装置
　３１０　周波数範囲設定部
　３１５　音データ取得部
　３２０　卓越周波数抽出部
　３３０　協和音判定部
　３４０　振動周波数設定部

Claims (11)

  1. 　タッチ操作に同期して振動するタッチパネルに対して用いられる振動制御装置であって、
    　前記タッチパネルの周囲音の音データを取得する音データ取得部と、
    　取得された前記音データから、前記周囲音の卓越周波数を抽出する卓越周波数抽出部と、
    　抽出された前記卓越周波数の音と協和する音の周波数である協和音周波数を判定する協和音判定部と、
    　前記タッチパネルの振動の周波数を、判定された前記協和音周波数に設定する振動周波数設定部と、を有する、
    　振動制御装置。
  2. 　前記振動周波数設定部は、
    　予め設定された周波数範囲に前記協和音周波数が含まれるか否かを判断し、前記周波数範囲に前記協和音周波数が含まれるとき、前記振動の周波数を前記協和音周波数に設定し、前記周波数範囲に前記協和音周波数が含まれないとき、前記振動の周波数を前記周波数範囲に含まれる周波数であって予め設定された値である周波数デフォルト値に設定する、
    　請求項１に記載の振動制御装置。
  3. 　前記周波数範囲は、前記タッチパネルの振動を当該周波数範囲内に設定したときに、前記タッチ操作の操作感が得られるような周波数範囲である、
    　請求項２に記載の振動制御装置。
  4. 　前記卓越周波数抽出部は、前記周囲音に前記卓越周波数が存在するか否かを判断し、
    　前記振動周波数設定部は、前記周囲音に前記卓越周波数が存在しないとき、前記タッチパネルの振動の周波数を前記周波数デフォルト値に設定する、
    　請求項２に記載の振動制御装置。
  5. 　前記卓越周波数抽出部は、卓越周波数の条件を定義した卓越周波数条件に基づいて、前記周囲音に前記卓越周波数が存在するか否かを判定し、
    　前記卓越周波数条件は、前記卓越周波数が、人間が音程を認識することが可能な音の周波数の範囲内であることを含む、
    　請求項４に記載の振動制御装置。
  6. 　前記卓越周波数条件は、前記卓越周波数が、所定の周波数帯域幅を超えない周波数帯域幅内で音圧が所定のレベル以上となる音の周波数であること、および、所定の時間長さ以上継続して音圧が所定のレベル以上となる音の周波数であること、のうち少なくとも１つを含む、
    　請求項５に記載の振動制御装置。
  7. 　前記協和音判定部は、抽出された前記卓越周波数に、協和音を構成する２つの音の間の周波数比を乗じて得られる値を、前記協和音周波数として判定する、
    　請求項１に記載の振動制御装置。
  8. 　前記協和音を構成する２つの音の間の周波数比は、完全１度の周波数比、短３度の周波数比、長３度の周波数比、完全４度の周波数比、完全５度の周波数比、完全８度の周波数比、および、これらの周波数比の各々に２の整数乗を乗じまたは除して得られる周波数比のうち、少なくとも１つを含む、
    　請求項７に記載の振動制御装置。
  9. 　前記タッチ操作により入力可能な操作内容を取得し、取得した前記操作内容に対して、前記周波数範囲および前記周波数デフォルト値を設定する周波数範囲設定部、を更に有し、
    　前記周波数範囲設定部は、
    　複数の前記操作内容に対して、異なる前記周波数範囲および異なる前記周波数デフォルト値を設定する、
    　請求項２に記載の振動制御装置。
  10. 　タッチ操作を受け付けるタッチパネルと、
    　前記タッチ操作に同期して前記タッチパネルに振動を発生させる振動発生部と、
    　前記タッチパネルの周囲音の音データを取得する音データ取得部と、
    　取得された前記音データから、前記周囲音の卓越周波数を抽出する卓越周波数抽出部と、
    　抽出された前記卓越周波数の音と協和する音の周波数である協和音周波数を判定する協和音判定部と、
    　前記タッチパネルの振動の周波数を、判定された前記協和音周波数に設定する振動周波数設定部と、を有する、
    　タッチパネル入力装置。
  11. 　タッチ操作に同期して振動するタッチパネルに対して用いられる振動制御方法であって、
    　前記タッチパネルの周囲音の音データを取得するステップと、
    　取得された前記音データから、前記周囲音の卓越周波数を抽出するステップと、
    　抽出された前記卓越周波数の音と協和する音の周波数である協和音周波数を判定するステップと、
    　前記タッチパネルの振動の周波数を、判定された前記協和音周波数に設定するステップと、を有する、
    　振動制御方法。
PCT/JP2013/007396 2012-12-21 2013-12-17 振動制御装置、タッチパネル入力装置、および振動制御方法 Ceased WO2014097611A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380053600.8A CN104885040B (zh) 2012-12-21 2013-12-17 振动控制装置、触摸面板输入装置以及振动控制方法
US14/737,726 US9874955B2 (en) 2012-12-21 2015-06-12 Vibration control device, touch panel input apparatus, and vibration control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012279743A JP2014123292A (ja) 2012-12-21 2012-12-21 振動制御装置、タッチパネル入力装置、および振動制御方法
JP2012-279743 2012-12-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/737,726 Continuation US9874955B2 (en) 2012-12-21 2015-06-12 Vibration control device, touch panel input apparatus, and vibration control method

Publications (1)

Publication Number Publication Date
WO2014097611A1 true WO2014097611A1 (ja) 2014-06-26

Family

ID=50977973

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/007396 Ceased WO2014097611A1 (ja) 2012-12-21 2013-12-17 振動制御装置、タッチパネル入力装置、および振動制御方法

Country Status (4)

Country Link
US (1) US9874955B2 (ja)
JP (1) JP2014123292A (ja)
CN (1) CN104885040B (ja)
WO (1) WO2014097611A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657136A (zh) * 2014-11-13 2016-06-08 东莞宇龙通信科技有限公司 一种基于环境改变马达振动频率的方法、装置及移动终端

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6442252B2 (ja) * 2014-11-28 2018-12-19 株式会社日立製作所 磁気共鳴イメージング装置
EP3401760B1 (en) * 2016-01-08 2020-11-25 Fujitsu Limited Electronic device and drive control method for electronic device
JP6875970B2 (ja) * 2017-09-27 2021-05-26 株式会社東海理化電機製作所 駆動制御装置
CN110289844B (zh) 2018-03-19 2021-01-29 华为技术有限公司 触压按键组件、振动传感器组件和电子设备
JP7049904B2 (ja) * 2018-05-01 2022-04-07 パイオニア株式会社 振動制御装置
WO2020258328A1 (zh) * 2019-06-28 2020-12-30 瑞声声学科技(深圳)有限公司 一种马达振动方法、装置、系统及可读介质
CN112212968B (zh) * 2020-09-15 2023-03-17 深圳传世生物医疗有限公司 一种混匀抓杯手的振动检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01128072A (ja) * 1987-11-12 1989-05-19 Mita Ind Co Ltd 画像形成装置の不快音除去装置
JPH11192276A (ja) * 1997-12-26 1999-07-21 Onkyo Corp 振動マッサージ装置
JP2003016502A (ja) * 2001-06-27 2003-01-17 Oki Electric Ind Co Ltd 自動取引装置
JP2003122507A (ja) * 2001-10-10 2003-04-25 Smk Corp タッチパネル入力装置
JP2008130055A (ja) * 2006-11-27 2008-06-05 Sony Corp タッチパネルディスプレイ装置および駆動方法並びに電子機器
JP2012230534A (ja) * 2011-04-26 2012-11-22 Nikon Corp 電子機器および電子機器の制御プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006079136A (ja) 2004-09-06 2006-03-23 Fujitsu Component Ltd 触覚提示装置
JP4716422B2 (ja) * 2006-01-19 2011-07-06 株式会社河合楽器製作所 共鳴音発生装置
KR101030389B1 (ko) * 2008-12-17 2011-04-20 삼성전자주식회사 휴대용 단말기의 햅틱 기능 제어 방법
JP5577732B2 (ja) * 2010-02-17 2014-08-27 ソニー株式会社 情報処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01128072A (ja) * 1987-11-12 1989-05-19 Mita Ind Co Ltd 画像形成装置の不快音除去装置
JPH11192276A (ja) * 1997-12-26 1999-07-21 Onkyo Corp 振動マッサージ装置
JP2003016502A (ja) * 2001-06-27 2003-01-17 Oki Electric Ind Co Ltd 自動取引装置
JP2003122507A (ja) * 2001-10-10 2003-04-25 Smk Corp タッチパネル入力装置
JP2008130055A (ja) * 2006-11-27 2008-06-05 Sony Corp タッチパネルディスプレイ装置および駆動方法並びに電子機器
JP2012230534A (ja) * 2011-04-26 2012-11-22 Nikon Corp 電子機器および電子機器の制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657136A (zh) * 2014-11-13 2016-06-08 东莞宇龙通信科技有限公司 一种基于环境改变马达振动频率的方法、装置及移动终端

Also Published As

Publication number Publication date
US9874955B2 (en) 2018-01-23
JP2014123292A (ja) 2014-07-03
CN104885040A (zh) 2015-09-02
US20150277612A1 (en) 2015-10-01
CN104885040B (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
US9874955B2 (en) Vibration control device, touch panel input apparatus, and vibration control method
KR102554444B1 (ko) 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
JP6112458B2 (ja) 触感呈示装置および触感呈示方法
JP7095246B2 (ja) 電子楽器、その制御方法及び制御プログラム
KR20120092584A (ko) 클릭 느낌을 시뮬레이션하는 햅틱 피드백을 생성하는 터치 감지 디바이스
WO2020059245A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP5541072B2 (ja) 楽音信号処理装置及びプログラム
US9823761B2 (en) Vibration control device, electronic apparatus, and vibration control method
JP6920102B2 (ja) 制御装置、入力システムおよび制御方法
JP5879682B2 (ja) 音声合成装置及びプログラム
CN112969409B (zh) 用于认知障碍筛查和治疗的纯音频干扰训练
Berdahl et al. Force-feedback instruments for the laptop orchestra of louisiana
JP2021060572A (ja) 楽音入力装置、操作子の配置方法、楽譜の作成方法、楽譜、楽譜教示装置、入力装置、楽音入力方法、楽譜教示方法、及び入力方法
JP6904222B2 (ja) 駆動制御装置、電子機器、及び、駆動制御方法
JP2013195965A (ja) 携帯情報機器及びプログラム
JP6358554B2 (ja) 楽音制御装置、楽音制御方法およびプログラム
JP2013161040A (ja) 譜面作成装置、譜面作成方法、プログラムおよび記録媒体
JP5056078B2 (ja) 電子鍵盤楽器およびその制御方法を実現するためのプログラム
Sun et al. Lyricon (Lyrics+ Earcons) improves identification of auditory cues
JPWO2008139550A1 (ja) 入力インタフェース装置
JP6634897B2 (ja) 歌詞生成装置および歌詞生成方法
WO2024217204A1 (zh) 触觉反馈方法及装置
JP6782491B2 (ja) 楽音発生装置、楽音発生方法およびプログラム
JP2025077206A (ja) 楽音入力装置、演奏状態表示装置、楽譜、演奏教示装置、楽音入力方法、演奏状態表示方法、演奏教示方法、プログラム及び記録媒体
WO2023119483A1 (ja) 触覚提示装置、ディスプレイ装置、データ端末装置、および触覚提示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13866426

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13866426

Country of ref document: EP

Kind code of ref document: A1