WO2016148120A1 - 情報受付システム、記録媒体および情報入力方法 - Google Patents

情報受付システム、記録媒体および情報入力方法 Download PDF

Info

Publication number
WO2016148120A1
WO2016148120A1 PCT/JP2016/058063 JP2016058063W WO2016148120A1 WO 2016148120 A1 WO2016148120 A1 WO 2016148120A1 JP 2016058063 W JP2016058063 W JP 2016058063W WO 2016148120 A1 WO2016148120 A1 WO 2016148120A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
observation
candidate
vibration
reception system
Prior art date
Application number
PCT/JP2016/058063
Other languages
English (en)
French (fr)
Inventor
基康 田中
松谷 隆司
正育 山本
雄基 原口
菅原 英男
川本 育郎
基希 拝師
信行 古園井
Original Assignee
株式会社メガチップス
日東電工株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015052757A external-priority patent/JP6543054B2/ja
Priority claimed from JP2015052758A external-priority patent/JP6543055B2/ja
Application filed by 株式会社メガチップス, 日東電工株式会社 filed Critical 株式会社メガチップス
Publication of WO2016148120A1 publication Critical patent/WO2016148120A1/ja
Priority to US15/705,465 priority Critical patent/US10474292B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0433Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which the acoustic waves are either generated by a movable member and propagated within a surface layer or propagated within a surface layer and captured by a movable member
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00Instruments in which the tones are generated by electromechanical means
    • G10H3/12Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/14Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means
    • G10H3/143Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means characterised by the use of a piezoelectric or magneto-strictive transducer
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00Instruments in which the tones are generated by electromechanical means
    • G10H3/12Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/14Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means
    • G10H3/146Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means using a membrane, e.g. a drum; Pick-up means for vibrating surfaces, e.g. housing of an instrument
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/395Special musical scales, i.e. other than the 12- interval equally tempered scale; Special input devices therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/461Transducers, i.e. details, positioning or use of assemblies to detect and convert mechanical vibrations or mechanical strains into an electrical signal, e.g. audio, trigger or control signal
    • G10H2220/525Piezoelectric transducers for vibration sensing or vibration excitation in the audio range; Piezoelectric strain sensing, e.g. as key velocity sensor; Piezoelectric actuators, e.g. key actuation in response to a control voltage
    • G10H2220/531Piezoelectric transducers for vibration sensing or vibration excitation in the audio range; Piezoelectric strain sensing, e.g. as key velocity sensor; Piezoelectric actuators, e.g. key actuation in response to a control voltage made of piezoelectric film
    • G10H2220/535Piezoelectric polymer transducers, e.g. made of stretched and poled polyvinylidene difluoride [PVDF] sheets in which the molecular chains of vinylidene fluoride CH2-CF2 have been oriented in a preferential direction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/461Transducers, i.e. details, positioning or use of assemblies to detect and convert mechanical vibrations or mechanical strains into an electrical signal, e.g. audio, trigger or control signal
    • G10H2220/525Piezoelectric transducers for vibration sensing or vibration excitation in the audio range; Piezoelectric strain sensing, e.g. as key velocity sensor; Piezoelectric actuators, e.g. key actuation in response to a control voltage
    • G10H2220/541Piezoelectric transducers for vibration sensing or vibration excitation in the audio range; Piezoelectric strain sensing, e.g. as key velocity sensor; Piezoelectric actuators, e.g. key actuation in response to a control voltage using piezoceramics, e.g. lead titanate [PbTiO3], zinc oxide [Zn2 O3], lithium niobate [LiNbO3], sodium tungstate [NaWO3], bismuth ferrite [BiFeO3]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/141Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process

Definitions

  • the present invention relates to a technique for identifying information desired by a user from vibrations generated according to a user's operation from a plurality of stored information.
  • Patent Document 1 it is assumed that an operation by the user is performed when a designated operation sound (air vibration) generated by the user is detected, and the user's desired operation is based on image information obtained by capturing the operation.
  • a designated operation sound air vibration
  • Patent Document 1 has a problem that the designated operation sound generated by the user is used only to determine whether or not the user has performed an operation. That is, in the technique described in Patent Document 1, it is necessary to specify which information the user wants among a plurality of pieces of information based on image information obtained by capturing an operation, and sound observation In addition, there is a problem that acquisition (imaging) of image information is essential.
  • the invention of claim 1 is an information receiving system that receives input information in response to a user's operation, and has an operation surface that is adjusted so as to generate a characteristic index vibration by contact with an object.
  • Observation means for acquiring observation results as observation information while observing actual vibrations generated in the surrounding environment, storage means for storing candidate information that is candidates for the input information in association with the index vibration, and formed operation means And the existence of the index vibration in the observation information acquired by the observation means, and when it is determined that the index vibration exists, candidate information associated with the index vibration is selected as the input information Selecting means.
  • the invention of claim 2 is the information reception system according to the invention of claim 1, wherein the index vibration is vibration generated when an object is moved while being in contact with the operation surface.
  • the invention of claim 3 is the information receiving system according to the invention of claim 1, wherein the candidate information stored in association with the indicator vibration in the storage means is associated with different auxiliary information. Including a plurality of candidate information, and when the selection means determines that the index vibration is present, acquires the auxiliary information based on the observation information acquired by the observation means, and according to the acquired auxiliary information, Candidate information associated with the index vibration is selected as the input information.
  • the invention of claim 4 is the information reception system according to the invention of claim 3, wherein the auxiliary information includes information related to an operation time of the user with respect to the operation surface.
  • the invention of claim 5 is the information receiving system according to the invention of claim 3, wherein the auxiliary information includes information related to the number of times the user operates the operation surface.
  • the invention of claim 6 is the information reception system according to the invention of claim 3, wherein the auxiliary information includes information on an operation intensity of the user with respect to the operation surface.
  • the invention according to claim 7 is the information reception system according to the invention of claim 3, wherein the auxiliary information includes information on the operation position of the user on the operation surface.
  • the invention of claim 8 is the information receiving system according to the invention of claim 7, comprising a plurality of the observation means having different positional relationships with respect to the operation surface, and the selection means comprises the plurality of observation means By comparing the observation information acquired every time, the information regarding the operation position of the user on the operation surface is acquired as auxiliary information.
  • the invention of claim 9 is the information reception system according to the invention of claim 7, wherein the auxiliary information includes information related to a user's operation distance on the operation surface.
  • the invention of claim 10 is the information receiving system according to the invention of claim 7, wherein the auxiliary information includes information related to the operation speed of the user on the operation surface.
  • the invention of claim 11 is the information reception system according to the invention of claim 7, wherein the auxiliary information includes information related to a user's operation direction on the operation surface.
  • the invention of claim 12 is the information receiving system according to the invention of claim 1, comprising a plurality of the observation means having different positional relationships with respect to the operation surface, and the selection means comprises the plurality of observation means The presence or absence of the index vibration is determined based on a plurality of pieces of observation information acquired by each of the above.
  • the invention according to claim 13 is the information receiving system according to the invention of claim 1, wherein the index vibration includes a first index vibration generated when the object is moved in a first direction, and the object Vibration that is generated when moving in a second direction different from one direction, and includes a second index vibration different from the first index vibration, and the storage means is a first candidate corresponding to the first index vibration Information and second candidate information that is candidate information corresponding to the second index vibration and is different from the first information, and the selection means is configured to store the first index vibration when the first index vibration exists. Candidate information is selected, and when the second index vibration is present, the second candidate information is selected.
  • the invention according to claim 14 is the information receiving system according to the invention of claim 1, wherein the operation means is adjusted so as to generate a characteristic third index vibration by contact of an object as the operation surface.
  • a first operation surface, and a second operation surface adjusted to generate a unique fourth index vibration different from the third index vibration by contact with an object, and the storage means corresponds to the third index vibration
  • Third candidate information to be stored and candidate information corresponding to the fourth index vibration and fourth candidate information different from the third candidate information
  • the selection means includes the third index vibration.
  • the third candidate information is selected, and the fourth candidate information is selected when the fourth index vibration is present.
  • the invention of claim 15 is the information receiving system according to the invention of claim 1, wherein the operation surface is adjusted so as to generate different characteristic index vibrations depending on the position on the operation surface.
  • the invention of claim 16 is the information reception system according to the invention of claim 1, wherein the observation means observes the sound generated in the surrounding environment as the actual vibration.
  • the invention according to claim 17 is an information receiving system for receiving input information in accordance with a user's operation, wherein an operation surface adjusted to generate a unique first scale when rubbed with an object is formed.
  • a first operation target member and an information receiving device wherein the information receiving device stores first candidate information that is a candidate for the input information in association with the first musical scale, and a surrounding environment.
  • the invention of claim 18 is the information receiving system according to the invention of claim 17, wherein the first operation target member is detachable from the information receiving apparatus.
  • the invention according to claim 19 is the information receiving system according to the invention of claim 18, wherein the first operation target member is formed with a pasting surface different from the operation surface, and the first operation target member In addition to being able to affix the affixing surface to the information receiving device, it is possible to peel off the affixing surface in a state of being affixed to the information receiving device from the information receiving device.
  • the invention of claim 20 is the information reception system according to the invention of claim 19, wherein the first operation target member includes a portion formed of a transparent material that transmits light.
  • the invention of claim 21 is the information reception system according to the invention of claim 18, wherein the first operation target member constitutes a storage member for storing the information reception device.
  • the invention according to claim 22 is the information reception system according to the invention of claim 17, wherein the operation is adjusted so as to produce a specific second scale different from the first scale when rubbed with an object.
  • a second operation target member having a surface formed thereon wherein the storage means stores second candidate information that is a candidate for the input information in association with the second scale, and the selection means is controlled by the observation means. Whether the second musical scale exists in the obtained observation information is determined, and when it is determined that the second musical scale exists, second candidate information associated with the second musical scale is selected as the input information.
  • the invention according to claim 23 is the information reception system according to the invention of claim 17, wherein the first scale includes a specific partial scale, and the storage means is a third candidate for the input information.
  • Candidate information is stored in association with the partial scale, and the selection means determines whether or not the partial scale exists in the observation information acquired by the observation means, and when determining that the partial scale exists, Third candidate information associated with a musical scale is selected as the input information.
  • the invention according to claim 24 is the information reception system according to the invention of claim 23, wherein the selection means determines whether or not the first scale is present in the observation information acquired by the observation means, and When it is determined that the first scale exists, the first selection means for selecting the first candidate information associated with the first scale as the input information, and the partial scale in the observation information acquired by the observation means And the second selection means for selecting, as the input information, the third candidate information associated with the partial scale when it is determined that the partial scale exists.
  • the invention of claim 25 is a recording medium recording a computer-readable program comprising an operation means having an operation surface adjusted so as to generate a characteristic index vibration by contact with an object, Execution of the program by the computer is performed by causing the computer to store candidate information as candidates for the input information in the storage means in association with the index vibration, while observing actual vibrations occurring in the surrounding environment by the observation means.
  • the step of acquiring the observation result as observation information and the presence / absence of the index vibration in the observation information acquired by the observation means are determined, and when it is determined that the index vibration exists, the correlation is associated with the index vibration
  • the invention of claim 26 is a recording medium recording a computer-readable program comprising a first operation target member on which an operation surface adjusted so as to generate a characteristic index vibration by contact with an object is formed.
  • the computer executes the program, the computer stores the first candidate information as the input information candidate in the storage means in association with the first scale, and observes sound generated in the surrounding environment. While observing with the means, obtaining the observation result as observation information, and determining whether the first scale in the observation information acquired by the observation means, and determining that the first scale exists, Selecting the first candidate information associated with the first scale as the input information.
  • the invention according to claim 27 is an information input method in which input information is input by a user operating an operation surface adjusted so as to generate a characteristic index vibration by contact with an object, the input information candidate Storing candidate information to be associated with the index vibration in the storage means, observing actual vibrations occurring in the surrounding environment by the observation means, obtaining observation results as observation information, and the obtained observation Determining whether the index vibration exists in the information, and selecting candidate information associated with the index vibration as the input information when it is determined that the index vibration exists.
  • the invention according to claim 28 is an information input method in which input information is input by a user operating an operation surface adjusted so as to generate a characteristic index vibration by contact of an object, the input information candidate Storing the first candidate information in association with the first musical scale in the storage means, observing the sound generated in the surrounding environment by the observation means, and obtaining the observation result as observation information, Determining whether or not the first musical scale exists in the observation information, and selecting the first candidate information associated with the first musical scale as the input information when it is determined that the first musical scale exists. .
  • the presence or absence of the index vibration in the observed observation information is obtained by inputting using the operation surface adjusted so as to generate the characteristic index vibration due to the contact of the object.
  • the accuracy of judgment is improved.
  • when inputting using the actual vibration generated according to the user's operation it is possible to input without taking an image.
  • the invention according to any one of claims 17 to 24, 26, and 28 rubs the first operation target member formed with the operation surface adjusted so as to generate a unique first scale when rubbed with an object, While observing sound generated in the environment, the observation result is acquired as observation information, and the presence or absence of the first scale in the acquired observation information is determined, and when it is determined that the first scale exists, The associated first candidate information is selected as input information.
  • the operation surface adjusted intentionally the accuracy of the presence / absence determination of the first scale in the observed observation information is improved.
  • the user can enjoy the user operation itself by determining whether or not the user has performed an operation based on whether or not the first musical scale has been generated.
  • Information receiving device 4 Information receiving system 10
  • 70 CPU DESCRIPTION OF SYMBOLS 100 Selection part 11,71 Storage device 110,210,310,710,780 Program 111,211,311,711,790 Database 112,115,116,117,118,712,780 Observation information 113 Auxiliary information 114,713 792 Input information 12, 73 Display unit 13, 75 Speaker 15, 16, 17, 18, 74 Microphone 19, 29, 39, 72 Operation unit 190, 290, 390, 391, 50, 60 Operation surface 191, 192, 500, 501, 503, 504, 505, 506, 507, 508, 509, 600, 602, 603, 604, 605, 606, 607, 608, 609 region 5 first operation target member 51 affixing surface 6 second operation target Member 700 First selection unit 701 Execution unit 76 Communication unit 77 MP 770 Second selection unit 771 Interface unit 78 ROM 79 RAM
  • FIG. 1 is a diagram showing an information receiving apparatus 1 in a preferred embodiment.
  • the information reception device 1 includes four microphones 15, 16, 17, and 18 having different installation positions in the information reception device 1, and the surface of the housing forms an operation surface 190.
  • the areas 191 and 192 indicate areas defined in the operation surface 190.
  • the structure and function of the operation surface 190 will be described later.
  • the information receiving apparatus 1 is configured as an apparatus that receives information (information desired by the user) such as commands and parameters for realizing the operation desired by the user when realizing the operation desired by the user.
  • FIG. 2 is a block diagram of the information receiving apparatus 1 in the preferred embodiment.
  • the information receiving apparatus 1 includes a CPU 10, a storage device 11, a display unit 12, a speaker 13, and an operation unit 19.
  • the CPU 10 reads and executes the program 110 stored in the storage device 11, and performs various data calculations, control signal generation, and the like. Thereby, CPU10 has the function to calculate and produce various data while controlling each structure with which the information reception apparatus 1 is provided. That is, the information reception device 1 is configured as a general computer.
  • the storage device 11 provides a function of storing various data in the information receiving device 1. In other words, the storage device 11 stores information electronically fixed in the information receiving device 1.
  • a RAM or buffer used as a temporary working area of the CPU 10 a read-only ROM, a non-volatile memory (such as a NAND memory), a hard disk for storing a relatively large amount of data, a dedicated memory
  • a portable storage medium (a CD-ROM, a DVD-ROM, a PC card, an SD card, a USB memory, or the like) mounted on the reading device is applicable.
  • the storage device 11 is illustrated as if it were one structure.
  • the storage device 11 is normally composed of a plurality of types of devices that are employed as necessary among the various devices (or media) exemplified above. That is, the storage device 11 is a general term for a group of devices having a function of storing data.
  • the actual CPU 10 is an electronic circuit having a RAM that can be accessed at high speed.
  • the storage device included in the CPU 10 is also included in the storage device 11 for convenience of explanation. That is, it is assumed that the storage device 11 also stores data temporarily stored in the CPU 10 itself. As shown in FIG. 2, the storage device 11 is used for storing a program 110, a database 111, observation information 112, and the like.
  • the display unit 12 is hardware having a function of outputting various data to an operator or the like.
  • Examples of the display unit 12 include a lamp, LED, CRT, liquid crystal display, and liquid crystal panel.
  • the speaker 13 has a function of reproducing sound by vibrating air by converting an electrical signal into vibration in accordance with a control signal from the CPU 10. Thereby, the information reception apparatus 1 has a function as an audio device that reproduces music and the like.
  • the plurality of microphones 15, 16, 17, and 18 are the same hardware except that the installation positions in the information receiving apparatus 1 are different from each other. Therefore, unless otherwise specified, in the following description, the microphone 15 will be described as an example.
  • the microphone 15 has a function of converting surrounding sound into an electrical signal.
  • the electrical signal acquired by the microphone 15 is stored in the storage device 11 as observation information 112.
  • the voice is actual vibration (vibration of air that is radio waves in the air) that occurs in the environment around the microphone 15 (information receiving apparatus 1). Therefore, the microphone 15 has a function of observing actual vibrations that occur in the surrounding environment and acquiring the observation results as observation information 112.
  • the observation information 112 includes observation information 115, 116, 117, and 118.
  • the observation information 115 is voice information acquired by the microphone 15, and the observation information 116 is voice information acquired by the microphone 16.
  • the observation information 117 is voice information acquired by the microphone 17, and the observation information 118 is voice information acquired by the microphone 18.
  • the observation information 112 is a general term for information acquired by the microphones 15, 16, 17, and 18. Since the microphones 15, 16, 17, and 18 are arranged at different positions, the observation information 115, 116, 117, and 118 are voice information that is observed at different positions.
  • the information reception device 1 compares the plurality of observation information 115, 116, 117, 118 acquired by the plurality of microphones 15, 16, 17, 18 having different arrangement positions, thereby obtaining the sound source for a specific sound.
  • the position can be specified.
  • the information receiving apparatus 1 (CPU 10) specifies the contact position of the object on the operation surface 190 based on the observation information 112 obtained by observing the sound when the object contacts the operation surface 190. .
  • the number of microphones 15, 16, 17, and 18 is not limited to one.
  • the information reception device 1 only needs to include at least one of the microphones 15, 16, 17, and 18. Further, the microphones 15, 16, 17, and 18 may have different functions or structures from each other as long as they have a function of converting surrounding sounds into electrical signals (observation information 112).
  • the operation unit 19 is hardware that is operated by the user to input an instruction to the information receiving apparatus 1.
  • Examples of the operation unit 19 include various keys and buttons, switches, a touch panel, a pointing device, and a jog dial.
  • the operation unit 19 is formed with an operation surface 190 that is intentionally adjusted so as to generate a characteristic index vibration due to contact with an object.
  • the operation surface 190 is formed on the surface of the casing of the information receiving apparatus 1. More specifically, in FIG. 1, an operation surface 190 is a surface observed when the information reception device 1 is viewed in the (+ Z) direction in the XY plane. That is, the housing itself of the information receiving apparatus 1 constitutes the operation unit 19.
  • the operation surface 190 will be described.
  • the striking sound generated when the resin is struck with a finger and the striking sound generated when the metal is struck with a finger the difference is clear even when heard with the human ear.
  • the sound of hitting the metal or hitting metal It is possible to identify when the hit sound.
  • the hitting sound generated when the operation surface 190 is hit with an object produces a specific sound (vibration) that is relatively less dependent on the object used for hitting and how to hit. Is done.
  • 3 to 5 are diagrams showing the frequency distribution of the frictional sound generated when a person rubs the surface of a sample material with a finger.
  • the sample materials used are different from each other.
  • 3 to 5 show the six friction sounds generated by the tester repeating six trials.
  • the specific vibration that occurs when an object comes into contact with the operation surface 190 is referred to as “index vibration”.
  • the observed actual vibration includes a component of index vibration and a component of individual vibration caused by other factors.
  • the observation information 112 recorded while observing the actual vibration includes information obtained by analyzing the actual vibration in addition to the vibration component.
  • auxiliary information information resulting from factors that can change for each operation by the user is hereinafter referred to as “auxiliary information”.
  • auxiliary information for example, the duration of vibration (corresponding to operation time), vibration intensity (corresponding to operation intensity), contact position (corresponding to operation position), or moving speed of the contact position. (Corresponding to the operation speed) and moving direction (corresponding to the operation direction) are assumed.
  • the information receiving apparatus 1 uses vibration generated when the object is moved while being in contact with the operation surface 190 as the index vibration. That is, vibrations having a relatively short duration, such as a hitting sound, are not used for the index vibration. Further, the information receiving apparatus 1 in the preferred embodiment uses “contact position”, “movement direction of the contact position”, and “movement distance of the contact position” as auxiliary information.
  • FIG. 6 is a diagram illustrating the database 111 in the preferred embodiment.
  • the database 111 has a table structure in which one record is created for one candidate information (information that is a candidate for input information).
  • candidate information information that is a candidate for input information.
  • six pieces of candidate information are stored in the database 111, and each is given a “number” and can be individually identified by the number.
  • only one index vibration is defined, and the presence or absence of the index vibration is determined from the frequency distribution of the index vibration. Therefore, all six pieces of candidate information shown in FIG. 6 are associated with the same index vibration (frequency distribution).
  • each record of the database 111 is provided with items for associating information on “position”, “direction”, and “distance”. These are auxiliary information corresponding to “contact position”, “movement direction of contact position”, and “movement distance of contact position”, respectively.
  • “Position” means a position where an object contacts the operation surface 190.
  • four pieces of candidate information (candidate information identified by numbers 001, 002, 003, and 004) are associated with the area 191.
  • Two pieces of candidate information (candidate information identified by numbers 005 and 006) are associated with the area 192.
  • Direction means in which direction the object in contact with the operation surface 190 has moved.
  • the “direction” can be determined according to the “position” that changes over time.
  • two candidate information items are associated with each other in the (+ X) direction and the ( ⁇ X) direction.
  • one candidate information is associated with each of the (+ Y) direction and the ( ⁇ Y) direction.
  • “Distance” means the distance that the object in contact with the operation surface 190 has moved. In the example shown here, two candidate information items are associated with the distances “5” and “10”, respectively. However, “distance” is not associated with candidate information identified by the numbers 005 and 006, which means that “distance” for these candidate information is not required. The unit in “distance” may be arbitrarily defined.
  • FIG. 7 is a diagram showing the functional blocks provided in the information receiving apparatus 1 in the preferred embodiment together with the data flow.
  • the selection unit 100 illustrated in FIG. 7 is a functional block realized by the CPU 10 operating according to the program 110.
  • the selection unit 100 determines whether or not there is an index vibration in the observation information 112 acquired by the microphones 15, 16, 17, and 18. More specifically, the selection unit 100 analyzes the actual vibration included in the observation information 112 and acquires the frequency distribution of the actual vibration. Then, when the obtained frequency distribution of the actual vibration is compared with the frequency distribution of the index vibration stored in the database 111, the frequency distribution of the actual vibration approximates the frequency distribution of the index vibration. It is determined that the index vibration is included.
  • four observation information 115, 116, 117, 118 are acquired by the four microphones 15, 16, 17, 18.
  • the selection unit 100 determines whether or not an index vibration exists for each of the actual vibrations recorded in each of the four observation information 115, 116, 117, and 118. Therefore, when the index vibration exists in any of the four pieces of observation information 115, 116, 117, 118, the selection unit 100 determines that the index vibration exists.
  • the information receiving apparatus 1 includes the plurality of microphones 15, 16, 17, and 18, so that it is possible to suppress the detection omission of the index vibration in the observation information 112. Therefore, the detection accuracy of the index vibration is improved.
  • the selection unit 100 also has a function of extracting necessary auxiliary information 113 based on the observation information 112. As already shown in FIG. 6, in the information receiving apparatus 1 in the preferred embodiment, auxiliary information such as “position”, “direction”, and “distance” is added to the plurality of candidate information candidates for the input information 114 in the database 111. Information 113 is associated.
  • the selection unit 100 obtains the contact position (position) of the object with respect to the operation surface 190, the movement direction (direction) of the contact position, and the movement distance (distance) of the contact position based on the observation information 112. As described above, the selection unit 100 identifies the position of the sound source based on the sound (observation information 112) acquired by the plurality of microphones 15, 16, 17, and 18 having different arrangement positions. This can be realized by adopting
  • the selection unit 100 searches the database 111 based on the presence / absence of the index vibration and the auxiliary information 113 detected from the observation information 112. Then, the selection unit 100 selects candidate information to be input information 114 from among a plurality of candidate information, and creates input information 114.
  • FIG. 8 is a flowchart showing the operation of the information receiving apparatus 1 in the preferred embodiment. It is assumed that the database 111 has already been stored in the storage device 11 of the information receiving device 1 before each step shown in FIG. 8 is executed. That is, it is assumed that the step of storing the database 111 in the storage device 11 has already been completed.
  • the information receiving apparatus 1 When the information receiving apparatus 1 is connected to the power supply source, it executes a predetermined initial setting (not shown), and then starts the process shown in FIG.
  • the information receiving apparatus 1 starts creating observation information 112 (observation information 115, 116, 117, 118) using the microphones 15, 16, 17, 18 (step S1). Thereafter, the information receiving apparatus 1 continues to create the observation information 112 unless otherwise specified.
  • the information receiving apparatus 1 monitors the generation of the trigger after starting the creation of the observation information 112 (step S2). In a preferred embodiment, as a result of analyzing the observation information 112, it is determined that a trigger has been generated when a sound having a threshold value [dB] or more is detected in a predetermined frequency band.
  • the trigger is not limited to this, and for example, a timing that arrives at a predetermined period may be used as the trigger.
  • the selection unit 100 acquires the frequency distribution of the generated voice (actual vibration) based on the observation information 112, and detects the index vibration based on the frequency distribution of the actual vibration.
  • the database 111 for searching is searched (step S3).
  • step S3 If at least one frequency distribution similar to the frequency distribution of the actual vibration used as the search key exists in the “index vibration” item of the database 111 in step S3, the selection unit 100 determines that the actual vibration has the index vibration. In step S4, it is determined that there is an image and the determination is Yes. On the other hand, if there is no frequency distribution similar to the frequency distribution of the actual vibration used as the search key in the “index vibration” item of the database 111, the selection unit 100 has the index vibration in the actual vibration. In step S4, it is determined as No.
  • step S4 the information receiving apparatus 1 indicates that the sound detected as the trigger is not the sound generated when the object touches the operation surface 190 (that is, the operation on the operation surface 190 by the user is not performed). Is not.) In this case, the information receiving apparatus 1 returns to step S2 and repeats the process. As described above, when it is determined that the operation surface 190 is not operated, the information receiving apparatus 1 does not create the input information 114.
  • the frequency distribution of the index vibration is defined relatively strictly, there is a low possibility that the index vibration is considered to be present by sound other than the sound generated on the operation surface 190. Therefore, the possibility that the information receiving apparatus 1 creates erroneous input information 114 by sound (vibration) other than when the object touches the operation surface 190 is lower than that of the conventional technique.
  • step S5 the selection unit 100 performs a search of the database 111 for selecting candidate information using the frequency distribution of the index vibration as a search key (step S5). That is, the selection unit 100 searches for candidate information associated with the search key using the frequency distribution of the index vibration as a search key.
  • the search key in step S5 may be the actual vibration frequency distribution used in step S3.
  • step S5 If, as a result of the search in step S5, there is only one corresponding candidate information in the database 111, the selection unit 100 considers that the candidate information has been selected and determines Yes in step S6. Then, the input information 114 is created based on the selected candidate information (step S8).
  • step S8 By executing step S8, the candidate information indicated in the input information 114 is received by the information receiving apparatus 1 as information input by the user. Therefore, after step S8 is executed, processing (not shown) corresponding to the input information 114 is executed. In addition, if step S8 is performed and the process according to the input information 114 is performed, the information reception apparatus 1 will return to the state which monitors generation
  • step S5 when there are a plurality of corresponding candidate information in the database 111, the selection unit 100 can not narrow down the candidate information to one and consider that specific candidate information could not be selected.
  • step S6 No is determined.
  • the selection part 100 will analyze the observation information 112, and will produce the auxiliary information 113 based on the information acquired from the observation information 112 (step S7).
  • “position”, “direction”, and “distance” are acquired as the auxiliary information 113.
  • step S7 the selection unit 100 executes step S5 again.
  • the selection unit 100 uses not only the frequency distribution of the index vibration but also the information stored in the auxiliary information 113 as a search key for searching the database 111.
  • step S5 when step S5 is executed for the second time, candidate information can be narrowed down, and it is determined Yes in step S6. And if it determines with Yes in step S6, the selection part 100 will perform step S8 and the input information 114 will be produced.
  • all of the auxiliary information 113 defined in the database 111 is acquired when step S7 is executed. However, if all the auxiliary information 113 is not acquired at one time and “position” is first acquired and searched, and still cannot be selected, step S7 is repeated, and “direction” and “distance” are sequentially repeated. You may comprise so that the auxiliary
  • the database 111 is stored in the storage device 11 of the information reception device 1 prior to the operation by the user.
  • the information receiving apparatus 1 has already started the creation of the observation information 112 (step S1) and is in a state of monitoring the trigger generation.
  • the information receiving apparatus 1 confirms the occurrence of a trigger by using a frictional sound, and searches the database 111 using the frequency distribution of the frictional sound (step S3).
  • the frictional sound used for the search is generated by rubbing the operation surface 190. Therefore, the frequency distribution of the frictional sound is similar to the frequency distribution of the index vibration, and the corresponding one is detected in the database 111. Thereby, the information reception apparatus 1 determines that the index vibration is present (Yes in step S4).
  • the information receiving apparatus 1 searches the database 111 using the frequency distribution of the index vibration detected in the database 111 as a search key, and searches for candidate information associated with the frequency distribution of the index vibration (step S5). ).
  • the information receiving apparatus 1 determines that the candidate information has not been selected, and executes Step S7. That is, the selection unit 100 creates auxiliary information 113 based on the observation information 112.
  • the candidate information of number 005 or 006 is narrowed down. Further, since the “direction” is the (+ Y) direction, the candidate information of number 005 is selected. Is done. When the candidate information is selected, it is determined Yes in step S6, and the input information 114 becomes a “power-on command”.
  • the “power-on command” is input, and when this is executed, the user of the information receiving apparatus 1 as desired. Power is turned on. Note that it is preferable that the user can confirm whether or not the power is turned on by performing a predetermined display on the display unit 12.
  • the user desires to adjust the sound volume to a desired level. As described above, here, an example in which the volume is increased by “10” units will be described.
  • a user who desires to increase the volume by “10” units rubs the area 191 of the operation surface 190 with his / her finger in the (+ X) direction by a distance corresponding to “10” units.
  • a specific friction sound (actual vibration) is generated from the operation surface 190.
  • This friction sound is signaled by the microphones 15, 16, 17, and 18, and observation information 112 is created.
  • the information receiving apparatus 1 confirms the occurrence of a trigger by using a frictional sound, and searches the database 111 using the frequency distribution of the frictional sound (step S3).
  • the frictional sound used for the search is generated by rubbing the operation surface 190. Therefore, the frequency distribution of the frictional sound is similar to the frequency distribution of the index vibration, and the corresponding one is detected in the database 111. Thereby, the information reception apparatus 1 determines that the index vibration is present (Yes in step S4).
  • the information receiving apparatus 1 searches the database 111 using the frequency distribution of the index vibration detected in the database 111 as a search key, and searches for candidate information associated with the frequency distribution of the index vibration (step S5). ).
  • the information receiving apparatus 1 determines that the candidate information has not been selected, and executes Step S7. That is, the selection unit 100 creates auxiliary information 113 based on the observation information 112.
  • the candidate information of numbers 001 to 004 is narrowed down, and since the “direction” is the (+ X) direction, candidate information of number 001 or 002 It is narrowed down to. Furthermore, since the “distance” is “10”, candidate information number 002 is selected. Thereby, since it determines with Yes in step S6, the input information 114 becomes the "volume increase command 10".
  • the “volume increase command 10” is input and executed.
  • the volume of the speaker 13 is increased by “10”.
  • the information receiving apparatus 1 by selecting a command as candidate information and defining a parameter for executing the command as candidate information, it is also possible to input such information.
  • the “distance” that the user has moved the finger is input as the “increase amount” of the volume. Therefore, it is possible to provide an information input method that is easy for the user to understand intuitively.
  • the information reception apparatus 1 uses the operation unit 19 in which the operation surface 190 adjusted to generate a specific index vibration by contact of an object and the candidate information that becomes candidates for the input information 114 as index vibration.
  • Storage device 11 that stores the information in association with the microphone, microphones 15, 16, 17, and 18 that acquire observation results as observation information 112 while observing actual vibrations that occur in the surrounding environment, and index vibrations in the acquired observation information 112
  • a selection unit 100 that selects candidate information associated with the index vibration as input information 114 when it is determined that the index vibration exists.
  • the index vibration is a vibration generated when the object is moved while being in contact with the operation surface 190.
  • vibration due to friction is generated over a long period of time compared to a hitting sound or the like. Therefore, by defining such vibration as index vibration, for example, many feature points can be analyzed. Thereby, the accuracy of the presence / absence determination of the index vibration in the observation information 112 is further improved.
  • the striking sound or the like may be used as the index vibration, or both may be defined as the index vibration, and when either one is detected, it may be handled as an operation detected by the user.
  • the candidate information stored in association with the index vibration includes a plurality of candidate information associated with different auxiliary information
  • the selection unit 100 includes the index vibration. Then, when it is determined, auxiliary information 113 is acquired based on the acquired observation information 112, and candidate information associated with the index vibration is selected as input information 114 according to the acquired auxiliary information 113. Thereby, candidate information can be selected as the input information 114 based on information other than the presence or absence of the index vibration included in the observation information 112. Therefore, versatility is improved.
  • the auxiliary information 113 includes information related to the user's operation position on the operation surface 190. Thereby, different candidate information can be selected as the input information 114 according to the operation position. Therefore, versatility is improved.
  • the selection unit 100 includes a plurality of microphones 15, 16, 17, and 18 having different positional relationships with respect to the operation surface 190, and the selection unit 100 acquires observation information 115, 116, 116 acquired for each of the plurality of microphones 15, 16, 17, and 18. By comparing 117 and 118 with each other, information related to the user's operation position on the operation surface 190 (such as distinction between the area 191 and the area 192) is acquired as the auxiliary information 113. Thereby, it is possible to obtain information on the operation position easily and inexpensively as compared with the conventional example in which the position is confirmed by providing a digital camera or the like.
  • the auxiliary information 113 includes information related to the operation distance of the user on the operation surface 190. Thereby, different candidate information can be selected as the input information 114 according to the operation distance. Therefore, versatility is improved.
  • the auxiliary information 113 includes information related to the user's operation direction on the operation surface 190. Thereby, different candidate information can be selected as the input information 114 according to the operation direction. Therefore, versatility is improved.
  • the selection unit 100 includes a plurality of observation information 115 acquired by each of the plurality of microphones 15, 16, 17, and 18. , 116, 117, 118 to determine the presence or absence of index vibration. Thereby, detection omission can be suppressed rather than observation with one microphone 15, for example, and the accuracy of the existence judgment of index vibration can be improved.
  • the information receiving apparatus 1 is configured to observe sound generated in the surrounding environment as actual vibration using the microphones 15, 16, 17, and 18. That is, by paying attention to “voice” as actual vibration, relatively inexpensive microphones 15, 16, 17, and 18 can be employed as an observation apparatus that acquires the observation information 112. Therefore, the information reception apparatus 1 can observe the actual vibration easily and with high accuracy.
  • the index vibration is used only for determining whether or not a user operation has been performed.
  • the auxiliary information 113 is used to select one candidate information from among a plurality of candidate information. However, narrowing down from a plurality of candidate information can be performed not only by the auxiliary information 113 but also by index vibration.
  • FIG. 9 is a diagram showing an information receiving apparatus 2 in another preferred embodiment.
  • the same components as those in the information receiving apparatus 1 in the preferred embodiment are denoted by the same reference numerals, and description thereof is omitted as appropriate.
  • the information reception device 2 is different from the information reception device 1 in that an operation surface 290 is formed instead of the operation surface 190 as shown in FIG.
  • the operation surface 290 is adjusted so that a characteristic index vibration occurs.
  • the operation surface 290 is adjusted to generate the first index vibration when the touching object is moved in the (+ X) direction, and the touching object is moved in the ( ⁇ X) direction.
  • adjustment is made to generate a second index vibration different from the first index vibration. More specifically, the operation surface 290 is adjusted so that different index vibrations are generated when the user rubs the operation surface 290 with the finger in the (+ X) direction and when the user rubs in the ( ⁇ X) direction. Has been.
  • FIG. 10 is a block diagram of the information receiving apparatus 2 in another preferred embodiment.
  • the information receiving apparatus 2 includes an operation unit 29 in which an operation surface 290 is formed instead of the operation unit 19.
  • the storage device 11 of the information reception device 2 stores a program 210 and a database 211 instead of the program 110 and the database 111.
  • FIG. 11 is a diagram illustrating a database 211 according to another preferred embodiment.
  • candidate information associated with the frequency distribution of the first index vibration is “volume increase command 5”, “volume increase command 10”, and “power-on command”.
  • candidate information associated with the frequency distribution of the second index vibration is “volume reduction command 5”, “volume reduction command 10”, and “power-off command”.
  • the database 211 is stored in the storage device 11 of the information reception device 2 prior to the operation by the user.
  • the information reception device 2 has already started to create the observation information 112 (step S1) and is in a state of monitoring the occurrence of a trigger.
  • the user since the user who wants to view music has to turn on the power of the information receiving apparatus 2, the user can sufficiently operate the operation surface 290 with the finger in the (+ X) direction so that the distance is “20” or more. Rub for a long distance. Also in the information receiving apparatus 2, a specific friction sound (actual vibration) is generated from the operation surface 290 when the user's finger contacts and rubs the operation surface 290. This frictional sound is signaled by the microphones 15, 16, 17, and 18 as in the preferred embodiment, and observation information 112 is created.
  • the information receiving device 2 confirms the occurrence of the trigger by the friction sound recorded in the observation information 112, and searches the database 211 using the frequency distribution of the friction sound (step S3).
  • the friction sound used for the search is generated by rubbing the operation surface 290 in the (+ X) direction. Therefore, the frequency distribution of the frictional sound is similar to the frequency distribution of the first index vibration, and the corresponding one is detected in the database 211. Thereby, the information reception device 2 determines that there is an index vibration (first index vibration) (Yes in step S4).
  • the information reception apparatus 2 searches the database 211 again using the frequency distribution of the first index vibration detected in the database 211 as a search key, and selects candidate information associated with the frequency distribution of the first index vibration. Search is performed (step S5).
  • the candidate information associated with the frequency distribution of the first index vibration is three “volume increase command 5”, “volume increase command 10”, and “power-on command”. Therefore, at this stage, the information receiving apparatus 2 determines that the candidate information has not been selected, and executes Step S7. That is, the selection unit 100 creates auxiliary information 113 based on the observation information 112.
  • the candidate information is narrowed down to the “power-on command”, and the candidate information number 005 is selected. Thereby, since it determines with Yes in step S6, the input information 114 becomes a "power-on command.”
  • the “power-on command” is input and is executed.
  • the information receiving apparatus 2 is powered on. Note that it is preferable that the user can confirm whether or not the power is turned on by performing a predetermined display on the display unit 12.
  • the user desires to adjust the sound volume to a desired level. As described above, here, an example in which the volume is decreased by “5” units will be described.
  • a user who desires to reduce the volume by “5” units rubs the operation surface 290 with his / her finger in the ( ⁇ X) direction for a distance corresponding to “5” units.
  • a specific friction sound (actual vibration) is generated from the operation surface 290.
  • This friction sound is signaled by the microphones 15, 16, 17, and 18, and observation information 112 is created.
  • the information reception device 2 confirms the occurrence of a trigger by the friction sound and searches the database 211 using the frequency distribution of the friction sound (step S3).
  • the frictional sound used for the search is generated by rubbing the operation surface 290. Therefore, the frequency distribution of the frictional sound is similar to the frequency distribution of the second index vibration, and the corresponding one is detected in the database 211. Thereby, the information reception apparatus 2 determines that the index vibration (second index vibration) exists (Yes in Step S4).
  • the information reception apparatus 2 searches the database 211 again using the frequency distribution of the second index vibration detected in the database 211 as a search key, and selects candidate information associated with the frequency distribution of the second index vibration. Search is performed (step S5).
  • the information receiving apparatus 2 determines that the candidate information has not been selected, and executes Step S7. That is, the selection unit 100 creates auxiliary information 113 based on the observation information 112.
  • the “distance” operated by the user is in units of “5”, it is narrowed down to “volume reduction command 5” and the candidate information of number 003 is selected. Thereby, since it determines with Yes in step S6, the input information 114 becomes "volume reduction command 5".
  • the information receiving device 2 similarly to the information receiving device 1, it is observed by using the operation surface 290 that is intentionally adjusted for the input of the input information 114. The accuracy of the presence / absence determination of the index vibration in the observation information 112 is improved.
  • the index vibration is a first index vibration that occurs when the object is moved in the first direction and a vibration that occurs when the object is moved in the second direction different from the first direction.
  • the storage device 11 includes first candidate information (“volume increase command 5”, “volume increase command 10”, and “power-on command”) corresponding to the first index vibration; Second candidate information corresponding to the second index vibration, which is different from the first information (“volume reduction command 5”, “volume reduction command 10” and “power-off command”);
  • the selection unit 100 selects the first candidate information when the first index vibration is present, and selects the second candidate information when the second index vibration is present. Also with this configuration, different information can be input according to the direction in which the object is moved. Therefore, versatility is improved.
  • the operation time is used as the auxiliary information 113 instead of the operation distance, it is not necessary to detect the operation position. In that case, it is not necessary to compare the plurality of pieces of observation information 115, 116, 117, 118 with each other, so that only one microphone 15 can be input.
  • the example using the operation surface 290 that generates different index vibrations according to the operation direction has been described.
  • the configuration that causes different index vibrations is not limited to such a configuration.
  • FIG. 12 is a diagram showing an information receiving apparatus 3 in still another preferred embodiment.
  • FIG. 13 is a block diagram of the information receiving apparatus 3 in still another preferred embodiment.
  • the same components as those in the information receiving device 2 in the other preferred embodiments are denoted by the same reference numerals, and the description thereof is omitted as appropriate. .
  • the information reception device 3 in another preferred embodiment includes an operation unit 39 instead of the operation unit 29. Then, the operation unit 39 generates the first operation surface 390 adjusted to generate a specific third index vibration by the contact of the object, and the specific fourth index vibration different from the third index vibration by the contact of the object. A second operation surface 391 adjusted as described above is formed.
  • the storage device 11 of the information reception device 3 stores a program 310 and a database 311 instead of the program 210 and the database 211.
  • FIG. 14 is a diagram illustrating a database 311 in still another preferred embodiment.
  • candidate information associated with the frequency distribution of the third index vibration is “volume increase command 5”, “volume increase command 10”, and “power-on command”.
  • candidate information associated with the frequency distribution of the fourth index vibration is “volume reduction command 5”, “volume reduction command 10”, and “power-off command”.
  • the database 311 is stored in the storage device 11 of the information reception device 3 prior to the operation by the user.
  • the information reception device 3 has already started creating the observation information 112 (step S1) and is in a state of monitoring the occurrence of a trigger.
  • the user since the user who wants to view music has to turn on the power of the information receiving apparatus 3, the user rubs the first operation surface 390 with his / her finger so that the distance becomes “20” or more. Also in the information reception device 3, a specific friction sound (actual vibration) is generated from the operation surface 390 when the user's finger contacts and rubs the first operation surface 390. This friction sound is signaled by the microphones 15, 16, 17, and 18 as in the other preferred embodiments, and the observation information 112 is created.
  • a specific friction sound actual vibration
  • the information reception device 3 confirms the occurrence of a trigger based on the frictional sound recorded in the observation information 112, and searches the database 311 using the frequency distribution of the frictional sound (step S3).
  • the frictional sound used for the search is generated by rubbing the first operation surface 390. Therefore, the frequency distribution of the frictional sound is similar to the frequency distribution of the third index vibration, and the corresponding one is detected in the database 311. Thereby, the information reception apparatus 3 determines that the index vibration (third index vibration) exists (Yes in step S4).
  • the information reception device 3 searches the database 311 again using the frequency distribution of the third index vibration detected in the database 311 as a search key, and selects candidate information associated with the frequency distribution of the third index vibration. Search is performed (step S5).
  • the candidate information associated with the frequency distribution of the third index vibration is “volume increase command 5”, “volume increase command 10”, and “power-on command”. Accordingly, at this stage, the information reception device 3 determines that the candidate information has not been selected, and executes Step S7. That is, the selection unit 100 creates auxiliary information 113 based on the observation information 112.
  • the candidate information is narrowed down to the “power-on command”, and the candidate information number 005 is selected. Thereby, since it determines with Yes in step S6, the input information 114 becomes a "power-on command.”
  • the “power-on command” is input, and when this is executed, the user desires As described above, the information receiving apparatus 3 is turned on. Note that it is preferable that the user can confirm whether or not the power is turned on by performing a predetermined display on the display unit 12.
  • the user desires to adjust the sound volume to a desired level. As described above, here, an example in which the volume is decreased by “5” units will be described.
  • the user who desires to reduce the volume by “5” units rubs the second operation surface 391 with his / her finger for a distance corresponding to “5” units.
  • a specific friction sound (actual vibration) is generated from the second operation surface 391. This friction sound is signaled by the microphones 15, 16, 17, and 18, and observation information 112 is created.
  • the information reception device 3 confirms the occurrence of a trigger by the friction sound and searches the database 311 using the frequency distribution of the friction sound (step S3).
  • the frictional sound used for the search is generated by rubbing the second operation surface 391. Therefore, the frequency distribution of the frictional sound is similar to the frequency distribution of the fourth index vibration, and the corresponding one is detected in the database 311. Thereby, the information reception apparatus 3 determines that the index vibration (third index vibration) exists (Yes in step S4).
  • the information reception apparatus 3 searches the database 311 again using the frequency distribution of the fourth index vibration detected in the database 311 as a search key, and selects candidate information associated with the frequency distribution of the fourth index vibration. Search is performed (step S5).
  • the information reception device 3 determines that the candidate information has not been selected, and executes Step S7. That is, the selection unit 100 creates auxiliary information 113 based on the observation information 112.
  • the candidate information is narrowed down to “volume reduction command 5”, and the candidate information of number 003 is selected. Thereby, since it determines with Yes in step S6, the input information 114 becomes "volume reduction command 5".
  • the user rubs the operation surface 391 with his / her finger in an arbitrary direction for a distance corresponding to “5” units, and the “volume reduction command 5” is input. As shown, the volume of the speaker 13 decreases by “5”.
  • the first operation surface 390 and the second operation surface 391 that are intentionally adjusted are input information as in the information receiving devices 1 and 2.
  • the accuracy of the presence / absence determination of the index vibration in the observed observation information 112 is improved.
  • the operation unit 39 includes, as the operation surface, a first operation surface 390 that is adjusted so as to generate a characteristic third index vibration by contact with an object, and a unique fourth index that is different from the third index vibration by object contact.
  • the second operation surface 391 adjusted to generate vibration is formed, and the storage device 11 includes third candidate information (“volume increase command 5”, “volume increase command 10”) corresponding to the third index vibration.
  • the selection unit 100 selects the third candidate information when the third index vibration is present, and selects the fourth candidate information when the fourth index vibration is present. Also with this configuration, different index vibrations can be generated, and different information can be input according to each index vibration. Therefore, versatility is improved.
  • the operation surface that causes the index vibration is fixed to the apparatus.
  • the user may arbitrarily replace the operation surface.
  • index vibration is used only for specifying candidate information.
  • the user may enjoy index vibration.
  • FIG. 15 is a diagram showing the information reception system 4.
  • the information reception system 4 includes a first operation target member 5, a second operation target member 6, and an information reception device 7. Although details will be described later, the information reception system 4 is configured as a system that receives information (input information) input in response to a user operation.
  • FIG. 16 is a diagram showing the first operation target member 5.
  • a part of the first operation target member 5 is illustrated as being turned so that the back surface of the first operation target member 5 can be observed.
  • the first operation target member 5 has a small thickness in the Z-axis direction and is configured as a film-like member.
  • the (+ Z) side surface of the first operation target member 5 forms an operation surface 50.
  • the operation surface 50 will be described later.
  • the ( ⁇ Z) side surface of the first operation target member 5 forms a pasting surface 51.
  • an adhesive material is applied to the surface of the pasting surface 51, and thereby the first operation target member 5 constitutes a seal member.
  • the first operation target member 5 can be affixed to the information receiving device 7 as indicated by a virtual line (two-dot chain line) in FIG.
  • the first operation target member 5 is detachable from the information receiving device 7. Therefore, the user can exchange the first operation target member 5 or change the position by his / her own intention. That is, the user can customize the information reception system 4 according to his / her preference.
  • the second operation target member 6 constitutes a part of the housing of the information receiving device 7. That is, a part of the housing of the information receiving device 7 forms the second operation target member 6. Therefore, the second operation target member 6 is a member that cannot be replaced or changed by the user.
  • the outer surface of the second operation target member 6 forms an operation surface 60, which will be described later.
  • FIG. 17 is a block diagram of the information receiving device 7 provided in the information receiving system 4.
  • the information receiving device 7 includes a CPU 70, a storage device 71, an operation unit 72, a display unit 73, a microphone 74, a speaker 75, and a communication unit 76.
  • the information reception device 7 has a first operation mode and a second operation mode as operation modes.
  • the first operation mode is an operation mode in which the function of the information reception device 7 is not limited and operates in a normal power consumption state.
  • the second operation mode is an operation mode in which the information reception device 7 operates in a low power consumption state compared to the first operation mode.
  • a state when the CPU 70 is activated (a state where power is supplied to the CPU 70) is referred to as a “first operation mode”, and a state where the CPU 70 is not activated (a state where power is not supplied to the CPU 70). Is referred to as a “second operation mode”.
  • the information reception device 7 does not suppress only the power consumption in the CPU 70 in the second operation mode, but the power supply is stopped for the configuration of the display unit 73 and the like, for example.
  • a part of the functions of the CPU 70, the display unit 73, and the like may be limited to realize a low power consumption state. That is, in order to realize the low power consumption state, it is not always necessary to stop the power supply to the target configuration.
  • the information receiving device 7 is configured as a device that receives information (information desired by the user) such as commands and parameters for realizing the operation desired by the user when realizing the operation desired by the user.
  • information information desired by the user
  • the information reception device 7 is not limited to a mobile terminal device (smart phone, mobile phone, PDA, etc.).
  • the CPU 70 reads and executes the program 710 stored in the storage device 71, and performs various data calculations, control signal generation, and the like. Thereby, CPU70 has the function to calculate and produce various data while controlling each structure with which the information reception apparatus 7 is provided. That is, the information reception device 7 is configured as a general computer.
  • the storage device 71 provides a function of storing various data in the information receiving device 7. In other words, the storage device 71 stores information electronically fixed in the information receiving device 7.
  • the storage device 71 As the storage device 71, a RAM or buffer used as a temporary working area of the CPU 70, a read-only ROM, a non-volatile memory (such as a NAND memory), a hard disk for storing a relatively large amount of data, a dedicated memory A portable storage medium (such as a PC card, an SD card, or a USB memory) mounted on the reading device is applicable.
  • the storage device 71 is illustrated as if it were one structure. However, normally, the storage device 71 is composed of a plurality of types of devices that are employed as necessary among the various devices (or media) exemplified above. That is, the storage device 71 is a generic name for a group of devices having a function of storing data accessible by the CPU 70.
  • the actual CPU 70 is an electronic circuit having a RAM that can be accessed at high speed.
  • a storage device included in the CPU 70 is also included in the storage device 71 for convenience of explanation. In other words, the description will be made assuming that the storage device 71 also stores data temporarily stored in the CPU 70 itself. As shown in FIG. 17, the storage device 71 is used for storing a program 710, a database 711, observation information 712, and the like.
  • the operation unit 72 is hardware that the user operates to input an instruction to the information reception device 7. Examples of the operation unit 72 include various keys and buttons, switches, touch panels, pointing devices, and jog dials.
  • the display unit 73 is hardware having a function of outputting various data to an operator or the like.
  • Examples of the display unit 73 include a lamp, LED, CRT, liquid crystal display, and liquid crystal panel.
  • the microphone 74 has a function of converting ambient sound into an electrical signal.
  • the electrical signal acquired by the microphone 74 is stored as observation information 791. That is, the microphone 74 has a function of observing sound generated in the surrounding environment and acquiring the observation result as observation information 791.
  • the speaker 75 has a function of reproducing sound by vibrating air by converting an electrical signal into vibration in accordance with a control signal from the CPU 70.
  • the information reception device 7 has a function as a device for reproducing music, a call sound (received voice of the other party), and the like.
  • the communication unit 76 provides a function for the information reception device 7 to perform data communication, voice call, and the like with an external device (not shown).
  • the information receiving device 7 includes an MPU 77, a ROM 78, and a RAM 79.
  • the MPU 77 is an arithmetic device that consumes less power during operation than the CPU 70.
  • the MPU 77 creates observation information 791 based on the electrical signal input from the microphone 74 and stores the observation information 791 in the RAM 79 while executing the program 780 stored in the ROM 78.
  • the MPU 77 has a function of analyzing the observation information 791 and starting the CPU 70 (resuming power supply) according to the result. Further, the MPU 77 of the information reception device 7 is also supplied with electric power and can operate in the second operation mode of the information reception device 7.
  • ROM 78 is a nonvolatile read-only storage device.
  • the ROM 78 stores a program 780 executed by the MPU 77.
  • the RAM 79 is a volatile storage device that can be accessed at a relatively high speed and can write data.
  • the RAM 79 is mainly used as a working area for the MPU 77.
  • the ROM 78 and the RAM 79 are illustrated as another configuration different from the MPU 77, but the MPU 77 including these storage devices may be used.
  • FIG. 18 is a diagram illustrating a plurality of regions defined in the first operation target member 5 and the second operation target member 6.
  • the region 500 to 509 is defined on the operation surface 50 of the first operation target member 5. Further, areas 600 to 609 are defined on the operation surface 60 of the second operation target member 6. Each of the areas 500 to 509 and 600 to 609 is an area adjusted to generate a unique sound by being rubbed by an object.
  • the areas 500, 501, 502, 507, 508, 509, 600, 601, 602, 607, 608, and 609 are areas where a common sound is generated as a frictional sound.
  • Regions 503, 506, and 605 are regions that generate a common sound as a friction sound.
  • regions 500, 503, 504, 505, 603, 604, and 606 are regions that generate different sounds as friction sounds.
  • the duration of each specific sound is a value obtained by dividing the width of each region 500 to 509 in the Y-axis direction by the moving speed of the finger.
  • the moving speed of the finger in the first user operation is not strictly constant. However, unless the finger is intentionally stopped halfway, the moving speed of the finger can be regarded as substantially constant, and the duration of the generated sound is generally dependent on the width of the corresponding region in the Y-axis direction. It can be considered.
  • the areas 500 to 509 are defined on the operation surface 50 and are adjusted so as to generate unique sounds, a plurality of unique characteristics are provided between the start of the first user operation and the completion thereof. Are generated according to the arrangement order of the areas.
  • the duration of each sound is generally determined by the width of the corresponding region in the Y-axis direction.
  • the first operation target member 5 is a member on which the operation surface 50 adjusted so as to generate a specific scale when rubbed with an object is formed.
  • first scale the scale generated when the first user operation is performed on the first operation target member 5 is referred to as “first scale”.
  • the regions 500, 501, and 502 all have the same width in the Y-axis direction. Therefore, in the first user operation, the same sound is generated three times at the same interval and the same duration from the start of the operation until the finger leaves the area 502. These sounds are partial scales constituting a part of the first scale in the first user operation.
  • the partial scale generated by the areas 500, 501, and 502 by the first user operation is particularly referred to as a “recognition partial scale”.
  • the areas 507, 508, and 509 are configured as the same pattern as the areas 500, 501, and 502. Therefore, the partial scale for recognition is generated in the second half by the first user operation.
  • the first scale generated by the first user operation can be divided into a first partial partial scale, a central partial scale, and a second partial partial scale.
  • the regions 600, 601, 602 and the regions 607, 608, 609 are all configured as the same pattern as the regions 500, 501, 502. Therefore, the second scale generated by the second user operation can be divided into the first partial partial scale, the central partial scale, and the second partial partial scale, as in the first scale.
  • the central partial scale is different from each other, but the recognition partial scale is common. It is.
  • FIG. 19 is a diagram illustrating a database 790 stored in the RAM 79 of the information receiving device 7 provided in the information receiving system 4.
  • the database 790 has a table structure in which one record is created for one candidate information (information that is a candidate for input information).
  • the presence or absence of the recognition partial scale in the observation information 791 is determined based on the frequency distribution of the recognition partial scale. Accordingly, in the example shown in FIG. 19, only one record is created in the database 790, and only one candidate information is stored. However, the number of records in the database 790 is not limited to one.
  • the database 790 is information included in the program 780, and is information read from the ROM 78 by the MPU 77 and stored in the RAM 79.
  • FIG. 20 is a diagram illustrating the functional blocks realized by the MPU 77 of the information receiving device 7 included in the information receiving system 4 together with the data flow.
  • the second selection unit 770 and the interface unit 771 illustrated in FIG. 20 are functional blocks realized by the MPU 77 operating according to the program 780.
  • the second selection unit 770 determines whether or not a recognition partial scale exists in the observation information 791 acquired by the microphone 74. More specifically, the second selection unit 770 analyzes the voice included in the observation information 791 and acquires the frequency distribution of the voice. When the frequency distribution of the acquired speech is compared with the frequency distribution of the partial scale for recognition stored in the database 790, and the frequency distribution of the speech approximates the frequency distribution of the partial scale for recognition, the speech Is determined to include a partial scale for recognition.
  • the frequency distribution of the speech with the frequency distribution of the partial scale for recognition in all frequency bands is not necessary. For example, as a result of repeated trials, only frequency distributions in frequency bands with relatively high reproducibility may be compared. Further, the frequency band to be compared is not limited to the audible sound range.
  • the second selection unit 770 determines that a recognition partial scale exists, the second selection unit 770 selects candidate information associated with the recognition partial scale as the input information 792 in the database 790.
  • the second selection unit 770 has a function of creating input information 792 based on the selected candidate information.
  • the partial scale for recognition is a part of the first scale or the second scale, and is a relatively short scale compared to these scales.
  • the recognition partial scale is defined as a scale common to the first scale and the second scale.
  • the second selection unit 770 searches only the presence / absence of the recognition partial scale from the voice recorded in the observation information 791, and creates the input information 792 when the recognition partial scale is included. .
  • the information selected as the input information 792 is only the “transfer command”, and so to speak, candidate information is fixed. That is, the second selection unit 770 realized in the MPU 77 provides an auxiliary and simple candidate information selection function to the first selection unit 700 described later.
  • the interface unit 771 refers to the input information 792 and, when a transfer command is stored in the input information 792, transfers the observation information 791 to the CPU 70. At this time, when the information receiving device 7 is operating in the second operation mode, the interface unit 771 transfers the observation information 791 to the CPU 70 after switching the operation mode to the first operation mode.
  • the interface unit 771 changes the operation mode of the information reception device 7 from the second operation mode when the transfer command is selected as the input information 792 when the information reception device 7 is operating in the second operation mode. It has a function of switching to the first operation mode.
  • the CPU 70 In the second operation mode, the CPU 70 is disconnected from the power supply. Therefore, in the second operation mode, the CPU 70 cannot process the observation information 791. However, the interface unit 771 switches the second operation mode to the first operation mode before transferring the observation information 791. As a result, power supply to the CPU 70 is started, and the CPU 70 can process the observation information 791.
  • the observation information 791 transferred to the CPU 70 is stored in the storage device 71 as the observation information 712 by the CPU 70.
  • the observation information 712 is described as the same information as the observation information 791, but may be processed as necessary.
  • FIG. 21 is a diagram illustrating a database 711 stored in the storage device 71 of the information receiving device 7 included in the information receiving system 4.
  • the database 711 has a table structure in which one record is created for one candidate information (information that is a candidate for input information).
  • only two musical scales (first musical scale and second musical scale) are defined, and the presence or absence of the musical scale in the observation information 712 is determined based on the frequency distribution of the musical scale. Accordingly, in the example shown in FIG. 21, only two records are created in the database 711, and only two candidate information items are stored. However, the number of records in the database 711 is not limited to two.
  • FIG. 22 is a diagram showing functional blocks realized by the CPU 70 of the information receiving device 7 included in the information receiving system 4 together with the data flow.
  • the first selection unit 700 and the execution unit 701 illustrated in FIG. 22 are functional blocks realized by the CPU 70 operating according to the program 710.
  • the first selection unit 700 determines whether or not there is a scale in the observation information 712 acquired by the microphone 74 and transferred by the MPU 77. More specifically, the first selection unit 700 analyzes the voice included in the observation information 712 and acquires the frequency distribution of the voice. When the frequency distribution of the acquired voice is compared with the frequency distribution of the scale stored in the database 711 and the frequency distribution of the voice approximates the frequency distribution of the scale, the voice includes the scale. It is determined that
  • the frequency distribution of the voice is not necessary to compare the frequency distribution of the voice with the frequency distribution of the scale for all frequency bands. For example, as a result of repeated trials, only frequency distributions in frequency bands with relatively high reproducibility may be compared. Further, the frequency band to be compared is not limited to the audible sound range.
  • the first selection unit 700 searches the database 711 based on the presence or absence of a scale. Then, the selection unit 700 selects candidate information to be input information 713 from a plurality of candidate information, and creates input information 713.
  • the execution unit 701 has a function of executing a command with reference to the input information 713.
  • the execution unit 701 controls the communication unit 76 to transmit an e-mail when the input information 713 is a “mail transmission command”.
  • the execution unit 701 controls the display unit 73 to prohibit lighting of the screen of the display unit 73.
  • the execution unit 701 controls the display unit 73 to light the display unit 73 when the input information 713 is a “lighting command”.
  • FIG. 23 is a flowchart showing the operation of the MPU 77 of the information receiving device 7 provided in the information receiving system 4.
  • the MPU 77 performs a predetermined initial setting (not shown) and then starts the process shown in FIG. Note that, as long as the information receiving apparatus 7 is powered on, power is supplied to the MPU 77.
  • the MPU 77 loads the database 790 from the program 780 and stores it in the RAM 79 (step S11).
  • the MPU 77 starts to create observation information 791 based on the signal from the microphone 74 (step S12), and enters a state of monitoring the occurrence of a trigger (step S13).
  • this state is referred to as a “trigger monitoring state”.
  • the MPU 77 determines that a trigger has occurred when a voice of a threshold value [dB] or more is detected in a predetermined frequency band.
  • the trigger is not limited to this, and for example, a timing that arrives at a predetermined period may be used as the trigger. Or it is good also considering the presence or absence of the partial scale for recognition mentioned later as a trigger.
  • the second selection unit 770 is a part that can be regarded as corresponding to a partial scale for recognition from the observed sound (ambient environmental sound) based on the observation information 791. (For example, it can be determined from the elapsed time from the trigger.)
  • the frequency distribution is acquired.
  • the frequency distribution of the environmental sound portion is compared with the frequency distribution of the recognition partial scale stored in the database 790 to determine whether or not the recognition partial scale exists in the observation information 791. (Step S14).
  • the second selection unit 770 when a frequency distribution similar to the frequency distribution of the part of the environmental sound used as the search key exists in the “partial scale” of the database 790, the second selection unit 770 includes the recognition part in the observation information 791. It is determined that there is a musical scale, and Yes is determined in step S14. On the other hand, when the frequency distribution similar to the frequency distribution of the portion of the environmental sound used as the search key does not exist in the item “partial scale” of the database 790, the second selection unit 770 recognizes the observation information 791. It is determined that the partial scale does not exist, and it is determined No in step S14.
  • step S ⁇ b> 14 the MPU 77 does not include the sound generated when the operation surface 50 (or the operation surface 60) is rubbed by the object, including the sound detected as the trigger. (That is, no operation is performed by the user), and the trigger monitoring state is restored.
  • the information reception device 7 creates the input information 792. There is no.
  • the observation information 791 is not transferred to the CPU 70, and the power consumption of the CPU 70 in the second operation mode can be suppressed. Even in the first operation mode, the CPU 70 is not forced to perform unnecessary processing.
  • the frequency distribution of the partial scale for recognition is defined relatively strictly like the plurality of preferred embodiments described so far. Therefore, the possibility that the recognition partial scale is considered to be present by the sound other than the sound generated on the operation surface 50 (or the operation surface 60) is lower than that of the conventional technique. Therefore, it can be said that the possibility that the information receiving apparatus 7 creates erroneous input information 792 by a sound other than when the object touches the operation surface 50 (or the operation surface 60) is lower than that of the conventional technique.
  • the second selection unit 770 selects candidate information (here, a transfer command) associated with the frequency distribution of the recognition partial scale, and inputs based on the candidate information.
  • Information 792 is created (step S15).
  • step S15 the candidate information indicated in the input information 792 is received by the information receiving device 7 as information input by the user.
  • the interface unit 771 determines whether or not the operation mode of the information reception device 7 is the second operation mode (step S16).
  • step S16 the interface unit 771 switches the operation mode of the information reception device 7 to the first operation mode (step S17). That is, the interface unit 771 resumes power supply to the CPU 70. As a result, the CPU 70 transitions to a state where the observation information 791 can be processed.
  • step S16 When it is determined No in step S16 (when the operation mode is the first operation mode), or when the process of step S17 is completed, the interface unit 771 executes the input information 792 (transfer command) to obtain observation information. 791 is transferred to the CPU 70 (step S18). When the transfer of the observation information 791 is completed, the MPU 77 returns to the trigger monitoring state.
  • the MPU 77 selects and executes the transfer command associated with the recognition partial scale, thereby causing the CPU 70 to store the observation information 791. Forward towards.
  • FIG. 24 is a flowchart showing the operation of the CPU 70 of the information reception device 7 provided in the information reception system 4.
  • the process illustrated in FIG. 24 is a process that is not executed when the operation mode of the information reception device 7 is the second operation mode. Further, it is assumed that the database 711 is already stored in the storage device 71 by the time each process shown in FIG. 24 is started. In addition, when the information receiving device 7 is turned on, the information receiving device 7 starts to operate in the first operation mode.
  • the CPU 70 determines whether or not the observation information 791 has been transferred from the MPU 77 (step S21), and whether or not the operation mode should be shifted to the second operation mode (step S25). ) Is monitored.
  • this state is simply referred to as a “monitoring state”.
  • the CPU 70 determines Yes in step S21 and creates the observation information 712 based on the transferred observation information 791. Thereby, the observation information 712 is stored in the storage device 71.
  • the first selection unit 700 searches the database 711 for selecting candidate information using the frequency distribution of the voice included in the observation information 712 as a search key. Accordingly, the first selection unit 700 determines whether or not the scale defined in the database 711 (first scale or second scale) exists in the observation information 712 (step S22).
  • the first selection unit 700 considers that no operation has been performed by the user, and returns to the monitoring state without creating the input information 713.
  • step S22 the first selection unit 700 selects candidate information associated with the detected frequency distribution of the scale as the input information 713 from the database 711. Then, the first selection unit 700 creates input information 713 based on the selected candidate information (step S23).
  • step S23 By executing step S23, the candidate information indicated in the input information 713 is received by the information receiving device 7 as information input by the user. Therefore, after step S23 is executed, processing according to the input information 713 is executed by the execution unit 701 (step S24). In addition, if the process according to the input information 713 is performed by performing step S24, CPU70 will return to a monitoring state again.
  • the CPU 70 determines Yes in step S25, and switches the operation mode of the information receiving apparatus 7 from the first operation mode to the second operation mode (step S26). ).
  • the CPU 70 stops the display on the display unit 73, turns off the backlight and the like, and stops the power supply to the CPU 70. Thereby, the information reception apparatus 7 shifts to a state where power consumption is suppressed. As already described, power supply to the MPU 77 is continued even in the second operation mode, and the steps S11 to S17 are in an executable state.
  • the situation where the first operation mode should be shifted to the second operation mode refers to the case where the user directly instructs the information reception device 7 to shift to the second operation mode, or the user's operation on the information reception device 7
  • the time is not set for a certain period of time.
  • the present invention is not limited to such a situation.
  • the database 711 and the database 790 are already stored prior to the operation by the user.
  • the information reception device 7 has already started to create the observation information 791 (step S12), and the MPU 77 is in a trigger monitoring state.
  • the user rubs the operation surface 50 of the first operation target member 5 attached to the information receiving apparatus 7 with his / her finger in the ( ⁇ Y) direction from the (+ Y) side end to the ( ⁇ Y) side end. . That is, the user performs a first user operation.
  • observation information 791 is created by the MPU 77. Further, the MPU 77 confirms the occurrence of the trigger based on the friction sound (first scale) (determined as Yes in step S13), and by referring to the database 790, the observation information 791 includes the partial scale for recognition. It is determined whether or not (step S14).
  • the observation information 791 created here includes the first scale generated by rubbing the operation surface 50. Therefore, the frequency distribution of the environmental sound includes a portion similar to the frequency distribution of the recognition partial scale. Therefore, in this case, the second selection unit 770 determines that a recognition partial scale exists (Yes in step S14). Then, the second selection unit 770 selects candidate information associated with the detected frequency distribution of the partial scale for recognition, and creates input information 792 (step S15).
  • the processing so far is processing that can be executed even when the information receiving device 7 is operating in the second operation mode. That is, the user can execute the first user operation without being aware of the operation mode of the information reception device 7.
  • Step S17 is executed to switch to the first operation mode.
  • the CPU 70 is activated and can be processed by the CPU 70.
  • the interface unit 771 transmits the observation information 791 to the CPU 70.
  • the CPU 70 receives the observation information 791 and stores it in the storage device 71 as the observation information 712.
  • the first selection unit 700 analyzes the observation information 712 and determines whether or not the scale information registered in the database 711 is included in the observation information 712.
  • the observation information 712 (observation information 791) created here includes the first scale. Therefore, the first selection unit 700 selects candidate information (mail transmission command) associated with the first scale, and creates input information 713 (step S23).
  • the mail transmission command selected here is a command for transmitting a fixed message (text for returning home) to a fixed destination (family).
  • the execution unit 701 executes the mail transmission command.
  • the communication unit 76 is controlled so as to transmit an e-mail containing a fixed message registered in advance to a fixed destination registered in advance. Thereby, the communication part 76 transmits the mail which notifies a family to a home addressed to the said family. At this time, the execution unit 701 does not light the display unit 73.
  • the display unit 73 is in the off state in the second operation mode. In this state, even if the first user operation is performed, the MPU 77 only activates the CPU 70 and does not light the display unit 73. Further, the CPU 70 (execution unit 701) also does not light the display unit 73.
  • the information reception device 7 can transmit the electronic mail while the display unit 73 is not displayed. That is, power consumption can be suppressed by executing transmission of the e-mail while the display unit 73 that is hardware with relatively large power consumption is stopped.
  • the information reception system 4 includes the first operation target member 5 as a seal member that can be arbitrarily selected and laid out by the user. And when a user operates the 1st operation object member 5, such a function (one-time transmission function) is realized. Therefore, the user who does not need such a function does not have to attach the first operation target member 5. Moreover, since the user who needs such a function can also stick the 1st operation target member 5 in a favorite position, the versatility of the operation part 72 is not reduced.
  • the operation on the first operation target member 5 is a first user operation, and it is necessary to rub a certain distance in a certain direction. Therefore, even if the display unit 73 is turned off, it can be said that the risk of causing an erroneous operation is low.
  • the frequency distribution of the second scale generated by rubbing the operation surface 60 of the second operation target member 6 is related to the “lighting command” in the database 711. Therefore, when the user performs the second user operation, the second scale (including the recognition partial scale) is generated from the operation surface 60, and the lighting command is executed in step S24.
  • the user turns on the display unit 73 that is turned off when the information receiving apparatus 7 is operating in the second operation mode by executing the second user operation. Can be made. As a result, the user can browse the information displayed on the display unit 73.
  • the information reception system 4 that receives input information in accordance with the user's operation has the first operation in which the operation surface 50 adjusted to generate a unique first scale when rubbed with an object is formed.
  • a target member 5 and an information receiving device 7 are provided.
  • the information reception device 7 observes the observation result while observing the storage device 71 that stores the database 711 that associates the mail transmission command that is a candidate for the input information 713 with the first scale, and the voice that occurs in the surrounding environment.
  • the microphone 74 acquired as 791 and the presence / absence of the first scale in the observation information 791 acquired by the microphone 74 are determined, and when it is determined that the first scale exists, the mail transmission command associated with the first scale Is selected as input information 713.
  • the operation surface 50 that is intentionally adjusted, the accuracy of the presence / absence determination of the first scale in the observed observation information 791 is improved.
  • the designated operation sound generated by the user is used only to determine whether or not the user has performed an operation. That is, the technique described in the above document has a problem that the viewpoint that the user himself / herself enjoys the generated sound is lacking.
  • the information reception system 4 allows the user to enjoy the user operation itself by using, for example, a phrase (part of music) that the user is familiar with as the first scale.
  • the first operation target member 5 since the first operation target member 5 is detachable from the information receiving device 7, the first operation target member 5 can be exchanged with the intention of the user. Therefore, it can be customized according to your preference.
  • the first operation target member 5 is formed with a pasting surface 51 different from the operation surface 50.
  • the first operation target member 5 can paste the pasting surface 51 on the information receiving device 7, It is possible to peel off the pasting surface 51 attached to the information receiving device 7 from the information receiving device 7. Thereby, the 1st operation target member 5 can be set as the structure which can be attached or detached easily.
  • the storage device 71 further includes a second operation target member 6 formed with an operation surface 60 that is adjusted to generate a specific second scale different from the first scale when rubbed with an object.
  • the lighting command that is a candidate for the information 713 is stored in association with the second scale, and the first selection unit 700 determines whether or not the second scale is present in the observation information 791 acquired by the microphone 74, and the second scale exists. When it is determined, the lighting command associated with the second scale is selected as the input information 713. In this way, by defining a plurality of scales, candidate information to be input information 713 can be selected from a plurality of candidate information. Therefore, versatility is improved.
  • the first scale includes a specific recognition partial scale.
  • the RAM 79 stores a transfer command as a candidate for the input information 792 in association with the recognition partial scale, and the second selection means is acquired by the microphone 74.
  • a transfer command associated with the recognition partial scale is selected as input information 792 when it is determined that a recognition partial scale exists.
  • the mail transmission command associated with the first scale is input information 713.
  • the determination partial scale in the observation information 791 acquired by the microphone 74 and the first selection unit 700 to be selected is determined, and when it is determined that the recognition partial scale exists, the recognition partial scale is included in the recognition partial scale.
  • a second selection unit 770 that selects an associated transfer command as input information 792, and the information reception device 7 is supplied with power to the first selection unit 700 (CPU 70) or operates in a normal power consumption state. The first operation mode and the power supply to the first selection unit 700 (CPU 70) is stopped or operates in a low power consumption state.
  • the interface unit 771 and the CPU 70 for switching the operation mode of the information receiving device 7 between the second operation mode and the information receiving device 7 when the transfer command is selected as the input information 792.
  • the operation mode is switched from the second operation mode to the first operation mode. Thereby, power consumption can be suppressed without inhibiting a user's operation.
  • the user can select which candidate information is associated with which scale. For example, when the first operation target member 5 is pasted, dedicated application software for creating (updating) the database 711 is started, the first user operation is executed, and the candidate information to be associated is designated by the user. Also good.
  • the system can be further adapted to the user's preference, and calibration can be performed in consideration of the application position of the first operation target member 5, the user's individuality, and the like, and the detection accuracy is improved. improves.
  • each process shown in the above embodiment is merely an example, and is not limited to the order and contents shown above. That is, as long as the same effect can be obtained, the order and contents may be changed as appropriate.
  • the functional blocks for example, the selection unit 100, the first selection unit 700, the second selection unit 770, etc.
  • the functional blocks are software-like when the CPU (or MPU) operates according to a program.
  • the CPU or MPU
  • some or all of these functional blocks may be configured by a dedicated logic circuit and realized in hardware.
  • the actual vibration generated in the surrounding environment due to the contact of the object with the operation surface 190 is not limited to the vibration of air propagating in the air.
  • vibration that occurs on the operation surface 190 and propagates mainly in the information receiving apparatus 1 as an object is also assumed. Therefore, the configuration for observing the actual vibration generated in the surrounding environment is not limited to the microphones 15, 16, 17, and 18 that observe the air vibration as sound waves, but detects the vibration propagating in the information receiving apparatus 1. It may be a vibration sensor. Compared with a sound wave that travels in the air, vibration propagating in the apparatus is more susceptible to the structure (known) inherent to the apparatus, and an effect of improving the rate of recognizing the observed actual vibration as the index vibration can be expected.
  • the information acquired as the auxiliary information 113 is not limited to the information exemplified in the above embodiment.
  • the number of operations within a predetermined time, an operation speed, an operation intensity, or the like may be used.
  • the contact locus between the object and the operation surface 190, 290, 390, 391, 50, 60 may be a circle or a rectangle. It may be a character shape or the like.
  • the operation surface may be adjusted so as to generate different characteristic index vibrations depending on the position on the operation surface.
  • the index vibration may be adjusted so as to change according to the position as if a gradation is formed. If comprised in this way, an operation position can be specified by the detected parameter
  • the actual vibration generated from the operation surface changes strictly according to the state of the operation surface. Therefore, a sensor (for example, a temperature sensor, an atmospheric pressure sensor, a humidity sensor, or the like) that detects the surrounding environment may be provided to determine the state of the operation surface and perform calibration based on this.
  • the state of the operation surface also changes depending on the wear state of the operation surface. Therefore, the wear state may be estimated based on the number of times of use, the age, etc., and the calibration may be performed.
  • the generated scale is different between when rubbing in the ( ⁇ Y) direction and when rubbing in the (+ Y) direction (however, The partial scale for recognition is the same.) Therefore, different commands may be associated with these different scales. For example, a command for increasing the volume may be associated with a scale generated when rubbing in the (+ Y) direction, and a command for decreasing the volume may be associated with a scale generated when rubbing in the ( ⁇ Y) direction. .
  • the first operation target member 5 may include a portion formed of a transparent material that transmits light. Thereby, for example, even if the first operation target member 5 is pasted on the screen of the display unit 73, the screen is not blocked. That is, the degree of freedom in selecting the place where the first operation target member 5 is pasted is improved.
  • the first operation target member 5 may not be directly attached to the information receiving device 7.
  • the first operation target member 5 is not limited to the seal member.
  • the first operation target member 5 may constitute a storage member (such as a case or a lid member) that stores the information reception device 7. Also with such a configuration, the first operation target member 5 can be easily detachable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

 ユーザの操作に応じて入力情報を受け付ける情報受付システムに、物体の接触により特有の指標振動を生じるように調整された操作面が形成された操作部と、入力情報の候補となる候補情報を指標振動に関連づけてデータベースとして記憶する記憶装置と、周囲の環境において生じる実振動を観測しつつ、観測結果を観測情報として取得するマイクと、取得された観測情報における指標振動の存否を判定するとともに、指標振動が存在すると判定したときに、当該指標振動に関連づけられた候補情報を、入力情報として選択する選択部とを設ける。

Description

情報受付システム、記録媒体および情報入力方法
 本発明は、記憶されている複数の情報の中から、ユーザの操作に応じて生じる振動を用いて、当該ユーザの所望する情報を特定する技術に関する。
 従来より、ユーザの操作に応じて生じる振動によって、ユーザの所望する情報を特定する技術が提案されている。例えば、特許文献1には、ユーザによって発生された指定操作音(空気の振動)を検出したときに当該ユーザによる操作がされたとみなして、当該操作を撮像した画像情報に基づいて、ユーザの所望する情報を特定する技術が記載されている。
特開2006-252037号公報
 ところが、特許文献1に記載されている技術では、ユーザによって発生された指定操作音は、ユーザの操作の有無を判定することにのみ利用されているという問題があった。すなわち、特許文献1に記載されている技術では、複数の情報の中でユーザがどの情報を所望しているのかという特定は、もっぱら操作を撮像した画像情報に基づいて行う必要があり、音声観測のみならず、画像情報の取得(撮像)が必須であるという問題があった。
 また、ユーザの操作対象物(特許文献1では、「撮影面」。)が未知の物体であるため、ユーザの操作時にどのような操作音が発生するのかが未知であり、検出漏れを防止するためには指定操作音であると認識する範囲を広く設定する必要がある。その一方で、このように指定操作音であると認識する範囲を広く設定するとノイズを指定操作音として誤検出するという問題があった。
 上記の課題を解決するため、請求項1の発明は、ユーザの操作に応じて入力情報を受け付ける情報受付システムであって、物体の接触により特有の指標振動を生じるように調整された操作面が形成された操作手段と、前記入力情報の候補となる候補情報を前記指標振動に関連づけて記憶する記憶手段と、周囲の環境において生じる実振動を観測しつつ、観測結果を観測情報として取得する観測手段と、前記観測手段により取得された観測情報における前記指標振動の存否を判定するとともに、前記指標振動が存在すると判定したときに、当該指標振動に関連づけられた候補情報を、前記入力情報として選択する選択手段とを備える。
 また、請求項2の発明は、請求項1の発明に係る情報受付システムであって、前記指標振動は、物体を前記操作面に接触させつつ移動させたときに生じる振動である。
 また、請求項3の発明は、請求項1の発明に係る情報受付システムであって、前記記憶手段において、前記指標振動に関連づけて記憶されている候補情報は、互いに異なる補助情報に関連づけられた複数の候補情報を含み、前記選択手段は、前記指標振動が存在すると判定したときに、前記観測手段により取得された観測情報に基づいて補助情報を取得し、取得した当該補助情報に応じて、前記指標振動に関連づけられた候補情報を前記入力情報として選択する。
 また、請求項4の発明は、請求項3の発明に係る情報受付システムであって、前記補助情報は、前記操作面に対するユーザの操作時間に関する情報を含む。
 また、請求項5の発明は、請求項3の発明に係る情報受付システムであって、前記補助情報は、前記操作面に対するユーザの操作回数に関する情報を含む。
 また、請求項6の発明は、請求項3の発明に係る情報受付システムであって、前記補助情報は、前記操作面に対するユーザの操作強度に関する情報を含む。
 また、請求項7の発明は、請求項3の発明に係る情報受付システムであって、前記補助情報は、前記操作面におけるユーザの操作位置に関する情報を含む。
 また、請求項8の発明は、請求項7の発明に係る情報受付システムであって、前記操作面に対する位置関係が互いに異なる複数の前記観測手段を備え、前記選択手段は、前記複数の観測手段ごとに取得された観測情報を互いに比較することにより、前記操作面におけるユーザの操作位置に関する情報を補助情報として取得する。
 また、請求項9の発明は、請求項7の発明に係る情報受付システムであって、前記補助情報は、前記操作面におけるユーザの操作距離に関する情報を含む。
 また、請求項10の発明は、請求項7の発明に係る情報受付システムであって、前記補助情報は、前記操作面におけるユーザの操作速度に関する情報を含む。
 また、請求項11の発明は、請求項7の発明に係る情報受付システムであって、前記補助情報は、前記操作面におけるユーザの操作方向に関する情報を含む。
 また、請求項12の発明は、請求項1の発明に係る情報受付システムであって、前記操作面に対する位置関係が互いに異なる複数の前記観測手段を備え、前記選択手段は、前記複数の観測手段のそれぞれにより取得された複数の観測情報に基づいて前記指標振動の存否を判定する。
 また、請求項13の発明は、請求項1の発明に係る情報受付システムであって、前記指標振動は、物体を第1方向に移動させたときに生じる第1指標振動と、物体を前記第1方向と異なる第2方向に移動させたときに生じる振動であって、前記第1指標振動と異なる第2指標振動とを含み、前記記憶手段は、前記第1指標振動に対応する第1候補情報と、前記第2指標振動に対応する候補情報であって、前記第1情報と異なる第2候補情報とを記憶し、前記選択手段は、前記第1指標振動が存在する場合に前記第1候補情報を選択し、前記第2指標振動が存在する場合に前記第2候補情報を選択する。
 また、請求項14の発明は、請求項1の発明に係る情報受付システムであって、前記操作手段は、前記操作面として、物体の接触により特有の第3指標振動を生じるように調整された第1操作面と、物体の接触により前記第3指標振動と異なる特有の第4指標振動を生じるように調整された第2操作面とを備え、前記記憶手段は、前記第3指標振動に対応する第3候補情報と、前記第4指標振動に対応する候補情報であって、前記第3候補情報と異なる第4候補情報とを記憶し、前記選択手段は、前記第3指標振動が存在する場合に前記第3候補情報を選択し、前記第4指標振動が存在する場合に前記第4候補情報を選択する。
 また、請求項15の発明は、請求項1の発明に係る情報受付システムであって、前記操作面は、前記操作面における位置に応じて異なる特有の指標震動を生じるように調整されている。
 また、請求項16の発明は、請求項1の発明に係る情報受付システムであって、前記観測手段は、周囲の環境において生じる音声を前記実振動として観測する。
 また、請求項17の発明は、ユーザの操作に応じて入力情報を受け付ける情報受付システムであって、物体で擦られたときに特有の第1音階を生じるように調整された操作面が形成された第1操作対象部材と、情報受付装置とを備え、前記情報受付装置は、前記入力情報の候補となる第1候補情報を前記第1音階に関連づけて記憶する記憶手段と、周囲の環境において生じる音声を観測しつつ、観測結果を観測情報として取得する観測手段と、前記観測手段により取得された観測情報における前記第1音階の存否を判定するとともに、前記第1音階が存在すると判定したときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する選択手段とを備える。
 また、請求項18の発明は、請求項17の発明に係る情報受付システムであって、前記第1操作対象部材は、前記情報受付装置に対して着脱自在とされている。
 また、請求項19の発明は、請求項18の発明に係る情報受付システムであって、前記第1操作対象部材には前記操作面と異なる貼付面が形成されており、前記第1操作対象部材は、前記貼付面を前記情報受付装置に貼り付けることが可能であるとともに、前記情報受付装置に貼り付いた状態の前記貼付面を前記情報受付装置から剥がすことが可能である。
 また、請求項20の発明は、請求項19の発明に係る情報受付システムであって、前記第1操作対象部材は、光を透過する透明材料で形成された部分を含む。
 また、請求項21の発明は、請求項18の発明に係る情報受付システムであって、前記第1操作対象部材は、前記情報受付装置を収納する収納部材を構成している。
 また、請求項22の発明は、請求項17の発明に係る情報受付システムであって、物体で擦られたときに、前記第1音階と異なる特有の第2音階を生じるように調整された操作面が形成された第2操作対象部材をさらに備え、前記記憶手段は、前記入力情報の候補となる第2候補情報を前記第2音階に関連づけて記憶し、前記選択手段は、前記観測手段により取得された観測情報における前記第2音階の存否を判定するとともに、前記第2音階が存在すると判定したときに、当該第2音階に関連づけられた第2候補情報を、前記入力情報として選択する。
 また、請求項23の発明は、請求項17の発明に係る情報受付システムであって、前記第1音階は、特有の部分音階を含み、前記記憶手段は、前記入力情報の候補となる第3候補情報を前記部分音階に関連づけて記憶し、前記選択手段は、前記観測手段により取得された観測情報における前記部分音階の存否を判定するとともに、前記部分音階が存在すると判定したときに、当該部分音階に関連づけられた第3候補情報を、前記入力情報として選択する。
 また、請求項24の発明は、請求項23の発明に係る情報受付システムであって、前記選択手段は、前記観測手段により取得された観測情報における前記第1音階の存否を判定するとともに、前記第1音階が存在すると判定したときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する第1選択手段と、前記観測手段により取得された観測情報における前記部分音階の存否を判定するとともに、前記部分音階が存在すると判定したときに、当該部分音階に関連づけられた第3候補情報を、前記入力情報として選択する第2選択手段とを備え、前記情報受付装置は、前記第1選択手段に電力供給がされる、もしくは通常電力消費状態で動作する第1動作モードと、前記第1選択手段に対する電力供給が停止、もしくは低電力消費状態で動作する第2動作モードとの間で、前記情報受付装置の動作モードを切り替える切替手段をさらに備え、前記切替手段は、前記第3候補情報が前記入力情報として選択されたときに、前記情報受付装置の動作モードを前記第2動作モードから前記第1動作モードに切り替える。
 また、請求項25の発明は、物体の接触により特有の指標振動を生じるように調整された操作面が形成された操作手段を備えるコンピュータにより読み取り可能なプログラムを記録した記録媒体であって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記入力情報の候補となる候補情報を前記指標振動に関連づけて記憶手段に記憶する工程と、周囲の環境において生じる実振動を観測手段により観測しつつ、観測結果を観測情報として取得する工程と、前記観測手段により取得された観測情報における前記指標振動の存否を判定するとともに、前記指標振動が存在すると判定したときに、当該指標振動に関連づけられた候補情報を、前記入力情報として選択する工程とを実行させる。
 また、請求項26の発明は、物体の接触により特有の指標振動を生じるように調整された操作面が形成された第1操作対象部材を備えるコンピュータにより読み取り可能なプログラムを記録した記録媒体であって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記入力情報の候補となる第1候補情報を前記第1音階に関連づけて記憶手段に記憶する工程と、周囲の環境において生じる音声を観測手段により観測しつつ、観測結果を観測情報として取得する工程と、前記観測手段により取得された観測情報における前記第1音階の存否を判定するとともに、前記第1音階が存在すると判定したときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する工程とを実行させる。
 また、請求項27の発明は、物体の接触により特有の指標振動を生じるように調整された操作面をユーザが操作することによって入力情報を入力する情報入力方法であって、前記入力情報の候補となる候補情報を前記指標振動に関連づけて記憶手段に記憶する工程と、周囲の環境において生じる実振動を観測手段により観測しつつ、観測結果を観測情報として取得する工程と、取得された前記観測情報における前記指標振動の存否を判定する工程と、前記指標振動が存在すると判定されたときに、当該指標振動に関連づけられた候補情報を、前記入力情報として選択する工程とを有する。
 また、請求項28の発明は、物体の接触により特有の指標振動を生じるように調整された操作面をユーザが操作することによって入力情報を入力する情報入力方法であって、前記入力情報の候補となる第1候補情報を前記第1音階に関連づけて記憶手段に記憶する工程と、周囲の環境において生じる音声を観測手段により観測しつつ、観測結果を観測情報として取得する工程と、取得された観測情報における第1音階の存否を判定する工程と、第1音階が存在すると判定されたときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する工程とを有する。
 請求項1ないし16,25,27に記載の発明は、物体の接触により特有の指標振動を生じるように調整された操作面を用いて入力することにより、観測された観測情報における指標振動の存否判定の精度が向上する。また、ユーザの操作に応じて発生する実振動を用いて入力するに際して、画像を撮像することなく、入力することができる。
 請求項17ないし24,26,28に記載の発明は、物体で擦られたときに特有の第1音階を生じるように調整された操作面が形成された第1操作対象部材を擦り、周囲の環境において生じる音声を観測しつつ、観測結果を観測情報として取得し、取得された観測情報における第1音階の存否を判定するとともに、第1音階が存在すると判定したときに、当該第1音階に関連づけられた第1候補情報を、入力情報として選択する。このように、意図的に調整された操作面を用いることにより、観測された観測情報における第1音階の存否判定の精度が向上する。また、ユーザによる操作がされたか否かを、第1音階の発生の有無によって判定することにより、ユーザ操作自体を、ユーザが楽しむことができる。
好ましい実施の形態における情報受付装置を示す図である。 好ましい実施の形態における情報受付装置のブロック図である。 サンプル素材について、人が指で表面を擦ったときに発生する摩擦音の周波数分布を解析した図である。 サンプル素材について、人が指で表面を擦ったときに発生する摩擦音の周波数分布を解析した図である。 サンプル素材について、人が指で表面を擦ったときに発生する摩擦音の周波数分布を解析した図である。 好ましい実施の形態におけるデータベースを例示する図である。 好ましい実施の形態における情報受付装置が備える機能ブロックをデータの流れとともに示す図である。 好ましい実施の形態における情報受付装置の動作を示す流れ図である。 他の好ましい実施の形態における情報受付装置を示す図である。 他の好ましい実施の形態における情報受付装置のブロック図である。 他の好ましい実施の形態におけるデータベースを例示する図である。 さらに他の好ましい実施の形態における情報受付装置を示す図である。 さらに他の好ましい実施の形態における情報受付装置のブロック図である。 さらに他の好ましい実施の形態におけるデータベースを例示する図である。 情報受付システムを示す図である。 第1操作対象部材を示す図である。 情報受付システムにおける情報受付装置のブロック図である。 第1操作対象部材および第2操作対象部材に定義される複数の領域を例示する図である。 情報受付システムが備える情報受付装置のRAMに記憶されるデータベースを例示する図である。 情報受付システムが備える情報受付装置のMPUにより実現される機能ブロックをデータの流れとともに示す図である。 情報受付システムが備える情報受付装置の記憶装置に記憶されるデータベースを例示する図である。 情報受付システムが備える情報受付装置のCPUにより実現される機能ブロックをデータの流れとともに示す図である。 情報受付システムが備える情報受付装置のMPUの動作を示す流れ図である。 情報受付システムが備える情報受付装置のCPU作を示す流れ図である。
 1,2,3,7 情報受付装置
 4 情報受付システム
 10,70 CPU
 100 選択部
 11,71 記憶装置
 110,210,310,710,780 プログラム
 111,211,311,711,790 データベース
 112,115,116,117,118,712,780 観測情報
 113 補助情報
 114,713,792 入力情報
 12,73 表示部
 13,75 スピーカ
 15,16,17,18,74 マイク
 19,29,39,72 操作部
 190,290,390,391,50,60 操作面
 191,192,500,501,503,504,505,506,507,508,509,600,601,602,603,604,605,606,607,608,609 領域
 5 第1操作対象部材
 51 貼付面
 6 第2操作対象部材
 700 第1選択部
 701 実行部
 76 通信部
 77 MPU
 770 第2選択部
 771 インタフェース部
 78 ROM
 79 RAM
 以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。
 また、本出願では、2015年3月17日に日本国に出願された特許出願番号2015-052757、および、特許出願番号2015-052758の利益を主張し、当該出願の内容は引用することによりここに組み込まれているものとする。
 図1は、好ましい実施の形態における情報受付装置1を示す図である。情報受付装置1は、情報受付装置1における設置位置が互いに異なる4つのマイク15,16,17,18を備え、筐体の表面が操作面190を形成している。
 なお、領域191,192は、操作面190内に定義された領域を示すが、操作面190の構造および機能については後述する。また、情報受付装置1は、ユーザの所望する動作を実現するにあたり、当該動作を実現するためのコマンドやパラメータなどの情報(ユーザの所望する情報)を受け付ける装置として構成されている。
 図2は、好ましい実施の形態における情報受付装置1のブロック図である。情報受付装置1は、CPU10、記憶装置11、表示部12、スピーカ13および操作部19を備えている。
 CPU10は、記憶装置11に格納されているプログラム110を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、CPU10は、情報受付装置1が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、情報受付装置1は、一般的なコンピュータとして構成されている。
 記憶装置11は、情報受付装置1において各種データを記憶する機能を提供する。言い換えれば、記憶装置11が情報受付装置1において電子的に固定された情報を保存する。
 記憶装置11としては、CPU10の一時的なワーキングエリアとして使用されるRAMやバッファ、読み取り専用のROM、不揮発性のメモリ(例えばNANDメモリなど)、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体(CD-ROM、DVD-ROM、PCカード、SDカード、USBメモリなど)等が該当する。図2においては、記憶装置11を、あたかも1つの構造物であるかのように図示している。しかし、通常、記憶装置11は、上記例示した各種装置(あるいは媒体)のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置11は、データを記憶する機能を有する装置群の総称である。
 また、現実のCPU10は高速にアクセス可能なRAMを内部に備えた電子回路である。しかし、このようなCPU10が備える記憶装置も、説明の都合上、記憶装置11に含めて説明する。すなわち、一時的にCPU10自体が記憶するデータも、記憶装置11が記憶するとして説明する。図2に示すように、記憶装置11は、プログラム110、データベース111、および、観測情報112などを記憶するために使用される。
 表示部12は、各種データを表示することによりオペレータ等に対して出力する機能を有するハードウェアである。表示部12としては、例えば、ランプやLED、CRT、液晶ディスプレイや液晶パネルなどが該当する。
 スピーカ13は、CPU10からの制御信号に応じて、電気的な信号を振動に変換することにより空気を振動させて、音声を再生する機能を有している。これにより、情報受付装置1は、音楽などを再生するオーディオ機器としての機能を有している。
 複数のマイク15,16,17,18は、情報受付装置1における設置位置が互いに異なるほかは、同一のハードウェアである。したがって、特に断らない限り、以下の説明では、マイク15を例に説明する。
 マイク15は、周囲の音声を電気信号に変換する機能を有している。マイク15によって取得された電気信号は、観測情報112として記憶装置11に記憶される。ここで、音声は、マイク15(情報受付装置1)の周囲の環境において生じる実振動(空気中を電波する空気の振動)である。したがって、マイク15は、周囲の環境において生じる実振動を観測して、観測結果を観測情報112として取得する機能を有している。
 なお、図2に示すように、観測情報112は、観測情報115,116,117,118を含んでいる。観測情報115はマイク15により取得された音声情報であり、観測情報116はマイク16により取得された音声情報である。そして、観測情報117はマイク17により取得された音声情報であり、観測情報118はマイク18により取得された音声情報である。このように、観測情報112とは、マイク15,16,17,18によって取得された情報の総称である。そして、マイク15,16,17,18がそれぞれ異なる位置に配置されていることから、観測情報115,116,117,118はそれぞれが異なる位置で観測された音声情報である。
 このように、情報受付装置1が配置位置の異なる複数のマイク15,16,17,18によって取得された複数の観測情報115,116,117,118を比較することにより、特定の音について音源の位置を特定することができる。情報受付装置1(CPU10)は、このような原理を用いて、物体が操作面190に接触したときの音を観測した観測情報112に基づいて、当該物体の操作面190における接触位置を特定する。
 なお、マイク15,16,17,18は、それぞれ1つに限られるものではない。情報受付装置1は、マイク15,16,17,18のうちの少なくともいずれか1つのを備えていればよい。また、マイク15,16,17,18は、周囲の音声を電気信号(観測情報112)に変換する機能を有していれば、それ以外の機能あるいは構造は互いに異なっていてもよい。
 操作部19は、情報受付装置1に対してユーザが指示を入力するために操作するハードウェアである。操作部19としては、例えば、各種キーやボタン類、スイッチ、タッチパネル、ポインティングデバイス、あるいは、ジョグダイヤルなどが該当する。
 さらに、操作部19には、物体の接触により特有の指標振動を生じるように意図的に調整された操作面190が形成されている。
 すでに説明したように、操作面190は、情報受付装置1の筐体の表面に形成されている。より詳細には、図1において、(+Z)方向に情報受付装置1をXY平面視した場合に観察される面が操作面190となっている。すなわち、情報受付装置1の筐体自体が操作部19を構成している。
 ここで、操作面190について説明する。例えば、樹脂を指で叩いたときに発生する打撃音と、金属を指で叩いたときに発生する打撃音とを比較すると、人の耳で聞いても、その違いは明らかである。また、叩く者が異なっても、叩く強さが変わっても、あるいは、叩く物体を指でなくタッチペンのような物に変えても、やはり、樹脂を叩いたときの打撃音か金属を叩いたときの打撃音かを識別することは可能である。すなわち、機械的な分析に比べれば識別精度が低いと考えられる人の耳によってさえも、樹脂に特有の打撃音と金属に特有の打撃音とを聞き分けることができる。このことから、物体で操作面190を叩いたときに発生する打撃音は、叩くために用いられる物体や叩き方に対する依存度が比較的低い、特有の音(振動)を生じていることが推測される。
 また、例えば、紙ヤスリの表面を指で摩擦する例を考えてみる。紙ヤスリの目の粗さに応じて様々な摩擦音が生じるが、擦る者が異なっても、あるいは、擦る物体が異なっても、同じ紙ヤスリを擦れば、そこから発生する摩擦音は近似している。すなわち、物体が操作面190に接触しつつ移動する場合について、操作面190の表面構造(起伏など)に特有の摩擦音が生じることが分かる。このことから、物体で操作面190を擦ったときに発生する音についても、操作面190の材質や摩擦係数などの表面構造に特有の音(振動)を生じていることが推測される。
 以上のことは、経験的に知られているものである。次に、客観的な実験によって上記の事実を検証した結果を示す。
 図3ないし図5は、サンプル素材について、人が指で表面を擦ったときに発生する摩擦音の周波数分布を解析した図である。なお、図3ないし図5に示す例において、使用したサンプル素材は互いに異なっている。また、図3ないし図5では、いずれも試験者が6回の試行を繰り返すことにより発生した6回分の摩擦音について図示している。
 図3ないし図5から明らかなように、いずれのサンプル素材においても、6回の試行において指で擦ったときに発生する摩擦音には互いに相関が見られる。すなわち、同一のサンプル素材については、発生する摩擦音に一定の相関が見られる(ここに示す例では、互いの周波数分布が似ている。)。
 一方で、あるサンプル素材において発生する摩擦音の特徴(例えば図3に示す周波数分布)と、他のサンプル素材において発生する摩擦音の特徴(例えば図4に示す周波数分布)との間には、相関が低いことも分かる。言い換えれば、異なるサンプル素材において発生する摩擦音の周波数分布は似ていない。
 以上のことから、操作面190の表面構造を決定すれば、当該操作面190に物体が接触するときに発生する振動を比較的高精度で予測することができる。逆に言えば、情報受付装置1において、特有の振動を生じるように調整された操作面190を操作部19として採用すれば、当該操作面190が操作されたか否かは、当該特有の振動が生じたか否かを観測することにより判定することができる。以下では、操作面190に物体が接触することにより発生する特有の振動を、「指標振動」と称する。
 なお、操作面190の表面構造を意図する特有の振動を生じるように調整する手法としては、材料の選択の他に、スパッタリングやエッチングなどによって材料表面の起伏形状を調整する手法などを用いることができる。
 ここまでに説明したように、特定の表面構造を有する操作面190に物体が接触することによって、特有の指標振動を生じることが分かった。しかしながら、図3ないし図5に示す実験において、6回分の実振動は完全には一致していない。すなわち、例え、指標振動を含むと判定可能な実振動が生じるとしても、当該実振動は毎回完全に一致するものではなく、接触の仕方や接触させた物体の物性などによって多少の違いが生じる。
 言い換えれば、観測される実振動には、指標振動の成分と、その他の要因によって生じる個別振動の成分とが含まれる。また、実振動を観測しつつ記録した観測情報112には、振動の成分以外にも、当該実振動を分析することによって得られる情報も含まれる。
 このように、観測情報112に含まれる情報のうち、ユーザによる1回の操作ごとに変化しうる要因に起因する情報を、以下、「補助情報」と称する。補助情報としては、例えば、振動の継続時間(操作時間に相当する。)や、振動強度(操作強度に相当する。)、接触位置(操作位置に相当する。)、あるいは、接触位置の移動速度(操作速度に相当する。)や移動方向(操作方向に相当する。)などが想定される。
 好ましい実施の形態における情報受付装置1は、指標振動として、物体を操作面190に接触させつつ移動させたときに生じる振動を用いる。すなわち、打撃音のように、振動の継続時間が比較的短い振動は、指標振動に用いない。また、好ましい実施の形態における情報受付装置1は、補助情報として、「接触位置」、「接触位置の移動方向」および「接触位置の移動距離」とを用いる。
 図6は、好ましい実施の形態におけるデータベース111を例示する図である。データベース111は、1つの候補情報(入力情報の候補となる情報)について1つのレコードが作成されるテーブル構造を有している。図6に示す例において、データベース111には、6個の候補情報が格納されており、それぞれに「番号」が付与され、当該番号によって個々に識別可能となっている。
 好ましい実施の形態では、1つの指標振動のみ定義し、当該指標振動の周波数分布により、当該指標振動の有無を判定する。したがって、図6に示す6個の候補情報は、すべて同一の指標振動(周波数分布)に関連づけられている。
 また、データベース111の各レコードには、「位置」、「方向」、「距離」に関する情報を関連づけるための項目が設けられている。これらは、それぞれ、「接触位置」、「接触位置の移動方向」および「接触位置の移動距離」に相当する補助情報である。
 「位置」は、操作面190に物体が接触した位置を意味する。ここに示す例において、4つの候補情報(番号が、001,002,003,004で識別される候補情報。)は、領域191に関連づけられている。また、2つの候補情報(番号が、005,006で識別される候補情報。)は、領域192に関連づけられている。
 「方向」は、操作面190に接触している物体が、どの方向に移動したかを意味する。「方向」は、時間の経過とともに変化する「位置」に応じて決定することができる。図6に示す例では、(+X)方向および(-X)方向についてそれぞれ2つの候補情報が関連づけられている。また、(+Y)方向および(-Y)方向について、それぞれ1つの候補情報が関連づけられている。
 「距離」は、操作面190に接触している物体が、移動した距離を意味する。ここに示す例では、距離「5」および「10」に、それぞれ2つの候補情報が関連づけられている。ただし、番号が005,006で識別される候補情報については、「距離」が関連づけられておらず、これらの候補情報についての「距離」は必要とされないことを意味している。なお、「距離」における単位は、任意に定義すればよい。
 図7は、好ましい実施の形態における情報受付装置1が備える機能ブロックをデータの流れとともに示す図である。図7に示す選択部100は、CPU10がプログラム110に従って動作することにより実現される機能ブロックである。
 選択部100は、マイク15,16,17,18により取得された観測情報112における指標振動の存否を判定する。より詳細には、選択部100は、観測情報112に含まれる実振動を解析して、当該実振動の周波数分布を取得する。そして、取得した実振動の周波数分布と、データベース111に格納されている指標振動の周波数分布とを比較して、実振動の周波数分布が指標振動の周波数分布と近似する場合に、当該実振動に指標振動が含まれていると判定する。
 好ましい実施の形態では、4つのマイク15,16,17,18によって、4つの観測情報115,116,117,118が取得される。選択部100は、4つの観測情報115,116,117,118のそれぞれに記録されている実振動について、それぞれ、指標振動が存在するか否かを判定する。したがって、4つの観測情報115,116,117,118のいずれかにおいて指標振動が存在する場合に、選択部100は、指標振動が存在すると判定する。
 このように、情報受付装置1は、複数のマイク15,16,17,18を備えることにより、観測情報112における指標振動の検出漏れを抑制することができる。したがって、指標振動の検出精度が向上する。
 なお、実振動の周波数分布において、すべての周波数帯について、指標振動の周波数分布と比較する必要はない。例えば、試行を繰り返した結果、比較的再現性の高い周波数帯における周波数分布のみを比較するように構成してもよい。また、可聴音域に限定されるものでもない。
 また、選択部100は、観測情報112に基づいて、必要な補助情報113を抽出する機能も有している。すでに図6において示したように、好ましい実施の形態における情報受付装置1では、データベース111において、入力情報114の候補となる複数の候補情報に、「位置」、「方向」および「距離」といった補助情報113を関連づけている。
 したがって、選択部100は、観測情報112に基づいて、物体の操作面190に対する接触位置(位置)、当該接触位置の移動方向(方向)、および、当該接触位置の移動距離(距離)を求める。選択部100が、配置位置の異なる複数のマイク15,16,17,18により取得された音声(観測情報112)に基づいて、音源の位置を特定する手法は、すでに説明したように、従来技術を採用することにより実現できる。
 さらに、選択部100は、指標振動の存否、および、観測情報112から検出した補助情報113に基づいて、データベース111を検索する。そして、選択部100は、複数の候補情報の中から、入力情報114となる候補情報を選択し、入力情報114を作成する。
 以上が、好ましい実施の形態における情報受付装置1の構成および機能の説明である。次に、情報受付装置1の動作について説明する。
 図8は、好ましい実施の形態における情報受付装置1の動作を示す流れ図である。なお、図8に示す各工程が実行される前に、情報受付装置1の記憶装置11に、すでにデータベース111が記憶されているものとする。すなわち、データベース111を記憶装置11に記憶させる工程は、すでに完了しているものとする。
 情報受付装置1は、電力供給源に接続されると、所定の初期設定(図示せず。)を実行した後、図8に示す処理を開始する。
 図8に示す処理を開始すると、情報受付装置1は、マイク15,16,17,18により、観測情報112(観測情報115,116,117,118)の作成を開始する(ステップS1)。以後、特に断らない限り、情報受付装置1は、観測情報112の作成を継続する。
 情報受付装置1は、観測情報112の作成を開始した後、トリガの発生を監視する(ステップS2)。好ましい実施の形態では、観測情報112を解析した結果、所定の周波数帯において、閾値[dB]以上の音声を検出した場合にトリガが発生したと判定する。ただし、トリガはこれに限定されるものではなく、例えば、所定の周期で到来するタイミングをトリガとしてもよい。
 トリガが発生すると(ステップS2においてYes。)、選択部100は、観測情報112に基づいて、発生した音声(実振動)の周波数分布を取得し、当該実振動の周波数分布により、指標振動を検出するためのデータベース111の検索を実行する(ステップS3)。
 ステップS3において、検索キーとして用いる実振動の周波数分布に類似する周波数分布が、データベース111の「指標振動」の項目に1つでも存在していた場合、選択部100は、実振動に指標振動が存在していたとみなしてステップS4においてYesと判定する。一方で、検索キーとして用いる実振動の周波数分布に類似する周波数分布が、データベース111の「指標振動」の項目に1つも存在していない場合、選択部100は、実振動に指標振動が存在していなかったとみなしてステップS4においてNoと判定する。
 ステップS4においてNoと判定されたとき、情報受付装置1は、トリガとして検出された音声は、物体が操作面190に接触したときに発生した音声ではない(すなわち、ユーザによる操作面190に対する操作はされていない。)とみなす。この場合、情報受付装置1は、ステップS2に戻って処理を繰り返す。このように、操作面190に対する操作がされていないとみなされた場合、情報受付装置1は、入力情報114の作成を行うことはない。
 指標振動の周波数分布は比較的厳密に定義されるため、操作面190において発生する音声以外の音声によって指標振動が存在するとみなされるおそれは低い。したがって、物体が操作面190に接触したとき以外の音声(振動)によって、情報受付装置1が誤った入力情報114を作成する可能性は、従来の技術に比べて低い。
 ステップS4においてYesと判定されたとき、選択部100は、当該指標振動の周波数分布を検索キーとして、候補情報を選択するためのデータベース111の検索を実行する(ステップS5)。すなわち、選択部100は、指標振動の周波数分布を検索キーとして、当該検索キーに関連づけられている候補情報を検索する。なお、ステップS5における検索キーは、ステップS3で用いた実振動の周波数分布であってもよい。
 ステップS5における検索の結果、該当する候補情報がデータベース111に1つしか存在しなかった場合、選択部100は、候補情報を選択できたとみなして、ステップS6においてYesと判定する。そして、選択された候補情報に基づいて、入力情報114を作成する(ステップS8)。
 ステップS8が実行されることによって、入力情報114に示される候補情報が、ユーザによって入力された情報として情報受付装置1に受け付けられたこととなる。したがって、ステップS8が実行された後、入力情報114に応じた処理(図示せず。)が実行される。なお、ステップS8を実行し、入力情報114に応じた処理を実行すると、情報受付装置1は、再び、トリガ発生を監視する状態に戻る。
 一方、ステップS5における検索の結果、該当する候補情報がデータベース111に複数存在する場合、選択部100は、候補情報を1つに絞り込むことができず、特定の候補情報を選択できなかったとみなして、ステップS6においてNoと判定する。
 ステップS6においてNoと判定すると、選択部100は、観測情報112を解析して、観測情報112から取得した情報に基づいて、補助情報113を作成する(ステップS7)。好ましい実施の形態では、すでに説明したように、「位置」、「方向」および「距離」が補助情報113として取得される。
 ステップS7が実行されると、選択部100は、再びステップS5を実行する。このとき、選択部100は、指標振動の周波数分布だけでなく、補助情報113に格納されている情報も、データベース111を検索するための検索キーとして用いる。
 これにより、2度目にステップS5が実行されたときには、候補情報の絞り込みが可能となり、ステップS6においてYesと判定される。そして、ステップS6においてYesと判定されると、選択部100がステップS8を実行し、入力情報114が作成される。
 なお、好ましい実施の形態では、ステップS7が実行されるときに、データベース111に定義されている補助情報113のすべてが取得される。ただし、一度に、すべての補助情報113を取得せずに、最初に「位置」を取得して検索し、それでも選択できなかった場合に、ステップS7を繰り返し、順次、「方向」や「距離」に関する補助情報113を取得するように構成してもよい。
 次に、ユーザが、情報受付装置1を用いて、所望する情報を入力情報114として入力する情報入力方法について説明する。以下の説明では、ユーザが音楽の視聴を所望し、さらに、音量を「10」単位分だけ増加させることを所望する例について説明する。
 なお、ユーザによる操作に先立って、情報受付装置1の記憶装置11にはデータベース111が記憶されているものとする。また、情報受付装置1は、すでに観測情報112の作成を開始しており(ステップS1)、トリガ発生を監視する状態となっているものとする。
 まず、音楽の視聴を希望するユーザは、情報受付装置1の電源を投入しなければならないので、操作面190の領域192を指で(+Y)方向に擦る。このように、ユーザの指が操作面190に接触して擦ることにより、操作面190から特有の摩擦音(実振動)が発生する。この摩擦音は、マイク15,16,17,18により信号化され、観測情報112が作成される。
 また、情報受付装置1は、摩擦音により、トリガ発生を確認し、当該摩擦音の周波数分布を用いてデータベース111を検索する(ステップS3)。ここで検索に用いられる摩擦音は操作面190を擦ったことによって発生したものである。したがって、当該摩擦音の周波数分布は、指標振動の周波数分布に類似するものであり、データベース111において、該当するものが検出される。これにより、情報受付装置1は、指標振動が存在すると判定する(ステップS4においてYes。)。
 次に、情報受付装置1は、データベース111において検出された指標振動の周波数分布を検索キーとして、データベース111を検索し、当該指標振動の周波数分布に関連づけられている候補情報を検索する(ステップS5)。
 図6に示すデータベース111では、当該指標振動の周波数分布に関連づけられている候補情報は、6つある。したがって、この段階で、情報受付装置1は、候補情報の選択ができなかったと判定し、ステップS7を実行する。すなわち、選択部100が観測情報112に基づいて、補助情報113を作成する。
 ここでは、ユーザが操作した「位置」は領域192内であるため、番号005または006の候補情報に絞られ、さらに、「方向」が(+Y)方向であるため、番号005の候補情報が選択される。候補情報が選択されたことによって、ステップS6においてYesと判定され、入力情報114は、「電源投入コマンド」となる。
 このように、ユーザが操作面190の領域192を指で(+Y)方向に擦ることにより、「電源投入コマンド」が入力され、これが実行されることにより、ユーザが所望したとおり情報受付装置1の電源が投入される。なお、電源が投入されたか否かは、表示部12に所定の表示を行うことにより、ユーザが確認できるようにすることが好ましい。
 情報受付装置1の電源が投入され、スピーカ13から音声が再生されると、ユーザは好みの音量となるように調整することを所望する。先述のように、ここでは、音量を「10」単位分だけ増加させる例について説明する。
 音量を「10」単位だけ増加させることを所望するユーザは、操作面190の領域191を指で(+X)方向に「10」単位に相当する距離分だけ擦る。この操作によって、操作面190から特有の摩擦音(実振動)が発生する。この摩擦音は、マイク15,16,17,18により信号化され、観測情報112が作成される。
 また、情報受付装置1は、摩擦音により、トリガ発生を確認し、当該摩擦音の周波数分布を用いてデータベース111を検索する(ステップS3)。ここで検索に用いられる摩擦音は操作面190を擦ったことによって発生したものである。したがって、当該摩擦音の周波数分布は、指標振動の周波数分布に類似するものであり、データベース111において、該当するものが検出される。これにより、情報受付装置1は、指標振動が存在すると判定する(ステップS4においてYes。)。
 次に、情報受付装置1は、データベース111において検出された指標振動の周波数分布を検索キーとして、データベース111を検索し、当該指標振動の周波数分布に関連づけられている候補情報を検索する(ステップS5)。
 図6に示すデータベース111では、当該指標振動の周波数分布に関連づけられている候補情報は、6つある。したがって、この段階で、情報受付装置1は、候補情報の選択ができなかったと判定し、ステップS7を実行する。すなわち、選択部100が観測情報112に基づいて、補助情報113を作成する。
 ここでは、ユーザが操作した「位置」は領域191内であるため、番号001ないし004の候補情報に絞られ、また、「方向」が(+X)方向であるため、番号001または002の候補情報に絞られる。さらに、「距離」が「10」であるため、番号002の候補情報が選択される。これにより、ステップS6においてYesと判定されるため、入力情報114は、「音量増大コマンド10」となる。
 このように、ユーザが操作面190の領域191を指で(+X)方向に「10」単位に相当する距離だけ擦ることにより、「音量増大コマンド10」が入力され、これが実行されることにより、ユーザが所望したとおりスピーカ13における音量が「10」だけ増加する。
 このように、情報受付装置1では、候補情報としてのコマンドを選択するとともに、コマンドを実行するときのパラメータも候補情報として定義することにより、これらの情報も入力することができる。ここに示す例では、ユーザが指を移動させた「距離」が、音量の「増加量」として入力される。したがって、ユーザが、直感的に理解しやすい情報入力方法を提供することができる。
 以上のように、情報受付装置1は、物体の接触により特有の指標振動を生じるように調整された操作面190が形成された操作部19と、入力情報114の候補となる候補情報を指標振動に関連づけて記憶する記憶装置11と、周囲の環境において生じる実振動を観測しつつ、観測結果を観測情報112として取得するマイク15,16,17,18と、取得された観測情報112における指標振動の存否を判定するとともに、指標振動が存在すると判定したときに、当該指標振動に関連づけられた候補情報を、入力情報114として選択する選択部100とを備える。このように、意図的に調整された操作面190を入力情報114の入力に用いることにより、観測される観測情報112における指標振動の存否判定の精度が向上する。また、ユーザの操作に応じて発生する実振動を用いて入力するに際して、従来技術のように、画像を撮像することなく、入力情報114を入力することができる。
 また、指標振動は、物体を操作面190に接触させつつ移動させたときに生じる振動である。例えば、打撃音などに比べて、摩擦による振動は長時間に亘って発生する。したがって、そのような振動を指標振動に定義することにより、例えば、多くの特徴点を分析することができる。これにより、観測情報112における指標振動の存否判定の精度がさらに向上する。ただし、打撃音などを指標振動としてもよいし、両者を指標振動として定義した上で、どちらか一方を検出したときに、ユーザによる操作を検出したものとして扱ってもよい。
 また、記憶装置11に記憶されるデータベース111において、指標振動に関連づけて記憶されている候補情報は、互いに異なる補助情報に関連づけられた複数の候補情報を含み、選択部100は、指標振動が存在すると判定したときに、取得された観測情報112に基づいて補助情報113を取得し、取得した当該補助情報113に応じて、指標振動に関連づけられた候補情報を入力情報114として選択する。これにより、観測情報112に含まれる指標震動の有無以外の情報に基づいて、候補情報を入力情報114として選択することができる。したがって、汎用性が向上する。
 また、補助情報113は、操作面190におけるユーザの操作位置に関する情報を含む。これにより、操作位置に応じて、異なる候補情報を入力情報114として選択することができる。したがって、汎用性が向上する。
 また、操作面190に対する位置関係が互いに異なる複数のマイク15,16,17,18を備え、選択部100は、複数のマイク15,16,17,18ごとに取得された観測情報115,116,117,118を互いに比較することにより、操作面190におけるユーザの操作位置に関する情報(領域191内か領域192内かの区別など。)を補助情報113として取得する。これにより、デジタルカメラなどを設けて位置を確認する従来例に比べて、容易に、かつ、安価に、操作位置に関する情報を取得することができる。
 また、補助情報113は、操作面190におけるユーザの操作距離に関する情報を含む。これにより、操作距離に応じて、異なる候補情報を入力情報114として選択することができる。したがって、汎用性が向上する。
 また、補助情報113は、操作面190におけるユーザの操作方向に関する情報を含む。これにより、操作方向に応じて、異なる候補情報を入力情報114として選択することができる。したがって、汎用性が向上する。
 また、操作面190に対する位置関係が互いに異なる複数のマイク15,16,17,18を備え、選択部100は、複数のマイク15,16,17,18のそれぞれにより取得された複数の観測情報115,116,117,118に基づいて指標振動の存否を判定する。これにより、例えば、1つのマイク15による観測よりも、検出漏れを抑制することができ、指標震動の存否判定の精度を向上させることができる。
 また、情報受付装置1は、マイク15,16,17,18を用いて、周囲の環境において生じる音声を実振動として観測するように構成されている。すなわち、実振動として「音声」に着目することにより、観測情報112を取得する観測装置として比較的安価なマイク15,16,17,18を採用することができる。したがって、情報受付装置1は、容易に、かつ、高精度に、実振動を観測することができる。
 好ましい実施の形態では、指標振動は、ユーザの操作がされたか否かの判定にのみ利用されていた。そして、好ましい実施の形態では、複数の候補情報の中から1つの候補情報を選択するために、補助情報113を用いていた。しかし、複数の候補情報からの絞り込みを、補助情報113だけではなく、指標振動によって行うことも可能である。
 図9は、他の好ましい実施の形態における情報受付装置2を示す図である。なお、以下の説明では、他の好ましい実施の形態における情報受付装置2において、好ましい実施の形態における情報受付装置1と同様の構成については同符号を付し、適宜、説明を省略する。
 情報受付装置2では、操作面190の代わりに、図9に示すように、操作面290が形成されている点が情報受付装置1と異なっている。
 操作面290は、操作面190と同様に、特有の指標振動が生じるように調整されている。ただし、操作面290は、接触している物体を(+X)方向に移動させたときには第1指標振動を生じるように調整されており、接触している物体を(-X)方向に移動させたときには、第1指標振動とは異なる第2指標振動を生じるように調整されている。より具体的には、ユーザが指で、操作面290を(+X)方向に擦ったときと、(-X)方向に擦ったときとでは、異なる指標振動を生じるように、操作面290が調整されている。
 図10は、他の好ましい実施の形態における情報受付装置2のブロック図である。情報受付装置2は、操作部19の代わりに、操作面290が形成された操作部29を備えている。また、情報受付装置2の記憶装置11には、プログラム110およびデータベース111の代わりに、プログラム210およびデータベース211が記憶されている。
 図11は、他の好ましい実施の形態におけるデータベース211を例示する図である。データベース211において、第1指標振動の周波数分布に関連づけられる候補情報は、「音量増大コマンド5」、「音量増大コマンド10」および「電源投入コマンド」である。また、データベース211において、第2指標振動の周波数分布に関連づけられる候補情報は、「音量低下コマンド5」、「音量低下コマンド10」および「電源切断コマンド」である。
 次に、ユーザが、情報受付装置2を用いて、所望する情報を入力情報114として入力する情報入力方法について説明する。以下の説明では、ユーザが音楽の視聴を所望し、さらに、音量を「5」単位分だけ低下させることを所望する例について説明する。
 なお、ユーザによる操作に先立って、情報受付装置2の記憶装置11にはデータベース211が記憶されているものとする。また、情報受付装置2は、すでに観測情報112の作成を開始しており(ステップS1)、トリガ発生を監視する状態となっているものとする。
 まず、音楽の視聴を希望するユーザは、情報受付装置2の電源を投入しなければならないので、操作面290を指で(+X)方向に、距離が「20」以上となるように、充分に長い距離分擦る。情報受付装置2においても、ユーザの指が操作面290に接触して擦ることにより、操作面290から特有の摩擦音(実振動)が発生する。この摩擦音は、好ましい実施の形態と同様に、マイク15,16,17,18により信号化され、観測情報112が作成される。
 また、情報受付装置2は、観測情報112に記録された摩擦音により、トリガ発生を確認し、当該摩擦音の周波数分布を用いてデータベース211を検索する(ステップS3)。ここで検索に用いられる摩擦音は操作面290を(+X)方向に擦ったことによって発生したものである。したがって、当該摩擦音の周波数分布は、第1指標振動の周波数分布に類似するものであり、データベース211において、該当するものが検出される。これにより、情報受付装置2は、指標振動(第1指標振動)が存在すると判定する(ステップS4においてYes。)。
 次に、情報受付装置2は、データベース211において検出された第1指標振動の周波数分布を検索キーとして、データベース211を再度検索し、当該第1指標振動の周波数分布に関連づけられている候補情報を検索する(ステップS5)。
 図11に示すデータベース211では、当該第1指標振動の周波数分布に関連づけられている候補情報は、「音量増大コマンド5」、「音量増大コマンド10」および「電源投入コマンド」の3つである。したがって、この段階で、情報受付装置2は、候補情報の選択ができなかったと判定し、ステップS7を実行する。すなわち、選択部100が観測情報112に基づいて、補助情報113を作成する。
 ここでは、ユーザが操作した「距離」は「20」以上であるため、候補情報は「電源投入コマンド」に絞られ、番号005の候補情報が選択される。これにより、ステップS6においてYesと判定されるため、入力情報114は、「電源投入コマンド」となる。
 このように、ユーザが操作面290を指で(+X)方向に「20」以上の距離となるように擦ることにより、「電源投入コマンド」が入力され、これが実行されることにより、ユーザが所望したとおり情報受付装置2の電源が投入される。なお、電源が投入されたか否かは、表示部12に所定の表示を行うことにより、ユーザが確認できるようにすることが好ましい。
 情報受付装置2の電源が投入され、スピーカ13から音声が再生されると、ユーザは好みの音量となるように調整することを所望する。先述のように、ここでは、音量を「5」単位分だけ低下させる例について説明する。
 音量を「5」単位だけ低下させることを所望するユーザは、操作面290を指で(-X)方向に「5」単位に相当する距離分だけ擦る。この操作によって、操作面290から特有の摩擦音(実振動)が発生する。この摩擦音は、マイク15,16,17,18により信号化され、観測情報112が作成される。
 また、情報受付装置2は、当該摩擦音により、トリガ発生を確認し、当該摩擦音の周波数分布を用いてデータベース211を検索する(ステップS3)。ここで検索に用いられる摩擦音は操作面290を擦ったことによって発生したものである。したがって、当該摩擦音の周波数分布は、第2指標振動の周波数分布に類似するものであり、データベース211において、該当するものが検出される。これにより、情報受付装置2は、指標振動(第2指標振動)が存在すると判定する(ステップS4においてYes。)。
 次に、情報受付装置2は、データベース211において検出された第2指標振動の周波数分布を検索キーとして、データベース211を再度検索し、当該第2指標振動の周波数分布に関連づけられている候補情報を検索する(ステップS5)。
 図11に示すデータベース211では、当該第2指標振動の周波数分布に関連づけられている候補情報は、「音量低下コマンド5」、「音量低下コマンド10」および「電源切断コマンド」の3つある。したがって、この段階で、情報受付装置2は、候補情報の選択ができなかったと判定し、ステップS7を実行する。すなわち、選択部100が観測情報112に基づいて、補助情報113を作成する。
 ここでは、ユーザが操作した「距離」は「5」単位であるため、「音量低下コマンド5」に絞られ、番号003の候補情報が選択される。これにより、ステップS6においてYesと判定されるため、入力情報114は、「音量低下コマンド5」となる。
 このように、ユーザが操作面290を指で(-X)方向に「5」単位に相当する距離だけ擦ることにより、「音量低下コマンド5」が入力され、これが実行されることにより、ユーザが所望したとおりスピーカ13における音量が「5」だけ低下する。
 以上のように、他の好ましい実施の形態における情報受付装置2においても、情報受付装置1と同様に、意図的に調整された操作面290を入力情報114の入力に用いることにより、観測される観測情報112における指標振動の存否判定の精度が向上する。
 また、指標振動は、物体を第1方向に移動させたときに生じる第1指標振動と、物体を前記第1方向と異なる第2方向に移動させたときに生じる振動であって、第1指標振動と異なる第2指標振動とを含み、記憶装置11は、第1指標振動に対応する第1候補情報(「音量増大コマンド5」、「音量増大コマンド10」および「電源投入コマンド」)と、前記第2指標振動に対応する候補情報であって、前記第1情報と異なる第2候補情報(「音量低下コマンド5」、「音量低下コマンド10」および「電源切断コマンド」)とを記憶し、選択部100は、第1指標振動が存在する場合に第1候補情報を選択し、第2指標振動が存在する場合に第2候補情報を選択する。このように構成することによっても、物体を移動させる方向に応じて、異なる情報を入力することができる。したがって、汎用性が向上する。
 なお、他の好ましい実施の形態において、補助情報113として、操作距離の代わりに、操作時間を採用すれば、操作位置を検出する必要がなくなる。その場合は、複数の観測情報115,116,117,118を互いに比較する必要がなくなるため、1つのマイク15のみでも入力が可能となる。
 他の好ましい実施の形態では、操作方向に応じて異なる指標振動を生じる操作面290を用いる例について説明した。しかし、異なる指標振動を生じさせる構成はこのような構成に限定されるものではない。
 図12は、さらに他の好ましい実施の形態における情報受付装置3を示す図である。また、図13は、さらに他の好ましい実施の形態における情報受付装置3のブロック図である。なお、以下の説明では、さらに他の好ましい実施の形態における情報受付装置3において、他の好ましい実施の形態における情報受付装置2と同様の構成については同符号を付し、適宜、説明を省略する。
 さらに他の好ましい実施の形態における情報受付装置3は、操作部29の代わりに、操作部39を備えている。そして、操作部39には、物体の接触により特有の第3指標振動を生じるように調整された第1操作面390と、物体の接触により第3指標振動と異なる特有の第4指標振動を生じるように調整された第2操作面391とが形成されている。また、情報受付装置3の記憶装置11には、プログラム210およびデータベース211の代わりに、プログラム310およびデータベース311が記憶されている。
 図14は、さらに他の好ましい実施の形態におけるデータベース311を例示する図である。データベース311において、第3指標振動の周波数分布に関連づけられる候補情報は、「音量増大コマンド5」、「音量増大コマンド10」および「電源投入コマンド」である。また、データベース311において、第4指標振動の周波数分布に関連づけられる候補情報は、「音量低下コマンド5」、「音量低下コマンド10」および「電源切断コマンド」である。
 次に、ユーザが、情報受付装置3を用いて、所望する情報を入力情報114として入力する情報入力方法について説明する。以下の説明では、ユーザが音楽の視聴を所望し、さらに、音量を「5」単位分だけ低下させることを所望する例について説明する。
 なお、ユーザによる操作に先立って、情報受付装置3の記憶装置11にはデータベース311が記憶されているものとする。また、情報受付装置3は、すでに観測情報112の作成を開始しており(ステップS1)、トリガ発生を監視する状態となっているものとする。
 まず、音楽の視聴を希望するユーザは、情報受付装置3の電源を投入しなければならないので、第1操作面390を指で距離が「20」以上となるように擦る。情報受付装置3においても、ユーザの指が第1操作面390に接触して擦ることにより、操作面390から特有の摩擦音(実振動)が発生する。この摩擦音は、他の好ましい実施の形態と同様に、マイク15,16,17,18により信号化され、観測情報112が作成される。
 また、情報受付装置3は、観測情報112に記録された摩擦音により、トリガ発生を確認し、当該摩擦音の周波数分布を用いてデータベース311を検索する(ステップS3)。ここで検索に用いられる摩擦音は第1操作面390を擦ったことによって発生したものである。したがって、当該摩擦音の周波数分布は、第3指標振動の周波数分布に類似するものであり、データベース311において、該当するものが検出される。これにより、情報受付装置3は、指標振動(第3指標振動)が存在すると判定する(ステップS4においてYes。)。
 次に、情報受付装置3は、データベース311において検出された第3指標振動の周波数分布を検索キーとして、データベース311を再度検索し、当該第3指標振動の周波数分布に関連づけられている候補情報を検索する(ステップS5)。
 図14に示すデータベース311では、当該第3指標振動の周波数分布に関連づけられている候補情報は、「音量増大コマンド5」、「音量増大コマンド10」および「電源投入コマンド」の3つである。したがって、この段階で、情報受付装置3は、候補情報の選択ができなかったと判定し、ステップS7を実行する。すなわち、選択部100が観測情報112に基づいて、補助情報113を作成する。
 ここでは、ユーザが操作した「距離」は「20」以上であるため、候補情報は「電源投入コマンド」に絞られ、番号005の候補情報が選択される。これにより、ステップS6においてYesと判定されるため、入力情報114は、「電源投入コマンド」となる。
 このように、ユーザが第1操作面390を任意の方向に「20」以上の距離となるように擦ることにより、「電源投入コマンド」が入力され、これが実行されることにより、ユーザが所望したとおり情報受付装置3の電源が投入される。なお、電源が投入されたか否かは、表示部12に所定の表示を行うことにより、ユーザが確認できるようにすることが好ましい。
 情報受付装置3の電源が投入され、スピーカ13から音声が再生されると、ユーザは好みの音量となるように調整することを所望する。先述のように、ここでは、音量を「5」単位分だけ低下させる例について説明する。
 音量を「5」単位だけ低下させることを所望するユーザは、第2操作面391を指で「5」単位に相当する距離分だけ擦る。この操作によって、第2操作面391から特有の摩擦音(実振動)が発生する。この摩擦音は、マイク15,16,17,18により信号化され、観測情報112が作成される。
 また、情報受付装置3は、当該摩擦音により、トリガ発生を確認し、当該摩擦音の周波数分布を用いてデータベース311を検索する(ステップS3)。ここで検索に用いられる摩擦音は第2操作面391を擦ったことによって発生したものである。したがって、当該摩擦音の周波数分布は、第4指標振動の周波数分布に類似するものであり、データベース311において、該当するものが検出される。これにより、情報受付装置3は、指標振動(第3指標振動)が存在すると判定する(ステップS4においてYes。)。
 次に、情報受付装置3は、データベース311において検出された第4指標振動の周波数分布を検索キーとして、データベース311を再度検索し、当該第4指標振動の周波数分布に関連づけられている候補情報を検索する(ステップS5)。
 図14に示すデータベース311では、当該第4指標振動の周波数分布に関連づけられている候補情報は、「音量低下コマンド5」、「音量低下コマンド10」および「電源切断コマンド」の3つある。したがって、この段階で、情報受付装置3は、候補情報の選択ができなかったと判定し、ステップS7を実行する。すなわち、選択部100が観測情報112に基づいて、補助情報113を作成する。
 ここでは、ユーザが操作した「距離」は「5」単位であるため、候補情報は「音量低下コマンド5」に絞られ、番号003の候補情報が選択される。これにより、ステップS6においてYesと判定されるため、入力情報114は、「音量低下コマンド5」となる。
 このように、ユーザが操作面391を指で任意の方向に「5」単位に相当する距離だけ擦ることにより、「音量低下コマンド5」が入力され、これが実行されることにより、ユーザが所望したとおりスピーカ13における音量が「5」だけ低下する。
 以上のように、さらに他の好ましい実施の形態における情報受付装置3においても、情報受付装置1,2と同様に、意図的に調整された第1操作面390および第2操作面391を入力情報114の入力に用いることにより、観測される観測情報112における指標振動の存否判定の精度が向上する。
 また、操作部39は、操作面として、物体の接触により特有の第3指標振動を生じるように調整された第1操作面390と、物体の接触により第3指標振動と異なる特有の第4指標振動を生じるように調整された第2操作面391とが形成されており、記憶装置11は、第3指標振動に対応する第3候補情報(「音量増大コマンド5」、「音量増大コマンド10」および「電源投入コマンド」。)と、第4指標振動に対応する候補情報であって、第3候補情報と異なる第4候補情報(「音量低下コマンド5」、「音量低下コマンド10」および「電源切断コマンド」。)とを記憶し、選択部100は、第3指標振動が存在する場合に第3候補情報を選択し、第4指標振動が存在する場合に第4候補情報を選択する。このように構成することによっても、異なる指標振動を生じさせることができ、各指標振動に応じて、異なる情報を入力することができる。したがって、汎用性が向上する。
 ここまでに説明した複数の好ましい実施の形態における情報受付装置1,2,3は、いずれも指標振動を生じさせる操作面が装置に対して固定されていた。しかし、ユーザが操作面を任意に取り替えるようにしてもよい。また、これらの好ましい実施の形態では、指標振動を候補情報の特定にのみ使用していたが、ユーザが指標振動を楽しめるように構成してもよい。
 図15は、情報受付システム4を示す図である。情報受付システム4は、第1操作対象部材5と、第2操作対象部材6と、情報受付装置7とを備えている。詳細は後述するが、情報受付システム4は、ユーザの操作に応じて入力される情報(入力情報)を受け付けるシステムとして構成されている。
 図16は、第1操作対象部材5を示す図である。なお、図16では、第1操作対象部材5の裏面が観察できるように、第1操作対象部材5の一部を、めくったかのような状態として図示している。
 第1操作対象部材5は、Z軸方向の厚みが薄く、フィルム状の部材として構成されている。第1操作対象部材5の(+Z)側の表面は操作面50を形成している。操作面50については後述する。
 また、第1操作対象部材5の(-Z)側の表面は貼付面51を形成している。詳細は図示しないが、貼付面51の表面には粘着性材料が塗布されており、これによって第1操作対象部材5はシール部材を構成している。第1操作対象部材5は、図15において仮想線(二点鎖線)で示すように、情報受付装置7に貼付することが可能とされている。
 なお、貼付面51に塗布される粘着性材料としては、貼ったり剥がしたりを繰り返し行えるような材料(剥がしたときに粘着性を失わない材料)を採用することが好ましい。これにより、第1操作対象部材5は、情報受付装置7に対して着脱自在とされている。したがって、ユーザは、自身の意思で第1操作対象部材5を交換したり、位置を変更したりすることができる。すなわち、ユーザは、自分の好みに応じて情報受付システム4をカスタマイズすることができる。
 図15に戻って、第2操作対象部材6は、情報受付装置7の筐体の一部分を構成している。すなわち、情報受付装置7の筐体の一部の部材が第2操作対象部材6を形成している。したがって、第2操作対象部材6は、ユーザによって交換したり位置を変更したりすることのできない部材となっている。
 また、第2操作対象部材6の外表面は操作面60を形成しているが、操作面60についいては後述する。
 図17は、情報受付システム4が備える情報受付装置7のブロック図である。情報受付装置7は、CPU70、記憶装置71、操作部72、表示部73、マイク74、スピーカ75および通信部76を備えている。
 情報受付装置7は、動作モードとして、第1動作モードと第2動作モードとを有している。第1動作モードとは、情報受付装置7の機能が制限されておらず、通常の消費電力状態で動作する動作モードである。一方、第2動作モードとは、情報受付装置7が、第1動作モードに比べて低消費電力状態で動作する動作モードである。
 以下では、情報受付装置7の第2動作モードにおいて、CPU70に対する電力供給が停止される例を説明する。すなわち、CPU70が起動しているときの状態(CPU70に電力が供給されている状態)を「第1動作モード」と称し、CPU70が起動していない状態(CPU70に電力が供給されていない状態)を「第2動作モード」と称する。また、情報受付装置7は、第2動作モードにおいてCPU70における電力消費のみを抑制するのではなく、例えば、表示部73などの構成についても電力供給が停止される。
 なお、第2動作モードにおいて、CPU70や表示部73などの機能の一部が制限されることにより、低消費電力状態を実現するように構成してもよい。すなわち、低消費電力状態を実現するためには、必ずしも対象となる構成に対する電力供給を停止しなければならないわけではない。
 情報受付装置7は、ユーザの所望する動作を実現するにあたり、当該動作を実現するためのコマンドやパラメータなどの情報(ユーザの所望する情報)を受け付ける装置として構成されている。ただし、情報受付装置7は、携帯端末装置(スマートフォン、携帯電話、PDAなど)に限定されるものではない。
 CPU70は、記憶装置71に格納されているプログラム710を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、CPU70は、情報受付装置7が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、情報受付装置7は、一般的なコンピュータとして構成されている。
 記憶装置71は、情報受付装置7において各種データを記憶する機能を提供する。言い換えれば、記憶装置71は、情報受付装置7において電子的に固定された情報を保存する。
 記憶装置71としては、CPU70の一時的なワーキングエリアとして使用されるRAMやバッファ、読み取り専用のROM、不揮発性のメモリ(例えばNANDメモリなど)、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体(PCカード、SDカード、あるいは、USBメモリなど)等が該当する。図17においては、記憶装置71を、あたかも1つの構造物であるかのように図示している。しかし、通常、記憶装置71は、上記例示した各種装置(あるいは媒体)のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置71は、CPU70によりアクセス可能なデータを記憶する機能を有する装置群の総称である。
 また、現実のCPU70は高速にアクセス可能なRAMを内部に備えた電子回路である。しかし、このようなCPU70が備える記憶装置も、説明の都合上、記憶装置71に含めて説明する。すなわち、一時的にCPU70自体が記憶するデータも、記憶装置71が記憶するとして説明する。図17に示すように、記憶装置71は、プログラム710、データベース711、および、観測情報712などを記憶するために使用される。
 操作部72は、情報受付装置7に対してユーザが指示を入力するために操作するハードウェアである。操作部72としては、例えば、各種キーやボタン類、スイッチ、タッチパネル、ポインティングデバイス、あるいは、ジョグダイヤルなどが該当する。
 表示部73は、各種データを表示することによりオペレータ等に対して出力する機能を有するハードウェアである。表示部73としては、例えば、ランプやLED、CRT、液晶ディスプレイや液晶パネルなどが該当する。
 マイク74は、周囲の音声を電気信号に変換する機能を有している。マイク74によって取得された電気信号は、観測情報791として記憶される。すなわち、マイク74は、周囲の環境において生じる音を観測して、観測結果を観測情報791として取得する機能を有している。
 スピーカ75は、CPU70からの制御信号に応じて、電気的な信号を振動に変換することにより空気を振動させて、音声を再生する機能を有している。これにより、情報受付装置7は、音楽や通話音(受信した相手方の音声)などを再生する機器としての機能を有している。
 通信部76は、情報受付装置7が図示しない外部の装置などとデータ通信や音声通話などを行う機能を提供する。
 また、情報受付装置7は、図17に示すように、MPU77、ROM78およびRAM79を備えている。
 MPU77は、CPU70に比べて動作時の消費電力の少ない演算装置である。MPU77は、ROM78に記憶されているプログラム780を実行しつつ、マイク74から入力される電気信号に基づいて、観測情報791を作成し、RAM79に格納する。
 なお、詳細は後述するが、MPU77は、観測情報791を分析して、その結果に応じて、CPU70を起動させる(電力供給を再開させる。)機能を有している。また、情報受付装置7のMPU77は、情報受付装置7における第2動作モードにおいても、電力が供給されており、動作することが可能である。
 ROM78は、不揮発性の読み取り専用の記憶装置である。ROM78は、MPU77によって実行されるプログラム780を格納する。
 RAM79は、比較的高速にアクセス可能で、データの書き込みも可能な、揮発性の記憶装置である。RAM79は、主に、MPU77のワーキングエリアとして使用される。
 なお、図17では、MPU77とは異なる別の構成として、ROM78およびRAM79を図示しているが、これらの記憶装置を含めて、MPU77としてもよい。
 図18は、第1操作対象部材5および第2操作対象部材6に定義される複数の領域を例示する図である。
 第1操作対象部材5の操作面50には、領域500ないし509が定義されている。また、第2操作対象部材6の操作面60には、領域600ないし609が定義されている。各領域500ないし509および600ないし609は、物体によって擦られることにより、それぞれ特有の音を生じるように調整された領域である。
 図18では、各領域500ないし509および600ないし609において、同じ音を生じる領域を同じハッチングを用いて図示している。
 すなわち、領域500,501,502,507,508,509,600,601,602,607,608,609は、摩擦音として、いずれも共通の音を生じる領域である。また、領域503,506,605は、摩擦音として、いずれも共通の音を生じる領域である。
 一方で、領域500,503,504,505,603,604,606は、摩擦音とて、いずれも互いに異なる音を生じる領域である。
 ここで、第1操作対象部材5の(+Y)側の端部から(-Y)側の端部まで、(-Y)方向にユーザが指で操作面50を擦る場合を想定する。以下の説明では、このような操作を「第1ユーザ操作」と称するものとする。
 第1ユーザ操作において、指が領域500ないし509内を擦っているとき、操作面50からは、擦られている領域に応じた特有の音がそれぞれ発生する。そして、擦る方向が(-Y)方向であるため、各特有の音の継続時間は、各領域500ないし509のY軸方向の幅を指の移動速度で除した値となる。
 人であるユーザが指を動かしているため、第1ユーザ操作における当該指の移動速度は、厳密には一定ではない。しかし、意図的に途中で指を止めたりしない限り、指の移動速度は概ね一定とみなすことができ、発生する音の継続時間は、概ね、対応する各領域のY軸方向の幅に依存するとみなせる。
 すなわち、操作面50に、領域500ないし509が定義され、それぞれ特有の音を生じるように調整されていることから、第1ユーザ操作が開始されてから、完了するまでの間に、複数の特有の音が、領域の配置順に応じて発生する。そして、それぞれの音の継続時間は、概ね、対応する領域のY軸方向の幅で決められている。
 したがって、第1ユーザ操作によって、操作面50から特有の音階(メロディー)が生じることになる。すなわち、第1操作対象部材5は、物体で擦られたときに特有の音階を生じるように調整された操作面50が形成された部材である。以下の説明では、第1操作対象部材5に対して、第1ユーザ操作を実行したときに生じる音階を「第1音階」と称する。
 なお、第2操作対象部材6の(+Y)側の端部から(-Y)側の端部まで、(-Y)方向にユーザが指で操作面60を擦る場合を想定すれば、第1操作対象部材5と同様のことが言える。以下の説明では、このような操作を「第2ユーザ操作」と称し、第2ユーザ操作により、操作面60から発生する音階を「第2音階」と称する。
 図18に示すように、領域500,501,502は、いずれもY軸方向の幅が同じである。したがって、第1ユーザ操作において、操作開始から、指が領域502を出るまでの間に、同じ間隔、同じ継続時間で、3回同じ音が鳴ることになる。これらの音は、第1ユーザ操作における第1音階の一部を構成する部分音階である。以下の説明では、第1ユーザ操作により領域500,501,502によって発生する部分音階を、特に、「認識用部分音階」と称する。
 領域507,508,509は、領域500,501,502と同一のパターンとして構成されている。したがって、第1ユーザ操作により、認識用部分音階が後半にも発生することになる。言い換えれば、第1ユーザ操作によって発生する第1音階は、前半の認識用部分音階と、中央の部分音階と、後半の認識用部分音階とに分割することができる。
 また、第2操作対象部材6についても、領域600,601,602および領域607,608,609は、いずれも領域500,501,502と同一のパターンとして構成されている。したがって、第2ユーザ操作によって発生する第2音階も、第1音階と同様に、前半の認識用部分音階と、中央の部分音階と、後半の認識用部分音階とに分割することができる。
 図18に示す例では、第1操作対象部材5(第1音階)および第2操作対象部材6(第2音階)において、中央の部分音階は互いに異なる一方で、認識用部分音階はいずれも共通である。
 図19は、情報受付システム4が備える情報受付装置7のRAM79に記憶されるデータベース790を例示する図である。データベース790は、1つの候補情報(入力情報の候補となる情報)について1つのレコードが作成されるテーブル構造を有している。
 ここでは、1つの共通の認識用部分音階のみ定義し、当該認識用部分音階の周波数分布により、観測情報791における当該認識用部分音階の有無を判定する。したがって、図19に示す例において、データベース790には、1個のレコードのみが作成されており、1個の候補情報のみが格納されている。ただし、データベース790におけるレコードは、1個に限定されるものではない。
 また、データベース790は、プログラム780に含まれている情報であり、MPU77によってROM78から読み出されて、RAM79に格納される情報である。
 図20は、情報受付システム4が備える情報受付装置7のMPU77により実現される機能ブロックをデータの流れとともに示す図である。図20に示す第2選択部770およびインタフェース部771は、MPU77がプログラム780に従って動作することにより実現される機能ブロックである。
 第2選択部770は、マイク74により取得された観測情報791における認識用部分音階の存否を判定する。より詳細には、第2選択部770は、観測情報791に含まれる音声を解析して、当該音声の周波数分布を取得する。そして、取得した音声の周波数分布と、データベース790に格納されている認識用部分音階の周波数分布とを比較して、音声の周波数分布が認識用部分音階の周波数分布と近似する場合に、当該音声に認識用部分音階が含まれていると判定する。
 なお、音声の周波数分布において、すべての周波数帯について、認識用部分音階の周波数分布と比較する必要はない。例えば、試行を繰り返した結果、比較的再現性の高い周波数帯における周波数分布のみを比較するように構成してもよい。また、比較される周波数帯は、可聴音域に限定されるものでもない。
 また、第2選択部770は、認識用部分音階が存在すると判定したときに、データベース790において、当該認識用部分音階に関連づけられた候補情報を、入力情報792として選択する。そして、第2選択部770は、選択した候補情報に基づいて、入力情報792を作成する機能を有している。
 認識用部分音階は、第1音階または第2音階の一部分であり、これらの音階に比べて、比較的短い音階である。また、認識用部分音階は、第1音階および第2音階に共通の音階として定義されている。第2選択部770は、このような認識用部分音階の有無のみを、観測情報791に記録された音声から探索し、当該認識用部分音階が含まれている場合に、入力情報792を作成する。そして、入力情報792として選択される情報は、「転送コマンド」のみであり、いわば候補情報は固定されている。すなわち、MPU77において実現される第2選択部770は、後述する第1選択部700に対して、補助的で、簡易な、候補情報選択機能を提供する。
 インタフェース部771は、入力情報792を参照し、入力情報792に、転送コマンドが格納されている場合、観測情報791をCPU70に転送する。このとき、インタフェース部771は、情報受付装置7が第2動作モードで動作している場合には、動作モードを第1動作モードに切り替えてから、観測情報791をCPU70に転送する。
 すなわち、インタフェース部771は、情報受付装置7が第2動作モードで動作している場合において、転送コマンドが入力情報792として選択されたときに、情報受付装置7の動作モードを第2動作モードから第1動作モードに切り替える機能を有している。
 第2動作モードにおいて、CPU70は、電力供給を絶たれている。したがって、第2動作モードのままでは、CPU70は、観測情報791を処理することができない状態である。しかし、インタフェース部771は、観測情報791を転送する前に、第2動作モードを第1動作モードに切り替える。これにより、CPU70に対する電力供給が開始され、CPU70が観測情報791を処理することが可能な状態となる。
 なお、本実施の形態では、CPU70に向けて転送された観測情報791は、CPU70により観測情報712として、記憶装置71に記憶される。本実施の形態において、観測情報712は、観測情報791と同一の情報として説明するが、必要に応じて加工されてもよい。
 図21は、情報受付システム4が備える情報受付装置7の記憶装置71に記憶されるデータベース711を例示する図である。データベース711は、1つの候補情報(入力情報の候補となる情報)について1つのレコードが作成されるテーブル構造を有している。
 図21に示す例では、2つの音階(第1音階および第2音階)のみ定義し、当該音階の周波数分布により、観測情報712における当該音階の有無を判定する。したがって、図21に示す例において、データベース711には、2個のレコードのみが作成されており、2個の候補情報のみが格納されている。ただし、データベース711におけるレコードは、2個に限定されるものではない。
 図22は、情報受付システム4が備える情報受付装置7のCPU70により実現される機能ブロックをデータの流れとともに示す図である。図22に示す第1選択部700および実行部701は、CPU70がプログラム710に従って動作することにより実現される機能ブロックである。
 第1選択部700は、マイク74により取得され、MPU77によって転送された観測情報712における音階の存否を判定する。より詳細には、第1選択部700は、観測情報712に含まれる音声を解析して、当該音声の周波数分布を取得する。そして、取得した音声の周波数分布と、データベース711に格納されている音階の周波数分布とを比較して、音声の周波数分布が音階の周波数分布と近似する場合に、当該音声に音階が含まれていると判定する。
 なお、音声の周波数分布において、すべての周波数帯について、音階の周波数分布と比較する必要はない。例えば、試行を繰り返した結果、比較的再現性の高い周波数帯における周波数分布のみを比較するように構成してもよい。また、比較する周波数帯は、可聴音域に限定されるものでもない。
 また、第1選択部700は、音階の存否に基づいて、データベース711を検索する。そして、選択部700は、複数の候補情報の中から、入力情報713となる候補情報を選択し、入力情報713を作成する。
 実行部701は、入力情報713を参照して、コマンドを実行する機能を有する。実行部701は、入力情報713が「メール送信コマンド」である場合に、通信部76を制御して電子メールを送信させる。このとき、実行部701は、表示部73を制御して、表示部73の画面の点灯を禁止する。また、実行部701は、入力情報713が「点灯コマンド」である場合に、表示部73を制御して、表示部73を点灯させる。
 以上が、情報受付システム4の構成および機能の説明である。次に、情報受付装置7の動作について説明する。
 図23は、情報受付システム4が備える情報受付装置7のMPU77の動作を示す流れ図である。MPU77は、電力源が投入されると、所定の初期設定(図示せず。)を実行した後、図23に示す処理を開始する。なお、情報受付装置7に電源が投入されている以上、MPU77には電力が供給されている。
 図23に示す処理を開始すると、MPU77は、プログラム780からデータベース790をロードしてRAM79に記憶する(ステップS11)。次に、MPU77は、マイク74からの信号に基づいて、観測情報791を作成を開始し(ステップS12)、トリガの発生(ステップS13)を監視する状態となる。以下、この状態を「トリガ監視状態」と称する。
 なお、MPU77は、観測情報791を解析した結果、所定の周波数帯において、閾値[dB]以上の音声を検出した場合に、トリガが発生したと判定する。ただし、トリガはこれに限定されるものではなく、例えば、所定の周期で到来するタイミングをトリガとしてもよい。あるいは、後述する認識用部分音階の存否自体をトリガとしてもよい。
 トリガ監視状態において、トリガが発生すると(ステップS13においてYes。)、第2選択部770は、観測情報791に基づいて、観測した音(周囲の環境音)から認識用部分音階に相当するとみなせる部分(例えば、トリガからの経過時間などから判断することができる。)の周波数分布を取得する。そして、当該環境音の部分の周波数分布と、データベース790に格納されている認識用部分音階の周波数分布とを比較して、認識用部分音階が観測情報791に存在しているか否かを判定する(ステップS14)。
 ここで、検索キーとして用いる当該環境音の部分の周波数分布に類似する周波数分布が、データベース790の「部分音階」に存在していた場合、第2選択部770は、観測情報791に認識用部分音階が存在していたとみなしてステップS14においてYesと判定する。一方で、検索キーとして用いる当該環境音の部分の周波数分布に類似する周波数分布が、データベース790の「部分音階」の項目に存在していない場合、第2選択部770は、観測情報791に認識用部分音階が存在していなかったとみなしてステップS14においてNoと判定する。
 ステップS14においてNoと判定されたとき、MPU77は、トリガとして検出された音声を含む環境音の部分は、物体によって操作面50(または操作面60)が擦られたときに発生した音声を含まない(すなわち、ユーザによる操作はされていない。)とみなして、トリガ監視状態に戻る。このように、操作面50(または操作面60)に対する操作(第1ユーザ操作または第2ユーザ操作)がされていないとみなされた場合、情報受付装置7は、入力情報792の作成を行うことはない。
 したがって、観測情報791がCPU70に向けて転送されることもなく、第2動作モードにおけるCPU70の電力消費を抑制することができる。また、第1動作モードにおいても、CPU70に無駄な処理を強いることがない。
 また、認識用部分音階の周波数分布は、これまで説明した複数の好ましい実施の形態と同様に、比較的厳密に定義される。したがって、操作面50(または操作面60)において発生する音声以外の音声によって認識用部分音階が存在するとみなされるおそれは、従来の技術に比べると低い。したがって、物体が操作面50(または操作面60)に接触したとき以外の音声によって、情報受付装置7が誤った入力情報792を作成する可能性は、従来の技術に比べて低いといえる。
 ステップS14においてYesと判定されたとき、第2選択部770は、当該認識用部分音階の周波数分布に関連づけられている候補情報(ここでは転送コマンド)を選択し、当該候補情報に基づいて、入力情報792を作成する(ステップS15)。
 このように、ステップS15が実行されることによって、入力情報792に示される候補情報が、ユーザによって入力された情報として情報受付装置7に受け付けられたこととなる。
 入力情報792が作成されると、インタフェース部771は、情報受付装置7の動作モードが第2動作モードか否かを判定する(ステップS16)。
 ステップS16においてYesの場合、インタフェース部771は、情報受付装置7の動作モードを第1動作モードに切り替える(ステップS17)。すなわち、インタフェース部771は、CPU70に対する電力供給を再開させる。これにより、CPU70は、観測情報791を処理できる状態に遷移する。
 ステップS16においてNoと判定した場合(動作モードが第1動作モードの場合)、または、ステップS17の処理が完了した場合、インタフェース部771は、入力情報792(転送コマンド)を実行して、観測情報791をCPU70に向けて転送する(ステップS18)。そして、観測情報791の転送が完了すると、MPU77は、トリガ監視状態に戻る。
 このように、MPU77は、観測情報791に認識用部分音階が存在しているときに、当該認識用部分音階に関連づけられている転送コマンドを選択して実行することにより、当該観測情報791をCPU70に向けて転送する。
 以上が、情報受付装置7におけるMPU77の動作である。次に、情報受付装置7におけるCPU70の動作について説明する。
 図24は、情報受付システム4が備える情報受付装置7のCPU70の動作を示す流れ図である。
 なお、情報受付装置7が第2動作モードのとき、CPU70は電力供給を絶たれている。したがって、図24に示す処理は、情報受付装置7の動作モードが第2動作モードのときには実行されない処理である。また、図24に示す各工程が開始されるまでに、すでに記憶装置71にデータベース711が記憶されているものとする。また、情報受付装置7に電源が投入されたとき、情報受付装置7は第1動作モードでの動作を開始するものとする。
 図24に示す処理を開始すると、CPU70は、MPU77から観測情報791が転送されてきているか否か(ステップS21)、および、動作モードを第2動作モードに移行させるべき状況か否か(ステップS25)を監視する状態となる。以下、この状態を単に「監視状態」と称する。
 監視状態において、MPU77から観測情報791が転送されてくると、CPU70は、ステップS21においてYesと判定し、転送されてきた観測情報791に基づいて観測情報712を作成する。これにより、観測情報712が記憶装置71に記憶される。
 次に、第1選択部700は、当該観測情報712に含まれる音声の周波数分布を検索キーとして、候補情報を選択するためのデータベース711の検索を実行する。これにより、第1選択部700は、観測情報712に、データベース711に定義された音階(第1音階または第2音階)が存在するか否かを判定する(ステップS22)。
 ステップS22においてNoの場合、第1選択部700は、ユーザによる操作がされていないとみなして、入力情報713を作成することなく、監視状態に戻る。
 一方、ステップS22においてYesの場合、第1選択部700は、検出された音階の周波数分布に関連づけられている候補情報をデータベース711から入力情報713として選択する。そして、第1選択部700は、選択した候補情報に基づいて、入力情報713を作成する(ステップS23)。
 ステップS23が実行されることによって、入力情報713に示される候補情報が、ユーザによって入力された情報として情報受付装置7に受け付けられたこととなる。したがって、ステップS23が実行された後、入力情報713に応じた処理が実行部701により実行される(ステップS24)。なお、ステップS24を実行することにより、入力情報713に応じた処理を実行すると、CPU70は、再び、監視状態に戻る。
 監視状態において、第2動作モードに移行すべき状況が生じると、CPU70は、ステップS25においてYesと判定し、情報受付装置7の動作モードを第1動作モードから第2動作モードに切り替える(ステップS26)。
 具体的には、CPU70は、表示部73における表示を停止させ、バックライト等を消灯させるとともに、CPU70への電力供給を停止させる。これにより、情報受付装置7は、消費電力が抑制された状態に移行する。なお、すでに説明したように、第2動作モードにおいても、MPU77に対する電力供給は継続されており、ステップS11ないしS17の各工程は実行可能な状態にある。
 なお、第1動作モードから第2動作モードに移行すべき状況とは、ユーザが第2動作モードへの移行を情報受付装置7に対して直接指示した場合や、情報受付装置7に対するユーザによる操作が一定時間されなかった場合などが想定される。ただし、このような状況に限定されるものではない。
 次に、ユーザが、情報受付装置7を用いて、所望する情報を入力情報713として入力する情報入力方法について説明する。以下の説明では、ユーザが、情報受付装置7に対して、家族に帰宅を知らせる電子メールを送信させる例について説明する。
 なお、ユーザによる操作に先立って、データベース711およびデータベース790は、すでに記憶されているものとする。また、情報受付装置7は、すでに観測情報791の作成を開始しており(ステップS12)、MPU77はトリガ監視状態となっているものとする。
 ユーザは、情報受付装置7に貼付されている第1操作対象部材5の操作面50を、(+Y)側の端部から(-Y)側の端部まで指で(-Y)方向に擦る。すなわち、ユーザは第1ユーザ操作を行う。
 このように、ユーザが指を操作面50に接触させて擦ることにより、操作面50から特有の摩擦音が発生する。この摩擦音は、操作面50に領域500ないし509が形成されていることにより、第1音階となる。
 この第1音階を含む周囲の環境の音声は、マイク74によって電気信号に変換され、MPU77により観測情報791が作成される。また、MPU77は、当該摩擦音(第1音階)により、トリガ発生を確認し(ステップS13においてYesと判定し)、データベース790を参照することにより、当該観測情報791に認識用部分音階が含まれているか否かを判定する(ステップS14)。
 ここで作成されている観測情報791は、操作面50を擦ったことによって発生した第1音階を含んでいる。したがって、当該環境音の周波数分布は、認識用部分音階の周波数分布に類似する部分を含むものである。したがって、この場合、第2選択部770は、認識用部分音階が存在すると判定する(ステップS14においてYes。)。そして、第2選択部770は、検出された認識用部分音階の周波数分布に関連づけられている候補情報を選択して、入力情報792を作成する(ステップS15)。
 ここまでの処理は、情報受付装置7が第2動作モードで動作しているときにも実行可能な処理である。すなわち、ユーザは、情報受付装置7の動作モードを意識することなく、第1ユーザ操作を実行することができる。
 第2選択部770によって入力情報792が作成されると、インタフェース部771は、情報受付装置7の動作モードが第2動作モードであるか否かを確認し、第2動作モードである場合には、ステップS17を実行して第1動作モードに切り替える。
 ステップS16,S17により、以後は、CPU70が起動した状態となり、CPU70による処理が可能な状態となる。
 情報受付装置7が第1動作モードで動作している状態となると、インタフェース部771は、観測情報791をCPU70に向けて送信する。これにより、CPU70が観測情報791を受け取り、観測情報712として記憶装置71に記憶させる。
 次に、第1選択部700が観測情報712を解析して、データベース711に登録されている音階が当該観測情報712に含まれているか否かを判定する。ここで作成されている観測情報712(観測情報791)は、第1音階を含んでいる。したがって、第1選択部700は、第1音階に関連づけられた候補情報(メール送信コマンド)を選択し、入力情報713を作成する(ステップS23)。
 ここで選択されたメール送信コマンドは、固定メッセージ(帰宅を知らせる文面)を、固定宛先(家族)に送信するコマンドであるとする。当該メール送信コマンドを実行部701が実行する。
 すなわち、予め登録されている固定宛先に、予め登録されている固定メッセージを内容とする電子メールを送信するように、通信部76を制御する。これにより、通信部76が家族に帰宅を知らせるメールを当該家族宛に送信する。このとき、実行部701は、表示部73を点灯させることがない。
 情報受付装置7は、第2動作モードにおいて、表示部73が消灯状態となっている。この状態で、第1ユーザ操作がされても、MPU77は、CPU70を起動するだけで、表示部73を点灯させることはない。また、CPU70(実行部701)も、表示部73を点灯させることはない。
 したがって、情報受付装置7は、当該電子メールを、表示部73を非表示状態にしたまま送信することができる。すなわち、比較的電力消費の大きいハードウェアである表示部73を停止させたままで、当該電子メールの送信を実行することにより、消費電力を抑制することができる。
 タッチパネルでは、コマンドを選択するために、GUIを表示しなければならないため、表示部73を消灯状態にしたままの操作は困難である。タッチパネルにおいて、消灯状態の画面への最初のタッチで電子メールをいきなり送信するように構成すると、誤送信が頻発する。また、ハードウェアとしてのキーやボタンに、このような機能を割り付けることは可能ではあるが、その場合は、機能が限定的なキーやボタンを情報受付装置7に設けることになるため、操作部72の汎用性が低下する。
 しかし、情報受付システム4では、ユーザが任意に選択し、レイアウト可能な、シール部材としての第1操作対象部材5を備えている。そして、ユーザが第1操作対象部材5を操作することによって、このような機能(一発送信機能)を実現する。したがって、このような機能が不要なユーザは第1操作対象部材5を貼付しなければよい。また、このような機能が必要なユーザも好みの位置に第1操作対象部材5を貼付することができるので、操作部72の汎用性を低下させることもない。また、第1操作対象部材5への操作は、第1ユーザ操作であり、一定距離を一定方向に擦る必要がある。したがって、表示部73が消灯状態であっても、誤操作を誘発する危険性は低いといえる。
 なお、第2操作対象部材6の操作面60を擦ることによって生じる第2音階は、その周波数分布がデータベース711において「点灯コマンド」に関連づけられている。したがって、ユーザが第2ユーザ操作を実行すると、操作面60から第2音階(認識用部分音階を含む。)が発生し、ステップS24において点灯コマンドが実行されることとなる。
 すなわち、詳細な説明は省略するが、ユーザは、第2ユーザ操作を実行することによって、情報受付装置7が第2動作モードで動作しているときに、消灯されている表示部73を、点灯させることができる。これによって、ユーザは、表示部73に表示される情報を閲覧可能となる。
 以上のように、ユーザの操作に応じて入力情報を受け付ける情報受付システム4は、物体で擦られたときに特有の第1音階を生じるように調整された操作面50が形成された第1操作対象部材5と、情報受付装置7とを備える。そして、情報受付装置7は、入力情報713の候補となるメール送信コマンドを第1音階に関連づけるデータベース711を記憶する記憶装置71と、周囲の環境において生じる音声を観測しつつ、観測結果を観測情報791として取得するマイク74と、マイク74により取得された観測情報791における第1音階の存否を判定するとともに、第1音階が存在すると判定したときに、当該第1音階に関連づけられたメール送信コマンドを、入力情報713として選択する第1選択部700とを備える。このように、意図的に調整された操作面50を用いることにより、観測された観測情報791における第1音階の存否判定の精度が向上する。
 また、従来の技術である特開2006-252037号公報に記載されている技術では、ユーザによって発生された指定操作音は、ユーザの操作の有無を判定することにのみ利用されていた。すなわち、上記文献に記載されている技術では、発生した音をユーザ自身が楽しむという視点に欠けているという問題があった。これに対して、情報受付システム4は、例えば、ユーザが聞き慣れたフレーズ(楽曲の一部)などを第1音階とすることにより、ユーザ操作自体を、ユーザが楽しむことができる。
 また、第1操作対象部材5が、情報受付装置7に対して着脱自在とされていることにより、ユーザの意思で第1操作対象部材5を交換することができる。したがって、自分の好みに応じてカスタマイズできる。
 また、第1操作対象部材5には操作面50と異なる貼付面51が形成されており、第1操作対象部材5は、貼付面51を情報受付装置7に貼り付けることが可能であるとともに、情報受付装置7に貼り付いた状態の貼付面51を情報受付装置7から剥がすことが可能である。これにより、第1操作対象部材5を容易に着脱自在な構成とすることができる。
 また、物体で擦られたときに、第1音階と異なる特有の第2音階を生じるように調整された操作面60が形成された第2操作対象部材6をさらに備え、記憶装置71は、入力情報713の候補となる点灯コマンドを第2音階に関連づけて記憶し、第1選択部700は、マイク74により取得された観測情報791における第2音階の存否を判定するとともに、第2音階が存在すると判定したときに、当該第2音階に関連づけられた点灯コマンドを、入力情報713として選択する。このように、複数の音階を定義することにより、複数の候補情報から、入力情報713となる候補情報を選択することができる。したがって、汎用性が向上する。
 また、第1音階は、特有の認識用部分音階を含み、RAM79は、入力情報792の候補となる転送コマンドを認識用部分音階に関連づけて記憶し、第2選択手段は、マイク74により取得された観測情報791における認識用部分音階の存否を判定するとともに、認識用部分音階が存在すると判定したときに、当該認識用部分音階に関連づけられた転送コマンドを、入力情報792として選択する。これにより、いわゆるヘッダあるいはフッダを定義することができ、汎用性がさらに向上する。
 また、マイク74により取得された観測情報791における第1音階の存否を判定するとともに、当該第1音階が存在すると判定したときに、当該第1音階に関連づけられたメール送信コマンドを、入力情報713として選択する第1選択部700と、マイク74により取得された観測情報791における認識用部分音階の存否を判定するとともに、当該認識用部分音階が存在すると判定したときに、当該認識用部分音階に関連づけられた転送コマンドを、入力情報792として選択する第2選択部770とを備え、情報受付装置7は、第1選択部700(CPU70)に電力供給がされる、もしくは通常電力消費状態で動作する第1動作モードと、第1選択部700(CPU70)に対する電力供給が停止、もしくは低電力消費状態で動作する第2動作モードとの間で、情報受付装置7の動作モードを切り替えるインタフェース部771およびCPU70をさらに備え、インタフェース部771は、転送コマンドが入力情報792として選択されたときに、情報受付装置7の動作モードを第2動作モードから第1動作モードに切り替える。これにより、ユーザの操作を阻害することなく、消費電力を抑制することができる。
 なお、どの音階に、どのような候補情報を関連づけるかを、ユーザが選択できるように構成することが好ましい。例えば、第1操作対象部材5を貼付したときに、データベース711を作成(更新)する専用のアプリケーションソフトウェアを立ち上げ、第1ユーザ操作を実行するとともに、関連づける候補情報をユーザが指定するようにしてもよい。このように構成することにより、さらに、ユーザの好みに応じたシステムとすることができるとともに、第1操作対象部材5の貼付位置やユーザの個性等を考慮したキャリブレーションも可能となり、検出精度が向上する。
 以上、様々な好ましい実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく、さらに様々な変形が可能である。
 例えば、上記実施の形態に示した各工程は、あくまでも例示であって、上記に示した順序や内容に限定されるものではない。すなわち、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。
 また、上記の好ましい実施の形態に示した機能ブロック(例えば、選択部100や第1選択部700、第2選択部770など)は、CPU(あるいはMPU)がプログラムに従って動作することにより、ソフトウェア的に実現されると説明した。しかし、これらの機能ブロックの一部または全部を専用の論理回路で構成し、ハードウェア的に実現してもよい。
 また、例えば、物体が操作面190に接触することにより周囲の環境において生じる実振動は、空気中を伝播する空気の振動に限定されるものではない。例えば、操作面190において発生し、物体としての情報受付装置1内を主に伝播する振動も想定される。したがって、周囲の環境において生じる実振動を観測する構成としては、空気振動を音波として観測するマイク15,16,17,18に限定されるものではなく、情報受付装置1内を伝播する振動を検出する振動センサであってもよい。空気中を伝わる音波に比べて、装置内を伝播する振動は、装置固有の構造(既知)による影響を受けやすく、観測された実振動を指標振動として認識する率が向上する効果が期待できる。
 また、補助情報113として取得される情報は、上記実施の形態に例示されたものに限定されない。例えば、所定時間内における操作回数や、操作速度、操作強度などであってもよい。
 また、情報受付装置1,2,3,7では、擦る方向が直線的な場合について説明したが、物体と操作面190,290,390,391,50,60との接触軌跡は、円や矩形、文字形状等であってもよい。
 また、操作面は、操作面における位置に応じて異なる特有の指標震動を生じるように調整されていてもよい。あたかもグラデーションが形成されているかのように指標振動が位置に応じて変化するように調整されていてもよい。このように構成すれば、検出された指標振動によって操作位置を特定することができる。したがって、観測手段(例えば、マイク)を複数設けることなく、操作位置を特定することができる。
 また、操作面から生じる実振動は、厳密には、操作面の状態に応じて変化する。したがって、周囲の環境を検出するセンサ(例えば、温度センサや気圧センサ、湿度センサなど)を設けて、操作面の状態を判定し、これに基づいてキャリブレーションを行うように構成してもよい。また、操作面の状態は、操作面の摩耗状態によっても変化する。したがって、使用回数や経年数などに基づいて、摩耗状態を推定してキャリブレーションを行うように構成してもよい。
 また、例えば、第1操作対象部材5において、領域500ないし509の配列により、(-Y)方向に擦った場合と、(+Y)方向に擦った場合とでは、発生する音階が異なる(ただし、認識用部分音階は同じ。)。したがって、これら異なる音階に、それぞれ別のコマンドを関連づけてもよい。例えば、(+Y)方向に擦ったときに生じる音階に、ボリュームを大きくするコマンドを関連づけるとともに、(-Y)方向に擦ったときに生じる音階に、ボリュームを小さくするコマンドを関連づけるなどしてもよい。
 また、第1操作対象部材5は、光を透過する透明材料で形成された部分を含むものでもよい。これにより、例えば、第1操作対象部材5を表示部73の画面に貼付しても画面を遮ることがない。すなわち、第1操作対象部材5を貼付する場所の選択の自由度が向上する。
 また、第1操作対象部材5は、情報受付装置7に直接貼付されなくてもよい。例えば、情報受付装置7を収納する収納部材(ケースや蓋部材など)に貼付されてもよい。
 また、第1操作対象部材5は、シール部材に限定されるものではない。例えば、第1操作対象部材5は、情報受付装置7を収納する収納部材(ケースや蓋部材など)を構成していてもよい。このような構成によっても、第1操作対象部材5を容易に着脱自在な構成とすることができる。
 また、第1操作対象部材5(操作面50)から発生する第1音階に様々な情報を関連づけることによって、複数のコマンドを組み合わせたものや、ブラウザーを任意のURLを指定して起動できるものなどのように、ユーザが任意にカスタマイズしたコマンドを、ショートカットキーのように扱うことができる構成とすることも可能である。

Claims (28)

  1.  ユーザの操作に応じて入力情報を受け付ける情報受付システムであって、
     物体の接触により特有の指標振動を生じるように調整された操作面が形成された操作手段と、
     前記入力情報の候補となる候補情報を前記指標振動に関連づけて記憶する記憶手段と、
     周囲の環境において生じる実振動を観測しつつ、観測結果を観測情報として取得する観測手段と、
     前記観測手段により取得された観測情報における前記指標振動の存否を判定するとともに、前記指標振動が存在すると判定したときに、当該指標振動に関連づけられた候補情報を、前記入力情報として選択する選択手段と、
    を備える情報受付システム。
  2.  請求項1に記載の情報受付システムであって、
     前記指標振動は、物体を前記操作面に接触させつつ移動させたときに生じる振動である情報受付システム。
  3.  請求項1に記載の情報受付システムであって、
     前記記憶手段において、前記指標振動に関連づけて記憶されている候補情報は、互いに異なる補助情報に関連づけられた複数の候補情報を含み、
     前記選択手段は、前記指標振動が存在すると判定したときに、前記観測手段により取得された観測情報に基づいて補助情報を取得し、取得した当該補助情報に応じて、前記指標振動に関連づけられた候補情報を前記入力情報として選択する情報受付システム。
  4.  請求項3に記載の情報受付システムであって、
     前記補助情報は、前記操作面に対するユーザの操作時間に関する情報を含む情報受付システム。
  5.  請求項3に記載の情報受付システムであって、
     前記補助情報は、前記操作面に対するユーザの操作回数に関する情報を含む情報受付システム。
  6.  請求項3に記載の情報受付システムであって、
     前記補助情報は、前記操作面に対するユーザの操作強度に関する情報を含む情報受付システム。
  7.  請求項3に記載の情報受付システムであって、
     前記補助情報は、前記操作面におけるユーザの操作位置に関する情報を含む情報受付システム。
  8.  請求項7に記載の情報受付システムであって、
     前記操作面に対する位置関係が互いに異なる複数の前記観測手段を備え、
     前記選択手段は、前記複数の観測手段ごとに取得された観測情報を互いに比較することにより、前記操作面におけるユーザの操作位置に関する情報を補助情報として取得する情報受付システム。
  9.  請求項7に記載の情報受付システムであって、
     前記補助情報は、前記操作面におけるユーザの操作距離に関する情報を含む情報受付システム。
  10.  請求項7に記載の情報受付システムであって、
     前記補助情報は、前記操作面におけるユーザの操作速度に関する情報を含む情報受付システム。
  11.  請求項7に記載の情報受付システムであって、
     前記補助情報は、前記操作面におけるユーザの操作方向に関する情報を含む情報受付システム。
  12.  請求項1に記載の情報受付システムであって、
     前記操作面に対する位置関係が互いに異なる複数の前記観測手段を備え、
     前記選択手段は、前記複数の観測手段のそれぞれにより取得された複数の観測情報に基づいて前記指標振動の存否を判定する情報受付システム。
  13.  請求項1に記載の情報受付システムであって、
     前記指標振動は、
     物体を第1方向に移動させたときに生じる第1指標振動と、
     物体を前記第1方向と異なる第2方向に移動させたときに生じる振動であって、前記第1指標振動と異なる第2指標振動と、
    を含み、
     前記記憶手段は、前記第1指標振動に対応する第1候補情報と、前記第2指標振動に対応する候補情報であって、前記第1情報と異なる第2候補情報とを記憶し、
     前記選択手段は、前記第1指標振動が存在する場合に前記第1候補情報を選択し、前記第2指標振動が存在する場合に前記第2候補情報を選択する情報受付システム。
  14.  請求項1に記載の情報受付システムであって、
     前記操作手段は、前記操作面として、
     物体の接触により特有の第3指標振動を生じるように調整された第1操作面と、
     物体の接触により前記第3指標振動と異なる特有の第4指標振動を生じるように調整された第2操作面と、
    を備え、
     前記記憶手段は、前記第3指標振動に対応する第3候補情報と、前記第4指標振動に対応する候補情報であって、前記第3候補情報と異なる第4候補情報とを記憶し、
     前記選択手段は、前記第3指標振動が存在する場合に前記第3候補情報を選択し、前記第4指標振動が存在する場合に前記第4候補情報を選択する情報受付システム。
  15.  請求項1に記載の情報受付システムであって、
     前記操作面は、前記操作面における位置に応じて異なる特有の指標震動を生じるように調整されている情報受付システム。
  16.  請求項1に記載の情報受付システムであって、
     前記観測手段は、周囲の環境において生じる音声を前記実振動として観測する情報受付システム。
  17.  ユーザの操作に応じて入力情報を受け付ける情報受付システムであって、
     物体で擦られたときに特有の第1音階を生じるように調整された操作面が形成された第1操作対象部材と、
     情報受付装置と、
    を備え、
     前記情報受付装置は、
     前記入力情報の候補となる第1候補情報を前記第1音階に関連づけて記憶する記憶手段と、
     周囲の環境において生じる音声を観測しつつ、観測結果を観測情報として取得する観測手段と、
     前記観測手段により取得された観測情報における前記第1音階の存否を判定するとともに、前記第1音階が存在すると判定したときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する選択手段と、
    を備える情報受付システム。
  18.  請求項17に記載の情報受付システムであって、
     前記第1操作対象部材は、前記情報受付装置に対して着脱自在とされている情報受付システム。
  19.  請求項18に記載の情報受付システムであって、
     前記第1操作対象部材には前記操作面と異なる貼付面が形成されており、
     前記第1操作対象部材は、前記貼付面を前記情報受付装置に貼り付けることが可能であるとともに、前記情報受付装置に貼り付いた状態の前記貼付面を前記情報受付装置から剥がすことが可能である情報受付システム。
  20.  請求項19に記載の情報受付システムであって、
     前記第1操作対象部材は、光を透過する透明材料で形成された部分を含む情報受付システム。
  21.  請求項18に記載の情報受付システムであって、
     前記第1操作対象部材は、前記情報受付装置を収納する収納部材を構成している情報受付システム。
  22.  請求項17に記載の情報受付システムであって、
     物体で擦られたときに、前記第1音階と異なる特有の第2音階を生じるように調整された操作面が形成された第2操作対象部材をさらに備え、
     前記記憶手段は、前記入力情報の候補となる第2候補情報を前記第2音階に関連づけて記憶し、
     前記選択手段は、前記観測手段により取得された観測情報における前記第2音階の存否を判定するとともに、前記第2音階が存在すると判定したときに、当該第2音階に関連づけられた第2候補情報を、前記入力情報として選択する情報受付システム。
  23.  請求項17に記載の情報受付システムであって、
     前記第1音階は、特有の部分音階を含み、
     前記記憶手段は、前記入力情報の候補となる第3候補情報を前記部分音階に関連づけて記憶し、
     前記選択手段は、前記観測手段により取得された観測情報における前記部分音階の存否を判定するとともに、前記部分音階が存在すると判定したときに、当該部分音階に関連づけられた第3候補情報を、前記入力情報として選択する情報受付システム。
  24.  請求項23に記載の情報受付システムであって、
     前記選択手段は、
     前記観測手段により取得された観測情報における前記第1音階の存否を判定するとともに、前記第1音階が存在すると判定したときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する第1選択手段と、
     前記観測手段により取得された観測情報における前記部分音階の存否を判定するとともに、前記部分音階が存在すると判定したときに、当該部分音階に関連づけられた第3候補情報を、前記入力情報として選択する第2選択手段と、
    を備え、
     前記情報受付装置は、
     前記第1選択手段に電力供給がされる、もしくは通常電力消費状態で動作する第1動作モードと、前記第1選択手段に対する電力供給が停止、もしくは低電力消費状態で動作する第2動作モードとの間で、前記情報受付装置の動作モードを切り替える切替手段をさらに備え、
     前記切替手段は、前記第3候補情報が前記入力情報として選択されたときに、前記情報受付装置の動作モードを前記第2動作モードから前記第1動作モードに切り替える情報受付システム。
  25.  物体の接触により特有の指標振動を生じるように調整された操作面が形成された操作手段を備えるコンピュータにより読み取り可能なプログラムを記録した記録媒体であって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、
     前記入力情報の候補となる候補情報を前記指標振動に関連づけて記憶手段に記憶する工程と、
     周囲の環境において生じる実振動を観測手段により観測しつつ、観測結果を観測情報として取得する工程と、
     前記観測手段により取得された観測情報における前記指標振動の存否を判定するとともに、前記指標振動が存在すると判定したときに、当該指標振動に関連づけられた候補情報を、前記入力情報として選択する工程と、
    を実行させるプログラム。
  26.  物体の接触により特有の指標振動を生じるように調整された操作面が形成された第1操作対象部材を備えるコンピュータにより読み取り可能なプログラムを記録した記録媒体であって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、
     前記入力情報の候補となる第1候補情報を前記第1音階に関連づけて記憶手段に記憶する工程と、
     周囲の環境において生じる音声を観測手段により観測しつつ、観測結果を観測情報として取得する工程と、
     前記観測手段により取得された観測情報における前記第1音階の存否を判定するとともに、前記第1音階が存在すると判定したときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する工程と、
    を実行させるプログラム。
  27.  物体の接触により特有の指標振動を生じるように調整された操作面をユーザが操作することによって入力情報を入力する情報入力方法であって、
     前記入力情報の候補となる候補情報を前記指標振動に関連づけて記憶手段に記憶する工程と、
     周囲の環境において生じる実振動を観測手段により観測しつつ、観測結果を観測情報として取得する工程と、
     取得された前記観測情報における前記指標振動の存否を判定する工程と、
     前記指標振動が存在すると判定されたときに、当該指標振動に関連づけられた候補情報を、前記入力情報として選択する工程と、
    を有する情報入力方法。
  28.  物体の接触により特有の指標振動を生じるように調整された操作面をユーザが操作することによって入力情報を入力する情報入力方法であって、
     前記入力情報の候補となる第1候補情報を前記第1音階に関連づけて記憶手段に記憶する工程と、
     周囲の環境において生じる音声を観測手段により観測しつつ、観測結果を観測情報として取得する工程と、
     取得された観測情報における第1音階の存否を判定する工程と、
     第1音階が存在すると判定されたときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する工程と、
    を有する情報入力方法。
PCT/JP2016/058063 2015-03-17 2016-03-15 情報受付システム、記録媒体および情報入力方法 WO2016148120A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/705,465 US10474292B2 (en) 2015-03-17 2017-09-15 Information reception system, recording medium, and information input method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015052757A JP6543054B2 (ja) 2015-03-17 2015-03-17 情報受付装置、プログラムおよび情報入力方法
JP2015-052758 2015-03-17
JP2015052758A JP6543055B2 (ja) 2015-03-17 2015-03-17 情報受付システム、プログラムおよび情報入力方法
JP2015-052757 2015-03-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/705,465 Continuation US10474292B2 (en) 2015-03-17 2017-09-15 Information reception system, recording medium, and information input method

Publications (1)

Publication Number Publication Date
WO2016148120A1 true WO2016148120A1 (ja) 2016-09-22

Family

ID=56919022

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/058063 WO2016148120A1 (ja) 2015-03-17 2016-03-15 情報受付システム、記録媒体および情報入力方法

Country Status (2)

Country Link
US (1) US10474292B2 (ja)
WO (1) WO2016148120A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334185A (ja) * 1994-06-08 1995-12-22 Canon Inc 切替方法及び装置及び該切替装置を用いた電子機器
JP2008054103A (ja) * 2006-08-25 2008-03-06 Nec Corp 携帯電子機器及びその制御方法
JP2011028555A (ja) * 2009-07-27 2011-02-10 Sony Corp 情報処理装置および情報処理方法
JP2013519132A (ja) * 2010-02-02 2013-05-23 サムスン エレクトロニクス カンパニー リミテッド 表面音響信号を用いたユーザインタフェース提供装置及び方法、ユーザインタフェースを備えるデバイス
JP2014094734A (ja) * 2012-11-09 2014-05-22 Hyundai Motor Company Co Ltd 車両制御装置
JP2014532252A (ja) * 2011-10-18 2014-12-04 カーネギー メロン ユニバーシティ タッチセンサ表面に対するタッチ事象を分類するための方法及び装置
WO2015033609A1 (ja) * 2013-09-09 2015-03-12 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置、入力方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252037A (ja) 2005-03-09 2006-09-21 Nippon Telegr & Teleph Corp <Ntt> 指定操作検出装置、プログラム、指定操作検出方法及び操作検出システム
US9996182B2 (en) * 2012-04-20 2018-06-12 Shenzhen GOODIX Technology Co., Ltd. Method and system for recognizing confirmation type touch gesture by touch terminal
WO2013168732A1 (ja) * 2012-05-08 2013-11-14 株式会社ニコン 電子機器
KR20130140963A (ko) 2012-05-23 2013-12-26 한국과학기술원 소리를 이용한 정보 전달 방법 및 정보 전달 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334185A (ja) * 1994-06-08 1995-12-22 Canon Inc 切替方法及び装置及び該切替装置を用いた電子機器
JP2008054103A (ja) * 2006-08-25 2008-03-06 Nec Corp 携帯電子機器及びその制御方法
JP2011028555A (ja) * 2009-07-27 2011-02-10 Sony Corp 情報処理装置および情報処理方法
JP2013519132A (ja) * 2010-02-02 2013-05-23 サムスン エレクトロニクス カンパニー リミテッド 表面音響信号を用いたユーザインタフェース提供装置及び方法、ユーザインタフェースを備えるデバイス
JP2014532252A (ja) * 2011-10-18 2014-12-04 カーネギー メロン ユニバーシティ タッチセンサ表面に対するタッチ事象を分類するための方法及び装置
JP2014094734A (ja) * 2012-11-09 2014-05-22 Hyundai Motor Company Co Ltd 車両制御装置
WO2015033609A1 (ja) * 2013-09-09 2015-03-12 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置、入力方法およびプログラム

Also Published As

Publication number Publication date
US10474292B2 (en) 2019-11-12
US20180004354A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
US11644865B2 (en) Housing as an I/O device
US9619025B2 (en) Method and system for operating a mobile device according to the rate of change of the touch area
JP6129343B2 (ja) 録音装置、及び録音装置の制御方法
EP2246776B1 (en) Programmable keypad
JP5649240B2 (ja) タッチスクリーンユーザインターフェース上でコマンドを修正する方法
CN109032558B (zh) 发声控制方法、装置、电子装置及计算机可读介质
CN108646971B (zh) 屏幕发声控制方法、装置以及电子装置
US20140024414A1 (en) Electronic device, operation control method, and operation control program
CN105282313A (zh) 移动终端和用于该移动终端的控制方法
US20080238886A1 (en) Method for providing tactile feedback for touch-based input device
WO2009136234A2 (en) Contact sensitive display
CN109085985B (zh) 发声控制方法、装置、电子装置以及存储介质
CN109189362B (zh) 发声控制方法、装置、电子设备及存储介质
JP2014016989A (ja) 入力感知方法及びその方法を処理する電子装置
CN108958697B (zh) 屏幕发声控制方法、装置以及电子装置
CN110830368B (zh) 即时通讯消息发送方法及电子设备
CN109144460B (zh) 发声控制方法、装置、电子装置以及存储介质
JP2007115157A (ja) キー操作感覚付与方法及び携帯情報装置
CN103631375A (zh) 根据电子设备中的情形感知控制振动强度的方法和设备
CN109240413B (zh) 屏幕发声方法、装置、电子装置及存储介质
CN108958631B (zh) 屏幕发声控制方法、装置以及电子装置
CN111656303A (zh) 数据处理装置的手势控制
WO2016148120A1 (ja) 情報受付システム、記録媒体および情報入力方法
CN109144459B (zh) 发声控制方法、装置、电子装置以及存储介质
JP6543055B2 (ja) 情報受付システム、プログラムおよび情報入力方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16764950

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16764950

Country of ref document: EP

Kind code of ref document: A1