WO2018211767A1 - 触質情報処理装置および触質情報処理方法 - Google Patents

触質情報処理装置および触質情報処理方法 Download PDF

Info

Publication number
WO2018211767A1
WO2018211767A1 PCT/JP2018/006519 JP2018006519W WO2018211767A1 WO 2018211767 A1 WO2018211767 A1 WO 2018211767A1 JP 2018006519 W JP2018006519 W JP 2018006519W WO 2018211767 A1 WO2018211767 A1 WO 2018211767A1
Authority
WO
WIPO (PCT)
Prior art keywords
tactile
information
target information
unit
feature amount
Prior art date
Application number
PCT/JP2018/006519
Other languages
English (en)
French (fr)
Inventor
理絵子 鈴木
Original Assignee
株式会社ファセテラピー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ファセテラピー filed Critical 株式会社ファセテラピー
Priority to JP2018515325A priority Critical patent/JP6660637B2/ja
Publication of WO2018211767A1 publication Critical patent/WO2018211767A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a tactile information processing apparatus and a tactile information processing method, and more particularly to a technique for converting input information into tactile information and making it usable as an information transmission medium.
  • the haptic effect generation system described in Patent Literature 1 determines an envelope associated with an audio signal, determines a haptic effect (for example, a vibrotactile effect that moves a touch surface of a touch screen or a touch pad) based on the envelope, It is configured to output a haptic signal (for example, an actuator driving signal) related to the haptic effect.
  • a haptic effect for example, a vibrotactile effect that moves a touch surface of a touch screen or a touch pad
  • the characteristics (frequency, amplitude, duration, etc.) of the audio signal input from the microphone are determined, and based on at least a part of the characteristics, from the haptic effect library related to the characteristics.
  • an actuator signal is generated for causing the actuator to output a haptic effect associated with the feature.
  • a virtual physical parameter of the virtual message object is determined based on a sensor signal detected by the sensor, a haptic effect is determined based on the virtual physical parameter, and a haptic signal for causing the actuator to output the haptic effect is generated.
  • a technique for generating the information is also known (see, for example, Patent Document 3).
  • This Patent Document 3 describes detection of contact, pressure, acceleration, inclination, inertia, and position as an example of a sensor. Specific examples include an accelerometer, a gyroscope, a touch sensor type input device, a camera, and a GPS. A sensor is described. Patent Document 3 also describes that the sensor signal is a signal associated with a gesture.
  • Patent Document 3 describes that virtual physical characteristics include size, mass, shape, collision behavior, or texture.
  • the virtual physical characteristics include the file size associated with the virtual message object, the length of the text message associated with the virtual message object, the width and length of the image associated with the virtual message object, and the virtual message object. Based on the length of the song associated with the video message or the length of the video associated with the virtual message object.
  • the present invention has been made to solve such problems, and an object thereof is to make it possible to effectively use tactile sense as an information transmission medium.
  • two or more combinations of n (n ⁇ 2) tactile point parameters each representing one element of tactile sensation are generated from target information to be processed, Further, based on the two or more sets of tactile point parameters, a plurality of types of tactile feature values related to the target information are calculated, and a combination of the plurality of types of tactile feature values is stored. And the process according to user operation is performed using the combination of the memorize
  • a tactile point parameter representing one element of tactile sensation is used.
  • a tactile feature value is generated. It can be said that the tactile feature amount represents a tactile property that the input target information has potentially.
  • FIG. 1 is a block diagram illustrating a functional configuration example of the tactile information processing apparatus according to the present embodiment.
  • the tactile information processing apparatus of the present embodiment includes a tactile feature amount storage unit 10 as a storage medium.
  • the tactile information processing apparatus of the present embodiment includes a target information input unit 11, a tactile point parameter generation unit 12, a tactile feature amount calculation unit 13, and a process execution unit 14 as its functional configuration.
  • the functional blocks 11 to 14 can be configured by any of hardware, DSP (Digital Signal Processor), and software.
  • each of the functional blocks 11 to 14 actually includes a CPU, RAM, ROM, etc. of a computer, and is stored in a recording medium such as RAM, ROM, hard disk, or semiconductor memory. Is realized by operating.
  • the target information input unit 11 inputs information to be processed.
  • waveform information (audio signals, video signals, vibration signals, measurement signals from various measuring devices such as seismometers / anemometers / light meters, waveform measurement data by an oscilloscope, stock price fluctuation data, etc.) Enter.
  • the waveform information is information having a specific haptic effect specified by the first tactile point parameter relating to the intensity of information and the second tactile point parameter relating to the length of the divided section of information.
  • the waveform information is information in which the amplitude corresponding to the intensity is continuous (in the case of an analog signal) or intermittently (in the case of digital data) along the time axis.
  • the first tactile point parameter relating to the intensity of information is the amplitude
  • the second tactile point parameter relating to the length of the information division interval is the time of each division interval when the waveform information is divided in the time axis direction. Is the length of The strength and the length of the divided sections are both elements of tactile sensation (tactile strength, length).
  • the tactile point parameter generation unit 12 combines the first tactile point parameter (information on strength) and the second tactile point parameter (information on the length of the divided section) from the target information input by the target information input unit 11. Two or more sets are generated.
  • the tactile point parameter generation unit 12 first divides the waveform information input by the target information input unit 11 into a plurality of pieces in the time axis direction. Then, from each of the divided sections, the representative amplitude in the divided section is specified as the first tactile point parameter, and the time length of the divided section is specified as the second tactile point parameter. Two or more combinations of the mass point parameter and the second tactile point parameter are generated.
  • the tactile point parameter generation unit 12 performs low-pass fill processing on the waveform information as preprocessing, thereby extracting an envelope of the input waveform information, and targeting the envelope from the plurality of divided sections.
  • the tactile point parameter and the second tactile point parameter may be specified.
  • FIG. 2 is a diagram for explaining an example of processing contents by the tactile point parameter generation unit 12.
  • FIG. 2 shows waveform information input by the target information input unit 11 (or envelope waveform information subjected to low-pass filter processing as preprocessing by the tactile point parameter generation unit 12).
  • the tactile point parameter generation unit 12 first divides the waveform information shown in FIG. 2 into a plurality of pieces in the time axis direction.
  • the waveform is divided at every time when the amplitude of the waveform is minimized. That is, the first divided section T1 from the waveform start point to the first minimum value, the second divided section T2 from the first minimum value to the second minimum value, and the second minimum value.
  • To the third minimum value is divided into a plurality of waveform information in the time axis direction as in a third divided section T3,.
  • the way of dividing the waveform information is not limited to the example shown in FIG.
  • the waveform information may be divided into a plurality of sections for each time when the amplitude of the waveform becomes maximum.
  • the waveform information may be divided into a plurality of sections every time the amplitude value becomes zero.
  • the tactile point parameter generating unit 12 specifies the representative amplitudes h1, h2, h3,... As the first tactile point parameters from the respective divided sections T1, T2, T3,.
  • the lengths t1, t2, t3,... Of the divided sections are specified as the mass point parameters.
  • the representative amplitudes h1, h2, h3,... Are divided into the largest value of the minimum value of the start point or the minimum value of the end point in each divided section T1, T2, T3,. The value of the difference with the maximum value in area T1, T2, T3, ... is shown.
  • the difference between this minimum value and the maximum value becomes the representative amplitude h1.
  • the local minimum value at the start point of the section is larger than the local minimum value at the end point, so the difference between the local minimum value and the local maximum value is the representative amplitude h2.
  • the local minimum value at the end point is larger than the local minimum value at the start point of the section, and therefore the difference between the local minimum value and the local maximum value is the representative amplitude h3.
  • the representative amplitude identification method shown here is an example, and the present invention is not limited to this.
  • the minimum value of the minimum value of the start point or the minimum value of the end point in each divided section T1, T2, T3,... And the maximum value in the divided sections T1, T2, T3,. May be specified as the representative amplitude.
  • the positive maximum value or the negative minimum value in each divided section is set to the first value. It may be specified as the representative amplitude of the tactile point parameter.
  • the absolute value may be specified as the representative amplitude of the first tactile point parameter.
  • the tactile feature quantity calculation unit 13 is based on two or more sets of tactile point parameters (a combination of two or more sets of the first tactile point parameter and the second tactile point parameter) generated by the tactile point parameter generation unit 12.
  • a plurality of types of tactile feature quantities related to the waveform information input by the target information input unit 11 are calculated.
  • four arithmetic operation values using the first tactile point parameter and the second tactile point parameter are calculated, and the length of the section in which the same four arithmetic operation values appear is calculated as the first tactile feature amount. . Further, the diversity of the four arithmetic operation values is calculated as the second tactile feature amount.
  • the first tactile feature quantity P1 may be calculated by using the number of sections until the same hi / ti value appears as the length of the section.
  • “2” that is the number of sections from the divided section T1 to the divided section T3 is the first tactile feature amount P1.
  • the first tactile feature quantity P1 is calculated for each section, and the average value is used as the final first tactile feature quantity. Determine as P1.
  • a maximum value, a minimum value, a median value, or the like may be determined as the first tactile feature amount P1.
  • the first tactile feature amount P1 obtained as described above represents a tactile rhythm that the wavelength information input by the target information input unit 11 has potentially.
  • the second tactile feature quantity P2 represents the diversity of tactile sensations that the wavelength information input by the target information input unit 11 has potentially.
  • the wavelength information input by the target information input unit 11 is characterized by two types of tactile feature quantities that suggest the rhythm and diversity of the tactile sensation.
  • a value of ti / hi is calculated here, you may make it calculate another four arithmetic operation value. For example, a value of ti / hi, a value of hi ⁇ ti, a value of hi + ti, a value of hi-ti may be calculated.
  • the tactile feature quantity storage unit 10 stores a combination of two types of tactile feature quantities calculated by the tactile feature quantity calculation unit 13 together with label information that can identify the target information input by the target information input unit 11.
  • the label information may be anything as long as it can identify the target information. For example, it is possible to use a name, a title, an ID number, or the like given to the target information.
  • the purpose is to use the sense of touch corresponding to the target information as an information transmission medium. Therefore, it is preferable that the label information is easy for a person to recognize the target information.
  • the process execution unit 14 executes a process according to a user operation using a combination of two types of tactile feature amounts stored in the tactile feature storage unit 10 and provides the execution result to the user together with label information. To do. For example, in response to a map display request by a user operation, the process execution unit 14 maps and labels a combination of two types of tactile feature amounts stored in the tactile feature amount storage unit 10 on a predetermined coordinate space. Display with information.
  • the predetermined coordinate space can be, for example, two-dimensional coordinates with the first tactile feature quantity P1 on the horizontal axis (x axis) and the second tactile feature quantity P2 on the vertical axis (y axis). It is.
  • the tactile feature amount storage unit 10 When a plurality of combinations of tactile feature amounts are stored in the tactile feature amount storage unit 10, all the combinations or one or a plurality of combinations arbitrarily designated by a user operation are described above. Execute map display processing.
  • the tactile feature amount can be specified by specifying label information displayed on the display screen, for example.
  • FIG. 3 is a diagram illustrating an example of an image displayed on the display by the processing execution unit 14.
  • the process execution unit 14 displays two-dimensional coordinates on the display screen with the first tactile feature quantity P1 on the horizontal axis and the second tactile feature quantity P2 on the vertical axis.
  • the rhombus mark is plotted on the xy coordinates specified by the combination (P1, P2) of the tactile feature amount read from the tactile feature amount storage unit 10, and the label information is displayed in the vicinity of the plotted point.
  • the user can see that the object information with the short distance between the plot points approximates the tactile feature, and the object information with the long distance between the plot points does not have the similar tactile feature. It can be grasped intuitively. As a result, it is possible to easily search for information that has similar (or not similar) characteristics to the target information. It is also possible to easily search for information having a fast (or slow) tactile sensation or a large (or small) tactile variability among various types of target information.
  • FIG. 4 and FIG. 5 are flowcharts showing an operation example of the tactile information processing apparatus according to the present embodiment configured as described above.
  • FIG. 4 shows an operation example when the tactile feature amount is calculated from the target information input by the target information input unit 11 and stored in the tactile feature amount storage unit 10.
  • FIG. 5 shows an operation example when the map display process is executed using the tactile feature quantity stored in the tactile feature quantity storage unit 10.
  • the target information input unit 11 inputs target information (step S1).
  • the tactile point parameter generation unit 12 performs pre-processing on the target information input by the target information input unit 11 as necessary (step S2).
  • the preprocessing is processing for extracting an envelope by performing low-pass fill processing on waveform information.
  • the tactile point parameter generation unit 12 divides the target information input by the target information input unit 11 (the information after the preprocessing if the preprocessing has been performed) into a plurality of pieces (step S3), respectively. By specifying the first tactile point parameter and the second tactile point parameter from the divided sections, two or more combinations of the first tactile point parameter and the second tactile point parameter are generated (step S4).
  • the tactile feature quantity calculating unit 13 is based on two or more sets of tactile point parameters (representative amplitude hi in each divided section Ti and time length ti of each divided section) generated by the tactile point parameter generating unit 12. Then, two types of tactile feature amounts (first tactile feature amount P1 and second tactile feature amount P2) related to the target information input by the target information input unit 11 are calculated (step S5), It is stored in the quality feature quantity storage unit 10 (step S6).
  • the tactile feature amount calculation processing for one piece of target information is completed.
  • the process of the flowchart shown in FIG. 4 is repeatedly executed. Accordingly, the tactile feature quantity storage unit 10 stores a plurality of combinations of the first tactile feature quantity P1 and the second tactile feature quantity P2 calculated for a plurality of pieces of target information together with the respective label information. Will be.
  • the process execution unit 14 determines whether or not a user operation for a map display request has been accepted (step S11).
  • the process execution unit 14 reads the tactile feature amount stored in the tactile feature amount storage unit 10 (step S12), and the first tactile feature amount P1 and the first tactile feature amount P1 are stored.
  • the combination with the second tactile feature amount P2 is mapped onto the two-dimensional coordinates and displayed together with the label information (step S13).
  • the process execution unit 14 maps and displays only the tactile feature amount related to the specification on the two-dimensional coordinates. To do.
  • the process execution unit 14 maps all the tactile feature amounts stored in the tactile feature amount storage unit 10 on the two-dimensional coordinates. indicate.
  • FIG. 6 is a diagram illustrating a functional configuration example of the tactile information processing apparatus when the search process is executed.
  • the tactile information processing apparatus shown in FIG. 6 further includes a similarity calculation unit 15 as its functional configuration.
  • a process execution unit 14 ′ is provided instead of the process execution unit 14.
  • the similarity calculation unit 15 calculates the similarity of a plurality of pieces of target information based on a combination of a plurality of sets of tactile feature amounts stored in the tactile feature amount storage unit 10 for a plurality of pieces of target information.
  • the similarity of the target information is calculated based on the similarity of the tactile feature amount related to the target information. That is, if the degree of similarity between two tactile feature quantities is high, the two pieces of target information corresponding to those tactile feature quantities are assumed to have a high degree of similarity.
  • the similarity calculation unit 15 can calculate the distance between plot points mapped onto two-dimensional coordinates as shown in FIG. 3 by the processing execution unit 14 ′ as an index value representing the similarity of tactile feature quantities. Is possible.
  • the similarity calculation unit 15 calculates the Mahalanobis distance using the first tactile feature quantity P1 and the second tactile feature quantity P2 as two variables, and represents the similarity of the tactile feature quantity. It may be used as an index value. Both the distance between plot points and the Mahalanobis distance indicate that the smaller the distance value, the higher the similarity, and the larger the distance value, the lower the similarity. Note that the similarity index values shown here are merely examples, and other known index values may be used.
  • the process execution unit 14 ′ When the target information is designated by a user operation, the process execution unit 14 ′ has a predetermined similarity to the designated target information based on the similarity of the tactile feature amount calculated by the similarity calculation unit 15. A process for searching for target information that is equal to or higher than the level (distance that is an index value of similarity of the tactile feature amount is equal to or smaller than a predetermined value) is executed. The process execution unit 14 'displays the label information corresponding to the searched target information on the display screen as a search result.
  • the target information as a search key can be specified by specifying label information displayed on the display screen.
  • FIG. 7 is a diagram showing an operation example of the tactile information processing apparatus configured as shown in FIG.
  • the operation when calculating the tactile feature amount from the target information input by the target information input unit 11 and storing it in the tactile feature amount storage unit 10 is the same as that in FIG.
  • FIG. 7 shows an operation example when the search process is executed using the tactile feature quantity stored in the tactile feature quantity storage unit 10.
  • the process execution unit 14 determines whether or not a user operation of a search request specifying target information (label information) has been received (step S21).
  • the process execution unit 14 ′ issues a similarity calculation instruction to the similarity calculation unit 15.
  • the similarity calculation unit 15 reads the tactile feature amount corresponding to the target information specified in step S ⁇ b> 21 from the tactile feature amount storage unit 10 and stores other tactile features stored in the tactile feature amount storage unit 10. The degree of similarity with the amount is calculated (step S22).
  • the process execution unit 14 ′ has a similarity with respect to the target information specified in step S21 based on the similarity of the tactile feature amount calculated by the similarity calculation unit 15 (the tactile feature amount The target information whose similarity is equal to or greater than a predetermined value is searched (step S23). Then, the process execution unit 14 'displays the label information corresponding to the searched target information as a search result on the display screen (step S24). Thereby, the process of the flowchart shown in FIG. 7 is completed.
  • the waveform information has been described as an example of the target information input by the target information input unit 11, but the present invention is not limited to this.
  • information that can be input as a processing target is information having a specific haptic effect specified by n (n ⁇ 2) tactile point parameters.
  • n (n ⁇ 2) tactile point parameters In particular, if the value corresponding to the intensity is continuously or intermittently connected, or can be converted into a connected state, it can be input as target information.
  • the waveform information described above is information in which the amplitude corresponding to the intensity is continuous (in the case of an analog signal) or intermittently (in the case of digital data) along the time axis, and can be handled in this embodiment. This is a typical example of such information.
  • text information composed of a character string is not information in which values corresponding to intensity are connected in series, but is information that can be converted into such information as will be described in detail later. Therefore, text information is also one of information that can be handled in the present embodiment. In this case, what the first tactile point parameters and the second tactile point parameters are will be described later.
  • information other than a single information amount can be said to be information that can be handled in this embodiment.
  • information consisting of only one character such as “A” cannot be said to be information in which values corresponding to intensity are continuous, and cannot be converted into this information. It becomes out of object.
  • text information composed of a plurality of characters can be converted into information in which values corresponding to intensity are connected as will be described later, and thus can be handled in the present embodiment.
  • information having a certain length of time is information that can be handled in the present embodiment as described above.
  • a sound that ends in an instant there is an amplitude, but it does not have a length that can be divided into a plurality along the time axis. Therefore, it is not information that can be handled in this embodiment as it is.
  • the instantaneous sound is frequency-analyzed and converted to a frequency-axis signal, information with different amplitudes for each frequency, that is, information corresponding to the intensity along the frequency axis is linked. Information that can be handled in the form.
  • information whose information amount is not single is information that can be handled in the present embodiment, since it can be said that values corresponding to intensity are continuous.
  • information that can be converted into information having a continuous value corresponding to intensity even if the information amount is single is information that can be handled in this embodiment.
  • the tactile point parameter generation unit 12 divides the histogram information into a plurality in the frequency axis direction. Then, from each divided section, the representative strength in the divided section is specified as the first tactile point parameter, and the frequency width of the divided section is specified as the second tactile point parameter. Two or more combinations of the second tactile point parameters are generated.
  • FIG. 8 is a diagram for explaining an example of processing contents by the tactile point parameter generation unit 12 when histogram information is input.
  • FIG. 8A shows the histogram information input by the target information input unit 11.
  • the outer shape of the histogram information is the same as the waveform information. Therefore, it is possible to apply the same processing as the waveform information.
  • the envelope of the histogram information may be extracted as shown in FIG. 8B, and the first tactile point parameter and the second tactile point parameter may be specified for the envelope. .
  • the tactile point parameter generating unit 12 first divides the histogram information shown in FIG. 8A (or the envelope information shown in FIG. 8B) into a plurality in the frequency axis direction.
  • the division is performed for each time when the amplitude of the envelope is minimized. That is, the first segment F1 from the start point of the envelope to the first minimum value, the second segment F2 from the first minimum value to the second minimum value, the second minimum value.
  • Histogram information is divided into a plurality of pieces in the frequency axis direction as in the third divided section F3,.
  • the division method is not limited to this.
  • the tactile point parameter generation unit 12 specifies the representative strengths h1, h2, h3,... As the first tactile point parameters from the respective divided sections F1, F2, F3,.
  • the frequency widths f1, f2, f3,... Of the divided sections are specified as the mass point parameters.
  • the representative strengths h1, h2, h3,... Indicate the maximum values in the respective divided sections F1, F2, F3,.
  • how to obtain the representative strength is not limited to this.
  • the tactile point parameter generation unit 12 sets the spatial distribution information in accordance with the position or region. Divide it into multiple parts. Then, from each divided section, the representative strength in the divided section is specified as the first tactile point parameter, and the length or area between the start points of the divided sections is specified as the second tactile point parameter, Two or more combinations of the first tactile point parameter and the second tactile point parameter are generated.
  • Image information is an example of spatial distribution information.
  • the image information is information in which color information or luminance information having an intensity element changes in accordance with the position of the pixel or an area composed of a plurality of pixel groups.
  • the tactile point parameter generation unit 12 divides such image information into a plurality according to the position of the pixel or the region of the pixel group, and sets the first tactile point parameter and the second tactile point parameter from each divided section. Generate a combination.
  • FIG. 9 is a diagram for explaining an example of processing contents by the tactile point parameter generation unit 12 when image information is input.
  • the image information shown in FIG. 9A shows an example of a pattern image divided into meshes having various sizes in the vertical and horizontal directions.
  • the third example is suitable for generating a combination of the first tactile point parameter and the second tactile point parameter from such a pattern image.
  • the tactile point parameter generating unit 12 first divides the pattern image shown in FIG. 9A into a plurality according to the mesh area.
  • the upper left mesh is the first divided section A1
  • the right mesh is the second divided section A2
  • the right mesh is the third divided section A3,. Once you reach the right end, go down one step and divide it from left to right. By performing this up to the lowermost right mesh, the entire pattern image is divided into a plurality of parts according to the area of each mesh.
  • the tactile point parameter generating unit 12 specifies the representative strengths h1, h2, h3,... As the first tactile point parameters from the respective divided sections A1, A2, A3,.
  • the areas a1, a2, a3,... Of the divided sections are specified as the mass point parameters.
  • the representative intensities h1, h2, h3,... It is possible to use an average value of any one of saturation, brightness, or luminance in each of the divided sections A1, A2, A3,. .
  • the tactile point parameter generation unit 12 sets the length (corresponding to the number of pixels) from the start point to the end point of each divided section as the second tactile point parameter from each divided section A1, A2, A3,. Should be specified.
  • the tactile point parameter generation unit 12 converts the image information into frequency spectrum information as preprocessing, and the first tactile point parameter and the second tactile point from the frequency spectrum information. Two or more combinations of parameters are generated.
  • the tactile point parameter generation unit 12 analyzes the image information input by the target information input unit 11 to generate frequency spectrum information of intensity-frequency distribution, and then divides the frequency spectrum information into a plurality in the frequency axis direction. Then, from each divided section, the representative strength in the divided section is specified as the first tactile point parameter, and the frequency width of the divided section is specified as the second tactile point parameter. Two or more combinations of the second tactile point parameters are generated.
  • the fourth example can be applied to an audio signal.
  • the first example cannot be applied.
  • the tactile point parameter generation unit 12 morphologically analyzes the text information and divides it into sentences, and divides each sentence into segments. Specify the number of phonemes in the phrase. Then, from each sentence, the reciprocal of the representative phoneme number in the sentence is regarded as the intensity and specified as the first tactile point parameter, and the number of clauses in the sentence is specified as the second tactile point parameter. Two or more combinations of one tactile point parameter and second tactile point parameter are generated.
  • FIG. 10 is a diagram for explaining an example of processing contents by the tactile point parameter generation unit 12 when text information is input.
  • FIG. 10 shows text information input by the target information input unit 11 along with kana.
  • the text information input in the example shown in FIG. 10 is information including a character string of a sentence “Today is Sunday. I went to school today”.
  • the tactile point parameter generation unit 12 first divides the text information of the sentence “Today is Sunday. I went to school today” for each sentence. That is, it is divided into “Today is Sunday” and “I went to school today”.
  • the first sentence is the first divided section B1
  • the second sentence is the second divided section B2.
  • the tactile point parameter generation unit 12 performs morphological analysis on each sentence, divides each sentence into segments, and specifies the number of phonemes in each phrase. That is, with respect to the first divided section B1, the sentence is divided into two clauses “Today” and “Sunday”. Then, the phoneme number of the first clause “Kyoha” is specified as “3”, and the phoneme number of the second clause “Nichijobi” is specified as “5”. Similarly, with respect to the second divided section B2, the sentence is divided into four clauses of “I am”, “Today”, “To school” and “I went”. Then, the number of phonemes of each phrase is specified as “4”, “2”, “5”, “5”, respectively.
  • the tactile point parameter generating unit 12 regards the reciprocal of the representative phoneme number in each divided section as the strength from each of the first divided section B1 and the second divided section B2, and uses this as the first tactile point parameter.
  • the representative phoneme number can be, for example, the minimum phoneme number, the maximum phoneme number, or the average phoneme number in the divided section. For example, when the average phoneme number is used, the average phoneme number of the first divided section B1 is “4”, and the reciprocal number thereof is specified as the first tactile point parameter. The average number of phonemes in the second divided section B2 is also “4”, and the reciprocal number thereof is specified as the first tactile point parameter.
  • the tactile point parameter generating unit 12 specifies the number of phrases as the second tactile point parameter from each of the first divided section B1 and the second divided section B2. That is, the phrase number “2” is specified as the second tactile point parameter for the first divided section B1, and the phrase number “4” is specified as the second tactile point parameter for the second divided section B2.
  • the tactile point parameter generation unit 12 divides the series of motion information for each motion. Then, from each operation, a representative value related to the applied pressure, speed, acceleration, or reaching height of the human body is regarded as the intensity and specified as the first tactile point parameter, and the length of time required for one operation is By specifying as two tactile point parameters, two or more combinations of the first tactile point parameter and the second tactile point parameter are generated.
  • FIG. 11 is a diagram for explaining an example of processing contents by the tactile point parameter generation unit 12 when massage operation information is input.
  • Massage is performed by combining a plurality of procedures.
  • One procedure is performed by applying pressure for a predetermined time.
  • the motion information representing the movement of the massage treatment can be represented by information such as a bar graph in which the horizontal axis is the time axis and the vertical axis is the pressure.
  • interval between adjacent bar graphs is open means that two procedures are performed in time.
  • the location where the adjacent bar graphs are connected means that two procedures are continuously performed without taking time. For example, when a massage is actually performed on a humanoid doll having a pressure sensor on the surface, sensor information as shown in FIG. 11 is obtained, and this is input to the target information input unit 11. Is possible.
  • the tactile point parameter generation unit 12 divides a series of operation information input by the target information input unit 11 and including a combination of a plurality of procedures for each procedure (one operation). If it demonstrates with the image of FIG. 11, it will be equivalent to dividing
  • the tactile point parameter generation unit 12 applies the applied pressures p1, p2, p3,... From the respective divided sections M1, M2, M3,. Is specified as the first tactile point parameter, and the length t1, t2, t3,... Of the time required for performing each procedure is specified as the second tactile point parameter. Two or more combinations of the mass point parameter and the second tactile point parameter are generated.
  • a series of motion information that represents a person's movement is motion information captured by motion capture.
  • the motion information by motion capture is provided as moving image information that digitally records human movements.
  • the tactile point parameter generation unit 12 performs image analysis on the moving image information, specifies the start point of the movement of the specific part of the person (for example, the hand), and moves the movement until the hand returns to the start point.
  • the series of operation information is divided for each operation. In this case, one operation until the hand returns to the start point corresponds to one divided section.
  • the tactile point parameter generation unit 12 regards the representative value related to the speed, acceleration, or reaching height of the human body from each divided section as the strength, and uses this as the first tactile point parameter related to the strength. Identify. For example, when the representative value of the motion speed is used as the first tactile point parameter, the maximum speed, the minimum speed, or the average speed in one motion can be used as the representative value. Further, when the representative value of the reaching height of the human body is used as the first tactile point parameter, for example, the highest point from the floor when operating by moving the hand can be used as the representative value. In addition, the tactile point parameter generating unit 12 specifies the length of time required for one operation as the second tactile point parameter.
  • the tactile point parameter generation unit 12 performs an optical flow analysis on the moving image information and calculates a displacement amount between the frame images, thereby elapse of time. At the same time, it is converted into waveform information in which the amount of displacement changes. Then, the waveform information is divided into a plurality in the time axis direction, and the representative intensity in the divided section is specified as the first tactile point parameter from each divided section, and the time length of the divided section is set to the second length. By specifying as the tactile point parameter, one or more combinations of the first tactile point parameter and the second tactile point parameter are generated.
  • the moving image information is arbitrary moving image information including the operation information by the motion capture described above.
  • a known method can be applied to the optical flow analysis.
  • the optical flow values in the x and y directions obtained for each pixel are Fx and Fy, for example, a value of (Fx 2 + Fy 2 ) / 2 is obtained for each pixel, and an average value for all pixels is obtained.
  • this average value is set as the displacement amount at time t2.
  • two tactile point parameters (first tactile point parameter and second tactile point parameter) each representing one element of tactile sensation from target information to be processed.
  • Two or more sets of the above are generated, and further, two types of tactile feature quantities (first tactile feature quantity and second tactile feature quantity) related to the target information are generated based on the two or more sets of tactile point parameters.
  • the combination of the two types of tactile feature values is stored together with the label information.
  • the process according to user operation is performed using the combination of the stored tactile feature amount, and the execution result is provided to the user together with the label information.
  • a tactile feature quantity based on a tactile point parameter representing one element of tactile sensation is generated from target information input as a processing target. It can be said that the tactile feature amount represents a tactile property that the input target information has potentially.
  • processing according to the user operation is executed, and the execution result of the processing is provided to the user together with the label information of the target information corresponding to the tactile feature amount. Is possible. Thereby, the sense of touch corresponding to the target information can be effectively used as an information transmission medium.
  • n 2 and the first tactile point parameter relating to the strength of the information and the second tactile point parameter relating to the length of the divided section of information are generated as two tactile point parameters.
  • n may be 3 or more.
  • both the first tactile point parameter relating to the intensity of information and the second tactile point parameter relating to the length of the divided section of information are generated. Also good.
  • the tactile point parameter generating unit 12 divides the target information input by the target information input unit 11 into a plurality of pieces, and relates to the first tactile point parameter related to the strength of information and the length of the divided section from each divided section.
  • n (n ⁇ 2) tactile point parameters By specifying n (n ⁇ 2) tactile point parameters using at least one of the second tactile point parameters, it is possible to generate two or more combinations of n tactile point parameters.
  • n 3
  • three different ones as the first tactile point parameters may be generated, or three different ones as the second tactile point parameters may be generated.
  • n tactile point parameters are generated using only the first tactile point parameter relating to the strength of information
  • n types of target information are input by the target information input unit 11.
  • the tactile point parameter generation unit 12 divides the input n types of target information into a plurality of pieces, and specifies the first tactile point parameters one by one from the respective divided sections of the n types of target information.
  • two or more combinations of the n first tactile point parameters are generated.
  • the target information input unit 11 inputs the following digital values as target information regarding three types of information of heartbeat, acceleration (body movement), and blood flow.
  • Heartbeat 79, 60, 79, 75, 74, 79, 75 Acceleration: 40, 10, 30, 40, 35, 40, 20
  • Blood flow 80, 60, 40, 60, 80, 60, 80
  • the tactile point parameter generation unit 12 divides the input three types of target information for each input value, and specifies the first tactile point parameter from each divided section of the three types of target information.
  • the combination of the three first tactile point parameters is generated as follows. ⁇ 79, 40, 80 ⁇ , ⁇ 60, 10, 60 ⁇ , ⁇ 79, 30, 40 ⁇ , ...
  • n tactile point parameters are generated using only the second tactile point parameter relating to the length of the information division section
  • n types of target information are input by the target information input unit 11.
  • the tactile point parameter generation unit 12 divides the input n types of target information into a plurality of pieces, and specifies one second tactile point parameter from each divided section of the n types of target information.
  • two or more combinations of n second tactile point parameters are generated.
  • the target information input unit 11 inputs digital values similar to those described above for three types of information of heartbeat, acceleration, and blood flow.
  • the tactile point parameter generation unit 12 divides each of the three types of target information, for example, until the same value is input, and the second tactile point from each divided section of the three types of target information. By specifying the parameters, a combination of three second tactile point parameters is generated.
  • the same value as the first “79” appears two times later, and then the same value appears three more times later.
  • the same value as the first “40” appears three times later, and then the same value appears two more times later, so the length of the divided section is 3 and 2.
  • the same value as the first “80” appears four times later, and then the same value appears two more times later, so the length of the divided section is 4 and 2.
  • the tactile feature amount calculation unit 13 calculates four arithmetic operation values using the three tactile point parameters, and the section in which the same four arithmetic operation values appear is calculated.
  • the length is calculated as the first tactile feature amount P1
  • the diversity of the four arithmetic operation values is calculated as the second tactile feature amount P2.
  • the contents of the four arithmetic operations in this case can be arbitrarily determined.
  • one of the tactile point parameter related to strength or the tactile point parameter related to the length of the divided section is generated from a plurality of types of target information, but is generated from one type of target information. You may do it.
  • one type of target information may be divided into a plurality of sections in the same manner as in the above-described embodiment, and a plurality of tactile point parameters related to strength may be generated from each divided section (for example, the maximum intensity value and The minimum value is the tactile point parameter for each).
  • one type of target information when one type of target information is divided into a plurality of sections, it may be divided into a plurality of sections according to different methods, and the length of the divided section divided by each method may be used as a tactile point parameter.
  • the tactile point parameter relating to the strength and the tactile point parameter relating to the length of the divided section may be combined and generated from a plurality of types of target information.
  • n four arithmetic operation values (hi / ti value) are calculated for every some division
  • the present invention is not limited to this.
  • an arithmetic operation value using n tactile point parameters is calculated for each divided section, and an average value of m-order difference values (m ⁇ 1) of a plurality of arithmetic operation values calculated for each divided section or A representative value (maximum value, minimum value, median value, or the like) may be used as the first tactile feature amount P1.
  • n arithmetic operation values (hi / ti values) are calculated for each divided section, and the first-order difference values ⁇ (h2 / t2 ⁇ ) of the plurality of arithmetic operation values calculated for the respective divided sections. It is conceivable that the average value of h1 / t1), (h3 / t3-h2 / t2),.
  • the variance of a plurality of arithmetic operation values (hi / ti values) calculated for each of the plurality of divided sections is calculated as an example of the diversity (second tactile feature amount P2).
  • the present invention is not limited to this.
  • a range from a minimum value to a maximum value of a plurality of arithmetic operation values calculated for each divided section, or a set of the range and the median value may be calculated as the second tactile feature amount P2.
  • the information amount of a plurality of arithmetic operation values calculated for each divided section may be calculated as the second tactile feature amount P2.
  • entropy H an average information amount of Shannon calculated by the following equation.
  • p (e i ) indicates the occurrence probability of each arithmetic operation value.
  • a plurality of arithmetic operation values (hi / ti values) calculated for a plurality of divided sections are as follows. 20, 18, 1, 9, 11, 1, 1, 1, 1, 38, 38, 1, 16
  • the variance is 191.8
  • the range is 37
  • the median is 16
  • the entropy is 0.48.
  • the tactile feature quantity calculation unit 13 can use the variance, the set of the range and the median, or the entropy calculated in this way as the second tactile feature quantity P2 representing the diversity of the four arithmetic operation values. It is.
  • the second tactile feature amount P2 when the set of the range and the median is used as the second tactile feature amount P2, there are two values as the second tactile feature amount P2.
  • the first tactile feature amount P1 When the first tactile feature amount P1 is combined, three values exist. Therefore, this is plotted as it is in two-dimensional coordinates with the first tactile feature quantity P1 on the horizontal axis (x-axis) and the second tactile feature quantity P2 on the vertical axis (y-axis). I can't. Therefore, for example, it is conceivable to perform a four arithmetic operation using the range and the median value and replace it with one value, and use this as the value of the y coordinate.
  • the range is the first tactile feature P1 on the x-axis, the first second tactile feature P2 on the y-axis, and the second second tactile feature P2 on the z-axis. You may make it plot a predetermined
  • the tactile feature quantity calculation unit 13 further calculates an m-th order difference value (m ⁇ 1) of a plurality of arithmetic operation values calculated for each divided section, and replaces the above-described four arithmetic operation values with the m-th order difference value. You may make it use. That is, the length of the section in which the same m-th order difference value appears is calculated as the first tactile feature amount P1, and the diversity of the m-th order difference value is calculated as the second tactile feature amount P2. Also good.
  • a plurality of arithmetic operation values (hi / ti values) calculated for a plurality of divided sections are as follows. 20, 18, 1, 9, 11, 1, 1, 1, 1, 38, 38, 1, 16
  • the tactile feature amount calculation unit 13 may use the diversity of the plurality of m-th order difference values calculated as described above as the second tactile feature amount P2. Even when the diversity of the m-th order difference value is calculated as the second tactile feature amount P2, the variance, the range, the combination of the range and the median, or the entropy is used as the diversity. Is possible.
  • the reason why the m-th order differential value is used in this way is because the way of changing the four arithmetic operation values of the tactile point parameters affects the tactile quality. For example, when a large value is included in the m-th order difference value, it means that there is a large change in the touch quality and the touch quality becomes hard. On the other hand, when a small value is included in the m-th order difference value, there is a small change in the touch quality, which means that the touch quality becomes soft.
  • a combination of three or more types of tactile feature values may be calculated.
  • a map display using them can be performed by displaying plot points on the three-dimensional coordinate information.
  • an average value may be a minimum value or a maximum value
  • the average value of the lengths of the divided sections represents the tactile tempo that the target information has potentially.
  • the tactile feature quantity calculation unit 13 further calculates the m-th order difference value (m ⁇ 1) of the plurality of arithmetic operation values calculated for each divided section, and determines the diversity of the m-th order difference value. You may make it further calculate as a 3rd tactile feature amount. That is, the length of the section in which the same arithmetic operation value appears is the first tactile feature amount, the diversity of the arithmetic operation value is the second tactile feature amount, and the diversity of the m-th order difference value is the third It may be used as a tactile feature amount. Even when the diversity of the m-th order difference value is calculated as the third tactile feature quantity, the variance, the range, the combination of the range and the median, or entropy may be used as the diversity. Is possible.
  • a plurality of four arithmetic operation values (hi / ti values) calculated for each of a plurality of divided sections for two pieces of target information 1 and 2 are as follows.
  • Target information 1) 1, 2, 100, 1, 2, 100
  • Target information 2) 1, 2, 3, 1, 2, 3
  • P1 the number of sections until the same arithmetic operation value appears
  • the third tactile feature in the target information 1 and 2 is calculated.
  • the amount P3 is as follows.
  • Target information 1): P3 98 (Absolute value of first floor difference: 1,98,99,1,98)
  • Target information 2: P3 1 (Absolute value of the first floor difference value: 1, 1, 2, 1, 1)
  • the tactile feature amount calculated by the tactile feature amount calculating unit 13 is stored in the tactile feature amount storage unit 10 together with the label information.
  • the target information input by the unit 11 may also be associated and stored.
  • the corresponding correspondence information may be reproduced by clicking the plotted plot point or label information displayed on the map or by clicking the label information displayed as the search result.
  • the tactile feature amount calculated by the tactile feature amount calculating unit 13 is stored in the tactile feature amount storage unit 10 together with the label information, and the execution results of the processing by the processing execution units 14 and 14 ′ are stored.
  • label information does not need to be provided.
  • the processing execution unit 14 of FIG. 1 displays each plot point without label information in the map as shown in FIG. 3, and the user designates a desired plot point by mouse operation or touch panel operation.
  • the target information itself corresponding to the designated plot point may be provided.
  • the process execution unit 14 ′ of FIG. 6 provides the target information itself that is searched as the similarity of the tactile feature amount with respect to the target information specified by the user operation being equal to or higher than a predetermined level as a search result. It may be configured.
  • the process of providing the target information itself is, for example, a process of outputting the audio signal from the speaker or the audio signal outside the tactile information processing apparatus when the target information is audible like an audio signal.
  • the process which records to a storage medium The process which transmits an audio
  • the tactile information processing apparatus of the present embodiment is built in a device having a sound reproduction function, and a sound signal searched by the tactile information processing device is output from the speaker of the device or attached to the device. It may be possible to record in a removable memory or to transmit to an external device connected to the device via a communication network.
  • the process of providing the target information itself is, for example, a process of displaying the video signal on a display when the target information can be displayed like a video signal, or a process of displaying the video signal outside the tactile information processing apparatus. Processing that records in a storage medium, processing that transmits a video signal to a network outside the tactile information processing apparatus, and the like.
  • the tactile information processing apparatus of the present embodiment is built in a device having a video playback function, and the video signal searched by the tactile information processing device is displayed on the display of the device or attached to the device. It may be possible to record in a removable memory or to transmit to an external device connected to the device via a communication network.
  • the process of providing target information itself is, for example, a device that outputs a given effect by outputting vibration when the target information is a vibration signal (for example, a massager, a facial device, a vibration alarm, an electric toothbrush, A process of outputting a vibration signal as a search result to a game machine controller, a touch panel with vibration feedback, or the like.
  • the tactile information processing apparatus according to the present embodiment is incorporated in a device having a vibration imparting function (for example, any one of the above-described devices), and the vibration signal searched by the tactile information processing device is used as the vibration of the device.
  • the form supplied to a grant body can be considered.
  • the tactile feature quantity calculation unit 13 calculates four arithmetic operation values using n tactile point parameters for each divided section, and uses the four arithmetic operation values to calculate the tactile feature quantity.
  • the tactile feature quantity calculation unit 13 calculates the length of a section in which the same one appears in the combination of the first tactile point parameter and the second tactile point parameter as the first tactile feature quantity, The diversity of the combination of the first tactile point parameter and the second tactile point parameter may be calculated as the second tactile feature amount.
  • the tactile feature quantity calculation unit 13 calculates a plurality of types of tactile feature quantities related to the target information based on two or more sets of tactile point parameters generated by the tactile point parameter generation unit 12.
  • the present invention is not limited to this.
  • a plurality of types of tactile feature quantities related to the target information may be calculated based on the following tactile parameters.
  • FIG. 12 is a diagram illustrating a functional configuration example of the tactile information processing apparatus in a case where tactile feature amounts are calculated based on tactile parameters.
  • FIG. 12A shows a modification to FIG. 1
  • FIG. 12B shows a modification to FIG.
  • FIG. 12 since components having the same reference numerals as those shown in FIG. 1 and FIG. 6 have the same functions, redundant description is omitted here.
  • the tactile parameter generation unit 16 calculates n tactile properties by calculating the difference value of the tactile point parameters between the two sets of the two or more sets of tactile point parameters generated by the tactile point parameter generation unit 12. Two or more combinations of parameters are generated.
  • the tactile feature amount calculation unit 13 ′ calculates the tactile feature amount described in the above embodiment by using the tactile parameter generated by the tactile parameter generation unit 16.
  • two or more sets of tactile point parameters generated by the tactile point parameter generation unit 12 are three sets of ⁇ p11, p21 ⁇ , ⁇ p12, p22 ⁇ , and ⁇ p13, p23 ⁇ .
  • p11, p12, and p13 are first tactile point parameters
  • p21, p22, and p23 are second tactile point parameters.
  • the tactile parameter generation unit 16 calculates the difference value of the tactile point parameters between the two sets ⁇ p11, p21 ⁇ and ⁇ p12, p22 ⁇ , and ⁇ p12, p22 ⁇ , ⁇ p13, p23 ⁇
  • the following two sets of tactile parameters are generated by calculating the difference value of the tactile point parameters between the two sets. ⁇ P12-p11, p22-p21 ⁇ , ⁇ p13-p12, p23-p22 ⁇
  • the tactile parameter generation unit 16 uses two or more sets of tactile point parameters generated by the tactile point parameter generation unit 12. For each of ⁇ h1, t1 ⁇ , ⁇ h2, t2 ⁇ , ⁇ h3, t3 ⁇ ,..., The first touch as shown below is calculated by calculating the difference value of the tactile point parameter between the two sets. Two or more combinations of the quality parameter and the second tactile parameter are generated. ⁇ H2-h1, t2-t1 ⁇ , ⁇ h3-h2, t3-t2 ⁇ ,.
  • the tactile parameter generation unit 16 includes two or more sets of tactile points generated by the tactile point parameter generation unit 12. For each parameter ⁇ h1, f1 ⁇ , ⁇ h2, f2 ⁇ , ⁇ h3, f3 ⁇ ,... Two or more combinations of tactile parameters and second tactile parameters are generated. ⁇ H2-h1, f2-f1 ⁇ , ⁇ h3-h2, f3-f2 ⁇ ,...
  • the tactile parameter generation unit 16 when the target information input by the target information input unit 11 is the spatial distribution information illustrated in FIG. 9, the tactile parameter generation unit 16 generates two or more sets of touches generated by the touch point parameter generation unit 12. For each of the mass point parameters ⁇ h1, a1 ⁇ , ⁇ h2, a2 ⁇ , ⁇ h3, a3 ⁇ ,... Two or more combinations of the tactile parameter and the second tactile parameter are generated. ⁇ H2-h1, a2-a1 ⁇ , ⁇ h3-h2, a3-a2 ⁇ , ...
  • the tactile parameter generation unit 16 when the target information input by the target information input unit 11 is the text information illustrated in FIG. 10, the tactile parameter generation unit 16 generates two sets of tactile point parameters generated by the tactile point parameter generation unit 12. For ⁇ 1/4, 2 ⁇ and ⁇ 1/4, 4 ⁇ , by calculating the difference value of the tactile point parameter, the first tactile parameter ⁇ 0, 2 ⁇ and the second tactile parameter are calculated. One set of combinations is generated. When the text information is longer than this, it is possible to generate two or more combinations of the first tactile parameter and the second tactile parameter.
  • the tactile parameter generation unit 16 when the target information input by the target information input unit 11 is the motion information illustrated in FIG. 11 (movement information of massage treatment), the tactile parameter generation unit 16 generates the tactile parameter generation unit 12.
  • the tactile point parameters ⁇ p1, t1 ⁇ , ⁇ p2, t2 ⁇ , ⁇ p3, t3 ⁇ ,...
  • Two or more combinations of the first tactile parameters and the second tactile parameters as shown below are generated.
  • the similarity calculation part 15 is based on the combination of several sets of tactile feature-values memorize
  • the example in which the process execution unit 14 ′ searches for target information whose similarity to the target information specified by the user operation is equal to or higher than a predetermined level has been described, but the present invention is not limited to this.
  • the process execution unit 14 ′ may search for target information whose similarity to target information specified by a user operation is a predetermined level or less. In this way, it is possible to search for information having a touch quality different from that of the search key, using the touch feature value as a search key. Thereby, for example, even if the original information is of the same type, it is possible to reverse the one having a different image as the tactile sensation. For example, when there is a song that you are tired of listening to, you can search for another song that has a different feeling from that song.
  • a plurality of targets are obtained based on combinations of a plurality of sets of tactile feature amounts stored in the tactile feature amount storage unit 10 for a plurality of pieces of target information.
  • a heterogeneity calculation unit 17 for calculating the heterogeneity of information is provided, and the process execution unit 14 ′′ searches for target information whose heterogeneity with respect to the target information designated by the user operation is equal to or higher than a predetermined level or lower than a predetermined level. It may be.
  • the heterogeneity calculation unit 17 calculates the distance between the plot points mapped on the two-dimensional coordinates as shown in FIG. 3 by the processing execution unit 14 ′′ as an index value indicating the heterogeneity of the tactile feature amount.
  • the distance between plot points is calculated as the heterogeneity, the greater the distance value, the higher the heterogeneity, and the smaller the distance value, the lower the heterogeneity.
  • the heterogeneity calculation unit 17 calculates the reciprocal of the Mahalanobis distance using the first tactile feature value and the second tactile feature value as two variables, and represents the heterogeneity of the tactile feature value. It may be used as an index value.
  • the reciprocal of the Mahalanobis distance indicates that the smaller the value, the higher the degree of heterogeneity, and the larger the value, the lower the degree of heterogeneity. Note that the index values for the degree of heterogeneity shown here are merely examples, and other known index values may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

対象情報入力部(１１)により入力された対象情報から、それぞれが触感の一要素を表したｎ個の触質点パラメータの組み合わせを２組以上生成する触質点パラメータ生成部(１２)と、当該２組以上の触質点パラメータに基づいて複数種類の触質特徴量を算出する触質特徴量算出部(１３)と、触質特徴量の組み合わせを用いてユーザ操作に応じた処理を実行する処理実行部(１４)とを備え、対象情報を触覚情報が潜在的に持っている触覚の性質を表した触質特徴量を用いて、ユーザ操作に応じた処理を実行し、その触質特徴量に対応する対象情報のラベル情報と共に処理の実行結果をユーザに提供することにより、対象情報に対応する触覚を情報伝達メディアとして有効に利用できるようにする。

Description

触質情報処理装置および触質情報処理方法
　本発明は、触質情報処理装置および触質情報処理方法に関し、特に、入力情報を触質情報に変換して情報伝達メディアとして利用可能にするための技術に関するものである。
　人間が有する五感のうち、情報伝達の手段としては、視覚および聴覚を利用したものが広く提供されてきた。視覚および聴覚を利用した情報伝達メディアは多種多様であり、その発達には目覚しいものがある。これに対し、触覚を利用した情報伝達メディアとしては、点字などが提供されているが、視覚および聴覚を利用した情報伝達メディアに比べて発達の程度はかなり低い。これまで、触覚のみによって何らかの情報を伝達するという試みは、点字以外には殆ど行われていないのが実情である。
　このような実情の中、視覚または聴覚で感じる情報を触覚から伝えようとする感覚代行技術の研究が行われている。すなわち、視覚情報は眼から、聴覚情報は耳から伝わるのが一般的であるが、これらの情報を触覚から伝えようとする試みがなされている。例えば、聴覚情報である音声信号を触覚効果の情報に変換して利用するようにしたシステムが知られている（例えば、特許文献１，２参照）。
　特許文献１に記載の触覚効果生成システムは、音声信号に関係付けられるエンベロープを決定し、エンベロープに基づいて触覚効果（例えば、タッチスクリーンまたはタッチパッドのタッチ面を動かす振動触覚効果）を決定し、当該触覚効果に関係付けられる触覚信号（例えば、アクチュエータの駆動信号）を出力するように構成されている。
　また、特許文献２に記載のシステムでは、マイクロフォンから入力した音声信号の特徴（周波数、振幅、継続期間など）を判断し、当該特徴の少なくとも一部に基づいて、特徴に関連した触覚効果ライブラリから触覚効果を識別することによって、当該特徴に関連した触覚効果をアクチュエータに出力させるためのアクチュエータ信号を生成する。
　また、センサにより検出されるセンサ信号に基づいて仮想メッセージオブジェクトの仮想物理パラメータを決定し、当該仮想物理パラメータに基づいて触覚効果を決定して、その触覚効果をアクチュエータに出力させるための触覚信号を生成するようにした技術も知られている（例えば、特許文献３参照）。この特許文献３には、センサの一例として、接触、圧力、加速度、傾き、慣性、位置を検出することが記載され、具体例として、加速度計、ジャイロスコープ、タッチセンサ式入力装置、カメラ、ＧＰＳセンサが記載されている。また、特許文献３には、センサ信号がジェスチャと関連付けられた信号であることも記載されている。
　さらに、特許文献３には、仮想物理特性が、サイズ、質量、形状、衝突挙動、またはテクスチャを含むことが記載されている。また、特許文献３には、仮想物理特性が、仮想メッセージオブジェクトと関連付けられるファイルサイズ、仮想メッセージオブジェクトと関連付けられるテキストメッセージの長さ、仮想メッセージオブジェクトと関連付けられる画像の幅および長さ、仮想メッセージオブジェクトと関連付けられる歌曲の長さ、または仮想メッセージオブジェクトと関連付けられるビデオの長さに基づくことが記載されている。
特開２０１５－５３０５３号公報 特開２０１５－１５６２２９号公報 特開２０１１－５２８４７４号公報
　上記特許文献１～３に記載された感覚代行技術によれば、視覚や聴覚などの触覚以外の情報を触覚信号（アクチュエータ信号などの振動情報）に変換して、機器等に触覚効果を与えるために利用することが可能である。しかしながら、変換した触覚信号を情報伝達メディアとして利用するものではなく、触覚情報として閲覧したり検索したりすることはできなかった。
　本発明は、このような問題を解決するために成されたものであり、触覚を情報伝達メディアとして有効に利用できるようにすることを目的とする。
　上記した課題を解決するために、本発明では、処理対象とする対象情報から、それぞれが触感の一要素を表したｎ個（ｎ≧２）の触質点パラメータの組み合わせを２組以上生成し、さらに、当該２組以上の触質点パラメータに基づいて、対象情報に関する複数種類の触質特徴量を算出し、当該複数種類の触質特徴量の組み合わせを記憶する。そして、記憶された触質特徴量の組み合わせを用いて、ユーザ操作に応じた処理を実行し、その実行結果をユーザに提供するようにしている。
　上記のように構成した本発明によれば、処理対象として入力された対象情報（視覚や聴覚などの情報の他、触覚に関する情報を含む）から、触感の一要素を表した触質点パラメータを基にした触質特徴量が生成される。触質特徴量は、入力された対象情報が潜在的に持っている触覚の性質を表したものと言える。本発明によれば、この触質特徴量を用いて、ユーザ操作に応じた処理を実行し、その実行結果をユーザに提供することが可能である。これにより、対象情報に対応する触覚（触質特徴量）を情報伝達メディアとして有効に利用することができる。
本実施形態による触質情報処理装置の機能構成例を示すブロック図である。 本実施形態の第１例に関し、波形情報を入力した場合における触質点パラメータ生成部による処理内容の一例を説明するための図である。 本実施形態の処理実行部によりディスプレイに表示される画像の一例を示す図である。 対象情報から触質特徴量を算出して記憶する際の動作例を示すフローチャートである。 触質特徴量を利用してマップ表示処理を実行する際の動作例を示すフローチャートである。 本実施形態による触質情報処理装置の他の機能構成例を示すブロック図である。 触質特徴量を利用して検索処理を実行する際の動作例を示すフローチャートである。 本実施形態の第２例に関し、ヒストグラム情報を入力した場合における触質点パラメータ生成部による処理内容の一例を説明するための図である。 本実施形態の第３例に関し、画像情報を入力した場合における触質点パラメータ生成部による処理内容の一例を説明するための図である。 本実施形態の第５例に関し、テキスト情報を入力した場合における触質点パラメータ生成部による処理内容の一例を説明するための図である。 本実施形態の第６例に関し、マッサージの動作情報を入力した場合における触質点パラメータ生成部による処理内容の一例を説明するための図である。 本実施形態による触質情報処理装置の他の機能構成例を示すブロック図である。 本実施形態による触質情報処理装置の他の機能構成例を示すブロック図である。
　以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による触質情報処理装置の機能構成例を示すブロック図である。図１に示すように、本実施形態の触質情報処理装置は、記憶媒体として触質特徴量記憶部１０を備えている。また、本実施形態の触質情報処理装置は、その機能構成として、対象情報入力部１１、触質点パラメータ生成部１２、触質特徴量算出部１３および処理実行部１４を備えている。
　上記各機能ブロック１１～１４は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１～１４は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
　対象情報入力部１１は、処理対象の情報を入力する。本実施形態では、対象情報の一例として、波形情報（音声信号、映像信号、振動信号、地震計・風力計・光量計など各種計測機器の測定信号、オシロスコープによる波形測定データ、株価変動データなど）を入力する。波形情報は、情報の強度に関する第１の触質点パラメータと、情報の分割区間の長さに関する第２の触質点パラメータとにより特定される固有の触覚効果を持った情報である。
　すなわち、波形情報は、強度に相当する振幅が時間軸に沿って連続的（アナログ信号の場合）または断続的（デジタルデータの場合）に連なっている情報である。この場合、情報の強度に関する第１の触質点パラメータは振幅、情報の分割区間の長さに関する第２の触質点パラメータは、波形情報を時間軸方向に複数に分割した場合の各分割区間の時間の長さである。強度および分割区間の長さは、何れも触感の一要素（触感の強さ、長さ）を成すものである。
　触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報から、第１の触質点パラメータ（強度に関する情報）および第２の触質点パラメータ（分割区間の長さに関する情報）の組み合わせを２組以上生成する。
　すなわち、触質点パラメータ生成部１２は、まず、対象情報入力部１１により入力された波形情報を時間軸方向に複数に分割する。そして、それぞれの分割区間から、分割区間内の代表振幅を第１の触質点パラメータとして特定するとともに、分割区間の時間の長さを第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。
　なお、触質点パラメータ生成部１２は、前処理として、波形情報にローパスフィル処理を施すことにより、入力された波形情報のエンベロープを抽出し、当該エンベロープを対象として、複数の分割区間から第１の触質点パラメータおよび第２の触質点パラメータを特定するようにしてもよい。
　図２は、触質点パラメータ生成部１２による処理内容の一例を説明するための図である。図２は、対象情報入力部１１により入力された波形情報（または、触質点パラメータ生成部１２により前処理としてローパスフィルタ処理が施されたエンベロープ波形情報）を示している。
　触質点パラメータ生成部１２は、まず、図２に示す波形情報を時間軸方向に複数に分割する。図２では一例として、波形の振幅が極小となる時間毎に分割している。すなわち、波形の開始点から１つ目の極小値までを第１の分割区間Ｔ１、１つ目の極小値から２つ目の極小値までを第２の分割区間Ｔ２、２つ目の極小値から３つ目の極小値までを第３の分割区間Ｔ３、・・・のように、波形情報を時間軸方向に複数に分割している。
　なお、波形情報の分割のし方は、図２に示した例に限定されない。例えば、波形の振幅が極大となる時間毎に波形情報を複数の区間に分割するようにしてもよい。あるいは、正の値の振幅および負の値の振幅がある波形情報の場合は、振幅値がゼロとなる時間毎に波形情報を複数の区間に分割するようにしてもよい。
　触質点パラメータ生成部１２は、それぞれの分割区間Ｔ１，Ｔ２，Ｔ３，・・・から、第１の触質点パラメータとして代表振幅ｈ１，ｈ２，ｈ３，・・・を特定するとともに、第２の触質点パラメータとして分割区間の時間の長さｔ１，ｔ２，ｔ３，・・・を特定する。ここで、代表振幅ｈ１，ｈ２，ｈ３，・・・は、それぞれの分割区間Ｔ１，Ｔ２，Ｔ３，・・・における開始点の極小値または終了点の極小値のうち値が大きい方と、分割区間Ｔ１，Ｔ２，Ｔ３，・・・における極大値との差分の値を示している。
　すなわち、分割区間Ｔ１に関しては、極小値が１つしかないので、この極小値と極大値との差分が代表振幅ｈ１となる。分割区間Ｔ２に関しては、当該区間の開始点の極小値の方が終了点の極小値よりも大きいので、開始点の極小値と極大値との差分が代表振幅ｈ２となる。分割区間Ｔ３に関しては、当該区間の開始点の極小値よりも終了点の極小値の方が大きいので、終了点の極小値と極大値との差分が代表振幅ｈ３となる。
　なお、ここで示した代表振幅の特定方法は一例であり、これに限定されるものではない。例えば、それぞれの分割区間Ｔ１，Ｔ２，Ｔ３，・・・における開始点の極小値または終了点の極小値のうち値が小さい方と、分割区間Ｔ１，Ｔ２，Ｔ３，・・・における極大値との差分を代表振幅として特定するようにしてもよい。
　また、正の値の振幅および負の値の振幅がある波形情報を、振幅値がゼロとなる時間毎に分割した場合は、各分割区間における正の極大値または負の極小値を第１の触質点パラメータの代表振幅として特定するようにしてもよい。ここで、負の極小値に関しては、その絶対値を第１の触質点パラメータの代表振幅として特定するようにしてもよい。
　触質特徴量算出部１３は、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータ（第１の触質点パラメータおよび第２の触質点パラメータの２組以上の組み合わせ）に基づいて、対象情報入力部１１により入力された波形情報に関する複数種類の触質特徴量を算出する。本実施形態では、第１の触質点パラメータと第２の触質点パラメータとを用いた四則演算値を算出し、同じ四則演算値が現れる区間の長さを第１の触質特徴量として算出する。また、四則演算値の多様度を第２の触質特徴量として算出する。
　例えば、分割区間の数がｎ個の場合、触質特徴量算出部１３は、それぞれの分割区間Ｔｉ（ｉ＝１～ｎ）ごとにｈｉ／ｔｉの値を求める。そして、同じｈｉ／ｔｉの値が出現する区間の長さを第１の触質特徴量Ｐ１として算出する。例えば、分割区間Ｔ１におけるｈ１／ｔ１の値と、分割区間Ｔ３におけるｈ３／ｔ３の値とが同じになった場合、第１の触質特徴量Ｐ１は、次の式により求められる。
　　Ｐ１＝ｔ１＋ｔ２
　あるいは、同じｈｉ／ｔｉの値が出現するまでの区間数を区間の長さとして、第１の触質特徴量Ｐ１を算出するようにしてもよい。この場合、上述した例のケースでは、分割区間Ｔ１から分割区間Ｔ３までの区間数である“２”が第１の触質特徴量Ｐ１ということになる。
　なお、同じｈｉ／ｔｉの値が出現する区間が複数存在する場合は、それぞれの区間ごとに第１の触質特徴量Ｐ１を算出し、その平均値を最終的な第１の触質特徴量Ｐ１として決定する。あるいは、平均値に代えて、最大値、最小値、中央値などを第１の触質特徴量Ｐ１として決定するようにしてもよい。
　また、触質特徴量算出部１３は、分割区間ごとに算出した複数のｈｉ／ｔｉの値の分散を第２の触質特徴量Ｐ２として算出する。すなわち、第２の触質特徴量Ｐ２は、次の式により求められる。
　Ｐ２＝Σ（ｈｉ／ｔｉ－ｍ）2／ｎ　（ｉ＝１～ｎ）
　ただし、ｍはｈｉ／ｔｉ（ｉ＝１～ｎ）の平均値
　上記のように求められる第１の触質特徴量Ｐ１は、対象情報入力部１１により入力された波長情報が潜在的に持っている触感のリズムを表している。また、第２の触質特徴量Ｐ２は、対象情報入力部１１により入力された波長情報が潜在的に持っている触感の多様度を表している。本実施形態では、この触感のリズムおよび多様度を示唆する２種類の触質特徴量によって、対象情報入力部１１により入力された波長情報を特徴付けるようにしている。
　なお、ここではｈｉ／ｔｉの値を算出しているが、他の四則演算値を算出するようにしてもよい。例えば、ｔｉ／ｈｉの値、ｈｉ×ｔｉの値、ｈｉ＋ｔｉの値、ｈｉ－ｔｉの値などを算出するようにしてもよい。
　触質特徴量記憶部１０は、触質特徴量算出部１３により算出された２種類の触質特徴量の組み合わせを、対象情報入力部１１により入力された対象情報を識別可能なラベル情報と共に記憶する。ラベル情報は、対象情報を識別可能なものであれば何でもよい。例えば、対象情報に付与されている名称、タイトル、ＩＤ番号などを用いることが可能である。本実施形態では、対象情報に対応する触覚を情報伝達メディアとして利用することを目的としているので、ラベル情報は、人が見て対象情報を認識しやすいものが好ましい。
　処理実行部１４は、触質徴量記憶部１０に記憶された２種類の触質特徴量の組み合わせを用いて、ユーザ操作に応じた処理を実行し、その実行結果をラベル情報と共にユーザに提供する。例えば、処理実行部１４は、ユーザ操作によるマップ表示要求に応じて、触質特徴量記憶部１０に記憶された２種類の触質特徴量の組み合わせを、所定の座標空間上にマッピングしてラベル情報と共に表示する。
　所定の座標空間は、例えば、横軸（ｘ軸）に第１の触質特徴量Ｐ１、縦軸（ｙ軸）に第２の触質特徴量Ｐ２をとった２次元座標とすることが可能である。この場合、処理実行部１４は、ディスプレイの画面上に２次元座標を表示し、（ｘ，ｙ）＝（Ｐ１，Ｐ２）とするｘｙ座標に所定のマークをプロットするとともに、そのプロット点の近傍にラベル情報を表示する処理を実行する。
　触質特徴量記憶部１０に触質特徴量の組み合わせが複数組記憶されている場合は、その全ての組み合わせ、またはユーザ操作により任意に指定された１つまたは複数の組み合わせについて、上述のようなマップ表示処理を実行する。なお、触質特徴量の指定は、例えば、ディスプレイ画面に表示されたラベル情報の指定によって行うことが可能である。
　図３は、処理実行部１４によりディスプレイに表示される画像の一例を示す図である。図３に示すように、処理実行部１４は、横軸に第１の触質特徴量Ｐ１、縦軸に第２の触質特徴量Ｐ２をとった２次元座標をディスプレイの画面上に表示し、触質特徴量記憶部１０から読み出した触質特徴量の組み合わせ（Ｐ１，Ｐ２）で特定されるｘｙ座標に菱形のマークをプロットするとともに、そのプロット点の近傍にラベル情報を表示する。
　ユーザは、このマップ表示を見ることにより、プロット点間の距離が近い対象情報どうしは触質特徴量が近似し、プロット点間の距離が遠い対象情報どうしは触質特徴量が類似しないことを直感的に把握することができる。これにより、ある対象情報と触質の特徴が似たもの（または似ていないもの）を容易に探すことが可能となる。また、多種多様な対象情報の中から、触感のリズムが早いもの（または遅いもの）や、触感の多様度が大きいもの（または小さいもの）を容易に探すことも可能である。
　図４および図５は、上記のように構成した本実施形態による触質情報処理装置の動作例を示すフローチャートである。図４は、対象情報入力部１１により入力された対象情報から触質特徴量を算出して触質特徴量記憶部１０に記憶する際の動作例を示す。図５は、触質特徴量記憶部１０に記憶された触質特徴量を利用してマップ表示処理を実行する際の動作例を示す。
　図４において、まず、対象情報入力部１１は、対象情報を入力する（ステップＳ１）。次に、触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報に対して、必要に応じて前処理を行う（ステップＳ２）。ここで、前処理とは、波形情報にローパスフィル処理を施すことによってエンベロープを抽出する処理である。
　次に、触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報（前処理が行われたものについては、前処理後の情報）を複数に分割し（ステップＳ３）、それぞれの分割区間から第１の触質点パラメータおよび第２の触質点パラメータを特定することにより、当該第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する（ステップＳ４）。
　さらに、触質特徴量算出部１３は、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータ（各分割区間Ｔｉにおける代表振幅ｈｉおよび分割区間の時間の長さｔｉ）に基づいて、対象情報入力部１１により入力された対象情報に関する２種類の触質特徴量（第１の触質特徴量Ｐ１および第２の触質特徴量Ｐ２）を算出し（ステップＳ５）、これを触質特徴量記憶部１０に記憶させる（ステップＳ６）。
　以上により、１つの対象情報に関する触質特徴量の算出処理が終了する。複数の対象情報について触質特徴量を算出する場合は、図４に示すフローチャートの処理を繰り返し実行する。これにより、触質特徴量記憶部１０には、複数の対象情報について算出された第１の触質特徴量Ｐ１および第２の触質特徴量Ｐ２の組み合わせが、それぞれのラベル情報と共に複数組記憶されることになる。
　図５において、処理実行部１４は、マップ表示要求のユーザ操作を受け付けたか否かを判定する（ステップＳ１１）。マップ表示要求のユーザ操作を受け付けた場合、処理実行部１４は、触質特徴量記憶部１０に記憶されている触質特徴量を読み出し（ステップＳ１２）、第１の触質特徴量Ｐ１と第２の触質特徴量Ｐ２との組み合わせを２次元座標上にマッピングしてラベル情報と共に表示する（ステップＳ１３）。
　ここで、ステップＳ１１のマップ表示要求において、マップ表示の対象とするラベル情報が指定された場合、処理実行部１４は、その指定に係る触質特徴量だけを２次元座標上にマッピングして表示する。一方、マップ表示の対象とするラベル情報が指定されていない場合、処理実行部１４は、触質特徴量記憶部１０に記憶されている全ての触質特徴量を２次元座標上にマッピングして表示する。
　なお、ここでは、処理実行部１４による処理の一例としてマップ表示を説明したが、これに限定されない。例えば、触質特徴量を利用した検索処理を実行することも可能である。図６は、検索処理を実行する場合における触質情報処理装置の機能構成例を示す図である。図６に示す触質情報処理装置は、その機能構成として、類似度算出部１５を更に備えている。また、処理実行部１４に代えて処理実行部１４’を備えている。
　類似度算出部１５は、複数の対象情報について触質特徴量記憶部１０に記憶された複数組の触質特徴量の組み合わせに基づいて、複数の対象情報の類似度を算出する。対象情報の類似度は、当該対象情報に係る触質特徴量の類似度によって算出する。すなわち、２つの触質特徴量の類似度が高ければ、それらの触質特徴量に対応する２つの対象情報どうしは類似度が高いものとする。
　例えば、類似度算出部１５は、処理実行部１４’により図３のように２次元座標上にマッピングされたプロット点の距離を、触質特徴量の類似度を表す指標値として算出することが可能である。別の例として、類似度算出部１５は、第１の触質特徴量Ｐ１および第２の触質特徴量Ｐ２を２変数としてマハラノビス距離を算出し、これを触質特徴量の類似度を表す指標値として用いるようにしてもよい。プロット点間の距離もマハラノビス距離も、距離の値が小さいほど類似度は高く、距離の値が大きいほど類似度は低いことを示す。なお、ここに示した類似度の指標値は一例に過ぎず、他の公知の指標値を用いてもよい。
　処理実行部１４’は、ユーザ操作により対象情報が指定されたときに、類似度算出部１５により算出された触質特徴量の類似度に基づいて、当該指定された対象情報に対する類似度が所定レベル以上（触質特徴量の類似度の指標値である距離が所定値以下）の対象情報を検索する処理を実行する。処理実行部１４’は、検索された対象情報に対応するラベル情報を検索結果としてディスプレイ画面に表示する。なお、検索キーとする対象情報の指定は、ディスプレイ画面に表示されたラベル情報の指定によって行うことが可能である。
　図７は、図６のように構成した触質情報処理装置の動作例を示す図である。なお、対象情報入力部１１により入力された対象情報から触質特徴量を算出して触質特徴量記憶部１０に記憶する際の動作は、図４と同様である。図７は、触質特徴量記憶部１０に記憶された触質特徴量を利用して検索処理を実行する際の動作例を示す。
　図７において、処理実行部１４’は、対象情報（ラベル情報）を指定した検索要求のユーザ操作を受け付けたか否かを判定する（ステップＳ２１）。検索表示要求のユーザ操作を受け付けた場合、処理実行部１４’は、類似度算出部１５に類似度算出の指示を出す。類似度算出部１５は、ステップＳ２１で指定された対象情報に対応する触質特徴量を触質特徴量記憶部１０から読み出し、触質特徴量記憶部１０に記憶されている他の触質特徴量との類似度を算出する（ステップＳ２２）。
　次いで、処理実行部１４’は、類似度算出部１５により算出された触質特徴量の類似度に基づいて、ステップＳ２１で指定された対象情報に対する類似度が所定レベル以上（触質特徴量の類似度が所定値以上）の対象情報を検索する（ステップＳ２３）。そして、処理実行部１４’は、検索された対象情報に対応するラベル情報を検索結果としてディスプレイ画面に表示する（ステップＳ２４）。これにより、図７に示すフローチャートの処理は終了する。
　なお、上記実施形態では、対象情報入力部１１が入力する対象情報の例として波形情報を説明したが、これに限定されない。本実施形態において処理対象として入力可能な情報は、ｎ個（ｎ≧２）の触質点パラメータにより特定される固有の触覚効果を持った情報である。特に、強度に相当する値が連続的または断続的に連なっているもの、あるいは、連なっている状態に変換可能なものであれば、対象情報として入力することが可能である。
　上述した波形情報は、強度に相当する振幅が時間軸に沿って連続的（アナログ信号の場合）または断続的（デジタルデータの場合）に連なっている情報であり、本実施形態において扱うことが可能な情報の典型例である。
　別の例として、文字列から成るテキスト情報は、これ自体は強度に相当する値が連なっている情報ではないが、詳細を後述するように、そのような情報に変換可能な情報である。よって、テキスト情報も、本実施形態において扱うことが可能な情報の１つである。この場合、第１の触質点パラメータおよび第２の触質点パラメータがそれぞれ何であるかについては後述する。
　基本的に、情報量が単一のもの以外は、本実施形態において扱うことが可能な情報と言える。例えば、テキスト情報の場合、“あ”のように１文字のみから成るものは、強度に相当する値が連なっている情報とは言えず、また、これに変換することもできないので、本実施形態の対象外となる。一方、複数の文字から成るテキスト情報であれば、後述するように、強度に相当する値が連なっている情報に変換可能なので、本実施形態において扱うことが可能な情報となる。
　音声信号の場合、ある程度の時間的な長さを持ったものであれば、上述の通り本実施形態において扱うことが可能な情報である。一方、一瞬で終わる音の場合、振幅は存在するが、時間軸に沿って複数に分割可能な長さを持たない。そのため、このままでは本実施形態において扱うことが可能な情報ではない。しかし、その瞬時音を周波数解析して周波数軸の信号に変換すると、周波数毎に異なる振幅を持った情報、つまり、強度に相当する振幅が周波数軸に沿って連なった情報となるため、本実施形態において扱うことが可能な情報となる。
　音声信号やテキスト情報に限らず、それ以外のあらゆる情報についても同様のことが言える。すなわち、もともと情報量が単一でないものは、強度に相当する値が連なっているものと言えるので、本実施形態において扱うことが可能な情報である。一方、もとは情報量が単一であっても、強度に相当する値が連なっている情報に変換可能なものも、本実施形態において扱うことが可能な情報である。
　以下に、対象情報入力部１１により入力される対象情報の種類に応じた触質点パラメータの具体的な生成例について説明する。なお、対象情報が波形情報である場合については既に第１例として説明したので、それ以外の情報が対象情報である場合について説明する。
＜第２例：ヒストグラム情報の場合＞
　触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報が、周波数の違いに応じて強度が変化するヒストグラム情報である場合、当該ヒストグラム情報を周波数軸方向に複数に分割する。そして、それぞれの分割区間から、分割区間内の代表強度を第１の触質点パラメータとして特定するとともに、分割区間の周波数幅を第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。
　図８は、ヒストグラム情報を入力した場合における触質点パラメータ生成部１２による処理内容の一例を説明するための図である。図８（ａ）は、対象情報入力部１１により入力されたヒストグラム情報を示している。図８（ａ）に示す通り、ヒストグラム情報は、外形は波形情報と同様である。そのため、波形情報と同様の処理を適用することが可能である。この場合も、前処理として、図８（ｂ）のようにヒストグラム情報のエンベロープを抽出し、当該エンベロープを対象として第１の触質点パラメータおよび第２の触質点パラメータを特定するようにしてもよい。
　すなわち、触質点パラメータ生成部１２は、まず、図８（ａ）に示すヒストグラム情報（または図８（ｂ）に示すエンベロープ情報）を周波数軸方向に複数に分割する。図８では一例として、エンベロープの振幅が極小となる時間毎に分割している。すなわち、エンベロープの開始点から１つ目の極小値までを第１の分割区間Ｆ１、１つ目の極小値から２つ目の極小値までを第２の分割区間Ｆ２、２つ目の極小値から３つ目の極小値までを第３の分割区間Ｆ３、・・・のように、ヒストグラム情報を周波数軸方向に複数に分割している。ただし、分割法はこれに限定されない。
　触質点パラメータ生成部１２は、それぞれの分割区間Ｆ１，Ｆ２，Ｆ３，・・・から、第１の触質点パラメータとして代表強度ｈ１，ｈ２，ｈ３，・・・を特定するとともに、第２の触質点パラメータとして分割区間の周波数幅ｆ１，ｆ２，ｆ３，・・・を特定する。ここで、代表強度ｈ１，ｈ２，ｈ３，・・・は、それぞれの分割区間Ｆ１，Ｆ２，Ｆ３，・・・における極大値を示している。ただし、代表強度の取り方はこれに限定されない。
＜第３例：空間分布情報の場合＞
　触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報が、位置または領域の違いに応じて強度が変化する空間分布情報である場合、当該空間分布情報を位置または領域に応じて複数に分割する。そして、それぞれの分割区間から、分割区間内の代表強度を第１の触質点パラメータとして特定するとともに、分割区間の終始点間の長さまたは面積を第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。
　空間分布情報の一例として、画像情報が挙げられる。画像情報は、画素の位置または複数の画素群から成る領域に応じて、強度の要素を有する色情報や輝度情報が変化する情報である。触質点パラメータ生成部１２は、このような画像情報を、画素の位置または画素群の領域に応じて複数に分割し、それぞれの分割区間から第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを生成する。
　図９は、画像情報を入力した場合における触質点パラメータ生成部１２による処理内容の一例を説明するための図である。図９（ａ）に示す画像情報は、縦横が様々な大きさのメッシュ状に分割されたパターン画像の例を示している。第３例は、このようなパターン画像から第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを生成するのに適している。
　触質点パラメータ生成部１２は、まず、図９（ａ）に示すパターン画像をメッシュの領域に応じて複数に分割する。図９（ａ）では一例として、最も左上のメッシュを第１の分割区間Ａ１、その右側のメッシュを第２の分割区間Ａ２、更にその右側のメッシュを第３の分割区間Ａ３、・・・としていき、右端までいったら１つの下の段に降りて左端から右端に向かって順に分割していく。これを最も右下のメッシュまで行うことにより、パターン画像の全体を各メッシュの領域に応じて複数に分割している。
　触質点パラメータ生成部１２は、それぞれの分割区間Ａ１，Ａ２，Ａ３，・・・から、第１の触質点パラメータとして代表強度ｈ１，ｈ２，ｈ３，・・・を特定するとともに、第２の触質点パラメータとして分割区間の面積ａ１，ａ２，ａ３，・・・を特定する。ここで、代表強度ｈ１，ｈ２，ｈ３，・・・は、それぞれの分割区間Ａ１，Ａ２，Ａ３，・・・における彩度、明度または輝度の何れかの平均値などを用いることが可能である。
　なお、ここでは、複数のメッシュが縦横に区切られた２次元のパターン画像の例を示したが、図９（ｂ）のような１次元のパターン画像（縦方向は１画素、横方向は複数画素のライン画像）であってもよい。この場合、触質点パラメータ生成部１２は、それぞれの分割区間Ａ１，Ａ２，Ａ３，・・・から、第２の触質点パラメータとして、分割区間の始点から終点までの長さ（画素数に相当）を特定すればよい。
＜第４例：周波数スペクトル情報の場合＞
　対象情報入力部１１により入力された画像情報が、図９に示したシンプルなパターン画像ではなく、写真や絵画のような複雑な画像情報の場合、第３例を適用するのは難しい。このような画像情報を処理対象とする場合、触質点パラメータ生成部１２は、前処理として画像情報を周波数スペクトル情報に変換し、その周波数スペクトル情報から第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。
　すなわち、触質点パラメータ生成部１２は、対象情報入力部１１により入力された画像情報を分析して強度－周波数分布の周波数スペクトル情報を生成した後、当該周波数スペクトル情報を周波数軸方向に複数に分割し、それぞれの分割区間から、分割区間内の代表強度を第１の触質点パラメータとして特定するとともに、分割区間の周波数幅を第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。
　この場合における具体的な処理例は、図８を用いて説明した第２例と同様なので、説明を割愛する。なお、画像情報の他に、音声信号に対してもこの第４例を適用することが可能である。上述したように、一瞬で終わる単発の音の場合は、第１例を適用することができない。しかし、第４例を適用することは可能である。すなわち、瞬時音を分析して強度－周波数分布の周波数スペクトル情報を生成することにより、その周波数スペクトル情報から第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成することが可能である。
＜第５例：テキスト情報の場合＞
　触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報がテキスト情報である場合、テキスト情報を形態素解析してセンテンス毎に分割するとともに、各センテンス内を分節毎に区切り、各文節の音素数を特定する。そして、それぞれのセンテンスから、センテンス内の代表音素数の逆数を強度とみなして第１の触質点パラメータとして特定するとともに、センテンス内の文節数を第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。
　図１０は、テキスト情報を入力した場合における触質点パラメータ生成部１２による処理内容の一例を説明するための図である。図１０は、対象情報入力部１１により入力されたテキスト情報にカナを併記したものを示している。図１０に示す例において入力されたテキスト情報は、「今日は日曜日。私は今日学校に行きました。」という文章の文字列から成る情報である。
　触質点パラメータ生成部１２は、まず、「今日は日曜日。私は今日学校に行きました。」という文章のテキスト情報をセンテンス毎に分割する。すなわち、「今日は日曜日」および「私は今日学校に行きました」の２つに分割する。１つ目のセンテンスが第１の分割区間Ｂ１、２つ目のセンテンスが第２の分割区間Ｂ２となる。
　次に、触質点パラメータ生成部１２は、それぞれのセンテンスを形態素解析し、各センテンス内を分節毎に区切り、各文節の音素数を特定する。すなわち、第１の分割区間Ｂ１に関しては、センテンスを「今日は」および「日曜日」の２つの文節に区切る。そして、１つ目の文節「キョウハ」の音素数を“３”と特定し、２つ目の文節「ニチヨウビ」の音素数を“５”と特定する。同様に、第２の分割区間Ｂ２に関しては、センテンスを「私は」、「今日」、「学校に」および「行きました」の４つの文節に区切る。そして、各文節の音素数をそれぞれ“４”、“２”、“５”、“５”と特定する。
　そして、触質点パラメータ生成部１２は、第１の分割区間Ｂ１および第２の分割区間Ｂ２のそれぞれから、分割区間内の代表音素数の逆数を強度とみなして、これを第１の触質点パラメータとして特定する。代表音素数は、例えば、分割区間内で最小の音素数、最大の音素数、または平均音素数とすることが可能である。例えば、平均音素数を用いる場合、第１の分割区間Ｂ１の平均音素数は“４”であり、これの逆数を第１の触質点パラメータとして特定する。また、第２の分割区間Ｂ２の平均音素数も“４”であり、これの逆数を第１の触質点パラメータとして特定する。
　また、触質点パラメータ生成部１２は、第１の分割区間Ｂ１および第２の分割区間Ｂ２のそれぞれから、文節数を第２の触質点パラメータとして特定する。すなわち、第１の分割区間Ｂ１については文節数“２”を第２の触質点パラメータとして特定し、第２の分割区間Ｂ２については文節数“４”を第２の触質点パラメータとして特定する。
＜第６例：動作情報の場合＞
　触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報が、人の動きを表す一連の動作情報である場合、当該一連の動作情報を一動作毎に分割する。そして、それぞれの動作から、当該動作による加圧力、速度、加速度または人体の到達高さに関する代表値を強度とみなし第１の触質点パラメータとして特定するとともに、一動作にかかる時間の長さを第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。
　人の動きを表す一連の動作情報の一例として、マッサージの施術の動きを表した動作情報が挙げられる。図１１は、マッサージの動作情報を入力した場合における触質点パラメータ生成部１２による処理内容の一例を説明するための図である。マッサージは、複数の手技の組み合わせで行われる。そして、１つの手技は、圧力を所定時間加えることによって成される。
　したがって、このようなマッサージの施術の動きを表した動作情報は、図１１に示すように、横軸を時間軸とし、縦軸を圧力として描かれる棒グラフのような情報で表すことができる。なお、隣接する棒グラフの間が開いている箇所は、２つの手技が時間を置いて行われることを意味する。また、隣接する棒グラフの間が接続している箇所は、２つの手技が時間を置かずに連続して行われることを意味する。例えば、表面に圧力センサを備えた人型の人形等に対して実際にマッサージを施術すると、図１１に示すようなセンサ情報が得られるので、これを対象情報入力部１１への入力とすることが可能である。
　触質点パラメータ生成部１２は、対象情報入力部１１により入力される、複数の手技の組み合わせから成る一連の動作情報を、１つ１つの手技（一動作）毎に分割する。図１１のイメージで説明すると、１つ１つの棒グラフに分割することに相当する。この場合、１つの手技（棒グラフ）が１つの分割区間に相当する。すなわち、１つ目の手技を第１の分割区間Ｍ１，２つ目の手技を第２の分割区間Ｍ２、３つ目の手技を第３の分割区間Ｍ３、・・・のように、一連の動作情報を手技毎に分割していく。
　そして、触質点パラメータ生成部１２は、それぞれの分割区間Ｍ１，Ｍ２，Ｍ３，・・・から、当該分割区間Ｍ１，Ｍ２，Ｍ３，・・・の手技による加圧力ｐ１，ｐ２，ｐ３，・・・を第１の触質点パラメータとして特定するとともに、各手技を行うの要する所要時間の長さｔ１，ｔ２，ｔ３，・・・を第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。
　また、人の動きを表す一連の動作情報の別の例として、モーションキャプチャで捉えた動作情報が挙げられる。モーションキャプチャによる動作情報は、人の動きをデジタル的に記録した動画情報として提供される。触質点パラメータ生成部１２は、この動画情報を画像解析して、人の特定部位（例えば、手）の動きの開始点を特定し、その開始点に手が戻ってくるまでの動きを一動作として捉える。そして、一連の動作情報を一動作毎に分割する。この場合、手が開始点に戻ってくるまでの一動作が１つの分割区間に相当する。
　そして、触質点パラメータ生成部１２は、それぞれの分割区間から、当該分割区間の動作による速度、加速度または人体の到達高さに関する代表値を強度とみなし、これを強度に関する第１の触質点パラメータとして特定する。例えば、動作の速度の代表値を第１の触質点パラメータとする場合、一動作の中の最大速度、最小速度または平均速度を代表値として用いることが可能である。また、人体の到達高さの代表値を第１の触質点パラメータとする場合、例えば手を動かして動作したときの床からの最高点を代表値として用いることができる。また、触質点パラメータ生成部１２は、一動作にかかる時間の長さを第２の触質点パラメータとして特定する。
＜第７例：動画情報の場合＞
　触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報が動画情報である場合、当該動画情報をオプティカルフロー解析してフレーム画像間の変位量を演算することにより、時間の経過と共に変位量が変化する波形情報に変換する。そして、当該波形情報を時間軸方向に複数に分割し、それぞれの分割区間から、分割区間内の代表強度を第１の触質点パラメータとして特定するとともに、分割区間の時間の長さを第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを１組以上生成する。
　動画情報は、上述したモーションキャプチャによる動作情報を含む、任意の動画情報である。オプティカルフロー解析は、公知の方法を適用することが可能である。まず、時間ｔ１における１番目のフレーム画像と、時間ｔ２における２番目のフレーム画像との差分であるオプティカルフロー値を求める。ここで、各画素に対して求まるｘ，ｙ方向のオプティカルフロー値をＦｘ，Ｆｙとした場合、例えば（Ｆｘ2＋Ｆｙ2）／２の値を画素毎に求め、さらに全画素における平均値を求めることにより、この平均値を時間ｔ２における変位量とする。
　次に、時間ｔ２における２番目のフレーム画像と、時間ｔ３における３番目のフレーム画像との間で、ｘ，ｙ方向のオプティカルフロー値Ｆｘ，Ｆｙをもとに（Ｆｘ2＋Ｆｙ2）／２の値を画素毎に求め、さらに全画素における平均値を求めることにより、この平均値を時間ｔ３における変位量とする。以降も同様にしてフレーム毎に変位量を求めることにより、時間の経過と共に変位量が変化する波形情報が得られる。このようにして波形情報を得た後の処理は、図２を用いて説明した第１例と同様なので、説明を割愛する。
　以上詳しく説明したように、本実施形態では、処理対象とする対象情報から、それぞれが触感の一要素を表した２個の触質点パラメータ（第１の触質点パラメータおよび第２の触質点パラメータ）の組み合わせを２組以上生成し、さらに、当該２組以上の触質点パラメータに基づいて、対象情報に関する２種類の触質特徴量（第１の触質特徴量および第２の触質特徴量）を算出し、当該２種類の触質特徴量の組み合わせをラベル情報と共に記憶する。そして、記憶された触質特徴量の組み合わせを用いて、ユーザ操作に応じた処理を実行し、その実行結果をラベル情報と共にユーザに提供するようにしている。
　このように構成した本実施形態によれば、処理対象として入力された対象情報から、触感の一要素を表した触質点パラメータを基にした触質特徴量が生成される。触質特徴量は、入力された対象情報が潜在的に持っている触覚の性質を表したものと言える。本実施形態によれば、この触質特徴量を用いて、ユーザ操作に応じた処理を実行し、その触質特徴量に対応する対象情報のラベル情報と共に処理の実行結果をユーザに提供することが可能である。これにより、対象情報に対応する触覚を情報伝達メディアとして有効に利用することができる。
　例えば、多種多様な情報を触質特徴量に変換してデータベース化することにより、触質特徴量を検索キーとして、当該検索キーと同一または類似の触質を持った情報を検索することが可能である。このようにすれば、元の情報は全く異なる種類のものであっても、触感として同様のイメージを有するものを逆引きすることが可能となる。例えば、お気に入りの楽曲がある場合に、その楽曲と似た感覚の他の楽曲を検索するといった使い方が可能である。
　また、多種多様な情報から生成した触質特徴量の類似度を判定し、分類を与えることも可能である。このようにして分類した各種情報を、分類毎に閲覧にしたり、分類による絞り込み検索をしたりすることも可能である。
　なお、上記実施形態では、ｎ＝２とし、２個の触質点パラメータとして、情報の強度に関する第１の触質点パラメータと、情報の分割区間の長さに関する第２の触質点パラメータとを生成する例について説明したが、ｎは３以上であってもよい。また、上記実施形態では、情報の強度に関する第１の触質点パラメータと、情報の分割区間の長さに関する第２の触質点パラメータとの両方を生成する例について説明したが、何れか一方のみとしてもよい。
　すなわち、触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報を複数に分割し、それぞれの分割区間から、情報の強度に関する第１の触質点パラメータおよび分割区間の長さに関する第２の触質点パラメータの少なくとも一方を用いて、ｎ個（ｎ≧２）の触質点パラメータを特定することにより、ｎ個の触質点パラメータの組み合わせを２組以上生成することが可能である。
　例えば、ｎ＝３とする場合、第１の触質点パラメータを１個または２個生成するとともに、第２の触質点パラメータを２個または１個生成するといったことが可能である。あるいは、第１の触質点パラメータとして異なるものを３個生成するようにしてもよいし、第２の触質点パラメータとして異なるものを３個生成するようにしてもよい。
　情報の強度に関する第１の触質点パラメータだけでｎ個の触質点パラメータを生成する場合、例えば、対象情報入力部１１によりｎ種の対象情報を入力するようにする。そして、触質点パラメータ生成部１２は、入力されたｎ種の対象情報をそれぞれ複数に分割し、ｎ種の対象情報のそれぞれの分割区間から、第１の触質点パラメータを１個ずつ特定することにより、ｎ個の第１の触質点パラメータの組み合わせを２組以上生成する。
　一例として、対象情報入力部１１が、心拍、加速度（身体の動き）、血流量の３種の情報に関して以下のようなデジタル値を対象情報として入力したとする。
心拍　：７９，６０，７９，７５，７４，７９，７５
加速度：４０，１０，３０，４０，３５，４０，２０
血流量：８０，６０，４０，６０，８０，６０，８０
　この場合、触質点パラメータ生成部１２は、入力された３種の対象情報をそれぞれ入力値ごとに分割し、３種の対象情報のそれぞれの分割区間から、第１の触質点パラメータを特定することにより、３個の第１の触質点パラメータの組み合わせを以下のように生成する。
｛７９，４０，８０｝，｛６０，１０，６０｝，｛７９，３０，４０｝，・・・
　また、情報の分割区間の長さに関する第２の触質点パラメータだけでｎ個の触質点パラメータを生成する場合も、例えば、対象情報入力部１１によりｎ種の対象情報を入力するようにする。そして、触質点パラメータ生成部１２は、入力されたｎ種の対象情報をそれぞれ複数に分割し、ｎ種の対象情報のそれぞれの分割区間から、第２の触質点パラメータを１個ずつ特定することにより、ｎ個の第２の触質点パラメータの組み合わせを２組以上生成する。
　一例として、対象情報入力部１１が、心拍、加速度、血流量の３種の情報に関して、上記と同様のデジタル値を入力したとする。この場合、触質点パラメータ生成部１２は、例えば、同じ値が入力されるまでを単位として３種の対象情報をそれぞれ分割し、３種の対象情報のそれぞれの分割区間から、第２の触質点パラメータを特定することにより、３個の第２の触質点パラメータの組み合わせを生成する。
　上記の例の場合、心拍に関して、最初の“７９”と同じ値が次に現れるのは２つ後、その次に同じ値が現れるのは更に３つ後なので、分割区間の長さは２，３となる。加速度に関して、最初の“４０” と同じ値が次に現れるのは３つ後、その次に同じ値が現れるのは更に２つ後なので、分割区間の長さは３，２となる。血流量に関して、最初の“８０”と同じ値が次に現れるのは４つ後、その次に同じ値が現れるのは更に２つ後なので、分割区間の長さは４，２となる。これにより、３個の第２の触質点パラメータの組み合わせは以下のようになる。
｛２，３，４｝，｛３，２，２｝，・・・
　このように、３個の触質点パラメータを生成した場合、触質特徴量算出部１３は、当該３個の触質点パラメータを用いた四則演算値を算出し、同じ四則演算値が出現する区間の長さを第１の触質特徴量Ｐ１として算出するとともに、四則演算値の多様度を第２の触質特徴量Ｐ２として算出する。この場合における四則演算の内容は、任意に定めることが可能である。
　なお、ここでは、３個の触質点パラメータを生成する具体例として、複数種類の触質変換対象の情報としてデジタル値を入力する例について説明したが、アナログ信号を入力するようにしてもよいことは言うまでもない。この場合、強度に関する触質点パラメータおよび分割区間の長さに関する触質点パラメータの生成法は、上記実施形態で説明した方法を適用することが可能である。
　また、ここでは、強度に関する触質点パラメータ、あるいは分割区間の長さに関する触質点パラメータの何れか一方のみを、複数種類の対象情報から生成する例について説明したが、１種類の対象情報から生成するようにしてもよい。例えば、上記実施形態と同様にして１種類の対象情報を複数の区間に分割し、それぞれの分割区間から、強度に関する触質点パラメータを複数生成するようにしてもよい（例えば、強度の最大値と最小値をそれぞれ触質点パラメータとするなど）。また、１種類の対象情報を複数の区間に分割する際に、異なる方法に従って複数の区間に分割し、それぞれの方法で分割した分割区間の長さを触質点パラメータとするようにしてもよい。
　また、ここでは、複数種類の対象情報から、強度に関する触質点パラメータだけ、あるいは分割区間の長さに関する触質点パラメータだけを生成する例について説明したが、本発明はこれに限定されない。例えば、複数種類の対象情報から、強度に関する触質点パラメータおよび分割区間の長さに関する触質点パラメータの両方を組み合わせて生成するようにしてもよい。
　また、上記実施形態では、複数の分割区間ごとにｎ個の四則演算値（ｈｉ／ｔｉの値）を算出し、同じ四則演算値が出現する区間の長さを第１の触質特徴量Ｐ１として算出する例について説明したが、本発明はこれに限定されない。例えば、それぞれの分割区間ごとにｎ個の触質点パラメータを用いた四則演算値を算出し、当該分割区間ごとに算出した複数の四則演算値のｍ階差分値（ｍ≧１）の平均値または代表値（最大値、最小値または中央値など）を第１の触質特徴量Ｐ１としてもよい。具体例として、それぞれの分割区間ごとにｎ個の四則演算値（ｈｉ／ｔｉの値）を算出し、当該分割区間ごとに算出した複数の四則演算値の１階差分値｛（ｈ２／ｔ２－ｈ１／ｔ１），（ｈ３／ｔ３－ｈ２／ｔ２），・・・｝の平均値を第１の触質特徴量Ｐ１とすることが考えられる。
　また、上記実施形態では、複数の分割区間ごとに算出した複数の四則演算値（ｈｉ／ｔｉの値）の分散を多様度（第２の触質特徴量Ｐ２）の一例として算出する例について説明したが、本発明はこれに限定されない。例えば、分割区間ごとに算出した複数の四則演算値の最小値から最大値までのレンジ、または当該レンジと中央値との組を第２の触質特徴量Ｐ２として算出するようにしてもよい。あるいは、分割区間ごとに算出した複数の四則演算値の情報量を第２の触質特徴量Ｐ２として算出するようにしてもよい。ここで、情報量の一例としては、次式により算出されるエントロピーＨ（シャノンの平均情報量）とすることが可能である。ここでｐ(ei)は、各四則演算値の生起確率を示す。
　　Ｈ＝－Σｐ(ei)ｌｏｇ2ｐ(ei)　（ｉ＝１～ｎ）
　例えば、複数の分割区間ごとに算出した複数の四則演算値（ｈｉ／ｔｉの値）が以下の通りであったとする。
　　２０,１８,１,９,１１,１,１,１,３８,３８,１,１６
この場合、分散は１９１．８、レンジは３７、中央値は１６、 エントロピーは０．４８となる。触質特徴量算出部１３は、このように算出される分散、レンジと中央値との組、またはエントロピーを、四則演算値の多様度を表す第２の触質特徴量Ｐ２として用いることが可能である。
　なお、レンジと中央値との組を第２の触質特徴量Ｐ２として用いる場合、第２の触質特徴量Ｐ２として２つの値が存在することになる。第１の触質特徴量Ｐ１を合わせると、３つの値が存在することになる。よって、これをそのままの形で、横軸（ｘ軸）に第１の触質特徴量Ｐ１、縦軸（ｙ軸）に第２の触質特徴量Ｐ２をとった２次元座標にプロットすることはできない。そこで、例えば、レンジと中央値とを用いて四則演算を行うことによって１つの値に置換し、これをｙ座標の値として用いるようにすることが考えられる。あるいは、ｘ軸に第１の触質特徴量Ｐ１、ｙ軸に１つ目の第２の触質特徴量Ｐ２であるレンジ、ｚ軸に２つ目の第２の触質特徴量Ｐ２である中央値をとった３次元座標に所定のマークをプロットするようにしてもよい。
　また、上記実施形態では、四則演算値の多様度を第２の触質特徴量として算出する例について説明したが、本発明はこれに限定されない。例えば、触質特徴量算出部１３は、分割区間ごとに算出した複数の四則演算値のｍ階差分値（ｍ≧１）を更に算出し、上述した四則演算値に代えてｍ階差分値を用いるようにしてもよい。すなわち、同じｍ階差分値が出現する区間の長さを第１の触質特徴量Ｐ１として算出するとともに、ｍ階差分値の多様度を第２の触質特徴量Ｐ２として算出するようにしてもよい。
　例えば、複数の分割区間ごとに算出した複数の四則演算値（ｈｉ／ｔｉの値）が以下の通りであったとする。
　　２０,１８,１,９,１１,１,１,１,３８,３８,１,１６
この場合、１階差分値（ｍ＝１）の絶対値は以下の通りとなる。
　　２,１７,８,２,１０,０,０,３７,０,３７,１５
また、２階差分値（ｍ＝２）の絶対値は以下の通りとなる。
　　１５,９,６,８,１０,０,３７,３７,３７,２２
触質特徴量算出部１３は、このように算出される複数のｍ階差分値の多様度を第２の触質特徴量Ｐ２として用いてもよい。ｍ階差分値の多様度を第２の触質特徴量Ｐ２として算出する場合も、多様度として、複数のｍ階差分値の分散、レンジ、レンジと中央値との組、またはエントロピーを用いることが可能である。
　このように、ｍ階差分値を用いるのは、触質点パラメータの四則演算値の変化の仕方が触質に影響するからである。例えば、ｍ階差分値に大きな値が含まれる場合は、触質に大きな変化があり、触質は硬くなることを意味する。一方、ｍ階差分値に小さな値が含まれる場合は、触質に小さな変化があり、触質は柔らかくなることを意味する。
　また、上記実施形態では、２種類の触質特徴量の組み合わせを算出する例について説明したが、３種類以上の触質特徴量の組み合わせを算出するようにしてもよい。例えば、３種類の触質特徴量を算出した場合、これを用いたマップ表示は、３次元座標情報へのプロット点の表示によって行うことが可能である。３種類目の触質特徴量としては、例えば、分割区間の長さの平均値（最小値または最大値であってもよい）を用いることが可能である。この分割区間の長さの平均値等は、対象情報が潜在的に持っている触感のテンポを表していると言える。
　または、触質特徴量算出部１３は、上述したように、分割区間ごとに算出した複数の四則演算値のｍ階差分値（ｍ≧１）を更に算出し、ｍ階差分値の多様度を第３の触質特徴量として更に算出するようにしてもよい。すなわち、同じ四則演算値が出現する区間の長さを第１の触質特徴量とし、四則演算値の多様度を第２の触質特徴量とし、ｍ階差分値の多様度を第３の触質特徴量として用いるようにしてもよい。ｍ階差分値の多様度を第３の触質特徴量として算出する場合も、多様度として、複数のｍ階差分値の分散、レンジ、レンジと中央値との組、またはエントロピーを用いることが可能である。
　例えば、ある２つの対象情報１，２について複数の分割区間ごとに算出した複数の四則演算値（ｈｉ／ｔｉの値）が、それぞれ以下の通りであったとする。
　　対象情報１）：１，２，１００，１，２，１００
　　対象情報２）：１，２，３，１，２，３
この場合、同じ四則演算値が出現するまでの区間数を第１の触質特徴量Ｐ１、四則演算値のエントロピーを第２の触質特徴量Ｐ２とすると、対象情報１，２の何れもＰ１＝３、Ｐ２＝ｌｏｇ2３（＝－３×(1/3)ｌｏｇ2 (1/3)）となる。
　これに対して、四則演算値の１階差分値を更に算出し、当該１階差分値のレンジを第３の触質特徴量Ｐ３として算出すると、対象情報１，２における第３の触質特徴量Ｐ３はそれぞれ以下のようになる。
　　対象情報１）：Ｐ３＝９８
　　　（１階階差分値の絶対値：１，９８，９９，１，９８）
　　対象情報２：Ｐ３＝１
　　　（１階階差分値の絶対値：１，１，２，１，１）
　このように、第１の触質特徴量Ｐ１および第２の触質特徴量Ｐ２が共に同じ値となる対象情報どうしであっても、第３の触質特徴量Ｐ３を加えることによって、触質特徴量に差を出すことが可能となる。
　また、上記実施形態では、触質特徴量算出部１３により算出された触質特徴量をラベル情報と共に触質特徴量記憶部１０に記憶する例について説明したが、これに加えて、対象情報入力部１１により入力された対象情報も関連付けて記憶するようにしてもよい。この場合、例えばマップ表示されたプロット点またはラベル情報をクリックしたり、検索結果として表示されたラベル情報をクリックしたりすることにより、対応する対応情報を再生できるようにしてもよい。
　また、上記実施形態では、触質特徴量算出部１３により算出された触質特徴量をラベル情報と共に触質特徴量記憶部１０に記憶させ、処理実行部１４，１４’による処理の実行結果をラベル情報と共にユーザに提供する例について説明したが、ラベル情報はなくてもよい。
　例えば、図１の処理実行部１４は、図３に示したようなマップにおいて、各プロット点をラベル情報なしで表示させ、ユーザが所望のプロット点をマウス操作またはタッチパネル操作などにより指定したときに、指定されたプロット点に対応する対象情報そのものを提供するように構成してもよい。また、図６の処理実行部１４’は、ユーザ操作により指定された対象情報に対する触質特徴量の類似度が所定レベル以上のものとして検索された対象情報そのものを、検索結果として提供するように構成してもよい。
　ここで、対象情報そのものを提供する処理とは、例えば対象情報が音声信号のように聴取可能なものの場合に、当該音声信号をスピーカから出力する処理や、音声信号を触質情報処理装置の外部の記憶媒体に記録する処理、音声信号を触質情報処理装置の外部のネットワークに送信する処理などをいう。例えば、本実施形態の触質情報処理装置を、音声再生機能を備えた機器に内蔵させ、触質情報処理装置により検索された音声信号を当該機器のスピーカから出力したり、当該機器に装着されたリムーバルメモリに記録したり、当該機器に通信ネットワークを介して接続された外部装置に送信したりする形態が考えられる。
　また、対象情報そのものを提供する処理とは、例えば対象情報が映像信号のように表示可能なものの場合に、当該映像信号をディスプレイに表示する処理や、映像信号を触質情報処理装置の外部の記憶媒体に記録する処理、映像信号を触質情報処理装置の外部のネットワークに送信する処理などをいう。例えば、本実施形態の触質情報処理装置を、映像再生機能を備えた機器に内蔵させ、触質情報処理装置により検索された映像信号を当該機器のディスプレイに表示させたり、当該機器に装着されたリムーバルメモリに記録したり、当該機器に通信ネットワークを介して接続された外部装置に送信したりする形態が考えられる。
　また、対象情報そのものを提供する処理とは、例えば対象情報が振動信号の場合に、振動を出力することによって所与の効果を与える機器（例えば、マッサージ器、美顔器、振動アラーム、電動歯ブラシ、ゲーム機のコントローラ、振動フィードバック付きタッチパネルなど）に対して、検索結果の振動信号を出力する処理などをいう。例えば、本実施形態の触質情報処理装置を、振動付与機能を備えた機器（例えば、上記した何れかの機器）に内蔵させ、触質情報処理装置により検索された振動信号を当該機器の振動付与体に供給する形態が考えられる。
　また、上記実施形態では、触質特徴量算出部１３は、それぞれの分割区間ごとにｎ個の触質点パラメータを用いた四則演算値を算出し、この四則演算値を用いて触質特徴量を算出する例について説明したが、本発明はこれに限定されない。例えば、触質特徴量算出部１３は、第１の触質点パラメータと第２の触質点パラメータとの組み合わせで同じものが現れる区間の長さを第１の触質特徴量として算出するとともに、第１の触質点パラメータと第２の触質点パラメータとの組み合わせの多様度を第２の触質特徴量として算出するようにしてもよい。
　また、上記実施形態では、触質特徴量算出部１３が、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータに基づいて、対象情報に関する複数種類の触質特徴量を算出する例について説明したが、本発明はこれに限定されない。例えば、触質点パラメータに代えて、以下に述べる触質パラメータに基づいて、対象情報に関する複数種類の触質特徴量を算出するようにしてもよい。
　図１２は、触質パラメータに基づいて触質特徴量を算出する場合における触質情報処理装置の機能構成例を示す図である。ここで、図１２（ａ）は、図１に対する変形例を示し、図１２（ｂ）は、図６に対する変形例を示している。この図１２において、図１および図６に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
　触質パラメータ生成部１６は、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータについて、２つの組間で触質点パラメータの差分値をそれぞれ計算することにより、ｎ個の触質パラメータの組み合わせを２組以上生成する。触質特徴量算出部１３’は、触質パラメータ生成部１６により生成された触質パラメータを用いて、上記実施形態で説明した触質特徴量を算出する。
　すなわち、ｎ＝２の場合、触質パラメータ生成部１６は、２つの組間で、第１の触質点パラメータどうしの差分値を計算することによって第１の触質パラメータを生成するとともに、第２の触質点パラメータどうしの差分値を計算することによって第２の触質パラメータを生成する。この計算を複数の組み合わせで順次行うことにより、第１の触質パラメータと第２の触質パラメータとの組み合わせを２組以上生成する。
　例えば、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータが、｛ｐ１１，ｐ２１｝，｛ｐ１２，ｐ２２｝，｛ｐ１３，ｐ２３｝の３組であったとする。ここで、ｐ１１，ｐ１２，ｐ１３が第１の触質点パラメータ、ｐ２１，ｐ２２，ｐ２３が第２の触質点パラメータである。この場合、触質パラメータ生成部１６は、｛ｐ１１，ｐ２１｝および｛ｐ１２，ｐ２２｝の２つの組間で触質点パラメータの差分値を計算するとともに、｛ｐ１２，ｐ２２｝，｛ｐ１３，ｐ２３｝の２つの組間で触質点パラメータの差分値を計算することにより、次のような２組の触質パラメータを生成する。
｛ｐ１２－ｐ１１，ｐ２２－ｐ２１｝，｛ｐ１３－ｐ１２，ｐ２３－ｐ２２｝
　以下に、触質パラメータ生成部１６により生成される触質パラメータについて、より具体的に説明する。例えば、対象情報入力部１１により入力された対象情報が、図２に例示した波形情報の場合、触質パラメータ生成部１６は、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータ｛ｈ１，ｔ１｝，｛ｈ２，ｔ２｝，｛ｈ３，ｔ３｝，・・・について、２つの組間で触質点パラメータの差分値をそれぞれ計算することにより、次に示すような第１の触質パラメータと第２の触質パラメータとの組み合わせを２組以上生成する。
｛ｈ２－ｈ１，ｔ２－ｔ１｝，｛ｈ３－ｈ２，ｔ３－ｔ２｝，・・・
　また、対象情報入力部１１により入力された対象情報が、図８に例示したヒストグラム情報である場合、触質パラメータ生成部１６は、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータ｛ｈ１，ｆ１｝，｛ｈ２，ｆ２｝，｛ｈ３，ｆ３｝，・・・について、２つの組間で触質点パラメータの差分値をそれぞれ計算することにより、次に示すような第１の触質パラメータと第２の触質パラメータとの組み合わせを２組以上生成する。
｛ｈ２－ｈ１，ｆ２－ｆ１｝，｛ｈ３－ｈ２，ｆ３－ｆ２｝，・・・
　また、対象情報入力部１１により入力された対象情報が、図９に例示した空間分布情報である場合、触質パラメータ生成部１６は、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータ｛ｈ１，ａ１｝，｛ｈ２，ａ２｝，｛ｈ３，ａ３｝，・・・について、２つの組間で触質点パラメータの差分値をそれぞれ計算することにより、次に示すような第１の触質パラメータと第２の触質パラメータとの組み合わせを２組以上生成する。
｛ｈ２－ｈ１，ａ２－ａ１｝，｛ｈ３－ｈ２，ａ３－ａ２｝，・・・
　また、対象情報入力部１１により入力された対象情報が、図１０に例示したテキスト情報である場合、触質パラメータ生成部１６は、触質点パラメータ生成部１２により生成された２組の触質点パラメータ｛１／４，２｝，｛１／４，４｝について、触質点パラメータの差分値を計算することにより、｛０，２｝という第１の触質パラメータと第２の触質パラメータとの組み合わせを１組生成する。テキスト情報がこれよりも長文の場合は、第１の触質パラメータと第２の触質パラメータとの組み合わせを２組以上生成することが可能である。
　また、対象情報入力部１１により入力された対象情報が、図１１に例示した動作情報（マッサージの施術の動き情報）である場合、触質パラメータ生成部１６は、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータ｛ｐ１，ｔ１｝，｛ｐ２，ｔ２｝，｛ｐ３，ｔ３｝，・・・について、２つの組間で触質点パラメータの差分値をそれぞれ計算することにより、次に示すような第１の触質パラメータと第２の触質パラメータとの組み合わせを２組以上生成する。
｛ｐ２－ｐ１，ｔ２－ｔ１｝，｛ｐ３－ｐ２，ｔ３－ｔ２｝，・・・
　また、上記実施形態では、類似度算出部１５が、複数の対象情報について触質特徴量記憶部１０に記憶された複数組の触質特徴量の組み合わせに基づいて、複数の対象情報の類似度を算出し、処理実行部１４’が、ユーザ操作により指定された対象情報に対する類似度が所定レベル以上の対象情報を検索する例について説明したが、本発明はこれに限定されない。
　例えば、処理実行部１４’は、ユーザ操作により指定された対象情報に対する類似度が所定レベル以下の対象情報を検索するようにしてもよい。このようにすれば、触質特徴量を検索キーとして、当該検索キーと異質の触質を持った情報を検索することが可能である。これにより、例えば、元の情報が同じ種類のものであっても、触感として異なるイメージを有するものを逆引きすることが可能となる。例えば、聞き飽きた楽曲がある場合に、その楽曲と異なる感覚の他の楽曲を検索するといった使い方が可能である。
　また、図１３に示すように、類似度算出部１５に代えて、複数の対象情報について触質特徴量記憶部１０に記憶された複数組の触質特徴量の組み合わせに基づいて、複数の対象情報の異質度を算出する異質度算出部１７を備えるようにし、処理実行部１４”が、ユーザ操作により指定された対象情報に対する異質度が所定レベル以上または所定レベル以下の対象情報を検索するようにしてもよい。
　ここで、異質度算出部１７は、処理実行部１４”により図３のように２次元座標上にマッピングされたプロット点の距離を、触質特徴量の異質度を表す指標値として算出することが可能である。プロット点間の距離を異質度として算出する場合、距離の値が大きいほど異質度は高く、距離の値が小さいほど異質度は低いことを示す。
　別の例として、異質度算出部１７は、第１の触質特徴量および第２の触質特徴量を２変数としてマハラノビス距離の逆数を算出し、これを触質特徴量の異質度を表す指標値として用いるようにしてもよい。マハラノビス距離の逆数は、その値が小さいほど異質度は高く、値が大きいほど異質度は低いことを示す。なお、ここに示した異質度の指標値は一例に過ぎず、他の公知の指標値を用いてもよい。
　その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　１０　触質特徴量記憶部
　１１　対象情報入力部
　１２　触質点パラメータ生成部
　１３，１３’　触質特徴量算出部
　１４，１４’，１４”　処理実行部
　１５　類似度算出部
　１６　触質パラメータ生成部
　１７　異質度算出部

Claims (11)

  1. 　処理対象の情報を入力する対象情報入力部と、
    　上記対象情報入力部により入力された対象情報から、それぞれが触感の一要素を表したｎ個（ｎ≧２）の触質点パラメータの組み合わせを２組以上生成する触質点パラメータ生成部と、
    　上記触質点パラメータ生成部により生成された２組以上の触質点パラメータに基づいて、上記対象情報に関する複数種類の触質特徴量を算出する触質特徴量算出部と、
    　上記触質特徴量算出部により算出された上記複数種類の触質特徴量の組み合わせを記憶する触質特徴量記憶部と、
    　上記触質徴量記憶部に記憶された上記触質特徴量の組み合わせを用いて、ユーザ操作に応じた処理を実行し、その実行結果をユーザに提供する処理実行部とを備えたことを特徴とする触質情報処理装置。
  2. 　上記処理実行部は、上記ユーザ操作によるマップ表示要求に応じて、上記触質特徴量記憶部に記憶された上記触質特徴量の組み合わせを、所定の座標空間上にマッピングして表示する処理を実行することを特徴とする請求項１に記載の触質情報処理装置。
  3. 　上記触質特徴量記憶部は、上記触質特徴量算出部により算出された上記複数種類の触質特徴量の組み合わせを、当該対象情報を識別可能なラベル情報と共に記憶し、
    　上記処理実行部は、上記触質徴量記憶部に記憶された上記触質特徴量の組み合わせを用いて、上記ユーザ操作に応じた処理を実行し、その実行結果を上記ラベル情報と共にユーザに提供することを特徴とする請求項１に記載の触質情報処理装置。
  4. 　上記処理実行部は、上記ユーザ操作によるマップ表示要求に応じて、上記触質特徴量記憶部に記憶された上記触質特徴量の組み合わせを、上記所定の座標空間上にマッピングして上記ラベル情報と共に表示することを特徴とする請求項３に記載の触質情報処理装置。
  5. 　複数の上記対象情報について上記触質特徴量記憶部に記憶された複数組の上記触質特徴量の組み合わせに基づいて、上記複数の対象情報の類似度を算出する類似度算出部を更に備え、
    　上記処理実行部は、上記ユーザ操作により指定された上記対象情報に対する類似度が所定レベル以上または所定レベル以下の対象情報を検索する処理を実行することを特徴とする請求項１に記載の触質情報処理装置。
  6. 　複数の上記対象情報について上記触質特徴量記憶部に記憶された複数組の上記触質特徴量の組み合わせに基づいて、上記複数の対象情報の異質度を算出する異質度算出部を更に備え、
    　上記処理実行部は、上記ユーザ操作により指定された上記対象情報に対する異質度が所定レベル以上または所定レベル以下の対象情報を検索する処理を実行することを特徴とする請求項１に記載の触質情報処理装置。
  7. 　上記触質点パラメータ生成部は、上記対象情報入力部により入力された対象情報を複数に分割し、それぞれの分割区間から、情報の強度に関する触質点パラメータおよび分割区間の長さに関する触質点パラメータの少なくとも一方について、上記ｎ個の触質点パラメータを特定することにより、上記ｎ個の触質点パラメータの組み合わせを２組以上生成し、
    　上記触質特徴量算出部は、それぞれの分割区間ごとに上記ｎ個の触質点パラメータを用いた四則演算値を算出し、当該分割区間ごとに算出した複数の四則演算値のｍ階差分値（ｍ≧１）の平均値または代表値を第１の触質特徴量として算出するとともに、上記ｎ個の触質点パラメータの組み合わせの多様度を第２の触質特徴量として算出することを特徴とする請求項１～６の何れか１項に記載の触質情報処理装置。
  8. 　上記触質特徴量算出部は、上記分割区間ごとに算出した複数の上記四則演算値の分散を上記第２の触質特徴量として算出することを特徴とする請求項７に記載の触質情報処理装置。
  9. 　上記触質特徴量算出部は、上記分割区間ごとに算出した複数の上記四則演算値の情報量を上記第２の触質特徴量として算出することを特徴とする請求項７に記載の触質情報処理装置。
  10. 　上記触質点パラメータ生成部により生成された２組以上の触質点パラメータについて、２つの組間で上記触質点パラメータの差分値をそれぞれ計算することにより、ｎ個の触質パラメータの組み合わせを２組以上生成する触質パラメータ生成部を更に備え、
    　上記触質特徴量算出部は、上記触質点パラメータ生成部により生成された上記触質点パラメータに代えて、上記触質パラメータ生成部により生成された上記触質パラメータを用いて、上記触質特徴量を算出することを特徴とする請求項１～９の何れか１項に記載の触質情報処理装置。
  11. 　触質情報処理装置の対象情報入力部が、処理対象の情報を入力する第１のステップと、
    　上記触質情報処理装置の触質点パラメータ生成部が、上記対象情報入力部により入力された対象情報から、それぞれが触感の一要素を表したｎ個（ｎ≧２）の触質点パラメータの組み合わせを２組以上生成する第２のステップと、
    　上記触質情報処理装置の触質特徴量算出部が、上記触質点パラメータ生成部により生成された２組以上の触質点パラメータに基づいて、上記対象情報に関する複数種類の触質特徴量を算出する第３のステップと、
    　上記触質情報処理装置の処理実行部が、上記触質特徴量算出部により算出された上記複数種類の触質特徴量の組み合わせを用いて、ユーザ操作に応じた処理を実行し、その実行結果をユーザに提供する第４のステップとを有することを特徴とする触質情報処理方法。
PCT/JP2018/006519 2017-05-16 2018-02-22 触質情報処理装置および触質情報処理方法 WO2018211767A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018515325A JP6660637B2 (ja) 2017-05-16 2018-02-22 触質情報処理装置および触質情報処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-097023 2017-05-16
JP2017097023 2017-05-16

Publications (1)

Publication Number Publication Date
WO2018211767A1 true WO2018211767A1 (ja) 2018-11-22

Family

ID=64273713

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006519 WO2018211767A1 (ja) 2017-05-16 2018-02-22 触質情報処理装置および触質情報処理方法

Country Status (2)

Country Link
JP (1) JP6660637B2 (ja)
WO (1) WO2018211767A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021111964A1 (ja) * 2019-12-04 2021-06-10 株式会社ティーオースウィング 触質分析装置、触質情報提供システム、触質分析方法および触質分析用プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021633A (ja) * 2015-07-13 2017-01-26 コニカミノルタ株式会社 触覚提示装置および触覚提示方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
15 August 1999 (1999-08-15), pages 100 - 116 *
vol. 155, no. 76, 9 June 2015 (2015-06-09), pages 27 - 30 *
vol. 2009, no. 13, 19 February 2009 (2009-02-19), pages 59 - 64 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021111964A1 (ja) * 2019-12-04 2021-06-10 株式会社ティーオースウィング 触質分析装置、触質情報提供システム、触質分析方法および触質分析用プログラム

Also Published As

Publication number Publication date
JP6660637B2 (ja) 2020-03-11
JPWO2018211767A1 (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
Csapó et al. Overview of auditory representations in human-machine interfaces
Culbertson et al. Modeling and rendering realistic textures from unconstrained tool-surface interactions
Paneels et al. Review of designs for haptic data visualization
Wang et al. Efficient volume exploration using the gaussian mixture model
US7680660B2 (en) Voice analysis device, voice analysis method and voice analysis program
Aslam et al. Gesture recognition algorithm for visually blind touch interaction optimization using crow search method
Chan et al. Hasti: Haptic and audio synthesis for texture interactions
Olshannikova et al. Visualizing Big Data.
WO2018211767A1 (ja) 触質情報処理装置および触質情報処理方法
KR101403599B1 (ko) 로봇의 춤동작 표현 자동 생성 방법
JP6401758B2 (ja) 触質コンテンツ生成装置、触質コンテンツ生成方法および触質コンテンツ利用機器
Nagao et al. Impact sound generation for audiovisual interaction with real-world movable objects in building-scale virtual reality
Kim et al. Perceptually motivated automatic dance motion generation for music
Shelley et al. Interactive sonification of curve shape and curvature data
CN109074752A (zh) 被配置为基于通过表演监测硬件监测用户表演来实现技能训练数据的实时自适应传送的框架和方法
Lucero et al. Empirical modeling of human face kinematics during speech using motion clustering
KR20170106043A (ko) 이미지 제공 장치 및 방법
Papetti Design and perceptual investigations of audio-tactile interactions
Evreinova et al. An exploration of volumetric data in auditory space
Roy et al. Interactive web-based image and graph analysis using Sonification for the Blind
Stanton Sensing big data: Multimodal information interfaces for exploration of large data sets
CN113841107A (zh) 空间音频和触觉
Grond et al. A supercollider class for vowel synthesis and its use for sonification
Salamon et al. Seeing the movement through sound: giving trajectory information to visually impaired people
Strumillo et al. A mobile application for interactive sonification of images for the visually impaired

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018515325

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18802272

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18802272

Country of ref document: EP

Kind code of ref document: A1