WO2019111340A1 - 触覚コンテンツ生成装置、音響コンテンツ生成装置、音響再生装置、触覚コンテンツ生成方法および音響コンテンツ生成方法 - Google Patents

触覚コンテンツ生成装置、音響コンテンツ生成装置、音響再生装置、触覚コンテンツ生成方法および音響コンテンツ生成方法 Download PDF

Info

Publication number
WO2019111340A1
WO2019111340A1 PCT/JP2017/043744 JP2017043744W WO2019111340A1 WO 2019111340 A1 WO2019111340 A1 WO 2019111340A1 JP 2017043744 W JP2017043744 W JP 2017043744W WO 2019111340 A1 WO2019111340 A1 WO 2019111340A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
haptic
tactile
unit
information
Prior art date
Application number
PCT/JP2017/043744
Other languages
English (en)
French (fr)
Inventor
理絵子 鈴木
Original Assignee
株式会社ファセテラピー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ファセテラピー filed Critical 株式会社ファセテラピー
Priority to PCT/JP2017/043744 priority Critical patent/WO2019111340A1/ja
Priority to JP2018507651A priority patent/JP6322780B1/ja
Publication of WO2019111340A1 publication Critical patent/WO2019111340A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to an apparatus and method for generating haptic content providing a given haptic effect, an apparatus and method for generating acoustic content using the generated haptic content, and an apparatus for reproducing the generated acoustic content It is a thing.
  • a massager a beauty machine, a vibration alarm, an electric toothbrush, a controller of a game machine, a touch panel with vibration feedback, and the like are known.
  • the vibration given to the device is set so as to easily exert a given effect required for the device.
  • many are designed so as to impart vibration to the massaging ball that makes the feel as close as possible to the treatment with human hands.
  • massage by human treatment comfortable massage and uncomfortable massage. Basically, the development of a massager is aimed at performing a pleasant massage.
  • a massage device for the purpose of performing this pleasant massage, it is known to perform a specific massage in accordance with the pitch of the music being played, the magnitude, the rhythm and the melody. (See, for example, Patent Document 1). According to the massage device described in Patent Document 1, the user can receive a massage in tune with the music, and exerts an effect on mind and body relaxation.
  • touch notation which represented how to apply the treatment of massage by a staff score and a note (for example, refer to nonpatent literature 1, 2).
  • the highs and lows of the musical score correspond to the pressure of the massage
  • the notes correspond to the rhythm of the massage.
  • the haptic effect generation system described in Patent Document 2 determines an envelope to be related to the audio signal, and determines a haptic effect (for example, a vibrotactile effect that moves the touch surface of the touch screen or touch pad) based on the envelope; It is configured to output a haptic signal (for example, a drive signal of an actuator) related to the haptic effect.
  • a haptic effect for example, a vibrotactile effect that moves the touch surface of the touch screen or touch pad
  • a feature (frequency, amplitude, duration, etc.) of an audio signal input from a microphone is determined, and based on at least a part of the feature, a haptic effect library related to the feature is Identifying the haptic effect generates an actuator signal for causing the actuator to output the haptic effect associated with the feature.
  • a "senseful haptic effect” is a haptic effect that can convey some message to the recipient.
  • the present invention has been made to solve such a problem, and an object of the present invention is to enable generation of haptic content capable of transmitting a message meaningful to a recipient by haptic effect.
  • the present invention uses the tactile content generated in this manner to provide a haptic effect that can not be transmitted by a conventional mere audio signal, and is a new acoustic content including a message meaningful to the recipient. Aims to be able to generate
  • the tactile content having a unique tactile effect specified by n (n ⁇ 2) tactile parameters each representing one element of tactile sensation is n
  • a haptic content storage unit for storing in association with a combination of individual haptic parameters is provided. Then, by designating a combination of n tactile parameter parameters in order of plural sets, plural tactile content corresponding to the designated plural combinations of combinations are sequentially extracted from the tactile content storage unit, and the plural extracted extracted values Among the haptic content, a haptic content group constituting a repetition of a pattern consisting of a combination of two or more different haptic contents is extracted and generated as haptic content.
  • a plurality of tactile content items are extracted by specifying a plurality of combinations of n tactile parameter parameters.
  • each haptic content is capable of imparting a unique haptic effect to each
  • the series of differences of a plurality of haptic contents extracted in order means a unique meaning to the series. It can be said that it has a haptic effect.
  • only haptic content groups constituting repetitions are further extracted to be tactile content, so that tactile content generated is tactile message property (taleness) by repetition of haptic content. Are clearly communicated to the receiver.
  • FIG. 1 It is a flowchart which shows the operation example of the haptic content production
  • FIG. 1 is a functional block diagram showing an example of the basic configuration of the haptic content generation device 100 according to the present embodiment.
  • the haptic content generation device 100 of the present embodiment includes a haptic content storage unit 10 as a storage medium. Further, the haptic content generation device 100 of the present embodiment includes the haptic content extraction unit 11 and the haptic content generation unit 12 as its functional configuration.
  • Each of the functional blocks 11 and 12 can be configured by any of hardware, DSP (Digital Signal Processor), and software.
  • DSP Digital Signal Processor
  • each of the functional blocks 11 and 12 is actually configured to include a CPU, a RAM, a ROM, etc. of a computer, and a program stored in a recording medium such as a RAM, a ROM, a hard disk or a semiconductor memory Is realized by operating.
  • the haptic content storage unit 10 has a unique haptic effect specified by the first haptic parameter relating to the strength of the information and the second haptic parameter relating to the length of the divided section of the information.
  • the haptic content is stored in association with the combination of the first haptic parameter and the second haptic parameter.
  • the haptic parameter is a parameter that indicates the degree of opposing haptics (hereinafter referred to as "tactile pair”) such as ⁇ hard-soft> and ⁇ rough-smooth>.
  • the strength of the information is a haptic parameter for a ⁇ hard-soft> haptic pair. That is, the larger the value representing the strength, the harder it is, and the smaller the value representing the strength, the softer.
  • the length of the divided section of information is a touch parameter related to ⁇ rough-smooth> touch pairs. That is, the larger the value representing the length, the smoother, and the smaller the value representing the length, the coarser.
  • FIG. 2 is a diagram schematically showing a storage example of haptic content stored in the haptic content storage unit 10.
  • a matrix-like pair of touch materials is represented, with the "intensity" as the first haptic parameter on the vertical axis, and the "length of divided section” as the second haptic parameter on the horizontal axis. It shows a space.
  • the tactile character represented by the second tactile parameter length of division section
  • It shows one using ⁇ coarse-smooth> as a pair.
  • 25 matrix spaces are formed by dividing the maximum to minimum intensity levels into 5 levels and dividing the maximum to minimum length of the divided sections into 5 levels. There is. Index numbers 1 to 25 are assigned to the 25 matrix spaces, respectively.
  • the haptic content storage unit 10 stores haptic content according to the combination of the strength and the length of the divided section in each of the 25 matrix spaces.
  • the haptic content stored here is information that enables a person to obtain a tactile sensation.
  • vibration information can be mentioned.
  • vibration information with maximum strength and minimum division length can be transmitted to the position of index number “1”, that is, the image of the hardest and roughest can be transmitted Vibration information is stored.
  • vibration information having the minimum intensity and the maximum length of the divided section that is, vibration information capable of transmitting an image of the softest and the smoothest is stored.
  • tactile pairs for specifying tactile content can be arbitrarily determined according to the application of the tactile content generated in the tactile content generation device 100 of the present embodiment.
  • ⁇ hard-soft> and ⁇ rough-smooth> are used here as two pairs of touch materials, the present invention is not limited thereto.
  • ⁇ big-small>, ⁇ sharp-dull>, ⁇ heavy-light>, ⁇ rough-slipper> etc. may be used as another example of a touch-character pair.
  • vibration information is used as haptic content stored in the haptic content storage unit 10 here, the present invention is not limited to this.
  • touch content As another example of touch content, drive information of an actuator that drives a device, material information that affects the touch of a person with materials used for various products, and the like can be considered.
  • FIG. 1 shows a configuration in which the haptic content generation device 100 includes the haptic content storage unit 10, the haptic content storage unit 10 is provided outside the haptic content generation device 100, and the haptic content generation device 100 is external.
  • the haptic content may be acquired from the haptic content storage unit 10 and used (the same applies to a haptic content generation apparatus 100 'described later).
  • the haptic content storage unit 10 external to the haptic content generation device 100 is configured of a removable storage medium removable from the haptic content generation device 100.
  • the haptic content storage unit 10 outside the haptic content generation device 100 is configured by an external device (for example, an external storage, a server, etc.) connected to the haptic content generation device 100 via the communication network.
  • the haptic content extraction unit 11 designates the combination of the first haptic parameter and the second haptic parameter in order of a plurality of sets, and makes the tactile content the plurality of haptic contents corresponding to the designated plurality of combinations.
  • the memory unit 10 is sequentially extracted.
  • the designation of the first haptic parameter and the second haptic parameter can be manually designated by a user who wants to generate desired haptic content.
  • the haptic content extraction unit 11 causes the matrix illustrated in FIG. 2 to be displayed on the screen of the computer, and causes the user to sequentially specify a desired position using an operation device such as a touch panel or a mouse.
  • the combination of the haptic parameter and the second haptic parameter is specified in a plurality of sets in order.
  • the haptic content extraction unit 11 sequentially extracts haptic content corresponding to the positions designated in order on the matrix from the haptic content storage unit 10.
  • the specification of the first haptic parameter and the second haptic parameter may be automatically performed by the haptic content extraction unit 11. For example, it is possible for the haptic content extraction unit 11 to sequentially designate the combination of the first haptic parameter and the second haptic parameter randomly or in accordance with a predetermined rule.
  • the first haptic parameter and the second haptic parameter specified from the external input signal are input by the haptic content extraction unit 11, and the first haptic is extracted. It is also possible to sequentially specify the combination of the parameter and the second haptic parameter. In addition, the specific example regarding this is mentioned later.
  • the haptic content generation unit 12 determines whether or not a plurality of haptic content extracted in order by the haptic content extraction unit 11 has a repetition of a pattern consisting of a combination of two or more different haptic content, and repeatedly To extract haptic content groups making up as tactile content.
  • the haptic content group constituting the repetition is information capable of transmitting a meaningful message to the receiver, and in the present embodiment, this is generated as haptic content. The reason is explained below.
  • two haptic content is repeated is shown, one in which three or more haptic content are repeated is also a haptic content.
  • the haptic content generated by the haptic content generation unit 12 is stored in, for example, a storage medium included in the haptic content generation apparatus 100 or a removable storage medium removable from the haptic content generation apparatus 100.
  • haptic content may be transmitted to an external device (for example, an external storage, a server, etc.) connected to the haptic content generation device 100 via a communication network and stored. The haptic content thus stored can then be used for various products and various applications.
  • various products such as a massager, a cosmetic device, a handle of a hair brush, an electric toothbrush, a toy, a vibrator of a mobile phone, etc.
  • Various products such as massager etc.
  • various products that exerts a given function
  • various products that exhibit a given function using tactile sensation as a medium for example, clothing, bed, bedding, furniture, fittings, others, human touch
  • tactile sensation for example, clothing, bed, bedding, furniture, fittings, others, human touch
  • the haptic content generated based on the haptic content extracted from the haptic content storage unit 10 is the drive information itself consisting of a repetitive pattern, and is information for controlling the massage balls of the massage device. It is possible to use as.
  • vibration information for outputting ultrasonic waves is stored in the tactile content storage unit 10 as tactile content.
  • the haptic content generated based on the haptic content extracted from the haptic content storage unit 10 is the ultrasonic vibration information itself consisting of the repetitive pattern, and the ultrasonic output in the ultrasonic facializer is It is possible to use as information for controlling.
  • FIG. 3 is a diagram for explaining an algorithm for determining a repetitive pattern by the haptic content generation unit 12.
  • FIG. 3A shows a sequence of index numbers of ten haptic content items extracted in order by the haptic content extraction unit 11.
  • the haptic content generation unit 12 first extracts, as a pattern, an index number immediately before the appearance of an index number that is the same as the key, using the leading index number extracted by the haptic content extraction unit 11 as a key.
  • the pattern refers to a combination of two or more different index numbers (tactile content indicated thereby).
  • the same index number as key is continuous (for example, in the case of "11")
  • the pattern up to immediately before the appearance of the same index number as key is used as a pattern without giving the restriction of "two or more different".
  • only the first first index number "1" is extracted as a pattern.
  • a pattern consisting of only one such index number is not extracted. If this is extracted as a pattern, “11” will be tactile content in which “1” is repeated twice, but since there is no difference in the series of tactile content, it is not suitable as tactile content. is there.
  • the tactile content generation unit 12 When the tactile content generation unit 12 extracts one pattern, next, using the next index number of the extracted pattern as a key, the tactile content generation unit 12 newly extracts up to immediately before the same index number as the key appears.
  • the haptic content generation unit 12 performs the above-described processing until the end of the index numbers sequentially extracted by the haptic content extraction unit 11.
  • FIG. 3B shows the result of performing such pattern extraction processing.
  • the index number “1” at the top is used as a key, and up to immediately before the appearance of the index number identical to the key is extracted as a pattern.
  • “123” is extracted as the first pattern.
  • the next index number (fourth index number) “1” of the extracted first pattern is extracted as a key, up to immediately before the appearance of the same index number as the key is extracted as a pattern.
  • "123" is extracted as the second pattern.
  • the index number (the seventh index number) “1” of the extracted second pattern up to immediately before the appearance of the same index number as the key is extracted as a pattern.
  • "14" is extracted as the third pattern.
  • the index number (9th index number) “1” next to the extracted third pattern was used as a key, and it was tried to extract as a pattern until just before the same index number as the key appeared The number is not found, and the remaining "13" is extracted as the fourth pattern.
  • the haptic content generation unit 12 extracts the haptic content group “123123” constituting this repetition, and generates this as haptic content.
  • the haptic content generation unit 12 extracts a plurality of haptic content groups “123123” and “231231” constituting repetition by performing pattern extraction processing while sequentially changing the setting position of the key from the top, These may be generated as tactile content.
  • all the index numbers may be sequentially set as the key, and the determination process of the repetitive pattern may be performed.
  • the haptic content generation unit 12 divides a plurality of haptic content extracted in order by the haptic content extraction unit 11 into groups by a predetermined number from the top and performs repeated pattern determination processing for each group. It is also good.
  • FIG. 4 is a flowchart showing an operation example of the haptic content generation device 100 configured as shown in FIG.
  • the haptic content extraction unit 11 designates a combination of the first haptic parameter and the second haptic parameter in the order of plural groups (step S1).
  • this designation method is arbitrary, but for example, according to the user's operation of the touch panel, the mouse, etc., the combination of the first tactile parameter and the second tactile parameter is used by the tactile content extraction unit 11. Specify multiple groups in order.
  • the haptic content extraction unit 11 sequentially extracts, from the haptic content storage unit 10, a plurality of haptic content items corresponding to the combination of the specified plurality of sets of parameters (step S2).
  • the haptic content generation unit 12 determines whether or not a plurality of haptic content extracted in order by the haptic content extraction unit 11 has a repetitive pattern (step S3). Then, the haptic content generation unit 12 extracts the haptic content group constituting the repetition, and generates this as haptic content (step S4).
  • FIG. 5 is a block diagram showing an example of a functional configuration of a haptic content generation device 100 'to which an analysis function of an external input signal is added.
  • FIG. 5 since what attached
  • the haptic content generation device 100 'further includes a target information input unit 13 and a haptic parameter identification unit 14 as its functional configuration. Further, in place of the haptic content extraction unit 11, a haptic content extraction unit 11 'is provided.
  • the target information input unit 13 inputs target information in which values corresponding to the intensities are continuously or intermittently connected.
  • time-series waveform information is input in the present embodiment.
  • the waveform information input here may be an analog signal or digital data.
  • the waveform information to be input may be any information whose amplitude changes with the passage of time, and the type is arbitrary.
  • audio signals, video signals, measurement signals of various measuring instruments such as seismometers, anemometers, and actinometers, waveform measurement data by an oscilloscope, stock price fluctuation data, and the like can be mentioned, but these are merely examples.
  • the haptic parameter identification unit 14 divides the waveform information input by the target information input unit 13 into a plurality of segments in the time axis direction, identifies the amplitude as the first haptic parameter from each divided section, and The length of time of the division interval is specified as the touch quality parameter of. At this time, low-pass fill processing is applied to the waveform information as pre-processing to extract the envelope of the input waveform information, and the first tactile parameter (amplitude) and the plurality of divided sections for the envelope are extracted.
  • the second haptic parameter (the length of time of the divided section) may be specified.
  • FIG. 6 is a diagram for explaining an example of processing contents by the haptic parameter specifying unit 14.
  • FIG. 6 shows the waveform information input by the target information input unit 13 (or envelope waveform information subjected to low-pass filter processing as preprocessing by the haptic parameter specification unit 14).
  • the haptic parameter specifying unit 14 first divides the waveform information shown in FIG. 6 into a plurality of pieces in the time axis direction. In FIG. 6, as one example, it is divided at each time when the amplitude of the waveform becomes minimum. That is, from the start point of the waveform to the first minimum value is the first divided section T1, and from the first minimum value to the second minimum value is the second divided section T2, the second minimum value
  • the waveform information is divided into a plurality of parts in the time axis direction, as in the third divided section T3,...
  • the waveform information may be divided into a plurality of sections at each time when the amplitude of the waveform reaches a maximum.
  • the waveform information may be divided into a plurality of sections every time the amplitude value becomes zero.
  • the haptic parameter specifying unit 14 specifies representative amplitudes h1, h2, h3, ... as the first tactile parameter from the divided sections T1, T2, T3, ..., and the second haptic.
  • the length t1, t2, t3,... Of time of the divided section is specified as the quality parameter.
  • the representative amplitudes h1, h2, h3,... Are divided with the larger one of the minimum value of the start point or the minimum value of the end point in each of the divided sections T1, T2, T3,. It shows the value of the difference from the maximum value in the sections T1, T2, T3,.
  • the difference between the minimum value and the maximum value is the representative amplitude h1.
  • the difference between the minimum value at the start point and the maximum value is the representative amplitude h2.
  • the difference between the minimum value and the maximum value of the end point becomes the representative amplitude h3.
  • the identification method of the representative amplitude shown here is an example, It is not limited to this.
  • the difference of may be specified as the representative amplitude.
  • positive maximum value or negative minimum value in each divided section is set as the first value. It may be specified as a representative amplitude of touch quality parameters.
  • negative minimum value its absolute value may be specified as a representative amplitude of the first haptic parameter.
  • the haptic content extraction unit 11 ′ determines the first tactile parameter (amplitude) and the second tactile parameter (the length of time of the division section specified from the divided sections by the tactile parameter specification section 14. ) Are sequentially designated, and a plurality of haptic content items corresponding to the designated plurality of combinations are sequentially extracted from the haptic content storage unit 10.
  • the haptic content extraction unit 11 combines the combination of the representative amplitude specified from the divided sections T1, T2, T3, ... and the length of the divided section ⁇ h1, t1 ⁇ , ⁇ h2, t2 ⁇ , ⁇ Specify h3, t3 ⁇ ,. Then, on the matrix space of haptic content shown in FIG. 2, haptic content corresponding to each combination specified above is sequentially extracted.
  • FIG. 7 is a flowchart showing an operation example of the haptic content generation device 100 'according to the present embodiment configured as described above.
  • the target information input unit 13 inputs time-series waveform information (step S11).
  • the haptic parameter specifying unit 14 performs low-pass fill processing on the waveform information input from the target information input unit 13 to extract an envelope of the waveform information (step S12).
  • the tactile parameter specifying unit 14 divides the envelope waveform information into a plurality of pieces in the time axis direction (step S13), specifies the amplitude as the first tactile parameter from each divided section, and The length of time of the divided section is specified as the quality parameter (step S14).
  • the haptic content extraction unit 11 ′ sequentially designates a combination of the amplitude specified from each divided section by the tactile property parameter specification unit 14 and the length of time of the divided section, and sets the designated plural groups.
  • a plurality of haptic content items corresponding to the combination are sequentially extracted from the haptic content storage unit 10 (step S15).
  • the haptic content generation unit 12 determines whether or not the plurality of haptic content extracted in order by the haptic content extraction unit 11 'has a repetitive pattern (step S16). Then, the haptic content generation unit 12 extracts the haptic content group constituting the repetition, and generates this as haptic content (step S17).
  • a plurality of haptic content items from the haptic content storage unit 10 can be obtained.
  • tactile content from among a plurality of tactile content extracted from the tactile content storage unit 10, a tactile content group consisting of one type of repetitive pattern is extracted, and the extracted tactile content group is used as it is as tactile content.
  • tactile content may be generated by extracting tactile content groups consisting of plural types of repetitive patterns and combining them.
  • index number is set to Key
  • index number immediately before the appearance of the same index number as that Key is extracted as a pattern
  • present invention is not limited to this.
  • a combination of a plurality of index numbers may be set as Key, and the pattern up to immediately before the combination of the same index number as that Key may be extracted as a pattern.
  • the haptic content group “123123” constituting the repetition is used as the tactile content.
  • the present invention is not limited thereto. For example, a combination of “123” in an arbitrary number may be generated as tactile content.
  • the target information can be input in the input unit 13.
  • frequency spectrum information, histogram information, image information, moving image information, text information, motion information indicating the motion of an object, and the like can also be input from the target information input unit 13 as target information.
  • n 2
  • the first tactile parameter relating to the information intensity and the second tactile parameter relating to the length of the divided section of information are specified as two tactile parameters.
  • n may be 3 or more.
  • the tactile content corresponding to the combination of n tactile parameters is stored as an n-dimensional hierarchical space of three or more layers. It will be done.
  • the haptic parameter identifying unit 14 divides the target information input by the target information input unit 13 into a plurality of pieces, and relates to the first tactile parameter related to the strength of information and the length of the divided section from each divided section. At least one of the second haptic parameters may be used to identify n (n ⁇ 2) haptic parameters.
  • n 3
  • three different ones of the first haptic parameters may be specified, or three different ones of the second haptic parameters may be specified.
  • n touch quality parameters are specified only by the first touch quality parameter related to the strength of information
  • n types of target information are input by the target information input unit 13.
  • the haptic parameter specifying unit 14 divides each of the n types of input target information into a plurality of pieces, and specifies one first tactile property parameter from each division section of the n types of target information.
  • a plurality of combinations of n first haptic parameters are specified.
  • the target information input unit 13 inputs the following digital values with respect to three types of information of heart rate, acceleration (body movement), and blood flow rate as information of a touch object conversion target.
  • Heart rate 79, 60, 79, 75, 74, 79, 75 Acceleration: 40, 10, 30, 40, 35, 40, 20
  • Blood flow rate 80, 60, 40, 60, 80, 60, 80
  • the haptic parameter specifying unit 14 divides each of the three types of input target information for each input value, and specifies the first haptic parameter from each divided section of the three types of target information.
  • the combination of the three first haptic parameters is specified as follows. ⁇ 79, 40, 80 ⁇ , ⁇ 60, 10, 60 ⁇ , ⁇ 79, 30, 40 ⁇ , ...
  • n touch quality parameters are specified only by the second touch quality parameter related to the length of the divided section of information
  • n types of target information are input by the target information input unit 13.
  • the haptic parameter identifying unit 14 divides each of the n types of input target information into a plurality of pieces, and identifies one second haptic parameter from each divided section of the n types of target information. Generates a plurality of combinations of n second haptic parameters.
  • the target information input unit 13 inputs digital values similar to the above with regard to three types of information of heart rate, acceleration, and blood flow rate.
  • the haptic parameter identifying unit 14 divides each of the three types of target information in units until the same value is input, and the second haptic from the divided sections of the three types of target information. By specifying the parameters, a plurality of combinations of three second haptic parameters are specified.
  • the haptic parameter identifying unit 14 identifies the combination of the second haptic parameters as ⁇ 2, 3, 4 ⁇ , ⁇ 3, 2, 2 ⁇ .
  • haptic parameter relating to strength and the haptic parameter relating to the length of the divided section is specified from input information of multiple types of haptic conversion objects. You may make it specify from object information.
  • one kind of target information may be divided into a plurality of sections as in the above embodiment, and a plurality of tactile parameter related to the strength may be specified from each divided section (for example, the maximum value of the strength). Each minimum value is taken as the haptic parameter, etc.).
  • the target information may be divided into a plurality of sections according to different methods, and the length of the divided sections divided by each method may be used as the touch quality parameter.
  • both the tactile parameter related to the strength and the tactile parameter related to the length of the divided section may be combined and specified from the input information of a plurality of types of haptic conversion target.
  • FIG. 8 is a functional block diagram showing an example of a functional configuration of the audio content generation apparatus 200 according to the present embodiment.
  • the acoustic content generation apparatus 200 according to the present embodiment includes a haptic content acquisition unit 21, an audio signal acquisition unit 22, a vibration waveform processing unit 23, and an acoustic content generation unit 24 as its functional configuration.
  • a haptic content storage unit 201 and an audio signal storage unit 202 are connected to the audio content generation apparatus 200 of the present embodiment.
  • Each of the functional blocks 21 to 24 can be configured by any of hardware, DSP, and software.
  • each of the functional blocks 21 to 24 actually comprises a CPU, a RAM, a ROM, etc. of a computer, and a program stored in a recording medium such as a RAM, a ROM, a hard disk or a semiconductor memory. Is realized by operating.
  • the haptic content storage unit 201 stores haptic content generated by the haptic content generation device 100 or 100 'configured as shown in FIG. 1 or 5.
  • vibration information is generated by the haptic content generation device 100 or 100 ′.
  • Store tactile content generated as The haptic content stored in the haptic content storage unit 201 is time-series waveform information composed of a haptic content group having a repetition of a pattern composed of a combination of two or more different haptic contents (vibration information).
  • the haptic content storage unit 201 may be a storage medium provided internally in the haptic content generation device 100 or 100 ′ shown in FIG. 1 or 5 or is outside the haptic content generation device 100 or 100 ′. It may be an information processing device such as a personal computer, a smartphone, or a tablet terminal, or a removable storage medium.
  • the haptic content storage unit 201 may be an external device (for example, an external storage, a server, etc.) connected to the audio content generation apparatus 200 via a communication network.
  • the audio signal storage unit 202 stores waveform information of an arbitrary audio signal.
  • the audio signal storage unit 202 stores waveform information of an audio signal representing a music piece of any music.
  • the waveform information of the audio signal stored in the audio signal storage unit 202 may be an analog signal or digital data.
  • the audio signal storage unit 202 can be configured as an information processing device such as a personal computer, a smartphone, or a tablet terminal outside the audio content generation apparatus 200, or a removable storage medium.
  • the audio signal storage unit 202 may be an external device (for example, an external storage, a server, etc.) connected to the audio content generation apparatus 200 via a communication network.
  • the haptic content acquisition unit 21 generates haptic content stored in the haptic content storage unit 201, that is, from haptic content which is vibration information by the haptic content generation apparatus 100 or 100 'of FIG. 1 or 5 as described above.
  • the acquired haptic content The audio signal acquisition unit 22 acquires the audio signal stored in the audio signal storage unit 202.
  • the vibration waveform processing unit 23 processes the waveform information of the haptic content acquired by the haptic content acquisition unit 21 based on the waveform information of the audio signal acquired by the audio signal acquisition unit 22. There are cases where the total time length of waveform information of haptic content acquired by the haptic content acquisition unit 21 and the total time length of waveform information of audio signal acquired by the audio signal acquisition unit 22 are not the same. In this case, the vibration waveform processing unit 23 preprocesses the waveform information of the tactile content so that the total time length is the same as the total time length of the waveform information of the audio signal, and then performs the main processing described later. .
  • pre-processing is, for example, processing of connecting waveform information of haptic content acquired by the haptic content acquisition unit 21 repeatedly and cutting it at the same time as the total time length of waveform information of the audio signal. It is possible.
  • the pre-processing may be processing of extending the pitch of waveform information of haptic content acquired by the haptic content acquisition unit 21.
  • changing the pitch of the waveform information of the haptic content may change the message property of the haptic content, so it is preferable to use the former method.
  • the total time length of the waveform information of the haptic content acquired by the haptic content acquisition unit 21 and the total time length of the waveform information of the audio signal acquired by the audio signal acquisition unit 22 may not necessarily be matched.
  • the acoustic content may be generated by combining the waveform information of tactile content only for a specific section in the entire time length of the waveform information of the audio signal.
  • the vibration waveform processing unit 23 performs pre-processing so as to synchronize waveform information of the tactile content with a specific section in the entire time length of the waveform information of the audio signal, and then performs main processing to be described later. .
  • the acoustic content generation unit 24 generates acoustic content from a combination of the audio signal acquired by the audio signal acquisition unit 22 and the tactile content processed by the vibration waveform processing unit 23.
  • the acoustic content generation unit 24 generates acoustic content in which the audio signal acquired by the audio signal acquisition unit 22 is used as the first channel information and the haptic content processed by the vibration waveform processing unit 23 is used as the second channel information. .
  • FIG. 9 is a block diagram showing a functional configuration example of the vibration waveform processing unit 23, and shows a functional configuration example for the vibration waveform processing unit 23 to perform main processing on waveform information of haptic content.
  • the vibration waveform processing unit 23 includes a feature extraction unit 23A, a weight information generation unit 23B, and a weight processing unit 23C as its functional configuration.
  • the feature extraction unit 23A extracts, from the waveform information of the audio signal acquired by the audio signal acquisition unit 22, a plurality of characteristic portions that can be distinguished from other portions. For example, in the waveform information of the audio signal acquired by the audio signal acquisition unit 22, the feature extraction unit 23A extracts a location where the amplitude value increases by a predetermined value or more during a predetermined time as a feature location.
  • the weight information generation unit 23B generates weight information whose value changes with time in the time section of the adjacent feature location based on the plurality of feature locations extracted by the feature extraction unit 23A. For example, based on the plurality of feature locations extracted by the feature extraction unit 23A, for example, the weight information generation unit 23B sequentially changes the value from the time when one feature location is extracted to the time when the next feature location is extracted. Generate weight information that becomes gradually smaller.
  • FIG. 10 is a diagram for explaining the processing contents of the feature extraction unit 23A and the weight information generation unit 23B.
  • FIG. 10A shows waveform information of the audio signal acquired by the audio signal acquisition unit 22.
  • FIG. 10B shows a state in which the weight information generated by the weight information generation unit 23B is schematically superimposed on the waveform information of the haptic content acquired by the haptic content acquisition unit 21.
  • waveform information after pre-processing the waveform information of the haptic content so that the total time length is the same as the total time length of the waveform information of the audio signal.
  • Feature extraction unit 23A is 10 in the waveform information of the audio signal shown in (a), a predetermined time (e.g., 0.1 second) a plurality of feature points F 1 a larger portion than the predetermined value, the amplitude value between, Extract as F 2 , F 3 ,. That is, the feature extraction unit 23A extracts places where the amplitude value of the waveform information of the audio signal increases sharply as feature places F 1 , F 2 , F 3 ,.
  • a predetermined time e.g., 0.1 second
  • the weight information is generated such that the value gradually decreases with time from the time when ⁇ ) is extracted until the time when the next feature location F i + 1 is extracted.
  • This weight information is information in which the weight value (all positive values) takes from the minimum value to the maximum value, and is schematically shown as a sawtooth wave in FIG. 10 (b).
  • the weight value becomes maximum at the time when one feature point F i is extracted, and the value gradually decreases with time linearly or stepwise from that point, and the next feature point F Weight information is generated such that the weight value is again maximized at the time when i + 1 is extracted.
  • the weight value is maximized at the time when one feature point F i is extracted, and the weight value is just the minimum value at the time when the next feature point F i + 1 is extracted. The following weight information is generated.
  • FIG. 10 (b) shows an example in which the weight value decreases linearly and gradually at a constant rate, but the next feature location F i + 1 is extracted from the time when one feature location F i is extracted. Until the time, weight information may be generated such that the value gradually decreases in accordance with a predetermined quadratic function or logarithmic function.
  • the rate at which the weight value gradually decreases may be the same for all sections.
  • the weight value reaches a minimum value before reaching the next feature point F i + 1.
  • the weight information generation unit 23B generates weight information such that the weight value is fixed to the minimum value until the next feature location F i + 1 .
  • the maximum value and the minimum value of the weight values may not be fixed, and may be variable values that change according to a predetermined condition.
  • the maximum value of the weight value may be made variable according to the magnitude of the amplitude value at the characteristic portion.
  • the weight information generation unit 23B causes the weight value to increase as the amplitude value at one feature point F i increases, and from this weight information such that the value gradually decreases to the next feature point F i + 1. Generate In this way, a larger weight value is set as the amplitude value of the feature place F i is larger among the plurality of feature places F i where the amplitude value increases by a predetermined value or more during the predetermined time.
  • the weight processing unit 23C is configured to receive the waveform information of the tactile content acquired by the tactile content acquisition unit 21 (including the tactile content on which the preprocessing processing has been performed by the vibration waveform processing unit 23. The same applies hereinafter) to the weight information generation unit 23B. Process according to the weight information generated by. For example, the weight processing unit 23C processes the waveform information of the haptic content by multiplying the amplitude value of the waveform information of the haptic content by the weight value of the weight information.
  • the weight processing unit 23C similarly at each time schematically shown as a sawtooth in FIG. 10 (b). Multiply the weight value.
  • the waveform information of the haptic content and the weight information are shown in an overlapping manner to clearly show the correspondence between the amplitude value of the waveform information at each time and the weight value to be multiplied with this. It is for.
  • the feature extraction unit 23A, the weight information generation unit The 23B and the weight processing unit 23C may execute each process only in the specific section. That is, the feature extraction unit 23A may extract the feature area of the audio signal only in the specific section. Also, the weight information generation unit 23B may generate weight information only in a specific section. In addition, the weight processing unit 23C may multiply the amplitude value of the waveform information of the haptic content synchronized with the waveform information of the audio signal of the specific section only in the specific section by the weight value.
  • FIG. 11 is a diagram showing acoustic content generated by the acoustic content generation unit 24.
  • FIG. 11A shows waveform information (first channel information) of the audio signal acquired by the audio signal acquisition unit 22, and FIG. 11B shows a waveform of the tactile content processed by the dynamic waveform processing unit 23.
  • Information (second channel information) is shown.
  • the waveform information of the audio signal shown in FIG. 11 (a) is the same as the waveform information of the audio signal shown in FIG. 10 (a).
  • the waveform information of the audio signal shown in FIG. 10A weight for processing the waveform information of the acoustic content
  • the waveform information of the audio signal which is the extraction target of the characteristic portion to generate the information, and the waveform information of the audio signal shown in FIG. 11A the waveform information of the audio signal constituting the first channel information of the acoustic content
  • the waveform information of the audio signal shown in FIG. 10A and the waveform information of the audio signal shown in FIG. May be the same but not necessarily the same.
  • an audio signal to be a feature extraction target may be an audio signal of the left channel
  • an audio signal constituting first channel information of acoustic content may be an audio signal of the right channel.
  • the reverse is also possible.
  • the feature extraction unit 23A extracts a plurality of feature points from the waveform information of the audio signal of the left channel
  • the weight information generation unit 23B generates weight information based on the feature points
  • the weight processing unit 23C The waveform information (the second channel information) of the haptic content is generated by processing the waveform information of the haptic content according to the weight information.
  • the acoustic content generation unit 24 generates acoustic content by combining the tactile content processed by the vibration waveform processing unit 23 as described above and the audio signal of the right channel acquired by the audio signal acquisition unit 22.
  • the acoustic content generated as described above is composed of a combination of tactile content constituted by repeating a pattern consisting of a combination of two or more different tactile content (vibration information) and an arbitrary audio signal. It is a thing.
  • the haptic content to be combined with the audio signal is haptic content in which the amplitude value of the waveform is processed by the weight information whose weight value changes in a manner synchronized with the characteristic portion of the audio signal. Therefore, by transmitting this acoustic content to a person through a predetermined vibration transmission medium, a tactile message is provided by the vibration of the tactile content synchronized with the characteristic of the audio while providing the audio reproduced based on the audio signal.
  • sex storyliness
  • the audio signal acquired by the audio signal acquisition unit 22 is arbitrary, and the relationship between the haptic content and the audio signal acquired by the haptic content acquisition unit 21 is not particularly referred to, for example, It is possible to That is, the haptic content is generated by the haptic content generation device 100 'shown in FIG. At this time, as the time-series waveform information input by the target information input unit 13, the same waveform information as the waveform information of the audio signal acquired by the audio signal acquisition unit 22 is input as information of the touch object conversion target.
  • the target information input unit 13 inputs the same waveform information as the waveform information of the audio signal acquired by the audio signal acquisition unit 22 as the information of the tactile object conversion target, and thereby generated by the travel route setting device 100 ′
  • the haptic content acquisition unit 21 acquires the haptic content.
  • the haptic content to be combined with the audio signal is generated based on the haptic parameter (the amplitude of the divided section and the length of time of the divided section) which is the feature element of the audio signal itself, and the audio
  • the amplitude value of the waveform is processed by the weight information generated based on the feature location extracted from the signal itself. For this reason, the message nature by the voice which the voice signal itself originally has and the message nature by the vibration of the haptic content generated based on the feature which the voice signal concerned comes to be transmitted to a person together. This makes it possible to strongly convey the message nature to people by synergetic effects.
  • FIG. 12 is a flowchart showing an operation example of the acoustic content generation device 200 according to the present embodiment configured as described above.
  • the haptic content acquisition unit 21 acquires haptic content from the haptic content storage unit 201 (step S21).
  • the haptic content acquired here is generated by the haptic content generation device 100 or 100 'of FIG. 1 or 5 from haptic content which is vibration information.
  • the audio signal acquisition unit 22 acquires an audio signal from the audio signal storage unit 202 (step S22).
  • the vibration waveform processing unit 23 performs predetermined pre-processing on the waveform information of the haptic content acquired by the haptic content acquisition unit 21 as necessary (step S23).
  • the pre-processing is processing for making the total time length of the waveform information of the haptic content equal to the total time length of the waveform information of the audio signal, or the waveform information of the haptic content is voice This processing is to synchronize with a specific section in the entire time length of the waveform information of the signal.
  • the feature extraction unit 23A of the vibration waveform processing unit 23 determines that the amplitude value of the waveform information of the audio signal acquired by the audio signal acquisition unit 22 has a predetermined value during a predetermined time. A plurality of locations that increase in size are extracted as feature locations (step S24).
  • the weight information generation unit 23B is based on the plurality of feature locations extracted by the feature extraction unit 23A, and the value is temporally set from the time when one feature location is extracted to the time when the next feature location is extracted. Weight information that gradually decreases is generated (step S25).
  • the weight processing unit 23C performs weighting information on the waveform information of the haptic content acquired by the haptic content acquisition unit 21 in step S21 (when the preprocessing is performed in step S23, the waveform information after the preprocessing). It processes according to the weight information produced
  • the audio content generation unit 24 processes the audio signal acquired by the audio signal acquisition unit 22 in step S22 and the processing by the weight processing unit 23C in step S26. Acoustic content is generated by combination with tactile content (step S27).
  • the process of the flowchart illustrated in FIG. 12 ends.
  • voice signal is not limited to the example shown to the said embodiment.
  • the feature extraction unit 23A may extract a location where the amplitude value is equal to or more than a predetermined value as a feature location.
  • the waveform information of the audio signal may be subjected to frequency analysis at each time, and a place where the contained frequency component changes rapidly may be extracted as a feature place.
  • analysis similar to that of FIG. 6 may be performed on the waveform information of the audio signal, and a place where the value of h / t changes rapidly may be extracted as a feature place.
  • the weight information generation unit 23B generates weight information in which the value gradually decreases from the time when one feature place Fi is extracted to the time when the next feature place Fi + 1 is extracted.
  • the present invention is not limited to this.
  • the feature extraction section 23A is to be extracted as a feature point suddenly decreases places the amplitude value during a predetermined time in the waveform information of the audio signal
  • weight information generation unit 23B is, in the one feature point F i Weight information may be generated such that the value gradually increases from the extracted time to the time when the next feature part F i + 1 is extracted.
  • an example is described in which an audio signal is used as the first channel information, and an acoustic content using haptic content as the second channel information is generated.
  • the present invention is not limited to this.
  • the third or more channel information may be included to generate the acoustic content.
  • sound content may be generated in which the audio signal of the left channel is the first channel information, the tactile content is the second channel information, and the audio signal of the right channel is the third channel information.
  • audio content may be generated using audio signals included in a moving image with audio as first channel information, tactile content as second channel information, and video signals as third channel information.
  • An audio content generation apparatus 200 'shown in FIG. 13 includes a moving image signal acquisition unit 25 and an audio content generation unit 24' instead of the audio signal acquisition unit 22 and the audio content generation unit 24 shown in FIG. Further, a moving image signal storage unit 203 is connected to the audio content generation apparatus 200 ′ shown in FIG. 13 instead of the audio signal storage unit 202 shown in FIG. 8.
  • the moving image signal acquisition unit 25 acquires the moving image signal stored in the moving image signal storage unit 203.
  • the vibration waveform processing unit 23 processes the waveform information of the tactile content acquired by the tactile content acquisition unit 21 based on the waveform information of the audio signal included in the moving image signal acquired by the moving image signal acquisition unit 25.
  • the acoustic content generation unit 24 ′ is configured by combining the audio signal and the video signal included in the moving image signal acquired by the moving image signal acquisition unit 25 with the tactile content processed by the vibration waveform processing unit 23 and the three channels described above. Generate acoustic content consisting of information.
  • FIG. 14 is a functional block diagram showing an example of a functional configuration of the sound reproduction device 300 according to the present embodiment.
  • the sound reproduction apparatus 300 according to the present embodiment includes an acoustic content acquisition unit 31, an audio output control unit 32, and a vibration output control unit 33 as its functional configuration. Further, an acoustic content storage unit 301, a speaker 302, and a vibration transfer medium 303 are connected to the acoustic reproduction device 300 of the present embodiment.
  • Each of the functional blocks 31 to 33 can be configured by any of hardware, DSP, and software.
  • each of the functional blocks 31 to 33 actually comprises a CPU, a RAM, a ROM and the like of a computer, and a program stored in a storage medium such as a RAM, a ROM, a hard disk or a semiconductor memory Is realized by operating.
  • the acoustic content storage unit 301 stores the acoustic content generated by the acoustic content generation device 200 configured as shown in FIG.
  • the haptic content stored in the audio signal storage unit 202 is the audio signal acquired by the audio signal acquisition unit 22 of FIG. 8 as the first channel information, and the haptic content processed by the vibration waveform processing unit 23 as the second channel information. Is a combination of two types of waveform information.
  • the acoustic content storage unit 301 may be a storage medium provided in the acoustic content generation apparatus 200 shown in FIG. 8 or may be a personal computer, a smart phone, a tablet terminal, etc. outside the acoustic content generation apparatus 200. It may be an information processing device or a removable storage medium. Also, the audio content storage unit 301 may be an external device (for example, an external storage, a server, etc.) connected to the audio reproduction device 300 via a communication network.
  • the acoustic content acquisition unit 31 acquires acoustic content from the acoustic content storage unit 301.
  • the audio output control unit 32 controls the reproduction of the audio signal so that the audio is output from the speaker 302 based on the audio signal included as the first channel information in the audio content acquired by the audio content acquisition unit 31.
  • the vibration output control unit 33 controls the reproduction of haptic content so that vibration is given to the predetermined vibration transmission medium 303 based on the haptic content included as the second channel information in the acoustic content acquired by the acoustic content acquisition unit 31. Do.
  • the vibration transfer medium 303 may be anything as long as it vibrates when given the waveform information of the tactile content, but it is necessary that the vibration transfer medium 303 be one that touches the user's body at the time of use.
  • the vibration transfer medium 303 may be anything as long as it vibrates when given the waveform information of the tactile content, but it is necessary that the vibration transfer medium 303 be one that touches the user's body at the time of use.
  • vibration transfer medium 303 it is preferable to use, as the vibration transfer medium 303, one that is significant in providing vibration simultaneously with the output of voice.
  • vibration is massaged based on waveform information of tactile content with message property expected in relaxation effect.
  • An embodiment is conceivable in which it is applied to the massaging ball (vibration transmission medium 303).
  • the vibration is a facial device based on the waveform information of the tactile content with the message property expected of the relaxation effect.
  • An embodiment of applying to a face mask (vibration transmission medium 303) is also conceivable.
  • the message property originally provided by the sound itself output from the speaker 302 and the message property due to the vibration of the tactile content provided to the vibration transmission medium 303 are combined. It will be transmitted to people.
  • the meaning or message is strongly given to the user. It can give the user a sense of transmission.
  • the present invention is not limited to this.
  • a face mask of a facial care device may be used as the vibration transfer medium 303, and the face mask may also be used as a cone (diaphragm) of the speaker 302. That is, the mask surface (vibration transmission medium 303) to be vibrated by the vibration output control unit 33 may function as a diaphragm of the speaker 302 that outputs sound by the sound output control unit 32.
  • the mask can be emitted as a cone instead of the speaker 302.
  • the user wearing the mask can obtain a sensation that sounds can be heard from the entire mask.
  • vibration corresponding to the waveform information of the tactile content is also given to the mask, so that the user can be made to image a predetermined sense.
  • the predetermined sense may be a sense of hearing (slow, intense, rhythmic, etc.) felt when listening to a sound, or a feeling of touch (soft, hard, etc.) felt when touching an object.
  • the vibration of the tactile signal applied to the mask by the vibration output control unit 33 gives a predetermined sense to the user, and the vibration of the audio signal output by the audio output control unit 32 generates sound from the entire mask. It is possible to give the user the sensation of being heard.
  • audio content is used as the first channel information and acoustic content where haptic content is used as the second channel information is acquired from the audio content storage unit 301, but the present invention is not limited to this.
  • audio content in which the audio signal in the moving image is the first channel information, the tactile content is the second channel information, and the video signal is the third channel information (that is, the acoustic content generated by the configuration of FIG. 13) May be acquired.
  • the audio output control unit 32 controls the reproduction of the audio signal so that the audio is output from the speaker 302 based on the audio signal included in the audio content as the first channel information
  • the vibration output control unit 33 The reproduction of the haptic content is controlled to give vibration to the predetermined vibration transmission medium 303 based on the haptic content included in the content as the second channel information, and the video output control unit (not shown) controls the acoustic content as the third channel information.
  • the reproduction of the video signal is controlled to output the video to a display (not shown) based on the included video signal.
  • any of the above-described embodiments is merely an example of embodying the present invention, and the technical scope of the present invention should not be interpreted in a limited manner. That is, the present invention can be implemented in various forms without departing from the scope or main features of the present invention.
  • haptic content storage unit 11 haptic content storage unit 11
  • haptic content extraction unit 12 haptic content generation unit 13 target information input unit 14
  • haptic parameter identification unit 21 haptic content acquisition unit 22
  • video signal acquisition unit 31 acoustic content acquisition unit 32

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

それぞれが触感の一要素を表したｎ個（ｎ≧２）の触質パラメータにより特定される触質コンテンツを、各触質パラメータの組み合わせに対応付けて記憶する触質コンテンツ記憶部１０と、各触質パラメータの組み合わせを複数組順に指定することにより、複数の触質コンテンツを触質コンテンツ記憶部１０から順に抽出する触質コンテンツ抽出部１１と、当該抽出した複数の触質コンテンツの中から、繰り返しを構成している触質コンテンツ群を抽出して触覚コンテンツとする触覚コンテンツ生成部１２とを備え、生成される触覚コンテンツを構成している複数の触質コンテンツの差異の連なりにより、意味を持った触覚効果を与え、触覚のメッセージ性（物語性）を受け手に明確に伝えることができるようにする。

Description

触覚コンテンツ生成装置、音響コンテンツ生成装置、音響再生装置、触覚コンテンツ生成方法および音響コンテンツ生成方法
　本発明は、所与の触覚効果を与える触覚コンテンツを生成する装置および方法、生成された触覚コンテンツを利用して音響コンテンツを生成する装置および方法、並びに、生成された音響コンテンツを再生する装置に関するものである。
　従来、人間の五感を利用した様々な機器が提供されている。このうち、触覚を利用した機器の多くは、所定の振動を出力することによって、所与の効果を付与するようになされている。一例として、マッサージ器、美容器、振動アラーム、電動歯ブラシ、ゲーム機のコントローラ、振動フィードバック付きタッチパネルなどが知られている。
　ここで、機器に与えられる振動は、その機器に求められる所与の効果を発揮しやすいものが設定される。例えば、マッサージ器であれば、人間の手による施術にできるだけ近い触感となるような振動が揉み玉に付与されるように設計されたものが多い。人の施術によるマッサージには、気持ちよいマッサージと気持ちよくないマッサージとがあるが、基本的にマッサージ器の開発は、気持ち良いマッサージを行うことを目的としてなされている。
　この気持よいマッサージを行うことを目的としたマッサージ器の一例として、再生されている音楽の音の高低、大小、リズムおよびメロディの抑揚に合わせて、特定のマッサージを対応して実行するものが知られている（例えば、特許文献１参照）。この特許文献１に記載のマッサージ器によれば、使用者は、音楽と同調したマッサージを受けることができ、心身のリラクゼーションに効果を発揮する。
　また、発明者は、マッサージの施術のし方を五線譜と音符とにより表した「触譜」というものを考案している（例えば、非特許文献１，２参照）。触譜では、五線譜の音の高低がマッサージの圧力に対応し、音符がマッサージのリズムに対応する。例えば、熟練の施術者が行っている施術方法を触譜に記述することにより、熟練の施術者がどのようなイメージをもって、どのような順序で施術をしているのかを可視化することが可能となる。
　なお、マッサージに限らず、音声信号を触覚効果の情報に変換して利用するようにしたシステムが他にも知られている（例えば、特許文献２，３参照）。特許文献２に記載の触覚効果生成システムは、音声信号に関係付けられるエンベロープを決定し、エンベロープに基づいて触覚効果（例えば、タッチスクリーンまたはタッチパッドのタッチ面を動かす振動触覚効果）を決定し、当該触覚効果に関係付けられる触覚信号（例えば、アクチュエータの駆動信号）を出力するように構成されている。
　また、特許文献３に記載のシステムでは、マイクロフォンから入力した音声信号の特徴（周波数、振幅、継続期間など）を判断し、当該特徴の少なくとも一部に基づいて、特徴に関連した触覚効果ライブラリから触覚効果を識別することによって、当該特徴に関連した触覚効果をアクチュエータに出力させるためのアクチュエータ信号を生成する。
特開２００５－１３０８８３号公報 特開２０１５－５３０５３号公報 特開２０１５－１５６２２９号公報 Tactile Score, Springer Verlag：Yasuhiro Suzuki and Rieko Suzuki,2013 「情報を生み出す触覚の知性：情報社会をいきるための感覚のリテラシー」p155-ｐ167 渡邊淳司著　2014年12月22日発行
　上述のように、音声を触覚効果（振動など）に変換する技術は種々提案されている。しかしながら、触覚効果を受ける人がそれを心地よい、気持ち良いなどと感じるためには、音声をただ触覚効果に変換すればよいというわけではない。すなわち、人間の感性に訴えるような、意味のある触覚効果に変換することが望まれる。「意味のある触覚効果」とは、それを受ける人に対して何らかのメッセージを伝えることができるような触覚効果のことである。
　本発明は、このような問題を解決するために成されたものであり、受け手にとって意味のあるメッセージを触覚効果によって伝えることが可能な触覚コンテンツを生成できるようにすることを目的とする。また、本発明は、このようにして生成した触覚コンテンツを利用して、従来型の単なる音声信号では伝えることができない触覚効果を持たせた、受け手にとって意味のあるメッセージを含んだ新たな音響コンテンツを生成できるようにすることを目的とする。
　上記した課題を解決するために、本発明では、それぞれが触感の一要素を表したｎ個（ｎ≧２）の触質パラメータにより特定される固有の触覚効果を持った触質コンテンツを、ｎ個の触質パラメータの組み合わせに対応付けて記憶する触質コンテンツ記憶部を備えている。そして、ｎ個の触質パラメータの組み合わせを複数組順に指定することにより、当該指定した複数組の組み合わせに対応する複数の触質コンテンツを触質コンテンツ記憶部から順に抽出し、当該抽出した複数の触質コンテンツの中から、２つ以上の異なる触質コンテンツの組み合わせから成るパターンの繰り返しを構成している触質コンテンツ群を抽出し、これを触覚コンテンツとして生成するようにしている。
　上記のように構成した本発明によれば、ｎ個の触質パラメータの組み合わせを複数組指定することにより、複数の触質コンテンツが抽出される。ここで、それぞれの触質コンテンツは、それぞれに固有の触覚効果を付与することが可能なものであるから、順に抽出される複数の触質コンテンツの差異の連なりにより、その連なりに固有の意味を持った触覚効果を有するものといえる。さらに、本発明では、繰り返しを構成している触質コンテンツ群だけが更に抽出されて触覚コンテンツとされるため、生成される触覚コンテンツは、触質コンテンツの繰り返しによって触覚のメッセージ性（物語性）が受け手に明確に伝えられるものとなっている。このように、本発明によれば、受け手にとって意味のあるメッセージを触覚効果によって伝えることが可能な触覚コンテンツを生成することができる。
本実施形態による触覚コンテンツ生成装置の基本構成例を示す機能ブロック図である。 本実施形態の触質コンテンツ記憶部が記憶する触質コンテンツの記憶例を模式的に示す図である。 本実施形態の触覚コンテンツ生成部による繰り返しパターンの判定アルゴリズムを説明するための図である。 図１のように構成した触覚コンテンツ生成装置の動作例を示すフローチャートである。 外部入力信号の解析機能を加えた本実施形態による触覚コンテンツ生成装置の機能構成例を示すブロック図である。 本実施形態の触質パラメータ特定部による処理内容を説明するための図である。 図５のように構成した触覚コンテンツ生成装置の動作例を示すフローチャートである。 本実施形態による音響コンテンツ生成装置の機能構成例を示す機能ブロック図である。 本実施形態による振動波形加工部の機能構成例を示すブロック図である。 本実施形態の特徴抽出部および重み情報生成部の処理内容を説明するための図である。 本実施形態の音響コンテンツ生成部により生成される音響コンテンツを示す図である。 本実施形態による音響コンテンツ生成装置の動作例を示すフローチャートである。 本実施形態による音響コンテンツ生成装置の他の機能構成例を示す機能ブロック図である。 本実施形態による音響再生装置の機能構成例を示す機能ブロック図である。
（触覚コンテンツ生成装置および触覚コンテンツ生成方法）
　以下、本発明の触覚コンテンツ生成装置および触覚コンテンツ生成方法に関する一実施形態を図面に基づいて説明する。
　図１は、本実施形態による触覚コンテンツ生成装置１００の基本構成例を示す機能ブロック図である。図１に示すように、本実施形態の触覚コンテンツ生成装置１００は、記憶媒体として触質コンテンツ記憶部１０を備えている。また、本実施形態の触覚コンテンツ生成装置１００は、その機能構成として、触質コンテンツ抽出部１１および触覚コンテンツ生成部１２を備えている。
　上記各機能ブロック１１，１２は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１，１２は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
　触質コンテンツ記憶部１０は、それぞれが触感の一要素を表したｎ個（ｎ≧２）の触質パラメータにより特定される固有の触覚効果を持った触質コンテンツを、ｎ個の触質パラメータの組み合わせに対応付けて記憶する。本実施形態では、ｎ＝２の例を示す。また、２個の触質パラメータとして、情報の強度に関する第１の触質パラメータと、情報の分割区間の長さに関する第２の触質パラメータとを用いる例を示す。強度および分割区間の長さは、何れも触感の一要素を成すものである。
　すなわち、本実施形態において、触質コンテンツ記憶部１０は、情報の強度に関する第１の触質パラメータおよび情報の分割区間の長さに関する第２の触質パラメータにより特定される固有の触覚効果を持った触質コンテンツを、第１の触質パラメータおよび第２の触質パラメータの組み合わせに対応付けて記憶する。触質パラメータとは、例えば＜硬い－柔らかい＞、＜粗い－滑らか＞のように対立する触質（以下、触質対という）の程度を表すパラメータである。
　例えば、＜硬い－柔らかい＞という触質対に関する触質パラメータとして、情報の強度を用いることが可能である。すなわち、強度を表す値が大きいほど硬いことを表し、強度を表す値が小さいほど柔らかいことを表す。また、＜粗い－滑らか＞という触質対に関する触質パラメータとして、情報の分割区間の長さを用いることが可能である。すなわち、長さを表す値が大きいほど滑らかであることを表し、長さを表す値が小さいほど粗いことを表す。
　図２は、触質コンテンツ記憶部１０が記憶する触質コンテンツの記憶例を模式的に示す図である。図２は、縦軸に第１の触質パラメータとしての「強度」をとり、横軸に第２の触質パラメータとしての「分割区間の長さ」をとって表したマトリクス状の触質対空間を示している。図２の例では、第１の触質パラメータ（強度）で表される触質対として＜硬い－柔らかい＞を用い、第２の触質パラメータ（分割区間の長さ）で表される触質対として＜粗い－滑らか＞を用いたものを示している。
　図２の例では、強度の最大値から最小値までを５段階に分けるとともに、分割区間の長さの最大値から最小値までを５段階に分けることにより、２５個のマトリクス空間を形成している。２５個のマトリクス空間には、それぞれ１番～２５番のインデックス番号が付与されている。触質コンテンツ記憶部１０は、これら２５個のマトリクス空間内にそれぞれ、強度および分割区間の長さの組み合わせに応じた触質コンテンツを記憶する。
　ここで記憶する触質コンテンツは、人が触感を得ることが可能な情報である。触質コンテンツの典型例として、振動情報が挙げられる。触質コンテンツとして振動情報を記憶する場合、例えばインデックス番号“１”の位置には、強度が最大で分割区間の長さが最小の振動情報、つまり、最も硬くて最も粗いというイメージを伝達可能な振動情報が記憶される。また、例えばインデックス番号“２５”の位置には、強度が最小で分割区間の長さが最大の振動情報、つまり、最も柔らかくても最も滑らかというイメージを伝達可能な振動情報が記憶される。
　なお、触質コンテンツを特定するための２組の触質対として何を用いるかは、本実施形態の触覚コンテンツ生成装置１００において生成する触覚コンテンツの用途に応じて任意に定めることが可能である。すなわち、ここでは２組の触質対として＜硬い－柔らかい＞および＜粗い－滑らか＞を用いているが、本発明はこれに限定されない。例えば、触質対の別の例として、＜大きい－小さい＞、＜鋭い－鈍い＞、＜重い－軽い＞、＜ざらざら－つるつる＞などを用いてもよい。
　また、ここでは触質コンテンツ記憶部１０に記憶する触質コンテンツとして振動情報を用いているが、本発明はこれに限定されるものではない。触質コンテンツの別の例として、機器を駆動するアクチュエータの駆動情報、様々な製品に用いる材料で人の肌触りに影響する材質情報などが考えられる。
　なお、図１では、触覚コンテンツ生成装置１００が触質コンテンツ記憶部１０を備える構成を示したが、触質コンテンツ記憶部１０は触覚コンテンツ生成装置１００の外部に備え、触覚コンテンツ生成装置１００が外部の触質コンテンツ記憶部１０から触質コンテンツを取得して利用できる構成としてもよい（後述する触覚コンテンツ生成装置１００’も同様）。
　例えば、触覚コンテンツ生成装置１００の外部にある触質コンテンツ記憶部１０は、触覚コンテンツ生成装置１００に着脱可能なリムーバル記憶媒体により構成される。または、触覚コンテンツ生成装置１００の外部にある触質コンテンツ記憶部１０は、触覚コンテンツ生成装置１００に通信ネットワークを介して接続された外部機器（例えば、外部ストレージ、サーバなど）により構成される。
　触質コンテンツ抽出部１１は、第１の触質パラメータおよび第２の触質パラメータの組み合わせを複数組順に指定して、当該指定した複数組の組み合わせに対応する複数の触質コンテンツを触質コンテンツ記憶部１０から順に抽出する。第１の触質パラメータおよび第２の触質パラメータの指定は、所望の触覚コンテンツを生成したいユーザが手動で指定することが可能である。
　例えば、触質コンテンツ抽出部１１は、図２に例示したマトリクスをコンピュータの画面上に表示させ、タッチパネルやマウス等の操作デバイスを用いてユーザに所望の位置を順に指定させることにより、第１の触質パラメータおよび第２の触質パラメータの組み合わせを複数組順に指定する。この場合、触質コンテンツ抽出部１１は、マトリクス上で順に指定された位置に対応する触質コンテンツを順次触質コンテンツ記憶部１０から抽出する。
　第１の触質パラメータおよび第２の触質パラメータの指定を、触質コンテンツ抽出部１１が自動的に行うようにすることも可能である。例えば、触質コンテンツ抽出部１１がランダムに、あるいは所定の規則に従って第１の触質パラメータおよび第２の触質パラメータの組み合わせを順次指定するようにすることが可能である。
　あるいは、外部入力信号を解析することより、当該外部入力信号から特定された第１の触質パラメータおよび第２の触質パラメータを触質コンテンツ抽出部１１が入力することによって、第１の触質パラメータおよび第２の触質パラメータの組み合わせを順次指定するようにすることも可能である。なお、これに関する具体例は後述する。
　触覚コンテンツ生成部１２は、触質コンテンツ抽出部１１により順に抽出された複数の触質コンテンツが、２つ以上の異なる触質コンテンツの組み合わせから成るパターンの繰り返しを有するか否かを判定し、繰り返しを構成している触質コンテンツ群を抽出し、これを触覚コンテンツとして生成する。繰り返しを構成している触質コンテンツ群は、受け手に対して意味のあるメッセージを伝えることが可能な情報であり、本実施形態ではこれを触覚コンテンツとして生成するようにしている。その理由を以下に説明する。
　触覚によって何らかのメッセージを人に伝える場合、第１に、触感に差異を作ることが大事である。例えば、人は、ずっと同じ圧力を受け続けると圧力を感じなくなるが、圧力に差異を作ると、より強く圧力を感じるようになる。そして、その差異の連なりから、ある種のメッセージを表現することが可能となる。例えば、図２に示したマトリクス空間において、インデックス番号が２０番の触質コンテンツと２５番の触質コンテンツとを順に抽出すると、比較的弱い強度で長い時間をかけてゆったりと強度が変化するという差異が生じ、この差異によって「柔らかくて滑らか」な感じというメッセージを表現することが可能となる。
　第２に、上記のような触感の差異を２回以上繰り返すことにより、それが何か特別なもの（偶然ではないもの）という印象を人に与えることができる。すなわち、２０番の触質コンテンツと２５番の触質コンテンツとを順に１回ずつ抽出するだけなく、２０番→２５番→２０番→２５番のように２回以上繰り返すことにより、差異によって生じるメッセージをより強く伝えることが可能となる。なお、ここでは２つの触質コンテンツが繰り返される例を示したが、３つ以上の触質コンテンツが繰り返されるものも触覚コンテンツとなる。
　なお、触覚コンテンツ生成部１２により生成された触覚コンテンツは、例えば、触覚コンテンツ生成装置１００が備える記憶媒体、あるいは触覚コンテンツ生成装置１００に着脱可能なリムーバル記憶媒体に保存される。または、触覚コンテンツ生成装置１００に通信ネットワークを介して接続された外部機器（例えば、外部ストレージ、サーバなど）に触覚コンテンツを送信して保存するようにしてもよい。このように保存された触覚コンテンツは、その後、様々な製品や様々な用途に利用することが可能である。
　例えば、振動を媒体として所与の機能を発揮する各種製品（一例として、マッサージ器、美容器、ヘアブラシの柄、電動歯ブラシ、玩具、携帯電話のバイブレータ等）、アクチュエータによる部材の動きを媒体として所与の機能を発揮する各種製品（一例として、マッサージ器等）、触感を媒体として所与の機能を発揮する各種製品（一例として、衣類、ベッド、寝具、家具、建具、その他、人体が触れることのある各種機器）などに対し、本実施形態の触覚コンテンツ生成装置１００により生成した触覚コンテンツを利用することが可能である。
　例えば、触覚コンテンツをマッサージ器に利用する場合、マッサージ器の揉み玉を振動、回転あるいは移動させるために必要なアクチュエータの駆動情報を触質コンテンツとして触質コンテンツ記憶部１０に記憶しておく。このようにすれば、触質コンテンツ記憶部１０から抽出した触質コンテンツをもとに生成した触覚コンテンツは、繰り返しのパターンから成る駆動情報そのものであり、マッサージ器の揉み玉を制御するための情報として利用することが可能である。
　また、触覚コンテンツを超音波美顔器に利用する場合、超音波を出力させるための振動情報を触質コンテンツとして触質コンテンツ記憶部１０に記憶しておく。このようにすれば、触質コンテンツ記憶部１０から抽出した触質コンテンツをもとに生成した触覚コンテンツは、繰り返しのパターンから成る超音波振動情報そのものであり、超音波美顔器における超音波出力を制御するための情報として利用することが可能である。
　以下に、触覚コンテンツ生成部１２による繰り返しパターンの判定アルゴリズムの一例を説明する。図３は、触覚コンテンツ生成部１２による繰り返しパターンの判定アルゴリズムを説明するための図である。図３（ａ）は、触質コンテンツ抽出部１１により順に抽出された１０個の触質コンテンツのインデックス番号の順列を示している。
　触覚コンテンツ生成部１２は、まず、触質コンテンツ抽出部１１により抽出された先頭のインデックス番号をｋｅｙとして、当該ｋｅｙと同じインデックス番号が出現する直前までをパターンとして抽出する。ここで、パターンとは、２つ以上の異なるインデックス番号（それにより示される触質コンテンツ）の組み合わせをいうものとする。
　例えば、ｋｅｙと同じインデックス番号が連続する場合（例えば、“１１”のようなケース）、「２つ以上の異なる」という制限を設けることなく、ｋｅｙと同じインデックス番号が出現する直前までをパターンとして抽出すると、最初の１つ目のインデックス番号“１”だけがパターンとして抽出されることになる。本実施形態では、このような１つのインデックス番号のみから成るものをパターンとしては抽出しない。これをパターンとして抽出すると、“１１”は“１”が２回繰り替えされている触覚コンテンツとなってしまうが、これだと触質コンテンツの連なりに差異がないので、触覚コンテンツとしては不適だからである。
　触覚コンテンツ生成部１２は、１つのパターンを抽出したら、次に、当該抽出したパターンの次のインデックス番号をｋｅｙとして、当該ｋｅｙと同じインデックス番号が出現する直前までをパターンとして新たに抽出する。触覚コンテンツ生成部１２は、以上の処理を、触質コンテンツ抽出部１１により順に抽出されたインデックス番号の最後まで行う。
　なお、先頭のインデックス番号をｋｅｙとして、最後のインデックス番号まで探索を行っても、そのｋｅｙと同じインデックス番号が見つからない場合は、先頭から２番目のインデックス番号をｋｅｙに設定し直して、当該ｋｅｙと同じインデックス番号が出現する直前までをパターンとして抽出する。この処理は、パターンが見つかるまで、ｋｅｙを変えながら繰り返し行う。図３（ｂ）は、このようなパターン抽出処理を行った結果を示している。
　図３の例では、まず、先頭のインデックス番号“１”をｋｅｙとして、当該ｋｅｙと同じインデックス番号が出現する直前までをパターンとして抽出している。これにより、“１２３”が１つ目のパターンとして抽出されている。次に、抽出した１つ目のパターンの次のインデックス番号（４番目のインデックス番号）“１”をｋｅｙとして、当該ｋｅｙと同じインデックス番号が出現する直前までをパターンとして抽出している。これにより、“１２３”が２つ目のパターンとして抽出されている。
　次に、抽出した２つ目のパターンの次のインデックス番号（７番目のインデックス番号）“１”をｋｅｙとして、当該ｋｅｙと同じインデックス番号が出現する直前までをパターンとして抽出している。これにより、“１４”が３つ目のパターンとして抽出されている。さらに、抽出した３つ目のパターンの次のインデックス番号（９番目のインデックス番号）“１”をｋｅｙとして、当該ｋｅｙと同じインデックス番号が出現する直前までをパターンとして抽出しようとしたが、同じインデックス番号はみつからず、残りの “１３”が４つ目のパターンとして抽出されている。
　図３の例では、“１２３”のパターンが２回繰り返されている。よって、触覚コンテンツ生成部１２は、この繰り返しを構成している触質コンテンツ群“１２３１２３”を抽出し、これを触覚コンテンツとして生成する。
　なお、図３の例では、図３（ｃ）に示すように、２番目のインデックス番号“２”をｋｅｙとして設定すると、“２３１”というパターンの繰り返しを抽出することができる。そこで、触覚コンテンツ生成部１２は、ｋｅｙの設定位置を先頭から順に変えながらパターン抽出処理を行うことにより、繰り返しを構成している複数の触質コンテンツ群“１２３１２３”、“２３１２３１”を抽出し、これらを触覚コンテンツとして生成するようにしてもよい。また、インデックス番号の全てを順次ｋｅｙに設定して、繰り返しパターンの判定処理を行うようにしてもよい。
　なお、ここでは、触質コンテンツ抽出部１１により抽出された触質コンテンツが１０個の場合における繰り返しパターンの判定例を説明したが、触質コンテンツが多数の場合もある。そこで、触覚コンテンツ生成部１２は、触質コンテンツ抽出部１１により順に抽出された複数の触質コンテンツを先頭から所定数毎に区切ってグループ化し、グループ毎に繰り返しパターンの判定処理を行うようにしてもよい。
　図４は、図１のように構成した触覚コンテンツ生成装置１００の動作例を示すフローチャートである。まず、触質コンテンツ抽出部１１は、第１の触質パラメータおよび第２の触質パラメータの組み合わせを複数組順に指定する（ステップＳ１）。上述したように、この指定方法は任意であるが、例えば、ユーザによるタッチパネルやマウス等の操作に応じて、触質コンテンツ抽出部１１が第１の触質パラメータおよび第２の触質パラメータの組み合わせを複数組順に指定する。
　次に、触質コンテンツ抽出部１１は、指定した複数組のパラメータの組み合わせに対応する複数の触質コンテンツを触質コンテンツ記憶部１０から順に抽出する（ステップＳ２）。次いで、触覚コンテンツ生成部１２は、触質コンテンツ抽出部１１により順に抽出された複数の触質コンテンツが繰り返しのパターンを有するか否かを判定する（ステップＳ３）。そして、触覚コンテンツ生成部１２は、繰り返しを構成している触質コンテンツ群を抽出し、これを触覚コンテンツとして生成する（ステップＳ４）。
　以下に、外部入力信号を解析することより、第１の触質パラメータおよび第２の触質パラメータの組み合わせを指定する例について説明する。図５は、外部入力信号の解析機能を加えた触覚コンテンツ生成装置１００’の機能構成例を示すブロック図である。なお、この図５において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
　図５に示す例において、触覚コンテンツ生成装置１００’は、その機能構成として、対象情報入力部１３および触質パラメータ特定部１４を更に備えている。また、触質コンテンツ抽出部１１に代えて触質コンテンツ抽出部１１’を備えている。
　対象情報入力部１３は、強度に相当する値が連続的または断続的に連なって成る対象情報を入力する。当該対象情報の一例として、本実施形態では時系列の波形情報を入力する。ここで入力する波形情報は、アナログ信号でもよいし、デジタルデータでもよい。また、入力する波形情報は、時間の経過と共に振幅が変化する情報であればよく、その種類は任意である。例えば、音声信号、映像信号、地震計・風力計・光量計など各種計測機器の測定信号、オシロスコープによる波形測定データ、株価変動データなどが挙げられるが、これらは一例に過ぎない。
　触質パラメータ特定部１４は、対象情報入力部１３により入力された波形情報を時間軸方向に複数に分割し、それぞれの分割区間から、第１の触質パラメータとして振幅を特定するとともに、第２の触質パラメータとして分割区間の時間の長さを特定する。このとき、前処理として、波形情報にローパスフィル処理を施すことにより、入力された波形情報のエンベロープを抽出し、当該エンベロープを対象として、複数の分割区間から第１の触質パラメータ（振幅）および第２の触質パラメータ（分割区間の時間の長さ）を特定するようにしてもよい。
　図６は、触質パラメータ特定部１４による処理内容の一例を説明するための図である。図６は、対象情報入力部１３により入力された波形情報（または、触質パラメータ特定部１４により前処理としてローパスフィルタ処理が施されたエンベロープ波形情報）を示している。
　触質パラメータ特定部１４は、まず、図６に示す波形情報を時間軸方向に複数に分割する。図６では一例として、波形の振幅が極小となる時間毎に分割している。すなわち、波形の開始点から１つ目の極小値までを第１の分割区間Ｔ１、１つ目の極小値から２つ目の極小値までを第２の分割区間Ｔ２、２つ目の極小値から３つ目の極小値までを第３の分割区間Ｔ３、・・・のように、波形情報を時間軸方向に複数に分割している。
　なお、波形情報の分割のし方は、図６に示した例に限定されない。例えば、波形の振幅が極大となる時間毎に波形情報を複数の区間に分割するようにしてもよい。あるいは、正の値の振幅および負の値の振幅がある波形情報の場合は、振幅値がゼロとなる時間毎に波形情報を複数の区間に分割するようにしてもよい。
　触質パラメータ特定部１４は、それぞれの分割区間Ｔ１，Ｔ２，Ｔ３，・・・から、第１の触質パラメータとして代表振幅ｈ１，ｈ２，ｈ３，・・・を特定するとともに、第２の触質パラメータとして分割区間の時間の長さｔ１，ｔ２，ｔ３，・・・を特定する。ここで、代表振幅ｈ１，ｈ２，ｈ３，・・・は、それぞれの分割区間Ｔ１，Ｔ２，Ｔ３，・・・における開始点の極小値または終了点の極小値のうち値が大きい方と、分割区間Ｔ１，Ｔ２，Ｔ３，・・・における極大値との差分の値を示している。
　すなわち、分割区間Ｔ１に関しては、極小値が１つしかないので、この極小値と極大値との差分が代表振幅ｈ１となる。分割区間Ｔ２に関しては、当該区間の開始点の極小値の方が終了点の極小値よりも大きいので、開始点の極小値と極大値との差分が代表振幅ｈ２となる。分割区間Ｔ３に関しては、当該区間の開始点の極小値よりも終了点の極小値の方が大きいので、終了点の極小値と極大値との差分が代表振幅ｈ３となる。
　なお、ここで示した代表振幅の特定方法は一例であり、これに限定されるものではない。例えば、それぞれの分割区間Ｔ１，Ｔ２，Ｔ３，・・・における開始点の極小値または終了点の極小値のうち値が小さい方と、分割区間Ｔ１，Ｔ２，Ｔ３，・・・における極大値との差分を代表振幅として特定するようにしてもよい。
　また、正の値の振幅および負の値の振幅がある波形情報を、振幅値がゼロとなる時間毎に分割した場合は、各分割区間における正の極大値または負の極小値を第１の触質パラメータの代表振幅として特定するようにしてもよい。ここで、負の極小値に関しては、その絶対値を第１の触質パラメータの代表振幅として特定するようにしてもよい。
　また、触質コンテンツ抽出部１１’は、触質パラメータ特定部１４によりそれぞれの分割区間から特定された第１の触質パラメータ（振幅）および第２の触質パラメータ（分割区間の時間の長さ）の組み合わせを順に指定して、当該指定した複数組の組み合わせに対応する複数の触質コンテンツを触質コンテンツ記憶部１０から順に抽出する。
　すなわち、触質コンテンツ抽出部１１’は、各分割区間Ｔ１，Ｔ２，Ｔ３，・・・から特定された代表振幅および分割区間の長さの組み合わせ｛ｈ１，ｔ１｝，｛ｈ２，ｔ２｝，｛ｈ３，ｔ３｝，・・・を指定する。そして、図２に示した触質コンテンツのマトリクス空間上において、上記指定したそれぞれの組み合わせに対応する触質コンテンツを順に抽出する。
　図７は、上記のように構成した本実施形態による触覚コンテンツ生成装置１００’の動作例を示すフローチャートである。まず、対象情報入力部１３は、時系列の波形情報を入力する（ステップＳ１１）。次に、触質パラメータ特定部１４は、対象情報入力部１３により入力された波形情報にローパスフィル処理を施すことにより、波形情報のエンベロープを抽出する（ステップＳ１２）。
　次いで、触質パラメータ特定部１４は、エンベロープ波形情報を時間軸方向に複数に分割し（ステップＳ１３）、それぞれの分割区間から、第１の触質パラメータとして振幅を特定するとともに、第２の触質パラメータとして分割区間の時間の長さを特定する（ステップＳ１４）。
　次に、触質コンテンツ抽出部１１’は、触質パラメータ特定部１４によりそれぞれの分割区間から特定された振幅および分割区間の時間の長さの組み合わせを順に指定して、当該指定した複数組の組み合わせに対応する複数の触質コンテンツを触質コンテンツ記憶部１０から順に抽出する（ステップＳ１５）。
　さらに、触覚コンテンツ生成部１２は、触質コンテンツ抽出部１１’により順に抽出された複数の触質コンテンツが繰り返しのパターンを有するか否かを判定する（ステップＳ１６）。そして、触覚コンテンツ生成部１２は、繰り返しを構成している触質コンテンツ群を抽出し、これを触覚コンテンツとして生成する（ステップＳ１７）。
　以上詳しく説明したように、本実施形態によれば、第１の触質パラメータおよび第２の触質パラメータの組み合わせを複数組指定することにより、触質コンテンツ記憶部１０から複数の触質コンテンツが抽出され、その中からさらに、２つ以上の異なる触質コンテンツの組み合わせから成るパターンの繰り返しを構成している触質コンテンツ群が抽出されて触覚コンテンツとして生成される。このようにして生成した触覚コンテンツを様々な媒体を通じて人に伝達することにより、繰り返される複数の触質コンテンツの差異の連なりにより、意味を持った触覚効果を与え、触覚のメッセージ性（物語性）を受け手に明確に伝えることができる。
　なお、上記実施形態では、触質コンテンツ記憶部１０より抽出した複数の触質コンテンツの中から、１種類の繰り返しパターンから成る触質コンテンツ群を抽出し、抽出した触質コンテンツ群をそのまま触覚コンテンツとする例について説明したが、本発明はこれに限定されない。例えば、複数種類の繰り返しパターンから成る触質コンテンツ群を抽出し、これらを組み合わせることによって触覚コンテンツを生成するようにしてもよい。
　また、上記実施形態では、１つのインデックス番号をＫｅｙに設定して、そのＫｅｙと同じインデックス番号が出現する直前までをパターンとして抽出する例について説明したが、本発明はこれに限定されない。例えば、複数のインデックス番号の組み合わせをＫｅｙに設定して、そのＫｅｙと同じインデックス番号の組み合わせが出現する直前までをパターンとして抽出するようにしてもよい。
　また、上記実施形態では、例えば図３（ｂ）のように“１２３｜１２３”とパターンの繰り返しが検出された場合に、その繰り返しを構成している触質コンテンツ群“１２３１２３”を触覚コンテンツとして生成する例について説明したが、本発明はこれに限定されない。例えば、“１２３”を任意の数だけ組み合わせたものを触覚コンテンツとして生成するようにしてもよい。
　また、“１２３”の順序をサイクリックに置き換えたもの（“２３１”または“３１２”）を生成し、これを組み合わせたものを触覚コンテンツとして生成するようにしてもよい。ここで、“２３１２３１”や “３１２３１２”のように、同一のパターンを組み合わせて触覚コンテンツを生成してもよいし、“１２３２３１３１２”のように、異なるパターンを任意に組み合わせて触覚コンテンツを生成するようにしてもよい。
　また、上記実施形態では、対象情報入力部１３により入力する対象情報として、強度に相当する値が連続的または断続的に連なっている形態の波形情報を扱う例について説明したが、元々がそのような形態になっていない情報を当該形態に変換した情報を入力するようにしてもよい。
　例えば、音声信号の場合、ある程度の時間的な長さを持ったものであれば、強度に相当する値が連続的または断続的に連なっているものといえる。一方、一瞬で終わる音の場合、振幅は存在するが、時間軸に沿って複数に分割可能な長さを持たない。しかし、その瞬時音を周波数解析して周波数軸の信号に変換すると、周波数毎に異なる振幅を持った情報、つまり、強度に相当する振幅が周波数軸に沿って連なった情報となるため、対象情報入力部１３において入力可能な情報となる。その他、周波数スペクトル情報、ヒストグラム情報、画像情報、動画情報、テキスト情報、物体の動きを表す動作情報なども、対象情報入力部１３より対象情報として入力し得る。
　また、上記実施形態では、図２に示すように、横軸に分割区分の長さをとる例について説明したが、当該長さの逆数を取るようにしてもよい。
　また、上記実施形態では、ｎ＝２とし、２個の触質パラメータとして、情報の強度に関する第１の触質パラメータと、情報の分割区間の長さに関する第２の触質パラメータとを特定する例について説明したが、ｎは３以上であってもよい。なお、ｎ≧３とする場合、図２のような２次元状のマトリクス空間ではなく、３階層以上のｎ次元階層空間として、ｎ個の触質パラメータの組み合わせに対応する触質コンテンツをそれぞれ記憶することになる。
　また、上記実施形態では、情報の強度に関する第１の触質パラメータと、情報の分割区間の長さに関する第２の触質パラメータとの両方を特定する例について説明したが、何れか一方のみとしてもよい。
　すなわち、触質パラメータ特定部１４は、対象情報入力部１３により入力された対象情報を複数に分割し、それぞれの分割区間から、情報の強度に関する第１の触質パラメータおよび分割区間の長さに関する第２の触質パラメータの少なくとも一方を用いて、ｎ個（ｎ≧２）の触質パラメータを特定することが可能である。
　例えば、ｎ＝３とする場合、第１の触質パラメータを１個または２個特定するとともに、第２の触質パラメータを２個または１個特定するといったことが可能である。あるいは、第１の触質パラメータとして異なるものを３個特定するようにしてもよいし、第２の触質パラメータとして異なるものを３個特定するようにしてもよい。
　情報の強度に関する第１の触質パラメータだけでｎ個の触質パラメータを特定する場合、例えば、対象情報入力部１３によりｎ種の対象情報を入力するようにする。そして、触質パラメータ特定部１４は、入力されたｎ種の対象情報をそれぞれ複数に分割し、ｎ種の対象情報のそれぞれの分割区間から、第１の触質パラメータを１個ずつ特定することにより、ｎ個の第１の触質パラメータの組み合わせを複数組特定する。
　一例として、対象情報入力部１３が、触質変換対象の情報として、心拍、加速度（身体の動き）、血流量の３種の情報に関して以下のようなデジタル値を入力したとする。
心拍　：７９，６０，７９，７５，７４，７９，７５
加速度：４０，１０，３０，４０，３５，４０，２０
血流量：８０，６０，４０，６０，８０，６０，８０
　この場合、触質パラメータ特定部１４は、入力された３種の対象情報をそれぞれ入力値ごとに分割し、３種の対象情報のそれぞれの分割区間から、第１の触質パラメータを特定することにより、３個の第１の触質パラメータの組み合わせを以下のように特定する。
｛７９，４０，８０｝，｛６０，１０，６０｝，｛７９，３０，４０｝，・・・
　また、情報の分割区間の長さに関する第２の触質パラメータだけでｎ個の触質パラメータを特定する場合も、例えば、対象情報入力部１３によりｎ種の対象情報を入力するようにする。そして、触質パラメータ特定部１４は、入力されたｎ種の対象情報をそれぞれ複数に分割し、ｎ種の対象情報のそれぞれの分割区間から、第２の触質パラメータを１個ずつ特定することにより、ｎ個の第２の触質パラメータの組み合わせを複数組生成する。
　一例として、対象情報入力部１３が、心拍、加速度、血流量の３種の情報に関して、上記と同様のデジタル値を入力したとする。この場合、触質パラメータ特定部１４は、例えば、同じ値が入力されるまでを単位として３種の対象情報をそれぞれ分割し、３種の対象情報のそれぞれの分割区間から、第２の触質パラメータを特定することにより、３個の第２の触質パラメータの組み合わせを複数組特定する。
　上記の例の場合、心拍に関して、最初の“７９”と同じ値が次に現れるのは２つ後、その次に同じ値が現れるのは更に３つ後なので、分割区間の長さは２，３となる。加速度に関して、最初の“４０” と同じ値が次に現れるのは３つ後、その次に同じ値が現れるのは更に２つ後なので、分割区間の長さは３，２となる。血流量に関して、最初の“８０”と同じ値が次に現れるのは４つ後、その次に同じ値が現れるのは更に２つ後なので、分割区間の長さは４，２となる。この場合、触質パラメータ特定部１４は、第２の触質パラメータの組み合わせを｛２，３，４｝，｛３，２，２｝のように特定する。
　なお、ここでは、複数種類の触質変換対象の情報としてデジタル値を入力する例について説明したが、アナログ信号を入力するようにしてもよいことは言うまでもない。この場合、強度に関する触質パラメータおよび分割区間の長さに関する触質パラメータの特定法は、上記実施形態で説明した方法を適用することが可能である。
　また、ここでは、強度に関する触質パラメータ、あるいは分割区間の長さに関する触質パラメータの何れか一方のみを、複数種類の触質変換対象の入力情報から特定する例について説明したが、１種類の対象情報から特定するようにしてもよい。例えば、上記実施形態と同様にして１種類の対象情報を複数の区間に分割し、それぞれの分割区間から、強度に関する触質パラメータを複数特定するようにしてもよい（例えば、強度の最大値と最小値をそれぞれ触質パラメータとするなど）。また、１種類の対象情報を複数の区間に分割する際に、異なる方法に従って複数の区間に分割し、それぞれの方法で分割した分割区間の長さを触質パラメータとするようにしてもよい。
　また、ここでは、複数種類の触質変換対象の入力情報から、強度に関する触質パラメータだけ、あるいは分割区間の長さに関する触質パラメータだけを特定する例について説明したが、本発明はこれに限定されない。例えば、複数種類の触質変換対象の入力情報から、強度に関する触質パラメータおよび分割区間の長さに関する触質パラメータの両方を組み合わせて特定するようにしてもよい。
（音響コンテンツ生成装置および音響コンテンツ生成方法）
　次に、本発明の音響コンテンツ生成装置および音響コンテンツ生成方法に関する一実施形態を図面に基づいて説明する。
　図８は、本実施形態による音響コンテンツ生成装置２００の機能構成例を示す機能ブロック図である。図８に示すように、本実施形態の音響コンテンツ生成装置２００は、その機能構成として、触覚コンテンツ取得部２１、音声信号取得部２２、振動波形加工部２３および音響コンテンツ生成部２４を備えている。また、本実施形態の音響コンテンツ生成装置２００には、触覚コンテンツ記憶部２０１および音声信号記憶部２０２が接続されている。
　上記各機能ブロック２１～２４は、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック２１～２４は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
　触覚コンテンツ記憶部２０１は、図１または図５のように構成した触覚コンテンツ生成装置１００，１００’により生成された触覚コンテンツを記憶する。本実施形態では、触覚コンテンツ記憶部２０１は、図１または図５の触質コンテンツ記憶部１０に記憶する触質コンテンツとして振動情報を用いた場合に、触覚コンテンツ生成装置１００，１００’により振動情報として生成される触覚コンテンツを記憶する。触覚コンテンツ記憶部２０１が記憶する触覚コンテンツは、２つ以上の異なる触質コンテンツ（振動情報）の組み合わせから成るパターンの繰り返しを有する触質コンテンツ群から成る時系列の波形情報である。
　なお、触覚コンテンツ記憶部２０１は、図１または図５に示した触覚コンテンツ生成装置１００，１００’が内部に備える記憶媒体であってもよいし、触覚コンテンツ生成装置１００，１００’の外部にあるパーソナルコンピュータやスマートフォン、タブレット端末などの情報処理機器、あるいはリムーバル記憶媒体であってもよい。また、触覚コンテンツ記憶部２０１は、音響コンテンツ生成装置２００に通信ネットワークを介して接続された外部機器（例えば、外部ストレージ、サーバなど）であってもよい。
　音声信号記憶部２０２は、任意の音声信号の波形情報を記憶する。例えば、音声信号記憶部２０２は、任意の音楽の楽曲を表した音声信号の波形情報を記憶する。音声信号記憶部２０２が記憶する音声信号の波形情報は、アナログ信号でもよいし、デジタルデータでもよい。なお、音声信号記憶部２０２は、音響コンテンツ生成装置２００の外部にあるパーソナルコンピュータやスマートフォン、タブレット端末などの情報処理機器、あるいはリムーバル記憶媒体として構成することが可能である。また、音声信号記憶部２０２は、音響コンテンツ生成装置２００に通信ネットワークを介して接続された外部機器（例えば、外部ストレージ、サーバなど）であってもよい。
　触覚コンテンツ取得部２１は、触覚コンテンツ記憶部２０１に記憶された触覚コンテンツ、すなわち、上述したように、図１または図５の触覚コンテンツ生成装置１００，１００’により振動情報である触質コンテンツから生成された触覚コンテンツを取得する。音声信号取得部２２は、音声信号記憶部２０２に記憶された音声信号を取得する。
　振動波形加工部２３は、音声信号取得部２２により取得された音声信号の波形情報に基づいて、触覚コンテンツ取得部２１により取得された触覚コンテンツの波形情報を加工する。なお、触覚コンテンツ取得部２１により取得される触覚コンテンツの波形情報の全時間長と、音声信号取得部２２により取得される音声信号の波形情報の全時間長とが同じでない場合がある。この場合、振動波形加工部２３は、触覚コンテンツの波形情報を、その全時間長が音声信号の波形情報の全時間長と同じとなるように前加工をした上で、後述する本加工を行う。
　なお、前加工は、例えば、触覚コンテンツ取得部２１により取得された触覚コンテンツの波形情報を繰り返し繋げていき、音声信号の波形情報の全時間長と同じになったところでカットする処理とすることが可能である。あるいは、前加工は、触覚コンテンツ取得部２１により取得された触覚コンテンツの波形情報のピッチを伸長する処理としてもよい。ただし、触覚コンテンツの波形情報のピッチを変えると、触覚コンテンツが有するメッセージ性が変わってしまう可能性があるので、前者の方法を用いるのが好ましい。
　なお、触覚コンテンツ取得部２１により取得される触覚コンテンツの波形情報の全時間長と、音声信号取得部２２により取得される音声信号の波形情報の全時間長とを必ずしも合わせなくてもよい。例えば、音声信号の波形情報の全時間長のうち、特定の区間に対してのみ触覚コンテンツの波形情報を組み合わせて音響コンテンツを生成するようにしてもよい。この場合、振動波形加工部２３は、触覚コンテンツの波形情報を、音声信号の波形情報の全時間長の中の特定の区間に同期させるように前加工をした上で、後述する本加工を行う。
　音響コンテンツ生成部２４は、音声信号取得部２２により取得された音声信号と、振動波形加工部２３により加工された触覚コンテンツとの組み合わせにより音響コンテンツを生成する。例えば、音響コンテンツ生成部２４は、音声信号取得部２２により取得された音声信号を第１チャネル情報とし、振動波形加工部２３により加工された触覚コンテンツを第２チャネル情報とする音響コンテンツを生成する。
　音響コンテンツの詳細については後述するとして、以下に、振動波形加工部２３が行う本加工の詳細を説明する。図９は、振動波形加工部２３の機能構成例を示すブロック図であり、振動波形加工部２３が触覚コンテンツの波形情報に対して本加工を行うため機能構成例を示している。図９に示すように、振動波形加工部２３は、その機能構成として、特徴抽出部２３Ａ、重み情報生成部２３Ｂおよび重み加工部２３Ｃを備えている。
　特徴抽出部２３Ａは、音声信号取得部２２により取得された音声信号の波形情報において、他の箇所の区別し得る複数の特徴箇所を抽出する。例えば、特徴抽出部２３Ａは、音声信号取得部２２により取得された音声信号の波形情報において、所定時間の間に振幅値が所定値以上大きくなる箇所を特徴箇所として抽出する。
　重み情報生成部２３Ｂは、特徴抽出部２３Ａにより抽出された複数の特徴箇所に基づいて、隣接する特徴箇所の時間区間において経時的に値が変化する重み情報を生成する。例えば、重み情報生成部２３Ｂは、特徴抽出部２３Ａにより抽出された複数の特徴箇所に基づいて、一の特徴箇所が抽出された時間から次の特徴箇所が抽出された時間まで値が経時的に徐々に小さくなる重み情報を生成する。
　図１０は、特徴抽出部２３Ａおよび重み情報生成部２３Ｂの処理内容を説明するための図である。ここで、図１０（ａ）は、音声信号取得部２２により取得された音声信号の波形情報を示している。図１０（ｂ）は、触覚コンテンツ取得部２１により取得された触覚コンテンツの波形情報に対し、重み情報生成部２３Ｂにより生成される重み情報を模式的に重ねて示した状態を示している。ここでは、触覚コンテンツの波形情報を、その全時間長が音声信号の波形情報の全時間長と同じとなるように前加工した後の波形情報を示している。
　特徴抽出部２３Ａは、図１０（ａ）に示す音声信号の波形情報において、所定時間（例えば、０．１秒）の間に振幅値が所定値以上大きくなる箇所を複数の特徴箇所Ｆ１，Ｆ２，Ｆ３，・・・として抽出する。すなわち、特徴抽出部２３Ａは、音声信号の波形情報の振幅値が急激に大きくなる箇所を特徴箇所Ｆ１，Ｆ２，Ｆ３，・・・として抽出する。
　重み情報生成部２３Ｂは、特徴抽出部２３Ａにより抽出された複数の特徴箇所Ｆ１，Ｆ２，Ｆ３，・・・に基づいて、一の特徴箇所Ｆｉ（ｉ＝１，２，・・・）が抽出された時間から、次の特徴箇所Ｆｉ＋１が抽出された時間まで、値が経時的に徐々に小さくなる重み情報を生成する。この重み情報は、重み値（何れも正の値）が最小値から最大値までの間をとる情報であり、図１０（ｂ）においてノコギリ波として模式的に示されている。
　図１０（ｂ）の例では、一の特徴箇所Ｆｉが抽出された時間において重み値が最大となり、そこから線形的あるいは段階的に値が経時的に徐々に小さくなり、次の特徴箇所Ｆｉ＋１が抽出された時間において重み値が再び最大となるような重み情報を生成している。ここで、重み情報生成部２３Ｂは、一の特徴箇所Ｆｉが抽出された時間において重み値が最大となり、次の特徴箇所Ｆｉ＋１が抽出された時間に達する時点で重み値がちょうど最小値となるような重み情報を生成している。
　なお、ここに示した重み情報の生成処理は一例であり、これに限定されるものではない。例えば、図１０（ｂ）では、重み値が一定の割合で直線的に徐々に小さくなる例を示したが、一の特徴箇所Ｆｉが抽出された時間から次の特徴箇所Ｆｉ＋１が抽出された時間まで、所定の２次関数あるいは対数関数などに従って値が曲線的に徐々に小さくなるような重み情報を生成するようにしてもよい。
　また、重み値が徐々に小さくなる割合（ノコギリ波で示される斜線部の傾斜角）を、どの区間も同じとするようにしてもよい。この場合、一の特徴箇所Ｆｉと次の特徴箇所Ｆｉ＋１との間が長い区間があると、次の特徴箇所Ｆｉ＋１に至る前に重み値が最小値に達する。この場合、重み情報生成部２３Ｂは、例えば、重み値が最小値に達した後、次の特徴箇所Ｆｉ＋１に至るまで、重み値が最小値に固定するような重み情報を生成する。
　また、重み値の最大値と最小値とを固定せず、所定の条件に応じて変動する変動値とするようにしてもよい。例えば、特徴箇所における振幅値の大きさに応じて、重み値の最大値を可変とするようにしてもよい。この場合、重み情報生成部２３Ｂは、一の特徴箇所Ｆｉにおける振幅値が大きいほど重み値が大きくなるようにし、そこから次の特徴箇所Ｆｉ＋１まで値が徐々に小さくなるような重み情報を生成する。このようにすれば、所定時間の間に振幅値が所定値以上大きくなる複数の特徴箇所Ｆｉのうち、その特徴箇所Ｆｉの振幅値が大きいほど大きな重み値が設定されるようになる。
　重み加工部２３Ｃは、触覚コンテンツ取得部２１により取得された触覚コンテンツ（振動波形加工部２３により前加工の処理が行われた触覚コンテンツを含む。以下同様）の波形情報を、重み情報生成部２３Ｂにより生成された重み情報によって加工する。例えば、重み加工部２３Ｃは、触覚コンテンツの波形情報の振幅値に対して重み情報の重み値を乗算することにより、触覚コンテンツの波形情報を加工する。
　すなわち、重み加工部２３Ｃは、図１０（ｂ）に示している触覚コンテンツの波形情報の各時間における振幅値に対し、同じく図１０（ｂ）にノコギリ波として模式的に示している各時間における重み値を乗算する。図１０（ｂ）において、触覚コンテンツの波形情報と重み情報とを重ねて示しているのは、各時刻における波形情報の振幅値と、これに対して乗算する重み値との対応関係を明示するためである。
　なお、音声信号の波形情報の全時間長のうち、特定区間における音声信号の波形情報に対してのみ触覚コンテンツの波形情報を組み合わせて音響コンテンツを生成する場合、特徴抽出部２３Ａ、重み情報生成部２３Ｂおよび重み加工部２３Ｃは、当該特定区間においてのみ各処理を実行すればよい。すなわち、特徴抽出部２３Ａは、特定区間においてのみ音声信号の特徴領域を抽出すればよい。また、重み情報生成部２３Ｂは、特定区間においてのみ重み情報を生成すればよい。また、重み加工部２３Ｃは、特定区間においてのみ、当該特定区間の音声信号の波形情報に同期する触覚コンテンツの波形情報の振幅値に対して重み値を乗算すればよい。
　上述したように、音響コンテンツ生成部２４は、以上のようにして振動波形加工部２３により加工された触覚コンテンツを第２チャネル情報とし、音声信号取得部２２により取得された音声信号を第１チャネル情報とする組み合わせにより音響コンテンツを生成する。図１１は、音響コンテンツ生成部２４により生成される音響コンテンツを示す図である。図１１（ａ）は、音声信号取得部２２により取得された音声信号の波形情報（第１チャネル情報）を示し、図１１（ｂ）は、動波形加工部２３により加工された触覚コンテンツの波形情報（第２チャネル情報）を示している。図１１（ａ）に示す音声信号の波形情報は、図１０（ａ）に示す音声信号の波形情報と同じである。
　なお、音声信号取得部２２により取得される音声信号がモノラルの音声信号である場合は、上述したように、図１０（ａ）に示す音声信号の波形情報（音響コンテンツの波形情報を加工する重み情報を生成するために特徴箇所の抽出対象とする音声信号の波形情報）と、図１１（ａ）に示す音声信号の波形情報（音響コンテンツの第１チャネル情報を構成する音声信号の波形情報）とは同じになる。
　一方、音声信号取得部２２により取得される音声信号がステレオの音声信号である場合は、図１０（ａ）に示す音声信号の波形情報と、図１１（ａ）に示す音声信号の波形情報とを同じとしてもよいが、必ずしも同じとする必要はない。例えば、特徴箇所の抽出対象とする音声信号は左チャネルの音声信号とし、音響コンテンツの第１チャネル情報を構成する音声信号は右チャネルの音声信号としてもよい。もちろん、その逆でもよい。
　前者の場合、特徴抽出部２３Ａが左チャネルの音声信号の波形情報から複数の特徴箇所を抽出し、重み情報生成部２３Ｂがその特徴箇所に基づいて重み情報を生成し、重み加工部２３Ｃがその重み情報によって触覚コンテンツの波形情報を加工することにより、触覚コンテンツの波形情報（第２チャネル情報）を生成する。そして、音響コンテンツ生成部２４は、以上のようにして振動波形加工部２３により加工された触覚コンテンツと、音声信号取得部２２により取得された右チャネルの音声信号との組み合わせにより音響コンテンツを生成する。
　以上のようにして生成される音響コンテンツは、２つ以上の異なる触質コンテンツ（振動情報）の組み合わせから成るパターンの繰り返しによって構成される触覚コンテンツと、任意の音声信号との組み合わせから構成されるものである。しかも、音声信号に組み合わされる触覚コンテンツは、当該音声信号の特徴箇所と同期する態様で重み値が変動する重み情報によって波形の振幅値が加工された触覚コンテンツである。このため、この音響コンテンツを所定の振動伝達媒体を通じて人に伝達することにより、音声信号に基づき再生される音声を提供するのと同時に、その音声の特徴と同期した触覚コンテンツの振動によって触覚のメッセージ性（物語性）を明確に伝えることができる。
　なお、上記実施形態では、音声信号取得部２２が取得する音声信号は任意であり、触覚コンテンツ取得部２１が取得する触覚コンテンツと音声信号との関係性については特に言及していないが、例えば以下のようにすることが可能である。すなわち、触覚コンテンツは、図５に示す触覚コンテンツ生成装置１００’により生成する。このとき、対象情報入力部１３が入力する時系列の波形情報として、音声信号取得部２２により取得される音声信号の波形情報と同じ波形情報を、触質変換対象の情報として入力する。換言すると、対象情報入力部１３が、音声信号取得部２２により取得される音声信号の波形情報と同じ波形情報を触質変換対象の情報として入力し、これによって走行経路設定装置１００’により生成された触覚コンテンツを触覚コンテンツ取得部２１が取得するようにする。
　このようにすれば、音声信号に組み合わされる触覚コンテンツが、当該音声信号自身の特徴要素である触質パラメータ（分割区間の振幅および分割区間の時間の長さ）に基づき生成され、かつ、当該音声信号自身から抽出される特徴箇所に基づき生成される重み情報によって波形の振幅値が加工されたものとなる。このため、音声信号自体がもともと有している音声によるメッセージ性と、当該音声信号が持つ特徴に基づき生成される触覚コンテンツの振動によるメッセージ性とが相まって人に伝わるようになる。これにより、相乗効果によってメッセージ性が人に強く伝わるようにすることができる。
　図１２は、上記のように構成した本実施形態による音響コンテンツ生成装置２００の動作例を示すフローチャートである。まず、触覚コンテンツ取得部２１は、触覚コンテンツ記憶部２０１から触覚コンテンツを取得する（ステップＳ２１）。ここで取得する触覚コンテンツは、図１または図５の触覚コンテンツ生成装置１００，１００’によって、振動情報である触質コンテンツから生成されたものである。
　次に、音声信号取得部２２は、音声信号記憶部２０２から音声信号を取得する（ステップＳ２２）。ここで、振動波形加工部２３は、必要に応じて、触覚コンテンツ取得部２１により取得された触覚コンテンツの波形情報に対して所定の前加工を行う（ステップＳ２３）。上述したように、前加工とは、触覚コンテンツの波形情報を、その全時間長が音声信号の波形情報の全時間長と同じとなるようにする処理、あるいは、触覚コンテンツの波形情報を、音声信号の波形情報の全時間長の中の特定の区間に同期させるようにする処理である。
　触覚コンテンツの波形情報に対する前加工が終わると、振動波形加工部２３の特徴抽出部２３Ａは、音声信号取得部２２により取得された音声信号の波形情報において、所定時間の間に振幅値が所定値以上大きくなる複数の箇所を特徴箇所として抽出する（ステップＳ２４）。また、重み情報生成部２３Ｂは、特徴抽出部２３Ａにより抽出された複数の特徴箇所に基づいて、一の特徴箇所が抽出された時間から次の特徴箇所が抽出された時間まで値が経時的に徐々に小さくなる重み情報を生成する（ステップＳ２５）。
　次いで、重み加工部２３Ｃは、ステップＳ２１で触覚コンテンツ取得部２１により取得された触覚コンテンツの波形情報（ステップＳ２３で前加工が行われた場合は、当該前加工後の波形情報）を、重み情報生成部２３Ｂにより生成された重み情報によって加工する（ステップＳ２６）。すなわち、重み加工部２３Ｃは、触覚コンテンツの波形情報の各時間における振幅値に対して、重み情報の各時間における重み値を乗算することにより、触覚コンテンツの波形情報を加工する。
　以上のようにして触覚コンテンツの波形情報に対する加工が終了すると、音響コンテンツ生成部２４は、ステップＳ２２で音声信号取得部２２により取得された音声信号と、ステップＳ２６で重み加工部２３Ｃにより加工された触覚コンテンツとの組み合わせにより音響コンテンツを生成する（ステップＳ２７）。これにより、図１２に示すフローチャートの処理が終了する。
　なお、特徴抽出部２３Ａが音声信号の波形情報から抽出する複数の特徴箇所は、上記実施形態に示した例に限定されない。例えば、特徴抽出部２３Ａは、音声信号取得部２２により取得された音声信号の波形情報において、振幅値が所定値以上となる箇所を特徴箇所として抽出するようにしてもよい。あるいは、音声信号の波形情報を時間ごとに周波数解析し、含まれる周波数成分が急激に変わる箇所を特徴箇所として抽出するようにしてもよい。あるいは、音声信号の波形情報に対して図６と同様の解析を行い、ｈ／ｔの値が急激に変わる箇所を特徴箇所として抽出するようにしてもよい。
　また、上記実施形態では、重み情報生成部２３Ｂは、一の特徴箇所Ｆｉが抽出された時間から次の特徴箇所Ｆｉ＋１が抽出された時間まで値が徐々に小さくなるような重み情報を生成したが、本発明はこれに限定されない。例えば、特徴抽出部２３Ａが、音声信号の波形情報において所定時間の間に振幅値が急激に小さくなる箇所を特徴箇所として抽出するようにし、重み情報生成部２３Ｂが、一の特徴箇所Ｆｉが抽出された時間から次の特徴箇所Ｆｉ＋１が抽出された時間まで値が徐々に大きくなるような重み情報を生成するようにしてもよい。
　また、上記実施形態では、音声信号を第１チャネル情報とし、触覚コンテンツを第２チャネル情報とする音響コンテンツを生成する例について説明したが、本発明はこれに限定されない。例えば、上記２つのチャネル情報に加えて、３つ目あるいはそれ以上の数のチャネル情報を含めて音響コンテンツを生成するようにしてもよい。
　その一例として、左チャネルの音声信号を第１チャネル情報、触覚コンテンツを第２チャネル情報、右チャネルの音声信号を第３チャネル情報とする音響コンテンツを生成するようにしてもよい。別の例として、音声付きの動画に含まれる音声信号を第１チャネル情報、触覚コンテンツを第２チャネル情報、映像信号を第３チャネル情報とする音響コンテンツを生成するようにしてもよい。
　後者の例の場合、例えば図１３のように音響コンテンツ生成装置２００’を構成することが可能である。図１３に示す音響コンテンツ生成装置２００’は、図８に示した音声信号取得部２２および音響コンテンツ生成部２４に代えて、動画信号取得部２５および音響コンテンツ生成部２４’を備える。また、図１３に示す音響コンテンツ生成装置２００’には、図８に示した音声信号記憶部２０２に代えて、動画信号記憶部２０３が接続される。
　動画信号取得部２５は、動画信号記憶部２０３に記憶された動画信号を取得する。振動波形加工部２３は、動画信号取得部２５により取得された動画信号に含まれる音声信号の波形情報に基づいて、触覚コンテンツ取得部２１により取得された触覚コンテンツの波形情報を加工する。音響コンテンツ生成部２４’は、動画信号取得部２５により取得された動画信号に含まれる音声信号および映像信号と、振動波形加工部２３により加工された触覚コンテンツとの組み合わせにより、上述した３つのチャネル情報から成る音響コンテンツを生成する。
（音響再生装置）
　次に、本発明の音響再生装置に関する一実施形態を図面に基づいて説明する。
　図１４は、本実施形態による音響再生装置３００の機能構成例を示す機能ブロック図である。図１４に示すように、本実施形態の音響再生装置３００は、その機能構成として、音響コンテンツ取得部３１、音声出力制御部３２および振動出力制御部３３を備えている。また、本実施形態の音響再生装置３００には、音響コンテンツ記憶部３０１、スピーカ３０２および振動伝達媒体３０３が接続されている。
　上記各機能ブロック３１～３３は、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック３１～３３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
　音響コンテンツ記憶部３０１は、図８のように構成した音響コンテンツ生成装置２００により生成された音響コンテンツを記憶する。音声信号記憶部２０２が記憶する触覚コンテンツは、図８の音声信号取得部２２により取得された音声信号を第１チャネル情報とし、振動波形加工部２３により加工された触覚コンテンツを第２チャネル情報とする、２種類の波形情報の組み合わせである。
　なお、音響コンテンツ記憶部３０１は、図８に示した音響コンテンツ生成装置２００が内部に備える記憶媒体であってもよいし、音響コンテンツ生成装置２００の外部にあるパーソナルコンピュータやスマートフォン、タブレット端末などの情報処理機器、あるいはリムーバル記憶媒体であってもよい。また、音響コンテンツ記憶部３０１は、音響再生装置３００に通信ネットワークを介して接続された外部機器（例えば、外部ストレージ、サーバなど）であってもよい。
　音響コンテンツ取得部３１は、音響コンテンツ記憶部３０１から音響コンテンツを取得する。音声出力制御部３２は、音響コンテンツ取得部３１により取得された音響コンテンツに第１チャネル情報として含まれる音声信号に基づいて音声をスピーカ３０２から出力するように、音声信号の再生を制御する。振動出力制御部３３は、音響コンテンツ取得部３１により取得された音響コンテンツに第２チャネル情報として含まれる触覚コンテンツに基づいて所定の振動伝達媒体３０３に振動を与えるように、触覚コンテンツの再生を制御する。
　ここで、振動伝達媒体３０３は、触覚コンテンツの波形情報を与えたときに振動するものであれば何でもよいが、使用時にユーザの体に触れるものであることが必要である。例えば、マッサージ器の揉み玉、美顔器、ヘアブラシの柄、電動歯ブラシ、玩具、ゲーム機のコントローラ、振動フィードバック付きタッチパネル、携帯電話のバイブレータ、振動アラーム、衣類、ベッド、寝具、家具、建具など、その他人体が触れることのある各種機器などを振動伝達媒体３０３として用いることが可能である。この中でも特に、音声の出力と同時に振動を付与することに意義のあるものを振動伝達媒体３０３として用いるのが好ましい。
　例えば、心身のリラクゼーション効果が期待される音楽の音声信号に基づいてスピーカ３０２から音声を出力すると同時に、リラクゼーション効果が期待されるメッセージ性を持った触覚コンテンツの波形情報に基づいて振動をマッサージ器の揉み玉（振動伝達媒体３０３）に付与するといった実施形態が考えられる。また、心身のリラクゼーション効果が期待される音楽の音声信号に基づいてスピーカ３０２から音声を出力すると同時に、リラクゼーション効果が期待されるメッセージ性を持った触覚コンテンツの波形情報に基づいて振動を美顔器のフェイスマスク（振動伝達媒体３０３）に付与するといった実施形態も考えられる。
　その他、ヘアブラシの柄、電動歯ブラシ、玩具、ゲーム機のコントローラ、振動フィードバック付きタッチパネル、携帯電話のバイブレータ、振動アラーム、衣類、ベッド、寝具、家具、建具などに関しても、使用時の状況やユーザの希望設定に応じた効果音をスピーカ３０２から出力すると同時に、その効果音が持つメッセージ性に同調するようなメッセージ性を持った触覚コンテンツの波形情報に基づいて振動を付与するといった実施形態も有用である。
　以上のように構成した音響再生装置３００によれば、スピーカ３０２から出力される音声自体がもともと有しているメッセージ性と、振動伝達媒体３０３に付与される触覚コンテンツの振動によるメッセージ性とが相まって人に伝わるようになる。これにより、スピーカ３０２から出力する音声によってユーザに所定の意味やメッセージを与えつつ、その意味やメッセージに同調するような振動を振動伝達媒体３０３に付与することによって、当該意味やメッセージがユーザに強く伝わるような感覚をユーザに与えることができる。
　なお、上記実施形態では、スピーカ３０２と振動伝達媒体３０３とが完全に別体として構成される例について説明したが、本発明はこれに限定されない。例えば、美顔器のフェイスマスクを振動伝達媒体３０３として用いるとともに、当該フェイスマスクをスピーカ３０２のコーン（振動板）としても兼用するようにしてもよい。すなわち、振動出力制御部３３によって振動させるマスク面（振動伝達媒体３０３）を、音声出力制御部３２によって音声を出力するスピーカ３０２の振動板として機能させるようにしてもよい。
　このようにすると、音声信号の波形情報に応じた振動をマスクに与え、マスク全体を振動させることにより、マスクをスピーカ３０２のコーン代わりとして放音することができる。これにより、マスクを装着しているユーザは、マスク全体から音声が聞こえてくるような体感を得ることができる。これと同時に、触覚コンテンツの波形情報に応じた振動もマスクに与えられるので、所定の感覚をユーザにイメージさせることができる。所定の感覚とは、音を聞いたときに感じる聴感（緩やか、激しい、リズミカルなど）であってもよいし、物に触れたときに感じる触感（柔らかい、硬いなど）であってもよい。このようにすれば、振動出力制御部３３によりマスクに付与される触覚コンテンツの振動によってユーザに所定の感覚を与えつつ、音声出力制御部３２により出力される音声信号の振動によってマスク全体から音声が聞こえてくるような体感をユーザに与えることができる。
　また、上記実施形態では、音声信号を第１チャネル情報とし、触覚コンテンツを第２チャネル情報とする音響コンテンツを音響コンテンツ記憶部３０１から取得する例について説明したが、本発明はこれに限定されない。例えば、上述したように、動画における音声信号を第１チャネル情報、触覚コンテンツを第２チャネル情報、映像信号を第３チャネル情報とする音響コンテンツ（すなわち、図１３の構成により生成される音響コンテンツ）を取得するようにしてもよい。
　この場合、音声出力制御部３２が、音響コンテンツに第１チャネル情報として含まれる音声信号に基づいて音声をスピーカ３０２から出力するように音声信号の再生を制御し、振動出力制御部３３が、音響コンテンツに第２チャネル情報として含まれる触覚コンテンツに基づいて所定の振動伝達媒体３０３に振動を与えるように触覚コンテンツの再生を制御し、図示しない映像出力制御部が、音響コンテンツに第３チャネル情報として含まれる映像信号に基づいて映像を図示しないディスプレイに出力するように映像信号の再生を制御する。
　その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　１０　触質コンテンツ記憶部
　１１，１１’　触質コンテンツ抽出部
　１２　触覚コンテンツ生成部
　１３　対象情報入力部
　１４　触質パラメータ特定部
　２１　触覚コンテンツ取得部
　２２　音声信号取得部
　２３　振動波形加工部
　２３Ａ　特徴抽出部
　２３Ｂ　重み情報生成部
　２３Ｃ　重み加工部
　２４，２４’　音響コンテンツ生成部
　２５　動画信号取得部
　３１　音響コンテンツ取得部
　３２　音声出力制御部
　３３　振動出力制御部
　１００，１００’　触覚コンテンツ生成装置
　２００，２００’　音響コンテンツ生成装置
　３００　音響再生装置
　３０２　スピーカ
　３０３　振動伝達媒体

Claims (19)

  1. 　それぞれが触感の一要素を表したｎ個（ｎ≧２）の触質パラメータにより特定される固有の触覚効果を持った触質コンテンツを、上記ｎ個の触質パラメータの組み合わせに対応付けて記憶する触質コンテンツ記憶部と、
    　上記ｎ個の触質パラメータの組み合わせを複数組順に指定して、当該指定した複数組の組み合わせに対応する複数の触質コンテンツを上記触質コンテンツ記憶部から順に抽出する触質コンテンツ抽出部と、
    　上記触質コンテンツ抽出部により順に抽出された上記複数の触質コンテンツが、２つ以上の異なる触質コンテンツの組み合わせから成るパターンの繰り返しを有するか否かを判定し、繰り返しを構成している触質コンテンツ群を抽出し、これを触覚コンテンツとして生成する触覚コンテンツ生成部とを備えたことを特徴とする触覚コンテンツ生成装置。
  2. 　触質変換対象の情報を入力する対象情報入力部と、
    　上記対象情報入力部により入力された対象情報を複数に分割し、それぞれの分割区間から、情報の強度に関する触質パラメータおよび分割区間の長さに関する触質パラメータの少なくとも一方について、上記ｎ個の触質パラメータを特定する触質パラメータ特定部とを更に備え、
    　上記触質コンテンツ抽出部は、上記触質パラメータ特定部により上記それぞれの分割区間から特定された上記ｎ個の触質パラメータの組み合わせを順に指定して、当該指定した複数組の組み合わせに対応する複数の触質コンテンツを上記触質コンテンツ記憶部から順に抽出することを特徴とする請求項１に記載の触覚コンテンツ生成装置。
  3. 　触質変換対象の情報を入力する対象情報入力部と、
    　上記対象情報入力部により入力された１種の対象情報を複数に分割し、それぞれの分割区間から、情報の強度に関する触質パラメータおよび分割区間の長さに関する触質パラメータを特定することにより、２個の触質パラメータの組み合わせを複数組特定する触質パラメータ特定部とを更に備え、
    　上記触質コンテンツ抽出部は、上記触質パラメータ特定部により上記それぞれの分割区間から特定された上記２個の触質パラメータの組み合わせを順に指定して、当該指定した複数組の組み合わせに対応する複数の触質コンテンツを上記触質コンテンツ記憶部から順に抽出することを特徴とする請求項１に記載の触覚コンテンツ生成装置。
  4. 　触質変換対象の情報を入力する対象情報入力部と、
    　上記対象情報入力部により入力された複数種の対象情報をそれぞれ複数に分割し、上記複数種の対象情報のそれぞれの分割区間から、情報の強度に関する触質パラメータおよび分割区間の長さに関する触質パラメータの少なくとも一方を特定することにより、上記ｎ個の触質パラメータの組み合わせを複数組特定する触質パラメータ特定部とを更に備え、
    　上記触質コンテンツ抽出部は、上記触質パラメータ特定部により上記それぞれの分割区間から特定された上記ｎ個の触質パラメータの組み合わせを順に指定して、当該指定した複数組の組み合わせに対応する複数の触質コンテンツを上記触質コンテンツ記憶部から順に抽出することを特徴とする請求項１に記載の触覚コンテンツ生成装置。
  5. 　強度に相当する値が連続的または断続的に連なって成る対象情報を入力する対象情報入力部と、
    　上記対象情報入力部により入力された上記対象情報を複数に分割し、それぞれの分割区間から、分割区間内の代表強度を上記第１の触質パラメータとして特定するとともに、上記分割区間の長さを上記第２の触質パラメータとして特定する触質パラメータ特定部とを備え、
    　上記触質コンテンツ抽出部は、上記触質パラメータ特定部により上記それぞれの分割区間から特定された上記第１の触質パラメータおよび上記第２の触質パラメータの組み合わせを順に指定して、当該指定した複数組の組み合わせに対応する複数の触質コンテンツを上記触質コンテンツ記憶部から順に抽出することを特徴とする請求項１に記載の触覚コンテンツ生成装置。
  6. 　上記触質コンテンツは、振動情報であることを特徴とする請求項１～５の何れか１項に記載の触覚コンテンツ生成装置。
  7. 　上記触質コンテンツは、アクチュエータの駆動情報であることを特徴とする請求項１～５の何れか１項に記載の触覚コンテンツ生成装置。
  8. 　上記触質コンテンツは、材質情報であることを特徴とする触請求項１～５の何れか１項に記載の触覚コンテンツ生成装置。
  9. 　それぞれが触感の一要素を表したｎ個（ｎ≧２）の触質パラメータにより特定される固有の触覚効果を持った触質コンテンツを、上記ｎ個の触質パラメータの組み合わせに対応付けて記憶する触質コンテンツ記憶部を備えたコンピュータにおいて、触覚コンテンツを生成するための方法であって、
    　上記コンピュータの触質コンテンツ抽出部が、上記ｎ個の触質パラメータの組み合わせを複数組順に指定して、当該指定した複数組の組み合わせに対応する複数の触質コンテンツを上記触質コンテンツ記憶部から順に抽出する第１のステップと、
    　上記コンピュータの触覚コンテンツ生成部が、上記触質コンテンツ抽出部により順に抽出された上記複数の触質コンテンツが、２つ以上の異なる触質コンテンツの組み合わせから成るパターンの繰り返しを有するか否かを判定し、繰り返しを構成している触質コンテンツ群を抽出し、これを触覚コンテンツとして生成する第２のステップとを有することを特徴とする触覚コンテンツ生成方法。
  10. 　請求項６に記載の触覚コンテンツ生成装置により振動情報である触質コンテンツから生成された触覚コンテンツを取得する触覚コンテンツ取得部と、
    　任意の音声信号を取得する音声信号取得部と、
    　上記音声信号取得部により取得された上記音声信号の波形情報に基づいて、上記触覚コンテンツ取得部により取得された上記触覚コンテンツの波形情報を加工する振動波形加工部と、
    　上記音声信号取得部により取得された上記音声信号および上記振動波形加工部により加工された上記触覚コンテンツの組み合わせにより音響コンテンツを生成する音響コンテンツ生成部とを備えたことを特徴とする音響コンテンツ生成装置。
  11. 　上記振動波形加工部は、
    　上記音声信号取得部により取得された上記音声信号の波形情報において、他の箇所の区別し得る複数の特徴箇所を抽出する特徴抽出部と、
    　上記特徴抽出部により抽出された上記複数の特徴箇所に基づいて、隣接する特徴箇所の時間区間において経時的に値が変化する重み情報を生成する重み情報生成部と、
    　上記触覚コンテンツ取得部により取得された上記触覚コンテンツの波形情報を、上記重み情報生成部により生成された上記重み情報によって加工する重み加工部とを備えたことを特徴とする請求項１０に記載の音響コンテンツ生成装置。
  12. 　上記特徴抽出部は、上記音声信号取得部により取得された上記音声信号の波形情報において、所定時間の間に振幅値が所定値以上大きくなる箇所を上記特徴箇所として抽出することを特徴とする請求項１１に記載の音響コンテンツ生成装置。
  13. 　上記重み情報生成部は、上記特徴抽出部により抽出された上記複数の特徴箇所に基づいて、一の特徴箇所が抽出された時間から次の特徴箇所が抽出された時間まで値が経時的に徐々に小さくなる重み情報を生成することを特徴とする請求項１２に記載の音響コンテンツ生成装置。
  14. 　上記触覚コンテンツ取得部は、請求項６が従属する請求項４に記載の触覚コンテンツ生成装置により、上記音声信号取得部により取得される上記音声信号の波形情報と同じ波形情報を触質変換対象の情報として入力することによって生成された上記触覚コンテンツの波形情報を取得することを特徴とする請求項１０～１３の何れか１項に記載の音響コンテンツ生成装置。
  15. 　上記音響コンテンツ生成部は、上記音声信号取得部により取得された上記音声信号を第１チャネル情報とし、上記振動波形加工部により加工された上記触覚コンテンツを第２チャネル情報として含む上記音響コンテンツを生成することを特徴とする請求項１０～１４の何れか１項に記載の音響コンテンツ生成装置。
  16. 　上記音声信号取得部に代えて、任意の動画信号を取得する動画信号取得を備え、
    　上記振動波形加工部は、上記動画信号取得部により取得された上記動画信号に含まれる音声信号の波形情報に基づいて、上記触覚コンテンツ取得部により取得された上記触覚コンテンツの波形情報を加工し、
    　上記音響コンテンツ生成部は、上記動画信号取得部により取得された上記動画信号に含まれる音声信号および映像信号と、上記振動波形加工部により加工された上記触覚コンテンツとの組み合わせにより上記音響コンテンツを生成することを特徴とする請求項１０に記載の音響コンテンツ生成装置。
  17. 　コンピュータの触覚コンテンツ取得部が、請求項６に記載の触覚コンテンツ生成装置により振動情報である触質コンテンツから生成された触覚コンテンツを取得する第１のステップと、
    　上記コンピュータの音声信号取得部が、任意の音声信号を取得する第２のステップと、
    　上記コンピュータの振動波形加工部が、上記音声信号取得部により取得された上記音声信号の波形情報に基づいて、上記触覚コンテンツ取得部により取得された上記触覚コンテンツの波形情報を加工する第３のステップと、
    　上記コンピュータの音響コンテンツ生成部が、上記音声信号取得部により取得された上記音声信号および上記振動波形加工部により加工された上記触覚コンテンツの組み合わせにより音響コンテンツを生成する第４のステップとを有することを特徴とする音響コンテンツ生成方法。
  18. 　請求項１５に記載の音響コンテンツ生成装置により生成された音響コンテンツを取得する音響コンテンツ取得部と、
    　上記音響コンテンツ取得部により取得された上記音響コンテンツに第１チャネル情報として含まれる音声信号に基づいて音声をスピーカから出力するように、上記音声信号の再生を制御する音声出力制御部と、
    　上記音響コンテンツ取得部により取得された上記音響コンテンツに第２チャネル情報として含まれる触覚コンテンツに基づいて所定の振動伝達媒体に振動を与えるように、上記触覚コンテンツの再生を制御する振動出力制御部とを備えたことを特徴とする音響再生装置。
  19. 　請求項１６に記載の音響コンテンツ生成装置により生成された音響コンテンツを取得する音響コンテンツ取得部と、
    　上記音響コンテンツ取得部により取得された上記音響コンテンツに第１チャネル情報として含まれる音声信号に基づいて音声をスピーカから出力するように、上記音声信号の再生を制御する音声出力制御部と、
    　上記音響コンテンツ取得部により取得された上記音響コンテンツに第２チャネル情報として含まれる触覚コンテンツに基づいて所定の振動伝達媒体に振動を与えるように、上記触覚コンテンツの再生を制御する振動出力制御部と、
    　上記音響コンテンツ取得部により取得された上記音響コンテンツに第３チャネル情報として含まれる映像信号に基づいて映像をディスプレイに出力するように、上記映像信号の再生を制御する映像出力制御部とを備えたことを特徴とする音響再生装置。
PCT/JP2017/043744 2017-12-06 2017-12-06 触覚コンテンツ生成装置、音響コンテンツ生成装置、音響再生装置、触覚コンテンツ生成方法および音響コンテンツ生成方法 WO2019111340A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/043744 WO2019111340A1 (ja) 2017-12-06 2017-12-06 触覚コンテンツ生成装置、音響コンテンツ生成装置、音響再生装置、触覚コンテンツ生成方法および音響コンテンツ生成方法
JP2018507651A JP6322780B1 (ja) 2017-12-06 2017-12-06 触覚コンテンツ生成装置、音響コンテンツ生成装置、音響再生装置、触覚コンテンツ生成方法および音響コンテンツ生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/043744 WO2019111340A1 (ja) 2017-12-06 2017-12-06 触覚コンテンツ生成装置、音響コンテンツ生成装置、音響再生装置、触覚コンテンツ生成方法および音響コンテンツ生成方法

Publications (1)

Publication Number Publication Date
WO2019111340A1 true WO2019111340A1 (ja) 2019-06-13

Family

ID=62107356

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/043744 WO2019111340A1 (ja) 2017-12-06 2017-12-06 触覚コンテンツ生成装置、音響コンテンツ生成装置、音響再生装置、触覚コンテンツ生成方法および音響コンテンツ生成方法

Country Status (2)

Country Link
JP (1) JP6322780B1 (ja)
WO (1) WO2019111340A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897524A (zh) * 2020-07-06 2020-11-06 瑞声新能源发展(常州)有限公司科教城分公司 实现Haptics触觉效果的方法及系统
WO2021024788A1 (ja) * 2019-08-07 2021-02-11 ソニー株式会社 生成装置、生成方法、プログラム及び触覚提示デバイス

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003008687A (ja) * 2001-06-18 2003-01-10 Nec Viewtechnology Ltd 携帯電話装置およびその報知パターン作成方法ならびにその制御プログラム
JP2008220806A (ja) * 2007-03-15 2008-09-25 Kenwood Corp 振動発生装置及び振動発生方法
JP2011048023A (ja) * 2009-08-25 2011-03-10 Pioneer Electronic Corp 体感振動生成装置および体感振動生成方法
JP2016049438A (ja) * 2014-08-28 2016-04-11 岡崎　章 人の心理を定量的に測定する心理量測定装置と測定方法
JP2017532648A (ja) * 2014-09-02 2017-11-02 アップル インコーポレイテッド 触覚通知

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003008687A (ja) * 2001-06-18 2003-01-10 Nec Viewtechnology Ltd 携帯電話装置およびその報知パターン作成方法ならびにその制御プログラム
JP2008220806A (ja) * 2007-03-15 2008-09-25 Kenwood Corp 振動発生装置及び振動発生方法
JP2011048023A (ja) * 2009-08-25 2011-03-10 Pioneer Electronic Corp 体感振動生成装置および体感振動生成方法
JP2016049438A (ja) * 2014-08-28 2016-04-11 岡崎　章 人の心理を定量的に測定する心理量測定装置と測定方法
JP2017532648A (ja) * 2014-09-02 2017-11-02 アップル インコーポレイテッド 触覚通知

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021024788A1 (ja) * 2019-08-07 2021-02-11 ソニー株式会社 生成装置、生成方法、プログラム及び触覚提示デバイス
CN111897524A (zh) * 2020-07-06 2020-11-06 瑞声新能源发展(常州)有限公司科教城分公司 实现Haptics触觉效果的方法及系统
CN111897524B (zh) * 2020-07-06 2022-04-29 瑞声新能源发展(常州)有限公司科教城分公司 实现Haptics触觉效果的方法及系统

Also Published As

Publication number Publication date
JPWO2019111340A1 (ja) 2019-12-12
JP6322780B1 (ja) 2018-05-09

Similar Documents

Publication Publication Date Title
US10699538B2 (en) Method and system for determining and providing sensory experiences
Remache-Vinueza et al. Audio-tactile rendering: a review on technology and methods to convey musical information through the sense of touch
JP6322780B1 (ja) 触覚コンテンツ生成装置、音響コンテンツ生成装置、音響再生装置、触覚コンテンツ生成方法および音響コンテンツ生成方法
JP6477300B2 (ja) 音源装置
Mullen et al. MindMusic: playful and social installations at the interface between music and the brain
Holland et al. Haptics for the development of fundamental rhythm skills, including multi-limb coordination
Donnarumma Music for Flesh II: informing interactive music performance with the viscerality of the body system.
WO2018139150A1 (ja) マスク型振動マッサージ装置
KR102212409B1 (ko) 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치
Barrett Creating tangible spatial-musical images from physical performance gestures.
WO2019244625A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP6383765B2 (ja) 触覚コンテンツ生成装置、触覚コンテンツ生成方法および触覚コンテンツ利用機器
JP5908025B2 (ja) 筋活動可聴化方法、筋活動可聴化装置およびプログラム
Altinsoy et al. Touchscreens and musical interaction
Erkut et al. 17 Heigh Ho: Rhythmicity in Sonic Interaction
JP2020078446A (ja) バイブレーション装置
JP6644293B1 (ja) コンテンツ供給装置、コンテンツ提供システム、コンテンツ提供サーバ装置、コンテンツ提供方法およびコンテンツ提供用プログラム
JP6401758B2 (ja) 触質コンテンツ生成装置、触質コンテンツ生成方法および触質コンテンツ利用機器
JP6660637B2 (ja) 触質情報処理装置および触質情報処理方法
WO2011155028A1 (ja) 体感振動装置
Paisa et al. Tactile displays for auditory augmentation–A scoping review and reflections on music applications for hearing impaired users
JP2019126516A (ja) バイブレーション装置
Eaton et al. BCMI systems for musical performance
Keenan et al. Evaluating a sonic interaction design based on a historic theatre sound effect
Knutzen Haptics in the Air-Exploring vibrotactile feedback for digital musical instruments with open air controllers

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018507651

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17934003

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 04/11/2020)

122 Ep: pct application non-entry in european phase

Ref document number: 17934003

Country of ref document: EP

Kind code of ref document: A1