WO2021214998A1 - 食感提示装置、食感提示方法、および食感提示プログラム - Google Patents
食感提示装置、食感提示方法、および食感提示プログラム Download PDFInfo
- Publication number
- WO2021214998A1 WO2021214998A1 PCT/JP2020/017758 JP2020017758W WO2021214998A1 WO 2021214998 A1 WO2021214998 A1 WO 2021214998A1 JP 2020017758 W JP2020017758 W JP 2020017758W WO 2021214998 A1 WO2021214998 A1 WO 2021214998A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- texture
- food
- presentation
- voice signal
- speaker
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/02—Synthesis of acoustic waves
-
- A—HUMAN NECESSITIES
- A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
- A23L—FOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
- A23L35/00—Food or foodstuffs not provided for in groups A23L5/00 – A23L33/00; Preparation or treatment thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2400/00—Loudspeakers
- H04R2400/03—Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
- H04R3/14—Cross-over networks
Definitions
- the present invention relates to a texture presentation device, a texture presentation method, and a texture presentation program.
- Non-Patent Document 1 describes a tactile device that records a tactile sensation and reproduces the tactile sensation.
- the present invention has been made in view of the above problems, and provides a texture presenting device, a texture presenting method, and a texture presenting program capable of presenting a texture even for foods that do not record chewing sounds.
- the purpose is to provide.
- One aspect of the present invention is a texture presenting device, which refers to a recipe of a selected food product, acquires an audio signal of the chewing sound of each food material contained in the food product from a database, and presents a texture texture to be presented.
- a texture presenting device which refers to a recipe of a selected food product, acquires an audio signal of the chewing sound of each food material contained in the food product from a database, and presents a texture texture to be presented.
- a synthesis unit for synthesizing the acquired audio signal of each food material and a presentation unit for presenting the texture of the food using the synthesized audio signal are provided.
- One aspect of the present invention is a texture presentation method performed by a texture presentation device, in which voice signals of chewing sounds of each foodstuff contained in the foodstuff are acquired from a database with reference to the recipe of the selected foodstuff.
- a synthesis step of synthesizing the acquired audio signal of each food material and a presentation step of presenting the texture of the food using the synthesized audio signal are performed.
- One aspect of the present invention is a texture presentation program that causes a computer to function as the texture presentation device.
- a texture presenting device capable of presenting a texture even if the food does not record a chewing sound.
- FIG. 1 is a block diagram showing a configuration of a texture presenting device 1 according to an embodiment of the present invention.
- the texture presenting device 1 of the present embodiment presents a virtual texture by using sound (auditory stimulus) and vibration (tactile stimulus). Sound and vibration can be generated from the audio signal of chewing sound.
- the illustrated texture presentation device 1 includes a selection unit 11, an output unit 12, a synthesis unit 13, a texture presentation unit 14, a texture database 15, and a recipe database 16.
- the selection unit 11 accepts the food selected by the user.
- the user selects a food to be presented with a texture and inputs it to the texture presenting device 1.
- the food may be a food containing only one ingredient (for example, apple, tofu, etc.) or a dish cooked using a plurality of ingredients (for example, curry rice).
- the output unit 12 acquires the voice signal of the selected food from the texture database 15 and outputs it to the texture presentation unit 14. When the voice signal of the selected food does not exist in the texture database 15, the output unit 12 sends identification information (food ID, food name) indicating the selected food to the synthesis unit 13.
- the synthesis unit 13 refers to the recipe of the food (selected food) designated by the output unit 12, acquires the audio signal of the chewing sound of each food material contained in the food from the texture database 15, and presents it. As the audio signal of the texture to be taken, the acquired audio signal of each food material is synthesized. The texture synthesis unit 13 outputs the synthesized voice signal to the output unit 12.
- the synthesis unit 13 may process each voice signal acquired from the texture database 15 according to the cooking method of the recipe, and synthesize the processed voice signal. In addition, the synthesis unit 13 may process each voice signal acquired from the texture database 15 according to the amount of each ingredient in the recipe, and synthesize the processed voice signal.
- the synthesis unit 13 may select a predetermined number of foodstuffs from all the foodstuffs contained in the foodstuff, and acquire only the selected predetermined number of voice signals from the texture database 15. For example, it is conceivable that the synthesis unit 13 selects a predetermined number of ingredients in order from the ingredients having the largest amount by referring to the recipe.
- the texture presentation unit 14 presents the texture of the selected food using the synthesized voice signal. Specifically, the texture presentation unit 14 presents the auditory stimulus and the tactile stimulus to the user by using the signal waveform of the voice signal transmitted from the output unit 12.
- the texture database 15 stores the voice signals of the chewing sounds of each of the plurality of foods.
- the chewing sounds of a plurality of foods are recorded in advance with a microphone and stored in the texture database 15.
- the recipe database 16 stores recipes for a plurality of foods.
- the recipe is data that describes how to make food (cooking).
- the recipe describes the required ingredients, their amount, cooking method, cooking procedure, and so on.
- FIG. 2 is a hardware configuration diagram showing an implementation example of the texture presentation device 1.
- the texture presentation device 1 shown in the figure includes a PC 21, a voice speaker 22, an amplifier 23, and a vibration speaker 24 as hardware.
- the PC 21 Personal Computer functions as a selection unit 11, an output unit 12, a synthesis unit 13, a texture database 15, and a recipe database 16 in FIG. Based on the input information of the user, the PC 21 outputs an audio signal of the food specified in the input information or an audio signal synthesized from the audio signal of the food material of the food. Using the output audio signal, the audio speaker 22 outputs sound to stimulate hearing, and the vibrating speaker 24 (oscillator) vibrates the face or the like to stimulate tactile sensation.
- the voice speaker 22 functions as the texture presentation unit 14 (auditory stimulus presentation unit) in FIG. That is, the voice speaker 22 presents the voice signal output from the PC 21 to the user by sound.
- the amplifier 23 and the vibration speaker 24 function as the texture presentation unit 14 (tactile stimulus presentation unit) in FIG. That is, the vibration speaker 24 presents the voice signal output from the PC 21 to the user by vibration.
- the amplifier 23 amplifies the sound in the low frequency region of about 40-300 Hz.
- the vibration speaker 24 vibrates and presents an amplified voice signal as a texture.
- the audio speaker 22 for example, a commercially available audio speaker (wearable speaker) such as headphones or a neck speaker may be used.
- a commercially available audio speaker such as headphones or a neck speaker
- the voice speaker 22 is worn on the user's ear.
- the voice speaker 22 is worn on the user's shoulder.
- the vibration speaker 24 is connected to the headphone and is attached to the user's face (for example, cheek).
- the vibration speaker 24 is connected to the neck speaker and is attached to the clavicle of the user or the like.
- a voice signal distributor is connected to the headphone terminal of the PC 21, and one of the distributors is connected to, for example, a neck speaker (voice speaker 22).
- the other is connected to an amplifier 23 that amplifies bass, and further connects its output terminal and two vibrating speakers 24.
- the two vibrating speakers 24 are tied together under the portions to be placed on both shoulders of the neck speaker. That is, the vibration speaker 24 is arranged at a portion of the neck speaker that comes into contact with the user's body.
- the user uses the neck speaker integrated with such a vibrating speaker over the shoulder in the same way as a normal neck speaker.
- the vibration speaker 24 hits the clavicle portion of the shoulder, sound is heard from the neck speaker, and at the same time, the vibration is transmitted to the clavicle and the vibration is transmitted to the face, so that the user can receive the stimulus presented by the neck speaker and the vibration speaker 24. It feels like a texture.
- FIG. 3 is a flowchart showing the operation of the texture presentation device 1 of the present embodiment.
- the user selects the food to be presented with the texture and inputs it to the texture presenting device 1.
- the selection unit 11 of the texture presenting device 1 accepts the input food (S11).
- the output unit 12 acquires the audio signal of the chewing sound of the food from the texture database 15 and presents the texture. Output to 14 (S13).
- the output unit 12 sends the identification information of the food to the synthesis unit 13.
- the synthesis unit 13 acquires the recipe of the received food from the recipe database 16 (S15). From the acquired recipe, the synthesis unit 13 acquires an audio signal of the chewing sound of each food material as a material of the food material from the texture database 15 (S16).
- the synthesizing unit 13 synthesizes the voice signals of each food material, and outputs the synthesized voice signals to the output unit 12 (S17).
- the output unit 12 outputs the voice signal transmitted from the synthesis unit 13 to the texture presentation unit 14 as a voice signal of the chewing sound of the selected food.
- the texture presentation unit 14 presents sound (auditory stimulus) and vibration (tactile stimulus) to the user using the voice signal output from the output unit 12 (S14).
- the texture of the food selected by the user is presented by combining the chewing sounds of the foods constituting the food.
- the output unit 12 textures the voice signal of namul acquired from the texture database 15.
- the synthesis unit 13 refers to the recipe of Namul from the recipe database 16.
- the synthesis unit 13 acquires various items such as ingredients, cooking methods, and quantities from the recipe data.
- the synthesis unit 13 acquires the voice signals such as "bean sprout” and "spinach” of the namul material described in the recipe from the texture database 15, and obtains the voice signal of "bean sprout” and the voice signal of "spinach”.
- the superimposed and synthesized audio signal is output to the output unit 12.
- the start position of the voice signals may be aligned.
- the two voice signals are added together to synthesize a voice signal (f (t)) as shown in the following equation.
- the synthesis unit 13 may process each voice signal acquired from the texture database 15 according to the cooking method of the recipe, and synthesize the processed voice signal.
- Cooking methods types of cooking
- the synthesis unit 13 emphasizes the high frequency component of the synthesized voice signal.
- the synthesis unit 13 attenuates the high frequency component of the synthesized voice signal. This is based on the finding that the high frequency component contributes to the perception of hardness.
- an algorithm of the processing method may be prepared separately, such as considering not only the cooking method but also the cooking time.
- the synthesis unit 13 may process each voice signal acquired from the texture database 15 according to the amount of each ingredient in the recipe, and synthesize the processed voice signal. For example, the synthesis unit 13 adjusts the sound pressure (volume) according to the amount of each ingredient. Specifically, the synthesis unit 13 raises the sound pressure for foodstuffs having a large amount and lowers the sound pressure for foodstuffs having a small amount. In order to adjust the sound pressure, the maximum value of the sound pressure of the voice signal of each ingredient may be adjusted by applying a process such as normalization or a compressor. This is because it is considered that the larger the amount, the larger the ratio to the total mastication sound.
- FIG. 4 is a graph showing the results of frequency analysis of the actual mastication sound of namul, the combined sound of the mastication sounds of "moyashi” and “spinach", which are the materials of namul, and the mastication sound of potato chips. be.
- the synthesized sound of Namul is close to the sound of actual Namul and shows different characteristics from the sound of potato chips. Thereby, it can be said that the texture similar to the texture (chewing sound) of the cooked food can be presented by synthesizing the voice signals of each food material contained in the food.
- the texture presenting device 1 of the present embodiment refers to the recipe of the selected food and acquires the audio signal of the chewing sound of each food material contained in the food from the texture database 15.
- the synthesis unit 13 that synthesizes the acquired voice signal of each food material
- the texture presentation unit 14 that presents the texture of the food using the synthesized voice signal
- the texture presentation unit 14 To be equipped.
- the texture of the food can be presented to the user.
- the audio signals of each food material contained in the food can be synthesized, and the synthesized audio signals can be used to present the auditory stimulus by sound and the tactile stimulus by vibration to the user.
- a general-purpose computer system as shown in FIG. 5 can be used as the texture presenting device 1 described above.
- the computer system shown is a CPU (Central Processing Unit, processor) 901, a memory 902, a storage 903 (HDD: Hard Disk Drive, SSD: Solid State Drive), a communication device 904, an input device 905, and an output device. 906 and.
- the memory 902 and the storage 903 are storage devices.
- each function of the texture presenting device 1 is realized by executing a predetermined program loaded on the memory 902 by the CPU 901.
- the texture presenting device 1 may be mounted on one computer or may be mounted on a plurality of computers. Further, the texture presenting device 1 may be a virtual machine mounted on a computer.
- the program for the texture presentation device 1 can be stored in a computer-readable recording medium such as HDD, SSD, USB (Universal Serial Bus) memory, CD (Compact Disc), DVD (Digital Versatile Disc), or the network. It can also be delivered via.
- a computer-readable recording medium such as HDD, SSD, USB (Universal Serial Bus) memory, CD (Compact Disc), DVD (Digital Versatile Disc), or the network. It can also be delivered via.
- Texture presentation device 11 Selection unit 12: Output unit 13: Synthesis unit 14: Texture presentation unit 15: Texture database 16: Recipe database 21: PC 22: Voice speaker 23: Amplifier 24: Vibration speaker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Nutrition Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Food Science & Technology (AREA)
- Polymers & Plastics (AREA)
- Signal Processing (AREA)
- General Preparation And Processing Of Foods (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
食感提示装置1であって、選択された食品のレシピを参照して、当該食品に含まれる各食材の咀嚼音の音声信号をデータベース15から取得し、提示すべき食感の音声信号として、取得した各食材の音声信号を合成する合成部13と、前記合成された音声信号を用いて、前記食品の食感を提示する提示部14と、を備える。
Description
本発明は、食感提示装置、食感提示方法、および食感提示プログラムに関する。
食体験を拡張する手法の一つとして、バーチャルな食感を提示する技術が研究されている。非特許文献1には、触覚を記録するとともに、触覚を再生する触覚デバイスが記載されている。
Minamizawa, Kouta, et al. "TECHTILE toolkit: a prototyping tool for design and education of haptic media." Proceedings of the 2012 Virtual Reality International Conference. 2012
音と振動とを用いて食感を提示する場合、様々な食品の食感を提示するために、これらの食品の咀嚼音を記録しておくことが考えらえる。しかしながら、全て食品の咀嚼音をあらかじめ録音することは難しい。
単一の食材であれば、似た食感の食材で代替することが考えられるが、複数の食材を使って調理した食品(例:カレーライス)の食感を、別の食品の食感で代替することは難しい。したがって、複数の食材を用いて調理した食品の咀嚼音を記録していない場合には、当該食品の食感を提示することが難しい。
本発明は、上記課題に鑑みてなされたものであり、咀嚼音を記録していない食品であっても、食感を提示可能な食感提示装置、食感提示方法、および食感提示プログラムを提供することを目的とする。
本発明の一態様は、食感提示装置であって、選択された食品のレシピを参照して、当該食品に含まれる各食材の咀嚼音の音声信号をデータベースから取得し、提示すべき食感の音声信号として、取得した各食材の音声信号を合成する合成部と、前記合成された音声信号を用いて、前記食品の食感を提示する提示部と、を備える。
本発明の一態様は、食感提示装置が行う食感提示方法であって、選択された食品のレシピを参照して、当該食品に含まれる各食材の咀嚼音の音声信号をデータベースから取得し、提示すべき食感の音声信号として、取得した各食材の音声信号を合成する合成ステップと、前記合成された音声信号を用いて、前記食品の食感を提示する提示ステップと、を行う。
本発明の一態様は、上記食感提示装置として、コンピュータを機能させる食感提示プログラムである。
本発明によれば、咀嚼音を記録していない食品であっても、食感を提示可能な食感提示装置、食感提示方法、および食感提示プログラムを提供することができる。
以下、本発明の実施の形態について図面を用いて説明する。
(食感提示装置の構成)
図1は、本発明の実施形態における食感提示装置1の構成を示すブロック図である。本実施形態の食感提示装置1は、音(聴覚刺激)と、振動(触覚刺激)とを用いて、バーチャルな食感を提示する。音と振動は、咀嚼音の音声信号から生成できる。
図1は、本発明の実施形態における食感提示装置1の構成を示すブロック図である。本実施形態の食感提示装置1は、音(聴覚刺激)と、振動(触覚刺激)とを用いて、バーチャルな食感を提示する。音と振動は、咀嚼音の音声信号から生成できる。
図示する食感提示装置1は、選択部11と、出力部12と、合成部13と、食感提示部14と、食感データベース15と、レシピデータベース16とを備える。
選択部11は、ユーザが選択した食品を受け付ける。ユーザは、食感を提示させたい食品を選択し、食感提示装置1に入力する。食品は、1つの食材のみを含むもの(例えば、りんご、豆腐など)であってもよいし、複数の食材を使って調理した料理(例えば、カレーライス)であってもよい。
出力部12は、選択された食品の音声信号を食感データベース15から取得し、食感提示部14に出力する。出力部12は、選択された食品の音声信号が食感データベース15に存在しない場合は、選択された食品を示す識別情報(食品ID、食品名)を合成部13に送出する。
合成部13は、出力部12から指定された食品(選択された食品)のレシピを参照して、当該食品に含まれる各食材の咀嚼音の音声信号を食感データベース15から取得し、提示すべき食感の音声信号として、取得した各食材の音声信号を合成する。食感合成部13は、合成した音声信号を出力部12に出力する。
合成部13は、レシピの調理方法に応じて、食感データベース15から取得した各音声信号を加工し、加工後の音声信号を合成してもよい。また、合成部13は、レシピの各食材の分量に応じて、食感データベース15から取得した各音声信号を加工し、加工後の音声信号を合成してもよい。
なお、合成部13は、当該食品に含まれる全ての食材のうち、所定の数の食材を選択し、選択した所定の数の音声信号のみを食感データベース15から取得してもよい。例えば、合成部13は、レシピを参照して分量が多い食材から順に、所定の数の食材を選択することが考えらえる。
食感提示部14は、合成された音声信号を用いて、選択された食品の食感を提示する。具体的には、食感提示部14は、出力部12から送出された音声信号の信号波形を用いて、ユーザに聴覚刺激と触覚刺激とを提示する。
食感データベース15には、複数の食品のそれぞれの咀嚼音の音声信号が格納されている。あらかじめ複数の食品の咀嚼音をマイクで録音し、食感データベース15に格納する。レシピデータベース16には、複数の食品のレシピが格納されている。レシピは、食品(料理)の作り方が記載されたデータである。レシピには、必要とする食材と、その分量、調理方法、調理の手順などが記載されている。
図2は、食感提示装置1の実装例を示すハードウェア構成図である。図示する食感提示装置1は、ハードウェアとして、PC21と、音声スピーカー22と、アンプ23と、振動スピーカー24とを備える。
PC21(Personal Computer)は、図1の選択部11、出力部12、合成部13、食感データベース15およびレシピデータベース16として機能する。PC21は、ユーザの入力情報に基づいて、当該入力情報で指定された食品の音声信号、または、当該食品の食材の音声信号から合成した音声信号を出力する。出力された音声信号を用いて、音声スピーカー22は音を出力して聴覚を刺激し、振動スピーカー24(振動子)は顔などを振動して触覚を刺激する。
音声スピーカー22は、図1の食感提示部14(聴覚刺激提示部)として機能する。すなわち、音声スピーカー22は、PC21から出力された音声信号を、ユーザに音で提示する。
アンプ23および振動スピーカー24は、図1の食感提示部14(触覚刺激提示部)として機能する。すなわち、振動スピーカー24は、PC21から出力された音声信号を、振動でユーザに提示する。アンプ23は、40-300Hz程度の低周波領域の音を増幅する。振動スピーカー24は、食感として、増幅した音声信号を振動で提示する。
音声スピーカー22には、例えばヘッドホン、ネックスピーカー等の市販の音声スピーカー(ウェアラブルスピーカー)を用いてもよい。ヘッドホンの場合、音声スピーカー22はユーザの耳に装着される。ネックスピーカーの場合、音声スピーカー22はユーザの肩に装着される。
音声スピーカー22がヘッドホンの場合、振動スピーカー24はヘッドホンに接続され、ユーザの顔(例えば頬など)に装着される。音声スピーカー22がネックスピーカーの場合、振動スピーカー24はネックスピーカーに接続され、ユーザの鎖骨等に装着される。
具体的には、PC21のヘッドホン端子に音声信号の分配器を接続し、分配器の1つを例えばネックスピーカー(音声スピーカー22)に繋げる。もう一方は、低音を増幅させるアンプ23に繋げて、さらにその出力端子と、2つの振動スピーカー24とを繋げる。2つの振動スピーカー24は、ネックスピーカーの両肩にのせる部分の下に、それぞれ括り付ける。すなわち、振動スピーカー24は、ネックスピーカーのユーザの体に接触する部分に配置される。
ユーザは、このような振動スピーカーと一体化したネックスピーカーを、通常のネックススピーカーと同様に、肩にかけて使用する。振動スピーカー24が肩の鎖骨部分に当たることで、ネックスピーカーから音が聞こえると同時に、振動が鎖骨に伝わり、その振動が顔に伝わることで、ユーザはネックスピーカーおよび振動スピーカー24から提示される刺激を食感のように感じる。
(食感提示装置の動作)
図3は、本実施形態の食感提示装置1の動作を示すフローチャートである。
図3は、本実施形態の食感提示装置1の動作を示すフローチャートである。
ユーザは、食感を提示したい食品を選択し、食感提示装置1に入力する。食感提示装置1の選択部11は、入力された食品を受け付ける(S11)。出力部12は、入力された食品の咀嚼音が食感データベース15に存在している場合(S12:YES)、食感データベース15から当該食品の咀嚼音の音声信号を取得し、食感提示部14に出力する(S13)。
入力された食品の咀嚼音が食感データベース15に存在しない場合(S12:NO)、出力部12は、当該食品の識別情報を合成部13に送出する。合成部13は、受け付けた食品のレシピをレシピデータベース16から取得する(S15)。合成部13は、取得したレシピから、当該食品の材料となる各食材の咀嚼音の音声信号を食感データベース15から取得する(S16)。合成部13は、各食材の音声信号を合成し、合成した音声信号を出力部12に出力する(S17)。出力部12は、合成部13から送出された音声信号を、選択された食品の咀嚼音の音声信号として食感提示部14に出力する。
食感提示部14は、出力部12から出力された音声信号を用いて、ユーザに音(聴覚刺激)と振動(触覚刺激)とを提示する(S14)。本実施形態では、食品を構成する食材の咀嚼音を組み合わせることで、ユーザが選択した食品の食感を提示する。
例えば、ユーザがナムル(食品)を選択した場合であって、ナムルの音声信号が食感データベース15に存在する場合は、出力部12は、食感データベース15から取得したナムルの音声信号を食感提示部14に出力する。一方、ナムルの音声信号が食感データベース15に存在しない場合、合成部13はレシピデータベース16からナムルのレシピを参照する。合成部13は、レシピデータから、材料、調理方法、分量などの各種の項目を取得する。そして、合成部13はレシピに記載されたナムルの材料の「もやし」および「ほうれん草」などの音声信号を食感データベース15から取得し、「もやし」の音声信号と「ほうれん草」の音声信号などを重ね合わせて合成した音声信号を、出力部12に出力する。
S17の音声信号を重ね合わせる方法としては、音声信号のスタート位置を合わせればよい。例えば、2つの音声信号(ω1t、ω2t)を重ね合わせる場合、下記式のように、2つの音声信号を足し合わせて、音声信号(f(t))を合成する。
f(t) = sin(ω1t) + sin(ω2t)
また、合成部13は、レシピの調理方法に応じて、食感データベース15から取得した各音声信号を加工し、加工後の音声信号を合成してもよい。調理方法(調理の種類)には、焼く、煮る、茹でる、炒める、揚げる、蒸す、和える、などがある。調理方法に応じた音声加工としては、例えば、「焼く」場合は、一般的に材料が固くなるために、合成部13は、合成された音声信号の高周波成分を強調させることが考えらえる。また、「煮る」場合は、一般的に材料が柔らかくなるため、合成部13は、合成された音声信号の高周波成分を減衰させることが考えられる。これは、高周波成分が硬さを知覚させるのに寄与しているとの知見に基づくものである。また、調理方法に応じた音声信号の加工については、調理方法だけでなく調理の時間も加味するなど、加工方法のアルゴリズムを別途用意しておいてもよい。
また、合成部13は、レシピの調理方法に応じて、食感データベース15から取得した各音声信号を加工し、加工後の音声信号を合成してもよい。調理方法(調理の種類)には、焼く、煮る、茹でる、炒める、揚げる、蒸す、和える、などがある。調理方法に応じた音声加工としては、例えば、「焼く」場合は、一般的に材料が固くなるために、合成部13は、合成された音声信号の高周波成分を強調させることが考えらえる。また、「煮る」場合は、一般的に材料が柔らかくなるため、合成部13は、合成された音声信号の高周波成分を減衰させることが考えられる。これは、高周波成分が硬さを知覚させるのに寄与しているとの知見に基づくものである。また、調理方法に応じた音声信号の加工については、調理方法だけでなく調理の時間も加味するなど、加工方法のアルゴリズムを別途用意しておいてもよい。
また、合成部13は、レシピの各食材の分量に応じて、食感データベース15から取得した各音声信号を加工し、加工後の音声信号を合成してもよい。例えば、合成部13は、各食材の分量に応じて音圧(音量)を調整する。具体的には、合成部13は、分量が多い食材は音圧を高くし、分量が少ない食材は音圧を低くする。音圧を調整するためには、ノーマライズやコンプレッサなどの処理をかけて、各食材の音声信号の音圧の最大値を調整すればよい。これは、分量が多いほど全体の咀嚼音に対する割合が大きくなると考えられるからである。
図4は、実際のナムルの咀嚼音と、ナムルの材料である「もやし」と「ほうれん草」の咀嚼音を合成した音と、ポテトチップスの咀嚼音とを、それぞれ周波数解析した結果を示すグラフである。合成したナムルの音は、実際のナムルの音に近く、ポテトチップスの音とは違う特性を示している。これにより、食品に含まれる各食材の音声信号を合成することで、調理した食品の食感(咀嚼音)に類似する食感を提示できると言える。
以上説明したように、本実施形態の食感提示装置1は、選択された食品のレシピを参照して、当該食品に含まれる各食材の咀嚼音の音声信号を食感データベース15ら取得し、提示すべき食感の音声信号として、取得した各食材の音声信号を合成する合成部13と、前記合成された音声信号を用いて、前記食品の食感を提示する食感提示部14と、を備える。
これにより、本実施形態では、咀嚼音を記録していない食品であっても、当該食品の食感をユーザに提示することができる。具体的には、食品に含まれる各食材の音声信号を合成し、合成後の音声信号を用いて、音による聴覚刺激と、振動による触覚刺激とをユーザに提示することができる。
(ハードウェア構成)
上記説明した食感提示装置1は、例えば、図5に示すような汎用的なコンピュータシステムを用いることができる。図示するコンピュータシステムは、CPU(Central Processing Unit、プロセッサ)901と、メモリ902と、ストレージ903(HDD:Hard Disk Drive、SSD:Solid State Drive)と、通信装置904と、入力装置905と、出力装置906とを備える。メモリ902およびストレージ903は、記憶装置である。このコンピュータシステムにおいて、CPU901がメモリ902上にロードされた所定のプログラムを実行することにより、食感提示装置1の各機能が実現される。
上記説明した食感提示装置1は、例えば、図5に示すような汎用的なコンピュータシステムを用いることができる。図示するコンピュータシステムは、CPU(Central Processing Unit、プロセッサ)901と、メモリ902と、ストレージ903(HDD:Hard Disk Drive、SSD:Solid State Drive)と、通信装置904と、入力装置905と、出力装置906とを備える。メモリ902およびストレージ903は、記憶装置である。このコンピュータシステムにおいて、CPU901がメモリ902上にロードされた所定のプログラムを実行することにより、食感提示装置1の各機能が実現される。
また、食感提示装置1は、1つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また、食感提示装置1は、コンピュータに実装される仮想マシンであっても良い。
食感提示装置1用のプログラムは、HDD、SSD、USB(Universal Serial Bus)メモリ、CD (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
なお、本発明は上記実施形態に限定されるものではなく、本発明の技術的思想内で、様々な変形および組み合わせが可能である。
1 :食感提示装置
11:選択部
12:出力部
13:合成部
14:食感提示部
15:食感データベース
16:レシピデータベース
21:PC
22:音声スピーカー
23:アンプ
24:振動スピーカー
11:選択部
12:出力部
13:合成部
14:食感提示部
15:食感データベース
16:レシピデータベース
21:PC
22:音声スピーカー
23:アンプ
24:振動スピーカー
Claims (6)
- 食感提示装置であって、
選択された食品のレシピを参照して、当該食品に含まれる各食材の咀嚼音の音声信号をデータベースから取得し、提示すべき食感の音声信号として、取得した各食材の音声信号を合成する合成部と、
前記合成された音声信号を用いて、前記食品の食感を提示する提示部と、を備える
食感提示装置。 - 前記提示部は、音声スピーカーと、振動スピーカーとを備え、
前記音声スピーカーは、前記合成された音声信号を音で提示し、
前記振動スピーカーは、前記合成された音声信号を振動で提示する
請求項1記載の食感提示装置。 - 前記合成部は、前記レシピの調理方法に応じて、前記データベースから取得した各音声信号を加工し、加工後の音声信号を合成する
請求項1または2記載の食感提示装置。 - 前記合成部は、前記レシピの各食材の分量に応じて、前記データベースから取得した各音声信号を加工し、加工後の音声信号を合成する
請求項1から3のいずれか1項に記載の食感提示装置。 - 食感提示装置が行う食感提示方法であって、
選択された食品のレシピを参照して、当該食品に含まれる各食材の咀嚼音の音声信号をデータベースから取得し、提示すべき食感の音声信号として、取得した各食材の音声信号を合成する合成ステップと、
前記合成された音声信号を用いて、前記食品の食感を提示する提示ステップと、を行う
食感提示方法。 - 請求項1から4のいずれか1項に記載の食感提示装置として、コンピュータを機能させる食感提示プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/017758 WO2021214998A1 (ja) | 2020-04-24 | 2020-04-24 | 食感提示装置、食感提示方法、および食感提示プログラム |
JP2022516810A JP7364964B2 (ja) | 2020-04-24 | 2020-04-24 | 食感提示装置、食感提示方法、および食感提示プログラム |
US17/912,568 US20230143499A1 (en) | 2020-04-24 | 2020-04-24 | Food texture presentation device, food texture presentation method and food texture presentation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/017758 WO2021214998A1 (ja) | 2020-04-24 | 2020-04-24 | 食感提示装置、食感提示方法、および食感提示プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021214998A1 true WO2021214998A1 (ja) | 2021-10-28 |
Family
ID=78270641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/017758 WO2021214998A1 (ja) | 2020-04-24 | 2020-04-24 | 食感提示装置、食感提示方法、および食感提示プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230143499A1 (ja) |
JP (1) | JP7364964B2 (ja) |
WO (1) | WO2021214998A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016093476A (ja) * | 2014-11-10 | 2016-05-26 | 国立研究開発法人産業技術総合研究所 | 咀嚼感覚フィードバック装置 |
JP2019502218A (ja) * | 2015-11-16 | 2019-01-24 | シェフステップス, インクChefsteps, Inc. | リモート制御された調理機器のためのデータの集約及び個人化 |
JP2019061366A (ja) * | 2017-09-25 | 2019-04-18 | 株式会社オージス総研 | 代替レシピ提示装置、代替レシピ提示方法、コンピュータプログラム及びデータ構造 |
JP2019192091A (ja) * | 2018-04-27 | 2019-10-31 | 京セラドキュメントソリューションズ株式会社 | 食品情報提供システム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101394306B1 (ko) * | 2012-04-02 | 2014-05-13 | 삼성전자주식회사 | 효과 음향을 출력하는 휴대용 단말기의 장치 및 방법 |
JP2019082904A (ja) * | 2017-10-31 | 2019-05-30 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2020
- 2020-04-24 JP JP2022516810A patent/JP7364964B2/ja active Active
- 2020-04-24 WO PCT/JP2020/017758 patent/WO2021214998A1/ja active Application Filing
- 2020-04-24 US US17/912,568 patent/US20230143499A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016093476A (ja) * | 2014-11-10 | 2016-05-26 | 国立研究開発法人産業技術総合研究所 | 咀嚼感覚フィードバック装置 |
JP2019502218A (ja) * | 2015-11-16 | 2019-01-24 | シェフステップス, インクChefsteps, Inc. | リモート制御された調理機器のためのデータの集約及び個人化 |
JP2019061366A (ja) * | 2017-09-25 | 2019-04-18 | 株式会社オージス総研 | 代替レシピ提示装置、代替レシピ提示方法、コンピュータプログラム及びデータ構造 |
JP2019192091A (ja) * | 2018-04-27 | 2019-10-31 | 京セラドキュメントソリューションズ株式会社 | 食品情報提供システム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021214998A1 (ja) | 2021-10-28 |
JP7364964B2 (ja) | 2023-10-19 |
US20230143499A1 (en) | 2023-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11395078B2 (en) | Reproducing audio signals with a haptic apparatus on acoustic headphones and their calibration and measurement | |
US11729565B2 (en) | Sound normalization and frequency remapping using haptic feedback | |
JP6351630B2 (ja) | 音響ヘッドホンの触覚装置でオーディオ信号を再生するための方法および装置 | |
US10511921B2 (en) | Automated fitting of hearing devices | |
CN105191122B (zh) | 均衡滤波器系数确定器、装置、均衡滤波器系数处理器、系统和方法 | |
US7756281B2 (en) | Method of modifying audio content | |
EP1423985B1 (en) | Speaker equalization tool | |
CA2258652A1 (en) | Method and apparatus for providing sound in a spatial environment | |
GB2476747A (en) | Method of using a matrix transform to decode a spatial audio signal | |
JP2002051399A (ja) | 音声信号処理方法及び音声信号処理装置 | |
JP7347421B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2021214998A1 (ja) | 食感提示装置、食感提示方法、および食感提示プログラム | |
Okazaki et al. | The effect of frequency shifting on audio–tactile conversion for enriching musical experience | |
TW444511B (en) | Multi-channel sound effect simulation equipment and method | |
JP7155643B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP2021022854A (ja) | 振動信号生成装置および振動信号生成用プログラム | |
WO2021210121A1 (ja) | 食感生成方法、食感生成装置、および、食感生成プログラム | |
JP3902762B2 (ja) | 信号を伝送するためのデータの減少されたデータストリーム | |
WO2020080204A1 (ja) | 音響コンテンツ生成装置、音響コンテンツ生成方法、音響コンテンツ再生装置、音響コンテンツ再生方法、音響コンテンツ再生用プログラム、音響コンテンツ提供装置および音響コンテンツ配信システム | |
US20180286190A1 (en) | Haptic devices | |
WO2021214823A1 (ja) | 食感変化刺激方法、食感変化刺激装置、および、食感変化刺激プログラム | |
JP6661210B1 (ja) | 音響コンテンツ生成装置、音響コンテンツ生成方法、音響コンテンツ再生装置、音響コンテンツ再生方法、音響コンテンツ再生用プログラム、音響コンテンツ提供装置および音響コンテンツ配信システム | |
WO2021111965A1 (ja) | 音場生成システム、音声処理装置および音声処理方法 | |
US20240064487A1 (en) | Customized selective attenuation of game audio | |
US20240017166A1 (en) | Systems and methods for generating real-time directional haptic output |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20931913 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022516810 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20931913 Country of ref document: EP Kind code of ref document: A1 |