JP6856025B2 - 信号処理装置、信号処理方法及びコンピュータプログラム - Google Patents

信号処理装置、信号処理方法及びコンピュータプログラム Download PDF

Info

Publication number
JP6856025B2
JP6856025B2 JP2017544234A JP2017544234A JP6856025B2 JP 6856025 B2 JP6856025 B2 JP 6856025B2 JP 2017544234 A JP2017544234 A JP 2017544234A JP 2017544234 A JP2017544234 A JP 2017544234A JP 6856025 B2 JP6856025 B2 JP 6856025B2
Authority
JP
Japan
Prior art keywords
signal processing
signal
processing device
control unit
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017544234A
Other languages
English (en)
Other versions
JPWO2017061577A1 (ja
Inventor
稀淳 金
稀淳 金
将治 吉野
将治 吉野
辰志 梨子田
辰志 梨子田
稲見　昌彦
昌彦 稲見
孝太 南澤
孝太 南澤
裕太 杉浦
裕太 杉浦
友佑 水品
友佑 水品
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017061577A1 publication Critical patent/JPWO2017061577A1/ja
Application granted granted Critical
Publication of JP6856025B2 publication Critical patent/JP6856025B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/043—Continuous modulation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G10L13/0335—Pitch control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/04—Structural association of microphone with electric circuitry therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/222—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only  for microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/195—Modulation effects, i.e. smooth non-discontinuous variations over a time interval, e.g. within a note, melody or musical transition, of any sound parameter, e.g. amplitude, pitch, spectral response, playback speed
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/281—Reverberation or echo
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/211—User input interfaces for electrophonic musical instruments for microphones, i.e. control of musical parameters either directly from microphone signals or by physically associated peripherals, e.g. karaoke control switches or rhythm sensing accelerometer within the microphone casing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/321—Garment sensors, i.e. musical control means with trigger surfaces or joint angle sensors, worn as a garment by the player, e.g. bracelet, intelligent clothing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/371—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Electrophonic Musical Instruments (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Description

本開示は、信号処理装置、信号処理方法及びコンピュータプログラムに関する。
物体の動きに合わせて音色や音の変化をコントロールする技術が、例えば特許文献１で開示されている。また、ユーザの動きに基づいた音出力を実現する技術が、例えば特許文献２で開示されている。
特開２０１３−２２８４３４号公報 特開２００９−１５１１０７号公報
しかし、特許文献１で開示されている技術は、ユーザ自身の動きを音に変えて出力するものではないので、ユーザの動きそのものをそのユーザが聴覚的に体感できない。また特許文献２で開示されている技術は、身体の動きを音で提示するための音源が必要であり、身体の動きそのものを聴覚的に提示するものでは無いので、ユーザの動きそのものをそのユーザが聴覚的に体感できない。
そこで、本開示では、身体の動きそのものを聴覚的に体感できるよう提示することが可能な、新規かつ改良された信号処理装置、信号処理方法及びコンピュータプログラムを提案する。
本開示によれば、器具または身体に装着されたセンサから出力される、該センサの装着部位の動きに応じて発生する波形信号に基づいて、該波形信号または他の波形信号に対するエフェクト処理を実行する制御部を備え、前記波形信号は、前記センサで集音された音声信号である、信号処理装置が提供される。
また本開示によれば、器具または身体に装着されたセンサから出力される、該センサの装着部位の動きに応じて発生する波形信号に基づいて、該波形信号または他の波形信号に対するエフェクト処理をプロセッサで実行することを含み、前記波形信号は、前記センサで集音された音声信号である、信号処理方法が提供される。
また本開示によれば、器具または身体に装着されたセンサから出力される、該センサの装着部位の動きに応じて発生する波形信号に基づいて、該波形信号または他の波形信号に対するエフェクト処理を実行することをコンピュータに実行させ、前記波形信号は、前記センサで集音された音声信号である、コンピュータプログラムが提供される。
以上説明したように本開示によれば、身体の動きそのものを聴覚的に体感できるよう提示することが可能な、新規かつ改良された信号処理装置、信号処理方法及びコンピュータプログラムを提供することが出来る。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施の形態に係る信号処理装置の概要を示す説明図である。 信号処理装置の第１の構成例を示す説明図である。 信号処理装置の第１の動作例を示す流れ図である。 信号処理装置の第２の構成例を示す説明図である。 信号処理装置の第２の動作例を示す流れ図である。 信号処理装置の第３の構成例を示す説明図である。 信号処理装置の第３の動作例を示す流れ図である。 信号処理装置の第４の構成例を示す説明図である。 信号処理装置の第４の動作例を示す流れ図である。 信号処理装置の第５の構成例を示す説明図である。 信号処理装置の外観例を示す説明図である。 信号処理装置の外観例を示す説明図である。 信号処理装置の外観例を示す説明図である。 信号処理装置の外観例を示す説明図である。 信号処理装置の外観例を示す説明図である。 半球状の蜂の巣型のケースをマイクに被せていることの効果を模式的に示す説明図である。 信号処理装置の応用例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．概要
１．２．第１の構成例及び動作例
１．３．第２の構成例及び動作例
１．４．第３の構成例及び動作例
１．５．第４の構成例及び動作例
１．６．第５の構成例及び動作例
１．７．外観例
１．８．応用例
２．まとめ
＜１．本開示の実施の形態＞
［１．１．概要］
まず、本開示の実施の形態に係る信号処理装置の概要について説明する。図１は、本開示の実施の形態に係る信号処理装置の概要を示す説明図である。
本開示の実施の形態に係る信号処理装置は、人間の身体の中でも動きのある部位や、スポーツの用具などに装着されうる装置である。そして本開示の実施の形態に係る信号処理装置は、装着された部位や用具などの動きによって発生する信号（例えば風を切る音などの空力音や、装着された部位の近傍で人間が発生させた音）に対する信号処理を行って、別の信号、すなわち、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成する装置である。
図１は、本開示の実施の形態に係る信号処理装置１００が使用されている様子を示す説明図である。図１に示したのは、リストバンド型の信号処理装置１００が、ユーザ１の左腕の手首に装着されている様子を示している。
図１に示したように、ユーザ１が左腕の手首に信号処理装置１００を装着した状態でユーザ１が左腕を前後に振ると、信号処理装置１００は、そのユーザ１の左腕の前後運動による空力音や、ユーザ１が発生させた音を集音する。そして信号処理装置１００は、集音した空力音や、ユーザ１が発生させた音に対して増幅やエフェクト（音響効果）などの信号処理を行い、左腕の動きを誇張して表した音を出力する。エフェクト処理には、例えばエコーやリバーブ、低周波による変調、速度の変化（タイムストレッチ）、音程の変化（ピッチシフト）などが含まれうる。なお、音の増幅処理もエフェクト処理の一種として捉えても良い。なお、図１では、信号処理装置１００がユーザ１の左腕の手首に装着されている状態が示されているが、信号処理装置１００の装着位置はユーザ１の左腕の手首に限定されるものでは無いことは言うまでも無く、信号処理装置１００は、ユーザ１の左腕の手首以外のあらゆる位置に装着されうる。また図１では、信号処理装置１００はリストバンド型で示されているが、信号処理装置１００の形態は係る例に限定されるものではなく、信号処理装置１００は、例えばユーザ１が身に付ける衣服に装着されるような形態であっても良い。
本開示の実施の形態に係る信号処理装置１００は、装着された部位や用具などの動きによって発生する信号に対して、エフェクトのような信号処理を行って、別の信号、すなわち、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成することで、身体の動きそのものを聴覚的に体感できるよう提示することを可能とする。信号処理装置１００は、エフェクト処理として、ローパス、ハイパス、バンドパスなどのフィルタ効果、オシレータ（サイン波、ノコギリ波、三角波、矩形波など）との加算合成や減算合成を行いうる。
例えば信号処理装置１００は、装着された部位や用具などの動きを、マンガやアニメーションのような派手な効果音として出力することができる。また例えば信号処理装置１００は、拍手や足のステップ、指をスナップする音を拡張した音を出力することができる。また例えば信号処理装置１００は、身体に起因して発生した音（打撃や摩擦など）を全て拡張した音を出力することができる。例えば信号処理装置１００は、ユーザが物を叩いたり、物に手を当てて滑らせたり、両手を合わせてこすったり、足を滑らしたりする音を拡張した音を出力することができる。
以上、本開示の実施の形態に係る信号処理装置の概要について説明した。
［１．２．第１の構成例及び動作例］
続いて、本開示の実施の形態に係る信号処理装置１００の第１の構成例について説明する。図２は、本開示の実施の形態に係る信号処理装置１００の第１の構成例を示す説明図である。
図２に示したように、本開示の実施の形態に係る信号処理装置１００は、マイク入力部１１０と、制御部１２０と、音出力部１３０と、を含んで構成される。
マイク入力部１１０は、信号処理装置１００が装着される部位や用具などの動きによって発生する空力音や、装着された部位の近傍で人間が発生させた音を取得する。マイク入力部１１０は、取得した音を音声信号として制御部１２０に出力する。
制御部１２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサや、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶媒体等で構成される。
制御部１２０は、ユーザの身体の動きに基づいて発生した波形信号として、マイク入力部１１０が出力する音声信号に対する信号処理を行う。制御部１２０は、マイク入力部１１０が出力する音声信号に対する信号処理として、例えば少なくとも一部の周波数帯域に対する増幅処理や、所定のエフェクト処理などを行う。上述したように、増幅処理も、エフェクト処理の一種と捉えてもよい。制御部１２０は、マイク入力部１１０が出力する音声信号に対して信号処理を行うと、信号処理後の信号を音出力部１３０に出力する。
制御部１２０は、マイク入力部１１０が出力する音声信号に対する増幅量や増幅する周波数帯、エフェクト処理の内容を、ユーザ（例えばユーザ１）が指定したものとしてもよく、自動的に決定しても良い。制御部１２０は、マイク入力部１１０が出力する音声信号に対する増幅量や増幅する周波数帯、エフェクト処理の内容を自動的に決定する場合は、例えば信号処理装置１００の動きの内容、すなわち信号処理装置１００が装着される部位や用具などの動きの内容に応じて決定しても良い。
音出力部１３０は、例えばスピーカで構成され、制御部１２０から出力される信号に基づいた音を出力する。
本開示の実施の形態に係る信号処理装置１００は、図２に示したような構成を有することで、装着された部位や用具などの動きによって発生する信号に対する信号処理を行って、別の信号、すなわち、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成することができる。本開示の実施の形態に係る信号処理装置１００は、図２に示したような構成を有することで、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成することにより、身体の動きそのものを聴覚的に体感できるよう提示することを可能とする。
図３は、本開示の実施の形態に係る信号処理装置１００の動作例を示す流れ図である。
信号処理装置１００は、ユーザの身体の動きに基づいて発生した波形信号として、ユーザの身体の動きに基づいて発生した音声信号を取得する（ステップＳ１０１）。ユーザの身体の動きに基づいて発生した音声信号を取得すると、続いて信号処理装置１００は、取得した音声信号に対する信号処理を実行する（ステップＳ１０２）。ステップＳ１１２の信号処理は、制御部１２０が実行する。信号処理装置１００は、ステップＳ１０２で実行する信号処理として、例えば少なくとも一部の周波数帯域に対する増幅処理や、所定のエフェクト処理などを行う。
信号処理装置１００は、音声信号に対する信号処理を実行すると、信号処理を実行した後の音声信号を出力する（ステップＳ１０３）。信号処理を実行した後の音声信号は、音出力部１３０から、信号処理装置１００が装着された部位や用具などの動きを拡張した音として出力される。
本開示の実施の形態に係る信号処理装置１００は、図３に示したような動作を実行することで、装着された部位や用具などの動きによって発生する信号に対する信号処理を行って、別の信号、すなわち、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成することができる。本開示の実施の形態に係る信号処理装置１００は、図３に示したような動作を実行することで、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成することで、身体の動きそのものを聴覚的に体感できるよう提示することを可能とする。
［１．３．第２の構成例及び動作例］
続いて、本開示の実施の形態に係る信号処理装置１００の第２の構成例を説明する。図４は、本開示の実施の形態に係る信号処理装置１００の第２の構成例を示す説明図である。
図４に示したように、本開示の実施の形態に係る信号処理装置１００は、マイク入力部１１０と、センサ入力部１１２と、制御部１２０と、音出力部１３０と、を含んで構成される。
マイク入力部１１０は、図２に示した信号処理装置１００のマイク入力部１１０と同様に、信号処理装置１００が装着される部位や用具などの動きによって発生する空力音や、装着された部位の近傍で人間が発生させた音を取得する。マイク入力部１１０は、取得した音を音声信号として制御部１２０に出力する。
センサ入力部１１２は、信号処理装置１００が装着される部位や用具などの動きによって発生するモーション信号を取得する。モーション信号は、例えば加速度センサ、角速度センサ、地磁気センサなどからなるモーションセンサから出力される。モーションセンサは、信号処理装置１００と一体となっていても良く、信号処理装置１００とは別の装置となっていてもよい。センサ入力部１１２は、取得したモーション信号を制御部１２０に出力する。
制御部１２０は、ユーザの身体の動きに基づいて発生した波形信号として、マイク入力部１１０が出力する音声信号に対する信号処理を行う。制御部１２０は、マイク入力部１１０が出力する音声信号に対する信号処理として、例えば少なくとも一部の周波数帯域に対する増幅処理や、所定のエフェクト処理などを行う。制御部１２０は、マイク入力部１１０が出力する音声信号に対して信号処理を行うと、信号処理後の信号を音出力部１３０に出力する。
そして図４に示した制御部１２０は、音声信号に対する信号処理を行う際に、センサ入力部１１２から供給されるモーション信号を用いる。例えば制御部１２０は、音声信号に対する信号処理のパラメータを、センサ入力部１１２から供給されるモーション信号の内容に応じて変化させる。より具体的には、モーション信号の値が大きい、すなわち、信号処理装置１００が装着される部位や用具などの動きの量が大きい場合は、制御部１２０は、音声信号に対する増幅処理を行う際の増幅量を大きくしたり、エフェクト処理の際の音声信号の変化量を大きくしたりしてもよい。
制御部１２０は、内部に所定の音源を有していても良い。そして制御部１２０は、マイク入力部１１０が出力する、ユーザの身体の動きに基づいて発生した音声信号と、内部で有している音源とを組み合わせて、モーション信号に応じた信号処理を実行しても良い。
音出力部１３０は、図２に示した信号処理装置１００の音出力部１３０と同様に、例えばスピーカで構成され、制御部１２０から出力される信号に基づいた音を出力する。
本開示の実施の形態に係る信号処理装置１００は、図４に示したような構成を有することで、装着された部位や用具などの動きによって発生する信号に対する信号処理を行って、別の信号、すなわち、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成することができる。本開示の実施の形態に係る信号処理装置１００は、図４に示したような構成を有することで、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成することにより、身体の動きそのものを聴覚的に体感できるよう提示することを可能とする。
また本開示の実施の形態に係る信号処理装置１００は、図４に示したような構成を有することで、信号処理装置１００が装着される部位や用具などの動きに応じて、信号処理の際のパラメータを変更することができる。従って、本開示の実施の形態に係る信号処理装置１００は、図４に示したような構成を有することで、同じ動作でも動きの量によって出力する音を変化させることが出来る。
図５は、本開示の実施の形態に係る信号処理装置１００の第２の動作例を示す流れ図である。
信号処理装置１００は、ユーザの身体の動きに基づいて発生した音声信号を取得するとともに、ユーザの身体の動きに基づいて発生したモーション信号を取得する（ステップＳ１１１）。ユーザの身体の動きに基づいて発生した音声信号及びユーザの身体の動きに基づいて発生したモーション信号を取得すると、続いて信号処理装置１００は、取得した音声信号に対する信号処理を、モーション信号の内容に基づいて実行する（ステップＳ１１２）。ステップＳ１１２の信号処理は、制御部１２０が実行する。信号処理装置１００は、ステップＳ１１２で実行する信号処理として、例えば少なくとも一部の周波数帯域に対する増幅処理や、所定のエフェクト処理などを行う。
例えば信号処理装置１００は、音声信号に対する信号処理のパラメータを、取得したモーション信号の内容に応じて変化させる。より具体的には、モーション信号の値が大きい、すなわち、信号処理装置１００が装着される部位や用具などの動きの量が大きい場合は、信号処理装置１００は、音声信号に対する増幅処理を行う際の増幅量を大きくしたり、エフェクト処理の際の音声信号の変化量を大きくしたりしてもよい。
信号処理装置１００は、音声信号に対する信号処理を実行すると、信号処理を実行した後の音声信号を出力する（ステップＳ１１３）。信号処理を実行した後の音声信号は、音出力部１３０から、信号処理装置１００が装着された部位や用具などの動きを拡張した音として出力される。
本開示の実施の形態に係る信号処理装置１００は、図５に示したような動作を実行することで、装着された部位や用具などの動きによって発生する信号に対する信号処理を行って、別の信号、すなわち、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成することができる。本開示の実施の形態に係る信号処理装置１００は、図５に示したような動作を実行することで、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成することにより、身体の動きそのものを聴覚的に体感できるよう提示することを可能とする。
また本開示の実施の形態に係る信号処理装置１００は、図５に示したような動作を実行することで、信号処理装置１００が装着される部位や用具などの動きに応じて、信号処理の際のパラメータを変更することができる。従って、本開示の実施の形態に係る信号処理装置１００は、図５に示したような動作を実行することで、同じ動作でも動きの量によって出力する音を変化させることが出来る。
［１．４．第３の構成例及び動作例］
続いて、本開示の実施の形態に係る信号処理装置１００の第３の構成例を説明する。信号処理装置１００の第１の構成例及び第２の構成例では、信号処理装置１００が装着される部位や用具などの動きによって発生する空力音や、装着された部位の近傍で人間が発生させた音をマイク入力部１１０が取得していた。信号処理装置１００の第３の構成例は、ユーザの身体の動きに基づいて発生したモーション信号に対する信号処理を行って、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成する。
図６は、本開示の実施の形態に係る信号処理装置１００の第３の構成例を示す説明図である。本開示の実施の形態に係る信号処理装置１００は、センサ入力部１１２と、制御部１２０と、音出力部１３０と、を含んで構成される。
センサ入力部１１２は、図４に示したセンサ入力部１１２と同様に、信号処理装置１００が装着される部位や用具などの動きによって発生するモーション信号を取得する。モーション信号は、例えば加速度センサ、角速度センサ、地磁気センサなどからなるモーションセンサから出力される。センサ入力部１１２は、取得したモーション信号を制御部１２０に出力する。
制御部１２０は、ユーザの身体の動きに基づいて発生した波形信号として、センサ入力部１１２が出力するモーション信号に対する信号処理を行う。制御部１２０は、センサ入力部１１２が出力するモーション信号に対する信号処理として、センサ入力部１１２が出力するモーション信号を音声信号に変換して、変換後の信号に、例えば少なくとも一部の周波数帯域に対する増幅処理や、所定のエフェクト処理などを行う。制御部１２０は、センサ入力部１１２が出力するモーション信号に対して信号処理を行うと、信号処理後の信号を音出力部１３０に出力する。
音出力部１３０は、図２に示した信号処理装置１００の音出力部１３０と同様に、例えばスピーカで構成され、制御部１２０から出力される信号に基づいた音を出力する。
本開示の実施の形態に係る信号処理装置１００は、図６に示したような構成を有することで、装着された部位や用具などの動きによって発生するモーション信号に対する信号処理を行って、別の信号、すなわち、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成することができる。本開示の実施の形態に係る信号処理装置１００は、図６に示したような構成を有することで、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成することにより、身体の動きそのものを聴覚的に体感できるよう提示することを可能とする。
図７は、本開示の実施の形態に係る信号処理装置１００の第３の動作例を示す流れ図である。
信号処理装置１００は、ユーザの身体の動きに基づいて発生したモーション信号を取得する（ステップＳ１２１）。ユーザの身体の動きに基づいて発生したモーション信号を取得すると、続いて信号処理装置１００は、取得したモーション信号に対する信号処理を実行する（ステップＳ１２２）。ステップＳ１２２の信号処理は、制御部１２０が実行する。信号処理装置１００は、ステップＳ１２２で実行する信号処理として、モーション信号を音声信号とみなして、例えば少なくとも一部の周波数帯域に対する増幅処理や、所定のエフェクト処理などを行う。
信号処理装置１００は、音声信号に対する信号処理を実行すると、信号処理を実行した後の音声信号を出力する（ステップＳ１２３）。信号処理を実行した後の音声信号は、音出力部１３０から、信号処理装置１００が装着された部位や用具などの動きを拡張した音として出力される。
本開示の実施の形態に係る信号処理装置１００は、図７に示したような動作を実行することで、装着された部位や用具などの動きによって発生するモーション信号に対する信号処理を行って、別の信号、すなわち、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成することができる。本開示の実施の形態に係る信号処理装置１００は、図７に示したような動作を実行することで、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成することにより、身体の動きそのものを聴覚的に体感できるよう提示することを可能とする。
［１．５．第４の構成例及び動作例］
続いて、本開示の実施の形態に係る信号処理装置１００の第４の構成例を説明する。信号処理装置１００の第３の構成例は、ユーザの身体の動きに基づいて発生したモーション信号に対する信号処理を行って、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成した。信号処理装置１００の第４の構成例は、入力される信号がマイクで集音された音に基づく音声信号ではなく、楽曲などのオーディオ信号であり、そのオーディオ信号に対する信号処理を行う。
図８は、本開示の実施の形態に係る信号処理装置１００の第４の構成例を示す説明図である。本開示の実施の形態に係る信号処理装置１００は、センサ入力部１１２と、オーディオ入力部１１４と、制御部１２０と、音出力部１３０と、を含んで構成される。
センサ入力部１１２は、図４及び図６に示したセンサ入力部１１２と同様に、信号処理装置１００が装着される部位や用具などの動きによって発生するモーション信号を取得する。モーション信号は、例えば加速度センサ、角速度センサ、地磁気センサなどからなるモーションセンサから出力される。センサ入力部１１２は、取得したモーション信号を制御部１２０に出力する。
オーディオ入力部１１４は、楽曲などからなるオーディオ信号を取得する。オーディオ信号は、例えば信号処理装置１００とは異なる装置やサービス（ポータブル音楽プレーヤ、スマートフォン、タブレット端末、パーソナルコンピュータ、ネットワーク上の音楽配信サービス等）から供給されうる。オーディオ入力部１１４は、取得したオーディオ信号を制御部１２０に出力する。
制御部１２０は、オーディオ入力部１１４が出力するオーディオ信号に対する信号処理を行う。制御部１２０は、オーディオ入力部１１４が出力するオーディオ信号に対する信号処理として、例えば少なくとも一部の周波数帯域に対する増幅処理や、所定のエフェクト処理などを行う。制御部１２０は、オーディオ入力部１１４が出力するオーディオ信号に対して信号処理を行うと、信号処理後の信号を音出力部１３０に出力する。
そして図８に示した制御部１２０は、オーディオ信号に対する信号処理を行う際に、ユーザの身体の動きに基づいて発生した波形信号として、センサ入力部１１２から供給されるモーション信号を用いる。例えば制御部１２０は、オーディオ信号に対する信号処理のパラメータを、センサ入力部１１２から供給されるモーション信号の内容に応じて変化させる。より具体的には、モーション信号の値が大きい、すなわち、信号処理装置１００が装着される部位や用具などの動きの量が大きい場合は、制御部１２０は、オーディオ信号に対する増幅処理を行う際の増幅量を大きくしたり、エフェクト処理の際のオーディオ信号の変化量を大きくしたりしてもよい。
音出力部１３０は、図２等に示した信号処理装置１００の音出力部１３０と同様に、例えばスピーカで構成され、制御部１２０から出力される信号に基づいた音を出力する。
本開示の実施の形態に係る信号処理装置１００は、図８に示したような構成を有することで、オーディオ信号に対する信号処理を行って、別の信号、すなわち、装着された部位や用具などの動きに応じて変化させたオーディオ信号を生成することができる。本開示の実施の形態に係る信号処理装置１００は、図８に示したような構成を有することで、装着された部位や用具などの動きに応じて変化させたオーディオ信号を生成することにより、身体の動きそのものを聴覚的に体感できるよう提示することを可能とする。
また本開示の実施の形態に係る信号処理装置１００は、図８に示したような構成を有することで、信号処理装置１００が装着される部位や用具などの動きに応じて、信号処理の際のパラメータを変更することができる。従って、本開示の実施の形態に係る信号処理装置１００は、図８に示したような構成を有することで、同じ動作でも動きの量によって出力する音を変化させることが出来る。
図９は、本開示の実施の形態に係る信号処理装置１００の第４の動作例を示す流れ図である。
信号処理装置１００は、オーディオ信号を取得するとともに、ユーザの身体の動きに基づいて発生したモーション信号を取得する（ステップＳ１３１）。オーディオ信号及びユーザの身体の動きに基づいて発生したモーション信号を取得すると、続いて信号処理装置１００は、取得したオーディオ信号に対する信号処理を、モーション信号の内容に基づいて実行する（ステップＳ１３２）。ステップＳ１３２の信号処理は、制御部１２０が実行する。信号処理装置１００は、ステップＳ１３２で実行する信号処理として、例えば少なくとも一部の周波数帯域に対する増幅処理や、所定のエフェクト処理などを行う。
例えば信号処理装置１００は、オーディオ信号に対する信号処理のパラメータを、取得したモーション信号の内容に応じて変化させる。より具体的には、モーション信号の値が大きい、すなわち、信号処理装置１００が装着される部位や用具などの動きの量が大きい場合は、信号処理装置１００は、オーディオ信号に対する増幅処理を行う際の増幅量を大きくしたり、エフェクト処理の際のオーディオ信号の変化量を大きくしたりしてもよい。
信号処理装置１００は、オーディオ信号に対する信号処理を実行すると、信号処理を実行した後のオーディオ信号を出力する（ステップＳ１３３）。信号処理を実行した後のオーディオ信号は、音出力部１３０から、信号処理装置１００が装着された部位や用具などの動きに応じて変化させた音として出力される。
本開示の実施の形態に係る信号処理装置１００は、図９に示したような動作を実行することで、オーディオ信号に対する信号処理を行って、別の信号、すなわち、装着された部位や用具などの動きに応じて変化させたオーディオ信号を生成することができる。本開示の実施の形態に係る信号処理装置１００は、図９に示したような動作を実行することで、装着された部位や用具などの動きに応じて変化させたオーディオ信号を生成することにより、身体の動きそのものを聴覚的に体感できるよう提示することを可能とする。
また本開示の実施の形態に係る信号処理装置１００は、図９に示したような動作を実行することで、信号処理装置１００が装着される部位や用具などの動きに応じて、信号処理の際のパラメータを変更することができる。従って、本開示の実施の形態に係る信号処理装置１００は、図９に示したような動作を実行することで、同じ動作でも動きの量によって出力する音を変化させることが出来る。
［１．６．第５の構成例及び動作例］
続いて、本開示の実施の形態に係る信号処理装置１００の第５の構成例を説明する。信号処理装置１００の第４の構成例は、入力される信号がマイクで集音された音に基づく音声信号ではなく、楽曲などのオーディオ信号であり、そのオーディオ信号に対する信号処理を行った。信号処理装置１００の第５の構成例は、マイクで集音された音に基づく音声信号と、楽曲などのオーディオ信号との合成処理を、信号処理装置１００が装着される部位や用具などの動きに応じて行う。
図１０は、本開示の実施の形態に係る信号処理装置１００の第５の構成例を示す説明図である。本開示の実施の形態に係る信号処理装置１００は、マイク入力部１１０と、センサ入力部１１２と、オーディオ入力部１１４と、制御部１２０と、音出力部１３０と、を含んで構成される。
マイク入力部１１０は、図２等に示した信号処理装置１００のマイク入力部１１０と同様に、信号処理装置１００が装着される部位や用具などの動きによって発生する空力音や、装着された部位の近傍で人間が発生させた音を取得する。マイク入力部１１０は、取得した音を音声信号として制御部１２０に出力する。
センサ入力部１１２は、図４等に示したセンサ入力部１１２と同様に、信号処理装置１００が装着される部位や用具などの動きによって発生するモーション信号を取得する。モーション信号は、例えば加速度センサ、角速度センサ、地磁気センサなどからなるモーションセンサから出力される。センサ入力部１１２は、取得したモーション信号を制御部１２０に出力する。
オーディオ入力部１１４は、図８に示したオーディオ入力部１１４と同様に、楽曲などからなるオーディオ信号を取得する。オーディオ信号は、例えば信号処理装置１００とは異なる装置やサービス（ポータブル音楽プレーヤ、スマートフォン、タブレット端末、パーソナルコンピュータ、ネットワーク上の音楽配信サービス等）から供給されうる。オーディオ入力部１１４は、取得したオーディオ信号を制御部１２０に出力する。
制御部１２０は、マイク入力部１１０が出力する音声信号、センサ入力部１１２が出力するモーション信号、オーディオ入力部１１４が出力するオーディオ信号の少なくともいずれかに対する信号処理を行う。制御部１２０は、マイク入力部１１０が出力する音声信号、センサ入力部１１２が出力するモーション信号、オーディオ入力部１１４が出力するオーディオ信号に対する信号処理として、例えば少なくとも一部の周波数帯域に対する増幅処理や、所定のエフェクト処理などを行う。制御部１２０は、マイク入力部１１０が出力する音声信号、センサ入力部１１２が出力するモーション信号、オーディオ入力部１１４が出力するオーディオ信号の少なくともいずれかに対して信号処理を行うと、信号処理後の信号を音出力部１３０に出力する。
例えば、制御部１２０は、マイク入力部１１０が出力する音声信号と、オーディオ入力部１１４が出力するオーディオ信号との両方に対して、センサ入力部１１２が出力するモーション信号に応じて同じような増幅処理や、所定のエフェクト処理などを行う。制御部１２０は、オーディオ入力部１１４が出力するオーディオ信号との両方に対して処理を行うと、処理後の信号を合成して音出力部１３０に出力する。
また例えば、制御部１２０は、マイク入力部１１０が出力する音声信号と、オーディオ入力部１１４が出力するオーディオ信号とのいずれか一方に対して、センサ入力部１１２が出力するモーション信号に応じて同じような増幅処理や、所定のエフェクト処理などを行う。
また例えば、制御部１２０は、マイク入力部１１０が出力する音声信号の波形に応じて、オーディオ入力部１１４が出力するオーディオ信号に対する増幅処理や、所定のエフェクト処理などのパラメータを変更してもよい。
音出力部１３０は、図２等に示した信号処理装置１００の音出力部１３０と同様に、例えばスピーカで構成され、制御部１２０から出力される信号に基づいた音を出力する。
本開示の実施の形態に係る信号処理装置１００は、図１０に示したような構成を有することで、マイク入力部１１０が出力する音声信号、センサ入力部１１２が出力するモーション信号、オーディオ入力部１１４が出力するオーディオ信号の少なくともいずれかに対する信号処理を行って、別の信号、すなわち、装着された部位や用具などの動きに応じて変化させた音声信号を生成することができる。本開示の実施の形態に係る信号処理装置１００は、図１０に示したような構成を有することで、装着された部位や用具などの動きに応じて変化させた音声信号を生成することにより、身体の動きそのものを聴覚的に体感できるよう提示することを可能とする。
上述した各構成例における制御部１２０は、音声信号やオーディオ信号に対する信号処理を行う際に、信号処理装置１００を装着したユーザや用具の動きの跳度に応じて、音色加工を行ってもよい。具体的には、制御部１２０は、現在の加速値から、加速度の微分値（現在の加速度−前の加速度）を差し引いた値を、音色加工する係数として用いる。
制御部１２０は、現在の加速値から、加速度の微分値（現在の加速度−前の加速度）を差し引いた値を、音色加工する係数として用いることで、ユーザが急激に動きを止めたり、動いたりした際に、音の変化のメリハリを表現できる。例えば、ユーザがダンスしている場合、ユーザが動きを止めたときには、制御部１２０は、エフェクト効果を瞬時に停止させることができる。また同様に、ユーザがダンスしている場合、制御部１２０は、ユーザの動きによってエフェクト効果を追従させることができる。
また本開示の実施の形態に係る信号処理装置１００がオーディオ信号を出力している際に、制御部１２０は、加速度の微分値を差し引いた値に基づいて、そのオーディオ信号に対してエフェクト効果を与えても良い。
例えば、信号処理装置１００がオーディオ信号を出力している際に、ユーザがゆっくり動いたり、動きを止めたりした場合には、加速度の微分値を差し引いた値が小さいので、オーディオ信号に与えるエフェクト効果を弱くし、ユーザが急激に動きを止めたり、動いたりした場合には、加速度の微分値を差し引いた値が大きいので、オーディオ信号に与えるエフェクト効果を強くする。すなわち、ユーザが急激に動きを止めたり、動いたりすると、制御部１２０は、出力されるオーディオ信号にメリハリを与えることができる。
信号処理装置１００が出力するオーディオ信号は、外部から供給されるものであってもよく、マイク１０２などで予め録音した音、例えば人間の声や楽器の音などであってもよい。制御部１２０は、マイク１０２などで予め録音した音にエフェクトを与えることで、その場で録音した音にメリハリを与えることができる。
また制御部１２０は、ユーザや用具の装着部位の回転に応じた信号処理を行ってもよい。例えば、腕や足、道具に信号処理装置１００が装着されている場合に、制御部１２０は、装着部位の回転角に応じて、バンドパス、ローパス、ハイパスフィルタをかけてもよい。また例えば、同じように腕や足、道具に信号処理装置１００が装着されている場合に、制御部１２０は、装着部位の回転角に応じて、ピッチシフトなどのエフェクトを加えてもよい。
また制御部１２０は、ユーザや用具の装着部位の動きの加速の状態に応じた信号処理を行ってもよい。制御部１２０は、ユーザや用具の装着部位の加速の度合いに比例して、音色加工を強くしてもよい。
［１．７．外観例］
続いて、本開示の実施の形態に係る信号処理装置１００の外観例を説明する。
図１１、図１２は、本開示の実施の形態に係る信号処理装置１００の外観例を示す説明図である。図１１、図１２に示した信号処理装置１００は、ユーザの腕に装着するためのバンド２００に装着されるよう構成されている。
図１１、図１２に示した信号処理装置１００は、信号処理装置１００が装着される部位や用具などの動きによって発生する空力音や、装着された部位の近傍で人間が発生させた音を取得するマイク入力部１１０、集音した音に対する信号処理を行う制御部１２０、制御部１２０が信号処理を行った後の信号に基づいて音を出力する音出力部１３０と、を有するように構成される。
信号処理装置１００は、制御部１２０が信号処理を行った後の信号に基づいた音を、信号処理装置１００ではなく外部スピーカから出力しても良い。外部スピーカは、信号処理装置１００に有線で接続されていてもよく、無線で接続されていてもよい。また、信号処理装置１００は、制御部１２０が信号処理を行った後の信号に基づいた音を、信号処理装置１００に加えて外部スピーカから出力しても良い。
信号処理装置１００は、制御部１２０が信号処理を行った後の信号に基づいた音を、信号処理装置１００に加えて外部スピーカからも出力できるようにすることで、利用シーンに応じて、信号処理装置１００の本体から音を出したり、外部スピーカから音を出したりすることを可能にする。
例えば音を出せない環境では、信号処理装置１００は、信号処理後の音をヘッドホンやイヤホンに出力してユーザにだけ聞こえさせることができる。また、より体感に近づけたい場合は、信号処理装置１００は、信号処理後の音を本体から出力させることができる。また、周囲の人間を含めてみんなで盛り上がったり、ユーザの動きを見せつけたりする場合は、信号処理装置１００は、信号処理後の音を外部スピーカから出力させることができる。
図１３Ａ〜図１３Ｃは、信号処理装置１００の外観例を示す説明図である。信号処理装置１００は、空力音を集音するマイク１０２を覆うように、半球状の蜂の巣型に孔が空いているケース１０１を被せている。このように、空力音を集音するマイク１０２を覆うように、半球の蜂の巣型のケース１０１を被せることで、全方位からの音がマイク１０２に収集されやすくなる。また、ケース１０１の中心部に近づくほど、収集される音の密度が高くなる。図１４は、空力音を集音するマイク１０２を覆うように、半球状の蜂の巣型のケース１０１を被せていることの効果を模式的に示す説明図である。
もちろん信号処理装置１００の外観はかかる例に限定されるものでは無い。図１２に示したように、マイクの周囲に孔が空いているケースを被せて、マイクの周囲の３６０度全ての方向の音を集音してもよい。
信号処理装置１００は、図１１、図１２に示したバンド２００と脱着可能に構成されていても良い。さらに、信号処理装置１００は、マイクに被せるケースも脱着可能に構成されていても良い。例えば、全方位で集音して、その集音した音を拡張したい場合は、図１３Ａ〜図１３Ｃに示したようなケース１０１が信号処理装置１００に付けられていても良い。また、一定方向のみから集音して、その集音した音を拡張したい場合は、その方向の音のみを集音しやすい指向性を有するよう構成されたケースが信号処理装置１００に付けられていても良い。
上述した信号処理装置１００は、ユーザが使用する道具やおもちゃに装着したり、また内蔵されたりしても良い。信号処理装置１００を道具やおもちゃに内蔵することで、人間の身体の動きだけではなく、道具やおもちゃの動きを音で拡張できる。例えば、ボールやシューズ、スポーツ用具に信号処理装置１００が内蔵されていてもよい。ボールやシューズ、スポーツ用具に信号処理装置１００が内蔵されることによって、身体の動きだけでなく、身体から離れたボールの動きなどが音で拡張される。また、おもちゃ等に信号処理装置１００が内蔵されることで、おもちゃ（おもちゃの車や人形、ドローン）などの動きは音で拡張される。
［１．８．応用例］
上述した信号処理装置１００は、身体運動によって発生する音だけでなく、触感を他の装置に伝送したり、また記録したり、再生したりしてもよい。
図１５は、本開示の実施の形態に係る信号処理装置１００の応用例を示す説明図である。信号処理装置１００は、信号処理装置１００を装着したユーザの身体運動によって発生する音及び触感（物質を伝わる音）を収録し、他の装置に伝送しても良い。信号処理装置１００が収録し、伝送した音や触感は、他の装置で再生される。
信号処理装置１００は、例えば、信号処理装置１００を装着したユーザの身体運動によって発生する音及び触感を無線によって他の装置に伝送する。また信号処理装置１００は、例えば、信号処理装置１００を装着したユーザの身体運動によって発生する音及び触感を、所定の音声ファイルの形式で記録する。
このように、信号処理装置１００を装着したユーザの身体運動によって発生する音及び触感を他の装置に伝送することで、他者の運動体験を体感することができる。また信号処理装置１００は、信号処理装置１００を装着したユーザの身体運動によって発生する音及び触感を記録しておき、後で再生することで、ユーザの過去の運動体験をそのユーザに追体験させることが出来る。
より具体的には、信号処理装置１００は、信号処理装置１００を装着したユーザの身体運動によって発生する音及び触感を、放送波の映像やネットワークコンテンツ映像と同時に他の装置へ伝送してもよい。信号処理装置１００は、音及び触感を放送波の映像やネットワークコンテンツ映像と同時に他の装置へ伝送することで、当該装置を使用するユーザに、信号処理装置１００を装着したユーザの映像を見ながら、信号処理装置１００を装着したユーザの身体運動を体感させることが出来る。
信号処理装置１００は、ユーザの触感を伝送するために、例えばマイクが身体部分に密着するような構造を有していても良い。マイクが身体部分に密着するような構造を有していることにより、信号処理装置１００は、身体や物質を通した振動波形を入力し、触感として検知できる。また、信号処理装置１００は、マイクの他に振動センサを用いて身体や物質を通した振動波形を入力してもよい。
信号処理装置１００が収録した音と触感を再生する装置は、例えば、振動アクチュエータ、スピーカ、モーションセンサ等を有しうる。これらのモジュールを有する装置としては、例えばスマートフォンや、これらのモジュールを備えるスマートフォンケース等があり得る。
信号処理装置１００が収録した音と触感を再生する装置は、例えば、全ての音や触感を再生してもよく、上記装置を使用するユーザのモーション検知を行って、伝送者のモーションと同じモーションをした場合にのみ、伝送者の身体によって発生した音と触感を再生してもよい。
信号処理装置１００は、信号処理装置１００を装着したユーザの身体運動によって発生する音と触感を音色加工することで、音と触感を拡張して提示することができる。例えば、信号処理装置１００は、集音した音と触感を音色加工し、スピーカと振動アクチュチューターで再生することで、物質の特性が変わったように感じさせることができる。
＜２．まとめ＞
以上説明したように本開示の実施の形態によれば、装着された部位や用具などの動きによって発生する信号に対する信号処理を行って、別の信号、すなわち、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成する信号処理装置１００が提供される。本開示の実施の形態に係る信号処理装置１００は、装着された部位や用具などの動きを音で誇張して表すための音声信号を生成することにより、身体の動きそのものを聴覚的に体感できるよう提示することを可能とする。
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。
また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの一部又は全部は、たとえばインターネット等のネットワークを介して接続されるサーバ装置で実現されてもよい。また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの構成は、単独の装置で実現されてもよく、複数の装置が連携するシステムで実現されても良い。複数の装置が連携するシステムには、例えば複数のサーバ装置の組み合わせ、サーバ装置と端末装置との組み合わせ等が含まれ得る。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本開示の実施の形態に係る信号処理装置１００は、装着された部位や用具などの動きによって発生する信号に対する信号処理を行って、身体の動きを拡張して表現するための音を出力していたが、他にも、例えばモバイルカメラ等の撮像装置と連動することで、アニメーションのような映像加工をリアルタイムに行って、アニメーション世界のような音を放つ映像を生成しても良い。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
器具または身体に装着されたセンサから出力される、該センサの装着部位の動きに応じて発生する波形信号に基づいて、該波形信号または他の波形信号に対するエフェクト処理を実行する制御部を備える、信号処理装置。
（２）
前記波形信号は、前記センサで集音された音声信号である、前記（１）に記載の信号処理装置。
（３）
前記制御部は、前記波形信号が音声信号では無い場合は、該波形信号を音声信号に変換してから前記エフェクト処理を実行する、前記（１）に記載の信号処理装置。
（４）
前記波形信号は、前記センサが検出したモーション量に基づく信号である、前記（１）に記載の信号処理装置。
（５）
前記制御部は、所定の音源からの音声信号と、前記他の波形信号とを合成した信号に対して前記波形信号に基づいたエフェクト処理を実行する、前記（１）に記載の信号処理装置。
（６）
前記制御部は、エフェクト処理後の前記波形信号及び前記他の波形信号を合成する、前記（１）〜（５）のいずれかに記載の信号処理装置。
（７）
前記制御部は、前記エフェクト処理として少なくとも一部の周波数帯域に対する増幅処理を含んだ処理を実行する、前記（１）〜（６）のいずれかに記載の信号処理装置。
（８）
前記制御部は、前記エフェクト処理として少なくとも一部の周波数帯域に対するエコー処理を含んだ処理を実行する、前記（１）〜（７）のいずれかに記載の信号処理装置。
（９）
前記制御部は、前記エフェクト処理としてピッチシフト処理を含んだ処理を実行する、前記（１）〜（８）のいずれかに記載の信号処理装置。
（１０）
前記制御部は、前記波形信号の内容に応じて前記エフェクト処理の内容を変化させる、前記（１）〜（９）のいずれかに記載の信号処理装置。
（１１）
前記制御部は、ユーザによる指示に応じて前記エフェクト処理の内容を変化させる、前記（１）〜（１０）のいずれかに記載の信号処理装置。
（１２）
前記波形信号を出力するセンサを覆う、蜂の巣型に孔が空いている半球状のケースを備える、前記（１）〜（１１）のいずれかに記載の信号処理装置。
（１３）
前記ケースは、中央に行くにつれて孔が小さくなる、前記（１２）に記載の信号処理装置。
（１４）
器具または身体に装着されたセンサから出力される、該センサの装着部位の動きに応じて発生する波形信号に基づいて、該波形信号または他の波形信号に対するエフェクト処理をプロセッサで実行することを含む、信号処理方法。
（１５）
器具または身体に装着されたセンサから出力される、該センサの装着部位の動きに応じて発生する波形信号に基づいて、該波形信号または他の波形信号に対するエフェクト処理を実行することをコンピュータに実行させる、コンピュータプログラム。
１ ：ユーザ
１００ ：信号処理装置
１０１ ：ケース
１０２ ：マイク
１１０ ：マイク入力部
１１２ ：センサ入力部
１１４ ：オーディオ入力部
１２０ ：制御部
１３０ ：音出力部
２００ ：バンド

Claims (12)

  1. 器具または身体に装着されたセンサから出力される、該センサの装着部位の動きに応じて発生する波形信号に基づいて、該波形信号または他の波形信号に対するエフェクト処理を実行する制御部を備え、
    前記波形信号は、前記センサで集音された音声信号である、
    信号処理装置。
  2. 前記制御部は、所定の音源からの音声信号と、前記他の波形信号とを合成した信号に対して前記波形信号に基づいたエフェクト処理を実行する、請求項１に記載の信号処理装置。
  3. 前記制御部は、エフェクト処理後の前記波形信号及び前記他の波形信号を合成する、請求項１または請求項２に記載の信号処理装置。
  4. 前記制御部は、前記エフェクト処理として少なくとも一部の周波数帯域に対する増幅処理を含んだ処理を実行する、請求項１〜３のいずれか１項に記載の信号処理装置。
  5. 前記制御部は、前記エフェクト処理として少なくとも一部の周波数帯域に対するエコー処理を含んだ処理を実行する、請求項１〜４のいずれか１項に記載の信号処理装置。
  6. 前記制御部は、前記エフェクト処理としてピッチシフト処理を含んだ処理を実行する、請求項１〜５のいずれか１項に記載の信号処理装置。
  7. 前記制御部は、前記波形信号の内容に応じて前記エフェクト処理の内容を変化させる、請求項１〜６のいずれか１項に記載の信号処理装置。
  8. 前記制御部は、ユーザによる指示に応じて前記エフェクト処理の内容を変化させる、請求項１〜７のいずれか１項に記載の信号処理装置。
  9. 前記波形信号を出力するセンサを覆う、蜂の巣型に孔が空いている半球状のケースを備える、請求項１〜８のいずれか１項に記載の信号処理装置。
  10. 前記ケースは、中央に行くにつれて孔が小さくなる、請求項９に記載の信号処理装置。
  11. 器具または身体に装着されたセンサから出力される、該センサの装着部位の動きに応じて発生する波形信号に基づいて、該波形信号または他の波形信号に対するエフェクト処理をプロセッサで実行することを含み、
    前記波形信号は、前記センサで集音された音声信号である、
    信号処理方法。
  12. 器具または身体に装着されたセンサから出力される、該センサの装着部位の動きに応じて発生する波形信号に基づいて、該波形信号または他の波形信号に対するエフェクト処理を実行することをコンピュータに実行させ、
    前記波形信号は、前記センサで集音された音声信号である、
    コンピュータプログラム。
JP2017544234A 2015-10-09 2016-10-06 信号処理装置、信号処理方法及びコンピュータプログラム Active JP6856025B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015200899 2015-10-09
JP2015200899 2015-10-09
PCT/JP2016/079866 WO2017061577A1 (ja) 2015-10-09 2016-10-06 信号処理装置、信号処理方法及びコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021045103A Division JP7095767B2 (ja) 2015-10-09 2021-03-18 信号処理装置、信号処理方法及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JPWO2017061577A1 JPWO2017061577A1 (ja) 2018-07-26
JP6856025B2 true JP6856025B2 (ja) 2021-04-07

Family

ID=58487781

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017544234A Active JP6856025B2 (ja) 2015-10-09 2016-10-06 信号処理装置、信号処理方法及びコンピュータプログラム
JP2021045103A Active JP7095767B2 (ja) 2015-10-09 2021-03-18 信号処理装置、信号処理方法及びコンピュータプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021045103A Active JP7095767B2 (ja) 2015-10-09 2021-03-18 信号処理装置、信号処理方法及びコンピュータプログラム

Country Status (5)

Country Link
US (2) US10705620B2 (ja)
EP (1) EP3361476B1 (ja)
JP (2) JP6856025B2 (ja)
CN (1) CN108140370B (ja)
WO (1) WO2017061577A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017061577A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 信号処理装置、信号処理方法及びコンピュータプログラム
DE112019003350T5 (de) * 2018-07-04 2021-03-18 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahrenund programm
US11699421B2 (en) * 2019-09-30 2023-07-11 Mr. Christmas Incorporated System for touchless musical instrument

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5567901A (en) * 1995-01-18 1996-10-22 Ivl Technologies Ltd. Method and apparatus for changing the timbre and/or pitch of audio signals
US6377919B1 (en) * 1996-02-06 2002-04-23 The Regents Of The University Of California System and method for characterizing voiced excitations of speech and acoustic signals, removing acoustic noise from speech, and synthesizing speech
EP1130570B1 (en) * 2000-01-11 2007-10-10 Yamaha Corporation Apparatus and method for detecting performer's motion to interactively control performance of music or the like
JP3873654B2 (ja) * 2001-05-11 2007-01-24 ヤマハ株式会社 オーディオ信号生成装置、オーディオ信号生成システム、オーディオシステム、オーディオ信号生成方法、プログラムおよび記録媒体
JP4089651B2 (ja) * 2004-04-15 2008-05-28 ソニー株式会社 信号生成装置及び機械装置
US7667129B2 (en) * 2005-06-06 2010-02-23 Source Audio Llc Controlling audio effects
KR20070009298A (ko) * 2005-07-15 2007-01-18 삼성전자주식회사 모션 감지에 의하여 효과 음향을 재생하고 제어하는 방법및 장치
KR20090057268A (ko) * 2006-08-24 2009-06-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 햅틱 여기를 발생하기 위해 오디오 신호 및/또는 비디오 신호를 처리하기 위한 디바이스 및 방법
US8542846B2 (en) * 2007-02-23 2013-09-24 John Lloyd Matejczyk Vehicle sound enhancing system and method of producing
JP5334037B2 (ja) * 2008-07-11 2013-11-06 インターナショナル・ビジネス・マシーンズ・コーポレーション 音源の位置検出方法及びシステム
US20110021273A1 (en) * 2008-09-26 2011-01-27 Caroline Buckley Interactive music and game device and method
US8222507B1 (en) * 2009-11-04 2012-07-17 Smule, Inc. System and method for capture and rendering of performance on synthetic musical instrument
US20110287806A1 (en) 2010-05-18 2011-11-24 Preetha Prasanna Vasudevan Motion-based tune composition on a mobile device
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
JP2016500013A (ja) * 2012-10-16 2016-01-07 スイスイノヴ プロダクト サールＳｗｉｓｓｉｎｎｏｖ Ｐｒｏｄｕｃｔ Ｓａｒｌ 流体供給システムおよび方法
US9900688B2 (en) * 2014-06-26 2018-02-20 Intel Corporation Beamforming audio with wearable device microphones
WO2017061577A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 信号処理装置、信号処理方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2021092822A (ja) 2021-06-17
WO2017061577A1 (ja) 2017-04-13
US10705620B2 (en) 2020-07-07
JP7095767B2 (ja) 2022-07-05
US20200301516A1 (en) 2020-09-24
CN108140370A (zh) 2018-06-08
JPWO2017061577A1 (ja) 2018-07-26
US11036305B2 (en) 2021-06-15
US20180348879A1 (en) 2018-12-06
CN108140370B (zh) 2024-01-12
EP3361476A1 (en) 2018-08-15
EP3361476B1 (en) 2023-12-13
EP3361476A4 (en) 2019-06-26

Similar Documents

Publication Publication Date Title
JP7095767B2 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
US9786201B2 (en) Wearable sound
WO2020224322A1 (zh) 音乐文件的处理方法、装置、终端及存储介质
CN101668567B (zh) 利用多维空间音频的个人训练装置
WO2016092912A1 (ja) プログラム及び情報処理システム
JP6787325B2 (ja) 情報処理装置、情報処理方法、およびコンピュータ・プログラム
JP6835070B2 (ja) システム、端末装置、方法及び記録媒体
JP2018011201A (ja) 情報処理装置、情報処理方法、およびプログラム
CN110915240B (zh) 向用户提供交互式音乐创作的方法
EP3091757A1 (en) Virtual reality audio system and the player thereof, and method for generation of virtual reality audio
Birringer et al. The sound of movement wearables: Performing UKIYO
WO2020090223A1 (ja) 情報処理装置、情報処理方法及び記録媒体
JP5381293B2 (ja) 放音制御装置
JP7140447B2 (ja) 感知ユニットの動きからの少なくとも１つの検出される力を聴覚信号に変換するための装置及び方法
JP6161886B2 (ja) 音声出力システム、情報処理装置、情報処理プログラム、および音声出力制御方法
JP3621020B2 (ja) 音楽反応型ロボットおよび発信装置
JP6897565B2 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
WO2023199818A1 (ja) 音響信号処理装置、音響信号処理方法、及び、プログラム
WO2023173285A1 (zh) 音频处理方法、装置、电子设备及计算机可读存储介质
WO2020008856A1 (ja) 情報処理装置、情報処理方法、および記録媒体
WO2024014389A1 (ja) 音響信号処理方法、コンピュータプログラム、及び、音響信号処理装置
WO2024014390A1 (ja) 音響信号処理方法、情報生成方法、コンピュータプログラム、及び、音響信号処理装置
Baxter Swimmer's Ear Emulating Kinetic Sound Using Headphones and Sounds of Water
JP2017097214A (ja) 信号処理装置、信号処理方法及びコンピュータプログラム。
Harju Exploring narrative possibilities of audio augmented reality with six degrees of freedom

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210301

R151 Written notification of patent or utility model registration

Ref document number: 6856025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151