JP7410477B2 - 信号処理装置、信号処理方法、制御方法、システム、およびプログラム - Google Patents

信号処理装置、信号処理方法、制御方法、システム、およびプログラム Download PDF

Info

Publication number
JP7410477B2
JP7410477B2 JP2022574497A JP2022574497A JP7410477B2 JP 7410477 B2 JP7410477 B2 JP 7410477B2 JP 2022574497 A JP2022574497 A JP 2022574497A JP 2022574497 A JP2022574497 A JP 2022574497A JP 7410477 B2 JP7410477 B2 JP 7410477B2
Authority
JP
Japan
Prior art keywords
acoustic signal
output
processing device
signal processing
modulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022574497A
Other languages
English (en)
Other versions
JPWO2023074594A1 (ja
JPWO2023074594A5 (ja
Inventor
芳樹 長谷
和希 高澤
公一 小川
佳主馬 前田
達也 柳川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shionogi and Co Ltd
Pixie Dust Technologies Inc
Original Assignee
Shionogi and Co Ltd
Pixie Dust Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shionogi and Co Ltd, Pixie Dust Technologies Inc filed Critical Shionogi and Co Ltd
Priority to JP2023067070A priority Critical patent/JP2023107248A/ja
Publication of JPWO2023074594A1 publication Critical patent/JPWO2023074594A1/ja
Publication of JPWO2023074594A5 publication Critical patent/JPWO2023074594A5/ja
Application granted granted Critical
Publication of JP7410477B2 publication Critical patent/JP7410477B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/38Acoustic or auditory stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/02Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G10H1/057Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by envelope-forming circuits
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H5/00Instruments in which the tones are generated by means of electronic generators
    • G10H5/10Instruments in which the tones are generated by means of electronic generators using generation of non-sinusoidal basic tones, e.g. saw-tooth
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/02Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/35Communication
    • A61M2205/3576Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
    • A61M2205/3584Communication with non implanted data transmission devices, e.g. using external transmitter or receiver using modem, internet or bluetooth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502User interfaces, e.g. screens or keyboards
    • A61M2205/505Touch-screens; Virtual keyboard or keypads; Virtual buttons; Soft keys; Mouse touches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/58Means for facilitating use, e.g. by people with impaired vision
    • A61M2205/581Means for facilitating use, e.g. by people with impaired vision by audible feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/08Other bio-electrical signals
    • A61M2230/10Electroencephalographic signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/371Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information
    • G10H2220/376Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information using brain waves, e.g. EEG
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/551Waveform approximation, e.g. piecewise approximation of sinusoidal or complex waveforms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本開示は、信号処理装置、認知機能改善システム、信号処理方法、及びプログラムに関する。
1秒間に40回程度の頻度でパルス性の音刺激を生物に知覚させ、生物の脳内でガンマ波を誘発させると、生物の認知機能改善に効果があるという研究報告がある(非特許文献1参照)。
ガンマ波とは、脳の皮質の周期的な神経活動を、脳波や脳磁図といった電気生理学的手法により捉えた神経振動のうち、周波数がガンマ帯域(25~140Hz)に含まれるものを指す。
特許文献1には、脳波の同調を誘導する刺激周波数に相当する律動的な刺激を作成するために、音波またはサウンドトラックの振幅を増大または減少させることにより、音量を調節することが開示されている。
特表2020-501853号公報
Multi-sensory Gamma Stimulation Ameliorates Alzheimer’s-Associated Pathology and Improves Cognition Cell 2019 Apr 4;177(2):256-271.e22. doi: 10.1016/j.cell.2019.02.014.
しかしながら、音響信号の振幅を増減させた場合の振幅波形としてどのような波形が望ましいかについては、十分な検討がなされていない。同じ周波数の周期性を有する音響信号であっても、振幅波形の特徴によって、認知機能の改善効果の高さや聴者に与える不快感が異なることが考えられる。
本開示の目的は、聴者に与える不快感を抑制しながら音響信号の振幅を変化させることである。
本開示の一態様の信号処理装置は、入力音響信号を受け付ける手段と、受け付けた入力音響信号を振幅変調することで、ガンマ波の周波数に対応する振幅の変化を有し、振幅波形の包絡線の立ち上がりと立ち下がりが非対称である出力音響信号を生成する手段と、生成された出力音響信号を出力する手段と、を備える。
本実施形態の音響システムの構成を示すブロック図である。 本実施形態の信号処理装置の構成を示すブロック図である。 本実施形態の一態様の説明図である。 出力音響信号の振幅波形の第1例を示す図である。 出力音響信号の振幅波形の第2例を示す図である。 出力音響信号の振幅波形の第3例を示す図である。 実験の結果を示す図である。 本実施形態の信号処理装置による音響信号処理の全体フローを示す図である。 実験で使用した音刺激のリストを示す図である。 音刺激による脳波惹起の実験結果を示す図である。 心理実験と脳波測定の結果の相関を示す図である。
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
(1)音響システムの構成
音響システムの構成について説明する。図1は、本実施形態の音響システムの構成を示すブロック図である。
図1に示すように、音響システム1は、信号処理装置10と、音響出力装置30と、音源装置50とを備える。
信号処理装置10と音源装置50は、音響信号を伝送可能な所定のインタフェースを介して互いに接続される。インタフェースは、例えば、SPDIF(Sony Philips Digital Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)、ピンコネクタ(RCAピン)、またはヘッドホン用のオーディオインターフェースである。インタフェースは、Bluetooth(登録商標)などを用いた無線インタフェースであってもよい。信号処理装置10と音響出力装置30は同様に、所定のインタフェースを介して互いに接続される。本実施形態における音響信号は、アナログ信号とデジタル信号との何れか又は両方を含む。
信号処理装置10は、音源装置50から取得した入力音響信号に対して音響信号処理を行う。信号処理装置10による音響信号処理は、少なくとも音響信号の変調処理(詳細は後述する。)を含む。また、信号処理装置10による音響信号処理は、音響信号の変換処理(例えば、分離、抽出、または合成)を含み得る。さらに、信号処理装置10による音響信号処理は、例えばAVアンプと同様の音響信号の増幅処理をさらに含み得る。信号処理装置10は、音響信号処理によって生成した出力音響信号を音響出力装置30へ送出する。信号処理装置10は、情報処理装置の一例である。
音響出力装置30は、信号処理装置10から取得した出力音響信号に応じた音を発生させる。音響出力装置30は、例えば、ラウドスピーカ(アンプ内蔵スピーカ(パワードスピーカ)を含み得る。)、ヘッドホン、またはイヤホンである。
音響出力装置30は、信号処理装置10とともに、一装置として構成することもできる。具体的には、信号処理装置10および音響出力装置30は、TV、ラジオ、音楽プレーヤ、AVアンプ、スピーカ、ヘッドホン、イヤホン、スマートフォン、またはPCに実装可能である。信号処理装置10および音響出力装置30は、認知機能改善システムを構成する。
音源装置50は、入力音響信号を信号処理装置10へ送出する。音源装置50は、例えば、TV、ラジオ、音楽プレーヤ、スマートフォン、PC、電子楽器、電話機、ゲーム機、遊技機、または、放送もしくは情報通信により音響信号を搬送させる装置である。
(1-1)信号処理装置の構成
信号処理装置の構成について説明する。図2は、本実施形態の信号処理装置の構成を示すブロック図である。
図2に示すように、信号処理装置10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14とを備える。信号処理装置10は、ディスプレイ21に接続される。
記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。プログラム及びデータは、ネットワークを介して提供されてもよいし、コンピュータにより読み取り可能な記録媒体に記録して提供されてもよい。
プログラムは、例えば、以下のプログラムを含む。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーションのプログラム
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
プロセッサ12は、記憶装置11に記憶されたプログラムを読み出して実行することによって、信号処理装置10の機能を実現するコンピュータである。なお、信号処理装置10の機能の少なくとも一部が、1又は複数の専用の回路により実現されてもよい。プロセッサ12は、例えば、以下の少なくとも1つである。
・CPU(Central Processing Unit)
・GPU(Graphic Processing Unit)
・ASIC(Application Specific Integrated Circuit)
・FPGA(Field Programmable Array)
・DSP(digital signal processor)
入出力インタフェース13は、信号処理装置10に接続される入力デバイスからユーザの指示を取得し、かつ、信号処理装置10に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、音源装置50、物理ボタン、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ21、音響出力装置30、又は、それらの組合せである。
さらに、入出力インタフェース13は、例えば、A/D変換器、D/A変換器、増幅器、ミキサ、フィルタ、などの信号処理用ハードウェアを含み得る。
通信インタフェース14は、信号処理装置10と外部装置(例えば、音響出力装置30、または音源装置50)との間の通信を制御するように構成される。
ディスプレイ21は、画像(静止画、または動画)を表示するように構成される。ディスプレイ21は、例えば、液晶ディスプレイ、または有機ELディスプレイである。
(2)実施形態の一態様
本実施形態の一態様について説明する。図3は、本実施形態の一態様の説明図である。
(2-1)実施形態の概要
図3に示すように、信号処理装置10は、音源装置50から入力音響信号を取得する。信号処理装置10は、入力音響信号に対して変調を行うことで、出力音響信号を生成する。変調は、ガンマ波に対応する周波数(例えば35Hz以上45Hz以下の周波数)を持つ変調関数を用いた振幅変調である。これにより、音響信号には、上記周波数に対応する振幅の変化(音量の強弱)が付加される。同じ入力音響信号に対して異なる変調関数を適用すると、出力音響信号の振幅波形は異なる。振幅波形の例については後述する。
信号処理装置10は、出力音響信号を音響出力装置30へ送出する。音響出力装置30は、出力音響信号に応じた出力音を発生させる。
ユーザUS1(「聴者」の一例)は、音響出力装置30から発せられた出力音を聴く。ユーザUS1は、例えば、認知症患者、認知症予備群、又は健常者であって認知症の予防を期待する者である。前述のように、出力音響信号は、35Hz以上45Hz以下の周期性を有する変調関数を用いて変調された出力音響信号に基づいている。故に、ユーザUS1が音響出力装置30から発せられた音を聴くことで、ユーザUS1の脳内においてガンマ波が誘発される。これにより、ユーザUS1の認知機能の改善(例えば、認知症の治療、または予防)の効果が期待できる。
(2-2)振幅波形の第1例
図4は、出力音響信号の振幅波形の第1例を示す図である。入力音響信号の変調に用いる変調関数をA(t)とし、変調前の入力音響信号の波形を表す関数をX(t)とした場合に、変調後の出力音響信号の波形を表す関数をY(t)とした場合に、
Y(t)=A(t)・X(t)
となる。
第1例において、変調関数は40Hzの逆ノコギリ波状の波形を有する。入力音響信号は、40Hzより高い一定の周波数を有し、音圧も一定である、均質な音を表す音響信号である。その結果、出力音響信号の振幅波形の包絡線が、逆ノコギリ波に沿った形状となる。
具体的には図4に示すように、出力音響信号の振幅波形は、ガンマ波の周波数に対応する振幅の変化を有し、振幅波形の包絡線Aの立ち上がり部分Cと立ち下がり部分Bとが非対称(つまり、立ち上がりの時間長と立ち下がりの時間長とが異なる。)となっている。
第1例における出力音響信号の振幅波形の包絡線Aの立ち上がりは、立ち下がりと比較して急峻である。言い換えれば、立ち上がりに要する時間が立ち下がりに要する時間に比べて短い。包絡線Aの振幅値は、振幅の最大値まで急上昇した後に、時間の経過ととともに次第に下降する。すなわち、包絡線Aは、逆ノコギリ波状となっている。
(2-3)振幅波形の第2例
出力音響信号の振幅波形の第2例について説明する。図5は、出力音響信号の振幅波形の第2例を示す図である。
第2例において、変調関数は40Hzのノコギリ波状の波形を有する。入力音響信号は、40Hzより高い一定の周波数を有し、音圧も一定である、均質な音を表す音響信号である。その結果、出力音響信号の振幅波形の包絡線が、ノコギリ波に沿った形状となる。
具体的には図5に示すように、第2例における出力音響信号の振幅波形の包絡線Aの立ち下がりは、立ち上がりと比較して急峻である。言い換えれば、立ち下がりに要する時間が立ち上がりに要する時間に比べて短い。包絡線Aの振幅値は、振幅の最大値まで時間の経過ととともに次第に上昇した後に、急下降する。すなわち、包絡線Aは、ノコギリ波状となっている。
(2-4)振幅波形の第3例
出力音響信号の振幅波形の第3例について説明する。図6は、出力音響信号の振幅波形の第3例を示す図である。
第3例において、変調関数は40Hzの正弦波状の波形を有する。入力音響信号は、40Hzより高い一定の周波数を有し、音圧も一定である、均質な音を表す音響信号である。その結果、出力音響信号の振幅波形の包絡線が、正弦波に沿った形状となる。
具体的には図6に示すように、第3例における出力音響信号の振幅波形の包絡線Aの立ち上がりと立ち下がりはいずれも滑らかである。すなわち、包絡線Aは、正弦波状となっている。
なお、上記の第1例から第3例において、変調関数は40Hzの周期性を有するものとしたが、変調関数の周波数はこれに限定されず、例えば35Hz以上45Hz以下の周波数であってもよい。また、上記の第1例から第3例において、包絡線Aの振幅値の絶対値は周期的に0になるものとしたが、これに限らず、包絡線Aの振幅値の最小絶対値が0より大きい値(例えば最大絶対値の2分の1又は4分の1)になるような変調関数が用いられてもよい。
図4から図6に示す例では、入力音響信号の音圧と周波数が一定であるものとしたが、入力音響信号の音圧と周波数は変化してもよい。例えば、入力音響信号は、音楽、音声、環境音、電子音又はノイズを表す信号であってもよい。この場合、出力音響信号の振幅波形の包絡線は厳密には変調関数を表す波形とは異なる形状となるが、包絡線の大まかな形状は変調関数を表す波形と同様(例えば逆ノコギリ波状、ノコギリ波状、又は正弦波状)となり、入力音響信号の音圧と周波数が一定である場合と同様の聴覚刺激を聴者に与えることができる。
(2-5)実験結果
(2-5―1)実験の概要
本開示の技術による効果を検証するために行った実験について説明する。
本実験では、男性18名、女性8名の被験者に対して、40Hzの変調関数を用いて変調された音響信号に基づく出力音を聴かせ、その際に感じる心理反応、および脳内のガンマ波の誘発の程度を評価した。また、比較のために、40Hzのパルス波状の波形を有する音響信号に基づく出力音を聞かせた場合の心理反応とガンマ波の誘発の程度も評価した。心理反応は、被験者の主観を基準に、アンケートの回答(7段階尺度)により評価した。ガンマ波の誘発の程度は、被験者の頭部に装着した複数の電極により計測した。変調された音響信号に応じて出力音を生成する音響出力装置30としては、被験者の頭部に装着されるヘッドホンを採用した。
本実験では、以下の実験Aから実験Cを順番に行った。
・実験A…それぞれ異なる変調関数と入力音響信号に応じた複数種類の出力音を聞いた際の不快感を被験者が回答する実験
・実験B…それぞれ異なる変調関数と入力音響信号に応じた複数種類の出力音を聴いた際の被験者の脳波を測定する実験
・実験C…それぞれ異なる変調関数と入力音響信号に応じた複数種類の出力音を聴いた際の被験者の脳波を測定する実験(実験Bとは音の長さが異なる。)
実験Aでは、以下の項目についてどのくらい当てはまるかについて7段階尺度評価のアンケートを行った。
・不快に感じる
・苛立たしさを感じる
・音声は不自然だ
・音声が聞き取りにくい
この実験では、上述した振幅波形の第1例、振幅波形の第2例、及び振幅波形の第3例にそれぞれ対応する変調関数を用いて変調された音響信号と、パルス波状の波形を有する第4例の音響信号とを用いて評価を行った。その結果を図7に示す。図7は、実験の結果を示す図である。
図7に示すとおり、全ての変調波形パターンにおいて、ガンマ波の誘発が確認された。このことから、本実施形態において音響出力装置30から発された音をユーザUS1が聴くことで、ユーザUS1の脳内においてガンマ波が誘発されることが期待できる。そして、ユーザUS1の脳内にガンマ波を誘発させることで、ユーザUS1の認知機能の改善(例えば、認知症の治療、または予防)の効果を期待できる。また、第1例から第3例の波形パターンにおいて、第4例の波形パターンよりも不快感の程度が低いことが確認された。このことから、本実施形態において開示される変調関数により変調された音響信号を用いる場合、単純なパルス波からなる音響信号を用いる場合よりも、音を聞かせた際に聴者に与える不快感が抑制されることが期待できる。
また、図7に示す通り、ガンマ波の誘発の程度は、第2例および第3例と比較して、第1例の波形パターンが最も高いことが確認された。一方、不快感の程度は、第3例が最も低く、第2例が最も高いことが確認された。このことから、本実施形態において信号処理装置10が音響出力装置30へ出力する出力音響信号の振幅波形の包絡線が逆ノコギリ波状になる場合に、聴者に与える不快感を抑制しながら高い認知機能改善効果を得られることが期待できる。また、本実施形態において信号処理装置10が音響出力装置30へ出力する出力音響信号の振幅波形の包絡線が正弦波状になる場合に、聴者に与える不快感がより抑制されることが期待できる。
(2-5―2)実験の詳細
本開示の技術による効果を検証するための上述の実験について、さらに詳細に説明する。なお、以下では上述の実験Aと実験Bを中心に説明し、実験Cについては省略する。本実験では、誘発すべきガンマ波として40Hzの周波数を有する脳波に着目する。本実験で使用した音刺激(出力音)のリストを図9に示す。列901は音刺激の識別番号(以降「刺激番号」と呼ぶ。)を示し、列902は変調前の音信号(正弦波)の周波数を示し、列903は変調有無及び変調に用いた変調関数を示し、列904は変調関数の周波数を示し、列905は変調度を示す。
正弦波を用いた刺激群として9種類の刺激を用意した(刺激番号「01」~「09」)。まず、比較対象として、40Hzの正弦波を作成した(刺激番号「01」)。この刺激は純粋な正弦波であり、変調はおこなわれていない。次に、1kHz連続正弦波を変調した。変調は、1kHz正弦波と以下の包絡線を乗じることでおこなった。包絡線には、通常の正弦波(いわゆるAM変調)に加え、ノコギリ波と逆ノコギリ波を使用した。刺激番号「02」~「06」は正弦波変調された音刺激である。正弦波変調の包絡線は、式(1)で表される。
Figure 0007410477000001
ここで、mは変調度であり、0.00,0.50,1.00を用いた。fmは変調周波数であり、20Hz,40Hz,80Hzを用いた。tは時刻である。正弦波変調された音刺激は、上述した振幅波形の第3例に相当する。次に、刺激番号「07」、「08」はそれぞれ、ノコギリ波変調された音刺激と逆ノコギリ波変調された音刺激である。ノコギリ波変調と逆ノコギリ波変調の包絡線はそれぞれ、式(2)及び式(3)で表される。
Figure 0007410477000002
変調度mは1.00とし、変調周波数fmは40Hzとした。ノコギリ波変調された音刺激および逆ノコギリ波変調された音刺激はそれぞれ、上述した振幅波形の第2例及び第1例に相当する。ここで用いられるsawtooth関数は、-1から1まで線形に増加した後、瞬時に-1に戻る挙動を繰り返す不連続関数である。実験に用いた刺激は、変調した後に等価騒音レベル(Laeq)が等しくなるように調整された。なお、例えば、刺激番号「01」の40Hz正弦波は、等価騒音レベルを揃えると1kHzと比べて34.6dB大きい音圧レベルとなるが、これで聴感上のラウドネスが揃う。
これらに加えて、非特許文献1の研究で使われている刺激(1kHz正弦波1波長に前後0.3 msのテーパーを掛けたものを40Hzの周期で繰り返すパルス列)を比較対象として用いた(刺激番号「09」)。このパルス波状の音刺激は、上述した振幅波形の第4例に相当する。この刺激も刺激番号「01」~「08」と等価騒音レベルを揃えた。
その後、再生開始時および再生終了時のノイズを防ぐため、刺激の前後に0.5秒ずつのテーパー処理を掛けた。このように最後にテーパー処理をおこなうことにより、定常区間の等価騒音レベルが厳密に保たれている。刺激の時間長は、心理実験のものを10秒、脳波測定のものを30秒とした。
これらの刺激を、実験参加者に対して、全てヘッドホンで、Laeq=60dBでモノラル(diotic)呈示した。すなわち、変調なしの正弦波1kHzが音圧レベル60dBとなるように調整した。音圧校正はダミーヘッドでおこなった。実験参加者は、日本語を母語とする、聴力正常な26名(22.7±2.1歳、男性18名+女性8名)である。
脳波測定実験に先立ち、各刺激の心理評価実験(上述の実験Aに相当)をおこなった。テーパー部分を含めた刺激の長さは10秒である。全ての実験参加者は、これらの刺激音をこの心理実験で初めて聴取したため、各刺激音に対する慣れの影響は最小限であったと考えられる。
実験は、脳波測定実験と同じ静かな磁気シールドルーム内で、ヘッドホン呈示によりおこなった。実験参加者の前にLCDディスプレイを設置し、心理評価をおこなうためのGUIを用意した。回答は全てマウス操作によりおこなわせた。質問項目として、各音刺激を聞いた際の不快度と苛立たしさを、それぞれ7段階で評価させた。再生は1回限りとし、10秒の刺激の再生が終わるまでは回答ができないようにUIを設計した。回答が終わったら自動的に次の刺激が再生されるように設定した。また、実験の途中で休憩を取るように自動的に促すように設計した。
実験参加者には、「この実験でお聞きいただく音が、テレビ番組や動画配信サービス、ラジオなどの音声として流れていて、それを自宅のリビングルームで聴いているような場面を想像して、その音がどのくらい不自然か、あるいは聞き取りにくいか、などを判断してください」という教示をおこなった。再生される単語の意味は実験とは無関係であることも説明した。実験に先立ち、4つの刺激を用いて練習タスクをおこなった。実験では、被験者ごとに7段階の回答を1~7の数値尺度と見做して算術平均し、この値を被験者間で平均した。
心理実験の後、脳波測定(上述の実験Bに相当)をおこなった。測定は静かな磁気シールドルーム内でおこなった。用いた刺激のテーパー部分を含めた長さは30秒であった。実験中、同じ処理を施した刺激を2回ずつ呈示した。刺激間間隔は5秒とし、呈示順はランダムとした。刺激を呈示する間、実験参加者には可能な限り動かないように、また、可能な限り瞬きを減らすように指示した。また、LCDモニターで無声の短編アニメーション映像を再生し、意識レベルが一定に、また、アテンションレベルが安定的に低くなるようにコントロールした。映像は、事前に用意した中から実験参加者に選ばせた。実験参加者には、A1,A2の基準電極に加え、10-20法のFp1,Fp2,F3,F4,T3,T4,T5,T6,Cz,Pzチャンネルの位置にアクティブ電極をそれぞれ設置した。
測定された脳波波形は、実験後に解析された。まず、30秒の刺激呈示区間のうち、前後の1秒ずつの領域テーパーを解析対象から除外した。その後、0.5秒ずつずらしながら、1秒間の区間を55個切り出した。同じ処理をおこなったものを2回ずつ呈示しているので、解析対象は110区間である。この110個の波形それぞれにHann窓を掛けてFFTをおこなった。windowを半分ずつ移動してHann窓を掛けているため、結果的に全ての時刻のデータは対等に扱われている。FFT結果に対し、14Hz~100Hz成分のパワーの総和に対する40Hz成分のパワーの比率を求め、これを110区間で平均し、各実験参加者の電極ごとに一つずつのスカラー値(40Hz EEG power spectrum ratioと呼ぶ。)を得た。まず、各チャンネルについて、各刺激に対する反応ごとに、被験者間の平均値と標準偏差を求めた。このデータから、脳波惹起が脳の左右のいずれで優位であるかを調べ、その領域中で電気的ノイズの影響をほとんど受けていないとみられた代表の電極を一つ選択した。この電極の値に対し、仮説検定をおこなった。それぞれの刺激群に対し、分散分析(ANOVA)で差異を確認するとともに、Tukey法により多重比較による差の検定をおこなった。
図10は、音刺激による脳波惹起の実験結果を示す図である。具体的には、図10は、T6チャンネルにおける、各刺激により惹起された脳波の40Hz成分のパワー比率を示す。グラフ中の値とエラーバーは全実験参加者の平均値および標準偏差である。ANOVAにより、刺激の有意な差異が確認された(p<0.01)。
まず、正弦波を用いた刺激について述べる。変調していない1kHzの正弦波(刺激番号「05」)を基準とすると、40Hz正弦波(刺激番号「01」)との間で脳波の40Hz成分に差異は見られなかった(p=0.94)。これらの刺激の等価騒音レベルは揃えてあり、ラウドネスもほぼ揃っている。すなわち、単に40Hzの低周波音を呈示しても40Hz成分の脳波は惹起できないことを示唆している。また、これにより、ヘッドホンに印可された40Hz成分の信号が電気的なノイズとして脳波電極で検出されていたわけではないことが示された。なぜなら、40Hz成分は刺激番号「01」に最も大きく含まれる。また、20Hz正弦波変調(刺激番号「02」)や80Hz正弦波変調(刺激番号「06」)でも40Hz成分が惹起されないこともわかった。加えて、40Hz正弦波変調(刺激番号「03」,「04」,「05」)では、変調度に応じて40Hz成分が惹起されている傾向が観察される。
これに対し、ノコギリ波変調(刺激番号「07」)と逆ノコギリ波変調(刺激番号「08」)は、いずれも非変調の1kHz正弦波(刺激番号「05」)と有意差があった。また、これらの2つの刺激の間では有意差は見られなかった。従って、40Hzの低周波音ではなく、1kHzの音であっても変調関数の振幅包絡線を40Hzに設定することで、脳内に40Hzの脳波成分を惹起できることを示している。加えて、パルス性の刺激(刺激番号「09」)も非変調の1kHz正弦波(刺激番号「05」)と有意差があった。また、パルス性の刺激(刺激番号「09」)と、ノコギリ波変調及び逆ノコギリ波変調(刺激番号「07」,「08」)との間に、有意差はなかった。これらのデータは、パルス性の音に限らず、正弦波を振幅変調した音(元の1kHz正弦波のピッチ感を保っている音)であっても、同じような脳波惹起効果が得られることを示している。
最後に、心理実験結果と脳波測定結果との相互の値の関係性を検討する。図11は、心理実験と脳波測定の結果の相関を示す図である。具体的には、図11は、不快度と40Hz脳波成分比率との関係を示す。
不快度と40Hz脳波比率の関係について、正の相関が見られる(r=0.56)。このことから、少なくとも今回使用した刺激群では、不快度が高いほど40Hz脳波の惹起も大きいという大まかな傾向にあることがわかる。例えば、刺激番号「09」のパルス性の刺激では、不快度が非常に高いが、同時に、40Hz脳波も最も大きく惹起されていることがわかる。しかしながら、相関はそれほど強くないため、回帰直線を引いたとしてもそこから大きく外れる刺激も存在する。例えば、正弦波を逆ノコギリ波変調した刺激である刺激番号「08」は回帰直線よりも上に位置しており、不快度は刺激番号「09」よりも大きく低下しているが40Hz脳波比率の低下度合いは他の刺激よりも小さいと言える。逆に、正弦波を80Hz正弦波変調した刺激である刺激番号「06」では、不快度の低下は小さいが40Hz脳波の低下は著しい。また、正弦波をノコギリ波変調した刺激である刺激番号「07」は、パルス性刺激の刺激番号「09」と比較して不快度と40Hz脳波比率ともに小さく、逆ノコギリ波変調の刺激番号「08」と比較して不快度はやや高く40Hz脳波比率は小さい。1kHz正弦波を40Hz正弦波により変調度100%で変調した刺激である刺激番号「03」は、パルス性刺激の刺激番号「09」と比較して不快度と40Hz脳波比率ともに小さく、逆ノコギリ波変調の刺激番号「08」と比較して不快度はやや小さく40Hz脳波比率は小さい。
(3)音響信号処理
本実施形態の音響信号処理について説明する。図8は、本実施形態の信号処理装置10による音響信号処理の全体フローを示す図である。図8の処理は、信号処理装置10のプロセッサ12が、記憶装置11に記憶されたプログラムを読み出して実行することによって実現される。なお、図8の処理の少なくとも一部が、1又は複数の専用の回路により実現されてもよい。
図8の音響信号処理は、以下の開始条件のいずれかの成立に応じて開始する。
・他の処理又は外部からの指示によって図8の音響信号処理が呼び出された。
・ユーザが図8の音響信号処理を呼び出すための操作を行った。
・信号処理装置10が所定の状態(例えば電源投入)になった。
・所定の日時が到来した。
・所定のイベント(例えば、信号処理装置10の起動、または図8の音響信号処理の前回の実行)から所定の時間が経過した。
図8に示すように、信号処理装置10は、入力音響信号の取得(S110)を実行する。
具体的には、信号処理装置10は、音源装置50から送出される入力音響信号を受け付ける。
ステップS110において、信号処理装置10は、入力音響信号のA/D変換をさらに行ってもよい。
入力音響信号は、例えば、以下の少なくとも1つに対応する。
・音楽コンテンツ(例えば、歌唱、演奏、またはそれらの組み合わせ(つまり、楽曲)。動画コンテンツに付随する音声コンテンツを含み得る。)
・音声コンテンツ(例えば、朗読、ナレーション、アナウンス、放送劇、独演、会話、独言、またはそれらの組み合わせの音声など。動画コンテンツに付随する音声コンテンツを含み得る。)
・他の音響コンテンツ(例えば、電子音、環境音、または機械音)
ただし、歌唱、または音声コンテンツは、人間の発声器官により発せられる音声に限られず、音声合成技術により生成された音声を含み得る。
ステップS110の後に、信号処理装置10は、変調方法の決定(S111)を実行する。
具体的には、信号処理装置10は、ステップS110において取得した入力音響信号から出力音響信号を生成するために用いる変調方法を決定する。ここで決定される変調方法には、例えば、変調処理に用いる変調関数と、変調による振幅の変化の程度に対応する変調度との、少なくとも何れかが含まれる。一例として、信号処理装置10は、図4から図6を用いて説明した3種類の変調関数のうち何れを用いるかを選択する。いずれの変調関数を選択するかは、ユーザもしくは他者による入力操作又は外部からの指示に基づいて決定されてもよいし、アルゴリズムによって決定されてもよい。
本実施形態において、他者とは、例えば以下の少なくとも1人である。
・ユーザの家族、友人、または知人
・医療関係者(例えばユーザの担当医)
・入力音響信号に対応するコンテンツの作成者、または提供者
・信号処理装置10の提供者
・ユーザが利用する施設の管理者
信号処理装置10は、例えば、入力音響信号の特徴(音声と音楽のバランス、音量変化、音楽の種類、音色、またはその他の特徴)とユーザの属性情報(年齢、性別、聴力、認知機能レベル、ユーザ識別情報、またはその他の属性情報)との少なくとも何れかに基づいて、変調方法を決定してもよい。これにより信号処理装置10は、変調による認知機能の改善効果がより高くなるように変調方法を決定したり、ユーザに与える違和感がより小さくなるように変調方法を決定したりできる。また例えば、信号処理装置10は、タイマに応じて変調方法を決定してもよい。タイマに応じて定期的に変調方法を変更することで、ユーザが変調された音を聴くのに慣れてしまうことを抑制し、効率的にユーザの脳に刺激を与えることが期待できる。また、信号処理装置10は、変調方法の決定と同様に、各種条件に応じて出力音響信号の音量を決定してもよい。
なお、ステップS111において信号処理装置10は、変調方法の選択肢の1つとして、変調を行わない(つまり、変調度を0にする)ことを決定してもよい。また信号処理装置10は、変調を行わないように変調方法が決定された後、所定時間が経過した場合に、変調が行われるように変調方法を決定してもよい。さらに信号処理装置10は、変調が行われない状態から変調が行われる状態へ変化する際に、変調度が徐々に大きくなるように、変調方法を決定してもよい。
ステップS111の後に、信号処理装置10は、入力音響信号の変調(S112)を実行することで、出力音響信号を生成する。
具体的には、信号処理装置10は、S110において取得した入力音響信号に対して、S111において決定した変調方法に応じた変調処理を行う。一例として、信号処理装置10は、入力音響信号に対して、ガンマ波に対応する周波数(例えば、35Hz以上45Hz以下の周波数)を持つ変調関数を用いた振幅変調を行う。これにより、入力音響信号には、上記周波数に対応する振幅の変化が付加される。
ステップS112において、信号処理装置10は、出力音響信号の増幅、音量調節、またはD/A変換の少なくとも1つをさらに行ってよい。
ステップS112の後に、信号処理装置10は、出力音響信号の送出(S113)を実行する。
具体的には、信号処理装置10は、ステップS112において生成した出力音響信号を音響出力装置30へ送出する。音響出力装置30は、出力音響信号に応じた音を発生する。
信号処理装置10は、ステップS113を以て、図8の音響信号処理を終了する。
なお、信号処理装置10は、一定の再生期間を有する入力音響信号(例えば1曲の音楽コンテンツ)に対して図8の処理をまとめて行ってもよいし、入力音響信号の所定の再生区間ごと(例えば100msごと)に図8の処理を繰り返し行ってもよい。あるいは、信号処理装置10は、例えばアナログ信号処理による変調のように、入力される音響信号に対して連続的に変調処理を行って変調済みの音響信号を出力してもよい。図8に示す処理は、特定の終了条件(例えば、一定時間が経過したこと、ユーザ操作が行われたこと、または変調済みの音の出力履歴が所定の状態に達したこと)に応じて終了してもよい。
また、信号処理装置10による処理の順番は図8に示す例に限定されず、例えば変調方法の決定(S111)が入力音響信号の取得(S110)より前に行われてもよい。
(4)小括
以上説明したように、本実施形態の信号処理装置10は、入力音響信号に対して振幅変調を行うことで、ガンマ波の周波数に対応する振幅の変化を有する出力音響信号を生成する。出力音響信号においては、振幅波形の包絡線の立ち上がりと立ち下がりが非対称である。信号処理装置10は、生成した出力音響信号を音響出力装置30に向けて出力する。これにより、聴者に与える不快感を抑制しながら音響信号の振幅を所定の周期で増減させることができる。そして、音響出力装置30が、かかる出力音響信号に応じた音をユーザに聴かせることで、ユーザの脳内において出力音響信号の振幅の変動に起因してガンマ波が誘発される。その結果、ユーザの認知機能の改善(例えば、認知症の治療、または予防)の効果を期待できる。
出力音響信号は、35Hz以上45Hz以下の周波数に対応する振幅の変化を有していてもよい。これにより、出力音響信号に応じた音をユーザに聞かせた場合に、当該ユーザの脳内においてガンマ波の誘発が期待できる。
入力音響信号は、音楽コンテンツに対応する音響信号であってもよい。これにより、ユーザが出力音響信号に応じた音を聴くモチベーションを向上させることができる。
また、実験において、3パターンの波形のうちいずれの波形においてもガンマ波の誘発が確認されたため、第1例、第2例、および第3例の振幅波形をもつ入力音響信号により、ユーザの認知機能の改善(例えば、認知症の治療、または予防)の効果が期待できる。
(5)変形例
記憶装置11は、ネットワークNWを介して、信号処理装置10と接続されてもよい。ディスプレイ21は、信号処理装置10に内蔵されてもよい。
上記説明では、信号処理装置10が入力音響信号を変調する例を示した。しかしながら、信号処理装置10は、入力音響信号から一部の音響信号を抽出し、抽出した音響信号に対してのみ変調を行ったうえで、出力音響信号を生成してもよい。
上記説明では、信号処理装置10が入力音響信号を変調することで生成した出力音響信号を音響出力装置30に送出する例を示した。しかしながら、信号処理装置10は、入力音響信号を変調することで得られる変調済み入力音響信号に対して、その他の音響信号を合成することで出力音響信号を生成し、生成した出力音響信号を音響出力装置30に送出してもよい。
また、信号処理装置10は、変調済み入力音響信号とその他の音響信号とを、合成することなく同時に音響出力装置30に送出してもよい。
上記説明では、信号処理装置10が入力音響信号を変調することで生成される出力音響信号において、振幅波形の包絡線が逆ノコギリ波又はノコギリ波となり、包絡線の立ち上がりと立ち下がりが非対称となる例を示した。しかしながら、信号処理装置10により生成される出力音響信号はこれらに限定されず、振幅波形の包絡線の立ち上がりと立ち下がりが非対称となる他の振幅波形を有するものであってもよい。
例えば、包絡線の立ち上がり部分において、包絡線の接線の傾きが次第に小さくなってもよいし、包絡線の接線の傾きが次第に大きくなってもよい。また例えば、包絡線の立ち下がり部分において、包絡線の接線の傾きが次第に小さくなってもよいし、包絡線の接線の傾きが次第に大きくなってもよい。
上記説明では、変調関数が35Hz以上45Hz以下の周波数を備える場合の例を中心に説明した。ただし、信号処理装置10が用いる変調関数はこれに限定されず、聴者の脳内におけるガンマ波の誘発に影響する変調関数であればよい。例えば、変調関数が25Hz以上140Hz以下の周波数を備えていてもよい。また例えば、変調関数の周波数が経時的に変化してもよく、変調関数が部分的に35Hz未満の周波数又は45Hzより高い周波数を有していてもよい。
上記説明では、信号処理装置10により生成された出力音響信号が、出力音響信号に応じた音を発してユーザに聞かせる音響出力装置30へ出力される場合について説明した。ただし、信号処理装置10による出力音響信号の出力先はこれに限定されない。例えば、信号処理装置10は、通信ネットワークを介して、又は放送により、外部の記憶装置又は情報処理装置へ出力音響信号を出力してもよい。このとき、信号処理装置10は、変調処理により生成された出力音響信号と共に、変調処理がされていない入力音響信号を、外部の装置へ出力してもよい。これにより、外部装置は、変調処理がされていない音響信号と変調処理がされた音響信号とのうち一方を任意に選択して再生することができる。
また、信号処理装置10は、出力音響信号と共に、変調処理の内容を示す情報を外部の装置へ出力してもよい。変調処理の内容を示す情報は、例えば、以下の何れかを含む。
・変調関数を示す情報
・変調度を示す情報
・音量を示す情報
これにより、外部装置は、変調処理の内容に応じて音響信号の再生方法を変更することができる。
また、信号処理装置10は、入力音響信号と共に付加情報(例えばMP3ファイルにおけるID3タグ)を取得した場合に、当該付加情報を変更して出力音響信号と共に外部装置へ出力してもよい。
上述の実施形態では、信号処理装置10を含む音響システム1を、認知機能の改善(例えば、認知症の治療、または予防)のための認知機能改善システムとして用いる場合を中心に説明した。ただし、信号処理装置10の用途はこれに限定されない。非特許文献1には、40Hzの音刺激が脳内のガンマ波を誘発すると、アミロイドβが減少し、認知機能が改善されることが開示されている。すなわち、信号処理装置10により出力される出力音響信号に応じた音をユーザに聞かせることで、ユーザの脳内におけるアミロイドβが減少して沈着が抑制され、アミロイドβの増加又は沈着が原因となる疾患の予防又は治療に役立つことが期待される。アミロイドβの沈着が原因とされる疾患として、例えば脳アミロイドアンギオパチー(CAA)がある。CAAは、アミロイドβたんぱくが脳の小血管壁に沈着することにより、血管壁がもろくなって脳出血などが生じやすくなる病気である。認知症と同様に、CAAそのものに対する治療薬は存在しないため、上述の実施形態で説明した技術が革新的な治療法となりうる。すなわち、信号処理装置10と、信号処理装置10により出力される出力音響信号に応じた音をユーザに聞かせる音響出力装置30とを備える音響システム1は、脳アミロイドアンギオパチーの治療又は予防のための医療システムとして用いることもできる。
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
1 :音響システム
10 :信号処理装置
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
21 :ディスプレイ
30 :音響出力装置
50 :音源装置

Claims (14)

  1. 入力音響信号を受け付ける手段と、
    前記入力音響信号の少なくとも一部に35Hz以上45Hz以下の周期性を有する変調関数を乗じる振幅変調することで、35Hz以上45Hz以下の周波数に対応する振幅の変化を有する出力音響信号であって振幅波形の包絡線が逆ノコギリ波状である出力音響信号を生成する手段と、
    生成された前記出力音響信号を出力する手段と、
    を備え
    前記出力音響信号を生成する手段は、前記入力音響信号の少なくとも一部に35Hz以上45Hz以下の周期性を有しない変調関数を乗じる振幅変調を行わない、
    信号処理装置。
  2. 入力音響信号を受け付ける手段と、
    前記入力音響信号の少なくとも一部に35Hz以上45Hz以下の周期性を有する変調関数を乗じる振幅変調することで、35Hz以上45Hz以下の周波数に対応する振幅の変化を有する出力音響信号であって振幅波形の包絡線がノコギリ波状である出力音響信号を生成する手段と、
    生成された前記出力音響信号を出力する手段と、
    を備え
    前記出力音響信号を生成する手段は、前記入力音響信号の少なくとも一部に35Hz以上45Hz以下の周期性を有しない変調関数を乗じる振幅変調を行わない、
    信号処理装置。
  3. 前記入力音響信号は、音楽コンテンツと音声コンテンツとの少なくとも何れかを含む音響信号である、請求項1または請求項2に記載の信号処理装置。
  4. ユーザの認知機能を改善するためのシステムであって、
    信号処理装置と、
    前記信号処理装置により出力される出力音響信号に応じた音をユーザに聞かせる手段と、
    を備え、
    前記信号処理装置は、
    入力音響信号を受け付ける手段と、
    前記入力音響信号の少なくとも一部に35Hz以上45Hz以下の周期性を有する変調関数を乗じる振幅変調することで、35Hz以上45Hz以下の周波数に対応する振幅の変化を有する出力音響信号であって振幅波形の包絡線が逆ノコギリ波状である出力音響信号を生成する手段と、
    生成された前記出力音響信号を出力する手段と、
    を備える、
    システム
  5. ユーザの認知機能を改善するためのシステムであって、
    信号処理装置と、
    前記信号処理装置により出力される出力音響信号に応じた音をユーザに聞かせる手段と、
    を備え、
    前記信号処理装置は、
    入力音響信号を受け付ける手段と、
    前記入力音響信号の少なくとも一部に35Hz以上45Hz以下の周期性を有する変調関数を乗じる振幅変調することで、35Hz以上45Hz以下の周波数に対応する振幅の変化を有する出力音響信号であって振幅波形の包絡線がノコギリ波状である出力音響信号を生成する手段と、
    生成された前記出力音響信号を出力する手段と、
    を備える、
    システム
  6. ユーザの認知機能を改善するためのシステムであって、
    信号処理装置と、
    前記信号処理装置により出力される出力音響信号に応じた音をユーザに聞かせる手段と、
    を備え、
    前記信号処理装置は、
    入力音響信号を受け付ける手段と、
    前記入力音響信号の少なくとも一部に35Hz以上45Hz以下の周期性を有する変調関数を乗じる振幅変調することで、35Hz以上45Hz以下の周波数に対応する振幅の変化を有する出力音響信号であって振幅波形の包絡線が正弦波状である出力音響信号を生成する手段と、
    生成された前記出力音響信号を出力する手段と、
    を備える、
    システム
  7. アミロイドβの増加又は沈着が原因となる疾患の治療又は予防のためのシステムであって、
    入力音響信号を受け付ける手段と、
    前記入力音響信号の少なくとも一部に35Hz以上45Hz以下の周期性を有する変調関数を乗じる振幅変調することで、35Hz以上45Hz以下の周波数に対応する振幅の変化を有する出力音響信号であって振幅波形の包絡線が逆ノコギリ波状である出力音響信号を生成する手段と、
    生成された前記出力音響信号を出力することで、ユーザの脳に作用する音刺激を生み出す手段と、を備える、
    システム
  8. アミロイドβの増加又は沈着が原因となる疾患の治療又は予防のためのシステムであって、
    入力音響信号を受け付ける手段と、
    前記入力音響信号の少なくとも一部に35Hz以上45Hz以下の周期性を有する変調関数を乗じる振幅変調することで、35Hz以上45Hz以下の周波数に対応する振幅の変化を有する出力音響信号であって振幅波形の包絡線がノコギリ波状である出力音響信号を生成する手段と、
    生成された前記出力音響信号を出力することで、ユーザの脳に作用する音刺激を生み出す手段と、を備える、
    システム
  9. アミロイドβの増加又は沈着が原因となる疾患の治療又は予防のためのシステムであって、
    入力音響信号を受け付ける手段と、
    前記入力音響信号の少なくとも一部に35Hz以上45Hz以下の周期性を有する変調関数を乗じる振幅変調することで、35Hz以上45Hz以下の周波数に対応する振幅の変化を有する出力音響信号であって振幅波形の包絡線が正弦波状である出力音響信号を生成する手段と、
    生成された前記出力音響信号を出力することで、ユーザの脳に作用する音刺激を生み出す手段と、を備える、
    システム
  10. 前記入力音響信号は、音楽コンテンツと音声コンテンツとの少なくとも何れかを含む音響信号である、請求項4から請求項9の何れか1項に記載のシステム
  11. 入力音響信号を受け付け、
    前記入力音響信号の少なくとも一部に35Hz以上45Hz以下の周期性を有する変調関数を乗じる振幅変調することで、35Hz以上45Hz以下の周波数に対応する振幅の変化を有する出力音響信号であって振幅波形の包絡線が逆ノコギリ波状である出力音響信号を生成し、
    生成された前記出力音響信号を出力
    前記入力音響信号の少なくとも一部に35Hz以上45Hz以下の周期性を有しない変調関数を乗じる振幅変調を行わない、
    信号処理方法。
  12. 入力音響信号を受け付け、
    前記入力音響信号の少なくとも一部に35Hz以上45Hz以下の周期性を有する変調関数を乗じる振幅変調することで、35Hz以上45Hz以下の周波数に対応する振幅の変化を有する出力音響信号であって振幅波形の包絡線がノコギリ波状である出力音響信号を生成し、
    生成された前記出力音響信号を出力
    前記入力音響信号の少なくとも一部に35Hz以上45Hz以下の周期性を有しない変調関数を乗じる振幅変調を行わない、
    信号処理方法。
  13. ユーザの認知機能を改善するためのシステムの制御方法であって、
    前記システムは、
    信号処理装置と
    前記信号処理装置により出力される出力音響信号に応じた音をユーザに聞かせる手段と、
    を備え、
    前記信号処理装置に、
    入力音響信号を受け付けることと
    前記入力音響信号の少なくとも一部に35Hz以上45Hz以下の周期性を有する変調関数を乗じる振幅変調することで、35Hz以上45Hz以下の周波数に対応する振幅の変化を有する出力音響信号であって振幅波形の包絡線が正弦波状である出力音響信号を生成することと、
    生成された前記出力音響信号を出力することと
    を実行させる、
    制御方法
  14. コンピュータを、請求項1または請求項2に記載の信号処理装置の各手段として機能させるためのプログラム。
JP2022574497A 2021-10-25 2022-10-24 信号処理装置、信号処理方法、制御方法、システム、およびプログラム Active JP7410477B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023067070A JP2023107248A (ja) 2021-10-25 2023-04-17 信号処理装置、認知機能改善システム、信号処理方法、及びプログラム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2021173634 2021-10-25
JP2021173634 2021-10-25
JP2022077088 2022-05-09
JP2022077088 2022-05-09
PCT/JP2022/039422 WO2023074594A1 (ja) 2021-10-25 2022-10-24 信号処理装置、認知機能改善システム、信号処理方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023067070A Division JP2023107248A (ja) 2021-10-25 2023-04-17 信号処理装置、認知機能改善システム、信号処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2023074594A1 JPWO2023074594A1 (ja) 2023-05-04
JPWO2023074594A5 JPWO2023074594A5 (ja) 2023-09-27
JP7410477B2 true JP7410477B2 (ja) 2024-01-10

Family

ID=86159892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022574497A Active JP7410477B2 (ja) 2021-10-25 2022-10-24 信号処理装置、信号処理方法、制御方法、システム、およびプログラム

Country Status (3)

Country Link
US (1) US20230190174A1 (ja)
JP (1) JP7410477B2 (ja)
WO (1) WO2023074594A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5732497B2 (ja) 2013-02-08 2015-06-10 太陽光電能源科技股▲ふん▼有限公司Big Sun Energy Technology Inc. 太陽光追尾装置を備えた建築物
JP2020501853A (ja) 2016-11-17 2020-01-23 コグニート セラピューティクス,インク. 視覚刺激を介した神経刺激のための方法およびシステム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5531595Y1 (ja) * 1970-10-26 1980-07-28
US4160402A (en) * 1977-12-19 1979-07-10 Schwartz Louis A Music signal conversion apparatus
JPS5732497A (en) * 1980-08-06 1982-02-22 Matsushita Electric Ind Co Ltd Echo adding unit
JP2011251058A (ja) * 2010-06-03 2011-12-15 Panasonic Corp 聴性定常反応測定方法および測定装置
JP7175120B2 (ja) * 2018-07-26 2022-11-18 株式会社フェイス 音楽療法のための歌唱補助装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5732497B2 (ja) 2013-02-08 2015-06-10 太陽光電能源科技股▲ふん▼有限公司Big Sun Energy Technology Inc. 太陽光追尾装置を備えた建築物
JP2020501853A (ja) 2016-11-17 2020-01-23 コグニート セラピューティクス,インク. 視覚刺激を介した神経刺激のための方法およびシステム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
「Audacity 2.2.2 Manual」(Internet Archive、2018年2月22日)、https://web.archive.org/web/20180222152155/https://manual.audacityteam.org/
安井希子、三浦雅展、「AM音の振幅形状がRoughness知覚を変えるのか?」、日本音響学会講演論文集、2011年3月、2-1-4、p.1013-1016
安井希子、三浦雅展、「振幅包絡の形状がRoughnessに与える影響」、日本音響学会講演論文集、2010年9月、2-7-2、p.861~864

Also Published As

Publication number Publication date
WO2023074594A1 (ja) 2023-05-04
US20230190174A1 (en) 2023-06-22
JPWO2023074594A1 (ja) 2023-05-04

Similar Documents

Publication Publication Date Title
Chatterjee et al. Processing F0 with cochlear implants: Modulation frequency discrimination and speech intonation recognition
Bergstrom et al. Using music as a signal for biofeedback
US20150005661A1 (en) Method and process for reducing tinnitus
Zelechowska et al. Headphones or speakers? An exploratory study of their effects on spontaneous body movement to rhythmic music
Roman et al. Relationship between auditory perception skills and mismatch negativity recorded in free field in cochlear-implant users
Kuribayashi et al. High-resolution audio with inaudible high-frequency components induces a relaxed attentional state without conscious awareness
Petersen et al. The CI MuMuFe–a new MMN paradigm for measuring music discrimination in electric hearing
Zhang et al. Spatial release from informational masking: evidence from functional near infrared spectroscopy
Marozeau et al. The acoustic and perceptual cues affecting melody segregation for listeners with a cochlear implant
Cartocci et al. Frontal brain asymmetries as effective parameters to assess the quality of audiovisual stimuli perception in adult and young cochlear implant users
Arndt Neural correlates of quality during perception of audiovisual stimuli
Schmidt et al. Neural representation of loudness: cortical evoked potentials in an induced loudness reduction experiment
Hann et al. Strategies for the selection of music in the short-term management of mild tinnitus
Van Eeckhoutte et al. Objective binaural loudness balancing based on 40-Hz auditory steady-state responses. Part II: Asymmetric and bimodal hearing
JP7410477B2 (ja) 信号処理装置、信号処理方法、制御方法、システム、およびプログラム
JP6883716B2 (ja) 耳鳴治療器および耳鳴治療プログラム
JP3868326B2 (ja) 睡眠導入装置及び心理生理効果授与装置
Böckmann-Barthel et al. Time course of auditory streaming: do CI users differ from normal-hearing listeners?
JP2023107248A (ja) 信号処理装置、認知機能改善システム、信号処理方法、及びプログラム
WO2014083375A1 (en) Entrainment device
JP7307929B1 (ja) 信号処理装置、認知機能改善システム、信号処理方法、及びプログラム
Erkens et al. Hearing impaired participants improve more under envelope-transcranial alternating current stimulation when signal to noise ratio is high
JP5603281B2 (ja) 聴覚検査装置、方法およびコンピュータプログラム、補聴器調整システム
US20220095067A1 (en) Binaural beat sound output device having improved sound field and method therefor
WO2024004926A1 (ja) 信号処理装置、認知機能改善システム、信号処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221202

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230417

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230425

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231211

R150 Certificate of patent or registration of utility model

Ref document number: 7410477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150