JP7371751B2

JP7371751B2 - 集音放音方法

Info

Publication number: JP7371751B2
Application number: JP2022182292A
Authority: JP
Inventors: 和則小林; 弘章伊藤; 伸村田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2019-09-09
Filing date: 2022-11-15
Publication date: 2023-10-31
Anticipated expiration: 2039-09-09
Also published as: US20220329936A1; JPWO2021048893A1; WO2021048893A1; JP7276472B2; JP2023027068A

Description

本発明は、自動車の外部の音を自動車の内部に提示する技術に関する。

自動車には様々なセンサや警告装置が備わっている。それらは、例えば、前方の自動車に追突しそうになったときに警告音を出したり、走行レーンを変更するときにそのレーンに他の走行車がいる場合に警告音を出したりする機能を実現するために用いられる。

走行中の自動車では、例えば、エンジン音、風切り音、車体の振動音など、様々な騒音が発生しており、乗員の快適性を低下させる要因となっている。そのため、自動車の遮音性を高める設計やパーツなどが求められている（例えば、非特許文献１参照）。一方、例えば、クラクション、踏切の警報、救急車のサイレン、並走車の走行音など、自動車の外部の音には、運転者に危険を知らせたり、運転者が危険を察知したりするために有用な情報が含まれている。

エーモン工業株式会社、"静音計画"、［online］、［令和１年８月１５日検索］、インターネット<URL: https://www.amon.jp/products/topics/seion/>

一般的な自動車では、窓を隔てて聞こえて来る外部の音が自動車内に伝わっているだけである。そのため、例えば、自動車の遮音性が高い場合や、運転者の聴力が加齢により低下している場合や、オーディオやラジオを自動車内で受聴している場合など、自動車内の運転者が外部の音を聞き取りにくい場合がある。不要な騒音に関しては、遮音されることで快適な自動車内空間を実現できるが、危険を察知したり、自動車を操作したりするために必要な音まで遮音されると、音による危険察知や運転に必要な状況把握が困難となる。

この発明の目的は、上記のような技術的課題に鑑みて、不要な外部の騒音を自動車内で増やすことなく、自動車内の運転者が危険を察知したり、運転に必要な状況把握をしたりするために必要な外部の音を聞き取りやすくする技術を提供することである。

上記の課題を解決するために、この発明の第一の態様の集音放音方法は、プロセッサと、プロセッサに接続されたメモリと、マイクロホンとを備える音響信号処理装置が、自動車に設置されたマイクロホンにより集音された音響信号にサイレンが含まれていた場合に、運転者に状況を把握させるための集音放音方法であって、マイクロホンにより集音された音響信号に、自動車の外部から発せられたサイレンが含まれているか検出し、サイレンが含まれていた場合、自動車の内部で放音されている音響信号を抑える。

この発明によれば、自動車内の運転者が危険を察知したり、運転に必要な状況把握をしたりするために必要な外部の音を聞き取りやすくなる。

図１は、第一実施形態の集音放音装置の機能構成を例示する図である。図２は、危険音検出部の機能構成を例示する図である。図３は、変形例１の集音放音装置の機能構成を例示する図である。図４は、変形例２の集音放音装置の機能構成を例示する図である。図５は、第二実施形態の集音放音装置の機能構成を例示する図である。図６は、第三実施形態の集音放音装置の機能構成を例示する図である。図７は、コンピュータの機能構成を例示する図である。

以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

［第一実施形態］
図１に、第一実施形態の集音放音装置１の機能構成の一例を示す。集音放音装置１は、自動車９０に搭載され、自動車９０の外部の音を集音し、運転者が危険を察知したり、運転に必要な状況把握をしたりするために有用な音のみを自動車９０の内部に放音する。本実施形態では、自動車９０は、前列の運転席９１と助手席９２、および後列の２つの後部座席９３，９４を備えるものとするが、自動車９０は少なくとも運転席９１を備えていればよく、その他の座席の数や配列は限定されない。

第一実施形態の集音放音装置１は、少なくとも１個の集音部Ｍ１、少なくとも１個の放音部Ｓ１、危険音検出部１１（以下、「判定部」とも呼ぶ）、およびスイッチ部１２（以下、「制御部」とも呼ぶ）を備える。集音部Ｍ１の出力は危険音検出部１１およびスイッチ部１２へ入力される。危険音検出部１１の出力はスイッチ部１２へ入力される。スイッチ部１２の出力は放音部Ｓ１へ入力される。また、集音部Ｍ１は、自動車９０の外部に設置されてもよいし、自動車９０の内部に設置されてもよい。この集音放音装置１が以下で説明する処理を行うことにより第一実施形態の集音放音方法が実現される。

集音放音装置１は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。集音放音装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。集音放音装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。集音放音装置１は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。

集音部Ｍ１は、自動車９０の外部の音を集音可能な位置に設置され、自動車９０の外部の音源から発せられ、自動車９０へ到来する音を集音する。集音部Ｍ１は、例えば、マイクロホンや振動センサである。集音部Ｍ１の設置位置は、例えば、自動車９０の外部、ボディの内側、窓の内部などが挙げられる。集音部Ｍ１は、集音した外部の音を表す音響信号（以下、「外部音響信号」とも呼ぶ）を危険音検出部１１へ出力する。

危険音検出部１１は、集音部Ｍ１が出力する外部音響信号を入力とし、その外部音響信号から所定の危険音を表す特徴が含まれる危険個所を検出する。ここで、危険音とは、外部音響信号に含まれる、所定の危険や自動車を操作する際の判断に用いられるべき音、もしくは事象に起因する音であり、例えば、クラクション、サイレン、踏切の警報、並走車の走行音、事故などによる衝撃音、音声などを表す。危険音検出部１１は、危険個所が検出されたか否かを示す判定結果をスイッチ部１２へ出力する。

図２Ａに、危険音検出部１１の第一の構成例を示す。図２Ａに示す危険音検出部１１Ａは、周波数分析部１１１、ニューラルネットワーク１１２、および危険判定部１１３を備える。

周波数分析部１１１は、集音部Ｍ１が出力する外部音響信号を周波数領域信号に変換する。周波数変換の手法は、例えば、数十から数百ミリ秒のフレームサイズでウィンドウを乗じ、フーリエ変換で周波数領域に変換する手法を用いることができる。また、フーリエ変換後にパワーを計算してパワースペクトルに変換したり、周波数を対数スケールで平均してメルスペクトルを求めたりしてもよい。周波数分析部１１１は、周波数変換後の外部音響信号を１フレームまたは複数フレーム分まとめて、ニューラルネットワーク１１２へ出力する。

ニューラルネットワーク１１２は、あらかじめ危険音の周波数スペクトルを学習したニューラルネットワークである。ニューラルネットワーク１１２は、周波数変換後の外部音響信号を入力とし、危険種別ごとの尤度の推定値を求める。ニューラルネットワーク１１２は、危険種別ごとの尤度の推定値を危険判定部１１３へ出力する。

危険判定部１１３は、危険種別ごとの尤度の推定値を入力とし、危険個所を検出する。具体的には、入力された危険種別ごとの尤度の推定値から尤度が最大の危険種別を選択し、その尤度があらかじめ定めた閾値よりも大きい場合に危険個所として判定する。危険判定部１１３は、判定結果を危険音検出部１１の出力とする。

図２Ｂに、危険音検出部１１の第二の構成例を示す。図２Ｂに示す危険音検出部１１Ｂは、周波数分析部１１１、周波数スペクトル記憶部１１４、相関計算部１１５、および種別判定部１１６を備える。

周波数スペクトル記憶部１１４には、危険個所で発生し得る周波数スペクトルの代表例が危険種別ごとに少なくとも１つ記憶されている。

相関計算部１１５は、周波数分析部１１１が出力する周波数変換後の外部音響信号と周波数スペクトル記憶部１１４に記憶された周波数スペクトルとの間の相関を危険種別ごとに計算する。相関計算部１１５は、危険種別ごとの相関を種別判定部１１６へ出力する。

種別判定部１１６は、危険種別ごとの相関を入力とし、危険個所を検出する。具体的には、入力された危険種別ごとの相関から相関が最も高い危険種別を選択し、その相関があらかじめ定めた閾値よりも大きい場合に、その種別の危険が検出されたものとして判定する。種別判定部１１６は、判定結果を危険音検出部１１の出力とする。

図２Ｃに、危険音検出部１１の第三の構成例を示す。図２Ｃに示す危険音検出部１１Ｃは、第一の構成例である危険音検出部１１Ａにおいて、周波数分析部１１１の後段に定常成分除去部１１７を備える。

定常成分除去部１１７は、周波数分析部１１１が出力する周波数変換後の外部音響信号から定常雑音成分を除去する。具体的には、周波数変換後の外部音響信号を例えば数十秒などで長時間平均して定常雑音成分を求め、その定常雑音成分を周波数変換後の外部音響信号から減算する。定常成分除去部１１７を備えることにより、外部音響信号から例えば自車両の走行音など定常的な雑音が除去され、危険個所をより検出しやすくすることができる。

スイッチ部１２は、危険音検出部１１が出力する判定結果に基づいてオンオフを切り替えることで、集音部Ｍ１が出力する外部音響信号を放音部Ｓ１から出力するか否かを制御する。スイッチ部１２は、オンのとき、入力される外部音響信号を放音部Ｓ１へ出力し、オフのとき、何も出力しない。スイッチ部１２は、判定結果が危険個所を検出したことを示す場合、オンに設定し、それ以外の場合、オフに設定するように構成される。

放音部Ｓ１は、自動車９０の内部、特に運転席９１の近傍に設置され、集音部Ｍ１で集音された外部音響信号に由来する音響信号（以下、「内部音響信号」とも呼ぶ）を放音する。内部音響信号は、外部音響信号そのものであってもよいし、運転席９１に着席している運転者が聞き取りやすいように外部音響信号を変換した音響信号であってもよい。放音部Ｓ１は、例えば、スピーカである。音響信号の変換には、例えばイコライザーなどを用いればよい。

放音部Ｓ１は、運転者が知覚しやすくなるように、運転者の耳を含むようにビームを形成して放音してもよいし、自動車内に他の音響信号が放音されている場合には、他の音響信号よりも危険音を強調して放音してもよい。

上記のように構成することにより、第一実施形態の集音放音装置１によれば、自動車９０の外部から到来する音から危険音を検出したときのみ、その危険音を自動車９０内に放音するため、不要な外部の雑音を自動車９０の内部に伝達することなく、運転者が危険音を知覚しやすくすることができる。

［変形例１］
第一実施形態では、集音放音装置が集音部と放音部を１個ずつ備える例を説明した。変形例１では、集音放音装置が複数の集音部と放音部を備える例を説明する。

変形例１の集音放音装置２は、図３に示すように、４個の集音部Ｍ１～Ｍ４と、４個の放音部Ｓ１～Ｓ４と、４個の危険音検出部１１－１～１１－４と、４個のスイッチ部１２－１～１２－４とを備える。集音部Ｍｉ（i=1, …, 4）の出力は危険音検出部１１－ｉとスイッチ部１２－ｉへ入力される。危険音検出部１１－ｉの出力はスイッチ部１２－ｉへ入力される。スイッチ部１２－ｉの出力は放音部Ｓｉへ入力される。

集音部Ｍ１～Ｍ４は、それぞれ相異なる４つの方向から到来する音を集音するように設置される。放音部Ｓ１～Ｓ４は、それぞれ集音部Ｍ１～Ｍ４の集音方向に対応するように、運転席９１の周囲に設置される。危険音検出部１１－１～１１－４およびスイッチ部１２－１～１２－４は各方向に対応する集音部と放音部の組ごとに、危険音の検出と放音の制御を行う。すなわち、第一実施形態の集音放音装置１が備える各処理部を４組用意し、相異なる４つの方向ごとに第一実施形態と同様の処理を行う。ここでは４方向の例を示したが、より多くの方向に対応するように各処理部の組を増やしても構わない。これにより、運転者が危険音の到来方向を知覚できるようになり、より適切に危険に対応する行動を取ることが可能となる。

［変形例２］
変形例２では、集音放音装置が複数の集音部と放音部を備えるもう１つの例を説明する。変形例１との違いは、危険音検出部を１つだけ備える点である。

変形例２の集音放音装置３は、図４に示すように、４個の集音部Ｍ１～Ｍ４と、４個の放音部Ｓ１～Ｓ４と、１個の危険音検出部１１と、４個のスイッチ部１２－１～１２－４と、１個の加算部１３とを備える。集音部Ｍｉ（i=1, …, 4）の出力はスイッチ部１２－ｉと加算部１３へ入力される。加算部１３の出力は危険音検出部１１へ入力される。危険音検出部１１の出力はスイッチ部１２－１～１２－４へ入力される。スイッチ部１２－ｉの出力は放音部Ｓｉへ入力される。

集音部Ｍ１～Ｍ４と放音部Ｓ１～Ｓ４は変形例１と同様に設置され、スイッチ部１２－１～１２－４は変形例１と同様の制御を行う。加算部１３は入力される集音部Ｍ１～Ｍ４の出力信号をすべて加算して危険音検出部１１へ出力する。危険音検出部１１は加算部１３の出力信号に対して危険個所の検出を行う。これにより、いずれかの方向から到来する外部音響信号に危険音が含まれる場合には、放音部Ｓ１～Ｓ４から内部音響信号が出力され、いずれの外部音響信号にも危険音が含まれない場合には、放音部Ｓ１～Ｓ４から何も出力されないようになる。

［第二実施形態］
第一実施形態では、自動車の外部で集音した音に危険音が含まれる場合に、その危険音を運転者が聞き取りやすくする構成を説明した。第二実施形態では、自動車の操作状態に応じて、運転に必要な音のみを運転者が聞こえるように制御する構成を説明する。

第二実施形態の集音放音装置４は、少なくとも１個の集音部Ｍ１、少なくとも１個の放音部Ｓ１、スイッチ部１２、状態取得部１４、および音出力判定部１５を備える。状態取得部１４の出力は音出力判定部１５へ入力される。音出力判定部１５の出力はスイッチ部１２へ入力される。図５では、集音部と放音部を１個ずつ備える例を示したが、変形例１や変形例２と同様に、複数の方向に対応した複数個の集音部と放音部を備えてもよい。その際には、集音部と放音部の数に応じてスイッチ部も複数備え、音出力判定部１５の出力はすべてのスイッチ部へ入力される。

状態取得部１４は、自動車９０から操作状態を表す情報を取得し、音出力判定部１５へ出力する。操作状態を表す情報は、例えば、ウインカーの状態、ギアの状態、ハンドルの操舵角、走行速度などである。

音出力判定部１５は、状態取得部１４から受け取った操作状態を表す情報から、集音部Ｍ１が出力する外部音響信号を放音部Ｓ１から出力するか否かを決定する。出力するか否かの判断基準は、運転者がその操作において外部の音を必要とするか否かによりあらかじめ定めておく。例えば、右折のウインカーがオンとなった場合、自動車の右側に設置した集音部で集音した音響信号を自動車の内部に設置した放音部から出力する制御を行う。右折のウインカーがオンであり、走行速度があらかじめ設定した速度以上である場合、集音部で集音した音響信号を自動車の内部に設置した放音部から出力する制御を行ってもよい。後者の構成であれば、交差点での右折待機時など停車している時には外部の音が放音されることはなく、車線変更時など走行している時には外部の音が放音されるように制御することができる。また、ギアがバックに入った場合にスイッチ部１２をオンとなるように制御してもよい。後進時には周囲の状況を確認しにくいことから、音により周囲の状況がわかりやすくなる効果が期待できる。

［第三実施形態］
変形例１や変形例２の集音放音装置は、あらかじめ定めた方向に対応させて複数の集音部と放音部を設置することで、危険音の到来方向を運転者が知覚できるように構成した。第三実施形態では、音像定位技術を応用することで、より正確に危険音の到来方向を運転者に知覚させることを可能とする。

第三実施形態の集音放音装置５は、図６に示すように、４個の集音部Ｍ１～Ｍ４と、４個の放音部Ｓ１～Ｓ４と、危険音検出部１１と、方向推定部１６と、ミキシング部１７とを備える。集音部Ｍｉ（i=1, …, 4）の出力は危険音検出部１１と音方向推定部１６とミキシング部１７へ入力される。危険音検出部１１の出力は音方向推定部１６とミキシング部１７へ入力される。音方向推定部１６の出力はミキシング部１７へ入力される。ミキシング部１７の出力は放音部Ｓ１～Ｓ４へ入力される。

集音部Ｍ１～Ｍ４と放音部Ｓ１～Ｓ４は変形例１や変形例２と同様に設置される。

音方向推定部１６は、集音部Ｍ１～Ｍ４が出力する外部音響信号を入力とし、音の到来方向を推定する。具体的には、相互相関法によりチャネル間の時間差を算出し、その時間差を用いて音の到来方向を求める。または、遅延和法により音の到来方向を求める。

ミキシング部１７は、集音部Ｍ１～Ｍ４が出力する外部音響信号をミキシングして、放音部Ｓ１～Ｓ４から出力する。ミキシング部１７は、音方向推定部１６で推定された音の到来方向に合わせて、放音部Ｓ１～Ｓ４からあらかじめ設定した割合で集音部Ｍ１～Ｍ４により集音された音響信号を出力する。これにより、音の到来方向に音像を定位させることができる。例えば、放音部Ｓ１と放音部Ｓ２の間に音像を定位させたい場合には、放音部Ｓ１と放音部Ｓ２から同時に音響信号を出力する。ステレオ再生時の音像定位位置と再生音量の比率についての関係に基づいて、音像を定位させたい位置に応じた割合で音響信号を出力すれば、狙った位置に音像を定位させることができる。また、あらかじめ実験的に音像定位位置と各放音部の再生音量バランスの関係を調べておき、音像定位位置と各放音部の再生音量バランスの関係をテーブルとして保存しておく方法を取ってもよい。

このように、複数の放音部から、音の到来方向に応じたバランスで、音響信号を再生することで、放音部の設置した場所以外にも音像を定位させることができる。これにより、運転者は音を聞いただけで、危険音の発生場所を特定することが可能となる。

以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図７に示すコンピュータの記憶部１０２０に読み込ませ、制御部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims

プロセッサと、当該プロセッサに接続されたメモリと、マイクロホンとを備える音響信号処理装置が、自動車に設置されたマイクロホンにより集音された音響信号にサイレンが含まれていた場合に、運転者に状況を把握させるための集音放音方法であって、
前記マイクロホンにより集音された音響信号に、前記自動車の外部から発せられたサイレンが含まれているか検出し、
前記サイレンが含まれていた場合、
前記自動車の内部で放音されている音響信号を抑える、
集音放音方法であって、
前記自動車の操作状態を取得し、
前記自動車の操作状態において、前記運転者がその操作において外部の音を必要とするか否かという判断基準に従って、前記自動車の内部で放音されている音響信号を抑えるか否かを制御する、
集音放音方法。
請求項１に記載の集音放音方法であって、
さらに、サイレンを発する車両を運転者が察知するための音響信号を前記自動車の内部に設置されたスピーカから放音する、
集音放音方法。