JP2024039701A - 異音検査方法および装置 - Google Patents

Abstract

【課題】完成車検査工程でのホーン検査の際に周囲のノイズの影響を抑制すると同時に、音源分離処理に伴う歪による誤判定を少なくする。【解決手段】検査ライン上の車両から音を第１のマイクロフォンで集音し（Ｓ１）、ホーン等の評価対象音であると判定したら音データを切り出す（Ｓ２）。第２のマイクロフォンの音データを同時に切り出し（Ｓ３）、これを用いて音源分離処理を行う（Ｓ４）。音源分離処理後の音データのＳＮＲを算出し（Ｓ５）、所定の閾値と比較する（Ｓ６）。ＳＮＲが閾値以上であれば、音源分離処理後の音データを異音判定対象の音データとして選択し（Ｓ８）、閾値未満であれば、音源分離処理前の音データを異音判定対象の音データとして選択（Ｓ７）して、正常音であるか異常音であるかの判定を行う（Ｓ９）。【選択図】図２

Description

この発明は、検査対象から発せられる音が正常音であるか異常音であるかの検査を行う異音検査技術に関する。

例えば、自動車生産ラインの最終段階となる完成車検査工程においては、フリーローラ上で検査員が検査対象となる完成車両の試走を行い、エンジン、メータ類、ブレーキ、ホーン、灯火、等について多数の項目の検査を行う。一般に、この検査工程の中で、車両の各部で発する種々の音について、検査員の感覚に基づくいわゆる官能評価によって異常の有無の判定がなされる。例えば、ホーンについては、検査員がホーンを鳴らし、自らその音を聞いて正常な音であることを確認する検査がなされる。加速時にエンジンから生じる音やブレーキ操作時にブレーキから生じる音等についても同様に官能検査の対象となる。

このような官能検査に代えて、音をマイクロフォンで取得して、その信号の解析により異常を検出する試みが従来からなされている。このようにマイクロフォンで取得した音を用いた異音検査では、検査対象以外の箇所や他の機器等で生じる音つまりノイズが大きな問題となる。

このような周囲のノイズの問題に対処するために、マイクロフォンアレイや適当な距離に配置した複数本のマイクロフォンを用い、ビームフォーミング法等の手法によるノイズ抑制処理つまり音源分離処理を行うことが知られている（例えば特許文献１等）。

特許第６５２０２０６号公報

公知の音源分離処理は、ノイズ除去の観点からは有効であるが、同時に、音源分離処理後の音が原音に対して必ず歪を生じる、という本質的な問題がある。そのため、音源分離処理を行った結果、音の歪により、本来は正常音であった検査対象からの音が異常音であると誤判定してしまうことが生じ得る。

この発明に係る異音検査方法は、
検査対象から発せられる音を第１のマイクロフォンを介して取得し、
取得した音が検査対象の音であるかどうかを判定して、検査対象の音を含む期間の音データを切り出し、
第１のマイクロフォンとは異なる位置にある第２のマイクロフォンを介して同時期に取得した第２の音を用いて、上記音データの音源分離処理を行い、
音源分離処理後の音データのＳＮＲを算出し、
算出したＳＮＲを閾値と比較し、
ＳＮＲが閾値以上であれば音源分離処理後の音データを、閾値未満であれば音源分離処理前の音データを、異音判定対象の音データとして選択し、
選択した音データの特徴を解析して正常音であるか異常音であるかを判定する。

第１のマイクロフォンによる検査対象の音の取得に併せて第２のマイクロフォンによる音の取得を行うことで、公知の種々の手法により、音源分離処理が可能である。

ここで、音源分離処理後の音データのＳＮＲ（signal-noise ratio）が小さいということは、第１のマイクロフォンを介して取得した音の中で本来の検査対象の音に重畳しているノイズ成分が比較的小さいことを意味している。あるいは、ノイズ成分は重畳しているものの結果として十分にノイズを除去できなかったことを意味している。このような場合、音源分離処理によるノイズ除去というメリットに比較して音の歪が加わるデメリットが相対的に大きくなり、不必要な誤判定が生じ得る。そのため、本発明では、音源分離処理後の音データのＳＮＲが所定の閾値以上であることを条件として音源分離処理後の音データを用いて正常音・異常音の判定を行い、音源分離処理後の音データのＳＮＲが所定の閾値未満である場合は、歪を伴わない音源分離処理前の音データをそのまま用いて正常音・異常音の判定を行う。

この発明によれば、音源分離処理に伴う歪による異常音であるとの誤判定をより少なくすることができる。

この発明を自動車の完成車検査工程における異音検査に適用した第１実施例の機能ブロック図。 第１実施例の処理の流れを示すフローチャート。 第１実施例の表示部における表示例を示した説明図。 第１実施例の表示部における他の表示例を示した説明図。 第２実施例の機能ブロック図。 第２実施例の処理の流れを示すフローチャート。 第２実施例の表示部における表示例を示した説明図。 第３実施例の機能ブロック図。 第３実施例の処理の流れを示すフローチャート。 スペクトログラムを用いた歪算出の説明図。 異音判定対象の音データの選択手法の説明図。 異音判定対象の音データの他の選択手法の説明図。 第４実施例の機能ブロック図。 第４実施例の処理の流れを示すフローチャート。 第４実施例の表示部における表示例を示した説明図。 検査ラインとマイクロフォンとの位置関係の説明図。

以下、この発明を自動車の完成車検査工程における異音検査に適用した一実施例について説明する。一般に、自動車生産ラインの最終段階となる完成車検査工程においては、フリーローラ上で検査員が検査対象となる完成車両の試走を行い、エンジン、トランスミッション、メータ類、ホーン、ブレーキ、等を含む多数の項目の検査を所定の検査順序に従って行う。一実施例の異音検査装置は、車両側から評価対象音であるエンジン音やブレーキ音、ホーン音等の音を取得し、正常音であるか異常音（異音ともいう）であるかの判定を行い、その結果を表示する。例えば、ホーンについては、検査員がステアリングホイール上のホーンスイッチを押圧することでホーンを鳴らし、その音に基づいて、ホーンが正常であるかどうかの判別がなされる。

図１は、第１実施例の異音検査装置の機能ブロック図を示している。第１実施例の異音検査装置は、第１計測部１と、第２計測部２と、評価対象音切り出し部１０と、音源分離処理部２０と、ＳＮＲ算出部３０と、音データ選択部４０と、異音判定データ記憶部５０と、正常音・異常音判定部６０と、表示画像・映像生成部７０と、表示部８０と、を含んで構成されている。

第１計測部１は、検査対象の車両から生じる音を取得して電気信号つまり音データとするマイクロフォンと、この音データを一時的に保存する録音部と、を含んでいる。マイクロフォンは、ホーンやブレーキ等の音を含む車両からの音を集音し得るように車両外部に配置される。マイクロフォンの指向性や周波数特性などは、評価対象に合わせて選択されている。通常は、車両へ向けて指向性を有するマイクロフォンが用いられる。

第２計測部２は、第１計測部１と同一の構成を有し、音を取得して電気信号つまり音データとするマイクロフォンと、この音データを一時的に保存する録音部と、を含んでいる。この第２計測部２のマイクロフォンは、第１計測部１で取得した音に対する後述する音源分離処理つまりノイズ除去処理のために、第１計測部１のマイクロフォンとは異なる位置に配置される。

ここで、図１６は、好ましい一実施例における第１計測部１のマイクロフォンと第２計測部２のマイクロフォンとの位置関係を示している。この例では、完成車検査を行う建屋の中に、複数（例えば３つ）の検査ライン１０１，１０２・・・が隣接して配置されており、各検査ラインにおいて、各々検査対象とする車両１１１，１１２・・・の種々の検査が並行して行われるようになっている。そして、各々の検査ライン１０１，１０２・・・において、それぞれ車両１１１，１１２・・・に向かうように、マイクロフォン１２１，１２２・・・が配置されている。このような検査ラインの構成において、例えばある検査ライン１０１上の車両１１１の異音検査においては、当該検査ライン１０１に配置されたマイクロフォン１２１が第１計測部１のマイクロフォンとして利用され、隣接する検査ライン１０２のマイクロフォン１２２が第２計測部２のマイクロフォンとして利用される。同様に、検査ライン１０２上の車両１１２の異音検査においては、マイクロフォン１２２が第１計測部１のマイクロフォンとして利用され、隣接する検査ライン１０１（あるいは反対側に隣接する検査ライン）のマイクロフォン１２１が第２計測部２のマイクロフォンとして利用される。つまり、複数の検査ラインのマイクロフォンが相互に第１計測部１および第２計測部２のマイクロフォンとして利用される。

評価対象音切り出し部１０は、第１計測部１において取得される音データの音圧や音圧の時間特性、周波数や周波数の時間特性、吹鳴時間長やその他評価対象音特有の特徴などを抽出して、取得されている音が評価対象音であるかどうかを判定し、評価対象音を含む期間（例えば数秒程度）の音データを切り出す。評価対象音は、例えば自動車のホーン音やエンジン音、ブレーキ音などであり、予め検査項目として挙げられているものである。

評価対象音を特定するための音の周波数の解析には、例えば、ＦＦＴ（Fast Fourier Transform）やウェーブレット解析などの周波数解析手法を用いることができる。例えば、横軸を周波数、縦軸をパワー（あるいは音圧）、とした周波数スペクトルに変換したり、時間毎の変換結果を時系列に重ね合わせることで、時間を含む三次元データであるいわゆるスペクトログラムとして、評価対象音の判定を行うことができる。人の聴覚感度の周波数特性であるＡ特性やＣ特性などを乗じて、聴覚感度に合わせた周波数特性にしてもよい。なお、ＳＴＦＴ（short-term Fourier transform）等の技術を用いることで、音データの取得と並行して実質的にリアルタイムに評価対象音の判定および音データの切り出しを行うことが可能である。

ここで切り出されたある時間長の音データは、どのような形のデータであってもよい。例えば、周波数変換前の波形データの形であってもよく、変換後のスペクトログラム等であってもよい。一つの例では、評価対象音切り出し部１０において、スペクトログラムの形で音データが切り出され、以後の処理では、必要に応じて、周波数スペクトルや、音圧ないしパワーと時間とをパラメータとした波形データに逆変換される。

評価対象音切り出し部１０は、上記のように第１計測部１において取得した音データについて評価対象音を含む期間の音データを切り出したときに、同じ時期（期間）について第２計測部２において取得した音データの切り出しを行う。つまり、評価対象音（例えばホーン音）を含むある期間について、第１計測部１のマイクロフォンを介して取得した音データと第２計測部２のマイクロフォンを介して取得した音データとが得られることとなる。

音源分離処理部２０は、第２計測部２のマイクロフォンを介して取得した音データを用いて、第１計測部１のマイクロフォンを介して取得した評価対象音を含む音データの音源分離処理を行う。つまり、ノイズ音を含む第１計測部１の音データから評価対象音を分離する。一つの例では、それぞれスペクトログラムに変換されている２つの一定期間の音データを用いて、音源分離処理を行う。

音源分離処理には種々の方式のものが既に知られており、ここでは、いかなる方式のものであってもよい。例えば、ビームフォーミング法やこれに類する手法を用いることができる。ビームフォーミング法は、よく知られているように、δ：遅延時間、ｄ：マイクロフォン間隔、θ：音の到達角度、として、「δ＝ｄ・sinθ」という関係を利用して音源分離を行う。そのほか、音源の種類や空間的な位置の知識などを用いないいわゆるブラインド音源分離の適用も可能である。

ＳＮＲ算出部３０は、音源分離処理後の音データのＳＮＲを算出する。例えば、一般的な下記式を用いてＳＮＲを算出する。

ＳＮＲ＝10log（Σ（st^２）／Σ（st’－st）^２）－10log（Σ（st^２）／Σ（xt－st）^２）
ここで、stはクリーン信号つまり本来の評価対象音（例えば静かな環境で取得したホーン音等）の信号、st’は音源分離処理後の信号、xtは観測信号つまり音源分離処理前の信号、のそれぞれ音圧ないしパワーである。

ここで算出されるＳＮＲは、dBを単位とし、一般にマイナス表記となるが、その絶対値が大きいほどノイズ除去効果が大きいことを示す。

音データ選択部４０は、異音判定対象の音データとしてどの音データを用いるかを選択する。この実施例では、ＳＮＲ算出部３０において算出されたＳＮＲを所定の閾値と比較し、ＳＮＲが閾値以上であれば音源分離処理後の音データを、閾値未満であれば音源分離処理前の音データを、異音判定対象の音データとして選択する。

正常音・異常音判定部６０は、異音判定対象の音データの特徴を解析し、異音判定データ記憶部５０に格納された異音判定用のデータを参照して、正常音であるか異常音であるかの判定を行う。例えば、音質を定める音圧や周波数特性を用いて正常音であるか異常音であるか判定する。そのほか、ＩＳＯで規定されている音質、音色の指標である、ラウドネス、ラフネス、シャープネス、ビート（変動音）などを用いても良い。

異音判定データ記憶部５０には、ホーン音やエンジン音、ブレーキ音などの評価対象音毎に、例えば種々の特徴やその正常・異常判断の閾値等がデータベースとして蓄積されている。例えば、ホーンの場合は、対象部品がホーンで車種が車種Ａとした場合の正常音の音圧範囲（例えば、〇〇～△△dB）が異音判定データ記憶部５０から読み出され、この範囲を外れている場合には異常音であると判定される。あるいは、周波数特性として、異常な音の特徴であるピーク周波数の出現する周波数と音圧の組み合わせ（例えば、第１ピークは、〇〇Hz, △△dB、第２ピークは、〇〇Hz, △△dB・・・・、等）が異音判定データ記憶部５０に記憶されており、これと類比判断することで、正常音と異常音との判定がなされる。

エンジン音の場合は、前述したスペクトログラムを利用して正常音であるか異常音であるかの判定が可能である。つまり、多数の検査対象についてエンジン音のスペクトログラムを生成し、その描画画像を学習して、画像の明暗の線の間隔、長さ、傾きなどの特徴量を抽出し、その特徴量の閾値を正常音・異常音の判定基準として、異音判定データ記憶部５０に格納する。そして、異音判定対象の音データのスペクトログラムの特徴量と比較することで、正常音であるか異常音であるかを判定する。また、スペクトログラム以外にも、メルケプストラムなどの音情報を定量化・可視化する手段を利用してもよい。

また、正常である音の音データもしくは周波数データ（周波数スペクトルやスペクトログラム等）そのものを異音判定データ記憶部５０に蓄積しておき、これとの類比判断により正常音であるか異常音であるかの判定を行うようにしてもよい。なお、本実施例によって毎回実行される新たな検査の音データや判定結果も異音判定データ記憶部５０に蓄積されていき、特徴の抽出等に利用される。

なお、正常音・異常音判定部６０としては、上記の例に限らず、正常音と異常音とを識別する公知の適当な方法を利用することが可能である。

表示画像・映像生成部７０は、上記のようにして得られた結果（正常音・異常音）や、結果を求めるまでの処理過程等について、表示部８０に表示すべき画像ないし映像を生成する。表示部８０は、生成された画像ないし映像を、車両を運転している検査員、製造管理者、データを活用するデータサイエンティストなどの関係者、に対して表示するための表示手段である。例えば、液晶ディスプレイや有機ＥＬディスプレイ、ＨＭＤ（Head Mounted Display）、スマートウォッチ、等から構成される。また、音声を伴う場合は、音を生成し発するための音源、アンプ、スピーカ、等を含む。表示画像・映像生成部７０は、適当な表示を行うために、静止画や動画、アニメーションなど各種表示を生成し、分割、合成、切替表示、等を行う。表示タイミングの制御により複数の表示部８０に適切なタイミングで異なる表示を行うなども可能である。

図３は、第１実施例の表示部８０における表示例を示した説明図である。この例では、ディスプレイの画面に、上から順に、「（１）抽出した評価音（対象はマイク１）」、「（２）ＳＮＲ算出結果」、「（３）音源分離判定」、「（４）正常・異常判定結果」の４つの項目が設けられており、それぞれ、「ホーン音」、「－９．３２dB」、「閾値：－５dB／音源分離済音を使用」、「正常音」と結果が記載されている。また、ディスプレイの右上部分には、第１計測部１（マイク１と表記）および第２計測部２（マイク２と表記）の各々の音源分離前と音源分離済の音データが、縦軸を音圧とし横軸を時間とした二次元グラフの形で図示されている。つまり、図３の例は、音源分離処理後の音データのＳＮＲが閾値以上であったことから音源分離処理後の音データを用いて正常・異常の判定を行った結果、正常音であったことを示している。

図４は、第１実施例の表示部８０における他の表示例を示した説明図である。この例では、「（１）抽出した評価音（対象はマイク１）」、「（２）ＳＮＲ算出結果」、「（３）音源分離判定」、「（４）正常・異常判定結果」の４つの項目に対し、それぞれ、「ホーン音」、「－１．９８dB」、「閾値：－５dB／音源分離前音を使用」、「正常音」と結果が記載されている。つまり、図４の例は、音源分離処理後の音データのＳＮＲが閾値未満であったことから音源分離処理前の音データを用いて正常・異常の判定を行った結果、正常音であったことを示している。

このようにＳＮＲが閾値未満であることは、第１計測部１で取得した音の中で本来の検査対象の音に重畳しているノイズ成分が比較的小さいことを意味している。あるいは、ノイズ成分は重畳しているものの結果として十分にノイズを除去できなかったことを意味している。このような場合、音源分離処理によるノイズ除去というメリットに比較して音の歪が加わるデメリットが相対的に大きくなり、不必要な誤判定が生じ得る。従って、ＳＮＲが閾値未満である場合に音源分離処理前の音データを異音判定対象の音データとして用いることで、音源分離処理に伴う歪による異常音であるとの誤判定をより少なくすることができる。なお、ＳＮＲが閾値以上である場合も音源分離処理による音の歪は当然に生じているが、この場合は、ＳＮＲ向上による判定精度の向上のメリットが相対的に大きくなる。従って、ＳＮＲの閾値は、両者を勘案して適切に設定する必要がある。

図２は、上記の第１実施例の異音検査装置の処理の流れをフローチャートとして示したものである。まず初めに、第１計測部１のマイクロフォンによってフリーローラ上で試走している車両から例えばホーンの音を含む音を集音し、音データとして取得する（ステップ１）。次に、取得した音が評価対象音（例えばホーン音）であるかどうかを判定し、評価対象音を含む期間の音データを切り出す（ステップ２）。これは、例えばＳＴＦＴ（short-term Fourier transform）等の技術を用いることで、音データの取得と並行して実質的にリアルタイムに行うことができる。評価対象音であると判定して音データを切り出したら、実質的に同時に、第２計測部２の音データから同じ時間帯の音データを切り出す（ステップ３）。なお、第１計測部１および第２計測部２で取得した音データを一時的に記憶しておいて、例えばホーン音が終了した後に音データの切り出しを行うようにしてもよい。

次に、これら２つの音データを用いて、第１計測部１の音データについて音源分離処理を行い（ステップ４）、さらに、音源分離処理後の音データのＳＮＲを算出する（ステップ５）。一つの例では、２つの音データをそれぞれスペクトログラムに変換した上で音源分離処理を行う。

次に、算出したＳＮＲを所定の閾値と比較する（ステップ６）。ＳＮＲが閾値未満であれば、異音判定対象の音データとして音源分離処理前の音データを選択する（ステップ７）。ＳＮＲが閾値以上であれば、異音判定対象の音データとして音源分離処理後の音データを選択する（ステップ８）。そして、選択した異音判定対象の音データについて、正常音であるか異常音であるかの判定を行い（ステップ９）、その結果を処理プロセスとともに表示部に表示する（ステップ１０）。ホーン音を評価対象音とする一つの例では、スペクトログラムを周波数スペクトルに逆変換した上で、前述したピーク周波数等の特徴に基づいて、正常音であるか異常音であるかの判定を行う。

なお、ステップ１の車両からの音の取得およびステップ２の評価対象音であるか否かの判定は、一連の車両検査中に繰り返し実行される。例えば、ホーン音、加速時のエンジン音、ブレーキ音、の３つを予め評価対象音として設定しておくことで、音の発生タイミングを同期ないし制御する必要がなく、検査員が適当なタイミングで生じさせたホーン音、加速時のエンジン音、ブレーキ音、を認識ないし分別して、各々の処理を行うことができる。つまり、前述した検査ラインの上で、複数種類の異音検査を連続的に行うことができる。

このように、上記実施例では、検査対象となる車両の音を集音するマイクロフォンに加えて隣接した検査ラインが備えるマイクロフォンを利用して音源分離処理を行うので、実質的にマイクロフォンの数を増やさずに周囲のノイズを除去することができ、異音検査の精度が向上する。例えば、エンジン音等が存在する中でホーン等の検査を行うことができる。そして、音源分離処理後の音データのＳＮＲが閾値未満のときには音源分離処理前の音データを用いて正常音・異常音の判定を行うので、音源分離処理に伴う歪による異常音であるとの不必要な誤判定を少なくすることができる。

次に、図５～図７に基づいて第２実施例の異音検査装置について説明する。なお、以下では、第１実施例と異なる部分について主に説明する。第２実施例の異音検査装置は、音源分離処理を複数種類の方式で行い、各々で得られた音源分離処理後の音データの中で最もＳＮＲが大きい音データを異音判定対象の候補とする、点において第１実施例と異なる。

図４は、第２実施例の異音検査装置の機能ブロック図を示している。第２実施例の異音検査装置は、第１実施例と同様に、第１計測部１と、第２計測部２と、評価対象音切り出し部１０と、音源分離処理部２０Ａと、ＳＮＲ算出部３０Ａと、音データ選択部４０Ａと、異音判定データ記憶部５０と、正常音・異常音判定部６０と、表示画像・映像生成部７０と、表示部８０と、を含んで構成されている。

音源分離処理部２０Ａは、前述したように、第２計測部２のマイクロフォンを介して取得した音データを用いて、第１計測部１のマイクロフォンを介して取得した評価対象音を含む音データの音源分離処理を行う。つまり、ノイズ音を含む第１計測部１の音データから評価対象音を分離する。ここで、第２実施例においては、複数種類の音源分離処理を行い、それぞれで音源分離処理後の音データを得る。そして、ＳＮＲ算出部３０Ａでは、各々の音源分離処理後の音データについてＳＮＲを算出する。

一実施例では、音源分離処理として、例えば、ビームフォーミング法の固定ビームフォーマ（固定BF）、同じくビームフォーミング法の適用ビームフォーマ（例えばGriffiths-Jimビームフォーマ（GJBF））、ブラインド音源分離の独立低ランク行列分析（ILRMA）、の３つの方式が適用される。勿論、他の公知の音源分離手法を適用することが可能であり、４つ以上の異なる方式での音源分離処理を行ってもよい。

音データ選択部４０Ａは、前述したように、異音判定対象の音データとしてどの音データを用いるかを選択する。第２実施例では、互いに異なる音源分離処理を経た複数の音データの中でＳＮＲが最も大きい音データを候補とし、この候補の音データのＳＮＲを所定の閾値と比較する。ＳＮＲが閾値以上であれば候補である音源分離処理後の音データを、閾値未満であれば音源分離処理前の音データを、異音判定対象の音データとして選択する。閾値は、第１実施例の閾値と同じ値あるいは異なる値となり得る。なお、音源分離処理を経た複数の音データのＳＮＲを先に閾値と比較して閾値以上のものを抽出した上で、その中で最もＳＮＲが大きい音データを選択するようにしてもよい。

図７は、第２実施例の表示部８０における表示例を示した説明図である。第１実施例と同様に、ディスプレイの画面に、上から順に、「（１）抽出した評価音（対象はマイク１）」、「（２）ＳＮＲ算出結果」、「（３）音源分離判定」、「（４）正常・異常判定結果」の４つの項目が設けられている。「（１）抽出した評価音（対象はマイク１）」の欄には「ホーン音」と記載されている。ここで、第２実施例では、「（２）ＳＮＲ算出結果」の欄には、「ILRMA」、「GJBF」、「固定BF」の３つの方式による音源分離処理後のＳＮＲが、上から値が大きい順に並べた形で表示されている。「（３）音源分離判定」の欄には「閾値：－３dB／音源分離済音を使用」と記載され、「（４）正常・異常判定結果」の欄には「正常音」と結果が記載されている。また、ディスプレイの右上部分には、第１計測部１（マイク１と表記）および第２計測部２（マイク２と表記）の各々の音源分離前の音データが、縦軸を音圧とし横軸を時間とした二次元グラフの形で図示されている。つまり、図７の例は、ILRMA方式の音源分離処理が最も大きいＳＮＲを有し、この音データのＳＮＲが閾値以上であったことから、音源分離処理後の音データを用いて正常・異常の判定を行った結果、正常音であったことを示している。

図６は、上記の第２実施例の異音検査装置の処理の流れをフローチャートとして示したものである。まず初めに、第１計測部１のマイクロフォンによってフリーローラ上で試走している車両から例えばホーンの音を含む音を集音し、音データとして取得する（ステップ１）。次に、取得した音が評価対象音（例えばホーン音）であるかどうかを判定し、評価対象音を含む期間の音データを切り出す（ステップ２）。評価対象音であると判定して音データを切り出したら、実質的に同時に、第２計測部２の音データから同じ時間帯の音データを切り出す（ステップ３）。

次に、これら２つの音データを用いて、第１計測部１の音データについて音源分離処理を行い（ステップ４）、さらに、音源分離処理後の音データのＳＮＲを算出する（ステップ５）。ここでは、複数種類の方式による音源分離処理を行い、それぞれで得られた音源分離処理後の音データのＳＮＲをそれぞれ算出する。

次に、ステップ１１に進み、複数の音源分離処理後の音データの中で最もＳＮＲが大きい音データを異音判定対象の音データの候補とする。そして、この候補の音データのＳＮＲを所定の閾値と比較する（ステップ６）。ＳＮＲが閾値未満であれば、異音判定対象の音データとして音源分離処理前の音データを選択する（ステップ７）。ＳＮＲが閾値以上であれば、異音判定対象の音データとして候補の音源分離処理後の音データを選択する（ステップ８）。そして、選択した異音判定対象の音データについて、正常音であるか異常音であるかの判定を行い（ステップ９）、その結果を処理プロセスとともに表示部に表示する（ステップ１０）。

このように、第２実施例では、音源分離処理後のＳＮＲが最も大きい音データを用いて正常音・異常音の判定を行うので、異音検査の精度がより向上する。

次に、図８～図１２に基づいて第３実施例の異音検査装置について説明する。なお、以下では、第２実施例と異なる部分について主に説明する。第３実施例の異音検査装置は、第２実施例と同様に音源分離処理を複数種類の方式で行い、各々で得られた音源分離処理後の音データのＳＮＲを算出するのであるが、さらに、複数の音源分離処理後の音データの音の歪（音源分離処理に伴う原音に対する歪）をそれぞれ求め、ＳＮＲと歪の大小との双方を勘案して異音判定対象の音データを選択する、点において第２実施例と異なる。

図８は、第３実施例の異音検査装置の機能ブロック図を示している。第３実施例の異音検査装置は、第２実施例と同様に、第１計測部１と、第２計測部２と、評価対象音切り出し部１０と、音源分離処理部２０Ａと、ＳＮＲ算出部３０Ａと、音データ選択部４０Ｂと、異音判定データ記憶部５０と、正常音・異常音判定部６０と、表示画像・映像生成部７０と、表示部８０と、を含んでおり、さらに、歪算出部９０を含んで構成されている。

音源分離処理部２０Ａは、前述したように、第２計測部２のマイクロフォンを介して取得した音データを用いて、第１計測部１のマイクロフォンを介して取得した評価対象音を含む音データの音源分離処理を行う。つまり、ノイズ音を含む第１計測部１の音データから評価対象音を分離する。ここでは、第２実施例と同じく、複数種類の音源分離処理を行い、それぞれで音源分離処理後の音データを得る。

歪算出部９０は、音源分離処理後の音が音源分離処理前の音（原音）に対してどの程度の歪を有しているかを定量的に評価する。特に、ここでは、複数種類の音源分離処理により得られた複数の音データの各々について、歪を算出する。歪の算出は種々の方法が可能であるが、一実施例においては、図１０に示すように、音源分離処理前の音データと音源分離処理後の音データとをそれぞれスペクトログラム等の二次元画像に変換し（図１０では（ａ）が音源分離処理前のスペクトログラム、（ｂ）が音源分離処理後のスペクトログラムである）、画像相関法等の手法を用いて２つの画像の類似度を定量化することで、歪を算出する。

なお、図１０では、一般的なスペクトログラムの形式に準じて、横軸が時間を表し、縦軸が周波数を表す。そして、各点の明るさおよび色でもって、ある時点のある周波数のパワーないし音圧が表されている。添付した図は白黒画像となっているが、実際のスペクトログラム表示では、例えば、高いパワーは赤色で、中程度のパワーは黄緑色で、低いパワーは青色で、それぞれ色分けされているとともに、それぞれの色の中で明るさが変化することでパワーが示されている。

歪つまり類似度の算出に際しては、異音判定に感度のある、時間帯、周波数帯、音圧範囲、等を予め規定して、その中での類似度を算出するようにしてもよい。また、音源分離処理の遅延などの影響で、評価対象音の開始位置がずれる場合は、その補正を行って開始位置を揃えた上で類似度の算出を行うことが望ましい。なお、他の公知の手法を用いて歪の算出を行うことも可能である。

音データ選択部４０Ｂは、前述したように、異音判定対象の音データとしてどの音データを用いるかを選択する。第３実施例では、互いに異なる音源分離処理を経た複数の音データの中で、ＳＮＲが閾値（区別のためにＳＮＲ閾値と呼ぶ）以上で、かつ歪が閾値（区別のために歪閾値と呼ぶ）未満の範囲内で、ＳＮＲが最も大きい音データを異音判定対象の音データとして選択する。このような適当な候補が存在しない場合は、音源分離処理前の音データを異音判定対象の音データとして選択する。換言すれば、第３実施例ではＳＮＲと歪の双方の点で最良の音データを選択する。

図１１は、音データ選択部４０Ｂにおいて最良の音データを決定するための一つの手法を示した説明図である。図１１の横軸はＳＮＲ値、縦軸は歪量であり、この二次元グラフ上に、説明のために、３つの異なる方式の音源分離処理を経た音データを、「音源分離Ａ」、「音源分離Ｂ」、「音源分離Ｃ」の３つの点でプロットしてある。二次元グラフの原点には、「音源分離無」として音源分離処理前の音データの点がプロットされる。このような二次元グラフ上において、歪が歪閾値未満でかつＳＮＲがＳＮＲ閾値以上である図右下の領域にある音データ（図１１の例では音源分離Ｃ）が異音判定対象の音データとなる。図右下の領域に候補となる音データが複数存在する場合は、その中で、ＳＮＲが最も大きい音データが異音判定対象の音データとなる。他方、図右下の領域に候補となる音データがなければ、音源分離処理前の音データが異音判定対象の音データとなる。

図１２は、音データ選択部４０Ｂにおいて最良の音データを決定するための他の一つの手法を示した説明図である。図１２の横軸はＳＮＲ値、縦軸は歪量であり、この二次元グラフ上に、説明のために、３つの異なる方式の音源分離処理を経た音データを、「音源分離Ａ」、「音源分離Ｂ」、「音源分離Ｃ」の３つの点でプロットしてある。二次元グラフの原点には、「音源分離無」として音源分離処理前の音データの点がプロットされる。そして、歪閾値とＳＮＲ閾値とを組み合わせたものとなる歪ＳＮＲ閾値が一次関数の形で与えてあり、音データの各点を通る一次関数の傾きでもって音データの良否が評価される。歪ＳＮＲ閾値の線よりも傾きが大きくなる領域は、歪が歪閾値以上あるいはＳＮＲがＳＮＲ閾値未満となり、候補外となる。複数の候補が存在する場合には、各点を通る一次関数の傾きが最も小さな音データ（図１２の例では音源分離Ｃ）が最良の音データとして選択される。他方、歪ＳＮＲ閾値の線よりも傾きが小さな領域に候補となる音データがなければ、音源分離処理前の音データが異音判定対象の音データとなる。

なお、第３実施例における表示部８０における表示としては、例えば、図７に示したような第２実施例の表示と同様なものでもよく、さらに、歪に関する情報を付加したものであってもよい。

図９は、上記の第３実施例の異音検査装置の処理の流れをフローチャートとして示したものである。まず初めに、第１計測部１のマイクロフォンによってフリーローラ上で試走している車両から例えばホーンの音を含む音を集音し、音データとして取得する（ステップ１）。次に、取得した音が評価対象音（例えばホーン音）であるかどうかを判定し、評価対象音を含む期間の音データを切り出す（ステップ２）。評価対象音であると判定して音データを切り出したら、実質的に同時に、第２計測部２の音データから同じ時間帯の音データを切り出す（ステップ３）。

次に、これら２つの音データを用いて、第１計測部１の音データについて音源分離処理を行い（ステップ４）、さらに、音源分離処理後の音データのＳＮＲを算出する（ステップ５）。ここでは、複数種類の方式による音源分離処理を行い、それぞれで得られた音源分離処理後の音データのＳＮＲをそれぞれ算出する。

次に、ステップ２１に進み、複数種類の音源分離処理による複数の音源分離処理後の音データの各々について、音源分離処理前の音データに対し生じた歪を算出する。そして、これら複数の音源分離処理後の音データの歪が所定の歪閾値未満であるかどうかを判定する（ステップ２２）。換言すれば、歪が歪閾値未満である候補となり得る音データが存在するかどうかを判定する。

歪が歪閾値未満である音データが存在すれば、ステップ２２からステップ１１に進み、歪が歪閾値未満である１つあるいは複数の音源分離処理後の音データの中で最もＳＮＲが大きい音データを異音判定対象の音データの候補とする。そして、この候補の音データのＳＮＲを所定の閾値と比較する（ステップ６）。ＳＮＲが閾値未満であれば、異音判定対象の音データとして音源分離処理前の音データを選択する（ステップ７）。ＳＮＲが閾値以上であれば、異音判定対象の音データとして候補の音源分離処理後の音データを選択する（ステップ８）。

ステップ２２において、歪が歪閾値未満である音データが存在しなければ、ステップ２２からステップ７に進み、異音判定対象の音データとして音源分離処理前の音データを選択する。

そして、選択した異音判定対象の音データについて、正常音であるか異常音であるかの判定を行い（ステップ９）、その結果を処理プロセスとともに表示部に表示する（ステップ１０）。

このように、第３実施例では、歪が歪閾値未満であることを条件として音源分離処理後のＳＮＲが最も大きい音データを用いて正常音・異常音の判定を行うので、歪による異常音であるとの誤判定が少なくなり、異音検査の精度がより向上する。

次に、図１３～図１５に基づいて第４実施例の異音検査装置について説明する。なお、以下では、第３実施例と異なる部分について主に説明する。第４実施例の異音検査装置は、第３実施例のようにしてＳＮＲと歪との点で最良の音データを異音判定対象の音データとして選択した後に、正常音・異常音の判定を行う前に、この異音判定対象とした音データが本当に評価対象音であるのかどうかを再判定する、点において第３実施例と異なる。

図１３は、第４実施例の異音検査装置の機能ブロック図を示している。第４実施例の異音検査装置は、第３実施例と同様に、第１計測部１と、第２計測部２と、評価対象音切り出し部１０と、音源分離処理部２０Ａと、ＳＮＲ算出部３０Ａと、音データ選択部４０Ｂと、異音判定データ記憶部５０と、正常音・異常音判定部６０と、表示画像・映像生成部７０と、表示部８０と、歪算出部９０と、を含んでおり、さらに、評価対象音再判定部１１を含んで構成されている。

評価対象音再判定部１１は、評価対象音切り出し部１０と同様の手法により、異音判定対象とした音データが評価対象音であるのかどうかを再判定する。例えば、評価対象がホーン音である場合、スペクトログラムから周波数スペクトルに逆変換し、音圧や音圧の時間特性、ピーク周波数やピーク周波数とその音圧との組み合わせ、等の評価対象音特有の特徴から評価対象音であるのかどうかを判定する。前述したように評価対象音の種類によっては時間を含む三次元データであるいわゆるスペクトログラムとして評価対象音の判定がなされる。

仮に評価対象音でない場合は、正常音・異常音判定部６０における正常音・異常音の判定は行わない。

図１５は、第４実施例の表示部８０における表示例を示した説明図である。これは、図７に示した第２実施例の表示例に類似しているが、３つ目の項目に「再検知有無」が追加されている。これは、評価対象音再判定部１１における再判定を経ているかどうかを示している。図の例では、この項目に対応する欄に、「閾値：－３dB：ILRMAで再検知済」と記載されている。つまり、図１５の例は、ILRMA方式の音源分離処理を経た音データが正常音・異常音の判定対象であり、かつ評価対象音であるのかどうかを再判定がなされていることを示している。

図１４は、上記の第４実施例の異音検査装置の処理の流れをフローチャートとして示したものである。まず初めに、第１計測部１のマイクロフォンによってフリーローラ上で試走している車両から例えばホーンの音を含む音を集音し、音データとして取得する（ステップ１）。次に、取得した音が評価対象音（例えばホーン音）であるかどうかを判定し、評価対象音を含む期間の音データを切り出す（ステップ２）。評価対象音であると判定して音データを切り出したら、実質的に同時に、第２計測部２の音データから同じ時間帯の音データを切り出す（ステップ３）。

次に、これら２つの音データを用いて、第１計測部１の音データについて音源分離処理を行い（ステップ４）、さらに、音源分離処理後の音データのＳＮＲを算出する（ステップ５）。ここでは、複数種類の方式による音源分離処理を行い、それぞれで得られた音源分離処理後の音データのＳＮＲをそれぞれ算出する。

次に、ステップ２１に進み、複数種類の音源分離処理による複数の音源分離処理後の音データの各々について、音源分離処理前の音データに対し生じた歪を算出する。そして、これら複数の音源分離処理後の音データの歪が所定の歪閾値未満であるかどうかを判定する（ステップ２２）。換言すれば、歪が歪閾値未満である候補となり得る音データが存在するかどうかを判定する。

歪が歪閾値未満である音データが存在すれば、ステップ２２からステップ１１に進み、歪が歪閾値未満である１つあるいは複数の音源分離処理後の音データの中で最もＳＮＲが大きい音データを異音判定対象の音データの候補とする。そして、この候補の音データのＳＮＲを所定の閾値と比較する（ステップ６）。ＳＮＲが閾値未満であれば、異音判定対象の音データとして音源分離処理前の音データを選択する（ステップ７）。ＳＮＲが閾値以上であれば、異音判定対象の音データとして候補の音源分離処理後の音データを選択する（ステップ８）。

ステップ２２において、歪が歪閾値未満である音データが存在しなければ、ステップ２２からステップ７に進み、異音判定対象の音データとして音源分離処理前の音データを選択する。

このようにして異音判定対象の音データを選択した後、ステップ３１において、この音データが評価対象音であるのかどうかを再判定する。評価対象音でない場合は、この音データに基づく正常音・異常音の判定は行わずにステップ１に戻り、それまでのデータは破棄して、再度、第１計測部１による音データの取得等の処理を行う。

異音判定対象の音データとして選択した音データが評価対象音であると判定したら、この選択した異音判定対象の音データについて、正常音であるか異常音であるかの判定を行い（ステップ９）、その結果を処理プロセスとともに表示部に表示する（ステップ１０）。

このように、第４実施例では、正常音・異常音の判定の前に本当に評価対象音であるのかどうかを再判定するので、評価対象音ではなかったことによる誤判定が少なくなる。多くの場合は、音源分離処理後の音データを用いて評価対象音であるのかどうかの再判定がなされるので、例えばノイズが重畳していたことにより評価対象音であると誤認識して音データが切り出されたような場合に、異常音であるとの誤判定が未然に回避される。

以上、この発明の一実施例を説明したが、この発明は、上記の実施例に限らず、種々の応用が可能である。上記実施例では自動車の完成車検査工程に適用した例を説明したが、例えば、整備工場での点検整備などでの利用も可能であり、自動車以外の異音検査にも適用が可能である。また、検査対象としては上記のホーン等に限らず、他の何らかの音を生じる部品の音や、アラーム音、報知音等も含めることができる。さらに、ホーンのような検査員の積極的な操作に基づいて音が生じるものに限らず、操作と無関係に検査中に生じる部品音等についても検査対象とすることが可能である。

１…第１計測部
２…第２計測部
１０…評価対象音切り出し部
１１…評価対象音再判定部
２０，２０Ａ…音源分離処理部
３０，３０Ａ…ＳＮＲ算出部
４０，４０Ａ，４０Ｂ…音データ選択部
５０…異音判定データ記憶部
６０…正常音・異常音判定部
７０…表示画像・映像生成部
８０…表示部
９０…歪算出部
１０１，１０２…検査ライン
１１１，１１２…車両
１２１，１２２…マイクロフォン

Claims (10)

1. 検査対象から発せられる音を第１のマイクロフォンを介して取得し、
   取得した音が評価対象音であるかどうかを判定して、評価対象音を含む期間の音データを切り出し、
   第１のマイクロフォンとは異なる位置にある第２のマイクロフォンを介して同時期に取得した第２の音を用いて、上記音データの音源分離処理を行い、
   音源分離処理後の音データのＳＮＲを算出し、
   算出したＳＮＲを閾値と比較し、
   ＳＮＲが閾値以上であれば音源分離処理後の音データを、閾値未満であれば音源分離処理前の音データを、異音判定対象の音データとして選択し、
   選択した音データの特徴を解析して正常音であるか異常音であるかを判定する、
   異音検査方法。
2. 判定結果を表示手段に表示する、請求項１に記載の異音検査方法。
3. 判定結果と、この判定結果を導出した処理プロセスと、を併せて表示する、請求項２に記載の異音検査方法。
4. 複数種類の音源分離処理を用いて、それぞれ、音源分離処理後の音データを生成し、
   各々の音源分離処理後の音データのＳＮＲを算出し、
   最も大きいＳＮＲを有する音源分離処理後の音データのＳＮＲを上記閾値と比較し、
   ＳＮＲが閾値以上であればこの音源分離処理後の音データを、閾値未満であれば音源分離処理前の音データを、異音判定対象の音データとして選択する、
   請求項１に記載の異音検査方法。
5. 複数種類の音源分離処理を経た上記複数の音源分離処理後の音データの各々について、音源分離処理による音の歪を算出し、
   ＳＮＲが閾値以上で、かつ、上記歪が歪閾値未満の音データを、異音判定対象の音データとして選択する、
   請求項４に記載の異音検査方法。
6. 複数種類の音源分離処理を経た上記複数の音源分離処理後の音データの各々について、音源分離処理による音の歪を算出し、
   ＳＮＲを一方のパラメータとし歪を他方のパラメータとした座標上で、ＳＮＲと歪との組み合わせの良否を、各音データの点を通る一次関数の傾きで評価して、最良の音データを異音判定対象の音データとして選択する、
   請求項４に記載の異音検査方法。
7. 正常音であるか異常音であるかの判定を行う前に、
   異音判定対象の音データとして選択した音データが評価対象音であるかどうかを再度判定する、
   請求項４に記載の異音検査方法。
8. 切り出した音データをスペクトログラムに変換した上で音源分離処理を行い、
   スペクトログラムからなる異音判定対象の音データを逆変換した上で、正常音であるか異常音であるかの判定を行う、
   請求項１に記載の異音検査方法。
9. 複数の検査ラインで並行して検査を行う自動車の完成車検査工程での異音検査に用いられ、
   １つの検査ラインに設けられたマイクロフォンと他の１つの検査ラインに設けられたマイクロフォンとを、上記第１のマイクロフォンおよび上記第２のマイクロフォンとして相互に用いる、
   請求項１に記載の異音検査方法。
10. 検査対象から発せられる音を取得する第１の音取得部と、
    第１の音取得部とは異なる位置において音を取得する第２の音取得部と、
    第１の音取得部が取得した音から評価対象音を含む期間の音データを切り出す評価対象音切り出し部と、
    上記音データと同時期に上記第２の音取得部が取得した第２の音を用いて、上記音データの音源分離処理を行う音源分離処理部と、
    音源分離処理後の音データのＳＮＲを算出するＳＮＲ算出部と、
    算出したＳＮＲを閾値と比較し、ＳＮＲが閾値以上であれば音源分離処理後の音データを、閾値未満であれば音源分離処理前の音データを、異音判定対象の音データとして選択する音データ選択部と、
    選択した音データの特徴を解析して正常音であるか異常音であるかを判定する正常音・異常音判定部と、
    を備えてなる異音検査装置。
    異音検査方法。