JP2024048234A - 異音診断システム - Google Patents

Abstract

【課題】異音の診断における当該異音以外の音の影響を低減化して、異音の診断精度をより向上させる。【解決手段】本開示の異音診断システムは、車両から発せられる音のデータと、車両で発生した異音に関する問診情報とに基づいて車両で発生した異音を診断する診断装置を含む異音診断システムであって、音のデータから時間と周波数と音圧との関係を示すスペクトログラムを取得する演算処理部と、音声認識により音のデータから人の声を含む時間帯である発声時間帯を抽出する音声認識部と、スペクトログラムを表示する表示部と、音声認識部により抽出された発声時間帯が人の声を含まない時間帯と視覚的に区別されるようにスペクトログラムを表示部に表示させる表示制御部とを含む。【選択図】図１

Description

本開示は、車両で発生する異音を診断する異音診断システムに関する。

従来、複数の回転体を有する車両の動力伝達機構の稼動時に、回転体の回転に伴って発生する音または振動のデータと、選択された回転体の回転数のデータとを取り込んで解析を行う音振解析装置が知られている（例えば、特許文献１参照）。この音振解析装置は、音または振動のデータを周波数分析すると共に、周波数分析した音または振動のデータから回転体の諸元に応じた次数を演算する。更に、当該音振解析装置は、官能検査との整合を取り易くするために、音または振動のデータから演算される音圧レベルを大きさに応じて色分けすると共に次数および車速に対応させて表示部に表示させる。

特開２００５－９８９８４号公報

ここで、車両の走行中、または車道あるいはテストベンチ上で車両を走行（作動）させて異音を再現する再現テスト等の実行中に取得される音のデータには、本来取得されるべき異音以外の音のデータも含まれる。このため、異音の診断精度を向上させるためには、異音の診断における当該異音以外の音の影響を低減化することが求められる。

そこで、本開示は、異音の診断における当該異音以外の音の影響を低減化して、異音の診断精度をより向上させることを主目的とする。

本開示の異音診断システムは、車両から発せられる音のデータと、前記車両で発生した異音に関する問診情報とに基づいて前記車両で発生した前記異音を診断する診断装置を含む異音診断システムであって、前記音のデータから時間と周波数と音圧との関係を示すスペクトログラムを取得する演算処理部と、音声認識により前記音のデータから人の声を含む時間帯である発声時間帯を抽出する音声認識部と、前記スペクトログラムを表示する表示部と、前記音声認識部により抽出された前記発声時間帯が人の声を含まない時間帯と視覚的に区別されるように前記スペクトログラムを前記表示部に表示させる表示制御部とを含むものである。

本開示の異音診断システムにおいて、演算処理部は、車両から発せられる音のデータから時間と周波数と音圧との関係を示すスペクトログラムを取得し、音声認識部は、音のデータから人の声を含む発声時間帯を抽出する。ここで、人の声の周波数の範囲は比較的広く、スペクトログラムの発声時間帯に対応した範囲はノイズを多く含むため、診断装置の診断範囲として好適なものではない。これを踏まえて、本開示の異音診断システムにおいて、スペクトログラムは、人の声を含む発声時間帯と、人の声を含まない時間帯とが視覚的に区別されるように表示部に表示される。これにより、異音診断システムのユーザがスペクトログラムの発声時間帯に対応した範囲を診断装置の診断範囲として選択してしまうのを良好に抑制することができる。この結果、異音の診断における当該異音以外の音である人の声の影響を低減化して、異音の診断精度をより向上させることが可能になる。

また、前記表示制御部は、前記スペクトログラムの前記発声時間帯に対応した範囲を前記表示部上で選択不能にするものであってもよい。

これにより、スペクトログラムの発声時間帯に対応した範囲を診断装置の診断範囲から除外することが可能になる。

更に、前記表示制御部は、前記音声認識部により２つの前記発声時間帯が抽出されたときに、前記スペクトログラムにおける前記２つの前記発声時間帯の間の範囲を前記診断装置の診断範囲として前記表示部に表示させるものであってもよい。

異音の診断のために音のデータを取得する際には、車両の走行（作動）開始直後等に車室内における人の声（会話）が録音されることが多い。また、音のデータの取得中に異音が発生すると、異音の発生直後に当該異音に反応した人の声が録音されることがある。すなわち、音声認識部により抽出された人の声を含む発声時間帯が２つである場合には、スペクトログラムにおける当該２つの発声時間帯の間の範囲に異音の発生タイミングが含まれている可能性が高くなる。従って、スペクトログラムにおける２つの発声時間帯の間の範囲を診断装置の診断範囲として事前に表示部に表示させれば、異音診断システムのユーザの確認を得た上で当該診断範囲を診断装置に診断させて、より精度のよい診断結果を得ることができる。加えて、かかる態様では、テストを行う作業者が異音の発生前後に発声することで、当該作業者の声をトリガーにして診断装置の診断範囲を定めることも可能になる。

また、前記表示制御部は、前記音声認識部により１つまたは３つ以上の前記発声時間帯が抽出されたときに、前記スペクトログラムの前記発声時間帯以外に対応した範囲から前記診断装置の診断範囲を選択させるための指示を前記表示部に表示させてもよい。

すなわち、音声認識部により抽出された発声時間帯が１つまたは３つ以上である場合、診断装置の診断範囲を発声時間帯に基づいてシステム側で定めると、診断範囲が広くなり過ぎたり、異音の発生タイミングを含まないものなったりするおそれがある。従って、このような場合には、スペクトログラムの発声時間帯以外に対応した範囲から診断装置の診断範囲を選択させるための指示を表示部に表示させるとよい。これにより、異音診断システムのユーザにスペクトログラムの診断範囲を選択させたり、異音診断システムのユーザの意向に応じて、問診情報等に基づいて診断範囲をシステム側で定めたりすることが可能になる。

更に、前記異音診断システムは、前記表示部、前記音のデータを取得する音取得部、前記問診情報を取得する問診情報取得部、前記演算処理部、前記音声認識部および前記表示制御部を含むと共に、前記診断装置と通信により情報をやり取りする携帯端末を含むものであってもよい。

これにより、音のデータを容易に取得可能にすると共に携帯端末の負荷を減らし、より精度のよい診断結果を診断装置から得ることができる。

また、前記診断装置は、与えられた情報に基づいて異音の原因を診断するように機械学習により構築された診断部を含むものであってもよく、前記音声認識部は、音のデータから人の声を含む発声時間帯を抽出するように機械学習により構築されたものであってもよい。

本開示の異音診断システムを示す概略構成図である。 問診情報の入力画面を例示する説明図である。 本開示の異音診断システムを構成する端末において実行される一連の処理を示すフローチャートである。 本開示の異音診断システムを構成する端末により取得されたスペクトログラムの一例を示す説明図である。 本開示の異音診断システムを構成する端末の表示部に表示されるスペクトログラムの一例を示す説明図である。

次に、図面を参照しながら、本開示の発明を実施するための形態について説明する。

図１は、本開示の異音診断システム１を示す概略構成図である。同図に示す異音診断システム１は、動力発生源としてエンジンのみを搭載した車両や、ハイブリッド車（ＨＥＶ，ＰＨＥＶ）、電気自動車（ＢＥＶ，ＦＣＥＶ）といった車両Ｖで発生した異音の原因を診断するためのものであり、携帯端末１０と、当該携帯端末１０と通信により情報をやり取り可能な診断装置としてのサーバ２０とを含む。

携帯端末１０は、異音が発生した車両Ｖのユーザ（所有者）への応対や、車道あるいはテストベンチ上で車両Ｖを走行（作動）させて異音を再現する再現テストの実行に際して、車両販売店や整備工場等の作業者（異音診断システム１のユーザ）により利用されるものである。本実施形態において、携帯端末１０は、ＳｏＣ、ＲＯＭ、ＲＡＭ、補助記憶装置（フラッシュメモリ）Ｍ、表示部１１、通信モジュール１２、図示しないマイクロフォン等を含むスマートフォンである。また、携帯端末１０には、異音診断支援アプリケーション（プログラム）がインストールされる。そして、携帯端末１０は、図１に示すように、それぞれ異音診断支援アプリケーション（ソフトウェア）と、携帯端末１０のＳｏＣといったハードウェアとの協働により構築される、問診情報取得部１３、音取得部１４、車両状態取得部１５、演算処理部１６、音声認識部１７、診断範囲設定部１８および表示制御部１９を含む。

携帯端末１０の表示部１１は、タッチパネル式の液晶パネルあるいは有機ＥＬパネル等を含むものである。通信モジュール１２は、近距離無線通信あるいはケーブル（ドングル）を介して車両Ｖの電子制御装置と各種情報をやり取りすると共に、例えばインターネット等のネットワークを介してサーバ２０と各種情報をやり取りすることができる。問診情報取得部１３は、表示部１１を介して、車両Ｖのユーザ等から提供される異音発生時における車両Ｖの状態を示す情報（以下、「問診情報」という。）を取得する。音取得部１４は、作業者により再現テストが実行される際に音（音圧）の時間軸データを取得する。車両状態取得部１５は、再現テストが実行される際に音取得部１４による音の時間軸データの取得に同期して車両Ｖの状態を示す情報（以下、「車両状態データ」という。）を取得する。車両状態データは、問診情報の項目に対応した複数の物理量（車速、エンジン回転数等）を含む。

演算処理部１６は、音取得部１４により取得された音の時間軸データにＳＴＦＴ（Short-Time Fourier Transform）を施して、時間と周波数と音圧との関係を示すスペクトログラム（音響スペクトログラム）を取得する。音声認識部１７は、音声認識により音取得部１４により取得された音の時間軸データから人の声を含む時間帯（以下、「発声時間帯」という。）を抽出する。本実施形態において、音声認識部１７は、音の時間軸データから発声時間帯を抽出するように機械学習により構築されたニューラルネットワーク（再帰型ニューラルネットワーク（ＲＮＮ）またはＬＳＴＭ（Long Short Term Memory））を含むものである。また、当該音声認識部１７を構築するための技術としては、例えば、特開２０１８－４０９０４号公報に記載されたものも採用することができる。診断範囲設定部１８は、音声認識部１７の抽出結果や、作業者による表示部１１の操作等に基づいて、演算処理部１６により取得されたスペクトログラムのうち、サーバ２０により診断（解析）されるべき範囲（以下、「診断範囲」という。）を設定する。表示制御部１９は、表示部１１を制御する。

図２に、携帯端末１０の表示部１１に表示される問診情報の入力画面（問診票）および入力例を示す。問診情報は、図２のその一部を示すように、車両識別情報、ご用命事項、発生日時、発生頻度、異音の発生箇所、音の種類、車速等の車両Ｖの走行に際して変化する物理量、車両Ｖの運転状態、エンジン搭載車両における暖機影響、車両Ｖの運転中に運転者により選択される選択項目、車両Ｖの走行環境情報等を含み、上記作業者または車両Ｖのユーザ等により入力される。

車両識別情報は、車両型式、車両識別番号（車台番号）等の車両Ｖを特定するための情報である。ご用命事項は、車両Ｖのユーザ等から提供された異音の発生状態の詳細な内容である。発生頻度は、常時、数回／日、１回／日、…といった複数の選択肢を含むドロップダウンリストから選択される。異音の発生箇所は、エンジン、パワートレイン、ボデー、ブレーキ、ドア、内装といった複数の車両の部位を含むドロップダウンリストから選択される。音の種類は、それぞれ車両Ｖで発生する何れかの異音に対応した複数の擬音語（例えば、ガタガタ、ガラガラ等）を含むドロップダウンリストから車両Ｖのユーザにより実際に発生した異音に類似していると認識されたものが作業者等により選択される。物理量は、車速、エンジン回転数、ブレーキランプスイッチのＯＮ／ＯＦＦ時刻、操舵角、ハイブリッド車両や電気自動車の高電圧バッテリのＳＯＣといった複数の選択肢を含むドロップダウンリストから選択される。車両Ｖの運転状態は、始動、アイドリング、停車、発進、加速、定速走行、減速 (ブレーキＯＦＦ)、制動 (ブレーキＯＮ)、後退、旋回といった複数の選択肢を含むドロップダウンリストから選択される。暖機影響は、冷間、温間、冷間および温間を含むドロップダウンリストから選択される。選択項目は、シフトポジション、走行モード、補機の作動状態等を含むドロップダウンリストから選択される。走行環境情報は、平坦路、登坂路、降坂路といった路面状態や天候等を含むドロップダウンリストから選択される。なお 上記複数の項目のすべてが車両Ｖのユーザ等から提供されるわけではなく、問診情報は、作業者等のわかる範囲で提供され得ることは、いうまでもない。

異音診断システム１のサーバ２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力装置、通信モジュール等を含むコンピュータ（情報処理装置）であり、例えば上記車両Ｖを製造する自動車製造者により設置・管理される。サーバ２０には、ＣＰＵ等のハードウェアと、予めインストールされた異音診断アプリケーションとの協働により、車両Ｖで発生した異音を診断する異音診断部２１が構築されている。異音診断部２１は、携帯端末１０により取得された問診情報や音の時間軸データ等に基づいて車両Ｖで発生した異音の原因や異音の発生源となった部品を診断するように教師あり学習（機械学習）により構築されたニューラルネットワーク（畳み込みニューラルネットワーク）を含む。また、サーバ２０では、車両Ｖでの新たな異音の発生が判明した場合、当該新たな異音について取得された音の時間軸データや上記問診情報の各項目の内容等を教師データとする異音診断部２１の再学習が実行される。

更に、サーバ２０は、車両型式ごとに、当該車両で発生することが判明している複数の異音についての情報を格納したデータベースを記憶する記憶装置２２を含む。当該データベースは、複数の異音の各々に、音の時間軸データ、異音の発生原因、発生源となる部品、ユーザ等から提供された問診情報の内容、異音を解消するための対策といった情報を紐付けして格納するものである。また、サーバ２０は、車両Ｖを含む多数の車両から取得される情報や、自動車製造者（開発者等）、車両販売店、整備工場等から送信される新たに判明した異音に関する情報等に基づいて当該データベースを更新する。なお、異音診断部２１を構築するための技術としては、例えば、次の（１）－（５）の論文に記載されたもの、またはそれらの組み合わせを利用することができる。
（１）Unsupervised Filterbank Learning Using Convolutional Restricted Boltzmann Machine for Environmental Sound Classification
（２）LEARNING FROM BETWEEN-CLASS EXAMPLES FOR DEEP SOUND RECOGNITION
（３）Novel Phase Encoded Mel Filterbank Energies for Environmental Sound Classification
（４）Knowledge Transfer from Weakly Labeled Audio using Convolutional Neural Network for Sound Events and Scenes
（５）Novel TEO-based Gammatone Features for Environmental Sound Classification

続いて、異音診断システム１による異音診断手順について説明する。

車両販売店や整備工場等の作業者は、車両Ｖのユーザ等からの異音の解消を依頼されると、当該ユーザ等から問診情報を聞き取った上で、異音の診断に必要な情報を取得すべく再現テストを実行する。再現テストの実行に際し、作業者は、携帯端末１０を車両Ｖの電子制御装置に接続し、携帯端末１０または当該携帯端末１０に接続された外部マイクロフォンを車両Ｖの適所に載置または固定する。また、作業者は、異音診断支援アプリケーションを起動させると共に、車両Ｖのスタートスイッチをオンする。これに伴い、携帯端末１０は、車両Ｖの車両識別番号あるいは車台番号といった情報を当該電子制御装置から取得する。更に、作業者は、表示部１１に表示される録音開始ボタンをタップすると共に、車道や試験台上で車両Ｖを走行（作動）させ、当該車両Ｖのユーザ等からの問診情報に基づいて異音が発生した走行状態を再現する。

車両Ｖが走行（作動）する間、携帯端末１０の音取得部１４は、車両Ｖから発せられる音の時間軸データを所定時間（微小時間）おきに取得して補助記憶装置Ｍに記憶させ、車両状態取得部１５は、音取得部１４による音の時間軸データの取得に同期して車両Ｖの電子制御装置から所定時間（微小時間）おきに、車両Ｖのユーザ等からの問診情報に応じて作業者により指定された車両状態データを取得して補助記憶装置Ｍに記憶させる。そして、作業者が表示部１１に表示される録音停止ボタンをタップすると、音の時間軸データおよび車両状態データの取得が完了し、携帯端末１０により図３に示す一連の処理が実行される。

図３に示すように、携帯端末１０の演算処理部１６および音声認識部１７は、再現テストの終了後、それぞれ音取得部１４により取得された音の時間軸データを取得する（ステップＳ１００）。演算処理部１６は、取得した音の時間軸データにＳＴＦＴを施して、時間と周波数と音圧との関係を示すスペクトログラムを取得する（ステップＳ１１０）。また、ステップＳ１１０において、音声認識部１７は、取得した音の時間軸データに音声認識処理を施して、当該音の時間軸データから人の声を含む発声時間帯を抽出する。

続いて、携帯端末１０の診断範囲設定部１８は、音声認識部１７により音の時間軸データから発声時間帯が抽出されたか否かを判定する（ステップＳ１２０）。音声認識部１７が発声時間帯を抽出したと判定した場合（ステップＳ１２０：ＹＥＳ）、診断範囲設定部１８は、音声認識部１７により抽出された発声時間帯が２つであるか否かを判定する（ステップＳ１３０）。音声認識部１７が２つの発声時間帯を抽出したと判定した場合（ステップＳ１３０：ＹＥＳ）、診断範囲設定部１８は、演算処理部１６により取得されたスペクトログラムのうち、音声認識部１７により抽出された２つの発声時間帯の間の範囲をサーバ２０の異音診断部２１により診断されるべき診断範囲に設定する。すなわち、演算処理部１６により図４に示すようなスペクトログラムが取得され、時刻ｔ１から時刻ｔ２までの時間帯および時刻ｔ３から時刻ｔ４までの時間帯が発声時間帯である場合、診断範囲設定部１８は、スペクトログラムの時刻ｔ２から時刻ｔ３までの範囲を診断範囲に設定する。

また、ステップＳ１４０にて、診断範囲設定部１８は、携帯端末１０の表示制御部１９にスペクトログラムを表示部１１に表示するように指示を与える。表示制御部１９は、図５に示すように、音声認識部１７により抽出された２つの発声時間帯（時刻ｔ１から時刻ｔ２までの時間帯および時刻ｔ３から時刻ｔ４までの時間帯）をグレーアウトすることにより、診断範囲設定部１８によって設定された診断範囲のみが視認可能になるようにスペクトログラムを表示部１１に表示させる。すなわち、スペクトログラムは、人の声を含む発声時間帯と、人の声を含まない時間帯とが視覚的に区別されるように表示部１１に表示される。本実施形態において、スペクトログラムは、横軸を時間軸とし、縦軸を周波数軸とし、音圧レベルを色分けすることにより周波数ごとに時間と音圧レベルとの関係を示すカラーマップである。

更に、表示制御部１９は、作業者にスペクトログラムの診断範囲の可否を確認するための確認メッセージを表示部１１に表示させ、当該作業者により診断範囲の調整がなされたか否かを判定する（ステップＳ１６０）。作業者により診断範囲が調整された（絞り込まれた）と判定した場合（ステップＳ１６０：ＹＥＳ）、表示制御部１９は、作業者により調整された診断範囲を取得し、作業者によって選択されなかった部分をグレーアウトすることにより、当該作業者により選択された診断範囲のみが視認可能になるようにスペクトログラムを表示部１１に表示させる（ステップＳ１７０）。また、作業者による診断範囲の調整が完了すると、診断範囲設定部１８は、作業者により調整された範囲をスペクトログラムの診断範囲として確定する（ステップＳ１８０）。更に、作業者により診断範囲が調整されなかったと判定された場合（ステップＳ１６０：ＮＯ）、診断範囲設定部１８は、ステップＳ１４０にて設定した範囲をスペクトログラムの診断範囲として確定する（ステップＳ１８０）。

一方、音声認識部１７により音の時間軸データから発声時間帯が抽出されなかった場合（ステップＳ１２０：ＮＯ）、および音声認識部１７により抽出された発声時間帯が１つまたは３つ以上である場合（ステップＳ１３０：ＮＯ）、表示制御部１９は、演算処理部１６により取得されたスペクトログラムを表示部１１に表示させると共に、診断範囲を選択させるためのメッセージ（指示）を表示部１１に表示させる。ステップＳ１５５において、表示制御部１９は、音声認識部１７により抽出された発声時間帯が１つまたは３つ以上である場合、音声認識部１７により抽出された発声時間帯をグレーアウトし、スペクトログラムの発声時間帯以外に対応した範囲から診断範囲を選択させるためのメッセージ（指示）を表示部１１に表示させる。

作業者は、表示部１１上の選択指示に応じて、当該表示部１１上でスペクトログラムの診断範囲を選択（指定）し、表示制御部１９は、作業者が選択した診断範囲を取得する（ステップＳ１７５）。更に、ステップＳ１７５において、表示制御部１９は、作業者によって選択されなかった部分をグレーアウトすることにより、当該作業者により選択された診断範囲のみが視認可能になるようにスペクトログラムを表示部１１に再表示させる。また、診断範囲設定部１８は、作業者により選択した範囲をスペクトログラムの診断範囲として確定する（ステップＳ１８０）。

診断範囲の確定後、表示制御部１９は、問診情報の入力を指示するメッセージを表示部１１に表示させ、問診情報取得部１３は、作業者による問診情報の入力完了後に、作業者により入力された情報を最終的な問診情報として確定する（ステップＳ１９０）。また、問診情報の確定後、表示部１１には、情報送信ボタンが表示され、作業者が当該情報送信ボタンをタップすると、携帯端末１０の通信モジュール１２から異音の診断に必要な情報がサーバ２０へと送信される（ステップＳ２００）。本実施形態において、携帯端末１０からサーバ２０へと送信される情報は、音取得部１４により取得された音の時間軸データと、車両状態取得部１５により取得された車両状態データと、ステップＳ１８０にて確定された診断範囲を規定する情報と、ステップＳ１９０にて確定された問診情報とを含む。

携帯端末１０から異音の診断に必要な情報がサーバ２０に送信されると、当該サーバ２０の異音診断部２１は、携帯端末１０から与えられた情報に基づいて車両Ｖで発生した異音の原因を診断し、診断結果を携帯端末１０に送信する。診断結果には、車両Ｖで発生した異音の原因、異音の発生源となった部品および記憶装置２２から読み出した当該異音を解消するための対策等が含まれる。そして、サーバ２０からの診断結果が携帯端末１０により受信されると（ステップＳ２１０）、表示部１１に当該診断結果が表示され（ステップＳ２２０）、異音の診断に際して、携帯端末１０で実行される一連の処理が終了する。図３に示す処理が実行されることで、作業者は、サーバ２０からの診断結果を車両Ｖのユーザ等に的確に説明して速やかに異音対策を進めていくことができる。

以上説明したように、異音診断システム１では、車両Ｖから発せられる音の時間軸データから、携帯端末１０の演算処理部１６により時間と周波数と音圧との関係を示すスペクトログラムが取得される（ステップＳ１１０）。また、音の時間軸データからは、音声認識部１７により人の声を含む発声時間帯が抽出される（ステップＳ１１０）。ここで、人の声の周波数の範囲は比較的広く、スペクトログラムの発声時間帯に対応した範囲はノイズを多く含むため、診断装置としてのサーバ２０すなわち異音診断部２１の診断範囲として好適なものではない。これを踏まえて、異音診断システム１において、スペクトログラムは、人の声を含む発声時間帯をグレーアウトすることにより、当該発声時間帯と、人の声を含まない時間帯とが視覚的に区別されるように表示部１１に表示される（ステップＳ１５０，Ｓ１５５）。これにより、作業者（異音診断システム１のユーザ）がスペクトログラムの発声時間帯に対応した範囲をサーバ２０の診断範囲として選択してしまうのを良好に抑制することができる。この結果、異音の診断における当該異音以外の音である人の声の影響を低減化して、異音の診断精度をより向上させることが可能になる。

また、携帯端末１０の表示制御部１９は、発声時間帯をグレーアウトすることにより、、スペクトログラムの発声時間帯に対応した範囲を表示部１１上で選択不能にする。これにより、スペクトログラムの発声時間帯に対応した範囲をサーバ２０の診断範囲から除外することが可能になる。

更に、表示制御部１９は、音声認識部１７により２つの発声時間帯が抽出されたときに、スペクトログラムにおける２つの発声時間帯の間の範囲をサーバ２０の診断範囲として表示部１１に表示させる（ステップＳ１４０－Ｓ１５０）。異音の診断のために音の時間軸データを取得する際には、車両Ｖの走行（作動）開始直後等に車室内における人の声（会話）が携帯端末１０により録音されることが多い。また、音の時間軸データの取得中に異音が発生すると、異音の発生直後に当該異音に反応した人の声が携帯端末１０により録音されることがある。すなわち、音声認識部１７により抽出された発声時間帯が２つである場合には、スペクトログラムにおける当該２つの発声時間帯の間の範囲に異音の発生タイミングが含まれている可能性が高くなる。従って、スペクトログラムにおける２つの発声時間帯の間の範囲をサーバ２０の診断範囲として事前に表示部１１に表示させれば（ステップＳ１４０－Ｓ１５０）、作業者の確認を得た上で当該診断範囲を異音診断部２１に診断させて、より精度のよい診断結果を得ることができる。加えて、異音診断システム１では、テストを行う作業者が異音の発生前後に発声することで、当該作業者の声をトリガーにしてサーバ２０（異音診断部２１）の診断範囲を定めることも可能になる。

また、携帯端末１０の表示制御部１９は、音声認識部１７により１つまたは３つ以上の発声時間帯が抽出された場合（ステップＳ１３０：ＮＯ）、スペクトログラムの発声時間帯以外に対応した範囲からサーバ２０の診断範囲を選択させるためのメッセージを表示部１１に表示させる（ステップＳ１５５）。すなわち、音声認識部１７により抽出された発声時間帯が１つまたは３つ以上である場合、サーバ２０の診断範囲を発声時間帯に基づいて携帯端末１０側（システム側）で定めると、診断範囲が広くなり過ぎたり、異音の発生タイミングを含まないものなったりするおそれがある。従って、このような場合には、スペクトログラムの発声時間帯以外に対応した範囲からサーバ２０の診断範囲を選択させるためのメッセージを表示部１１に表示させることで、作業者にスペクトログラムの診断範囲を選択させることが可能になる。

なお、図３のステップＳ１００において、音の時間軸データに加えて、問診情報および車両状態データの少なくとも何れか一方が携帯端末１０により取得されてもよく、ステップＳ１７５では、作業者からの指示（意向）に応じて、携帯端末１０によって問診情報および車両状態データの少なくとも何れか一方に基づいて診断範囲が設定されてもよい。この場合、問診情報および車両状態データの少なくとも何れか一方に基づいて取得される異音の推定発生時間帯がスペクトログラムの診断範囲として設定されてもよい。加えて、問診情報において選択されている擬音語に対応した周波数範囲が車両Ｖで発生した異音の推定周波数範囲として取得されてもよく、当該推定周波数範囲が診断範囲と共にサーバ２０に送信されてもよい。

更に、異音診断システム１は、表示部１１、問診情報を取得する問診情報取得部１３、音の時間軸データを取得する音取得部１４、演算処理部１６、音声認識部１７および表示制御部１９を含むと共に、サーバ２０と通信により情報をやり取りする携帯端末１０を含む。これにより、音の時間軸データを容易に取得可能にすると共に携帯端末１０の負荷を減らし、より精度のよい診断結果をサーバ２０から得ることができる。ただし、携帯端末１０にインストールされる異音診断支援アプリケーションは、タブレット端末や、ラップトップ型またはデスクトップ型のパーソナルコンピュータ等にインストールされてもよく、当該タブレット端末等が携帯端末１０の代わりに使用されてもよい。また、異音診断システム１は、パーソナルコンピュータ等の単一の情報処理装置により構成されてもよい。

本開示の発明は、車両で発生する異音の診断に極めて有用である。

１ 異音診断システム、１０ 携帯端末、１１ 表示部、１２ 通信モジュール、１３ 問診情報取得部、１４ 音取得部、１５ 車両状態取得部、１６ 演算処理部、１７ 音声認識部、１８ 診断範囲設定部、１９ 表示制御部、２０ サーバ（情報処理装置）、２１ 異音診断部、２２ 記憶装置、Ｖ 車両。

Claims (5)

1. 車両から発せられる音のデータと、前記車両で発生した異音に関する問診情報とに基づいて前記車両で発生した前記異音を診断する診断装置を含む異音診断システムであって、
   前記音のデータから時間と周波数と音圧との関係を示すスペクトログラムを取得する演算処理部と、
   音声認識により前記音のデータから人の声を含む時間帯である発声時間帯を抽出する音声認識部と、
   前記スペクトログラムを表示する表示部と、
   前記音声認識部により抽出された前記発声時間帯が人の声を含まない時間帯と視覚的に区別されるように前記スペクトログラムを前記表示部に表示させる表示制御部と、
   を備える異音診断システム。
2. 請求項１に記載の異音診断システムにおいて、
   前記表示制御部は、前記スペクトログラムの前記発声時間帯に対応した範囲を前記表示部上で選択不能にする異音診断システム。
3. 請求項１または２に記載の異音診断システムにおいて、
   前記表示制御部は、前記音声認識部により２つの前記発声時間帯が抽出されたときに、前記スペクトログラムにおける前記２つの前記発声時間帯の間の範囲を前記診断装置の診断範囲として前記表示部に表示させる異音診断システム。
4. 請求項３に記載の異音診断システムにおいて、
   前記音声認識部により１つまたは３つ以上の前記発声時間帯が抽出されたときに、前記表示制御部は、前記スペクトログラムの前記発声時間帯以外に対応した範囲から前記診断装置の診断範囲を選択させるための指示を前記表示部に表示させる異音診断システム。
5. 請求項１または２に記載の異音診断システムにおいて、
   前記表示部、前記音のデータを取得する音取得部、前記問診情報を取得する問診情報取得部、前記演算処理部、前記音声認識部および前記表示制御部を含むと共に、前記診断装置と通信により情報をやり取りする携帯端末を備える異音診断システム。