JP3635614B2 - 機械音処理装置 - Google Patents
機械音処理装置 Download PDFInfo
- Publication number
- JP3635614B2 JP3635614B2 JP01683699A JP1683699A JP3635614B2 JP 3635614 B2 JP3635614 B2 JP 3635614B2 JP 01683699 A JP01683699 A JP 01683699A JP 1683699 A JP1683699 A JP 1683699A JP 3635614 B2 JP3635614 B2 JP 3635614B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- mechanical
- unit
- mechanical sound
- normal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Control Or Security For Electrophotography (AREA)
- Facsimiles In General (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複写機，ファクシミリあるいはプリンタなどの電子機器の機械音に関する処理を行なう機械音処理装置に関する。
【０００２】
【従来の技術】
従来、例えば特開平１０−１９６６２号には、複写機やプリンタなどの装置内で異常音が発生したときに、これを的確に操作者に報知可能にし、その後の対応処置を迅速かつ的確に実行させることを意図した自己診断装置が示されている。この自己診断装置では、装置の動作音を集音器で集音し、集音された動作音が予め設定された音レベルに達した場合に、異常音が発生したとして操作表示部に警告表示するようになっている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した自己診断装置では、装置内で異常音が発生したときに、それを操作者に報知するだけに過ぎず、いままでに生じた異常音に関するデータを知識として蓄えて、これを利用させるようにはなっていない。
【０００４】
本発明は、複写機やファクシミリなどの電子機器で発生する機械音を検出したときに、これを知識として蓄積し、これに基づいて電子機器の故障の原因等の早期発見などを図ることの可能な機械音処理装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、音が入力する音入力部と、音入力部から入力された入力音から音響信号を検出する検出部と、検出部において検出された音響信号が音声によるものか機械音によるものかを判定する第１の判定部と、音声認識用の音声辞書と、機械音が異常音か正常音かを判定するための異常音の標準パターン，正常音の標準パターンが予め登録されている機械音辞書と、第１の判定部において音響信号が音声によるものと判定されたときに、該音響信号を音声辞書を用いて音声認識する音声認識部と、第１の判定部において音響信号が機械音によるものと判定されたときに、該機械音が異常音か正常音かを、機械音の特徴パターンと機械音辞書に予め登録されている異常音の標準パターン，正常音の標準パターンとの類似度に基づいて判定する第２の判定部と、機械音が蓄積される機械音蓄積部と、機械音を機械音蓄積部に蓄積する登録部と、機械音蓄積部に蓄積されている機械音の再生を行なう再生部とを備えており、前記第２の判定部は、機械音の特徴パターンが、過去に登録された正常音の特徴パターン，異常音の特徴パターンに対して類似度が低いときには、この機械音を、新たな種類の正常音または新たな種類の異常音と判定するようにしており、前記第２の判定部において、機械音が新たな種類の正常音または新たな種類の異常音と判定されたときには、前記登録部は、この新たな種類の正常音または新たな種類の異常音の特徴パターンを機械音辞書に新たに登録することを特徴としている。
【００１６】
また、請求項２記載の発明は、請求項１記載の機械音処理装置において、音声認識部の認識結果が登録要求であった場合には、登録部は、機械音を機械音蓄積部に蓄積することを特徴としている。
【００１７】
また、請求項３記載の発明は、請求項１記載の機械音処理装置において、登録部は、機械音を機械音蓄積部に蓄積するときに、音声認識部で所定の音声が認識させた場合には、該認識結果を機械音に対応させて蓄積することを特徴としている。
【００１８】
また、請求項４記載の発明は、請求項１記載の機械音処理装置において、再生部は、音声認識部の認識結果が再生要求であった場合には、機械音蓄積部に蓄積されている所定の機械音を再生することを特徴としている。
【００２０】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。図１は本発明に係る機械音処理装置の構成例を示す図である。図１を参照すると、この機械音処理装置は、音が入力するマイクなどの音入力部１と、音入力部１から入力された入力音から音響信号(音声あるいは機械音など)を検出(抽出)する検出部２と、機械音が異常音か正常音かを判定するのに用いられる機械音辞書３と、検出部２において検出された音響信号が機械音によるものかを判定し、音響信号が機械音によるものと判定されたときに、該機械音が異常音か正常音かを機械音辞書３を用いて判定する判定部４と、機械音が登録(蓄積)される機械音蓄積部５と、機械音を機械音蓄積部５に登録(蓄積)する登録部６と、機械音蓄積部５に登録(蓄積)されている機械音の再生を行なう再生部７とを備えている。
【００２１】
ここで、検出部２は、例えば、ある範囲よりも大きなパワーをもつ音の区間を音響信号として検出(抽出)することができる。すなわち、検出部２における音響信号の検出法(抽出法)としては、一般的な音声認識技術において用いられている音声区間検出部における音声区間の検出法(抽出法)を用いることができる。
【００２２】
また、判定部４は、例えば、ピッチの有無や継続時間などによって、音響信号が機械音によるものかを判定することができる。あるいは、判定部４は、音響信号が機械音であるかの判定に音声認識を用い、該音響信号の音声認識結果がリジェクトであった場合には、音響信号を機械音と判定することができる。
【００２３】
また、判定部４は、音響信号を機械音と判定したときに、該機械音が異常音か正常音かを、例えば、次のようにして判定することができる。すなわち、機械音辞書３に、例えば、ｐ種類の正常音の標準パターン(特徴パターン)，ｑ種類の異常音の標準パターン(特徴パターン)が予め登録されているとする。ここで、ある１つの正常音の標準パターン(特徴ベクトル系列)をＮ(ｋ)(ｋ＝１，２，・・・，ｌ)とし、また、ある１つの異常音の標準パターン(特徴ベクトル系列)をＡ(ｋ)(ｋ＝１，２，・・・，ｌ)とする。いま、異常音か正常音かが判定されるべき機械音の特徴パターン(特徴ベクトル系列)がＸｉ(ｉ＝１，２，・・・，ｌ)であるとする。なお、ｌは切り出された音響信号のフレーム数であり、１フレームの長さは、音声認識の場合と同様に、１０ｍ秒程度が良い。また、特徴ベクトルの種類も、音声認識技術における場合と同様に、ＬＰＣメルケプストラムにする。異常音か正常音かが判定されるべき機械音の特徴パターンＸとある１つの正常音の特徴パターンＮ(ｋ)との類似度をＲ(Ｘ，Ｎ(ｋ))とすると、類似度Ｒ(Ｘ，Ｎ(ｋ))は、例えば次式によって算出される。
【００２４】
【数１】
【００２５】
このようにして、ある機械音について、機械音辞書３に登録されているｐ種類の正常音の特徴パターンとの類似度Ｒ(Ｘ，Ｎ(ｋ))を上記のようにそれぞれ求め、全て(ｐ種類)の正常音の特徴パターンに対して、類似度Ｒ(Ｘ，Ｎ(ｋ))が所定の閾値ＴＨ１よりも小さいときには、この機械音は、ｐ種類の正常音のいずれとも類似せず、従って、この場合、機械音は異常音の可能性があるとして判定することができる。
【００２６】
このように異常音の可能性があるとして判定された場合、この機械音の特徴パターンＸを、さらに、ｑ種類の異常音の標準パターンのそれぞれとの類似度を求める。そして、ｑ種類の異常音の標準パターンとの類似度の中で、最も大きな類似度をもつ異常音の標準パターンをＡ(ｎ)とするとき、これとの類似度Ｒ(Ｘ，Ａ(ｎ))が所定の閾値ＴＨ２よりも大きければ、この機械音は、異常音(過去に経験された異常音)として最終的に判定される。これに対し、Ｒ(Ｘ，Ａ(ｎ))が所定の閾値ＴＨ２よりも小さければ、この機械音は、機械音辞書３には登録されていない新たな種類の正常音か、機械音辞書３には登録されていない新たな種類の異常音であると判定される。
【００２７】
このように、機械音が異常音か正常音かの判定がなされると、登録部６は、判定部４からの判定結果に基づき、機械音を異常音，正常音の別を付して機械音蓄積部５に蓄積するようになっている。すなわち、機械音として判定された場合、この機械音は、登録部６によって機械音蓄積部５にデータとして再生可能に登録されるようになっている。この際、機械音蓄積部５には、機械音と対応させて、機械音が発生した時刻情報が蓄積されるようになっていても良い。
【００２８】
図２は機械音蓄積部５に蓄積登録される機械音データの一例を示す図である。図２の例では、機械音のデータは、時刻情報と、正常音／異常音の別とが、付加情報として付加されて、再生可能に登録されるようになっている。
【００２９】
また、機械音蓄積部５に蓄積登録された機械音は、再生部７からの再生指示によって再生することができる。なお、この再生の指示は、例えば、キーボードなどから行なうことができる。
【００３０】
ここで、再生部７からの再生出力は、機械音(正常音または異常音)については音声で出力され、これに付加されている付加情報(時刻情報や正常音／異常音の別)については、これが音声データとして蓄積されているときには、音声で出力され、また、これがテキストデータとして蓄積されているときには、ディスプレイなどに表示される。
【００３１】
このような機械音処理装置では、複写機やファクシミリなどの電子機器で発生する機械音を検出したときに、これを知識として蓄積し、これに基づいて装置の故障の原因等の早期発見などを図ることができる。
【００３２】
また、上記判定部４において、機械音が新たな種類の正常音または新たな種類の異常音と判定されたときには、この新たな種類の正常音または新たな種類の異常音の特徴パターンを機械音辞書３に新たに登録することができる。
【００３３】
このように、機械音辞書３を、正常音，異常音の標準パターンを変更，追加登録可能な構成にすることができる。すなわち、機械音辞書３を更新可能な構成にすることができ、これによって、正常音か異常音かの判定精度を学習によって高めることができる。
【００３４】
また、図３は本発明に係る機械音処理装置の構成例を示す図である。なお、図３において、図１と同様の箇所には同じ符号を付している。図３を参照すると、この機械音処理装置は、音が入力するマイクなどの音入力部１と、音入力部１から入力された入力音から音響信号(音声あるいは機械音など)を検出(抽出)する検出部２と、音声認識用の音声辞書１１と、機械音が異常音か正常音かを判定するのに用いられる機械音辞書３と、検出部２において検出された音響信号が音声によるものか機械音によるものかを判定する第１の判定部１２と、第１の判定部１２において音響信号が音声によるものと判定されたときに、該音響信号を音声辞書１１を用いて音声認識する音声認識部１３と、第１の判定部１２において音響信号が機械音によるものと判定されたときに、該機械音が異常音か正常音かを機械音辞書３を用いて判定する第２の判定部１４と、機械音が登録(蓄積)される機械音蓄積部５と、機械音を機械音蓄積部５に登録(蓄積)する登録部６と、機械音蓄積部５に登録(蓄積)されている機械音の再生を行なう再生部７とを備えている。
【００３５】
ここで、第１の判定部１２は、例えば、ピッチの有無や継続時間などによって、音響信号が音声によるものか機械音によるものかを判定することができる。あるいは、第１の判定部１２は、音声認識を行なって認識結果がリジェクトされた場合に、音響信号が機械音によるものと判定することができる。
【００３６】
また、第２の判定部１４は、第１の判定部１２において音響信号が機械音と判定されたときに、この機械音が異常音か正常音かを、例えば、図１の機械音処理装置の判定部４における同様の仕方で判定することができる。すなわち、前述のように、機械音辞書３に、例えば、ｐ種類の正常音の標準パターン(特徴パターン)，ｑ種類の異常音の標準パターン(特徴パターン)が予め登録されているとき、異常音か正常音かが判定されるべき機械音の特徴パターンＸと機械音辞書３に登録されている正常音の特徴パターン，異常音の特徴パターンとの類似度をそれぞれ求め、全て(ｐ個)の正常音の特徴パターンに対して、類似度が所定の閾値ＴＨ１よりも小さいときには、この機械音は、ｐ種類の正常音のいずれとも類似せずに、従って、この場合、機械音Ｘは異常音の可能性があるとして判定することができる。
【００３７】
このように異常音の可能性があるとして判定された場合、この機械音の特徴パターンＸを、さらに、ｑ種類の異常音の標準パターンのそれぞれとの類似度を求める。そして、ｑ種類の異常音の標準パターンとの類似度の中で、最も大きな類似度が所定の閾値ＴＨ２よりも大きければ、この機械音は、異常音(過去に経験された異常音)として最終的に判定される。これに対し、ｑ種類の異常音の標準パターンとの類似度の中で、最も大きな類似度が所定の閾値ＴＨ２よりも小さければ、この機械音は、機械音辞書３には登録されていない新たな種類の正常音か、機械音辞書３には登録されていない新たな種類の異常音であると判定される。
【００３８】
このように、機械音が異常音か正常音かの判定がなされると、登録部６は、判定部からの判定結果に基づき、機械音を異常音，正常音の別を付して機械音蓄積部に蓄積するようになっている。すなわち、機械音として判定された場合、この機械音は、登録部６によって機械音蓄積部５にデータとして再生可能に登録されるようになっている。この際、機械音蓄積部には、機械音と対応させて、機械音が発生した時刻情報が蓄積されるようになっていても良い。
【００３９】
図４は機械音蓄積部５に蓄積登録される機械音データの一例を示す図である。図４の例では、機械音のデータは、時刻情報と、正常音／異常音の別とが、付加情報として付加されて、再生可能に登録されるようになっている。
【００４０】
ここで、図３の機械音処理装置では、機械音蓄積部５に機械音(正常音または異常音)を登録するときに、音声認識部１３の音声認識結果に応じて機械音を登録するよう構成することもできる。具体的に、音声認識部１３の音声認識結果が登録要求であったときに、その機械音を登録するようにすることができる。例えば、音声認識結果が「これはいいよ」であった場合には、機械音を正常音として登録することができる。あるいは、音声認識結果が「〜の故障だ」であった場合には、図４に示すように、「〜の故障だ」のラベルを付して機械音を登録することができる。あるいは、音声認識結果が「わからん」であった場合には、図４に示すように、「その他の異常音」のラベルを付して機械音を登録することができる。なお、このようなラベルは、音声として付加することもできるし、テキストとして付加することもできる。
【００４１】
このように、図３の機械音処理装置では、音声認識部１３の認識結果が登録要求であった場合には、登録部６は、機械音を機械音蓄積部５に蓄積する。また、登録部６は、機械音を機械音蓄積部５に蓄積するときに、音声認識部１３で所定の音声が認識させた場合には、該認識結果を機械音に対応させて蓄積する。
【００４２】
また、機械音蓄積部５に蓄積登録された機械音は、再生部７からの再生指示によって再生することができる。なお、この再生の指示は、例えば、キーボードなどから行なうこともできるし、あるいは、音声認識部１３で再生する旨の音声を認識させ、この認識結果に基づいて行なうこともできる。すなわち、再生部７は、音声認識部１３の認識結果が再生要求であった場合には、機械音蓄積部５に蓄積されている所定の機械音を再生する。
【００４３】
ここで、再生部７からの再生出力は、機械音(正常音または異常音)については音声で出力され、これに付加されている付加情報(時刻情報や正常音／異常音の別)，ラベルについては音声で出力されていても良いし、ディスプレイなどに表示されても良い。
【００４４】
図３の機械音処理装置においても、図１の機械音処理装置と同様に、複写機やファクシミリなどの電子機器で発生する機械音を検出したときに、これを知識として蓄積し、これに基づいて装置の故障の原因等の早期発見などを図ることができる。
【００４５】
また、上記第２の判定部１４において、機械音が新たな種類の正常音または新たな種類の異常音と判定されたときには、この新たな種類の正常音または新たな種類の異常音の特徴パターンを機械音辞書３に新たに登録することができる。
【００４６】
このように、機械音辞書３を、正常音，異常音の標準パターンを変更，追加登録可能な構成にすることができる。すなわち、機械音辞書３を更新可能な構成にすることができる。
【００４７】
なお、上述の各例では、機械音蓄積部５には、機械音が異常音であっても、正常音であっても登録するとしたが、図１の判定部４，図３の第２の判定部１４において異常音と判定されたもののみ、あるいは、図３の構成において音声認識部１３の音声認識結果が異常音であることを示す機械音のみを、機械音蓄積部５に登録することもできる。すなわち、この場合、正常音と判定されたものは、機械音蓄積部５には登録されない。
【００４８】
【発明の効果】
以上に説明したように、請求項１乃至請求項４記載の発明によれば、音が入力する音入力部と、音入力部から入力された入力音から音響信号を検出する検出部と、検出部において検出された音響信号が音声によるものか機械音によるものかを判定する第１の判定部と、音声認識用の音声辞書と、機械音が異常音か正常音かを判定するための異常音の標準パターン，正常音の標準パターンが予め登録されている機械音辞書と、第１の判定部において音響信号が音声によるものと判定されたときに、該音響信号を音声辞書を用いて音声認識する音声認識部と、第１の判定部において音響信号が機械音によるものと判定されたときに、該機械音が異常音か正常音かを、機械音の特徴パターンと機械音辞書に予め登録されている異常音の標準パターン，正常音の標準パターンとの類似度に基づいて判定する第２の判定部と、機械音が蓄積される機械音蓄積部と、機械音を機械音蓄積部に蓄積する登録部と、機械音蓄積部に蓄積されている機械音の再生を行なう再生部とを備えており、前記第２の判定部は、機械音の特徴パターンが、過去に登録された正常音の特徴パターン，異常音の特徴パターンに対して類似度が低いときには、この機械音を、新たな種類の正常音または新たな種類の異常音と判定するようにしており、前記第２の判定部において、機械音が新たな種類の正常音または新たな種類の異常音と判定されたときには、前記登録部は、この新たな種類の正常音または新たな種類の異常音の特徴パターンを機械音辞書に新たに登録するので、複写機やファクシミリなどの電子機器で発生する機械音を検出したときに、これを知識として蓄積し、これに基づいて電子機器の故障の原因等の早期発見などを図ることができ、さらに、音声認識部の認識結果に基づいて、機械音の登録，再生に関する処理を効率良く行なうことができる。
【図面の簡単な説明】
【図１】本発明に係る機械音処理装置の構成例を示す図である。
【図２】図１の機械音処理装置の機械音蓄積部に蓄積登録される機械音データの一例を示す図である。
【図３】本発明に係る機械音処理装置の他の構成例を示す図である。
【図４】図３の機械音処理装置の機械音蓄積部に蓄積登録される機械音データの一例を示す図である。
【符号の説明】
１ 音入力部
２ 検出部
３ 機械音辞書
４ 判定部
５ 機械音蓄積部
６ 登録部
７ 再生部
１１ 音声辞書
１２ 第１の判定部
１３ 音声認識部
１４ 第２の判定部
【発明の属する技術分野】
本発明は、複写機，ファクシミリあるいはプリンタなどの電子機器の機械音に関する処理を行なう機械音処理装置に関する。
【０００２】
【従来の技術】
従来、例えば特開平１０−１９６６２号には、複写機やプリンタなどの装置内で異常音が発生したときに、これを的確に操作者に報知可能にし、その後の対応処置を迅速かつ的確に実行させることを意図した自己診断装置が示されている。この自己診断装置では、装置の動作音を集音器で集音し、集音された動作音が予め設定された音レベルに達した場合に、異常音が発生したとして操作表示部に警告表示するようになっている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した自己診断装置では、装置内で異常音が発生したときに、それを操作者に報知するだけに過ぎず、いままでに生じた異常音に関するデータを知識として蓄えて、これを利用させるようにはなっていない。
【０００４】
本発明は、複写機やファクシミリなどの電子機器で発生する機械音を検出したときに、これを知識として蓄積し、これに基づいて電子機器の故障の原因等の早期発見などを図ることの可能な機械音処理装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、音が入力する音入力部と、音入力部から入力された入力音から音響信号を検出する検出部と、検出部において検出された音響信号が音声によるものか機械音によるものかを判定する第１の判定部と、音声認識用の音声辞書と、機械音が異常音か正常音かを判定するための異常音の標準パターン，正常音の標準パターンが予め登録されている機械音辞書と、第１の判定部において音響信号が音声によるものと判定されたときに、該音響信号を音声辞書を用いて音声認識する音声認識部と、第１の判定部において音響信号が機械音によるものと判定されたときに、該機械音が異常音か正常音かを、機械音の特徴パターンと機械音辞書に予め登録されている異常音の標準パターン，正常音の標準パターンとの類似度に基づいて判定する第２の判定部と、機械音が蓄積される機械音蓄積部と、機械音を機械音蓄積部に蓄積する登録部と、機械音蓄積部に蓄積されている機械音の再生を行なう再生部とを備えており、前記第２の判定部は、機械音の特徴パターンが、過去に登録された正常音の特徴パターン，異常音の特徴パターンに対して類似度が低いときには、この機械音を、新たな種類の正常音または新たな種類の異常音と判定するようにしており、前記第２の判定部において、機械音が新たな種類の正常音または新たな種類の異常音と判定されたときには、前記登録部は、この新たな種類の正常音または新たな種類の異常音の特徴パターンを機械音辞書に新たに登録することを特徴としている。
【００１６】
また、請求項２記載の発明は、請求項１記載の機械音処理装置において、音声認識部の認識結果が登録要求であった場合には、登録部は、機械音を機械音蓄積部に蓄積することを特徴としている。
【００１７】
また、請求項３記載の発明は、請求項１記載の機械音処理装置において、登録部は、機械音を機械音蓄積部に蓄積するときに、音声認識部で所定の音声が認識させた場合には、該認識結果を機械音に対応させて蓄積することを特徴としている。
【００１８】
また、請求項４記載の発明は、請求項１記載の機械音処理装置において、再生部は、音声認識部の認識結果が再生要求であった場合には、機械音蓄積部に蓄積されている所定の機械音を再生することを特徴としている。
【００２０】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。図１は本発明に係る機械音処理装置の構成例を示す図である。図１を参照すると、この機械音処理装置は、音が入力するマイクなどの音入力部１と、音入力部１から入力された入力音から音響信号(音声あるいは機械音など)を検出(抽出)する検出部２と、機械音が異常音か正常音かを判定するのに用いられる機械音辞書３と、検出部２において検出された音響信号が機械音によるものかを判定し、音響信号が機械音によるものと判定されたときに、該機械音が異常音か正常音かを機械音辞書３を用いて判定する判定部４と、機械音が登録(蓄積)される機械音蓄積部５と、機械音を機械音蓄積部５に登録(蓄積)する登録部６と、機械音蓄積部５に登録(蓄積)されている機械音の再生を行なう再生部７とを備えている。
【００２１】
ここで、検出部２は、例えば、ある範囲よりも大きなパワーをもつ音の区間を音響信号として検出(抽出)することができる。すなわち、検出部２における音響信号の検出法(抽出法)としては、一般的な音声認識技術において用いられている音声区間検出部における音声区間の検出法(抽出法)を用いることができる。
【００２２】
また、判定部４は、例えば、ピッチの有無や継続時間などによって、音響信号が機械音によるものかを判定することができる。あるいは、判定部４は、音響信号が機械音であるかの判定に音声認識を用い、該音響信号の音声認識結果がリジェクトであった場合には、音響信号を機械音と判定することができる。
【００２３】
また、判定部４は、音響信号を機械音と判定したときに、該機械音が異常音か正常音かを、例えば、次のようにして判定することができる。すなわち、機械音辞書３に、例えば、ｐ種類の正常音の標準パターン(特徴パターン)，ｑ種類の異常音の標準パターン(特徴パターン)が予め登録されているとする。ここで、ある１つの正常音の標準パターン(特徴ベクトル系列)をＮ(ｋ)(ｋ＝１，２，・・・，ｌ)とし、また、ある１つの異常音の標準パターン(特徴ベクトル系列)をＡ(ｋ)(ｋ＝１，２，・・・，ｌ)とする。いま、異常音か正常音かが判定されるべき機械音の特徴パターン(特徴ベクトル系列)がＸｉ(ｉ＝１，２，・・・，ｌ)であるとする。なお、ｌは切り出された音響信号のフレーム数であり、１フレームの長さは、音声認識の場合と同様に、１０ｍ秒程度が良い。また、特徴ベクトルの種類も、音声認識技術における場合と同様に、ＬＰＣメルケプストラムにする。異常音か正常音かが判定されるべき機械音の特徴パターンＸとある１つの正常音の特徴パターンＮ(ｋ)との類似度をＲ(Ｘ，Ｎ(ｋ))とすると、類似度Ｒ(Ｘ，Ｎ(ｋ))は、例えば次式によって算出される。
【００２４】
【数１】
このようにして、ある機械音について、機械音辞書３に登録されているｐ種類の正常音の特徴パターンとの類似度Ｒ(Ｘ，Ｎ(ｋ))を上記のようにそれぞれ求め、全て(ｐ種類)の正常音の特徴パターンに対して、類似度Ｒ(Ｘ，Ｎ(ｋ))が所定の閾値ＴＨ１よりも小さいときには、この機械音は、ｐ種類の正常音のいずれとも類似せず、従って、この場合、機械音は異常音の可能性があるとして判定することができる。
【００２６】
このように異常音の可能性があるとして判定された場合、この機械音の特徴パターンＸを、さらに、ｑ種類の異常音の標準パターンのそれぞれとの類似度を求める。そして、ｑ種類の異常音の標準パターンとの類似度の中で、最も大きな類似度をもつ異常音の標準パターンをＡ(ｎ)とするとき、これとの類似度Ｒ(Ｘ，Ａ(ｎ))が所定の閾値ＴＨ２よりも大きければ、この機械音は、異常音(過去に経験された異常音)として最終的に判定される。これに対し、Ｒ(Ｘ，Ａ(ｎ))が所定の閾値ＴＨ２よりも小さければ、この機械音は、機械音辞書３には登録されていない新たな種類の正常音か、機械音辞書３には登録されていない新たな種類の異常音であると判定される。
【００２７】
このように、機械音が異常音か正常音かの判定がなされると、登録部６は、判定部４からの判定結果に基づき、機械音を異常音，正常音の別を付して機械音蓄積部５に蓄積するようになっている。すなわち、機械音として判定された場合、この機械音は、登録部６によって機械音蓄積部５にデータとして再生可能に登録されるようになっている。この際、機械音蓄積部５には、機械音と対応させて、機械音が発生した時刻情報が蓄積されるようになっていても良い。
【００２８】
図２は機械音蓄積部５に蓄積登録される機械音データの一例を示す図である。図２の例では、機械音のデータは、時刻情報と、正常音／異常音の別とが、付加情報として付加されて、再生可能に登録されるようになっている。
【００２９】
また、機械音蓄積部５に蓄積登録された機械音は、再生部７からの再生指示によって再生することができる。なお、この再生の指示は、例えば、キーボードなどから行なうことができる。
【００３０】
ここで、再生部７からの再生出力は、機械音(正常音または異常音)については音声で出力され、これに付加されている付加情報(時刻情報や正常音／異常音の別)については、これが音声データとして蓄積されているときには、音声で出力され、また、これがテキストデータとして蓄積されているときには、ディスプレイなどに表示される。
【００３１】
このような機械音処理装置では、複写機やファクシミリなどの電子機器で発生する機械音を検出したときに、これを知識として蓄積し、これに基づいて装置の故障の原因等の早期発見などを図ることができる。
【００３２】
また、上記判定部４において、機械音が新たな種類の正常音または新たな種類の異常音と判定されたときには、この新たな種類の正常音または新たな種類の異常音の特徴パターンを機械音辞書３に新たに登録することができる。
【００３３】
このように、機械音辞書３を、正常音，異常音の標準パターンを変更，追加登録可能な構成にすることができる。すなわち、機械音辞書３を更新可能な構成にすることができ、これによって、正常音か異常音かの判定精度を学習によって高めることができる。
【００３４】
また、図３は本発明に係る機械音処理装置の構成例を示す図である。なお、図３において、図１と同様の箇所には同じ符号を付している。図３を参照すると、この機械音処理装置は、音が入力するマイクなどの音入力部１と、音入力部１から入力された入力音から音響信号(音声あるいは機械音など)を検出(抽出)する検出部２と、音声認識用の音声辞書１１と、機械音が異常音か正常音かを判定するのに用いられる機械音辞書３と、検出部２において検出された音響信号が音声によるものか機械音によるものかを判定する第１の判定部１２と、第１の判定部１２において音響信号が音声によるものと判定されたときに、該音響信号を音声辞書１１を用いて音声認識する音声認識部１３と、第１の判定部１２において音響信号が機械音によるものと判定されたときに、該機械音が異常音か正常音かを機械音辞書３を用いて判定する第２の判定部１４と、機械音が登録(蓄積)される機械音蓄積部５と、機械音を機械音蓄積部５に登録(蓄積)する登録部６と、機械音蓄積部５に登録(蓄積)されている機械音の再生を行なう再生部７とを備えている。
【００３５】
ここで、第１の判定部１２は、例えば、ピッチの有無や継続時間などによって、音響信号が音声によるものか機械音によるものかを判定することができる。あるいは、第１の判定部１２は、音声認識を行なって認識結果がリジェクトされた場合に、音響信号が機械音によるものと判定することができる。
【００３６】
また、第２の判定部１４は、第１の判定部１２において音響信号が機械音と判定されたときに、この機械音が異常音か正常音かを、例えば、図１の機械音処理装置の判定部４における同様の仕方で判定することができる。すなわち、前述のように、機械音辞書３に、例えば、ｐ種類の正常音の標準パターン(特徴パターン)，ｑ種類の異常音の標準パターン(特徴パターン)が予め登録されているとき、異常音か正常音かが判定されるべき機械音の特徴パターンＸと機械音辞書３に登録されている正常音の特徴パターン，異常音の特徴パターンとの類似度をそれぞれ求め、全て(ｐ個)の正常音の特徴パターンに対して、類似度が所定の閾値ＴＨ１よりも小さいときには、この機械音は、ｐ種類の正常音のいずれとも類似せずに、従って、この場合、機械音Ｘは異常音の可能性があるとして判定することができる。
【００３７】
このように異常音の可能性があるとして判定された場合、この機械音の特徴パターンＸを、さらに、ｑ種類の異常音の標準パターンのそれぞれとの類似度を求める。そして、ｑ種類の異常音の標準パターンとの類似度の中で、最も大きな類似度が所定の閾値ＴＨ２よりも大きければ、この機械音は、異常音(過去に経験された異常音)として最終的に判定される。これに対し、ｑ種類の異常音の標準パターンとの類似度の中で、最も大きな類似度が所定の閾値ＴＨ２よりも小さければ、この機械音は、機械音辞書３には登録されていない新たな種類の正常音か、機械音辞書３には登録されていない新たな種類の異常音であると判定される。
【００３８】
このように、機械音が異常音か正常音かの判定がなされると、登録部６は、判定部からの判定結果に基づき、機械音を異常音，正常音の別を付して機械音蓄積部に蓄積するようになっている。すなわち、機械音として判定された場合、この機械音は、登録部６によって機械音蓄積部５にデータとして再生可能に登録されるようになっている。この際、機械音蓄積部には、機械音と対応させて、機械音が発生した時刻情報が蓄積されるようになっていても良い。
【００３９】
図４は機械音蓄積部５に蓄積登録される機械音データの一例を示す図である。図４の例では、機械音のデータは、時刻情報と、正常音／異常音の別とが、付加情報として付加されて、再生可能に登録されるようになっている。
【００４０】
ここで、図３の機械音処理装置では、機械音蓄積部５に機械音(正常音または異常音)を登録するときに、音声認識部１３の音声認識結果に応じて機械音を登録するよう構成することもできる。具体的に、音声認識部１３の音声認識結果が登録要求であったときに、その機械音を登録するようにすることができる。例えば、音声認識結果が「これはいいよ」であった場合には、機械音を正常音として登録することができる。あるいは、音声認識結果が「〜の故障だ」であった場合には、図４に示すように、「〜の故障だ」のラベルを付して機械音を登録することができる。あるいは、音声認識結果が「わからん」であった場合には、図４に示すように、「その他の異常音」のラベルを付して機械音を登録することができる。なお、このようなラベルは、音声として付加することもできるし、テキストとして付加することもできる。
【００４１】
このように、図３の機械音処理装置では、音声認識部１３の認識結果が登録要求であった場合には、登録部６は、機械音を機械音蓄積部５に蓄積する。また、登録部６は、機械音を機械音蓄積部５に蓄積するときに、音声認識部１３で所定の音声が認識させた場合には、該認識結果を機械音に対応させて蓄積する。
【００４２】
また、機械音蓄積部５に蓄積登録された機械音は、再生部７からの再生指示によって再生することができる。なお、この再生の指示は、例えば、キーボードなどから行なうこともできるし、あるいは、音声認識部１３で再生する旨の音声を認識させ、この認識結果に基づいて行なうこともできる。すなわち、再生部７は、音声認識部１３の認識結果が再生要求であった場合には、機械音蓄積部５に蓄積されている所定の機械音を再生する。
【００４３】
ここで、再生部７からの再生出力は、機械音(正常音または異常音)については音声で出力され、これに付加されている付加情報(時刻情報や正常音／異常音の別)，ラベルについては音声で出力されていても良いし、ディスプレイなどに表示されても良い。
【００４４】
図３の機械音処理装置においても、図１の機械音処理装置と同様に、複写機やファクシミリなどの電子機器で発生する機械音を検出したときに、これを知識として蓄積し、これに基づいて装置の故障の原因等の早期発見などを図ることができる。
【００４５】
また、上記第２の判定部１４において、機械音が新たな種類の正常音または新たな種類の異常音と判定されたときには、この新たな種類の正常音または新たな種類の異常音の特徴パターンを機械音辞書３に新たに登録することができる。
【００４６】
このように、機械音辞書３を、正常音，異常音の標準パターンを変更，追加登録可能な構成にすることができる。すなわち、機械音辞書３を更新可能な構成にすることができる。
【００４７】
なお、上述の各例では、機械音蓄積部５には、機械音が異常音であっても、正常音であっても登録するとしたが、図１の判定部４，図３の第２の判定部１４において異常音と判定されたもののみ、あるいは、図３の構成において音声認識部１３の音声認識結果が異常音であることを示す機械音のみを、機械音蓄積部５に登録することもできる。すなわち、この場合、正常音と判定されたものは、機械音蓄積部５には登録されない。
【００４８】
【発明の効果】
以上に説明したように、請求項１乃至請求項４記載の発明によれば、音が入力する音入力部と、音入力部から入力された入力音から音響信号を検出する検出部と、検出部において検出された音響信号が音声によるものか機械音によるものかを判定する第１の判定部と、音声認識用の音声辞書と、機械音が異常音か正常音かを判定するための異常音の標準パターン，正常音の標準パターンが予め登録されている機械音辞書と、第１の判定部において音響信号が音声によるものと判定されたときに、該音響信号を音声辞書を用いて音声認識する音声認識部と、第１の判定部において音響信号が機械音によるものと判定されたときに、該機械音が異常音か正常音かを、機械音の特徴パターンと機械音辞書に予め登録されている異常音の標準パターン，正常音の標準パターンとの類似度に基づいて判定する第２の判定部と、機械音が蓄積される機械音蓄積部と、機械音を機械音蓄積部に蓄積する登録部と、機械音蓄積部に蓄積されている機械音の再生を行なう再生部とを備えており、前記第２の判定部は、機械音の特徴パターンが、過去に登録された正常音の特徴パターン，異常音の特徴パターンに対して類似度が低いときには、この機械音を、新たな種類の正常音または新たな種類の異常音と判定するようにしており、前記第２の判定部において、機械音が新たな種類の正常音または新たな種類の異常音と判定されたときには、前記登録部は、この新たな種類の正常音または新たな種類の異常音の特徴パターンを機械音辞書に新たに登録するので、複写機やファクシミリなどの電子機器で発生する機械音を検出したときに、これを知識として蓄積し、これに基づいて電子機器の故障の原因等の早期発見などを図ることができ、さらに、音声認識部の認識結果に基づいて、機械音の登録，再生に関する処理を効率良く行なうことができる。
【図面の簡単な説明】
【図１】本発明に係る機械音処理装置の構成例を示す図である。
【図２】図１の機械音処理装置の機械音蓄積部に蓄積登録される機械音データの一例を示す図である。
【図３】本発明に係る機械音処理装置の他の構成例を示す図である。
【図４】図３の機械音処理装置の機械音蓄積部に蓄積登録される機械音データの一例を示す図である。
【符号の説明】
１ 音入力部
２ 検出部
３ 機械音辞書
４ 判定部
５ 機械音蓄積部
６ 登録部
７ 再生部
１１ 音声辞書
１２ 第１の判定部
１３ 音声認識部
１４ 第２の判定部
Claims (4)
- 音が入力する音入力部と、音入力部から入力された入力音から音響信号を検出する検出部と、検出部において検出された音響信号が音声によるものか機械音によるものかを判定する第１の判定部と、音声認識用の音声辞書と、機械音が異常音か正常音かを判定するための異常音の標準パターン，正常音の標準パターンが予め登録されている機械音辞書と、第１の判定部において音響信号が音声によるものと判定されたときに、該音響信号を音声辞書を用いて音声認識する音声認識部と、第１の判定部において音響信号が機械音によるものと判定されたときに、該機械音が異常音か正常音かを、機械音の特徴パターンと機械音辞書に予め登録されている異常音の標準パターン，正常音の標準パターンとの類似度に基づいて判定する第２の判定部と、機械音が蓄積される機械音蓄積部と、機械音を機械音蓄積部に蓄積する登録部と、機械音蓄積部に蓄積されている機械音の再生を行なう再生部とを備えており、前記第２の判定部は、機械音の特徴パターンが、過去に登録された正常音の特徴パターン，異常音の特徴パターンに対して類似度が低いときには、この機械音を、新たな種類の正常音または新たな種類の異常音と判定するようにしており、前記第２の判定部において、機械音が新たな種類の正常音または新たな種類の異常音と判定されたときには、前記登録部は、この新たな種類の正常音または新たな種類の異常音の特徴パターンを機械音辞書に新たに登録することを特徴とする機械音処理装置。
- 請求項１記載の機械音処理装置において、前記音声認識部の認識結果が登録要求であった場合には、前記登録部は、機械音を機械音蓄積部に蓄積することを特徴とする機械音処理装置。
- 請求項１記載の機械音処理装置において、前記登録部は、機械音を機械音蓄積部に蓄積するときに、音声認識部で所定の音声が認識させた場合には、該認識結果を機械音に対応させて蓄積することを特徴とする機械音処理装置。
- 請求項１記載の機械音処理装置において、前記再生部は、音声認識部の認識結果が再生要求であった場合には、機械音蓄積部に蓄積されている所定の機械音を再生することを特徴とする機械音処理装置。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01683699A JP3635614B2 (ja) | 1999-01-26 | 1999-01-26 | 機械音処理装置 |
| US09/477,727 US6701095B1 (en) | 1999-01-08 | 2000-01-05 | Office information system having a device which provides an operational message of the system when a specific event occurs |
| KR1020000000589A KR100552570B1 (ko) | 1999-01-08 | 2000-01-07 | 화상형성장치 |
| KR10-2002-0007086A KR100386094B1 (ko) | 1999-01-08 | 2002-02-07 | 사무자동화장치 및 장애복구방법 |
| KR1020020007088A KR20020019944A (ko) | 1999-01-08 | 2002-02-07 | 사무소 기기 |
| US10/625,538 US6950613B2 (en) | 1999-01-08 | 2003-07-24 | Office information system having a device which provides an operational message of the system when a specific event occurs |
| US11/174,599 US7146111B2 (en) | 1999-01-08 | 2005-07-06 | Office information system having a device which provides an operational message of the system when a specific event occurs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01683699A JP3635614B2 (ja) | 1999-01-26 | 1999-01-26 | 機械音処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000216943A JP2000216943A (ja) | 2000-08-04 |
| JP3635614B2 true JP3635614B2 (ja) | 2005-04-06 |
Family
ID=11927299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01683699A Expired - Fee Related JP3635614B2 (ja) | 1999-01-08 | 1999-01-26 | 機械音処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3635614B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004326505A (ja) * | 2003-04-25 | 2004-11-18 | Omron Corp | 機器不良確認援助装置、および機器不良確認援助方法 |
| JP2004333881A (ja) * | 2003-05-08 | 2004-11-25 | Kyocera Mita Corp | 画像形成装置 |
| CA2569106C (en) | 2004-06-04 | 2013-05-21 | Qualcomm Incorporated | High data rate interface apparatus and method |
| US7457550B2 (en) | 2005-01-18 | 2008-11-25 | Ricoh Company, Limited | Abnormality determining apparatus, image forming apparatus, copying machine, and information obtaining method |
| JP2015161745A (ja) * | 2014-02-26 | 2015-09-07 | 株式会社リコー | パターン認識システムおよびプログラム |
| JP7331369B2 (ja) | 2019-01-30 | 2023-08-23 | 日本電信電話株式会社 | 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム |
| JP7354593B2 (ja) * | 2019-05-31 | 2023-10-03 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置 |
-
1999
- 1999-01-26 JP JP01683699A patent/JP3635614B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000216943A (ja) | 2000-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105741836B (zh) | 声音识别装置以及声音识别方法 | |
| JP4906379B2 (ja) | 音声認識装置、音声認識方法、及びコンピュータプログラム | |
| CN107305541A (zh) | 语音识别文本分段方法及装置 | |
| JP5255769B2 (ja) | テキストフォーマッティング及びスピーチ認識のためのトピック特有のモデル | |
| US9009048B2 (en) | Method, medium, and system detecting speech using energy levels of speech frames | |
| US6718303B2 (en) | Apparatus and method for automatically generating punctuation marks in continuous speech recognition | |
| EP1355295B1 (en) | Speech recognition apparatus, speech recognition method, and computer-readable recording medium in which speech recognition program is recorded | |
| JP3476008B2 (ja) | 音声情報の登録方法、認識文字列の特定方法、音声認識装置、音声情報の登録のためのソフトウエア・プロダクトを格納した記憶媒体、及び認識文字列の特定のためのソフトウエア・プロダクトを格納した記憶媒体 | |
| CN113838460A (zh) | 视频语音识别方法、装置、设备和存储介质 | |
| JP2002132287A (ja) | 音声収録方法および音声収録装置および記憶媒体 | |
| JP3635614B2 (ja) | 機械音処理装置 | |
| JPH06110494A (ja) | 発音学習装置 | |
| JP2015082036A (ja) | 音響分析フレーム信頼度計算装置と音響モデル適応装置と音声認識装置とそれらのプログラムと、音響分析フレーム信頼度計算方法 | |
| US10186253B2 (en) | Control device for recording system, and recording system | |
| CN117116292A (zh) | 音频检测方法、装置、电子设备及存储介质 | |
| CN112116181A (zh) | 课堂质量模型的训练方法、课堂质量评价方法及装置 | |
| AU2021104203A4 (en) | Intelligent system & method for recognizing fake speech using artificial intelligence & blockchain technology | |
| JP3664499B2 (ja) | 音声情報の処理方法及びその装置 | |
| JP5447382B2 (ja) | 音声認識仮説検証装置、音声認識装置、それに用いられる方法およびプログラム | |
| US6438521B1 (en) | Speech recognition method and apparatus and computer-readable memory | |
| JPH05173592A (ja) | 音声／非音声判別方法および判別装置 | |
| JP6827602B2 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| JP2011113426A (ja) | 辞書作成装置，辞書作成プログラムおよび辞書作成方法 | |
| JP4604424B2 (ja) | 音声認識装置及び方法、並びにプログラム | |
| JP3031081B2 (ja) | 音声認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041224 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100114 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110114 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120114 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130114 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140114 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |