JP6210458B2 - 故障検知システム及び故障検知方法 - Google Patents

故障検知システム及び故障検知方法 Download PDF

Info

Publication number
JP6210458B2
JP6210458B2 JP2014154991A JP2014154991A JP6210458B2 JP 6210458 B2 JP6210458 B2 JP 6210458B2 JP 2014154991 A JP2014154991 A JP 2014154991A JP 2014154991 A JP2014154991 A JP 2014154991A JP 6210458 B2 JP6210458 B2 JP 6210458B2
Authority
JP
Japan
Prior art keywords
sound
failure
unit
detection system
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014154991A
Other languages
English (en)
Other versions
JP2016032260A (ja
Inventor
宏之 松本
宏之 松本
渡辺　周一
周一 渡辺
徳田　肇道
肇道 徳田
寿嗣 辻
寿嗣 辻
昭年 泉
昭年 泉
信太郎 吉國
信太郎 吉國
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014154991A priority Critical patent/JP6210458B2/ja
Priority to DE102015213583.7A priority patent/DE102015213583A1/de
Priority to US14/809,354 priority patent/US9635481B2/en
Publication of JP2016032260A publication Critical patent/JP2016032260A/ja
Application granted granted Critical
Publication of JP6210458B2 publication Critical patent/JP6210458B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones

Description

本発明は、収音素子の故障を検知する故障検知システム及び故障検知方法に関する。
音声等、目的とする音を収音する際、騒音や妨害音声等、不要な音をなるべく収音しないようにする高ＳＮ比収音技術が強く望まれている。この技術を達成するために、複数のマイク素子から構成された収音器（マイクアレイ装置）を用いた信号処理が有効であると考えられている。
マイクアレイ装置を用いた信号処理の一例として、各マイク素子において収音された音声信号にマイク素子毎に異なる遅延時間を付加した後で音声信号の総和をとることで、所定方向に音声の指向性を形成する方法（遅延和方式）がある。この遅延和方式では、信号処理を行う信号処理装置における指向性の制御が容易である反面、低い周波数に対して指向性を得ようとすると指向性のビーム幅を狭くする必要があるため、マイク素子の配置数が増えることになり、結果的にマイクアレイ装置のサイズが大きくなってしまう。
また、上述した遅延和方式に対し、音声信号に遅延時間を付加した後に音声信号同士を減算して、雑音方向に死角（感度が低い）を形成することで所定方向に音声の指向性を形成する方法（遅延差方式）がある。このような遅延差方式を用いるマイクアレイ装置は、周囲の雑音環境に応じた指向特性を自動的に形成することから、適応型マイクアレイ装置と呼ばれる。
適応型マイクアレイ装置における指向性の形成原理は次の通りである（例えば、非特許文献１参照）。適応型マイクアレイ装置は、目的の音声信号の到来方向と各々のマイクロホンの配置位置とを用いて、目的方向の音声信号が各マイクロホンで収音される時の時間差を幾何学的に計算する。適応型マイクアレイ装置は、各マイクロホンにより収音された音声信号に、この時間差に相当する遅延量を付加する。これにより、音声信号は目的方向に同相化する。また、適応型マイクアレイ装置は、同相化した音声信号のうち隣り合う音声信号の差を取ることで、目的方向の音声信号を打ち消し合い、隣接数分の複数の雑音のみ含んだ信号（雑音信号）が得られる。適応型マイクアレイ装置は、各雑音信号に対して適応フィルタを通過させた後、第１のマイクロホンの遅延出力から各適応フィルタ出力を減算することで、周囲雑音を抑圧して目的方向に指向性が形成された音声信号が得られる。
大賀、山崎、金田 共著 「音響システムとディジタル処理」 （株）コロナ社出版、１９９５年３月２５日、Ｐ１９０（Griffith-Jim形の適応マイクロホンアレー）
非特許文献１において説明した遅延差方式を用いた適応型マイクアレイ装置では、いずれかのマイク素子に特性劣化或いは故障が生じていると、音声信号の差分結果に影響が生じてしまい、周囲雑音が抑圧された目的方向の音声信号が得られず、指向性形成精度が劣化することがある。
このため、遅延差方式を用いた適応型マイクアレイ装置では、使用中にマイク素子やマイク素子により収音された音声信号を増幅する回路の特性を監視し、全てのマイク素子の特性が揃っていることを確認する必要がある。
しかしながら、マイクアレイ装置を用いて任意の方向に指向性を形成しようとする場合、非特許文献１では実際の使用前の時点において全てのマイク素子の特性が揃っていることが前提であるため、実際の使用中にマイク素子の特性劣化や故障が生じることは考慮されていない。このため、例えば実際の使用中に、マイク素子の特性劣化や故障があると、マイクアレイ装置から特定の方向への音声の指向性の形成精度が劣化すると考えられる。
本発明は、上述した従来の状況に鑑みて、実際の使用中であっても、マイクアレイ装置に含まれる各マイク素子の特性を監視し、マイク素子に異常が生じた場合でも、異常が生じたマイク素子を特定し、所定の方向への音声の指向性形成精度の劣化を抑制する故障検知システム及び故障検知方法を提供することを目的とする。
本発明は、複数の収音素子を含む収音部と、音源から各々の前記収音素子に伝搬された音声の平均パワーを前記収音素子毎に算出する第１算出部と、前記収音部に含まれる使用可能な複数の前記収音素子に伝搬された音声の全平均パワーを算出する第２算出部と、前記収音素子毎の平均パワーと前記全平均パワーとの差分が所定の範囲を超えるか否かの比較結果を基に、使用不可な故障中の前記収音素子があるか否かを判定する故障判定部と、を備え、前記第１算出部は、所定の時間間隔毎に前記収音素子により収音された音声をサンプリングして、前記収音素子により収音された音声の平均パワーを前記収音素子毎に算出する、故障検知システムである。
また、本発明は、複数の収音素子を含む収音部を有する故障検知システムにおける故障検知方法であって、音源から各々の前記収音素子に伝搬された音声の平均パワーを前記収音素子毎に算出するステップと、前記収音部に含まれる使用可能な複数の前記収音素子に伝搬された音声の全平均パワーを算出するステップと、前記収音素子毎の平均パワーと前記全平均パワーとの差分が所定の範囲を超えるか否かの比較結果を基に、使用不可な故障中の前記収音素子があるか否かを判定するステップと、を有し、前記音声の平均パワーを算出するステップでは、所定の時間間隔毎に前記収音素子により収音された音声をサンプリングして、前記収音素子により収音された音声の平均パワーを前記収音素子毎に算出する、故障検知方法である。
本発明によれば、実際の使用中であっても、マイクアレイ装置に含まれる各マイク素子の特性を監視し、マイク素子に異常が生じた場合でも、異常が生じたマイク素子を特定し、所定の方向への音声の指向性形成精度の劣化を抑制することができる。
第１の実施形態の故障検知システムのシステム構成を示すブロック図 （Ａ）〜（Ｅ）全方位マイクアレイ装置の外観図 全方位マイクアレイ装置により収音された音声に対して方向θに指向性を形成する原理の一例の説明図 全方位マイクアレイ装置の内部構成を示すブロック図 信号処理部及びメモリの内部構成を示すブロック図 （Ａ），（Ｂ）全方位マイクアレイ装置が行うエラー検知処理の方法を説明する図 全方位マイクアレイ装置におけるエラー検知処理の動作手順を説明するフローチャート 指向性制御装置における指向性形成動作及びエラー検出処理の動作手順を説明するフローチャート （Ａ），（Ｂ）指向性制御装置におけるエラー検出処理の方法を説明する図 図８に示すステップＳ２３における音声信号のエラー検出処理の動作手順を説明するフローチャート 図１０に続くステップＳ２３における音声信号のエラー検出処理の動作手順を説明するフローチャート （Ａ）ディスプレイ装置の画面を示す図、（Ｂ）ディスプレイ装置の画面に表示されるパトランプのアイコンを示す図 （Ａ）ディスプレイ装置の画面を示す図、（Ｂ）ディスプレイ装置の画面に表示されるポップアップウインドウを示す図 （Ａ）ディスプレイ装置の画面においてログ表示を行わせる操作を示す図、（Ｂ）ログ表示が行われたディスプレイ装置の画面の一部を示す図 （Ａ）第２の実施形態における全方位マイクアレイ装置の内部構成を示すブロック図、（Ｂ）全方位マイクアレイ装置から送信される音声パケットＰＫＴの構造を示す図 指向性制御装置における指向性形成動作及びエラー検知処理の動作手順を説明するフローチャート 第３の実施形態の指向性制御装置における指向性形成動作及びエラー検知処理の動作手順を説明するフローチャート
以下、本発明に係る故障検知システム及び故障検知方法の各実施形態について、図面を参照して説明する。各実施形態の故障検知システムは、例えば工場、公共施設（例えば図書館、イベント会場）、又は店舗（例えば小売店、銀行）に設置される監視システム（有人監視システム及び無人監視システムを含む）に適用される。
（第１の実施形態）
図１は、第１の実施形態の故障検知システム１０のシステム構成を示すブロック図である。図１に示す故障検知システム１０は、全方位マイクアレイ装置２と、カメラ装置Ｃ１１と、指向性制御装置３と、レコーダ装置４とを含む構成である。全方位マイクアレイ装置２は、故障検知システム１０が設置される収音領域における音声を収音し、例えば収音領域に存在する音源の一例としての人物の発する音声を収音する。
本実施形態の全方位マイクアレイ装置２の筐体形状は、円盤の形状を例示して説明するが、円盤の形状に限定されず、例えばドーナツ型形状又はリング型形状（図２（Ａ）〜（Ｅ）参照）でも良い。
全方位マイクアレイ装置２では、例えば円盤状の筐体２１の円周方向に沿って、複数のマイクロホンユニット２２、２３が同心円状に配置される（図２（Ａ）参照）。マイクロホンユニット２２、２３には、例えば高音質小型エレクトレットコンデンサマイクロホン（ＥＣＭ： Electret Condenser Microphone）が用いられる。ＥＣＭを用いることは、以下の各実施形態においても同様である。
図１に示す故障検知システム１０において、全方位マイクアレイ装置２と、指向性制御装置３と、レコーダ装置４とは、ネットワークＮＷを介して相互に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でも良いし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でも良い。ネットワークＮＷは、以下の各実施形態においても同様である。
撮像部の一例としてのカメラ装置Ｃ１１は、例えばイベント会場の天井面に固定して設置される。カメラ装置Ｃ１１は、収音領域の全方位の映像を示す画像データ（即ち、全方位画像データ）、又は全方位画像データに所定の歪み補正処理を施してパノラマ変換して生成した平面画像データを、ネットワークＮＷを介して指向性制御装置３又はレコーダ装置４に送信する。指向性制御装置３は、操作部３２からの指示によって、画像信号処理部３５において、指定位置の画像をズームアップして、ディスプレイ装置３６に表示する。
カメラ装置Ｃ１１は、ディスプレイ装置３６に表示された画像の中で、ユーザによって任意の位置が指定されると、画像中の指定位置の座標データを指向性制御装置３から受信し、カメラ装置Ｃ１１から、指定位置に対応する実空間上の音声位置（以下、単に「音声位置」と略記する）までの距離、方向（水平角及び垂直角を含む。以下同様。）のデータを算出して指向性制御装置３に送信する。なお、カメラ装置１における距離、方向のデータ算出処理は公知技術であるため、その説明は省略する。
収音部の一例としての全方位マイクアレイ装置２は、ネットワークＮＷに接続され、等間隔毎に配置された収音素子の一例としてのマイク素子２２１，２２２，…，２２ｎ（図３参照）と、各マイク素子により収音された音声の音声データに対して所定の信号処理を施す各部とを少なくとも含む構成である。全方位マイクアレイ装置２の詳細な構成については、例えば図４を参照して後述する。
全方位マイクアレイ装置２は、各々のマイクロホンユニット２２，２３（図２（Ａ）参照）により収音された音声の音声データを含む音声データパケット（パケットＰＫＴ（図１５（Ｂ）参照）の一例）を、ネットワークＮＷを介して、指向性制御装置３又はレコーダ装置４に送信する。
指向性制御装置３は、全方位マイクアレイ装置２から送信された音声データを用いて、ユーザの操作によって操作部３２から指定された位置（指定位置）に対応する指向方向（後述参照）に指向性を形成する際、音源から各々のマイク素子２２１，２２２，…，２２ｎ（図３参照）に伝搬される音の音速Ｖｓ及びマイク素子毎の異なる遅延時間（図３参照）を用いて、特定の方向である指向方向（θＭＡｈ，θＭＡｖ）に、音声データの指向性を形成する。
これにより、指向性制御装置３は、指向性が形成された指向方向（θＭＡｈ，θＭＡｖ）から収音した音声の音量レベルを他の方向から収音した音声の音量レベルよりも相対的に増大できる。なお、指向方向（θＭＡｈ，θＭＡｖ）の算出方法は公知技術であるため、本実施形態では詳細な説明は省略する。
また、全方位マイクアレイ装置２の各マイクロホンユニット２２，２３は、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、又はこれらの組み合わせが用いられても良い。
また、カメラ装置Ｃ１１は全方位を撮影する全方位カメラでなくとも、パン・チルト・ズーム機能を持ったカメラや、固定カメラで、監視したい位置の画像を撮影できれば構わない。この場合、カメラは一つでなく、複数を組み合わせても良い。
図２（Ａ）〜（Ｅ）は、全方位マイクアレイ装置２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅの外観図である。図２（Ａ）〜（Ｅ）に示す全方位マイクアレイ装置２Ａ，２Ｂ，２Ｃ．２Ｄ，２Ｅでは、外観及び複数のマイクロホンユニットの配置が異なるが、全方位マイクアレイ装置自身の機能は同等である。なお、これらの全方位マイクアレイ装置を特に区別する必要が無い場合、全方位マイクアレイ装置２と総称する。
図２（Ａ）に示す全方位マイクアレイ装置２Ａは、円盤状の筐体２１を有する。筐体２１には、複数のマイクロホンユニット２２，２３が同心円状に配置されている。具体的には、複数のマイクロホンユニット２２が、筐体２１と同一の中心を有する大きな円形状に沿って同心円状に配置され、複数のマイクロホンユニット２３が、筐体２１と同一の中心を有する小さい円形状に沿って同心円状に配置されている。複数のマイクロホンユニット２２は、互いの間隔が広く、直径が大きく、低い音域に適した特性を有する。一方、複数のマイクロホンユニット２３は、互いの間隔が狭く、直径が小さく、高い音域に適した特性を有する。
図２（Ｂ）に示す全方位マイクアレイ装置２Ｂは、円盤状の筐体２１を有する。筐体２１には、複数のマイクロホンユニット２２が、水平方向の縦方向と横方向との中心が筐体２１の中心において交わるように一様な間隔毎に直線上に配置されている。全方位マイクアレイ装置２Ｂは、複数のマイクロホンユニット２２が縦横の直線状に配置されているので、音声データの指向性の形成処理の演算量を低減できる。なお、縦方向又は横方向の１列だけに、複数のマイクロホンユニット２２が配置されても良い。
図２（Ｃ）に示す全方位マイクアレイ装置２Ｃは、図２（Ａ）に示す全方位マイクアレイ装置２Ａに比べ、直径の小さい円盤状の筐体２１Ｃを有する。筐体２１Ｃには、複数のマイクロホンユニット２２が、円周方向に沿って一様に配置されている。図２（Ｃ）に示す全方位マイクアレイ装置２Ｃは、各々のマイクロホンユニット２２の間隔が短いので、高い音域に適した特性を有する。
図２（Ｄ）に示す全方位マイクアレイ装置２Ｄは、筐体中心に所定の直径を有する開口部２１ａが形成されたドーナツ型形状又はリング型の形状の筐体２１Ｄを有する。筐体２１Ｄでは、複数のマイクロホンユニット２２が、筐体２１Ｄの円周方向において、一様な間隔毎に同心円状に配置されている。
図２（Ｅ）に示す全方位マイクアレイ装置２Ｅは、矩形状の筐体２１Ｅを有する。筐体２１Ｅには、複数のマイクロホンユニット２２が、筐体２１Ｅの外周方向に沿って一様な間隔毎に配置されている。図２（Ｅ）に示す全方位マイクアレイ装置２Ｅでは、筐体２１Ｅが矩形に形成されているので、例えばコーナー等の場所であっても全方位マイクアレイ装置２Ｅの設置を簡易化できる。
指向性制御装置３は、ネットワークＮＷに接続され、例えば監視システム制御室（不図示）に設置される据置型のＰＣ（Personal Computer）でも良いし、ユーザが携帯可能な携帯電話機、タブレット端末、スマートフォン等のデータ通信端末でも良い。
指向性制御装置３は、通信部３１と、操作部３２と、信号処理部３３と、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８とを少なくとも含む構成である。図１では、信号処理部３３は、指向方向算出部３４ａと出力制御部３４ｃとを少なくとも含む構成であり、信号処理部３３の詳細な構成例については、例えば図５を参照して後述する。
通信部３１は、ネットワークＮＷを介して、全方位マイクアレイ装置２やレコーダ装置４から送信されたパケットＰＫＴ（図１５（Ｂ）参照）を受信して信号処理部３３に出力する。
操作部３２は、ユーザの操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部３２は、例えばディスプレイ装置３６の画面に対応して配置され、ユーザの指又はスタイラスペンによって操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。
操作部３２は、ディスプレイ装置３６に表示された画像（即ち、カメラ装置Ｃ１１により撮像された画像。以下同様。）に対し、ユーザの操作によって指定された位置（即ち、スピーカ装置３７から出力される音声の音量レベルの増大又は低減を所望する位置）を示す座標データを取得して信号処理部３３に出力する。
信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。
指向方向算出部３４ａは、ディスプレイ装置３６に表示された画像からユーザの位置の指定操作に応じて、全方位マイクアレイ装置２から指定位置に対応する音声位置に向かう指向方向を示す座標（θＭＡｈ，θＭＡｖ）を算出する。指向方向算出部３４の具体的な算出方法は、上述したように公知技術であるため、詳細な説明を省略する。
指向方向算出部３４ａは、カメラ装置Ｃ１１の設置位置から、音声位置までの距離、方向のデータを用いて、全方位マイクアレイ装置２の設置位置から音声位置に向かう指向方向座標（θＭＡｈ，θＭＡｖ）を算出する。例えばカメラ装置Ｃ１１の筐体を囲むように全方位マイクアレイ装置２の筐体とカメラ装置Ｃ１１とが一体的に取り付けられている場合には、カメラ装置Ｃ１１から音声位置までの方向（水平角，垂直角）を、全方位マイクアレイ装置２から音声位置までの指向方向座標（θＭＡｈ，θＭＡｖ）として用いることができる。
なお、カメラ装置Ｃ１１の筐体と全方位マイクアレイ装置２の筐体とが離れて取り付けられている場合には、指向方向算出部３４ａは、事前に算出されたキャリブレーションパラメータのデータと、カメラ装置Ｃ１１から音声位置までの方向（水平角，垂直角）のデータとを用いて、全方位マイクアレイ装置２から音声位置までの指向方向座標（θＭＡｈ，θＭＡｖ）を算出する。なお、キャリブレーションとは、指向性制御装置３の指向方向算出部３４ａが指向方向を示す座標（θＭＡｈ，θＭＡｖ）を算出するために必要となる所定のキャリブレーションパラメータを算出又は取得する動作であり、公知技術により予め行われているとする。
指向方向を示す座標（θＭＡｈ，θＭＡｖ）のうち、θＭＡｈは全方位マイクアレイ装置２から音声位置に向かう指向方向の水平角を表し、θＭＡｖは全方位マイクアレイ装置２から音声位置に向かう指向方向の垂直角を表す。なお、音声位置は、操作部３２がディスプレイ装置３６に表示された画像においてユーザの指又はスタイラスペンによって指定された指定位置に対応する実際の監視対象又は収音対象となる現場の位置である。
出力制御部３４ｃは、ディスプレイ装置３６及びスピーカ装置３７の動作を制御し、例えばユーザの操作に応じて、カメラ装置Ｃ１１から送信された画像データをディスプレイ装置３６に表示させ、全方位マイクアレイ装置２から送信されたパケットＰＫＴ（例えば音声データパケット）に含まれる音声データをスピーカ装置３７から出力させる。また、指向性形成部の一例としての出力制御部３４ｃは、全方位マイクアレイ装置２から、指向方向算出部３４ａにより算出された座標（θＭＡｈ，θＭＡｖ）が示す指向方向に、全方位マイクアレイ装置２により収音された音声データの指向性を形成するが、全方位マイクアレイ装置２に指向性を形成させても良い。
表示部の一例としてのディスプレイ装置３６は、例えばユーザの操作に応じて、出力制御部３４ｃの制御の下で、例えばカメラ装置Ｃ１１から送信された画像データを画面に表示する。
音声出力部の一例としてのスピーカ装置３７は、全方位マイクアレイ装置２から送信されたパケットＰＫＴに含まれる音声データ、又は指向方向算出部３４ａが算出した指向方向（θＭＡｈ，θＭＡｖ）に指向性が形成された音声データを出力する。なお、ディスプレイ装置３６及びスピーカ装置３７は、指向性制御装置３とは別々の構成としても良い。
記憶部の一例としてのメモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３の各部の動作時のワークメモリとして機能し、更に、指向性制御装置３の各部の動作時に必要なデータを記憶する。
音声記録部の一例としてのレコーダ装置４は、全方位マイクアレイ装置２から送信されたパケットＰＫＴに含まれる音声データと、例えばカメラ装置Ｃ１１から送信された画像データとを対応付けて記憶する。さらに、全方位マイクアレイ装置２から送信されたエラー通知パケットもログとして記録される。なお、図１に示す故障検知システム１０には複数のカメラ装置が含まれるため、レコーダ装置４は、各カメラ装置から送信された画像データと、全方位マイクアレイ装置２から送信されたパケットＰＫＴに含まれる音声データとを対応付けて記憶しても良い。
レコーダ装置４は、録音中（言い換えると、全方位マイクアレイ装置２から送信された音声データのパケットＰＫＴを記録している間）に、全方位マイクアレイ装置２からエラー通知パケットを音声データのパケットＰＫＴとは別個に受信した場合、又は故障中のマイク素子に関する情報が格納された音声データのパケットＰＫＴを受信した場合には、レコーダ装置４の筐体前面に設けられた照明部の一例としてのＬＥＤ（不図示）を点滅、又はレコーダ装置４の筐体前面に設けられた表示部の一例としてのＬＣＤ（不図示）に表示させる。これにより、レコーダ装置４は、故障中のマイク素子があることを操作者に対して視覚的に知らせることができる。
また、レコーダ装置４は、録音中（言い換えると、全方位マイクアレイ装置２から送信された音声データのパケットＰＫＴを記録している間）に、全方位マイクアレイ装置２からエラー回復パケットを音声データのパケットＰＫＴとは別個に受信した場合、又は復旧（回復）したマイク素子に関する情報が格納された音声データのパケットＰＫＴを受信した場合には、レコーダ装置４の筐体前面に設けられたＬＥＤ（不図示）の点滅、又はレコーダ装置４の筐体前面に設けられたＬＣＤ（不図示）の表示を停止させる。これにより、レコーダ装置４は、復旧（回復）したマイク素子があることを操作者に対して視覚的に知らせることができる。
図３は、全方位マイクアレイ装置２により収音された音声に対して方向θに指向性を形成する原理の一例の説明図である。図３では、例えば遅延和方式を用いた指向性形成処理の原理について簡単に説明するが、本実施形態では、図３に示す遅延和方式を用いた指向性形成処理が行われる場合に限定されず、例えば上述した非特許文献１に示す遅延差方式を用いた指向性形成処理が行われても良い。
図３において、音源８０から発した音波は、全方位マイクアレイ装置２のマイクロホンユニット２２，２３に内蔵される各マイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎに対し、ある一定の角度（入射角＝（９０−θ）［度］）で入射する。図３に示す入射角θは、全方位マイクアレイ装置２から音声位置に向かう収音方向の水平角θＭＡｈでも垂直角θＭＡｖでも良い。
音源８０は、例えば全方位マイクアレイ装置２が収音する方向に存在するカメラ装置の被写体であり、全方位マイクアレイ装置２の筐体２１の面上に対し、所定角度θの方向に存在する。また、各マイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎ間の間隔ｄは一定とする。
音源８０から発した音波は、最初にマイク素子２２１に到達（伝搬）して収音され、次にマイク素子２２２に到達して収音され、同様に次々に収音され、最後にマイク素子２２ｎに到達して収音される。
なお、全方位マイクアレイ装置２の各マイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎの位置から音源８０に向かう方向は、全方位マイクアレイ装置２の各マイク素子から、ユーザがディスプレイ装置３６の画面上に指定した指定位置に対応する音声位置に向かう方向と同じである。
ここで、音波がマイク素子２２１，２２２，２２３，…，２２（ｎ−１）に到達した時刻から最後に収音されたマイク素子２２ｎに到達した時刻までには、到達時間差τ１，τ２，τ３，…，τｎ−１が生じる。このため、各々のマイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎが収音した音声データがそのまま加算された場合には、位相がずれたまま加算されるため、音波の音量レベルが全体的に弱め合う。
なお、τ１は音波がマイク素子２２１に到達した時刻と音波がマイク素子２２ｎに到達した時刻との差分の時間であり、τ２は音波がマイク素子２２２に到達した時刻と音波がマイク素子２２ｎに到達した時刻との差分の時間であり、同様に、τｎ−１は音波がマイク素子２２（ｎ−１）に到達した時刻と音波がマイク素子２２ｎに到達した時刻との差分の時間である。
本実施形態の指向性形成処理では、マイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎ毎に対応して設けられるＡ／Ｄ変換器２４１，２４２，２４３，…，２４（ｎ−１），２４ｎにおいて、アナログの音声信号がデジタルの音声信号に変換される。更に、デジタルの音声信号は、マイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎ毎に対応して設けられる遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎにおいて所定の遅延時間が加算される。各遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎの出力は加算器３９において加算される。
なお、全方位マイクアレイ装置２において指向性形成処理が行われる場合には、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎは全方位マイクアレイ装置２に設けられ、指向性制御装置３において指向性形成処理が行われる場合には、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎは指向性制御装置３に設けられる。
更に、図３に示す指向性形成処理では、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎは、各々のマイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎにおける到達時間差に対応する遅延時間を付与して全ての音波の位相を揃えて同相化した後、加算器３９において遅延処理後の音声データが加算される。これにより、全方位マイクアレイ装置２又は指向性制御装置３は、各マイク素子２２１，２２２，２２３,…，２２（ｎ−１）,２２ｎにより収音された音声に対し、角度θの方向に指向性を形成することができる。
例えば図３では、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎにおいて付与される各遅延時間Ｄ１，Ｄ２，Ｄ３，…，Ｄ（ｎ−１），Ｄｎは、それぞれ到達時間差τ１，τ２，τ３，…，τ（ｎ−１）に相当し、数式（１）により示される。
Figure 0006210458
Ｌ１は、マイク素子２２１とマイク素子２２ｎとにおける音波到達距離の差である。Ｌ２は、マイク素子２２２とマイク素子２２ｎとにおける音波到達距離の差である。Ｌ３は、マイク素子２２３とマイク素子２２ｎとにおける音波到達距離の差であり、同様に、Ｌ（ｎ−１）は、マイク素子２２（ｎ−１）とマイク素子２２ｎとにおける音波到達距離の差である。Ｖｓは音波の音速である。この音速Ｖｓは全方位マイクアレイ装置２により算出されても良いし、指向性制御装置３により算出されても良い（後述参照）。Ｌ１,Ｌ２，Ｌ３，…，Ｌ（ｎ−１）は既知の値である。図３では、遅延器２５ｎに設定される遅延時間Ｄｎは０（ゼロ）である。
指向性形成処理では、各マイク素子により収音された音声の音声データに付与される遅延時間Ｄｉ（ｉ＝１〜ｎの整数、ｎは２以上の整数）は、数式（１）に示すように、音速Ｖｓに反比例する。
このように、全方位マイクアレイ装置２又は指向性制御装置３は、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎにおいて付与される遅延時間Ｄ１，Ｄ２，Ｄ３，…，Ｄｎ−１，Ｄｎを変更することで、マイクロホンユニット２２又はマイクロホンユニット２３に内蔵された各々のマイク素子２２１，２２２，２２３，…，２２（ｎ−１），２２ｎにより収音された音声の音声データの指向性を簡易かつ任意に形成することができる。
図４は、全方位マイクアレイ装置２の内部構成を示すブロック図である。図４に示す全方位マイクアレイ装置２は、複数（ｎ個、例えばｎ＝１６）のマイク素子２２ｉと、各マイク素子２２ｉの出力信号を増幅するｎ個の増幅器（アンプ）２８ｉと、各増幅器２８ｉから出力されるアナログ信号をデジタル信号に変換するｎ個のＡ／Ｄ変換器２４ｉと、符号化部２５と、検知部２９と、エラーパケット生成部２７と、送信部２６とを含む構成である。ここで、マイク素子２２ｉの添え字ｉは、マイク素子の番号であり、１〜ｎ（マイク素子の総数）であり、増幅器２８ｉ及びＡ／Ｄ変換器２４ｉについても同様である。
符号化部２５は、ｎ個のＡ／Ｄ変換器２４ｉから出力されたデジタルの音声信号（音声データ）を符号化する。故障判定部の一例としての検知部２９は、符号化部２５において符号化された音声データを用いて、マイク素子２２ｉ毎の故障検知を行う。
エラーパケット生成部２７は、いずれかのマイク素子が故障中であると検知部２９により判定された場合には、故障中のマイク素子に関する情報を含むエラー通知パケットを生成する。また、エラーパケット生成部２７は、例えば補修・点検等の工事によって、故障中であると判定されたマイク素子が回復（復旧）した場合（例えばマイク素子の音響特性が所望の特性となった場合）には、回復したマイク素子に関する情報を含むエラー回復パケットを生成する。上述したように、エラー通知パケット及びエラー回復パケットには、マイク素子を識別するための識別番号（マイクＩＤ）が付加される。
送信部２６は、符号化された音声データのパケットＰＫＴを生成し、指向性制御装置３または録音中のレコーダ装置４に送信する。また、送信部２６は、エラー通知パケット及びエラー回復パケットを指向性制御装置３または録音中のレコーダ装置４に送信する。なお、送信部２６は、音声データのパケットＰＫＴに、故障中又は回復済みのマイク素子に関する情報を付加してから指向性制御装置３または録音中のレコーダ装置４に送信しても良い。
図５は、信号処理部３３及びメモリ３８の内部構成を示すブロック図である。図５に示す信号処理部３３は、指向方向算出部３４ａと、出力制御部３４ｃと、ＦＦＴ部３３１と、例えば３個の故障検出部３４０，３５０，３６０と、指向性処理部３３５と、逆ＦＦＴ部３３６と、判定部３３７とを含む構成である。なお、図５では、説明を簡単にするために、指向方向算出部３４ａ及び出力制御部３４ｃの図示を省略している。
ＦＦＴ（Fast Fourier Transform）部３３１は、入力された時間軸信号に対してフーリエ変換を行い、音声データの時間軸信号を周波数軸信号に変換する。ＦＦＴ部３３１の出力は、３個の故障検出部３４０，３５０，３６０と、指向性処理部３３５とに入力される。
故障検出部３４０は、平滑部３４１、比較部３４２、平均算出部３４３及び結果保持部３４５を有する。なお、故障検出部３４０，３５０，３６０の構成は同様であるので、例えば故障検出部３４０を例示して説明することとし、３個の故障検出部３４０，３５０，３６０に共通する同一内容の説明は簡略化又は省略し、異なる内容について説明する。
故障検出部３４０には、ＦＦＴ部３３１の出力のうち、例えば２５０Ｈｚを中心とした所定範囲の周波数成分の信号が入力される。また、故障検出部３５０には、ＦＦＴ部３３１の出力のうち、例えば１ｋＨｚを中心とした所定範囲の周波数成分の信号が入力される。同様に、故障検出部３６０には、ＦＦＴ部３３１の出力のうち、例えば４ｋＨｚを中心とした所定範囲の周波数成分の信号が入力される。
平滑部３４１は、マイク素子２２ｉから出力される音声信号の１フレーム（例えば２５６個）のサンプリング結果を用いて音圧レベル（音響パワー）を算出して平滑化することで、音声信号の平均音響パワー（以下、単に「平均パワー」という）をマイク素子２２ｉ毎に得る。
平均算出部３４３は、全方位マイクアレイ装置２の全てのマイク素子のうち使用可能な（言い換えると、故障中ではない）全マイク素子の平均パワーを平滑化することで、音声信号の全平均音響パワー（以下、単に「全平均パワー」という）を算出する。
比較部３４２は、故障検知の検査対象となるマイク素子の平均パワーと、使用可能な全マイク素子の全平均パワーとの差分が所定の範囲（例えば±６ｄＢの範囲）内にあるか否かを判別する。結果保持部３４５は、比較部３４２からの出力（比較結果）を記憶する。
指向性処理部３３５は、出力制御部３４ｃの処理の一例として、マイク素子２２ｉで収音された音声データと、ディスプレイ装置３６の画面に表示された画像上の操作部３２からの指定位置に対応する音声位置に向かう指向方向を示す座標とを用いて、音声の指向性を形成する。なお、上述した説明では、指向性処理部３３５は、出力制御部３４ｃの一例として含まれる旨を説明したが、出力制御部３４ｃとは別の信号処理部３３内の処理部として構成されても良い。
逆ＦＦＴ（Inverse Fast Fourier Transform）部３３６は、出力制御部３４ｃの処理の一例として、指向性処理部３３５の出力（即ち、指向方向に音声の指向性が形成された音声の周波数軸信号）に対して逆フーリエ変換を行い、音声データの周波数軸信号を時間軸信号に変換してスピーカ装置３７に出力する。なお、逆ＦＦＴ部３３６も、指向性処理部３３５と同様に、出力制御部３４ｃの一例として含まれる旨を説明したが、出力制御部３４ｃとは別の信号処理部３３内の処理部として構成されても良い。
故障判定部の一例としての判定部３３７は、３個の故障検出部３４０，３５０，３６０の各結果保持部３４５，３５５，３６５に保持されている比較結果を基に、いずれかのマイク素子２２ｉが故障しているか否かを判定する。
メモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、使用可能マイク情報保持部３８１とログ情報保持部３８２とを含む構成である。使用可能マイク情報保持部３８１は、全方位マイクアレイ装置２の全てのマイク素子のうち、故障中ではない（言い換えると、使用可能な）マイク素子に関する情報を記憶する。なお、使用可能マイク情報保持部３８１は、使用可能なマイク素子の情報とともに、使用不可能なマイク素子の情報を記憶しても良い。
ログ情報保持部３８２は、判定部３３７によって故障中のマイク素子があると判定された結果を記憶する。
次に、本実施形態の故障検知システム１０の動作について、図面を参照して説明する。本実施形態では、全方位マイクアレイ装置２がマイク素子２２ｉの故障の有無を判定し、更に、指向性制御装置３もマイク素子２２ｉの故障の有無を判定する。先ず、全方位マイクアレイ装置２におけるマイク素子２２ｉの故障の有無の判定に関する動作について、図６（Ａ），（Ｂ）を参照して説明する。図６（Ａ）及び（Ｂ）は、全方位マイクアレイ装置２が行うエラー検知処理の方法を説明する図である。
図６（Ａ）に示すように、検知部２９は、マイク素子２２ｉの故障検知に用いる平均パワー及び全平均パワーを求める際、例えば１６チャンネル（１６個のマイク素子）の３２ｍｓｅｃ分の音声データを１６ｋＨｚのサンプリング周波数でサンプリングすることで、５１２個のサンプリングデータを取得する。検知部２９は、故障検知の検査対象のマイク素子２２ｉに対し、５１２個のサンプリングデータのうち、先頭２５６個のサンプリングデータを用いて、平滑化後の音圧レベルであるパワー（平均パワー）を算出する。
更に、検知部２９は、全方位マイクアレイ装置２のうち故障中でない（言い換えると、使用可能な）全てのマイク素子に対し、５１２個のサンプリングデータのうち、先頭の２５６個のサンプリングデータを用いて、平滑化後の音圧レベル（パワー）の平均値を算出し、全マイク素子（例えば１６個のマイク素子）の全平均パワーを算出する。このように、検知部２９は、所定の間隔（周期＝１／１６ｋＨｚ）で音声データをサンプリングし、多くのサンプリングデータを用いて、その平均パワーを算出するので、平均パワーの算出精度を高めることができる。
図６（Ｂ）に示すように、検知部２９は、マイク素子２２ｉの故障判定を行う際、約１秒間隔で、１６個のマイク素子の音声データのサンプリングを周期的に行い、サンプリングデータを用いて平滑化後の平均パワーを算出する。検知部２９は、このマイク素子の平均パワーと全平均パワーとの差分が所定の範囲内（±６ｄＢの範囲）にある場合には正常（図６（Ｂ）に示す「○」で表す）であると判定し、所定の範囲を超える場合にはエラー（図６（Ｂ）に示す「×」で表す）であると判定する。また、検知部２９は、例えば比較結果として５回連続してエラーであると判定した場合には、そのマイク素子は故障中であると判定する。また、検知部２９は、連続５回の途中で１回でも正常であると判定した場合には、正常であると判定した時までのエラー回数を０回にクリアし、そのマイク素子を正常であると判定する。また、検知部２９は、一旦マイク素子が故障中と判定した後でも、例えば比較結果として５回連続して正常であると判定した場合には、そのマイク素子は回復（復旧）して正常であると判定する。
図７は、全方位マイクアレイ装置２におけるエラー検知処理の動作手順を説明するフローチャートである。図７において、変数ｐは連続ＮＧ数（連続エラー数）を示し、変数ｍは連続ＯＫ数（連続正常数）を示す。また、図７に示すエラー検知処理は、マイク素子毎に行われ、例えば全マイク素子数が１６個である場合、計１６回実行されると、全マイク素子のエラー検知処理が完了する。
先ず、検知部２９は、連続ＮＧ数ｐ及び連続ＯＫ数ｍを値０に設定する（Ｓ１）。検知部２９は、符号化部２５で符号化された音声データをサンプリングする（Ｓ２）。このサンプリングでは、例えば１秒間隔で３２ｍｓｅｃの音声データの先頭２５６個のサンプリングデータが抽出される。
検知部２９は、２５６個のサンプリングデータから平均パワーを算出する（Ｓ３）。更に、検知部２９は、全チャンネル（即ち、全マイク素子）の平均パワー（全平均パワー）を算出する（Ｓ４）。例えば、検知部２９は、個々のマイク素子の平均パワーを算出した後に全平均パワーを記憶し、最新の全マイク素子の平均パワーを平均化することで算出しても良いし、全マイク素子の２５６個のサンプリングデータを加算した後に、加算後のサンプリングデータを平均化することで算出しても良い。検知部２９は、算出した全平均パワーをメモリ（不図示）に記憶しておく。
検知部２９は、メモリに記憶された全平均パワーを読み込み（Ｓ５）、ステップＳ３で算出された平均パワーと全平均パワーを比較する（Ｓ６）。
検知部２９は、平均パワーと全平均パワーの差分が所定のレベル差であるか、つまり所定の範囲を超えるか（ここでは、一例として、±６ｄＢを超えるか）否かを判別する（Ｓ７）。レベル差が無く、所定の範囲を超えない場合、つまり、±６ｄＢ以内で正常である場合には（Ｓ７、ＮＯ）、検知部２９は、エラー通知済みであるか否かを判別する（Ｓ８）。エラーを通知していない場合（Ｓ８、ＮＯ）、検知部２９の処理は、ステップＳ２に戻る。
一方、ステップＳ８でエラー通知済みである場合（Ｓ８、ＹＥＳ）、検知部２９は、連続ＯＫ数ｍの値を１つ増加させる（Ｓ９）。検知部２９は、連続ＯＫ数ｍの値が５になったか否かを判別する（Ｓ１０）。ｍの値が５未満である場合（Ｓ１０、ＮＯ）、検知部２９の処理はステップＳ２に戻る。一方、ｍの値が５である場合（Ｓ１０、ＹＥＳ）、エラーパケット生成部２７は、エラー回復パケットを生成する（Ｓ１１）。ステップＳ１１の処理が生じる一例としては、故障していたマイク素子が所定の作業員によって交換或いは修理によって正常なマイク素子に復旧したこと等が挙げられる。
送信部２６は、エラーパケット生成部２７によって生成されたエラー回復パケットを指向性制御装置３または録音中のレコーダ装置４に送信する（Ｓ１２）。検知部２９は、連続ＯＫ数ｍの値を０にクリアする（Ｓ１３）。ステップＳ１３の後、検知部２９の処理はステップＳ２に戻る。
一方、ステップＳ７で、平均パワーと全平均パワーの差が所定の範囲を超える場合（Ｓ７、ＹＥＳ）、検知部２９は、連続ＮＧ数ｐの値を１つ増加させる（Ｓ１４）。検知部２９は、連続ＮＧ数の値が５になったか否かを判別する（Ｓ１５）。ｐの値が５でない場合（Ｓ１５、ＮＯ）、検知部２９の処理はステップＳ２に戻る。一方、ｐの値が５である場合（Ｓ１５、ＹＥＳ）、エラーパケット生成部２７は、エラー通知パケットを生成する（Ｓ１６）。エラー通知パケットには、警報（アラーム）通知が含まれる。
送信部２６は、エラーパケット生成部２７によって生成されたエラー通知パケットを指向性制御装置３または録音中のレコーダ装置４に送信する（Ｓ１７）。検知部２９は、連続ＮＧ数ｐの値を０にクリアし（Ｓ１８）。ステップＳ１８の後、検知部２９の処理はステップＳ２に戻る。
このように、全方位マイクアレイ装置２は、例えば約１秒間隔で、各チャンネル（１マイク素子）の３２ｍｓｅｃの音声データの先頭２５６個のサンプリングデータから平均パワーを算出し、全チャンネル（ここでは１６個のマイク素子）の平均値と比較して、±６ｄＢの範囲を超える状態が連続５回続くと、比較に用いたマイク素子は故障中であると判定し、エラー通知パケットを送信する。全方位マイクアレイ装置２は、連続５回継続した場合にマイク素子を故障中と判定することで、例えば一時的に発生する収音時のエラーを除くことができ、収音素子の故障の有無の判定精度を改善することができる。また、エラー通知パケットが送信されるので、指向性制御装置３は、故障データパケットによって故障中の収音素子を簡易に特定することができる。またレコーダ装置４は、エラー通知パケット又はエラー回復パケットによって、マイク素子の故障又は回復のログを記録するとともに、ユーザに対し、レコーダ装置４に設けられたＬＥＤ（不図示）の点滅や、レコーダ装置４に設けられたＬＣＤ（不図示）への情報表示によって、マイク素子の故障や回復（復旧）を知らせることが出来る。
また、エラーと判定されたマイク素子でも、５回連続で平均パワーが±６ｄＢ以内になっている場合、全方位マイクアレイ装置２は、このマイク素子は交換又は修理されたこと等により復旧したと判定し、エラー回復パケットを送信する。これにより、全方位マイクアレイ装置２は、マイク素子の回復を簡易に判定することができる。
次に、指向性制御装置３の動作を示す。図８は、指向性制御装置３における指向性形成動作及びエラー検出処理の動作手順を説明するフローチャートである。図８において、信号処理部３３は、通信部３１を介して、全方位マイクアレイ装置２またはレコーダ装置４から送信されたパケットＰＫＴを受信する（Ｓ２１）。信号処理部３３は、パケットＰＫＴに警報（アラーム）の通知が含まれているか否かを判別する（Ｓ２２）。アラーム通知が含まれていない場合（Ｓ２２、ＮＯ）、信号処理部３３内の故障検出部３４０，３５０，３６０は、音声信号のエラー検出処理を行う（Ｓ２３）。このエラー検出処理の詳細については、図１０及び図１１を参照して後述する。
信号処理部３３内の判定部３３７は、故障検出部３４０，３５０，３６０によってマイク素子の故障が検出されたか否かを判別する（Ｓ２４）。故障が検出されていない場合（Ｓ２４、ＮＯ）、信号処理部３３内の指向性処理部３３５は、使用可能マイク情報保持部３８１に記憶されている使用可能なマイク素子の情報を読み込む（Ｓ２５）。
指向性処理部３３５は、故障しているマイク素子を使用せず、つまり、ＦＦＴ部３３１で高速フーリエ変換された音声データの周波数軸信号のうち、故障しているマイク素子の音声データを用いることなく、正常なマイク素子の音声データを用いて、全方位マイクアレイ装置２から、操作部３２の操作によって指向方向算出部３４ａにより算出された指向方向に対し、音声データの指向性を形成する（Ｓ２６）。このように、指向性制御装置３は、故障しているマイク素子を除外して使用しないようにすることで、特定の方向に音声の指向性を形成することができるので、特定の方向への音声の指向性形成精度の劣化を抑制することができる。
逆ＦＦＴ部３３６は、指向性が形成された音声データの周波数軸信号に対して逆フーリエ変換を行い、音声データの時間軸信号を出力する。これにより、スピーカ装置３７から音声が出力される（Ｓ２７）。これにより、信号処理部３３の動作は終了する。
一方、ステップＳ２４で、判定部３３７は、マイク素子の故障が検出された場合（Ｓ２４、ＹＥＳ）、ディスプレイ装置３６に対し、エラー通知を出力する（Ｓ３０）。このエラー通知には、マイク素子を識別するための識別番号が付加される。また、判定部３３７は、メモリ３８内のログ情報保持部３８２にエラーログを記録（保存）する（Ｓ３１）。更に、判定部３３７は、使用可能マイク情報保持部３８１に記憶されている使用可能なマイク素子の情報を更新する（Ｓ３２）。この後、信号処理部３３の処理はステップＳ２５に進む。
また、ステップＳ２２で、信号処理部３３は、全方位マイクアレイ装置２から受信したパケットに警報（アラーム）通知が含まれている場合（Ｓ２２、ＹＥＳ）、信号処理部３３は、ディスプレイ装置３６に対し、エラー通知を出力する（Ｓ２８）。このエラー通知には、マイク素子を識別するための識別番号が付加される。このエラー通知により、後述するように、ディスプレイ装置３６の画面には、パトランプのアイコン４１（図１２（Ｂ）参照）が表示される。また、信号処理部３３は、メモリ３８内のログ情報保持部３８２にエラーログを記録（保存）する（Ｓ２９）。この後、信号処理部３３の処理はステップＳ２１に戻る。
図９（Ａ）及び（Ｂ）は、指向性制御装置３におけるエラー検出処理の方法を説明する図である。指向性制御装置３側で、３つの特定周波数（例えば２５０Ｈｚ、１ｋＨｚ、４ｋＨｚ）でマイク素子の故障の有無の判定処理が行われる。故障検出部３４０，３５０，３６０は、それぞれ２５０Ｈｚ，１ｋＨｚ，４ｋＨｚの音声データを用いて、マイク素子の故障の有無の判定処理を行い、判定処理の対象となる周波数の違いを除けば、故障検出部３４０，３５０，３６０における故障判定の動作は同様である。
図９（Ａ）に示すように、故障検出部３４０は、図６（Ａ）と同様の方法で、２５０Ｈｚの先頭２５６個のサンプリングデータを用い、各々のマイク素子の平均パワーを算出する。更に、故障検出部３４０は、各々のマイク素子の平均パワーを平均した全平均パワーを算出する。故障検出部３４０は、各々のマイク素子の平均パワーと全平均パワーとの差分が所定の範囲（±６ｄＢの範囲）内にある場合には正常（図９（Ｂ）に示す「○」で表す）であると判定し、所定の範囲を超える場合にはエラー（図９（Ｂ）に示す「×」で表す）であると判定する。
同様に、故障検出部３５０は、１ｋＨｚの先頭２５６個のサンプリングデータを用いて、各々のマイク素子の平均パワー及び全平均パワーを算出し、同様にして平均パワーと全平均パワーとの差分と所定の範囲（±６ｄＢの範囲）とを比較する。また同様に、故障検出部３６０は、４ｋＨｚの先頭２５６個のサンプリングデータを用いて、各々のマイク素子の平均パワー及び全平均パワーを算出し、同様にして平均パワーと全平均パワーとの差分と所定の範囲（±６ｄＢの範囲）とを比較する。
図９（Ｂ）に示すように、故障検出部３４０は、所定の期間（一例として約１２．５秒）間隔で故障の有無の判定処理を行う。故障検出部３４０は、故障検知の検査対象のマイク素子の音声のサンプリングデータ（２５０Ｈｚ）を用いて、その平均パワーと全平均パワーとの差分と所定の範囲（±６ｄＢの範囲）とを比較する。故障検出部３４０は、平均パワーと全平均パワーとの差分が所定の範囲内（±６ｄＢの範囲）にある場合には正常（図９（Ｂ）に示す「○」で表す）であると判定し、一方、所定の範囲を超える場合にはエラー（図９（Ｂ）に示す「×」で表す）であると判定する。故障検出部３４０は、この比較を、約１２．５秒の期間毎に繰り返す。故障検出部３４０は、約１２．５秒の期間内で、エラーの数が全体の割合で８０％以上を示している場合には、マイク素子が故障中であると判定する。また、次の約１２．５秒の期間では、故障検出部３４０は、次のマイク素子を検査対象として同様の動作を行う。
また、故障検出部３５０は、検査対象のマイク素子の音声のサンプリングデータ（１ｋＨｚ）を用いて、その平均パワーと全平均パワーとの差分と所定の範囲（±６ｄＢの範囲）とを比較し、同様の動作を行う。更に、故障検出部３６０は、検査対象のマイク素子の音声のサンプリングデータ（４ｋＨｚ）を用いて、その平均パワーと全平均パワーとの差分と所定の範囲（±６ｄＢの範囲）とを比較し、同様の動作を行う。
図１０は、図８に示すステップＳ２３における音声信号のエラー検出処理手順を説明するフローチャートである。図１１は、図１０に続くステップＳ２３における音声信号のエラー検出処理の動作手順を説明するフローチャートである。
図１０において、まず各結果保持部３４５，３５５，３６５の内容をクリアする（Ｓ４１−Ｂ）。次に、信号処理部３３は、通信部３１を介して全方位マイクアレイ装置２から入力される音声データをサンプリングする（Ｓ４１）。ＦＦＴ部３３１は、音声データを高速フーリエ変換の処理を行い、音声データの周波数軸信号を前述した２５０Ｈｚ、１ｋＨｚ、４ｋＨｚの３つの特定周波数に分割する（Ｓ４２）。なお、この３つの周波数は一例であり、可聴範囲内を問わず、他の周波数であってもよい。
２５０Ｈｚの音声データの場合、故障検出部３４０内の平滑部３４１は、各々のマイク素子のパワー（音圧レベル）を平滑化し、平均パワーを算出する（Ｓ４３）。更に、平均算出部３４３は、検査対象のマイク素子を含む使用可能な（言い換えると故障中ではない）全てのマイク素子のパワーを平均して全平均パワーを算出する（Ｓ４４）。
比較部３４２は、平均算出部３４３で算出された全平均パワーを読み込み（Ｓ４５）、検査対象のマイク素子の平均パワーと比較する（Ｓ４６）。比較部３４２は、この比較結果を結果保持部３４５に記憶する（Ｓ４７）。この後、信号処理部３３の処理はステップＳ５８に進む。
また、１ｋＨｚの音声データの場合、故障検出部３５０内の平滑部３５１は、各々のマイク素子のパワー（音圧レベル）を平滑化し、平均パワーを算出する（Ｓ４８）。更に、平均算出部３５３は、検査対象のマイク素子を含む使用可能な（言い換えると故障中ではない）全てのマイク素子のパワーを平均して全平均パワーを算出する（Ｓ４９）。
比較部３５２は、平均算出部３４３で算出された全平均パワーを読み込み（Ｓ５０）、検査対象のマイク素子の平均パワーと比較する（Ｓ５１）。比較部３５２は、この比較結果を結果保持部３５５に記憶する（Ｓ５２）。この後、信号処理部３３の処理はステップＳ５８に進む。
また、４ｋＨｚの音声データの場合、故障検出部３６０内の平滑部３６１は、各々のマイク素子のパワー（音圧レベル）を平滑化し、平均パワーを算出する（Ｓ５３）。更に、平均算出部３６３は、検査対象のマイク素子を含む使用可能な（言い換えると故障中ではない）全てのマイク素子のパワーを平均して全平均パワーを算出する（Ｓ５４）。
比較部３６２は、平均算出部３６３で算出された全平均パワーを読み込み（Ｓ５５）、検査対象のマイク素子の平均パワーと比較する（Ｓ５６）。比較部３６２は、この比較結果を結果保持部３６５に記憶する（Ｓ５７）。この後、信号処理部３３の処理はステップＳ５８に進む。
信号処理部３３は、一定の期間（例えば約１２．５秒）分の比較結果が記憶（保存）されたか否かを判別する（Ｓ５８）。一定の期間分の比較結果が保存されていない場合（Ｓ５８、ＮＯ）、信号処理部３３の処理はステップＳ４１に戻る。一方、一定の期間分の比較結果が保存された場合（Ｓ５８、ＹＥＳ）、判定部３３７は、一定の期間における比較の結果として、エラーと判定された数が所定の割合（一例として８０％）を超えているか否かを判別する（Ｓ５９）。
例えば所定の割合（例えば８０％とする。以下同様。）を超えている場合（Ｓ５９、ＹＥＳ）、判定部３３７は、このマイク素子が故障中であるとの判定を確定する（Ｓ６１）。ここでは、判定部３３７は、例えば２５０Ｈｚ、１ｋＨｚ、４ｋＨｚのいずれかの周波数帯域において、エラーと判定された数が所定の割合（８０％）を超えている場合にはマイク素子が故障中であるとの判定を確定するが、全ての周波数帯域において８０％を超えている場合にマイク素子が故障中であるとの判定を確定しても良い。
一方、所定の割合（８０％）以下である場合（Ｓ５９、ＮＯ）、判定部３３７は、このマイク素子は正常であると判定する。ステップＳ５９またはＳ６１の後、信号処理部３３の処理はステップＳ２４に進む。
図１２（Ａ）は、ディスプレイ装置３６の画面を示す図である。ディスプレイ装置３６の画面には、プルダウンメニューの一覧３６Ａ、各種操作ボタン３６Ｂ、詳細情報提示欄３６Ｃ等が表示される。
プルダウンメニューの一覧３６Ａでは、機器ツリー、グループ、シーケンス、簡単再生、検索、ダウンロード、アラームログ、機器障害ログ等のメニューがプルダウン形式で展開する。各種操作ボタン３６Ｂには、ズーム、フォーカス、明るさ、プリセット等の操作ボタンが含まれる。詳細情報提示欄３６Ｃには、選択された情報の詳細が表示される。
図１２（Ｂ）は、ディスプレイ装置３６の画面に表示されるパトランプのアイコン４１を示す図である。指向性制御装置３の通信部３１が全方位マイクアレイ装置２からエラー通知パケットを受信し、信号処理部３３が前述したステップＳ２８でエラー通知を行うと、出力制御部３４ｃは、ディスプレイ装置３６において、画面の右上隅にパトランプのアイコン４１を赤色で点滅表示させる。操作者（ユーザのこと。以下同様。）は、画面の右上隅に、赤色で点滅表示されたパトランプのアイコン４１を見ることで、マイク素子に故障が発生したことを知ることができる。
その後、指向性制御装置３の通信部３１が全方位マイクアレイ装置２からエラー復旧パケットを受信すると、出力制御部３４ｃは、ディスプレイ装置３６において、赤色で点滅表示していたパトランプのアイコン４１を緑色の点滅表示に変更する。操作者がパトランプのアイコン４１をクリックすると、パトランプのアイコン４１の表示が消える。
図１３（Ａ）は、ディスプレイ装置３６の画面を示す図である。図１３（Ｂ）は、ディスプレイ装置３６の画面に表示されるポップアップウインドウ３６Ｄを示す図である。指向性制御装置３がエラー検出を行い、信号処理部３３が前述したステップＳ３０でエラー通知を行うと、出力制御部３４ｃは、ディスプレイ装置３６の画面の右下隅に、イベント発生を知らせるポップアップウインドウ３６Ｄを表示させる。このポップアップウインドウ３６Ｄには、例えば「マイクＮｏ．３に異常があります ２０１４／０４／０１ １３：４５」のメッセージが表示される。そして、操作者は、画面の右下隅に表示されたポップアップウインドウを見ることで、マイク素子に故障が発生したことを知ることができる。
また、ディスプレイ装置３６の画面に、パトランプのアイコン４１の表示或いはポップアップウインドウ３６Ｄの表示があった場合や、レコーダ装置４のデータを再生する時にエラー通知パケットの受信に基づいて記録されたログが有った場合に、操作者はディスプレイ装置３６の画面にマイク素子の故障に関するログ（図１４（Ａ）に示す機能障害ログ参照）を表示させることが可能である。図１４（Ａ）は、ディスプレイ装置３６の画面においてログ表示を行わせる操作を示す図である。
操作者がプルダウンメニューの一覧３６Ａに含まれる機器障害ログ３６ｅをクリックして選択すると、出力制御部３４ｃが機器障害ログ３６ｅを展開して表示させることで、機器障害ログの一覧３６ｆが表示される。
図１４（Ｂ）は、ログ表示が行われたディスプレイ装置３６の画面の一部を示す図である。機器障害ログとして、日時、内容、機器名が、例えば「２０１４／０４／０１ １２：２５ ＭＩＣ１ ＥＣＭ」と表示される。操作者は、ログを見ることで、マイク素子の故障を知ることができる。
なお、機器障害ログは、プルダウンメニューの一覧３６Ａに展開される代わりに、別画面で表示されてもよい。また、操作者への通知方法として、出力制御部３４ｃは、ディスプレイ装置３６に表示するだけでなく、スピーカ装置３７から警報音を出力しても良いし、予め登録されたメールアドレスに自動的に電子メールを送信するようにしても良い。
以上により、本実施形態の故障検知システム１０では、全方位マイクアレイ装置２は、簡易に（例えば１秒毎に１６ｍｓｅｃの平均音響パワーと比較して）マイク素子２２ｉの故障の有無を検知することができ、更に、故障中のマイク素子に関する情報を含むエラー通知パケット、或いは故障が復旧したマイク素子に関する情報を含むエラー回復パケットを指向性制御装置３に送信する。指向性制御装置３は、エラー通知パケット或いはエラー回復パケットに対応した表示を行う。操作者は、パトランプが点滅表示することで、或いはログを確認することで、マイク素子２２ｉの故障を簡易に知ることができる。
また、指向性制御装置３は、全方位マイクアレイ装置２の故障検知結果によることなく、２５０Ｈｚ、１ｋＨｚ、４ｋＨｚの平均パワーから故障検知を常時行う。これにより、指向性制御装置３は、特定の周波数に依存してエラーが生じるようなマイク素子の故障検知が可能となる。従って、指向性制御装置３は、特定の周波数で故障の有無を監視することで、マイク素子の周波数特性の変化も監視でき、精度の高い故障検出が可能である。
また、例えば、１２．５秒の間にいずれかの周波数帯域でエラー（異常）が８０％以上ある場合、指向性制御装置３は、マイク素子２２ｉが故障と判定する。このように、エラーの発生頻度が高い場合にマイク素子が故障していると判定することで、故障判定の精度を高めることができる。また、割合は８０％以外の値に変更可能に設定されてもよく、状況に合わせた故障判定が可能となる。なお、ここでは、復帰判定は行われない。操作者は、ポップアップウインドウが表示されることで、或いはログを確認することでマイクロホン素子２２ｉの故障を知ることができる。
これにより、指向性制御装置３は、全方位マイクアレイ装置に搭載される各マイク素子の特性を監視し、マイク素子に異常が生じても、所定の方向に形成される指向性の特性の劣化を抑制することができる。
なお、全方位マイクアレイ装置２で簡易なマイク素子の故障検知が行われ、故障が検知された場合に限って、指向性制御装置３が高精度なマイク素子の故障検出を行うようにしても良く、連携した故障検知を行うことで、効率的な故障検知システムを実現させることも可能である。
（第２の実施形態）
第１の実施形態では、全方位マイクアレイ装置２は、音声データのパケットとは別に、エラー通知パケット或いはエラー回復パケットを送信していた。第２の実施形態では、全方位マイクアレイ装置２Ｇは、音声データのパケットＰＫＴ（音声データパケット）のヘッダＨＤにマイク故障データを付加して送信する例を説明する。また、第２の実施形態では、第１の実施形態とは異なり、指向性制御装置３は個々のマイク素子の故障の有無の検出処理の実行を省略する。
また、第２の実施形態の故障検知システムの構成は第１の実施形態とほぼ同一の構成を有するので、第１の実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。
図１５（Ａ）は、第２の実施形態における全方位マイクアレイ装置２Ｇの内部構成を示すブロック図である。全方位マイクアレイ装置２Ｇは、第１の実施形態に示す全方位マイクアレイ装置２と比べて、エラーパケット生成部２７が省略され、検知部２９Ａの出力先が異なる点を除き、同様である。検知部２９Ａは、マイク素子が故障中であると判定すると、故障中のマイク素子に関する情報の通知を符号化部２５に出力する。
符号化部２５は、故障中のマイク素子に関する情報の通知を受けると、音声データのパケットＰＫＴのヘッダＨＤに、故障中のマイク素子に関する情報をマイク故障データとして格納する。図１５（Ｂ）は、全方位マイクアレイ装置２Ｇから送信される音声パケットＰＫＴの構造を示す図である。送信部２６は、音声データＶＤを含んだパケットＰＫＴを指向性制御装置３またはレコーダ装置４に送信する。
図１６は、指向性制御装置３が行う指向性形成動作及びエラー検知処理の動作手順を説明するフローチャートである。図１６の説明では、図８に示す第１の実施形態と同一のステップ処理については同一のステップ番号を付すことによりその説明を省略する。指向性制御装置３は、第１の実施形態と同様の構成を有するが、前述したように、第２の実施形態では、音声信号のエラー検出処理の実行を省略する。
図１６において、指向性制御装置３の信号処理部３３は、通信部３１を介して、全方位マイクアレイ装置２Ｇまたはレコーダ装置４から音声データのパケットを取得する（Ｓ２１Ａ）。信号処理部３３内の判定部３３７は、音声データのパケットにマイク故障データがあるか否かを判定する（Ｓ２４Ａ）。マイク故障データがある場合（Ｓ２４Ａ、ＹＥＳ）、判定部３３７の処理はステップＳ３０に進み、ステップＳ３０，Ｓ３１，Ｓ３２において図８に示す第１の実施形態と同様の処理を行う。一方、ステップＳ２４Ａでマイク故障データが無い場合（Ｓ２４Ａ、ＮＯ）、判定部３３７の処理はステップＳ２５に進み、ステップＳ２５，Ｓ２６，Ｓ２７において第１の実施形態と同様の処理を行う
以上により、本実施形態の故障検知システム１０では、全方位マイクアレイ装置２Ｇだけがマイク素子の故障判定を行っているので、簡易にマイク素子の故障の有無の判定処理を行うことができる。
また、故障検知システム１０は、故障中のマイク素子に関する情報（故障データ）が音声データＶＤのパケットＰＫＴに付加されるので、例えば操作者の操作部３２への入力操作によって、録音された音声データを再生する際に、全方位マイクアレイ装置２Ｇまたはレコーダ装置４から送信された音声データＶＤのパケットＰＫＴのエラー通知ログを詳細に解析する処理を省略することができ、故障中のマイクを簡易に特定することができる。また、故障検知システム１０は、ユーザの操作によって、レコーダ装置４から録音された音声データをどこの時点からから再生処理させても、レコーダ装置４に記録されたログの解析を行う必要がなくマイク素子の故障の有無を簡易に把握でき、使用可能な収音素子を用いて指向性を形成することができる。
（第３の実施形態）
第１の実施形態では、全方位マイクアレイ装置２がマイク素子２２ｉの故障検知を行っていた。第３の実施形態では、全方位マイクアレイ装置２は音声データのパケットを送信するだけでマイク素子の故障の有無の検知処理を行わず、指向性制御装置３がマイク素子の故障の有無の検出処理を行う例を説明する。
第３の実施形態の故障検知システムは、第１の実施形態とほぼ同一の構成を有するので、第１の実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。
図１７は、第３の実施形態における指向性制御装置３が行う指向性形成動作及びエラー検知処理の動作手順を説明するフローチャートである。図１７の説明では、第１の実施形態（図８参照）及び第２の実施形態（図１６参照）と同一のステップ処理については同一のステップ番号を付すことによりその説明を省略する。
図１７において、指向性制御装置３の信号処理部３３は、全方位マイクアレイ装置２から音声データのパケットを取得する（Ｓ２１Ｂ）。信号処理部３３内の故障検出部３４０，３５０，３６０は、音声信号のエラー検出処理を行う（Ｓ２３）。このエラー検出処理は、前述した図１０及び図１１に示す通りであるため、説明を省略する。
信号処理部３３内の判定部３３７は、ステップＳ２４で、故障検出部３４０，３５０，３６０によってマイク素子の故障の有無が検出されたか否かを判別する。この後、ステップＳ２５〜Ｓ２７の処理、及びステップＳ３０〜Ｓ３２の処理は図８に示す同一のステップ番号の処理の内容と同一であるため、説明を省略する。
以上により、本実施形態の故障検知システム１０では、全方位マイクアレイ装置２は、マイク素子２２ｉの故障の有無の検知処理の実行を省略するので、全方位マイクアレイ装置２の構成を第１の実施形態の全方位マイクアレイ装置２に比べて簡易化することができ、更に、全方位マイクアレイ装置２の処理の負荷を軽減することができる。
最後に、本発明に係る故障検知システム及び故障検知方法の構成、作用、効果について説明する。
本発明の一実施形態は、複数の収音素子を含む収音部と、音源から各々の前記収音素子に伝搬された音声の平均パワーを前記収音素子毎に算出する第１算出部と、前記収音部に含まれる使用可能な複数の前記収音素子に伝搬された音声の全平均パワーを算出する第２算出部と、前記収音素子毎の平均パワーと前記全平均パワーとの差分が所定の範囲を超えるか否かの比較結果を基に、使用不可な故障中の前記収音素子があるか否かを判定する故障判定部と、を備える、故障検知システムである。
この構成では、第１算出部は、音源から各々の収音素子に伝搬された音声の平均パワーを収音素子毎に算出する。第２算出部は、収音部に含まれる使用可能な複数の収音素子に伝搬された音声の全平均パワーを算出する。故障判定部は、収音素子毎の平均パワーと全平均パワーとの差分が所定の範囲を超えるか否かの比較結果を基に、使用不可な故障中の収音素子があるか否かを判定する。
これにより、故障検知システムは、実際の使用中であっても、収音部に含まれる各収音素子の音響的な特性（例えば音響パワーとしての収音素子の個別の音響パワーの平均値、使用可能な複数の収音素子の全音響パワーの平均値）を監視するので、収音素子毎に、個別の平均パワーと全平均パワーとの差分と所定の範囲との比較結果によって故障中の収音素子を特定することができる。従って、故障検知システムは、実際の使用中であっても、収音部に含まれる各収音素子に異常が生じた場合でも、所定の方向への音声の指向性形成精度の劣化を抑制することができる。
また、本発明の一実施形態は、前記故障判定部により故障中と判定された収音素子を除く使用可能な複数の前記収音素子により収音された音声と、前記音源から各々の使用可能な複数の前記収音素子に伝搬された音声の遅延時間とを用いて、特定の方向に音声の指向性を形成する指向性形成部、を更に備える、故障検知システムである。
この構成によれば、故障検知システムは、実際の使用中に故障中の収音素子を除く使用可能な複数の収音素子により収音された音声と、音源から各々の使用可能な複数の収音素子に伝搬された音声の遅延時間とを用いて、特定の方向に音声の指向性を形成することができるので、特定の方向への音声の指向性形成精度の劣化を抑制することができる。
また、本発明の一実施形態は、前記故障判定部は、前記差分が前記所定の範囲を連続して複数回にわたって超える場合に、前記所定の範囲との比較に用いた前記収音素子が故障中であると判定する、故障検知システムである。
この構成によれば、故障検知システムは、収音素子毎の個別の平均パワーと全平均パターとの差分が所定の範囲を連続して複数回にわたって超える場合に、比較に用いた収音素子を故障中と判定することで、例えば一時的に発生する収音時のエラーを除くことができ、収音素子の故障の有無の判定精度を改善することができる。
また、本発明の一実施形態は、前記故障判定部は、少なくとも１つの特定周波数において、前記差分が前記所定の範囲を連続して複数回にわたって超える場合に、前記所定の範囲との比較に用いた前記収音素子が故障中であると判定する、故障検知システムである。
この構成によれば、故障検知システムは、少なくとも１つの特定周波数において、収音素子毎の個別の平均パワーと全平均パターとの差分が所定の範囲を連続して複数回にわたって超える場合に、比較に用いた収音素子を故障中と判定することで、特定周波数に依存して収音時のエラーが生じるような収音素子の故障を検知することができる。従って、故障検知システムは、少なくとも１つの特定周波数において収音素子の故障の有無を監視することで、収音素子の周波数特性の変化も監視することができ、精度の高い故障検出を行うことができる。
また、本発明の一実施形態は、前記故障判定部は、所定の期間において前記差分が前記所定の範囲を超える割合が所定の閾値以上である場合に、前記所定の閾値との比較に用いた前記収音素子が故障中であると判定する、故障検知システムである。
この構成によれば、故障検知システムは、所定の期間において収音素子毎の個別の平均パワーと全平均パターとの差分が所定の範囲を連続して複数回にわたって超える割合が所定の閾値以上である場合に、所定の閾値との比較に用いた収音素子を故障中と判定することで、収音時のエラーの発生頻度が高い場合に収音素子が故障していると判定することで、故障の有無の判定精度を改善することができる。また、所定の閾値は変更可能に設定されても良いので、故障検知システムは、故障検知システムが設置された周囲の状況に合わせて柔軟に収音素子の故障の有無の判定を行うことができる。
また、本発明の一実施形態は、前記第１算出部は、所定の時間間隔毎に前記収音素子により収音された音声をサンプリングして、前記収音素子により収音された音声の平均パワーを前記収音素子毎に算出する、故障検知システムである。
この構成によれば、故障検知システムは、所定の時間間隔毎に収音素子により収音された音声のデータをサンプリングして音声の平均パワーを収音素子毎に算出するので、多くのサンプリングデータを用いれば用いる程、収音素子毎の音声の平均パワーの信頼性を向上することができる。
また、本発明の一実施形態は、前記第１算出部、前記第２算出部及び前記故障判定部は、前記収音部に含まれ、前記収音部は、故障中の前記収音素子があると判定された場合に、故障中の前記収音素子に関する故障データを、故障中の前記収音素子を除く各収音素子により収音された音声を含む音声データパケットに付加して前記指向性形成部又は前記レコーダ装置に送信する、故障検知システムである。
この構成によれば、故障検知システムは、故障中の収音素子に関する故障データが音声データパケットに付加されるので、例えば録音された音声データを再生する際に、収音部から送信された音声データパケットのエラー通知ログを詳細に解析する処理を省略することができ、故障中の収音素子を簡易に特定することができる。また、故障検知システムは、ユーザの操作によって、録音された音声データをどこの時点からから再生処理させても、レコーダ装置のログの解析を行うことなく、収音素子の故障の有無を簡易に把握でき、使用可能な収音素子を用いて指向性を形成することができる。
また、本発明の一実施形態は、前記第１算出部、前記第２算出部及び前記故障判定部は、前記収音部に含まれ、前記収音部は、故障中の前記収音素子があると判定された場合に、故障中の前記収音素子を除く各収音素子により収音された音声を含む音声データパケットとは別個に、故障中の前記収音素子に関する故障データパケットを前記指向性形成部又は前記レコーダ装置に送信する、故障検知システムである。
この構成によれば、故障検知システムは、故障中の収音素子を除く収音素子により収音された音声を含む音声データパケットとは別個に、故障中の収音素子に関する故障データパケットを指向性制御装置又はレコーダ装置に送信するので、故障データパケットによって故障中の収音素子を簡易に特定することができる。
また、本発明の一実施形態は、故障中の前記収音素子があることを通知する通知部を備える、故障検知システムである。
この構成によれば、故障検知システムは、操作者に対し、収音素子に故障が発生したことを知らせることができる。
また、本発明の一実施形態は、前記通知部は、表示部の画面に、所定のアイコンを表示させることで、故障中の前記収音素子があることを通知する、故障検知システムである。
この構成によれば、故障検知システムは、操作者に対し、表示部の画面に表示された所定のアイコンによって、収音素子に故障が発生したことを知らせることができる。
また、本発明の一実施形態は、前記通知部は、表示部の画面に、故障中の前記収音素子の情報を含むポップアップウインドウを表示させることで、故障中の前記収音素子があることを通知する、故障検知システムである。
この構成によれば、故障検知システムは、操作者に対し、表示部の画面に表示されたポップアップウインドウによって、収音素子に故障が発生したことを知らせることができる。
また、本発明の一実施形態は、前記通知部は、表示部の画面に、故障中の前記収音素子に関する故障ログ情報を表示させることで、故障中の前記収音素子があることを通知する、故障検知システムである。
この構成によれば、故障検知システムは、操作者に対し、表示部の画面に表示された故障ログ情報によって、収音素子に故障が発生したことを知らせることができる。
また、本発明の一実施形態は、前記収音部により収音された音声の音声データを記録するレコーダ装置、を更に備え、前記レコーダ装置は、前記レコーダ装置の表示部又は照明部に、故障中又は修復後の前記収音素子に関する情報を表示又は点灯させる、故障検知システムである。
この構成によれば、故障検知システムは、レコーダ装置の表示部又は照明部において、故障中又は修復後のマイク素子に関する情報を表示又は点灯させるので、操作者に対し、故障中のマイク素子があること又は修復後（回復済み、復旧済み）のマイク素子があることを簡易かつ視覚的に知らせることができる。
また、本発明の一実施形態は、複数の収音素子を含む収音部を有する故障検知システムにおける故障検知方法であって、音源から各々の前記収音素子に伝搬された音声の平均パワーを前記収音素子毎に算出するステップと、前記収音部に含まれる使用可能な複数の前記収音素子に伝搬された音声の全平均パワーを算出するステップと、前記収音素子毎の平均パワーと前記全平均パワーとの差分が所定の範囲を超えるか否かの比較結果を基に、使用不可な故障中の前記収音素子があるか否かを判定するステップと、を有する、故障検知方法である。
この方法では、故障検知システムは、音源から各々の収音素子に伝搬された音声の平均パワーを収音素子毎に算出し、更に、収音部に含まれる使用可能な複数の収音素子に伝搬された音声の全平均パワーを算出する。また、故障検知システムは、収音素子毎の平均パワーと全平均パワーとの差分が所定の範囲を超えるか否かの比較結果を基に、使用不可な故障中の収音素子があるか否かを判定する。
これにより、故障検知システムは、実際の使用中であっても、収音部に含まれる各収音素子の音響的な特性（例えば音響パワーとしての収音素子の個別の音響パワーの平均値、使用可能な複数の収音素子の全音響パワーの平均値）を監視するので、収音素子毎に、個別の平均パワーと全平均パワーとの差分と所定の範囲との比較結果によって故障中の収音素子を特定することができる。従って、故障検知システムは、実際の使用中であっても、収音部に含まれる各収音素子に異常が生じた場合でも、所定の方向への音声の指向性形成精度の劣化を抑制することができる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
本発明は、実際の使用中であっても、マイクアレイ装置に含まれる各マイク素子の特性を監視し、マイク素子に異常が生じた場合でも、異常が生じたマイク素子を特定し、所定の方向への音声の指向性形成精度の劣化を抑制する故障検知システム及び故障検知方法として有用である。
２、２Ａ〜２Ｅ、２Ｇ 全方位マイクアレイ装置
３ 指向性制御装置
４ レコーダ装置
１０ 故障検知システム
２１、２１Ｃ、２１Ｄ、２１Ｅ 筐体
２２、２３ マイクロホンユニット
２５ 符号化部
２６ 送信部
２７ エラーパケット生成部
２９、２９Ａ 検知部
３１ 通信部
３２ 操作部
３３ 信号処理部
３４ａ 指向方向算出部
３４ｃ 出力制御部
３４ｇ 指向性形成部
３６ ディスプレイ装置
３６Ａ プルダウンメニューの一覧
３６Ｂ 各種操作ボタン
３６Ｃ 詳細情報提示欄
３６Ｄ ポップアップウインドウ
３６ｅ 機器障害ログ
３６ｆ 機器障害ログの一覧
３７ スピーカ装置
３８ メモリ
３９ 加算器
４１ アイコン
８０ 音源
２２１、２２２、２２３、２２ｉ、２２ｎ マイク素子
２４１、２４２、２４３、２４ｉ、２４ｎ Ａ／Ｄ変換器
２５１、２５２、２５３、２５ｎ 遅延器
２８１、２８ｉ、２８ｎ 増幅器（アンプ）
３３１ ＦＦＴ部
３３５ 指向性処理部
３３６ 逆ＦＦＴ部
３３７ 判定部
３４０、３５０、３６０ 故障検出部
３４１、３５１、３６１ 平滑部
３４２、３５２、３６２ 比較部
３４３、３５３、３６３ 平均算出部
３４５、３５５、３６５ 結果保持部
３８１ 使用可能マイク情報保持部
３８２ ログ情報保持部
Ｃ１１ カメラ装置

Claims (13)

  1. 複数の収音素子を含む収音部と、
    音源から各々の前記収音素子に伝搬された音声の平均パワーを前記収音素子毎に算出する第１算出部と、
    前記収音部に含まれる使用可能な複数の前記収音素子に伝搬された音声の全平均パワーを算出する第２算出部と、
    前記収音素子毎の平均パワーと前記全平均パワーとの差分が所定の範囲を超えるか否かの比較結果を基に、使用不可な故障中の前記収音素子があるか否かを判定する故障判定部と、を備え、
    前記第１算出部は、
    所定の時間間隔毎に前記収音素子により収音された音声をサンプリングして、前記収音素子により収音された音声の平均パワーを前記収音素子毎に算出する、
    故障検知システム。
  2. 請求項１に記載の故障検知システムであって、
    前記故障判定部により故障中と判定された収音素子を除く使用可能な複数の前記収音素子により収音された音声と、前記音源から各々の使用可能な複数の前記収音素子に伝搬された音声の遅延時間とを用いて、特定の方向に音声の指向性を形成する指向性形成部、を更に備える、
    故障検知システム。
  3. 請求項１に記載の故障検知システムであって、
    前記故障判定部は、
    前記差分が前記所定の範囲を連続して複数回にわたって超える場合に、前記所定の範囲との比較に用いた前記収音素子が故障中であると判定する、
    故障検知システム。
  4. 請求項１に記載の故障検知システムであって、
    前記故障判定部は、
    少なくとも１つの特定周波数において、前記差分が前記所定の範囲を連続して複数回にわたって超える場合に、前記所定の範囲との比較に用いた前記収音素子が故障中であると判定する、
    故障検知システム。
  5. 請求項１に記載の故障検知システムであって、
    前記故障判定部は、
    所定の期間において前記差分が前記所定の範囲を超える割合が所定の閾値以上である場合に、前記所定の閾値との比較に用いた前記収音素子が故障中であると判定する、
    故障検知システム。
  6. 請求項２に記載の故障検知システムであって、
    前記収音部により収音された音声の音声データを記録する音声記録部、を更に備え、
    前記第１算出部、前記第２算出部及び前記故障判定部は、前記収音部に含まれ、
    前記収音部は、
    故障中の前記収音素子があると判定された場合に、故障中の前記収音素子に関する故障データを、故障中の前記収音素子を除く各収音素子により収音された音声を含む音声データパケットに付加して前記指向性形成部又は前記音声記録部に送信する、
    故障検知システム。
  7. 請求項２に記載の故障検知システムであって、
    前記収音部により収音された音声の音声データを記録する音声記録部、を更に備え、
    前記第１算出部、前記第２算出部及び前記故障判定部は、前記収音部に含まれ、
    前記収音部は、
    故障中の前記収音素子があると判定された場合に、故障中の前記収音素子を除く各収音素子により収音された音声を含む音声データパケットとは別個に、故障中の前記収音素子に関する故障データパケットを前記指向性形成部又は前記音声記録部に送信する、
    故障検知システム。
  8. 請求項１に記載の故障検知システムであって、
    故障中の前記収音素子があることを通知する通知部を、更に備える、
    故障検知システム。
  9. 請求項８に記載の故障検知システムであって、
    前記通知部は、
    表示部の画面に、所定のアイコンを表示させることで、故障中の前記収音素子があることを通知する、
    故障検知システム。
  10. 請求項８に記載の故障検知システムであって、
    前記通知部は、
    表示部の画面に、故障中の前記収音素子の情報を含むポップアップウインドウを表示させることで、故障中の前記収音素子があることを通知する、
    故障検知システム。
  11. 請求項８に記載の故障検知システムであって、
    前記通知部は、
    表示部の画面に、故障中の前記収音素子に関する故障ログ情報を表示させることで、故障中の前記収音素子があることを通知する、
    故障検知システム。
  12. 請求項１に記載の故障検知システムであって、
    前記収音部により収音された音声の音声データを記録するレコーダ装置、を更に備え、
    前記レコーダ装置は、
    前記レコーダ装置の表示部又は照明部に、故障中又は修復後の前記収音素子に関する情報を表示又は点灯させる、
    故障検知システム。
  13. 複数の収音素子を含む収音部を有する故障検知システムにおける故障検知方法であって、
    音源から各々の前記収音素子に伝搬された音声の平均パワーを前記収音素子毎に算出するステップと、
    前記収音部に含まれる使用可能な複数の前記収音素子に伝搬された音声の全平均パワーを算出するステップと、
    前記収音素子毎の平均パワーと前記全平均パワーとの差分が所定の範囲を超えるか否かの比較結果を基に、使用不可な故障中の前記収音素子があるか否かを判定するステップと、を有し、
    前記音声の平均パワーを算出するステップでは、所定の時間間隔毎に前記収音素子により収音された音声をサンプリングして、前記収音素子により収音された音声の平均パワーを前記収音素子毎に算出する、
    故障検知方法。
JP2014154991A 2014-07-30 2014-07-30 故障検知システム及び故障検知方法 Active JP6210458B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014154991A JP6210458B2 (ja) 2014-07-30 2014-07-30 故障検知システム及び故障検知方法
DE102015213583.7A DE102015213583A1 (de) 2014-07-30 2015-07-20 Versagenserfassungssystem und Versagenserfassungsverfahren
US14/809,354 US9635481B2 (en) 2014-07-30 2015-07-27 Failure detection system and failure detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014154991A JP6210458B2 (ja) 2014-07-30 2014-07-30 故障検知システム及び故障検知方法

Publications (2)

Publication Number Publication Date
JP2016032260A JP2016032260A (ja) 2016-03-07
JP6210458B2 true JP6210458B2 (ja) 2017-10-11

Family

ID=55079801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014154991A Active JP6210458B2 (ja) 2014-07-30 2014-07-30 故障検知システム及び故障検知方法

Country Status (3)

Country Link
US (1) US9635481B2 (ja)
JP (1) JP6210458B2 (ja)
DE (1) DE102015213583A1 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9538305B2 (en) * 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
WO2017049169A1 (en) 2015-09-17 2017-03-23 Sonos, Inc. Facilitating calibration of an audio playback device
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
CN108605190B (zh) 2016-10-14 2020-06-30 雅马哈株式会社 故障检测装置、声音输入输出模块、紧急通报模块以及故障检测方法
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US10334360B2 (en) * 2017-06-12 2019-06-25 Revolabs, Inc Method for accurately calculating the direction of arrival of sound at a microphone array
JP6887923B2 (ja) * 2017-09-11 2021-06-16 ホシデン株式会社 音声処理装置
KR102324063B1 (ko) 2017-10-17 2021-11-09 삼성전자주식회사 마이크를 통해 획득한 오디오 신호의 크기에 기반하여 마이크의 오류 발생 여부를 결정하기 위한 방법 및 그 전자 장치
US10405115B1 (en) * 2018-03-29 2019-09-03 Motorola Solutions, Inc. Fault detection for microphone array
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
EP3854108A1 (en) 2018-09-20 2021-07-28 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
JP6806123B2 (ja) * 2018-11-01 2021-01-06 ヤマハ株式会社 故障検出装置、音声入出力モジュール、及び故障検出方法
US10403263B1 (en) * 2018-12-14 2019-09-03 Bose Corporation Systems and method for noise-cancellation
WO2020138170A1 (ja) 2018-12-26 2020-07-02 旭化成エレクトロニクス株式会社 磁場計測装置
US11497425B2 (en) 2019-03-08 2022-11-15 Asahi Kasei Microdevices Corporation Magnetic field measurement apparatus
CN113841421A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 具有抑制功能的波束形成麦克风瓣的自动对焦、区域内自动对焦、及自动配置
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
WO2020237206A1 (en) 2019-05-23 2020-11-26 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
WO2020243471A1 (en) 2019-05-31 2020-12-03 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
US11044567B1 (en) * 2019-10-11 2021-06-22 Amazon Technologies, Inc. Microphone degradation detection and compensation
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
JP2024505068A (ja) 2021-01-28 2024-02-02 シュアー アクイジッション ホールディングス インコーポレイテッド ハイブリッドオーディオビーム形成システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6036351A (en) * 1994-09-30 2000-03-14 The United States Of America As Represented By The Secretary Of The Navy Advanced signal processing filter
US7027607B2 (en) * 2000-09-22 2006-04-11 Gn Resound A/S Hearing aid with adaptive microphone matching
JP3940662B2 (ja) * 2001-11-22 2007-07-04 株式会社東芝 音響信号処理方法及び音響信号処理装置及び音声認識装置
JP3672538B2 (ja) * 2002-03-12 2005-07-20 ティーオーエー株式会社 緊急放送システム
JP2005511607A (ja) * 2003-07-10 2005-04-28 アラーガン、インコーポレイテッド ＥＰ２受容体作動剤としてのω−シクロアルキル１７−ヘテロアリールプロスタグランジンＥ２類似体
FI20060910A0 (fi) * 2006-03-28 2006-10-13 Genelec Oy Tunnistusmenetelmä ja -laitteisto äänentoistojärjestelmässä
US7949144B2 (en) * 2006-06-12 2011-05-24 Phonak Ag Method for monitoring a hearing device and hearing device with self-monitoring function
US8054991B2 (en) * 2008-04-17 2011-11-08 Panasonic Corporation Sound pickup apparatus and conference telephone
US8379876B2 (en) * 2008-05-27 2013-02-19 Fortemedia, Inc Audio device utilizing a defect detection method on a microphone array
US8447324B2 (en) * 2010-01-05 2013-05-21 Qualcomm Incorporated System for multimedia tagging by a mobile user
US20120045068A1 (en) * 2010-08-20 2012-02-23 Korea Institute Of Science And Technology Self-fault detection system and method for microphone array and audio-based device
US9269350B2 (en) * 2013-05-24 2016-02-23 Google Technology Holdings LLC Voice controlled audio recording or transmission apparatus with keyword filtering
US20150146883A1 (en) * 2013-11-27 2015-05-28 Jefferson Audio Video Systems, Inc. Response-compensated microphone

Also Published As

Publication number Publication date
JP2016032260A (ja) 2016-03-07
US20160037277A1 (en) 2016-02-04
DE102015213583A1 (de) 2016-02-04
US9635481B2 (en) 2017-04-25

Similar Documents

Publication Publication Date Title
JP6210458B2 (ja) 故障検知システム及び故障検知方法
US9578413B2 (en) Audio processing system and audio processing method
JP6493860B2 (ja) 監視制御システム及び監視制御方法
US9769552B2 (en) Method and apparatus for estimating talker distance
JP6135880B2 (ja) 音声処理方法、音声処理システム、及び記憶媒体
US10497356B2 (en) Directionality control system and sound output control method
JP6217930B2 (ja) 音速補正システム
JP6887102B2 (ja) 音声処理装置、画像処理装置、マイクアレイシステム、及び音声処理方法
JP6504539B2 (ja) 収音システム及び収音設定方法
WO2016103645A1 (ja) 指向性制御システム、指向性制御装置、それらのいずれかを備える異常音検出システム及び指向性制御方法
KR101321447B1 (ko) 네트워크를 통한 현장 모니터링 방법, 및 이에 사용되는 관리 서버
JPWO2015151131A1 (ja) 指向性制御方法、記憶媒体及び指向性制御システム
JP6425019B2 (ja) 異常音検出システム及び異常音検出方法
US20210035422A1 (en) Methods Circuits Devices Assemblies Systems and Functionally Related Machine Executable Instructions for Selective Acoustic Sensing Capture Sampling and Monitoring
JP6447976B2 (ja) 指向性制御システム及び音声出力制御方法
WO2015151130A1 (ja) 音声処理装置、音声処理システム、及び音声処理方法
US10939030B2 (en) Video audio processing system and method of controlling the video audio processing system
JP2019161353A (ja) モニタリング装置、モニタリング方法、およびモニタリング処理用プログラム
JP2011205353A (ja) 視聴状況認識装置および視聴状況認識システム
JP6471955B2 (ja) 監視システム及び監視システムにおける指向性制御方法
JP6835205B2 (ja) 撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法
JP2016181770A (ja) 収音システム
JP2016171477A (ja) 遠隔作業支援装置、モニタリングシステム、および、遠隔作業支援方法
JP2020017904A (ja) 撮像装置の制御装置、方法及びプログラム
CN108174143B (zh) 一种监控设备控制方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170904

R151 Written notification of patent or utility model registration

Ref document number: 6210458

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151