JP6887102B2 - 音声処理装置、画像処理装置、マイクアレイシステム、及び音声処理方法 - Google Patents

Description

本開示は、音声処理装置、画像処理装置、マイクアレイシステム、及び音声処理方法に関する。

近年、カメラやマイクを用いて収録されたデータを扱う機会が増えている。防犯・証左の用途で店舗の窓口等に設置されるネットワークカメラシステムの台数は増加傾向にある。例えば、窓口でお客様と従業員の会話を録音する場合、お客様のプライバシー保護を考慮して、録音並びに再生を行う必要がある。また、録画を行う場合も同様である。

このようなシステムでは、マイクアレイ装置から指定された音声位置に向かう指向方向に、収音された音声に対する指向性を形成する。そして、このシステムは、音声位置がプライバシー保護領域である場合、収音された音声の出力を制御（ミュート処理、マスキング処理、又はボイスチェンジ処理）し、又は音声の収音を休止する（特許文献１参照）。

本開示は、プライバシー保護を図りつつ、発話者の感情を察知することを目的とする。

特開２０１５−２９２４１号公報

本開示の音声処理装置は、収音部により収音された音声を取得する取得部と、前記音声の音声位置を検出する検出部と、前記音声位置がプライバシー保護エリア内である場合に、前記音声が発話の音声であるか否かを判定する判定部と、前記発話の音声を分析して感情値を取得する分析部と、前記発話の音声を前記感情値に対応する前記発話の意味を認識できない代替音に変換する変換部と、前記音声を出力する音声出力部に、前記代替音を出力させる出力制御部と、備える。

本開示によれば、プライバシー保護を図りつつ、発話者の感情を察知できる。

図１は、第１の実施形態におけるマイクアレイシステムの構成を示すブロック図である。 図２Ａは、ピッチの変化に対応する感情値が登録された感情値テーブルの登録内容を示す図である。 図２Ｂは、話速に対応する感情値が登録された感情値テーブルの登録内容を示す図である。 図２Ｃは、音量に対応する感情値が登録された感情値テーブルの登録内容を示す図である。 図２Ｄは、滑舌に対応する感情値が登録された感情値テーブルの登録内容を示す図である。 図３は、感情値に対応する対応する代替音が登録された代替音テーブルの登録内容を示す図である。 図４は、マイクアレイ装置により収音された音声に対して所定の方向に指向性を形成する原理の一例の説明図である。 図５は、店舗の窓口に設置されたマイクアレイ装置によって受付係とお客様との会話が収音される状況を表す映像を示す図である。 図６は、マイクアレイ装置で収音された音声の出力手順を示すフローチャートである。 図７は、第２の実施形態におけるマイクアレイシステムの構成を示すブロック図である。 図８は、代替画像テーブルの登録内容を示す図である。 図９は、店舗の窓口に設置されたマイクアレイ装置によって受付係とお客様との会話が収音される状況を表す映像を示す図である。 図１０は、マイクアレイ装置で収音された音声に基づく顔アイコンを含む映像の出力手順を示すフローチャートである。 図１１は、第３の実施形態におけるマイクアレイシステムの構成を示すブロック図である。 図１２は、店舗の窓口に設置されたマイクアレイ装置によって受付係とお客様との会話が収音される状況を表す映像を示す図である。

以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（本開示の一形態を得るに至った経緯）
録音された従業員とお客様の会話録を、トラブル事案としてクレーム発生時の振り返りや社内研修資料に使用するとする。この会話録に対してプライバシー保護の必要がある場合、会話録の音声出力の制御等がされる。そのため、お客様の発話内容を把握することが困難であり、どのような経緯が存在するかを理解し難い。また、従業員と対面しているお客様の感情の変化を察することが困難である。

以下、プライバシー保護を図りつつ、発話者の感情を察知できる音声処理装置、画像処理装置、マイクアレイシステム、及び音声処理方法について説明する。

（第１の実施形態）
［構成等］
図１は、第１の実施形態におけるマイクアレイシステム１０の構成を示すブロック図である。マイクアレイシステム１０は、カメラ装置ＣＡと、マイクアレイ装置ＭＡと、レコーダＲＣと、指向性制御装置３０とを含む構成を有する。

カメラ装置ＣＡ、マイクアレイ装置ＭＡ、レコーダＲＣ及び指向性制御装置３０は、ネットワークＮＷを介して相互にデータ通信可能に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でもよいし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でもよい。

カメラ装置ＣＡは、例えば、室内の天井や壁等に設置された、画角が固定された固定カメラである。カメラ装置ＣＡは、自装置が設置された撮像空間である撮像エリアＳＡ（図５参照）を撮像可能な監視カメラとして機能する。

なお、カメラ装置ＣＡは、固定カメラに限られず、全方位カメラ、パン・チルト・ズーム動作自在なＰＴＺカメラであってもよい。カメラ装置ＣＡは、映像を撮像した時刻（撮像時刻）を映像データと対応付けて記憶し、ネットワークＮＷを介して指向性制御装置３０に送信する。

マイクアレイ装置ＭＡは、例えば室内の天井に設置された全方位マイクアレイ装置である。マイクアレイ装置ＭＡは、自装置が設置された収音空間（収音エリア）における全方位の音声を収音する。

マイクアレイ装置ＭＡは、中央に開口部が形成された筐体、及びこの開口部の周囲に円周方向に沿って同心円状に配置された複数のマイクロホンユニットを有する。マイクロホンユニット（以下、単にマイクロホンと称する）には、例えば高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられる。

尚、カメラ装置ＣＡが、例えばマイクアレイ装置ＭＡの筐体に形成された開口部に収容される全方位カメラである場合、撮像エリアと収音エリアは略同一となる。

マイクアレイ装置ＭＡは、収音した音声データを、収音した時刻（収音時刻）と対応付けて記憶するとともに、記憶した音声データ及び収音時刻のデータを、ネットワークＮＷを介して、指向性制御装置３０に送信する。

指向性制御装置３０は、例えばマイクアレイ装置ＭＡ及びカメラ装置ＣＡが設置された室内の外に設置される。指向性制御装置３０は、例えば、据置型のＰＣ（Personal Computer）である。

指向性制御装置３０は、マイクアレイ装置ＭＡで収音された全方位の音声に対し指向性を形成し、その指向方向の音声を強調する。指向性制御装置３０は、撮像エリア内の音源の位置（音声位置ともいう）を推定し、推定された音源の位置がプライバシー保護エリアの範囲内である場合、所定のマスク処理を行う。マスク処理の詳細については、後述する。

尚、指向性制御装置３０は、ＰＣの代わりに、携帯電話機、タブレット端末、スマートフォン等の通信端末でもよい。

指向性制御装置３０は、通信部３１と、操作部３２と、信号処理部３３と、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８と、設定管理部３９と、音声分析部４５と、を少なくとも含む構成である。信号処理部３３は、指向性制御部４１、プライバシー判断部４２、発話判定部３４及び出力制御部３５を含む。

設定管理部３９は、初期設定として、ディスプレイ装置３６に表示された、カメラ装置ＣＡで撮像された映像に対し、ユーザによって指定されたプライバシー保護エリアの座標を、マイクアレイ装置ＭＡからプライバシー保護エリアに対応する音声エリアに向かう指向方向を示す角度に変換する。

この変換処理では、設定管理部３９は、プライバシー保護エリアの指定に応じて、マイクアレイ装置ＭＡからプライバシー保護エリアに対応する音声エリアに向かう指向角（θＭＡｈ，θＭＡｖ）を算出する。この算出処理の詳細については、例えば特許文献１に記載されている。

θＭＡｈは、マイクアレイ装置ＭＡから音声位置に向かう指向方向の水平角を表す。θＭＡｖは、マイクアレイ装置ＭＡから音声位置に向かう指向方向の垂直角を表す。音声位置は、操作部３２がディスプレイ装置３６に表示された映像データにおいてユーザの指又はスタイラスペンによって指定された指定位置に対応する実際の位置である。なお、この変換処理は、信号処理部３３が行ってもよい。

また、設定管理部３９は、メモリ３９ｚを有する。設定管理部３９は、カメラ装置ＣＡで撮像された映像に対し、ユーザによって指定されたプライバシー保護エリアの座標、及び、変換されたプライバシー保護エリアに対応する音声エリアに向かう指向方向を示す座標、をメモリ３９ｚに記憶する。

通信部３１は、カメラ装置が送信した撮像時刻を含む映像データ、及びマイクアレイ装置ＭＡが送信した収音時刻を含む音声データ、を受信して、信号処理部３３に出力する。

操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスを含んで構成される。また、操作部３２は、例えばディスプレイ装置３６の画面に対応して配置され、ユーザの指やスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。

操作部３２は、ディスプレイ装置３６に表示されたカメラ装置ＣＡの映像データ（図５参照）において、ユーザがプライバシー保護を希望するエリアであるプライバシー保護エリアＰＲＡを指定する。そして、操作部３２は、指定されたプライバシー保護エリアの位置を表す座標データを取得して、信号処理部３３に出力する。

メモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３０が動作する際、プログラムメモリ、データメモリ、ワークメモリとして機能する。メモリ３８は、マイクアレイ装置ＭＡで収音される音声の音声データを収音時刻とともに記憶する。

信号処理部３３は、機能的構成として、発話判定部３４、指向性制御部４１、プライバシー判断部４２及び出力制御部３５を有する。信号処理部３３は、ハードウェアとして、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。信号処理部３３は、指向性制御装置３０の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。

発話判定部３４は、収音された音声を分析し、音声が発話であるか否かを認識する。ここでの音声は、可聴周波数帯（例えば２０Ｈｚ−２３ｋＨｚ）の周波数を有する音であり、人が話す音声以外を含んでもよい。また、発話は、人が話す音声であり、可聴周波数帯に比べて狭い帯域（例えば３００Ｈｚ−４ｋＨｚ）の周波数を有する音である。例えば、入力音から音声が発話された区間を検出する技術であるＶＡＤ（Voice Activity Detectors）によって、発話が認識される。

プライバシー判断部４２は、メモリ３８に記憶された音声データを用いて、マイクアレイ装置ＭＡで収音された音声がプライバシー保護エリア内で検出されたものであるか否かを判定する。

プライバシー判断部４２は、マイクアレイ装置ＭＡで音声が収音された場合、音源の方向がプライバシー保護エリアの範囲内であるか否かを判定する。この場合、プライバシー判断部４２は、例えば、撮像エリアを複数のブロックに分割し、ブロック毎に音声の指向性を形成し、その指向方向に閾値を超える音声があるか否かを判定し、撮像エリア内の音声位置を推定する。

音声位置の推定方法として、公知の方法を用いてよく、例えば、『論文「マイクロホンアレーを用いたＣＳＰ法に基づく複数音源位置推定」 西浦 敬信 等、電子情報通信学会論文誌 Ｄ−１１ Ｖｏｌ．Ｊ８３−Ｄ−１１ Ｎｏ．８ ｐｐ．１７１３−１７２１ ２０００年 ８月 』の文献に記載されている方法を用いてもよい。

また、プライバシー判断部４２は、マイクアレイ装置ＭＡが収音した音声データに対し、プライバシー保護エリア内の位置に指向性を形成し、その指向方向に音声が検出されているか否かを判定してもよい。この場合、音声位置がプライバシー保護エリアの範囲内にあるか否かを判定できるが、プライバシー保護エリアの外側に音声位置があっても、その位置は特定されない。

出力制御部３５は、カメラ装置ＣＡ、マイクアレイ装置ＭＡ、ディスプレイ装置３６及びスピーカ装置３７の動作を制御する。出力制御部３５は、カメラ装置ＣＡから送信された映像データをディスプレイ装置３６に出力させ、マイクアレイ装置ＭＡから送信された音声データをスピーカ装置３７に音声出力させる。

指向性制御部４１は、マイクアレイ装置ＭＡが収音して指向性制御装置３０に送信した音声データを用いて指向性の形成処理を行う。ここでは、指向性制御部４１は、設定管理部３９により算出された指向角（θＭＡｈ，θＭＡｖ）の方向に、音声データの指向性を形成する。

プライバシー判断部４２は、算出された指向方向を示す座標データを基に、音声位置が予め指定されたプライバシー保護エリアＰＲＡ（図５参照）内に含まれるか否かを判定してもよい。

出力制御部３５は、プライバシー保護エリアＰＲＡ内に音声位置が含まれると判定された場合、マイクアレイ装置ＭＡにより収音された音声を制御し、例えば、この音声に代えて代替音を再生して出力する。代替音は、例えば、プライバシー音の一例としての通称「ピー音」を含む。

なお、出力制御部３５は、マイクアレイ装置ＭＡにより収音されたプライバシー保護エリアＰＲＡ内の音声の音圧を算出し、この算出された音声が音圧閾値を超える場合に、代替音を出力してもよい。

出力制御部３５は、代替音を出力する際、マイクアレイ装置ＭＡにより収音されたプライバシー保護エリアＰＲＡ内の音声を音声分析部４５に送る。出力制御部３５は、音声分析部４５によって音声分析が行われた結果に基づく代替音の音声データを、音声分析部４５から取得する。

音声分析部４５は、マイクアレイ装置ＭＡにより収音されたプライバシー保護エリアＰＲＡ内の音声を受けると、この音声を分析し、音声を発した人物の感情を感情値として取得する。この音声分析では、音声分析部４５は、プライバシー保護エリアＰＲＡ内の音声のうち、例えば、話者が発する発話の音声のピッチ（周波数）の変化を分析し、声が上ずった、下がった、上がった等の感情値を得る。感情値として、例えば「高」、「中」、「低」の３段階に分けられる。なお、感情値を任意の段数に分けてもよい。

音声分析部４５のプライバシー音データベース（ＤＢ）４８には、４つの感情値テーブル４７Ａ，４７Ｂ，４７Ｃ，４７Ｄが保持されている（図２Ａ〜図２Ｄ参照）。特にこれらのテーブルを区別する必要が無い場合、感情値テーブル４７と総称する。感情値テーブル４７は、プライバシー音ＤＢ４８に記憶される。

図２Ａは、ピッチの変化に対応する感情値が登録された感情値テーブル４７Ａの登録内容を示す模式図である。

感情値テーブル４７Ａでは、例えば、ピッチの変化が「大」の場合、声が上ずっている等として、感情値に「高」が設定される。例えば、ピッチの変化が「中」の場合、声が僅かに上がっている等として、感情値に「中」が設定される。例えば、ピッチの変化が「小」の場合、声が下がって落ち着いている等として、感情値に「小」が設定される。

図２Ｂは、話速に対応する感情値が登録された感情値テーブル４７Ｂの登録内容を示す模式図である。話速は、例えば、所定時間内に話者が発した単語数により表される。

感情値テーブル４７Ｂでは、例えば、話速が早い場合、早口になっている等として、感情値に「高」が設定される。例えば、話速が普通（中程度）の場合、話が少し早い等として、感情値に「中」が設定される。例えば、話速が遅い場合、気分が落ち着いている等として、感情値に「小」が設定される。

図２Ｃは、音量に対応する感情値が登録された感情値テーブル４７Ｃの登録内容を示す模式図である。

感情値テーブル４７Ｃでは、例えば、話者が発する音声の音量が大きい場合、気分が高揚している等として、感情値に「高」が設定される。例えば、音量が普通（中程度）の場合、通常の気分である等として、感情値に「中」が設定される。例えば、音量が小さい場合、気分が落ち着いている等として、感情値に「小」が設定される。

図２Ｄは滑舌に対応する感情値が登録された感情値テーブル４７Ｄの登録内容を示す模式図である。

滑舌の善し悪しは、例えば、音声認識による認識率の高低で判断される。感情値テーブル４７Ｃでは、例えば、音声の認識率が低く、滑舌が悪い場合、怒っている等として、感情値に「大」が設定される。例えば、音声の認識率が中で滑舌が普通（中程度）の場合、平静である等として、感情値に「中」が設定される。例えば、音声の認識率が高く、滑舌が良い場合、冷静である等として、感情値に「小」が設定される。

音声分析部４５は、いずれの感情値テーブル４７を用いてもよく、また、複数の感情値テーブル４７を用いて感情値を導出してもよい。ここでは、一例として、音声分析部４５が感情値テーブル４７Ａにおけるピッチの変化から感情値を取得する場合を示す。

音声分析部４５は、プライバシー音変換部４６、及び、プライバシー音ＤＢ４８を有する。

プライバシー音変換部４６は、プライバシー保護エリアＰＲＡ内の発話の音声を、感情値に対応する代替音に変換する。

プライバシー音ＤＢ４８には、例えば、プライバシー音としてピー音を表す正弦波（サイン波）の音声データが１つ登録されている。プライバシー音変換部４６は、プライバシー音ＤＢ４８に登録されている正弦波の音声データを読み出し、発話の音声が出力されている期間、読み出した音声データを基に、感情値に対応する周波数の正弦波の音声データを出力する。

例えば、プライバシー音変換部４６は、感情値が「高」である場合、１ｋＨｚのピー音を出力し、感情値が「中」である場合、５００Ｈｚのピー音を出力し、感情値が「低」である場合、２００Ｈｚのピー音を出力してもよい。尚、この周波数は、一例であり、他の高さでもよい。

尚、プライバシー音変換部４６は、１つの正弦波の音声データを基に、複数の周波数の音声データを生成する代わりに、予め感情値に対応する音声データを、例えばプライバシー音ＤＢ４８に登録しておき、この音声データを読み出してもよい。

図３は、感情値に対応する対応する代替音が登録された代替音テーブル４９の登録内容を示す模式図である。代替音テーブル４９は、プライバシー音ＤＢ４８に記憶される。

代替音テーブル４９には、感情値に対応する代替音として、前述した３つの異なる周波数のプライバシー音が登録されている。尚、これに限らず、プライバシー音ＤＢ４８には、感情値が「高」である場合に怒りを表す大砲の音データ、感情値が「中」である場合に怒っていないことを表す豆鉄砲の音データ、感情値が「低」である場合に喜びを表すメロディ音の音データ、等が登録されてもよい。

ディスプレイ装置３６は、カメラ装置ＣＡが撮像した映像データを画面に表示する。

スピーカ装置３７は、マイクアレイ装置ＭＡが収音した音声データ、又は指向角（θＭＡｈ，θＭＡｖ）に指向性が形成されたマイクアレイ装置ＭＡが収音した音声データ、を音声出力する。尚、ディスプレイ装置３６及びスピーカ装置３７は、指向性制御装置３０とは別体の装置として構成されてもよい。

図４は、マイクアレイ装置ＭＡにより収音された音声に対して所定の方向に指向性を形成する原理の一例の説明図である。

指向性制御装置３０は、マイクアレイ装置ＭＡから送信された音声データを用いて、音声データの指向性制御処理によって、各々のマイクロホンＭＡ１〜ＭＡｎにより収音された各音声データを加算する。そして、指向性制御装置３０は、マイクアレイ装置ＭＡの各マイクロホンＭＡ１〜ＭＡｎの位置から特定方向への音声（音量レベル）を強調（増幅）するために、特定方向への指向性を形成した音声データを生成する。特定方向とは、マイクアレイ装置ＭＡから操作部３２で指定された音声位置に向かう方向である。

尚、マイクアレイ装置ＭＡによって収音される音声の指向性を形成するための音声データの指向性制御処理に関する技術は、例えば特開２０１４−１４３６７８号公報や特開２０１５−０２９２４１号公報（特許文献１）等に示されるように、公知の技術である。

図４では、説明を分かり易くするため、マイクロホンＭＡ１〜ＭＡｎは直線上に一次元配列されている。この場合、指向性は面内の二次元空間になる。更に、三次元空間で指向性を形成するためには、マイクロホンＭＡ１〜ＭＡｎを二次元配列し、同様な処理を実施されればよい。

音源８０から発した音波は、マイクアレイ装置ＭＡに内蔵される各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，〜，ＭＡ（ｎ−１），ＭＡｎに対し、ある一定の角度（入射角＝（９０−θ）［度］）で入射する。入射角θは、マイクアレイ装置ＭＡから音声位置に向かう指向方向の水平角θＭＡｈでも垂直角θＭＡｖでもよい。

音源８０は、例えば、マイクアレイ装置ＭＡが収音する収音方向に存在するカメラ装置ＣＡの被写体である人物の会話である。音源８０は、マイクアレイ装置ＭＡの筐体２１の面上に対し、所定角度θの方向に存在する。また、各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎ間の間隔ｄは、一定とする。

音源８０から発した音波は、例えば、最初にマイクロホンＭＡ１に到達して収音され、次にマイクロホンＭＡ２に到達して収音され、同様に次々に収音され、最後にマイクロホンＭＡｎに到達して収音される。

マイクアレイ装置ＭＡは、各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎが収音したアナログの音声データを、Ａ／Ｄ変換器２４１，２４２，２４３，〜，２４（ｎ−１），２４ｎにおいてデジタルの音声データにＡＤ変換する。

更に、マイクアレイ装置ＭＡは、遅延器２５１，２５２，２５３，〜，２５（ｎ−１），２５ｎにおいて、各々のマイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎにおける到達時間差に対応する遅延時間を与えて、全ての音波の位相を揃えた後、加算器２６において遅延処理後の音声データを加算する。

これにより、マイクアレイ装置ＭＡは、各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎに、所定角度θの方向に音声データの指向性を形成する。

このように、マイクアレイ装置ＭＡは、遅延器２５１，２５２，２５３，〜，２５（ｎ−１），２５ｎに設定される遅延時間Ｄ１，Ｄ２，Ｄ３，〜，Ｄｎ−１，Ｄｎを変更することで、収音した音声データの指向性を簡易に形成できる。

［動作等］
次にマイクアレイシステム１０の動作について説明する。ここでは、店舗に来店したお客様と受付係との会話を収音して音声出力する場合を一例として示す。

図５は、店舗の窓口に設置されたマイクアレイ装置ＭＡによって、受付係ｈｍ２とお客様ｈｍ１との会話が収音される状況を表す映像を示す模式図である。

図５の映像では、店舗内の天井に設置された固定カメラであるカメラ装置ＣＡによって撮像された撮像エリアＳＡが、ディスプレイ装置３６に映し出されている。例えば、受付係ｈｍ２（従業員の一例）がお客様ｈｍ１と対面するカウンタ１０１の真上に、マイクアレイ装置ＭＡが設置される。マイクアレイ装置ＭＡは、受付係ｈｍ２とお客様ｈｍ１との会話を含む、店舗内の音声を収音する。

お客様ｈｍ１が位置するカウンタ１０１は、プライバシー保護エリアＰＲＡに設定されている。プライバシー保護エリアＰＲＡは、例えば、ユーザが予めディスプレイ装置３６に表示された映像に対して、タッチ操作等で範囲を指定することで設定される。

図５の映像では、撮像エリアＳＡにおいて、お客様ｈｍ１が来店し、カウンタ１０１の前に設置されたプライバシー保護エリアＰＲＡに入っている状況が示されている。例えば、受付係ｈｍ２が「いらっしゃいませ」と挨拶すると、その音声はスピーカ装置３７から出力される。また、例えば、お客様ｈｍ１は険しい表情で話しかけているが、その音声はスピーカ装置３７から「ピー、ピー、ピー」とプライバシー音が出力される。

これにより、発話内容の秘匿性が担保される。また、マイクアレイシステム１０のユーザは、スピーカ装置３７から出力されるプライバシー音のピッチの変化等から、お客様ｈｍ１の感情を察知できる。

尚、受付係ｈｍ２とお客様ｈｍ１が発した発話の音声を表す吹き出しは、説明を分かり易くするために付加されたものである。

図６は、マイクアレイ装置ＭＡで収音された音声の出力手順を示すフローチャートである。この音声出力動作は、例えば、マイクアレイ装置ＭＡで収音された音声の音声データをレコーダＲＣに一旦記憶させた後に行われる。

通信部３１は、ネットワークＮＷを介してレコーダＲＣに記録された、所定時間の音声データ及び映像データを取得する（Ｓ１）。

指向性制御部４１は、マイクアレイ装置ＭＡで収音された音声データに対し、指向性を形成し、店舗内等の所定の方向を指向方向とする音声データを取得する（Ｓ２）。

プライバシー判断部４２は、指向性制御部４１によって指向性が形成される音声位置がプライバシー保護エリアＰＲＡ内であるか否かを判別する（Ｓ３）。

音声位置がプライバシー保護エリアＰＲＡ内でない場合、出力制御部３５は、指向性形成済みの音声データをそのままスピーカ装置３７に出力する（Ｓ４）。また、この場合、出力制御部３５は、映像データをディスプレイ装置３６に出力する。この後、信号処理部３３は本動作を終了する。

Ｓ３で、指向性制御部４１によって指向性が形成される音声位置がプライバシー保護エリアＰＲＡ内である場合、発話判定部３４は、指向性形成済みの音声が発話の音声であるか否かを判別する（Ｓ５）。

Ｓ５では、例えば、発話判定部３４は、指向性形成済みの音声が受付係ｈｍ２とお客様ｈｍ１との会話のような人が話す音声であり、可聴周波数帯に比べて狭い帯域（例えば３００Ｈｚ−４ｋＨｚ）の周波数を有する音であるか否かを判別する。

尚、ここでは、発話の音声を音声分析の対象としたが、プライバシー保護エリアＰＲＡで発せられる全ての音声を音声分析の対象としてもよい。

Ｓ５において、指向性形成済みの音声が発話の音声でない場合、信号処理部３３は、前述したＳ４の処理に進む。

Ｓ５において、指向性形成済みの音声が発話の音声である場合、音声分析部４５は、指向性形成済みの音声データに対し、音声分析する（Ｓ６）。

音声分析の結果、音声分析部４５は、プライバシー音ＤＢ４８に登録されている感情値テーブル４７を用いて、発話の音声の感情値が「高」か、「中」か、「低」か、を判別する（Ｓ７）。

Ｓ７で、発話の音声の感情値が「高」である場合、プライバシー音変換部４６は、代替音テーブル４９を用いて、正弦波の音声データを読み出し、高域の周波数（例えば１ｋＨｚ）の音声データに変換する（Ｓ８）。

出力制御部３５は、高い周波数の音声データをプライバシー音としてスピーカ装置３７に出力する（Ｓ１１）。スピーカ装置３７は、プライバシー音である「ピー音」を出力する。この後、信号処理部３３は本動作を終了する。

Ｓ７で、発話の音声の感情値が「中」である場合、プライバシー音変換部４６は、代替音テーブル４９を用いて、正弦波の音声データを読み出し、中域の周波数（例えば５００Ｈｚ）の音声データに変換する（Ｓ９）。

出力制御部３５は、Ｓ１１で、中域の周波数の音声データをプライバシー音としてスピーカ装置３７に出力する。スピーカ装置３７は、プライバシー音である「ピー音」を出力する。この後、信号処理部３３は本動作を終了する。

Ｓ７で、発話の音声の感情値が「低」である場合、プライバシー音変換部４６は、代替音テーブル４９を用いて、正弦波の音声データを読み出し、低域の周波数（例えば２００Ｈｚ）の音声データに変換する（Ｓ１０）。

出力制御部３５は、Ｓ１１で、低域の周波数の音声データをプライバシー音としてスピーカ装置３７に出力する。スピーカ装置３７は、プライバシー音である「ピー音」を出力する。この後、信号処理部３３は本動作を終了する。

マイクアレイシステム１０では、ユーザは、例えばスピーカ装置３７から出力されるお客様ｈｍ１の発話の内容が分からなくても、プライバシー音として発せられる「ピー音」の音の高さから、お客様ｈｍ１が怒っている等の感情を察することができる。

従って、例えば、受付係ｈｍ２とお客様ｈｍ１の会話録をトラブル事案として、振り返りや社内研修に使用したとしても、ユーザは、お客様ｈｍ１の発話の内容が秘匿された状態で、お客様ｈｍ１の感情の変化を理解できる。

［効果等］
このように、音声処理装置は、収音部により収音された音声を取得する取得部と、音声の音声位置を検出する検出部と、音声位置がプライバシー保護エリアＰＲＡ内である場合に、音声が発話の音声であるか否かを判定する判定部と、発話の音声を分析して感情値を取得する分析部と、発話の音声を感情値に対応する代替音に変換する変換部と、音声を出力する音声出力部に、代替音を出力させる出力制御部３５と、備える。

音声処理装置は、例えば指向性制御装置３０である。収音部は、例えばマイクアレイ装置ＭＡである。取得部は、例えば通信部３１である。検出部は、例えば指向性制御部４１である。判定部は、例えば発話判定部３４である。分析部は、例えば音声分析部４５である。音声出力部は、例えばスピーカ装置３７である。変換部は、例えばプライバシー音変換部４６である。代替音は、例えばプライバシー音である。

これにより、音声処理装置は、プライバシー保護を図りつつ、発話者の感情を把握できる。例えば、発話の音声を代替音によって秘匿化でき、お客様ｈｍ１のプライバシー保護が担保される。また、音声処理装置は、発話された音声を一律にマスキングするのではなく、発話された音声に応じて代替音を使い分けるので、発話者の感情に応じた代替音を出力できる。よって、また、受付係ｈｍ２とお客様ｈｍ１の会話録を、トラブル事案としてクレーム発生時の振り返りや社内研修資料に使用しても、ユーザは、お客様ｈｍ１の感情の変化を推察できる。つまり、ユーザは、例えば、トラブル時にお客様ｈｍ１に対して従業員ｈｍ２がどのような対応をすると、お客様ｈｍ１が落ち着くのかを把握できる。

また、分析部は、発話の音声に対し、ピッチの変化、話速、音量及び滑舌の少なくとも１つ（複数の組み合わせを含む）を分析して、感情値を取得してもよい。

これにより、音声処理装置は、発話の音声に対し、様々な方法で音声分析できる。従って、ユーザは、お客様ｈｍ１の感情を適切に把握できる。

また、変換部は、感情値に応じて代替音の周波数を変更してもよい。

これにより、音声処理装置は、感情値に応じて異なる周波数のプライバシー音を出力できる。よって、ユーザは、お客様ｈｍ１の感情を適切に把握できる。

（第２の実施形態）
第１の実施形態では、音声分析部４５で音声分析を行った結果得られる感情値に対応する代替音を、プライバシー音として出力することを示した。第２の実施形態では、感情値に対応する顔アイコンを、カメラ装置ＣＡによって撮像される音声位置の映像の代わりに出力することを示す。

［構成等］
図７は、第２の実施形態におけるマイクアレイシステム１０Ａの構成を示すブロック図である。第２の実施形態のマイクアレイシステムは、第１の実施形態とほぼ同一の構成を有する。第１の実施形態と同一の構成要素については、同一の符号を用いることで、その説明を省略又は簡略化する。

マイクアレイシステム１０Ａは、第１の実施形態のマイクアレイシステム１０と同様の構成の他、音声分析部４５Ａ及び映像変換部６５を有する。

音声分析部４５Ａは、プライバシー音変換部４６を省き、プライバシー音ＤＢ４８Ａを有する。音声分析部４５Ａは、マイクアレイ装置ＭＡにより収音されたプライバシー保護エリアＰＲＡ内の音声を受けると、この音声を分析し、音声を発した人物の感情を感情値として取得する。この音声の分析では、プライバシー音ＤＢ４８Ａに登録された感情値テーブル４７が用いられる。

映像変換部６５は、顔アイコン変換部６６及び顔アイコンＤＢ６８を有する。映像変換部６５は、カメラ装置ＣＡによって撮像される音声位置の映像を、感情値に対応する代替画像（例えば顔アイコン）に変換する。顔アイコンＤＢ６８には、代替画像テーブル６７が記憶されている。

図８は代替画像テーブル６７の登録内容を示す模式図である。

代替画像テーブル６７には、感情値に対応する顔アイコンｆｍ（ｆｍ１，ｆｍ２，ｆｍ３，…）が登録されている。例えば、感情値が高くて「高」である場合、怒っているような表情を持つ顔アイコンｆｍ１に変換される。例えば、感情値が普通（中程度）で「中」である場合、穏やかな表情を持つ顔アイコンｆｍ２に変換される。例えば、感情値が低くて「低」である場合、笑っているような表情を持つ顔アイコンｆｍ３に変換される。

尚、図８では３つの登録例を示したが、任意の数の顔アイコンが感情値に対応するように登録されていてもよい。

顔アイコン変換部６６は、音声分析部４５Ａによる音声分析の結果、得られる感情値に対応する顔アイコンｆｍを、顔アイコンＤＢ６８内の代替画像テーブル６７から取得する。顔アイコン変換部６６は、カメラ装置ＣＡによって撮像される音声位置の映像に、取得された顔アイコンｆｍを重ねる。映像変換部６５は、顔アイコン変換後の画像データを出力制御部３５に送る。出力制御部３５は、顔アイコン変換後の画像データをディスプレイ装置３６に表示させる。

［動作等］
次に、マイクアレイシステム１０Ａの動作について説明する。ここでは、来店したお客様と受付係との会話を収音して音声出力する場合を一例として示す。

図９は、店舗の窓口に設置されたマイクアレイ装置ＭＡによって、受付係ｈｍ２とお客様ｈｍ１との会話が収音される状況を表す映像を示す模式図である。

図９の映像は、店舗内の天井に設置された固定カメラであるカメラ装置ＣＡによって撮像された撮像エリアＳＡが、ディスプレイ装置３６に映し出されている。例えば、受付係ｈｍ２がお客様ｈｍ１と対面するカウンタ１０１の真上に、マイクアレイ装置ＭＡが設置される。マイクアレイ装置ＭＡは、受付係ｈｍ２とお客様ｈｍ１との会話を含む、店舗内の音声を収音する。

お客様ｈｍ１が位置するカウンタ１０１は、プライバシー保護エリアＰＲＡに設定されている。プライバシー保護エリアＰＲＡは、例えば、ユーザが予めディスプレイ装置３６に表示された映像に対して、タッチ操作等で範囲を指定することで設定される。

図９の映像では、撮像エリアＳＡにおいて、お客様ｈｍ１が来店し、カウンタ１０１の前に設置されたプライバシー保護エリアＰＲＡに入っている状況が示されている。例えば、受付係ｈｍ２が「いらっしゃいませ」と挨拶をすると、その音声はスピーカ装置３７から出力される。また、例えば、お客様ｈｍ１が発した音声はスピーカ装置３７から「先日のトラブルの件」と出力される。発音内容は認識可能である。

一方、プライバシー保護エリアＰＲＡ内に立つ、お客様ｈｍ１の顔近傍（音声位置）には、怒っているような表情を持つ顔アイコンｆｍ１が描画されている。

これにより、ユーザは、発話内容を察知でき、顔アイコンｆｍ１からお客様ｈｍ１の感情を察知できる。一方、顔アイコンｆｍ１によってお客様ｈｍ１の顔は秘匿化（マスク）され、お客様ｈｍ１のプライバシー保護が担保される。

尚、受付係ｈｍ２とお客様ｈｍ１が発した発話の音声を表す吹き出しは、説明を分かり易くするために付加されたものである。

図１０は、マイクアレイ装置ＭＡで収音された音声に基づく顔アイコンを含む映像の出力手順を示すフローチャートである。この映像出力動作は、例えば、マイクアレイ装置ＭＡで収音された音声の音声データ及び画像データをレコーダＲＣに一旦記憶させた後に行われる。

尚、第１の実施形態と同一のステップ処理については、同一のステップ番号を付すことで、その説明を省略又は簡略化する。

Ｓ３では、音声位置がプライバシー保護エリアＰＲＡ内でない場合、出力制御部３５は、カメラ装置ＣＡで撮像された、顔画像を含む映像データをディスプレイ装置３６に出力する（Ｓ４Ａ）。この場合、出力制御部３５は、指向性形成済みの音声データをそのままスピーカ装置３７に出力する。この後、信号処理部３３は本動作を終了する。

Ｓ７で、発話の音声の感情値が「高」である場合、顔アイコン変換部６６は、代替画像テーブル６７に登録されている、感情値が「高」に対応する顔アイコンｆｍ１を読み出す。顔アイコン変換部６６は、読み出された顔アイコンｆｍ１を、カメラ装置ＣＡで撮像された映像データの顔画像（音声位置）に重畳することで、映像データを変換する（Ｓ８Ａ）。

尚、顔アイコン変換部６６は、カメラ装置ＣＡで撮像された映像データの顔画像（音声位置）を、読み出された顔アイコンｆｍ１に置換することで、映像データを変換してもよい（Ｓ８Ａ）。

出力制御部３５は、変換後の映像データをディスプレイ装置３６に出力する（Ｓ１１Ａ）。ディスプレイ装置３６は、顔アイコンｆｍ１を含む映像データを表示する。また、この場合、出力制御部３５は、指向性形成済みの音声データをそのままスピーカ装置３７に出力する。この後、信号処理部３３は本動作を終了する。

Ｓ７で、発話の音声の感情値が「中」である場合、顔アイコン変換部６６は、代替画像テーブル６７に登録されている、感情値が「中」に対応する顔アイコンｆｍ２を読み出す。顔アイコン変換部６６は、読み出された顔アイコンｆｍ２を、カメラ装置ＣＡで撮像された映像データの顔画像（音声位置）に重畳することで、映像データを変換する（Ｓ９Ａ）。

尚、顔アイコン変換部６６は、カメラ装置ＣＡで撮像された映像データの顔画像（音声位置）を、読み出された顔アイコンｆｍ２に置換することで、映像データを変換してもよい（Ｓ９Ａ）。

出力制御部３５は、Ｓ１１Ａで、変換後の映像データをディスプレイ装置３６に出力する。ディスプレイ装置３６は、顔アイコンｆｍ２を含む映像データを表示する。また、この場合、出力制御部３５は、指向性形成済みの音声データをそのままスピーカ装置３７に出力する。この後、信号処理部３３は本動作を終了する。

Ｓ７で、発話の音声の感情値が「低」である場合、顔アイコン変換部６６は、代替画像テーブル６７に登録されている、感情値が「低」に対応する顔アイコンｆｍ３を読み出す。顔アイコン変換部６６は、読み出された顔アイコンｆｍ３を、カメラ装置ＣＡで撮像された映像データの顔画像（音声位置）に重畳することで、映像データを変換する（Ｓ１０Ａ）。

尚、顔アイコン変換部６６は、カメラ装置ＣＡで撮像された映像データの顔画像（音声位置）を、読み出された顔アイコンｆｍ３に置換することで、映像データを変換してもよい（Ｓ１０Ａ）。

出力制御部３５は、Ｓ１１Ａで、変換後の映像データをディスプレイ装置３６に出力する。ディスプレイ装置３６は、顔アイコンｆｍ３を含む映像データを表示する。また、この場合、出力制御部３５は、指向性形成済みの音声データをそのままスピーカ装置３７に出力する。この後、信号処理部３３は本動作を終了する。

マイクアレイシステム１０Ａでは、ユーザは、例えばディスプレイ装置３６に表示されるお客様ｈｍ１の顔画像を視認し難くても、表示された顔アイコンｆｍの種類に基づいて、お客様ｈｍ１が怒っている等の感情を察することができる。

従って、例えば、受付係ｈｍ２とお客様ｈｍ１の会話録をトラブル事案として、振り返りや社内研修に使用したとしても、ユーザは、お客様ｈｍ１の顔画像が秘匿された状態で、お客様ｈｍ１の感情の変化を理解できる。

［効果等］
このように、音声処理装置では、取得部は、撮像部により撮像された撮像エリアＳＡの映像を取得し、収音部により収音された撮像エリアＳＡの音声を取得する。変換部は、音声位置の映像を感情値に対応する代替画像に変換する。出力制御部３５は、映像を表示する表示部に、代替画像を表示させる。

撮像部は、例えばカメラ装置ＣＡである。変換部は、例えば顔アイコン変換部６６である。代替画像は、例えば顔アイコンｆｍである。表示部は、例えばディスプレイ装置３６である。

また、本実施形態の画像処理装置は、撮像部により撮像された撮像エリアＳＡの映像と、収音部により収音された撮像エリアＳＡの音声を取得する取得部と、音声の音声位置を検出する検出部と、音声位置が前記プライバシー保護エリアＰＲＡ内である場合に、音声が発話の音声であるか否かを判定する判定部と、発話の音声を分析して感情値を取得する分析部と、音声位置の映像を感情値に対応する代替画像に変換する変換部と、映像を表示する表示部に、代替画像を表示させる出力制御部３５と、を備える。尚、画像処理装置は、例えば指向性制御装置３０である。

これにより、ユーザは、顔アイコンｆｍからお客様ｈｍ１の感情を察知できる。また、顔アイコンによってお客様ｈｍ１の顔を秘匿化（マスク）でき、お客様ｈｍ１のプライバシー保護が担保される。よって、音声処理装置は、プライバシー保護を図りつつ、発話者の感情を視覚的に把握できる。

また、変換部は、感情値に応じて、感情を示す異なる代替画像を表示させてもよい。

これにより、音声処理装置は、感情値に応じて異なる表情の顔アイコンｆｍ等を出力できる。よって、ユーザは、お客様ｈｍ１の感情を適切に把握できる。

（第３の実施形態）
第３の実施形態では、第１の実施形態におけるプライバシー音に変換する処理と、第２の実施形態における顔アイコンに変換する処理と、を組み合わせた場合を示す。

図１１は、第３の実施形態におけるマイクアレイシステム１０Ｂの構成を示すブロック図である。第１及び第２の実施形態と同一の構成要素については、同一の符号を用いることで、その説明を省略又は簡略化する。

マイクアレイシステム１０Ｂは、第１及び第２の実施形態と同様の構成を有し、音声分析部４５及び映像変換部６５の両方を有する。音声分析部４５及び映像変換部６５の構成及び動作は前述した通りである。

マイクアレイシステム１０Ｂでは、第１の実施形態及び第２の実施形態と同様、例えば、来店したお客様と受付係との会話を収音して音声出力し、お客様と受付係とが所在する撮像エリアを録画する場合を想定する。

図１２は、店舗の窓口に設置されたマイクアレイ装置ＭＡによって、受付係ｈｍ２とお客様ｈｍ１との会話が収音される状況を表す映像を示す模式図である。

図１２に示すディスプレイ装置３６に表示される映像では、お客様ｈｍ１が来店し、カウンタ１０１の前に設置されたプライバシー保護エリアＰＲＡに入っている状況が示される。例えば、受付係ｈｍ２が「いらっしゃいませ」と挨拶すると、その音声はスピーカ装置３７から出力される。また、例えば、お客様ｈｍ１も受付係ｈｍ２に話しかけるが、スピーカ装置３７から「ピー、ピー、ピー」とプライバシー音が出力される。

これにより、発話内容の秘匿性が担保される。また、マイクアレイシステム１０Ｂのユーザは、スピーカ装置３７から出力されるプライバシー音のピッチの変化等から、お客様ｈｍ１の感情を察知できる。

図１２の映像では、プライバシー保護エリアＰＲＡ内に立つ、お客様ｈｍ１の顔近傍（音声位置）には、怒っているような表情を持つ顔アイコンｆｍ１が配置される。

これにより、ユーザは、顔アイコンｆｍ１からお客様ｈｍ１の感情を察知できる。また、顔アイコンｆｍ１によってお客様ｈｍ１の顔が秘匿化（マスク）され、お客様ｈｍ１のプライバシー保護が担保される。

［効果等］
このように、マイクアレイシステム１０Ｂは、撮像エリアＳＡの映像を撮像する撮像部と、撮像エリアの音声を収音する収音部と、収音部により収音された音声の音声位置を検出する検出部と、音声位置がプライバシー保護エリアＰＲＡ内である場合に、音声が発話の音声であるか否かを判定する判定部と、発話の音声を分析して感情値を取得する分析部と、感情値に対応する変換処理を行う変換部と、変換処理の結果を出力させる出力制御部３５と、を備える。変換処理は、例えば、プライバシー音に変換する音声処理と、顔アイコンｆｍに変換する画像変換処理と、の少なくとも一方を含む。

これにより、マイクアレイシステム１０Ｂは、例えば、プライバシー音によってお客様ｈｍ１の発話内容が秘匿化され、顔アイコンｆｍによってお客様ｈｍ１の顔が秘匿化されるので、プライバシーを更に保護できる。上記の発話内容の秘匿化と顔の秘匿化とは、少なくとも一方が実施される。また、ユーザは、プライバシー音のピッチの変化や顔アイコンの種類によって、お客様ｈｍ１の感情を更に察知し易くなる。

（他の実施形態）
以上のように、本開示における技術の例示として、第１〜第３の実施形態を説明した。しかし、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、各実施形態を組み合わせてもよい。

第１，第３の実施形態では、マイクアレイ装置ＭＡで検出される音声の音声位置がプライバシー保護エリアＰＲＡ内である場合、撮像エリアＳＡで検出された音声をユーザに依存せずにプライバシー音に変換する処理を行うことを示した。この代わりに、プライバシー音への変換処理が、ユーザに依存して行われてもよい。プライバシー音への変換処理に限らず、顔アイコンの変換処理についても同様である。

例えば、指向性制御装置３０を操作するユーザが、一般ユーザである場合、プライバシー音への変換処理を行い、管理者等の権限のあるユーザである場合、プライバシー音への変換処理をしなくてもよい。いずれのユーザであるかは、例えば、指向性制御装置３０にログインする際のユーザＩＤ等によって判断されてもよい。

第１，第３の実施形態では、プライバシー音変換部４６は、感情値に対応するプライバシー音として、マイクアレイ装置ＭＡにより収音された音声の音声データに対してボイスチェンジ処理（加工処理）を施してもよい。

プライバシー音変換部４６は、ボイスチェンジ処理の一例として、例えば、マイクアレイ装置ＭＡにより収音された音声の音声データの周波数（ピッチ）の高低を変化させてもよい。つまり、プライバシー音変換部４６は、スピーカ装置３７から出力される音声の周波数を音声の内容が分かり難くなるような他の周波数に変更してもよい。

これにより、プライバシー保護エリアＰＲＡ内の音声の内容を認識し難くしつつ、ユーザは話者の感情を察することができる。また、プライバシー音ＤＢ４８に予めプライバシー音を複数保持することが不要となる。

このように、出力制御部３５は、マイクアレイ装置ＭＡにより収音され、加工処理された音声をスピーカ装置３７から出力させてもよい。これにより、プライバシー保護エリアＰＲＡ内に存在する被写体（例えば人物）のプライバシーを効果的に保護できる。

第１〜第３の実施形態では、出力制御部３５は、ユーザの指又はスタイラスペンによって画面上で指定された指定位置に対応する音声位置がプライバシー保護エリアＰＲＡに含まれる旨を、画面上でユーザに対して明示的に通知してもよい。

第１〜第３の実施形態では、音源位置や音源位置の方向がプライバシー保護エリアの範囲や方向にある場合、感情値に応じて音声や映像の少なくとも一部が、代替される別の音声、映像又は画像（代替出力又は変換処理の結果）に変換されることを例示した。この代わりに、プライバシー判断部４２は、収音された時間帯がプライバシー保護を必要とする時間帯（プライバシー保護時間）に含まれるか否かを判断してもよい。プライバシー保護時間に収音時間が含まれる場合に、プライバシー音変換部４６や顔アイコン変換部６６により、感情値に応じて音声や映像の少なくとも一部が変換されてもよい。

また、本開示の実施形態では、お客様ｈｍ１をプライバシー保護エリアＰＲＡに設定し、お客様ｈｍ１の発話から検出される感情値に応じて音声や映像の少なくとも一部が、代替される別の音声、映像又は画像に変換される例を示したが、逆に受付係ｈｍ２をプライバシー保護エリアに設定し、受付係ｈｍ２の発話から検出される感情値に応じて音声や映像の少なくとも一部が、代替される別の音声、映像又は画像に変換されてもよい。これにより、例えばトラブル事案としてクレーム発生時の振り返りや社内研修資料に使用する際に、受付係の顔をアイコンに変更することで、社員の特定を困難にするという効果が期待出来る。

さらに、本開示の実施形態では、マイクアレイ装置ＭＡ及び指向性制御装置３０を用いて、お客様ｈｍ１及び受付係ｈｍ２の発話を収音しているが、これらの代わりにお客様ｈｍ１及び受付係ｈｍ２それぞれの近傍に設置された複数のマイク（例えば指向性マイクなど）を用いて、それぞれの発話を収音してもよい。

本開示は、プライバシー保護を図りつつ、発話者の感情を察知できる音声処理装置、画像処理装置、マイクアレイシステム、及び音声処理方法等に有用である。

１０，１０Ａ．１０Ｂ マイクアレイシステム
２１ 筐体
２６ 加算器
３０ 指向性制御装置
３１ 通信部
３２ 操作部
３３ 信号処理部
３４ 発話判定部
３５ 出力制御部
３６ ディスプレイ装置
３７ スピーカ装置
３８ メモリ
３９ 設定管理部
３９ｚ メモリ
４１ 指向性制御部
４２ プライバシー判断部
４５，４５Ａ 音声分析部
４６ プライバシー音変換部
４７，４７Ａ，４７Ｂ，４７Ｃ，４７Ｄ 感情値テーブル
４８，４８Ａ プライバシー音データベース（ＤＢ）
４９ 代替音テーブル
６５ 映像変換部
６６ 顔アイコン変換部
６７ 代替画像テーブル
６８ 顔アイコンデータベース（ＤＢ）
８０ 音源
１０１ カウンタ
２４１，２４２，２４３，…，２４ｎ Ａ／Ｄ変換器
２５１，２５２，２５３，…，２５ｎ 遅延器
ＣＡ カメラ装置
ｆｍ，ｆｍ１，ｆｍ２，ｆｍ３ 顔アイコン
ｈｍ１ お客様
ｈｍ２ 受付係
ＮＷ ネットワーク
ＭＡ マイクアレイ装置
ＭＡ１，ＭＡ２，…，ＭＡｎ，ＭＢ１，ＭＢ２，…，ＭＢｎ マイクロホン
ＲＣ レコーダ
ＳＡ 撮像エリア

Claims (12)

1. 収音部により収音された音声を取得する取得ステップと、
   前記音声の音声位置を検出する検出ステップと、
   前記音声位置がプライバシー保護エリア内である場合に、前記音声が発話の音声であるか否かを判定する判定ステップと、
   前記発話の音声を分析して感情値を取得する分析ステップと、
   前記発話の音声を前記感情値に対応する前記発話の意味を認識できない代替音に変換する変換ステップと、
   前記音声を出力する音声出力部に、前記代替音を出力させる出力制御ステップと、
   を有する音声処理方法。
2. 請求項１に記載の音声処理方法であって、
   前記分析ステップは、前記発話の音声に対し、ピッチの変化、話速、音量及び滑舌の少なくとも１つを分析して、前記感情値を取得するステップを含む、音声処理方法。
3. 請求項２に記載の音声処理方法であって、
   前記分析ステップは、前記ピッチの変化の大きさに比例して感情値の高さを設定するステップを含む、
   音声処理方法。
4. 請求項２に記載の音声処理方法であって、
   前記分析ステップは、前記話速の速さに比例して感情値の高さを設定するステップを含む、
   音声処理方法。
5. 請求項２に記載の音声処理方法であって、
   前記分析ステップは、前記音量の大きさに比例して感情値の高さを設定するステップを含む、
   音声処理方法。
6. 請求項２に記載の音声処理方法であって、
   前記分析ステップは、前記滑舌の悪さに比例して感情値の高さを設定するステップ、を含む、
   音声処理方法。
7. 請求項１に記載の音声処理方法であって、
   前記取得ステップは、撮像部により撮像された撮像エリアの映像を取得し、前記収音部により収音された前記撮像エリアの音声を取得するステップを含み、
   前記変換ステップは、前記音声位置の前記映像を前記感情値に対応する代替画像に変換するステップを含み、
   前記出力制御ステップは、前記映像を表示する表示部に、前記代替画像を表示させるステップを含む、音声処理方法。
8. 請求項７に記載の音声処理方法であって、
   前記変換ステップは、前記感情値に応じて、感情を示す異なる代替画像を表示させるステップを含む、
   音声処理方法。
9. 撮像部により撮像された撮像エリアの映像と、収音部により収音された前記撮像エリアの音声を取得する取得ステップと、
   前記音声の音声位置を検出する検出ステップと、
   前記音声位置がプライバシー保護エリア内である場合に、前記音声が発話の音声であるか否かを判定する判定ステップと、
   前記発話の音声を分析して感情値を取得する分析ステップと、
   前記発話の音声を前記感情値に対応する前記発話の意味を認識できない代替音に変換し、前記音声位置の映像を前記感情値に対応する代替画像に変換する変換ステップと、
   前記音声を出力する音声出力部に、前記代替音を出力させ、前記映像を表示する表示部に、前記代替画像を表示させる出力制御ステップと、
   を有する画像処理方法。
10. 収音部により収音された音声を取得する取得部と、
    前記音声の音声位置を検出する検出部と、
    前記音声位置がプライバシー保護エリア内である場合に、前記音声が発話の音声であるか否かを判定する判定部と、
    前記発話の音声を分析して感情値を取得する分析部と、
    前記発話の音声を前記感情値に対応する前記発話の意味を認識できない代替音に変換する変換部と、
    前記音声を出力する音声出力部に、前記代替音を出力させる出力制御部と、
    を備える音声処理装置。
11. 撮像部により撮像された撮像エリアの映像と、収音部により収音された前記撮像エリアの音声を取得する取得部と、
    前記音声の音声位置を検出する検出部と、
    前記音声位置がプライバシー保護エリア内である場合に、前記音声が発話の音声であるか否かを判定する判定部と、
    前期発話の音声を分析して感情値を取得する分析部と、
    前記発話の音声を前記感情値に対応する前記発話の意味を認識できない代替音に変換し、前記音声位置の映像を前記感情値に対応する代替画像に変換する変換部と、
    前記音声を出力する音声出力部に、前記代替音を出力させ、前記映像を表示する表示部に、前記代替画像を表示させる出力制御部と、
    を備える画像処理装置。
12. 撮像エリアの映像を撮像する撮像部と、
    前記撮像エリアの音声を収音する収音部と、
    前記収音部により収音された前記音声の音声位置を検出する検出部と、
    前記音声位置がプライバシー保護エリア内である場合に、前記音声が発話の音声であるか否かを判定する判定部と、
    前記発話の音声を分析して感情値を取得する分析部と、
    前記感情値に対応する前記発話の意味を認識できない代替音に変換する変換部と、
    前記変換部による処理の結果を出力させる出力制御部と、
    を備える、マイクアレイシステム。

Images