JP7259447B2 - 発話者検出システム、発話者検出方法及びプログラム - Google Patents

Description

本発明は、発話者検出システム、発話者検出方法及びプログラムに関する。

近年、会議等において、言葉を発している人物（以下「発話者」という。）を検出する方法が知られている。

例えば、テレビ会議システムが、まず、会議室内にいる、発話者を含む参加者をカメラ等で撮像する。そして、撮像された画像データに基づいて、テレビ会議システムは、それぞれの参加者の顔画像を抽出する。次に、テレビ会議システムは、顔画像における口唇部分の動作を検出することで発話者を特定する。このようにして、発話者を特定して選択的に画像を撮像する方法が知られている（例えば、特許文献１参照）。

しかしながら、従来の方法では、画像データに口唇部分が写っていないと、発話者の検出が難しい場合がある。例えば、人物がマスクを装着していたり、口唇部分を手で隠す癖等があったりすると、口唇部分が遮蔽され、画像データに、口唇部分が写らない場合がある。このような場合には、口唇の動作を検出して発話者を検出するのが難しい場合がある。

本発明の一態様は、口唇の動作で発話者を検出するのが難しい場合であっても、発話者を検出することを目的とする。

本発明の一実施形態による、発話者を検出する発話者検出システムは、
前記発話者を含む複数の参加者を撮像して画像データを生成する撮像部と、
前記画像データに基づいて、口唇の動作を検出して前記発話者を検出する第１検出部と、
前記第１検出部で前記発話者が検出できない場合に、前記画像データに基づいて、前記参加者の動き又は外観を検出して前記発話者を検出する第２検出部と
を備え、
前記第２検出部は、
前記参加者のうち、前記口唇が遮蔽されている外観の第１人物を検出し、かつ、前記第１人物となる人物以外が前記発話者でないと検出されると、前記第１人物を前記発話者と検出することを特徴とする。

本発明の実施形態によって、口唇の動作で発話者を検出するのが難しい場合であっても、発話者を検出できる。

発話者検出システムの全体構成例及び使用例を示す概略図である。 電子黒板のハードウェア構成例を示す図である。 全体処理例を示すフローチャートである。 第１人物の検出例を示す図である。 第２人物の検出例を示す図である。 第３人物の検出例を示す図である。 第１実施形態における発話者検出システムの機能構成例を示す機能ブロック図である。 第２実施形態における発話者検出システムの機能構成例を示す機能ブロック図である。 第３実施形態における全体処理例を示すフローチャートである。

以下、発明を実施するための最適な形態について、図面を参照して説明する。

＜第１実施形態＞
＜発話者検出システムの全体構成例及び使用例＞
発話者検出システムは、例えば、複数の参加者が会議室等に集まって話し合い等をする場面等において、以下のように設置して使用される。なお、設置場所は、会議室に限られず、他の部屋等でもよい。

図１は、発話者検出システムの全体構成例及び使用例を示す概略図である。例えば、発話者検出システム１０は、図示するように、撮像装置の例であるカメラ１と、カメラ１と有線又は無線で接続する情報処理装置の例である電子黒板２とを有する構成である。

カメラ１は、参加者である第１参加者ＭＡ、第２参加者ＭＢ及び第３参加者ＭＣが撮像できる画角及び設置位置であるのが望ましい。例えば、カメラ１は、３６０ °の範囲が撮像できる画角を有する。このように、カメラ１は、１８０ °以上の広角な範囲を撮像できる光学系であるのが望ましい。このような広角な範囲を撮像できる撮像装置であると、画像データに参加者が漏れなく撮像できる確率を高くできる。

なお、撮像装置は、複数でもよい。また、撮像装置は、図示するような会議室の真ん中となる配置でなくともよい。すなわち、撮像装置は、部屋の端等に設置され、全体を撮像できるように調整されてもよい。

カメラ１は、静止画像又は動画像である画像データを電子黒板２に送信する。そして、電子黒板２は、例えば、画像データに基づいて、会議の様子等を表示する等の処理を行う。なお、電子黒板２は、画像データをクラウド上又は記憶装置等に保存してもよい。

＜電子黒板の例＞
図２は、電子黒板のハードウェア構成例を示す図である。図示するように、電子黒板２は、ＣＰＵ２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)２０３、ＳＳＤ２０４、ネットワークＩ／Ｆ２０５、及び、外部機器接続Ｉ／Ｆ２０６を備える。

これらのうち、ＣＰＵ２０１は、電子黒板２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ（Ｉｎｉｔｉａｌ Ｐｒｏｇｒａｍ Ｌｏａｄｅｒ）等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、電子黒板用のプログラム等の各種データを記憶する。ネットワークＩ／Ｆ２０５は、通信ネットワークで外部機器と通信を行うためのインターフェースである。ネットワークコントローラは、通信ネットワークとの通信を制御する。外部機器接続Ｉ／Ｆ２０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ２３０、外付け機器（マイク２４０、スピーカ２５０、カメラ１）である。

また、電子黒板２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、及び近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２及び選択スイッチ類２２３を備える。

これらのうち、キャプチャデバイス２１１は、外付けのＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２７０のディスプレイに対して映像情報を静止画又は動画として表示させる。ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ２８０等へ出力するために画面表示の制御及び管理を行う。接触センサ２１４は、ディスプレイ２８０上に電子ペン２９０やユーザの手Ｈ等が接触したことを検知する。センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ２８０の上側両端部に設置された２つ受発光装置が、ディスプレイ２８０に平行して複数の赤外線を放射し、ディスプレイ２８０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は、電子ペン２９０と通信することで、ディスプレイ２８０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ又はＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ２２２は、電子黒板２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、ディスプレイ２８０の表示の明暗や色合い等を調整するためのスイッチ群である。

更に、電子黒板２は、バスライン２１０を備えている。バスライン２１０は、図２に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン２９０のペン先及びペン尻だけでなく、電子ペン２９０のユーザが握る部分、又は、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

なお、情報処理装置は、電子黒板でなくともよい。例えば、情報処理装置は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）又はサーバ等でもよい。

＜全体処理例＞
図３は、全体処理例を示すフローチャートである。例えば、会議が開始されると、発話者検出システムは、例えば、以下のような処理を行う。

＜画像データの生成例＞（ステップＳ１Ｓ）
発話者検出システムは、参加者を撮像して画像データを生成する。なお、ステップＳ１Ｓによって撮像する画像を１ フレームとすると、発話者検出システムは、ステップＳ１Ｅにより、繰り返し画像データを生成し、複数のフレームを生成する。また、ステップＳ２Ｓ以降の処理は、それぞれのフレームに対して行われる。

＜人物の検出例＞（ステップＳ２Ｓ）
発話者検出システムは、画像データに基づいて、人物を検出する。すなわち、発話者検出システムは、画像データに対して、顔認証等の処理を行うと、参加者を検出することができる。なお、人物の検出方法は、顔認証に限られず、他の認識処理等で実現してもよい。

また、発話者検出システムは、ステップＳ２Ｅにより、それぞれのフレームに対して、繰り返し人物を検出する処理を行う。以下、ステップＳ３乃至ステップＳ６は、ステップＳ２Ｓで検出される人物ごとに繰り返し行われる。

＜人物の動きの検出例＞（ステップＳ３）
発話者検出システムは、人物の動きを検出する。例えば、発話者検出システムは、オプティカルフロー等の処理で人物の動きを検出する。なお、動きの検出方法は、他の認識処理等で実現してもよい。

＜視線の検出例＞（ステップＳ４）
発話者検出システムは、視線を検出する。例えば、発話者検出システムは、参加者の目を示す画像等から視線を検出する。なお、視線の検出方法は、他の認識処理等で実現してもよい。このように、発話者検出システムは、視線を検出して、参加者のうち、どの人物に最も視線が集まっているかを検出するのが望ましい。すなわち、それぞれの参加者の視線を検出することで、発話者検出システムは、視線の先となる回数が最も多い人物を特定する処理を行うのが望ましい。

＜口唇の検出例＞（ステップＳ５）
発話者検出システムは、口唇を検出する。例えば、発話者検出システムは、顔認証等の処理を行うと、顔の主な部位である、目、鼻、口唇及び耳等を検出できる。

＜口唇の動作の検出例＞（ステップＳ６）
発話者検出システムは、口唇の動作を検出する。例えば、発話者検出システムは、ステップＳ５で検出する口唇をフレーム間で追跡していくと、口唇の動作を検出できる。

＜口唇の動作で発話者が検出できたか否かの判断例＞（ステップＳ７）
発話者検出システムは、口唇の動作で発話者が検出できたか否かを判断する。具体的には、ステップＳ５及びステップＳ６で口唇が検出できない場合等には、発話者検出システムは、口唇の動作で発話者が検出できないと判断する（ステップＳ７でＮＯ）。

次に、口唇の動作で発話者が検出できないと判断すると（ステップＳ７でＮＯ）、発話者検出システムは、ステップＳ９に進む。一方で、口唇の動作で発話者が検出できると判断すると（ステップＳ７でＹＥＳ）、発話者検出システムは、ステップＳ８に進む。

＜口唇の動作が検出できた人物を発話者と検出する例＞（ステップＳ８）
発話者検出システムは、口唇の動作が検出できた人物を発話者と検出する。すなわち、発話者検出システムは、口唇が動いている人物を発話者と検出する。

＜口唇が遮蔽されている外観の第１人物を検出できたか否かの判断例＞（ステップＳ９）
発話者検出システムは、口唇が遮蔽されている外観の人物（以下「第１人物」という場合がある。）を検出できたか否かを判断する。具体的には、以下のような人物が検出される。

図４は、第１人物の検出例を示す図である。以下、図示するような画像データＩＭＧが生成された例で説明する。すなわち、この例は、図１に示すように、３ 人の参加者ＭＥＭである、第１参加者ＭＡ、第２参加者ＭＢ及び第３参加者ＭＣがいる会議を撮像した例である。また、図示するように、参加者ＭＥＭのうち、第２参加者ＭＢは、マスクＭＳＫを装着しているとする。

第２参加者ＭＢのように、マスクＭＳＫ等によって、口唇が遮蔽されている外観の人物は、第１人物と検出される。一方で、第１参加者ＭＡ及び第３参加者ＭＣは、口唇がステップＳ５で検出される人物の例である。

なお、第１人物と検出する場合は、マスクＭＳＫの装着に限られない。例えば、発話者検出システムは、マスクＭＳＫ以外の物体で口唇が遮蔽されている人物を第１人物と検出してもよい。具体的には、第１人物は、手で鼻等を触る動きで口唇が遮蔽されていてもよい。ほかにも、第１人物は、撮像装置との位置関係等により、口唇が検出できない方向を向いている人物又は逆光等で画像では顔が分かりにくい人物等でもよい。

第１参加者ＭＡ及び第３参加者ＭＣが発話者である場合は、口唇の動作が検出できるため、発話者検出システムは、口唇の動作で発話者が検出できる（ステップＳ７でＹＥＳ）。

一方で、第２参加者ＭＢが発話者である場合は、発話者検出システムは、口唇の動作では、発話者が検出できない（ステップＳ７でＮＯ）。

そこで、第２参加者ＭＢのような第１人物が検出でき、かつ、第１人物以外の人物が発話者でないと検出されると、発話者検出システムは、第２参加者ＭＢを発話者と推定する。なお、このような方法は、第１人物と検出する人物が１ 人である場合に用いられるのが望ましい。

次に、第１人物を検出できたと判断すると（ステップＳ９でＹＥＳ）、発話者検出システムは、ステップＳ１０に進む。一方で、第１人物を検出できないと判断すると（ステップＳ９でＮＯ）、発話者検出システムは、ステップＳ１１に進む。

＜第１人物を発話者と検出する例＞（ステップＳ１０）
発話者検出システムは、第１人物を発話者と検出する。すなわち、発話者検出システムは、口唇が遮蔽されている人物を発話者と検出する。

＜参加者のうち、最も動きのある第２人物を検出できたか否かの判断例＞（ステップＳ１１）
発話者検出システムは、参加者のうち、最も動きのある人物（以下「第２人物」という。）を検出できたか否かの判断する。すなわち、発話者検出システムは、参加者の中で最も動きのある人物を発話者と検出する。

例えば、第１人物と検出される人物が以下のように複数検出された場合等に、ステップＳ９が行われるのが望ましい。

図５は、第２人物の検出例を示す図である。この例では、まず、第２参加者ＭＢは、図４と同様に、マスクの装着によって、口唇が遮蔽されているため、第１人物と判断される。

そして、この例では、第１参加者ＭＡは、電子黒板２がある方向を見て発話しているとする。すなわち、カメラ１に対して、第１参加者ＭＡは、背を向けた姿勢等である。

そのため、画像データは、第１参加者ＭＡの口唇が遮蔽されているのと同様に、第１参加者ＭＡの口唇が写っていない状態である。したがって、第１参加者ＭＡ及び第２参加者ＭＢがどちらも第１人物となり、発話者が１ 人に特定できない場合である。

このような場合等には、発話者検出システムは、参加者のうち、最も動きのある人物を検出する。この例では、第１参加者ＭＡが第２人物と検出される例である。

発話者は、話を聞いている者より、ジェスチャが多い可能性が高い。すなわち、発話者は、身振り手振りを行いながら発話する場合が多い。したがって、発話者検出システムは、参加者のうち、最も動きのある人物を第２人物と検出するのが望ましい。

なお、動きの検出を行うのにおいて、対象となる部位は、手Ｈの部位であるのが望ましい。会議等では、参加者の上半身が撮像される対象となる場合が多い。また、発言中は、手Ｈの部位が最もよく動く部位となる場合が多い。そこで、手Ｈを対象とすると、発話者検出システムは、発話者を精度よく検出できる。なお、手Ｈの部位には、腕等が含まれてもよい。

＜第２人物を発話者と検出する例＞（ステップＳ１２）
発話者検出システムは、第２人物を発話者と検出する。すなわち、発話者検出システムは、最も動きのある人物を発話者と検出する。

＜参加者の視線が最も集まる第３人物を発話者と検出する例＞（ステップＳ１３）
発話者検出システムは、参加者のうち、参加者の視線が最も集まる人物（以下「第３人物」という。）を検出して発話者と検出する。例えば、以下のように、第１人物と検出される人物が複数検出され、かつ、参加者の動きにあまり差がなく、第２人物が特定しにくい場合等に、ステップＳ１３が行われるのが望ましい。

図６は、第３人物の検出例を示す図である。この例では、まず、第１参加者ＭＡ、第２参加者ＭＢ及び第３参加者ＭＣのいずれもが、図４と同様に、マスクの装着によって、口唇が遮蔽されているため、第１人物と判断される。

さらに、図示する例では、第１参加者ＭＡ、第２参加者ＭＢ及び第３参加者ＭＣのいずれもが、あまり動かない場合であるとする。したがって、参加者の動きにあまり差がなく、第２人物が特定されない状態である。

発話者は、話を聞いている者が視線を向けることが多いため、発話者に視線が最も集まる場合が多い。そこで、発話者検出システムは、参加者のうち、参加者の視線が最も集まる人物を特定し、第３人物と検出する。そして、発話者検出システムは、第３人物を発話者と検出する。

このようにすると、図示するように、第１人物が複数検出され、かつ、第２人物が検出できない場合等であっても、発話者検出システムは、発話者を検出できる。

なお、ステップＳ９、ステップＳ１１及びステップＳ１３は、図示するような順序でなくともよい。具体的には、第２人物の検出処理と第３人物の検出処理は、順序が逆でもよい。

＜機能構成例＞
図７は、第１実施形態における発話者検出システムの機能構成例を示す機能ブロック図である。例えば、図示するように、発話者検出システム１０は、撮像部１０Ｆ１、第１検出部１０Ｆ２及び第２検出部１０Ｆ３を備える機能構成である。

撮像部１０Ｆ１は、発話者を含む複数の参加者を撮像して画像データＩＭＧを生成する撮像手順を行う。例えば、撮像部１０Ｆ１は、カメラ１等によって実現する。

第１検出部１０Ｆ２は、画像データＩＭＧに基づいて、口唇の動作を検出して発話者を検出する第１検出手順を行う。例えば、第１検出部１０Ｆ２は、ＣＰＵ２０１等で実現する。

第２検出部１０Ｆ３は、第１検出部１０Ｆ２で発話者が検出できない場合に、画像データＩＭＧに基づいて、参加者の動き又は外観を検出して発話者を検出する第２検出手順を行う。例えば、第２検出部１０Ｆ３は、ＣＰＵ２０１等で実現する。

口唇の動作を検出して発話者を検出する方法であると、例えば、人物がマスクを装着していたり、口唇部分を手で隠す癖等があったりすると、口唇部分が遮蔽され、画像データに口唇部分が写らない場合等がある。このような場合には、口唇の動作に基づいて、発話者を検出するのが難しい場合が多い。一方で、本実施形態のような構成であると、発話者検出システム１０は、口唇の動作を用いる第１検出では難しい場合でも、参加者の動き又は外観に基づく第２検出によって発話者を検出できる。

また、このように、画像データを用いる構成は、例えば、マイクアレイ等で発話者を検出する方法等と比較すると、精度よく発話者を検出できる。具体的には、マイクアレイ等の方法では、発話者がいると推定する角度が検出されるに過ぎず、同じ角度に複数の参加者がいるような場合には、区別ができない場合が多い。一方で、本実施形態のような構成であると、発話者検出システム１０は、発話者を検出できる。

＜第２実施形態＞
発話者検出システムは、例えば、以下のように、検出結果を利用した処理を行ってもよい。

図８は、複数の認識モデルを用いる音声認識処理等の例を示すブロック図である。第２実施形態は、第１実施形態と比較すると、発話者の検出結果を利用して後段で処理を行う構成である点が異なる。具体的には、発話者検出システム１０は、例えば、後段で音声認識処理等を行う。ゆえに、発話者検出システム１０は、第１実施形態と比較すると、第２実施形態では、音声入力部１０Ｆ２１、切替部１０Ｆ２２及び音声認識部１０Ｆ２３等を更に備える機能構成である。以下、第１実施形態と異なる点を中心に説明し、重複する説明を省略する。

音声入力部１０Ｆ２１は、音声を入力して音声データを生成する音声入力手順を行う。例えば、音声入力部１０Ｆ２１は、マイク２４０等で実現する。

切替部１０Ｆ２２は、発話者の特性に合うように、認識モデルを切り替える切替手順を行う。例えば、切替部１０Ｆ２２は、ＣＰＵ２０１等で実現する。

音声認識部１０Ｆ２３は、認識モデルに基づいて、音声認識をする音声認識手順を行う。例えば、音声認識部１０Ｆ２３は、ＣＰＵ２０１等で実現する。

発話者検出システム１０は、音声認識処理によって、例えば、音声を変換してテキストデータＴＸを生成する。そこで、音声認識には、発話者の特性、すなわち、発話者の年齢又は性別に合わせて、カテゴリごとに生成される複数の認識モデルＭＬ１、ＭＬ２及びＭＬ３を適用させるのが望ましい。このように、発話者の特性に合わせて、認識モデルを切り替えると、発話者検出システム１０は、音声認識における認識率を向上させることができる。

認識モデルＭＬ１、ＭＬ２及びＭＬ３は、例えば、あらかじめ準備されるデータ等である。また、認識モデルＭＬ１、ＭＬ２及びＭＬ３は、例えば、音響モデル又は言語モデル等のように、様々な種類があってもよい。さらに、認識モデルＭＬ１、ＭＬ２及びＭＬ３は、例えば、個別に準備されてもよい。すなわち、過去の発話等に基づいて、参加者ごとに、認識モデルＭＬ１、ＭＬ２及びＭＬ３のように、認識モデルが準備されてもよい。

また、後段に行う処理は、音声認識に限られない。例えば、発話者検出システム１０は、入力した音声を参加者ごとに、タグ付けする処理等でもよい。

＜第３実施形態＞
全体処理は、以下のような処理でもよい。

図９は、第３実施形態における全体処理例を示すフローチャートである。第１実施形態と比較すると、第３実施形態では、ステップＳ３１が加わる点が異なる。以下、異なる点を中心に説明する。

＜発話者が複数人検出されたか否かの判断例＞（ステップＳ３１）
発話者検出システムは、発話者が複数人検出されたか否かを判断する。例えば、口唇の動作で検出すると、発話していなくとも、発話者検出システムは、物を噛む等の動作を行い、口唇を動かす人物がいると、発話者と検出する場合がある。そこで、発話者が複数であるような検出結果である場合には、発話者と検出された複数の人物を対象に、ステップＳ１１及びステップＳ１３等の処理を行うことで、１ 人に特定する処理を行うのが望ましい。

すなわち、複数の発話者候補のうち、発話者検出システムは、最も動きのある人物又は最も視線が集まる人物等を発話者と検出する。

このような構成であると、発話者検出システムは、物を噛む等の動作を行う人物がいても、発話者を精度よく検出できる。

＜その他の実施形態＞
なお、撮像装置及び情報処理装置は、複数の装置であってもよい。すなわち、本発明に係る実施形態は、発話者検出システムは、各処理及びデータの記憶を冗長、分散、並列、仮想化又はこれらを組み合わせて実行してもよい。

また、撮像装置及び情報処理装置は、上記の例に限られない。例えば、撮像装置及び情報処理装置は、外部又は内部に演算装置、制御装置又は記憶装置を更に有してもよい。一方で、撮像装置及び情報処理装置は、上記の例より、少ない部品で構成するハードウェア構成でもよい。

なお、本発明に係る各処理の全部又は一部は、低水準言語又は高水準言語で記述され、コンピュータに発話者検出方法を実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、発話者検出システム等のコンピュータに各処理を実行させるためのコンピュータプログラムである。

したがって、プログラムに基づいて発話者検出方法が実行されると、コンピュータが有する演算装置及び制御装置は、各処理を実行するため、プログラムに基づいて演算及び制御を行う。また、コンピュータが有する記憶装置は、各処理を実行するため、プログラムに基づいて、処理に用いられるデータを記憶する。

また、プログラムは、コンピュータが読み取り可能な記録媒体に記録されて頒布することができる。なお、記録媒体は、磁気テープ、フラッシュメモリ、光ディスク、光磁気ディスク又は磁気ディスク等のメディアである。さらに、プログラムは、電気通信回線を通じて頒布することができる。

また、各処理には、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）等が用いられてもよい。つまり、発話者検出システムは、過去のデータを学習データとして機械学習等を行う。例えば、この学習結果によって、発話者検出システムは、発話者の検出又は音声の認識等を推測する等の処理を行ってもよい。

以上、実施形態における一例について説明したが、本発明は、上記実施形態に限定されない。すなわち、本発明の範囲内で種々の変形及び改良が可能である。

１ カメラ
２ 電子黒板
１０ 発話者検出システム
１０Ｆ１ 撮像部
１０Ｆ２ 第１検出部
１０Ｆ２１ 音声入力部
１０Ｆ２２ 切替部
１０Ｆ２３ 音声認識部
１０Ｆ３ 第２検出部
２０５ ネットワークＩ／Ｆ
２１０ バスライン
２１１ キャプチャデバイス
２１３ ディスプレイコントローラ
２１４ 接触センサ
２１５ センサコントローラ
２１６ 電子ペンコントローラ
２１９ 近距離通信回路
２１９ａ アンテナ
２２２ 電源スイッチ
２２３ 選択スイッチ類
２３０ ＵＳＢメモリ
２４０ マイク
２５０ スピーカ
２８０ ディスプレイ
２９０ 電子ペン
Ｈ 手
ＩＭＧ 画像データ
ＭＡ 第１参加者
ＭＢ 第２参加者
ＭＣ 第３参加者
ＭＥＭ 参加者
ＭＬ１ 認識モデル
ＭＬ２ 認識モデル
ＭＬ３ 認識モデル
ＭＳＫ マスク
ＴＸ テキストデータ

特開２００４－１１８３１４号公報

Claims (6)

1. 発話者を検出する発話者検出システムであって、
   前記発話者を含む複数の参加者を撮像して画像データを生成する撮像部と、
   前記画像データに基づいて、口唇の動作を検出して前記発話者を検出する第１検出部と、
   前記第１検出部で前記発話者が検出できない場合に、前記画像データに基づいて、前記参加者の動き又は外観を検出して前記発話者を検出する第２検出部と
   を備え、
   前記第２検出部は、
   前記参加者のうち、前記口唇が遮蔽されている外観の第１人物を検出し、かつ、前記第１人物となる人物以外が前記発話者でないと検出されると、前記第１人物を前記発話者と検出する発話者検出システム。
2. 発話者を検出する発話者検出システムであって、
   前記発話者を含む複数の参加者を撮像して画像データを生成する撮像部と、
   前記画像データに基づいて、口唇の動作を検出して前記発話者を検出する第１検出部と、
   前記第１検出部で前記発話者が検出できない場合に、前記画像データに基づいて、前記参加者の動き又は外観を検出して前記発話者を検出する第２検出部と
   を備え、
   前記第２検出部は、
   前記参加者のうち、最も動きのある第２人物を検出すると、前記第２人物を前記発話者と検出する発話者検出システム。
3. 発話者を検出する発話者検出システムであって、
   前記発話者を含む複数の参加者を撮像して画像データを生成する撮像部と、
   前記画像データに基づいて、口唇の動作を検出して前記発話者を検出する第１検出部と、
   前記第１検出部で前記発話者が検出できない場合に、前記画像データに基づいて、前記参加者の動き又は外観を検出して前記発話者を検出する第２検出部と
   を備え、
   前記第２検出部は、
   前記参加者の視線が最も集まる第３人物を前記発話者と検出する発話者検出システム。
4. 発話者を検出する発話者検出システムであって、
   前記発話者を含む複数の参加者を撮像して画像データを生成する撮像部と、
   前記画像データに基づいて、口唇の動作を検出して前記発話者を検出する第１検出部と、
   前記第１検出部で前記発話者が検出できない場合に、前記画像データに基づいて、前記参加者の動き又は外観を検出して前記発話者を検出する第２検出部と、
   前記発話者を検出すると、前記発話者の特性に合う認識モデルに切り替える切替部と、
   前記認識モデルに基づいて音声認識を行う音声認識部と
   を備える発話者検出システム。
5. 発話者を検出する発話者検出システムが行う発話者検出方法であって、
   発話者検出システムが、前記発話者を含む複数の参加者を撮像して画像データを生成する撮像手順と、
   発話者検出システムが、前記画像データに基づいて、口唇の動作を検出して前記発話者を検出する第１検出手順と、
   発話者検出システムが、前記第１検出手順で前記発話者が検出できない場合に、前記画像データに基づいて、前記参加者の動き又は外観を検出して前記発話者を検出する第２検出手順と、
   前記発話者を検出すると、前記発話者の特性に合う認識モデルに切り替える切替手順と、
   前記認識モデルに基づいて音声認識を行う音声認識手順と
   を含む発話者検出方法。
6. 請求項５に記載の発話者検出方法をコンピュータに実行させるためのプログラム。

Images