JP6664249B2 - 議事録作成システム - Google Patents

Description

この発明は、議事録を自動的に作成する議事録作成システムに関し、特に、議事進行中に所定ワードを含む発言の有無を監視する議事録作成システムに関する。

従来、議事録を自動的に作成することを目的として様々なシステムが開発されている。例えば特許文献１には、会議中に録音した音声をテキスト化して自動的に議事録を作成する装置が開示されている。この装置では、会議における重要発言をテキスト化したテキストメモを関連付けて議事録を作成する。テキストメモの内容や前後のテキストメモとの関係が不明瞭である場合には、録音された音声を確認してテキストメモの修正や削除を行うことができる。

また、特許文献２には、音声認識技術を利用して会議中に録音した音声をテキスト化して議事録を作成する装置が開示されている。この装置では、必要に応じて音声を再生して確認し、作成した議事録の内容を編集することができる。また、特許文献３にも音声認識技術を利用して議事録を作成する装置が開示されている。この装置では、録音した音声と、この音声を認識してテキスト化した内容とを関連付けて記憶しており、発言内容を確認するために議事録に係る音声を検索して再生する作業を容易に行うことができる。

特開平８−１９４４９２号公報 特開２００１−３２５２５０号公報 特開２００４−２７９８６０号公報

しかしながら、上記従来技術では、議事録作成後に発言を確認するだけで議事進行中の発言をリアルタイムに確認することができない。例えば、議事進行中に発言すべきでない内容がある場合に、議事終了後の議事録で問題発言を検出しても対応が困難な場合がある。

本発明は、上述した従来技術による問題点を解消するためになされたもので、議事録を自動作成すると共に、議事進行中に所定ワードを含む発言の有無を監視することができる議事録作成システムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、複数人の会話の内容を記録した議事録を作成する議事録作成システムであって、複数人全員の音声を取得するマイクと、議事録を作成するためのワードが予め登録されたワードデータを保存するための記憶部と、前記マイクで取得した各人の発言を音声認識する認識部と、前記認識部で認識した各発言に前記ワードが含まれるか否かを監視する監視部と、前記監視部で前記ワードを検出した発言を記録して議事録を作成する議事録作成部とを備え、前記ワードデータには、議事進行役による発言を義務付けた必須ワードが含まれることを特徴とする。

また、本発明は、上記発明において、前記ワードデータには、議事進行役による発言を禁止した禁止ワードが含まれ、前記監視部は、前記認識部が認識した各発言を監視して、前記禁止ワードを検出した場合に、これを報知する報知処理を実行することを特徴とする。

また、本発明は、上記発明において、前記ワードデータには、議事録に記録する発言を選択するための監視ワードが含まれることを特徴とする。

また、本発明は、上記発明において、議事録確認装置をさらに備え、前記監視部は、前記議事進行役の発言から前記禁止ワードを検出すると前記議事録確認装置でこれを報知することを特徴とする。

また、本発明は、上記発明において、前記議事進行役が利用する議事録作成支援装置をさらに備え、前記監視部は、前記議事進行役の発言から前記必須ワードを検出したか否かを示す情報を前記議事録作成支援装置に表示することを特徴とする。

また、本発明は、上記発明において、前記ワードデータでは、議事の内容別かつ議事進行の段階別に前記必須ワードを登録可能であることを特徴とする。

また、本発明は、上記発明において、前記認識部は、複数人の中から各発言の発言者を認識して、前記議事録作成部は、議事進行役が前記禁止ワードを含む発言をした場合には該発言を議事録に記録して、前記議事進行役が前記監視ワード又は前記必須ワードを含む発言をした場合には、該発言と該発言を受けて行われた他の参加者の発言とを含む一連の会話を前記議事録に記録することを特徴とする。

また、本発明は、上記発明において、前記議事録作成部は、各発言を、各発言の発言者を特定する情報と共に議事録へ記録することを特徴とする。

また、本発明は、上記発明において、複数人全員を撮像するカメラをさらに備え、前記認識部は、前記マイクで取得した音声の方向と、前記カメラで取得した各人の映像とに基づいて各発言の発言者を認識することを特徴とする。

また、本発明は、上記発明において、前記カメラで撮像した映像が前記記憶部に保存され、前記議事録作成部は、議事録に記録した発言の発言時に前記カメラで撮像した映像を、前記記憶部から呼び出して再生するためのリンクを生成して議事録に貼り付けることを特徴とする。

また、本発明は、上記発明において、前記議事録作成部は、前記カメラによって複数人全員を撮像した画像を議事録に貼り付けることを特徴とする。

また、本発明は、複数人の会話の内容を記録した議事録を作成する議事録作成システムであって、複数人全員の音声を取得するマイクと、議事録を作成するためのワードが予め登録されたワードデータを保存するための記憶部と、前記マイクで取得した各人の発言を音声認識する認識部と、前記認識部で認識した各発言に前記ワードが含まれるか否かを監視する監視部と、前記監視部で前記ワードを検出した発言を記録して議事録を作成する議事録作成部と、各人の位置及び深度を認識するための深度センサを含むカメラとを備え、前記議事録作成部は、前記カメラで検出した各人の離席及び着席に係る情報を議事録に記録することを特徴とする。

また、本発明は、上記発明において、各人の位置及び深度を認識するための深度センサを含むカメラをさらに備え、前記監視部は、前記カメラで議事進行役の離席を検出してから所定時間内に前記議事進行役の着席を検出しない場合に、これを報知する報知処理を実行することを特徴とする。

また、本発明は、上記発明において、前記議事録作成部は、発言から検出されたワードに基づいて、各発言を内容別に議事録に記録することを特徴とする。

本発明に係る議事録作成システムによれば、議事進行役が会議中に発言すべき内容を必須ワードとして予めワードデータに登録しておいて、必須ワードを含む発言が行われたか否かの監視を行いながら、議事録を作成することができる。

図１は、議事録作成システムの設置状態を説明するための模式図である。 図２は、議事録作成システムの機能構成概略を示すブロック図である。 図３は、議事録作成処理の流れを示すフローチャートである。 図４は、第１段階で表示される議事録作成支援装置の画面例を示す図である。 図５は、第２段階で表示される議事録作成支援装置の画面例を示す図である。 図６は、第３段階で表示される議事録作成支援装置の画面例を示す図である。 図７は、第４段階で表示される議事録作成支援装置の画面例を示す図である。 図８は、ワードデータの例を示す図である。 図９は、映像データ及び音声データと議事録に記録する情報との関係を示す模式図である。 図１０は、議事録作成部が作成した議事録の例を示す図である。

以下に、添付図面を参照して、本発明に係る議事録作成システムについて詳細に説明する。議事録作成システムは、商談、折衝、交渉、会議等、複数人が所定の議事について発言する場において、議事進行を監視しながら、議事に関する発言内容を記録した議事録を作成する機能を有する。議事録作成システムは様々な場で利用可能であるが、以下では、保険に関する商談を行う場合を例に議事録作成システムについて具体的に説明する。

議事録作成システムの概要を説明すると、議事録作成システムでは、会議に参加する全員の音声及び映像を取得して、予め設定された所定ワードを含む発言を検出すると共に、この発言の発言者を特定して、議事に関連する発言の内容を記録した議事録を作成する。また、議事進行役の発言に含まれるワードを監視して議事進行役を支援する。具体的には、議事進行役の発言から検出したワードに基づいて議事に関連する発言を抽出して議事録に記録する。また、議事進行役による不適切な発言を検出するためのワードを禁止ワードに設定して、議事進行役が禁止ワードを含む発言を行ったか否かを監視する。そして、議事進行役の発言から禁止ワードを検出すると、すぐに議事進行役本人や管理者にこれを報知するので、発言の訂正、撤回、謝罪等の対応を取ることができる。また、議事進行役が会議への参加者に伝えるべき内容を検出するためのワードを必須ワードとして設定して、議事進行役が必須ワードを含む発言を行ったか否かを監視する。そして、議事進行役が利用する端末に監視結果を表示するので、議事進行役は、端末上の表示を確認しながら議事を進行することができる。

まず、図１及び図２を参照しながら議事録作成システムの構成について説明する。図１は、議事録作成システムの設置状態を説明するための模式図である。図２は、議事録作成システムの機能構成概略を示すブロック図である。議事録作成システムは、カメラ１０ａ及びマイク１０ｂを含む情報取得装置１０、議事録作成支援装置２０、議事録作成装置３０、及び議事録確認装置４０を含んで構成される。これらの各装置は、ネットワーク５０を介して通信可能に接続されている。

図１に示すように、保険商品を提案する担当者１と、提案を受ける顧客２とが商談を行う商談エリアで、担当者１及び顧客２の両方を撮像可能な位置に情報取得装置１０が設置されている。なお、会議で言えば担当者１が議事進行役に該当し、顧客２が会議への参加者に該当する。

担当者１及び顧客２の口元を撮像できるように、商談エリアの天井で、カメラ１０ａによって担当者１及び顧客２の顔を斜め上方向から撮像する位置に、情報取得装置１０が設置されている。情報取得装置１０は、ステレオマイクやアレイマイク等から成るマイク１０ｂを利用して、担当者１及び顧客２の両方の発言を録音する。また、情報取得装置１０は、カメラ１０ａを利用して、担当者１及び顧客２の両方を撮像した映像を録画する。カメラ１０ａで撮像される映像は、カラーの可視光静止画像を抽出可能な形式の動画像で音声を含んでいる。

情報取得装置１０で取得した音声及び映像は、議事録作成装置３０に入力される。議事録作成装置３０では、マイク１０ｂで取得した音声と、カメラ１０ａによって取得した映像とに基づいて、各発言の内容及び発言者を認識する。すなわち、議事録作成システムでは、議事進行役及び会議参加者全員の音声及び映像を取得すると共に、各人の発言を特定して、発言内容を認識することができる。ただし、会議参加者の人数が多く、全員の音声を区別できない場合には、少なくとも議事進行役の音声を、他の参加者の音声と区別して取得するようになっている。

議事録作成支援装置２０は、タッチパネル式の液晶表示部を含むコンピュータ装置から成り、担当者１によって操作可能な位置に設置されている。具体的には、商談エリアで商談を行うテーブルの上に、表示画面を担当者１の方へ向けた状態で設置される。担当者１は、議事録作成支援装置２０の画面上に表示された情報を確認すると共に、画面上に表示されたボタンを操作するなどして議事録作成支援装置２０に情報を入力することができる。

議事録確認装置４０は、コンピュータ装置から成り、議事録作成装置３０で作成された議事録を画面上に表示して確認するために利用される。議事録確認装置４０は、商談エリアが設けられた部屋とは別の部屋に設置されている。例えば、担当者１を管理する管理者３の居室に設置され、管理者３は、議事録確認装置４０を利用して、過去の商談について作成された議事録や、商談時に記録した音声や映像を確認することができる。また、管理者３は、議事録確認装置４０を利用して、商談エリアの音声や映像を情報取得装置１０で取得してリアルタイムに確認したり、進行中の商談について作成中の議事録を確認したりすることもできる。また、進行中の商談で、議事録作成装置３０が禁止ワードを検出した場合には、議事録確認装置４０で音や光を発する報知処理が実行され、管理者３がリアルタイムに禁止ワードの検出を認識できるようになっている。同様に、議事録作成装置３０で特定事象が検出された場合も、これを議事録確認装置４０で報知できる。

議事録作成装置３０は、コンピュータ装置から成り、認識部３１、監視部３２、議事録作成部３３及び記憶部３４を有している。記憶部３４は、ハードディスクや半導体メモリ等の不揮発性の記憶装置から成り、映像データ３４ａ、音声データ３４ｂ、ワードデータ３４ｃ及び議事録データ３４ｄの保存に利用される。

映像データ３４ａは、情報取得装置１０のカメラ１０ａで撮像した映像（動画像）や静止画像を保存したデータである。音声データ３４ｂは、情報取得装置１０のマイク１０ｂで取得した音声を保存したデータである。議事録データ３４ｄは、議事録作成装置３０で作成した議事録を保存したデータである。

ワードデータ３４ｃには、商談の進行を監視して議事録を作成するために、単語、単語と助詞の組合せ、単語と助動詞の組合せ等が、ワードとして予め登録されている。ワードデータ３４ｃでは、各ワードを、禁止ワード、必須ワード又は監視ワードとして登録することができる。禁止ワードとは、担当者１による発言が禁止されている発言を検出するためのワードである。必須ワードとは、担当者１が発言しなければならない内容、すなわち担当者１が顧客２へ伝えなければならない内容を検出するためのワードである。監視ワードとは、議事内容とは無関係な発言を除外して、議事内容と関連する発言のみを抽出して議事録へ記録するためのワードである。

また、記憶部３４には、担当者１が顧客２に提案可能な各商品に関する情報も保存されている。担当者１は、顧客２に商品を提案する際に、議事録作成支援装置２０の画面上に、商品に関する情報を表示して確認できるようになっている。また、記憶部３４は、この他にも、以下に説明する議事録作成システムの各機能及び動作に必要なプログラムやデータの保存に利用される。

認識部３１は、カメラ１０ａで映像を取得して、マイク１０ｂで音声を取得する機能を有する。カメラ１０ａで得られた映像は映像データ３４ａとして記憶部３４に保存され、マイク１０ｂで得られた音声は音声データ３４ｂとして記憶部３４に保存される。

また、認識部３１は、音声認識技術を利用して、マイク１０ｂで取得した音声をテキスト化する機能を有する。さらに、認識部３１は、情報取得装置１０で取得した映像及び音声に基づいて、商談エリアにおける担当者１及び顧客２の位置を認識して、テキスト化した各発言の発言者を認識する機能を有する。

商談エリアで担当者１が着席する位置と顧客２が着席する位置とが予め決められている場合は、認識部３１は、着席位置に基づいて、カメラ１０ａで撮像した映像上で担当者１及び顧客２の位置を認識する。着席位置が決められていない場合は、認識部３１は、カメラ１０ａによって撮像した映像上で、担当者１の特徴を検出することにより、担当者１と顧客２の位置を認識する。例えば、担当者１が着ている制服、担当者１が身につけている名札やＩＤカード等を画像上で検出することにより、担当者１の位置を認識する。また、例えば、商談を行う担当者１の顔や音声に係る情報を予め取得しておいて、顔認識や声紋認識によって担当者１の位置を認識する。また、例えば、商談を行う担当者１の氏名に係る情報を予め取得しておいて、商談開始時に、顧客２に対して氏名を名乗った担当者１の位置を認識する。また、各人の着席位置を認識するために、赤外線カメラ等を利用する態様であってもよい。

商談エリアにおける各人の位置を認識した認識部３１は、マイク１０ｂによって音声が得られた方向、カメラ１０ａによって担当者１及び顧客２を撮像した映像で音声が得られた際に口元が動いている人物を特定した情報等を利用して、各発言の発言者を認識する。認識部３１が認識した発言内容及び発言者に関する情報は、監視部３２及び議事録作成部３３に入力される。すなわち、発言をテキスト化した内容と、この発言の発言者が担当者１であるか顧客２であるかを示す情報とが監視部３２及び議事録作成部３３に入力される。

認識部３１は、この他、カメラ１０ａで取得した映像及びマイク１０ｂで取得した音声に基づいて、特定事象の発生を認識する。例えば、認識部３１は、担当者１の離席を特定事象として認識する。また、認識部３１は、予め設定された音圧レベルを超える音声が取得された場合や、担当者１が予め定められた所定の動きをした場合にも、これを特定事象として認識する。特定事象が検出されると、議事録作成装置３０では、特定事象に応じて予め設定された処理が実行される。具体的には、担当者１の離席を検出すると、これを特定事象として検出して議事録に記録する。そして、離席してから所定時間が経過しても担当者１が戻らず、担当者１の着席を検出できない場合には、議事録確認装置４０で音や光を発してこれを報知する。また、商談エリアで担当者１又は顧客２が大声を上げた場合や、顧客２が担当者１に武器を突き付けるなどして声を出せない状況で担当者１が顧客２に分からないように所定のジェスチャを行った場合は、これを特定事象として検出して、議事録確認装置４０で音や光を発して特定事象の発生を報知する。特定事象発生の報知を受けた管理者３は、商談エリアの状況を確認して所定の措置を取ることができる。

監視部３２は、認識部３１で認識された発言内容及び発言者と、記憶部３４に予め準備されているワードデータ３４ｃとに基づいて、商談の進行を監視する機能を有する。具体的には、監視部３２は、必須ワードを議事録作成支援装置２０に表示して、担当者１が必須ワードとして登録された内容の説明を行ったか否かを監視する。また、監視部３２は、担当者１が必須ワードに係る説明を終えたか否かを確認できるように、議事録作成支援装置２０の画面上の情報を更新する。これにより、担当者１は、重要事項を忘れずに顧客２に説明することができる。

例えば、入院保険の給付金支払が入院連続５日以上に限定されている場合に、「入院連続５日以上」のワードを、入院保険に係る必須ワードとして予めワードデータ３４ｃに登録しておく。この結果、担当者１が入院保険について説明する際に、監視部３２が、議事録作成支援装置２０の画面上に「入院連続５日以上」の文字を表示する。表示を確認した担当者１は、これを忘れずに顧客２に伝えることができる。また、担当者１が必須ワードを含む発言を行うと、これを検出した監視部３２が、画面上の必須ワードを消去するなどして画面表示を更新する。これにより、１つの商品について複数の必須ワードが登録されている場合も、担当者１は、画面表示を確認しながら順に全ての必須ワードに係る説明を行うことができる。

また、監視部３２は、担当者１が禁止ワードを含む発言をしたことを検出すると、これを示す情報をすぐに議事録作成支援装置２０の画面上に表示する。リアルタイムに報知を受けた担当者１は、発言の訂正や顧客２への謝罪等の対応を取ることができる。また、監視部３２は、商談中の担当者１が禁止ワードを含む発言をすると、すぐに議事録確認装置４０で管理者３にこれを報知する。リアルタイムに報知を受けた管理者３は、作成中の議事録、記録された音声や映像等を議事録確認装置４０で確認して、商談中の担当者１を呼び出す等の対応を取ることができる。

監視部３２は、禁止ワード、必須ワード、監視ワードを含む発言を検出すると、検出結果を議事録作成部３３に通知する。議事録作成部３３は、ワードが検出された発言と、この発言に関する情報とを議事録に記録する。

また、監視部３２は、顧客２に提案する商品を選択するために担当者１が顧客２の要望を聴取している間、担当者１の発言を監視して、発言に含まれる所定ワードを検出すると、このワードに関連する商品の情報を議事録作成支援装置２０の画面上に表示して担当者１を支援する。例えば、保険の種類について話している間に、監視部３２が「入院」というワードを検出すると、監視部３２は、入院保険を含む商品の情報を議事録作成支援装置２０の画面上に表示する。

議事録作成部３３は、認識部３１で認識された発言内容及び発言者と、監視部３２によるワードの検出結果とに基づいて、議事録を作成する機能を有する。議事録作成部３３は、監視部３２によるワードの検出結果に基づいて、担当者１と顧客２の間で行われた会話の中から、雑談等を除いて、商談に関する発言内容のみを議事録に記録する。具体的には、担当者１と顧客２の間で行われる会話の中には世間話等の雑談も含まれるが、禁止ワード、必須ワード、監視ワードのいずれも含まない発言を議事録への記録対象から除外して、商談に関する発言のみを議事録への記録対象とすることができる。

議事録作成部３３は、議事録に発言を記録する際に、各発言の発言者を示す情報を記録する。また、議事録作成部３３は、商談エリアの担当者１及び顧客２を撮像した画像と、議事録に記録した発言が含まれる音声及び映像にリンクしたアイコンとを議事録に貼り付ける。記憶部３４には、商談中の全ての映像を記録した映像データ３４ａと、商談中の全ての音声を記録した音声データ３４ｂとが保存されるが、議事録に貼り付けられたリンクアイコンを利用して、議事録に記録した発言を録音した音声や映像を再生できるようになっている。

次に、議事録作成システムによって議事録を作成する議事録作成処理の流れについて詳細を説明する。図３は、議事録作成処理の流れを示すフローチャートである。議事録を作成するため、監視部３２は、記憶部３４のワードデータ３４ｃに予め登録されている必須ワード、禁止ワード及び監視ワードを認識する（ステップＳ１）。認識部３１は、担当者１又は顧客２が発言すると、発言をテキスト化するための音声認識を行う（ステップＳ２）。認識部３１は、発言をテキスト化したデータと、この発言の発言者を示す情報とを監視部３２に入力する。これを受けて、監視部３２は、議事進行役である担当者１の発言に含まれる各ワードについて、図３に示すステップＳ３〜Ｓ５に示す判定処理を実行する。

まず、監視部３２は、担当者１の発言に含まれるワードが必須ワードと一致するか否かを判定する（ステップＳ３）。そして、両者が一致すると、監視部３２は、必須ワードを検出したと判定して（ステップＳ３；Ｙｅｓ）、検出結果を議事録作成部３３に通知する。通知を受けた議事録作成部３３は、この必須ワードを含む発言と、必須ワードに係る情報とを議事録に記録する（ステップＳ６）。

担当者１の発言に含まれるワードが必須ワードと一致しない場合（ステップＳ３；Ｎｏ）、続いて監視部３２は、このワードが禁止ワードと一致するか否かを判定する（ステップＳ４）。両者が一致すると、監視部３２は、禁止ワードを検出したと判定して（ステップＳ４；Ｙｅｓ）、発言について警告するための報知を行う（ステップＳ７）。具体的には、議事録作成支援装置２０及び議事録確認装置４０で、担当者１が禁止ワードを含む発言をしたことを報知する。また、監視部３２は、禁止ワードを検出したことを議事録作成部３３へ通知する。通知を受けた議事録作成部３３は、この禁止ワードを含む発言と、禁止ワードに係る情報とを議事録に記録する（ステップＳ６）。

担当者１の発言に含まれるワードが禁止ワードと一致しない場合（ステップＳ４；Ｎｏ）、続いて監視部３２は、このワードが監視ワードと一致するか否かを判定する（ステップＳ５）。両者が一致すると、監視部３２は、監視ワードを検出したと判定して（ステップＳ５；Ｙｅｓ）、検出結果を議事録作成部３３へ通知する。通知を受けた議事録作成部３３は、この監視ワードを含む発言と、監視ワードに係る情報とを議事録に記録する（ステップＳ６）。

このように、議事録には、担当者１が、必須ワード、禁止ワード、監視ワードの少なくともいずれか１つを含む発言をした場合に、この発言をテキスト化した内容が記録される。担当者１による発言と顧客２による発言とを区別して、商談の進行役である担当者１の発言に基づいて議事録を作成することにより、商談に無関係な発言を除外して効率良く議事録を作成することができる。なお、議事録には、この他、担当者１の発言を受けて行われた顧客２の発言や発言時刻等の情報も記録されるが詳細は後述する。

担当者１の発言に含まれるワードが監視ワードと一致しない場合（ステップＳ５；Ｎｏ）、このワードに係る判定処理を終えた監視部３２は、担当者１の発言に含まれる全てのワードについて、ステップＳ３〜Ｓ５に示す判定処理を終えたか否かを判定する（ステップＳ８）。同様に、必須ワード、禁止ワード、又は監視ワードを検出して議事録への情報記録を行った場合も（ステップＳ６）、続いて、全てのワードについて判定処理を終えたか否かを判定する処理が行われる（ステップＳ８）。

そして、判定処理中の担当者１の発言の中に、未判定のワードが残っている場合（ステップＳ８；Ｎｏ）、監視部３２は、判定対象を未判定のワードに変更して（ステップＳ９）、このワードについてステップＳ３〜Ｓ５の判定処理を実行する。一方、判定処理中の発言に含まれる全てのワードについて判定処理を終えた場合には（ステップＳ８；Ｙｅｓ）、続いて、監視部３２は、担当者１の発言から全ての必須ワードを検出したか否かを判定する（ステップＳ１０）。

担当者１の発言から全ての必須ワードが検出されていない場合は（ステップＳ１０；Ｎｏ）、処理を継続して、担当者１が新たな発言を行うと、判定対象をこの発言に変更して（ステップＳ１１）、認識部３１がこの発言に含まれる各ワードを認識する（ステップＳ２）。そして、監視部３２が、この発言に含まれる各ワードについてステップＳ３〜Ｓ５の判定処理を実行する。こうして、担当者１が、商品について顧客２に説明するよう設定されている全ての内容を説明して全ての必須ワードが検出されるまで、担当者１が発言する度に、この発言に含まれる各ワードを認識して判定する処理が繰り返し実行される。

担当者１の発言から全ての必須ワードが検出されると（ステップＳ１０；Ｙｅｓ）、続いて、監視部３２は、会議、すなわち商談が、終了したか否かを判定する（ステップＳ１２）。商談が終了していない場合は（ステップＳ１２；Ｎｏ）、処理が継続される。そして、担当者が新たな商品について説明を開始した場合には、再び、この商品について予め設定されている必須ワード、禁止ワード及び監視ワードを認識して（ステップＳ１）、全ての必須ワードを検出するまで処理を継続する。

一方、商談が終了した場合には（ステップＳ１２；Ｙｅｓ）、議事録作成処理を終了する。例えば、認識部３１が、カメラ１０ａで取得した画像に基づいて、担当者１及び顧客２の両方が商談エリアから退出したことを認識すると、この認識結果が監視部３２へ入力され、監視部３２が商談終了と判定して処理を終了する。また、担当者１が、議事録作成支援装置２０で所定ボタンを押す手動操作を行った場合も、監視部３２は、商談終了と判定して処理を終了する。

議事録作成システムでは、議事進行を複数段階に分けて、各段階で図３に示す議事録作成処理を実行することができる。以下、議事進行役である担当者１が、第１段階〜第４段階の順で商談を進行するものとして具体的に説明する。

監視部３２は、情報取得装置１０のカメラ１０ａ及びマイク１０ｂを利用して商談エリア内の変化を監視している。商談エリア内に担当者１及び顧客２が進入して、図１に示すように２人が着席すると、議事録作成装置３０は、カメラ１０ａで得られた映像の記録及びマイク１０ｂで得られた音声の記録を開始すると共に、商談進行の監視を開始する。ただし、映像及び音声に基づいて自動的に動作を開始する態様に限定されるものではなく、担当者１による所定の手動操作を受けて動作を開始する態様であってもよい。例えば、担当者１が、議事録作成支援装置２０の画面で所定の手動操作を行ったことを受けて議事録作成装置３０が商談進行の監視を開始する態様であってもよい。

議事録作成システムでは、議事進行の監視を開始すると同時に、各段階で議事進行役を支援するための動作を開始する。商談を開始すると、議事録作成支援装置２０の画面上には、第１段階で担当者１を支援するための情報が表示される。

図４は、第１段階で表示される議事録作成支援装置２０の画面例を示す図である。画面上部には、現在日時１０１と、音声及び映像を記録中であることを示す情報１０２とが表示される。また、画面上には、これから行う商談の第１段階〜第４段階の各段階１０３の概要が表示され、現在進行中の段階１０３ａが、文字色や背景色を変えたりハイライト表示したりするなどして他と区別可能に表示される。図４に示す画面は、第１段階１０３ａの概要をハイライト表示して、担当者１の自己紹介や商談に関する注意事項等を説明する第１段階であることを示している。

画面下部には、第１段階の必須ワードが説明必須事項１０４として表示される（図８参照）。図４に示す画面を確認した担当者１は、説明必須事項１０４の表示内容から、顧客２に対して自身の氏名を伝えると共に、音声録音等について顧客２に説明する必要があることを認識する。

担当者１が氏名を名乗る発言を行うと、認識部３１はマイク１０ｂで得られた担当者１の発言を音声認識技術によって認識してテキスト化して、監視部３２へ入力する。監視部３２は、担当者１による発言の中に、担当者１の氏名が含まれていることを検出すると、必須ワードを検出したものとして、これを議事録作成部３３に通知する。通知を受けた議事録作成部３３は、担当者１の氏名を議事録に記録する。

図１０は、議事録作成部３３が作成した議事録の例を示す図である。図１０（ａ）は議事録の１頁目を示し、図１０（ｂ）は議事録の２頁目を示している。議事録作成部３３は、監視部３２が検出したワードに応じた内容を議事録に記録する。例えば、監視部３２が、担当者１の氏名を検出すると、議事録作成部３３は、図１０（ａ）に示すように、議事録に担当者１の氏名２０２を記録する。また、担当者１が音声録音等に係る説明を行った場合は、議事録作成部３３は、これを示す情報２０１を議事録に記録する。一方、第２段階以降、議事録作成部３３は、担当者１が発言した時刻及び発言内容２０３と、担当者１の発言を受けて行われた顧客２の発言内容２０４とを、一連の会話として議事録に記録する。議事録では、発言内容を示すテキストが、監視部３２が検出したワード２０３ａに下線を付した状態で記録される。また、一連の会話を構成する各発言内容２０３、２０４は、発言者を示す情報と共に記録される。図１０（ａ）に示す例では、１４時２２分の担当者１の発言で、監視ワードとして登録されている「保険」というワード２０３ａが検出されたため（図８参照）、担当者１の発言内容２０３と、この発言を受けて顧客２が発言した発言内容２０４とが一連の会話として記録されたことを示している。

監視部３２は、担当者１の発言の中に必須ワードが含まれていることを検出すると、担当者１が、検出済の必須ワードと未検出の必須ワードとを区別できるように、議事録作成支援装置２０の画面表示を更新する。具体的には、図４に示すように、担当者１が、自身の氏名を発言したことを受けて、担当者氏名を示す必須ワードの上に取消線１０５が追加される。同様に、担当者１が、商談の音声録音等が行われることを顧客２に説明した際に、担当者１の発言から「音声」及び「録音」の２つのワードから成る必須ワードを検出すると、画面上の対応する必須ワード上に取消線が追加されることになる。なお、複数ワードから成る必須ワードは「＆（アンド）」の記号を利用して設定するが詳細は後述する。また、図４では、説明の便宜上、検出済みの必須ワードに取消線を追加する態様を示したが、検出済みの必須ワードを説明必須事項１０４の枠内から削除して、未検出の必須ワードのみを画面上に表示する態様であってもよい。

担当者１による発言から、第１段階について登録された全ての必須ワードを検出すると、監視部３２は、第１段階で担当者１が顧客２へ説明しなければならない事項全ての説明が終了したと判定して、議事録作成支援装置２０の画面表示を第２段階の表示へ更新する。

図５は、第２段階で表示される議事録作成支援装置２０の画面例を示す図である。第２段階に移行すると、図５に示すように第１段階のチェックボックス１１１にチェックが入り、第２段階の概要がハイライト表示される。第２段階は、担当者１が、顧客２の要望を聴き取って、顧客２へ提案する商品を決定する段階である。

図５に示すように、第２段階の表示画面上には、監視部３２が担当者１の発言から検出したワードが検出ワード１１２として表示される。また、商品情報１１３として、検出ワード１１２と関連する商品の情報が表示される。

第２段階に入ると、顧客２へ提案する商品の選択を支援するため、監視部３２は、担当者１の発言の中に、商品毎に予め設定されている所定ワードが含まれるか否かを確認する。そして、所定ワードが含まれていた場合には、これを検出ワード１１２として表示すると共に、検出したワードに関連する商品情報１１３を表示する。具体的には、例えば「がん」というワードが検出されると、これを検出ワード１１２として表示すると共に、がんに関する保険商品の種類と、各商品の概要とを商品情報１１３として表示する。また、「入院」や「死亡」のワードが検出されると、同様に、これらのワードが検出ワード１１２に追加され、入院やがんに関する保険商品に関する情報が、商品情報１１３に追加される。

なお、第２段階で検出するワードの種類と、各ワードを検出した際に表示する商品情報１１３は、予め記憶部３４で設定できるようになっている。また、担当者１が、商品情報１１３に表示された商品以外の商品を顧客２に提案したい場合には、画面上の商品呼出ボタン１１４を押して、商品情報を呼び出し、商品情報１１３に追加表示させることも可能となっている。

担当者１は、画面を確認しながら、顧客２の要望を聴き取って提案商品を決定する。例えば、医療保険Ａ及び医療保険Ｂの２つの保険商品を顧客２に提案し、各商品の詳細を説明することを決定すると、担当者１は、図５に示す商品情報１１３の医療保険Ａ及び医療保険Ｂを選択した後、商品決定ボタン１１５を押す。商品決定ボタン１１５を押すと、第２段階を終了して第３段階へ進む。

図６は、第３段階で表示される議事録作成支援装置２０の画面例を示す図である。第３段階に移行すると、図６に示すように、第２段階のチェックボックス１２１にチェックが入り、第３段階の概要がハイライト表示される。第３段階は、担当者１が、第２段階で顧客２への提案商品として決定した複数の商品について詳細を説明する段階である。

第３段階に入ると、第２段階で選択した選択商品１２２が画面上に表示される。また、説明必須事項１２３として、選択商品１２２のそれぞれについて予め登録されている第３段階の必須ワード１２３ａ、１２３ｂが画面上に表示される。このように、必須ワードは段階別かつ商品別に設定することができるが（図８参照）、詳細は後述する。

なお、顧客２に説明を行っている間に、第２段階で選択した選択商品１２２以外に、詳細説明する商品を追加することになった場合、担当者１は、画面上の追加ボタン１２２ａを押して商品を追加することができる。商品を追加した場合には、説明必須事項１２３に、追加商品の必須ワードが追加されることになる。また、商品の選択をやめる場合には、選択商品１２２の商品名を押して商品を選択して削除することもできる。商品を削除した場合には、説明必須事項１２３から必須ワードが削除される。

図６に示す画面を確認した担当者１は、第３段階では、選択商品１２２として表示された医療保険Ａ及び医療保険Ｂのそれぞれについて、説明必須事項１２３として表示された内容を説明しなければならないことを認識する。

担当者１が各商品の説明を行う間、認識部３１が担当者１の各発言を認識して、監視部３２が各発言に含まれる各ワードの判定処理を実行する。監視部３２は、担当者１が医療保険Ａについて説明する発言の中に、医療保険Ａについて登録された必須ワード１２３ａが含まれていることを検出すると、図６に示すように、対応する必須ワード上に取消線１２３ｃを追加する。このように、監視部３２が、必須ワードの検出結果に応じて表示画面を更新して、検出済みの必須ワードと未検出の必須ワードとを区別可能に表示することにより、担当者１は、各商品について顧客２に説明しなければならない内容を漏れなく説明することができる。

また、担当者１が禁止ワードを含む発言をした場合には、これを検出した監視部３２が、画面上に禁止ワード１２４を表示する。これにより、担当者１は、禁止ワードを含む発言をしたことを認識して、発言の訂正や顧客２への謝罪等の対応を取ることができる。また、禁止ワードの検出は、管理者３が利用する議事録確認装置４０でも報知される。報知を受けた管理者３は、商談について作成中の議事録を議事録確認装置４０に表示して、担当者１の発言を記録したテキスト（図１０（ａ）の符号２０９参照）の確認、発言時に記録した音声（図１０（ａ）の符号２１０参照）の再生確認等を行って、必要な対応を取ることができる。

監視部３２が、担当者１の発言から、図６に示す全ての必須ワード１２３ａ、１２３ｂを検出して、担当者１による説明必須事項１２３の説明が終了したと判定すると、第３段階を終了して第４段階へ移行可能な状態となる。画面上に表示されている説明必須事項１２３の表示内容から、必須ワードに係る全ての説明を終えたことを確認した担当者１は、第４段階での説明対象となる商品を選択した後、第３段階終了ボタン１２５を押して第４段階へ移行する。具体的には、顧客２に対して医療保険Ａの詳細を説明することになった場合、担当者１は、画面上で「医療保険Ａ」と表示されている表示部分を押して選択した後、第３段階終了ボタン１２５を押して第４段階へ移行する。

商品の種類を選択して、第４段階への移行を指示する操作が行われると、監視部３２は、第４段階へ移行可能な状態であるか否かを確認する。監視部３２が移行不可能と判定した場合には、第４段階へは移行せず、移行不可能である理由が画面上に表示される。

具体的には、担当者１が医療保険Ａを選択して第４段階へ移行しようとした際に、医療保険Ａについて第３段階で説明するよう設定されている説明必須事項１２３全ての必須ワード１２３ａが検出されていない場合は、監視部３２は、第４段階への移行は不可能であると判定する。そして、監視部３２は、担当者１に対して、未検出の必須ワード１２３ａに係る説明を行うよう指示する情報を画面上に表示する。これを受けて、担当者１が、説明していなかった必須ワード１２３ａに係る説明を行うと、この必須ワード１２３ａを検出した監視部３２が第４段階へ移行可能な状態になったと判定し、第４段階へ移行する。

なお、担当者１が第３段階終了ボタン１２５を押した際に、監視部３２が、第４段階へ移行可能であると判定した場合には、すぐに第４段階へ移行する。また、第３段階で、例えば顧客２が資料を一旦持ち帰って検討することになった場合には、画面上の商談終了ボタン１２６を押して商談を終了することもできる。

図７は、第４段階で表示される議事録作成支援装置２０の画面例を示す図である。第４段階に移行すると、図７に示すように、第３段階のチェックボックス１３１にチェックが入り、第４段階の項目がハイライト表示される。第４段階は、担当者１が、第３段階で複数商品の中から選択した１つの商品について、より詳細に説明する段階である。

第４段階に入ると、第３段階で選択した選択商品について予め登録されている第４段階の必須ワードが詳細説明必須事項１３４として画面上に表示される。担当者１は、画面を確認しながら、商品について必須ワードに係る説明を行う。ここでも、第３段階と同様に、認識部３１が担当者１の発言を認識して、監視部３２が必須ワードの有無を判定する処理を行い、必須ワードを検出すると、詳細説明必須事項１３４の対応する項目上に取消線を追加する。

また、監視部３２が禁止ワードを検出すると、これが画面上に表示される。具体的には、例えば、担当者１が「お客様が死んだ場合…」と発言すると、禁止ワードとして登録されている「死んだ」のワードを検出した監視部３２が、図７に示すように、検出した禁止ワード１３５を表示する。また、監視部３２は、禁止ワード１３５の枠内を点滅表示するなどして、禁止ワード１３５が検出されたことを担当者１に報知する。これを受けて、禁止ワード１３５の検出を認識した担当者１は、発言の訂正や謝罪等の対応を取る。また、禁止ワードの検出は、管理者３が利用する議事録確認装置４０でも報知されるので、管理者３は、担当者１の発言内容を確認して必要な対応を取ることができる。

なお、第４段階で担当者１が医療保険Ａについて説明を続けるうちに、顧客２へ他の商品を提案することになった場合、担当者１は、画面上の個別商品変更ボタン１３２を押して、第４段階の説明対象とする商品を変更することができる。商品を変更した場合には、詳細説明必須事項１３４が変更後の商品に関する設定内容に変更されることになる。

医療保険Ａについて詳細説明必須事項１３４の全てを説明した後、担当者１は、シミュレーションボタン１３３を押して、シミュレーション画面を呼び出すことができる。シミュレーションボタン１３３が押されると、監視部３２は、シミュレーション可能な状態であるか否かを確認する。監視部３２がシミュレーション不可能と判定した場合には、シミュレーション画面は表示されず、シミュレーションを実行できない理由が画面上に表示される。

具体的には、担当者１がシミュレーションボタン１３３を押してシミュレーションを実行しようとした際に、医療保険Ａについて第４段階で説明するよう設定されている詳細説明必須事項１３４全ての必須ワードが検出されていない場合は、監視部３２は、シミュレーションの実行は不可能であると判定する。そして、監視部３２は、担当者１に対して、未検出の必須ワードに係る説明を行うよう指示する情報を画面上に表示する。これを受けて、担当者１が、説明していなかった必須ワードに係る説明を行うと、この必須ワードを検出した監視部３２がシミュレーションを実行可能な状態になったと判定し、シミュレーション画面を表示する。

なお、担当者１がシミュレーションボタン１３３を押した際に、監視部３２が、シミュレーションを実行可能であると判定した場合には、すぐにシミュレーション画面が表示される。また、第４段階で商談を終了することになった場合は、画面上の商談終了ボタン１３６を押して商談を終了する。

シミュレーション画面では、顧客２の年齢、既往歴、希望オプション等の詳細情報を入力して保険料を算出するシミュレーションを行う。シミュレーション画面で保険料等を確認した後、図７に示す画面に戻って商談終了ボタン１３６を押して商談を終了する。なお、シミュレーションを終えて顧客２と契約することになった場合には、契約用の画面を表示して、顧客２の氏名や住所等の詳細を入力して契約書を作成する作業が行われることになる。

このように、議事録作成システムでは、予め記憶部３４のワードデータ３４ｃに登録されている必須ワードや禁止ワードを含む発言を監視しながら担当者１による商談の進行を支援する。一方、図３を参照しながら説明したように、議事録作成部３３による議事録の作成は、必須ワード及び禁止ワードに加えて、監視ワードを利用して行われる。以下、必須ワード、禁止ワード及び監視ワードの各ワードと、議事録作成について具体的に説明する。

図８は、ワードデータ３４ｃの例を示す図である。図８に示す「説明対象」は商品の種類を指定するための項目で、「説明段階」は上述した第１〜第４の各段階を指定するための項目である。また、「ワード種類」は、必須ワード、禁止ワード、監視ワードの種類を指定するための項目で、「ワード」は検出対象とするワードを指定するための項目である。このように、ワードデータ３４ｃでは、説明対象、説明段階、ワード種類を指定して、一又は複数のワードを登録することができる。

図８に示すように、例えば、商品の種類によらず（図８「全商品」）かつ説明段階によらず（図８「全段階」）、監視ワード１４０及び禁止ワード１４１を設定することができる。また、商品の種類によらず、第１段階で説明すべき内容を必須ワード１４２として設定することができる。また、商品の種類及び説明段階を指定して、必須ワード、禁止ワード、又は監視ワードを設定することもできる。

ワードの項目では、一又は複数のワードを登録することができる。また、１つのワードを必須ワード、禁止ワード、又は監視ワードとして登録する他、複数ワードから成るワードを必須ワード、禁止ワード、又は監視ワードとして登録することも可能となっている。例えば、図８に示すように、「＆（アンド）」の記号を利用して結合した複数ワード１４３を１つの必須ワードとして登録すると、担当者１による１つの発言の中に全てのワードが含まれる場合に、この必須ワードを検出したと判定される。また、例えば、「／（スラッシュ）」の記号を利用して結合した複数ワード１４４を１つの禁止ワードとして登録すると、担当者１による１つの発言の中に、いずれか１つのワードが含まれる場合に、この禁止ワードを検出したと判定される。

具体的には、図８に示すように「（更新＆保険料）」として必須ワードを登録すると、例えば、担当者１が「更新する際の保険料」、「更新するときの保険料」、「更新時の保険料」等の発言をした場合に、監視部３２は必須ワードを検出したと判定する。また、「ケガ＆（保障されます／支給されます）」として禁止ワードを登録すると、例えば、担当者１が「ケガも保障されます」、「ケガの場合も保障されます」、「ケガの場合も支給されます」等と発言した場合に、監視部３２は禁止ワードを検出したと判定する。

議事録作成システムでは、第１段階から商談を終えるまでカメラ１０ａで取得した映像を映像データ３４ａとして記憶部３４に保存して、マイク１０ｂで取得した音声を音声データ３４ｂとして記憶部３４に保存する。ワードデータ３４ｃに予め登録されているワードを検出して、議事録へ発言を記録した際には、この発言の音声を再生するための音声データ３４ｂへのリンクや、映像を再生するための映像データ３４ａへのリンクが生成されて議事録に追加される。

図９は、映像データ及び音声データと議事録に記録する情報との関係を示す模式図である。図９では、第１段階〜第４段階の商談のうち、図５に示した第２段階と、図６に示した第３段階の一部とを示している。

時刻ｔ１から担当者１による第２段階の説明が開始されると、議事録作成支援装置２０の画面上には、図５に示す画面が表示される。担当者１の発言からワードを検出する監視部３２が、図９にワード検出として示したように、時刻ｔ１１で、図８に示す監視ワード１４０の「保険」の音声を検出すると、監視部３２は検出結果を議事録作成部３３へ通知する。

議事録作成部３３は、図９に示すように、時刻ｔ１１で検出した監視ワードを含む担当者１の発言と、この発言を受けて顧客２が行った発言とを含む時刻ｔ１１ｓ〜ｔ１１ｅの間の音声を議事録登録音声Ｐ１とし、議事録登録音声Ｐ１に対応する映像部分を議事録登録映像Ｖ１とする。また、議事録登録音声Ｐ１に含まれる担当者１の発言と、顧客２の発言とをテキスト化して議事録登録発言Ｍ１とする。そして、議事録作成部３３は、図１０（ａ）に示すように、議事録に、議事録登録発言Ｍ１を記録すると共に、議事録登録音声Ｐ１を再生するためのリンクを音声アイコン２０５として貼り付けて、議事録登録映像Ｖ１を再生するためのリンクを映像アイコン２０６として貼り付ける。図１０（ａ）に示す音声アイコン２０５を押すと、議事録登録発言Ｍ１を記録した議事録登録音声Ｐ１が再生され、映像アイコン２０６を押すと、議事録登録発言Ｍ１を記録した議事録登録映像Ｖ１が再生される。

同様に、図９に示すように、時刻ｔ１２ａから連続して複数の監視ワードを検出すると、議事録作成部３３は、これらを一まとめにした時刻ｔ１２ｓ〜ｔ１２ｅの間の音声を議事録登録音声Ｐ２、これに対応する映像を議事録登録映像Ｖ２、発言内容を議事録登録発言Ｍ２とする。そして、議事録作成部３３は、図１０（ａ）に示すように、議事録に、議事録登録発言Ｍ２を記録すると共に、議事録登録音声Ｐ２及び議事録登録映像Ｖ２のリンクを、それぞれ音声アイコン及び映像アイコンにして貼り付ける。

また、図９に示すように、担当者１が、時刻ｔ１３ｓに離席して商談エリアから退出し、時刻ｔ１３ｅに再び着席すると、認識部３１が、この離席を特定事象として検出して、検出結果を議事録作成部３３へ通知する。通知を受けた議事録作成部３３は、担当者１が離席中の時刻ｔ１３ｓ〜ｔ１３ｅの映像を議事録登録映像Ｖ３として、図１０（ｂ）に示すように、特定事象に関する情報を議事録に記録する。具体的には、議事録に、離席開始時刻ｔ１３ｓ及び離席終了時刻ｔ１３ｅを含む情報２１１を記録すると共に、議事録登録映像Ｖ３を再生するためのリンクを映像アイコンにして貼り付ける。なお、担当者１の離席を検出してから、予め設定された所定時間が経過しても担当者１が戻らず、担当者１の着席を検出できない場合には、議事録確認装置４０で音や光を発して、これを管理者３へ報知するようになっている。

図９に示すように、時刻ｔ２から担当者１による第３段階の説明が開始されると、議事録作成支援装置２０の画面上には図６に示す画面が表示される。図９に示すように、監視部３２が、担当者１の発言から、必須ワード、禁止ワード又は監視ワードを検出する度に、検出結果が議事録作成部３３へ通知され、議事録作成部３３が議事録登録音声Ｐ４〜Ｐ７、議事録登録映像Ｖ４〜Ｖ７、議事録登録発言Ｍ４〜Ｍ７を議事録に記録する。

図９の例は、議事録登録発言Ｍ４における会話で時刻ｔ２１以降に「医療保険Ａ」及び「医療保険Ｂ」の監視ワードを検出し、議事録登録発言Ｍ５における会話で時刻ｔ２２以降に「医療保険Ａ」の監視ワード及び医療保険Ａについて設定された必須ワードを検出し、議事録登録発言Ｍ６における会話で時刻ｔ２３以降に「医療保険Ｂ」の監視ワード及び医療保険Ｂについて設定された必須ワードを検出し、議事録登録発言Ｍ７における会話で時刻ｔ２４に「医療保険Ａ」の監視ワードを検出した例を示している（図１０（ｂ）の会話内容参照）。

議事録作成部３３は、議事録登録発言Ｍ４〜Ｍ７を議事録に登録するが、検出時刻順に記録する他、会話の内容に応じて内容別に並べ替えて記録することも可能となっている。具体的には、会話を時刻順に記録する設定として、議事録登録発言をＭ４、Ｍ５、Ｍ６、Ｍ７の順に記録することもできるし、図１０（ｂ）に示すように、医療保険Ａに関する会話と、医療保険Ｂに関する会話と、医療保険Ａ及び医療保険Ｂに関する会話とに分類する設定として、Ｍ５、Ｍ７、Ｍ６、Ｍ４の順に記録することもできる。

図１０（ｂ）に示すように、第３段階以降の議事録登録発言は、関連する商品の種類を示す情報２０７と、一連の会話において最初に担当者１が発言した時刻２０８と共に議事録に記録される。これにより、実際の発言順序とは異なる順序で、内容別に、議事録登録発言を議事録に記録した場合も、実際の発言順序を認識することができる。

図１０に示す議事録は、記憶部３４の議事録データ３４ｄで管理されており、議事録作成支援装置２０及び議事録確認装置４０の画面上に議事録を呼び出して表示することができる。商談が成立して顧客２による保険の契約が行われた場合には、図１０（ａ）に示すように、顧客２の氏名、住所、契約商品に関する情報等が議事録に記録される。

図１０（ａ）に示すように、議事録には、商談時に、情報取得装置１０のカメラ１０ａで商談エリアの担当者１及び顧客２を撮像した画像２００が貼り付けられる。また、画像２００には、議事録に記録した発言の発言者を示す情報２００ａが表示される。

また、議事録では「６．商談時説明内容」として商談時の発言内容が記録される。第２段階で得られた情報が「（１）顧客要望聴取」、第３段階で得られた情報が「（２）商品説明」、第４段落で得られた情報が「（３）保険シミュレーション」として記録される。商品について具体的に説明を行う第３段階以降の記録情報については、説明対象の商品の種類を示す情報２０７が記録される。

議事録に貼り付けられた各音声アイコンを押すと、対応する発言を記録した音声が再生され、各映像アイコンを押すと、対応する発言を記録した映像が再生される。映像を再生する際には、議事録の画像２００を参照することにより、再生した映像に映っている各人を特定して発言者を確認することができる。

商談中に、予め設定された特定事象が検出された場合には、図１０（ｂ）に示すように「７．特定事象」として、特定事象の内容及び検出時刻等の情報２１１と、特定事象を記録した映像の映像アイコンとが議事録に記録される。

また、商談中に禁止ワードを検出した場合には、 図１０（ｂ）に示すように「８．要注意発言」として、禁止ワードを検出した際の情報が議事録に記録される。担当者１が明らかに禁止ワードを含む発言をした場合には、議事録に、発言時刻及び発言を音声認識して得られたテキスト２０９が記録され、発言を録音した議事録登録音声にリンクした音声アイコン２１０が貼り付けられる。

一方、担当者１の発言から禁止ワードを明瞭に認識できなかった場合や、禁止ワードに続いて禁止ワードを否定するような助動詞又は禁止ワードを取り消すような内容の発言を検出した場合に、監視部３２は、担当者１が禁止ワードを含む発言をしたと明確に判定できないことがある。このような場合、監視部３２による検出結果を受けて、議事録作成部３３は、禁止ワードの検出が明確ではないことを示す文字や記号等の所定マーク２１３を議事録に追加する。また、この記録を削除するための削除ボタン２１４と、この記録を維持するための維持ボタン２１５とを議事録に追加する。

議事録確認装置４０で、担当者１が行った商談内容の議事録を確認する管理者３は、図１０（ｂ）に示すように、議事録に所定マーク２１３が含まれていることを確認すると、この発言について記録された音声アイコン２１２を押して音声を再生し、発言内容を確認する。そして、管理者３が、担当者１は禁止ワードを含む発言をしており記録を残す必要があると判断した場合には、維持ボタン２１５を押して記録を維持する。一方、担当者１は禁止ワードを含む発言をしていない、又は禁止ワードを含む発言をした後でこれを否定している等の理由で、管理者３が、この記録を議事録に残す必要はないと判断した場合には、削除ボタン２１４を押して記録を削除する。管理者３が、削除ボタン２１４又は維持ボタン２１５を押すと、議事録の所定マーク２１３、削除ボタン２１４及び維持ボタン２１５は議事録から削除される。なお、削除ボタン２１４又は維持ボタン２１５を押す操作は、議事録作成支援装置２０では行うことができず、議事録確認装置４０で管理者３のみが行えるようになっている。

本実施形態では、図９に示すように、商談中の全ての映像及び音声を記憶部３４に保存しておいて、議事録に記録された発言に対応する音声及び映像のリンクを生成し、このリンクをそれぞれ音声アイコン及び映像アイコンとして議事録に貼り付ける態様を示したが、映像及び音声の保存方法がこれに限定されるものではない。例えば、図９に示す議事録登録音声Ｐ１〜Ｐ７のみを音声データ３４ｂとして記憶部３４に保存して、他の音声を残さない設定とすることもできる。映像についても同様に、図９に示す議事録登録映像Ｖ１〜Ｖ７のみを映像データ３４ａとして記憶部３４に保存して、他の映像を残さない設定とすることもできる。また、映像には音声も含まれるため、映像データ３４ａのみを記録して、これを音声データ３４ｂとして利用する態様であってもよい。

議事録に記録した発言の音声と映像のみを残す場合については、全ての発言の映像及び音声を記憶部３４に保存する態様に限定されず、図８に示すワードの種類や説明段階に基づいて、映像及び音声を保存するか否かを設定することも可能となっている。例えば、禁止ワード又は必須ワードを含む発言については映像及び音声を保存するが、監視ワードのみを含む発言については映像及び音声を保存しない設定とすることができる。また、例えば、第１段階及び第２段階では音声及び映像を保存せず、第３段階及び第４段階では音声及び映像を保存する設定とすることもできる。

本実施形態では、担当者１と顧客２の２人で商談を行う例を説明したが、議事録作成システムでは、顧客２が２人以上である場合も、音声及び映像に基づいて、担当者１、顧客Ｘ、顧客Ｙというように各人を区別して上述した各機能及び動作を実現する。ただし、人数が多く全員の音声を区別できない場合には、少なくとも議事進行役である担当者１の音声を、他の音声と区別して取得するようになっている。

本実施形態では、情報取得装置１０が静止画像及び映像を取得するカメラ１０ａを備える態様を示したが、カメラ１０ａが赤外線等を利用する態様であってもよい。例えば、カラーの可視光画像を撮像するための画像センサと、画像センサによる撮像範囲内で各物体の位置及び深度（奥行き）を認識するための深度センサとによってカメラ１０ａを構成する。そして、所定パターンに配列した赤外線スポット光を照射する照射部と、各スポット光の反射光を受光する赤外線カメラとによって深度センサを構成すれば、所定パターンに配列したスポット光を撮像範囲内に照射して、得られた反射光の状態から各物体の位置及び深度を認識することができる。なお、このような画像センサ及び深度センサを有するカメラ１０ａとして、例えば、マイクロソフト社製のＫｉｎｅｃｔ（登録商標）を利用することができる。

物体の深度を認識することにより、カメラ１０ａによる撮像範囲内で、各人の離席や着席等、各人の動きを精度よく検出することができる。これにより、例えば、多人数が会議へ参加する場合も、監視部３２は、カメラ１０ａによる認識結果を利用してテーブルに着席した人数を監視し、全員が着席したことを正確に検出することができる。そして、検出結果に応じて、映像及び音声の記録等、各動作を開始することができる。また、監視部３２は、担当者１が離席してから所定時間経過しても席に戻らない場合に管理者３にこれを報知するが、複数人が離着席した場合も、担当者１の離席時間を正確に計測して、離席時間に応じて管理者３への報知を実行することができる。また、会議に参加する各人の離席及び着席に関する情報を議事録に記録することも可能である。

上述してきたように、本実施形態に係る議事録作成システムによれば、カメラ１０ａ及びマイク１０ｂを含む情報取得装置１０によって、所定エリア内における担当者１及び顧客２の映像と音声とを記録することができる。また、音声認識技術を利用して発言内容を認識すると共に、マイク１０ｂで音声が得られた方向を解析したりカメラ１０ａで得られた映像を解析したりするなどして各発言の発言者を認識して、予め設定されているワードを検出した担当者１の発言と、この発言に対して行われた顧客２の発言とを含む一連の会話を議事録に記録して残すことができる。

また、議事録作成システムでは、議事進行を監視して、担当者１が発言すべき内容を議事録作成支援装置２０の表示部に表示して担当者１による議事進行を支援することができる。担当者１が、発言すべき内容を全て発言したか否かを監視して、全てを発言するまで次の処理を実行できないように監視したり、担当者１が好ましくない発言をした場合に、この発言を検出すると同時に、担当者本人や、担当者１を管理する管理者３にこれを報知することができる。

また、議事録作成装置３０で自動作成された議事録には、議事録に記録されている各発言の発言者や発言時刻が含まれるので、議事の進行を容易に確認することができる。また、議事録には、議事録に記録されている各発言の音声や映像を再生するためのアイコンが含まれており、アイコンを操作することによって、音声や映像を再生して発言内容等を確認することができる。

以上のように、本発明に係る議事録作成システムは、議事録を自動作成しながら議事進行中に所定ワードを含む発言の有無を監視するために有用である。

１０ 情報取得装置
１０ａ カメラ
１０ｂ マイク
２０ 議事録作成支援装置
３０ 議事録作成装置
３１ 認識部
３２ 監視部
３３ 議事録作成部
３４ 記憶部
４０ 議事録確認装置
５０ ネットワーク

Claims (14)

1. 複数人の会話の内容を記録した議事録を作成する議事録作成システムであって、
   複数人全員の音声を取得するマイクと、
   議事録を作成するためのワードが予め登録されたワードデータを保存するための記憶部と、
   前記マイクで取得した各人の発言を音声認識する認識部と、
   前記認識部で認識した各発言に前記ワードが含まれるか否かを監視する監視部と、
   前記監視部で前記ワードを検出した発言を記録して議事録を作成する議事録作成部と
   を備え、
   前記ワードデータには、議事進行役による発言を義務付けた必須ワードが含まれることを特徴とする議事録作成システム。
2. 前記ワードデータには、議事進行役による発言を禁止した禁止ワードが含まれ、
   前記監視部は、前記認識部が認識した各発言を監視して、前記禁止ワードを検出した場合に、これを報知する報知処理を実行することを特徴とする請求項１に記載の議事録作成システム。
3. 前記ワードデータには、議事録に記録する発言を選択するための監視ワードが含まれることを特徴とする請求項２に記載の議事録作成システム。
4. 議事録確認装置
   をさらに備え、
   前記監視部は、前記議事進行役の発言から前記禁止ワードを検出すると前記議事録確認装置でこれを報知する
   ことを特徴とする請求項２に記載の議事録作成システム。
5. 前記議事進行役が利用する議事録作成支援装置
   をさらに備え、
   前記監視部は、前記議事進行役の発言から前記必須ワードを検出したか否かを示す情報を前記議事録作成支援装置に表示する
   ことを特徴とする請求項１〜４のいずれか１項に記載の議事録作成システム。
6. 前記ワードデータでは、議事の内容別かつ議事進行の段階別に前記必須ワードを登録可能であることを特徴とする請求項１〜５のいずれか１項に記載の議事録作成システム。
7. 前記認識部は、複数人の中から各発言の発言者を認識して、
   前記議事録作成部は、議事進行役が前記禁止ワードを含む発言をした場合には該発言を議事録に記録して、前記議事進行役が前記監視ワード又は前記必須ワードを含む発言をした場合には、該発言と該発言を受けて行われた他の参加者の発言とを含む一連の会話を前記議事録に記録する
   ことを特徴とする請求項３に記載の議事録作成システム。
8. 前記議事録作成部は、各発言を、各発言の発言者を特定する情報と共に議事録へ記録することを特徴とする請求項７に記載の議事録作成システム。
9. 複数人全員を撮像するカメラ
   をさらに備え、
   前記認識部は、前記マイクで取得した音声の方向と、前記カメラで取得した各人の映像とに基づいて各発言の発言者を認識する
   ことを特徴とする請求項７又は８に記載の議事録作成システム。
10. 前記カメラで撮像した映像が前記記憶部に保存され、
    前記議事録作成部は、議事録に記録した発言の発言時に前記カメラで撮像した映像を、前記記憶部から呼び出して再生するためのリンクを生成して議事録に貼り付ける
    ことを特徴とする請求項９に記載の議事録作成システム。
11. 前記議事録作成部は、前記カメラによって複数人全員を撮像した画像を議事録に貼り付けることを特徴とする請求項９又は１０に記載の議事録作成システム。
12. 各人の位置及び深度を認識するための深度センサを含むカメラ
    をさらに備え、
    前記監視部は、前記カメラで議事進行役の離席を検出してから所定時間内に前記議事進行役の着席を検出しない場合に、これを報知する報知処理を実行する
    ことを特徴とする請求項１〜１１のいずれか１項に記載の議事録作成システム。
13. 複数人の会話の内容を記録した議事録を作成する議事録作成システムであって、
    複数人全員の音声を取得するマイクと、
    議事録を作成するためのワードが予め登録されたワードデータを保存するための記憶部と、
    前記マイクで取得した各人の発言を音声認識する認識部と、
    前記認識部で認識した各発言に前記ワードが含まれるか否かを監視する監視部と、
    前記監視部で前記ワードを検出した発言を記録して議事録を作成する議事録作成部と、
    各人の位置及び深度を認識するための深度センサを含むカメラと
    を備え、
    前記議事録作成部は、前記カメラで検出した各人の離席及び着席に係る情報を議事録に記録する
    ことを特徴とする議事録作成システム。
14. 前記議事録作成部は、発言から検出されたワードに基づいて、各発言を内容別に議事録に記録することを特徴とする請求項１〜１３のいずれか１項に記載の議事録作成システム。

Images