JP7098561B2 - 配信システム、配信システムの制御方法、プログラム - Google Patents

配信システム、配信システムの制御方法、プログラム Download PDF

Info

Publication number
JP7098561B2
JP7098561B2 JP2019053606A JP2019053606A JP7098561B2 JP 7098561 B2 JP7098561 B2 JP 7098561B2 JP 2019053606 A JP2019053606 A JP 2019053606A JP 2019053606 A JP2019053606 A JP 2019053606A JP 7098561 B2 JP7098561 B2 JP 7098561B2
Authority
JP
Japan
Prior art keywords
information
utterance
voice
conference
participant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019053606A
Other languages
English (en)
Other versions
JP2020154847A (ja
Inventor
啓介 小西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIS Inc
Original Assignee
TIS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIS Inc filed Critical TIS Inc
Priority to JP2019053606A priority Critical patent/JP7098561B2/ja
Publication of JP2020154847A publication Critical patent/JP2020154847A/ja
Application granted granted Critical
Publication of JP7098561B2 publication Critical patent/JP7098561B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Document Processing Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、配信システム、配信システムの制御方法、プログラムに関する。
従来、会議における参加者の発話の内容をまとめて議事録として記録しておくことが行われている。議事録によれば、会議に参加できなかった人が当該会議の内容を把握することが容易になり、また、参加者が当該会議の内容を思いだすことも容易になる。しかしながら、議事録を作成するためには、人の手によって、参加者の発話を紙に書き出したり、パソコンに打ち込んだりする必要があったため、作成が容易ではなかった。
これに対して、特許文献1には、複数人の発話を音声認識して、当該発話の内容を示す文字列を用いた議事録を作成する議事録作成システムが開示されている。
特開2017-173768号公報
また、会議では、多くの参加者が参加する場合や一部の参加者が遅れて参加する場合がある。このような場合には、会議における参加者の発話の内容を示す文字列を、会議中において参加者が確認できることが望ましい。ここで、当該発話の内容を示す文字列は、当該会議中において適切な共有者に共有されることが求められるが、特許文献1には、当該内容の共有者(共有先)を決定することの記載はない。
よって、本発明は、会議における参加者の発話の内容を示す文字列を、当該会議中において適切な共有者に共有できるシステムを提供すること目的とする。
本発明の1つの態様は、
会議における1または複数の参加者の発話を音声として取得する音声取得手段と、
会議ごとに異なる、当該会議を特定するための識別情報を表示する表示手段と、
を有するスマートスピーカと、
前記識別情報を用いて配信先に登録された1または複数の情報処理端末に対して、前記識別情報に対応する会議における前記音声が文字列に変換された発話情報を配信する配信手段と、
を有する、
ことを特徴とする配信システムである。
ここで、スマートスピーカとは、対話型の音声操作に対応したスピーカである。識別情報は、会議を特定するための、スマートスピーカに表示される会議に応じた情報である。この形態によれば、配信システムは、適切な情報処理端末に発話情報を配信することができる。また、会議ごとに異なる識別情報が表示されることによれば、会議に参加した者(スマートスピーカが設置された会場に実際にいる者など)しか識別情報を確認しえないため、会議に参加しない者が当該識別情報を確認することを抑制することができる。このため、よりセキュアに発話情報を配信することができる。また、表示手段が、識別情報を表示することによって、発話情報が配信されるための情報を情報処理端末に通知しているた
め、スマートスピーカが音声を発することによる会議の妨害が抑制できる。
前記表示手段は、画像を表示する画像表示部を有し、マトリックス型二次元コードを用いて前記識別情報を前記画像表示部に表示してもよい。これによれば、マトリックス型二次元コードは多くの情報を含むことができ、より多くの種類の識別情報が存在することができるため、総当り攻撃による会議に参加をしていない悪意者による発話情報の取得を抑制することができる。従って、配信システムは、よりセキュアに、発話情報の配信をすることができる。また、マトリックス型二次元コードは、一般的なスマートフォンなどの情報処理端末によって認識可能であるので、マトリックス型二次元コードを認識するための特別なアプリケーションが情報処理端末に必要ない。さらには、マトリックス型二次元コードから情報を取得する方法も公知であるため、情報処理端末は、より容易に、配信先に登録されるために用いる情報をマトリックス型二次元コードから取得可能である。
前記表示手段は、光源部を有し、前記光源部の発光によって前記識別情報を表示してもよい。前記光源部は、複数の発光素子から構成されており、記表示手段は、前記複数の発光素子それぞれの発光の有無および/または発光色を制御することによって前記識別情報を表示してもよい。これによれば、画像を表示する手段を有さないスマートスピーカにおいても、識別情報を表示することができる。
前記配信手段は、前記識別情報に応じた情報を前記配信手段に送信した情報処理端末を、前記識別情報に対応する会議における前記発話情報の配信先に登録してもよい。
前記音声を前記発話情報に変換する音声処理手段をさらに有し、前記1または複数の参加者のいずれかから発話があるごとに、前記音声取得手段は、当該発話を音声として取得し、前記音声処理手段は、前記音声を前記発話情報に変換し、前記配信手段は、前記1または複数の情報処理端末に前記発話情報を配信してもよい。これによれば、会議において発話があるごとに発話情報を配信することができるため、情報処理端末を有する共有者は、リアルタイムで発話情報を確認することができる。
前記スマートスピーカは、発話をした参加者を判定する判定手段をさらに有し、前記配信手段は、前記1または複数の参加者のいずれかから発話があるごとに、当該発話した参加者を示す情報が付加された前記発話情報を、前記1または複数の情報処理端末に配信してもよい。これによれば、情報処理端末が、発話情報と発話した参加者とを対応付けて表示することが容易に可能になるため、誰がどの発言をしたかを共有者が確認することが容易になる。
前記判定手段は、前記1または複数の参加者それぞれの発話から、参加者それぞれの位置範囲を予め決定しておき、前記1または複数の参加者のいずれかから発話があるごとに、前記参加者の位置範囲に基づき、当該発話をした参加者を判定してもよい。これによれば、参加者の位置を認識するための撮像部や画像解析部をスマートスピーカが有しない場合であっても、発話した参加者を判定することができる。
前記スマートスピーカは、前記1または複数の参加者それぞれを撮像する撮像手段と、前記1または複数の参加者それぞれの予め撮像された画像と、前記会議において前記撮像手段が撮像する参加者それぞれの画像を比較することによって、前記参加者の位置範囲を更新する制御手段と、をさらに有していてもよい。これによれば、会議中において、参加者が移動してしまった場合にも、適切な参加者の位置範囲に更新(修正)できるため、配信システムは、発話した参加者の判定をより正確にできる。
前記発話情報を記憶する記憶手段をさらに有し、前記配信手段は、新たな情報処理端末
が配信先に登録されると、当該情報処理端末に対して、当該情報処理端末が登録される以前の前記発話情報を配信してもよい。これによれば、会議が開始した後に、配信先に登録された情報処理端末に対しても、当該会議の開始時からの発話情報を配信することができるため、共有者は、情報処理端末を用いて会議の流れを後から確認することができる。
前記1または複数の情報処理端末をさらに有し、前記1または複数の情報処理端末のそれぞれは、発話ごとの発話情報を、時系列に、発話した参加者を示す情報および発話時刻とともに表示してもよい。これによれば、共有者は、情報処理端末の表示によって、誰がいつ、どのような発言をしたのかを容易に把握することができる。
前記1または複数の情報処理端末のうち1つの情報処理端末が表示する発話情報に対して、変更または削除をするユーザ操作が行われると、前記1または複数の情報処理端末のそれぞれは、表示する当該発話情報を変更または削除してもよい。これによれば、共有者は、容易に発話情報を適切にものにすることができるため、適切な発話情報を共有することができる。
なお、本発明は、上述した機能および処理の少なくとも一部を含む配信システムの制御方法、または、当該制御方法の各ステップをコンピュータに実行させるプログラム、または、当該プログラムを非一時的に記憶した記憶媒体などとして捉えることもできる。
本発明によれば、会議における参加者の発話の内容を示す文字列を、当該会議中において適切な共有者に共有できる。
実施形態1に係る配信システムの構成図である。 実施形態1に係るスマートスピーカの外観を示す図である。 実施形態1および変形例1に係る議事メモを示す図である。 実施形態1に係る配信システムの全体処理を示すフローチャートである。 実施形態1に係る識別情報を説明する図である。 実施形態1に係る会議開始処理を示すフローチャートである。 実施形態1に係る情報を示す図である。 実施形態1に係る端末登録処理を示すフローチャートである。 実施形態1に係る配信処理を示すフローチャートである。 実施形態1に係る他の会議開始処理を説明する図である。
以下、図面を参照して本発明の例示的な実施形態を詳細に説明する。なお、本発明は説明する実施形態に限定されない。また、実施形態で説明される構成要素の全てが本発明に必須とは限らない。
なお、以下では、「参加者」とは、会議に参加しているユーザを示し、「共有者」とは、会議における発話の内容を示す発話情報が配信される情報処理端末を有するユーザを示す。
<実施形態1>
実施形態1では、配信システムが、スマートスピーカと外部サーバとを有する。ここで、スマートスピーカは、会議における1または複数の参加者の発話を音声として取得し、さらに、会議ごとに異なる、当該会議を特定するための識別情報を表示する。また、外部サーバは、識別情報を用いて登録された1または複数の情報処理端末に対して、識別情報
に対応する会議における音声が文字列に変換された発話情報を配信する。これにより、配信システムは、会議において適切な情報処理端末(共有者)に、発話の内容を文字列で示す発話情報を共有(配信)することができる。
[配信システムの構成]
実施形態1に係る配信システム1の構成について図1を用いて説明する。配信システム1は、スマートスピーカ100と外部サーバ200と情報処理端末300を有する。スマートスピーカ100と外部サーバ200と情報処理端末300とは、ネットワーク10を介して互いに通信可能である。なお、配信システム1において、1つの外部サーバ200に対して複数のスマートスピーカ100が存在することができ、1つのスマートスピーカ100に対して複数の情報処理端末300が存在することができる。
スマートスピーカ100は、会議における参加者の発話を音声として取得する、対話型の音声操作に対応したスピーカである。また、スマートスピーカ100は、取得した音声を外部サーバ200に送信する。また、スマートスピーカ100は、現在行われている会議を特定するための、会議ごとに異なる識別情報を表示する。識別情報とは、スマートスピーカ100に表示される、会議情報に応じた情報である。会議情報とは、スマートスピーカ100が設置されている会場で行われている会議に一意に対応する情報である。会議情報は、数値で示されたIDや、WEBページのURLであり得る。
外部サーバ200は、1または複数の情報処理端末300が配信先に登録されていれば、会議における音声が文字列に変換された発話情報を、当該1または複数の情報処理端末300に配信する。発話情報とは、会議における発話の内容を示す文字列である。また、外部サーバ200は、当該音声および当該発話情報を記憶する。
情報処理端末300は、外部サーバ200に発話情報の配信先として登録されている場合には、発話情報が配信される。また、情報処理端末300は、配信される発話情報に基づき、会議における議事メモを生成して表示する。情報処理端末300は、例えば、スマートフォン、タブレット端末、デジタルカメラなどの、ネットワーク通信が可能であれば任意の情報処理装置でよい。
(スマートスピーカの構成)
以下にて、スマートスピーカ100の構成の詳細について説明する。スマートスピーカ100は、制御部101、記憶部102、音声取得部103、音声出力部104、表示部105、センサ部106、通信部107を有する。また、図2は、スマートスピーカ100の外観を示す。
制御部101は、スマートスピーカ100における各機能部を制御する、例えば、CPU(Central Processing Unit)である。制御部101は、記憶部102に記憶されているプログラムに基づいて、各機能部を制御する。
記憶部102は、制御部101が動作するためのプログラムを記憶する。
音声取得部103は、会議における参加者の発話を音声として取得する。音声取得部103は、複数のマイクロフォン(マイク)から構成されており、図2が示すように、スマートスピーカ100の全周が音声取得部103であるということができる。
音声出力部104は、参加者に対して、音声による通知を行う。音声出力部104は、音声による通知により、配信システム1が会議の参加者を認識するための情報の提供(発声)を、参加者に対して促すことができる。
表示部105は、画像表示部111と光源部112とを有し、制御部101の制御により、会議ごとに異なる識別情報を表示する。
画像表示部111は、図2が示すように、表示パネル上に画像を表示することができる。なお、本実施形態では、音声取得部103が存在する部位とは、異なる部位に画像表示部111が配置されており、当該2つの部位がケーブルによって接続されている。しかし、これに限らず、音声取得部103が存在する部位に画像表示部111が配置される形態であってもよい。
光源部112は、図2が示すように、スマートスピーカ100の上面において円環状に構成されており、複数の発光素子を有する。光源部112は、複数の発光素子それぞれについて、発光の有無および/または発光色を制御することによって、様々な表示をすることができる。なお、本実施形態では、発光素子の数は10個であるとして説明するが、12個、18個など任意の数でよい。また、発光素子は、発光が可能であれば、LEDや白熱電球など任意の素子を適用可能である。なお、光源部112は、必ずしも円環状である必要はなく、発光による識別情報の表示が可能であれば、任意の形状であってよい。
センサ部106は、本実施形態では、会議における参加者を検知する。センサ部106は、例えば、赤外線センサや照度センサ、人感センサ、環境センサ(温度・湿度・気圧)、CO2センサの少なくともいずれかを有する。なお、他の手段によって、会議における参加の検知が可能であれば、センサ部106は必須の構成ではない。
通信部107は、ネットワーク10を介して外部サーバ200や、情報処理端末300と接続する。なお、通信部107とネットワーク10との通信は、Ethernetによる有線通信であっても、Wi-Fi(登録商標)、Bluetooth(登録商標)、4G/LTE、5G、WIMAX(登録商標)などによる無線通信であってもよい。
(外部サーバの構成)
外部サーバ200は、配信サーバ201、アプリケーションサーバ202、データベースサーバ203、音声処理サーバ204、WEBサーバ205を有する。
配信サーバ201は、会議における音声が文字列に変換された発話情報を、配信先として登録された情報処理端末300に配信する配信部である。
アプリケーションサーバ202は、記憶部であるデータベースサーバ203への発話情報などの読み書きを行う。
データベースサーバ203は、図7(C)が示すような、会議ごとの発話情報を含む発話履歴を記憶する記憶部である。
音声処理サーバ204は、スマートスピーカ100から取得する音声を文字列に変換する。また、音声処理サーバ204は、スマートスピーカ100が発する音声を制御する。従って、本実施形態では、音声処理サーバ204は、対話制御サーバでもあり、音声認識・音声合成サーバでもある。さらに、音声処理サーバ204は、会議ごとに会議情報を生成する。
WEBサーバ205は、情報処理端末300が発話情報を議事メモとして表示するためのコンテンツ(静的コンテンツ;アプリケーションプログラム)を記憶しており、情報処理端末300から要求があると、当該コンテンツを送信する。情報処理端末300は、当該コンテンツに基づいて、図3(A)が示すような議事メモを生成して表示する。
[議事メモの表示]
図3(A)では、2名の参加者の発話が議事メモとして情報処理端末300の表示部に表示されている例を示している。情報処理端末300は、参加者の発話ごとに、時系列に、発話者を示す情報と発話時刻とを発話内容を示す文字列(発話情報)とともに表示する。例えば、表示領域401には、スマートスピーカ100自身が発した発話情報が表示されている。また、表示領域402には、参加者αが発した発話情報が表示され、表示領域403には、参加者βが発した発話情報が表示されている。
なお、情報処理端末300は、ボタン407がユーザによりタッチされると、現在表示されている発話情報よりも過去の発話情報を表示し、ボタン408がユーザによりタッチされると、現在表示されている発話情報よりも後の発話情報を表示する。また、情報処理端末300は、SAVEボタン409がタッチされると、情報処理端末300のローカルの記憶部やインターネット上の所定のクラウドに発話情報を記憶する。また、情報処理端末300は、PLAYボタン410がタッチされると、配信サーバ201を介して、データベースサーバ203から発話情報の生成元である音声を取得して、当該音声を再生する。
[識別情報の表示]
以下にて、スマートスピーカ100の表示部105が行う識別情報の表示について詳細に説明する。スマートスピーカ100の制御部101は、音声処理サーバ204から取得した会議情報に基づき、識別情報を表示部105に表示する。ここで、会議情報は、スマートスピーカ100が設置された会場における会議を一意に示す情報である。また、識別情報は、情報処理端末300に対して会議情報を伝えるために表示される情報であり、会議情報に応じた情報である。
ここで、会議情報とは、WEBサイトのアクセス先を示すURLや数字によるIDなどでありえる。制御部101は、例えば、会議情報がURLを示しており、当該会議情報に応じた識別情報を表示部105に表示する場合には、図5(A)が示すような、マトリックス型二次元コードであるQRコード(登録商標)を用いることができる。より詳細には、制御部101は、QRコードに対して会議情報を埋め込むことによって、画像表示部111に識別情報を表示する。なお、QRコードに対して情報を埋め込む方法には、公知の方法を適用可能である。なお、識別情報の表示は、画像表示部111にQRコードを表示することに限らず、文字列やマークなどの会議情報に応じた任意の画像を画像表示部111に表示することによっても実現可能である。
また、制御部101は、スマートスピーカ100を上から見た図である図5(B)が示すように、光源部112における発光素子120~129のそれぞれの発光の有無および/または発光色によって、識別情報を表示してもよい。制御部101は、例えば、会議情報が数字を示す情報であれば、緑色に発光する発光素子の数を百の位とし、青色に発光する発光素子の数を十の位とし、赤色に発光する発光素子の数を一の位として、識別情報を表示することができる。図5(B)が示す例では、発光素子120が赤色に発光しており、発光素子123,124が緑色に発光しており、他の発光素子は発光していないため、会議情報が201である識別情報が表示されている。なお、本実施形態に係る発光素子120~129のそれぞれは、制御部101の制御により、任意の発光色によって発光することができる。
さらには、制御部101は、例えば、緑色に発光する発光素子の数値を1として、青色に発光する発光素子の数を2として、赤色に発光する発光素子の数を3として、発光していない発光素子の数値を0として、識別情報を表示することができる。このとき、赤色の
発光する発光素子を先頭として、時計回りに数値が並ぶように予め決定されていれば、図5(B)が示す例では、会議情報が3001100000である識別情報が表示されている。
また、表示部105における識別情報の表示は、時間によって変化する動画のような形式によって行われてもよい。例えば、光源部112において、ある時刻では、赤色、青色、緑色に発光する発光素子が1つずつある状態から、これとは異なる時点では、赤色、青色、緑色に発光する発光素子が2つずつある状態に変化することによって、識別情報が表示されてもよい。時間によって表示が変化することによれば、識別情報の表示のバリエーションを増加させることができる。ここで、バリエーションが増加すれば、識別情報の表示を確認していない者が、当該識別情報や会議情報を推測することが困難になる。
[配信先の登録]
以下では、情報処理端末300の識別情報(会議情報)を用いた発話情報の配信先への登録について説明する。情報処理端末300は、スマートスピーカ100に表示される識別情報に応じた会議情報を配信サーバ201に送信する。配信サーバ201は、送信された会議情報と当該情報処理端末300とを対応付けて、データベースサーバ203に記憶させることによって配信先の登録を行う。なお、配信サーバ201が管理するWEBサーバのURLによって会議情報が示されている場合には、当該URLが示すWEBページに情報処理端末300がアクセスすることによって、配信先の登録が行われてもよい。
ここで、情報処理端末300は、例えば、表示部105に表示された識別情報を撮像して、分析することによって会議情報を取得することができる。また、表示部105に表示された識別情報から、会議情報をユーザが判断して、情報処理端末300に入力してもよい。例えば、図5(A)が示すようなQRコードを示す画像により識別情報が表示されている場合には、情報処理端末300は、会議情報をQRコードから取得する。ここで、QRコードから情報を取得するための技術には、公知技術を用いることができる。なお、例えば、画像表示部111に文字列が表示されている場合には、情報処理端末300は、当該文字列を会議情報として取得してもよい。
また、図5(B)が示すような光源部112の発光により識別情報が表示されている場合には、情報処理端末300は、発光素子120~129のそれぞれの発光の有無および/または発光色に応じて会議情報を取得する。これは、例えば、情報処理端末300は、赤色に発光している発光素子の数を一の位として、青色に発光している発光素子の数を十の位として、緑色に発光している発光素子の数を百の位とする数値を会議情報とする。図5(B)が示す例では、情報処理端末300は、発光素子120が赤色に発光しており、発光素子123,124が緑色に発光しているため、会議情報を201として取得することができる。
なお、情報処理端末300は、撮像した画像の分析を行わずに、当該画像自体を会議情報としてもよい。また、情報処理端末300は、QRコードからWEBページを示すURLを取得して、当該WEBページにアクセスすることによって、会議情報を取得してもよい。さらには、所定のWEBページにおいて、赤色、青色、緑色にそれぞれ発光している発光素子の数をユーザが入力することによって、情報処理端末300は、会議情報を取得してもよい。この場合には、情報処理端末300による一時情報の撮像および分析は不要である。
情報処理端末300は、このように取得した会議情報を、配信サーバ201に送信する。これは、情報処理端末300が、ユーザによって入力された会議情報を、配信サーバ201に送信することも含む。そして、配信サーバ201は、事前にスマートスピーカ10
0から送信された会議情報と、情報処理端末300が送信した会議情報とが同一であれば、その情報処理端末300を発話情報の配信先に登録する。
[配信システムの全体処理]
続いて、配信システム1における発話情報の配信および議事メモの表示を行う全体処理のフローについて、図4が示すフローチャートを用いて説明する。なお、本フローチャートの開始時において、会議は開始されていないものとする。また、外部サーバ200の各サーバは、電源が入っている状態である。また、本フローチャートでは、会議MTが開始され、会議MTは、一意に、会議情報MTInfoと識別情報TMPInfoと対応するものとする。なお、MT、MTInfo、TMPInfoのそれぞれは、符号であり、本フローチャートにおける会議、会議情報、識別情報を特定するために用いる。
ステップS1001において、配信システム1は、会議開始に際する初期設定を行う会議開始処理を行う。ここで、音声処理サーバ204からスマートスピーカ100に対して、会議MTに応じた会議情報MTInfoが送信される。なお、会議開始処理の詳細については、後述する。
ステップS1002において、配信システム1におけるスマートスピーカ100の制御部101は、会議情報MTInfoに応じた識別情報TMPInfoを、表示部105に表示する。また、制御部101は、識別情報TMPInfoを表示するとともに、配信サーバ201に会議情報MTInfoを送信する。配信サーバ201は、会議情報MTInfoをデータベースサーバ203に記憶する。なお、後述のステップS1201において、情報処理端末300が、識別情報TMPInfoから会議情報MTInfoを取得することが可能であれば、いかなる識別情報TMPInfoが表示されてもよい。
ステップS1003において、配信システム1は、会議MTにおける発話情報の配信先に、情報処理端末300を登録する端末追加処理を行う。なお、端末追加処理の詳細については、後述する。
ステップS1004において、配信システム1の制御部101は、音声取得部103を介して、1または複数の参加者のいずれかの発話があるか否かを判定する。制御部101は、例えば、音声取得部103が取得した音声の大きさが所定の閾値より大きい場合に、参加者の発話があると判定できる。処理工程は、参加者の発話がある場合には、ステップS1005に遷移して、それ以外の場合には、ステップS1006に遷移する。
ステップS1005において、配信システム1は、配信先に登録されている情報処理端末300に対して、会議MTにおける発話情報を配信する配信処理を行う。このように、本実施形態では、いずれかの参加者の発話があるごとに、発話情報の配信処理が行われる。このため、リアルタイムでの情報処理端末に対する発話情報の配信が可能である。なお、配信処理の詳細については、後述する。
ステップS1006において、配信システム1の制御部101は、会議MTが終了したか否か判定する。例えば、スマートスピーカ100における不図示のボタンに対して、ユーザがタッチ(押下)すれば、制御部101は、会議MTが終了したと判定する。また、制御部101は、センサ部106における人感センサが、一定の期間、人間を検知しない場合に、会議MTが終了したと判定してもよい。会議MTが終了している場合には、本フローチャートにおける全ての処理が終了し、それ以外の場合には、処理工程は、ステップS1003に遷移する。
(会議開始処理;S1001)
続いて、上述したステップS1001の処理である会議開始処理の詳細について、図6が示すフローチャートを用いて説明する。なお、本フローチャートにおいて、ステップS1101,S1102,S1104,S1105,S1108~S1111,S1118の処理はスマートスピーカ100が実行する処理であり、その他の処理は音声処理サーバ204が実行する処理である。
ステップS1101において、スマートスピーカ100の制御部101は、参加者が会場に入室したか否かを判定する。例えば、センサ部106における照度センサが、所定の照度値より明るい照度値を取得した場合に、制御部101は参加者が入室したと判定する。また、センサ部106における人感センサが、人を検知した場合に、制御部101は参加者が入室したと判定してもよい。また、スマートスピーカ100自体の電源がONにされた場合に、制御部101は、参加者が入室したと判定してもよい。さらには、音声取得部103を介して、「議事メモを開いて。」や「会議開始。」などの所定の音声を取得した場合に、制御部101は参加者が入室したと判定してもよい。参加者が入室したと判定されると、処理工程は、ステップS1102に遷移して、それ以外の場合には、ステップS1101の処理が繰り返し実行される。
ステップS1102において、制御部101は、通信部107を介して、音声処理サーバ204に参加者の入室を通知する。
ステップS1103において、音声処理サーバ204は、会議MTを開始するための開始音声をスマートスピーカ100に送信する。開始音声とは、例えば、「こんにちは、議事メモを開始しますか?」などの、参加者に対して会議MTの開始を確認するための音声である。
ステップS1104において、制御部101は、音声出力部104を制御して、開始音声を再生する。
ステップS1105において、制御部101は、音声取得部103を制御して、開始音声に対する参加者の反応の音声を取得する。また、制御部101は、通信部107を介して、取得した反応の音声を音声処理サーバ204に送信する。
ステップS1106において、音声処理サーバ204は、反応の音声を分析して、開始音声に対して肯定的な反応を参加者がしているか否かを判定する。ここで、例えば、反応の音声が「はい。」や「お願いします。」などであれば肯定的な反応であるといえる。処理工程は、肯定的な反応であれば、ステップS1107に遷移して、それ以外の場合には、ステップS1103に遷移する。
ステップS1107において、音声処理サーバ204は、参加者を確認する音声をスマートスピーカ100に送信する。参加者を確認する音声とは、例えば、「参加者の方は、一人ずつお名前を言ってください。」などの、参加者を識別する情報の発声を参加者に促す音声である。
ステップS1108において、制御部101は、音声出力部104を制御して、参加者を確認する音声を再生する。
ステップS1109において、制御部101は、音声取得部103を制御して、参加者を確認する音声に対する反応の音声を取得する。
ステップS1110において、制御部101は、ステップS1109において取得した
音声の発声元である発話位置を取得(決定)する。本実施形態では、音声取得部103は、複数のマイクから構成されているため、複数のマイクのそれぞれにおいて取得した音声の大小などに基づいて、制御部101は発話位置を取得できる。また、スマートスピーカ100が撮像部を有する場合には、制御部101は、ステップS1109において音声取得部103が反応の音声を取得している際に、口元が動いている参加者がいる位置を発話位置とすることができる。なお、発話位置は、例えば、スマートスピーカ100の正面に対する発声元の方向として、0~360度によって示すことができる。従って、発話位置は、90度や180度といったように示すことができる。
ステップS1111において、制御部101は、ステップS1109にて取得した参加者を確認する音声に対する反応の音声と、ステップS1110にて取得した発話位置を音声処理サーバ204に送信する。
ステップS1112において、音声処理サーバ204は、参加者を確認する音声に対する反応の音声が、参加者を識別する情報(参加者名)を示しているかを判定する。例えば、当該反応の音声に「田中です。」や「山田と申します。」などの人物名を示す情報が含まれていれば、音声処理サーバ204は、当該反応の音声が、参加者を識別する情報を示していると判定できる。処理工程は、参加者を識別する情報を示していると判定された場合には、ステップS1113に遷移して、それ以外の場合には、ステップS1114に遷移する。
ステップS1113において、音声処理サーバ204は、参加者を確認する音声に対する反応の音声が示す参加者を識別する情報を、文字列に変換する。音声処理サーバ204は、参加者を識別する情報と発話位置とを対応付けて参加者情報として記憶する。
ステップS1114において、音声処理サーバ204は、ステップS1110にて取得した参加者を確認する音声に対する反応の音声が、追加する参加者がいないことを示す音声であるかを判定する。追加する参加者がいないことを示す音声とは、例えば、「もう、いません。」や「以上の参加者です。」などの音声である。処理工程は、追加する参加者がいないことを示す音声であれば、ステップS1115に遷移して、それ以外の場合には、ステップS1107に遷移する。
ステップS1115において、音声処理サーバ204は、会議MTにおける発話がいずれの参加者によって行われたものであるかを判定するための発話範囲(参加者の位置範囲)を、参加者情報から決定する。
例えば、図7(A)が示す参加者情報のように、参加者を識別する情報として参加者α,β,γ,Δが取得されており、参加者それぞれの発話位置が90度、120度、180度、300度であるとする。この場合には、音声処理サーバ204は、隣接する参加者の発話位置の中間地点で発話範囲を区切るように、それぞれの参加者に対する発話範囲を決定する。例えば、図7(A)のように、参加者αは、発話位置が90度であり、発話位置が120度の参加者βおよび発話位置が300度の参加者Δと隣接している。このため、音声処理サーバ204は、参加者αの発話範囲を15度~105度と決定する。なお、参加者間で発話範囲が重複しないように、音声処理サーバ204は、参加者αの発話範囲を15度~104度とし、参加者βの発話範囲を105度~149度とし、参加者γの発話範囲を150度~239度とし、参加者Δの発話範囲を240度~14度としてもよい。
ステップS1116において、音声処理サーバ204は、図7(A)が示すように、参加者情報において、参加者を識別する情報に発話範囲をさらに対応付けて、スマートスピーカ100に送信する。
ステップS1117において、音声処理サーバ204は、他の会議と重複しないように、会議MTに対応する会議情報MTInfoを生成して、スマートスピーカ100に送信する。例えば、音声処理サーバ204は、過去の所定期間内(例えば、3日以内)に生成した会議情報とは異なるように、会議情報MTInfoを生成すればよい。より詳細には、例えば、音声処理サーバ204は、公知の擬似乱数生成アルゴリズムによりランダムな数値を生成して、過去の所定期間内(例えば、3日以内)に生成した会議情報と当該数値が異なる場合には、当該数値を会議情報MTInfoとする。また、それ以外の場合には、音声処理サーバ204は、再度ランダムな数値を生成して、過去の会議情報とは異なるか否かを判定するとよい。なお、音声処理サーバ204が生成する会議情報は、ランダムな数値に限らず、ランダムな文字列であってもよい。
ステップS1118において、制御部101は、参加者情報を記憶部102に記憶する。
(その他の会議開始処理)
なお、本実施形態では、スマートスピーカ100に対して、参加者それぞれが、参加者を識別する情報(自身の名称)を発声することによって、当該参加者を識別する情報が取得されていたが、これには限られない。例えば、スマートスピーカ100が撮像部を有する場合には、参加者を識別する情報が参加者の顔写真(顔画像)であってもよい。
以下、参加者を識別する情報を参加者の顔写真とする場合の会議開始処理のフローを図10(A)を用いて説明する。なお、ステップS1101~S1106までの処理は上述と同様である。ステップS1106において、開始音声に対する参加者の反応が肯定的な反応であれば、処理工程は、ステップS2001に遷移して、それ以外の場合には、ステップS1103に遷移する。
ステップS2001において、音声処理サーバ204は、スマートスピーカ100に参加者それぞれの顔写真および位置(発話位置)を送信するように指示する。
ステップS2002において、制御部101は、公知の顔検出技術(顔認識技術)を用いて、撮像部を介して撮像(取得)している画像から、1人の参加者の顔を検出して、顔写真を取得する。
ステップS2003において、制御部101は、顔写真を取得した参加者がいる方向(顔の中央の方向など)を参加者の位置(発話位置)として取得する。
ステップS2004において、制御部101は、全ての参加者の顔写真および発話位置が取得されたか否かを判定する。例えば、制御部101は、スマートスピーカ100の周囲360度の範囲を、撮像部を介して撮像したか否かによって当該判定ができる。処理工程は、全ての参加者から顔写真などを取得している場合には、ステップS2005に遷移して、それ以外の場合には、ステップS2002に遷移する。
ステップS2005において、制御部101は、参加者それぞれの顔写真と発話位置を音声処理サーバ204に送信する。
ステップS2006において、音声処理サーバ204は、音声処理サーバ204は、顔写真を参加者を識別する情報として、発話位置と対応付けて参加者情報として記憶する。ステップS2006の処理が終了すると、処理工程はステップS1115に遷移して、ステップS1115以降の処理は、図6が示すフローチャートの処理と同様である。
なお、配信システム1は、スマートスピーカ100が撮像部を有しない、または、撮像部を使用できない場合には、ステップS1107~S1114の処理を行い、それ以外の
場合には、ステップS2001~S2006の処理を行うように、切り替えて処理を実行してもよい。
これによれば、参加者を識別する情報を、参加者に発声してもらう必要がなくなるため、会議開始処理における参加者の負担を軽減できる。また、参加者の顔写真を、参加者を識別する情報とすることによれば、図9を用いて後述するが、発話者情報として発話者の顔写真が情報処理端末300に配信される。そのため、情報処理端末300は、図10(B)のように、発話情報に対して、発話者名の代わりに、発話者の顔写真421,422を対応付けて議事メモを表示することができる。これによれば、共有者は、会議における参加者の名前が分からないような場合であっても、発話者がどの参加者であるのかを明確に判断することができる。
(端末登録処理;S1003)
続いて、上述したステップS1003の処理である端末登録処理の詳細について、図8が示すフローチャートを用いて説明する。なお、本フローチャートにおいて、ステップS1201,S1202,S1204,S1209の処理は情報処理端末300が実行する処理であり,ステップS1203の処理はWEBサーバ205が実行する処理である。また、ステップS1205,S1208の処理は配信サーバ201が実行する処理であり、ステップS1206,S1207の処理はアプリケーションサーバ202が実行する処理である。
ステップS1201において、情報処理端末300は、スマートスピーカ100に表示された識別情報TMPInfoから、会議情報MTInfoを取得する。
ステップS1202において、情報処理端末300は、自身の表示部に議事メモを表示するためのコンテンツ(アプリケーションプログラム)を取得するために、WEBサーバ205に当該コンテンツの送信を要求する。
ステップS1203において、WEBサーバ205は、情報処理端末300の表示部に議事メモを表示するためのコンテンツを、情報処理端末300に送信する。なお、情報処理端末300が、当該コンテンツを事前に有している場合には、ステップS1202,S1203の処理は行われなくてもよい。
ステップS1204において、情報処理端末300は、他の情報処理端末300と識別するための端末情報と会議情報MTInfoを配信サーバ201に送信する。なお、端末情報には、例えば、ポート番号やIPアドレスやMACアドレスやこれらの組合せを用いることができる。
ステップS1205において、配信サーバ201は、アプリケーションサーバ202を呼び出す。なお、配信サーバ201は、ステップS1204にて取得した端末情報と会議情報MTInfoとを、アプリケーションサーバ202に転送する。
ステップS1206において、アプリケーションサーバ202は、会議情報MTInfoを送信した情報処理端末300を、会議情報MTInfoに対応する発話情報の配信先として登録する。より詳細には、配信サーバ201は、取得した会議情報MTInfoと当該情報処理端末300を示す端末情報とを対応付けて登録情報として、図7(B)が示すようにデータベースサーバ203に記憶する。
ステップS1207において、アプリケーションサーバ202は、データベースサーバ203から、会議情報MTInfoに応じた発話情報と、当該発話情報に対応する発話時
刻と発話者情報を取得して、配信サーバ201に送信する。より詳細には、アプリケーションサーバ202は、データベースサーバが記憶する図7(C)が示すような発話履歴から、会議情報MTInfoに応じた発話情報と、当該発話情報に対応する発話時刻と発話者情報を取得する。
ステップS1208において、配信サーバ201は、発話情報に対して、当該発話情報に対応する発話時刻と発話者情報を付加して情報処理端末300に配信する。これにより、配信サーバ201は、情報処理端末300から会議情報MTInfoを取得する以前(配信先に登録される以前)の発話情報を、情報処理端末300に対して配信することができる。
ステップS1209において、情報処理端末300は、コンテンツ(アプリケーションプログラム)に応じて、発話情報と発話時刻と発話者情報から議事メモを生成して、図3(A)が示すように表示する。
(配信処理;S1005)
続いて、上述したステップS1005の処理である配信処理の詳細について、図9が示すフローチャートを用いて説明する。なお、本フローチャートにおいて、ステップS1301~S1304,S1306の処理はスマートスピーカ100が実行する処理であり,ステップS1305の処理は音声処理サーバ204が実行する処理である。また、ステップS1307,S1308の処理は配信サーバ201が実行する処理であり、ステップS1309の処理は情報処理端末300が実行する処理である。
ステップS1301において、制御部101は、音声取得部103を介して、参加者の発話を音声として取得する。また、制御部101は、音声を取得した時刻を発話時刻として取得する。
ステップS1302において、制御部101は、ステップS1110と同様に、ステップS1301にて取得した音声の発話位置を取得する。
ステップS1303において、制御部101は、図7(A)が示すような予め決定された参加者情報と、ステップS1302にて取得した発話位置とに基づき、発話した参加者である発話者を判定する。より詳細には、制御部101は、参加者情報が示す発話範囲のいずれに当該発話位置が含まれるかを判定し、含まれていると判定した発話範囲に対応する参加者が発話したと決定する。例えば、図7(A)が示す例では、ステップS1302にて発話位置が180度であると取得されていれば、制御部101は、発話範囲が150度~240度である参加者γが発話したものと判定する。従って、本実施形態における制御部101は、判定手段であるともいえる。なお、参加者情報は、ステップS1117において記憶部102に記憶されている。
ステップS1304において、制御部101は、通信部107を介して、音声処理サーバ204に対して、ステップS1301にて取得した音声を送信する。
ステップS1305において、音声処理サーバ204は、取得した音声を文字列に変換する。音声処理サーバ204は、変換した文字列を発話情報としてスマートスピーカ100に送信する。
ステップS1306において、制御部101は、会議情報MTInfoと発話時刻と発話者情報と発話情報と音声とを対応付けて、配信サーバ201に送信する。なお、発話者情報とは、発話した参加者(発話者の名称)を示す情報であり、好適には、発話した参加
者名(発話者名)であるが、参加者を識別する情報が顔写真である場合には、発話者の顔写真であってもよい。
ステップS1307において、配信サーバ201は、図7(C)が示すように、会議情報MTInfoと発話時刻と発話者情報と発話情報と音声とを対応付けて発話履歴として、データベースサーバ203に記憶する。
ステップS1308において、配信サーバ201は、登録情報において会議情報MTInfoに対応している情報処理端末300に、発話情報に対して発話時刻と発話者情報を付加して配信する。例えば、配信サーバ201は、会議情報MTInfoが102を示す発話履歴を取得した場合には、図7(B)が示す登録情報を用いて、端末情報が100,121,122を示す3つの情報処理端末300に対して発話情報を配信する。
ステップS1309において、情報処理端末300は、配信された発話情報と発話時刻と発話者情報およびコンテンツに基づいて、議事メモを表示(更新)する。
(発話範囲の修正)
なお、ステップS1115にて決定された発話範囲は、修正可能であってもよい。このとき、スマートスピーカ100の記憶部102が、予め撮像された、参加者それぞれの顔写真(顔画像)を記憶しているとよい。顔写真は、例えば、ステップS1109における参加者の発声時に、撮像部が撮像した画像から公知の顔検出技術によって制御部101が取得しておく。
まず、制御部101は、所定の期間ごとや参加者から発話があるごとに、予め記憶している顔写真と撮像部が撮像している参加者の顔の画像とのマッチング(比較)をして、その一致度に応じて参加者を識別する。このとき、制御部101は、当該参加者の顔(顔の中央など)の方向を、発話位置として取得する。このような発話位置の取得の処理を、制御部101は、それぞれの参加者について行う。
その後、制御部101は、それぞれの参加者の発話位置に基づき、ステップS1115と同様に、参加者それぞれの発話範囲(参加者の位置範囲)を決定する処理をする。さらに、制御部101は、参加者情報における発話範囲の情報を更新(修正)して記憶部102に記憶する。これによれば、参加者の位置が変化した場合にも、スマートスピーカ100は、発話した参加者(発話者)を正しく判定することができる。
なお、ここでは、予め記憶された参加者それぞれの顔写真(顔画像)と、会議中における参加者それぞれの顔(顔の画像)とが比較されて、発話範囲が修正されたが、これには限られない。つまり、参加者の服の色やシルエットなどの画像が予め記憶されており、当該画像と、会議中における参加者の画像とが比較されることによっても、発話範囲の修正が可能である。
また、発話範囲の修正は、撮像部を用いた修正には限られない。例えば、参加者から「座席位置が変わりました」という発声があった場合に、スマートスピーカ100が「新たな参加者を教えてください」などの参加者の再確認をする通知をすることによって、発話範囲が修正されてもよい。具体的には、「座席位置が変わりました」という発声が参加者からあった場合に、ステップS1107~S1116,S1118と同様の処理が行われることによって、発話範囲の修正ができる。
なお、参加者の発声に応じて、発話範囲を修正する場合には、スマートスピーカ100は、例えば、参加者情報に含まれる参加者を識別する情報を用いて、「山田さんはいます
か?」などの通知を行ってもよい。スマートスピーカ100は、通知に対する返答の音声および発話位置を取得して、音声処理サーバ204に送信する。音声処理サーバ204は、参加者から「はい」や「います」などの肯定的な返答があった場合には、その返答があった参加者情報における当該参加者の発話位置を取得したものに修正する。一方、「いいえ」や「いません」などの否定的な返答があった場合には、音声処理サーバ204は、当該参加者に関する発話位置を削除する。このような通知から発話位置の修正・削除までの処理を、スマートスピーカ100および音声処理サーバ204は、参加者情報に含まれる参加者を識別する情報の数(参加者の数)の分だけ繰り返す。そして、音声処理サーバ204は、ステップS1115と同様に、修正された発話位置に基づいて発話範囲を決定(修正)する。
なお、本実施形態では、スマートスピーカ100が外部サーバ200と通信を行うことによって、発話情報の配信を実現したが、これには限られない。例えば、スマートスピーカ100が、外部サーバ200の各サーバの機能の一部または全部を有していてもよい。従って、スマートスピーカ100が音声を文字列に変換する処理を行ってもよいし、スマートスピーカ100が情報処理端末300に対して発話情報を配信してもよい。
[効果]
このように本実施形態では、スマートスピーカに表示された識別情報から得た会議情報を、情報処理端末が配信サーバに送信することによって、当該情報処理端末は、会議における発話情報を取得することができる。ここで、識別情報は、会議ごとに異なる情報であるので、配信サーバは、適切な情報処理端末(共有者)に発話情報を配信(共有)することができ、セキュアである。
なお、QRコード(マトリックス型二次元コード)を用いて識別情報を表示させることによれば、QRコードは多くの情報を含むことができる。このため、会議情報に対する総当り攻撃による会議に参加をしていない悪意者による発話情報の取得を抑制することができる。また、QRコードは、一般的なスマートフォンなどの標準的な機能により認識できるため、情報処理端末に対して特別なアプリケーションプログラムを適用させることなく、配信先の決定が可能である。
また、複数の光源素子による発光の有無および/または発光色によって識別情報を示すことによれば、画像を表示する機能を有しないスマートスピーカを用いても、適切な情報処理端末(共有者)に発話情報を配信することができる。また、発話情報の配信先を決定する際に、スマートスピーカから音声が発生しないので、会議中であっても、会議の邪魔をすることなく、配信先の追加(登録)をすることができる。
[変形例1]
また、配信システム1において、情報処理端末300が表示する議事メモにおける発話情報は、変更や削除が可能であってもよい。
本変形例に係る情報処理端末300は、図3(A)が示すような発話情報が表示されている表示領域402にタッチがされると、図3(B)が示すような、ポップアップ411を表示する。ポップアップ411は、「削除」、「変更」、「再生」の3つの領域を含む。
ポップアップ411における「削除」がタッチされると、情報処理端末300は、タッチされた発話情報である「それでは会議を始めます。」を削除する。また、情報処理端末300は、データベースサーバ203が記憶する当該発話情報に対応する発話情報も同様に削除する。また、情報処理端末300は、同じ会議情報に紐付いている他の情報処理端
末300に対しても、同様に当該発話情報の削除をするように指示する。そして、他の情報処理端末300も、同様に当該発話情報の削除をする。
ポップアップ411における「変更」がタッチされると、情報処理端末300は、タッチされた発話情報である「それでは会議を始めます。」に対する、ユーザ入力による変更を可能にする。当該ユーザ入力が行われると、情報処理端末300は、当該ユーザ入力に応じて当該発話情報を変更する。具体的には、情報処理端末300は、例えば、当該ユーザ入力に応じて、「それでは会議を始めます。」を「今から会議を始めます。」に変更する。また、情報処理端末300は、データベースサーバ203が記憶する当該発話情報に対応する発話情報も同様に変更する。また、情報処理端末300は、同じ会議情報に紐付いている他の情報処理端末300に対しても、同様に当該発話情報の変更をするように指示する。そして、他の情報処理端末300も、同様に当該発話情報の変更をする。
ポップアップ411における「再生」がタッチされると、情報処理端末300は、配信サーバ201を介して、タッチされた発話情報の生成元である音声をデータベースサーバ203から取得して、当該音声を再生する。
なお、ポップアップ411における「削除」、「変更」、「再生」の3つの領域に対するタッチによるユーザ操作に限らず、スライドや長押しなどの任意のユーザ操作に応じて情報処理端末300は上述の処理を行ってもよい。
本変形例によれば、ユーザ操作によって、議事メモの修正ができるため、より適切な発話情報を共有者に共有することができる。
以上に説明した本発明の実施形態や変形例に記載された構成や処理は、互いに任意に組み合わせて利用できる。
上述の実施形態または変形例の1以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC等)によっても実現可能である。
1:配信システム、100:スマートスピーカ、103:音声取得部、105:表示部、201:配信サーバ、300:情報処理端末

Claims (14)

  1. 会議における1または複数の参加者の発話を音声として取得する音声取得手段と、
    会議ごとに異なる、当該会議を特定するための識別情報を表示する表示手段と、
    を有するスマートスピーカと、
    前記識別情報を用いて配信先に登録された1または複数の情報処理端末に対して、前記識別情報に対応する会議における前記音声が文字列に変換された発話情報を配信する配信手段と、
    を有する、
    ことを特徴とする配信システム。
  2. 前記表示手段は、画像を表示する画像表示部を有し、マトリックス型二次元コードを用いて前記識別情報を前記画像表示部に表示する、
    ことを特徴とする請求項1に記載の配信システム。
  3. 前記表示手段は、光源部を有し、前記光源部の発光によって前記識別情報を表示する、
    ことを特徴とする請求項1に記載の配信システム。
  4. 前記光源部は、複数の発光素子から構成されており
    前記表示手段は、前記複数の発光素子それぞれの発光の有無および/または発光色を制御することによって前記識別情報を表示する、
    ことを特徴とする請求項3に記載の配信システム。
  5. 前記配信手段は、前記識別情報に応じた情報を前記配信手段に送信した情報処理端末を、前記識別情報に対応する会議における前記発話情報の配信先に登録する、
    ことを特徴とする請求項1から4のいずれか1項に記載の配信システム。
  6. 前記音声を前記発話情報に変換する音声処理手段をさらに有し、
    前記1または複数の参加者のいずれかから発話があるごとに、
    前記音声取得手段は、当該発話を音声として取得し、
    前記音声処理手段は、前記音声を前記発話情報に変換し、
    前記配信手段は、前記1または複数の情報処理端末に前記発話情報を配信する、
    ことを特徴とする請求項1から5のいずれか1項に記載の配信システム。
  7. 前記スマートスピーカは、発話をした参加者を判定する判定手段をさらに有し、
    前記配信手段は、前記1または複数の参加者のいずれかから発話があるごとに、当該発話した参加者を示す情報が付加された前記発話情報を、前記1または複数の情報処理端末に配信する、
    ことを特徴とする請求項1から6のいずれか1項に記載の配信システム。
  8. 前記判定手段は、
    前記1または複数の参加者それぞれの発話から、参加者それぞれの位置範囲を予め決定しておき、
    前記1または複数の参加者のいずれかから発話があるごとに、前記参加者の位置範囲に基づき、当該発話をした参加者を判定する、
    ことを特徴とする請求項7に記載の配信システム。
  9. 前記スマートスピーカは、
    前記1または複数の参加者それぞれを撮像する撮像手段と、
    前記1または複数の参加者それぞれの予め撮像された画像と、前記会議において前記撮
    像手段が撮像する参加者それぞれの画像とを比較することによって、前記参加者の位置範囲を更新する制御手段と、
    をさらに有する、
    ことを特徴とする請求項8に記載の配信システム。
  10. 前記発話情報を記憶する記憶手段をさらに有し、
    前記配信手段は、新たな情報処理端末が配信先に登録されると、当該情報処理端末に対して、当該情報処理端末が登録される以前の前記発話情報を配信する、
    ことを特徴とする請求項1から9のいずれか1項に記載の配信システム。
  11. 前記1または複数の情報処理端末をさらに有し、
    前記1または複数の情報処理端末のそれぞれは、発話ごとの発話情報を、時系列に、発話した参加者を示す情報および発話時刻とともに表示する、
    ことを特徴とする請求項1から10のいずれか1項に記載の配信システム。
  12. 前記1または複数の情報処理端末のうち1つの情報処理端末が表示する発話情報に対して、変更または削除をするユーザ操作が行われると、
    前記1または複数の情報処理端末のそれぞれは、表示する当該発話情報を変更または削除する、
    ことを特徴とする請求項11に記載の配信システム。
  13. 表示手段を有するスマートスピーカを含む配信システムの制御方法であって、
    前記スマートスピーカが、会議における1または複数の参加者の発話を音声として取得する音声取得ステップと、
    前記スマートスピーカが、会議ごとに異なる、当該会議を特定するための識別情報を前記表示手段に表示させる表示制御ステップと、
    前記識別情報を用いて配信先に登録された1または複数の情報処理端末に対して、前記識別情報に対応する会議における前記音声が文字列に変換された発話情報を配信する配信ステップと、
    を有する、
    ことを特徴とする配信システムの制御方法。
  14. 請求項13に記載の配信システムの制御方法の各ステップをコンピュータに実行させるためのプログラム。
JP2019053606A 2019-03-20 2019-03-20 配信システム、配信システムの制御方法、プログラム Active JP7098561B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019053606A JP7098561B2 (ja) 2019-03-20 2019-03-20 配信システム、配信システムの制御方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019053606A JP7098561B2 (ja) 2019-03-20 2019-03-20 配信システム、配信システムの制御方法、プログラム

Publications (2)

Publication Number Publication Date
JP2020154847A JP2020154847A (ja) 2020-09-24
JP7098561B2 true JP7098561B2 (ja) 2022-07-11

Family

ID=72559251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019053606A Active JP7098561B2 (ja) 2019-03-20 2019-03-20 配信システム、配信システムの制御方法、プログラム

Country Status (1)

Country Link
JP (1) JP7098561B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102437752B1 (ko) * 2020-10-15 2022-08-29 네이버 주식회사 인공지능 디바이스와 연동하여 음성 기록을 관리하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004228737A (ja) 2003-01-21 2004-08-12 Sharp Corp 会議支援装置および会議支援システムおよび会議支援プログラム
JP2005274707A (ja) 2004-03-23 2005-10-06 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP2006050500A (ja) 2004-08-09 2006-02-16 Jfe Systems Inc 会議支援システム
JP2014206896A (ja) 2013-04-15 2014-10-30 Yamagata Intech株式会社 情報処理装置、及び、プログラム
JP2015122682A (ja) 2013-12-25 2015-07-02 ブラザー工業株式会社 遠隔会議プログラム、端末装置および遠隔会議方法
JP2017016328A (ja) 2015-06-30 2017-01-19 株式会社リコー コード構造および情報処理プログラム
JP2017173768A (ja) 2016-03-25 2017-09-28 グローリー株式会社 議事録作成システム
JP2018173752A (ja) 2017-03-31 2018-11-08 本田技研工業株式会社 会議システム、会議システム制御方法、およびプログラム
JP2019009770A (ja) 2017-06-26 2019-01-17 フェアリーデバイセズ株式会社 音声入出力装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004228737A (ja) 2003-01-21 2004-08-12 Sharp Corp 会議支援装置および会議支援システムおよび会議支援プログラム
JP2005274707A (ja) 2004-03-23 2005-10-06 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP2006050500A (ja) 2004-08-09 2006-02-16 Jfe Systems Inc 会議支援システム
JP2014206896A (ja) 2013-04-15 2014-10-30 Yamagata Intech株式会社 情報処理装置、及び、プログラム
JP2015122682A (ja) 2013-12-25 2015-07-02 ブラザー工業株式会社 遠隔会議プログラム、端末装置および遠隔会議方法
JP2017016328A (ja) 2015-06-30 2017-01-19 株式会社リコー コード構造および情報処理プログラム
JP2017173768A (ja) 2016-03-25 2017-09-28 グローリー株式会社 議事録作成システム
JP2018173752A (ja) 2017-03-31 2018-11-08 本田技研工業株式会社 会議システム、会議システム制御方法、およびプログラム
JP2019009770A (ja) 2017-06-26 2019-01-17 フェアリーデバイセズ株式会社 音声入出力装置

Also Published As

Publication number Publication date
JP2020154847A (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
TWI536365B (zh) 聲紋辨識
JP6594646B2 (ja) ロボット及びロボット制御方法並びにロボットシステム
US20180075848A1 (en) Dialogue apparatus and method
US10015385B2 (en) Enhancing video conferences
WO2010010736A1 (ja) 会議画像生成方法、会議システム、サーバ装置及び会議装置等
WO2021217912A1 (zh) 基于人脸识别的信息生成方法、装置、计算机设备及存储介质
JP2012023595A (ja) 会議システム
JP2009188809A (ja) 電子会議システム
CN110166726A (zh) 一种自识别用户的视频会议终端及系统
KR102263154B1 (ko) 스마트 미러 기반 얼굴 감성 표현 시스템 및 그 운용방법
CN114845081A (zh) 信息处理装置、记录介质及信息处理方法
JP7098561B2 (ja) 配信システム、配信システムの制御方法、プログラム
TW202241122A (zh) 會議室智能管理方法及智能會議室系統
JP2022042423A (ja) 遠隔勤務支援システム及び遠隔勤務支援方法
JP6794819B2 (ja) 画像プリントシステム
JP4867295B2 (ja) 画像管理装置、および画像管理プログラム
JP6753407B2 (ja) 感情誘導システム、感情誘導方法、およびプログラム
US20240045574A1 (en) Systems and Methods for Identifying an Active Speaker in a Virtual Meeting
JP2018107538A (ja) 情報処理装置、情報処理装置の制御方法および制御プログラム
JP2007093843A (ja) 顔画像取得方法および装置
JP2019159423A (ja) 情報処理装置、データ表示方法、プログラム、通信システム、通信方法、登録情報管理装置
JP2009070166A (ja) 電子会議システム
JP6642630B2 (ja) 情報処理装置及びプログラム
JP7124442B2 (ja) システム、方法、及びプログラム
JP2017119337A (ja) ロボット、ロボット制御方法およびロボットプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220629

R150 Certificate of patent or registration of utility model

Ref document number: 7098561

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150