JP7103681B2 - 音声認識プログラム、音声認識方法、音声認識装置および音声認識システム - Google Patents

音声認識プログラム、音声認識方法、音声認識装置および音声認識システム Download PDF

Info

Publication number
JP7103681B2
JP7103681B2 JP2020210074A JP2020210074A JP7103681B2 JP 7103681 B2 JP7103681 B2 JP 7103681B2 JP 2020210074 A JP2020210074 A JP 2020210074A JP 2020210074 A JP2020210074 A JP 2020210074A JP 7103681 B2 JP7103681 B2 JP 7103681B2
Authority
JP
Japan
Prior art keywords
speaker
speakers
user
terminal
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020210074A
Other languages
English (en)
Other versions
JP2022096852A (ja
Inventor
康弘 眞井
幸一朗 森重
Original Assignee
株式会社ミルプラトー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ミルプラトー filed Critical 株式会社ミルプラトー
Priority to JP2020210074A priority Critical patent/JP7103681B2/ja
Priority to JP2022106669A priority patent/JP2022121643A/ja
Publication of JP2022096852A publication Critical patent/JP2022096852A/ja
Application granted granted Critical
Publication of JP7103681B2 publication Critical patent/JP7103681B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、録音等の音声認識を行う音声認識プログラム、音声認識方法、音声認識装置および音声認識システムに関する。
ICレコーダや録音アプリケーション(アプリ)により録音した音声は、ICレコーダ等に多数保持可能である。録音後の音声ファイルについて、多数のうちから必要なものを効率的に見つけ出し再生できることが望まれている。また、音声データに含まれる話者を具体的にユーザに提示できることが望まれている。
音声ファイルに含まれる話者人数は、k-means法等のクラスタリング技術により推定することができる。クラスタリングでは、話者人数を事前に設定することで話者人数に基づき音声ファイルに含まれる音声を話者ごとに分割する。話者人数の推定に関する技術としては、例えば、会議等の打合せの録音前に話者人数を事前に設定し、話者分のマイクを用意し話者別の方向を検出する処理等により、話者人数を推定する技術がある(例えば、下記特許文献1参照。)。
特開2009-301125号公報
しかしながら、従来技術では、録音データに含まれる話者人数の推定には、打合せの録音前に話者人数を事前に設定し、話者分のマイクを用意し話者別の方向を検出する処理等の事前準備が必要となり煩雑であった。また、推定した話者人数は、所定の精度を有しているが、実際に録音した話者人数と異なる場合があり、このような場合において推定した話者人数の修正を簡単に行えなかった。
加えて、録音後の音声ファイルに含まれる話者が具体的に誰であるかの話者推定についても、簡単に推定できることが望まれる。
本発明は、上記課題に鑑み、事前設定せずとも音声ファイルに含まれる音声の話者人数および話者を簡単に推定できることを目的とする。
上記目的を達成するため、本発明の音声認識プログラムは、コンピュータに、音声ファイルに含まれる話者別の話者人数を推定し、予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、前記音声ファイルに含まれる話者をタグ付けする、処理を実行させることを特徴とする。
また、前記認識の処理は、推定した前記話者人数の情報、および前記話者人数に対応する話者候補をユーザに提示し、前記ユーザによる前記話者候補から前記話者を特定する操作に基づき、前記話者人数のそれぞれの話者を認識し、前記タグ付けの処理は、前記ユーザの操作に基づき話者をタグ付けする、ことを特徴とする。
また、前記推定の処理は、推定した前記話者人数をユーザに提示し、前記ユーザによる前記話者人数の変更操作に基づき、前記音声ファイルに含まれる話者人数の推定を再度実行する、ことを特徴とする。
さらに、前記タグ付け後の話者の情報の学習および蓄積を行い、前記認識の処理は、前記学習済モデルに基づき、推定した前記話者人数のそれぞれの話者を認識する、ことを特徴とする。
また、前記音声の録音時あるいは再生時に、前記音声ファイルに含まれる文字をリアルタイムに生成することを特徴とする。
また、本発明の音声認識方法は、コンピュータが、音声ファイルに含まれる話者別の話者人数を推定し、予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、前記音声ファイルに含まれる話者をタグ付けする、処理を実行することを特徴とする。
また、本発明の音声認識装置は、音声ファイルに含まれる話者人数と話者を認識する制御部、を備え、前記制御部は、音声ファイルに含まれる話者別の話者人数を推定し、予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、前記音声ファイルに含まれる話者をタグ付けする、ことを特徴とする。
また、本発明の音声認識システムは、端末と、クラウドが通信接続された音声認識システムにおいて、前記端末は、音声の録音部と、録音あるいは再生した音声ファイルを前記クラウドにアップロードする通信部と、を有し、前記クラウドは、前記音声ファイルに含まれる話者別の話者人数を推定し、予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、前記音声ファイルに含まれる話者をタグ付けした情報を前記端末に通知する、ことを特徴とする。
また、前記端末は、前記クラウドが推定した前記話者人数の情報、および前記話者人数に対応する話者候補をユーザに提示する表示部を備え、前記ユーザによる前記話者候補から前記話者を特定する操作の情報を前記クラウドに送信し、前記クラウドは、前記端末から受信した前記話者候補から前記話者を特定する操作の情報に基づき、前記話者人数のそれぞれの話者を認識し、前記ユーザの操作に基づき話者をタグ付けした情報を前記端末に送信する、ことを特徴とする。
また、前記端末の前記制御部は、前記クラウドが推定した前記話者人数を前記表示部によりユーザに提示し、前記クラウドは、前記端末から受信した前記ユーザによる前記話者人数の変更操作に基づき、前記音声ファイルに含まれる話者人数の推定を再度実行した結果を前記端末に送信する、ことを特徴とする。
また、前記クラウドは、前記端末からアップロードされた前記音声ファイルを保存する保存部を有することを特徴とする。
上記構成によれば、音声ファイルに含まれる話者人数を推定後、各話者を具体的に認識でき、音声ファイルに含まれる話者人数と各話者を簡単に知ることができるようになる。
本発明によれば、事前設定せずとも音声ファイルに含まれる音声の話者人数および話者を簡単に推定できるという効果を奏する。
図1は、実施の形態にかかる音声認識システムの機能構成図である。 図2は、音声認識装置のハードウェア構成例を示す図である。 図3は、音声認識にかかる処理例を示すフローチャートである。 図4は、音声学習にかかる処理例を示すフローチャートである。 図5は、音声認識に用いるテーブル構造例を示す図表である。 図6は、話者人数推定と話者認識の処理の遷移図である。 図7は、初回録音時の端末上の表示画面を示す図である。 図8は、録音時の端末上の録音画面を示す図である。 図9は、話者人数の推定後の端末上の表示画面を示す図である。 図10は、話者候補の端末上の表示画面を示す図である。 図11は、端末上の話者選択の一覧を示す表示画面を示す図である。 図12は、端末上の文字起こしの表示画面を示す図である。 図13は、音声ファイル再生時の端末上の表示画面を示す図である。 図14は、音声ファイルに含まれる音声の波形例を示す図である。 図15は、音声ファイルに含まれる話者のグループ分けを示す図である。 図16は、推定した話者人数の変更を示す図である。 図17は、推定した話者人数の変更を示す図である。 図18は、端末上の話者候補の追加表示画面を示す図である。
(実施の形態)
以下に添付図面を参照して、この発明にかかる音声認識プログラム、音声認識方法、音声認識装置および音声認識システムの好適な実施の形態を詳細に説明する。
(システムの概要構成)
図1は、実施の形態にかかる音声認識システムの機能構成図である。音声認識システムは、音声を録音する端末100と、クラウド110とを含む。端末100は、ICレコーダや、録音アプリを有するスマートフォン、タブレット、PC等である。以下の説明では、ICレコーダやスマートフォン等の端末100がマイクから音声を録音する構成を例に説明するが、これに限らず、端末100は、スマートフォン等による相手との通話を録音する構成とすることもできる。
端末100は、マイク101と、制御部105と、キーボード106と、ディスプレイ107と、を含む。制御部105は、録音部102と、文字起こし部103と、話者タグ付け部104と、を含む。録音部102は、マイク101を介して話者(会議等の複数の参加者等)が発した音声を音声ファイルDとして保持する。制御部105は、話者人数および話者推定の際、音声ファイルDをクラウド110上に送信する。
文字起こし部103は、音声ファイルDに含まれる音声を音声認識してテキスト等の文字データを生成する。話者タグ付け部104は、音声ファイルDに含まれる音声の話者人数および話者の情報をタグとして音声ファイルDにタグ付けする。図1のシステム構成例では、話者タグ付け部104は、クラウド110が話者人数と話者を推定したタグ付けの情報をクラウド110から取得し、端末100上において音声ファイルDに含まれる話者を特定可能にタグ付けする。
端末100の制御部105は、搭載された各機能を、例えば、API(Application Programming Interface)により呼び出し実行する構成としてもよい。
クラウド110は、複数のPC群、サーバー群、ストレージ群を有し、端末100とインターネット等のネットワークを介して通信接続される。図1の構成例に示すクラウド110は、例えば、ストレージサーバー120と、機械学習サーバー130と、学習済モデルを格納する学習済モデルデータベース(DB)140と、を含む。
ストレージサーバー120は、端末100との間で音声ファイルDを送受信する。ストレージサーバー120は、端末100から送信された音声ファイルDを保存部121に一時保存する。また、ストレージサーバー120は、機械学習サーバー130が話者人数と話者を推定した情報を含む音声ファイルDを保存部121に一時保存し、この音声ファイルDを端末100に送信する。
機械学習サーバー130は、話者人数推定部131と、話者認識部132の機能を有する。学習済モデルDB140には、音声ファイルDの話者人数と話者を推定するための学習済モデルが保持される。学習済モデルは、音声別の話者の認識情報の学習結果であり、端末100からの音声認識の要求ごとにアップロードされる音声ファイルDの学習結果として学習済モデルDB140に更新可能に蓄積される。
機械学習サーバー130の話者人数推定部131は、音声ファイルDを音声認識し、音声ファイルDに含まれる話者人数を推定する。話者認識部132は、話者人数を推定した後の音声ファイルDに含まれる話者を推定する。話者人数推定部131と話者認識部132は、学習済モデルDB140の学習済モデルにアクセスし、話者人数および話者を推定する。
実施の形態では、クラウド110(機械学習サーバー130)が音声ファイルDに含まれる話者人数および話者の推定を行い、推定結果を一旦端末100に送信する。端末100では、クラウド110側で推定した音声ファイルDの話者人数と話者の情報を画面上に表示する。そして、端末100でのユーザによる操作により、修正および確定を行う。
このように、実施の形態では、クラウド110側で推定した音声ファイルDの話者人数と話者を、端末100のユーザが補助的に行う操作により修正あるいは確定する。この修正および確定の操作情報は、端末100からクラウド110(機械学習サーバー130)に送信する。これら修正および確定の処理時においては、音声ファイルDそのものを端末100とクラウド110との間で送受信する必要はなく、話者人数と話者に関する情報に対する修正および確定の情報のみを送信することで、伝送データ量を削減できる。
機械学習サーバー130は、話者人数の修正時には、音声ファイルDに対し修正後の話者人数で話者を再度分割する。また、話者の修正時には、音声ファイルDに対し修正後の話者をタグ付けする。
このように、実施の形態では、事前準備せずとも、録音後の音声ファイルDに基づき、話者人数と話者を推定する。そして、推定した話者人数と話者をユーザ操作により修正可能とすることで、音声ファイルDに含まれる話者人数と話者の推定精度を向上でき、簡単に推定処理できるようになる。
図1に示した例では、端末100により録音した音声ファイルDをクラウド110により音声認識する音声認識システムを構成している。これに限らず、図1でクラウド110側に配置した話者人数推定と話者認識の機能を端末100に配置することで、端末100単独で音声認識装置を構成することもできる。
図2は、音声認識装置のハードウェア構成例を示す図である。例えば、図1に示す端末100は、図2に示す構成を有する。端末100は、CPU201、ROM202、RAM203、外部メモリ204、マイク101、キーボード106、入力インターフェース(I/F)208、映像I/F209、ディスプレイ107、通信I/F211、等を含む。各構成部201~211は、バス220によってそれぞれ接続されている。
CPU201は、端末100全体の制御を司る制御部の機能を有する。ROM202は、制御用のブートプログラムを記録している。RAM203は、CPU201のワークエリアとして使用される。すなわち、CPU201は、RAM203をワークエリアとして使用しながら、ROM202に記録された各種プログラムを実行することによって、音声認識装置100の全体の制御を司る。
外部メモリ204は、HDDやSSD、ディスク装置、フラッシュメモリ等からなり、CPU201の制御にしたがってデータを書き込み/読み取り可能に保持する。
入力I/F208には、話者の音声を取得するマイク101と、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード106とが接続され、これらから入力されたデータをCPU201に出力する。
映像I/F209は、ディスプレイ107に接続される。映像I/F209は、具体的には、例えば、ディスプレイ107全体を制御するグラフィックコントローラと、即時表示可能な画像情報を一時的に記録するVRAM(Video RAM)などのバッファメモリと、グラフィックコントローラから出力される画像データに基づいてディスプレイ107を制御する制御ICなどによって構成される。
ディスプレイ107には、アイコン、カーソル、メニュー、ウインドウ、あるいは文字や画像などの各種データが表示される。ディスプレイ107としては、例えば、TFT液晶ディスプレイ、有機ELディスプレイなどを用いることができる。
通信I/F211は、ネットワークに接続され、クラウド110と通信接続するインターフェースとして機能する。ネットワークとしては、有線あるいは無線接続されるインターネット、公衆回線網や携帯電話網、LAN、WANなどがある。
図1に示した端末100は、図2に記載のROM202、RAM203、外部メモリ204などに記録されたプログラムやデータを用いて、CPU201が所定のプログラムを実行することによって、端末100の機能を実現する。また、端末100がスマートフォンやタブレット等の携帯機器の場合、キーボード106と、ディスプレイ107はタッチパネルで構成してもよい。
また、図1に記載のクラウド110を構成する各サーバー120,130についても、図2同様の構成を有し、CPU201が制御部として機能し、全体の処理を司る。
図3は、音声認識にかかる処理例を示すフローチャートである。上述した話者人数推定および話者認識にかかる音声認識の処理は、主にクラウド110(機械学習サーバー130)が行う。
はじめに、端末100は、録音した音声ファイルDをクラウド110にアップロードする(ステップS301)。端末100は、既に録音されている音声ファイルDをアップロードしてもよい。この音声ファイルDは、不特定の話者が録音した音声であり、話者人数も不明な状態である。端末100は、話者人数と話者を特定するために音声ファイルDをアップロードする。クラウド110は、アップロードされた音声ファイルDをストレージサーバー120の保存部121に保存する(ステップS302)。
次に、クラウド110の機械学習サーバー130の制御部(話者人数推定部131、CPU201)は、音声ファイルDに含まれる話者人数を推定する(ステップS303)。制御部は、音声ファイルDの音声に対し、推定した話者人数別のユニークなIDを付与する。ID付与により、音声ファイルD上において推定した話者別の音声が識別可能となる。
次に、制御部は、学習済モデルDB140の学習済モデルにアクセスし、音声ファイルDに学習済みの話者モデルが存在するか否かを判断する(ステップS304)。
判断結果、音声ファイルDに学習済みの話者モデルが存在する場合(ステップS304:Yes)、制御部は、音声ファイルDに含まれる、推定した話者人数それぞれの話者を認識する処理を行い(ステップS305)、ステップS306の処理に移行する。一方、判断結果、音声ファイルDに学習済みの話者モデルが存在しない場合(ステップS304:No)、制御部は、ステップS306の処理に移行する。
ステップS306では、制御部は、ユーザインターフェース(UI)に話者認識の結果を反映した話者認識画面を生成する(ステップS306)。制御部は、この話者認識画面を端末100に送信する。
これにより、端末100のディスプレイ107上には、話者認識画面が表示される。話者認識画面は、上記処理により音声ファイルDに含まれる推定した話者人数と、認識した話者の情報(話者候補)と、を有する。端末100の制御部は、話者認識画面を見たユーザ操作により、話者人数に対するフィードバック(話者レコメンド)をクラウド110(機械学習サーバー130)に送信する(ステップS307)。
このフィードバックにおいて、端末100を操作するユーザは、話者認識画面上に表示されている推定した話者人数に対する修正および確認と、認識した話者(話者候補)に対する修正および確認の操作を行う。このように、実施の形態では、クラウド110側で推定した話者人数と話者候補について、端末100のユーザによる修正および確認を行う。
これにより、クラウド110(機械学習サーバー130の制御部)は、端末100のユーザによる修正および確認の操作によって、音声ファイルDに対する話者を特定し、特定した話者を識別するタグ付けを行う(ステップS308)。タグの情報は、クラウド110から端末100に送信され、端末100は、受信したタグの情報を音声ファイルDに関連付けて保持する。以上の処理により、端末100は、音声ファイルDに含まれる話者人数と話者をディスプレイ107上に表示することができる。
図4は、音声学習にかかる処理例を示すフローチャートである。クラウド110機械学習サーバー130の制御部は、図3に示した一つの音声ファイルDに対する処理ごとに、図4に示す処理を実施し、学習済モデルDB140を構築する。
はじめに、機械学習サーバー130の制御部は、ステップS308(図3参照)の処理後、該当する音声ファイルDから話者音源を抽出する(ステップS401)。図3の処理により、音声ファイルDに含まれる話者別の音源を特定できる。
これにより、機械学習サーバー130は、特定した話者に対する学習を行い(ステップS402)、学習結果である話者モデルを学習済モデルDB140に保存する(ステップS403)。これにより、音声ファイルDに含まれる話者ごとの音声を学習でき、学習を繰り返すことで、話者認識の精度を向上できるようになる。
図5は、音声認識に用いるテーブル構造例を示す図表である。これらのテーブル501~504は、クラウド110の制御部が保持し、上記の話者人数の推定および話者認識の処理に用いる。
図5(a)は、端末100からアップロードされた音声ファイルDを識別するオーディオテーブル(audios)501であり、クラウド110のストレージサーバー120の制御部が保持する。ストレージサーバー120の制御部は、オーディオテーブル(audios)として、アップロードされる各音声ファイルD別の識別子(id)を付与して保存する。例えば、id「0001」の音声ファイルDは「file0001.mp3」である。
図5(b)~(d)は、クラウド110の機械学習サーバー130の制御部が保持するテーブル502~504である。機械学習サーバー130の制御部は、ストレージサーバー120の保存部121に保存された音声ファイルDを読み出し、上述した話者人数の推定および話者認識の処理を行う際にこれらのテーブルを生成および参照する。
図5(b)は、話者認識用のテーブル(audio_predictions)502である。このテーブル502は、音声ファイルD(audio_id)別のidと、ID別に推定した話者のid(speaker_id)と、認識精度(confidence)、の情報を含む。例えば、id「0001」では、音声ファイルD「file0001.mp3」に含まれる認識した話者(speaker_id)が「0001」、この話者「0001」の認識精度(confidence)が「0.8(80%の信頼度)」であることを示す。
図5(c)は、話者認識用のテーブル(speakers)503である。このテーブル503は、id別に認識した話者の名前(name)の情報を含む。例えば、id「0001」の話者(名前)は「Alice」である。
図5(d)は、音声ファイルDの推定した話者人数/認識後の話者用のテーブル(audio_speakers)504である。このテーブル504は、id別の音声ファイルD(audio_id)と、推定した話者(speaker_id)の情報を含む。例えば、ある一つの音声ファイルD(audio_id)「0001」については、推定した話者(speaker_id)として「0001」と「0002」の2名が「NULL」となっている。この場合、この2名はいずれも「NULL」であるため話者が具体的に認識されておらず、話者人数が2名として推定のみされた状態が示されている。
また、id「0003」には、話者が認識された状態が示され、この場合、ある一つの音声ファイルD(audio_id)「0002」について、1名の話者(speaker_id)「0001」、すなわち図5(c)の「Alice」が、80%の信頼度(図5(b)参照)で認識された状態が示されている。また、audio_id「0003」には話者「Charlie」が90%の信頼度で存在しているとされ、実際に「Charlie」が認識された状態が示されている。
機械学習サーバー130の制御部は、話者人数の推定および話者の認識の処理時にこれら図5(a)~(d)のテーブルを更新処理する。
(話者人数推定と話者認識の処理)
次に、図6~図11を用いて、実施の形態にかかる音声認識処理を順に説明する。図6は、話者人数推定と話者認識の処理の遷移図である。図6に示す例では、端末100がスマートフォン等のモバイル機器であり、録音および音声認識機能を有するモバイルアプリ601を搭載している。モバイルアプリ601は、端末100の制御部105に相当する。クラウド110側の機械学習サーバー130は、端末100での音声の初回録音時の処理(ステップS600)と、初回録音後、一人でも録音タグ付けしている場合の処理(ステップS610)とで異なる処理を行う。
初回録音時の処理(ステップS600)では、クラウド110(機械学習サーバー130)は、端末100(モバイルアプリ601)から送信された音声ファイルDに対し、教師なし学習アルゴリズムによる学習を行った後(ステップS601)、音声ファイルDに含まれる合計話者数を推定する(ステップS602)。このステップS601での話者人数の推定にあたり、教師あり学習アルゴリズムによる学習をおこなうことで、話者人数推定の精度を向上することができる。
図7は、初回録音時の端末上の表示画面を示す図である。初回録音時、モバイルアプリ601は、端末100のディスプレイ107上に表示する表示画面700を示す。この初回録音時、モバイルアプリ601は、ディスプレイ107上に録音開始日時701、録音時間702、録音の場所703、タイトル704を表示する。
モバイルアプリ601は、例えば、録音開始日時701は、端末100が有するタイマから取得し、録音時間702は録音開始~録音終了までの時間をタイマ計測により取得し、録音の場所703は、端末100が有するGPS等の測位部から取得し、タイトル704は、端末100のユーザ操作等により設定する。この初回録音時、音声ファイルDの話者は認識されておらず、話者705の部分は未表示である。
図8は、録音時の端末上の録音画面を示す図である。モバイルアプリ601は、音声の録音時、図8に示す録音画面800を端末100のディスプレイ107に表示する。録音画面800は、録音/停止ボタン801、録音時間802、録音音声(波形)803、録音文字起こし表示部804、をそれぞれ表示する。
モバイルアプリ601は、ユーザによる録音/停止ボタン801の操作ごとに録音開始あるいは停止を行う。また、録音開始後の時間を録音時間802として表示し、録音時の音声に対応した波形803を表示する。録音文字起こし表示部804には、上述した文字起こし部103が録音した音声からリアルタイムにテキスト文字を生成したものが表示される。
図9は、話者人数の推定後の端末上の表示画面を示す図である。クラウド110(機械学習サーバー130の話者人数推定部131)により話者人数を推定した情報を端末100のモバイルアプリ601が受信した状態での表示画面900を示す。
ここで、クラウド110側での話者推定により音声ファイルDに含まれる話者人数が2名であるとする。この場合、モバイルアプリ601は、図9に示すように、話者705の部分に、推定した話者人数を示す話者数推定表示領域711に「二人の話者を推定しました。」と表示する。また、推定した2名分に対応して2つの話者表示領域712を表示する。
この後、クラウド110(機械学習サーバー130の話者認識部132)は、学習済みモデルを参照して推定した2名分の話者のそれぞれの話者が誰であるか具体的な話者(名前)を関連付ける。話者認識部132は、推定した2名の話者のうち1名について話者の関連付けを行った後、残りの1名についても同様に関連付けを行う。
ここで、クラウド110(機械学習サーバー130の話者認識部132)は、この話者認識の際、音声ファイルDに特定の話者が存在している可能性が高い(例えば、信頼度70%以上)と判定した場合、判定した話者候補を端末100の話者表示領域712に表示させる。
図10は、話者候補の端末上の表示画面を示す図である。クラウド110(機械学習サーバー130の話者認識部132)からの一人の話者候補(2名の話者人数推定)の通知があった場合の状態を示す。モバイルアプリ601は、話者数推定表示領域711に「二人の話者を推定しました。名前を設定してください。」と表示する。また、表示画面1000の話者表示領域712のうち、一人目の話者表示領域712aに一人目のID「0001」との表示を、具体的な話者候補の内容「もしかしてAliceさんですか?」に切り替えて表示する。また、確認表示「はい/いいえ」を表示する。また、符号720は、ユーザ操作により話者人数を追加するための話者人数追加ボタンである。
このように、クラウド110(機械学習サーバー130の話者認識部132)が話者候補を具体的にタグ付けし、話者表示領域712aに具体的に話者候補(名前)「Alice」を表示する。これにより、端末100を操作するユーザは、話者候補が正しいか否かを確認することができる。そして、ユーザが表示されている話者候補が正しいと判断し、確認表示「はい」を操作すると、モバイルアプリ601は、クラウド110(機械学習サーバー130の話者認識部132)に確認操作の情報を送信し、クラウド110(機械学習サーバー130の話者認識部132)は、ID「0001」の話者が「Alice」であると認識し、音声ファイルDに話者「Alice」が存在することを認識する。
このタグ付けの処理は、図6のステップS610に相当する。ステップS610では、クラウド110(機械学習サーバー130の話者認識部132)は、初回録音時の処理(ステップS600)で話者推定した後、音声ファイルDに話者が所定の信頼度以上で存在する場合、この話者に対して教師あり学習アルゴリズムによる学習を行った後(ステップS611)、話者候補を端末100のユーザにレコメンド(確認操作)する(ステップS612)処理を行う。
なお、図10において、表示画面1100の話者表示領域712のうち、二人目の話者表示領域712bは、話者がID「0002」と表示され、二人目がいることを推定したのみの状態が示されている。この二人目の話者表示領域712bについても、所定以上の信頼度で異なる話者が存在する場合、上記一人目と同様に、クラウド110(機械学習サーバー130の話者認識部132)は、ユーザに対する話者候補をレコメンドする。
図11は、端末上の話者選択の一覧を示す表示画面を示す図である。図10の説明において、クラウド110(機械学習サーバー130の話者認識部132)は、話者候補を端末100に通知するが、音声ファイルDに含まれ所定の信頼度を有する話者候補の一覧の情報を端末100に送信してもよい。この場合、モバイルアプリ601は、話者選択の一覧の表示画面1100を表示する。この一覧の表示画面1100をユーザが確認して複数の話者候補のなかから話者を選択することができる。このほか、図10の話者表示領域712aに表示された話者候補が異なる場合、ユーザが「いいえ」を選択することで、モバイルアプリ601が表示画面1100を表示し、ユーザが他の話者候補「Bob」、「Charlie」を選択することができる。
上述したように、実施の形態では、クラウド110(機械学習サーバー130の話者認識部132)側のみの判断で話者認識することなく、話者候補を一旦端末100に送信し、ユーザにより確認操作する処理を行うことで、話者認識を簡単な操作で精度向上できるようになる。
(文字起こし機能)
ここで、端末100の文字起こし部103の機能について説明する。文字起こし部103は、音声を録音あるいは再生しながら音声に対応するテキスト文字を生成する。
図12は、端末上の文字起こしの表示画面を示す図である。この図には、音声ファイルDの再生時の状態を示す。端末100の制御部(モバイルアプリ601)は、文字起こし部103の機能時、ディスプレイ107上に文字起こしの表示画面1200を表示する。モバイルアプリ601は、表示画面1200上に、録音情報(タイトル、録音日時、録音時間、録音場所)1201と、文字起こし内容1202、再生位置表示バー1203、再生操作(再生/停止、戻し、メモ操作)ボタン1204を表示する。
文字起こし部103は、音声の発話のタイミングに連動する形で生成したテキスト文字を記録していき、その文字起こし精度の「自信」を識別可能に表示する。例えば、文字起こし内容1202に表示するテキスト文字には、標準の濃度に対し、自信が低い文字を薄く表示し(領域1210)、標準よりも自信が高い文字を濃く(領域1211)表示する。これにより、ユーザが文字起こし内容1202に表示されるテキストの濃度により文字ごとの変換精度を容易に把握できるようになる。また、文字上の再生位置をハイライト(領域1221)で表示し、再生位置がわかるよう表示する。
このように、文字起こしされた文字は、文字起こしの推定の自信(文字起こしの精度に相当)に合わせて異なる表示形態とすることで、録音後における再生やテキスト検索時の利便性を高めることができる。
また、上述した話者認識の情報は、この文字起こし機能にも有効に利用することができる。例えば、文字起こしした元の音声ファイルDの話者の認識結果を表示画面1200に表示することができる。図示の例では、録音情報1201の一部に、音声ファイルDに対し話者認識後の話者1230の情報「Alice」が表示されている。これにより、音声ファイルDそのものの話者をユーザに通知できるようになる。
(音声ファイル再生時の表示)
図13は、音声ファイル再生時の端末上の表示画面を示す図である。端末100には多数の音声ファイルDが記憶保持されており、制御部(モバイルアプリ601)は、音声ファイルの再生等の際、表示画面1300上に所望する音声ファイルDを見つけやすくするための画面表示を行う。例えば、図13に示すように、端末100の再生時には、カレンダー1301を表示する。カレンダー1301上には、録音済みの音声ファイルDに付与された録音日の部分が識別可能(図示の例では録音日が〇)に表示される。これにより、ユーザは、カレンダー1301上から録音日に基づき所望する音声ファイルDを容易に再生できるようになる。
また、不図示であるが、カレンダー1301上の録音日の選択により、録音された音声ファイルDの情報として、上述した話者認識の情報、すなわち、録音された話者「Alice」等をポップアップ等で表示させてもよい。これにより、必要な音声ファイルDをより簡単に検索できるようになる。
(話者人数の推定と話者認識の修正例)
次に、図14~図18を用いて話者人数の推定と話者認識の修正例について説明する。実施の形態では、音声ファイルDに含まれる認識したい人の声となる音声区間と、雑音である非音声区間と、を識別する仕組みとして音声区間検出(VAD:Voice. Activity Detection)技術を用いる。
図14は、音声ファイルに含まれる音声の波形例を示す図である。図14に示す音声ファイルDについて、クラウド110(機械学習サーバー130)が一人の話者として登録された音声と推定すれば、VAD抽出した4つの音源S1~S4がいずれも同一の人の音声と判断し、次回以降の学習に利用する。
図15は、音声ファイルに含まれる話者のグループ分けを示す図である。便宜上、図15に示す音声の波形S1~S4は、図14と同様としている。ここで、音声ファイルDについて、クラウド110(機械学習サーバー130)が話者が二人と推定し、一人に名前「Alice」と話者候補のラベル付けをしたとする。この場合、クラウド110(機械学習サーバー130)は、VAD音源抽出で得られた4つの音源S1~S4に対して、クラスタリング処理をすることで音源S1~S4を2グループに分ける。
図15の例では、グループ1(G1)が音源S1,S4であり、グループ2(G2)が音源S2,S3であったとする。これにより、一方のグループG1の話者が「Alice」の音声である確率は50%となる。なお、4人いると認識すれば、4つのグループにおける「Alice」の音声である確率は25%となる。
クラウド110(機械学習サーバー130)は、100%「Alice」である音声、50%「Bob」である音声など、信頼度によって学習時に重みづけをした学習データの音源を学習し、この学習済モデルを用いて新たな音声ファイルDの音源について、近似する音声があるかを判定する。クラウド110(機械学習サーバー130)は、学習時に、例えば、50%の信頼度を持つ音源に対しては、その他の学習済モデルが存在する場合は、その学習データの選定の段階から近似判定を行って取得することで、50%以上の信頼度を得ることができる。
図16は、推定した話者人数の変更を示す図である。便宜上、図16(a)に示す音声の波形S1~S4は、図15と同様としている。図15に示す処理により、クラウド110(機械学習サーバー130)が一人の話者候補「Alice」のラベル付けを行い、グループ1(G1)が話者候補「Alice」の音源S1,S4であると認識したとする。
ここで、端末100のユーザに対し、音声ファイルDに含まれる話者が二人と提示した後、ユーザ操作により3人であると修正された場合、クラウド110(機械学習サーバー130)は、話者人数の推定について、VAD抽出音源のクラスタリングを改めて3人に適応して行う。図示の例では、クラウド110(機械学習サーバー130)は、音声ファイルDに対し、VAD抽出音源のクラスタリングを3人に適応して行うことで、図16(a)に示すグループ1(G1)の音源S4が、図16(b)に示すように3人目のグループ3(S3)に変更される。
図17は、推定した話者人数の変更を示す図である。便宜上、図17(a)に示す音声の波形S1~S4は、図15と同様としている。図15に示す処理により、クラウド110(機械学習サーバー130)が一人の話者候補「Alice」のラベル付けを行い、グループ1(G1)が話者候補「Alice」の音源S1,S4であると認識したとする。
ここで、端末100のユーザに対し、音声ファイルDに含まれる話者が二人と提示した後、ユーザ操作により一人であると修正された場合、クラウド110(機械学習サーバー130)は、話者人数の推定について、VAD抽出音源のクラスタリングを改めて一人に適応して行う。図示の例では、クラウド110(機械学習サーバー130)は、音声ファイルDがすべて一人分の音源として学習することで、図17(a)に示すグループ2(G2)の音源S2,S3、図17(b)に示すように音声ファイルDの音源S1~S4がすべて同じグループ1(G1)に変更される。
図18は、端末上の話者候補の追加表示画面を示す図である。上記図10を用いて説明したように、クラウド110(機械学習サーバー130の話者認識部132)からの一人の話者候補(2名の話者人数推定)の通知があった場合の状態の後、ユーザによる話者の追加時の表示画面1800を示す。
図10において、端末100は、ユーザに対し、2名の話者人数の推定に対応して表示画面1800に2つの話者表示領域712a,712bを表示している。この後、ユーザが音声ファイルDに含まれる話者が3名であると修正する場合、図10に示した話者人数追加ボタン720を操作することで、クラウド110(機械学習サーバー130)は、3人目の話者表示領域712cを追加表示する。
図18の表示例では、3人目の話者表示領域712c部分には、3人目のID「0003」とのみ表示した状態である。なお、二人目の話者表示領域712bについては、ID「0002」と表示した状態であるが、具体的な話者候補「Bob」が提示可能な場合、確認表示「はい/いいえ」とともに表示する。
このようにして、クラウド110(機械学習サーバー130)は、ユーザに対し話者候補を推定した話者人数分だけ提示し、ユーザ操作による話者人数の修正に基づき、音声ファイルDに含まれる話者人数の推定、およびこの後の話者の認識を精度よく効率的に行えるようになる。
また、実施の形態による音声認識処理により、個人の権利の保護に有効活用できるようになる。例えば、契約上で弱い立場に立たされる個人に有用であり、俳優などのアーティストや、フリーランスで働く個人など、契約書がまだまだ商習慣として根付いていない現状において、口約束が先行する問題、「(ある事項を互いに)言った/言わない」問題、口約束を忘れられたことにされた約束の反故の問題、等に対応できるようになる。本実施の形態で説明した音声認識処理を用いて会話を録音することで、簡単な覚書や契約書の自動生成が可能となる。契約書の形式としては、基本的には複数個(例えば20個)の質問回答で生成できるようなパターン化されているものが多く、上述した文字起こし等の簡単な自然言語処理技術で対応できる。
ここで、多くの場合、契約書を相手と確認し合うことさえ憚られる心理的抵抗が強い場面が多いため、録音データはその約束ないし事実を記録するのに重要である。録音データの削除の防止、改竄の防止を保証することが望まれる。例えば、虐待を受けている子供が虐待現場を録音に成功したとしても、その音声が見つかり、故意に削除されてしまっては何の意味もない。
これに対応して、上記実施の形態では、端末が録音した音声ファイルを端末のみで録音/保存するに限らず、録音した音声ファイルをリアルタイムにクラウドへアップロードし、クラウド側で保存する構成としてもよい。なお、音声ファイルに対するセキュリティ保持や改竄防止のために、クラウド側で音声ファイルを分散保持する構成や、音声ファイルのハッシュ値をブロックチェーンに記録する構成等をおこなってもよい。
上述した実施の形態によれば、音声認識装置は、音声ファイルに含まれる話者人数を推定し、予め用意された話者別の学習済モデルを参照し、推定した話者人数のそれぞれの話者を認識し、音声ファイルに含まれる話者をタグ付けする。これにより、音声ファイルに含まれる話者人数と話者を具体的にユーザに提示できるようになる。したがって、多数の音声ファイルのなかから所望する音声を容易に見つけ出すことができるようになる。
また、認識の処理は、推定した話者人数の情報、および話者人数に対応する話者候補をユーザに提示し、ユーザによる話者候補から話者を特定する操作に基づき、話者人数のそれぞれの話者を認識し、タグ付けの処理は、ユーザの操作に基づき話者をタグ付けする。このように、装置側が推定した話者候補をユーザにより特定する簡単な操作を加えるだけで、話者をより精度よく特定できるようになる。
また、推定の処理は、推定した話者人数をユーザに提示し、ユーザによる話者人数の変更操作に基づき、音声ファイルに含まれる話者人数の推定を再度実行する。これにより、音声ファイルに含まれる話者人数を簡単なユーザ操作で精度よく推定できるようになる。
さらに、タグ付け後の話者の情報を学習および蓄積する学習を行い、認識の処理は、学習済モデルに基づき、推定した話者人数のそれぞれの話者を認識する。これにより、学習の繰り返しで音声ファイルに含まれる話者の認識精度を向上できるようになる。
上記音声認識の処理は、端末単体で実施してもよいし、端末とクラウドを用いたシステムで分担処理してもよい。システム構成の場合、端末と、クラウドが通信接続された音声認識システムにおいて、端末は、音声の録音部と、録音あるいは再生した音声ファイルをクラウドにアップロードする通信部と、を有し、クラウドは、音声ファイルに含まれる音声を発した話者人数を推定し、予め用意された話者別の学習済モデルを参照し、推定した話者人数のそれぞれの話者を認識し、音声ファイルに含まれる話者をタグ付けした情報を端末に通知する。このように、音声ファイルに対する音声認識、すなわち上記話者人数の推定と話者の認識にかかる処理をクラウド側で処理することで、端末側の処理負担を軽減しつつ音声認識の精度を向上できるようになる。また、複数の端末の音声認識をクラウド側でまとめて処理できるようになる。また、端末がクラウドとの間でオフライン中に蓄積された複数の音声ファイルを、オンライン時にクラウドにまとめてアップロードし、クラウドが複数のファイルを一括して音声認識する構成とすることもできる。
また、端末の制御部は、音声の録音時あるいは再生時に、音声ファイルに含まれる文字をリアルタイムに生成する。これにより、音声ファイルの内容を具体的にユーザに提示できるようになる。加えて、上述した話者人数と話者の情報をユーザに提示でき、所望する音声ファイルを簡単に見つけ出すことができるようになる。
また、クラウドは、端末からアップロードされた音声ファイルを保存する保存部を有する。これにより、音声ファイルは、端末のみで保持することなく、上述したような音声ファイルの外部保存によって音声ファイルを保護でき音声ファイルの有効性を向上できるようになる。
これらのように、実施の形態では、音声認識の対象となる音声ファイルは、録音時のみに限らず、再生時においても音声認識できる。したがって、録音前に話者人数の事前設定、話者分のマイクの用意、話者別の方向検出、等の煩雑な手間を省いて簡単に話者人数の推定および話者認識が行えるようになる。また、実施の形態によれば、録音を繰り返して音声ファイルが多数となった場合でも、音声ファイルの検索に、話者人数や話者を加えて実施でき、所望する音声ファイルを容易に見つけ出すことができるようになる。
なお、本実施の形態で説明した音声認識にかかるプログラムは、予め用意されたプログラムをコンピュータで実行することにより実現することができる。また、このプログラムは、半導体メモリ、ハードディスク、フレキシブルディスク、CD-ROM、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、インターネット等のネットワークを介して配布してもよい。
以上のように、本発明は、録音および再生するICレコーダや録音アプリを搭載したスマートフォン等を含み音声認識する機器類への適用に有用である。
100 端末
101 マイク
102 録音部
103 文字起こし部
104 話者タグ付け部
105 制御部
106 キーボード
107 ディスプレイ
110 クラウド
120 ストレージサーバー
130 機械学習サーバー
131 話者人数推定部
132 話者認識部
140 学習済モデルDB
201 CPU
202 ROM
203 RAM
204 外部メモリ
211 通信I/F
601 モバイルアプリ
711 話者数推定表示領域
712 話者表示領域
D 音声ファイル

Claims (9)

  1. コンピュータに、
    音声ファイルに含まれる話者別の話者人数を推定し、
    予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、
    前記音声ファイルに含まれる話者をタグ付けし、
    前記認識の処理は、
    推定した前記話者人数の情報、および前記話者人数に対応する話者候補をユーザに提示し、
    前記ユーザによる前記話者候補から前記話者を特定する操作に基づき、前記話者人数のそれぞれの話者を認識し、
    前記タグ付けの処理は、
    前記ユーザの操作に基づき話者をタグ付けする、
    処理を実行させることを特徴とする音声認識プログラム。
  2. 前記推定の処理は、
    推定した前記話者人数をユーザに提示し、
    前記ユーザによる前記話者人数の変更操作に基づき、前記音声ファイルに含まれる話者人数の推定を再度実行する、
    ことを特徴とする請求項1に記載の音声認識プログラム。
  3. さらに、前記タグ付け後の話者の情報の学習および蓄積を行い、
    前記認識の処理は、
    前記学習済モデルに基づき、推定した前記話者人数のそれぞれの話者を認識する、
    ことを特徴とする請求項1または2に記載の音声認識プログラム。
  4. 前記音声ファイルの録音時あるいは再生時に、前記音声ファイルに含まれる文字をリアルタイムに生成することを特徴とする請求項1~3のいずれか一つに記載の音声認識プログラム。
  5. コンピュータが、
    音声ファイルに含まれる話者別の話者人数を推定し、
    予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、
    前記音声ファイルに含まれる話者をタグ付けし、
    前記認識の処理は、
    推定した前記話者人数の情報、および前記話者人数に対応する話者候補をユーザに提示し、
    前記ユーザによる前記話者候補から前記話者を特定する操作に基づき、前記話者人数のそれぞれの話者を認識し、
    前記タグ付けの処理は、
    前記ユーザの操作に基づき話者をタグ付けする、
    処理を実行することを特徴とする音声認識方法。
  6. 音声ファイルに含まれる話者人数と話者を認識する制御部、を備え、
    前記制御部は、
    音声ファイルに含まれる話者別の話者人数を推定し、
    予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、
    前記音声ファイルに含まれる話者をタグ付けし、
    前記制御部は、前記認識の処理として、
    推定した前記話者人数の情報、および前記話者人数に対応する話者候補をユーザに提示し、
    前記ユーザによる前記話者候補から前記話者を特定する操作に基づき、前記話者人数のそれぞれの話者を認識し、
    前記タグ付けの処理として、
    前記ユーザの操作に基づき話者をタグ付けする、
    ことを特徴とする音声認識装置。
  7. 端末と、クラウドが通信接続された音声認識システムにおいて、
    前記端末は、
    音声の録音部と、
    録音あるいは再生した音声ファイルを前記クラウドにアップロードする通信部と、を有し、
    前記クラウドは、
    前記音声ファイルに含まれる話者別の話者人数を推定し、
    予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、
    前記音声ファイルに含まれる話者をタグ付けした情報を前記端末に通知し、
    前記端末は、
    前記クラウドが推定した前記話者人数の情報、および前記話者人数に対応する話者候補をユーザに提示する表示部を備え、
    前記ユーザによる前記話者候補から前記話者を特定する操作の情報を前記クラウドに送信し、
    前記クラウドは、
    前記端末から受信した前記話者候補から前記話者を特定する操作の情報に基づき、前記話者人数のそれぞれの話者を認識し、
    前記ユーザの操作に基づき話者をタグ付けした情報を前記端末に送信する、
    ことを特徴とする音声認識システム。
  8. 前記端末は、
    前記クラウドが推定した前記話者人数を前記表示部によりユーザに提示し、
    前記クラウドは、
    前記端末から受信した前記ユーザによる前記話者人数の変更操作に基づき、前記音声ファイルに含まれる話者人数の推定を再度実行した結果を前記端末に送信する、
    ことを特徴とする請求項7に記載の音声認識システム。
  9. 前記クラウドは、
    前記端末からアップロードされた前記音声ファイルを保存する保存部を有することを特徴とする請求項7または8に記載の音声認識システム。
JP2020210074A 2020-12-18 2020-12-18 音声認識プログラム、音声認識方法、音声認識装置および音声認識システム Active JP7103681B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020210074A JP7103681B2 (ja) 2020-12-18 2020-12-18 音声認識プログラム、音声認識方法、音声認識装置および音声認識システム
JP2022106669A JP2022121643A (ja) 2020-12-18 2022-06-30 音声認識プログラム、音声認識方法、音声認識装置および音声認識システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020210074A JP7103681B2 (ja) 2020-12-18 2020-12-18 音声認識プログラム、音声認識方法、音声認識装置および音声認識システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022106669A Division JP2022121643A (ja) 2020-12-18 2022-06-30 音声認識プログラム、音声認識方法、音声認識装置および音声認識システム

Publications (2)

Publication Number Publication Date
JP2022096852A JP2022096852A (ja) 2022-06-30
JP7103681B2 true JP7103681B2 (ja) 2022-07-20

Family

ID=82165077

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020210074A Active JP7103681B2 (ja) 2020-12-18 2020-12-18 音声認識プログラム、音声認識方法、音声認識装置および音声認識システム
JP2022106669A Pending JP2022121643A (ja) 2020-12-18 2022-06-30 音声認識プログラム、音声認識方法、音声認識装置および音声認識システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022106669A Pending JP2022121643A (ja) 2020-12-18 2022-06-30 音声認識プログラム、音声認識方法、音声認識装置および音声認識システム

Country Status (1)

Country Link
JP (2) JP7103681B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004145161A (ja) 2002-10-28 2004-05-20 Nippon Telegr & Teleph Corp <Ntt> 音声データベース登録処理方法,音声発生源認識方法,音声発生区間検索方法,音声データベース登録処理装置,音声発生源認識装置,音声発生区間検索装置,並びにそのプログラムおよびそのプログラムの記録媒体
JP2010060850A (ja) 2008-09-04 2010-03-18 Nec Corp 議事録作成支援装置、議事録作成支援方法、議事録作成支援用プログラム及び議事録作成支援システム
JP2016057461A (ja) 2014-09-09 2016-04-21 富士通株式会社 話者インデキシング装置、話者インデキシング方法及び話者インデキシング用コンピュータプログラム
JP2017021672A (ja) 2015-07-14 2017-01-26 村田機械株式会社 検索装置
JP2018063313A (ja) 2016-10-12 2018-04-19 日本電信電話株式会社 話者数推定装置、話者数推定方法、およびプログラム
JP2018097239A (ja) 2016-12-15 2018-06-21 カシオ計算機株式会社 音声再生装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004145161A (ja) 2002-10-28 2004-05-20 Nippon Telegr & Teleph Corp <Ntt> 音声データベース登録処理方法,音声発生源認識方法,音声発生区間検索方法,音声データベース登録処理装置,音声発生源認識装置,音声発生区間検索装置,並びにそのプログラムおよびそのプログラムの記録媒体
JP2010060850A (ja) 2008-09-04 2010-03-18 Nec Corp 議事録作成支援装置、議事録作成支援方法、議事録作成支援用プログラム及び議事録作成支援システム
JP2016057461A (ja) 2014-09-09 2016-04-21 富士通株式会社 話者インデキシング装置、話者インデキシング方法及び話者インデキシング用コンピュータプログラム
JP2017021672A (ja) 2015-07-14 2017-01-26 村田機械株式会社 検索装置
JP2018063313A (ja) 2016-10-12 2018-04-19 日本電信電話株式会社 話者数推定装置、話者数推定方法、およびプログラム
JP2018097239A (ja) 2016-12-15 2018-06-21 カシオ計算機株式会社 音声再生装置及びプログラム

Also Published As

Publication number Publication date
JP2022096852A (ja) 2022-06-30
JP2022121643A (ja) 2022-08-19

Similar Documents

Publication Publication Date Title
TWI536365B (zh) 聲紋辨識
US8847884B2 (en) Electronic device and method for offering services according to user facial expressions
CN112075075A (zh) 用于会议的计算机化智能助理
US11423889B2 (en) Systems and methods for recognizing a speech of a speaker
JP2006301223A (ja) 音声認識システム及び音声認識プログラム
US20160189103A1 (en) Apparatus and method for automatically creating and recording minutes of meeting
CN101297292A (zh) 用于向电子日记本加入内容或从中获取内容的方法和系统
US20200403816A1 (en) Utilizing volume-based speaker attribution to associate meeting attendees with digital meeting content
JP2016102920A (ja) 文書記録システム及び文書記録プログラム
WO2019026617A1 (ja) 情報処理装置、及び情報処理方法
JP2008032825A (ja) 発言者表示システム、発言者表示方法および発言者表示プログラム
JP6254504B2 (ja) 検索サーバ、及び検索方法
JP2002099530A (ja) 議事録作成装置及び方法並びにこれを用いた記憶媒体
CN111223487B (zh) 一种信息处理方法及电子设备
JP7103681B2 (ja) 音声認識プログラム、音声認識方法、音声認識装置および音声認識システム
JP2018097239A (ja) 音声再生装置及びプログラム
WO2019146187A1 (ja) 情報処理装置および情報処理方法
JP6627315B2 (ja) 情報処理装置、情報処理方法、および制御プログラム
EP3951775A1 (en) Method for generating speaker-marked text
US11430429B2 (en) Information processing apparatus and information processing method
TW201409259A (zh) 多媒體記錄系統及方法
JP6962849B2 (ja) 会議支援装置、会議支援制御方法およびプログラム
JP2012003698A (ja) 会議支援装置、会議支援方法、会議支援プログラムおよび記録媒体
JP7172299B2 (ja) 情報処理装置、情報処理方法、プログラムおよび情報処理システム
JP3927155B2 (ja) 対話記録装置および対話記録プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220408

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220630

R150 Certificate of patent or registration of utility model

Ref document number: 7103681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150