JP7185712B2

JP7185712B2 - 人工知能デバイスと連動して音声記録を管理する方法、コンピュータ装置、およびコンピュータプログラム

Info

Publication number: JP7185712B2
Application number: JP2021021395A
Authority: JP
Inventors: スミイ; ジウンシン; イェリムチョン; ギルファンファン
Original assignee: Naver Corp
Current assignee: Naver Corp
Priority date: 2020-10-15
Filing date: 2021-02-15
Publication date: 2022-12-07
Anticipated expiration: 2041-02-15
Also published as: KR20220049743A; JP2022065601A; KR102437752B1

Description

以下の説明は、音声をテキストに変換した音声記録を管理する技術に関する。

モバイル音声変換技術の流れとしては、モバイルデバイスで音声を録音し、音声録音が終わると、録音された区間の音声をテキストに変換してディスプレイ上に表示するのが一般的である。

このような音声変換技術の一例として、特許文献１（公開日２０１４年５月２３日）には、音声録音およびテキスト変換を実行する技術が開示されている。

韓国公開特許第１０－２０１４－００６２２１７号公報

音声基盤のインタフェースを提供する人工知能デバイスと連動して音声記録を自動管理する方法とシステムを提供する。

共用デバイスとして使用可能な人工知能デバイスを音声記録管理サービスと連動する方法とシステムを提供する。

コンピュータ装置が実行する音声記録管理方法であって、前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記音声記録管理方法は、前記少なくとも１つのプロセッサにより、音声基盤のインタフェースを提供する人工知能デバイスとユーザアカウントを連動する段階、前記少なくとも１つのプロセッサにより、前記人工知能デバイスから受信された音声をテキストに変換して音声記録を生成する段階、および前記少なくとも１つのプロセッサにより、前記ユーザアカウントに前記音声記録を提供する段階を含む、音声記録管理方法を提供する。

一側面によると、前記連動する段階は、前記人工知能デバイスの要求にしたがって連動キー（ｋｅｙ）を発給（または発行）する段階、および前記ユーザアカウントで前記連動キーが入力されることによって前記ユーザアカウントと前記人工知能デバイスを連動する段階を含んでよい。

他の側面によると、前記生成する段階は、前記人工知能デバイスから前記音声が録音されたファイルを受信し、話者発声区間に該当する音声データをテキストに変換する段階を含んでよい。

また他の側面によると、前記音声記録管理方法は、前記少なくとも１つのプロセッサにより、前記ユーザアカウントに、前記人工知能デバイスで録音中の前記音声に関する状態情報を提供する段階をさらに含んでよい。

また他の側面によると、前記音声記録管理方法は、前記少なくとも１つのプロセッサにより、前記ユーザアカウントに、前記人工知能デバイスで録音中の前記音声に対するメモ作成機能を提供する段階をさらに含んでよい。

また他の側面によると、前記音声記録管理方法は、前記少なくとも１つのプロセッサにより、前記ユーザアカウントが指定した少なくとも１つの他のユーザと前記音声記録を共有する段階をさらに含んでよい。

また他の側面によると、前記音声記録管理方法は、前記少なくとも１つのプロセッサにより、前記人工知能デバイスで前記音声の録音中に前記ユーザアカウントによって作成されたメモを前記音声記録とマッチングして管理する段階をさらに含んでよい。

また他の側面によると、前記管理する段階は、前記音声記録のタイムスタンプを基準として、前記音声の録音中に作成されたメモをマッチングして管理してよい。

また他の側面によると、前記提供する段階は、前記音声記録と前記メモを連係させて提供してよい。

さらに他の側面によると、前記提供する段階は、タイムスタンプを基準として、前記音声記録と前記メモを時間的にマッチングして表示してよい。

前記音声記録管理方法をコンピュータに実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体を提供する。

コンピュータ装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、音声基盤のインタフェースを提供する人工知能デバイスとユーザアカウントを連動するデバイス連動部、前記人工知能デバイスから受信された音声をテキストに変換して音声記録を生成する音声記録生成部、および前記ユーザアカウントによって前記音声記録を提供する音声記録提供部を含む、コンピュータ装置を提供する。

本発明の実施形態によると、共用デバイスとして使用可能な人工知能デバイスを音声記録管理サービスと連動し、音声認識技術によって現場の音声をテキストで自動記録することにより、サービスの利用を拡大し、ユーザの利便性を向上させることができる。

本発明の一実施形態における、ネットワーク環境の例を示した図である。本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。本発明の一実施形態における、コンピュータ装置のプロセッサが含むことのできる構成要素の例を示した図である。本発明の一実施形態における、コンピュータ装置が実行することのできる方法の例を示したフローチャートである。本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。

本発明の実施形態に係る音声記録管理システムは、少なくとも１つのコンピュータ装置によって実現されてよく、本発明の実施形態に係る音声記録管理方法は、音声記録管理システムに含まれる少なくとも１つのコンピュータ装置によって実行されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されるコンピュータプログラムの制御にしたがって本発明の実施形態に係る音声記録管理方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置に結合されて音声記録管理方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。また、図１のネットワーク環境は、本実施形態に適用可能な環境の一例を説明したものに過ぎず、本実施形態に適用可能な環境が図１のネットワーク環境に限定されることはない。

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、ＰＭＰ（ＰｏｒｔａｂｌｅＭｕｌｔｉｍｅｄｉａＰｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータ装置のうちの１つを意味してよい。

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌａｒｅａｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌａｒｅａｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓａｒｅａｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎａｒｅａｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅａｒｅａｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０にサービス（一例として、音声記録管理サービス（または、議事録管理サービス）、コンテンツ提供サービス、グループ通話サービス（または、音声会議サービス）、メッセージングサービス、メールサービス、ソーシャルネットワークサービス、、地図サービス、翻訳サービス、金融サービス、決済サービス、検索サービスなど）を提供するシステムであってよい。

図２は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器１１０、１２０、１３０、１４０それぞれやサーバ１５０、１６０それぞれは、図２に示したコンピュータ装置２００によって実現されてよい。

このようなコンピュータ装置２００は、図２に示すように、メモリ２１０、プロセッサ２２０、通信インタフェース２３０、および入力／出力インタフェース２４０を含んでよい。メモリ２１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄｏｎｌｙｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ２１０とは区分される別の永続的記録装置としてコンピュータ装置２００に含まれてもよい。また、メモリ２１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ２１０とは別のコンピュータ読み取り可能な記録媒体からメモリ２１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース２３０を通じてメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１７０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置２００のメモリ２１０にロードされてよい。

プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１０または通信インタフェース２３０によって、プロセッサ２２０に提供されてよい。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信インタフェース２３０は、ネットワーク１７０を介してコンピュータ装置２００が他の装置（一例として、上述した記録装置）と互いに通信するための機能を提供してよい。一例として、コンピュータ装置２００のプロセッサ２２０がメモリ２１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース２３０の制御にしたがってネットワーク１７０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１７０を経てコンピュータ装置２００の通信インタフェース２３０を通じてコンピュータ装置２００に受信されてよい。通信インタフェース２３０を通じて受信された信号や命令、データなどは、プロセッサ２２０やメモリ２１０に伝達されてよく、ファイルなどは、コンピュータ装置２００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

入力／出力インタフェース２４０は、入力／出力装置２５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、マウスなどの装置を、出力装置は、ディスプレイ、スピーカなどのような装置を含んでよい。他の例として、入力／出力インタフェース２４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２５０は、コンピュータ装置２００と１つの装置で構成されてもよい。

また、他の実施形態において、コンピュータ装置２００は、図２の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置２００は、上述した入力／出力装置２５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバやデータベースなどのような他の構成要素をさらに含んでもよい。

以下では、人工知能デバイスと連動して音声記録を管理する方法およびシステムの具体的な実施形態について説明する。

最近は、会議、インタビュー、取引、裁判などのような多様な環境で現場の音声を録音し、該当の音声をテキストとして自動記録するソリューションが提供されている。

しかし、録音音声を管理するためには、モバイルデバイスやＰＣのような個人用デバイスを利用することから、共用記録管理するのに困難があった。

このような問題を解決するために、本実施形態は、共用デバイスとして使用可能な人工知能デバイスと連動し、現場の音声をテキストに変換した結果（以下、「音声記録」と称する）を自動管理する、音声記録管理サービスを提供することを目的とする。

本明細書において、人工知能デバイスとは、人工知能スピーカのように共用デバイスとして使用可能であり、かつ音声に基づいて動作するインタフェースを提供する電子機器に該当するものである。このような人工知能デバイスは、図２に示したコンピュータ装置２００によって実現されてよい。

図３は、本発明の一実施形態における、コンピュータ装置のプロセッサが含むことのできる構成要素の例を示したブロック図であり、図４は、本発明の一実施形態における、コンピュータ装置が実行することのできる方法の例を示したフローチャートである。

本実施形態に係るコンピュータ装置２００は、クライアントを対象に、クライアント上にインストールされた専用アプリケーションやコンピュータ装置２００と関連するウェブ／モバイルサイトへの接続により、音声記録管理サービスを提供してよい。コンピュータ装置２００には、コンピュータによって実現された音声記録管理システムが構成されてよい。一例として、音声記録管理システムは、独立的に動作するプログラム形態で実現されてもよいし、特定のアプリケーション（例えば、メッセンジャー）のイン－アプリ（ｉｎ－ａｐｐ）形態で構成され、前記特定のアプリケーション上で動作可能なように実現されてもよい。

コンピュータ装置２００のプロセッサ２２０は、図４に係る音声記録管理方法を実行するための構成要素として、図３に示すように、デバイス連動部３１０、音声記録生成部３２０、および音声記録提供部３３０を含んでよい。実施形態によって、プロセッサ２２０の構成要素は、選択的にプロセッサ２２０に含まれても除外されてもよい。また、実施形態によって、プロセッサ２２０の構成要素は、プロセッサ２２０の機能の表現のために分離されても併合されてもよい。

このようなプロセッサ２２０およびプロセッサ２２０の構成要素は、図３の音声記録管理方法が含む段階４１０～４３０を実行するようにコンピュータ装置２００を制御してよい。例えば、プロセッサ２２０およびプロセッサ２２０の構成要素は、メモリ２１０が含むオペレーティングシステムのコードと、少なくとも１つのプログラムのコードとによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。

ここで、プロセッサ２２０の構成要素は、コンピュータ装置２００に記録されたプログラムコードが提供する命令にしたがってプロセッサ２２０によって実行される、互いに異なる機能（ｄｉｆｆｅｒｅｎｔｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、コンピュータ装置２００が人工知能デバイスとの連動を制御するように上述した命令にしたがってコンピュータ装置２００を制御するプロセッサ２２０の機能的表現として、デバイス連動部３１０が利用されてよい。

プロセッサ２２０は、コンピュータ装置２００の制御と関連する命令がロードされたメモリ２１０から必要な命令を読み取ってよい。この場合、前記読み取られた命令は、以下で説明する段階４１０～４３０をプロセッサ２２０が実行するように制御するための命令を含んでよい。

以下で説明する段階４１０～４３０は、図４に示した順とは異なる順で実行されることもあるし、段階４１０～４３０のうちの一部が省略されたり追加の過程が含まれたりすることもある。

図４を参照すると、段階４１０で、デバイス連動部３１０は、音声記録管理サービスのために、音声基盤のインタフェースを提供する人工知能デバイスと連動してよい。一例として、デバイス連動部３１０は、音声記録管理サービスとの連動のために発給されるキー（ｋｅｙ）を利用して、人工知能デバイスと音声記録管理サービスのユーザアカウントとを連動してよい。人工知能デバイスは、現場の音声を記録するための音声命令語または指定ボタンをユーザが入力する場合、音声記録管理サービスとの連動を要求してよい。デバイス連動部３１０は、人工知能デバイスの要求にしたがって臨時キーを発給した後、該当のキーが音声記録管理サービスで入力される場合、キー発給を要求した人工知能デバイスと連動してよい。言い換えれば、デバイス連動部３１０は、人工知能デバイスの要求にしたがって発給されたキーを利用して、音声記録管理サービスで入力したユーザアカウントと該当のデバイスとを連動してよい。デバイス連動部３１０は、一度の連動において１台の人工知能デバイスに対して１つのユーザアカウントを連動してよく、人工知能デバイスと連動するユーザアカウントをマスターアカウントに指定してよい。

段階４２０で、音声記録生成部３２０は、音声記録管理サービスと連動する人工知能デバイスから現場の音声を受信し、受信された音声をテキストに変換することによって音声記録を生成してよい。人工知能デバイスは、音声記録管理サービスとの連動が始まると録音モードに切り換わり、人工知能デバイスが位置する現場で入力される音声を録音してよい。人工知能デバイスは、デバイス上のディスプレイに録音時間を表示してよく、一時停止、再開、終了のように録音と関連するコントローラ機能を提供してよい。音声記録生成部３２０は、人工知能デバイスから現場の音声として録音された音声ファイルを受信してよい。音声記録生成部３２０は、連動中に一定の時間単位（例えば、５分）で録音ファイルを受信してもよいし、連動が解除された後に録音ファイル全体を一括受信してもよい。音声記録生成部３２０は、周知の音声認識技術を利用して、人工知能デバイスから受信された録音ファイルのうちで話者による発声区間に該当する音声データをテキストに変換した結果である音声記録を生成してよい。このとき、音声記録生成部３２０は、音声記録を生成する過程において話者ごとに発声区間を分割する話者分割技術を適用してよい。音声記録生成部３２０は、会議、インタビュー、取引、裁判などのように多くの話者が順不同に発声する状況で録音された音声ファイルの場合には、発声内容を話者ごとに分割して自動記録してよい。

音声記録生成部３２０は、人工知能デバイスとの連動が始まれば、人工知能デバイスと連動するマスターアカウントのサービス画面において、録音中の音声ファイルに対し、該当の音声ファイルの状態情報を提供してよい。また、音声記録生成部３２０は、人工知能デバイスにおいて、録音中の音声ファイルに対し、人工知能デバイスと連動するマスターアカウントにメモ作成機能を提供してよい。言い換えれば、マスターアカウントによって現場の音声の録音中の状態の確認が可能となり、マスターアカウントによって録音中の音声ファイルに対するメモ作成がリアルタイムで可能となる。

音声記録生成部３２０は、人工知能デバイスで現場の音声を録音する過程においてマスターアカウントで作成されたメモを受信し、音声記録とマッチングして管理してよい。音声記録生成部３２０は、録音が実行される時間を基準として、音声記録中および録音実行中に作成されたメモをマッチングしてよい。音声記録は、話者発声区間の基点を示すタイムスタンプを含んでよく、音声記録生成部３２０は、音声記録のタイムスタンプを基準として、該当の区間に作成されたメモをともに管理してよい。言い換えれば、音声記録生成部３２０は、特定の時点の発声区間に作成されたメモを該当の時点の音声記録とマッチングして管理してよい。

段階４３０で、音声記録提供部３３０は、段階４２０で生成された音声記録を人工知能デバイスと連動するマスターアカウントに提供してよい。人工知能デバイスは、事前に定められた音声命令語または指定ボタンが入力される場合、音声記録管理サービスとの連動を解除してよい。音声記録提供部３３０は、人工知能デバイスとの連動が解除された後、マスターアカウントのサービス画面に、音声記録と該当の音声記録とマッチングされたメモとを連係させて提供してよい。音声記録提供部３３０は、音声録音中に作成されたメモを音声記録とともに簡単かつ便利に確認できるように、音声記録とメモをデュアルビュー方式によって並べて表示してよい。デュアルビュー方式とは、音声記録とメモを二列に並べて表示する方式であって、これは、音声をテキストに変換した音声記録と該当の音声の録音中に作成されたメモとを並べて表示することで対話記録を簡単に探索できるようにするインタフェースを提供するものである。音声記録提供部３３０は、音声記録とメモをデュアル表示する方式の他にも、ユーザ選択にしたがい、音声記録とメモのうちの１つを単独表示する方式で実現されることも可能である。

音声記録提供部３３０は、マスターアカウントが追加した他のユーザと音声記録を共有してよい。マスターは、友達追加方式などによって音声記録管理サービスでマスターと関係が設定された他のユーザを指定し、指定されたユーザと現場の音声に対する音声記録を共有してよい。マスターによって指定された他のユーザのアカウントにより、マスターが共有した音声記録の確認が可能となる。音声記録共有方式の他の例として、音声記録に対するＵＲＬを共有する方式も実現可能である。例えば、音声記録提供部３３０は、メッセンジャーと連動し、音声記録管理サービスと関連するチャットボットアカウントを経て、マスターが指定した他のユーザとのチャットルームに音声記録を確認するためのＵＲＬを提供してよい。

図５～１１は、本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

人工知能デバイス５００は、共用デバイスとして使用可能なデバイスであって、音声基盤のインタフェースはもちろん、マイク、スピーカ、ディスプレイのような入力／出力装置とのインタフェースを提供してよい。

以下では、会議の状況を仮定しながら音声記録を管理する過程について説明する。

図５を参照すると、人工知能デバイス５００は、事前に定められたキーワードが含まれた音声命令語５０１を、会議音声を記録するためのユーザ要求として認識してよい。ユーザからの発話による音声命令語５０１の他にも、人工知能デバイス５００上の指定ボタンを利用して会議音声を記録するためのユーザ要求を入力することも可能である。

人工知能デバイス５００は、会議音声を記録するためのユーザ要求を認識する場合、音声記録管理サービスとの連動を要求してよく、これにより、プロセッサ２２０は、人工知能デバイス５００の要求にしたがって連動キーを発給してよい。

人工知能デバイス５００は、連動要求に対する応答として発給されたキーを受信し、ディスプレイ上に表示してよい。

会議現場にいるユーザは、モバイルデバイスやＰＣのような個人用デバイスにインストールされた音声記録管理専用アプリであるノートアプリ（または、音声記録管理サービスのウェブ／モバイルサイト）にログインし、人工知能デバイス５００に表示されたキーを入力してよい。

図６を参照すると、ユーザが、ノートアプリインタフェース画面６００で人工知能デバイス５００との連動を始めるためのメニューを選択する場合、キー入力画面６１０が提供されてよい。このとき、ユーザは、人工知能デバイス５００に表示されたキーをキー入力画面６１０に入力してよい。

プロセッサ２２０は、人工知能デバイス５００の要求にしたがって発給されたキーがノートアプリに入力される場合、該当のキーを入力したユーザアカウントと人工知能デバイス５００を連動してよい。プロセッサ２２０は、人工知能デバイス５００と連動するユーザアカウントを、該当の会議音声と関連するマスターに指定してよい。

図７を参照すると、人工知能デバイス５００は、音声記録管理サービスとの連動が始まれば録音モードに切り換わり、人工知能デバイス５００が位置する現場で入力される会議音声を録音してよい。人工知能デバイス５００は、録音モードが維持される場合、ディスプレイに録音時間を表示してよい。

プロセッサ２２０は、人工知能デバイス５００との連動が始まれば、人工知能デバイス５００での音声記録と関連する状態情報をマスターアカウントに表示してよい。

図８を参照すると、プロセッサ２２０は、マスターアカウントのノートアプリインタフェース画面６００上に、人工知能デバイス５００で録音中の音声ファイルが含まれたファイルリスト８１０を提供してよい。ファイルリスト８１０には、人工知能デバイス５００で録音中の音声ファイルはもちろん、テキスト変換が完了した音声記録などのように、マスターアカウントによってアクセス可能な音声ファイルが含まれてよい。プロセッサ２２０は、ノートアプリインタフェース画面６００のファイルリスト８１０上に、人工知能デバイス５００で録音中の音声ファイルに関する状態情報８０１、すなわち、人工知能デバイス５００での状態値を表示してよい。

プロセッサ２２０は、ファイルリスト８１０に含まれた音声ファイルを状態によって区分して表示してよく、一例として、リアルタイムでメモ作成が可能な状態の音声ファイルとその他の音声ファイルとに区分してよい。メモ作成が可能な状態の音声ファイルには、人工知能デバイス５００で録音実行中の音声ファイルが含まれてよい。図８に示すように、プロセッサ２２０は、ノートアプリインタフェース画面６００のファイルリスト８１０に含まれた音声ファイルのうち、人工知能デバイス５００で録音実行中の音声ファイルに対してメモを作成するための「メモ」メニュー８０２を提供してよい。

プロセッサ２２０は、ノートアプリインタフェース画面６００のファイルリスト８１０から人工知能デバイス５００で録音中の音声ファイルに対する「メモ」メニュー８０２が選択される場合、図９示すように、メモ作成画面９２０を提供してよい。メモ作成画面９２０には、人工知能デバイス５００で録音進行中の音声ファイルの状態（録音中）や録音時間などが表示されてよい。また、メモ作成画面９２０には、メモ作成のためのインタフェース９２１として、テキストによる入力はもちろん、写真や動画撮影機能、ファイル添付機能などが含まれてよい。また、メモ作成画面９２０には、人工知能デバイス５００で録音進行中の音声ファイルにブックマークを記録できるようにするブックマークインタフェース９２２などがさらに含まれてもよい。メモ作成画面９２０でメモが作成される場合、メモそれぞれに対し、人工知能デバイス５００で録音進行中の音声ファイルの録音時間に基づくタイムスタンプがともに表示されてよい。

メモ作成画面９２０に進むための「メモ」メニュー８０２が提供されることを説明しているが、実施形態はこれに限定されない。実施形態によっては、「メモ」メニュー８０２が個別のメニューとして提供されるのではなく、ファイルリスト８１０から特定の音声ファイル、例えば、人工知能デバイス５００で録音進行中の音声ファイルが選択されることによって切り換わった詳細画面にメモ作成画面９２０が含まれるようにしてもよい。

人工知能デバイス５００で録音進行中の音声ファイルに対してメモ作成画面９２０で作成されたメモは、該当の音声ファイルと連係され、モバイルアプリはもちろん、ＰＣウェブでも確認可能となる。

図１０を参照すると、人工知能デバイス５００は、事前に定められたキーワードが含まれた音声命令語１００１を、会議音声記録を終えるためのユーザ要求として認識してよい。ユーザからの発話による音声命令語１００１の他にも、人工知能デバイス５００上の指定ボタンを利用して会議音声記録を終えるためのユーザ要求を入力することも可能である。

人工知能デバイス５００は、会議音声記録を終えるためのユーザ要求を認識する場合、音声記録管理サービスとの連動解除を要求してよい。これにより、プロセッサ２２０は、人工知能デバイス５００の要求にしたがい、人工知能デバイス５００とマスターアカウントとの連動を解除してよい。

人工知能デバイス５００は、音声記録管理サービスとの連動が解除されれば、会議音声に対する全体録音時間をディスプレイ上に表示してよい。

プロセッサ２２０は、人工知能デバイス５００との連動が解除されれば、人工知能デバイス５００で録音された音声をテキストに変換した音声記録を、マスターアカウントのノートアプリインタフェース画面６００に提供してよい。プロセッサ２２０は、特定の音声記録に対する選択命令が受信される場合、該当の音声記録と音声記録とマッチングされたメモとを連係させて提供してよい。

例えば、プロセッサ２２０は、ノートアプリインタフェース画面６００で提供される音声ファイルリスト８１０から特定の音声記録が選択される場合、図１１に示すように、該当の音声記録に対するビューモードに該当する音声記録詳細画面１１００を提供してよい。

プロセッサ２２０は、音声記録詳細画面１１００に、音声記録領域１１４０とメモ領域１１５０を表示してよい。プロセッサ２２０は、音声記録領域１１４０とメモ領域１１５０を、一画面上で区分される個別のタブページとして提供してよい。他の例としては、モバイルデバイスの画面比により、デュアルビュー方式によって音声記録領域１１４０とメモ領域１１５０をともに表示してもよい。

音声記録領域１１４０では、発声区間ごとに、該当の区間の音声を変換したテキストが表示されてよく、このとき、音声ファイルでテキストが発声される時点を基準にタイムスタンプが表示されてよい。メモ領域１１５０には、音声ファイルの録音中に作成されたメモが表示されてよく、各メモには、メモ作成が始まった時点の録音実行時間が該当のメモのタイムスタンプとして表示されてよい。

音声記録領域１１４０とメモ領域１１５０がデュアルビュー方式によって提供される場合は、音声記録領域１１４０とメモ領域１１５０を二列に並べて表示してよい。このとき、音声記録領域１１４０とメモ領域１１５０は、タイムスタンプを基準に時間的にマッチングさせて表示してよい。例えば、話者１が発声した００分０２秒時点に作成されたメモは、該当の発声区間のテキストと同一線上に表示されるようにしてよい。

音声記録領域１１４０とメモ領域１１５０が個別のタブページとして提供される場合は、音声記録領域１１４０とメモ領域１１５０を、タイムスタンプを基準とした同一線上に表示するのではなく、単にそれぞれ時間順にしたがって整列することも可能である。

音声記録詳細画面１１００には、該当の音声記録に対してマスターが設定したファイル名などが表示されてよく、さらに、該当の音声記録を共有したい対象を追加するための「参加者追加」メニュー１１４１が含まれてよい。

プロセッサ２２０は、マスターが音声記録詳細画面１１００で「参加者追加」メニュー１１４１を選択する場合、友達リストのようにマスターと関連するユーザリストを提供してよく、ユーザリストから選択された他のユーザのアカウントやメッセンジャーチャットルームで該当の音声記録を共有してよい。音声記録を共有する方式としては、音声記録管理サービスのアカウントを用いて共有してもよいし、メッセンジャーとの連動によって音声記録に対するＵＲＬを共有してもよい。

このように、本発明の実施形態によると、共用デバイスとして使用可能な人工知能デバイスと音声記録管理サービスを連動し、音声認識技術によって現場の音声をテキストで自動記録することにより、サービスの利用を拡大し、ユーザの利便性を向上させることができる。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃｌｏｇｉｃｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

２２０：プロセッサ
３１０：デバイス連動部
３２０：音声記録生成部
３３０：音声記録提供部

Claims

コンピュータ装置が実行する音声記録管理方法であって、
前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記音声記録管理方法は、
前記少なくとも１つのプロセッサにより、音声基盤のインタフェースを提供する人工知能デバイスとユーザアカウントで特定された音声記録管理サービスとを連動させる段階であって、音声を記録するためのユーザ要求に応じて、前記音声記録管理サービスとの連動のために発給された連動キーが、前記ユーザアカウントで特定された音声記録管理サービスに入力される、段階、
前記少なくとも１つのプロセッサにより、前記人工知能デバイスから受信された音声をテキストに変換して音声記録を生成する段階、および
前記少なくとも１つのプロセッサにより、ユーザに前記音声記録を提供する段階、
前記少なくとも１つのプロセッサにより、マスターアカウントの権限を有するユーザが指定した少なくとも１つの他のユーザと前記音声記録を共有する段階
を含む、音声記録管理方法。
前記連動させる段階は、
前記ユーザによる現場の音声を記録する要求を踏まえた音声記録管理サービスとの連動の要求にしたがって連動キー（ｋｅｙ）を発給する段階、および
前記ユーザアカウントで特定された音声記録管理サービスに前記連動キーが入力されることにより、前記ユーザアカウントと前記人工知能デバイスを連動させる段階
を含む、請求項１に記載の音声記録管理方法。
前記生成する段階は、
前記人工知能デバイスから前記音声が録音されたファイルを受信し、話者発声区間に該当する音声データをテキストに変換する段階
を含む、請求項１に記載の音声記録管理方法。
前記音声記録管理方法は、
前記少なくとも１つのプロセッサにより、前記ユーザアカウントに、前記人工知能デバイスで録音中の前記音声に関する状態情報を提供する段階
をさらに含む、請求項１に記載の音声記録管理方法。
前記音声記録管理方法は、
前記少なくとも１つのプロセッサにより、前記ユーザアカウントに、前記人工知能デバイスで録音中の前記音声に対するメモ作成機能を提供する段階
をさらに含む、請求項１に記載の音声記録管理方法。
前記人工知能デバイスに対して、前記マスターアカウントで特定された音声記録管理サービスが連動することができる、請求項１に記載の音声記録管理方法。
前記音声記録管理方法は、
前記少なくとも１つのプロセッサにより、前記人工知能デバイスで前記音声の録音中に前記ユーザアカウントで作成されたメモを前記音声記録とマッチングして管理する段階
をさらに含む、請求項１に記載の音声記録管理方法。
前記管理する段階は、
前記音声記録のタイムスタンプを基準として、前記音声の録音中に作成されたメモをマッチングして管理すること
を特徴とする、請求項７に記載の音声記録管理方法。
前記提供する段階は、
前記音声記録と前記メモを連係させて提供すること
を特徴とする、請求項７に記載の音声記録管理方法。
前記提供する段階は、
タイムスタンプを基準として、前記音声記録と前記メモを時間的にマッチングして表示すること
を特徴とする、請求項７に記載の音声記録管理方法。
請求項１～１０のうちのいずれか一項に記載の音声記録管理方法をコンピュータに実行させるコンピュータプログラム。
コンピュータ装置であって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
音声基盤のインタフェースを提供する人工知能デバイスとユーザアカウントで特定された音声記録管理サービスとを連動させるデバイス連動部であって、音声を記録するためのユーザ要求に応じて、前記音声記録管理サービスとの連動のために発給された連動キーが、前記ユーザアカウントで特定された音声記録管理サービスに入力される、デバイス連動部、
前記人工知能デバイスから受信された音声をテキストに変換して音声記録を生成する音声記録生成部、および
ユーザに前記音声記録を提供する音声記録提供部
を含み、前記少なくとも１つのプロセッサは、
マスターアカウントの権限を有するユーザが指定した少なくとも１つの他のユーザと前記音声記録を共有すること
を特徴とするコンピュータ装置。
前記デバイス連動部は、
前記ユーザによる現場の音声を記録する要求を踏まえた音声記録管理サービスとの連動の要求にしたがって連動キーを発給し、前記ユーザアカウントで特定された音声記録管理サービスに前記連動キーが入力されることにより、前記ユーザアカウントと前記人工知能デバイスを連動させること
を特徴とする、請求項１２に記載のコンピュータ装置。
前記音声記録生成部は、
前記人工知能デバイスから前記音声が録音されたファイルを受信し、話者発声区間に該当する音声データをテキストに変換すること
を特徴とする、請求項１２に記載のコンピュータ装置。
前記少なくとも１つのプロセッサは、
前記ユーザアカウントに、前記人工知能デバイスで録音中の前記音声に関する状態情報を提供すること
を特徴とする、請求項１２に記載のコンピュータ装置。
前記少なくとも１つのプロセッサは、
前記ユーザアカウントに、前記人工知能デバイスで録音中の前記音声に対するメモ作成機能を提供すること
を特徴とする、請求項１２に記載のコンピュータ装置。
前記人工知能デバイスに対して、前記マスターアカウントで特定された音声記録管理サービスが連動することができる、請求項１２に記載のコンピュータ装置。
前記音声記録生成部は、
前記人工知能デバイスで前記音声の録音中に前記ユーザアカウントで作成されたメモを前記音声記録とマッチングして管理すること
を特徴とする、請求項１２に記載のコンピュータ装置。
前記音声記録生成部は、
前記音声記録のタイムスタンプを基準として、前記音声の録音中に作成されたメモをマッチングして管理すること
を特徴とする、請求項１８に記載のコンピュータ装置。
前記音声記録提供部は、
タイムスタンプを基準として、前記音声記録と前記メモを時間的にマッチングして表示すること
を特徴とする、請求項１８に記載のコンピュータ装置。