JP7404568B1 - プログラム、情報処理装置、及び情報処理方法 - Google Patents
プログラム、情報処理装置、及び情報処理方法 Download PDFInfo
- Publication number
- JP7404568B1 JP7404568B1 JP2023005771A JP2023005771A JP7404568B1 JP 7404568 B1 JP7404568 B1 JP 7404568B1 JP 2023005771 A JP2023005771 A JP 2023005771A JP 2023005771 A JP2023005771 A JP 2023005771A JP 7404568 B1 JP7404568 B1 JP 7404568B1
- Authority
- JP
- Japan
- Prior art keywords
- user
- sound data
- unit
- conference
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 60
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000001514 detection method Methods 0.000 claims abstract description 76
- 230000006870 function Effects 0.000 claims abstract description 25
- 230000004044 response Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Telephonic Communication Services (AREA)
Abstract
Description
前記取得部は、前記ユーザの音声を示すユーザ音声データを取得し、前記検知部は、前記ユーザ音声データに基づいて前記ユーザの音声の特徴を示すユーザ特徴データを生成し、前記取得部が取得した音データの特徴を示す特徴データと、前記ユーザ特徴データとの類似度に基づいて前記ユーザの発言を検知してもよい。
図1は、情報処理装置1の概要を示す図である。情報処理装置1は、ユーザが他のユーザとオンライン会議を行うために使用するパーソナルコンピュータ、タブレット端末、スマートフォン等のコンピュータである。情報処理装置1は、インターネットや携帯電話回線等の通信ネットワークを介してオンライン会議を制御するオンライン会議サーバ2に通信可能に接続されている。
続いて、情報処理装置1の構成について説明する。図2は、情報処理装置1の機能構成を示す図である。情報処理装置1は、通信部11と、操作部12と、表示部13と、集音部14と、出音部15と、記憶部16と、制御部17とを有する。
操作部12は、ユーザの操作を受け付ける操作デバイスである。例えば、情報処理装置1がパーソナルコンピュータである場合、操作部12は、マウスやキーボードである。
表示部13は、例えば液晶ディスプレイである。表示部13は、制御部17の制御に基づいて、オンライン会議サーバ2から受信した他のユーザの映像を表示する。
出音部15は、制御部17から入力された音信号に基づいて音を出力するスピーカである。
オンライン会議を実現させる機能である会議制御部176に対して仮想の集音部が出力する音データを入力するために、情報処理装置1において設定を行う必要がある。まず、ユーザは操作部12を操作することにより、音声制御プログラム及び会議アプリケーションプログラムを情報処理装置1に実行させる。音声制御プログラムが実行されると、会議制御部176が用いる情報処理装置1の集音部として、集音部14と、音声制御プログラムにより実現される仮想の集音部が選択可能となる。
続いて、音声制御プログラムにより実現される仮想の集音部の具体的な処理について説明する。取得部171、記憶制御部172、検知部173、出力部174、及び切替部175は、協働することにより、仮想の集音部として機能する。
記憶制御部172は、取得部171が取得した音データを記憶部16に記憶させる。記憶制御部172は、例えば、記憶部16に設けられている先入れ先出し方式の記憶領域である音声バッファ領域に取得部171が取得した音データを記憶させる。記憶制御部172は、音データを圧縮する圧縮処理を行い、圧縮された音データを音声バッファ領域に記憶させるようにしてもよい。音声バッファ領域は、現在時刻よりも所定時間(例えば、数百ミリ秒から1秒未満)前のタイミングから現在時刻までの音データが記憶される。記憶制御部172は、所定時間前のタイミングよりも前に取得された音データが音声バッファ領域に記憶されている場合、当該音データを削除する。
続いて、会議制御部176の動作について説明する。会議制御部176は、通信部11を介して、出力部174から出力された音データをオンライン会議サーバ2に送信する。オンライン会議サーバ2は、情報処理装置1から受信した音データをユーザと会議を行う他のユーザの端末(不図示)に送信する。
続いて、仮想の集音部の一部として機能する切替部175による会議制御部176の制御について説明する。
続いて、情報処理装置1における処理の流れについて説明する。図3は、情報処理装置1における処理の流れを示すフローチャートである。なお、本フローチャートに示す処理が行われる前に、会議制御部176において用いる集音部として、仮想の集音部が選択されているものとする。
続いて、取得部171は、集音部14が集音した音を示す音データを取得する(S2)。記憶制御部172は、S2において取得された音データを音声バッファ領域に記憶させる(S3)。
なお、上述の実施の形態では、音声制御プログラムと、会議アプリケーションプログラムとが異なるものであることとしたが、これに限らない。会議アプリケーションプログラムが、取得部171、記憶制御部172、検知部173、出力部174、及び切替部175として機能してもよい。これにより、ユーザの発言を検知した場合に限定して、音声をオンライン会議サーバ2に送信する会議アプリケーションプログラムを実現することができる。
また、上述の実施形態において、出力部174は、ユーザの発言が途切れたことを検知したタイミングまでに記憶部16に記憶された音データを、記憶部16から取得して会議制御部176に出力したが、これに限らない。出力部174は、ユーザの発言を検知したことに応じて、記憶部16の音声バッファ領域に記憶されている音データを、音声バッファ領域に残存する音データがなくなるまで、取得部171が音データを取得する間隔よりも早い間隔、すなわち、ユーザの発言が実際の発言速度に比べて早口になるように会議制御部176に出力してもよい。これにより、情報処理装置1は、ユーザの発言を検知したタイミングよりも前に音声バッファ領域に記憶された音データを早期に出力し、音声バッファ領域から音データを出力することによるユーザの発言の遅れを早期に解消させることができる。
以上説明したように、本実施の形態に係る情報処理装置1は、集音部14が集音した音を示す音データを取得し、取得した音データを記憶部16に記憶させ、取得した音データに基づいて、ユーザの発言を検知すると、ユーザの発言を検知したタイミングよりも所定時間前のタイミングに記憶部16に記憶された音データと、当該音データよりも後に記憶部16に記憶された音データとを、記憶部16に記憶された時刻が古い順に出力する。このようにすることで、情報処理装置1は、ユーザの発言の一部が伝わらなくなることを抑制することができる。
2 オンライン会議サーバ
11 通信部
12 操作部
13 表示部
14 集音部
15 出音部
16 記憶部
17 制御部
171 取得部
172 記憶制御部
173 検知部
174 出力部
175 切替部
176 会議制御部
Claims (9)
- コンピュータにおいて仮想の集音部として機能し、
前記コンピュータを、
前記コンピュータが有する集音部が集音した音を示す音データを取得する取得部、
前記取得部が取得した前記音データを記憶部に記憶させる記憶制御部、
前記取得部が取得した前記音データに基づいて、前記コンピュータのユーザの発言を検知する検知部、
オンラインで会議を行うためのアプリケーションプログラムが実行されることにより機能する会議制御部に対する音データの入力元として前記仮想の集音部が指定されている場合に、前記会議制御部に音データを出力する出力部であって、前記検知部が前記ユーザの発言を検知すると、前記検知部が前記ユーザの発言を検知したタイミングよりも所定時間前のタイミングに前記記憶部に記憶された音データと、当該音データよりも後に前記記憶部に記憶された音データとを、前記記憶部に記憶された時刻が古い順に出力する出力部、及び、
前記検知部が前記ユーザの発言を検知すると、前記会議制御部における音データの外部装置への出力状態を、前記外部装置に音データを送信しない状態から前記外部装置に音データを送信する状態に切り替える切替部であって、前記会議制御部により実現されるオンラインの会議において前記ユーザが前記会議の開催者であるか否かを示す情報を取得し、前記ユーザから前記会議制御部における音データの前記外部装置への出力状態を切り替えるか否かの選択を受け付け、取得した前記ユーザが前記会議の開催者であるか否かを示す情報が、前記ユーザが前記会議の開催者であることを示していない場合には、前記出力状態を切り替える選択を受け付けていることに応じて、前記検知部による前記ユーザの発言の検出状況に基づいて、前記会議制御部における音データの前記外部装置への出力状態を切り替え、取得した前記ユーザが前記会議の開催者であるか否かを示す情報が、前記ユーザが前記会議の開催者であることを示している場合には、前記出力状態を切り替える前記選択の状況に関わらず、前記検知部による前記ユーザの発言の検出状況に基づいて、前記会議制御部における音データの前記外部装置への出力状態を切り替える切替部、
として機能させ、
前記記憶制御部は、前記検知部がユーザの発言を検知する前から、前記取得部が取得した前記音データを前記記憶部に記憶させる、
プログラム。 - 前記検知部は、前記ユーザの発言が途切れることを検知し、
前記出力部は、前記ユーザの発言が途切れたことを検知したタイミングまでに前記記憶部に記憶された音データを出力する、
請求項1に記載のプログラム。 - 前記出力部は、前記ユーザの発言が途切れたことを検知したタイミングに前記記憶部に記憶された音データを出力し、前記記憶部に記憶された音データを全て出力し終えたタイミングから、前記取得部が取得した音データを直接出力する、
請求項2に記載のプログラム。 - 前記出力部は、前記ユーザの発言が途切れたことを検知したタイミングに前記記憶部に記憶された音データを出力してから所定時間以内に前記検知部が前記ユーザの発言を検知しなくなると、前記取得部が取得した音データを出力しないように制御する、
請求項3に記載のプログラム。 - 前記検知部は、前記ユーザの発言を検知した後に前記ユーザの発言が途切れたことを検知し、
前記切替部は、前記ユーザの発言が途切れたことを検知したタイミングに前記記憶部に記憶された音データを前記出力部が出力してから所定時間以内に前記検知部が前記ユーザの発言を検知しなかった場合に、前記会議制御部における音データの前記外部装置への出力状態を、前記外部装置に音データを送信する状態から前記外部装置に音データを送信しない状態に切り替える、
請求項1に記載のプログラム。 - 前記検知部は、前記音データが示す音の周波数、音量レベル、音の継続時間の少なくともいずれかに基づいて、前記ユーザの発言を検知する、
請求項1に記載のプログラム。 - 前記取得部は、前記ユーザの音声を示すユーザ音声データを取得し、
前記検知部は、前記ユーザ音声データに基づいて前記ユーザの音声の特徴を示すユーザ特徴データを生成し、前記取得部が取得した音データの特徴を示す特徴データと、前記ユーザ特徴データとの類似度に基づいて前記ユーザの発言を検知する、
請求項1に記載のプログラム。 - 仮想の集音部として機能し、音データを出力する情報処理装置であって、
集音部が集音した音を示す音データを取得する取得部と、
前記取得部が取得した前記音データを記憶部に記憶させる記憶制御部と、
前記取得部が取得した前記音データに基づいて、ユーザの発言を検知する検知部と、
オンラインで会議を行うためのアプリケーションプログラムが実行されることにより機能する会議制御部に対する音データの入力元として前記仮想の集音部が指定されている場合に、前記会議制御部に音データを出力する出力部であって、前記検知部が前記ユーザの発言を検知すると、前記検知部が前記ユーザの発言を検知したタイミングよりも所定時間前のタイミングに前記記憶部に記憶された音データと、当該音データよりも後に前記記憶部に記憶された音データとを、前記記憶部に記憶された時刻が古い順に出力する出力部と、
前記検知部が前記ユーザの発言を検知すると、前記会議制御部における音データの外部装置への出力状態を、前記外部装置に音データを送信しない状態から前記外部装置に音データを送信する状態に切り替える切替部であって、前記会議制御部により実現されるオンラインの会議において前記ユーザが前記会議の開催者であるか否かを示す情報を取得し、前記ユーザから前記会議制御部における音データの前記外部装置への出力状態を切り替えるか否かの選択を受け付け、取得した前記ユーザが前記会議の開催者であるか否かを示す情報が、前記ユーザが前記会議の開催者であることを示していない場合には、前記出力状態を切り替える選択を受け付けていることに応じて、前記検知部による前記ユーザの発言の検出状況に基づいて、前記会議制御部における音データの前記外部装置への出力状態を切り替え、取得した前記ユーザが前記会議の開催者であるか否かを示す情報が、前記ユーザが前記会議の開催者であることを示している場合には、前記出力状態を切り替える前記選択の状況に関わらず、前記検知部による前記ユーザの発言の検出状況に基づいて、前記会議制御部における音データの前記外部装置への出力状態を切り替える切替部と、
を有し、
前記記憶制御部は、前記検知部がユーザの発言を検知する前から、前記取得部が取得した前記音データを前記記憶部に記憶させる、
情報処理装置。 - 仮想の集音部として機能するコンピュータが実行する、
集音部が集音した音を示す音データを取得するステップと、
取得した前記音データを記憶部に記憶させるステップと、
取得した前記音データに基づいて、ユーザの発言を検知するステップと、
オンラインで会議を行うためのアプリケーションプログラムが実行されることにより機能する会議制御部に対する音データの入力元として前記仮想の集音部が指定されている場合に、前記会議制御部に音データを出力するステップであって、前記ユーザの発言を検知すると、前記ユーザの発言を検知したタイミングよりも所定時間前のタイミングに前記記憶部に記憶された音データと、当該音データよりも後に前記記憶部に記憶された音データとを、前記記憶部に記憶された時刻が古い順に出力するステップと、
前記ユーザの発言を検知すると、前記会議制御部における音データの外部装置への出力状態を、前記外部装置に音データを送信しない状態から前記外部装置に音データを送信する状態に切り替えるステップであって、前記会議制御部により実現されるオンラインの会議において前記ユーザが前記会議の開催者であるか否かを示す情報を取得し、前記ユーザから前記会議制御部における音データの前記外部装置への出力状態を切り替えるか否かの選択を受け付け、取得した前記ユーザが前記会議の開催者であるか否かを示す情報が、前記ユーザが前記会議の開催者であることを示していない場合には、前記出力状態を切り替える選択を受け付けていることに応じて、前記検知するステップにおける前記ユーザの発言の検出状況に基づいて、前記会議制御部における音データの前記外部装置への出力状態を切り替え、取得した前記ユーザが前記会議の開催者であるか否かを示す情報が、前記ユーザが前記会議の開催者であることを示している場合には、前記出力状態を切り替える前記選択の状況に関わらず、前記検知するステップにおける前記ユーザの発言の検出状況に基づいて、前記会議制御部における音データの前記外部装置への出力状態を切り替えるステップと、
を有し、
前記記憶部に記憶させるステップにおいて、前記コンピュータは、前記ユーザの発言を検知する前から、取得した前記音データを前記記憶部に記憶させる、
情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023005771A JP7404568B1 (ja) | 2023-01-18 | 2023-01-18 | プログラム、情報処理装置、及び情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023005771A JP7404568B1 (ja) | 2023-01-18 | 2023-01-18 | プログラム、情報処理装置、及び情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP7404568B1 true JP7404568B1 (ja) | 2023-12-25 |
Family
ID=89307951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023005771A Active JP7404568B1 (ja) | 2023-01-18 | 2023-01-18 | プログラム、情報処理装置、及び情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7404568B1 (ja) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005181391A (ja) | 2003-12-16 | 2005-07-07 | Sony Corp | 音声処理装置および音声処理方法 |
JP2005202014A (ja) | 2004-01-14 | 2005-07-28 | Sony Corp | 音声信号処理装置、音声信号処理方法および音声信号処理プログラム |
JP2005323308A (ja) | 2004-05-11 | 2005-11-17 | Sony Corp | 音声集音装置とエコーキャンセル処理方法 |
JP2006229356A (ja) | 2005-02-15 | 2006-08-31 | Sony Corp | 音声会議用の通信制御装置,通信制御方法,プログラム及び記録媒体 |
WO2007013180A1 (ja) | 2005-07-27 | 2007-02-01 | Kabushiki Kaisha Audio-Technica | 会議用音声システム |
JP2008141560A (ja) | 2006-12-04 | 2008-06-19 | Yamaha Corp | ネットワーク機器 |
JP2010232780A (ja) | 2009-03-26 | 2010-10-14 | Brother Ind Ltd | 通信制御装置、通信制御方法、及び通信制御プログラム |
JP2011087074A (ja) | 2009-10-14 | 2011-04-28 | Lenovo Singapore Pte Ltd | 遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラム |
JP2020141208A (ja) | 2019-02-27 | 2020-09-03 | 株式会社沖ワークウェル | コミュニケーションシステム |
JP2022016997A (ja) | 2020-07-13 | 2022-01-25 | ソフトバンク株式会社 | 情報処理方法、情報処理装置及び情報処理プログラム |
CN114268761A (zh) | 2021-12-22 | 2022-04-01 | 北京达佳互联信息技术有限公司 | 会议控制方法、装置、电子设备、存储介质和程序产品 |
-
2023
- 2023-01-18 JP JP2023005771A patent/JP7404568B1/ja active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005181391A (ja) | 2003-12-16 | 2005-07-07 | Sony Corp | 音声処理装置および音声処理方法 |
JP2005202014A (ja) | 2004-01-14 | 2005-07-28 | Sony Corp | 音声信号処理装置、音声信号処理方法および音声信号処理プログラム |
JP2005323308A (ja) | 2004-05-11 | 2005-11-17 | Sony Corp | 音声集音装置とエコーキャンセル処理方法 |
JP2006229356A (ja) | 2005-02-15 | 2006-08-31 | Sony Corp | 音声会議用の通信制御装置,通信制御方法,プログラム及び記録媒体 |
WO2007013180A1 (ja) | 2005-07-27 | 2007-02-01 | Kabushiki Kaisha Audio-Technica | 会議用音声システム |
JP2008141560A (ja) | 2006-12-04 | 2008-06-19 | Yamaha Corp | ネットワーク機器 |
JP2010232780A (ja) | 2009-03-26 | 2010-10-14 | Brother Ind Ltd | 通信制御装置、通信制御方法、及び通信制御プログラム |
JP2011087074A (ja) | 2009-10-14 | 2011-04-28 | Lenovo Singapore Pte Ltd | 遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラム |
JP2020141208A (ja) | 2019-02-27 | 2020-09-03 | 株式会社沖ワークウェル | コミュニケーションシステム |
JP2022016997A (ja) | 2020-07-13 | 2022-01-25 | ソフトバンク株式会社 | 情報処理方法、情報処理装置及び情報処理プログラム |
CN114268761A (zh) | 2021-12-22 | 2022-04-01 | 北京达佳互联信息技术有限公司 | 会议控制方法、装置、电子设备、存储介质和程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230245653A1 (en) | Image display apparatus and method of controlling the same | |
JP6811758B2 (ja) | 音声対話方法、装置、デバイス及び記憶媒体 | |
US8701003B2 (en) | Methods and apparatus for controlling a user interface based on the emotional state of a user | |
JP6819672B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US8457963B2 (en) | Mechanism for providing user guidance and latency concealment for automatic speech recognition systems | |
JP2006154724A (ja) | 対話システム、対話方法、及びコンピュータプログラム | |
JP2006505003A (ja) | 音声認識システムの動作方法 | |
US20210281682A1 (en) | Systems and methods for operating an interactive voice response system | |
US8868419B2 (en) | Generalizing text content summary from speech content | |
JP7406874B2 (ja) | 電子機器、その制御方法、およびそのプログラム | |
WO2024103926A1 (zh) | 语音控制方法、装置、存储介质以及电子设备 | |
CN107680592A (zh) | 一种移动终端语音识别方法、及移动终端及存储介质 | |
JP7404568B1 (ja) | プログラム、情報処理装置、及び情報処理方法 | |
CN109271480B (zh) | 一种语音搜题方法及电子设备 | |
WO2017085815A1 (ja) | 困惑状態判定装置、困惑状態判定方法、及びプログラム | |
CN111785277A (zh) | 语音识别方法、装置、计算机可读存储介质以及处理器 | |
US20230098333A1 (en) | Information processing apparatus, non-transitory computer readable medium, and information processing method | |
JP7323210B2 (ja) | 音声認識表示装置、音声認識表示方法及びプログラム | |
CN111816183B (zh) | 基于音视频录制的语音识别方法、装置、设备及存储介质 | |
KR102494051B1 (ko) | 전자 장치 및 이의 음성 인식 방법 | |
Lundin Söderberg | Java/Android application for detecting hearing loss | |
KR101011630B1 (ko) | 전화정보 서비스에서의 사용자 입력신호 누락 방지 방법 | |
CN115497457A (zh) | 语音识别方法、装置、电子设备及存储介质 | |
CN116129890A (zh) | 语音交互处理方法、装置及存储介质 | |
CN116895275A (zh) | 对话系统及其控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230331 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230807 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20231016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7404568 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |