JP7129331B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

従来、コンピュータゲーム等において、ゲームの状況に応じて、ゲームのキャラクタのセリフを、予め録音されている音声（ボイス）により出力する技術が知られている（例えば、特許文献１を参照）。

声優や歌手等の発声者が発声した音声を録音する場合、発声者が口を開閉した際に生じる雑音（リップノイズ）が、発声者の口元に設置されたマイクにより集音される場合がある。この場合、録音されている音声を出力すると、ユーザにとって耳障りな雑音となる場合がある。従来、音声を修正する者が、録音されている音声をスピーカに出力させてリップノイズを耳で聞き取り、リップノイズが発生した時間の音声の波形を画面に表示させ、波形を手入力により修正することが知られている。

特開２０１７－１８４８４２号公報

しかしながら、従来技術では、職人の経験と勘に基づいて手作業により周波数成分や音量等を修正するため、作業に手間がかかると共に、修正の品質にばらつきがあるという問題がある。

そこで、一側面では、より適切に音声を修正することができる技術を提供することを目的とする。

一つの案では、録音された音声データから第１閾値以上の帯域の音が抽出された第１データに基づいて、リップノイズが録音されている第１区間を検出する検出部と、前記音声データから第２閾値以下の帯域の音が抽出された前記第１区間の第２データに基づいて、前記音声データにおける前記第１区間の音のデータを修正する修正部と、を有する。

一側面によれば、より適切に音声を修正することができる。

実施形態に係る情報処理装置のハードウェア構成例を示す図である。 実施形態に係る情報処理装置の機能ブロック図である。 実施形態に係る情報処理装置１０の処理の一例を示すフローチャートである。 実施形態に係る高域部分に基づいてリップノイズ区間を特定する処理の一例を示すフローチャートである。 実施形態に係る高域部分に基づいてリップノイズ区間を特定する処理について説明する図である。 実施形態に係る特定したノイズ区間の音声を修正する処理の一例を示すフローチャートである。 ノイズ区間を含む所定区間における、録音された音声データの一例を示す図である。 実施形態に係るリップノイズ区間の中低域の音を抽出する処理について説明する図である。 実施形態に係るリップノイズ区間の音を修正する処理について説明する図である。

以下、図面に基づいて本発明の実施形態を説明する。

＜ハードウェア構成＞
図１は、実施形態に係る情報処理装置１０のハードウェア構成例を示す図である。図１に示す情報処理装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、インタフェース装置１０５、表示装置１０６、及び入力装置１０７等を有する。

情報処理装置１０での処理を実現するゲームプログラムは、記録媒体１０１によって提供される。ゲームプログラムを記録した記録媒体１０１がドライブ装置１００にセットされると、ゲームプログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、ゲームプログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたゲームプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、またはＳＲＡＭ（Static Random Access Memory）等のメモリであり、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って情報処理装置１０に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７は、コントローラ等、キーボード及びマウス等、またはタッチパネル及びボタン等で構成され、様々な操作指示を入力させるために用いられる。

なお、記録媒体１０１の一例としては、ＣＤ－ＲＯＭ、ＤＶＤディスク、ブルーレイディスク、又はＵＳＢメモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置１０２の一例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリ等が挙げられる。記録媒体１０１及び補助記憶装置１０２のいずれについても、コンピュータ読み取り可能な記録媒体に相当する。

＜機能構成＞
次に、図２を参照し、情報処理装置１０の機能構成について説明する。図２は、実施形態に係る情報処理装置１０の機能ブロック図である。

情報処理装置１０は、記憶部１１を有する。記憶部１１は、例えば、補助記憶装置１０２等を用いて実現される。記憶部１１は、録音されたセリフの音声データ等を記憶する。

また、情報処理装置１０は、取得部１２、検出部１３、及び修正部１４を有する。これら各部は、情報処理装置１０にインストールされた１以上のプログラムが、情報処理装置１０のＣＰＵ１０４に実行させる処理により実現される。

取得部１２は、録音されたセリフ等の音声データを記憶部１１から取得する。検出部１３は、取得部１２により取得された音声データから第１閾値以上の帯域の音を抽出することにより高域の音データ（「第１データ」の一例。）を生成する。そして、検出部１３は、生成した高域の音データから、リップノイズが録音されている各区間を検出する。

修正部１４は、取得部１２により取得された音声データから、検出部１３により検出された各区間の第２閾値以下の帯域の各音を抽出することにより、中低域の各音データ（「第２データ」の一例。）を生成する。そして、修正部１４は、生成した中低域の各音データに基づいて、取得部１２により取得された音声データにおける検出部１３により検出された各区間の音のデータを修正する。これにより、例えば、声優等が発声したセリフの音声データに含まれるリップノイズを低減することができる。

＜処理＞
次に、図３を参照して、情報処理装置１０の処理について説明する。図３は、実施形態に係る情報処理装置１０の処理の一例を示すフローチャートである。

ステップＳ１において、検出部１３は、取得部１２により取得された音声データから高域の音声データを抽出する。ここで、検出部１３は、例えば、ハイパスフィルター（アンチエイリアスフィルタ）を用いて、録音された音声データから第１閾値（例えば、９０００Ｈｚ）未満の周波数成分を除去した音声データを生成してもよい。

続いて、検出部１３は、抽出した高域の音声データに基づいて、リップノイズが発生している区間（以下で、「リップノイズ区間」と称する。）をそれぞれ特定する（ステップＳ２）。ここで、検出部１３は、例えば、抽出した高域の音声データの音量が、短時間（例えば、０．１秒）で所定比（例えば、１２ｄＢ）以上変化する各区間（時間帯、時間的な位置）を検出する。なお、この処理については後述する。

続いて、検出部１３は、各リップノイズ区間の音声に周期性があるか否かを判定する（ステップＳ３）。ここで、検出部１３は、例えば、リップノイズ区間より前の所定期間内の波形から、リップノイズ区間の波形と類似度が高い区間である第１類似区間を特定する。そして、検出部１３は、リップノイズ区間と第１類似区間との間の第１距離（時間差）を算出する。また、検出部１３は、リップノイズ区間より後の所定期間内の波形から、リップノイズ区間の波形と類似度が高い区間である第２類似区間を特定する。そして、リップノイズ区間と第２類似区間との間の第２距離（時間差）を算出する。

そして、検出部１３は、第１距離と第２距離との差が所定の閾値未満である場合、リップノイズ区間の音声に周期性があると判定する。また、検出部１３は、第１距離と第２距離との一方を整数倍した値と、他方との差が所定の閾値未満である場合も、リップノイズ区間の音声に周期性があると判定する。

周期性がある場合（ステップＳ３でＹＥＳ）、処理を終了する。なお、修正部１４は、周期性がある場合、リップノイズを除去する量を低減してもよい。この場合、修正部１４は、周期性があると判定した区間に対しては、後述する第２閾値を比較的大きな値（例えば、４０００Ｈｚ）に決定してリップノイズ区間の音声の修正処理を行うようにしてもよい。

周期性がない場合（ステップＳ３でＮＯ）、修正部１４は、取得部１２により取得された音声データにおいて、各リップノイズ区間の音声を修正し（ステップＳ４）、処理を終了する。なお、この処理については後述する。

≪リップノイズ区間の特定処理≫
次に、図４、及び図５を参照し、図３のステップＳ２の、抽出した高域の音声データに基づいてリップノイズ区間を特定する処理について説明する。図４は、実施形態に係る高域部分に基づいてリップノイズ区間を特定する処理の一例を示すフローチャートである。図５は、実施形態に係る高域部分に基づいてリップノイズ区間を特定する処理について説明する図である。なお、以下の説明において、音量の最大値は、音量の絶対値の最大値としてもよい。

ステップＳ１０１において、検出部１３は、音量が所定の閾値以上（例えば、１２ｄＢ）変化し始める各時点を検出する。図５の例では、ステップＳ１の処理で録音された音声データから抽出された、高域部分のみの音声データの波形５００が、横軸を時間、縦軸を音量（ｄＢ）として示されている。ここで、検出部１３は、図５のように、例えば、ある時点５０１から所定時間（例えば、０．１秒）の後の時点５０２までの区間５２１の最大音量５１１と、時点５０２から当該一定時間の後の時点５０３までの区間５２２の最大音量５１２との差が所定の閾値以上変化する場合、時点５０２を、音量が所定の閾値以上変化し始める時点として検出する。

なお、検出部１３は、以下の処理を、検出した各時点に対してそれぞれ実行する。そのため、以下では、検出した各時点に含まれる一の時点（以下で、「処理対象の時点」と称する。）に対しての処理について説明する。図５の時点５０２は、処理対象の時点の一例である。

続いて、検出部１３は、処理対象の時点から当該一定時間の後の時点から、所定期間（例えば、０．３秒）後までの時間帯（以下で、「リリース区間」とも称する。）に含まれる各区間の音量の最大値の少なくとも一つが、音量が所定の閾値以上変化する前の区間の音量の最大値以下であるか否かを判定する（ステップＳ１０２）。ここで、検出部１３は、処理対象の時点５０２から当該一定時間の後の時点である時点５０３から当該一定時間後の時点５０４までの区間５２３の最大音量５１３、時点５０４から当該一定時間後の時点５０５までの区間５２４の最大音量５１４、時点５０５から当該一定時間後の時点５０６までの区間５２５の最大音量５１５を特定する。そして、検出部１３は、最大音量５１３、最大音量５１４、及び最大音量５１５の少なくとも一つが、最大音量５１１よりも小さいか否かを判定する。

リリース区間に含まれる各区間の音量の最大値の少なくとも一つが、音量が所定の閾値以上変化する前の区間の音量の最大値以下でない場合（ステップＳ１０２でＮＯ）、ステップＳ１０４の処理に進む。

一方、最大値以下である場合（ステップＳ１０２でＹＥＳ）、検出部１３は、処理対象の時点から、変化する前の音量まで下がった区間の終了時点までを、リップノイズ区間であると特定する（ステップＳ１０３）。この場合、検出部１３は、図５の例では、最大音量５１１以下となるのが区間５２５の最大音量５１５であるため、時点５０２から区間５２５の終了時点である時点５０６までの区間を、リップノイズ区間とする。これは、音量が所定の閾値以上に変化し始める時点５０２から所定期間内において、一定時間内の最大音量が、時点５０２よりも前の一定時間内の最大音量５１１以下に下がる場合、リップノイズによる音量の変化であると考えられるためである。

続いて、検出部１３は、リリース区間において、音量が所定の閾値以上減衰しているか否かを判定する（ステップＳ１０４）。ここで、検出部１３は、例えば、最大音量５１２、最大音量５１３、及び最大音量５１４のうち最も大きいものを特定する。そして、区間５２３から５２５のうちの第１区間であって、特定した最大音量の区間よりも後の第１区間の最大音量が、特定した最大音量よりも所定の閾値（例えば、１２ｄＢ）以上減衰しているか否かを判定してもよい。これは、リップノイズとセリフ等の発声が同時に発生したような場合の音量の変化であると考えられるためである。

音量が所定の閾値以上減衰していない場合（ステップＳ１０４でＮＯ）、処理対象の時点に対する処理を終了する。一方、音量が所定の閾値以上減衰している場合（ステップＳ１０４でＹＥＳ）、検出部１３は、処理対象の時点から、音量が所定の閾値以上減衰した区間の終了時点までを、リップノイズ区間であると特定する（ステップＳ１０５）。図５において、最大音量５１２、最大音量５１３、及び最大音量５１４のうち最も大きい値は最大音量５１３であり、最大音量５１４は最大音量５１３よりも１２ｄＢ以上低いものとする。この場合、検出部１３は、時点５０２から、最大音量５１４の区間５２４の終了時点である時点５０５までの区間を、リップノイズ区間と判定する。

≪リップノイズ区間の音声の修正処理≫
次に、図６から図７Ｃを参照し、図３のステップＳ４の、特定したリップノイズ区間の音声を修正する処理について説明する。図６は、実施形態に係る特定したリップノイズ区間の音声を修正する処理の一例を示すフローチャートである。図７Ａは、リップノイズ区間を含む所定区間における、録音された音声データの一例を示す図である。図７Ｂは、実施形態に係るリップノイズ区間の中低域の音を抽出する処理について説明する図である。図７Ｃは、実施形態に係るリップノイズ区間の音を修正する処理について説明する図である。

ステップＳ２０１において、修正部１４は、取得部１２により取得された音声データから、検出部１３により検出された各リップノイズ区間の低中域の音声データを抽出する。ここで、修正部１４は、例えば、ローパスフィルター（アンチエイリアスフィルタ）を用いて、録音された音声データから第１閾値よりも低い第２閾値（例えば、２０００Ｈｚ）以上の周波数成分を除去した音声データを生成してもよい。

ここで、図７Ａの例では、録音された音声データの波形７００が、横軸を時間、縦軸を音量（ｄＢ）として示されている。図７Ａにおいて、時点７０１から時点７０２の区間７１１が、リップノイズ区間として特定されているものとする。図７Ｂの例では、図７Ａの波形７００のうち、区間７１１の部分の波形７００Ａ、区間７１１より前の部分の波形７００Ｂ、区間７１１より後の部分の波形７００Ｃ、及びステップＳ２０１の処理により抽出された区間７１１の波形７２１が示されている。図７Ｂの例では、ステップＳ２０１の処理により第２閾値以上の周波数成分が除去された波形７２１の各時点における音量の絶対値は、波形７００Ａの音量の絶対値よりも小さくなっている。

続いて、修正部１４は、抽出した低中域の音声データの音量を、録音された音声データのリップノイズ区間前後の音声データと整合するように修正（調整）する（ステップＳ２０２）。

図７Ｃの例で、波形７２１のうち、時点７０１から所定時間（例えば、０．０３秒）後の時点７４１までの区間７５１の部分の波形を波形７２１Ａとする。また、波形７２１のうち、時点７０２から所定時間前の時点７４２から、時点７０２までの区間７５２の部分の波形を波形７２１Ｂとする。

（リップノイズ区間の中低域データの修正）
ステップＳ２０２において、修正部１４は、時点７０１における波形７２１Ａの音量７３２Ａと、時点７０１における波形７００Ａの音量７３２Ｂとの中点７３２を通り、時点７４１における波形７２１Ａの音量７３３を通るように波形７２１Ａを修正した波形７３１Ａのデータを生成する。

そして、修正部１４は、時点７４２における波形７２１Ｂの音量７３４を通り、時点７０２における波形７２１Ｂの音量７３５Ａと、時点７０２における波形７００Ａの音量７３５Ｂとの中点７３５を通るように波形７２１Ｂを修正した波形７３１Ｂのデータを生成する。

続いて、修正部１４は、録音された音声データのリップノイズ区間前後の音声データの音量を、抽出した低中域の音声データと整合するように修正する（ステップＳ２０３）。

（リップノイズ区間前後の音声データの修正）
また、ステップＳ２０２において、修正部１４は、区間７１１より前の部分の波形７００Ｂを、時点７０１から所定時間（例えば、０．０３秒）前の時点７４３から時点７０１までの区間において、時点７４３の音量７６１と中点７３２を通る波形７７１Ａに修正する。また、区間７１１より後の部分の波形７００Ｃを、時点７０２から、所定時間（例えば、０．０３秒）後の時点７４４までの区間において、中点７３５と時点７４４の音量７６２とを通る波形７７１Ｂに修正する。

続いて、修正部１４は、ステップＳ２０３の処理で修正した音声データのリップノイズ区間の音声データを、ステップＳ２０２の処理で修正した低中域の音声データに置換し（ステップＳ２０４）、処理を終了する。

＜変形例＞
情報処理装置１０の各機能部は、例えば１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ 情報処理装置
１１ 記憶部
１２ 取得部
１３ 検出部
１４ 修正部

Claims (8)

1. 録音された音声データから第１閾値以上の帯域の音が抽出された第１データに基づいて、リップノイズが録音されている第１区間を検出する検出部と、
   前記音声データから第２閾値以下の帯域の音が抽出された前記第１区間の第２データに基づいて、前記音声データにおける前記第１区間の音のデータを修正する修正部と、
   を有する情報処理装置。
2. 第２閾値は、前記第１閾値よりも小さい、
   請求項１に記載の情報処理装置。
3. 前記検出部は、
   前記第１データにおいて、前記第１区間よりも前の所定時間長の第２区間の音量の最大値よりも、前記第１区間の音量の最大値が第３閾値以上増加しており、
   前記第１区間よりも後の所定数の所定時間長の各区間の音量の最大値の少なくとも一つが前記第２区間の音量の最大値以下の場合、前記第１区間を検出する、
   請求項１または２に記載の情報処理装置。
4. 前記検出部は、
   前記第１データにおいて、前記第１区間よりも前の所定時間長の第２区間の音量の最大値よりも、前記第１区間の音量の最大値が第３閾値以上増加しており、
   前記第１区間よりも後の所定数の所定時間長の各区間のうち音量の最大値が最も大きい第３区間の音量の最大値よりも、当該各区間のうち前記第３区間よりも後の第４区間の音量の最大値が第４閾値以上低下している場合、前記第１区間を検出する、
   請求項１から３のいずれか一項に記載の情報処理装置。
5. 前記修正部は、
   前記第２データに対して、前記第１区間に含まれる最初の時間帯の音量を、前記音声データにおける前記第１区間の前の時間帯の音量に基づいて修正する処理、及び前記第１区間に含まれる最後の時間帯の音量を、前記音声データにおける前記第１区間の後の時間帯の音量に基づいて修正する処理の少なくとも一方を実行する、
   請求項１から４のいずれか一項に記載の情報処理装置。
6. 前記修正部は、前記音声データに対して、前記音声データにおける前記第１区間の前の時間帯の音量を、前記第２データの前記第１区間に含まれる最初の時間帯の音量に基づいて修正する処理、及び前記音声データにおける前記第１区間の後の時間帯の音量を、前記第１区間に含まれる最後の時間帯の音量に基づいて修正する処理の少なくとも一方を実行する、
   請求項１から５のいずれか一項に記載の情報処理装置。
7. 情報処理装置が、
   録音された音声データから第１閾値以上の帯域の音が抽出された第１データに基づいて、リップノイズが録音されている第１区間を検出する処理と、
   前記音声データから第２閾値以下の帯域の音が抽出された前記第１区間の第２データに基づいて、前記音声データにおける前記第１区間の音のデータを修正する処理と、
   を実行する情報処理方法。
8. 情報処理装置に、
   録音された音声データから第１閾値以上の帯域の音が抽出された第１データに基づいて、リップノイズが録音されている第１区間を検出する処理と、
   前記音声データから第２閾値以下の帯域の音が抽出された前記第１区間の第２データに基づいて、前記音声データにおける前記第１区間の音のデータを修正する処理と、
   を実行させるプログラム。

Images