JP6726583B2 - 情報処理装置、情報処理システム、情報処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。

従来、ハミング（鼻歌）等に基づいて、楽曲を検索する技術が知られている（例えば、特許文献１、２参照）。

特開２０００−１７２６９３号公報 特開２００７−１７２０５０号公報

しかしながら、従来技術では、ハミング等に基づいて検索した楽曲を再生する際の課題については考慮されていない。

そこで、ハミング等に基づいて検索された楽曲を、ハミングに応じて再生させる技術を提供することを目的とする。

情報処理装置において、ユーザの音声を取得する音声取得部と、前記音声に応じた楽曲における前記音声に対応するパートの次のパート以降の楽曲のデータを取得する楽曲取得部と、前記音声に前記楽曲の歌詞が含まれる場合、ボーカルの音声が含まれないカラオケモードで前記楽曲のデータを再生させ、前記音声に前記楽曲の歌詞が含まれない場合、ボーカルの音声が含まれる通常モードで前記楽曲のデータを再生させる再生制御部と、前記カラオケモードで前記楽曲のデータを再生させている場合は、前記音声取得部により取得される音声による歌唱を採点させ、前記通常モードで前記楽曲のデータを再生させている場合は、前記音声取得部により取得される音声による歌唱の採点をさせない採点部と、を備える。

開示の技術によれば、ハミング等に基づいて検索された楽曲を、ハミングに応じて再生させることが可能となる。

実施形態における情報処理システムの構成例を示す図である。 実施形態における情報処理装置の機能構成の一例を示す図である。 情報処理システムの処理の一例を示すシーケンス図である。 情報処理装置の処理の一例を示すフローチャートである。 歌唱データの一例を示す図である。

以下、図面に基づいて本発明の実施形態を説明する。図１は、本発明の実施形態における情報処理システム１の構成例を示す図である。図１において、情報処理システム１は、情報処理装置１０、音響装置２０、及びサーバ装置３０を含む。

情報処理装置１０と音響装置２０は、例えば無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線によって通信可能に接続される。

情報処理装置１０とサーバ装置３０は、例えば携帯電話網、インターネット等の通信回網によって通信可能に接続される。

情報処理装置１０は、例えばスマートフォン、パーソナルコンピュータ、タブレット端末、通信機能を有するマイク付きスピーカ、通信機能を有する給湯リモコン、通信機能を有する台所リモコン等である。なお、情報処理装置１０は、防水、防塵、耐熱等の機能を備える構造を有してもよい。

情報処理装置１０は、音響装置２０からユーザの音声を取得し、当該音声に応じた楽曲のデータを取得し、当該楽曲のデータを当該音声に応じて音響装置２０に再生させる制御を行う。

音響装置２０は、スピーカ、マイク等を備える音響機器であり、例えばスピーカ、マイク等を備える浴室リモコンであってもよい。音響装置２０は、例えば浴室、リビング、キッチン、寝室、自動車等、ユーザが鼻歌等を歌う場所に設置される。

音響装置２０は、マイクによりユーザの音声を集音して情報処理装置１０に送信し、情報処理装置１０から受信した楽曲のデータを再生する。

サーバ装置３０は、情報処理装置１０からの要求に応じて、情報処理装置１０に楽曲を送信する。

情報処理装置１０がスピーカ、マイク等を備える場合、音響装置２０を有しない構成としてもよい。この場合、情報処理装置１０は、例えばスピーカ、マイク等を備えるスマートフォン等であってもよいし、スピーカ、マイク等を備えるとともに、携帯電話網やインターネット等に接続可能な浴室リモコンであってもよい。

＜機能構成＞
次に、図２を参照し、情報処理装置１０の機能構成について説明する。図２は、実施形態における情報処理装置１０の機能構成の一例を示す図である。

情報処理装置１０は、音声取得部１２、判定部１３、楽曲取得部１４、再生制御部１５、採点部１６、及び削除部１７を有する。これら各部は、情報処理装置１０にインストールされた１以上のプログラムが、情報処理装置１０のＣＰＵに実行させる処理により実現される。

また、情報処理装置１０は、記憶部１１を有する。記憶部１１は、例えば、補助記憶装置等を用いて実現される。

記憶部１１は、歌唱データ１１１を記憶する。歌唱データ１１１については後述する。

音声取得部１２は、音響装置２０のマイクで集音された、ユーザの音声を取得する。

判定部１３は、音声取得部１２により取得された音声に応じた楽曲を判定する。

楽曲取得部１４は、判定部１３により判定された楽曲のデータを取得する。

再生制御部１５は、楽曲取得部１４により取得された楽曲のデータを、音響装置２０に再生させる制御を行う。

採点部１６は、音声取得部１２により取得された音声に基づき、カラオケの採点を行う。

削除部１７は、同一の前記楽曲の識別情報に対応付けられて歌唱データ１１１に記録されたデータのうち、採点部１６により採点された採点結果（得点）に基づいて選択されたデータを削除する。

＜処理＞
次に、図３を参照し、情報処理システム１の処理について説明する。図３は、情報処理システム１の処理の一例を示すシーケンス図である。

ステップＳ１０１において、音響装置２０は、ユーザのハミング（鼻歌）等の音声データを検出する。

続いて、音響装置２０は、検出した音声データを情報処理装置１０に送信する（ステップＳ１０２）。音響装置２０は、音声データを検出すると、情報処理装置１０に送信する。

続いて、情報処理装置１０の判定部１３は、ハミング（鼻歌）の音声データに基づいて、ユーザが口ずさんでいる楽曲を判定する（ステップＳ１０３）。

続いて、情報処理装置１０の楽曲取得部１４は、判定した楽曲のデータをサーバ装置３０から取得する（ステップＳ１０４）。

続いて、情報処理装置１０の再生制御部１５は、音響装置２０に、楽曲のデータを再生させる（ステップＳ１０５）。

続いて、情報処理装置１０の記憶部１１は、音響装置２０にて検出した音声データを録音する（ステップＳ１０６）。

続いて、情報処理装置１０の採点部１６は、音響装置２０にて検出した音声データに基づき、カラオケの採点を行う（ステップＳ１０７）。

続いて、情報処理装置１０の削除部１７は、採点結果（得点）に基づいて、記憶部１１に録音されたデータを削除する（ステップＳ１０８）。

≪情報処理装置の処理≫
次に、図４を参照し、情報処理装置１０の処理について説明する。図４は、情報処理装置１０の処理の一例を示すフローチャートである。

ステップＳ２０１において、情報処理装置１０の音声取得部１２は、音響装置２０から取得した音声データに基づいて、ユーザが歌っていることを検知する。なお、ユーザが歌っていることを検知するトリガーは、例えば、収集された音量が所定の閾値を超えた場合、音響装置２０の所定のボタン（スイッチ）が押下された場合、照度センサや湿度センサ等によりユーザが浴室に入ったことが検知された場合、または、音響装置２０が指輪型や腕輪型等のウェアラブルデバイス等である場合にマイク機能がオンにされた場合等であってもよい。

続いて、情報処理装置１０の判定部１３は、当該音声データに基づいて、ユーザが口ずさんでいる楽曲を判定する（ステップＳ２０２）。

例えば、判定部１３は、ユーザの音声のリズムや音程と、予め記憶されている複数の楽曲の各パートのリズムや音程とを比較し、一致度が最も高い楽曲を、ユーザが口ずさんでいる楽曲であると判定する。なお、この判定処理は、公知の技術を用いて行ってもよい。

続いて、情報処理装置１０の判定部１３は、当該音声データに基づいて、ユーザが口ずさんでいる楽曲のパート（部分）を判定する（ステップＳ２０３）。

例えば、判定部１３は、ユーザの音声のリズムや音程と、予め記憶されている楽曲の各パートのリズムや音程とを比較し、一致度が最も高いパートを、ユーザが口ずさんでいるパートであると判定する。

続いて、情報処理装置１０の判定部１３は、音声データに基づいて、ユーザが楽曲の歌詞を歌っているか否かを判定する（ステップＳ２０４）。

例えば、判定部１３は、ユーザの音声を音声認識し、楽曲の歌詞との一致度が所定の閾値以上の場合に、ユーザが楽曲の歌詞を歌っていると判定する。

または、ユーザの音声の周波数の分布を解析し、当該周波数の分布が、予め設定されているハミングの周波数帯域に含まれる場合に、ユーザが楽曲の歌詞を歌っていないと判定してもよい。

ユーザが楽曲の歌詞を歌っている場合（ステップＳ２０４でＹＥＳ）、情報処理装置１０の楽曲取得部１４は、サーバ装置３０から、ステップＳ２０２で判定した楽曲の「カラオケモード」のデータのうち、ステップＳ２０３で判定したパートより後の楽曲のデータ（次のパート以降の楽曲のデータ）を取得し（ステップＳ２０５）、ステップＳ２０７の処理に進む。

なお、楽曲の「カラオケモード」のデータとは、ボーカルの音声が含まれない楽曲のデータである。なお、楽曲の「カラオケモード」のデータには、例えばメインボーカルの音声が含まれず、コーラス（ハモり等）の音声は含まれていてもよい。

ユーザが歌詞を歌わずにハミングしている場合（ステップＳ２０４でＮＯ）、情報処理装置１０の楽曲取得部１４は、サーバ装置３０から、ステップＳ２０２で判定した楽曲の「通常モード」のデータのうち、ステップＳ２０３で判定したパートより後のデータを取得する（ステップＳ２０６）。

なお、楽曲の「通常モード」のデータとは、ボーカルの音声が含まれる楽曲のデータである。

続いて、情報処理装置１０の再生制御部１５は、サーバ装置３０から取得した楽曲のデータを、音響装置２０に再生させる（ステップＳ２０７）。

これにより、ユーザが歌いたい場合は「カラオケモード」で再生し、ユーザが鼻歌で歌いたい場合には「通常モード」で再生することができる。

また、ユーザが口ずさんでいる楽曲のパートより後のデータを取得して再生させるため、ユーザのハミング等のタイミングと合わせて、次のパートを再生することができる。なお、楽曲の最初から再生されるモードと、ハミング等の次のパートから再生されるモードを、ユーザが設定できるようにしてもよい。

なお、「カラオケモード」のデータを再生させる場合、情報処理装置１０は、サーバ装置３０から「カラオケモード」のデータを取得する代わりに、「通常モード」のデータを取得し、ボーカルの音声をカットして再生させてもよい。

続いて、情報処理装置１０の採点部１６は、音響装置２０から取得した音声データに基づいて、カラオケの採点を行う（ステップＳ２０８）。

例えば、ユーザの歌唱の抑揚やビブラート等に応じて、採点を行う。なお、カラオケの採点は、公知の技術を用いて行ってもよい。

なお、カラオケの採点は、「カラオケモード」のデータを再生させた場合にのみ行ってもよい。

カラオケの採点は、情報処理装置１０にて行う代わりに、サーバ装置３０にて行ってもよい。この場合、例えば、情報処理装置１０は、音響装置２０から取得した音声データをサーバ装置３０に送信する。そして、サーバ装置３０は、カラオケの採点処理を行い、採点結果を情報処理装置１０に通知する。

続いて、情報処理装置１０の記憶部１１は、楽曲の名前、音声データ、カラオケの点数、再生回数等を記録する（ステップＳ２０９）。

図５は、歌唱データ１１１の一例を示す図である。歌唱データ１１１は、楽曲の名前、音声データ、カラオケの点数、日時がそれぞれ対応付けて記憶される。

楽曲の名前は、音響装置２０にて再生させた楽曲の名称である。音声データは、音響装置２０にて当該楽曲を再生させている間に音響装置２０のマイクで集音された音声のデータである。カラオケの点数は、ステップＳ２０８で採点されたユーザの歌唱（カラオケ）の点数である。日時は、音声データが記録された日時である。

続いて、情報処理装置１０の削除部１７は、同一の楽曲の名前のデータが既に記録されているか判定する（ステップＳ２１０）。

同一の楽曲の名前のデータが既に記録されていない場合（ステップＳ２１０でＮＯ）、処理を終了する。

同一の楽曲の名前のデータが既に記録されている場合（ステップＳ２１０でＹＥＳ）、情報処理装置１０の削除部１７は、カラオケの点数が低い方のデータを消去する（ステップＳ２１１）。図５の例では、「２０１６／０７／２０ ２０：３８」に記録された「楽曲名１」に対応付けられた音声データのカラオケの点数は「８０点」であり、「２０１６／０７／１９ ２１：１４」に記録された「楽曲名１」に対応付けられた音声データのカラオケの点数は「６５点」である。この場合、点数がより低い、「２０１６／０７／１９ ２１：１４」に記録された「楽曲名１」に対応付けられた音声データが削除される。これにより、最も上手く歌えた際の歌唱データのみを保存しておくことができる。

＜変形例＞
情報処理装置１０は、ステップＳ２１０、ステップＳ２１１で、歌唱データ１１１におけるデータを消去する代わりに、一定期間分のデータを保存してもよい。なお、この場合、情報処理装置１０は、再生回数が所定の閾値以上の楽曲のデータのみを保存してもよい。情報処理装置１０、または音響装置２０に、「お気に入り」ボタンを設け、記録された際に「お気に入り」ボタンが押下された場合は、優先的に保存されるようにしてもよい。この場合、例えば、歌唱データ１１１に、楽曲の名前、音声データ、カラオケの点数、及び日時に加え、「お気に入り」に設定されたか否かを示すフラグ情報を記録させる。そして、情報処理装置１０の削除部１７は、「お気に入り」ボタンを押下された際に、直前に記録された音声データに対応付けられた、「お気に入り」に設定されたか否かを示すフラグ情報を「オン」に設定する。そして、情報処理装置１０の削除部１７は、歌唱データ１１１に記録された音声データを削除する際、音声データに対応付けられたフラグ情報が「オン」でないものから優先的に削除する。

歌唱データ１１１に一定期間分のデータを保存する場合、情報処理装置１０は、歌唱データ１１１に保存されている一定期間分のデータに基づき、楽曲の名前毎に、カラオケの点数の推移をグラフ表示してもよい。これにより、例えば、一年前は６０点、今回は８０点等、ユーザの歌唱力の推移をユーザが把握できる。

また、情報処理装置１０は、楽曲の名前毎の再生回数が多い順に、楽曲の名前をソートして、ユーザに表示してもよい。これにより、ユーザに持ち歌のランキングを表示することができる。

情報処理装置１０の再生制御部１５は、サーバ装置３０から、カラオケの点数が、例えば全国でのランキングで何位であるかの情報を取得し、カラオケの点数に対応付けて、歌唱データ１１１に保存してもよい。

情報処理装置１０の再生制御部１５は、歌唱データ１１１に保存された音声データやカラオケの点数を、予め登録されている宛先に転送してもよい。この場合、情報処理装置１０は、カラオケの点数が所定の閾値以上の場合に、予め登録されている宛先に転送してもよい。または、情報処理装置１０は、ユーザからの所定の操作に応じて、予め登録されている宛先に転送してもよい。

これにより、例えば予め登録されている祖父母のメールアドレス等に、孫の音声データとカラオケの点数を自動で通知することができる。

情報処理装置１０の再生制御部１５は、ユーザ毎に、歌唱データ１１１にデータを保存してもよい。この場合、例えば、判定部１３により、音声取得部１２により取得された音声を分析し、予め登録されている複数のユーザの音声のうち、最も音声が近いユーザを判定させる。これにより、例えば、父、母等、ユーザ毎にデータを記録することができる。

サーバ装置３０は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。この場合、例えば、ユーザのアカウントを管理する機能等をサーバ装置３０Ａにより実現し、楽曲の配信、カラオケの採点結果に応じたランキング等を、他の事業者が運用する外部のサーバ装置３０Ｂにより実現してもよい。

＜まとめ＞
上述した実施形態によれば、ユーザの音声を取得し、当該音声に応じた楽曲のデータを取得し、当該楽曲のデータを当該音声に応じて再生させる。

これにより、ハミング等に基づいて検索された楽曲を、ハミングに応じて再生させることができる。

＜情報処理プログラムについて＞
本実施形態に係る情報処理装置１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインターフェースを備えたコンピュータによって構成してもよい。

その場合、情報処理装置１０が有する各機能は、これらの機能を記述したプログラム（検出プログラム）をＣＰＵに実行させることによりそれぞれ実現可能となる。また、このプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータ（ハードウェア）に実行させるためのプログラムを、例えば汎用のＰＣやサーバ等にそのプログラムをインストールすることにより、上述した処理を実現することができる。

また、上述した実施形態における情報処理装置１０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。情報処理装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

例えば、情報処理装置１０及びサーバ装置３０は一体の装置として構成してもよい。

また、情報処理装置１０の例えば、記憶部１１、判定部１３、採点部１６等の各機能部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。

１ 情報処理システム
１０ 情報処理装置
１１ 記憶部
１１１ 歌唱データ
１２ 音声取得部
１３ 判定部
１４ 楽曲取得部
１５ 再生制御部
１６ 採点部
１７ 削除部
２０ 音響装置
３０ サーバ装置

Claims (7)

1. ユーザの音声を取得する音声取得部と、
   前記音声に応じた楽曲における前記音声に対応するパートの次のパート以降の楽曲のデータを取得する楽曲取得部と、
   前記音声に前記楽曲の歌詞が含まれる場合、ボーカルの音声が含まれないカラオケモードで前記楽曲のデータを再生させ、
   前記音声に前記楽曲の歌詞が含まれない場合、ボーカルの音声が含まれる通常モードで前記楽曲のデータを再生させる再生制御部と、
   前記カラオケモードで前記楽曲のデータを再生させている場合は、前記音声取得部により取得される音声による歌唱を採点させ、前記通常モードで前記楽曲のデータを再生させている場合は、前記音声取得部により取得される音声による歌唱の採点をさせない採点部と、
   を備えることを特徴とする情報処理装置。
2. 前記楽曲の識別情報、前記音声、及び前記音声を所定の基準に基づいて採点された結果を対応付けて記憶する記憶部、
   を備えることを特徴とする請求項１に記載の情報処理装置。
3. 同一の前記楽曲の識別情報に対応付けられて前記記憶部に記憶されたデータのうち、前記採点の結果に基づいて選択されたデータを削除する削除部
   を備えることを特徴とする請求項２記載の情報処理装置。
4. 前記再生制御部は、前記音声を所定の基準に基づいて採点された結果が、所定の閾値以上の場合、またはユーザからの所定の操作に応じて、前記音声を、登録されている宛先に転送する
   ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
5. 情報処理装置、及び音響装置を有する情報処理システムであって、
   前記情報処理装置は、
   ユーザの音声を取得する音声取得部と、
   前記音声に応じた楽曲における前記音声に対応するパートの次のパート以降の楽曲のデータを取得する楽曲取得部と、
   前記音声に前記楽曲の歌詞が含まれる場合、ボーカルの音声が含まれないカラオケモードで前記楽曲のデータを再生させ、
   前記音声に前記楽曲の歌詞が含まれない場合、ボーカルの音声が含まれる通常モードで前記楽曲のデータを再生させる再生制御部と、
   前記カラオケモードで前記楽曲のデータを再生させている場合は、前記音声取得部により取得される音声による歌唱を採点させ、前記通常モードで前記楽曲のデータを再生させている場合は、前記音声取得部により取得される音声による歌唱の採点をさせない採点部と、
   を備え、
   前記音響装置は、
   前記ユーザの音声を集音して前記情報処理装置に送信し、
   前記情報処理装置から受信した前記楽曲のデータを再生する
   ことを特徴とする情報処理システム。
6. コンピュータが、
   ユーザの音声を取得するステップと、
   前記音声に応じた楽曲における前記音声に対応するパートの次のパート以降の楽曲のデータを取得するステップと、
   前記音声に前記楽曲の歌詞が含まれる場合、ボーカルの音声が含まれないカラオケモードで前記楽曲のデータを再生させ、
   前記音声に前記楽曲の歌詞が含まれない場合、ボーカルの音声が含まれる通常モードで前記楽曲のデータを再生させるステップと、
   前記カラオケモードで前記楽曲のデータを再生させている場合は、前記音声による歌唱を採点させ、前記通常モードで前記楽曲のデータを再生させている場合は、取得される音声による歌唱の採点をさせないステップと、
   を実行する情報処理方法。
7. コンピュータに、
   ユーザの音声を取得するステップと、
   前記音声に応じた楽曲における前記音声に対応するパートの次のパート以降の楽曲のデータを取得するステップと、
   前記音声に前記楽曲の歌詞が含まれる場合、ボーカルの音声が含まれないカラオケモードで前記楽曲のデータを再生させ、
   前記音声に前記楽曲の歌詞が含まれない場合、ボーカルの音声が含まれる通常モードで前記楽曲のデータを再生させるステップと、
   前記カラオケモードで前記楽曲のデータを再生させている場合は、前記音声による歌唱を採点させ、前記通常モードで前記楽曲のデータを再生させている場合は、取得される音声による歌唱の採点をさせないステップと、
   を実行させるプログラム。

Images