JP5242856B1 - 音楽再生プログラム及び音楽再生システム - Google Patents

音楽再生プログラム及び音楽再生システム Download PDF

Info

Publication number
JP5242856B1
JP5242856B1 JP2012531144A JP2012531144A JP5242856B1 JP 5242856 B1 JP5242856 B1 JP 5242856B1 JP 2012531144 A JP2012531144 A JP 2012531144A JP 2012531144 A JP2012531144 A JP 2012531144A JP 5242856 B1 JP5242856 B1 JP 5242856B1
Authority
JP
Japan
Prior art keywords
music
character string
computer
registered character
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012531144A
Other languages
English (en)
Other versions
JPWO2014006746A1 (ja
Inventor
直紀 西尾
康洋 根津
栄一 大沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MEDIASEEK Inc
Original Assignee
MEDIASEEK Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MEDIASEEK Inc filed Critical MEDIASEEK Inc
Application granted granted Critical
Publication of JP5242856B1 publication Critical patent/JP5242856B1/ja
Publication of JPWO2014006746A1 publication Critical patent/JPWO2014006746A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】入力された音声に応じて音楽を出力する。
【解決手段】コンピュータに、入力された音声を取得する音声取得ステップと、記憶媒体に記憶された複数の登録文字列のうちのいずれかの登録文字列が音声に含まれることを検出する文字列検出ステップと、文字列検出ステップで検出した登録文字列を含む音声を取得してから記憶媒体に記憶された遅延時間が経過した後に、登録文字列に対応する音楽を出力する音楽出力ステップとを実行させるための音楽再生プログラムを提供する。
【選択図】図1

Description

本発明は、ユーザの発声に応じて音楽を再生する音楽再生プログラム及び音楽再生システムに関する。
従来、ハードディスク等に記録された音楽データからユーザの好みに応じた音楽データを検索するための音楽データ再生装置が知られている。従来の音楽データ再生装置においては、ユーザが入力した音声の中に、音楽のタイトルやアーチスト名などの検索用キーワードが含まれている場合に、対応する音楽が再生されていた(例えば、特許文献1及び特許文献2を参照)。
また、通信回線を介しての通話中にユーザが入力した音声の検出結果に対応付けられている効果音やBGM(Background Music)等の音楽データを取得して、入力された音声と音楽データとを合成した音を通話中の相手に送る装置も知られている(例えば、特許文献3を参照)。
特開2003−84783号公報 特開平11−95790号公報 特開2007−251581号公報
ところが、従来の音楽データ再生装置においては、ユーザが音声を入力してから音楽が再生されるまでに要する時間は、ユーザが入力する音声の内容、音楽データを格納しているデータベースから所望の音楽を検索するまでの時間に応じて変動するという問題があった。従来の音楽データ再生装置は、音声を入力したユーザ自身が音楽を聞いたり、カラオケで歌ったりすることを目的として音楽を再生する。したがって、音声が入力されてから音楽の再生を開始するまでの時間の変動の影響について考慮する必要がなかった。
しかしながら、会話中に特定の言葉を発したときに発した言葉にふさわしい音楽を流してムードを高めたり、プレゼンテーション会場で発した言葉に応じて音楽を流したりする用途においては、音声を入力してから音楽が再生されるまでの時間が変動すると、音楽を流す効果が小さくなってしまうという問題が生じる。
例えば、「誕生日おめでとう」という言葉に続いて誕生日を祝う音楽を流したい場合、「誕生日おめでとう」という言葉の0.1秒後に音楽の再生が始まると、音楽の再生が早過ぎて落ち着かない雰囲気になり、「誕生日おめでとう」という言葉の5秒後に音楽の再生が始まると、音楽の再生が遅すぎてムードが壊れてしまうという問題があった。
また、プレゼンテーション中に発した言葉に続いて所望の音楽を流したい場合に、音楽の再生が開始するまでの時間を予測できないと、予定外の間が空いたり、何かを話しかけたところで音楽の再生が開始したりするので、効果的なプレゼンテーションを行うことが困難であるという問題が生じていた。
そこで、本発明はこれらの点を鑑みてなされたものであり、ユーザが入力した音声に応じて適切なタイミングで所望の音楽を再生することができる音楽再生プログラム及び音楽再生システムを提供することを目的とする。
本発明の第1の態様においては、コンピュータに、入力された音声を取得する音声取得ステップと、記憶媒体に記憶された複数の登録文字列のうちのいずれかの登録文字列が音声に含まれることを検出する文字列検出ステップと、文字列検出ステップで検出した登録文字列を含む音声を取得してから記憶媒体に記憶された遅延時間が経過した後に、登録文字列に対応する音楽を出力する音楽出力ステップとを実行させるための音楽再生プログラムを提供する。
上記の音楽再生プログラムは、コンピュータに、登録文字列に対応づけて記憶媒体に遅延時間を記憶する遅延時間記憶ステップをさらに実行させてもよい。音楽再生プログラムは、コンピュータに、入力された登録文字列を取得する文字列取得ステップと、文字列取得ステップにおいて登録文字列を取得すると、登録文字列に対応づけて記憶する音楽名の候補を示す複数の候補名を表示する表示ステップと、複数の候補名から選択された候補名に対応する音楽名を登録文字列に対応づけて記憶させる音楽名記憶ステップとをさらに実行させてもよい。
上記の音楽再生プログラムは、コンピュータに、放送番組を受信する放送受信ステップと、放送番組を再生する放送再生ステップと、放送番組の再生中に受けた登録指示に応じて、登録指示を受けたときに再生している放送番組が含む音楽データを取得する音楽データ取得ステップと、音楽データ取得ステップにおいて取得した音楽データを記憶する音楽データ記憶ステップとをさらに実行させてもよい。上記の音楽データ取得ステップにおいて、放送番組が含む台詞文字列をさらに取得させ、音楽データ記憶ステップにおいて、台詞文字列の少なくとも一部を登録文字列として音楽データに対応づけて記憶させてもよい。
上記の表示ステップにおいて、音楽データ取得ステップにおいて取得した複数の台詞文字列を表示させ、音楽データ記憶ステップにおいて、表示ステップにおいて表示した複数の台詞文字列から選択された台詞文字列を登録文字列として音楽名に対応づけて記憶させてもよい。音楽データ記憶ステップにおいては、登録指示を取得したときから所定時間だけ早い時間に再生した放送番組が含む台詞文字列と音楽名とを対応づけて記憶させてもよい。
上記の音楽再生プログラムは、コンピュータに、他のコンピュータから登録文字列を受信する文字列受信ステップをさらに実行させ、音声出力ステップにおいて、他のコンピュータから受信した登録文字列に対応する音楽を出力させてもよい。
本発明の第2の態様においては、コンピュータと、当該コンピュータとの間でデータを送受信するデータ管理装置とを備える音楽再生システムであって、コンピュータは、入力された音声を取得する音声取得部と、複数の登録文字列を記憶する文字列記憶部と、音声に複数の登録文字列のうちのいずれかの登録文字列が含まれることを検出する文字列検出部と、文字列検出部が検出した登録文字列をデータ管理装置に送信する文字列送信部とを有し、データ管理装置は、複数の登録文字列と複数の音楽データとを対応づけて記憶する音楽データ記憶部と、情報端末から受信した登録文字列に対応する音楽データを情報端末に送信する音楽データ送信部とを有し、情報端末は、音声を取得から音楽データを出力するまでの遅延時間を示す情報を記憶する遅延時間記憶部と、音声を取得してから遅延時間が経過した後に音楽データを出力する出力部とをさらに有する音楽再生システムを提供する。
本発明によれば、ユーザが入力した音声に応じて適切なタイミングで所望の音楽を再生することができるという効果を奏する。
第1の実施形態のコンピュータの構成を示す。 第1の実施形態のコンピュータの一例である情報端末の構成を示す。 第1の実施形態の音楽再生プログラムのフローチャートの一例を示す。 第1の実施形態の音楽再生プログラムを実行するコンピュータの他の構成例を示す。 第1の実施形態の音楽再生プログラムにおける音楽登録ステップのフローチャートの一例を示す。 第1の実施形態における音楽データパッケージの構成例を示す。 第1の実施形態の音楽再生プログラムを実行するコンピュータの他の構成例を示す。 第1の実施形態の音楽再生プログラムにおける音楽登録ステップのフローチャートの一例を示す。 第1の実施形態の音楽再生プログラムにおける音楽登録ステップのフローチャートの他の例を示す。 第1の実施形態の音楽再生プログラムにおける音楽登録ステップのフローチャートの他の例を示す。 第1の実施形態の音楽再生プログラムにおける音楽登録ステップを実行する通信シーケンスの一例を示す。 第2の実施形態の音楽再生プログラムを実行する複数のコンピュータから構成される音楽再生システムの構成例を示す。 第3の実施形態の音楽再生システムの構成例を示す。
<第1の実施形態>
[音楽再生プログラムの基本構成]
図1は、第1の実施形態の音楽再生プログラムを実行するコンピュータ100の構成を示す。コンピュータ100は、制御部110、記憶部120、音声取得部130、文字列検出部140及び音声出力部150を備える。
制御部110は、例えば、音楽再生プログラムを実行するマイクロプロセッサである。制御部110は、音楽再生プログラムを実行することにより、記憶部120、音声取得部130、文字列検出部140及び音声出力部150を制御する。
記憶部120は、制御部110の制御によってデータを記憶する。記憶部120は不揮発性メモリであってもよく、揮発性メモリであってもよい。記憶部120は挿抜可能なメモリカードやCD−ROMのような記憶媒体であってもよい。記憶部120は、音楽再生プログラムを記憶してもよい。制御部110は、記憶部120に記憶された音楽再生プログラムを実行してもよく、ネットワークを介してサーバ等からダウンロードされた音楽再生プログラムを実行してもよい。
音声取得部130は、ユーザにより入力された音声を取得する。例えば、音声取得部130はマイクを含む。制御部110は、音声取得部130が取得した音声をデジタル信号に変換して記憶部120に記憶させてもよい。制御部110は、音声取得部130が音声を取得した時刻を音声に対応づけて記憶部120に記憶させてもよい。例えば、制御部110は、デジタル信号に変換された音声データのそれぞれに対応づけて、音声取得部130が取得した時刻を記憶部120に記憶させる。
文字列検出部140は、予め記憶部120に記憶された複数の登録文字列のうちのいずれかの登録文字列が、音声取得部130により取得された音声に含まれることを検出する。例えば、文字列検出部140は、音声認識技術により音声を文字列に変換した後に、変換後の文字列から登録文字列を検索する。具体的には、文字列検出部140は、音声取得部130が取得した音声の信号パターン(以下、入力音声パターン)と、記憶部120に記憶された複数の登録文字列に対応する音声の複数の信号パターン(以下、登録音声パターン)とを比較してよい。文字列検出部140は、登録音声パターンAと入力音声パターンとの間の類似度が閾値以上である場合に、登録音声パターンAに対応する登録文字列が、音声取得部130が取得した音声に含まれることを検出してよい。
音声出力部150は、文字列検出部140が登録文字列を検出した音声を音声取得部130が取得してから記憶部120に記憶された遅延時間が経過した後に、検出された登録文字列に対応する音楽を出力する。例えば、音声出力部150は、予め登録文字列に対応づけて記憶部120に記憶されていた音楽を出力する。音声出力部150は、予め登録文字列に対応づけて記憶部120に記憶されていた音楽名に対応する音楽を、インターネットなどのネットワークを介して接続されたサーバから取得した後に出力してもよい。
一例として、音声出力部150は、文字列検出部140が登録文字列を検出した音声を音声取得部130が取得してから、文字列検出部140が登録文字列の検出に要する最大時間より大きな遅延時間だけ経過した後に音楽を出力する。音声出力部150は、登録文字列を検出した音声が取得されてから、文字列検出部140が登録文字列の検出に要する最大時間と登録文字列に対応する音楽の再生の準備に要する最大時間とを加算した時間より大きな遅延時間だけ経過した後に音楽を出力してもよい。
音声出力部150は、文字列検出部140が登録文字列を検出した音声を音声取得部130が取得した時刻を記憶部120から読み出して、読み出した時刻に文字列検出部140が登録文字列の検出に要する最大時間を加算した時刻において音楽を出力してもよい。音声出力部150は記憶部120から読みだした時刻に、文字列検出部140が登録文字列の検出に要する最大時間と登録文字列に対応する音楽を取得するまでの最大時間とを加算した時刻において音楽を出力してもよい。
音声出力部150は、登録文字列の先頭部に対応する音声が取得された時刻から遅延時間が経過した後に音楽を出力してもよく、登録文字列の後端部に対応する音声が取得された時刻から遅延時間が経過した後に音楽を出力してもよい。音声出力部150は、登録文字列の長さに応じて、音楽を出力するまでの遅延時間の起点となる時刻を登録文字列の先頭部を取得した時刻にするか登録文字列の後端部を取得した時刻にするかを決定してもよい。例えば、音声出力部150は、所定の長さよりも短い登録文字列に対しては、登録文字列の先頭部を起点として、所定の長さ以上の登録文字列に対しては、登録文字列の後端部を起点とする。
なお、音声取得部130が取得した音声に登録文字列が含まれることを文字列検出部140が検出し、音声出力部150が音楽の再生を開始してから所定の時間内は、文字列検出部140は登録文字列の検出を停止してもよい。このようにすることで、高い頻度で音楽が切り替わることを防止できる。
また、音声取得部130が複数の音声を同時に取得した場合に、文字列検出部140は、取得された音声の特徴に基づいて選択した音声に含まれる登録文字列を検出してもよい。例えば、AさんとBさんが同時に異なる登録文字列を含む音声を発した場合に、文字列検出部140は、予め登録されている音声の特徴に類似するAさんの音声に含まれていた登録文字列を検出する。文字列検出部140は、Aさんの音声から登録文字列を検出した後にAさんを含む複数の人が発した音声を同時に取得した場合に、Aさんの音声に含まれる登録文字列を優先的に検出してもよい。
以上の通り、本実施形態の音楽再生プログラムを実行するコンピュータ100においては、音声取得部130が登録文字列を含む音声を取得してから所定の遅延時間が経過した後に音楽を出力する。したがって、文字列検出部140が文字列検出に要する時間にばらつきが生じたり、音声出力部150が音楽を取得するまでの時間にばらつきが生じたりしても、音声取得部130が登録文字列を含む音声を取得してから音楽が出力されるまでの時間が変動しない。その結果、ユーザは、音声を入力してから音楽が出力されるまでの時間を正確に予測できるので、音楽を使った効果的なプレゼンテーションを実行することができる。
図2は、第1の実施形態の音楽再生プログラムを実行するコンピュータ100の一例として情報端末1000の構成を示す。情報端末1000は、CPU510、ROM520、RAM530、マイク540、スピーカ550、表示部560、ユーザインターフェイス部570、及び通信インターフェイス580を備える。情報端末1000においては、ROM520に格納された本発明の音楽再生プログラムをCPU510が読み出して実行する。
具体的には、CPU510は制御部110に対応し、ROM520及びRAM530は記憶部120に対応する。マイク540は音声取得部130に対応する。スピーカ550は音声出力部150として機能する。CPU510が音楽再生プログラムを実行することにより、CPU510は文字列検出部140として機能する。
表示部560は、例えば液晶ディスプレイである。ユーザインターフェイス部570は、ユーザの指示を取得するインターフェイスであり、例えば、表示部560に重ねて設けられたタッチパネルである。通信インターフェイス580は、インターネット又はLANなどのネットワークに接続される。CPU510は、通信インターフェイス580を介して、ネットワークを介して接続された他の端末との間でデータの送受信をする。
図3は、第1の実施形態の音楽再生プログラムのフローチャートの一例を示す。ユーザがコンピュータ100の近くで音声を発すると、音声取得部130は入力された音声を取得する(S302)。制御部110は、音声取得部130が取得した音声をデジタル信号に変換して、音声を取得した時刻と共に記憶部120に記憶させる(S304)。制御部110は、記憶部120に記憶されている登録文字列のうち最も長い登録文字列の発音に要する時間よりも長い時間に渡って、取得された音声を記憶部120に記憶させてもよい。制御部110は、記憶部120に記憶させてから最も長い登録文字列の発音に要する時間が経過すると、記憶させた音声を消去してもよい。
文字列検出部140は、予め記憶部120に記憶された複数の登録文字列のうちのいずれかの登録文字列が音声に含まれているかどうか判断する(S306)。制御部110は、文字列検出部140が登録文字列を検出するまでの間、S302からS306を繰り返す。制御部110は、登録文字列が当該音声に含まれている場合には、音声取得部130が当該音声を取得した時刻から予め記憶部120に記憶された遅延時間が経過した時刻まで待機する(S308)。
例えば、音声が取得されてから登録文字列が当該音声に含まれていることを検出するまでに要した時間がT1、遅延時間がTdである場合に、制御部110は、登録文字列が音声に含まれていることを検出してからTd−T1の時間だけ待機する。制御部110は、再生する音楽データの取得に時間を要する場合には、待機している間に音楽データを取得してもよい。Td−T1は、音楽データの取得に要する時間よりも長いことが好ましい。制御部110は、待機すべき時間が経過すると文字列検出部140が検出した登録文字列に対応する音楽を音声出力部150に出力させる(S310)。ここで、音楽データは、音楽を再生するために必要なデータであり、例えば音楽の楽譜情報又は音響信号情報を含む。
コンピュータ100は、複数の登録文字列に対応する複数の遅延時間を記憶部120に記憶してもよい。コンピュータ100は、予め遅延時間を記憶部120に記憶していてもよく、複数の登録文字列に応じた遅延時間をユーザから取得して記憶部120に記憶させてもよい。登録文字列によって異なる遅延時間を予め設定しておくことで、ユーザは、音声入力する登録文字列の内容と再生する音楽に応じた適切なタイミングで音楽を再生できる。
例えば、「お誕生日おめでとう」に対応づけて2秒の遅延時間を予め記憶部120に記憶させておくと、コンピュータ100は、ユーザが「お誕生日おめでとう」という言葉を発した2秒後に音楽を再生する。「今日も頑張ろう」という登録文字列に対応づけて0.5秒の遅延時間を予め記憶部120に記憶させておくと、コンピュータ100は、ユーザが「今日も頑張ろう」という言葉を発した0.5秒後に音楽を再生する。以上の通り、ユーザが、発声してから何秒後に音楽の再生が始まるかを知っていれば、音楽の再生が始まるタイミングに合わせた会話やプレゼンテーションをすることができるので、場の雰囲気が一層高まるという効果を奏する。
[文字列及び音楽データを登録する]
図4は、本実施形態の音楽再生プログラムを実行するコンピュータ100の他の構成例を示す。同図に示したコンピュータ100は、文字列取得部160をさらに有する点で図1に示したコンピュータ100と異なる。
図5は、本実施形態の音楽再生プログラムにおける音楽登録ステップのフローチャートの一例を示す。文字列取得部160はユーザによって入力された登録文字列を取得する(S502)。文字列取得部160は、タッチパネルやキーボードなどのユーザインターフェイスを介して文字列を取得してもよく、ユーザにより入力された音声を文字列検出部140が変換した文字列を取得してもよい。
文字列取得ステップにおいて文字列取得部160が登録文字列を取得すると、制御部110は、登録文字列に対応づけて記憶する音楽名の候補を示す複数の候補名を表示部に表示させる(S504)。例えば、コンピュータ100は、登録文字列を歌詞の中に含む音楽名を表示する。コンピュータ100は、予め対応づけて記憶部120に記憶された複数の文字列と複数の音楽名との対応テーブルを用いて、取得した登録文字列に対応する音楽名の候補を表示させてもよい。コンピュータ100は、文字列取得部160が取得した登録文字列を、ネットワークを介して接続されたサーバに送信し、サーバから取得した音楽名の候補を表示させてもよい。
次に、制御部110は、ユーザによって音楽名が選択されると(S506)、複数の候補名から選択された候補名に対応する音楽名を登録文字列に対応づけて記憶部120に記憶させる(S508)。制御部110は、音楽名に対応する音楽データを登録文字列に対応づけて記憶部120に記憶させてもよい。所定の時間を経過してもユーザによって音楽名が選択されない場合には、音楽登録ステップを終了する(S510)。
ここで、音楽登録ステップにおいて記憶した登録文字列及び音楽名を含むデータ群を、本明細書においては音楽データパッケージと称する。図6は、音楽データパッケージの一例を示す。音楽データパッケージは、登録文字列、音楽データファイル、音楽データパッケージの登録日時、イメージデータファイル、効果音データファイル及び字幕データファイルの少なくとも1つを含む。音楽データパッケージは、登録文字列に対応づけられた遅延時間を示す情報を含んでもよい。
記憶部120は、複数の音楽データパッケージを記憶してもよい。制御部110は、文字列取得部160が登録文字列を取得すると、登録文字列を含む音声を取得してから登録文字列に対応する遅延時間が経過した後に、登録文字列に対応する音楽を再生すると共に、当該音楽を含む音楽パッケージ内のイメージデータ又は字幕データを再生してもよい。
制御部110は、ユーザからの指示に基づいて、記憶部120に記憶された音楽データパッケージの内容の更新又は削除をしてもよい。記憶部120は、ユーザに固有の識別情報に対応づけて音楽データパッケージを記憶し、制御部110は、ユーザから取得した識別情報に対応する音楽データパッケージに対してのみ変更又は削除を許可してもよい。
制御部110は、ユーザが入力した文字列に対応する音楽データパッケージを検索し、文字列に対応する音楽データパッケージを表示させてもよい。ユーザは、表示された音楽データパッケージを見て、不要な音楽データパッケージを削除することができる。
[視聴中の放送番組内の音楽を登録する]
図7は、本実施形態の音楽再生プログラムを実行するコンピュータ100の他の構成例を示す。同図に示したコンピュータ100は、放送受信部170、指示取得部180、及び、通信部190をさらに有する点で図1に示したコンピュータ100と異なる。本実施形態のコンピュータ100においては、ユーザがデジタル放送やワンセグ放送等で受信する放送番組を視聴している間に気に入った音楽があった場合に、音楽データを記録媒体に登録することができる。
図8は、本実施形態の音楽再生プログラムにおける音楽登録ステップのフローチャートの一例を示す。まず、制御部110は、ユーザからの指示に応じて、放送受信部170によってインターネットやLANなどのネットワークを通じて放送番組を受信して(S802)、受信した放送番組を再生する(S804)。
次に、制御部110は、放送番組の再生中に受けたユーザによる登録指示に応じて(S806)、登録指示を受けたときに再生している放送番組が含む音楽データを取得する(S808)。続いて、制御部110は、音楽データ取得ステップにおいて取得した音楽データを記憶部120に記憶する(S810)。制御部110は、音楽データに対応する登録文字列候補を表示し、ユーザにより選択された登録文字列に対応づけて音楽データを記憶部120に記憶させてもよい。制御部110は、放送番組から取得した音楽データと同じ音楽名の音楽データを、ネットワークを介して接続されたサーバから取得してもよい。
以上の通り、本実施形態の音楽再生プログラムによれば、ユーザは、放送番組の再生中に気に入った音楽があった時に容易に登録することができる。したがって、ユーザが入力した音声に対してユーザの好みに合った音楽を再生させる環境を容易に構築することができる。
[放送番組から台詞と音楽データを取得して記憶させる]
図9は、本実施形態の音楽登録ステップのフローチャートの他の例を示す。同図に示したフローチャートにおいては、S908以降が、図8に示したフローチャートと異なる。制御部110は、番組を視聴中のユーザから音楽データの登録の指示を受けると(S1006)、通信部190を通じて番組データを要求し、ユーザから登録指示のあった番組が含む台詞文字列を取得する(S908)。例えば、制御部110は、登録指示を受けた時刻の前後の所定の範囲内において放送された台詞文字列を取得する。ここで、番組データは、番組に使用されている映像データ、台詞や字幕のテキストデータ及びBGMの音楽名データの少なくとも1つを含む。
制御部110は、台詞文字列の少なくとも一部を自動的に登録文字列として抽出してよい(S910)。例えば、制御部110は、台詞文字列のうち、予め記憶部120に記憶されている単語帳に含まれる単語を登録文字列として抽出する。制御部110は、ネットワークを介して接続されたサーバに対して登録指示を取得した時刻を示す情報を送信し、当該サーバから台詞文字列を取得してもよい。
続いて、制御部110は、放送番組の再生中に受けた登録指示に応じて、登録指示を受けたときに再生している放送番組が含む音楽データを取得する(S912)。さらに、S912の音楽データ取得ステップにおいて取得した音楽データを台詞文字列から抽出した登録文字列と対応づけて記憶部120へ記憶する(S914)。
以上の通り、放送番組から台詞と音楽データを取得して記憶させることにより、ユーザは、登録文字列を入力したり音楽データを外部サーバからダウンロードしたりする手間をかけることなく、登録文字列と音楽データとを対応づけて登録することができる。
[取得した台詞から選択された文字列に対応づけて音楽データを記憶させる]
図10は、本実施形態の音楽登録ステップのフローチャートの他の例を示す。同図に示したフローチャートにおいては、S1008以降が図8に示したフローチャートと異なる。本実施形態の音楽再生プログラムによれば、制御部110は、ユーザが視聴中の番組から取得した複数の台詞文字列を登録文字列候補として表示させ、ユーザにより選択された台詞文字列を音楽データに対応付けて記憶部120に記憶させる。
具体的には、制御部110は、S1006において登録指示を取得すると、ユーザから登録指示を受けた時に再生している番組が含む複数の台詞文字列を登録文字列候補として表示部に表示させる(S1008)。例えば、制御部110は、登録指示を取得した時刻の前後の所定の範囲内において取得した台詞文字列を登録文字列候補として表示する。次に、指示取得部180は表示した複数の台詞文字列から少なくとも1つの台詞文字列が選択されると(S1010)、登録指示を受けたときに再生している放送番組が含む音楽データを取得する(S1012)。制御部110は、S1012の音楽データ取得ステップにおいて取得した音楽データを、ユーザにより登録文字列として選択された台詞文字列に対応づけて記憶部120に記憶させる(S1014)。
以上の通り、制御部110が複数の台詞文字列を表示させ、ユーザにより選択された台詞文字列を登録文字列として記憶部120に記憶させることにより、不要な台詞文字列を記憶する必要がない。その結果、記憶部120の容量の増加を防ぐと共に、文字列検出部140が登録文字列の検出に要する時間を短縮することができる。
[登録指示を取得する前の台詞と音楽データを登録する]
ユーザが目や耳でとらえた情報に基づいて「登録したい」と思った後に筋肉を動かして登録ボタンを押すまでに数秒の時間を要する場合があることが知られている。そこで、制御部110は、平均的な人が「登録したい」と思ってから登録指示をするまでに要する時間(以下、反応時間)だけ早い時刻において再生した放送番組が含む台詞文字列と音楽データを取得し、台詞文字列と音楽データとを対応づけて記憶部120に記憶させてもよい。
具体的には、制御部110は、再生中の放送番組を上記の反応時間よりも長い時間だけ記憶し続ける。例えば、制御部110は、上記の反応時間よりも長い時間に渡って放送番組を記憶することができる容量のリングバッファに放送番組を記憶する。
指示取得部180がユーザからの登録指示を取得すると、制御部110は、記憶部120に記憶された放送番組を検索して、登録指示を取得したときから所定時間だけ早い時間に再生した放送番組が含む台詞文字列と音楽データを取得する(S1208)。例えば、制御部110は、登録指示において指定された時間だけ早い時間に再生した放送番組が含む台詞文字列と音楽データを取得する。
[通信シーケンス]
図11は、本実施形態における音楽登録ステップを実行する通信シーケンスの一例である。指示取得部180が、音楽データの登録指示をユーザから取得すると、制御部110は、放送サーバ200に対して、インターネット又はLANなどのネットワークを介して番組データを要求する。放送サーバ200は、要求に応じて番組データをコンピュータ100へ送信する。
コンピュータ100が放送サーバ200から番組データを受信すると、制御部110は番組データに含まれる台詞文字列から抽出した文字列を、登録文字列として記憶部120に記憶させる。制御部110は、登録文字列と音楽名とを対応づけて記憶部120に記憶させてもよい。制御部110は、登録文字列候補として複数のキーワードを表示して、ユーザにより選択されたキーワードを登録文字列として記憶させてもよい。
続いて、制御部110は、コンテンツサーバ300に対して、インターネット又はLANなどのネットワークを介して音楽コンテンツを要求する。コンテンツサーバ300は、要求に応じて音楽コンテンツを通信部190に送信する。コンピュータ100が音楽データを取得すると、登録文字列に対応付けて音楽コンテンツを記憶部120に記憶させる。
以上の通り、コンピュータ100が、番組データを取得した放送サーバ200と異なるコンテンツサーバ300から音楽データを取得することにより、著作権が保護されている放送番組を再生することなく、入力された音声に応じた音楽データを再生することができる。
<第2の実施形態>
[複数の情報端末と連携した音楽再生]
図12は、本実施形態の音楽再生プログラムを実行するコンピュータ100−1及び他のコンピュータ100−2から構成される音楽再生システムの構成を示す。コンピュータ100−1及びコンピュータ100−2は、連携して音楽を再生する。
例えば、コンピュータ100−1に音声が入力されると、文字列検出部140は、音声取得部130が取得した音声に登録文字列が含まれていることを検出する。続いて、文字列検出部140が検出した登録文字列を、通信部190からインターネット又はLAN等のネットワークを介してコンピュータ100−2に送信する。コンピュータ100−2は、コンピュータ100−1から登録文字列を受信すると、予め記憶部120に記憶された音楽データパッケージが含む登録文字列に対応する音楽を出力する。
また、音楽再生システムにおいては、本発明の音楽再生プログラムをインストールした複数のコンピュータ100を用いて、複数の端末から同時に音楽が再生されるようにしてもよい。例えば、コンピュータ100−1は、取得した音声に含まれていた登録文字列と、音楽を再生する時刻を示す情報とを複数のコンピュータ100に一斉に送信する。コンピュータ100−1は、予め記憶部120に記憶された遅延時間に基づいて音楽を再生する時刻を示す情報を生成してよい。コンピュータ100−1から登録文字列を受信した複数のコンピュータ100は、指定された時刻に一斉に音楽を再生する。
複数のコンピュータ100は、それぞれの位置に応じて、同一の音楽の異なるパートを再生してもよい。例えば、それぞれのコンピュータ100はGPS(全地球測位システム)などにより位置情報を取得する。登録文字列を送信したコンピュータ100−1に対して第1の領域(例えば右側)の位置のコンピュータ100は、ステレオ音楽の右側の音楽を再生し、第2の領域(例えば左側)の位置のコンピュータ100は、ステレオ音楽の左側の音楽を再生してもよい。
以上の通り、本実施形態によれば、1台の情報端末だけではなく複数の情報端末から音楽を再生することにより、広い会場においても音楽が聞こえるという効果を奏する。さらに、複数の情報端末を用いてステレオ音楽を再生することにより、より効果的なプレゼンテーションを提供したり、場を盛り上げたりする効果を得ることができる。
<第3の実施形態>
[音楽再生システム]
図13は、第3の実施形態の音楽再生システム10の構成を示す。音楽再生システム10は、コンピュータ100及びコンテンツサーバ300を備える。コンピュータ100は、例えば携帯情報端末である。コンテンツサーバ300は、データ管理装置として機能し、コンピュータ100との間でデータを送受信する。例えば、コンテンツサーバ300は、コンピュータ100からの指示に応じて音楽データをコンピュータに送信する。
コンピュータ100は上記の実施形態において説明した構成を有し、上記の実施形態において説明した音楽再生プログラムを実行してよい。例えば、コンピュータ100は、制御部110、入力された音声を取得する音声取得部130、複数の登録文字列を記憶する文字列記憶部122、音声に複数の登録文字列のうちのいずれかの登録文字列が含まれることを検出する文字列検出部140、文字列検出部140が検出した登録文字列をコンテンツサーバ300に送信する文字列送信部192、音声を取得から音楽データを出力するまでの遅延時間を示す情報を記憶する遅延時間記憶部124、及び、音声を取得してから遅延時間が経過した後に音楽データを出力する音声出力部150を有する。
コンテンツサーバ300は、制御部310、複数の登録文字列と複数の音楽データとを対応づけて記憶する音楽データ記憶部320、及び、情報端末から受信した登録文字列に対応する音楽データを情報端末に送信する音楽データ送信部330を有する。
コンピュータ100は、入力された音声から登録文字列を検出すると、検出した登録文字列を示す情報をコンテンツサーバ300に送信する。コンテンツサーバ300においては、制御部310が、受信した登録文字列に対応する音楽データを音楽データ記憶部320から読み出して、音楽データ送信部330を介してコンピュータ100に送信する。コンピュータ100は、音楽データを受信すると、登録文字列を含む音声を取得してから所定の遅延時間が経過した後に、音楽を再生する。
遅延時間記憶部124は、上記の実施形態において説明した遅延時間に、文字列送信部192が登録文字列を送信してから制御部110が音楽データを取得するまでの時間を加算した時間を遅延時間として記憶してもよい。このようにすることで、音楽データをコンテンツサーバ300から取得するために要する時間によらず、ユーザが音声を発してから予定した時間が経過したタイミングで音楽を再生することができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
請求の範囲、明細書、および図面中において示した方法における各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲及び明細書中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10・・・音楽再生システム、100・・・コンピュータ、110・・・制御部、120・・・記憶部、122・・・文字列記憶部、124・・・遅延時間記憶部、130・・・音声取得部、140・・・文字列検出部、150・・・音声出力部、160・・・文字列取得部、170・・・放送受信部、180・・・指示取得部、190・・・通信部、192・・・文字列送信部、200・・・放送サーバ、300・・・コンテンツサーバ、310・・・制御部、320・・・音楽データ記憶部、330・・・音楽データ送信部、540・・・マイク、550・・・スピーカ、560・・・表示部、570・・・ユーザインターフェイス部、580・・・通信インターフェイス、1000・・・情報端末

Claims (9)

  1. コンピュータに、入力された音声に応じて音楽を出力させるための音楽再生プログラムであって、
    前記コンピュータに、
    記憶媒体に記憶された複数の登録文字列のうちのいずれかの登録文字列に対応づけて、前記記憶媒体に、前記音声を取得してから前記音楽を出力するまでの遅延時間を示す情報を記憶する遅延時間記憶ステップを実行させ、
    前記コンピュータに前記遅延時間記憶ステップを実行させた後に、
    入力された前記音声を取得する音声取得ステップと、
    前記登録文字列が前記音声に含まれることを検出する文字列検出ステップと、
    前記文字列検出ステップで検出した前記登録文字列を含む前記音声を取得してから、前記記憶媒体に記憶された前記登録文字列に対応する前記遅延時間が経過した後に、前記登録文字列に対応する前記音楽を出力する音楽出力ステップと
    を実行させるための音楽再生プログラム。
  2. 前記音楽出力ステップにおいて、前記登録文字列を検出した音声を取得してから、前記登録文字列の検出に要する最大時間より大きな前記遅延時間が経過した後に前記音楽を出力させるための請求項1に記載の音楽再生プログラム。
  3. 前記コンピュータに、
    入力された前記登録文字列を取得する文字列取得ステップと、
    前記文字列取得ステップにおいて前記登録文字列を取得すると、前記登録文字列に対応づけて記憶する音楽名の候補を示す複数の候補名を表示する表示ステップと、
    前記複数の候補名から選択された前記候補名に対応する前記音楽名を前記登録文字列に対応づけて記憶させる音楽名記憶ステップと
    をさらに実行させるための請求項1又は2に記載の音楽再生プログラム。
  4. 前記コンピュータに、
    放送番組を受信する放送受信ステップと、
    前記放送番組を再生する放送再生ステップと、
    前記放送番組の再生中に受けた登録指示に応じて、前記登録指示を受けたときに再生している前記放送番組が含む音楽データを取得する音楽データ取得ステップと、
    前記音楽データ取得ステップにおいて取得した前記音楽データを記憶する音楽データ記憶ステップと
    をさらに実行させるための請求項3に記載の音楽再生プログラム。
  5. 前記コンピュータに、
    前記音楽データ取得ステップにおいて、前記放送番組が含む台詞文字列をさらに取得させ、
    前記音楽データ記憶ステップにおいて、前記台詞文字列の少なくとも一部を前記登録文字列として前記音楽データに対応づけて記憶させるための請求項4に記載の音楽再生プログラム。
  6. 前記コンピュータに、
    前記表示ステップにおいて、前記音楽データ取得ステップにおいて取得した複数の前記台詞文字列を表示させ、
    前記音楽データ記憶ステップにおいて、前記表示ステップにおいて表示した前記複数の台詞文字列から選択された前記台詞文字列を前記登録文字列として前記音楽名に対応づけて記憶させるための請求項5に記載の音楽再生プログラム。
  7. 前記コンピュータに、
    前記音楽データ記憶ステップにおいて、前記登録指示を取得したときから所定時間だけ早い時間に再生した前記放送番組が含む前記台詞文字列と前記音楽名とを対応づけて記憶させるための請求項5又は6に記載の音楽再生プログラム。
  8. 前記コンピュータに、
    他のコンピュータから前記登録文字列を受信する文字列受信ステップをさらに実行させ、
    前記音楽出力ステップにおいて、前記他のコンピュータから受信した前記登録文字列に対応する前記音楽を出力させるための請求項1から7のいずれか一項に記載の音楽再生プログラム。
  9. コンピュータと、
    前記コンピュータとの間でデータを送受信するデータ管理装置と
    を備える音楽再生システムであって、
    前記コンピュータは、
    入力された音声を取得する音声取得部と、
    複数の登録文字列を記憶する文字列記憶部と、
    前記音声に前記複数の登録文字列のうちのいずれかの前記登録文字列が含まれることを検出する文字列検出部と、
    前記文字列検出部が検出した前記登録文字列を前記データ管理装置に送信する文字列送信部と
    を有し、
    前記データ管理装置は、
    前記複数の登録文字列と複数の音楽データとを対応づけて記憶する音楽データ記憶部と、
    前記コンピュータから受信した前記登録文字列に対応する前記音楽データを前記コンピュータに送信する音楽データ送信部と
    を有し、
    前記コンピュータは、
    前記登録文字列に対応づけて、前記音声を取得してから前記音楽データを出力するまでの遅延時間を示す情報を記憶する遅延時間記憶部と、
    前記音声を取得してから、前記登録文字列に対応する前記遅延時間が経過した後に前記音楽データを出力する出力部と
    をさらに有する音楽再生システム。
JP2012531144A 2012-07-06 2012-07-06 音楽再生プログラム及び音楽再生システム Active JP5242856B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/067354 WO2014006746A1 (ja) 2012-07-06 2012-07-06 音楽再生プログラム及び音楽再生システム

Publications (2)

Publication Number Publication Date
JP5242856B1 true JP5242856B1 (ja) 2013-07-24
JPWO2014006746A1 JPWO2014006746A1 (ja) 2016-06-02

Family

ID=49041800

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012531144A Active JP5242856B1 (ja) 2012-07-06 2012-07-06 音楽再生プログラム及び音楽再生システム

Country Status (3)

Country Link
US (1) US20150073810A1 (ja)
JP (1) JP5242856B1 (ja)
WO (1) WO2014006746A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019077013A1 (en) 2017-10-18 2019-04-25 Soapbox Labs Ltd. METHODS AND SYSTEMS FOR PROCESSING AUDIO SIGNALS CONTAINING VOICE DATA

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339198A (ja) * 1995-06-12 1996-12-24 Nec Corp プレゼンテーション装置
JP2003123149A (ja) * 2001-10-16 2003-04-25 East Japan Railway Co 簡易式カード決済システム、ならびにそのプログラム、および記録媒体
JP2005242134A (ja) * 2004-02-27 2005-09-08 Denso Corp カーオーディオシステム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678680B1 (en) * 2000-01-06 2004-01-13 Mark Woo Music search engine
EP1510031A4 (en) * 2002-05-06 2009-02-04 Syncronation Inc LOCALIZED AUDIO NETWORKS AND ASSOCIATED DIGITAL TOOLS
JP3778134B2 (ja) * 2002-05-31 2006-05-24 ヤマハ株式会社 楽曲再生装置
US7174191B2 (en) * 2002-09-10 2007-02-06 Motorola, Inc. Processing of telephone numbers in audio streams
JP3892410B2 (ja) * 2003-04-21 2007-03-14 パイオニア株式会社 音楽データ選曲装置、音楽データ選曲方法、並びに、音楽データの選曲プログラムおよびそれを記録した情報記録媒体
JP2005266198A (ja) * 2004-03-18 2005-09-29 Pioneer Electronic Corp 音響情報再生装置および音楽データのキーワード作成方法
US7920931B2 (en) * 2004-11-24 2011-04-05 Koninklijke Philips Electronics N.V. Recording and playback of video clips based on audio selections
US20070250319A1 (en) * 2006-04-11 2007-10-25 Denso Corporation Song feature quantity computation device and song retrieval system
US20080312935A1 (en) * 2007-06-18 2008-12-18 Mau Ii Frederick W Media device with speech recognition and method for using same
US20100017381A1 (en) * 2008-07-09 2010-01-21 Avoca Semiconductor Inc. Triggering of database search in direct and relational modes
TW201104465A (en) * 2009-07-17 2011-02-01 Aibelive Co Ltd Voice songs searching method
US20130115892A1 (en) * 2010-07-16 2013-05-09 T-Mobile International Austria Gmbh Method for mobile communication
US9047371B2 (en) * 2010-07-29 2015-06-02 Soundhound, Inc. System and method for matching a query against a broadcast stream
US20120096018A1 (en) * 2010-10-16 2012-04-19 Metcalf Michael D Method and system for selecting music

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339198A (ja) * 1995-06-12 1996-12-24 Nec Corp プレゼンテーション装置
JP2003123149A (ja) * 2001-10-16 2003-04-25 East Japan Railway Co 簡易式カード決済システム、ならびにそのプログラム、および記録媒体
JP2005242134A (ja) * 2004-02-27 2005-09-08 Denso Corp カーオーディオシステム

Also Published As

Publication number Publication date
JPWO2014006746A1 (ja) 2016-06-02
US20150073810A1 (en) 2015-03-12
WO2014006746A1 (ja) 2014-01-09

Similar Documents

Publication Publication Date Title
US11798528B2 (en) Systems and methods for providing notifications within a media asset without breaking immersion
US9558735B2 (en) System and method for synthetically generated speech describing media content
AU2015297647B2 (en) Information management system and information management method
JP2006195385A (ja) 音楽再生装置および音楽再生プログラム
KR101100191B1 (ko) 멀티미디어 재생장치와 이를 이용한 멀티미디어 자료검색방법
KR20160106075A (ko) 오디오 스트림에서 음악 작품을 식별하기 위한 방법 및 디바이스
JP2013088477A (ja) 音声認識システム
JP2019200598A (ja) サーバ
JP2007164497A (ja) 嗜好推定装置、及び制御装置
JP5242856B1 (ja) 音楽再生プログラム及び音楽再生システム
JP4327165B2 (ja) 楽曲再生装置
JP6568351B2 (ja) カラオケシステム、プログラム及びカラオケ音声再生方法
JP2016102899A (ja) 音声認識装置、音声認識方法および音声認識プログラム
KR101573868B1 (ko) 노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템
JP6587459B2 (ja) カラオケイントロにおける曲紹介システム
JP2011180271A (ja) クレイドルを介してホストシステムに接続されるカラオケ選曲予約装置
JP4353084B2 (ja) 映像再生方法及び装置及びプログラム
JP6696878B2 (ja) 音声処理装置、ウェアラブル端末、携帯端末、および音声処理方法
KR101576683B1 (ko) 히스토리 저장모듈을 포함하는 오디오 재생장치 및 재생방법
JP6185416B2 (ja) カラオケ装置、プログラム及びカラオケシステム
JP7308135B2 (ja) カラオケシステム
JP7009338B2 (ja) 情報処理装置、情報処理システム、および映像装置
JP6508567B2 (ja) カラオケ装置、カラオケ装置用プログラム、およびカラオケシステム
KR102025903B1 (ko) 언어 학습을 위한 장치 및 그 제어방법
KR20080014188A (ko) 휴대 단말기에서의 음악파일 검색 서비스 시스템과 그 방법

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130326

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5242856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250