JP3811055B2 - 音・映像同期合成配信方法、演奏者端末用装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体並びに、サービス提供装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体 - Google Patents
音・映像同期合成配信方法、演奏者端末用装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体並びに、サービス提供装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3811055B2 JP3811055B2 JP2001367260A JP2001367260A JP3811055B2 JP 3811055 B2 JP3811055 B2 JP 3811055B2 JP 2001367260 A JP2001367260 A JP 2001367260A JP 2001367260 A JP2001367260 A JP 2001367260A JP 3811055 B2 JP3811055 B2 JP 3811055B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- sound
- video
- rhythm
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、インターネットなどのパケット通信網を使用し、複数の地点で録音および録画した音情報および映像情報を集信同期し、顧客に演奏曲の音・映像情報を配信する音・映像同期合成配信方法、演奏者端末用装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体並びに、サービス提供装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
コンサートに代表される音情報と映像情報とから成る情報を一般家庭などの顧客端末に配信して、あらゆる音楽ジャンルのコンサートなどの音楽番組を多数の顧客に配信提供するサービスが近年存在する。
【０００３】
このようなサービスでは、遠隔地点のコンサート会場にて行われたコンサートの音および映像をリアルタイムに顧客端末に配信するか、あるいは、コンサートの音および映像を予め録画・録音したものを多数の顧客端末に配信するという方法により、音楽番組の提供が行われていた。すなわち、同一地点にて入力された音および映像を配信し、音楽番組を提供するものであった。
【０００４】
また、従来の配信方法を改良して、ネットワークを介して異なる複数地点にて演奏された音・映像を送信処理して、あたかも同一地点において演奏された音・映像であるかのように音楽番組を顧客に配信する方法も開発されており、本方法は、音および映像情報の遅延時間が予め予測可能な専用回線を使用して実現されていた。
【０００５】
【発明が解決しようとする課題】
しかしながら、インターネットを代表とするパケット通信回線等の公衆回線を利用して演奏者が各演奏地点から音・映像を送信する場合には、使用した回線に応じて回線の速度が異なり、また、送信時の時間帯に応じても各回線の遅延速度は刻々と変動するため回線の遅延時間の予測は困難であり、この結果、パケット通信回線を使用した音・映像の配信方法は現段階において実現されていなかった。
【０００６】
また、多地点にて演奏された多種類の楽器などにより演奏された音・映像を予め合成して顧客端末に配信すると、回線の利用により発生する音と映像とのずれが生じるだけでなく、演奏者同士の演奏の速さ・リズムが各々異なる可能性があるため、たとえ演奏者が同時刻に演奏を開始した場合であっても演奏音および演奏映像のずれが発生し、ずれの発生に起因して音および映像が途切れてしまい、顧客端末にずれの無い音・映像を配信することは困難であり、この結果、音・映像情報のずれを防止した質の高い音楽番組を顧客に提供することができないという問題を有していた。
【０００７】
本発明は、上記問題を解決するためのものであり、多地点から送信される音情報および映像情報を正確に合成して、ネットワークの送信遅延に起因したずれの発生を防止し、高品質の音楽番組を配信する音・映像同期合成配信方法を提供することを目的とする。
【０００８】
また、上記音・映像集信同期合成配信方法を実現するための演奏者端末用装置本装置用プログラムおよび該プログラムを記録した記録媒体並びにサービス提供装置、本装置用プログラムおよび該プログラムを記録した記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を解決するために、演奏者が演奏する音および映像を入力する際に、時刻情報を含むリズム・テンポ情報に従って演奏を行い、入力した音および映像にリズム・テンポ情報の時刻情報を関連付けして音情報および映像情報とし、これらの情報をサービス提供装置に送信することにより、サービス提供装置では、複数の地点から送信された音情報および映像情報が時刻情報に基づきそれぞれ同期される。さらに、合成音および合成映像を個別に蓄積し、顧客端末からの要求に応じて合成音および合成映像を配信することにより、音および映像のずれを防止し、高品質の音楽番組を顧客に提供するものである。
【００１０】
すなわち、本発明は、複数の地点にある演奏者側の演奏者端末用装置から送信される音および映像に係る情報をサービス提供者側のサービス提供装置より顧客に配信する音・映像同期合成配信方法であって、演奏者端末用装置は、時刻情報を含むリズム・テンポ情報に従って演奏される演奏者の演奏音および演奏中の様子をそれぞれ音および映像に係る情報として時刻情報を関連付けて記憶するとともに、音および映像に係る情報を前記サービス提供装置に送信し、サービス提供装置は、受信した音情報および映像情報を時刻情報に基づき同期を行い、合成音および合成映像に係る情報を演奏曲目に関連付けして蓄積し、演奏曲目が選択されたときに、該演奏曲目に係る合成音および合成映像に係る情報を抽出して配信することを特徴とする。本発明によれば、複数の地点において個別に演奏された場合であっても、サービス提供装置において時刻情報に基づき同期されるため、音および映像のずれを防止でき、あたかも同一地点にて演奏したかのような音楽番組を提供することができる。
【００１１】
また、上記音・映像同期合成配信方法において、時刻情報は、演奏曲の全演奏時間を一定間隔により分割したものである。本発明において、一定間隔は任意に決定できるものであるが、この一定間隔を短時間とすれば、時刻情報に基づく同期をより一層高精度とすることができる。
【００１２】
さらに、上記音・映像同期合成配信方法において、リズム・テンポ情報は、予め決められた演奏曲の速度に従って音符が点滅するように構成された楽譜あるいは指揮者の映像と伴奏音とから成る情報であることが望ましい。本発明によれば、演奏者が容易にリズム・テンポ情報にあわせて演奏を行うことができる。
【００１３】
上記音・映像同期合成配信方法において、リズム・テンポ情報は、演奏曲目と関連付けして予めサービス提供装置のリズム・テンポ情報記憶手段に蓄積されており、サービス提供装置が、演奏曲目に基づきリズム・テンポ情報記憶手段から該演奏曲目に係るリズム・テンポ情報を抽出して演奏者端末用装置に送信し、演奏者端末用装置は、受信したリズム・テンポ情報を記憶するものであることが望ましい。本発明によれば、演奏を行う際の基準となるリズム・テンポ情報をサービス提供装置で一括して管理することができる。
【００１４】
上記音・映像同期合成配信方法において、サービス提供装置は、顧客とサービス提供者との間においてサービス提供契約をした顧客に関する情報を顧客情報として予め顧客情報記憶手段に記憶しておき、前記顧客情報記憶手段を参照して顧客が認証された場合に、演奏曲目一覧を送信し、演奏曲目の選択を促すことが望ましい。本発明によれば、予め契約を行った顧客に対してのみサービスの提供を行うことにより、サービス料等による利益を得られるだけでなく、セキュリティーの安全性を高めることができる。
【００１５】
本発明の演奏者端末用装置は、時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶するリズム・テンポ情報記憶手段と、選択された演奏曲目に基づきリズム・テンポ情報を抽出して出力するリズム・テンポ情報出力手段と、このリズム・テンポ情報出力手段から出力されたリズム・テンポ情報に従って演奏される演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理手段と、前記リズム・テンポ情報に従って演奏される演奏者の演奏中の映像を映像情報として時刻情報を関連付けて記憶する映像情報入力処理手段と、時刻情報が関連付けされた音情報を送信する音情報送信手段と、時刻情報が関連付けされた映像情報を送信する映像情報送信手段と、を備えることを特徴とする。本発明の演奏者端末用装置をスタジオなどの複数の地点に設置し、複数人が個別に演奏した場合であっても、演奏者の演奏音および演奏映像に時刻情報を関連付けして送信することにより、サービス提供装置において時刻情報に基づき同期することができる。
【００１６】
本発明の演奏者端末用装置は、要求された演奏曲目に基づき時刻情報を含むリズム・テンポ情報の送信要求を行うリズム・テンポ情報送信要求手段と、演奏曲の時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶したリズム・テンポ情報記憶手段と、リズム・テンポ情報記憶手段から要求された演奏曲目に基づきリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力手段と、このリズム・テンポ情報出力手段から出力されたリズム・テンポ情報に従い演奏者の演奏音を入力し、入力された演奏音に前記リズム・テンポ情報の時刻情報を関連付けして音情報として記憶する音情報入力処理手段と、リズム・テンポ情報に従い、演奏者の演奏中の映像を入力し、入力された映像にリズム・テンポ情報の時刻情報を関連付けして映像情報として記憶する映像情報入力処理手段と、音情報入力処理手段により入力された音情報を送信する音情報送信手段と、映像情報入力処理手段により入力された映像情報を送信する映像情報送信手段と、を備えることを特徴とする。
【００１７】
本発明の演奏者端末用装置は、選択された演奏曲目に基づき時刻情報を含むリズム・テンポ情報の送信要求を行うリズム・テンポ情報送信要求手段と、時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶するリズム・テンポ情報記憶手段と、選択された演奏曲目に基づき前記リズム・テンポ情報記憶手段を参照してリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力手段と、このリズム・テンポ情報出力手段から出力されたリズム・テンポ情報に従って演奏される演奏者の演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理手段と、前記リズム・テンポ情報に従って演奏される演奏中の様子を映像情報として時刻情報を関連付けして記憶する映像情報入力処理手段と、時刻情報を関連付けした音情報を送信する音情報送信手段と、時刻情報を関連付けした映像情報を送信する映像情報送信手段と、を備えることを特徴とする。本発明によれば、演奏を行う際の基準となるリズム・テンポ情報がサービス提供装置において一括して管理されている場合に、リズム・テンポ情報をダウンロードしてリズム・テンポ情報に従って演奏できるようにしたものである。
【００１８】
上記演奏者端末用装置において、時刻情報は、演奏曲の全演奏時間を一定間隔により分割したものであり、入力された音および映像に係る情報にリズム・テンポ情報の時刻情報を一致させて関連付けが行われることを特徴とする。本発明において、一定間隔は任意に決定できるものであるが、この一定間隔を短時間とすれば、時刻情報に基づく同期をより一層高精度とすることができる。
【００１９】
上記演奏者端末用装置において、リズム・テンポ情報出力手段は、少なくとも音声または画面表示のいずれかにより出力を行うことが望ましい。本発明のように、リズム・テンポ情報を音声や画面表示あるいはこれらの組み合わせて出力することにより、演奏者が容易にリズム・テンポ情報にあわせて演奏することができる。
【００２０】
本発明の演奏者端末用装置に読み込まれるプログラムは、時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶しておき、選択された演奏曲目に基づきリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力機能と、このリズム・テンポ情報出力機能により出力されたリズム・テンポ情報に従って演奏される演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理機能と、前記リズム・テンポ情報に従って演奏される演奏者の演奏中の映像を映像情報として時刻情報を関連付けて記憶する映像情報入力処理機能と、時刻情報が関連付けされた音情報を送信する音情報送信機能と、時刻情報が関連付けされた映像情報を送信する映像情報送信機能と、を実行させることを特徴とする。本発明によれば、演奏者端末用装置に入力された演奏者による音および映像に時刻情報を関連付けて自動的にサービス提供装置に配信することができる。
【００２１】
本発明の演奏者端末用装置に読み込まれるプログラムは、選択された演奏曲目に基づき該演奏曲目の時刻情報を含むリズム・テンポ情報の送信要求を行うリズム・テンポ情報送信要求機能と、演奏曲の時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶するリズム・テンポ情報記憶機能と、選択された演奏曲目に基づきリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力機能と、このリズム・テンポ情報出力機能により出力されたリズム・テンポ情報に従って演奏される演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理機能と、前記リズム・テンポ情報に従って演奏される演奏者の演奏中の映像を映像情報として時刻情報を関連付けて記憶する映像情報入力処理機能と、時刻情報が関連付けされた前記音情報を送信する音情報送信機能と、時刻情報が関連付けされた前記映像情報を送信する映像情報送信機能と、を実行させることを特徴とする。本発明によれば、演奏者端末用装置に入力された演奏者による音および映像に時刻情報を関連付けて自動的にサービス提供装置に配信することができる。
【００２２】
さらに、演奏者端末用装置に読み込まれるプログラムを記録した記録媒体は、選択された演奏曲目に基づき時刻情報を含むリズム・テンポ情報の送信要求を行うリズム・テンポ情報送信要求機能と、演奏曲の時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶するリズム・テンポ情報記憶機能と、選択された演奏曲目に基づきリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力機能と、このリズム・テンポ情報出力機能により出力されたリズム・テンポ情報に従って演奏される演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理機能と、前記リズム・テンポ情報に従って演奏される演奏者の演奏中の映像を映像情報として時刻情報を関連付けて記憶する映像情報入力処理機能と、時刻情報が関連付けされた前記音情報を送信する音情報送信機能と、時刻情報が関連付けされた前記映像情報を送信する映像情報送信機能と、を実行させることを特徴とする。本発明によれば、入力された音および映像に時刻情報を関連付けして記憶し自動的に配信する機能を実行することができるプログラムを記録媒体に記録しているため、この記憶媒体を用いてその流通性を高めることができる。
【００２３】
また、演奏者端末用装置に読み込まれるプログラムを記録した記録媒体は、選択された演奏曲目に基づき時刻情報を含むリズム・テンポ情報の送信要求を行うリズム・テンポ情報送信要求機能と、演奏曲の時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶するリズム・テンポ情報記憶機能と、選択された演奏曲目に基づきリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力機能と、このリズム・テンポ情報出力機能により出力されたリズム・テンポ情報に従って演奏される演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理機能と、前記リズム・テンポ情報に従って演奏される演奏者の演奏中の映像を映像情報として時刻情報を関連付けて記憶する映像情報入力処理機能と、時刻情報が関連付けされた前記音情報を送信する音情報送信機能と、時刻情報が関連付けされた前記映像情報を送信する映像情報送信機能と、を実行させることを特徴とする。本発明によれば、リズム・テンポ情報の送信要求を行い、入力された音および映像に時刻情報を関連付けして記憶し自動的に配信する機能を実行することができるプログラムを記録媒体に記録しているため、この記憶媒体を用いてその流通性を高めることができる。
【００２４】
本発明のサービス提供装置は、リズム・テンポ情報に従って演奏された音に時刻情報が関連付けされた音情報を受信し、時刻情報に基づき音情報を同期し、合成音に演奏曲目を関連付けして蓄積する音合成処理手段と、リズム・テンポ情報に従って演奏中の様子の映像に時刻情報が関連付けされた映像情報を受信し、時刻情報に基づき映像情報を同期し、合成映像に演奏曲目を関連付けして蓄積する映像合成処理手段と、選択された演奏曲目に応答して前記音合成処理手段から該演奏曲目の合成音に係る情報を抽出し配信する合成音情報配信手段と、選択された演奏曲目に応答して前記映像合成処理手段から該演奏曲目の合成映像に係る情報を抽出し配信する合成映像情報配信手段と、を備えたことを特徴とする。本発明によれば、複数地点から送信された音情報および映像情報を時刻情報に基づき同期したため、音および映像のずれを防止できる。
【００２５】
本発明のサービス提供装置は、時刻情報を含むリズム・テンポ情報を演奏曲目に関連付けて予め記憶したリズム・テンポ情報記憶手段と、演奏曲目の選択に基づき該当するリズム・テンポ情報を抽出して送信する送信手段と、時刻情報が関連付けされた音情報を受信し、時刻情報に基づき音情報を同期し、合成音に演奏曲目を関連付けして蓄積する音合成処理手段と、時刻情報が関連付けされた映像情報を受信し、時刻情報に基づき映像情報を同期し、合成映像に演奏曲目を関連付けして蓄積する映像合成処理手段と、選択された演奏曲目に応答して前記音合成処理手段から該演奏曲目の合成音に係る情報を抽出し配信する合成音情報配信手段と、選択された演奏曲目に応答して前記映像合成処理手段から該演奏曲目の合成映像に係る情報を抽出し配信する合成映像情報配信手段と、を備えたことを特徴とする。本発明によれば、演奏を行う際の基準となるリズム・テンポ情報をサーバ提供装置にて一括して管理することができる。
【００２６】
上記サービス提供装置において、時刻情報は、演奏曲の全演奏時間を一定間隔により分割したものであり、入力した音および映像にリズム・テンポ情報の時刻情報を一致させて関連付けが行われるものである。
【００２７】
上記サービス提供装置において、さらに、サービス提供者の許可により顧客とサービス提供者との間においてサービス提供契約をした顧客に関する情報を顧客情報として予め記憶した顧客情報記憶手段と、サービス提供可能な演奏曲目リストを予め記憶した演奏曲目リスト記憶手段と、要求に応じて前記顧客情報記憶手段を参照して顧客が認証された場合に、前記演奏曲目リスト記憶手段から演奏曲目リストを抽出して送信する演奏曲目リスト送信手段と、を備えたことを特徴とする。本発明によれば、予め契約を行った顧客に対してのみサービスの提供を行うことにより、サービス料等による利益を得られるだけでなくセキュリティーの安全性を高めることができる。
【００２８】
サービス提供装置に読み込まれるプログラムは、リズム・テンポ情報に従って演奏された音に時刻情報が関連付けされた音情報を受信し、時刻情報に基づき音情報を同期し、合成音に演奏曲目を関連付けして蓄積する音合成処理機能と、リズム・テンポ情報に従って演奏中の様子の映像に時刻情報が関連付けされた映像情報を受信し、時刻情報に基づき映像情報を同期し、合成映像に演奏曲目を関連付けして蓄積する映像合成処理機能と、選択された演奏曲目に応答して該演奏曲目の合成音に係る情報を抽出し配信する合成音情報配信機能と、選択された演奏曲目に応答して該演奏曲目の合成映像に係る情報を抽出し配信する合成映像情報配信機能と、を実行させることを特徴とする。本発明によれば、受信した音情報および映像情報を時刻情報に基づき自動的に同期して個別に蓄積し、顧客端末からの要求に応じて自動的に顧客端末に配信することができる。
【００２９】
サービス提供装置に読み込まれるプログラムは、時刻情報を含むリズム・テンポ情報を演奏曲目に関連付けて予めリズム・テンポ情報を記憶しておき、選択された演奏曲目に基づき該当するリズム・テンポ情報を抽出して送信する送信機能と、リズム・テンポ情報に従って演奏された音に時刻情報が関連付けされた音情報を受信し、時刻情報に基づき音情報を同期し、合成音に演奏曲目を関連付けして蓄積する音合成処理機能と、リズム・テンポ情報に従って演奏中の様子の映像に時刻情報が関連付けされた映像情報を受信し、時刻情報に基づき映像情報を同期し、合成映像に演奏曲目を関連付けして蓄積する映像合成処理機能と、選択された演奏曲目に応答して該演奏曲目の合成音に係る情報を抽出し配信する合成音情報配信機能と、選択された演奏曲目に応答して該演奏曲目の合成映像に係る情報を抽出し配信する合成映像情報配信機能と、を実行させることを特徴とする。本発明によれば、演奏者端末装置等からの要求に基づきリズム・テンポ情報を送信し、受信した音情報および映像情報を時刻情報に基づき自動的に同期して個別に蓄積し、顧客端末からの要求に応じて自動的に顧客端末に配信することができる。
【００３０】
また、サービス提供装置に読み込まれるプログラムを記録した記録媒体は、リズム・テンポ情報に従って演奏された音に時刻情報が関連付けされた音情報を受信し、時刻情報に基づき音情報を同期し、合成音に演奏曲目を関連付けして蓄積する音合成処理機能と、リズム・テンポ情報に従って演奏中の様子の映像に時刻情報が関連付けされた映像情報を受信し、時刻情報に基づき映像情報を同期し、合成映像に演奏曲目を関連付けして蓄積する映像合成処理機能と、選択された演奏曲目に応答して該演奏曲目の合成音に係る情報を抽出し配信する合成音情報配信機能と、選択された演奏曲目に応答して該演奏曲目の合成映像に係る情報を抽出し配信する合成映像情報配信機能と、を実行させることを特徴とする。本発明によれば、受信した音情報および映像情報を時刻情報に基づき自動的に同期して個別に蓄積し、顧客端末からの要求に応じて自動的に顧客端末に配信機能を実行することができるプログラムを記録媒体に記録しているため、この記憶媒体を用いてその流通性を高めることができる。
【００３１】
【発明の実施の形態】
以下、本実施形態において、音・映像同期合成配信方法を実現するための音・映像集信同期合成システムの一例について、図１〜図６を用いて説明する。
【００３２】
図１は、音・映像同期合成配信システム１の概略構成を示す図である。本図に示す音・映像集信同期合成システム１は、基本的に、サービス提供装置２と複数の演奏者端末用装置３とがインターネット網等の通信回線４を介して通信可能に構成され、サービス提供装置２から通信回線４を介して顧客端末５に音・映像情報を提供可能に構成される。
【００３３】
上記サービス提供装置２は、リズム・テンポサーバ６と、音合成サーバ７と、映像合成サーバ８と、これらの各サーバ６，７，８を管理する管理サーバ９と、を備える。
【００３４】
図２は、演奏者端末用装置３の基本的な構成を示す図であり、リズム・テンポ情報記憶手段１０と、リズム・テンポ情報出力手段１１と、音情報入力処理手段１２と、映像情報入力処理手段１３と、音情報送信手段１４と、映像情報送信手段１５と、から構成される。
【００３５】
リズム・テンポ情報記憶手段１０は、演奏曲の時刻情報ａを含むリズム・テンポ情報を記憶するものであり、サービス提供装置２のリズム・テンポサーバ６に予め蓄積されたリズム・テンポ情報を演奏者の要求に基づき通信回線４を介してダウンロードにより受信した後、記憶するものである。リズム・テンポ情報は、演奏者が演奏を行う際に演奏曲のリズムおよびテンポの基準となる情報に時刻情報を付加した情報であり、例えば、予め決められた演奏曲の速度に従って音符が点滅するように構成された楽譜あるいは指揮者の映像と伴奏音とを組み合わせた情報等を適用した。
【００３６】
リズム・テンポ情報出力手段１１は、演奏者が実際に演奏を行う際、演奏者の演奏曲目の選択に応じてリズム・テンポ情報記憶手段１０から該当する演奏曲目のリズム・テンポ情報を抽出後出力するものであり、少なくとも、音声または画面表示のいずれかにより出力を行うものである。
【００３７】
音情報入力処理手段１２は、出力されたリズム・テンポ情報に従って演奏者の演奏音を入力し、入力された演奏音に時刻情報ａを関連付けして音情報として記憶し、必要に応じて音声入力された順、すなわち、時刻情報の早い順に従って音情報の圧縮等を行うものであり、音声入力として、例えばマイクを用いた。
【００３８】
映像情報入力手段１３は、音情報入力手段１２と略同様に、出力されたリズム・テンポ情報に従って、演奏者の演奏中の映像を入力し、入力された映像に時刻情報ａを関連付けして映像情報として記憶し、必要に応じて圧縮などを行うものであり、映像入力として、例えばカメラなどを用いた。
【００３９】
音情報送信手段１４および映像情報送信手段１５は、通信回線４を介して入力された音情報および映像情報をサービス提供装置２の音合成サーバ７および映像合成サーバ８に各々送信するものである。
【００４０】
上記構成の演奏者端末用装置３における音情報の記憶について、図３を用いて詳述する。図３に示すように、サービス提供装置２からリズム・テンポ情報をダウンロードした後（Ｓｔ１０１）、リズム・テンポ情報を保存する（Ｓｔ１０２）。リズム・テンポ情報の再生を開始し（Ｓｔ１０３）、演奏者による演奏の開始により演奏曲の録音が開始される（Ｓｔ１０４）。すると、リズム・テンポ情報が入力された演奏音とともに、００：００：００１、００：００：００２、００：００：００３、００：００：００４のように順次、音に時刻情報が関連付けられ音情報として録音される。リズム・テンポ情報の停止とともに（Ｓｔ１０５）、演奏が終了し、録音された音が時刻情報に関連付けされて音情報として蓄積され（Ｓｔ１０６）、その後、サーバ提供装置２の音合成サーバ７に送信される。
【００４１】
次に、サービス提供装置２について説明する。サービス提供装置２は、上述したように、リズム・テンポ情報記憶手段としてのリズム・テンポサーバ６と、音合成処理手段としての音合成サーバ７と、映像合成処理手段としての映像合成サーバ８と、管理サーバ９と、を備える。
【００４２】
リズム・テンポサーバ６は、複数の演奏曲に関する時刻情報ａを含むリズム・テンポ情報を蓄積している。なお、リズム・テンポ情報は、演奏者端末装置３に送信される前述したリズム・テンポ情報と同様のものである。
【００４３】
管理サーバ９は、図示しないが、サービス提供者と顧客との間で、サービス提供の契約を行った顧客の個人情報を管理した顧客情報データベースと、各サーバの管理を行う制御手段と、を備える。制御手段は、演奏者端末装置３から演奏曲目が選択されたときに、選択された演奏曲目に該当するリズム・テンポ情報をリズム・テンポサーバ６から抽出し、演奏者端末装置３に送信するものである。また、制御手段では、顧客端末５からのアクセスに基づき顧客情報データベースを参照して顧客の個人認証を行い、認証された顧客から演奏曲目が選択されたときに、後述する音合成サーバ７および映像合成サーバ８から該当する演奏曲目の合成音および合成映像を抽出して、顧客端末に合成音および合成映像を配信処理し、サービス提供にあたり各サーバ６，７，８を管理するものである。
【００４４】
以下、図４を用いて音合成サーバ７および映像合成サーバ８について詳述する。
【００４５】
音合成処理手段としての音合成サーバ７は、基本的に、受信手段（ストリーミング受信）１６と、音情報合成手段１７と、配信手段（ストリーミング配信）１８と、音情報データベース１９および合成音データベース２０とから構成される。本音合成サーバ７では、受信手段１６から時刻情報ａを関連付けした音情報を受信した後、音情報が圧縮されている場合には音情報を解凍し、解凍後に音情報を音情報データベース１９に蓄積する。次に、音情報合成手段１７により時刻情報ａに基づき音情報を合成し、合成音、つまり、演奏曲を演奏曲目に関連付けをして合成音データベース２０に蓄積して管理し、顧客端末５から演奏曲目が選択されたときに、該当する演奏曲目の演奏曲を配信手段１８から配信する。
【００４６】
また、映像合成処理手段としての映像合成サーバ８は、基本的に、受信手段（ストリーミング受信）２１と、映像情報合成手段２２と、配信手段（ストリーミング配信）２３と、映像情報データベース２４および合成映像データベース２５とから構成される。本映像合成サーバ８では、受信手段から時刻情報ａを関連付けした映像情報を受信した後、映像情報が圧縮されている場合には映像情報を解凍し、解凍後に映像情報を映像情報データベース２４に蓄積する。次に、映像情報合成手段２２により時刻情報ａに基づき映像情報を合成し、合成映像、つまり、演奏中の映像を演奏曲目に関連付けをして合成映像データベース２４に蓄積して管理し、顧客端末５から演奏曲目が選択されたときに、該当する演奏中の映像を配信手段２３から配信する。
【００４７】
図５は、音合成サーバ７において行われる音合成を説明する図である。本図に示すように、例えば、音合成サーバ７が、図５（ａ）に示すように、各地点に設けられた演奏者端末装置Ａ、演奏者端末装置Ｂ、演奏者端末装置Ｃから時刻情報ａを関連付けした音情報を受信すると、時刻情報ａ（００：００：０１、００：００：０２）が一致する音同士を一致させて同期を行い、各演奏者端末装置Ａ〜Ｃから送信された音が、図５（ｂ）に示すように合成される。例えば、演奏者端末装置Ａではバイオリン奏者による演奏音、演奏者端末装置Ｂではコントラバス奏者による演奏音、演奏者端末装置Ｃではピアノ奏者による演奏音が入力された場合には、音合成サーバ７において、時刻情報ａに基づきバイオリン、コントラバスおよびピアノの各演奏音を合成し三重奏の演奏曲が完成する。
【００４８】
映像合成サーバ８においても、上述した音合成サーバ７と同様に時刻情報ａに基づき映像情報が合成され、演奏者端末装置ＡからＣまでの各地点から入力されたバイオリン奏者、コントラバス奏者およびピアノ奏者による演奏中の映像が合成され、あたかも同一の場所において演奏したかのように映像が合成される。
【００４９】
上記構成を有する演奏者端末用装置３およびサービス提供装置２を用いて、顧客端末５に音情報および映像情報を配信する方法の手順について、図６を用いて説明する。本図に示すように、まず、サービス提供者と顧客との間でサービス提供の契約を行い、サービス提供装置２において、契約を行った顧客をデータベース化して顧客情報の登録を行う（Ｓｔ３０１）。また、実際に演奏曲を提供する演奏者と、サービス提供者との間で演奏曲の登録契約を行う。契約が成立した場合に、サービス提供装置２からスタジオ予約表が演奏者端末用装置に送信され、演奏者は、演奏者端末用装置が設置されているスタジオ予約が可能となり、使用するスタジオの場所、演奏日時および演奏曲目の予約を行う。
【００５０】
サービス提供装置２は、予約されたスタジオの演奏者端末用装置２に、予約演奏曲目に基づきリズム・テンポ情報を抽出し、抽出したリズム・テンポ情報を演奏者端末装置３に配信する（Ｓｔ３０２）。
【００５１】
演奏者端末装置２は、リズム・テンポ情報がダウンロードされた後、蓄積される（Ｓｔ２０１）。なお、複数人で共同して演奏を行う場合であっても、使用するスタジオを一人が予約すれば、各地に設置された演奏者端末用装置に同一のリズム・テンポ情報がダウンロードされて蓄積されるようになっている。
【００５２】
予約された演奏日時に、演奏者は演奏者端末用装置にリズム・テンポ情報の出力要求を行うと、リズム・テンポ情報が出力される（Ｓｔ２０２）。リズム・テンポ情報の再生により、演奏者端末用装置の表示画面には演奏曲目の楽譜が表示され、予め決められた速度によって音符が点滅する。表示画面に表示された音符が点滅する速度に従って演奏者は演奏を開始し、演奏音および演奏中の映像が演奏者端末装置３にそれぞれ入力される（Ｓｔ２０３）。入力された音および映像には時刻情報ａが関連付けされて、音情報および映像情報が記憶される（Ｓｔ２０４）。記憶された音情報および映像情報は、暗号化されてサービス提供装置２に送信される（Ｓｔ２０５）。
【００５３】
サービス提供装置２では、異なる複数の場所で録音・録画された音情報および映像情報を受信し（Ｓｔ３０３）、音情報および映像情報に関連付けされた時刻情報ａに基づき同期を行い（Ｓｔ３０４）、それぞれ演奏曲目に関連付けして合成音データベースおよび合成映像データベースにより蓄積管理（Ｓｔ３０５）している。
【００５４】
顧客端末５からサービス提供の要求が行われると、サービス提供装置２は、顧客情報データベースを参照して顧客の個人認証を行い（Ｓｔ３０６）、サービス提供可能な演奏曲番組一覧を顧客端末５に送信する。演奏曲番組一覧は、顧客端末５の表示画面に表示され、顧客が画面の演奏曲目を触れると演奏曲目が選択される（Ｓｔ４０１）。演奏曲目が選択されると、演奏曲目がサービス提供装置２に送信される。さらに、サービス提供装置２は、選択された演奏曲目に基づき合成音データベース２０および合成映像データベース２５から合成音および合成映像を抽出して、顧客端末５に個別に配信する。
【００５５】
顧客端末５は、配信される合成音および合成映像をダウンロードした後、時刻情報ａに基づき合成音と合成映像とが同期され（Ｓｔ４０２）、顧客端末５にて合成音および合成映像が出力され（Ｓｔ４０３）、顧客端末５において演奏曲と演奏中の映像とが同時に再生される。
【００５６】
従って、本実施形態によれば、音合成サーバおよび映像合成サーバが受信した複数の音・映像情報を時刻情報に基づき同期し、あたかも同一地点で発生した同一時期の演奏のように再構築される。そして、合成された各々音情報および映像情報は、顧客端末に配信されて時刻情報に基づき同期されて音楽番組が完成することから、複数地点にて複数演奏者により演奏された場合であっても、あたかも同一場所および同時間に演奏したかのような音楽番組を顧客端末に提供することができる。また、受信手段および配信手段は、それぞれストリーミング受信およびストリーミング配信されるため、コンサートの音楽番組などをほぼリアルタイムに顧客端末に送信することも可能である。
【００５７】
また、本実施形態の音・映像集信同期合成方法の処理手順をプログラムとして例えばＣＤやＦＤなどの記憶媒体に記憶して、この記憶媒体を演奏者端末用装置やサービス提供装置に組み込んだり、または、通信回線を介して記憶媒体に記録されたプログラムをコンピュータにダウンロードしたり、または記憶媒体からインストールし、該プログラムでコンピュータシステムを作動させることにより、音・映像集信同期合成方法を実施する音・映像集信同期合成システムとして機能させることができることはもちろんであり、このような記憶媒体を用いることにより、その流通性を高めることができるものである。
【００５８】
なお、本実施形態においては、複数の地点にて演奏者が演奏を行う場合に、演奏音および演奏風景を合成して顧客に音楽番組として、音情報および映像情報を配信して提供するものであるが、本発明はこのような実施形態に限定されるものではなく、複数の地点から配信される音情報および映像情報を時刻情報に基づいて同期し、同期した合成音および合成映像を顧客に配信するサービスに利用可能である。
【００５９】
【発明の効果】
以上説明したように、本発明の音・映像同期合成方法よれば、複数の演奏者が遠隔地にそれぞれ存在する場合においても、時刻情報に基づき音情報および映像情報を同期して顧客端末に配信することにより、インターネット等の公衆回線を利用した場合においても、ずれ等を防止した高品質の音楽番組を提供でき、さらにコンサートなどの音楽番組をほぼリアルタイムに顧客に提供することができる。
【図面の簡単な説明】
【図１】本実施形態における、音・映像同期合成方法を実現する音・映像同期合成システムの概略構成図。
【図２】本実施形態における、演奏者端末用装置の基本的な構成を示す図。
【図３】本実施形態の演奏者端末用装置における音情報の合成を説明する図。
【図４】本実施形態における、音合成サーバおよび映像合成サーバの基本的な構成を示す図。
【図５】本実施形態における、音合成サーバでの音合成の流れを示す説明図。
【図６】本実施形態における、音情報および映像情報を配信する方法を説明する手順図。
【符号の説明】
１…音・映像同期合成配信システム，２…サービス提供装置，３…演奏者端末用装置，４…通信回線，５…顧客端末，６…リズム・テンポサーバ，７…音合成サーバ，８…映像合成サーバ，９…管理サーバ，１０…リズム・テンポ情報記憶手段，１１…リズム・テンポ情報出力手段，１２…音情報入力処理手段，１３…映像情報入力処理手段，１４…音情報送信手段，１５…映像情報送信手段，１６…受信手段，１７…音情報合成手段，１８…配信手段，１９…音情報データベース，２０…合成音データベース，２１…受信手段，２２…映像情報合成手段，２３…配信手段，２４…映像情報データベース，２５…合成映像データベース，
ａ…時刻情報，
【発明の属する技術分野】
本発明は、インターネットなどのパケット通信網を使用し、複数の地点で録音および録画した音情報および映像情報を集信同期し、顧客に演奏曲の音・映像情報を配信する音・映像同期合成配信方法、演奏者端末用装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体並びに、サービス提供装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
コンサートに代表される音情報と映像情報とから成る情報を一般家庭などの顧客端末に配信して、あらゆる音楽ジャンルのコンサートなどの音楽番組を多数の顧客に配信提供するサービスが近年存在する。
【０００３】
このようなサービスでは、遠隔地点のコンサート会場にて行われたコンサートの音および映像をリアルタイムに顧客端末に配信するか、あるいは、コンサートの音および映像を予め録画・録音したものを多数の顧客端末に配信するという方法により、音楽番組の提供が行われていた。すなわち、同一地点にて入力された音および映像を配信し、音楽番組を提供するものであった。
【０００４】
また、従来の配信方法を改良して、ネットワークを介して異なる複数地点にて演奏された音・映像を送信処理して、あたかも同一地点において演奏された音・映像であるかのように音楽番組を顧客に配信する方法も開発されており、本方法は、音および映像情報の遅延時間が予め予測可能な専用回線を使用して実現されていた。
【０００５】
【発明が解決しようとする課題】
しかしながら、インターネットを代表とするパケット通信回線等の公衆回線を利用して演奏者が各演奏地点から音・映像を送信する場合には、使用した回線に応じて回線の速度が異なり、また、送信時の時間帯に応じても各回線の遅延速度は刻々と変動するため回線の遅延時間の予測は困難であり、この結果、パケット通信回線を使用した音・映像の配信方法は現段階において実現されていなかった。
【０００６】
また、多地点にて演奏された多種類の楽器などにより演奏された音・映像を予め合成して顧客端末に配信すると、回線の利用により発生する音と映像とのずれが生じるだけでなく、演奏者同士の演奏の速さ・リズムが各々異なる可能性があるため、たとえ演奏者が同時刻に演奏を開始した場合であっても演奏音および演奏映像のずれが発生し、ずれの発生に起因して音および映像が途切れてしまい、顧客端末にずれの無い音・映像を配信することは困難であり、この結果、音・映像情報のずれを防止した質の高い音楽番組を顧客に提供することができないという問題を有していた。
【０００７】
本発明は、上記問題を解決するためのものであり、多地点から送信される音情報および映像情報を正確に合成して、ネットワークの送信遅延に起因したずれの発生を防止し、高品質の音楽番組を配信する音・映像同期合成配信方法を提供することを目的とする。
【０００８】
また、上記音・映像集信同期合成配信方法を実現するための演奏者端末用装置本装置用プログラムおよび該プログラムを記録した記録媒体並びにサービス提供装置、本装置用プログラムおよび該プログラムを記録した記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を解決するために、演奏者が演奏する音および映像を入力する際に、時刻情報を含むリズム・テンポ情報に従って演奏を行い、入力した音および映像にリズム・テンポ情報の時刻情報を関連付けして音情報および映像情報とし、これらの情報をサービス提供装置に送信することにより、サービス提供装置では、複数の地点から送信された音情報および映像情報が時刻情報に基づきそれぞれ同期される。さらに、合成音および合成映像を個別に蓄積し、顧客端末からの要求に応じて合成音および合成映像を配信することにより、音および映像のずれを防止し、高品質の音楽番組を顧客に提供するものである。
【００１０】
すなわち、本発明は、複数の地点にある演奏者側の演奏者端末用装置から送信される音および映像に係る情報をサービス提供者側のサービス提供装置より顧客に配信する音・映像同期合成配信方法であって、演奏者端末用装置は、時刻情報を含むリズム・テンポ情報に従って演奏される演奏者の演奏音および演奏中の様子をそれぞれ音および映像に係る情報として時刻情報を関連付けて記憶するとともに、音および映像に係る情報を前記サービス提供装置に送信し、サービス提供装置は、受信した音情報および映像情報を時刻情報に基づき同期を行い、合成音および合成映像に係る情報を演奏曲目に関連付けして蓄積し、演奏曲目が選択されたときに、該演奏曲目に係る合成音および合成映像に係る情報を抽出して配信することを特徴とする。本発明によれば、複数の地点において個別に演奏された場合であっても、サービス提供装置において時刻情報に基づき同期されるため、音および映像のずれを防止でき、あたかも同一地点にて演奏したかのような音楽番組を提供することができる。
【００１１】
また、上記音・映像同期合成配信方法において、時刻情報は、演奏曲の全演奏時間を一定間隔により分割したものである。本発明において、一定間隔は任意に決定できるものであるが、この一定間隔を短時間とすれば、時刻情報に基づく同期をより一層高精度とすることができる。
【００１２】
さらに、上記音・映像同期合成配信方法において、リズム・テンポ情報は、予め決められた演奏曲の速度に従って音符が点滅するように構成された楽譜あるいは指揮者の映像と伴奏音とから成る情報であることが望ましい。本発明によれば、演奏者が容易にリズム・テンポ情報にあわせて演奏を行うことができる。
【００１３】
上記音・映像同期合成配信方法において、リズム・テンポ情報は、演奏曲目と関連付けして予めサービス提供装置のリズム・テンポ情報記憶手段に蓄積されており、サービス提供装置が、演奏曲目に基づきリズム・テンポ情報記憶手段から該演奏曲目に係るリズム・テンポ情報を抽出して演奏者端末用装置に送信し、演奏者端末用装置は、受信したリズム・テンポ情報を記憶するものであることが望ましい。本発明によれば、演奏を行う際の基準となるリズム・テンポ情報をサービス提供装置で一括して管理することができる。
【００１４】
上記音・映像同期合成配信方法において、サービス提供装置は、顧客とサービス提供者との間においてサービス提供契約をした顧客に関する情報を顧客情報として予め顧客情報記憶手段に記憶しておき、前記顧客情報記憶手段を参照して顧客が認証された場合に、演奏曲目一覧を送信し、演奏曲目の選択を促すことが望ましい。本発明によれば、予め契約を行った顧客に対してのみサービスの提供を行うことにより、サービス料等による利益を得られるだけでなく、セキュリティーの安全性を高めることができる。
【００１５】
本発明の演奏者端末用装置は、時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶するリズム・テンポ情報記憶手段と、選択された演奏曲目に基づきリズム・テンポ情報を抽出して出力するリズム・テンポ情報出力手段と、このリズム・テンポ情報出力手段から出力されたリズム・テンポ情報に従って演奏される演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理手段と、前記リズム・テンポ情報に従って演奏される演奏者の演奏中の映像を映像情報として時刻情報を関連付けて記憶する映像情報入力処理手段と、時刻情報が関連付けされた音情報を送信する音情報送信手段と、時刻情報が関連付けされた映像情報を送信する映像情報送信手段と、を備えることを特徴とする。本発明の演奏者端末用装置をスタジオなどの複数の地点に設置し、複数人が個別に演奏した場合であっても、演奏者の演奏音および演奏映像に時刻情報を関連付けして送信することにより、サービス提供装置において時刻情報に基づき同期することができる。
【００１６】
本発明の演奏者端末用装置は、要求された演奏曲目に基づき時刻情報を含むリズム・テンポ情報の送信要求を行うリズム・テンポ情報送信要求手段と、演奏曲の時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶したリズム・テンポ情報記憶手段と、リズム・テンポ情報記憶手段から要求された演奏曲目に基づきリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力手段と、このリズム・テンポ情報出力手段から出力されたリズム・テンポ情報に従い演奏者の演奏音を入力し、入力された演奏音に前記リズム・テンポ情報の時刻情報を関連付けして音情報として記憶する音情報入力処理手段と、リズム・テンポ情報に従い、演奏者の演奏中の映像を入力し、入力された映像にリズム・テンポ情報の時刻情報を関連付けして映像情報として記憶する映像情報入力処理手段と、音情報入力処理手段により入力された音情報を送信する音情報送信手段と、映像情報入力処理手段により入力された映像情報を送信する映像情報送信手段と、を備えることを特徴とする。
【００１７】
本発明の演奏者端末用装置は、選択された演奏曲目に基づき時刻情報を含むリズム・テンポ情報の送信要求を行うリズム・テンポ情報送信要求手段と、時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶するリズム・テンポ情報記憶手段と、選択された演奏曲目に基づき前記リズム・テンポ情報記憶手段を参照してリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力手段と、このリズム・テンポ情報出力手段から出力されたリズム・テンポ情報に従って演奏される演奏者の演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理手段と、前記リズム・テンポ情報に従って演奏される演奏中の様子を映像情報として時刻情報を関連付けして記憶する映像情報入力処理手段と、時刻情報を関連付けした音情報を送信する音情報送信手段と、時刻情報を関連付けした映像情報を送信する映像情報送信手段と、を備えることを特徴とする。本発明によれば、演奏を行う際の基準となるリズム・テンポ情報がサービス提供装置において一括して管理されている場合に、リズム・テンポ情報をダウンロードしてリズム・テンポ情報に従って演奏できるようにしたものである。
【００１８】
上記演奏者端末用装置において、時刻情報は、演奏曲の全演奏時間を一定間隔により分割したものであり、入力された音および映像に係る情報にリズム・テンポ情報の時刻情報を一致させて関連付けが行われることを特徴とする。本発明において、一定間隔は任意に決定できるものであるが、この一定間隔を短時間とすれば、時刻情報に基づく同期をより一層高精度とすることができる。
【００１９】
上記演奏者端末用装置において、リズム・テンポ情報出力手段は、少なくとも音声または画面表示のいずれかにより出力を行うことが望ましい。本発明のように、リズム・テンポ情報を音声や画面表示あるいはこれらの組み合わせて出力することにより、演奏者が容易にリズム・テンポ情報にあわせて演奏することができる。
【００２０】
本発明の演奏者端末用装置に読み込まれるプログラムは、時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶しておき、選択された演奏曲目に基づきリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力機能と、このリズム・テンポ情報出力機能により出力されたリズム・テンポ情報に従って演奏される演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理機能と、前記リズム・テンポ情報に従って演奏される演奏者の演奏中の映像を映像情報として時刻情報を関連付けて記憶する映像情報入力処理機能と、時刻情報が関連付けされた音情報を送信する音情報送信機能と、時刻情報が関連付けされた映像情報を送信する映像情報送信機能と、を実行させることを特徴とする。本発明によれば、演奏者端末用装置に入力された演奏者による音および映像に時刻情報を関連付けて自動的にサービス提供装置に配信することができる。
【００２１】
本発明の演奏者端末用装置に読み込まれるプログラムは、選択された演奏曲目に基づき該演奏曲目の時刻情報を含むリズム・テンポ情報の送信要求を行うリズム・テンポ情報送信要求機能と、演奏曲の時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶するリズム・テンポ情報記憶機能と、選択された演奏曲目に基づきリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力機能と、このリズム・テンポ情報出力機能により出力されたリズム・テンポ情報に従って演奏される演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理機能と、前記リズム・テンポ情報に従って演奏される演奏者の演奏中の映像を映像情報として時刻情報を関連付けて記憶する映像情報入力処理機能と、時刻情報が関連付けされた前記音情報を送信する音情報送信機能と、時刻情報が関連付けされた前記映像情報を送信する映像情報送信機能と、を実行させることを特徴とする。本発明によれば、演奏者端末用装置に入力された演奏者による音および映像に時刻情報を関連付けて自動的にサービス提供装置に配信することができる。
【００２２】
さらに、演奏者端末用装置に読み込まれるプログラムを記録した記録媒体は、選択された演奏曲目に基づき時刻情報を含むリズム・テンポ情報の送信要求を行うリズム・テンポ情報送信要求機能と、演奏曲の時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶するリズム・テンポ情報記憶機能と、選択された演奏曲目に基づきリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力機能と、このリズム・テンポ情報出力機能により出力されたリズム・テンポ情報に従って演奏される演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理機能と、前記リズム・テンポ情報に従って演奏される演奏者の演奏中の映像を映像情報として時刻情報を関連付けて記憶する映像情報入力処理機能と、時刻情報が関連付けされた前記音情報を送信する音情報送信機能と、時刻情報が関連付けされた前記映像情報を送信する映像情報送信機能と、を実行させることを特徴とする。本発明によれば、入力された音および映像に時刻情報を関連付けして記憶し自動的に配信する機能を実行することができるプログラムを記録媒体に記録しているため、この記憶媒体を用いてその流通性を高めることができる。
【００２３】
また、演奏者端末用装置に読み込まれるプログラムを記録した記録媒体は、選択された演奏曲目に基づき時刻情報を含むリズム・テンポ情報の送信要求を行うリズム・テンポ情報送信要求機能と、演奏曲の時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶するリズム・テンポ情報記憶機能と、選択された演奏曲目に基づきリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力機能と、このリズム・テンポ情報出力機能により出力されたリズム・テンポ情報に従って演奏される演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理機能と、前記リズム・テンポ情報に従って演奏される演奏者の演奏中の映像を映像情報として時刻情報を関連付けて記憶する映像情報入力処理機能と、時刻情報が関連付けされた前記音情報を送信する音情報送信機能と、時刻情報が関連付けされた前記映像情報を送信する映像情報送信機能と、を実行させることを特徴とする。本発明によれば、リズム・テンポ情報の送信要求を行い、入力された音および映像に時刻情報を関連付けして記憶し自動的に配信する機能を実行することができるプログラムを記録媒体に記録しているため、この記憶媒体を用いてその流通性を高めることができる。
【００２４】
本発明のサービス提供装置は、リズム・テンポ情報に従って演奏された音に時刻情報が関連付けされた音情報を受信し、時刻情報に基づき音情報を同期し、合成音に演奏曲目を関連付けして蓄積する音合成処理手段と、リズム・テンポ情報に従って演奏中の様子の映像に時刻情報が関連付けされた映像情報を受信し、時刻情報に基づき映像情報を同期し、合成映像に演奏曲目を関連付けして蓄積する映像合成処理手段と、選択された演奏曲目に応答して前記音合成処理手段から該演奏曲目の合成音に係る情報を抽出し配信する合成音情報配信手段と、選択された演奏曲目に応答して前記映像合成処理手段から該演奏曲目の合成映像に係る情報を抽出し配信する合成映像情報配信手段と、を備えたことを特徴とする。本発明によれば、複数地点から送信された音情報および映像情報を時刻情報に基づき同期したため、音および映像のずれを防止できる。
【００２５】
本発明のサービス提供装置は、時刻情報を含むリズム・テンポ情報を演奏曲目に関連付けて予め記憶したリズム・テンポ情報記憶手段と、演奏曲目の選択に基づき該当するリズム・テンポ情報を抽出して送信する送信手段と、時刻情報が関連付けされた音情報を受信し、時刻情報に基づき音情報を同期し、合成音に演奏曲目を関連付けして蓄積する音合成処理手段と、時刻情報が関連付けされた映像情報を受信し、時刻情報に基づき映像情報を同期し、合成映像に演奏曲目を関連付けして蓄積する映像合成処理手段と、選択された演奏曲目に応答して前記音合成処理手段から該演奏曲目の合成音に係る情報を抽出し配信する合成音情報配信手段と、選択された演奏曲目に応答して前記映像合成処理手段から該演奏曲目の合成映像に係る情報を抽出し配信する合成映像情報配信手段と、を備えたことを特徴とする。本発明によれば、演奏を行う際の基準となるリズム・テンポ情報をサーバ提供装置にて一括して管理することができる。
【００２６】
上記サービス提供装置において、時刻情報は、演奏曲の全演奏時間を一定間隔により分割したものであり、入力した音および映像にリズム・テンポ情報の時刻情報を一致させて関連付けが行われるものである。
【００２７】
上記サービス提供装置において、さらに、サービス提供者の許可により顧客とサービス提供者との間においてサービス提供契約をした顧客に関する情報を顧客情報として予め記憶した顧客情報記憶手段と、サービス提供可能な演奏曲目リストを予め記憶した演奏曲目リスト記憶手段と、要求に応じて前記顧客情報記憶手段を参照して顧客が認証された場合に、前記演奏曲目リスト記憶手段から演奏曲目リストを抽出して送信する演奏曲目リスト送信手段と、を備えたことを特徴とする。本発明によれば、予め契約を行った顧客に対してのみサービスの提供を行うことにより、サービス料等による利益を得られるだけでなくセキュリティーの安全性を高めることができる。
【００２８】
サービス提供装置に読み込まれるプログラムは、リズム・テンポ情報に従って演奏された音に時刻情報が関連付けされた音情報を受信し、時刻情報に基づき音情報を同期し、合成音に演奏曲目を関連付けして蓄積する音合成処理機能と、リズム・テンポ情報に従って演奏中の様子の映像に時刻情報が関連付けされた映像情報を受信し、時刻情報に基づき映像情報を同期し、合成映像に演奏曲目を関連付けして蓄積する映像合成処理機能と、選択された演奏曲目に応答して該演奏曲目の合成音に係る情報を抽出し配信する合成音情報配信機能と、選択された演奏曲目に応答して該演奏曲目の合成映像に係る情報を抽出し配信する合成映像情報配信機能と、を実行させることを特徴とする。本発明によれば、受信した音情報および映像情報を時刻情報に基づき自動的に同期して個別に蓄積し、顧客端末からの要求に応じて自動的に顧客端末に配信することができる。
【００２９】
サービス提供装置に読み込まれるプログラムは、時刻情報を含むリズム・テンポ情報を演奏曲目に関連付けて予めリズム・テンポ情報を記憶しておき、選択された演奏曲目に基づき該当するリズム・テンポ情報を抽出して送信する送信機能と、リズム・テンポ情報に従って演奏された音に時刻情報が関連付けされた音情報を受信し、時刻情報に基づき音情報を同期し、合成音に演奏曲目を関連付けして蓄積する音合成処理機能と、リズム・テンポ情報に従って演奏中の様子の映像に時刻情報が関連付けされた映像情報を受信し、時刻情報に基づき映像情報を同期し、合成映像に演奏曲目を関連付けして蓄積する映像合成処理機能と、選択された演奏曲目に応答して該演奏曲目の合成音に係る情報を抽出し配信する合成音情報配信機能と、選択された演奏曲目に応答して該演奏曲目の合成映像に係る情報を抽出し配信する合成映像情報配信機能と、を実行させることを特徴とする。本発明によれば、演奏者端末装置等からの要求に基づきリズム・テンポ情報を送信し、受信した音情報および映像情報を時刻情報に基づき自動的に同期して個別に蓄積し、顧客端末からの要求に応じて自動的に顧客端末に配信することができる。
【００３０】
また、サービス提供装置に読み込まれるプログラムを記録した記録媒体は、リズム・テンポ情報に従って演奏された音に時刻情報が関連付けされた音情報を受信し、時刻情報に基づき音情報を同期し、合成音に演奏曲目を関連付けして蓄積する音合成処理機能と、リズム・テンポ情報に従って演奏中の様子の映像に時刻情報が関連付けされた映像情報を受信し、時刻情報に基づき映像情報を同期し、合成映像に演奏曲目を関連付けして蓄積する映像合成処理機能と、選択された演奏曲目に応答して該演奏曲目の合成音に係る情報を抽出し配信する合成音情報配信機能と、選択された演奏曲目に応答して該演奏曲目の合成映像に係る情報を抽出し配信する合成映像情報配信機能と、を実行させることを特徴とする。本発明によれば、受信した音情報および映像情報を時刻情報に基づき自動的に同期して個別に蓄積し、顧客端末からの要求に応じて自動的に顧客端末に配信機能を実行することができるプログラムを記録媒体に記録しているため、この記憶媒体を用いてその流通性を高めることができる。
【００３１】
【発明の実施の形態】
以下、本実施形態において、音・映像同期合成配信方法を実現するための音・映像集信同期合成システムの一例について、図１〜図６を用いて説明する。
【００３２】
図１は、音・映像同期合成配信システム１の概略構成を示す図である。本図に示す音・映像集信同期合成システム１は、基本的に、サービス提供装置２と複数の演奏者端末用装置３とがインターネット網等の通信回線４を介して通信可能に構成され、サービス提供装置２から通信回線４を介して顧客端末５に音・映像情報を提供可能に構成される。
【００３３】
上記サービス提供装置２は、リズム・テンポサーバ６と、音合成サーバ７と、映像合成サーバ８と、これらの各サーバ６，７，８を管理する管理サーバ９と、を備える。
【００３４】
図２は、演奏者端末用装置３の基本的な構成を示す図であり、リズム・テンポ情報記憶手段１０と、リズム・テンポ情報出力手段１１と、音情報入力処理手段１２と、映像情報入力処理手段１３と、音情報送信手段１４と、映像情報送信手段１５と、から構成される。
【００３５】
リズム・テンポ情報記憶手段１０は、演奏曲の時刻情報ａを含むリズム・テンポ情報を記憶するものであり、サービス提供装置２のリズム・テンポサーバ６に予め蓄積されたリズム・テンポ情報を演奏者の要求に基づき通信回線４を介してダウンロードにより受信した後、記憶するものである。リズム・テンポ情報は、演奏者が演奏を行う際に演奏曲のリズムおよびテンポの基準となる情報に時刻情報を付加した情報であり、例えば、予め決められた演奏曲の速度に従って音符が点滅するように構成された楽譜あるいは指揮者の映像と伴奏音とを組み合わせた情報等を適用した。
【００３６】
リズム・テンポ情報出力手段１１は、演奏者が実際に演奏を行う際、演奏者の演奏曲目の選択に応じてリズム・テンポ情報記憶手段１０から該当する演奏曲目のリズム・テンポ情報を抽出後出力するものであり、少なくとも、音声または画面表示のいずれかにより出力を行うものである。
【００３７】
音情報入力処理手段１２は、出力されたリズム・テンポ情報に従って演奏者の演奏音を入力し、入力された演奏音に時刻情報ａを関連付けして音情報として記憶し、必要に応じて音声入力された順、すなわち、時刻情報の早い順に従って音情報の圧縮等を行うものであり、音声入力として、例えばマイクを用いた。
【００３８】
映像情報入力手段１３は、音情報入力手段１２と略同様に、出力されたリズム・テンポ情報に従って、演奏者の演奏中の映像を入力し、入力された映像に時刻情報ａを関連付けして映像情報として記憶し、必要に応じて圧縮などを行うものであり、映像入力として、例えばカメラなどを用いた。
【００３９】
音情報送信手段１４および映像情報送信手段１５は、通信回線４を介して入力された音情報および映像情報をサービス提供装置２の音合成サーバ７および映像合成サーバ８に各々送信するものである。
【００４０】
上記構成の演奏者端末用装置３における音情報の記憶について、図３を用いて詳述する。図３に示すように、サービス提供装置２からリズム・テンポ情報をダウンロードした後（Ｓｔ１０１）、リズム・テンポ情報を保存する（Ｓｔ１０２）。リズム・テンポ情報の再生を開始し（Ｓｔ１０３）、演奏者による演奏の開始により演奏曲の録音が開始される（Ｓｔ１０４）。すると、リズム・テンポ情報が入力された演奏音とともに、００：００：００１、００：００：００２、００：００：００３、００：００：００４のように順次、音に時刻情報が関連付けられ音情報として録音される。リズム・テンポ情報の停止とともに（Ｓｔ１０５）、演奏が終了し、録音された音が時刻情報に関連付けされて音情報として蓄積され（Ｓｔ１０６）、その後、サーバ提供装置２の音合成サーバ７に送信される。
【００４１】
次に、サービス提供装置２について説明する。サービス提供装置２は、上述したように、リズム・テンポ情報記憶手段としてのリズム・テンポサーバ６と、音合成処理手段としての音合成サーバ７と、映像合成処理手段としての映像合成サーバ８と、管理サーバ９と、を備える。
【００４２】
リズム・テンポサーバ６は、複数の演奏曲に関する時刻情報ａを含むリズム・テンポ情報を蓄積している。なお、リズム・テンポ情報は、演奏者端末装置３に送信される前述したリズム・テンポ情報と同様のものである。
【００４３】
管理サーバ９は、図示しないが、サービス提供者と顧客との間で、サービス提供の契約を行った顧客の個人情報を管理した顧客情報データベースと、各サーバの管理を行う制御手段と、を備える。制御手段は、演奏者端末装置３から演奏曲目が選択されたときに、選択された演奏曲目に該当するリズム・テンポ情報をリズム・テンポサーバ６から抽出し、演奏者端末装置３に送信するものである。また、制御手段では、顧客端末５からのアクセスに基づき顧客情報データベースを参照して顧客の個人認証を行い、認証された顧客から演奏曲目が選択されたときに、後述する音合成サーバ７および映像合成サーバ８から該当する演奏曲目の合成音および合成映像を抽出して、顧客端末に合成音および合成映像を配信処理し、サービス提供にあたり各サーバ６，７，８を管理するものである。
【００４４】
以下、図４を用いて音合成サーバ７および映像合成サーバ８について詳述する。
【００４５】
音合成処理手段としての音合成サーバ７は、基本的に、受信手段（ストリーミング受信）１６と、音情報合成手段１７と、配信手段（ストリーミング配信）１８と、音情報データベース１９および合成音データベース２０とから構成される。本音合成サーバ７では、受信手段１６から時刻情報ａを関連付けした音情報を受信した後、音情報が圧縮されている場合には音情報を解凍し、解凍後に音情報を音情報データベース１９に蓄積する。次に、音情報合成手段１７により時刻情報ａに基づき音情報を合成し、合成音、つまり、演奏曲を演奏曲目に関連付けをして合成音データベース２０に蓄積して管理し、顧客端末５から演奏曲目が選択されたときに、該当する演奏曲目の演奏曲を配信手段１８から配信する。
【００４６】
また、映像合成処理手段としての映像合成サーバ８は、基本的に、受信手段（ストリーミング受信）２１と、映像情報合成手段２２と、配信手段（ストリーミング配信）２３と、映像情報データベース２４および合成映像データベース２５とから構成される。本映像合成サーバ８では、受信手段から時刻情報ａを関連付けした映像情報を受信した後、映像情報が圧縮されている場合には映像情報を解凍し、解凍後に映像情報を映像情報データベース２４に蓄積する。次に、映像情報合成手段２２により時刻情報ａに基づき映像情報を合成し、合成映像、つまり、演奏中の映像を演奏曲目に関連付けをして合成映像データベース２４に蓄積して管理し、顧客端末５から演奏曲目が選択されたときに、該当する演奏中の映像を配信手段２３から配信する。
【００４７】
図５は、音合成サーバ７において行われる音合成を説明する図である。本図に示すように、例えば、音合成サーバ７が、図５（ａ）に示すように、各地点に設けられた演奏者端末装置Ａ、演奏者端末装置Ｂ、演奏者端末装置Ｃから時刻情報ａを関連付けした音情報を受信すると、時刻情報ａ（００：００：０１、００：００：０２）が一致する音同士を一致させて同期を行い、各演奏者端末装置Ａ〜Ｃから送信された音が、図５（ｂ）に示すように合成される。例えば、演奏者端末装置Ａではバイオリン奏者による演奏音、演奏者端末装置Ｂではコントラバス奏者による演奏音、演奏者端末装置Ｃではピアノ奏者による演奏音が入力された場合には、音合成サーバ７において、時刻情報ａに基づきバイオリン、コントラバスおよびピアノの各演奏音を合成し三重奏の演奏曲が完成する。
【００４８】
映像合成サーバ８においても、上述した音合成サーバ７と同様に時刻情報ａに基づき映像情報が合成され、演奏者端末装置ＡからＣまでの各地点から入力されたバイオリン奏者、コントラバス奏者およびピアノ奏者による演奏中の映像が合成され、あたかも同一の場所において演奏したかのように映像が合成される。
【００４９】
上記構成を有する演奏者端末用装置３およびサービス提供装置２を用いて、顧客端末５に音情報および映像情報を配信する方法の手順について、図６を用いて説明する。本図に示すように、まず、サービス提供者と顧客との間でサービス提供の契約を行い、サービス提供装置２において、契約を行った顧客をデータベース化して顧客情報の登録を行う（Ｓｔ３０１）。また、実際に演奏曲を提供する演奏者と、サービス提供者との間で演奏曲の登録契約を行う。契約が成立した場合に、サービス提供装置２からスタジオ予約表が演奏者端末用装置に送信され、演奏者は、演奏者端末用装置が設置されているスタジオ予約が可能となり、使用するスタジオの場所、演奏日時および演奏曲目の予約を行う。
【００５０】
サービス提供装置２は、予約されたスタジオの演奏者端末用装置２に、予約演奏曲目に基づきリズム・テンポ情報を抽出し、抽出したリズム・テンポ情報を演奏者端末装置３に配信する（Ｓｔ３０２）。
【００５１】
演奏者端末装置２は、リズム・テンポ情報がダウンロードされた後、蓄積される（Ｓｔ２０１）。なお、複数人で共同して演奏を行う場合であっても、使用するスタジオを一人が予約すれば、各地に設置された演奏者端末用装置に同一のリズム・テンポ情報がダウンロードされて蓄積されるようになっている。
【００５２】
予約された演奏日時に、演奏者は演奏者端末用装置にリズム・テンポ情報の出力要求を行うと、リズム・テンポ情報が出力される（Ｓｔ２０２）。リズム・テンポ情報の再生により、演奏者端末用装置の表示画面には演奏曲目の楽譜が表示され、予め決められた速度によって音符が点滅する。表示画面に表示された音符が点滅する速度に従って演奏者は演奏を開始し、演奏音および演奏中の映像が演奏者端末装置３にそれぞれ入力される（Ｓｔ２０３）。入力された音および映像には時刻情報ａが関連付けされて、音情報および映像情報が記憶される（Ｓｔ２０４）。記憶された音情報および映像情報は、暗号化されてサービス提供装置２に送信される（Ｓｔ２０５）。
【００５３】
サービス提供装置２では、異なる複数の場所で録音・録画された音情報および映像情報を受信し（Ｓｔ３０３）、音情報および映像情報に関連付けされた時刻情報ａに基づき同期を行い（Ｓｔ３０４）、それぞれ演奏曲目に関連付けして合成音データベースおよび合成映像データベースにより蓄積管理（Ｓｔ３０５）している。
【００５４】
顧客端末５からサービス提供の要求が行われると、サービス提供装置２は、顧客情報データベースを参照して顧客の個人認証を行い（Ｓｔ３０６）、サービス提供可能な演奏曲番組一覧を顧客端末５に送信する。演奏曲番組一覧は、顧客端末５の表示画面に表示され、顧客が画面の演奏曲目を触れると演奏曲目が選択される（Ｓｔ４０１）。演奏曲目が選択されると、演奏曲目がサービス提供装置２に送信される。さらに、サービス提供装置２は、選択された演奏曲目に基づき合成音データベース２０および合成映像データベース２５から合成音および合成映像を抽出して、顧客端末５に個別に配信する。
【００５５】
顧客端末５は、配信される合成音および合成映像をダウンロードした後、時刻情報ａに基づき合成音と合成映像とが同期され（Ｓｔ４０２）、顧客端末５にて合成音および合成映像が出力され（Ｓｔ４０３）、顧客端末５において演奏曲と演奏中の映像とが同時に再生される。
【００５６】
従って、本実施形態によれば、音合成サーバおよび映像合成サーバが受信した複数の音・映像情報を時刻情報に基づき同期し、あたかも同一地点で発生した同一時期の演奏のように再構築される。そして、合成された各々音情報および映像情報は、顧客端末に配信されて時刻情報に基づき同期されて音楽番組が完成することから、複数地点にて複数演奏者により演奏された場合であっても、あたかも同一場所および同時間に演奏したかのような音楽番組を顧客端末に提供することができる。また、受信手段および配信手段は、それぞれストリーミング受信およびストリーミング配信されるため、コンサートの音楽番組などをほぼリアルタイムに顧客端末に送信することも可能である。
【００５７】
また、本実施形態の音・映像集信同期合成方法の処理手順をプログラムとして例えばＣＤやＦＤなどの記憶媒体に記憶して、この記憶媒体を演奏者端末用装置やサービス提供装置に組み込んだり、または、通信回線を介して記憶媒体に記録されたプログラムをコンピュータにダウンロードしたり、または記憶媒体からインストールし、該プログラムでコンピュータシステムを作動させることにより、音・映像集信同期合成方法を実施する音・映像集信同期合成システムとして機能させることができることはもちろんであり、このような記憶媒体を用いることにより、その流通性を高めることができるものである。
【００５８】
なお、本実施形態においては、複数の地点にて演奏者が演奏を行う場合に、演奏音および演奏風景を合成して顧客に音楽番組として、音情報および映像情報を配信して提供するものであるが、本発明はこのような実施形態に限定されるものではなく、複数の地点から配信される音情報および映像情報を時刻情報に基づいて同期し、同期した合成音および合成映像を顧客に配信するサービスに利用可能である。
【００５９】
【発明の効果】
以上説明したように、本発明の音・映像同期合成方法よれば、複数の演奏者が遠隔地にそれぞれ存在する場合においても、時刻情報に基づき音情報および映像情報を同期して顧客端末に配信することにより、インターネット等の公衆回線を利用した場合においても、ずれ等を防止した高品質の音楽番組を提供でき、さらにコンサートなどの音楽番組をほぼリアルタイムに顧客に提供することができる。
【図面の簡単な説明】
【図１】本実施形態における、音・映像同期合成方法を実現する音・映像同期合成システムの概略構成図。
【図２】本実施形態における、演奏者端末用装置の基本的な構成を示す図。
【図３】本実施形態の演奏者端末用装置における音情報の合成を説明する図。
【図４】本実施形態における、音合成サーバおよび映像合成サーバの基本的な構成を示す図。
【図５】本実施形態における、音合成サーバでの音合成の流れを示す説明図。
【図６】本実施形態における、音情報および映像情報を配信する方法を説明する手順図。
【符号の説明】
１…音・映像同期合成配信システム，２…サービス提供装置，３…演奏者端末用装置，４…通信回線，５…顧客端末，６…リズム・テンポサーバ，７…音合成サーバ，８…映像合成サーバ，９…管理サーバ，１０…リズム・テンポ情報記憶手段，１１…リズム・テンポ情報出力手段，１２…音情報入力処理手段，１３…映像情報入力処理手段，１４…音情報送信手段，１５…映像情報送信手段，１６…受信手段，１７…音情報合成手段，１８…配信手段，１９…音情報データベース，２０…合成音データベース，２１…受信手段，２２…映像情報合成手段，２３…配信手段，２４…映像情報データベース，２５…合成映像データベース，
ａ…時刻情報，
Claims (19)
- 複数の地点にある演奏者側の演奏者端末用装置から送信される音および映像に係る情報をサービス提供者側のサービス提供装置より顧客に配信する音・映像同期合成配信方法であって、
演奏者端末用装置は、時刻情報を含み、演奏者に対して演奏者端末用装置の少なくとも音声または画面表示のいずれかにより出力されるリズム・テンポ情報に従って演奏される演奏者の演奏音および演奏中の様子をそれぞれ音および映像に係る情報として時刻情報を関連付けて記憶するとともに、音および映像に係る情報を前記サービス提供装置に送信し、
サービス提供装置は、受信した音情報および映像情報を時刻情報に基づき同期を行い、合成音および合成映像に係る情報を演奏曲目に関連付けして蓄積し、
演奏曲目が選択されたときに、該演奏曲目に係る合成音および合成映像に係る情報を抽出して配信することを特徴とする音・映像同期合成配信方法。 - 請求項１記載の音・映像同期合成配信方法において、
前記時刻情報は、演奏曲の全演奏時間を一定間隔により分割したものであることを特徴とする音・映像同期合成配信方法。 - 請求項１記載の音・映像同期合成配信方法において、
前記リズム・テンポ情報は、指揮者の映像と伴奏音とから成る情報であることを特徴とする音・映像同期合成配信方法。 - 請求項１記載の音・映像同期合成配信方法において、
前記リズム・テンポ情報は、演奏曲目と関連付けして予めサービス提供装置のリズム・テンポ情報記憶手段に蓄積されており、
サービス提供装置は、演奏曲目に基づき前記リズム・テンポ情報記憶手段から該演奏曲目に係るリズム・テンポ情報を抽出して演奏者端末用装置に送信し、
演奏者端末用装置は、受信したリズム・テンポ情報を記憶するものであることを特徴とする音・映像同期合成配信方法。 - 請求項１記載の音・映像同期合成配信方法において、
サービス提供装置は、顧客とサービス提供者との間においてサービス提供契約をした顧客に関する情報を顧客情報として予め顧客情報記憶手段に記憶しておき、
前記顧客情報記憶手段を参照して顧客が認証された場合に、演奏曲目一覧を送信し、演奏曲目の選択を促すことを特徴とする音・映像同期合成配信方法。 - 演奏者が演奏する演奏音および演奏映像を音情報および映像情報として入力する演奏者端末用装置であって、
時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶するリズム・テンポ情報記憶手段と、
選択された演奏曲目に基づきリズム・テンポ情報を抽出して出力するリズム・テンポ情報出力手段と、
このリズム・テンポ情報出力手段から出力されたリズム・テンポ情報に従って演奏される演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理手段と、
前記リズム・テンポ情報に従って演奏される演奏者の演奏中の映像を映像情報として時刻情報を関連付けて記憶する映像情報入力処理手段と、
時刻情報が関連付けされた音情報を送信する音情報送信手段と、
時刻情報が関連付けされた映像情報を送信する映像情報送信手段と、
を備えることを特徴とする演奏者端末用装置。 - 演奏者が演奏する演奏音および演奏映像を音情報および映像情報として入力する演奏者端末用装置であって、
選択された演奏曲目に基づき時刻情報を含むリズム・テンポ情報の送信要求を行うリズム・テンポ情報送信要求手段と、
時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶するリズム・テンポ情報記憶手段と、
選択された演奏曲目に基づき前記リズム・テンポ情報記憶手段を参照してリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力手段と、 このリズム・テンポ情報出力手段から出力されたリズム・テンポ情報に従って演奏される演奏者の演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理手段と、
前記リズム・テンポ情報に従って演奏される演奏中の様子を映像情報として時刻情報を関連付けして記憶する映像情報入力処理手段と、
時刻情報を関連付けした音情報を送信する音情報送信手段と、
時刻情報を関連付けした映像情報を送信する映像情報送信手段と、
を備えることを特徴とする演奏者端末用装置。 - 請求項６または７記載の演奏者端末用装置において、
前記時刻情報は、演奏曲の全演奏時間を一定間隔により分割したものであり、入力された音および映像に係る情報に前記時刻情報を関連付けることを特徴とする演奏者端末用装置。 - 請求項６または７記載の演奏者端末用装置において、
前記リズム・テンポ情報出力手段は、少なくとも音声または画面表示のいずれかにより出力を行うことを特徴とする演奏者端末用装置。 - 演奏者が演奏する演奏音および演奏映像を音情報および映像情報として入力する演奏者端末用装置に読み込まれるプログラムであって、
時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けしてリズム・テンポ情報記憶手段に記憶しておき、
選択された演奏曲目に基づき前記リズム・テンポ情報を抽出し出力するリズム・テンポ情報出力機能と、
このリズム・テンポ情報出力機能により出力されたリズム・テンポ情報に従って演奏される演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理機能と、
前記リズム・テンポ情報に従って演奏される演奏者の演奏中の映像を映像情報として時刻情報を関連付けて記憶する映像情報入力処理機能と、
時刻情報が関連付けされた音情報を送信する音情報送信機能と、
時刻情報が関連付けされた映像情報を送信する映像情報送信機能と、
を実行させることを特徴とする演奏者端末用装置用プログラム。 - 演奏者が演奏する演奏音および演奏映像を音情報および映像情報として入力する演奏者端末用装置に読み込まれるプログラムであって、
選択された演奏曲目に基づき該演奏曲目の時刻情報を含むリズム・テンポ情報の送信要求を行うリズム・テンポ情報送信要求機能と、
演奏曲の時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶するリズム・テンポ情報記憶機能と、
選択された演奏曲目に基づきリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力機能と、
このリズム・テンポ情報出力機能により出力されたリズム・テンポ情報に従って演奏される演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理機能と、
前記リズム・テンポ情報に従って演奏される演奏者の演奏中の映像を映像情報として時刻情報を関連付けて記憶する映像情報入力処理機能と、
時刻情報が関連付けされた前記音情報を送信する音情報送信機能と、
時刻情報が関連付けされた前記映像情報を送信する映像情報送信機能と、
を実行させることを特徴とする演奏者端末用装置用プログラム。 - 演奏者が演奏する演奏音および演奏映像を音情報および映像情報として入力する演奏者端末用装置に読み込まれる演奏者端末用装置用プログラムを記録したコンピュータが読み取り可能な記録媒体であって、
選択された演奏曲目に基づき時刻情報を含むリズム・テンポ情報の送信要求を行うリズム・テンポ情報送信要求機能と、
演奏曲の時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶するリズム・テンポ情報記憶機能と、
選択された演奏曲目に基づきリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力機能と、
このリズム・テンポ情報出力機能により出力されたリズム・テンポ情報に従って演奏される演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理機能と、
前記リズム・テンポ情報に従って演奏される演奏者の演奏中の映像を映像情報として時刻情報を関連付けて記憶する映像情報入力処理機能と、 時刻情報が関連付けされた前記音情報を送信する音情報送信機能と、
時刻情報が関連付けされた前記映像情報を送信する映像情報送信機能と、
を実行させることを特徴とする演奏者端末用装置用プログラムを記録したコンピュータが読み取り可能な記録媒体。 - 演奏者が演奏する演奏音および演奏映像を音情報および映像情報として入力する演奏者端末用装置に読み込まれる演奏者端末用装置用プログラムを記録したコンピュータが読み取り可能な記録媒体であって、
選択された演奏曲目に基づき時刻情報を含むリズム・テンポ情報の送信要求を行うリズム・テンポ情報送信要求機能と、
演奏曲の時刻情報を含むリズム・テンポ情報を演奏曲目と関連付けして記憶するリズム・テンポ情報記憶機能と、
選択された演奏曲目に基づきリズム・テンポ情報を抽出し出力するリズム・テンポ情報出力機能と、
このリズム・テンポ情報出力機能により出力されたリズム・テンポ情報に従って演奏される演奏音を音情報として時刻情報を関連付けて記憶する音情報入力処理機能と、
前記リズム・テンポ情報に従って演奏される演奏者の演奏中の映像を映像情報として時刻情報を関連付けて記憶する映像情報入力処理機能と、
時刻情報が関連付けされた前記音情報を送信する音情報送信機能と、
時刻情報が関連付けされた前記映像情報を送信する映像情報送信機能と、
を実行させることを特徴とするプログラムを記録したコンピュータが読み取り可能な記録媒体。 - 音情報および映像情報を提供するためのサービス提供装置であって、
複数の演奏者端末用装置において少なくとも音声又は画面表示のいずれかにより出力されたリズム・テンポ情報に従って演奏者により演奏された音に時刻情報が関連付けされた音情報を受信し、時刻情報に基づき複数の音情報を同期をとって合成し、合成音に演奏曲目を関連付けして蓄積する音合成処理手段と、
複数の演奏者端末用装置において少なくとも音声又は画面表示のいずれかにより出力されたリズム・テンポ情報に従って演奏者により演奏された演奏中の様子の映像に時刻情報が関連付けされた映像情報を受信し、時刻情報に基づき複数の映像情報を同期をとって合 成し、合成映像に演奏曲目を関連付けして蓄積する映像合成処理手段と、
選択された演奏曲目に応答して前記音合成処理手段から該演奏曲目の合成音に係る情報を抽出し配信する合成音情報配信手段と、
選択された演奏曲目に応答して前記映像合成処理手段から該演奏曲目の合成映像に係る情報を抽出し配信する合成映像情報配信手段と、
を備えたことを特徴とするサービス提供装置。 - 音情報および映像情報を提供するためのサービス提供装置であって、
時刻情報を含むリズム・テンポ情報を演奏曲目に関連付けて予め記憶したリズム・テンポ情報記憶手段と、
演奏曲目の選択に基づき該当するリズム・テンポ情報を抽出して送信する送信手段と、
複数の演奏者端末用装置において少なくとも音声又は画面表示のいずれかにより出力されたリズム・テンポ情報に従って演奏者により演奏された音に時刻情報が関連付けされた音情報を受信し、時刻情報に基づき複数の音情報を同期をとって合成し、合成音に演奏曲目を関連付けして蓄積する音合成処理手段と、
複数の演奏者端末用装置において少なくとも音声又は画面表示のいずれかにより出力されたリズム・テンポ情報に従って演奏者により演奏された演奏中の様子の映像に時刻情報が関連付けされた映像情報を受信し、時刻情報に基づき複数の映像情報を同期をとって合成し、合成映像に演奏曲目を関連付けして蓄積する映像合成処理手段と、
選択された演奏曲目に応答して前記音合成処理手段から該演奏曲目の合成音に係る情報を抽出し配信する合成音情報配信手段と、
選択された演奏曲目に応答して前記映像合成処理手段から該演奏曲目の合成映像に係る情報を抽出し配信する合成映像情報配信手段と、
を備えたことを特徴とするサービス提供装置。 - 請求項１４または１５記載のサービス提供装置において、さらに、
サービス提供者の許可により顧客とサービス提供者との間においてサービス提供契約をした顧客に関する情報を顧客情報として予め記憶した顧客情報記憶手段と、 サービス提供可能な演奏曲目リストを予め記憶した演奏曲目リスト記憶手段と、
要求に応じて前記顧客情報記憶手段を参照して顧客が認証された場合に、前記演奏曲目リスト記憶手段から演奏曲目リストを抽出して送信する演奏曲目リスト送信手段と、
を備えたことを特徴とするサービス提供装置。 - 演奏曲の音情報および映像情報を提供するためのサービス提供装置に読み込まれるプログラムであって、
複数の演奏者端末用装置において少なくとも音声又は画面表示のいずれかにより出力されたリズム・テンポ情報に従って演奏者により演奏された音に時刻情報が関連付けされた音情報を受信し、時刻情報に基づき複数の音情報を同期をとって合成し、合成音に演奏曲目を関連付けして蓄積する音合成処理機能と、
複数の演奏者端末用装置において少なくとも音声又は画面表示のいずれかにより出力されたリズム・テンポ情報に従って演奏者により演奏された演奏中の様子の映像に時刻情報が関連付けされた映像情報を受信し、時刻情報に基づき複数の映像情報を同期をとって合成し、合成映像に演奏曲目を関連付けして蓄積する映像合成処理機能と、
選択された演奏曲目に応答して該演奏曲目の合成音に係る情報を抽出し配信する合成音情報配信機能と、
選択された演奏曲目に応答して該演奏曲目の合成映像に係る情報を抽出し配信する合成映像情報配信機能と、
を実行させることを特徴とするサービス提供装置用プログラム。 - 演奏曲の音情報および映像情報を提供するためのサービス提供装置に読み込まれるプログラムであって、
時刻情報を含むリズム・テンポ情報を演奏曲目に関連付けて予めリズム・テンポ情報をリズム・テンポサーバに記憶しておき、
選択された演奏曲目に基づき該当する前記リズム・テンポ情報を抽出して送信する送信機能と、
複数の演奏者端末用装置において少なくとも音声又は画面表示のいずれかにより出力されたリズム・テンポ情報に従って演奏者により演奏された音に時刻情報が関連付けされた音情報を受信し、時刻情報に基づき複数の音情報を同期をとって合成し、合成音に演奏曲目を関連付けして蓄積する音合成処理機能と、
複数の演奏者端末用装置において少なくとも音声又は画面表示のいずれかにより出力されたリズム・テンポ情報に従って演奏者により演奏された演奏中の様子の映像に時刻情報が関連付けされた映像情報を受信し、時刻情報に基づき複数の映像情報を同期をとって合成し、合成映像に演奏曲目を関連付けして蓄積する映像合成処理機能と、
選択された演奏曲目に応答して該演奏曲目の合成音に係る情報を抽出し配信する合成音情報配信機能と、
選択された演奏曲目に応答して該演奏曲目の合成映像に係る情報を抽出し配信する合成映像情報配信機能と、
を実行させることを特徴とするサービス提供装置用プログラム。 - 音情報および映像情報を提供するためのサービス提供装置に読み込まれるサービス提供装置用プログラムを記録したコンピュータが読み取り可能な記録媒体であって、
複数の演奏者端末用装置において少なくとも音声又は画面表示のいずれかにより出力されたリズム・テンポ情報に従って演奏者により演奏された音に時刻情報が関連付けされた音情報を受信し、時刻情報に基づき複数の音情報を同期をとって合成し、合成音に演奏曲目を関連付けして蓄積する音合成処理機能と、
複数の演奏者端末用装置において少なくとも音声又は画面表示のいずれかにより出力されたリズム・テンポ情報に従って演奏者により演奏された演奏中の様子の映像に時刻情報が関連付けされた映像情報を受信し、時刻情報に基づき複数の映像情報を同期をとって合成し、合成映像に演奏曲目を関連付けして蓄積する映像合成処理機能と、
選択された演奏曲目に応答して該演奏曲目の合成音に係る情報を抽出し配信する合成音情報配信機能と、
選択された演奏曲目に応答して該演奏曲目の合成映像に係る情報を抽出し配信する合成映像情報配信機能と、
を実行させることを特徴とするサービス提供装置用プログラムを記録したコンピュータが読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001367260A JP3811055B2 (ja) | 2001-11-30 | 2001-11-30 | 音・映像同期合成配信方法、演奏者端末用装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体並びに、サービス提供装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001367260A JP3811055B2 (ja) | 2001-11-30 | 2001-11-30 | 音・映像同期合成配信方法、演奏者端末用装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体並びに、サービス提供装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003167575A JP2003167575A (ja) | 2003-06-13 |
| JP3811055B2 true JP3811055B2 (ja) | 2006-08-16 |
Family
ID=19177036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001367260A Expired - Fee Related JP3811055B2 (ja) | 2001-11-30 | 2001-11-30 | 音・映像同期合成配信方法、演奏者端末用装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体並びに、サービス提供装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3811055B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005051703A (ja) * | 2003-07-31 | 2005-02-24 | Institute Of Tsukuba Liaison Co Ltd | ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置 |
| JP3854297B1 (ja) * | 2005-06-10 | 2006-12-06 | オープンインタフェース株式会社 | コンテンツ同期再生システム及び方法 |
| JP5109496B2 (ja) * | 2007-06-20 | 2012-12-26 | ヤマハ株式会社 | データ配信装置、データ配信方法およびプログラム |
| JP2009055648A (ja) * | 2008-12-11 | 2009-03-12 | Hitachi Kokusai Electric Inc | 画像データ圧縮装置 |
| WO2010113142A2 (en) * | 2009-04-03 | 2010-10-07 | Udayan Kanade | Musical environment for remotely connected users |
| EP2662853B1 (en) * | 2011-01-07 | 2016-06-22 | YAMAHA Corporation | Audiovisual synchronisation of network musical performance |
| JP5729393B2 (ja) * | 2011-01-11 | 2015-06-03 | ヤマハ株式会社 | 演奏システム |
| JP6063739B2 (ja) * | 2012-12-27 | 2017-01-18 | 株式会社第一興商 | 歌唱動画生成システム |
| JP5605458B2 (ja) * | 2013-05-01 | 2014-10-15 | ヤマハ株式会社 | ミキシング中継装置及びミキシングシステム |
| JP7503257B2 (ja) * | 2019-07-30 | 2024-06-20 | 株式会社ランナーズ・ウェルネス | コンテンツ収集・配信システム |
| JP6828133B1 (ja) | 2019-12-27 | 2021-02-10 | 株式会社ドワンゴ | コンテンツ生成装置、コンテンツ配信サーバ、コンテンツ生成方法、および、コンテンツ生成プログラム |
| JP7520661B2 (ja) | 2020-09-24 | 2024-07-23 | 株式会社第一興商 | サーバ装置 |
| JP2024136470A (ja) * | 2023-03-24 | 2024-10-04 | ヤマハ株式会社 | パフォーマンス情報生成方法、パフォーマンス情報生成装置、およびプログラム |
-
2001
- 2001-11-30 JP JP2001367260A patent/JP3811055B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003167575A (ja) | 2003-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12041281B2 (en) | Digital jukebox device with karaoke and/or photo booth features, and associated methods | |
| JP3811055B2 (ja) | 音・映像同期合成配信方法、演奏者端末用装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体並びに、サービス提供装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体 | |
| US20070287141A1 (en) | Internet based client server to provide multi-user interactive online Karaoke singing | |
| JP7149193B2 (ja) | カラオケシステム | |
| KR20190143599A (ko) | 이차원 코드를 기반으로 방송 서비스 서버와 접속하여 개인 방송을 가능하게 하는 노래반주기 및 그 동작 방법 | |
| US20090078108A1 (en) | Musical composition system and method | |
| AU2017225012B2 (en) | Digital jukebox device with karaoke and/or photo booth features, and associated methods | |
| KR101132777B1 (ko) | 아바타 커뮤니티 공간의 온라인 합주 및 관람 서비스 방법 | |
| JP7149203B2 (ja) | カラオケシステム | |
| JP2003085068A (ja) | ライブ情報提供サーバ、情報通信端末、ライブ情報提供システムおよびライブ情報提供方法 | |
| JP2022056065A (ja) | コンテンツ配信システム、コンテンツ配信方法及びコンテンツ配信プログラム | |
| JP2004191515A (ja) | 配信システム、再生機器およびコンテンツ再生方法 | |
| JP2014029422A (ja) | 広告再生装置、広告再生システム、広告再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050808 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050816 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051220 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060516 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060525 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |