JP4446075B2 - Karaoke system, music performance communication device, and communication method in music performance communication device - Google Patents
Karaoke system, music performance communication device, and communication method in music performance communication device Download PDFInfo
- Publication number
- JP4446075B2 JP4446075B2 JP2008243185A JP2008243185A JP4446075B2 JP 4446075 B2 JP4446075 B2 JP 4446075B2 JP 2008243185 A JP2008243185 A JP 2008243185A JP 2008243185 A JP2008243185 A JP 2008243185A JP 4446075 B2 JP4446075 B2 JP 4446075B2
- Authority
- JP
- Japan
- Prior art keywords
- music performance
- communication device
- signal
- performance
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
この発明は、多拠点におけるデュエット・合唱カラオケ制御方式に関し、更に詳しくは多拠点の遠隔地の利用者同士で、双方の空間の映像・音響信号を共有できる多拠点に於けるデュエット・合唱カラオケ制御方式に関する。 The present invention relates to a duet / choral karaoke control system in multiple locations, and more specifically, duet / choral karaoke control in multiple locations where users at remote locations in multiple locations can share video / audio signals of both spaces. Regarding the method.
遠隔地のカラオケ利用者同士が互いの歌、映像等をネットワークを介してやりとりしたい要望がある。 There is a desire for remote karaoke users to exchange each other's songs, videos, etc. over a network.
これらの要望に対し、既にカラオケ等のコンテンツを情報端末管理サーバからネットワークを介して多数の情報端末に提供する映像・音声配信サービスの送受信システムが提案されている。 In response to these demands, a video / audio distribution service transmission / reception system has already been proposed in which content such as karaoke is provided from an information terminal management server to a large number of information terminals via a network.
その例としては、
しかし、多拠点の遠隔地の利用者同士でカラオケのデュエットや合唱をすることが難しく、遠隔地の利用者同士で、双方の空間の映像・音響信号を共有できないため、従来のインターネット電話（ＩＰ）等の手法では、多数の拠点で映像・音響信号を相互に通信し合うことは難しかった。他方、多数の拠点で映像・音響信号の共有ができるＩＰマルチキャストの技術では、特定の相手を検索することは難しかった。このため、カラオケのデュエット・合唱等を実現することが困難であった。 However, it is difficult to perform duet and choral karaoke among users at remote locations in many locations, and remote users cannot share video / audio signals of both spaces. ) Etc., it was difficult to communicate video / audio signals with each other at many sites. On the other hand, it has been difficult to search for a specific partner using the IP multicast technology that allows video and audio signals to be shared at many sites. For this reason, it has been difficult to realize karaoke duets and choruses.
従来は、遠隔地の利用者の楽曲演奏を用いて他の利用者が歌う場合、他の利用者側のマイクロフォンにより取得された音が再度楽曲演奏側の利用者に届く際に、通信網の遅延によって楽曲演奏側の利用者では、本来の演奏の音と、遠隔地の演奏とが重なり、聞き辛いものになっている。 Conventionally, when another user sings using the music performance of a user at a remote location, when the sound acquired by the microphone on the other user side reaches the user on the music performance side again, Due to the delay, it is difficult for the user on the music performance side to hear the sound of the original performance and the performance of the remote place, and it is difficult to hear.
この発明は、前述の課題を解決するものであり、請求項１に記載の発明は、利用者の映像を入力するための映像入力手段と、利用者の音声を入力するための音声入力手段と、カラオケデータを記憶する記憶手段と、前記カラオケデータを用いて演奏を行う演奏手段と、前記演奏手段を制御し演奏を進行させる演奏進行制御手段と、通信網に接続するための通信手段と、を備えた複数の音楽演奏通信装置を前記通信手段により前記通信網に接続し、夫々の前記音楽演奏通信装置が前記通信網を介して、前記入力された映像を映像信号ストリームとして、且つ、前記入力された音声を音響信号ストリームとして、互いに送信するようにしたカラオケシステムであって、一の前記音楽演奏通信装置は、前記演奏手段による演奏に応じて表示される歌詞のテロップであって、当該歌詞の進行とともに色が変わる前記テロップの色代わり終了時刻に、他の前記音楽演奏通信装置の演奏と同期を取るための同期信号を発生させる同期信号発生手段と、前記通信網を介して前記他の音楽演奏通信装置に前記発生された同期信号を送信する同期信号送信手段と、前記他の音楽演奏通信装置から送信された、前記同期信号に対する同期応答信号を受信する同期応答信号受信手段と、前記受信された同期応答信号が正常応答信号であるか否かを判断する判断手段と、前記判断手段により正常応答信号でないと判断された場合には、前記映像信号ストリームよりも前記音響信号ストリームを優先して他の前記音楽演奏通信装置に前記通信網を介して送信するストリーム送信手段と、を備えることを特徴としている。 The present invention solves the above-mentioned problems, and the invention according to claim 1 is a video input means for inputting a user's video, and a voice input means for inputting a user's voice. Storage means for storing karaoke data; performance means for performing performance using the karaoke data; performance progress control means for controlling the performance means to advance performance; communication means for connecting to a communication network; A plurality of music performance communication devices connected to the communication network by the communication means, each of the music performance communication devices via the communication network, the input video as a video signal stream, and the input sound as an acoustic signal stream, a karaoke system which is adapted to transmit to each other, one of the musical performance communication device, the song is displayed in response to the performance by the playing means A ticker, the color instead end time of the telop color with the progress of the lyrics is changed, the synchronizing signal generating means for generating a synchronization signal for synchronizing with the performance of other of said musical performance communication device, wherein A synchronization signal transmitting means for transmitting the generated synchronization signal to the other music performance communication device via a communication network; and a synchronization response signal for the synchronization signal transmitted from the other music performance communication device. A synchronization response signal reception unit; a determination unit that determines whether the received synchronization response signal is a normal response signal; and the video signal stream when the determination unit determines that the received response signal is not a normal response signal Stream transmitting means for transmitting the audio signal stream with priority over the other music performance communication device via the communication network. There.
請求項２に記載の発明は、請求項１に記載のカラオケシステムにおいて、前記他の音楽演奏通信装置は、前記一の音楽演奏通信装置から送信された前記同期信号を受信する同期信号受信手段と、前記同期信号が受信された場合に、前記受信された音響信号ストリームのデータ欠損率を算出する欠損率算出手段と、前記算出されたデータ欠損率が規定値を超過しているか否かを判断する欠損率監視手段と、前記欠損率監視手段により、前記データ欠損率が規定値を超過していると判断された場合に、映像ストリームのデータ量制限信号を前記同期応答信号として前記通信網を介して前記一の音楽演奏通信装置に送信する同期応答信号送信手段と、を更に備え、前記一の音楽演奏通信装置のストリーム送信手段は、前記判断手段により正常応答信号でないと判断された場合には、前記映像信号ストリームのデータ量を制限することにより、前記映像信号ストリームよりも前記音響信号ストリームを優先して前記他の音楽演奏通信装置に前記通信網を介して送信することを特徴としている。 According to a second aspect of the present invention, in the karaoke system according to the first aspect, the other music performance communication device includes synchronization signal receiving means for receiving the synchronization signal transmitted from the one music performance communication device. A loss rate calculating means for calculating a data loss rate of the received audio signal stream when the synchronization signal is received, and determining whether the calculated data loss rate exceeds a prescribed value; And when the data loss rate is determined to exceed a prescribed value by the loss rate monitoring means and the loss rate monitoring means, the data amount limiting signal of the video stream is used as the synchronization response signal to the communication network. through further and a synchronization response signal transmitting means for transmitting to the one of the music playing communication device, a stream transmission means of said one music performance communication apparatus, a normal response signal by said determining means If not equal it is judged, the by limiting the data amount of the video signal stream, via the communication network to the other music playing communication apparatus with priority the acoustic signal stream than the video signal stream It is characterized by transmitting.
請求項３に記載の発明は、請求項１に記載のカラオケシステムにおいて、前記他の音楽演奏通信装置は、前記一の音楽演奏通信装置から送信された前記同期信号を受信する同期信号受信手段と、前記同期信号が受信された場合に、前記受信された音響信号ストリームの遅延時間を算出する遅延算出手段と、前記算出された遅延時間が規定値を超過しているか否かを判断する遅延監視手段と、前記遅延監視手段により、前記遅延時間が規定値を超過していると判断された場合に、映像ストリームのデータ量制限信号を前記同期応答信号として前記通信網を介して前記一の音楽演奏通信装置に送信する同期応答信号送信手段と、を更に備え、前記一の音楽演奏通信装置のストリーム送信手段は、前記判断手段により正常応答信号でないと判断された場合には、前記映像信号ストリームのデータ量を制限することにより、前記映像信号ストリームよりも前記音響信号ストリームを優先して前記他の音楽演奏通信装置に前記通信網を介して送信することを特徴としている。 According to a third aspect of the present invention, in the karaoke system according to the first aspect, the other music performance communication device includes synchronization signal receiving means for receiving the synchronization signal transmitted from the one music performance communication device. A delay calculating means for calculating a delay time of the received audio signal stream and a delay monitor for determining whether the calculated delay time exceeds a prescribed value when the synchronization signal is received; And the delay monitoring means, when the delay time is determined to exceed a prescribed value, the one music is transmitted through the communication network as a data response limit signal of the video stream as the synchronization response signal. further comprising a synchronization response signal transmitting means for transmitting to the playing communication device, a stream transmission means of the one of the music playing communication device is determined not to be normal response signal by said determining means In this case, wherein by limiting the data amount of the video signal stream, and transmits the than video signal stream in preference the acoustic signal stream via the communication network to the other music playing communication device It is said.
請求項１に記載の発明によれば、一の音楽演奏通信装置が、映像信号ストリームよりも音響信号ストリームを優先して他の前記音楽演奏通信装置に送信するようにしたので、遠隔地間の複数の利用者が同時にデュエット・合唱カラオケ・演奏に参加する場合の相互の音響信号データ遅延を極小化することが可能となり、違和感のないデュエットや合唱が可能となるという効果がある。 According to the first aspect of the present invention, since one music performance communication device prioritizes the audio signal stream over the video signal stream and transmits it to the other music performance communication device. It is possible to minimize mutual acoustic signal data delay when a plurality of users participate in duet, choral karaoke, and performance at the same time, and there is an effect that it is possible to perform duet and chorus without a sense of incongruity.
請求項２に記載の発明によれば、音響信号ストリームのデータ欠損率が規定値を超過している場合に、他の音楽演奏通信装置が映像ストリームのデータ量制限信号を一の音楽演奏通信装置に送信して該一の音楽演奏通信装置に映像信号ストリームのデータ量を制限させる。これにより、一の音楽演奏通信装置が映像信号ストリームよりも音響信号ストリームを優先して他の前記音楽演奏通信装置に送信するようにした構成したので、音響信号ストリームの通信上の欠損率（通信パケットロスの割合）が大きくならないようにすることができるという効果がある。また、遠隔地間の複数の利用者が同時にデュエット・合唱カラオケ・演奏に参加する場合の相互の音響信号データ遅延を極小化することが可能となり、違和感のないデュエットや合唱が可能となるという効果がある。 According to the second aspect of the present invention, when the data loss rate of the audio signal stream exceeds the specified value, the other music performance communication device receives the data amount restriction signal of the video stream as one music performance communication device. And the one music performance communication apparatus restricts the data amount of the video signal stream. Accordingly, since one music performance communication device is configured to transmit the audio signal stream to the other music performance communication devices with priority over the video signal stream, the loss rate (communication) of the audio signal stream is determined. There is an effect that the ratio of packet loss) can be prevented from becoming large. In addition, it is possible to minimize the delay in mutual acoustic signal data when multiple users between remote locations participate in duet, choral karaoke, and performance at the same time, and it is possible to perform duet and chorus without a sense of incongruity There is.
請求項３に記載の発明によれば、音響信号ストリームの遅延時間が規定値を超過している場合に、他の音楽演奏通信装置が映像ストリームのデータ量制限信号を一の音楽演奏通信装置に送信して該一の音楽演奏通信装置に映像信号ストリームのデータ量を制限させる。これにより、一の音楽演奏通信装置が映像信号ストリームよりも音響信号ストリームを優先して他の前記音楽演奏通信装置に送信するようにした構成したので、音響信号ストリームの遅延が大きくならないようにすることができるという効果がある。また、遠隔地間の複数の利用者が同時にデュエット・合唱カラオケ・演奏に参加する場合の相互の音響信号データ遅延を極小化することが可能となり、違和感のないデュエットや合唱が可能となるという効果がある。 According to the third aspect of the present invention, when the delay time of the audio signal stream exceeds the specified value, the other music performance communication device transmits the data amount limit signal of the video stream to the one music performance communication device. Transmitting and restricting the data amount of the video signal stream to the one music performance communication apparatus. Thereby, since one music performance communication apparatus is configured to transmit the audio signal stream to the other music performance communication apparatuses with priority over the video signal stream, the delay of the audio signal stream is prevented from increasing. There is an effect that can be. In addition, it is possible to minimize the delay in mutual acoustic signal data when multiple users between remote locations participate in duet, choral karaoke, and performance at the same time, and it is possible to perform duet and chorus without a sense of incongruity There is.
また、上記本発明によれば、通信網上でデュエットや合唱相手を相互に登録・検索するために映像・音響信号とは別に、各利用者は特徴情報信号を音楽演奏通信装置から送出し、相互にその信号を受信し、自分が希望するデュエット相手、合唱相手を見つけることができる通信手段を有するため、利用者はデュエット相手、合唱相手を探すための特別な操作を必要とせず、更に、相手がすでに歌いはじめている場合でも、歌の途中から他の遠隔地の利用者をある条件に従って検索し、参加することが可能となるという効果もある。 In addition, according to the present invention, each user sends a feature information signal from the music performance communication device separately from the video / audio signal in order to mutually register and search duets and choral partners on the communication network, Because it has a communication means that can receive the signal to each other and find the duet partner and choral partner that you want, the user does not need special operation to search for the duet partner, choral partner, Even when the other party has already started singing, it is possible to search for users from other remote locations in the middle of the song according to certain conditions and participate.
この発明は、遠隔地で多拠点におけるデュエット・合唱カラオケを可能にするため、通信網に複数の音楽演奏通信装置と、情報管理サーバとを通信網に接続し、遠隔地の複数の利用者が同時に演奏・歌唱に参加することができるカラオケ制御方式であり、例えば、本発明を用いてカラオケボックス等の歌唱のための個別の空間を接続し、従来は同じボックス内の利用者でしか楽しめなかったデュエットや合唱を、他のカラオケボックスや海外の拠点にいる歌唱者との間で楽しむことができる。 In order to enable duet and choral karaoke at multiple locations in a remote location, the present invention connects a plurality of music performance communication devices and an information management server to a communication network, and allows multiple users at remote locations to It is a karaoke control system that can participate in performance and singing at the same time. For example, by using the present invention, a separate space for singing such as a karaoke box is connected, and conventionally it can only be enjoyed by users in the same box. You can enjoy a duet or chorus with other karaoke boxes or singers at overseas bases.
実施例に係るカラオケ制御方式は、図１に示す様に、この発明の主目的である遠隔地で他拠点におけるデュエット・合唱カラオケを可能にするため、マルチキャスト及びユニキャストブリッジ技術を使用したＩＰマルチキャスト環境の双方向ブロードバンド方式無線・有線の通信網(インターネット、ローカルエリアネットワーク、LAN)１０に、情報管理サーバ１２を接続し、該通信網１０に個人宅・店舗、スタジオ、オフィス等の複数利用者の音楽演奏通信装置１４をブロードバンド回線１６等を介して接続する。また、カメラ・マイクロフォン、スピーカ、ディスプレイ等を内蔵する利用者（ユーザ）の携帯電話、PDA端末等は、基地局を介して該通信網１０に接続される。 The karaoke control system according to the embodiment, as shown in FIG. 1, is an IP multicast using multicast and unicast bridge technology in order to enable duet / choral karaoke at other sites in a remote place which is the main object of the present invention. An information management server 12 is connected to an environmental two-way broadband wireless / wired communication network (Internet, local area network, LAN) 10, and multiple users such as private homes / stores, studios, offices, etc. are connected to the communication network 10. Are connected via a broadband line 16 or the like. In addition, a user's (user) mobile phone, PDA terminal, and the like incorporating a camera / microphone, a speaker, a display, and the like are connected to the communication network 10 via a base station.
図２は、この発明が適用された音楽演奏通信装置１４の構成を示す。図２に示すように、該音楽演奏通信装置１４は、ＣＰＵ２２、ＲＯＭ２４、ＲＡＭ２６、ＨＤＤ２８、ネットワークインタフェース３０、映像出力部３５、ビデオキャプチャ３８、音声出力部４１、音源部４２、音声入力部４５、リモコン入力部４８とを内蔵し、該映像出力部３５にＴＶモニタ３６を、該ビデオキャプチャ３８にビデオカメラ３９を、該音声出力部４１にスピーカ４３を、該音声入力部４５にマイクロフォン４６を夫々接続し、該音楽演奏通信装置１４にリモコン４９を接続可能とする。 FIG. 2 shows the configuration of the music performance communication apparatus 14 to which the present invention is applied. As shown in FIG. 2, the music performance communication device 14 includes a CPU 22, a ROM 24, a RAM 26, an HDD 28, a network interface 30, a video output unit 35, a video capture 38, an audio output unit 41, a sound source unit 42, an audio input unit 45, A remote control input unit 48, a TV monitor 36 in the video output unit 35, a video camera 39 in the video capture 38, a speaker 43 in the audio output unit 41, and a microphone 46 in the audio input unit 45, respectively. The remote controller 49 can be connected to the music performance communication device 14 by connecting.
従って、該音楽演奏通信装置１４は、該通信網１０及びブロードバンド回線１６を介して該音楽演奏通信装置１４同士で映像・音響信号ストリーム、制御信号等をやりとりする。 Accordingly, the music performance communication device 14 exchanges video / audio signal streams, control signals, and the like between the music performance communication devices 14 via the communication network 10 and the broadband line 16.
加えて他の音楽演奏通信装置１４は、カラオケボックス、個人宅・店舗、スタジオ、オフィス等に設けられる。 In addition, the other music performance communication device 14 is provided in a karaoke box, a private house / store, a studio, an office, or the like.
図３は、この発明の実施例を示す機能ブロック線図である。音楽演奏通信装置１４は、利用者の映像を取り込むため映像入力手段２２５を有する。映像入力手段２２５は、図２のビデオカメラ３９及びビデオキャプチャ３８に該当する。 FIG. 3 is a functional block diagram showing an embodiment of the present invention. The music performance communication device 14 has video input means 225 for capturing the video of the user. The video input means 225 corresponds to the video camera 39 and the video capture 38 in FIG.
また、該音楽演奏通信装置１４の映像を出力する映像出力手段２２６は、TVモニタ３６及び映像出力部３５に該当する。映像ストリーム入出力手段２２２は、映像の信号処理とデータブロック化の機能を有し、CPU２２及びROM２４及びRAM２６による演算処理により実現される。また映像ストリーム入出力手段２２２を制御しネットワーク１０に出力する送出データ量を変更するため送信条件指定手段２２０を有する。 The video output means 226 for outputting the video of the music performance communication device 14 corresponds to the TV monitor 36 and the video output unit 35. The video stream input / output means 222 has video signal processing and data blocking functions, and is realized by arithmetic processing by the CPU 22, ROM 24 and RAM 26. Further, it has a transmission condition designating unit 220 for controlling the video stream input / output unit 222 and changing the amount of transmission data to be output to the network 10.
音声入力手段２２９は、図２ではマイクロフォン４６及び音声入力部４５に該当し、利用者の音声を入力する。また該音楽演奏通信装置１４で受信した音声は、図２のスピーカ４３及び音声出力部４１に該当する音声出力手段２３０により出力される。音声ストリーム入出力手段２２８は、音響信号処理とブロック化の機能を有する。 The voice input unit 229 corresponds to the microphone 46 and the voice input unit 45 in FIG. 2 and inputs the user's voice. The sound received by the music performance communication device 14 is output by the sound output means 230 corresponding to the speaker 43 and the sound output unit 41 of FIG. The audio stream input / output means 228 has functions of acoustic signal processing and blocking.
該音楽演奏通信装置１４のカラオケ機能を実現するため、カラオケ情報選択手段２０２及びテロップ表示手段２０３、演奏進行制御手段２０５と演奏手段２０７とを有する。カラオケ情報選択手段２０２は、図２に示すカラオケデータを記憶するHDD２８から、指定されたカラオケデータを取り出し、RAM２６に記憶する。テロップ表示手段２０３はRAM２６からテロップを取り出し、映像出力手段２２６に表示する。演奏手段２０７は、図２では音源部４２に該当し、カラオケデータを用いて演奏を行い、音声出力手段２３０にて演奏音として出力する。演奏進行制御手段２０５は、カラオケ演奏を実現するため、テロップ表示手段２０３及び演奏手段２０７を制御する。更に音楽演奏通信装置全体のタイミング制御及び時刻を管理するための計時手段２０１を有する。 In order to realize the karaoke function of the music performance communication device 14, the music performance communication device 14 includes karaoke information selection means 202, telop display means 203, performance progress control means 205, and performance means 207. The karaoke information selection means 202 takes out the designated karaoke data from the HDD 28 that stores the karaoke data shown in FIG. The telop display means 203 takes out the telop from the RAM 26 and displays it on the video output means 226. The performance means 207 corresponds to the sound source unit 42 in FIG. 2, performs a performance using karaoke data, and outputs it as a performance sound by the audio output means 230. The performance progress control means 205 controls the telop display means 203 and the performance means 207 in order to realize karaoke performance. Furthermore, it has timing means 201 for managing timing control and time of the entire music performance communication apparatus.
また該音楽演奏通信装置１４は、通信網１０と接続するためネットワークインタフェース３０である通信手段２３８を有する。通信手段２３８を用いて、利用者の映像や音響信号を交換するための映像ストリーム信号や音響信号ストリーム信号が通信網１０に入出力される。 Further, the music performance communication device 14 has a communication means 238 which is a network interface 30 for connecting to the communication network 10. A video stream signal and an audio signal stream signal for exchanging user's video and audio signals are input to and output from the communication network 10 using the communication unit 238.
通信網１０に接続された夫々の音楽演奏通信装置１４が同期して動作を行うため、演奏を同期する機能を有しており、演奏監視手段２０９及び同期信号発生手段２３２、同期信号・応答信号入出力手段２３５、同期応答信号発生手段２１２、同期手段２１１により構成される。 Since each music performance communication device 14 connected to the communication network 10 operates in synchronism, it has a function of synchronizing the performance. The performance monitoring means 209, the synchronization signal generating means 232, the synchronization signal / response signal are provided. The input / output means 235, the synchronization response signal generation means 212, and the synchronization means 211 are configured.
更に、夫々の音楽演奏通信装置の利用において、演奏や歌唱映像及び音声の伝送において、通信により発生する信号の遅延や欠損のために、利用者が違和感を持つことを防止するため、遅延監視手段２３６及び欠損率監視手段２３７を有する。 Furthermore, in the use of each music performance communication device, in order to prevent the user from feeling uncomfortable due to the delay or loss of the signal generated by the communication in the performance or singing video and audio transmission, delay monitoring means 236 and loss rate monitoring means 237.
また、多地点で遠隔地に接続された音楽演奏通信装置１４を利用する複数の利用者の中から、デュエットや合唱を行いたい利用者を選び出し、接続するための特徴情報入出力手段２１４、特徴情報表示手段２１５、特徴情報管理手段２１６、特徴情報送受信手段２１８を有する。 Further, a feature information input / output means 214 for selecting and connecting a user who wants to perform a duet or chorus out of a plurality of users who use the music performance communication device 14 connected to a remote place at multiple points, a feature It has information display means 215, feature information management means 216, and feature information transmission / reception means 218.
該音楽演奏通信装置１４の動作を、図３、及び図１、図２を用いて説明する。図３において、該音楽演奏通信装置１４は、多拠点の遠隔地の利用者同士でのデュエットやカラオケを希望する利用者の映像を入出力するため映像入出力手段２２５により、利用者の映像を入出力する。入力された利用者の映像は、該ＣＰＵ２２の演算処理を行った後、利用者映像として映像出力手段２２６を通じて該ＴＶモニタ３６に出力される。同時に、利用者の映像は、映像ストリーム入出力手段２２２により映像ストリームに変換され、通信手段２３８により、該ブロードバンド回線１６を介して該通信網１０に送出される。 The operation of the music performance communication device 14 will be described with reference to FIG. 3, FIG. 1, and FIG. In FIG. 3, the music performance communication device 14 uses the video input / output means 225 to input and output the video of the user who wants to perform a duet or karaoke between users at multiple remote locations. Input and output. The input user image is output to the TV monitor 36 through the image output means 226 as a user image after the CPU 22 performs arithmetic processing. At the same time, the video of the user is converted into a video stream by the video stream input / output means 222 and sent to the communication network 10 via the broadband line 16 by the communication means 238.
一方、該通信網１０に接続された他の音楽演奏通信装置１４より該ブロードバンド回線１６等を介して通信手段２３８へ送られた他の利用者映像の映像ストリームは、該ＣＰＵ２２の演算処理により映像ストリーム入出力手段２２２を介して映像出力手段２２６により表示される。 On the other hand, the video stream of another user video sent from the other music performance communication device 14 connected to the communication network 10 to the communication means 238 via the broadband line 16 or the like is converted into a video by the arithmetic processing of the CPU 22. It is displayed by the video output means 226 via the stream input / output means 222.
また、利用者の歌唱等の音声は、音声入力手段２２９により入力される。入力された音声は、該ＣＰＵ２２の演算処理により音声ストリーム入出力手段２２８により、指定されたブロックに分割され、音響信号ストリームとして、映像ストリームと同様に、通信手段２３８により該ブロードバンド回線１６を介して該通信網１０に送出される。 In addition, voice such as a user's song is input by the voice input means 229. The input audio is divided into designated blocks by the audio stream input / output means 228 by the arithmetic processing of the CPU 22, and as an audio signal stream via the broadband line 16 by the communication means 238 in the same manner as the video stream. It is sent to the communication network 10.
また、他の音楽演奏通信装置１４より該ブロードバンド回線１６を介して通信手段２３８へ送られた他の利用者の音響信号ストリームは、該ＣＰＵ２２の演算処理により音声ストリーム入出力手段２２８により、音声出力手段２３０を介して該スピーカ４３より出力される。 Also, the other user's acoustic signal stream sent from the other music performance communication device 14 to the communication means 238 via the broadband line 16 is output by the audio stream input / output means 228 by the arithmetic processing of the CPU 22. The sound is output from the speaker 43 via the means 230.
以上の機能により、該音楽演奏通信装置１４は、遠隔地の利用者の映像・音声の共有を実現する。 With the above functions, the music performance communication device 14 realizes video / audio sharing of users at remote locations.
該音楽演奏通信装置１４は、カラオケ装置としてカラオケ情報選択手段２０２によりＨＤＤ２８よりカラオケデータを取り出し、演奏手段２０７により演奏を行い、音声出力手段２３０により、演奏音を出力する。演奏に際して、テロップ表示手段２０３は、カラオケ情報選択手段２０２により取り出されたカラオケデータからテロップ情報を取り出し、映像出力手段２２６を介して該ＴＶモニタ３６にテロップを表示する。演奏進行制御手段２０５は、演奏手段２０７を制御し、演奏を進めると同時に、テロップ表示手段２０３を制御し、テロップの色変えを行い、該映像出力手段２２６に表示する。 The music performance communication device 14 takes out karaoke data from the HDD 28 by the karaoke information selection means 202 as a karaoke device, performs the performance by the performance means 207, and outputs the performance sound by the voice output means 230. At the time of performance, the telop display means 203 takes out telop information from the karaoke data taken out by the karaoke information selection means 202 and displays the telop on the TV monitor 36 through the video output means 226. The performance progress control means 205 controls the performance means 207 to advance the performance, and simultaneously controls the telop display means 203 to change the color of the telop and display it on the video output means 226.
以上の機能により、演奏の進行に合わせて、テロップ表示を行い、テロップの色変えを行うことで、カラオケ機能を実現する。 With the above functions, a karaoke function is realized by displaying a telop as the performance progresses and changing the color of the telop.
また該音楽演奏通信装置１４は、相互の歌唱を快適に行うための相互の該音楽演奏通信装置１４の演奏の同期を取るための同期手段として、演奏監視手段２０９、同期信号発生手段２３２、同期信号・応答信号入力手段２３５、同期手段２１１を有し、該演奏監視手段２０９の情報により、該同期信号発生手段２３２により作成された同期信号は、該同期信号・応答信号入力手段２３５を介して通信手段２３８より該通信網１０に出力され、デュエット・合唱相手である他の音楽演奏通信装置１４に伝えられる。 In addition, the music performance communication device 14 includes a performance monitoring means 209, a synchronization signal generation means 232, and synchronization as synchronization means for synchronizing the performances of the music performance communication devices 14 with each other for comfortable singing. The signal / response signal input means 235 and the synchronization means 211 are provided, and the synchronization signal generated by the synchronization signal generation means 232 based on the information of the performance monitoring means 209 is transmitted via the synchronization signal / response signal input means 235. The data is output from the communication means 238 to the communication network 10 and transmitted to another music performance communication device 14 that is a duet / choral partner.
また該通信手段２３８より該同期信号・応答信号入力手段２３５を介して同期信号を受信すると、該同期手段２１１により該演奏進行制御手段２０５を制御し、該通信網１０に接続されてデュエット・合唱を行っている該音楽演奏通信装置１４の演奏の同期を行う。これらのタイミングの管理のため、計時手段２０１を用いる。 When the synchronization signal is received from the communication means 238 via the synchronization signal / response signal input means 235, the performance progress control means 205 is controlled by the synchronization means 211 and connected to the communication network 10 for duet / choral. The performance of the music performance communication device 14 performing the synchronization is performed. The time measuring means 201 is used for managing these timings.
更に該音楽演奏通信装置１４は、快適なデュエット・合唱を実現するため、該通信網１０や該ブロードバンド回線１６において発生する音響信号ストリームの遅延やデータ欠損を最小にするため、遅延監視手段２３６と欠損率監視手段２３７の出力により同期応答信号発生手段２１２を用いて同期応答信号を発生し、同期信号・応答信号入出力手段２３５、通信手段２３８により音響信号ストリームの受信状況を、該音響信号ストリームを送信している他の音楽演奏通信装置１４に伝える。また、通信手段２３８及び同期信号・応答信号入出力手段２３５を介して音響信号ストリームの受信状況を含む同期信号を受信した場合、同期手段２１１により送信条件指定手段２２０を制御し、該映像入力手段２２５より入力される映像情報を映像ストリーム入出力手段２２２で、適切なブロックに変換することで、音響信号ストリームの遅延や欠損率の低減を実現する。 Further, the music performance communication device 14 is provided with a delay monitoring means 236 for minimizing the delay of audio signal streams and data loss generated in the communication network 10 and the broadband line 16 in order to realize a comfortable duet / chorus. A synchronization response signal is generated by using the synchronization response signal generation unit 212 based on the output of the defect rate monitoring unit 237, and the reception status of the acoustic signal stream is determined by the synchronization signal / response signal input / output unit 235 and the communication unit 238. Is transmitted to the other music performance communication device 14 that is transmitting. When a synchronization signal including the reception status of the acoustic signal stream is received via the communication means 238 and the synchronization signal / response signal input / output means 235, the transmission condition designating means 220 is controlled by the synchronization means 211, and the video input means The video information input from 225 is converted into an appropriate block by the video stream input / output means 222, thereby realizing a reduction in the delay and loss rate of the audio signal stream.
加えて該音楽演奏通信装置１４は、遠隔地の利用者とデュエットや合唱を行うために、特徴情報入力手段２１４、特徴情報表示手段２１５、特徴情報管理手段２１６を有しており、特徴情報送受信手段２１８により該通信手段２３８を介して他の音楽演奏通信装置１４と通信を行うことにより、歌唱相手の決定を行う。 In addition, the music performance communication device 14 includes a feature information input unit 214, a feature information display unit 215, and a feature information management unit 216 for performing duets and chorusing with users at remote locations. The singing partner is determined by communicating with another music performance communication apparatus 14 via the communication means 238 by means 218.
次に図６〜８において音楽演奏通信装置１４の利用の一実施例を説明する。 Next, an embodiment of using the music performance communication device 14 will be described with reference to FIGS.
図６は、該音楽演奏通信装置１４を用いてデュエットや合唱を行っている時の該ＴＶモニタ３６に表示される歌唱中画面の一例であり、該ビデオカメラ３９で撮影されている音楽演奏通信装置１４の利用者の映像は、確認用映像１１０として表示されると共に、該通信網１０に送出し、他の音楽演奏通信装置１４に送られる。また、他の音楽演奏通信装置１４により受信された他の歌唱者の映像は、複数の歌唱者映像１０４として該ビデオカメラ３９で撮影された確認用映像１１０と共に表示される。 FIG. 6 is an example of a singing screen displayed on the TV monitor 36 when a duet or chorus is performed using the music performance communication device 14, and the music performance communication captured by the video camera 39. The video of the user of the device 14 is displayed as a confirmation video 110 and is sent to the communication network 10 and sent to another music performance communication device 14. In addition, other singer videos received by the other music performance communication device 14 are displayed as a plurality of singer videos 104 together with confirmation videos 110 taken by the video camera 39.
また状態表示部１０１には、歌唱中である表示を行い、歌唱曲情報表示部１０２では歌唱曲の曲名や選曲番号等の表示を行うと共にテロップ表示部１０３では、カラオケで必要となるテロップを表示する。 The status display unit 101 displays that the song is being sung, the song information display unit 102 displays the song name and song selection number of the song, and the telop display unit 103 displays the telop necessary for karaoke. To do.
以上の表示により、複数の音楽演奏通信装置１４を利用する複数の歌唱者の映像空間が共有されることで、遠隔地で多拠点を意識させないデュエットや合唱が可能となる。 Due to the above display, a video space of a plurality of singers using a plurality of music performance communication devices 14 is shared, thereby enabling a duet or chorusing that does not make many locations conscious of at remote locations.
図７は、歌唱相手を探す希望者一覧画面の一例であり、利用者（募集者）が特徴情報入力手段２１４であるリモコン４９を用いて、歌いたい曲を登録した結果として、デュエットもしくは合唱の登録に応募した他の利用者(応募者)の一覧を表示する。歌唱希望者一覧画面では、応募者とパートが表示される応募者情報部１０６と応募者映像１０５等が表示される。 FIG. 7 is an example of a wish list screen for searching for a singing partner. As a result of a user (recruiter) registering a song to be sung using the remote controller 49 which is the feature information input means 214, duet or choral Display a list of other users (applicants) who applied for registration. On the singing applicant list screen, an applicant information section 106 where applicants and parts are displayed, an applicant video 105, and the like are displayed.
これらの画面と図８とを用いて、歌唱相手を探す利用者（募集者）が使用する音楽演奏通信装置Aと、該通信網１０を介して接続され、募集者の募集に応募する利用者（応募者）が使用する音楽演奏通信装置Bの動作を説明する。 A user who uses these screens and FIG. 8 and is connected to the music performance communication device A used by a user (recruiter) searching for a singing partner via the communication network 10 and applies for recruitment of recruiters. The operation of the music performance communication device B used by (the applicant) will be described.
まず募集者は、該特徴情報入力手段２１４により、デュエットしたい曲の選曲番号やパート（特徴情報）を該音楽演奏通信装置１４に入力する。音楽演奏通信装置Aは、特徴情報を一定時間保持すると共に特徴情報信号１（募集信号）として特徴情報送受信手段２１８を用いて、通信手段２３８により該ブロードバンド回線１６を介して該通信網１０に送出する。 First, the recruiter inputs the music selection number and part (feature information) of the song to be duet to the music performance communication device 14 by the feature information input means 214. The music performance communication apparatus A retains the characteristic information for a certain period of time and sends the characteristic information signal 1 (recruitment signal) to the communication network 10 via the broadband line 16 by the communication means 238 using the characteristic information transmission / reception means 218. To do.
該通信網１０に接続された他方の音楽演奏通信装置Bは、この募集信号を受信すると、該通信手段２３８及び該特徴情報送受信手段２１８を介して該特徴情報表示手段２１５により映像出力手段２２６に歌唱希望者一覧画面を表示する。歌唱希望者一覧画面の情報は、複数の希望者（募集者）の情報を表示する。この情報は、一定時間に応募が無い場合は、破棄され、画面から消去される。この画面表示に対して同じ選曲番号の入力や表示された端末番号を選択することで、音楽演奏通信装置Bは音楽演奏通信装置Aに対して特徴情報信号２（応募信号）を返す。 When the other music performance communication apparatus B connected to the communication network 10 receives this recruitment signal, the feature information display means 215 sends it to the video output means 226 via the communication means 238 and the feature information transmission / reception means 218. The singing applicant list screen is displayed. The information on the singing applicant list screen displays information on a plurality of applicants (recruiters). This information is discarded and deleted from the screen if there is no application within a certain period of time. The music performance communication device B returns the characteristic information signal 2 (application signal) to the music performance communication device A by inputting the same music selection number and selecting the displayed terminal number for this screen display.
該音楽演奏通信装置Aは、募集信号を送出後募集信号の応募である応募信号を待つが、一定時間の応答が無ければ、記憶された特徴情報を破棄する。一定時間内に応募信号が受信されると、歌唱者応募一覧画面を表示する。 The music performance communication apparatus A waits for an application signal that is an application for the recruitment signal after sending the recruitment signal, but discards the stored feature information if there is no response for a certain period of time. When an application signal is received within a certain time, a singer application list screen is displayed.
募集者は、応募一覧画面より歌唱したい相手を選ぶと、該音楽演奏通信装置Aは該音楽演奏通信装置Bに対して特徴情報信号３（成立信号）を送出すると共に歌唱者応募画面に選択されたマークを表示する。また該音楽演奏通信装置Aは演奏の同期信号を発信するマスター機となる。 When the recruiter selects a partner who wants to sing from the application list screen, the music performance communication device A sends a characteristic information signal 3 (establishment signal) to the music performance communication device B and is selected on the singer application screen. Display the mark. The music performance communication device A serves as a master device for transmitting a performance synchronization signal.
該音楽演奏通信装置Bは、成立信号を受信すると歌唱希望者一覧の該音楽演奏通信装置Aに対応する表示にマークを表示することで選択されたことを表示する。続いて該音楽演奏通信装置Bは、時刻の設定を行うための時刻設定信号を該音楽演奏通信装置Aに送る。時刻設定信号を受け取ったマスター機である該音楽演奏通信装置Aは、時刻情報を含んだ時刻設定確認信号を該音楽演奏通信装置Bに送信する。 When the music performance communication device B receives the establishment signal, the music performance communication device B displays a mark on a display corresponding to the music performance communication device A in the list of singing applicants to indicate that it has been selected. Subsequently, the music performance communication device B sends a time setting signal for setting the time to the music performance communication device A. The music performance communication device A, which is the master device that has received the time setting signal, transmits a time setting confirmation signal including time information to the music performance communication device B.
該音楽演奏通信装置Bは、時刻設定確認信号を受信すると歌唱開始が可能であることを示す準備完了信号を該音楽演奏通信装置Aに送り、歌唱準備が完了する。 When the music performance communication device B receives the time setting confirmation signal, the music performance communication device B sends a preparation completion signal indicating that the singing can be started to the music performance communication device A, and the singing preparation is completed.
該音楽演奏通信装置Aは、準備完了信号を受け取ると歌唱のための演奏を開始すると共に該音楽演奏通信装置Bに演奏開始を伝える同期信号を送る。該音楽演奏通信装置Bは、演奏開始を伝える同期信号を受け取ると演奏を開始すると共に演奏の同期を開始する。 When the music performance communication device A receives the preparation completion signal, the music performance communication device A starts a performance for singing and sends a synchronization signal for transmitting the performance start to the music performance communication device B. When the music performance communication device B receives a synchronization signal indicating the start of performance, the music performance communication device B starts performance and synchronizes performance.
演奏の開始により、該音楽演奏通信装置A及び該音楽演奏通信装置Bは、該ビデオカメラ３９及び該マイクロフォン４６により入力した映像・音響信号ストリームを相手方の該TVモニタ３６及び該スピーカ４３に出力することで、相互の歌唱者の映像・音声が共有される。演奏中には通信機器の演奏の同期を行うため同期信号も一定間隔で送出される。 When the performance is started, the music performance communication device A and the music performance communication device B output the video / audio signal stream input by the video camera 39 and the microphone 46 to the TV monitor 36 and the speaker 43 of the other party. Thus, the video and audio of each other singer are shared. During the performance, synchronization signals are also sent at regular intervals to synchronize the performance of the communication device.
歌唱のための演奏が終了すると、該音楽演奏通信装置Aより演奏終了信号が該音楽演奏通信装置Bに送られることで、相互の音楽演奏通信の演奏が終了すると共に、歌唱者が挨拶する挨拶画面が一定時間交換される。挨拶画面では、歌唱時と同様に映像・音響信号ストリームを交換することでも良い。挨拶画面の交換が終了すると、該音楽演奏通信装置A及びBの通信が切断される。 When the performance for singing is finished, a performance end signal is sent from the music performance communication device A to the music performance communication device B, so that the performance of the mutual music performance communication is finished and the greeting that the singer greets The screen is replaced for a certain time. On the greeting screen, the video / audio signal streams may be exchanged in the same manner as when singing. When the exchange of the greeting screen is completed, the music performance communication devices A and B are disconnected.
これにより一連のデュエット動作が完了する。なお本説明では、デュエットの一例を説明したが、合唱の場合も複数の歌唱応募者を選ぶことで同様の動作を行う。 This completes a series of duet operations. In this description, an example of a duet has been described, but the same operation is performed by selecting a plurality of singing applicants even in the case of chorus.
図９を用いて演奏途中から歌唱に参加する動作について説明する。 The operation | movement which participates in a song from the middle of a performance is demonstrated using FIG.
歌唱を希望する利用者の音楽演奏通信装置Dは、特徴情報信号１を該通信網１０に送出する。該通信網１０に接続されている音楽演奏通信装置Aは、特徴情報信号１を受信するとそれに含まれる選曲番号に該当する曲が音楽演奏通信装置Aですでに演奏されているかを調べる。演奏されていない場合は、歌唱希望者一覧画面を表示するが、すでに演奏されている場合（他の音楽演奏通信装置と歌唱中の場合）は、特徴情報信号４を該音楽演奏通信装置Dに送信する。 The music performance communication device D of the user who desires to sing transmits the characteristic information signal 1 to the communication network 10. When the music performance communication device A connected to the communication network 10 receives the characteristic information signal 1, it checks whether the music performance communication device A has already played a song corresponding to the music selection number included therein. When not being played, the singing applicant list screen is displayed. When already being played (when singing with another music performance communication device), the characteristic information signal 4 is sent to the music performance communication device D. Send.
特徴情報信号４を受信した該音楽演奏通信装置Dは、送出した特徴情報信号に対して応答を返してきた音楽演奏通信装置A等の情報を歌唱希望者一覧画面に表示する。該音楽演奏通信装置Dの利用者が、該音楽演奏通信装置Aの利用者である歌唱中の相手を選択すると、該音楽演奏通信装置Dは特徴情報信号２を該音楽演奏通信装置Aに対して送出する。 The music performance communication apparatus D that has received the characteristic information signal 4 displays information on the music performance communication apparatus A and the like that has returned a response to the transmitted characteristic information signal on the singing applicant list screen. When the user of the music performance communication device D selects a singing partner who is the user of the music performance communication device A, the music performance communication device D sends the characteristic information signal 2 to the music performance communication device A. And send it out.
歌唱中の利用者である該音楽演奏通信装置Aの歌唱中画面には、割り込み要求の表示がされ、表示された割り込み相手に対して「現在の歌唱相手と取り替える。」、「一緒に歌う。」、「歌わない（歌唱を拒否する）。」が選択できる。表示された割り込み相手を選択すると特徴情報信号５が該音楽演奏通信装置Dに送出される。 An interruption request is displayed on the singing screen of the music performance communication apparatus A, which is a user who is singing, and “replace with the current singing partner” or “sing together” to the displayed interrupting partner. "Cannot sing (reject singing)" can be selected. When the displayed interrupt partner is selected, the characteristic information signal 5 is sent to the music performance communication device D.
特徴情報信号５を受信した該音楽演奏通信装置Dの画面には、該音楽演奏通信装置Aの利用者が該音楽演奏通信装置Dの歌唱希望に対して了解の表示が行われ、時刻設定信号が該音楽演奏通信装置Aに送られる。該音楽演奏通信装置Aでは、時刻設定信号を受信すると、時刻情報を含む時刻確認信号を該音楽演奏通信装置Dに送出し、音楽演奏通信装置Dの時刻を設定する。該音楽演奏通信装置Dは、準備が完了すると、該音楽演奏通信装置Aに対して準備完了信号を送出し、該音楽演奏通信装置Aの映像・音響信号ストリームを受信する。 On the screen of the music performance communication device D that has received the characteristic information signal 5, the user of the music performance communication device A indicates that the music performance communication device D wants to sing, and a time setting signal is displayed. Is sent to the music performance communication apparatus A. When the music performance communication device A receives the time setting signal, it sends a time confirmation signal including time information to the music performance communication device D, and sets the time of the music performance communication device D. When the music performance communication device D is ready, the music performance communication device D sends a preparation completion signal to the music performance communication device A and receives the video / audio signal stream of the music performance communication device A.
歌唱中の利用者が使用する該音楽演奏通信装置Aは、準備完了信号を受信した後、演奏の区切り位置である同期信号発生位置までは、同期信号を発生しない。 The music performance communication apparatus A used by the user who is singing does not generate a synchronization signal after receiving the preparation completion signal until a synchronization signal generation position which is a performance break position.
これにより、該音楽演奏通信装置D側では、同期信号の受信までは、歌唱を開始しないため、歌唱の参加は、同期信号受信後となることで違和感の無い参加が可能となる。 Thereby, on the music performance communication device D side, since the singing is not started until the synchronization signal is received, the participation in the singing is after the reception of the synchronization signal, so that participation without a sense of incongruity becomes possible.
その後の動作は、図８と同様である。 The subsequent operation is the same as in FIG.
図４は、複数の遠隔地の利用者が同時に演奏・合唱・デュエットを行うことを可能とするために、演奏開始時刻及び進行中の演奏位置を相互で同期する同期信号方式を用いる処理のフローチャートである。この図を用いて、音楽演奏通信装置Aと音楽演奏通信装置Bが遠隔地で演奏を同期する処理を説明する。 FIG. 4 is a flowchart of a process using a synchronization signal system in which a performance start time and an ongoing performance position are synchronized with each other in order to allow a plurality of users at a remote location to perform, perform chorus, and duet simultaneously. It is. The process in which the music performance communication apparatus A and the music performance communication apparatus B synchronize performances at remote locations will be described with reference to FIG.
該音楽演奏通信装置A、Bにおいて、記憶手段（ＲＯＭ２４、ＲＡＭ２６，ＨＤＤ２８等）には演奏監視手段２０９等の図３記載の各手段が記憶されている。まず、演奏監視手段２０９を用いて楽曲の演奏開始時かどうかを判断し（Ｓ１５０）、演奏開始時ならば、音楽演奏通信装置Bに対して、同期信号発生手段２３２、同期信号・応答信号入出力手段２３５を用いて、演奏開始を告げる同期信号を送信する（Ｓ１５１）。また、演奏開始時ではないならば、現在、演奏中か否かの判断を行う（Ｓ１３０）。処理Ｓ１３０において、演奏中でないならば、処理を終了し、再び処理Ｓ１５０の状態判断を行う。処理Ｓ１３０において、演奏中ならば演奏監視手段２０９より同期位置を抽出し（Ｓ１３２）、同期信号発生手段２３２、同期信号・応答信号入出力手段２３５により、同期信号送信を行う（Ｓ１３４）。該音楽演奏通信装置A、B間の同期信号の通信には、各々の音楽演奏通信装置のネットワークインタフェース３０、ブロードバンド回線１６、通信網１０を介して行う。 In the music performance communication apparatuses A and B, each means shown in FIG. 3 such as the performance monitoring means 209 is stored in the storage means (ROM 24, RAM 26, HDD 28, etc.). First, it is determined whether or not the music performance is started using the performance monitoring means 209 (S150). If the performance is started, the synchronization signal generating means 232, the synchronization signal / response signal input are input to the music performance communication apparatus B. The output means 235 is used to transmit a synchronization signal informing the start of performance (S151). If it is not at the start of the performance, it is determined whether the performance is currently being performed (S130). If it is determined in step S130 that the performance is not being performed, the process is terminated, and the state determination in step S150 is performed again. In process S130, if the performance is being performed, the synchronization position is extracted from the performance monitoring means 209 (S132), and the synchronization signal is transmitted by the synchronization signal generating means 232 and the synchronization signal / response signal input / output means 235 (S134). Communication of synchronization signals between the music performance communication apparatuses A and B is performed via the network interface 30, the broadband line 16, and the communication network 10 of each music performance communication apparatus.
処理Ｓ１５１、Ｓ１３４の同期信号送信の後、音楽演奏通信装置Aでは、音楽演奏通信装置Bからの同期応答信号を待機し（Ｓ１３６）、同期応答信号を受信した場合は、同期状況を画面に表示し（Ｓ１３８）、音楽演奏通信装置Aの処理を一度終了した後に、再び音楽演奏通信装置Aの処理Ｓ１５０の処理に遷移する。また、処理Ｓ１３６において、一定時間、同期応答信号を受信しない場合は、音楽演奏通信装置Aの処理を一度終了した後に、再び音楽演奏通信装置Aの処理Ｓ１５０の処理に遷移する。 After transmitting the synchronization signal in steps S151 and S134, the music performance communication apparatus A waits for a synchronization response signal from the music performance communication apparatus B (S136). When the synchronization response signal is received, the synchronization status is displayed on the screen. (S138) After the processing of the music performance communication apparatus A is once completed, the process again proceeds to the process of the processing S150 of the music performance communication apparatus A. If the synchronization response signal is not received in the process S136 for a certain period of time, the process of the music performance communication apparatus A is once terminated, and then the process again proceeds to the process of the process S150 of the music performance communication apparatus A.
一方、該音楽演奏通信装置Bにおいては、現在、楽曲を演奏中か否かの判断を行う（Ｓ１４０）。処理Ｓ１４０において、演奏中でない場合は、演奏前の状態と認識して、音楽演奏通信装置Aからの同期信号の受信を待機する（Ｓ１５５）。同期信号を一定時間以上受信しない場合は、音楽演奏通信装置Bの処理は終了し、再び最初の処理Ｓ１４０に戻る。処理Ｓ１５５において、同期信号を受信した場合は、計時手段２０１、演奏進行制御手段２０５によって演奏開始時刻設定を行い（Ｓ１５７）、演奏手段２０７によって演奏開始を行う（Ｓ１５９）。 On the other hand, the music performance communication device B determines whether or not the music is currently being played (S140). If it is determined in step S140 that the performance is not being performed, the state before the performance is recognized, and reception of a synchronization signal from the music performance communication device A is awaited (S155). If the synchronization signal is not received for a certain time or longer, the processing of the music performance communication device B ends and returns to the first processing S140 again. In the process S155, when the synchronization signal is received, the performance start time is set by the timing means 201 and the performance progress control means 205 (S157), and the performance is started by the performance means 207 (S159).
処理Ｓ１４０において、演奏中と判断された場合も同様に、演奏中は音楽演奏通信装置Aからの同期信号の受信を待機する（Ｓ１４２）。同期信号を受信しないときは、処理を終了し再度、音楽演奏通信装置Bの最初の処理Ｓ１４０に遷移する。処理Ｓ１４２において、同期信号を受信した場合は、演奏監視手段２０９により現在の演奏位置を抽出する（Ｓ１４３）。同期手段２１１、演奏進行制御手段２０５により、現在の演奏位置を、同期位置に合わせ（Ｓ１４６）、その結果を同期応答信号発生手段２１２により同期応答信号を作成し、同期信号・応答信号入出力手段２３５により、音楽演奏通信装置Aに対して、同期応答信号を送信する（Ｓ１４８）。最後に、同期状況を画面に表示し（Ｓ１４９）、再び、音楽演奏通信装置Bの処理Ｓ１４０を行う。 Similarly, when it is determined in the process S140 that the performance is being performed, the reception of the synchronization signal from the music performance communication device A is awaited during the performance (S142). When the synchronization signal is not received, the process ends and the process proceeds to the first process S140 of the music performance communication device B again. If a synchronization signal is received in step S142, the performance monitoring means 209 extracts the current performance position (S143). The synchronization means 211 and the performance progress control means 205 adjust the current performance position to the synchronization position (S146), and the synchronization response signal generation means 212 creates a synchronization response signal based on the result, and the synchronization signal / response signal input / output means. Through 235, a synchronization response signal is transmitted to the music performance communication apparatus A (S148). Finally, the synchronization status is displayed on the screen (S149), and the process S140 of the music performance communication device B is performed again.
図１０にて、演奏監視手段２０９によって同期位置の検出を行う処理を説明する。演奏手段２０７によって、楽曲演奏がなされている最中に、テロップ表示手段２０３によって、歌詞のテロップが断続的に表示され、テロップは歌詞の進行とともに色が変わる。テロップ表示中は、利用者の歌唱が行われている個所であるため、テロップ色代わり終了時刻に、同期信号発生手段２３２によって、同期信号を発生させることで、利用者が歌唱中でない時刻に演奏を同期させることが可能となる。また、遠隔地の利用者同士は同期信号発生後、最初の歌詞の開始位置から歌唱を同期することができる。 A process for detecting the synchronization position by the performance monitoring means 209 will be described with reference to FIG. While the musical performance is being performed by the performance means 207, the telop display means 203 intermittently displays the telop of the lyrics, and the color of the telop changes as the lyrics progress. While the telop is displayed, it is the place where the user is singing. Therefore, the synchronization signal is generated by the synchronization signal generating means 232 at the end time instead of the telop color, so that the performance is performed at the time when the user is not singing. Can be synchronized. Also, users at remote locations can synchronize singing from the start position of the first lyrics after the synchronization signal is generated.
図５を用いて、本発明のカラオケ制御方式において、複数の遠隔地の利用者が同時に演奏・合唱・デュエットを行うことを可能とするため、通信網における音響信号ストリームの通信上の欠損率（通信パケットロスの割合）や遅延が大きくならないように、他の映像信号ストリームや特徴信号よりも、音響信号ストリームを優先して配信する処理について説明する。 In FIG. 5, in the karaoke control system of the present invention, it is possible for a plurality of users at a remote location to simultaneously perform, chorus, and duet. A process for giving priority to the delivery of the audio signal stream over the other video signal streams and feature signals will be described so that the communication packet loss ratio) and delay do not increase.
音楽演奏通信装置A、B の記憶手段（ＲＯＭ２４、ＲＡＭ２６、ＨＤＤ２８）には、図３記載の演奏監視手段等の各手段が記憶されている。音楽演奏通信装置Aと音楽演奏通信装置Bとの間で、他の映像信号ストリームや特徴信号よりも、音響信号ストリームを優先して配信するために、まず、音楽演奏通信装置Aでは、現在、演奏中か否かを演奏監視手段２０９を用いて行う。演奏中でなければ、処理は終了し、再び演奏中か否かを演奏監視手段２０９を用いて監視する（Ｓ１００）。 Each means such as the performance monitoring means shown in FIG. 3 is stored in the storage means (ROM 24, RAM 26, HDD 28) of the music performance communication devices A and B. In order to deliver the audio signal stream with priority over the other video signal streams and feature signals between the music performance communication device A and the music performance communication device B, first, in the music performance communication device A, Whether or not the performance is being performed is performed using the performance monitoring means 209. If it is not playing, the process ends, and it is monitored again using the performance monitoring means 209 whether or not it is playing (S100).
音楽演奏通信装置Aで演奏が開始された場合は、まず、映像や音響信号のストリーミングの受信ブロック数のカウンタを初期化し（Ｓ１０１）、音楽演奏通信装置Bからのブロック受信を待機する。音楽演奏通信装置Bからのブロック受信がある場合は（Ｓ１０３）、映像・音響信号ブロックの受信処理を行い（Ｓ１０４）、受信したブロック数の計測（ブロック数カウンタの加算）を行う（Ｓ１０６）。一方、ブロック受信がない場合は、音楽演奏通信装置Bからの同期信号を待機する（Ｓ１０７）。ここで、音楽演奏通信装置A、B間の信号通信、映像や音響信号のストリーミングの送受信には、各音楽演奏通信装置のネットワークインタフェース３０、ブロードバンド回線１６及び通信網１０を介して行う。 When the music performance communication apparatus A starts playing, first, a counter for the number of received blocks of streaming video and audio signals is initialized (S101), and a block reception from the music performance communication apparatus B is waited. When there is a block reception from the music performance communication device B (S103), a video / audio signal block reception process is performed (S104), and the number of received blocks is measured (a block number counter is added) (S106). On the other hand, when there is no block reception, a synchronization signal from the music performance communication apparatus B is waited (S107). Here, the signal communication between the music performance communication apparatuses A and B and the transmission / reception of video and audio signal streaming are performed via the network interface 30, the broadband line 16 and the communication network 10 of each music performance communication apparatus.
次に、音楽演奏通信装置Aが音楽演奏通信装置Bからの同期信号を受信した場合は、同期信号受信処理を行う（Ｓ１０９）。同期信号受信処理では、前回の同期信号送出後から受信すべきブロック総数及び同期信号内の時刻情報を、受信した同期信号から取り出す。同期信号を受信しない場合は、再びＳ１０３のブロック受信を待機する。 Next, when the music performance communication apparatus A receives the synchronization signal from the music performance communication apparatus B, a synchronization signal reception process is performed (S109). In the synchronization signal reception process, the total number of blocks to be received after sending the previous synchronization signal and the time information in the synchronization signal are extracted from the received synchronization signal. If the synchronization signal is not received, it waits for the block reception in S103 again.
同期信号受信処理（Ｓ１０９）の後、音楽演奏通信装置Aでは、データ欠損率・遅延の算出を行う（Ｓ１１１）。ここで、「データ欠損率＝受信したブロック数/ 総ブロック数」とし、また、「遅延時間＝同期信号を受信した時刻−同期信号内の時刻情報」と定義する。 After the synchronization signal reception process (S109), the music performance communication apparatus A calculates the data loss rate / delay (S111). Here, “data loss rate = number of received blocks / total number of blocks” is defined, and “delay time = time when synchronization signal is received−time information in synchronization signal” is defined.
欠損率算出の結果、欠損率監視手段２３７を用いて、欠損率が規定値を超過しているかどうかの判断を行い（Ｓ１１３）、規定値を超過している場合は、同期応答手段２１２を用いて、音楽演奏通信装置Bに対して映像ストリームのデータ量制限信号（同期応答信号）送信し（Ｓ１１８）、処理を一度終了した上で、再び処理Ｓ１００を行う。 As a result of calculation of the defect rate, it is determined whether or not the defect rate exceeds a specified value using the defect rate monitoring means 237 (S113). If the defect rate exceeds the specified value, the synchronization response means 212 is used. Then, the video stream data amount restriction signal (synchronization response signal) is transmitted to the music performance communication apparatus B (S118), and once the process is completed, the process S100 is performed again.
一方、遅延算出の結果、遅延監視手段２３６を用いて、遅延が規定値を超過しているかどうかの判断を行い（Ｓ１１５）、規定値を超過している場合は、同様に、同期応答手段２１２を用いて、音楽演奏通信装置Bに対して映像ストリームのデータ量制限信号（同期応答信号）を送信し（Ｓ１１８）、処理を一度終了した上で、再び処理Ｓ１００を行う。 On the other hand, as a result of the delay calculation, the delay monitoring unit 236 is used to determine whether or not the delay exceeds the specified value (S115). Is transmitted to the music performance communication apparatus B (S118), the process is once completed, and the process S100 is performed again.
欠損率も遅延も規定値以下の場合には、音楽演奏通信装置Bに対して正常応答を行い（Ｓ１１６）、同期信号を送信した上で、再び処理Ｓ１００を行う。 If the loss rate and the delay are less than the specified value, a normal response is made to the music performance communication device B (S116), a synchronization signal is transmitted, and the process S100 is performed again.
音楽演奏通信装置Bにおいては、まず、現在、演奏中か否かを演奏監視手段２０９を用いて行う。演奏中でなければ、処理は終了し、再び演奏中か否かを演奏監視手段２０９を用いて監視する（Ｓ１２０）。 The music performance communication device B first uses the performance monitoring means 209 to determine whether or not it is currently being performed. If it is not playing, the process is ended, and it is monitored again using the performance monitoring means 209 whether or not it is playing (S120).
演奏が開始された場合は、音楽演奏通信装置Bから音楽演奏通信装置Aに対して、映像・音のストリーミングのブロックを送信する（Ｓ１２２）。映像・音響信号のストリーミングのブロックを送信中、所定数のブロック送信を行ったか否かを判断し（Ｓ１２４）、所定数に至った場合は、同期信号発生手段２３２、同期信号・応答信号入出力手段２３５及び通信手段２３５を利用して音楽演奏通信装置Aに対して同期信号を送信する（Ｓ１２６）。 When the performance is started, the music performance communication device B transmits a video / sound streaming block to the music performance communication device A (S122). It is determined whether or not a predetermined number of block transmissions have been performed during transmission of video / audio signal streaming blocks (S124). If the predetermined number is reached, synchronization signal generating means 232, synchronization signal / response signal input / output A synchronization signal is transmitted to the music performance communication apparatus A using the means 235 and the communication means 235 (S126).
音楽演奏通信装置Bから送信した同期信号に対する同期応答信号として、音楽演奏通信装置Aからは、同期信号・応答信号入出力手段２３５及び通信手段２３８を通して、正常応答もしくは映像ストリームのデータ量制限信号が送信され、音楽演奏通信装置Bは、その信号を受信する（Ｓ１２８）。 As a synchronization response signal for the synchronization signal transmitted from the music performance communication device B, the music performance communication device A sends a normal response or a data amount limit signal of the video stream through the synchronization signal / response signal input / output means 235 and the communication means 238. Then, the music performance communication device B receives the signal (S128).
受信した同期信号が正常応答信号か否かを判断し（Ｓ１３０）、正常応答の場合は、処理を終了し、再び処理Ｓ１２０を行う。正常応答信号でない場合は、映像ストリームのデータ量制限信号と判断し、送信条件指定手段２２０によって、映像ストリームのデータ量制限（フレームレートを下げる等）を行う（Ｓ１３１）。 It is determined whether or not the received synchronization signal is a normal response signal (S130). If the received response is a normal response, the process ends and the process S120 is performed again. If it is not a normal response signal, it is determined as a data amount restriction signal of the video stream, and the data amount restriction (such as lowering the frame rate) of the video stream is performed by the transmission condition designating unit 220 (S131).
なお、本説明では欠損率・遅延の検出動作を同期信号を用いて行ったが、その他の方法として、映像や音響信号ストリーミングの各々のブロック信号に、ブロック数及び信号送出時の時間情報を付加することで、欠損率・遅延の検出動作を行う方法もある。 In this description, the defect rate / delay detection operation is performed using a synchronization signal. However, as another method, the number of blocks and time information at the time of signal transmission are added to each block signal of video and audio signal streaming. By doing so, there is a method for detecting the defect rate / delay.
以上双方向ブロードバンド通信網に接続された音楽演奏通信装置１４を用いた遠隔地の複数の利用者を接続したデュエット・合唱を実現するシステムの動作の一例を説明したが、相互の信号の交換は、この特許請求の範囲内で変更して実施可能である。 In the above, an example of the operation of the system for realizing a duet / chorus in which a plurality of remote users using the music performance communication device 14 connected to the bidirectional broadband communication network has been described. The present invention can be modified and implemented within the scope of the claims.
１０ 通信網
１２ 情報管理サーバ
１４ 音楽演奏通信装置(A, B, C, D)
１６ ブロードバンド回線
10 Communication Network 12 Information Management Server 14 Music Performance Communication Device (A, B, C, D)
16 Broadband line
Claims (12)
利用者の音声を入力するための音声入力手段と、
カラオケデータを記憶する記憶手段と、
前記カラオケデータを用いて演奏を行う演奏手段と、
前記演奏手段を制御し演奏を進行させる演奏進行制御手段と、
通信網に接続するための通信手段と、
を備えた複数の音楽演奏通信装置を前記通信手段により前記通信網に接続し、夫々の前記音楽演奏通信装置が前記通信網を介して、前記入力された映像を映像信号ストリームとして、且つ、前記入力された音声を音響信号ストリームとして、互いに送信するようにしたカラオケシステムであって、
一の前記音楽演奏通信装置は、
前記演奏手段による演奏に応じて表示される歌詞のテロップであって、当該歌詞の進行とともに色が変わる前記テロップの色代わり終了時刻に、他の前記音楽演奏通信装置の演奏と同期を取るための同期信号を発生させる同期信号発生手段と、
前記通信網を介して前記他の音楽演奏通信装置に前記発生された同期信号を送信する同期信号送信手段と、
前記他の音楽演奏通信装置から送信された、前記同期信号に対する同期応答信号を受信する同期応答信号受信手段と、
前記受信された同期応答信号が正常応答信号であるか否かを判断する判断手段と、
前記判断手段により正常応答信号でないと判断された場合には、前記映像信号ストリームよりも前記音響信号ストリームを優先して他の前記音楽演奏通信装置に前記通信網を介して送信するストリーム送信手段と、
を備えることを特徴とするカラオケシステム。 Video input means for inputting a user's video;
Voice input means for inputting the user's voice;
Storage means for storing karaoke data;
Performance means for performing performance using the karaoke data;
Performance progression control means for controlling the performance means to advance the performance;
A communication means for connecting to a communication network;
A plurality of music performance communication devices connected to the communication network by the communication means, each of the music performance communication devices via the communication network, the input video as a video signal stream, and the A karaoke system in which input sound is transmitted as an acoustic signal stream to each other,
One of the music performance communication devices is:
A telop of lyrics displayed in accordance with the performance by the performance means, for synchronizing with the performance of the other music performance communication device at the color substitution end time of the telop that changes color as the lyrics progress Synchronization signal generating means for generating a synchronization signal;
Synchronization signal transmitting means for transmitting the generated synchronization signal to the other music performance communication device via the communication network;
Synchronization response signal receiving means for receiving a synchronization response signal for the synchronization signal transmitted from the other music performance communication device;
Determining means for determining whether or not the received synchronization response signal is a normal response signal;
A stream transmission unit that prioritizes the audio signal stream over the video signal stream and transmits it to the other music performance communication device via the communication network when the determination unit determines that the response signal is not a normal response signal; ,
A karaoke system comprising:
前記他の音楽演奏通信装置は、
前記一の音楽演奏通信装置から送信された前記同期信号を受信する同期信号受信手段と、
前記同期信号が受信された場合に、前記受信された音響信号ストリームのデータ欠損率を算出する欠損率算出手段と、
前記算出されたデータ欠損率が規定値を超過しているか否かを判断する欠損率監視手段と、
前記欠損率監視手段により、前記データ欠損率が規定値を超過していると判断された場合に、映像ストリームのデータ量制限信号を前記同期応答信号として前記通信網を介して前記一の音楽演奏通信装置に送信する同期応答信号送信手段と、
を更に備え、
前記一の音楽演奏通信装置のストリーム送信手段は、前記判断手段により正常応答信号でないと判断された場合には、前記映像信号ストリームのデータ量を制限することにより、前記映像信号ストリームよりも前記音響信号ストリームを優先して前記他の音楽演奏通信装置に前記通信網を介して送信することを特徴とするカラオケシステム。 The karaoke system according to claim 1,
The other music performance communication device is:
Synchronization signal receiving means for receiving the synchronization signal transmitted from the one music performance communication device;
A loss rate calculating means for calculating a data loss rate of the received acoustic signal stream when the synchronization signal is received;
A loss rate monitoring means for determining whether the calculated data loss rate exceeds a specified value;
When the loss rate monitoring means determines that the data loss rate exceeds a specified value, the music performance data is transmitted via the communication network using a data amount limit signal of a video stream as the synchronization response signal. Synchronization response signal transmitting means for transmitting to the communication device;
Further comprising
The stream transmission unit of the one music performance communication device limits the data amount of the video signal stream when the determination unit determines that the signal is not a normal response signal, so that the audio signal is transmitted more than the video signal stream. A karaoke system characterized in that a signal stream is preferentially transmitted to the other music performance communication device via the communication network.
前記他の音楽演奏通信装置は、
前記一の音楽演奏通信装置から送信された前記同期信号を受信する同期信号受信手段と、
前記同期信号が受信された場合に、前記受信された音響信号ストリームの遅延時間を算出する遅延算出手段と、
前記算出された遅延時間が規定値を超過しているか否かを判断する遅延監視手段と、
前記遅延監視手段により、前記遅延時間が規定値を超過していると判断された場合に、映像ストリームのデータ量制限信号を前記同期応答信号として前記通信網を介して前記一の音楽演奏通信装置に送信する同期応答信号送信手段と、
を更に備え、
前記一の音楽演奏通信装置のストリーム送信手段は、前記判断手段により正常応答信号でないと判断された場合には、前記映像信号ストリームのデータ量を制限することにより、前記映像信号ストリームよりも前記音響信号ストリームを優先して前記他の音楽演奏通信装置に前記通信網を介して送信することを特徴とするカラオケシステム。 The karaoke system according to claim 1,
The other music performance communication device is:
Synchronization signal receiving means for receiving the synchronization signal transmitted from the one music performance communication device;
A delay calculating means for calculating a delay time of the received acoustic signal stream when the synchronization signal is received;
Delay monitoring means for determining whether or not the calculated delay time exceeds a specified value;
When the delay monitoring unit determines that the delay time exceeds a specified value, the one music performance communication device via the communication network using a data amount limit signal of a video stream as the synchronization response signal Synchronous response signal transmitting means for transmitting to
Further comprising
The stream transmission unit of the one music performance communication device limits the data amount of the video signal stream when the determination unit determines that the signal is not a normal response signal, so that the audio signal is transmitted more than the video signal stream. A karaoke system characterized in that a signal stream is preferentially transmitted to the other music performance communication device via the communication network.
前記一の音楽演奏通信装置の同期信号送信手段は、前回の同期信号の送信から前記他の音楽演奏通信装置が受信すべき前記ストリームの総ブロック数を含む前記同期信号を当該他の音楽演奏通信装置に送信し、
前記他の音楽演奏通信装置は、
前記受信された同期信号から前記総ブロック数を取り出す取出手段を更に備え、
前記欠損率算出手段は、前記取り出された総ブロック数と、前回の同期信号の受信から受信された前記ストリームのブロック数とに基づいて、前記データ欠損率を算出することを特徴とするカラオケシステム。 The karaoke system according to claim 2,
The synchronization signal transmitting means of the one music performance communication device receives the synchronization signal including the total number of blocks of the stream to be received by the other music performance communication device from the previous transmission of the synchronization signal. To the device,
The other music performance communication device is:
Further comprising an extracting means for extracting the total number of blocks from the received synchronization signal;
The karaoke system characterized in that the loss rate calculation means calculates the data loss rate based on the total number of blocks extracted and the number of blocks of the stream received from the previous reception of the synchronization signal. .
前記一の音楽演奏通信装置の同期信号送信手段は、現在の時刻情報を含む前記同期信号を前記他の音楽演奏通信装置に送信し、
前記他の音楽演奏通信装置は、
前記受信された同期信号から前記時刻情報を取り出す取出手段を更に備え、
前記遅延算出手段は、前記取り出された時刻情報と、当該同期信号を受信した時刻とに基づいて、前記遅延時間を算出することを特徴とするカラオケシステム。 The karaoke system according to claim 3,
The synchronization signal transmitting means of the one music performance communication device transmits the synchronization signal including current time information to the other music performance communication device,
The other music performance communication device is:
It further comprises extraction means for extracting the time information from the received synchronization signal,
The delay calculation means calculates the delay time based on the extracted time information and the time when the synchronization signal is received.
前記映像入力手段、前記音声入力手段、前記記憶手段、前記演奏手段、前記演奏進行制御手段、前記通信手段、前記同期信号発生手段、前記同期信号送信手段、前記同期応答信号受信手段、前記判断手段、及び前記ストリーム送信手段を備えることを特徴とする音楽演奏通信装置。 It is the said 1 music performance communication apparatus with which the karaoke system as described in any one of Claims 1 thru | or 5 is equipped,
The video input means, the audio input means, the storage means, the performance means, the performance progress control means, the communication means, the synchronization signal generation means, the synchronization signal transmission means, the synchronization response signal reception means, and the determination means And a music performance communication apparatus comprising the stream transmission means.
前記映像入力手段、前記音声入力手段、前記記憶手段、前記演奏手段、前記演奏進行制御手段、及び前記通信手段を備え、
当該他の音楽演奏通信装置は、前記一の音楽演奏通信装置から送信された前記映像信号ストリーム及び前記音響信号ストリームを受信することを特徴とする音楽演奏通信装置。 The other music performance communication device provided in the karaoke system according to claim 1,
The video input means, the voice input means, the storage means, the performance means, the performance progress control means, and the communication means,
The other music performance communication device receives the video signal stream and the audio signal stream transmitted from the one music performance communication device.
前記映像入力手段、前記音声入力手段、前記記憶手段、前記演奏手段、前記演奏進行制御手段、前記通信手段、前記同期信号受信手段、前記欠損率算出手段、前記欠損率監視手段、及び前記同期応答信号送信手段を備えることを特徴とする音楽演奏通信装置。 The other music performance communication device provided in the karaoke system according to claim 2,
The video input means, the voice input means, the storage means, the performance means, the performance progress control means, the communication means, the synchronization signal reception means, the loss rate calculation means, the loss rate monitoring means, and the synchronization response A music performance communication apparatus comprising a signal transmission means.
前記映像入力手段、前記音声入力手段、前記記憶手段、前記演奏手段、前記演奏進行制御手段、前記通信手段、前記同期信号受信手段、前記遅延算出手段、前記遅延監視手段、及び前記同期応答信号送信手段を備えることを特徴とする音楽演奏通信装置。 The other music performance communication device provided in the karaoke system according to claim 3,
The video input means, the audio input means, the storage means, the performance means, the performance progress control means, the communication means, the synchronization signal reception means, the delay calculation means, the delay monitoring means, and the synchronization response signal transmission A music performance communication device comprising means.
前記映像入力手段、前記音声入力手段、前記記憶手段、前記演奏手段、前記演奏進行制御手段、前記通信手段、前記同期信号受信手段、前記取出手段、前記欠損率算出手段、前記欠損率監視手段、及び前記同期応答信号送信手段を備えることを特徴とする音楽演奏通信装置。 The other music performance communication device provided in the karaoke system according to claim 4,
The video input means, the voice input means, the storage means, the performance means, the performance progress control means, the communication means, the synchronization signal reception means, the extraction means, the loss rate calculation means, the loss rate monitoring means, And a music performance communication apparatus comprising the synchronization response signal transmission means.
前記映像入力手段、前記音声入力手段、前記記憶手段、前記演奏手段、前記演奏進行制御手段、前記通信手段、前記同期信号受信手段、前記取出手段、前記遅延算出手段、前記遅延監視手段、及び前記同期応答信号送信手段を備えることを特徴とする音楽演奏通信装置。 The other music performance communication device provided in the karaoke system according to claim 5,
The video input means, the audio input means, the storage means, the performance means, the performance progress control means, the communication means, the synchronization signal reception means, the extraction means, the delay calculation means, the delay monitoring means, and the A music performance communication apparatus comprising synchronization response signal transmission means.
利用者の音声を入力するための音声入力手段と、
カラオケデータを記憶する記憶手段と、
前記カラオケデータを用いて演奏を行う演奏手段と、
前記演奏手段を制御し演奏を進行させる演奏進行制御手段と、
通信網に接続するための通信手段と、
を備えた複数の音楽演奏通信装置が前記通信網に接続され、夫々の前記音楽演奏通信装置が前記通信網を介して、前記入力された映像を映像信号ストリームとして、且つ、前記入力された音声を音響信号ストリームとして、互いに送信するようにした音楽演奏通信装置における通信方法であって、
前記通信方法は、
一の前記音楽演奏通信装置が、前記演奏手段による演奏に応じて表示される歌詞のテロップであって、当該歌詞の進行とともに色が変わる前記テロップの色代わり終了時刻に、他の前記音楽演奏通信装置の演奏と同期を取るための同期信号を発生させる同期信号発生ステップと、
前記一の音楽演奏通信装置が、前記通信網を介して前記他の音楽演奏通信装置に前記発生された同期信号を送信する同期信号送信ステップと、
前記一の音楽演奏通信装置が、前記他の音楽演奏通信装置から送信された、前記同期信号に対する同期応答信号を受信する同期応答信号受信ステップと、
前記一の音楽演奏通信装置が、前記受信された同期応答信号が正常応答信号であるか否かを判断する判断ステップと、
前記一の音楽演奏通信装置が、正常応答信号でないと判断された場合には、前記映像信号ストリームよりも前記音響信号ストリームを優先して他の前記音楽演奏通信装置に前記通信網を介して送信するストリーム送信ステップと、
を含むことを特徴とする音楽演奏通信装置における通信方法。 Video input means for inputting a user's video;
Voice input means for inputting the user's voice;
Storage means for storing karaoke data;
Performance means for performing performance using the karaoke data;
Performance progression control means for controlling the performance means to advance the performance;
A communication means for connecting to a communication network;
A plurality of music performance communication devices connected to the communication network, and each of the music performance communication devices via the communication network uses the input video as a video signal stream and the input audio. As a sound signal stream, and a communication method in a music performance communication device that transmits each other,
The communication method is:
One music performance communication device is a telop of lyrics displayed in accordance with the performance by the performance means, and the other music performance communication at the end time of color substitution of the telop whose color changes as the lyrics progress A synchronization signal generating step for generating a synchronization signal for synchronizing with the performance of the device;
A synchronization signal transmitting step in which the one music performance communication device transmits the generated synchronization signal to the other music performance communication device via the communication network;
A synchronization response signal receiving step in which the one music performance communication device receives a synchronization response signal for the synchronization signal transmitted from the other music performance communication device;
A step of determining whether the one music performance communication device determines whether or not the received synchronization response signal is a normal response signal;
If it is determined that the one music performance communication device is not a normal response signal, the audio signal stream is prioritized over the video signal stream and transmitted to the other music performance communication device via the communication network. Stream sending step,
The communication method in the music performance communication apparatus characterized by including.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008243185A JP4446075B2 (en) | 2008-09-22 | 2008-09-22 | Karaoke system, music performance communication device, and communication method in music performance communication device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008243185A JP4446075B2 (en) | 2008-09-22 | 2008-09-22 | Karaoke system, music performance communication device, and communication method in music performance communication device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003304611A Division JP4219234B2 (en) | 2003-08-28 | 2003-08-28 | Karaoke system, music performance communication device, and performance synchronization method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009009158A JP2009009158A (en) | 2009-01-15 |
| JP4446075B2 true JP4446075B2 (en) | 2010-04-07 |
Family
ID=40324212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008243185A Expired - Fee Related JP4446075B2 (en) | 2008-09-22 | 2008-09-22 | Karaoke system, music performance communication device, and communication method in music performance communication device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4446075B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102568460A (en) * | 2010-12-28 | 2012-07-11 | 张泽铭 | Networking multi-person asynchronous chorus video work system and implementation method thereof |
| JP6076777B2 (en) * | 2013-02-28 | 2017-02-08 | 株式会社第一興商 | Performance start synchronization system in network chorus |
| JP6209357B2 (en) * | 2013-03-29 | 2017-10-04 | 株式会社第一興商 | Error prevention system when receiving digital music broadcasts |
| JP6140533B2 (en) * | 2013-05-31 | 2017-05-31 | 株式会社第一興商 | Online karaoke system characterized by start of performance during communication duet |
| JP6065800B2 (en) * | 2013-09-30 | 2017-01-25 | ブラザー工業株式会社 | Karaoke distribution server, terminal device, program |
| JP6079971B2 (en) * | 2014-01-31 | 2017-02-15 | ブラザー工業株式会社 | Karaoke host device, karaoke system and karaoke program |
-
2008
- 2008-09-22 JP JP2008243185A patent/JP4446075B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009009158A (en) | 2009-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4219234B2 (en) | Karaoke system, music performance communication device, and performance synchronization method | |
| US11553235B2 (en) | Audiovisual collaboration method with latency management for wide-area broadcast | |
| JP4446075B2 (en) | Karaoke system, music performance communication device, and communication method in music performance communication device | |
| CN110910860B (en) | Online KTV implementation method and device, electronic equipment and storage medium | |
| CN113395305B (en) | Method and device for synchronous playing processing and electronic equipment | |
| JP2010112981A (en) | Remote demonstration reproducing method and device | |
| TWI244838B (en) | Method of karaoke by network system | |
| KR101650071B1 (en) | Online Music Production System And Method | |
| JP6785169B2 (en) | Karaoke device, remote control device | |
| JP2002182664A (en) | Karaoke (orchestration without lyrics) system | |
| JP6610076B2 (en) | Information processing apparatus, information processing system, program, and recording medium | |
| JP2008304821A (en) | Musical piece concert release system | |
| Alexandraki et al. | Towards the implementation of a generic platform for networked music performance: The DIAMOUSES approach | |
| JP5665192B2 (en) | Karaoke music selection system using personal portable terminal | |
| JP6208439B2 (en) | Performance key matching system in network chorus | |
| JP5665193B2 (en) | Karaoke music selection system using personal portable terminal | |
| JP5349171B2 (en) | Karaoke system with performance condition setting function | |
| JP2008306475A (en) | Voice and image conference device | |
| JP6295675B2 (en) | Music session system, method and terminal device | |
| WO2024100920A1 (en) | Information processing device, information processing method, and program for information processing | |
| JP2013026843A (en) | Television conference system | |
| JP2016191795A (en) | Karaoke device, karaoke system and program | |
| JP2007199415A (en) | Karaoke system | |
| JP6182011B2 (en) | Karaoke system | |
| JP2003163906A (en) | Television conference system and method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080924 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091208 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091218 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4446075 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140129 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |