JP4119161B2 - Information signal distribution service system and information signal distribution method - Google Patents

Information signal distribution service system and information signal distribution method Download PDF

Info

Publication number
JP4119161B2
JP4119161B2 JP2002133029A JP2002133029A JP4119161B2 JP 4119161 B2 JP4119161 B2 JP 4119161B2 JP 2002133029 A JP2002133029 A JP 2002133029A JP 2002133029 A JP2002133029 A JP 2002133029A JP 4119161 B2 JP4119161 B2 JP 4119161B2
Authority
JP
Japan
Prior art keywords
information signal
distribution
information
signal output
mixing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002133029A
Other languages
Japanese (ja)
Other versions
JP2003323182A (en
Inventor
典史 片渕
雅博 奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2002133029A priority Critical patent/JP4119161B2/en
Publication of JP2003323182A publication Critical patent/JP2003323182A/en
Application granted granted Critical
Publication of JP4119161B2 publication Critical patent/JP4119161B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、通信ネットワークを通して複数の情報信号を配信し、これらの情報信号中から受信者が一または複数の情報信号を選んで任意に再生できるようにする情報信号配信サービスシステムおよび情報信号配信方法に関する。
【0002】
【従来の技術】
インターネットなどの通信ネットワークや衛星を用いたデータ通信技術の発達に伴って、データベースに蓄積された多数の音楽情報や画像(映像)情報を配信サーバ側からクライアント側のユーザに対して配信するサービスが提供されている。
【0003】
このような情報の配信サービスシステムは、例えばデジタルデータとしての音楽データや画像データを、周知の手段により圧縮符号化してデータベースに多数蓄積する配信サーバ(サーバコンピュータ)と、この配信サーバに通信ネットワークを介して接続され、配信サーバに蓄積されている音楽情報や画像情報の中から所望のものを選択してダウンロード要求するクライアントコンピュータとを備えたものからなる。
【0004】
そして、配信サーバは前記ダウンロード要求にもとづいて音楽情報や画像情報を検索し、この検索により取り出した各情報をクライアントコンピュータ側に配信し、クライアントコンピュータでは配信された情報をハードディスクなどに保存し、必要に応じて再生手段によって再生し、音楽や画像を耳や目で楽しむことができる。
【0005】
一方、今日では、複数本のマイクロホンやビデオカメラで取り込んだ複数チャンネル分の生(ライブ演奏)の音声信号や画像信号をミキシングして1つの編集情報にまとめた上で、通信ネットワークを介してクライアントコンピュータに配信する情報信号配信方法が提案されている。これによればクライアントコンピュータの利用者は誰でも配信サーバから送信されるライブ演奏やライブ画像を自宅やレストラン、飲食店などで聴取または鑑賞できるようになった。
【0006】
【発明が解決しようとする課題】
しかしながら、前記のライブ演奏やライブ画像の配信方法にあっては、通信ネットワークを通してクライアントコンピュータへ音声信号や画像信号を配信する前に、例えば複数のマイクロホンにより集音された音声信号が、2チャンネル(ステレオ)や5.1チャンネル(左右、中央、後左右の5チャンネル分と低音再生用のウーハの0.1チャンネル分)にミキシングされて一つにまとめられているため、受信側ではミキシングする音声信号の組み合わせを任意に変えることができず、従って、クライアントコンピュータ側では、視聴者の意図する音声や画像を再生できず、単に再生音量を調整したり、音声出力周波数の低域や高域のイコライズ調整をしたりすることができるのみであった。
【0007】
本発明は前記のような問題を解決するものであり、受信側において受信者が意図するライブの音声信号や画像信号をミキシングして再生可能にする情報信号配信サービスシステムおよび情報信号配信方法を得ることを目的とする。
【0008】
【課題を解決するための手段】
本発明は前記目的達成のためになされたものであり、請求項1の発明にかかる情報信号配信サービスシステムは、通信ネットワークを介して接続された配信側と受信側との間で情報信号を配信する情報信号配信サービスシステムにおいて、配信側に配置され、複数の情報信号を同時かつ個別に出力する複数の情報信号出力手段と、配信側に配置され、各情報信号出力手段が出力する各情報信号を通信ネットワークを介して別々に配信する複数の配信手段と、受信側に配置され、各配信手段から通信ネットワークを介して配信された各情報信号を個別に受信する複数の受信手段と、受信側に配置され、各受信手段により受信された各情報信号のうち受信者の意図により選択された一の情報信号をそのまま出力しまたは複数の情報信号をミキシングして出力するミキシング手段と、受信側に配置され、ミキシング手段から出力された情報信号を音声または画像に再生する再生手段と、各情報信号出力手段から各配信手段へ入力され通信ネットワークを介して配信される各情報信号の各配信手段における配信タイミングの同期をとるとともに、各受信手段からミキシング手段へ送出される各情報信号の同期をとる同期手段とを有することを特徴とするものである。これにより、受信者側において受信者が意図してミキシングしたライブの音声または画像を聴取または鑑賞することができる。
【0009】
また、請求項2の発明にかかる情報信号配信サービスシステムは、情報信号出力手段が出力する各情報信号を配信側で一つにミキシングするサーバ側ミキシング手段を有し、サーバ側ミキシング手段で一つにまとめられた情報信号を通信ネットワークを介して受信側へ配信するようにしたものである。これにより、配信者が意図する方法でミキシングした音声情報または画像情報を、受信者が意図してミキシングしたものとは別に、受信者が聴取または鑑賞することができる。
【0010】
また、請求項3の発明にかかる情報信号配信サービスシステムは、ミキシング手段における一の情報信号または複数の情報信号の選択や変更を、受信者の意図に応じて可能とする選択指示手段を設けたものである。これにより、種々の音声情報や画像情報の組み合わせを任意に変えながら同時に聴取または鑑賞することができる。
【0011】
また、請求項4の発明にかかる情報信号配信サービスシステムは、情報信号出力手段を、ライブ画像信号を出力するビデオカメラとしたものである。これにより、複数のビデオカメラで撮影した好みのアングルの画像を受信側で自由に選択して表示することができる。
【0012】
また、請求項5の発明にかかる情報信号配信サービスシステムは、情報信号出力手段を、ライブ音声信号を出力するマイクロホンとしたものである。これにより複数のマイクロホンで集音した好みの楽器の演奏を受信側で任意に組み合わせて聴取することができる。
【0013】
また、請求項6の発明にかかる情報信号配信方法は、通信ネットワークを介して接続された配信側と受信側との間で情報信号を配信する情報信号配信サービスシステムにおける情報信号配信方法において、情報信号配信サービスシステムは、配信側に配置された複数の情報信号出力手段および複数の配信手段と、受信側に配置された複数の受信手段、ミキシング手段および再生手段と、同期手段とを有し、複数の情報信号出力手段が、複数の情報信号を同時かつ個別に出力し、同期手段が、各情報信号出力手段から各配信手段へ入力され通信ネットワークを介して配信される各情報信号の各配信手段における配信タイミングの同期をとり、複数の配信手段が、各情報信号出力手段から出力され、同期手段により同期がとられた各情報信号を通信ネットワークを介して別々に配信し、複数の受信手段が、配信された各情報信号を別々に受信し、同期手段が、各受信手段からミキシング手段へ送出される各情報信号の同期をとり、ミキシング手段が、各受信手段により受信され、同期手段により同期がとられた各情報信号のうち受信者により選択された一の情報信号をそのまま出力しまたは複数の情報信号をミキシングして出力し、再生手段が、ミキシング手段から出力された情報信号を音声または画像に再生することを特徴とするものである。これにより、受信者は自身で選択した情報信号の一つのみをまたは複数を組み合わせて再生し、聴取または鑑賞することができる。
【0014】
【発明の実施の形態】
以下に、本発明の実施の一形態を図面について説明する。図1は本発明の情報信号配信サービスシステムを示す概念図であり、同図において、Aは複数の情報信号出力手段1−1〜1−nを有する情報信号出力部、Bは情報信号出力手段1−1〜1−nから得られた各情報信号を、インターネットなどの通信ネットワークCを介して配信する配信手段2−1〜2−nを持った配信部、Dは通信ネットワークCを介して各配信手段2−1〜2−nから得られた情報信号を受信する受信手段3−1〜3−nを持った受信部である。
【0015】
また、4は受信手段3−1〜3−nで受信した情報信号のうち受信者が選択した一の情報信号をそのまま出力し、または2以上の情報信号をミキシングして出力するミキシング手段、5は情報信号出力部Aの各信号出力手段1−1〜1−nから通信ネットワークCを介して配信される各情報信号の同期をとるとともに、各受信手段3−1〜3−nからミキシング手段4へ送出される各情報信号の同期をとるための同期手段である。
【0016】
この情報信号配信サービスシステムでは、情報信号出力部Aの各情報信号出力手段1−1〜1−nから出力された情報信号が同期手段5により各信号間の同期がとられた上で、配信手段2−1〜2−nにより通信ネットワークCへ配信され、この通信ネットワークC上に配信された各情報信号は各受信手段3−1〜3−nにより別個に受信される。さらに、同期手段5によりこれらの情報信号間の同期がとられた上でミキシング手段4へ供給され、ここで受信者が意図する情報信号の一つを取り出して、または複数をミキシングしたものを取り出して再生し、聴取または鑑賞することができる。
【0017】
なお、配信手段2−1〜2−n、通信ネットワークCおよび受信手段3−1〜3−nを結ぶ通信路を光ファイバによる光ネットワークとした場合には、配信手段2−1〜2−nには電気−光変換器が設けられ、受信手段3−1〜3−nには光−電気変換器が設けられる。
【0018】
図2は本発明の情報信号配信サービスシステムをより具体化した例を示す説明図であり、1−11〜1−14は情報信号出力部の情報信号出力手段としてのビデオカメラ、1−21〜1−24はこれらのビデオカメラ1−11〜1−14に付属の、または必要に応じて全く独立して用いられる情報信号出力手段としてのマイクロホンである。そしてこれらのビデオカメラ1−11〜1−14およびマイクロホン1−21〜1−24はたとえばボーカル、ドラム、ベースおよびキーボードなどの演奏画像とこれらの音声をそれぞれ同時かつ独自に撮影および収音するように機能する。
【0019】
また、2−1〜2−4はビデオカメラ1−11〜1−14およびマイクロホン1−21〜1−24からの各演奏の画像信号や音声信号をそれぞれ独自にかつ同時に通信ネットワークCを通して配信する配信手段である。さらに、6はビデオカメラ1−11〜1−14およびマイクロホン1−21〜1−24からの情報信号である各演奏画像や音声信号を、配信を行う前に配信サーバ側においてミキシングするサーバ側(配信側)ミキシング手段、2−5はサーバ側ミキシング手段6の出力を配信する配信手段である。
【0020】
また、通信ネットワークCには、前記各配信手段2−1〜2−4に対応して受信手段3−1〜3−4が接続されている。これらの受信手段3−1〜3−4には受信者により選択される前記演奏の画像信号や音声信号のうち1つを選択してそのまま出力したり、複数を選択してミキシングして出力したりするミキシング手段4が設けられている。なお、ミキシングする演奏の画像信号や音声信号の選択は受信者の意図により選択指示手段7を用いて実施される。
【0021】
3−5は配信手段2−5に対応するように設けられた受信手段であり、サーバ側ミキシング手段6で一つにまとめられた画像信号や音声信号を通信ネットワークCを介して受信するとともに、ミキシング手段4を通して再生手段8へ出力可能にしている。なお、この再生手段8にはミキシング手段4で選択された前記一の画像信号や音声信号、あるいはミキシングされた複数の画像信号や音声信号が入力されて、画像や音声に再現される。
【0022】
さらに、同期手段5は各配信手段2−1〜2−4における画像信号や音声信号の配信タイミングを揃えるとともに、受信手段3−1〜3−4からミキシング手段4への前記各信号の供給タイミングを揃えるように機能する。しかし、これらの配信タイミングと供給タイミングとを必ずしも一致させる必要はない。線路損失により配信タイミングに対して受信タイミングが必然的に僅か遅れる場合があるからである。
【0023】
この情報信号配信サービスシステムでは、ライブ演奏中のボーカル、ドラム、ベースおよびキーボードなどの各演奏者の演奏画像がそれぞれビデオカメラ1−11〜1−14により撮影されるとともに、ボーカル、ドラム、ベースおよびキーボードの各音楽がマイクロホン1−21〜1−14により収音される。そして、これらの演奏の画像信号および音声信号は、それぞれ配信手段2−1〜2−4に入力され、同期手段5が出力する同期クロックに合わせて配信タイミングが調整され、つまり各画像信号の通信速度や各音声信号の通信速度が一致するように調整されて、通信ネットワークCを介して配信される。
【0024】
また、これらの画像信号および音声信号はそれぞれ受信手段3−1〜3−4に入力され、受信手段3−1〜3−4は同期手段5の同期クロックを受けて、これに入力された各画像信号どうしおよび各音声信号どうしの出力タイミングが調整された上で(同期をとって)、ミキシング手段4に入力される。このミキシング手段4では、前記各受信手段3−1〜3−4から出力される画像信号や音声信号のうち、選択指示手段7によって選んだ1つの画像信号や音声信号をそのまま出力し、あるいは選択指示手段7によって選んだ複数の画像信号や音声信号をミキシングして、それぞれミキシング手段4から同時に出力する。
【0025】
従って、ミキシング手段4からは受信者が意図する例えばボーカルの音声信号のみを出力させたり、ボーカルとドラムの音声信号をミキシングした音声信号を出力させたりすることができる。また、ミキシング手段4からは受信者が意図する例えばベースのみの演奏画像の画像信号のみを出力させたり、ベースの演奏画像とキーボードの演奏画像の画像信号をミキシングした二つの画像信号を出力させたりすることができる。従って、再生手段では前記のように受信者が選択した単一またはミキシングした複数の画像信号や音声信号にもとづく画像や音楽を、ビデオモニタ上に表示したりスピーカから放音したりすることができ、配信者側の意図によることなく、受信者の好みに合わせた画像や音楽のカスタマイズ化が可能となる。
【0026】
なお、ビデオカメラ1−11〜1−14およびマイクロホン1−21〜1−24が出力する画像信号や音声信号を配信側ミキシング手段6により配信側であらかじめ一つにミキシングし、この一つにまとめられた画像信号や音声信号を通信ネットワークCを介して受信側へ配信することで、必要に応じて配信側の意図による配信も実現できる。この場合には配信側でミキシングした画像信号や音声信号は通信ネットワークCを介して受信手段3−5に送られ、更にミキシング手段4を経由して再生手段8へ送出される。
【0027】
ミキシング手段4は選択指示手段7によって選択された一の信号を出力し、または互いに同期した複数の信号を選択してミキシングした上で出力するため、一度選択した信号の出力変更を任意かつ容易、迅速に行うことができる。
【0028】
なお、前記実施の形態では、ビデオカメラ1−11〜1−14およびマイクロホン1−21〜1−24としてそれぞれ対応するものを一体に利用して、ボーカルの演奏とドラムの演奏を同時に撮影および収音する場合について述べたが、これらのビデオカメラ1−11〜1−14およびマイクロホン1−21〜1−24を互いに分離して、それぞれ独立して異なる対象情報の撮影および収音を行わせるようにしてもよい。従って、ライブ演奏画像のみのミキシングや音声信号のみのミキシングが行える情報信号配信方式とすることもできる。
【0029】
図3は前記情報信号配信サービスシステムをライブコンサートの配信サービスに適用したシステム構成図を示す。ここではライブ配信事業者P側にビデオカメラやマイクロホンなどの複数台の情報信号出力手段11と、ライブの演奏画像や音声の信号をミキシングするサーバ側ミキシング手段12、ミキシングした画像信号や音声信号を通信ネットワークCを介して配信するサーバコンピュータ13が設置されている。
【0030】
また、ライブ配信事業者Pは通信ネットワークCを介して個人のライブ視聴者Qや飲食店、喫茶店、コミュニティホールなどのホール管理者Rに画像信号や音声信号を配信しており、このためライブ視聴者Q側では、サーバコンピュータ13から送信され、視聴者が意図して選んだ画像信号や音声信号をミキシング手段14でミキシングして出力し、これをクライアントコンピュータ15を通して再生することができる。
【0031】
一方、前記画像信号および音声信号は、ホール管理者R側に設けられた複数のミキシング手段16a、16b、16cにおいて、利用者が選んだものだけがミキシングされ、それぞれ専用の大型スクリーンなどを持った専用のクライアントコンピュータ17a、17b、17cを通して再生される。
【0032】
従って、配信者であるライブ配信事業者Pは、複数のライブ演奏画像の画像情報や音声情報をライブ視聴者Qや飲食店などを含むホール管理者Rに対し提供することにより、これらのライブ視聴者Qやホール管理者R側からライブ配信料金を会費などとともに受けることができる。また、飲食店やコミュニティホールなどのホール管理者R側は、ホール内のクライアントコンピュータ17a、17b、17cの利用者から利用料金を受け取ることができる。
【0033】
このようにサーバコンピュータ13を持つライブ通信事業者Pが提供するライブ演奏の良質の画像や音楽を、あたかも受信者たる視聴者がビデオカメラやマイクロホンを自身で操作して、撮影または収音するような利用が可能になる。従って、既存のライブ配信ビジネスに付加価値を持たせたサービスを提供できる。
【0034】
また、ライブ視聴者Qにとっては、自分の好みの楽器演奏やサウンドあるいはアーティストのボーカルを一つまたは複数選択して聴取したり、好みのアングルの撮影画像に切り替えて鑑賞したりすることができる。そしてホール管理者Rにとっては集客力の強化を期待でき、他店との差別化および収益増加を実現することができる。
【0035】
【発明の効果】
以上のように、本発明によれば、通信ネットワークを介して接続された配信側と受信側との間で情報信号を配信する情報信号配信サービスシステムにおいて、配信側に配置され、複数の情報信号を同時かつ個別に出力する複数の情報信号出力手段と、配信側に配置され、各情報信号出力手段が出力する情報信号を通信ネットワークを介して別々に配信する複数の配信手段と、受信側に配置され、各配信手段から通信ネットワークを介して配信された各情報信号を個別に受信する複数の受信手段と、受信側に配置され、各受信手段により受信された各情報信号のうち受信者の意図により選択された一の情報信号をそのまま出力しまたは複数の情報信号をミキシングして出力するミキシング手段と、受信側に配置され、ミキシング手段から出力された情報信号を音声または画像に再生する再生手段と、各情報信号出力手段から通信ネットワークを介して配信される各情報信号の同期をとるとともに、各受信手段からミキシング手段へ送出される各情報信号の同期をとる同期手段とを有することで、受信者側において受信者が意図してミキシングしたライブの音声または画像を選択的に聴取または鑑賞して楽しむことができる。
【0036】
この場合において、情報信号出力手段が出力する各情報信号を配信側で一つにミキシングする配信側ミキシング手段を設けて、この配信側ミキシング手段で一つにまとめられた情報信号を通信ネットワークを介して受信側へ配信することにより、配信者が意図する方法でミキシングした音声情報または画像情報を、受信者が意図してミキシングしたものとは別に、受信者側で聴取または鑑賞することもできる。
【0037】
また、受信手段により受信された各情報信号のうち、複数の情報信号を受信者の意図により変更可能に選択できる選択指示手段を設けることで、種々の音声情報や画像情報のミキシング対象を任意に変えながら聴取または鑑賞することができる。
【0038】
さらに、情報信号出力手段を、ライブ画像信号を出力するビデオカメラとしたことで、複数のビデオカメラで撮影した好みのアングルの画像を受信側で自由に選択して表示することができるほか、情報信号出力手段を、ライブ音声信号を出力するマイクロホンとすることで、複数のマイクロホンで集音した好みの楽器の演奏を受信側で任意に組み合わせて聴取することができる。
【0039】
また、通信ネットワークを介して接続された配信側と受信側との間で情報信号を配信する情報信号配信サービスシステムにおける情報信号配信方法において、情報信号配信サービスシステムは、配信側に配置された複数の情報信号出力手段および複数の配信手段と、受信側に配置された複数の受信手段、ミキシング手段および再生手段と、同期手段とを有し、複数の情報信号出力手段が、複数の情報信号を同時かつ個別に出力し、同期手段が、各情報信号出力手段から出力された各情報信号同期をとり、複数の配信手段が、各情報信号出力手段から出力され、同期手段により同期がとられた各情報信号を通信ネットワークを介して別々に配信し、複数の受信手段が、配信された各情報信号を別々に受信し、同期手段が、各受信手段からミキシング手段へ送出される各情報信号の同期をとり、ミキシング手段が、各受信手段により受信され、同期手段により同期がとられた各情報信号のうち受信者により選択された一の情報信号をそのまま出力しまたは複数の情報信号をミキシングして出力し、再生手段が、ミキシング手段から出力された情報信号を音声または画像に再生することで、配信者側には大きな負担を与えずに、受信者は自身で選択した情報信号の一つのみをまたは複数を簡単に組み合わせて再生し、聴取または鑑賞することができる。
【図面の簡単な説明】
【図1】 本発明の実施の一形態による情報信号配信サービスシステムを概念的に示す構成図である。
【図2】 図1における情報信号配信サービスシステムを具体化して示す構成図である。
【図3】 本発明の情報信号配信サービスシステムの適用例を示す説明図である。
【符号の説明】
1−1〜1−n、11 情報信号出力手段
2−1〜2−n 配信手段
3−1〜3−n 受信手段
4、14、16a〜16c ミキシング手段
6、12 サーバ側ミキシング手段
1−11〜1−14 ビデオカメラ(情報信号配信手段)
1−21〜1−24 マイクロホン(情報信号配信手段)
7 選択指示手段
13 サーバコンピュータ
15、17a〜17c クライアントコンピュータ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information signal distribution service system and an information signal distribution method for distributing a plurality of information signals through a communication network so that a receiver can select one or a plurality of information signals from these information signals and arbitrarily reproduce them. about the law.
[0002]
[Prior art]
With the development of communication networks such as the Internet and data communication technology using satellites, there is a service that distributes a large amount of music information and image (video) information stored in a database from a distribution server side to a user on a client side. Is provided.
[0003]
Such an information distribution service system includes, for example, a distribution server (server computer) that compresses and encodes music data and image data as digital data by a known means and stores them in a database, and a communication network for the distribution server. And a client computer that selects a desired one from music information and image information stored in a distribution server and requests download.
[0004]
The distribution server searches for music information and image information based on the download request, distributes each piece of information extracted by the search to the client computer, and stores the distributed information on a hard disk or the like on the client computer. Depending on the situation, it can be played back by playback means, and music and images can be enjoyed with the ears and eyes.
[0005]
On the other hand, today, the live (live performance) audio signals and image signals for multiple channels captured by multiple microphones and video cameras are mixed and combined into a single piece of editing information, and then sent to the client via a communication network. An information signal distribution method for distributing to a computer has been proposed. According to this, any user of a client computer can listen to or view a live performance or live image transmitted from a distribution server at home, a restaurant, a restaurant, or the like.
[0006]
[Problems to be solved by the invention]
However, in the live performance and live image distribution methods described above, audio signals collected by a plurality of microphones, for example, are distributed over two channels (eg, before distributing audio signals and image signals to a client computer through a communication network). (Stereo) and 5.1 channels (5 channels for left, right, center, rear left and right, and 0.1 channel for woofer for bass playback) are combined into one, so the audio to be mixed on the receiving side The combination of signals cannot be changed arbitrarily. Therefore, on the client computer side, the sound and image intended by the viewer cannot be reproduced, and the playback volume is simply adjusted, or the audio output frequency is low or high. It was only possible to make equalization adjustments.
[0007]
The present invention has been made to solve the above problems, an information signal distribution service system and an information signal distribution how mixes the audio signals, image signals of the live allow playing the recipient intended at the receiving side The purpose is to obtain.
[0008]
[Means for Solving the Problems]
The present invention has been made to achieve the above object, and an information signal distribution service system according to claim 1 distributes an information signal between a distribution side and a reception side connected via a communication network. In the information signal distribution service system, a plurality of information signal output means arranged on the distribution side and outputting a plurality of information signals simultaneously and individually, and each information signal arranged on the distribution side and output by each information signal output means A plurality of distribution means for separately distributing data via a communication network, a plurality of reception means arranged on the receiving side and individually receiving each information signal distributed from each distribution means via the communication network, and a reception side One information signal selected by the recipient's intention among each information signal received by each receiving means is output as it is or a plurality of information signals are mixed And mixing means for and outputting, is arranged on the reception side, via a reproducing means for reproducing the information signal outputted from the mixing means to the voice or image, the communication network is input from the information signal output means to the delivery means In addition to synchronizing the distribution timing of each information signal to be distributed in each distribution unit, the synchronization unit synchronizes each information signal sent from each reception unit to the mixing unit. As a result, it is possible to listen to or appreciate live audio or images that are intentionally mixed by the receiver on the receiver side.
[0009]
The information signal distribution service system according to the invention of claim 2 has server side mixing means for mixing each information signal output from the information signal output means into one on the distribution side, and one server side mixing means. Are distributed to the receiving side via a communication network. Thereby, the receiver can listen to or appreciate the audio information or the image information mixed by the method intended by the distributor separately from the information that the receiver intentionally mixed.
[0010]
Further, the information signal distribution service system according to the invention of claim 3 is provided with a selection instructing unit that enables selection or change of one information signal or a plurality of information signals in the mixing unit according to the intention of the receiver. Is. Thereby, it is possible to listen or appreciate at the same time while arbitrarily changing the combination of various audio information and image information.
[0011]
In the information signal distribution service system according to the invention of claim 4, the information signal output means is a video camera that outputs a live image signal. As a result, it is possible to freely select and display images at a desired angle taken by a plurality of video cameras on the receiving side.
[0012]
In the information signal distribution service system according to the invention of claim 5, the information signal output means is a microphone that outputs a live audio signal. As a result, the performance of a favorite musical instrument collected by a plurality of microphones can be listened to in any combination on the receiving side.
[0013]
According to a sixth aspect of the present invention, there is provided an information signal distribution method in an information signal distribution service system for distributing an information signal between a distribution side and a reception side connected via a communication network. The signal distribution service system has a plurality of information signal output means and a plurality of distribution means arranged on the distribution side, a plurality of reception means, mixing means and reproduction means arranged on the reception side, and a synchronization means, a plurality of information signal outputting means outputs the plurality of information signals simultaneously and individually synchronized means, each delivery of each information signal to be delivered over the communications network are input to the distributing means from the information signal output means synchronizing the delivery timing in means, through a plurality of distribution means, output from each information signal output means, each information signal synchronization is taken by the synchronization means Separately distributed via a network, a plurality of receiving means receive each distributed information signal separately, and a synchronizing means synchronizes each information signal sent from each receiving means to the mixing means, and mixes them. The means outputs one information signal selected by the receiver out of the information signals received by each receiving means and synchronized by the synchronizing means, or mixes and outputs a plurality of information signals for reproduction The means reproduces the information signal output from the mixing means into sound or an image. Accordingly, the receiver can reproduce and listen to or view only one of the information signals selected by himself / herself or a combination of a plurality of information signals.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a conceptual diagram showing an information signal distribution service system according to the present invention, in which A is an information signal output unit having a plurality of information signal output means 1-1 to 1-n, and B is an information signal output means. 1-1, a distribution unit having distribution means 2-1 to 2-n for distributing each information signal obtained from 1-1 to 1-n via a communication network C such as the Internet, D via the communication network C The receiving unit includes receiving units 3-1 to 3-n that receive information signals obtained from the distribution units 2-1 to 2-n.
[0015]
Also, 4 is a mixing means for outputting one information signal selected by the receiver among the information signals received by the receiving means 3-1 to 3-n as it is, or mixing and outputting two or more information signals. Is synchronized with the information signals distributed from the signal output means 1-1 to 1-n of the information signal output section A via the communication network C, and is mixed with the receiving means 3-1 to 3-n. 4 is a synchronization means for synchronizing the information signals sent to 4.
[0016]
In this information signal distribution service system , the information signals output from the information signal output units 1-1 to 1-n of the information signal output unit A are synchronized with each other by the synchronization unit 5, and then distributed. The signals are distributed to the communication network C by the means 2-1 to 2-n, and each information signal distributed on the communication network C is received separately by the receiving means 3-1 to 3-n. Further, these information signals are synchronized by the synchronizing means 5 and then supplied to the mixing means 4, where one of the information signals intended by the receiver is taken out or a plurality of the mixed information signals are taken out. Can be played, listened to or watched.
[0017]
If the communication path connecting the distribution means 2-1 to 2-n, the communication network C, and the reception means 3-1 to 3-n is an optical network using optical fibers, the distribution means 2-1 to 2-n are used. Is provided with an electric-optical converter, and the receiving means 3-1 to 3-n are provided with an optical-electrical converter.
[0018]
FIG. 2 is an explanatory diagram showing a more specific example of the information signal distribution service system of the present invention. Reference numerals 1-11 to 1-14 denote video cameras as information signal output means of the information signal output unit. Reference numeral 1-24 denotes a microphone as an information signal output means attached to these video cameras 1-11 to 1-14 or used completely independently as necessary. These video cameras 1-11 to 1-14 and microphones 1-21 to 1-24, for example, record and collect performance images such as vocals, drums, basses and keyboards and their sounds simultaneously and independently. To work.
[0019]
Also, 2-1 to 2-4 distribute the image signals and audio signals of the performances from the video cameras 1-11 to 1-14 and the microphones 1-21 to 1-24 independently and simultaneously through the communication network C. Distribution means. Furthermore, 6 is a server side that mixes each performance image and audio signal, which are information signals from the video cameras 1-11 to 1-14 and the microphones 1-21 to 1-24, on the distribution server side before distribution. (Distribution side) Mixing means 2-5 is distribution means for distributing the output of the server-side mixing means 6.
[0020]
In addition, receiving means 3-1 to 3-4 are connected to the communication network C corresponding to the distribution means 2-1 to 2-4. These receiving means 3-1 to 3-4 select one of the performance image signals and audio signals selected by the receiver and output them as they are, or select and mix a plurality of performance signals. The mixing means 4 is provided. The selection of the image signal and audio signal of the performance to be mixed is performed using the selection instruction means 7 according to the intention of the receiver.
[0021]
3-5 is a receiving means provided so as to correspond to the distributing means 2-5, and receives the image signal and the audio signal combined into one by the server side mixing means 6 via the communication network C, Output to the reproduction means 8 is enabled through the mixing means 4. Note that the reproduction means 8 receives the one image signal and sound signal selected by the mixing means 4 or a plurality of mixed image signals and sound signals, and reproduces them into an image and sound.
[0022]
Further, the synchronizing means 5 aligns the delivery timings of the image signals and audio signals in the delivery means 2-1 to 2-4, and supplies the signals from the receiving means 3-1 to 3-4 to the mixing means 4. Function to align. However, it is not always necessary to match these distribution timing and supply timing. This is because the reception timing may inevitably be slightly delayed from the distribution timing due to line loss.
[0023]
In this information signal distribution service system , performance images of each performer such as vocals, drums, basses and keyboards during live performance are taken by the video cameras 1-11 to 1-14, and vocals, drums, basses and Each music on the keyboard is picked up by the microphones 1-21 to 1-14. These performance image signals and audio signals are respectively input to the distribution means 2-1 to 2-4, and the distribution timing is adjusted in accordance with the synchronization clock output by the synchronization means 5, that is, the communication of each image signal. The speed and the communication speed of each audio signal are adjusted so as to coincide with each other and distributed via the communication network C.
[0024]
These image signals and audio signals are respectively input to receiving means 3-1 to 3-4, and receiving means 3-1 to 3-4 receive the synchronization clock of the synchronizing means 5 and receive each of them. The output timings of the image signals and the audio signals are adjusted (synchronized) and then input to the mixing means 4. The mixing means 4 outputs or selects one image signal or sound signal selected by the selection instruction means 7 out of the image signals and sound signals output from the receiving means 3-1 to 3-4. A plurality of image signals and audio signals selected by the instructing means 7 are mixed and output from the mixing means 4 simultaneously.
[0025]
Therefore, the mixing means 4 can output, for example, only a vocal audio signal intended by the receiver, or can output an audio signal obtained by mixing vocal and drum audio signals. Further, the mixing means 4 outputs only the image signal of the performance image of the base only intended by the receiver, or outputs two image signals obtained by mixing the image signal of the performance image of the base and the performance image of the keyboard. can do. Therefore, the playback means can display images and music based on a plurality of image signals and audio signals selected by the receiver as described above on a video monitor or emit sound from a speaker. This makes it possible to customize images and music according to the receiver's preference without depending on the intention of the distributor.
[0026]
Note that image signals and audio signals output from the video cameras 1-11 to 1-14 and the microphones 1-21 to 1-24 are mixed together in advance on the distribution side by the distribution side mixing means 6, and are combined into one. By distributing the received image signal and audio signal to the receiving side via the communication network C, distribution according to the intention of the distribution side can be realized as necessary. In this case, the image signal and the audio signal mixed on the distribution side are sent to the receiving means 3-5 via the communication network C, and further sent to the reproducing means 8 via the mixing means 4.
[0027]
The mixing means 4 outputs one signal selected by the selection instructing means 7, or selects and mixes a plurality of signals synchronized with each other, and outputs them after mixing. Can be done quickly.
[0028]
In the above-described embodiment, the corresponding ones of the video cameras 1-11 to 1-14 and the microphones 1-21 to 1-24 are integrally used to simultaneously shoot and collect vocal performances and drum performances. As described above, the video cameras 1-11 to 1-14 and the microphones 1-21 to 1-24 are separated from each other so that different target information can be photographed and collected independently. It may be. Therefore, it is possible to adopt an information signal distribution method in which only live performance images can be mixed and only audio signals can be mixed.
[0029]
FIG. 3 is a system configuration diagram in which the information signal distribution service system is applied to a live concert distribution service. Here, a plurality of information signal output means 11 such as a video camera and a microphone, a server-side mixing means 12 for mixing live performance images and audio signals, and the mixed image signals and audio signals are provided on the live distribution provider P side. A server computer 13 for distribution via the communication network C is installed.
[0030]
In addition, the live distribution provider P distributes image signals and audio signals to individual live viewers Q and hall managers R such as restaurants, coffee shops, and community halls via the communication network C. On the person Q side, an image signal and an audio signal transmitted from the server computer 13 and intentionally selected by the viewer can be mixed and output by the mixing means 14 and reproduced through the client computer 15.
[0031]
On the other hand, the image signal and the audio signal are mixed only by the user in a plurality of mixing means 16a, 16b, 16c provided on the hall manager R side, each having a dedicated large screen or the like. It is played back through dedicated client computers 17a, 17b and 17c.
[0032]
Accordingly, the live distributor P who is the distributor provides image information and audio information of a plurality of live performance images to the hall manager R including the live viewer Q, restaurants, and the like, so that these live viewing can be performed. Live distribution fees can be received from the member Q or the hall manager R side together with the membership fee. In addition, the hall manager R side such as a restaurant or community hall can receive usage fees from the users of the client computers 17a, 17b, and 17c in the hall.
[0033]
In this way, a high-quality image or music of a live performance provided by the live communication provider P having the server computer 13 is captured or picked up by the viewer as a receiver by operating the video camera or microphone by himself / herself. Can be used. Therefore, it is possible to provide a service that adds value to the existing live distribution business.
[0034]
Further, the live viewer Q can select and listen to one or more of his / her favorite musical instrument performance and sound or artist's vocals, or can switch to a photographed image of a favorite angle and view it. The hall manager R can be expected to strengthen the ability to attract customers, and can be differentiated from other stores and increase profits.
[0035]
【The invention's effect】
As described above, according to the present invention, in an information signal distribution service system that distributes information signals between a distribution side and a reception side connected via a communication network, a plurality of information signals are arranged on the distribution side. a plurality of information signal outputting means for outputting simultaneously and individually, are arranged on the distribution side, a plurality of distribution means for distributing separately via the communication network each information signal by each information signal outputting means outputs the receiving A plurality of receiving means for individually receiving each information signal distributed from each distributing means via the communication network, and a receiver of each information signal arranged on the receiving side and received by each receiving means and mixing means for outputting mixes the output directly to or more information signals an information signal selected by the intention of being placed on the receiving side, the output from the mixing means Reproducing means for reproducing the audio or image information signals, with synchronization of each information signal to be delivered over the communications network from the information signal output means, the information sent from the receiving means to the mixing means By having synchronization means for synchronizing signals, it is possible to selectively listen to and enjoy live audio or images intentionally mixed by the receiver on the receiver side.
[0036]
In this case, distribution side mixing means for mixing the information signals output from the information signal output means into one on the distribution side is provided, and the information signals collected by the distribution side mixing means are combined via the communication network. By distributing to the receiving side, audio information or image information mixed by the method intended by the distributor can be listened to or viewed by the receiver separately from the information intentionally mixed by the receiver.
[0037]
In addition, by providing selection instruction means that can select a plurality of information signals among the information signals received by the receiving means so as to be changeable according to the intention of the receiver, various audio information and image information can be arbitrarily mixed. You can listen or appreciate while changing.
[0038]
In addition, since the information signal output means is a video camera that outputs live image signals, it is possible to freely select and display images of the desired angle captured by multiple video cameras on the receiving side. When the signal output means is a microphone that outputs a live audio signal, the performance of a favorite musical instrument collected by a plurality of microphones can be heard in any combination on the receiving side.
[0039]
In the information signal distribution method in the information signal distribution service system that distributes the information signal between the distribution side and the reception side connected via the communication network, the information signal distribution service system includes a plurality of information signal distribution service systems arranged on the distribution side. Information signal output means and a plurality of distribution means, a plurality of reception means arranged on the receiving side, a mixing means and a reproduction means, and a synchronization means. The plurality of information signal output means outputs a plurality of information signals. outputs simultaneously and individually, the synchronizing means synchronizes for each information signal output from the information signal output means, a plurality of distribution means, output from each information signal outputting means, synchronization is taken by the synchronization means delivered separately through the communication network each information signals, a plurality of receiving means receives each information signal distributed separately, the synchronization means, Miki from each receiving means Synchronizes the information signal is sent to the ring means, mixing means, is received by the receiving means, an information signal selected by the recipient of the information signal synchronization is taken by the synchronization means as and outputs the mixed output or a plurality of information signals, reproducing means, the information signal output from the mixing means by reproducing the sound or image, without causing a heavy burden on the delivery side, the receiving A person can reproduce and listen to or listen to only one or a plurality of information signals selected by himself.
[Brief description of the drawings]
FIG. 1 is a block diagram conceptually showing an information signal distribution service system according to an embodiment of the present invention.
FIG. 2 is a block diagram specifically illustrating the information signal distribution service system in FIG. 1;
FIG. 3 is an explanatory diagram showing an application example of the information signal distribution service system of the present invention.
[Explanation of symbols]
1-1 to 1-n, 11 Information signal output means 2-1 to 2-n Distribution means 3-1 to 3-n Receiving means 4, 14, 16a to 16c Mixing means 6, 12 Server-side mixing means 1-11 -1-14 Video camera (information signal distribution means)
1-21 to 1-24 Microphone (information signal distribution means)
7 Selection instruction means 13 Server computer 15, 17a to 17c Client computer

Claims (6)

通信ネットワークを介して接続された配信側と受信側との間で情報信号を配信する情報信号配信サービスシステムにおいて、
配信側に配置され、複数の情報信号を同時かつ個別に出力する複数の情報信号出力手段と、
配信側に配置され、各情報信号出力手段が出力する各情報信号を通信ネットワークを介して別々に配信する複数の配信手段と、
受信側に配置され、各配信手段から通信ネットワークを介して配信された各情報信号を個別に受信する複数の受信手段と、
受信側に配置され、各受信手段により受信された各情報信号のうち受信者の意図により選択された一の情報信号をそのまま出力しまたは複数の情報信号をミキシングして出力するミキシング手段と、
受信側に配置され、ミキシング手段から出力された情報信号を音声または画像に再生する再生手段と、
各情報信号出力手段から各配信手段へ入力され通信ネットワークを介して配信される各情報信号の各配信手段における配信タイミングの同期をとるとともに、各受信手段からミキシング手段へ送出される各情報信号の同期をとる同期手段とを有する
ことを特徴とする情報信号配信サービスシステム。
In an information signal distribution service system for distributing information signals between a distribution side and a reception side connected via a communication network,
A plurality of information signal output means arranged on the distribution side and outputting a plurality of information signals simultaneously and individually;
A plurality of distribution means arranged on the distribution side and separately distributing each information signal output by each information signal output means via a communication network;
A plurality of receiving means arranged on the receiving side and individually receiving each information signal distributed from each distributing means via the communication network;
A mixing means that is arranged on the receiving side and outputs one information signal selected according to the intention of the receiver among each information signal received by each receiving means as it is or by mixing and outputting a plurality of information signals;
A reproducing unit arranged on the receiving side and reproducing the information signal output from the mixing unit into sound or an image;
Each information signal input from each information signal output means to each distribution means is synchronized with the distribution timing of each information signal distributed via the communication network, and each information signal sent from each reception means to the mixing means An information signal distribution service system comprising: synchronization means for obtaining synchronization;
情報信号出力手段が出力する各情報信号を配信側で一つにミキシングするサーバ側ミキシング手段を有し、サーバ側ミキシング手段で一つにまとめられた情報信号を通信ネットワークを介して受信側へ配信する
ことを特徴とする請求項1に記載の情報信号配信サービスシステム
It has server side mixing means that mixes each information signal output by the information signal output means to one on the distribution side, and distributes the information signals combined by the server side mixing means to the reception side via the communication network The information signal distribution service system according to claim 1, wherein:
ミキシング手段における一の情報信号または複数の情報信号の選択や変更を、受信者の意図に応じて可能とする選択指示手段を設けた
ことを特徴とする請求項1に記載の情報信号配信サービスシステム
2. The information signal distribution service system according to claim 1, further comprising selection instruction means for enabling selection or change of one information signal or a plurality of information signals in the mixing means in accordance with the intention of the receiver. .
情報信号出力手段が、ライブ画像信号を出力するビデオカメラである
ことを特徴とする請求項1に記載の情報信号配信サービスシステム
The information signal delivery service system according to claim 1, wherein the information signal output means is a video camera that outputs a live image signal.
情報信号出力手段が、ライブ音声信号を出力するマイクロホンである
ことを特徴とする請求項1に記載の情報信号配信サービスシステム
The information signal distribution service system according to claim 1, wherein the information signal output means is a microphone that outputs a live audio signal.
通信ネットワークを介して接続された配信側と受信側との間で情報信号を配信する情報信号配信サービスシステムにおける情報信号配信方法において、
情報信号配信サービスシステムは、配信側に配置された複数の情報信号出力手段および複数の配信手段と、受信側に配置された複数の受信手段、ミキシング手段および再生手段と、同期手段とを有し、
複数の情報信号出力手段が、複数の情報信号を同時かつ個別に出力し、
同期手段が、各情報信号出力手段から各配信手段へ入力され通信ネットワークを介して配信される各情報信号の各配信手段における配信タイミングの同期をとり、
複数の配信手段が、各情報信号出力手段から出力され、同期手段により同期がとられた各情報信号を通信ネットワークを介して別々に配信し、
複数の受信手段が、配信された各情報信号を別々に受信し、
同期手段が、各受信手段からミキシング手段へ送出される各情報信号の同期をとり、
ミキシング手段が、各受信手段により受信され、同期手段により同期がとられた各情報信号のうち受信者により選択された一の情報信号をそのまま出力しまたは複数の情報信号をミキシングして出力し、
再生手段が、ミキシング手段から出力された情報信号を音声または画像に再生する
ことを特徴とする情報信号配信方法。
In an information signal distribution method in an information signal distribution service system for distributing an information signal between a distribution side and a reception side connected via a communication network,
The information signal distribution service system has a plurality of information signal output means and a plurality of distribution means arranged on the distribution side, a plurality of reception means, mixing means and reproduction means arranged on the reception side, and a synchronization means. ,
A plurality of information signal output means outputs a plurality of information signals simultaneously and individually,
The synchronization means synchronizes the distribution timing in each distribution means of each information signal that is input from each information signal output means to each distribution means and distributed via the communication network ,
A plurality of distribution means distribute each information signal output from each information signal output means and synchronized by the synchronization means via the communication network,
A plurality of receiving means receive each distributed information signal separately,
The synchronizing means synchronizes each information signal sent from each receiving means to the mixing means,
The mixing means outputs one information signal selected by the receiver out of each information signal received by each receiving means and synchronized by the synchronizing means as it is, or mixes and outputs a plurality of information signals,
An information signal distribution method, wherein the reproduction means reproduces the information signal output from the mixing means into sound or an image.
JP2002133029A 2002-05-08 2002-05-08 Information signal distribution service system and information signal distribution method Expired - Fee Related JP4119161B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002133029A JP4119161B2 (en) 2002-05-08 2002-05-08 Information signal distribution service system and information signal distribution method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002133029A JP4119161B2 (en) 2002-05-08 2002-05-08 Information signal distribution service system and information signal distribution method

Publications (2)

Publication Number Publication Date
JP2003323182A JP2003323182A (en) 2003-11-14
JP4119161B2 true JP4119161B2 (en) 2008-07-16

Family

ID=29544707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002133029A Expired - Fee Related JP4119161B2 (en) 2002-05-08 2002-05-08 Information signal distribution service system and information signal distribution method

Country Status (1)

Country Link
JP (1) JP4119161B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015142185A (en) * 2014-01-27 2015-08-03 日本電信電話株式会社 Viewing method, viewing terminal and viewing program

Also Published As

Publication number Publication date
JP2003323182A (en) 2003-11-14

Similar Documents

Publication Publication Date Title
JP3250336B2 (en) Karaoke system and karaoke terminal device
US7096080B2 (en) Method and apparatus for producing and distributing live performance
US9106790B2 (en) VoIP music conferencing system
US20070287141A1 (en) Internet based client server to provide multi-user interactive online Karaoke singing
JP5331494B2 (en) Karaoke service system, terminal device
JP5609160B2 (en) Information processing system, content composition apparatus and method, and recording medium
CN110692252A (en) Audio-visual collaboration method with delay management for wide area broadcast
CN110910860A (en) Online KTV implementation method and device, electronic equipment and storage medium
US20130103851A1 (en) Information processing apparatus
KR101873086B1 (en) Information system, information reproduction device, information generation method, and recording medium
JP4119161B2 (en) Information signal distribution service system and information signal distribution method
JP2021021870A (en) Content collection/distribution system
KR20090005686A (en) Method, system and server for providing online concerted music service through online audition
JP2003167575A (en) Audiovisual synchronously compositing and distributing method, device for player's terminal, program for the device and recording medium where the program for the device is recorded, service providing device, and program for the service providing device and recording medium recorded with the program for the device
US11546393B2 (en) Synchronized performances for remotely located performers
US20230188770A1 (en) Interactive broadcasting method and system
KR20170095477A (en) The smart multiple sounds control system and method
JP4513274B2 (en) Electronic information distribution system, information recording / transmission apparatus, information editing / distribution apparatus, and information processing method
JP4422656B2 (en) Remote multi-point concert system using network
TWI559775B (en) Network synchronous coordinating performance system
JP7137278B2 (en) Playback control method, control system, terminal device and program
JP3241225U (en) No audience live distribution system
US20210320959A1 (en) System and method for real-time massive multiplayer online interaction on remote events
KR20180115928A (en) The smart multiple sounds control system and method
JP2004015343A (en) Method for distributing a plurality of media contents, server apparatus, and user terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070612

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071009

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080424

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110502

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees