JP6529116B2 - 送信装置、受信装置およびプログラム - Google Patents

Description

本発明は、デジタルデータを配信する装置に係わり、特に、ユーザーの操作によってリアルタイムに、音楽情報に対して付加情報を付加することを可能としてＤＳＤ（Direct Stream Digital）ストリーミングを送信、受信する装置、および、プログラムに関する。

現在、「ＤＳＤ5.6ＭＨｚ」ライブストリーミングの配信実験が行われようとしている（平成２７年４月実験予定）。この「ＤＳＤ5.6ＭＨｚ」は、アナログ音源をデジタル変換する一方式であり、「ハイレゾリューション」音源配信として人気が高まっている。ＣＤの１２８倍ものサンプリング周波数で、アナログ音をデジタル音として多量のデータの処理が必要になっている。

このような状況にあって、従来から各種のデジタルデータの配信技術が開示されている。例えば、作成済みのＭＰＥＧ−ＳＴに対して再生された動画に対し、正しく同期する付加データを挿入するために、予め放送局側でデジタル放送映像データにデータファイルを埋め込み、このデータファイルが埋め込まれたデジタル放送の映像データを扱う手法が開示されている（特許文献１参照。）。この特許文献１に開示された装置は、時刻情報を読み出す毎に、該当時刻情報が単位データの再生時刻に一致したとき、該当単位データを、ＭＰＥＧ−ＴＳにおける該当時刻情報の隣接位置にプライベートデータのパケットとして挿入するパケット挿入手段を備えている。

また、コンテンツを構成する様々なデータとの共有関係を作ったり、これらのデータの一部修正等の二次加工が容易となる配信データを生成するなどのために、動画、音声等の表示情報にこの表示情報の「再生、停止、表示・非表示」のタイミングを定めるタイミングデータを加え、これらを纏めてエンコードして配信し、ユーザー端末側では配信データをデコードし、タイミングデータに基づいて画面に表示するコンテンツ配信システムを提供されている（特許文献２参照。）。

特開平１１−１７７９４３号公報（第５−６頁、第１図） 特開２００６−１６５８７８号公報（第７−１４頁、第１図）

しかしながら、従来の技術によれば、動画情報や表示情報等のコンテンツを構成する情報に対して何らかの処理を施すために挿入されたり付加されたりする「付加情報」は送信装置側で予め設定されそのまま配信されていた。つまり、特許文献１に記載された映像データ多重化装置にあっては、動画に対して予め付加データを挿入しこれをそのまま配信することによって、既に作成済みのＭＰＥＧ−ＴＳに対しても簡単に付加データのプライベートデータを組込みことができ、また、特許文献２に記載されたコンテンツ配信システムにあっては、表示情報に予め設定しそのまま配信されるタイミングデータに基づいて、受信側で表示情報の再生、表示が行われる。そして、それぞれプレイベートデータ、タイミングデータが「付加情報」とされていた。

よって、これらの付加情報はリアルタイムに付加されるものではないので、例えば、アーティストの生中継（ライブ中継）において、アンコールが発生した時などには対応できない。つまり、アーティストが演奏する楽曲の音声情報とその楽曲に関連する画像情報（この場合、画像情報が「付加情報」）を配信することを想定すると、音声情報については、アーティストが演奏する演奏状況をマイクロフォンで捕えてこれを配信することは可能であるが、曲に関連する画像情報は予め設定しておくことができない。アンコールでは演奏する曲はその場で決められるからである。つまり、従来の技術にあっては、リアルタイムに付加情報を設定することはできなかった。

本発明は、音声情報（主情報）とこれに付加する付加情報（副情報）とを配信する際に、この付加情報をリアルタイムに設定可能とした送信装置、受信装置およびプログラムを提供することを目的とする。

従来のストリーミング配信では、音声情報とその他の付加情報（例えばタイミング情報、静止画情報、文字情報等の付加情報）を別ファイルとして扱ってきた。今、静止画情報を音声情報に付加して送信する場合を想定する。例えば、オーケストラの曲でバイオリンのソロが始まった時点で、バイオリン奏者の肖像画像等の静止画情報を送信する場合、従来にあっては、予め用意した静止画情報を音声情報と組み合わせたデータを曲毎に一つのファイルとして纏めて送信していた。これは、映画に日本語字幕をつける作業の様なもので、映画が完成してないと字幕をつけることができないように、楽曲の演奏が終了するまで情報を追加することができなかった。これに対して、本発明にあっては、字幕表示とは異なり、リアルタイムで情報を付加することを目的としており、映画の字幕と対比するなら同時通訳のようなものである。

本発明は、音声情報とこれに付加する付加情報とを含む配信単位であるセグメントをストリーミング配信可能な送信装置であって、
前記音声情報をデジタル化した情報に対して、供給された前記付加情報を組み込んでセグメントを生成するマージ処理手段と、
前記マージ処理手段によって生成されたセグメントをエンコードするエンコード手段と、
前記エンコード手段でエンコードされたセグメントを送信する送信手段と、
操作手段の操作によって付加情報を受け取った時点に対応するタイミングで付加情報を組み込ませるべく、当該付加情報を前記マージ処理手段に供給する制御手段と、
セグメントを繰り返して送信するための送信周期である所定数セグメントにおける、当該所定数を設定する設定手段と、送信制御手段と、を備え、
前記送信制御手段は、
前記操作手段の新たな操作により指定された新たな付加情報があると、これを対応するセグメントに組み込ませ、
新、旧の付加情報がそれぞれに対応するセグメントに組み込まれた状態で、前記設定された送信周期で繰り返してセグメント送信する処理を、前記操作手段により新たに指定された付加情報がある毎に行うことを特徴とする。

この構成によれば、マージ処理手段は、音声情報をデジタル化した情報に対して、供給された前記付加情報を組み込んで配信単位であるセグメントを生成し、次いで、エンコード手段は、この生成されたセグメントをエンコードし、更に、送信手段は、エンコードされたセグメントを送信する。そして、制御手段は、送信装置に備えられたキーボード等の操作手段の操作によって与えられる付加情報を受け取り、これをマージ処理手段に供給する。

よって、操作手段の操作（例えば登録ボタンの登録操作）によって付加情報が与えられるとこれがマージ処理手段に供給されるので、付加情報を与えることを欲したタイミングで付加情報を音声情報に付加することが可能となる。つまり、音声情報とこれに付加する付加情報を配信する際に、この付加情報をリアルタイムに設定することが可能となる。その結果、例えば、楽曲を演奏するアーティストのライブ中継において、楽曲の音声情報とその楽曲に関連する付加情報を配信することを想定すると、アンコールが発生した時などにも付加情報を変更付加することが可能となる。

つまり、アンコール時には、次に演奏する楽曲が急遽決定するので、この急遽な決定に対しても、操作手段を操作することによって、この急遽決定した楽曲に対応する付加情報を設定可能とする。このための付加情報には色々あるが、例えば付加情報としてＵＲＬ（Uniform Resource Locater）を送信すれば、受信側で受信セグメントからＵＲＬを抽出し、ブラウザがＵＲＬを利用してインターネットの閲覧情報を得て、これを楽曲と対応付けること等が挙げられる。

また、前記制御手段は更に、
前記操作手段の操作によって付加情報を受け取った時点に対応するタイミングで、付加情報が組み込まれたセグメントの送信を所定数個のセグメント毎に繰り返して行う繰り返し送信制御手段を備えた構成を採用するのが好ましい。この構成によれば、操作手段の操作によって付加情報を受け取った時点に対応するタイミング（即ち、新たな付加情報を付加することを示す登録ボタンをクリックする操作が行われたタイミング）で、所定数個のセグメント毎に繰り返して、付加情報が組み込まれたセグメントの送信が行われるので、組み込まれた付加情報が確実に配信可能となる。このため、受信装置側においても、付加情報の受信ミス等が少なくなる。

本発明の他の態様は、上述した送信装置からの音声情報とこれに付加する付加情報とを含むセグメントのストリーミングデータを受信可能な受信装置において、
前記セグメントを受信する受信手段と、
前記受信手段が受信したセグメントをデコードするデコード手段と、
前記デコード手段でデコードされたセグメントから、前記音声情報と前記付加情報とを抽出しそれぞれを対応するバッファに格納させる信号解析手段と、
前記付加情報がＵＲＬ（Uniform Resource Locater）情報である場合に、これを用いてブラウジングして得られた閲覧結果を、表示装置に表示させるブラウジング手段と、を備えたことを特徴とする受信装置。

この構成によれば、受信手段がセグメントを受信し、また、デコード手段は、受信手段が受信したセグメントをデコードし、更に、信号解析手段は、デコード手段でデコードされたセグメントから、音声情報と付加情報とを抽出しそれぞれを対応するバッファに格納させる。そして、このセグメントを送ってくる送信装置は、音声情報と付加情報とを含むセグメントをストリーミング配信し、この付加情報は送信装置側の操作手段の操作により付加される。

したがって、音声情報と付加情報を配信する際に、この付加情報をリアルタイムに設定することが可能となる。その結果、例えば楽曲を演奏するアーティストのライブ中継において、楽曲の音声情報とその楽曲に関連する付加情報を配信することを想定すると、受信装置側においても、アンコールが発生した時など付加情報が急遽変更された場合にも対応可能である。送信装置側で急遽設定された付加情報は、受信装置側の信号解析手段によって専用バッファに格納されるので、これを利用して音声情報に併せて画面表示等を行うことでアンコール等にも対応可能となる。

また、前記音声情報と前記付加情報との同期が取れるように、それぞれのバッファからの情報出力のタイミングを制御する出力タイミング制御手段を更に備えた構成とすることも可能であり、この構成によれば、音声情報と付加情報との同期が取れるため、例えば視聴を違和感なく行われるようになる。

また、本発明の更に他の態様は、主情報とこれに付加する付加情報とを含む配信単位であるセグメントをストリーミング配信可能な送信装置に、
前記主情報をデジタル化したデジタル情報に対して、供給された付加情報を組み込んでセグメントを生成するマージ処理機能と、
前記マージ処理機能によって生成されたセグメントを送信する送信機能と、
操作手段の操作によって付加情報を受け取った時点に対応するタイミングで付加情報を組み込ませるべく、当該付加情報を前記マージ処理手段に供給する制御機能と、
セグメントを繰り返して送信するための送信周期である所定数セグメントにおける、当該所定数を設定する設定機能と、送信制御機能と、を実現するためのプログラムであり、
前記送信制御機能は、前記操作手段の新たな操作により指定された新たな付加情報があると、これを対応するセグメントに組み込ませ、
新、旧の付加情報がそれぞれに対応するセグメントに組み込まれた状態で、前記設定された送信周期で繰り返してセグメント送信する処理を、前記操作手段により新たに指定された付加情報がある毎に行わせるためのプログラムである。

このプログラム（ＲＯＭ等の記録媒体に記録される）がＣＰＵ、ＤＳＰ等のプロセッサによって実行されることによって、
主情報とこれに付加する付加情報とを含む配信単位であるセグメントをストリーミング配信可能な送信装置に、
主情報をデジタル化したデジタル情報に対して、供給された付加情報を組み込んでセグメントを生成するマージ処理機能と、
前記マージ処理機能によって生成されたセグメントを送信する送信機能と、
操作手段の操作によって付加情報を受け取った時点に対応するタイミングで、受け取った付加情報を前記マージ処理手段に供給する制御機能と、
セグメントを繰り返して送信するための送信周期である所定数セグメントにおける、当該所定数を設定する設定機能と、送信制御機能と、を実現するためのプログラムである。前記送信制御機能は、前記操作手段の新たな操作により指定された新たな付加情報があると、これを対応するセグメントに組み込ませ、
新、旧の付加情報がそれぞれに対応するセグメントに組み込まれた状態で、前記設定された送信周期で繰り返してセグメント送信する処理を、前記操作手段により新たに指定された付加情報がある毎に行わせるためのことが実現される。

この構成によれば、マージ処理機能は、主情報をデジタル化した情報に対して、供給された副情報を組み込んで配信単位であるセグメントを生成し、次いで、エンコード機能は、この生成されたセグメントをエンコードし、更に、送信機能はエンコードされたセグメントを送信する。そして、制御機能は、送信装置に備えられたキーボード等の操作手段の操作によって与えられる付加情報を受け取り、これをマージ処理機能に供給する。

よって、操作手段の操作によって副情報が与えられるとこれがマージ機能に供給されるので、副情報を与えることを欲したタイミングで副情報を主情報に付加することが可能となる。つまり、主情報とこれに付加する副情報を配信する際に、この副情報をリアルタイムに設定することが可能となる。その結果、例えば、主情報を音声情報、副情報を音声情報に関連する画像情報とし、楽曲を演奏するアーティストのライブ中継において、楽曲の音声情報とその楽曲に関連する画像情報を配信することを想定すると、アンコールが発生した時などの画像情報が急遽変更される場合にも対応可能である。

更に、また、本発明の他の態様は、上述した送信装置からの音声情報とこれに付加する付加情報とを含むセグメントのストリーミングデータを受信可能な受信装置に、
前記セグメントを受信する受信機能と、
前記受信機能が受信したセグメントをデコードするデコード機能と、
前記デコード機能でデコードされたセグメントから、前記音声情報と前記付加情報とを抽出しそれぞれを対応するバッファに格納させる信号解析機能と、
前記付加情報がＵＲＬ（Uniform Resource Locater）情報である場合に、これを用いてブラウジングして得られた閲覧結果を、表示装置に表示させるブラウジング機能と、を実現するためのプログラムである。

このプログラム（ＲＯＭ等の記録媒体に記録される）がＣＰＵ、ＤＳＰ等のプロセッサによって実行されることによって、上述した送信装置からの音声情報とこれに付加する付加情報とを含むセグメントのストリーミングデータを受信可能な受信装置に、
前記セグメントを受信する受信機能と、
前記受信機能が受信したセグメントをデコードするデコード機能と、
前記デコード機能でデコードされたセグメントから、前記音声情報と前記付加情報とを抽出しそれぞれを対応するバッファに格納させる信号解析機能と、
前記付加情報がＵＲＬ（Uniform Resource Locater）情報である場合に、これを用いてブラウジングして得られた閲覧結果を、表示装置に表示させるブラウジング機能と、が実現される。

この構成によれば、受信機能がセグメントを受信し、また、デコード機能はこの受信したセグメントをデコードし、更に、信号解析機能は、デコードされたセグメントから、音声情報と付加情報とを抽出しそれぞれを対応するバッファに格納させる。そして、このセグメントを送ってくる送信装置は、音声情報と付加情報とを含むセグメントをストリーミング配信し、この付加情報は送信装置側の操作手段の操作により付加される。

したがって、例えば、主情報を音声情報、副情報を音声情報に関連する画像情報とすれば、音声情報とこれに関連する画像情報を配信する際に、この画像情報をリアルタイムに設定することが可能となる。この結果、アーティストの演奏をライブ中継時に急遽楽曲が変更された場合などの画像情報が急遽変更された場合、受信装置側においても信号解析機能等の動作によって、送信装置側から送信されバッファに格納された画像情報を用いて画像表示させる等で対応可能である。

このようなプログラムをＲＯＭ等の記録媒体に記録しておき、この記録したプログラムをＣＰＵやＤＳＰ等のプロセッサ等が読み取って実行していくことによって、マージ処理機能、制御機能、信号解析機能等の各機能を実現することが可能である。

本発明によれば、音声情報（主情報）とこれに付加する付加情報（副情報）とを配信する際に、この付加情報をリアルタイムに設定可能とした送信装置、受信装置およびプログラムを実現できるという効果が得られる。

送信装置１の構成図である。 受信装置２の構成図である。 送信装置１の基本的動作の説明図である。 受信装置２の基本的動作の説明図である。 データフォーマットの模式的説明図である。 付加情報設定部７５の表示画面の説明図である。 付加情報の送信動作制御を説明するフローチャートである。 付加情報の送信動作制御を説明する模式的な説明図である。 両バッファからのデータ出力動作制御の模式的な説明図である。

以下、本発明を実施形態について図面を参照しつつ説明する。図１は本発明の実施形態の送信装置１の構成図、図２は本発明の実施形態の受信装置２の構成図である。なお、以下の実施形態では主として「主情報」として音声情報を、「副情報」（付加情報）としてＵＲＬ情報を用いた例について説明する。付加情報としては他に曲名、作曲者名、アルバム名等のテキストデータ、演奏者や歌手のプロフィールに由来する自画像等の画像データ等を用いることも可能である。ＵＲＬ情報と同時に他のテキスト情報を付加する態様としても良い。

（送信装置１の構成）
図１に示すように、送信装置１は、音声情報入力部１０と、Ａ／Ｄ変換部２０と、マージ処理部３０と、エンコード部４０と、送信部５０とを有して構成されている。送信装置１は更に、制御部８０と、操作装置７０とを備えている。

音声情報入力部１０は、楽音信号等のアナログの音情報を拾うデバイスであり、例えばマイクロフォンによって実現される。例えばミュージシャンのライブ中継の音情報を拾うように設定される。また、Ａ／Ｄ変換部２０は、音声情報入力部１０によって拾われたアナログ音情報をアナログデジタル変換する。例えばデルタシグマ変調器等で実現でき、これを用いるとＤＳＤ（Direct Stream Digital）信号、つまり１ビットオーディオ信号が生成される。

マージ処理部３０は、Ａ／Ｄ変換部２０によって生成されたＤＳＤ信号に対して、制御部８０から供給された付加情報を組み込んでセグメント（配信単位）を生成するマージ処理を行う。エンコード部４０は、マージ処理された情報を所定の圧縮方式で圧縮処理し、更に必要に応じて暗号キーで暗号化するエンコードを行う。そして、送信部５０は、このエンコードされた情報をネットワークに適合したプロトコールにてネットワーク上に送り出す。ネットワークとしては、例えばＬＴＥ等の無線通信網によるものや光通信網等の有線通信網によるものなどがある。この送信部５０の送信動作は制御部８０から制御信号を与えられることによって制御される。

また、操作装置７０は、付加情報設定部７５と、タイミング設定用スイッチ７７とを有している。付加情報設定部７５は、音声情報に付加するＵＲＬ情報を設定するためのものであり、例えばキーボード、表示装置等で実現可能である。また、タイミング設定用スイッチ７７は、後に説明する図７における、付加情報のセグメントへの組み込み周期を設定するためのものであり、例えばキーボード等で実現可能である。なお、以下ＵＲＬとは「Uniform Resource Locater」のことを指す。

図６は付加情報設定部７５の表示画面７１の模式的説明図である。図６に示すように、表示画面７１の上方には配信開始からの時間経過を示すカウンタが表示されている。また、表示画面７１の左にはアーティストの肖像画等の画像データ７２が表示されている。そして、表示画面７１の右側には「曲名」、「作曲者名」、「アルバム名」、「ＵＲＬ」等のテキストデータ選択ボタン７３があり、表示画面７４の右下には登録ボタン７４がある。そして、選択ボタン７３でテキズトデータが選択され登録ボタン７４が押された場合には、制御部８０はこれを検出して受け取り、受け取ったテキストデータをマージ処理部３０に供給する構成となっている。

制御部８０は、操作装置７０の付加情報設定部７５の操作によって与えられる付加情報を受け取り、これをマージ処理部３０に供給する。この供給を受けたマージ処理部３０は、セグメントを構成するために、ＤＳＤデータにＵＲＬ情報を付加する。なお、複数のテキスト情報が選択された場合には、それらを組み込んでセグメントを生成する。セグメントは送信単位であり、このセグメントを連続的に送信することでライブ中継等がストリーミング配信される。

図５はデータフォーマットの模式的な説明図である。セグメント（segment）は、配信単位の情報であり、セグメント３００ａ（segment0）、セグメント３００ｂ（segment1）、セグメント３００ｃ（segment2）、…というようにして配信される。一つのセグメントは、ヘッダー３０１、ＤＳＤデータ３０２、テキストデータ３０５、画像データを含んでいる。そして、ＤＳＤデータ３１０は、データ型と１ビットオーディオデータから成っている。テキストデータ３０５は、前述したように、例えば、曲名、作曲者名、アルバム名等で構成される。本実施形態では特にＵＲＬ情報を付加情報として説明するが、ＵＲＬ情報の他に曲名、作曲者名、アルバム名等を同時に付加情報として扱っても良いことは言うまでもない。なお、複数のテキストデータが選択され登録ボタン７４が押された場合には、制御部８０はこれらの複数のテキストデータを自身に登録し、そしてマージ処理部３０に渡す。これに応答して、マージ処理部３０は図５に示すようなセグメントのテキストデータフィールドに、対応するテキストデータを組み込む処理を行う。

また、制御部８０は更に、登録ボタン７４が押された時点（登録された時点）に対応するタイミング（即ち、制御部８０が操作装置７０の付加情報設定７５の操作によって付加情報を受け取った時点に対応するタイミング）で、付加情報が組み込まれたセグメントの送信を所定数個のセグメント毎に繰り返す機能を有する。図７はこの動作を説明するためのフローチャートである。以下の動作は制御部８０が行い、その結果、送信部５０の動作制御が行われる。先ず、先に説明した操作装置７０のタイミング設定用スイッチ７７で組み込み周期を設定する。今、例えば４セグメント毎と設定する。

最初に、ステップＳ７００において、制御部８０は周期カウンタを初期化する（例えばクリアして値を０とする）。次に、付加情報の登録操作が有るか否かを判定する。操作が有る場合（Ｙ）にはステップＳ７２０に進む一方、操作が無い場合（Ｎ）にはステップＳ７１０に進む。ステップＳ７１０においては、周期カウンタの値が組む込み周期４に等しいか否かを判定する、等しい場合（Ｙ）にはステップＳ７３０に進む一方、これ以外の場合（Ｎ）にはステップＳ７１５に進む。ステップＳ７１５においては、周期カウンタの値を更新し（１だけインクリメント）、また、ステップＳ７３０において、新たに付加情報登録操作が有るか否かを判定する。操作が無い場合（Ｎ）にはステップＳ７００に進み周期カウンタを初期化する。一方、操作が有る場合（Ｙ）にはステップＳ７２５に進み、付加情報をセグメントに組み込んで送信部５０から送信させる。

図８は、図７のフローチャートによる動作を模式的に説明した模式的説明図である。時刻ｔ０では最初の付加情報設定操作（登録操作）が行われて、付加情報のセグメントへの組み込みが行わる。このセグメントは黒で表現される。また、白で表現しているのは付加情報の付加操作を行わない通常のセグメントである。以降ｔ０〜ｔ９までは４セグメント毎に繰り返して、付加情報が組み込まれた「黒」表現されるセグメントで送信される。次に、時刻ｔ１０にて、新たな付加情報の付加操作である登録操作が行われる。これに対しても付加情報のセグメントへの組み込みが行われセグメント毎に繰り返される（このセグメントを横線で示す）。そして、時刻ｔ１０〜ｔ１８までは黒のセグメントと横線のセグメントとが送信される。仮に両セグメントの送信タイミングが重なる場合には新たな方（この場合、横線の方）を送信する。

そして、時刻ｔ１９になると、また新たな付加情報の付加操作が行われてこの付加情報を組み込んだセグメントを縦線で表現する。この縦線のセグメントも４セグメント毎に繰り返して送信されることが、時刻ｔ１９以降の図を見れば分かる。このようにして付加情報が順次更新されたとしてもより新たな付加情報を優先してセグメント組み込みを行い、この組み込まれたセグメントを所定個数セグメント周期毎に繰り返して送信させる。ここでは４セグメントを周期としたがこれには限られない。また、時刻ｔ０、ｔ１０、ｔ１９と、登録操作を行ったがこれは、ＵＲＬ情報が例えば「http://www.aaa…」,「http://www.bbb…」,「http://www.ccc…」と変化して行くことである。

このように、操作装置７０の付加情報設定部７５の操作によって付加情報を受け取った時点に対応するタイミングで、所定数個セグメント毎に繰り返して、付加情報が組み込まれたセグメントの送信が行われるので、組み込まれた付加情報が確実に配信可能となる。

以上のように、送信装置１はＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、キーボード、液晶表示装置、Ａ／Ｄ変換器、マイクロフォン等のハードウエアと、これらを駆動するＯＳやＡＰ（アプリケーション）等で実現できるので、この送信装置１は、Ａ／Ｄ変換ボードやマイクロフォンを搭載した１台のＰＣ（パーソナルコンピュータ）で実現可能である。

（送信装置１の動作）
図３は送信装置１の基本動作の説明図である。今、ミュージシャンの演奏ライブ中継を行うことを想定する。まず、ステップＳ３００に示すように、演奏の音声情報を音声情報入力部１０によって拾ったものを、Ａ／Ｄ変換器２０によってアナログデジタル変換する。このアナログデジタル変換は１ビットのデルタシグマ変調を採用すると１ビットのデジタルオーディオ信号、即ち、ＤＳＤ信号となる。次いで、ステップＳ３１０に示すように、マージ処理部３０は、このＤＳＤ信号にＵＲＬ情報を組み込んで配信単位であるセグメントを生成するマージ処理を行い、配信単位であるセグメントを生成する。制御部８０からＵＲＬ情報が供給される場合にはマージ処理を行う一方、ＵＲＬ情報が供給されない場合にはマージ処理を行わない。

次に、ステップＳ３２０に示すように、エンコード部４０は生成されたセグメントを所定の圧縮方式によって圧縮し、次いで暗号キーで暗号化するエンコードを行う。そして、ステップＳ３３０において、送信部５０は、エンコード部４０によってエンコードされたセグメントをネットワーク上に送出する。このような動作を繰り返すことで、ミュージシャンの演奏を生中継するストリーミングデータ配信を行うことが可能である。そして、ＵＲＬ情報は、操作装置７０の付加情報設定部７５によって設定したもので、この設定が行われると制御部８０は、この設定されたＵＲＬ情報をマージ処理部３０に供給する。これに対して、マージ処理部３０は、供給された付加情報であるＵＲＬ情報をＤＳＤデータに組み込んでセグメントを生成する。

また、制御部８０は、操作装置７０の登録ボタン７４をクリック操作することによって付加情報を受け取った時点に対応するタイミング（即ち、新たな付加情報を付加することを示す登録ボタン７４をクリックする操作が行われたタイミング）で、所定セグメント間隔で繰り返して、付加情報が組み込まれたセグメントの送信が行われる。したがって、組み込まれた付加情報が確実に配信可能となり、受信装置側においても付加情報の受信ミス等が少なくなる。

以上説明してきたように、送信装置１は、音声情報をＡ／Ｄ変換部２０でデジタル化した情報に対して、供給されたＵＲＬ情報（付加情報）を組み込んで配信単位であるセグメントを生成し、次いで、エンコード部４０は、この生成されたセグメントをエンコードし、更に、送信部５０はエンコードされたセグメントを送信する。そして、制御部８０は、付加情報設定部７５の操作によって与えられるＵＲＬ情報（付加情報）を受け取り、これをマージ処理部３０に供給する。

よって、付加情報設定部７５によってＵＲＬ情報が与えられるとこれがマージ処理部３０に供給されるので、ＵＲＬ情報を与えることを欲したタイミングでＵＲＬ情報を音声情報に付加することが可能となる。つまり、音声情報とこれに付加するＵＲＬ情報を配信する際に、ＵＲＬ情報をリアルタイムに設定することが可能となる。その結果、アンコール時には、次に演奏する楽曲が急遽決定するので、この急遽な決定に対しても、付加情報設定部７５を操作することによって、急遽決定した楽曲に対応するＵＲＬ情報等を設定することも可能となる。もちろんＵＲＬ情報以外のテキストデータを同時に付加するようにしても良い。

（受信装置２の構成）
図２は受信装置２の構成図である。この受信装置２はユーザーがそれぞれの好みの場所に設置している。もちろんノート型ＰＣ等の携帯型ＰＣで受信装置２を実現する場合には場所を固定的にする必要はない。受信装置２は、送受信部１００と、デコード部１１０と、信号解析部１２０と、ＤＳＤデータ用バッファ１３０と、ＵＲＬ用バッファ１４０と、Ｄ／Ａ変換器１６０と、アンプ１７０と、スピーカ（ＳＰ）１８０とを有している。更に、受信装置２は、ＤＳＤデータ用バッファ１３０とＵＲＬ用バッファ１４０からの情報出力タイミングを制御する出力タイミング制御部１５０と、ＵＲＬ用バッファ１４０から出力されるＵＲＬに基づいてブラウジング動作（閲覧動作）を行うブラウジング部２００と、閲覧結果等を表示する表示装置１９０とを備えている。なお、表示装置１９０に、リモコン等で所要の情報を入力する入力部を備えた構成としても良い。

送受信部１００は、ネットワーク上に情報を送出したり、ネットワーク上の情報を取り込んだりする。デコーダ部１１０は、送受信部１００が受信したセグメントに対し、暗号を暗号キーを用いて復号しその後、圧縮方式に対応する伸長方式で情報伸長を行う。次いで、信号解析部１２０は、送信装置１が送信してきた付加情報付きＤＳＤデータから、ＤＳＤデータとＵＲＬ情報（付加情報）とを抽出し、対応するバッファに格納させる。この結果、ＤＳＤデータ用バッファ１３０にはＤＳＤデータが格納されると共に、ＵＲＬ用バッファ１４０にはＵＲＬ情報が格納される。

また、Ｄ／Ａ変換部１６０は、ＤＳＤデータ用バッファ１３０から出力されるＤＳＤデータをデジタルアナログ変換する。アンプ１７０はこのデジタルアナログ変換されたＤＳＤ信号を増幅し、スピーカ（ＳＰ）１８０はこの増幅された信号を放音する。また、ＤＳＤデータ用バッファ１３０から出力されるＤＳＤデータはＤＳＤインターフェイス（Ｉ／Ｆ）を持つデジタルオーディオ機器へ送ることも可能である。これによりＤＳＤＩ／Ｆも持つデジタルオーディオ機器によってＤＳＤオーディオ信号を聴取することが可能になる。

更に、ＵＲＬ用バッファ１４０から出力されるＵＲＬ情報が設定され、これに基づいてブラウジング（閲覧）動作を行うブラウジング部２００を備えていて、ＵＲＬが設定されるとこれに基づいてネットワーク上に閲覧要求信号を送出し、これに応答してネットワーク上から返送されてくる閲覧結果を表示装置１９０に表示させる構成である。ブラウジングは例えばＩＥ（登録商標）、Ｓａｆａｒｉ（登録商標）等のソフトウエアを用いて実現可能である。

（受信装置２の動作）
図４は受信装置２の基本動作の説明図である。まず、ステップＳ４００に示すように、送受信部１００が、送信装置１から配信されて来たセグメントを受信するとデコード部１１０に送信する。そして、デコード部１１０は、受け取った情報に施されている暗号を復号し、圧縮方式に対応した伸長方式で伸長する。次いで、ステップＳ４１０に示すように、信号解析部１２０は、伸長した情報からＤＳＤデータとＵＲＬとを抽出してそれぞれ、ＤＳＤデータ用バッファ１３０、ＵＲＬ用バッファ１４０に格納する。

次に、ステップＳ４２０に示すように、ＤＳＤデータ用バッファ１３０から出力されたＤＳＤデータはＤ／Ａ変換器でデジタルアナログ変換される。そして、このデジタルアナログ変換されたＤＳＤデータはアンプ１７０で増幅され、増幅されたアナログ信号はスピーカ（ＳＰ）１８０から放音される。一方、ステップＳ４３０に示すように、ＵＲＬ用バッファ１４０から出力されたＵＲＬはブラウジング部２００に設定されてブラウジング動作が開始する。ブラウジング部２００は、自身に設定されたＵＲＬに基づいて閲覧動作を行うべく、閲覧要求信号をネットワーク上に送出する。そして、ステップＳ４４０に示すように検索結果としての閲覧結果は表示装置１９０に表示される。この結果、スピーカ（ＳＰ）１８０からはオーディオ信号を聞くことができると共に、表示装置１８０により、このオーディオ信号に関連する画像を見ることが可能となる。

以上説明してきたように、受信装置２によれば、送受信部１００がセグメントを受信し、デコーダ部１１０は送受信部１００が受信したセグメントをデコードし、信号解析部１２０は、デコード部１１０でデコードされたセグメントから、音声情報とＵＲＬ（付加情報）とを抽出しそれぞれを対応するバッファに格納させる。そして、このセグメントを送ってくる送信装置１は、音声情報とＵＲＬ情報とを含むセグメントをストリーミング配信し、このＵＲＬ情報（付加情報）は、送信装置１側の操作装置７０の付加情報設定部７５の操作により付加される。

したがって、音声情報とＵＲＬ（付加情報）を配信する際に、このＵＲＬ情報をリアルタイムに変更設定することが可能となり、例えば、楽曲を演奏するアーティストのライブ中継において、楽曲の音声情報とその楽曲に関連する付加情報を配信することを想定すると、アンコールが発生した時などにこの付加情報が急遽変更されても対応可能となる。なお、ＵＲＬ情報以外のテキストデータが同時に付加された場合にも、受信装置２は同様に受信側の動作を行う。

（出力タイミング制御部１５０の動作）
次に、音声情報および付加情報のそれぞれを同期させるために、両バッファ１３０、１４０からの情報出力タイミングを制御する動作について説明する。図９に示すように、この制御動作は出力タイミング制御部１５０によって行われる。出力タイミング制御部１５０は、信号解析部１２０がセグメントを解析した解析結果信号を受ける。この結果、出力タイミング制御部１５０は、ＤＳＤデータとこれに対応する付加情報としてのＵＲＬとを把握する。つまり、セグメントから抽出されたＤＳＤデータと、付加情報との対応関係を把握する。図９に示すように、ＤＳＤデータはＤＳＤデータ用バッファ１３０に次々に格納され、付加情報はＵＲＬ用バッファ１４０に次々に格納されるが、どのＵＲＬがどのＤＳＤデータと対応するかの対応関係が把握される。具体的には両方を対応付けるポインタを使用する（対応キュー参照）。

今、ＤＳＤデータ「Ｄｄ０」と付加情報「Ｄａ０」とが対応し、ＤＳＤデータ「Ｄｄ４」と付加情報「Ｄａ４」とが対応している場合を想定する。そして、付加情報「Ｄａ０」がＵＲＬ用バッファ１４０に格納された時点から、ブラウジング部２００、送受信部１００を通って閲覧情報が返答され表示装置１９０に表示されるまでの時間をＴｕ、ＤＳＤデータ「Ｄｄ０」がＤＳＤデータ用バッファ１３０に格納された時点からこのＤＳＤデータ用バッファ１３０を出るまでの時間をＴｄとすると、ＤＳＤデータがＤＳＤデータ用バッファ１３０中に滞在する時間の方が圧倒的に長くなる。つまり、「Ｔｄ＝Ｔｕ＋ΔＴ（ΔＴは調整時間）」なる関係が成立する。

そこで、出力タイミング制御部１５０は、この関係や両者の対応関係を考慮しつつ、「Ｄｄ０」の出力時刻と「Ｄａ０」の出力時刻とを同期させる制御を行う。つまり、時刻ｔ１で「Ｄｄ０」を出力させ、時刻「ｔ１＋ΔＴ」で「Ｄａ０」を出力させる。そうすると、ＤＳＤデータ「Ｄｄ０」がＡ／Ｄ変換部１６０でアナログ化されスピーカ（ＳＰ）１８０から放音されることと、ＵＲＬ「Ｄａ０」の閲覧結果が表示装置１９０で表示されることとが同時に行われて、視聴が違和感なく行われる。同様にして、「Ｄｄ４」と「Ｄａ４」との同期が図られる。このようにして、出力タイミング制御部１５０が、音声情報と付加情報との同期が取れるように、ＤＳＤデータ用バッファ１３０、ＵＲＬ用バッファ１４０のそれぞれから情報出力を行うので、視聴が違和感なく行われる。

なお、ΔＴは装置動作開始直後に予め内蔵しているＵＲＬをネットワーク上に送出し返答されるまでの時間を計測したり、予め受信装置２に内蔵されたダミーセグメントを所定個数毎に繰り返してＤＳＤデータ用バッファ１３０に格納して、これがＤＳＤデータ用バッファ１３０から出るまでの時間を計測したりしてΔＴを求めてこれを用いるようにしても良いし、あるいは信号解析部１２０等がセグメントを受け取らない場合等に、Ｔｄ、Ｔｕ、ΔＴをテーブル化して内蔵しておいてこれを使用しても良い。

以上の説明によれば、受信装置２においても、付加情報としてＵＲＬ情報を採用した構成例について示してきたが、付加情報としては先に説明したものの他、アーティストの肖像静止画像、プロフィール等の各種情報等が挙げられこれらを採用することも可能である。そして、ＵＲＬ情報と同時に他のテキスト情報を付加する態様としても良い。

音声出力と、ＵＲＬ情報と、他のテキストデータとの同期を取るためには、例えばテキストデータ専用のバッファを設けておき、出力タイミング制御部１５０が時刻ｔ０に音声情報をデジタルアナログ変換する前ΔＴｕ秒後にバッファリングされていたＵＲＬ情報を出力すると共に、ΔＴother秒前にバッファリングされている上述の他のテキストデータを出力する構成、あるいは、この他のテキストデータを早めに表示して、閲覧結果が返ってくるまで閲覧結果をウエイト状態の表示とする構成等が提案されるがこれらに限られるものではない。また、ΔＴotherはテキストデータの種別毎に決定すれば良い。表示装置１９０には閲覧結果の表示画面の右下等の小さなウインドウに他のテキストデータを表示させたり、閲覧結果にスーパインポーズしたりする態様がある。

そして、以上述べてきたような送信装置１、受信装置２の動作は、ＣＰＵがＲＯＭに記録された装置動作のためのプログラムを実行することによって実現することが可能である。また、以上の実施形態において様々な変形例が挙げられるが、本発明の範囲はここに記載したもののみではないことは言うまでもない。例えばＤＳＤデータ以外のハイレゾリュージョンオーディオデータを採用すること等が挙げられる。

以上説明してきたように、本発明の送信装置等は、音楽分野、特にライブ中継を行うためのシステム等に適用することができる。

１ 送信装置
２ 受信装置
１０ 音声情報入力部
２０ Ａ／Ｄ変換部
３０ マージ処理部
４０ エンコード部
５０ 送信部
７０ 操作装置
７５ 付加情報設定部
７７ タイミング設定用スイッチ
８０ 制御部
１００ 送受信部
１１０ デコード部
１２０ 信号解析部
１３０ ＤＳＤデータ用バッファ
１４０ ＵＲＬ用バッファ
１５０ 出力タイミング制御部
１６０ Ｄ／Ａ変換部
２００ ブラウジング部

Claims (6)

1. 音声情報とこれに付加する付加情報とを含む配信単位であるセグメントをストリーミング配信可能な送信装置であって、
   前記音声情報をデジタル化した情報に対して、供給された前記付加情報を組み込んでセグメントを生成するマージ処理手段と、
   前記マージ処理手段によって生成されたセグメントをエンコードするエンコード手段と、
   前記エンコード手段でエンコードされたセグメントを送信する送信手段と、
   操作手段の操作によって付加情報を受け取った時点に対応するタイミングで付加情報を組み込ませるべく、当該付加情報を前記マージ処理手段に供給する制御手段と、
   セグメントを繰り返して送信するための送信周期である所定数セグメントにおける、当該所定数を設定する設定手段と、送信制御手段と、を備え、
   前記送信制御手段は、
   前記操作手段の新たな操作により指定された新たな付加情報があると、これを対応するセグメントに組み込ませ、
   新、旧の付加情報がそれぞれに対応するセグメントに組み込まれた状態で、前記設定された送信周期で繰り返してセグメント送信する処理を、前記操作手段の操作により新たに指定された付加情報がある毎に行うことを特徴とする送信装置。
2. 請求項１に記載の送信装置において、
   前記付加情報はＵＲＬ（Uniform Resource Locater）情報であることを特徴とする送信装置。
3. 請求項１または２に記載の送信装置からの音声情報とこれに付加する付加情報とを含むセグメントのストリーミングデータを受信可能な受信装置において、
   前記セグメントを受信する受信手段と、
   前記受信手段が受信したセグメントをデコードするデコード手段と、
   前記デコード手段でデコードされたセグメントから、前記音声情報と前記付加情報とを抽出しそれぞれを対応するバッファに格納させる信号解析手段と、
   前記付加情報がＵＲＬ（Uniform Resource Locater）情報である場合に、これを用いてブラウジングして得られた閲覧結果を、表示装置に表示させるブラウジング手段と、を備えたことを特徴とする受信装置。
4. 請求項３に記載の受信装置において、
   前記音声情報と前記付加情報との同期が取れるように、それぞれのバッファからの情報出力のタイミングを制御する出力タイミング制御手段を更に備えたことを特徴とする受信装置。
5. 主情報とこれに付加する付加情報とを含む配信単位であるセグメントをストリーミング配信可能な送信装置に、
   前記主情報をデジタル化したデジタル情報に対して、供給された付加情報を組み込んでセグメントを生成するマージ処理機能と、
   前記マージ処理機能によって生成されたセグメントを送信する送信機能と、
   操作手段の操作によって付加情報を受け取った時点に対応するタイミングで付加情報を組み込ませるべく、当該付加情報を前記マージ処理手段に供給する制御機能と、
   セグメントを繰り返して送信するための送信周期である所定数セグメントにおける、当該所定数を設定する設定機能と、
   送信制御機能と、を実現するためのプログラムであり、
   前記送信制御機能は、
   前記操作手段の新たな操作により指定された新たな付加情報があると、これを対応するセグメントに組み込ませ、
   新、旧の付加情報がそれぞれに対応するセグメントに組み込まれた状態で、前記設定された送信周期で繰り返してセグメント送信する処理を、前記操作手段の操作により新たに指定された付加情報がある毎に行う、プログラム。
6. 請求項１または２に記載の送信装置からの音声情報とこれに付加する付加情報とを含むセグメントのストリーミングデータを受信可能な受信装置に、
   前記セグメントを受信する受信機能と、
   前記受信機能が受信したセグメントをデコードするデコード機能と、
   前記デコード機能でデコードされたセグメントから、前記音声情報と前記付加情報とを抽出しそれぞれを対応するバッファに格納させる信号解析機能と、
   前記付加情報がＵＲＬ（Uniform Resource Locater）情報である場合に、これを用いてブラウジングして得られた閲覧結果を、表示装置に表示させるブラウジング機能と、を実現するためのプログラム

Images