JP4208476B2 - 情報配信装置、情報配信方法、プログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents
情報配信装置、情報配信方法、プログラム及びコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4208476B2 JP4208476B2 JP2002093697A JP2002093697A JP4208476B2 JP 4208476 B2 JP4208476 B2 JP 4208476B2 JP 2002093697 A JP2002093697 A JP 2002093697A JP 2002093697 A JP2002093697 A JP 2002093697A JP 4208476 B2 JP4208476 B2 JP 4208476B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- video
- data
- audio data
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワーク経由で遠隔地のカメラを制御し、取得した映像や音声をクライアントに表示・再生させるための技術に関するものである。
【０００２】
【従来の技術】
遠隔地のカメラをネットワーク経由で制御し、映像を取得・表示する技術があり、カメラのパン、チルト、ズーム、逆光補正などカメラ制御に関する自由度が高いという特徴がある。また、映像と音声を一組として，複数地点における映像と音声をネットワーク経由で送受信するテレビ会議システムが一般に使用されている。また、ネットワーク経由で映像や音声をダウンロードしながら再生を行う技術はストリーミングと呼ばれ、映像と音声の符号化、ネットワーク配信、受信および再生を同時に行うライブ配信技術が利用されている。
【０００３】
映像と音声の対応付けに関しては、特開平１１−３０５３１８号公報において、カメラパラメータと音声を対応付けて映像と音声を出力する撮影装置がある。また、特開平０８−５６３２６号公報において、映像と音声を選択して出力する装置が開示されている。また、特開平１０−９３９４１号公報は，複数手地点を接続し、映像と音声を切り替えて使用するテレビ会議システムの例である。
【０００４】
【発明が解決しようとする課題】
遠隔地のカメラをネットワーク経由で制御する所謂ウェブカメラでは、映像のみが取得可能であり音声は無いことが一般的である。一方、テレビ会議システムは、カメラ制御に加えて映像と音声を送受信することが可能であるが、用途上映像と音声は同一地点において同一の双方向通信装置にこれを入力する方式を採用している。また、映像や音声の接続先は、端末使用者が意図的に指定する使用方法が一般的である。
【０００５】
また映像ストリーミング技術は一つのの音声付映像を多数の受信装置に配信するものであり、任意の映像と音声を組み合わせることは通常行わない。また従来開示されている映像と音声の選択、組み合わせ装置では、ネットワーク上で任意の組み合わせを行うことはできない。
【０００６】
本発明は、上記問題点に鑑みてなされたものであり、ネットワーク経由で遠隔地のカメラを制御し画像を取得するシステムにおいて、ネットワーク上の別々の場所にある映像データと音声データとを中継サーバにおいて音声付映像として符号化して受信装置に送信することを可能とすることにある。
【０００７】
【課題を解決するための手段】
本発明の情報配信装置は、複数の映像送信装置から選択的に映像データを受信する映像データ受信手段と、複数の音声送信装置から選択的に音声データを受信する音声データ受信手段と、前記映像データと前記音声データとの対応付け情報を保持する情報保持手段と、前記情報保持手段によって保持された前記対応付け情報に基づいて、前記映像データ受信手段にて受信する前記映像データと前記音声データ受信手段にて受信する前記音声データとを組み合わせ、音声付き映像データとして符号化する符号化手段と、前記符号化手段により生成される前記音声付き映像データを受信装置に配信する配信手段とを有し、前記符号化手段は、前記映像データに複数の音声データが対応付けられている場合、前記複数の音声データを順番に組合せる処理を行い、前記複数の音声データのうち、前記音声データ受信手段によって受信できない音声データがある場合には、前記映像データに対応付けられた他の音声データに切り替える処理を行うことを特徴とする。
本発明の情報配信方法は、映像データと音声データとの対応付け情報を保持する情報保持手段よって保持された前記対応付け情報に基づいて、複数の映像送信装置のうち対応する映像送信装置から前記映像データ、複数の音声送信装置のうち対応する音声送信装置から前記音声データを夫々受信するステップと、受信した映像データと音声データとを組み合わせ、音声付き映像データとして符号化するステップと、符号化された前記音声付き映像データを受信装置に配信するステップとを有し、前記符号化ステップにおいて、前記映像データに複数の音声データが対応付けられている場合、前記複数の音声データを順番に組合せる処理を行い、前記複数の音声データのうち、前記音声データ受信手段によって受信できない音声データがある場合には、前記映像データに対応付けられた他の音声データに切り替える処理を行うことを特徴とする。
本発明のプログラムは、映像データと音声データとの対応付け情報を保持する情報保持手段よって保持された前記対応付け情報に基づいて、複数の映像送信装置のうち対応する映像送信装置から前記映像データ、複数の音声送信装置のうち対応する音声送信装置から前記音声データを夫々受信するステップと、受信した映像データと音声データとを組み合わせ、音声付き映像データとして符号化するステップと、符号化された前記音声付き映像データを受信装置に配信するステップとをコンピュータに実行させ、前記符号化ステップにおいて、前記映像データに複数の音声データが対応付けられている場合、前記複数の音声データを順番に組合せる処理を行い、前記複数の音声データのうち、前記音声データ受信手段によって受信できない音声データがある場合には、前記映像データに対応付けられた他の音声データに切り替える処理を行うことを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、映像データと音声データとの対応付け情報を保持する情報保持手段よって保持された前記対応付け情報に基づいて、複数の映像送信装置のうち対応する映像送信装置から前記映像データ、複数の音声送信装置のうち対応する音声送信装置から前記音声データを夫々受信するステップと、受信した映像データと音声データとを組み合わせ、音声付き映像データとして符号化するステップと、符号化された前記音声付き映像データを受信装置に配信するステップとをコンピュータに実行させ、前記符号化ステップにおいて、前記映像データに複数の音声データが対応付けられている場合、前記複数の音声データを順番に組合せる処理を行い、前記複数の音声データのうち、前記音声データ受信手段によって受信できない音声データがある場合には、前記映像データに対応付けられた他の音声データに切り替える処理を行うことを特徴とする。
【０００８】
また、本発明の第２の態様である情報配信システムは、映像データを送信可能な複数の映像送信装置と、音声データを送信可能な複数の音声送信装置と、情報を配信する複数の情報配信装置と、前記情報配信装置から配信される前記情報を受信する受信装置とを有する情報配信システムであって、前記情報配信装置は、前記映像送信装置から前記映像データを受信する映像データ受信手段と、前記音声送信装置から前記音声データを受信する音声データ受信手段と、前記映像データ受信手段にて受信する前記映像データと前記音声データ受信手段にて受信する前記音声データとを選択的に組み合わせ、音声付き映像データとして符号化する符号化手段と、前記符号化手段により生成される前記音声付き映像データを配信する配信手段とを有し、前記受信装置は、前記情報配信装置の前記配信手段より配信される前記音声付き映像データを前記情報として受信することを特徴とする。
【０００９】
また、本発明の第３の態様である情報配信方法は、映像データを送信可能な複数の映像送信装置から前記映像データ、音声データを送信可能な複数の音声送信装置から前記音声データを夫々受信するステップと、受信した映像データと音声データとを選択的に組み合わせ、音声付き映像データとして符号化するステップと、符号化された前記音声付き映像データを受信装置に配信するステップとを含むことを特徴とする。
【００１０】
また、本発明の第４の態様であるプログラムは、映像データを送信可能な複数の映像送信装置から前記映像データ、音声データを送信可能な複数の音声送信装置から前記音声データを夫々受信するステップと、受信した映像データと音声データとを選択的に組み合わせ、音声付き映像データとして符号化するステップと、符号化された前記音声付き映像データを受信装置に配信するステップとをコンピュータに実行させることを特徴とする。
【００１１】
さらに、本発明の第５の態様である記録媒体は、映像データを送信可能な複数の映像送信装置から前記映像データ、音声データを送信可能な複数の音声送信装置から前記音声データを夫々受信するステップと、受信した映像データと音声データとを選択的に組み合わせ、音声付き映像データとして符号化するステップと、符号化された前記音声付き映像データを受信装置に配信するステップとをコンピュータに実行させるためのプログラムを記録したことを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明の実施形態を添付図面を参照しながら詳細に説明する。
【００１３】
（第１の実施形態）
本実施形態では、カメラを制御し映像を送信する映像サーバと、音声を送信する音声サーバと、映像サーバと音声サーバのデータを音声付映像に符号化して受信端末に送信する中継サーバとをネットワーク上に配し、受信端末が中継サーバに対して特定のカメラ映像を要求すると、所望のカメラ映像と中継サーバ内で予め決められた音声データとを音声付映像に符号化して返信する、情報配信システムを構成することを目的とする。
【００１４】
本実施形態における情報配信システムの全体構成を図１に示す。ネットワーク１−８に中継サーバ１−１および映像サーバ１−２、音声サーバ１−３、クライアント１−９が接続する構成となっている。
【００１５】
映像サーバ１−２にはカメラ１−４が接続され、ネットワーク経由でカメラを操作したり、映像を取得したりすることができる。これは映像サーバに対して、例えばURLエンコーディングされたコマンドをHTTP(HyperText Transfer Protocol)によって送信すると、映像サーバが複数フレーム分の画像を返信する、といった方式による。なお、映像データにはモーションJPEGやH.261，MPEGなどの多数の符号化方式が存在するが、本発明は符号化方式に依存しないのは言うまでもない。
【００１６】
音声サーバ１−３にはマイク１−５や音声データを蓄積した音声アーカイブ１−６が接続され、ネットワーク上に音声を送信する。音声アーカイブ１−６の音声データは音声サーバ１−３の内部記憶装置に置くことも可能である。音声サーバ１−３への命令も映像サーバ１−２と同様の方式で行うことが可能であり、要求を送信すると、音声サーバ１−３は一定時間長の音声データを返信する。ここで音声データの符号化方式はMPEGやWAVE，AUなど多数の方式があるが本発明は符号化方式に依存しないことは言うまでもない。
【００１７】
クライアント１−９はダイヤルアップやブロードバンド接続でネットワーク１−８に接続する。クライアント１−９が中継サーバ１−１に対して映像の送信を要求すると、中継サーバ１−１は映像サーバ１−２に対して映像を要求する。また一方で、予め持っている映像と音声の対応テーブル１−７を参照し、当該映像に対応する音声を持つ音声サーバに音声データを要求する。映像サーバ１−２と音声サーバ１−３は要求に基づいて映像データおよび音声データを中継サーバ１−１に返信する。中継サーバ１−１は映像データと音声データを一つの音声付映像データに符号化してクライアント１−９に返信する。クライアント１−９はデータを受信し再生する。
【００１８】
クライアント１−９は映像の他にも、中継サーバ1−1に対してカメラ制御要求を行うことがあるが、このような場合中継サーバ1−1はその要求をそのまま映像サーバ１−２に送信し、対応するカメラの制御を行うように依頼する。
【００１９】
なお図中でネットワーク１−８はIPプロトコルに基づくインターネットを想定しているが、デジタル信号を送受信可能で画像通信に十分な容量のある伝送路であれば、その実現方式は問わない。また図では映像サーバ１−２と音声サーバ１−３は中継サーバに接続されるが、本発明はネットワークの構成に依存するものではなく、各サーバがネットワークで接続していさえすればよい。また図では中継サーバ１−１、映像サーバ１−２、音声サーバ１−３、クライアント１−９は各々１つずつ表示してあるが、実際には全て複数個の存在が可能なことはいうまでもない。
【００２０】
次に図２を用いてサーバのハードウェア構成を説明する。図では映像サーバ２−１、音声サーバ２−１３、中継サーバ２−１６がネットワーク２−１５に接続する。
【００２１】
映像サーバ２−１はCPU２−２、RAM２−３、ROM２−４、二次記憶２−５を具備する。また画面表示のためにビデオＲＡＭ２−６を具備し、モニタ２−７を接続する。周辺機器の接続のために周辺機器インターフェース２−８を具備し、操作のためのキーボード２−１０、マウスなどのポインティングデバイス２−１１、および、雲台付あるいは雲台のないカメラ２−１２を接続する。またネットワーク２−１５との接続のためにネットワークインターフェース２−９を具備する。なお周辺機器インターフェース２−８には、PS/2、RS−232C、USB、IEEE1394などの規格が存在するが、本実施形態はこのような規格に依存するものではない。
【００２２】
CPU２−２、RAM２−３、ROM２−４、二次記憶２−５、VRAM２−６、周辺機器インターフェース２−８、ネットワークインターフェース２−９は内部バスに接続する。以上説明したような映像サーバの構成は、市販のパーソナルコンピュータを用いることで簡単に実現できるが、ネットワーク経由で外部からの操作も可能であることから、VRAM２−６、モニタ２−７、キーボード２−１０、マウス２−１１のない、いわゆるセットトップボックスの形態をとることも何ら問題ない。
【００２３】
音声サーバ２−１３も映像サーバとほぼ同一の構成で、接続する入力機器が異なるのみである。CPU２−２、RAM２−３、ROM２−４、二次記憶２−５、VRAM２−６、モニタ２−７、周辺機器インターフェース２−８、ネットワークインターフェース２−９、キーボード２−１０、ポインティングデバイス２−１１に加え、マイク２−１３と音声モニタ用のスピーカ２−１４によって構成される。音声サーバも市販のパーソナルコンピュータを用いることで簡単に実現できる。また映像サーバと同様に、VRAM２−６、モニタ２−７、キーボード２−１０、マウス２−１１、スピーカ２−１４のない、セットトップボックスの形態をとることも何ら問題ない。また音声サーバが内部記憶装置に音声アーカイブを持ち、外部音源を使用しない場合には、マイク２−１３を接続しない構成となる。
【００２４】
最後に中継サーバ２−１６は映像サーバ２−１から雲台付カメラ２−１２を除いた構成か、もしくは雲台付カメラ２−１２、VRAM２−６、モニタ２−７、キーボード２−１０、マウス２−１１のないセットトップボックス構成であることから説明を省略する。
【００２５】
つぎに本実施形態のソフトウェア構成例を図３に示す。映像サーバ３−１において映像サーバプロセス３−３、音声サーバにおいて音声サーバプロセス３−６、中継サーバにおいて要求処理プロセス３−７、映像受信プロセス３−８、音声受信プロセス３−９、映像音声送信プロセス３−１０、クライアントにおいてクライアントプロセス３−１１がそれぞれ動作する。ここでプロセスとは、マルチタスクオペレーションシステムにおいて動作するプログラム単位を意味する。
【００２６】
図４を用いて各プロセスの動作の概要を説明する。S401においてクライアントプロセス３−１１は起動時に、中継サーバの要求処理プロセス３−７に対して映像リストを要求する。要求処理プロセス３−７はS402で映像リストを返信する。映像リストは図５−（a）の情報を持つものであり、内容に関しては後で説明する。リストを受信したクライアントは映像の一覧を表示し、ユーザはその中から一つを選択操作する。するとクライアントプロセス７−１１はS403で要求処理プロセスに対して映像接続要求を行う。なお映像の接続先をユーザが直接クライアントに入力する場合には、S401とS402は不要である。
【００２７】
映像接続要求を受けた中継サーバの要求処理プロセス３−７は、S404において、映像と音声の対応テーブルを参照して音声サーバと音声の選択を行う。そして映像サーバとカメラを指定して映像受信プロセス３−８を起動し、また音声サーバとマイクあるいは音声ファイル名などを指定して音声受信プロセス３−９を起動する。また受信した映像と音声データを一つの音声付映像データに符号化して送信する映像音声送信プロセス３−１０を起動する。映像受信プロセス３−８はS405において映像サーバに対して映像要求を行う。また音声受信プロセス３−９はS406において音声サーバに対して音声要求を行う。
【００２８】
要求を受けた映像サーバプロセス３−３はS407で該当するカメラから映像を取得し、中継サーバの映像受信プロセス３−８に対して返信する。また音声サーバプロセス３−６も同様にS408でマイクや音声アーカイブから該当する音声データを取得して音声受信プロセス３−９に返信する。返信された映像と音声データはS409で映像音声送信プロセス３−１０において一つの音声付映像データに符号化され、S410でクライアントプロセス３−１１に返信される。クライアントプロセス３−１１はS412において音声付映像を受信後、復号化し再生する。
【００２９】
つぎに図５を用いて、中継サーバが保持する映像および音声に関する情報と、映像と音声の対応に関する情報について説明する。情報は図に示すように映像テーブル５−(a)、音声テーブル５−(b)、対応テーブル５−(c)の三種類であり、映像テーブル５−(a)には映像サーバに接続されたカメラごとに映像番号と映像名が割り当てられ、映像サーバのIPアドレスとポート番号、カメラ名を属性として管理する。クライアントは映像名を選択して所望のカメラの映像を指定する。また音声テーブル５−(b)も同様にマイクあるいはファイルごとに音声番号と音声名が割り当てられ、音声サーバのIPアドレスとポート番号、マイク名もしくはファイル名を属性として管理する。
【００３０】
対応テーブル５−(c)は映像番号と音声番号の対応関係を示し、各映像番号に対応する複数の音声番号を保持する。ユーザが映像名を指定した映像を要求すると、中継サーバは映像テーブル５−(a)から映像番号を求め、次に対応テーブル５−(c)において該当する映像番号を参照し、組となる音声番号から音声テーブル図５−(b)を参照して、音声のネットワーク上の位置を特定する。ここで音声は複数が登録可能であり、ユーザが長時間連続して映像を見る場合には、これら複数の音声を順番に流す。また何らかの原因によりある音声の接続が不可能な場合には同じ映像に割り当てられた別の音声に切り替える。図中でN/Aとなっているのはデータがないことを示す。
【００３１】
以上は本実施形態におけるサーバ群の動作の概要であるが、本実施形態において中心的な役割を果たす中継サーバの各プロセスの動作手順を図６〜８のフローチャートを用いて詳細に説明する。中継サーバは要求処理プロセス３−７、映像受信プロセス３−８、音声受信プロセス３−９、映像音声送信プロセス３−１０からなり、要求処理プロセス３−７以外の３プロセスは、１つのクライアントに対して１つ生成され、それぞれが独立に動作する。
【００３２】
図６は中継サーバの要求処理プロセスの処理手順を示したフローチャートである。開始後、S601において初期化を行い、S602でイベントを待つ。イベントが発生するとY分岐してイベントの処理を行う。ここでイベントはクライアントプロセスからのものに関してのみ説明し、OSに依存するイベントなどの説明は省略する。
【００３３】
S603でイベントが映像要求であった場合Y分岐し、S604で既に接続しているクライアントであるかどうかを判別する。もし接続済みである場合にはN分岐し、S605において映像サーバと音声サーバに対して、それぞれ映像要求イベントと音声要求イベントを発行し、S602に戻って次のイベントを待つ。もしS604で未接続のクライアントである場合にはY分岐し、S606に進んで最大接続数以下であるか確認する。もし最大接続数を超える場合にはN分岐し、S607でクライアントに対して接続拒否通知を行い、S602に戻って次のイベントを待つ。なお、最大接続数は中継サーバの処理能力を鑑みて予め定めておく。
【００３４】
S606において最大接続数以下である場合にはY分岐する。そしてS608でクライアントの登録処理として、クライアントのIPアドレスを登録する。またクライアントの個人情報が同時に送られてきた場合にはこれも登録する。つぎに映像に対応する音声を求め、S609で映像受信プロセスを、S610で音声受信プロセスを、S611で映像音声送信プロセスをそれぞれ起動し、S602に戻って次のイベントを待つ。
【００３５】
S603において接続要求イベントでない場合にはN分岐し、S612に進んで接続終了イベントかどうか判別する。このイベントはクライアントが送信する場合と、映像音声送信プロセスにおいてクライアントへの送信が不可能である場合に例外イベントとして発生する場合がある。もしそうである場合にはY分岐しS613に進んで接続終了処理を行う。接続終了処理では接続開始時に起動した映像受信プロセス、音声受信プロセス、映像音声送信プロセスを終了する。次にS614に進み当該クライアントを接続クライアントの一覧から削除し、S602に戻って次のイベントを待つ。
【００３６】
S612で接続終了イベントでない場合にはN分岐し、S615に進んでカメラ制御要求イベントかどうか判別する。もしそうである場合にはY分岐し、S616に進んで映像サーバにクライアントからのカメラ制御命令を転送し、終了後S602に進んで次のイベントを待つ。
【００３７】
S615でカメラ制御要求イベントでない場合にはN分岐し、S617に進んで映像リスト要求イベントであるかどうか判別する。もしそうである場合にはY分岐し、S618で映像リストをクライアントに対して返信した後、S602に戻って次のイベントを待つ。S616でもし映像リスト要求イベントでない場合にはN分岐し、S602に戻って次のイベントを待つ。
【００３８】
次に図７において、中継サーバにおける映像受信プロセスおよび音声受信プロセスの動作手順を説明する。図７−(a)は映像受信プロセス、図７−(ｂ)は音声受信プロセスの動作手順である。
【００３９】
映像受信プロセスは開始後S701において、要求処理プロセスから映像要求イベントがあるまで待機する。映像要求イベントが発生するとY分岐し、S702において映像サーバに対してカメラ名を指定して映像を要求し、S703において少なくとも１フレーム分の映像を受信する。ここでフレーム数はクライアントプロセスから要求してもよいし、固定したフレーム数を定めてもよい。
【００４０】
つぎにS704において、S702およびS703で異常なく無事に画像を得られたかどうか判別する。異常とは受信の途中でネットワークが切断されたなどの理由により、完全な受信ができなかった場合である。もし異常があった場合にはN分岐し、S707に進んで最大試行回数以下であれば、S702に戻って再度映像の取得を試みる。また最大試行回数を超えているのであればY分岐してS708に進み、例外発生イベントを発行して終了する。
【００４１】
S704でもし異常がない場合にはY分岐し、S705に進んで受信した映像をバッファに格納する。つぎにS706で終了命令が出ているかどうか確認する。これはS613において発生する命令である。もしこの命令が出ている場合にはY分岐して終了する。もし出ていない場合にはN分岐し、S701に戻って処理を続ける。
【００４２】
音声受信プロセスは開始後S710において、要求処理プロセスから音声要求イベントがあるまで待機する。音声要求イベントが発生するとY分岐し、S711において音声サーバに対してマイクあるいはファイル名を指定して音声を要求する。つぎにS712で要求した音声が音声ファイルなどの場合、音声が終了したかどうか確認する。これは音声要求に対する返信によって知ることができる。もし音声が終了した場合にはY分岐し、S713で対応テーブルを参照して複数の音声が対応している場合には音声サーバに対して別音声を選択するように要求する。つぎにS714において一定時間の音声を受信する。ここで時間数は映像受信プロセスが一度に受信するフレーム数に対応する時間に設定する。
【００４３】
つぎにS715において、S711およびS714で音声を異常なく無事に得られたかどうか判別する。ここで異常とは受信の途中でネットワークが切断されたなどの理由により、完全な受信ができなかった場合である。もし異常があった場合にはN分岐し、S718に進んで最大試行回数以下であれば、S711に戻って再度音声の取得を試みる。また最大試行回数を超えているのであればY分岐してS719に進み、例外発生イベントを発行して終了する。
【００４４】
S715でもし異常がない場合にはY分岐し、S716に進んで受信した音声をバッファに格納する。つぎにS717で終了命令が出ているかどうか確認する。これはS613において発生する命令である。もしこの命令が出ている場合にはY分岐して終了する。もし出ていない場合にはN分岐し、S710に戻って処理を続ける。
【００４５】
つぎに図８を用いて映像音声送信プロセスの動作手順を説明する。開始後S801で、映像バッファおよび音声バッファに映像・音声データがあるかどうか判別する。もしいずれのデータもない場合にはN分岐してS802に進む。S802では最大試行回数を超えて映像・音声データが無いようであれば、Y分岐してS808に進み、クライアントにエラーを送信し、S809で例外イベントを発生して終了する。もし最大試行回数以下であれば待ち時間を置いた後でN分岐し、再度S801を実行する。
【００４６】
S801で映像・音声データがある場合にはS803に進み、個別の映像と音声を音声付映像として符号化データを生成する。ここで符号化の方式はMPEG，RealVideo，Windows(R) Mediaなど複数の方式が存在するが、本発明は符号化方式に依存するものではない。映像・音声のいずれか一つのみが存在する場合にも符号化は可能である。符号化後、S804でクライアントに対して符号化データを送信する。
【００４７】
つぎにS805で送信時に異常があったかどうか判別する。もし異常があった場合にはN分岐し、S807で予め決められた送信の最大試行回数を超えたかどうか判別する。もしそうである場合にはY分岐し、S808に進み例外イベントを発生して終了する。このもし最大試行回数以下である場合にはN分岐し、S804に戻って再度送信を行う。
【００４８】
S805において、送信時に異常がないとしてY分岐した場合、S806で終了命令があったかどうか判別する。これはS613で発生する場合と、映像受信プロセスもしくは音声受信プロセスにおいて例外イベントとして発生する場合がある。もし終了命令があった場合にはY分岐し終了する。もし終了命令がなかった場合にはN分岐しS803に戻って符号化を行い、送信を続ける。
【００４９】
以上の説明から明らかなように、本実施形態によれば、カメラを制御し映像を送信する映像サーバと、音声を送信する音声サーバと、映像サーバと音声サーバのデータを音声付映像に符号化して受信端末に送信する中継サーバとをネットワーク上に配し、受信端末が中継サーバに対して特定のカメラ映像を要求すると、所望のカメラ映像と中継サーバ内で予め決められた音声データとを音声付映像に符号化して返信する、情報配信システムを構成する。これによって、映像の説明や広告を音声にて付加できるウェブカメラシステムや情報配信システムを構築できる。
【００５０】
（第２の実施形態）
次に本発明の第２の実施形態について説明する。本実施形態は第１の実施形態において、中継サーバの持つ対応テーブルを高機能化し、より詳細な対応関係を処理できるようにするものである。詳細な対応関係とは映像と音声を対応付ける際に、パン、チルト、ズームなどのカメラパラメータ、時間帯、ユーザの年齢、性別、住所などの個人データなどを利用して対応付けを限定することである。本実施形態のハードウェア構成やソフトウェア構成は第１の実施形態と同じであり、中継サーバの管理する対応テーブルや要求処理プロセスの動作が異なる。よって以下では第１の実施形態と異なる部分のみを説明する。
【００５１】
図９に本実施形態において中継サーバが保持する対応テーブルと条件テーブルの例を示す。図９−(a)は条件テーブルの例、図９−(ｂ)は対応テーブルの例である。図９−(a)は一行を一つの条件として番号が振られ、条件番号ごとに、時間帯、パン、チルト、ズームなどのカメラパラメータ、年齢、性別、住所などのユーザの個人情報に関する条件が値や値の範囲として保持されている。
【００５２】
図９−(ｂ)は対応テーブルの例であり、第１の実施形態の対応テーブル図５と比較して、各映像番号に、接続の条件を条件番号として保持する列が加わっている。条件欄がNoneになっている場合には、無条件で対応付けることを意味する。そしてユーザがある映像を指定した場合、付属の条件全てに合致する場合にのみ映像と音声の対応付けを許可する。合致しない場合には音声を送信しなくてもいいし、このような場合に対応付ける音声を予め決めておいてもよい。
【００５３】
つぎに本実施形態における中継サーバ上で動作する要求処理プロセスの動作手順を図１０に示す。図１０は図６と基本的に同一であるので、異なる部分に関してのみ説明する。
【００５４】
S1003以下の映像要求イベントの処理について、条件テーブル図９−(ａ)にカメラパラメータに関する条件がある場合には、S1009で図５−（ａ）のテーブルを参照して該当する映像サーバよりカメラ状態を取得する。これはクライアントの所望する映像に対応するカメラのカメラパラメータを取得する処理である。つぎに条件テーブルの条件を参照し、カメラパラメータをはじめとする条件に合致する組を図９−（ａ）から検索し、図９−（ｂ）の対応テーブルから該当する条件番号の音声を選択する。そして、中継サーバは、選択した音声に該当する音声サーバに当該音声データの取得要求を発行し、当該音声データを受信する。
【００５５】
条件テーブルにユーザの個人情報がある場合には、クライアントはユーザの個人情報を送信する必要がある。この場合、クライアントから中継サーバに対して送信する映像接続要求時に同時に個人データを送信する。中継サーバは受信した個人データに基づいて、条件に合致する組を図９−（ａ）から検索し、図９−（ｂ）の対応テーブルから該当する条件番号の音声を選択する。そして、中継サーバは、選択した音声に該当する音声サーバに当該音声データの取得要求を発行し、当該音声データを受信する。
【００５６】
また、条件テーブルに時刻情報がある場合には、中継サーバは、クライアントから映像データの取得要求があった時点の時刻に含む時間帯の組を図９−（ａ）から検索し、図９−（ｂ）の対応テーブルから該当する条件番号の音声を選択する。そして、中継サーバは、選択した音声に該当する音声サーバに当該音声データの取得要求を発行し、当該音声データを受信する。
【００５７】
クライアントからカメラ制御要求があった場合、S1016でカメラ制御イベントを判別してY分岐し、S1017において映像サーバに対して当該カメラの制御命令を発行する。次にS1018でカメラのパラメータ情報を取得する。そしてS1019で音声に関して再接続が必要かどうか判別する。これは図９−(ａ)の条件テーブルを再度参照することによって、現在の接続が許可されたときの条件が、カメラ制御後も引き続き成立するかどうかを確認するためである。もし成立するならばN分岐しS1002に進んで次のイベントを待つ。もし成立しないようであるならば、再接続が必要であるので、再び図９−（ａ）の条件テーブルを参照し、該当する条件番号の音声番号を図９−（ｂ）の対応テーブルから見つけ、S1020で再接続処理を行う。これは音声サーバとマイクもしくはファイルを指定して音声受信プロセスを再起動する処理である。
【００５８】
以上のべたように第２の実施形態によれば、時間やカメラパラメータ、ユーザの個人情報などの条件などを指定することによって、より詳細に対応関係を決定することができ、その結果、映像の説明を音声で行う場合に画面に表示されるものを音声で的確に説明したり、音声広告などにおいて効果的な音声を映像に付加したりすることができる。
【００５９】
（第３の実施形態）
つぎに本発明の第３の実施形態について説明する。本実施形態は第１もしくは第２の実施形態において、PCクライアントに加えて携帯電話などの移動体端末の利用を可能とするものである。本実施形態のシステム構成を図１１に示す。
【００６０】
図１１は図１に移動体通信網と携帯電話クライアントを加えたものである。以下図１と異なる点に関してのみ説明する。携帯端末クライアント１１−１２は移動体通信網１１−１１を経由して移動体通信キャリアの配送センター１１−１０のゲートウェイに接続する。そしてゲートウェイが移動体通信網における通信方式をネットワーク１１−８上の通信方式に変換し、情報を交換する。携帯端末クライアントとゲートウェイの通信方式には回線交換方式によるものやパケット通信方式によるものがある。
【００６１】
そこで、端末として、携帯電話を用いる場合、配送センター１１−１０内のゲートウェイにおいて、映像ごとに電話番号を割り当て、端末から映像に対応する電話番号に発呼があった場合には、配送センター１１−１０内のゲートウェイより中継サーバ１１−１に対して該当する映像要求を行う。つぎに中継サーバ１１−１からの音声付映像データをゲートウェイにおいて、移動体通信向けの映像ストリームに変換すれば、端末にてこれを受信再生することができる。
【００６２】
またパケット通信方式による接続では、動画クリップを再生する公知のサービスを用いれば、中継サーバに対してカメラを指定すると、映像と対応する音声を合成したビデオクリップを中継サーバ１１−１が作成して返信するので、これをゲートウェイ経由で端末にて受信し、再生することができる。
【００６３】
また回線交換とパケット交換を同時に接続可能場合、携帯電話端末上の画面でカメラ操作を行い、静止画像を取得しながら、音声データを受信することが可能となる。この場合、中継サーバ１１−１から返信された音声付映像データを、ゲートウェイにてパケット通信用の静止画像データと回線交換用の音声データとに分割して端末に送信する。
【００６４】
以上述べたように本実施形態に拠れば、第１の実施形態において、移動体通信網を利用する携帯端末をクライアントとした音声付のウェブカメラ操作を行うことができる。
【００６５】
（第４の実施形態）
つぎに本発明の第４の実施形態について説明する。第４の実施形態は第１や第２の実施形態において中継サーバの持つ映像と音声の対応テーブルや、条件テーブルの変更を可能とするものである。これは、中継サーバに追加、更新、削除などの要求を送信することによって実現する。
【００６６】
例えば図５−(ｃ)の対応テーブルの変更を考える。変更命令の種類は追加更新、削除の２種類である。追加と更新の区別は指定した映像番号に関するデータが存在しない場合には追加を行い、存在する場合には更新を行う。中継サーバに対する要求は第１の実施形態でも述べたように、例えばURLエンコーディングされたHTTPリクエストとリプライの形式を採用する。以下にリクエストとリプライの例を挙げる。
【００６７】
ａ）対応テーブルの追加・更新１
リクエスト：
http://host-address:port/addctbl?video=id&sound=id [&sound= id・・・]
ただし、idはvideo=idの場合映像番号、sound=idの場合音声番号（複数指定可能）である。
リプライ：
HTTP/1.0 200 OK
Content-Type text/plain
\r\n
OK
video=video_id
ただし，video_idは映像番号である。
【００６８】
ｂ）対応テーブルの削除
リクエスト：
http://host-address:port/delctbl?video=id [&video= id・・・]
ただし，video=idのidは映像番号（複数指定可能）である。
リプライ：
HTTP/1.0 200 OK
Content-Type text/plain
\r\n
OK
【００６９】
対応テーブルの追加・更新リクエストでは映像番号と映像に対応する音声番号を指定する。音声番号は複数指定が可能である。また削除リクエストでは映像番号を指定して対応データの削除を行う。削除する映像番号は複数が指定可能である。削除された映像番号に対してクライアントが接続要求を行った場合、単に映像のみが中継されるか、予め規定の音声を対応することを決めておく。
【００７０】
つぎに図９−(a)に示した条件情報の追加，更新，削除に関しては，以下のようなリクエストとリプライを規定してこれを行うことができる。
【００７１】
ｃ）条件テーブルの追加・更新
リクエスト：
http://host-address:port/addqtbl?qid=num&attr=val1+val2 [&attr=val1+val2・・・]
ただし、
qid=numのnumは条件番号である。
attr=val1+val2のattrは属性名、val1とval2は下限値と上限値である。
またattrの例はpan,tilt,zoom,time,age,sex,などである。
リプライ：
HTTP/1.0 200 OK
Content-Type text/plain
\r\n
OK
qid=qualify_id
ただし、quolify_idは条件番号である。
【００７２】
ｄ）条件テーブルの削除
リクエスト：
http://host-address:port/delqtbl?qid=num [&qid= num・・・]
ただし、qid=idのidは条件番号（複数指定可能）である。
リプライ(成功時)：
HTTP/1.0 200 OK
Content-Type text/plain
\r\n
OK
【００７３】
条件テーブルの追加更新の場合、指定した条件番号の条件があれば更新し、無ければ追加する。また条件番号を指定しなかった場合には新たな条件番号が付与され返信される。条件テーブルの削除を指定した場合、条件番号に該当する条件があれば削除される。
【００７４】
次に対応テーブルの追加／更新において、付随する条件の更新を行う場合、前述した追加更新リクエストの書式に条件に関する属性を追加すればよい、すなわち、前述した対応テーブルの追加・更新１を下記のように修正する。
【００７５】
ｅ）対応テーブルの追加・更新２
リクエスト：
http://host-address:port/addctbl?video=id [&qid=id][&sound=id [&sound= id…]]
ただし、
video=idのidは映像番号である。
sound=idのidは音声番号（複数指定可能）である。
qid=idのidは条件番号である。
【００７６】
更新を実現するための中継サーバの動作は図１０の中継サーバの動作手順に対応テーブルおよび条件テーブルの更新手続きを加えればよい。すなわちイベント処理において、上記a)からe)のような要求があった場合には、対応テーブルおよび条件テーブルの追加・更新、削除などの変更処理を行い、次のイベント待ちを行えばよい。
【００７７】
以上述べたように本実施形態によれば、第１および第２の実施形態において中継サーバで使用する映像と音声の対応テーブルや、条件テーブルに対して、追加・更新、削除などの変更処理を加えることによって、対応付けや対応条件を動的に変更することができる。
【００７８】
以上の説明からも明らかなように、本発明の実施形態によれば、カメラを制御し映像を送信する映像サーバと、音声を送信する音声サーバと、映像サーバと音声サーバのデータを音声付映像に符号化して受信端末に送信する中継サーバとをネットワーク上に配し、受信端末が中継サーバに対して特定のカメラ映像を要求すると、所望のカメラ映像と中継サーバ内で予め決められた音声データとを音声付映像に符号化して返信する、情報配信システムを構成できる。
【００７９】
また映像と音声を対応付ける際に、カメラの姿勢やズーム、時刻、使用者の個人情報などを用いてより詳細な条件付けを持つ対応を行う。また対応付けや条件を記録したテーブルは書き換えることができる。さらにクライアントはPCに加え、移動体通信網を利用する携帯電話端末を使用することもできる。以上によって、像の説明や広告を音声に付加しPCや携帯電話端末で閲覧・再生するウェブカメラシステムや情報配信システムを構築できる。
【００８０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００８１】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８２】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００８３】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８５】
【発明の効果】
以上の説明から明らかなように、本発明によれば、映像送信装置及び音声送信装置から夫々映像データ、音声データを受信し、これらを組み合わせた音声付き映像データを受信装置に配信可能なシステムを構築することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態における情報配信システムの概略構成を示した図である。
【図２】映像サーバ及び音声サーバのハードウェア構成を示したブロック図である。
【図３】情報配信システムのソフトウェア構成を示したブロック図である。
【図４】情報配信システムのソフトウェアモジュールの動作手順を示した図である。
【図５】中継サーバが映像情報、音声情報及び映像音声対応を管理するためのテーブル構成を示した図である。
【図６】中継サーバの要求処理プロセスの処理手順を示した図である。
【図７】中継サーバの映像受信プロセス及び音声受信プロセスの処理手順を示した図である。
【図８】中継サーバの映像音声合成・送信プロセスの処理手順を示した図である。
【図９】中継サーバが条件情報と映像音声対応を管理するためのテーブル構成を示した図である。
【図１０】他の実施形態における中継サーバの要求処理プロセスの処理手順を示した図である。
【図１１】他の実施形態における情報配信システムの概略構成を示した図である。
【符号の説明】
１−１ 中継サーバ
１−２ 映像サーバ
１−３ 音声サーバ
１−４ カメラ
１−５ マイク
１−６ 音声アーカイブ
１−７ 対応テーブル
１−８ ネットワーク
１−９ クライアント
２−２ ＣＰＵ
２−３ ＲＡＭ
２−４ ＲＯＭ
２−５ 二次記憶
２−６ ＶＲＡＭ
２−７ モニタ
２−８ 周辺Ｉ／Ｆ
２−９ ネットワークＩ／Ｆ
２−１０ キーボード
２−１１ マウス
２−１２ 雲台付カメラ
２−１３ マイク
２−１４ スピーカ
２−１５ ネットワーク
３−３ 映像サーバプロセス
３−６ 音声サーバプロセス
３−７ 要求処理プロセス
３−８ 映像受信プロセス
３−９ 音声受信プロセス
３−１０ 映像音声送信プロセス
３−１１ クライアントプロセス
３−１２ 表示画面
【発明の属する技術分野】
本発明は、ネットワーク経由で遠隔地のカメラを制御し、取得した映像や音声をクライアントに表示・再生させるための技術に関するものである。
【０００２】
【従来の技術】
遠隔地のカメラをネットワーク経由で制御し、映像を取得・表示する技術があり、カメラのパン、チルト、ズーム、逆光補正などカメラ制御に関する自由度が高いという特徴がある。また、映像と音声を一組として，複数地点における映像と音声をネットワーク経由で送受信するテレビ会議システムが一般に使用されている。また、ネットワーク経由で映像や音声をダウンロードしながら再生を行う技術はストリーミングと呼ばれ、映像と音声の符号化、ネットワーク配信、受信および再生を同時に行うライブ配信技術が利用されている。
【０００３】
映像と音声の対応付けに関しては、特開平１１−３０５３１８号公報において、カメラパラメータと音声を対応付けて映像と音声を出力する撮影装置がある。また、特開平０８−５６３２６号公報において、映像と音声を選択して出力する装置が開示されている。また、特開平１０−９３９４１号公報は，複数手地点を接続し、映像と音声を切り替えて使用するテレビ会議システムの例である。
【０００４】
【発明が解決しようとする課題】
遠隔地のカメラをネットワーク経由で制御する所謂ウェブカメラでは、映像のみが取得可能であり音声は無いことが一般的である。一方、テレビ会議システムは、カメラ制御に加えて映像と音声を送受信することが可能であるが、用途上映像と音声は同一地点において同一の双方向通信装置にこれを入力する方式を採用している。また、映像や音声の接続先は、端末使用者が意図的に指定する使用方法が一般的である。
【０００５】
また映像ストリーミング技術は一つのの音声付映像を多数の受信装置に配信するものであり、任意の映像と音声を組み合わせることは通常行わない。また従来開示されている映像と音声の選択、組み合わせ装置では、ネットワーク上で任意の組み合わせを行うことはできない。
【０００６】
本発明は、上記問題点に鑑みてなされたものであり、ネットワーク経由で遠隔地のカメラを制御し画像を取得するシステムにおいて、ネットワーク上の別々の場所にある映像データと音声データとを中継サーバにおいて音声付映像として符号化して受信装置に送信することを可能とすることにある。
【０００７】
【課題を解決するための手段】
本発明の情報配信装置は、複数の映像送信装置から選択的に映像データを受信する映像データ受信手段と、複数の音声送信装置から選択的に音声データを受信する音声データ受信手段と、前記映像データと前記音声データとの対応付け情報を保持する情報保持手段と、前記情報保持手段によって保持された前記対応付け情報に基づいて、前記映像データ受信手段にて受信する前記映像データと前記音声データ受信手段にて受信する前記音声データとを組み合わせ、音声付き映像データとして符号化する符号化手段と、前記符号化手段により生成される前記音声付き映像データを受信装置に配信する配信手段とを有し、前記符号化手段は、前記映像データに複数の音声データが対応付けられている場合、前記複数の音声データを順番に組合せる処理を行い、前記複数の音声データのうち、前記音声データ受信手段によって受信できない音声データがある場合には、前記映像データに対応付けられた他の音声データに切り替える処理を行うことを特徴とする。
本発明の情報配信方法は、映像データと音声データとの対応付け情報を保持する情報保持手段よって保持された前記対応付け情報に基づいて、複数の映像送信装置のうち対応する映像送信装置から前記映像データ、複数の音声送信装置のうち対応する音声送信装置から前記音声データを夫々受信するステップと、受信した映像データと音声データとを組み合わせ、音声付き映像データとして符号化するステップと、符号化された前記音声付き映像データを受信装置に配信するステップとを有し、前記符号化ステップにおいて、前記映像データに複数の音声データが対応付けられている場合、前記複数の音声データを順番に組合せる処理を行い、前記複数の音声データのうち、前記音声データ受信手段によって受信できない音声データがある場合には、前記映像データに対応付けられた他の音声データに切り替える処理を行うことを特徴とする。
本発明のプログラムは、映像データと音声データとの対応付け情報を保持する情報保持手段よって保持された前記対応付け情報に基づいて、複数の映像送信装置のうち対応する映像送信装置から前記映像データ、複数の音声送信装置のうち対応する音声送信装置から前記音声データを夫々受信するステップと、受信した映像データと音声データとを組み合わせ、音声付き映像データとして符号化するステップと、符号化された前記音声付き映像データを受信装置に配信するステップとをコンピュータに実行させ、前記符号化ステップにおいて、前記映像データに複数の音声データが対応付けられている場合、前記複数の音声データを順番に組合せる処理を行い、前記複数の音声データのうち、前記音声データ受信手段によって受信できない音声データがある場合には、前記映像データに対応付けられた他の音声データに切り替える処理を行うことを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、映像データと音声データとの対応付け情報を保持する情報保持手段よって保持された前記対応付け情報に基づいて、複数の映像送信装置のうち対応する映像送信装置から前記映像データ、複数の音声送信装置のうち対応する音声送信装置から前記音声データを夫々受信するステップと、受信した映像データと音声データとを組み合わせ、音声付き映像データとして符号化するステップと、符号化された前記音声付き映像データを受信装置に配信するステップとをコンピュータに実行させ、前記符号化ステップにおいて、前記映像データに複数の音声データが対応付けられている場合、前記複数の音声データを順番に組合せる処理を行い、前記複数の音声データのうち、前記音声データ受信手段によって受信できない音声データがある場合には、前記映像データに対応付けられた他の音声データに切り替える処理を行うことを特徴とする。
【０００８】
また、本発明の第２の態様である情報配信システムは、映像データを送信可能な複数の映像送信装置と、音声データを送信可能な複数の音声送信装置と、情報を配信する複数の情報配信装置と、前記情報配信装置から配信される前記情報を受信する受信装置とを有する情報配信システムであって、前記情報配信装置は、前記映像送信装置から前記映像データを受信する映像データ受信手段と、前記音声送信装置から前記音声データを受信する音声データ受信手段と、前記映像データ受信手段にて受信する前記映像データと前記音声データ受信手段にて受信する前記音声データとを選択的に組み合わせ、音声付き映像データとして符号化する符号化手段と、前記符号化手段により生成される前記音声付き映像データを配信する配信手段とを有し、前記受信装置は、前記情報配信装置の前記配信手段より配信される前記音声付き映像データを前記情報として受信することを特徴とする。
【０００９】
また、本発明の第３の態様である情報配信方法は、映像データを送信可能な複数の映像送信装置から前記映像データ、音声データを送信可能な複数の音声送信装置から前記音声データを夫々受信するステップと、受信した映像データと音声データとを選択的に組み合わせ、音声付き映像データとして符号化するステップと、符号化された前記音声付き映像データを受信装置に配信するステップとを含むことを特徴とする。
【００１０】
また、本発明の第４の態様であるプログラムは、映像データを送信可能な複数の映像送信装置から前記映像データ、音声データを送信可能な複数の音声送信装置から前記音声データを夫々受信するステップと、受信した映像データと音声データとを選択的に組み合わせ、音声付き映像データとして符号化するステップと、符号化された前記音声付き映像データを受信装置に配信するステップとをコンピュータに実行させることを特徴とする。
【００１１】
さらに、本発明の第５の態様である記録媒体は、映像データを送信可能な複数の映像送信装置から前記映像データ、音声データを送信可能な複数の音声送信装置から前記音声データを夫々受信するステップと、受信した映像データと音声データとを選択的に組み合わせ、音声付き映像データとして符号化するステップと、符号化された前記音声付き映像データを受信装置に配信するステップとをコンピュータに実行させるためのプログラムを記録したことを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明の実施形態を添付図面を参照しながら詳細に説明する。
【００１３】
（第１の実施形態）
本実施形態では、カメラを制御し映像を送信する映像サーバと、音声を送信する音声サーバと、映像サーバと音声サーバのデータを音声付映像に符号化して受信端末に送信する中継サーバとをネットワーク上に配し、受信端末が中継サーバに対して特定のカメラ映像を要求すると、所望のカメラ映像と中継サーバ内で予め決められた音声データとを音声付映像に符号化して返信する、情報配信システムを構成することを目的とする。
【００１４】
本実施形態における情報配信システムの全体構成を図１に示す。ネットワーク１−８に中継サーバ１−１および映像サーバ１−２、音声サーバ１−３、クライアント１−９が接続する構成となっている。
【００１５】
映像サーバ１−２にはカメラ１−４が接続され、ネットワーク経由でカメラを操作したり、映像を取得したりすることができる。これは映像サーバに対して、例えばURLエンコーディングされたコマンドをHTTP(HyperText Transfer Protocol)によって送信すると、映像サーバが複数フレーム分の画像を返信する、といった方式による。なお、映像データにはモーションJPEGやH.261，MPEGなどの多数の符号化方式が存在するが、本発明は符号化方式に依存しないのは言うまでもない。
【００１６】
音声サーバ１−３にはマイク１−５や音声データを蓄積した音声アーカイブ１−６が接続され、ネットワーク上に音声を送信する。音声アーカイブ１−６の音声データは音声サーバ１−３の内部記憶装置に置くことも可能である。音声サーバ１−３への命令も映像サーバ１−２と同様の方式で行うことが可能であり、要求を送信すると、音声サーバ１−３は一定時間長の音声データを返信する。ここで音声データの符号化方式はMPEGやWAVE，AUなど多数の方式があるが本発明は符号化方式に依存しないことは言うまでもない。
【００１７】
クライアント１−９はダイヤルアップやブロードバンド接続でネットワーク１−８に接続する。クライアント１−９が中継サーバ１−１に対して映像の送信を要求すると、中継サーバ１−１は映像サーバ１−２に対して映像を要求する。また一方で、予め持っている映像と音声の対応テーブル１−７を参照し、当該映像に対応する音声を持つ音声サーバに音声データを要求する。映像サーバ１−２と音声サーバ１−３は要求に基づいて映像データおよび音声データを中継サーバ１−１に返信する。中継サーバ１−１は映像データと音声データを一つの音声付映像データに符号化してクライアント１−９に返信する。クライアント１−９はデータを受信し再生する。
【００１８】
クライアント１−９は映像の他にも、中継サーバ1−1に対してカメラ制御要求を行うことがあるが、このような場合中継サーバ1−1はその要求をそのまま映像サーバ１−２に送信し、対応するカメラの制御を行うように依頼する。
【００１９】
なお図中でネットワーク１−８はIPプロトコルに基づくインターネットを想定しているが、デジタル信号を送受信可能で画像通信に十分な容量のある伝送路であれば、その実現方式は問わない。また図では映像サーバ１−２と音声サーバ１−３は中継サーバに接続されるが、本発明はネットワークの構成に依存するものではなく、各サーバがネットワークで接続していさえすればよい。また図では中継サーバ１−１、映像サーバ１−２、音声サーバ１−３、クライアント１−９は各々１つずつ表示してあるが、実際には全て複数個の存在が可能なことはいうまでもない。
【００２０】
次に図２を用いてサーバのハードウェア構成を説明する。図では映像サーバ２−１、音声サーバ２−１３、中継サーバ２−１６がネットワーク２−１５に接続する。
【００２１】
映像サーバ２−１はCPU２−２、RAM２−３、ROM２−４、二次記憶２−５を具備する。また画面表示のためにビデオＲＡＭ２−６を具備し、モニタ２−７を接続する。周辺機器の接続のために周辺機器インターフェース２−８を具備し、操作のためのキーボード２−１０、マウスなどのポインティングデバイス２−１１、および、雲台付あるいは雲台のないカメラ２−１２を接続する。またネットワーク２−１５との接続のためにネットワークインターフェース２−９を具備する。なお周辺機器インターフェース２−８には、PS/2、RS−232C、USB、IEEE1394などの規格が存在するが、本実施形態はこのような規格に依存するものではない。
【００２２】
CPU２−２、RAM２−３、ROM２−４、二次記憶２−５、VRAM２−６、周辺機器インターフェース２−８、ネットワークインターフェース２−９は内部バスに接続する。以上説明したような映像サーバの構成は、市販のパーソナルコンピュータを用いることで簡単に実現できるが、ネットワーク経由で外部からの操作も可能であることから、VRAM２−６、モニタ２−７、キーボード２−１０、マウス２−１１のない、いわゆるセットトップボックスの形態をとることも何ら問題ない。
【００２３】
音声サーバ２−１３も映像サーバとほぼ同一の構成で、接続する入力機器が異なるのみである。CPU２−２、RAM２−３、ROM２−４、二次記憶２−５、VRAM２−６、モニタ２−７、周辺機器インターフェース２−８、ネットワークインターフェース２−９、キーボード２−１０、ポインティングデバイス２−１１に加え、マイク２−１３と音声モニタ用のスピーカ２−１４によって構成される。音声サーバも市販のパーソナルコンピュータを用いることで簡単に実現できる。また映像サーバと同様に、VRAM２−６、モニタ２−７、キーボード２−１０、マウス２−１１、スピーカ２−１４のない、セットトップボックスの形態をとることも何ら問題ない。また音声サーバが内部記憶装置に音声アーカイブを持ち、外部音源を使用しない場合には、マイク２−１３を接続しない構成となる。
【００２４】
最後に中継サーバ２−１６は映像サーバ２−１から雲台付カメラ２−１２を除いた構成か、もしくは雲台付カメラ２−１２、VRAM２−６、モニタ２−７、キーボード２−１０、マウス２−１１のないセットトップボックス構成であることから説明を省略する。
【００２５】
つぎに本実施形態のソフトウェア構成例を図３に示す。映像サーバ３−１において映像サーバプロセス３−３、音声サーバにおいて音声サーバプロセス３−６、中継サーバにおいて要求処理プロセス３−７、映像受信プロセス３−８、音声受信プロセス３−９、映像音声送信プロセス３−１０、クライアントにおいてクライアントプロセス３−１１がそれぞれ動作する。ここでプロセスとは、マルチタスクオペレーションシステムにおいて動作するプログラム単位を意味する。
【００２６】
図４を用いて各プロセスの動作の概要を説明する。S401においてクライアントプロセス３−１１は起動時に、中継サーバの要求処理プロセス３−７に対して映像リストを要求する。要求処理プロセス３−７はS402で映像リストを返信する。映像リストは図５−（a）の情報を持つものであり、内容に関しては後で説明する。リストを受信したクライアントは映像の一覧を表示し、ユーザはその中から一つを選択操作する。するとクライアントプロセス７−１１はS403で要求処理プロセスに対して映像接続要求を行う。なお映像の接続先をユーザが直接クライアントに入力する場合には、S401とS402は不要である。
【００２７】
映像接続要求を受けた中継サーバの要求処理プロセス３−７は、S404において、映像と音声の対応テーブルを参照して音声サーバと音声の選択を行う。そして映像サーバとカメラを指定して映像受信プロセス３−８を起動し、また音声サーバとマイクあるいは音声ファイル名などを指定して音声受信プロセス３−９を起動する。また受信した映像と音声データを一つの音声付映像データに符号化して送信する映像音声送信プロセス３−１０を起動する。映像受信プロセス３−８はS405において映像サーバに対して映像要求を行う。また音声受信プロセス３−９はS406において音声サーバに対して音声要求を行う。
【００２８】
要求を受けた映像サーバプロセス３−３はS407で該当するカメラから映像を取得し、中継サーバの映像受信プロセス３−８に対して返信する。また音声サーバプロセス３−６も同様にS408でマイクや音声アーカイブから該当する音声データを取得して音声受信プロセス３−９に返信する。返信された映像と音声データはS409で映像音声送信プロセス３−１０において一つの音声付映像データに符号化され、S410でクライアントプロセス３−１１に返信される。クライアントプロセス３−１１はS412において音声付映像を受信後、復号化し再生する。
【００２９】
つぎに図５を用いて、中継サーバが保持する映像および音声に関する情報と、映像と音声の対応に関する情報について説明する。情報は図に示すように映像テーブル５−(a)、音声テーブル５−(b)、対応テーブル５−(c)の三種類であり、映像テーブル５−(a)には映像サーバに接続されたカメラごとに映像番号と映像名が割り当てられ、映像サーバのIPアドレスとポート番号、カメラ名を属性として管理する。クライアントは映像名を選択して所望のカメラの映像を指定する。また音声テーブル５−(b)も同様にマイクあるいはファイルごとに音声番号と音声名が割り当てられ、音声サーバのIPアドレスとポート番号、マイク名もしくはファイル名を属性として管理する。
【００３０】
対応テーブル５−(c)は映像番号と音声番号の対応関係を示し、各映像番号に対応する複数の音声番号を保持する。ユーザが映像名を指定した映像を要求すると、中継サーバは映像テーブル５−(a)から映像番号を求め、次に対応テーブル５−(c)において該当する映像番号を参照し、組となる音声番号から音声テーブル図５−(b)を参照して、音声のネットワーク上の位置を特定する。ここで音声は複数が登録可能であり、ユーザが長時間連続して映像を見る場合には、これら複数の音声を順番に流す。また何らかの原因によりある音声の接続が不可能な場合には同じ映像に割り当てられた別の音声に切り替える。図中でN/Aとなっているのはデータがないことを示す。
【００３１】
以上は本実施形態におけるサーバ群の動作の概要であるが、本実施形態において中心的な役割を果たす中継サーバの各プロセスの動作手順を図６〜８のフローチャートを用いて詳細に説明する。中継サーバは要求処理プロセス３−７、映像受信プロセス３−８、音声受信プロセス３−９、映像音声送信プロセス３−１０からなり、要求処理プロセス３−７以外の３プロセスは、１つのクライアントに対して１つ生成され、それぞれが独立に動作する。
【００３２】
図６は中継サーバの要求処理プロセスの処理手順を示したフローチャートである。開始後、S601において初期化を行い、S602でイベントを待つ。イベントが発生するとY分岐してイベントの処理を行う。ここでイベントはクライアントプロセスからのものに関してのみ説明し、OSに依存するイベントなどの説明は省略する。
【００３３】
S603でイベントが映像要求であった場合Y分岐し、S604で既に接続しているクライアントであるかどうかを判別する。もし接続済みである場合にはN分岐し、S605において映像サーバと音声サーバに対して、それぞれ映像要求イベントと音声要求イベントを発行し、S602に戻って次のイベントを待つ。もしS604で未接続のクライアントである場合にはY分岐し、S606に進んで最大接続数以下であるか確認する。もし最大接続数を超える場合にはN分岐し、S607でクライアントに対して接続拒否通知を行い、S602に戻って次のイベントを待つ。なお、最大接続数は中継サーバの処理能力を鑑みて予め定めておく。
【００３４】
S606において最大接続数以下である場合にはY分岐する。そしてS608でクライアントの登録処理として、クライアントのIPアドレスを登録する。またクライアントの個人情報が同時に送られてきた場合にはこれも登録する。つぎに映像に対応する音声を求め、S609で映像受信プロセスを、S610で音声受信プロセスを、S611で映像音声送信プロセスをそれぞれ起動し、S602に戻って次のイベントを待つ。
【００３５】
S603において接続要求イベントでない場合にはN分岐し、S612に進んで接続終了イベントかどうか判別する。このイベントはクライアントが送信する場合と、映像音声送信プロセスにおいてクライアントへの送信が不可能である場合に例外イベントとして発生する場合がある。もしそうである場合にはY分岐しS613に進んで接続終了処理を行う。接続終了処理では接続開始時に起動した映像受信プロセス、音声受信プロセス、映像音声送信プロセスを終了する。次にS614に進み当該クライアントを接続クライアントの一覧から削除し、S602に戻って次のイベントを待つ。
【００３６】
S612で接続終了イベントでない場合にはN分岐し、S615に進んでカメラ制御要求イベントかどうか判別する。もしそうである場合にはY分岐し、S616に進んで映像サーバにクライアントからのカメラ制御命令を転送し、終了後S602に進んで次のイベントを待つ。
【００３７】
S615でカメラ制御要求イベントでない場合にはN分岐し、S617に進んで映像リスト要求イベントであるかどうか判別する。もしそうである場合にはY分岐し、S618で映像リストをクライアントに対して返信した後、S602に戻って次のイベントを待つ。S616でもし映像リスト要求イベントでない場合にはN分岐し、S602に戻って次のイベントを待つ。
【００３８】
次に図７において、中継サーバにおける映像受信プロセスおよび音声受信プロセスの動作手順を説明する。図７−(a)は映像受信プロセス、図７−(ｂ)は音声受信プロセスの動作手順である。
【００３９】
映像受信プロセスは開始後S701において、要求処理プロセスから映像要求イベントがあるまで待機する。映像要求イベントが発生するとY分岐し、S702において映像サーバに対してカメラ名を指定して映像を要求し、S703において少なくとも１フレーム分の映像を受信する。ここでフレーム数はクライアントプロセスから要求してもよいし、固定したフレーム数を定めてもよい。
【００４０】
つぎにS704において、S702およびS703で異常なく無事に画像を得られたかどうか判別する。異常とは受信の途中でネットワークが切断されたなどの理由により、完全な受信ができなかった場合である。もし異常があった場合にはN分岐し、S707に進んで最大試行回数以下であれば、S702に戻って再度映像の取得を試みる。また最大試行回数を超えているのであればY分岐してS708に進み、例外発生イベントを発行して終了する。
【００４１】
S704でもし異常がない場合にはY分岐し、S705に進んで受信した映像をバッファに格納する。つぎにS706で終了命令が出ているかどうか確認する。これはS613において発生する命令である。もしこの命令が出ている場合にはY分岐して終了する。もし出ていない場合にはN分岐し、S701に戻って処理を続ける。
【００４２】
音声受信プロセスは開始後S710において、要求処理プロセスから音声要求イベントがあるまで待機する。音声要求イベントが発生するとY分岐し、S711において音声サーバに対してマイクあるいはファイル名を指定して音声を要求する。つぎにS712で要求した音声が音声ファイルなどの場合、音声が終了したかどうか確認する。これは音声要求に対する返信によって知ることができる。もし音声が終了した場合にはY分岐し、S713で対応テーブルを参照して複数の音声が対応している場合には音声サーバに対して別音声を選択するように要求する。つぎにS714において一定時間の音声を受信する。ここで時間数は映像受信プロセスが一度に受信するフレーム数に対応する時間に設定する。
【００４３】
つぎにS715において、S711およびS714で音声を異常なく無事に得られたかどうか判別する。ここで異常とは受信の途中でネットワークが切断されたなどの理由により、完全な受信ができなかった場合である。もし異常があった場合にはN分岐し、S718に進んで最大試行回数以下であれば、S711に戻って再度音声の取得を試みる。また最大試行回数を超えているのであればY分岐してS719に進み、例外発生イベントを発行して終了する。
【００４４】
S715でもし異常がない場合にはY分岐し、S716に進んで受信した音声をバッファに格納する。つぎにS717で終了命令が出ているかどうか確認する。これはS613において発生する命令である。もしこの命令が出ている場合にはY分岐して終了する。もし出ていない場合にはN分岐し、S710に戻って処理を続ける。
【００４５】
つぎに図８を用いて映像音声送信プロセスの動作手順を説明する。開始後S801で、映像バッファおよび音声バッファに映像・音声データがあるかどうか判別する。もしいずれのデータもない場合にはN分岐してS802に進む。S802では最大試行回数を超えて映像・音声データが無いようであれば、Y分岐してS808に進み、クライアントにエラーを送信し、S809で例外イベントを発生して終了する。もし最大試行回数以下であれば待ち時間を置いた後でN分岐し、再度S801を実行する。
【００４６】
S801で映像・音声データがある場合にはS803に進み、個別の映像と音声を音声付映像として符号化データを生成する。ここで符号化の方式はMPEG，RealVideo，Windows(R) Mediaなど複数の方式が存在するが、本発明は符号化方式に依存するものではない。映像・音声のいずれか一つのみが存在する場合にも符号化は可能である。符号化後、S804でクライアントに対して符号化データを送信する。
【００４７】
つぎにS805で送信時に異常があったかどうか判別する。もし異常があった場合にはN分岐し、S807で予め決められた送信の最大試行回数を超えたかどうか判別する。もしそうである場合にはY分岐し、S808に進み例外イベントを発生して終了する。このもし最大試行回数以下である場合にはN分岐し、S804に戻って再度送信を行う。
【００４８】
S805において、送信時に異常がないとしてY分岐した場合、S806で終了命令があったかどうか判別する。これはS613で発生する場合と、映像受信プロセスもしくは音声受信プロセスにおいて例外イベントとして発生する場合がある。もし終了命令があった場合にはY分岐し終了する。もし終了命令がなかった場合にはN分岐しS803に戻って符号化を行い、送信を続ける。
【００４９】
以上の説明から明らかなように、本実施形態によれば、カメラを制御し映像を送信する映像サーバと、音声を送信する音声サーバと、映像サーバと音声サーバのデータを音声付映像に符号化して受信端末に送信する中継サーバとをネットワーク上に配し、受信端末が中継サーバに対して特定のカメラ映像を要求すると、所望のカメラ映像と中継サーバ内で予め決められた音声データとを音声付映像に符号化して返信する、情報配信システムを構成する。これによって、映像の説明や広告を音声にて付加できるウェブカメラシステムや情報配信システムを構築できる。
【００５０】
（第２の実施形態）
次に本発明の第２の実施形態について説明する。本実施形態は第１の実施形態において、中継サーバの持つ対応テーブルを高機能化し、より詳細な対応関係を処理できるようにするものである。詳細な対応関係とは映像と音声を対応付ける際に、パン、チルト、ズームなどのカメラパラメータ、時間帯、ユーザの年齢、性別、住所などの個人データなどを利用して対応付けを限定することである。本実施形態のハードウェア構成やソフトウェア構成は第１の実施形態と同じであり、中継サーバの管理する対応テーブルや要求処理プロセスの動作が異なる。よって以下では第１の実施形態と異なる部分のみを説明する。
【００５１】
図９に本実施形態において中継サーバが保持する対応テーブルと条件テーブルの例を示す。図９−(a)は条件テーブルの例、図９−(ｂ)は対応テーブルの例である。図９−(a)は一行を一つの条件として番号が振られ、条件番号ごとに、時間帯、パン、チルト、ズームなどのカメラパラメータ、年齢、性別、住所などのユーザの個人情報に関する条件が値や値の範囲として保持されている。
【００５２】
図９−(ｂ)は対応テーブルの例であり、第１の実施形態の対応テーブル図５と比較して、各映像番号に、接続の条件を条件番号として保持する列が加わっている。条件欄がNoneになっている場合には、無条件で対応付けることを意味する。そしてユーザがある映像を指定した場合、付属の条件全てに合致する場合にのみ映像と音声の対応付けを許可する。合致しない場合には音声を送信しなくてもいいし、このような場合に対応付ける音声を予め決めておいてもよい。
【００５３】
つぎに本実施形態における中継サーバ上で動作する要求処理プロセスの動作手順を図１０に示す。図１０は図６と基本的に同一であるので、異なる部分に関してのみ説明する。
【００５４】
S1003以下の映像要求イベントの処理について、条件テーブル図９−(ａ)にカメラパラメータに関する条件がある場合には、S1009で図５−（ａ）のテーブルを参照して該当する映像サーバよりカメラ状態を取得する。これはクライアントの所望する映像に対応するカメラのカメラパラメータを取得する処理である。つぎに条件テーブルの条件を参照し、カメラパラメータをはじめとする条件に合致する組を図９−（ａ）から検索し、図９−（ｂ）の対応テーブルから該当する条件番号の音声を選択する。そして、中継サーバは、選択した音声に該当する音声サーバに当該音声データの取得要求を発行し、当該音声データを受信する。
【００５５】
条件テーブルにユーザの個人情報がある場合には、クライアントはユーザの個人情報を送信する必要がある。この場合、クライアントから中継サーバに対して送信する映像接続要求時に同時に個人データを送信する。中継サーバは受信した個人データに基づいて、条件に合致する組を図９−（ａ）から検索し、図９−（ｂ）の対応テーブルから該当する条件番号の音声を選択する。そして、中継サーバは、選択した音声に該当する音声サーバに当該音声データの取得要求を発行し、当該音声データを受信する。
【００５６】
また、条件テーブルに時刻情報がある場合には、中継サーバは、クライアントから映像データの取得要求があった時点の時刻に含む時間帯の組を図９−（ａ）から検索し、図９−（ｂ）の対応テーブルから該当する条件番号の音声を選択する。そして、中継サーバは、選択した音声に該当する音声サーバに当該音声データの取得要求を発行し、当該音声データを受信する。
【００５７】
クライアントからカメラ制御要求があった場合、S1016でカメラ制御イベントを判別してY分岐し、S1017において映像サーバに対して当該カメラの制御命令を発行する。次にS1018でカメラのパラメータ情報を取得する。そしてS1019で音声に関して再接続が必要かどうか判別する。これは図９−(ａ)の条件テーブルを再度参照することによって、現在の接続が許可されたときの条件が、カメラ制御後も引き続き成立するかどうかを確認するためである。もし成立するならばN分岐しS1002に進んで次のイベントを待つ。もし成立しないようであるならば、再接続が必要であるので、再び図９−（ａ）の条件テーブルを参照し、該当する条件番号の音声番号を図９−（ｂ）の対応テーブルから見つけ、S1020で再接続処理を行う。これは音声サーバとマイクもしくはファイルを指定して音声受信プロセスを再起動する処理である。
【００５８】
以上のべたように第２の実施形態によれば、時間やカメラパラメータ、ユーザの個人情報などの条件などを指定することによって、より詳細に対応関係を決定することができ、その結果、映像の説明を音声で行う場合に画面に表示されるものを音声で的確に説明したり、音声広告などにおいて効果的な音声を映像に付加したりすることができる。
【００５９】
（第３の実施形態）
つぎに本発明の第３の実施形態について説明する。本実施形態は第１もしくは第２の実施形態において、PCクライアントに加えて携帯電話などの移動体端末の利用を可能とするものである。本実施形態のシステム構成を図１１に示す。
【００６０】
図１１は図１に移動体通信網と携帯電話クライアントを加えたものである。以下図１と異なる点に関してのみ説明する。携帯端末クライアント１１−１２は移動体通信網１１−１１を経由して移動体通信キャリアの配送センター１１−１０のゲートウェイに接続する。そしてゲートウェイが移動体通信網における通信方式をネットワーク１１−８上の通信方式に変換し、情報を交換する。携帯端末クライアントとゲートウェイの通信方式には回線交換方式によるものやパケット通信方式によるものがある。
【００６１】
そこで、端末として、携帯電話を用いる場合、配送センター１１−１０内のゲートウェイにおいて、映像ごとに電話番号を割り当て、端末から映像に対応する電話番号に発呼があった場合には、配送センター１１−１０内のゲートウェイより中継サーバ１１−１に対して該当する映像要求を行う。つぎに中継サーバ１１−１からの音声付映像データをゲートウェイにおいて、移動体通信向けの映像ストリームに変換すれば、端末にてこれを受信再生することができる。
【００６２】
またパケット通信方式による接続では、動画クリップを再生する公知のサービスを用いれば、中継サーバに対してカメラを指定すると、映像と対応する音声を合成したビデオクリップを中継サーバ１１−１が作成して返信するので、これをゲートウェイ経由で端末にて受信し、再生することができる。
【００６３】
また回線交換とパケット交換を同時に接続可能場合、携帯電話端末上の画面でカメラ操作を行い、静止画像を取得しながら、音声データを受信することが可能となる。この場合、中継サーバ１１−１から返信された音声付映像データを、ゲートウェイにてパケット通信用の静止画像データと回線交換用の音声データとに分割して端末に送信する。
【００６４】
以上述べたように本実施形態に拠れば、第１の実施形態において、移動体通信網を利用する携帯端末をクライアントとした音声付のウェブカメラ操作を行うことができる。
【００６５】
（第４の実施形態）
つぎに本発明の第４の実施形態について説明する。第４の実施形態は第１や第２の実施形態において中継サーバの持つ映像と音声の対応テーブルや、条件テーブルの変更を可能とするものである。これは、中継サーバに追加、更新、削除などの要求を送信することによって実現する。
【００６６】
例えば図５−(ｃ)の対応テーブルの変更を考える。変更命令の種類は追加更新、削除の２種類である。追加と更新の区別は指定した映像番号に関するデータが存在しない場合には追加を行い、存在する場合には更新を行う。中継サーバに対する要求は第１の実施形態でも述べたように、例えばURLエンコーディングされたHTTPリクエストとリプライの形式を採用する。以下にリクエストとリプライの例を挙げる。
【００６７】
ａ）対応テーブルの追加・更新１
リクエスト：
http://host-address:port/addctbl?video=id&sound=id [&sound= id・・・]
ただし、idはvideo=idの場合映像番号、sound=idの場合音声番号（複数指定可能）である。
リプライ：
HTTP/1.0 200 OK
Content-Type text/plain
\r\n
OK
video=video_id
ただし，video_idは映像番号である。
【００６８】
ｂ）対応テーブルの削除
リクエスト：
http://host-address:port/delctbl?video=id [&video= id・・・]
ただし，video=idのidは映像番号（複数指定可能）である。
リプライ：
HTTP/1.0 200 OK
Content-Type text/plain
\r\n
OK
【００６９】
対応テーブルの追加・更新リクエストでは映像番号と映像に対応する音声番号を指定する。音声番号は複数指定が可能である。また削除リクエストでは映像番号を指定して対応データの削除を行う。削除する映像番号は複数が指定可能である。削除された映像番号に対してクライアントが接続要求を行った場合、単に映像のみが中継されるか、予め規定の音声を対応することを決めておく。
【００７０】
つぎに図９−(a)に示した条件情報の追加，更新，削除に関しては，以下のようなリクエストとリプライを規定してこれを行うことができる。
【００７１】
ｃ）条件テーブルの追加・更新
リクエスト：
http://host-address:port/addqtbl?qid=num&attr=val1+val2 [&attr=val1+val2・・・]
ただし、
qid=numのnumは条件番号である。
attr=val1+val2のattrは属性名、val1とval2は下限値と上限値である。
またattrの例はpan,tilt,zoom,time,age,sex,などである。
リプライ：
HTTP/1.0 200 OK
Content-Type text/plain
\r\n
OK
qid=qualify_id
ただし、quolify_idは条件番号である。
【００７２】
ｄ）条件テーブルの削除
リクエスト：
http://host-address:port/delqtbl?qid=num [&qid= num・・・]
ただし、qid=idのidは条件番号（複数指定可能）である。
リプライ(成功時)：
HTTP/1.0 200 OK
Content-Type text/plain
\r\n
OK
【００７３】
条件テーブルの追加更新の場合、指定した条件番号の条件があれば更新し、無ければ追加する。また条件番号を指定しなかった場合には新たな条件番号が付与され返信される。条件テーブルの削除を指定した場合、条件番号に該当する条件があれば削除される。
【００７４】
次に対応テーブルの追加／更新において、付随する条件の更新を行う場合、前述した追加更新リクエストの書式に条件に関する属性を追加すればよい、すなわち、前述した対応テーブルの追加・更新１を下記のように修正する。
【００７５】
ｅ）対応テーブルの追加・更新２
リクエスト：
http://host-address:port/addctbl?video=id [&qid=id][&sound=id [&sound= id…]]
ただし、
video=idのidは映像番号である。
sound=idのidは音声番号（複数指定可能）である。
qid=idのidは条件番号である。
【００７６】
更新を実現するための中継サーバの動作は図１０の中継サーバの動作手順に対応テーブルおよび条件テーブルの更新手続きを加えればよい。すなわちイベント処理において、上記a)からe)のような要求があった場合には、対応テーブルおよび条件テーブルの追加・更新、削除などの変更処理を行い、次のイベント待ちを行えばよい。
【００７７】
以上述べたように本実施形態によれば、第１および第２の実施形態において中継サーバで使用する映像と音声の対応テーブルや、条件テーブルに対して、追加・更新、削除などの変更処理を加えることによって、対応付けや対応条件を動的に変更することができる。
【００７８】
以上の説明からも明らかなように、本発明の実施形態によれば、カメラを制御し映像を送信する映像サーバと、音声を送信する音声サーバと、映像サーバと音声サーバのデータを音声付映像に符号化して受信端末に送信する中継サーバとをネットワーク上に配し、受信端末が中継サーバに対して特定のカメラ映像を要求すると、所望のカメラ映像と中継サーバ内で予め決められた音声データとを音声付映像に符号化して返信する、情報配信システムを構成できる。
【００７９】
また映像と音声を対応付ける際に、カメラの姿勢やズーム、時刻、使用者の個人情報などを用いてより詳細な条件付けを持つ対応を行う。また対応付けや条件を記録したテーブルは書き換えることができる。さらにクライアントはPCに加え、移動体通信網を利用する携帯電話端末を使用することもできる。以上によって、像の説明や広告を音声に付加しPCや携帯電話端末で閲覧・再生するウェブカメラシステムや情報配信システムを構築できる。
【００８０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００８１】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８２】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００８３】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８５】
【発明の効果】
以上の説明から明らかなように、本発明によれば、映像送信装置及び音声送信装置から夫々映像データ、音声データを受信し、これらを組み合わせた音声付き映像データを受信装置に配信可能なシステムを構築することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態における情報配信システムの概略構成を示した図である。
【図２】映像サーバ及び音声サーバのハードウェア構成を示したブロック図である。
【図３】情報配信システムのソフトウェア構成を示したブロック図である。
【図４】情報配信システムのソフトウェアモジュールの動作手順を示した図である。
【図５】中継サーバが映像情報、音声情報及び映像音声対応を管理するためのテーブル構成を示した図である。
【図６】中継サーバの要求処理プロセスの処理手順を示した図である。
【図７】中継サーバの映像受信プロセス及び音声受信プロセスの処理手順を示した図である。
【図８】中継サーバの映像音声合成・送信プロセスの処理手順を示した図である。
【図９】中継サーバが条件情報と映像音声対応を管理するためのテーブル構成を示した図である。
【図１０】他の実施形態における中継サーバの要求処理プロセスの処理手順を示した図である。
【図１１】他の実施形態における情報配信システムの概略構成を示した図である。
【符号の説明】
１−１ 中継サーバ
１−２ 映像サーバ
１−３ 音声サーバ
１−４ カメラ
１−５ マイク
１−６ 音声アーカイブ
１−７ 対応テーブル
１−８ ネットワーク
１−９ クライアント
２−２ ＣＰＵ
２−３ ＲＡＭ
２−４ ＲＯＭ
２−５ 二次記憶
２−６ ＶＲＡＭ
２−７ モニタ
２−８ 周辺Ｉ／Ｆ
２−９ ネットワークＩ／Ｆ
２−１０ キーボード
２−１１ マウス
２−１２ 雲台付カメラ
２−１３ マイク
２−１４ スピーカ
２−１５ ネットワーク
３−３ 映像サーバプロセス
３−６ 音声サーバプロセス
３−７ 要求処理プロセス
３−８ 映像受信プロセス
３−９ 音声受信プロセス
３−１０ 映像音声送信プロセス
３−１１ クライアントプロセス
３−１２ 表示画面
Claims (11)
- 複数の映像送信装置から選択的に映像データを受信する映像データ受信手段と、
複数の音声送信装置から選択的に音声データを受信する音声データ受信手段と、
前記映像データと前記音声データとの対応付け情報を保持する情報保持手段と、
前記情報保持手段によって保持された前記対応付け情報に基づいて、前記映像データ受信手段にて受信する前記映像データと前記音声データ受信手段にて受信する前記音声データとを組み合わせ、音声付き映像データとして符号化する符号化手段と、
前記符号化手段により生成される前記音声付き映像データを受信装置に配信する配信手段とを有し、
前記符号化手段は、前記映像データに複数の音声データが対応付けられている場合、前記複数の音声データを順番に組合せる処理を行い、前記複数の音声データのうち、前記音声データ受信手段によって受信できない音声データがある場合には、前記映像データに対応付けられた他の音声データに切り替える処理を行うことを特徴とする情報配信装置。 - 前記映像データの配信要求を前記受信装置から受け付ける要求受付手段と、
前記映像データの配信要求を受けて、前記情報保持手段から前記映像データと前記音声データとの対応付けを参照し、対応する音声送信装置に前記音声データの取得を要求する音声データ要求手段とを有し、
前記音声データ受信手段は、前記音声データ要求手段からの要求に応じて前記音声送信装置から送信される前記音声データを受信することを特徴とする請求項１記載の情報配信装置。 - 前記受信装置は、移動体通信網と接続可能な携帯端末であることを特徴とする請求項１記載の情報配信装置。
- 前記情報保持手段は、さらに、映像データに音声データを対応付ける条件として、前記映像送信装置の状態に係る条件を情報として保持することを特徴とする請求項１記載の情報配信装置。
- 前記情報保持手段は、さらに、映像データに音声データを対応付ける条件として、利用者の個人情報に係る条件を情報として保持することを特徴とする請求項１記載の情報配信装置。
- 前記情報保持手段は、さらに、映像データに音声データを対応付ける条件として、時刻に係る条件を情報として保持することを特徴とする請求項１記載の情報配信装置。
- 前記情報保持手段で保持される情報の内容を、前記受信装置からの要求により変更する変更手段を有することを特徴とする請求項１記載の情報配信装置。
- 映像データと音声データとの対応付け情報を保持する情報保持手段よって保持された前記対応付け情報に基づいて、複数の映像送信装置のうち対応する映像送信装置から前記映像データ、複数の音声送信装置のうち対応する音声送信装置から前記音声データを夫々受信するステップと、
受信した映像データと音声データとを組み合わせ、音声付き映像データとして符号化するステップと、
符号化された前記音声付き映像データを受信装置に配信するステップとを有し、
前記符号化ステップにおいて、前記映像データに複数の音声データが対応付けられている場合、前記複数の音声データを順番に組合せる処理を行い、前記複数の音声データのうち、前記音声データ受信手段によって受信できない音声データがある場合には、前記映像データに対応付けられた他の音声データに切り替える処理を行うことを特徴とする情報配信方法。 - 映像データと音声データとの対応付け情報を保持する情報保持手段よって保持された前記対応付け情報に基づいて、複数の映像送信装置のうち対応する映像送信装置から前記映像データ、複数の音声送信装置のうち対応する音声送信装置から前記音声データを夫々受信するステップと、
受信した映像データと音声データとを組み合わせ、音声付き映像データとして符号化するステップと、
符号化された前記音声付き映像データを受信装置に配信するステップとをコンピュータに実行させ、
前記符号化ステップにおいて、前記映像データに複数の音声データが対応付けられている場合、前記複数の音声データを順番に組合せる処理を行い、前記複数の音声データのうち、前記音声データ受信手段によって受信できない音声データがある場合には、前記映像データに対応付けられた他の音声データに切り替える処理を行うことを特徴とするプログラム。 - 映像データと音声データとの対応付け情報を保持する情報保持手段よって保持された前記対応付け情報に基づいて、複数の映像送信装置のうち対応する映像送信装置から前記映像データ、複数の音声送信装置のうち対応する音声送信装置から前記音声データを夫々受信するステップと、
受信した映像データと音声データとを組み合わせ、音声付き映像データとして符号化するステップと、
符号化された前記音声付き映像データを受信装置に配信するステップとをコンピュータに実行させ、
前記符号化ステップにおいて、前記映像データに複数の音声データが対応付けられている場合、前記複数の音声データを順番に組合せる処理を行い、前記複数の音声データのうち、前記音声データ受信手段によって受信できない音声データがある場合には、前記映像データに対応付けられた他の音声データに切り替える処理を行うことを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 前記映像データ受信手段および前記音声データ受信手段は、前記情報配信装置から独立してネットワーク上に接続される装置であることを特徴とする請求項１記載の情報配信装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002093697A JP4208476B2 (ja) | 2002-03-29 | 2002-03-29 | 情報配信装置、情報配信方法、プログラム及びコンピュータ読み取り可能な記録媒体 |
| US10/402,187 US7425986B2 (en) | 2002-03-29 | 2003-03-27 | Conversion apparatus for image data delivery |
| CNB031214878A CN1251504C (zh) | 2002-03-29 | 2003-03-28 | 图像数据分发方法、图像数据分发装置及系统 |
| KR10-2003-0019768A KR20030078794A (ko) | 2002-03-29 | 2003-03-29 | 화상데이터배송 |
| US12/145,870 US7595834B2 (en) | 2002-03-29 | 2008-06-25 | Camera system with display for displaying superimposed information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002093697A JP4208476B2 (ja) | 2002-03-29 | 2002-03-29 | 情報配信装置、情報配信方法、プログラム及びコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003299050A JP2003299050A (ja) | 2003-10-17 |
| JP4208476B2 true JP4208476B2 (ja) | 2009-01-14 |
Family
ID=29386810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002093697A Expired - Fee Related JP4208476B2 (ja) | 2002-03-29 | 2002-03-29 | 情報配信装置、情報配信方法、プログラム及びコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4208476B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4834340B2 (ja) * | 2005-07-14 | 2011-12-14 | キヤノン株式会社 | 情報処理装置及びその方法とプログラム |
| US8941706B2 (en) * | 2010-04-07 | 2015-01-27 | Apple Inc. | Image processing for a dual camera mobile device |
-
2002
- 2002-03-29 JP JP2002093697A patent/JP4208476B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003299050A (ja) | 2003-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1866258B (zh) | 数据共享系统和数据共享方法 | |
| JP5009911B2 (ja) | メディアファイルによる携帯通信装置の更新 | |
| EP1860841B1 (en) | Method and system for replacing media stream in a communication process of a terminal | |
| KR20030078794A (ko) | 화상데이터배송 | |
| JP2002344880A (ja) | コンテンツ配信システム | |
| KR100937681B1 (ko) | 사용자간 통신을 위한 통신 모듈 및 방법, 그러한 통신 모듈을 포함하는 서버, 그러한 서버를 포함하는 방송 세트, 그러한 사용자간 통신 방법을 수행하는 컴퓨터 프로그램 제품을 저장한 저장 매체 | |
| JP2007074221A (ja) | 多地点会議方法及び多地点会議システム並びに多地点会議処理装置のプログラム | |
| JP2003283512A (ja) | 情報提供装置、情報受信装置、および情報送受信システム | |
| JP2008160301A (ja) | コンテンツ配信装置、ネットワーク端末及びコンテンツ配信システム | |
| JP4208476B2 (ja) | 情報配信装置、情報配信方法、プログラム及びコンピュータ読み取り可能な記録媒体 | |
| JP2009246904A (ja) | 通信装置、通信方法、プログラム | |
| JP4056486B2 (ja) | 通信システムおよびその接続方法 | |
| JP4586723B2 (ja) | コンテンツ配信システム及びコンテンツ配信方法並びにそれに用いる端末装置及びそのプログラム | |
| US20100183017A1 (en) | Network System, Node Device, Data Distribution Method, Information Recording Medium, and Program | |
| WO2003100679A1 (fr) | Procede et dispositif de distribution de contenus | |
| JP5074177B2 (ja) | 基地局装置 | |
| KR20170102851A (ko) | 스트리밍 음악 서비스를 제공하기 위한 장치 및 방법 | |
| JP4058285B2 (ja) | 映像処理装置、映像処理方法、プログラム及びコンピュータ読み取り可能な記録媒体 | |
| JPH1198257A (ja) | 会議システム | |
| JP4261934B2 (ja) | 映像クリップ生成装置、映像クリップ生成方法、プログラム及び記憶媒体 | |
| JP2009288991A (ja) | 配信装置および受信装置 | |
| JP2010087950A (ja) | シンクライアントシステム、シンクライアント端末、シンクライアントサーバ、プログラム | |
| KR100835528B1 (ko) | 구간정보를 이용한 멀티미디어 콘텐츠의 스트리밍 방법 및그 스트리밍 단말기 | |
| JP4174060B2 (ja) | 通信制御システム、通信制御方法、及び、プログラム | |
| KR101407523B1 (ko) | 스트리밍 서비스를 제공하는 시스템 및 이의 스트리밍서비스 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050315 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081021 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |