JP4321172B2 - ネットワーク音声画像再生システム - Google Patents

Description

本発明はインターネット等のネットワークを介して、音声付の画像データを転送するようなネットワーク音声画像再生システムに関するものである。

現在、インターネットは広く普及し、種々の機器やアプリケーションプログラムが開発されている。特に最近は、ネットワークに対応したカメラで撮影した画像を、自宅のパーソナルコンピュータ（以下、ＰＣと称す。）や携帯電話で確認できるサービスや、インターネットを利用したブロードバンド放送等、音声や画像を利用したサービスが注目を集めている。

音声付きの画像を再生する際に重要なことは、インターネットでは転送するデータの遅延を保証していないということである。また再生する側のＰＣの負荷によってもデータ処理能力が変動する。そのため、現状ＰＣで音声付きの画像を再生する際には、画像と音声との同期を取って重畳した特別なデータを作成し、そのデータをウインドウズメディアプレー（商標）、リアルプレーヤー（商標）やクイックタイムプレーヤー（商標）といった作成したデータに対応した特別な再生ソフトで再生するという方法を取るとともに、再生側のアプリケーションでバッファを持つことで、再生途中にデータが途切れないような工夫をしている。

また、画像と音声との同期を取って重畳したデータを受信装置側で分離した後、音声用受信バッファあるいは映像用受信バッファの受信バッファ容量を確認してある条件下でバッファ内容を破棄することにより、受信時間と再生時間との時間差を少なくする工夫を行うものもある（例えば、特許文献１参照。）。
特開平７−１７０５０２号公報

しかしながら、従来のシステムでは送信側で特別な処理を行って転送するデータを生成する必要があり、ネットワーク対応のカメラで取得した音声信号および画像信号をＰＣで再生するようなコンシューマ向けの画像音声再生装置を低コストで構築できないという課題があった。

本発明は、上記課題を解決し、音声画像取得装置や音声画像再生装置を簡単な構成で構築し、音声付き画像データの擬似リアルタイム再生を低コストで可能にするネットワーク音声画像再生システムを提供することを目的としている。

上記課題を解決するために、本発明の画像音声再生装置は、音声画像取得装置にて取得した音声信号および画像信号をネットワークを介して転送し、前記音声データと前記画像データとを音声画像再生装置で再生するネットワーク音声画像再生システムであって、前記音声画像取得装置は、前記音声データと前記画像データを別々のセッションで送信する手段を備え、前記音声画像再生装置は、前記音声画像取得装置からの前記音声データと前記画像データを受信する手段と、少なくとも音声データを蓄積する音声バッファ部と、前記音声バッファ内にある一定以上の音声データが蓄積された場合には、前記音声バッファ内の音声データの少なくとも一部を破棄する手段を備え、前記音声バッファ部は、前記ネットワークの種別に応じて、前記閾値を変更可能なことを特徴とする。

以上のように本発明によれば、音声画像取得装置にて取得した音声信号および画像信号を、ネットワークを介して転送できる音声データおよび画像データに変換した後、音声データと画像データとを別々のセッションにて音声画像再生装置へ転送し再生する際に、音声データを蓄積する音声バッファ内にある一定以上の音声データが蓄積された場合には、前記音声バッファ内の音声データの少なくとも一部を破棄することにより、簡単な構成で画像データと音声データとの同期を擬似的に取り、擬似同期再生を可能とする低コストな
ネットワーク音声再生システムを提供することができ、また、接続しているネットワークの通信速度により破棄する音声データ量を選択可能とすることにより、接続しているネットワークの種別に合うように音声途切れと同期再生との兼ね合いを最適化することができる。

また、１台以上の音声および画像取得装置と１台以上の複数の音声および画像再生装置を接続するようなネットワーク音声再生システムでは、音声データの再生を行うかどうかを選択可能とすることにより、柔軟なネットワーク音声再生システムを構築することができる。

また、音声画像取得装置に、他の音声画像取得部の識別情報を登録することで、１台の音声画像取得装置から音声データおよび画像データを受信するだけで、複数の音声画像取得装置の音声データおよび画像データを音声画像再生装置で再生することが可能となる。

本発明の請求項１に記載の発明は、音声画像取得装置にて取得した音声信号および画像信号を音声データおよび画像データとして変換してネットワークを介して転送し、前記音声データと前記画像データとを音声画像再生装置で再生するネットワーク音声画像再生システムであって、前記音声画像取得装置は、前記音声データと前記画像データを別々のセッションで送信する手段を備え、前記音声画像再生装置は、前記音声画像取得装置からの前記音声データと前記画像データを受信する手段と、音声データを蓄積する音声バッファ部と、前記音声バッファ内音声データが閾値以上蓄積された場合には、前記音声バッファ内の音声データの一部を破棄する手段を備え、前記音声画像再生装置は、前記ネットワークの種別により、破棄する前記音声データの前記閾値を選択可能とすることを特徴とするネットワーク音声画像再生システムとしたものであり、音声付きの画像データの擬似同期再生を可能にするネットワーク音声再生システムを簡単な構成の音声および画像取得装置、音声および画像再生装置構成で構築することができ、また、接続しているネットワークの通信速度により破棄する音声データ量を選択可能とすることにより、接続しているネットワークの種別に合うように音声途切れと同期再生との兼ね合いを最適化することができる。

請求項２に記載の発明は、音声画像取得装置にて取得した音声信号および画像信号を音声データおよび画像データに変換してネットワークを介して転送し、前記音声データと前記画像データを音声画像再生装置で再生するネットワーク音声画像再生システムであって、前記音声画像取得装置は、前記音声データと前記画像データを別々のセッションで送信する第１の送信手段を備え、前記音声画像再生装置は、前記第１の送信手段から送信された音声データと画像データを受信する第１の受信手段と、前記第１の受信手段が受信した音声データを蓄積する音声バッファ部と、前記音声バッファ部によって蓄積された音声データが閾値以上蓄積された場合は、前記音声バッファ部に蓄積された音声データの一部を破棄する破棄手段を備え、前記音声バッファ部は、前記ネットワークの種別に応じて、前記閾値を変更可能なことを特徴とするネットワーク音声画像再生システムとしたものであり、音声付きの画像データの擬似同期再生を可能にするネットワーク音声再生システムを簡単な構成の音声および画像取得装置、音声および画像再生装置構成で構築することができ、また、接続しているネットワークの通信速度により破棄する音声データ量を選択可能とすることにより、接続しているネットワークの種別に合うように音声途切れと同期再生との兼ね合いを最適化することができる。

請求項３に記載の発明は、前記音声画像取得装置は、他の音声画像取得装置を識別する情報を登録する登録手段と、前記他の音声画像取得装置からの画像データおよび音声データを受信する第２の受信手段と、前記第２の受信手段が受信した画像データおよび音声データを送信する第２の送信手段と、を備え、前記音声画像再生装置は、前記第２の送信手段から送信された画像データおよび音声データを再生する再生手段を備えたことを特徴とするネットワーク音声画像再生システムとしたものであり、音声および画像取得装置と音声および画像再生装置からなるネットワーク音声再生システムを柔軟に構築することができる。

請求項４に記載の発明は、前記登録手段は、複数の他の音声画像取得装置を識別する情報を登録し、前記再生手段は、前記複数の他の音声画像取得装置から画像データを同時に表示し、前記複数の他の音声画像取得装置からの音声データを選択して再生することを特徴とするネットワーク音声画像再生システムとしたものであり、１台の音声画像取得装置から音声データおよび画像データを受信するだけで、複数の音声画像取得装置の音声データおよび画像データを音声画像再生装置で再生することが可能である。

以下、本発明の実施例について図１から図８を用いて説明する。

本発明の実施例１に係るネットワーク音声画像再生システムについて図１に基づいて説明する。

図１は、本発明の実施例１に係るネットワーク音声画像再生システムを説明する図である。

本実施例１では音声画像取得装置としてネットワーク対応カメラを音声および音声画像再生装置としてＰＣの例を示す。

図中、１は音声および画像取得装置の一例であるネットワーク対応カメラ、２は音声画像再生装置の一例であるＰＣ、３はインターネットを示している。ネットワーク対応カメラ１およびＰＣ２は有線ＬＡＮによりインターネット３に接続されている。

さらに、ネットワーク対応カメラ１において、１１はネットワーク対応カメラのＣＰＵ、１２はメモリ、１３はマイク、１４は音声信号変換部、１５はＣＣＤカメラ、１６は画像信号変換部、１７はネットワーク送受信部、１８はＷＥＢサーバー部から構成されている。

また、ＰＣ２において、２１はＰＣのネットワーク送受信、２２はネットワーク部バッファ、２３はアプレット部、２４はデコード処理部、２５は音声バッファ部、２６はバッファ内音声信号監視手段、２７はサウンドバッファ、２８はスピーカー、２９はＷＥＢブラウザ画面、３０は再生されている画像を示している。

次に、本発明の実施例１に係る音声画像再生システムの動作について、図１に基づいて説明する。

ネットワーク対応カメラ１のマイク１３で取得された音声信号は音声信号変換部１４によりアナログの音声信号からネットワークで転送できる音声データ、例えばＡＤＰＣＭデータに変換される。一方、カメラ１５で取得された画像信号は画像信号変換部１６によりネットワークで転送できる画像データ、例えばモーションＪＰＥＧやＭＰＥＧ４に変換される。

ネットワーク対応カメラ１にはＷＥＢサーバー１８が内蔵されており、接続したＰＣ２からこのＷＥＢサーバー１８へアクセスすることにより音声および画像を再生することができる。ＰＣ２からネットワーク対応カメラ１のＷＥＢサーバー１８へアクセスすると、ＰＣ２とＷＥＢサーバー１８との間では音声データ用および画像データ用に別々のＴＣＰ／ＩＰセッションを確立して通信を行う。

インターネット３を介して受信した音声データおよび画像データはＰＣ２のネットワーク送受信部２１からネットワーク部バッファ２２へ渡される。その後、画像データはＷＥＢブラウザ画面２９へ渡されモニタ画面上に画像３０として表示される。

一方、音声データはアプレット部２３の音声バッファ部２５に渡された後、デコード処理部２４にてデコードした後、サウンドバッファ２７に送られスピーカー２８により音声
が再生される。

本発明の実施例１で、重要なのは音声データと画像データとを別々のデータとして取り扱うことである。低コストにネットワーク音声再生システムを構築するために、音声および画像取得装置であるネットワーク対応カメラ１では、音声と画像との同期を取って合成したデータを作成するといったことを行わない。もちろん、ネットワーク対応カメラ１にて音声データの処理を画像データの処理に対して優先的に行うことは可能である。

音声画像再生装置であるＰＣ２では、転送されてきた音声データと画像データとを別々に処理しているが、音声データと画像データとがスムーズに再生されている場合は、音声データと画像データの同期が擬似的に取れ、擬似同期再生が行われる。

しかしながら、ＰＣ２上の他のアプリケーションによる負荷の増大等が発生し、音声データを処理するアプレット部２３の音声バッファ部２５内部に音声データが蓄積されてくると音声データの再生が画像データの再生に対して遅れを生じることになる。

例えば３２ｋＨｚサンプリングのＡＤＰＣＭ信号の場合、４０００バイトの音声データが蓄積された場合には、１秒間の遅れが生じることになる。

本発明の実施例１の音声画像再生装置では、アプレット部２３内にバッファ内音声信号監視手段２６を設け、バッファ内の音声データがある閾値を超えた場合に、その音声データの一部あるいは全てを破棄するようにしている。本実施例では、その閾値を２０００バイト、即ち０．５秒とした。

このような構成にすることにより、画像データの再生に対して音声データの再生を最悪でも０．５秒以内に抑えることができ、擬似的な音声と画像との同期再生を可能としている。

本発明の実施例２に係るネットワーク音声画像再生システムについて図２および図３に基づいて説明する。

図２は本発明の実施例２に係るネットワーク音声画像再生システムを説明する図であり、図３は本発明の実施例２に係るブラウザ画面の拡大図である。

本実施例２では音声画像取得装置としてネットワーク対応カメラを、音声画像再生装置としてＰＣの例を示す。

本実施例２のネットワーク音声再生システムは、実施例１と構成的には同じであるため、同じ部分の説明は省略する。

実施例２の音声画像再生装置は、音声画像再生装置であるＰＣ２が接続されるネットワークの種別により、アプレット部３２内に破棄される音声データの閾値を調整する手段（閾値設定部）３１を設けたことに特徴を有する。

例えば、ＰＣ２がダイヤルアップ回線に接続されている場合、その通信速度は最大でも５６ｋｂｐｓであり、有線ＬＡＮ等に比較して非常に遅くなっている。音声バッファ部２５は、途切れなく音声信号を再生するという作用も持っており、接続する回線が遅くなればバッファ量を大きくすることが望ましい。

本実施例２では、図３に示すように閾値設定部３１により、ユーザーが接続しているネットワークの種別を選択して、選択されたネットワーク種別を基に閾値設定部３１はバッファ内音声データ監視手段２６に閾値を設定する。

上記構成により、接続しているネットワークの種別にあうように音声途切れと同期再生との兼ね合いを最適化することができる。

また、ユーザーがＷＥＢブラウザ上で直接閾値を設定できるようにすることもできる。

本発明の実施例３に係るネットワーク音声画像再生システムについて図４から図６に基づいて説明する。

図４は本発明の実施例３および４に係るネットワーク音声画像再生システムを説明する図であり、図５は本発明の実施例３に係るネットワーク音声画像再生システムを説明する図、図６は本発明の実施例３に係るブラウザ画面の拡大図である。

本実施例３では音声画像取得装置としてネットワーク対応カメラを音声画像再生装置としてＰＣの例を示す。

本実施例３のネットワーク対応カメラおよびＰＣは実施例１と構成的には同じであるため、同じ部分の説明は省略する。

本実施例３のネットワーク音声再生システムは、複数のネットワーク対応カメラ１ａ，１ｂ，１ｃ，１ｄと複数のＰＣ２ａ，２ｂ，２ｃ，２ｄが接続されており、ＰＣ２ａ〜２ｄが、任意の音声を再生するネットワーク対応カメラ１ａ〜１ｄを選択するために、アプレット部３３内に音声再生選択部３４を備えた点に特徴を有する。

本発明の実施例３のネットワーク音声再生システムの動作を、図４および図５を用いて説明する。

複数のＰＣ２ａ，２ｂ，２ｃ，２ｄが１つのネットワーク対応カメラ１ａにアクセスする場合、それぞれのＰＣとネットワーク対応カメラ１ａとの間には、音声用のセッションと画像用のセッションとがそれぞれ確立されることになる。

本発明の実施例３のネットワーク音声画像システムの音声画像再生装置では音声再生選択部３４により、音声の再生を行うかどうかを選択可能とすることにより、例えば図６に示したようにＰＣ２ｂで、「音声再生：なし」を選択すると、ＰＣ２ｂとネットワーク対応カメラ１ａとの間では音声データ用のセッションを確立せずに画像データ用のセッションのみをネットワーク送受信部２１により確立する。

これはネットワーク対応カメラにおいて、音声データと画像データとを別々に処理し、別々のセッションにて転送することで実現している。

なお、ＰＣ２ｂにおいて、「音声再生：なし」として設定し、画像取得装置であるネットワーク対応カメラ１ａから画像データのみを受信しているが、画像データおよび音声データの両データを受信しＰＣ２ｂ側にて音声だけを再生しないという方法も考えられるが、不要なネットワークトラフィックを増加させるだけであり、本発明の構成にすることにより柔軟なネットワーク音声再生システムを構築することができる。

本発明の実施例４に係るネットワーク音声画像再生システムについて図４、図７、図８を用いて説明する。

図７は本発明の実施例４に係るネットワーク音声画像再生システムを説明する図であり、図８は本発明の実施例４に係るブラウザ画面の拡大図である。

図４および図７において、１台のＰＣ１ａが４台のネットワーク対応カメラ１ａ，１ｂ，１ｃ，１ｄにアクセスする場合を考える。ネットワーク対応カメラはポータル機能を有し、例えば、ネットワーク対応カメラ１ａの識別情報登録部３６に他のネットワーク対応カメラ１ｂ，１ｃ，１ｄの識別情報を登録する。

ＰＣ２ａはネットワーク対応カメラ１ａへアクセスし、識別情報登録部３６へ登録してあるネットワーク対応カメラ１ｂ〜１ｄの画像または音声データを受信したネットワーク対応カメラ１ａのネットワーク送受信部１７により、ＰＣ２ａへ画像データおよび音声データを受信し、ＰＣ２ａへ送信することにより全てのネットワーク対応カメラ１ａ，１ｂ，１ｃ，１ｄの音声および画像を再生することができる。

図８に示すように、実施例４のネットワーク音声画像システムでは、ＰＣ２ａのＷＥＢブラウザ画面２９上で、音声を再生するネットワーク対応カメラを選択することが可能である（図６ではネットワーク対応カメラ１ａを選択している）。複数のネットワーク対応カメラからの音声データをＰＣ２ａで同時に再生することはできないため、このような構成にすることは非常に有効である。

本発明では、音声データと画像データとを別々に処理しているため、例えば全てのＰＣ２ａ，２ｂ，２ｃ，２ｄでネットワーク対応カメラ１ａ，１ｂ，１ｃ，１ｄの画像を再生し、ＰＣ２ａでネットワーク対応カメラ１ａの音声データを、ＰＣ２ｂでネットワーク対応カメラ１ｂの音声データを、ＰＣ２ｃでネットワーク対応カメラ１ｃの音声データを、ＰＣ２ｄでネットワーク対応カメラ１ｄの音声データを再生するといったことも可能である。

以上、本発明の実施例１から４について説明したが、本実施例では、音声画像取得装置としてネットワーク対応カメラとし、音声画像再生装置としてＰＣとして説明したが、特にこれらの構成について限定するものではなく、音声画像再生装置として携帯電話を用いる等も可能である。

また、音声データの閾値を設けるバッファとしてアプレット部の音声バッファ部について説明したが、閾値を設けるバッファの数や設ける箇所について限定を行うものではない。

また、ネットワーク部については有線ＬＡＮを用いて説明したが、無線ＬＡＮやブルートゥース（Ｂｌｕｅｔｏｏｔｈ（Ｒ））等、特にその構成を限定するものではない。

また、本実施例ではネットワークとして、インターネットを用いた説明を行ったが、イントラネット等を使用しても本発明の効果は明らかである。

本発明にかかるネットワーク音声画像再生システムは、簡単な構成で画像データと音声データとの同期を擬似的に取り、擬似同期再生を可能とする低コストなネットワーク音声再生システムを提供することができ、インターネットを利用したブロードバンド放送等、
音声や画像を利用したサービス等として有用である。

本発明の実施例１に係るネットワーク音声画像再生システムを説明する図 本発明の実施例２に係るネットワーク音声画像再生システムを説明する図 本発明の実施例２に係るブラウザ画面の拡大図 本発明の実施例３および４に係るネットワーク音声画像再生システムを説明する図 本発明の実施例３に係るネットワーク音声画像再生システムを説明する図 本発明の実施例３に係るブラウザ画面の拡大図 本発明の実施例４に係るネットワーク音声画像再生システムを説明する図 本発明の実施例４に係るブラウザ画面の拡大図

符号の説明

１ ネットワーク対応カメラ
２ ＰＣ
３ インターネット
１１ ＣＰＵ
１２ メモリ
１３ マイク
１４ 音声信号変換部
１５ カメラ
１６ 画像信号変換部
１７，２１ ネットワーク送受信部
１８ ＷＥＢサーバー
２２ ネットワークバッファ部
２３，３２，３３，３７ アプレット部
２４ デコード処理部
２５ 音声バッファ部
２６ バッファ内音声データ監視手段
２７ サウンドバッファ
２８ スピーカー
２９ ＷＥＢブラウザ画面
３０ 再生画像
３１ 閾値設定部
３４ 音声再生選択部
３５ ネットワーク対応カメラ
３６ 識別情報登録部

Claims (4)

1. 音声画像取得装置にて取得した音声信号および画像信号を音声データおよび画像データとして変換してネットワークを介して転送し、前記音声データと前記画像データとを音声画像再生装置で再生するネットワーク音声画像再生システムであって、前記音声画像取得装置は、前記音声データと前記画像データを別々のセッションで送信する手段を備え、前記音声画像再生装置は、前記音声画像取得装置からの前記音声データと前記画像データを受信する手段と、音声データを蓄積する音声バッファ部と、前記音声バッファ内音声データが閾値以上蓄積された場合には、前記音声バッファ内の音声データの一部を破棄する手段を備え、前記音声画像再生装置は、前記ネットワークの種別により、破棄する前記音声データの前記閾値を選択可能とすることを特徴とするネットワーク音声画像再生システム。
2. 音声画像取得装置にて取得した音声信号および画像信号を音声データおよび画像データに変換してネットワークを介して転送し、前記音声データと前記画像データを音声画像再生装置で再生するネットワーク音声画像再生システムであって、前記音声画像取得装置は、前記音声データと前記画像データを別々のセッションで送信する第１の送信手段を備え、前記音声画像再生装置は、前記第１の送信手段から送信された音声データと画像データを受信する第１の受信手段と、前記第１の受信手段が受信した音声データを蓄積する音声バッファ部と、前記音声バッファ部によって蓄積された音声データが閾値以上蓄積された場合は、前記音声バッファ部に蓄積された音声データの一部を破棄する破棄手段を備え、前記音声バッファ部は、前記ネットワークの種別に応じて、前記閾値を変更可能なことを特徴とするネットワーク音声画像再生システム。
3. 請求項２記載のネットワーク音声画像再生システムであって、前記音声画像取得装置は、他の音声画像取得装置を識別する情報を登録する登録手段と、前記他の音声画像取得装置からの画像データおよび音声データを受信する第２の受信手段と、前記第２の受信手段が受信した画像データおよび音声データを送信する第２の送信手段と、を備え、前記音声画像再生装置は、前記第２の送信手段から送信された画像データおよび音声データを再生する再生手段を備えたことを特徴とするネットワーク音声画像再生システム。
4. 請求項３記載のネットワーク音声画像再生システムであって、前記登録手段は、複数の他の音声画像取得装置を識別する情報を登録し、前記再生手段は、前記複数の他の音声画像取得装置から画像データを同時に表示し、前記複数の他の音声画像取得装置からの音声データを選択して再生することを特徴とするネットワーク音声画像再生システム。

Images