遠隔画像監視システムあるいは画像配信システムでは、公衆回線やインターネットに代表されるように、IP(Internet Protocol)ネットワークを伝導路とした動画像伝送装置のニーズが急速に拡大している。例えば、従来、MPEG-4(Moving Picture Experts Group Phase 4)における画像のストリームデータ(圧縮データで構成されている。)の配信では、画像伝送部において、送るべき画像データをMPEG-4により、符号化変換を行い、符号化変換された画像データをストリームデータとして画像伝送部の記憶部に一旦格納される。この画像データとしては、静止画、動画、CG( Computer Graphics)、アニメーション等の画像であり、また、音声、オーディオ、合成音楽等も含まれる。これらの画像データは、ネットワークからの要求により、記憶部から配信される。
このような画像データ、特に、動画像を配信するためには、デジタル化して伝送する必要があるが、デジタル化した場合、その情報量は膨大となるため、その情報の伝送容量を減少させるために動画像の圧縮技術が必要になる。ここで、従来から良く知られている動画像の圧縮方式としてMPEG−2あるいはMPEG−4等の圧縮の世界標準方式が使用される。
図12は、一般的なネットワーク型動画像配信システムの一例であって、例えば、動画像監視システムの概略構成を示すブロック図である。図12において、例えば、一つの監視カメラ120の動画像を3箇所の離れた場所の映像モニタ124−1、124−2および124−3で監視する場合が示されている。なお、特に、区別する必要がないときは、映像モニタ124と総称する。また、よく使用されるネットワークとして、例えば、LAN(Local Area Network)122−1、ADSL(Asymmetric, Digital Subscriber Line)122−2およびW-CDMA(Wide-Code Division Multiple Access)のような第3世代携帯電話網122−3が示されている。なお、これについても区別する必要がないときは、ネットワーク122と総称する。これらのネットワーク122は、異なる伝送速度の伝送路で構成されている。例えば、LAN122−1は、伝送速度が約6Mbps程度の比較的高速なネットワークであり、ADSL122−2は、512kbpsそして第3世代携帯電話網122−3は、384kbpsの低速なネットワークである。
而して、カメラ120で撮影された監視画像は、エンコーダのような画像伝送部121で符号化され、ネットワーク122を介してそれぞれデコーダのような画像受信部123−1、123−2および123−3に配信され、ここで復号され、画像モニタ124−1、124−2および124−3にそれぞれ監視画像として表示される。
動画像を圧縮する画像伝送部121は、画像伝送部内部の一つの圧縮処理部125により所定のビットレート(圧縮率)で圧縮され、ここから生成される画像圧縮データ(ストリーム)を画像受信部123−1、123−2および123−3に伝送し、各画像受信部は、上記ストリームを元の画像データに伸張してモニタに出力する。図12においては、画像伝送部121からはストリームがネットワーク122−1、122−2、122−3に順次シリーズに伝送されている。このような伝送方式をマルチキャスト構成と呼ばれている。
このシステムの動作は、例えば、画像受信部123−1からネットワーク122−1を経由し、画像送信部121にストリームデータを要求する。画像送信部121は、ストリームデータの要求があった画像受信部123−1にストリームデータを配信する。画像受信部123−1は、ストリームデータを受信し、圧縮されているストリームデータを伸張し、モニタ124−1に表示すると共に、必要により記録部(図示せず)に記録される。次に、画像受信部123−1は、続いて、ネットワーク122−1を経由し、画像送信部121に次のストリームデータを要求する。画像送信部は、ストリームデータ要求があった画像受信部123−1に次のストリームデータを伝送する。画像受信部123−1は、次のストリームデータを受信し、前述と同様に、圧縮されているストリームデータを伸張し、モニタ124−1に表示すると共に、必要により記録部に記録する。以降も同様であり、また、他の画像受信部123−2および123−3においても連続してストリームデータの送信要求と受信及び伸長を行なう。
而して、上述のマルチキャスト構成の場合、画像伝送部121の内部の圧縮処理部125は、一つであることから、画像受信部123−1、123−2、123−3に伝送されるストリームは、全く同一のストリームであり、ストリームのビットレート(圧縮率)も同一である。従って、当然のことながら画像伝送部121から出力されるストリームデータのビットレートは、各画像受信部123までのネットワーク122の中で、最も伝送速度の遅いネットワークに合わせない限り、対象とする画像受信部123全てにおいて動画像を伸張することが不可能である。
図12の場合、第3世代携帯電話網384kbpsがネックとなるため、画像伝送部121から出力されるストリームのビットレートは、384kbps以下に制限される。しかし、これでは高速なネットワーク122−1に接続されている画像受信部123−1では、本来6Mbps程度の高ビットレートなストリームデータを伸張し、高品位な画像を映像モニタ124−1に出力可能であるにも関わらず、前記制限により384kbps程度の低品位な画像しか得られないことになる。同様に、512Kbpsのネットワーク122−2に接続されている画像受信装置123−2でも、結局384kbps程度の低品位な画像しか得られない。
また、高速なネットワーク122−1に合わせて4Mbps程度のストリームを画像伝送装置121が出力するようにしてもADSLの512kbpsや第3世代携帯電話網の384kbpsでは伝送できないため、画像受信部123−2や123−3にはストリームデータが伝送されず、全く動画像が出力されないことになる。
ここで、MPEG方式の画像圧縮技術について説明する。MPEG−2やMPEG−4の画像圧縮データ、即ち、ストリームデータは、Intra Picture(以下、Iピクチャと称する)、Predictive Picture(以下、Pピクチャと称する)およびBidirectionally Predictive Picture(以下、Bピクチャと称する)の3種類のデータから構成されて、ピクチャ毎に3つの異なる符号化モードで圧縮されている。I ピクチャとは、アナログ映像の1フレーム分全ての画像データをそのフレーム内で符号化変換されたデータである。従って、画像受信部123では、このI ピクチャを受信した場合、1つの I ピクチャだけで画像を再生することができる。P ピクチャとは、前の画像データ(I ピクチャまたはP ピクチャ)から一方向のフレーム間予測を行い、差分のデータのみ符号化したものである。従って、画像受信部123では、受信した P ピクチャだけでは画像を再生することができず、元になる I ピクチャがなければ画像を再生できない。更に、途中の P ピクチャがなければ、誤った画像、例えば、プロック歪等が発生した画像となる。Bピクチャとは、前の画像データと次の画像データの2つの画像データから二方向のフレーム間予測を行い差分データのみ符号化したものである。このBピクチャは、Pピクチャと同様にBピクチャだけでは元の画像を再生できない。PピクチャおよびBピクチャは、前後のピクチャとの時間軸方向の冗長度を削減しているため、圧縮データ量を少なくできるが、それだけでは元の画像を再生できない。なお、一般的なMPEG−2の各ピクチャの組合せの一例を次に示す。
(I)(B)(B)(P)(B)(B)(P)(B)(B)(P)(B)(B)(P)(B)(B)(I)(B)(B)(P)・・・・・
このようにIピクチャは、15ピクチャに1回存在し、これが繰り返される構成が一般的である。
さて、このようなMPEG方式で異なる伝送速度のネットワークに画像を伝送する画像伝送装置(例えば、特許文献1参照。)が知られている。この画像伝送装置は、伝送するピクチャ数を変えることなく、符号化データのビットレートを変更する、即ち、符号化データのビットレートと伝送路の所定の伝送レートとの差に基づいて、前に伝送した符号化データに対する画面をコピーしたコピー画面を生成し、本来伝送すべきデータに代えてコピー画面を伝送することにより、データ量を減らし、所定の伝送レートにして伝送する装置である。
この方法は、前に伝送した画面をコピーする方法である。従って、前の画面との差分は、“0”となり、コピーを表わすデータだけを送るため、データ量は大幅に低減でき、所望の伝送レートにして伝送ができる特徴がある。しかし、送る画面がコピー画面であるため、動画像のような動きのある画面では、あまり忠実な動画像を送ることはできない。
特開平10−336670号公報(第5−6頁、図2−4)
本発明は、画像伝送部の圧縮処理部から出力されるストリームデータのビットレートより、伝送速度が速いネットワーク伝送路に接続された画像受信部に対しては、圧縮処理部からのストリームをそのまま出力し、画像伝送部の圧縮処理部から出力されるストリームデータのビットレートよりも伝送速度が遅いネットワーク伝送路に接続された画像受信部に対しては圧縮処理部からのストリームデータの一部分だけを出力する。特に、MPEG−2、MPEG−4などの国際標準符号化方式による圧縮処理の場合、ストリームデータは、ピクチャ間で時間圧縮されているため、単純に一部分だけを出力しても、画像受信部は画像を再生することが不可能である。一般に、ストリームデータの一部分だけでも再生可能な部分は、フレーム内符号化とかイントラピクチャもしくはイントラVOP(video of plane)と呼ばれる部分である。MPEG−2の場合はIピクチャに相当し、MPEG−4ではI−VOP(以下、これらを総称してIピクチャと呼ぶことにする。)に相当する。従って、ストリームのIピクチャは、ストリームデータの一部分だけでも画像受信部は、画像再生が可能となる。また、ストリームの一部分だけの情報であるため、ストリーム全体のビットレートより低いネットワーク伝送路に対しても伝送することが可能となる。これにより、各画像受信部に関係するネットワークの伝送速度に最適化された画像再生を可能とするネットワーク動画像伝送装置が可能となる。
図10は、本発明の一実施例の概略構成を示すブロック図である。図10において、図12と同じものには、同じ符号が付されている。111は、画像伝送部であり、ネットワーク122−1、122−2および122−3は、それぞれ画像伝送部111からの出力が直接供給されるように接続されている。このような伝送方式をユニキャスト構成と呼ばれている。以下、このユニキャスト構成について説明する。
図10に示す本発明の動作について、図3を用いて説明する。図3は、本発明の画像配信方法の第1の実施例を説明するためのデータフローを示す図である。なお、先の説明では、MPEG方式のストリームデータは、I ピクチャ、P ピクチャ Bピクチャで構成されると説明したが、ここでは、説明の都合上、I ピクチャおよびP ピクチャのみで説明する。
図3において、カメラ120からのアナログ映像信号101−1、101−2、・・・・101−nは、それぞれ時間方向にMPEG-4に基づく符号化変換が行われ、I ピクチャ 102 、P ピクチャ 103 が作成される。作成された I ピクチャ 102 、P ピクチャ 103 は、画像伝送部111内部のストリームバッファ(図示しない)に格納される。
画像受信部112−1は、ネットワーク122(図10では、122−1)を経由し、画像伝送部111にストリームデータを要求する。画像伝送部111は、ストリームデータの要求があった画像受信部112−1にネットワーク122−1を介して I ピクチャ 102 (映像取込1)を伝送する。I ピクチャ 102(映像取込 1 )を受信した画像受信部112−1は、即座にストリームデータを伸張する(I ピクチャ102′(映像伸張1))。そして、画像受信部 112−1は、ネットワーク122−1を経由し、画像伝送部111に次のストリームデータを要求する。画像伝送部111は、ストリームデータの要求があった画像受信部112−1に次のP ピクチャ 103(映像取込2)を伝送する。P ピクチャ 103(映像取込 2 )を受信した画像受信部112−1は、即座にストリームデータを伸張する(P ピクチャ103′(映像伸張2))。以降、続く Pピクチャ 103(映像取込3、4)を同じ手順で要求し、受信し、P ピクチャ103′(映像伸長3、4)として伸張する。以降、ストリームデータの要求ごとに同じ手順を繰り返す。
また、画像受信部112−2もまた、ネットワーク122(図10では、122−2)を経由して、画像伝送部111にストリームデータを要求する。画像伝送部111は、ストリームデータの要求があった画像受信部112−2にIピクチャ102(映像取込1)を伝送する。
回線速度(ネットワークの伝送速度)により遅延されたIピクチャ102(映像取込1)を受信した画像受信部112−2は、即座にストリームデータを伸張する(Iピクチャ102′(映像伸長1))。そしてまた、画像受信部112−2は、ネットワーク122−2を経由し、画像伝送部111に次のストリームデータを要求する。画像伝送部111は、ストリームデータの要求があった画像受信部112−2に次のP ピクチャ103(映像取込 2)を伝送する。以降、ストリームの要求ごと、続くPピクチャ 103(映像取込 3、4)を同じ手順で要求し、受信及び伸張を繰り返す。
上述のようにネットワーク122−2を経由した画像受信部112−2のように、回線速度により遅延されたPピクチャ103(映像伸張2)を受信した画像受信部112−2では、Iピクチャ102(映像取込1)、Pピクチャ103(映像取込2、3、4)を要求及び受信し、Iピクチャ102′(映像伸張1)、Pピクチャ103′(映像伸張2、3、4)として伸張するが、入力映像との遅延時間が徐々に増大していく。
また、画像受信部112−3は、画像受信部112−2より更に低速のネットワーク122−3を経由し、画像伝送部111にストリームデータを要求する。画像伝送部111は、ストリームデータの要求があった画像受信部112−3にIピクチャ102(映像取込1)を伝送する。
低速の伝送速度により遅延されたIピクチャ102(映像取込1)を受信した画像受信部112−3は、即座にストリームデータを伸張する(Iピクチャ102′(映像伸張1))。そしてまた、画像受信部112−3は、低速のネットワーク122−3を経由し、画像伝送部111にストリームデータを要求する。
画像伝送部111は、ストリームデータの要求があった画像受信部112−3に、この時伝送できるPピクチャ 103(映像取込3)を伝送する。以降、同じ手順でストリームデータを要求し、受信及び伸張を繰り返す。
このとき、画像受信部112−3は、Iピクチャ 102(映像取込1)を受信・伸張(Iピクチャ102′(映像伸張1))した後でPピクチャ103(映像取込3)を伸張する(Pピクチャ103′(映像伸張3))。従って、前のPピクチャ 103(映像取込2)が欠落しているため、伸張映像がブロック歪状態で表示される。
この様に使用するネットワークの伝送速度が遅いと、伸張画像の遅延、伸張画像のブロック歪が発生する。
回線速度が遅い伝送回線を使用したネットワークを利用した MPEG−4ストリーム配信では、画像受信部112の処理速度を高速化しても、データ伝送路の能力が低いため、画像伝送部111にてMPEG−4符号化変換した間隔で、画像受信部112がストリームデータをタイミングよく受信し、伸張できない。そのため、画像伝送部111でMPEG−4で符号化変換されたストリームデータを画像受信部112で連続的に受信、伸張を行うと、画像伝送部111と画像受信部112の伸張映像に時間差が発生し、その時間差は徐々に増加していく。
更に、画像伝送部111がストリームデータの要求をした、より低速な伝送回線を使用した画像受信部112−3に伝送する場合、最新のストリームデータを送信した場合でも、不連続のストリーム伸張のため映像にブロック歪が発生する。
本発明の第2の実施例は、このような問題を解決するためになされたもので、低速の伝送回線を使用したネットワークでも、画像伝送部111側にてIピクチャとPピクチャのストリーム管理を行い、要求が発生した画像受信部112からI ピクチャに続く、Pピクチャの送信ピクチャ数を画像伝送部111に通知し、画像伝送部111から対応するGOP(Group Of Picture)単位のストリームデータを受信するようにしたものである。
即ち、画像伝送部111では、最新のIピクチャ102(例えば映像取込5)から要求のあった所定のPピクチャの送信ピクチャ数に達するまでストリームデータを蓄積する。蓄積が達成した時点で、Iピクチャとこれに続く所定のピクチャ数のPピクチャをGOP 単位に加工して、画像受信部112 に送信することで、回線状況に合わせたストリームデータ量を任意に指定することができ、回線の効率を最大限に使用できるようにしたものである。
本発明の第2の実施例の動作を図1、図2、図4および図5を用いて説明する。まず、図1によって、本発明における画像伝送部111のGOP単位のストリームデータを配信する状態を説明する。
画像伝送部111は、カメラ120からのアナログ映像データ101−1、101−2、・・・・101−nを時間方向にMPEG−4により符号化変換し、Iピクチャ102、Pピクチャ103を作成し(図3に示す。)、画像伝送部111内部のストリームバッファ(図示しない)に格納する。このIピクチャ、Pピクチャのストリームバッファへの格納時の画像伝送部111の処理動作の一例を図4に示すフローチャートを基に説明する。
図4において、ストリームデータを格納する場合、まずステップ402では、格納しようとするストリームデータがIピクチャか、Pピクチャかを判定し、Iピクチャの場合にはステップ403に進み、Pピクチャの場合にはステップ407に進む。
ステップ403では、ストリームバッファ格納位置情報、画像受信部送信バッファ位置をIピクチャ位置に設定する。
次に、ステップ404では、現在使用中のストリームバッファ要素を判定し、現在使用中のストリームバッファ要素が要素1(図1に示す。)ならばステップ406に進み、要素2ならばステップ405に進む。
ステップ405では、格納しようとするストリームバッファ要素を現在使用されていない要素1に切り替え、ステップ407に進む。また、ステップ406では、格納しようとするストリームバッファ要素を現在使用されていない要素2に切り替えステップ407に進む。
ステップ407では、ステップ405または406で切替えた現在のストリームバッファ要素、ストリームバッファ格納位置が示すストリームバッファにストリームデータを格納する。ステップ408では、ストリームバッファ格納位置を更新する。
次に、本発明の第2の実施例において、Iピクチャ、Pピクチャ配信(伝送)時における画像伝送部111の処理動作を図5に示すフローチャートを基に説明する。図5において、画像伝送部111が画像受信部(例えば、画像受信部112−1)からのストリームデータの送信要求を受信した場合、ステップ502では、画像受信部112−1からのPピクチャ要求数を判定し、ストリームバッファに格納されたストリームデータが要求数を満たさない場合には、ステップ503に分岐し、要求Pピクチャ数を満足した場合には、ステップ504進む。
ステップ503では、ストリームデータの格納を行い、ステップ502戻る。ステップ504では、Iピクチャから始まる要求Pピクチャ数をGOP単位として加工し、ステップ505に進む。
ステップ505では、GOP単位で、画像受信装置112−1にストリームデータを送信する。
図2は、本発明の第2の実施例によって画像伝送部111から配信された GOP単位のストリームデータの画像受信部112−1の受信状態の動作を説明するための図である。なお、図1と同じものには、同じ符号が付されている。図2において、画像受信部112−1は、画像伝送部111でGOP単位のストリームデータに加工されたIピクチャ102′(映像伸張1)およびPピクチャ103′(映像伸張2、3、4)が受信され、伸張される。なお、画像受信部112−2および112−3においても同様であり、ここでは説明を省略する。
このように、本実施例によれば、使用するネットワークの伝送速度に合わせ、画像伝送部と画像受信部のMPEG−4ストリーム遅延時間を最小限にし、ストリームの連続性を確保し、要求されるPピクチャ数を加工したGOP単位のストリームデータの配信を行うことができる。
次に、本発明の第3の実施例について説明する。第3の実施例では、低速伝送回線のネットワークを使用した場合でも、画像伝送部111側にてIピクチャとPピクチャのストリームデータの管理を行い、要求が発生した画像受信部112に送信するIピクチャとPピクチャの送信来歴を画像伝送部111にて管理する。
また、画像伝送部111が最新のIピクチャを作成したとき、画像受信部112(例えば、画像受信部112−1、画像受信部112−2、画像受信部112−3)への送信来歴を初期化し、画像受信部112から次の要求が発生した場合、次のIピクチャ102(映像取込5)から送信することで、画像伝送部111と画像受信部112との遅延時間を最小にするようにする。
更に、ストリームデータの連続性を確保することができ、本発明の第1の実施例での画像受信部112のような問題も解消できる。
本発明の第3の実施例は、第2の実施例における図5のIピクチャ、Pピクチャ配信(伝送)時における画像伝送部111の処理動作の一例を示すフローチャートを図6のフローチャートによって説明する。図6において、画像受信部112からのストリームデータの送信要求が発生した場合、ステップ602では、画像受信部111の送信バッファ位置が示すストリームデータを送信する。次に、ステップ 603 では、画像受信部送信バッファ位置を更新する。
図7は、本発明の第3の実施例の画像伝送部の動作を説明するためのデータフローを示す図である。なお、図3と同じものには、同じ符号が付されている。図7において、画像伝送部111から配信されたストリームデータの受信時間が、画像受信部112−2では、遅延して受信された場合を示している。Pピクチャ103(映像取込3)を受信・伸長(Pピクチャ103′(映像伸張3))した後、画像伝送部111に画像受信部112−2から次のストリームデータの送信要求があった場合、画像伝送部111は、Pピクチャ103(映像取込4)を配信せずに、Iピクチャ102(映像取込5)を配信することで、画像伝送部111と画像受信部112−2の遅延時間を最小限に制限することができるように構成されている。
また、図7に示す画像伝送部111から配信されたストリームデータの受信時間が、画像受信部112−3では、次のIピクチャ102(映像取込5)に重なった場合を示している。この場合、続くPピクチャ 103(映像取込2、3、4)を受信しても伸長する時間がないことを示している。従って、画像受信部112−3からのストリームデータの送信要求の時間に応じて、画像伝送部111は、Pピクチャ103 を送信せずに、次のIピクチャ102(映像取込5)を送信する。これによって、画像受信部112−3は、Iピクチャ102(映像取込5)を受信できるので、その画像の表示を行うことができる。
以上説明したように、上記実施例によれば、アナログ回線、インターネット、イントラネット、専用回線などの通信回線の伝送速度に合わせ、MPEG-4等のストリームデータの配信量を変更することにより、異なる伝送速度の伝送路に接続された画像受信部112で受信したストリームデータは、連続再生可能なGOP 単位で扱う画像を受信することができる。
ところで、上述した本発明の実施例で、伝送速度の速い伝送路と伝送速度の遅い伝送路が混在している場合、伝送速度の遅い伝送路に画像伝送部111からストリームデータを伝送する場合、画像伝送部111内で、Pピクチャ103を適宜削除して伝送することで、伝送路の伝送速度に合ったストリームデータを画像受信部112に伝送することについて説明した。しかし、この方法を実施する場合、単純に符号化データの一部を削除すると以下に説明するような問題が発生する。
図8は、この問題を説明するための図である。図8において、Iは、Iピクチャ80−1、80−2、Pは、Pピクチャ81−1、81−2、・・・81−7を表わしている。なお、前述したように、Bピクチャは、説明の都合上省略してある。例えば、MPEG−4は、フレーム間予測符号化が基本であり、周期的なIピクチャ80と予測符号化されるPピクチャ81で構成される。ここで、図8に示すように、全てのI ピクチャとPピクチャが伝送路の伝送速度の関係から送れないとすると、IピクチャまたはPピクチャのいずれかのピクチャを削除する必要がある。前にも説明したように、Iピクチャは、それだけで画像を再生することができるが、Pピクチャは、前の画像データとの差分のデータであるため、Pピクチャだけでは画像を再生することができない。
従って、いずれかのPピクチャの一部を削除して伝送した場合、データは、伝送されるが、削除したPピクチャ以降のPピクチャは、前の画像データがないので、画像を再生されないと言う問題が発生する。例えば、3個のPピクチャを削除する場合、図8に示すようにPピクチャ81−2、81−3および81−4を削除(図8では、×印で示してある。)すると、それ以降のPピクチャ81−5、81−6および81−7の画像を再生できない。しかし、Iピクチャは、その前のフレームとの予測なしに符号化されているので、前のデータを削除してもIピクチャ80−2だけで画像を再生できる。
図9は、本発明の他の一実施例を説明するための図であり、図8と同じものには同じ符号が付されている。本発明においては、部分的にデータ(Pピクチャ)を削除しても、Iピクチャからは画像の再生が可能であることに注目して、所定数のPピクチャを削除する場合、Iピクチャの直前のPピクチャから所定数前までのPピクチャを削除する。即ち、図9に示すように、例えば、3個のPピクチャを削除する場合、Iピクチャの直前のPピクチャ81−5、81−6および81−7を削除する。なお、削除するPピクチャの数は、伝送する伝送路の伝送速度に応じて変更する。即ち、伝送レート適応型パケット伝送方式を採用することで、伝送速度の異なる伝送路あるいはネットワークが混在するシステムにおいても、適宜動画像を配信することが可能となる。
図11は、本発明に使用する画像伝送部111の一実施例の概略構成を示すブロック図である。図11において、カメラ120から画像伝送部111に映像信号が入力される。画像伝送部111の内部は、圧縮処理部90、ストーリーム出力部91−1、91−2および91−3、ネットワークインターフェース部92、制御部93からなっている。圧縮処理部90は、入力された映像信号をMPEG−2あるいはMPEG−4の圧縮方法でIピクチャおよびPピクチャに符号変換され、記憶部(図示せず)に記憶される。一方、符号変換されたストリームデータは、それぞれストリーム出力部91−1、91−2および91−3に印加される。
ストリーム出力部91−1、91−2および91−3は、制御部93からの制御信号により、その動作が制御され、それぞれの出力をネットワークインターフェース部92に出力する。ネットワークインターフェース部92は、それぞれの出力をパケット多重化し、ストリームデータ94として、各ネットワーク122を介して画像受信部112に配信する。なお、ストリームデータ94は、ネットワーク(図10に示す。)に接続されるため、一般にはIPパケットなどのパケット多重となる。また、図11では、ストリーム出力部91は、3個示されているが、図10に示すように画像受信部112が3台接続されているために、3台としたものであり、これに限定されるものではない。
次に図11の動作について説明する。圧縮処理部90で符号化されたストリームデータは、例えば、2Mbpsに圧縮されたMPEG−2のストリームデータと仮定する。前述したようにMPEG−2で圧縮符号化されたストリームデータは、ピクチャ毎に3つの異なる符号化モードで圧縮され、それぞれ、Iピクチャ、PピクチャおよびBピクチャから構成されている。そして映像信号は、30フレーム/秒であることから、1秒間に15ピクチャが2回繰り返される。従って、1秒間のIピクチャ、PピクチャおよびBピクチャのそれぞれの数は、以下のように表わされる。
Iピクチャ:2枚、Pピクチャ:8枚、Bピクチャ:20枚
また、各ピクチャの符号量の比率は、画像の複雑さにも依存するがおおよそ以下のようである。
I:P:B=10:7:5・・・・・・・・・・・・・・・・(1)
ここで、全体を2Mbpsとした場合、Iピクチャ80−1および80−2だけのビットレートを、式(1)の比率で算出すると式(2)のようになる。
227Kbps=2Mbps×((10×2)/(10×2+7×8+5×20))・・・(2)
また、Iピクチャ80−1および80−2とそのIピクチャにそれぞれ1枚のPピクチャ(Pピクチャは、合計2枚となる)を送るときのビットレートを、式(1)の比率で算出すると式(3)のようになる。
386Kbps=2Mbps×((10×2+7×2)/(10×2+7×8+5×20))・・・(3)
以上のように伝送するPあるいはBピクチャの枚数により伝送する画像のビットレートを変えることができることが分かる。
ここで図11の動作であるが、制御部93の制御信号により、例えば、ストリーム出力部91−1から出力されるストリームデータは、圧縮処理部90からのストリームデータ、即ち、2Mbpsのビットレートでネットワークインターフェース部92、LAN122−1を介して画像受信部112−1に伝送される。
また、ストリーム出力部91−2では、制御部93の制御、即ち、式(3)に基づいて、Iピクチャとそれに続くPピクチャ1枚を選択し、386Kbpsのビットレートで、ネットワークインターフェース部92、ADSL122−2を介して画像受信部112−2に伝送される。
更に、ストリーム出力部91−3では、制御部93の制御、即ち、式(2)に基づいて、2枚のIピクチャのみを選択し、227Kbpsのビットレートで、ネットワークインターフェース部92、第3世代携帯電話網122−3を介して画像受信部112−3に伝送される。
なお、制御部93は、ネットワークインターフェース部92から伝送路122の伝送レートに応じた信号が印加され、この伝送レート信号に応じてストリーム出力部91−1、91−2、91−3の送出するデータ量を制御し、所謂、伝送レート適応型パケット伝送を実現している。
以上説明したように本発明は、異なる伝送レートを有するネットワークに対して、例えば、2Mbps、386kbpsあるいは227kbps等のようにビットレートの異なるストリームデータを配信でき、それを受信する画像受信部では、所望とする最適な動画像を再生することが可能となる。
図13は、本発明に使用する画像伝送部111の他の一実施例の概略構成を示すブロック図である。図13において、カメラ120からの映像信号が入力端子130を介して画像伝送部111に映像信号が入力される。画像伝送部111の内部は、符号化処理部131およびプロトコル制御部132からなる。なお、本実施例では、符号化処理部131は、MPEG−4の符号化処理部で説明するが、これに限られるものではなく、MPEG−2等の他の方式の符号化処理部で構成することも可能である。プロトコル制御部132は、I−VOP周期バッファ133、RTP(real time transport protocol)パケット処理部134−1、134−2、134−3およびTCP(transmission control protocol)_UDP(user datagram protocol)処理部135から構成されている。なお、TCP_UDP処理部135の出力は、出力端子136から各々のネットワーク122に送られる。ここで、RTPパケット処理部が3個示されているが、本実施例の場合、異なる伝送速度の伝送路122が3種類であるためであり、3個に限定されるものではない。
而して、プロトコル制御部132を上記のように構成することにより伝送レート適応型パケット伝送を実現している。以下この構成について、詳細に説明する。なお、I−VOP周期バッファ133は、少なくてもI−VOP(先に説明したIピクチャに相当する。)から次のI−VOPの直前までの符号化データを蓄積可能な容量を有するバッファである。
RTPパケット処理部134は、MPEG−4符号化データなどをネットワーク上で伝送するのに適したパケットを生成する。即ち、RTPの基本仕様に従い、符号化データを各VOP毎に1〜数パケットに分割したパケットにし、次のTCP_UDP処理部135へ出力する。
TCP_UDP処理部135では、コネクション型のTCPプロトコルか、コネクションレス型のUDPプロトコルかの何れか一方のプロトコルでRTPパケットをネットワーク122へ伝送する。なお、この選択は、ユーザがパソコン等でリモート設定できるように構成することもできる。
プロトコル制御部132は、主にプロセッサによるソフトウェア処理であり、RTPパケット処理部134は、ユニキャストで同時配信するため伝送路に接続される画像受信部112の数分だけ動作する。
MPEG−4符号化処理部131は、映像信号を入力してMPEG−4符号化データを出力し、I−VOP周期バッファ133に符号化データを書き込む。RTPパケット処理部134は、TCP_UDP処理部135からの伝送レートに応じたレディー信号(図13では点線で示す信号。)により、I−VOP周期バッファ133から符号化データを読み出す。即ち、各RTPパケット処理部134−1、134−2、134−3は、それぞれの画像受信部112−1、112−2、112−3までの伝送路レート(伝送速度)に従ったデータ量をI−VOP周期バッファ133から読み出すことになる。従って、必然的に低レート伝送路に対してはI−VOP周期バッファ133内で画像データが破棄されることになる。このようにして自動的に伝送路の伝送速度にあわせて画像データが伝送される。
なお、TCP_UDP処理部135で伝送レートに応じたレディー信号を生成する方法は、選択されたプロトコルで異なる。TCPプロトコルの場合は、コネクション型であるため符号化処理部131からの伝送パケットに対する応答により、自動的に伝送レートに応じたレディー信号が生成可能である。
一方、UDPプロトコルの場合は、コネクションレス型のため自動的にレディー信号を生成することはできない。そこで、画像受信部112から、定期的に伝送されるパケット破棄率情報をTCP_UDP処理部135で収集する。この定期的な情報から、パケット破棄率がゼロとなるようにTCP_UDP処理部135がパケットの伝送レートを制御し、それに応じたレディー信号を生成する。これにより、伝送レートに応じたレディー信号の生成が可能となる。
次に、I−VOP周期バッファ133の制御について、図14を用いて説明する。I−VOP周期バッファ133は、リングバッファ141とI−VOPタイムコードレジスタ142から構成される。基本的には、リングバッファ141にMPEG−4符号化処理部131からの符号化データが順次書き込まれ、これをRTPパケット処理部134が順次読み出す動作となる。図14において、リングバッファ141は、書き込み/読み出し方向が同一であり、また最終アドレスでスタートに戻る一般的なリングバッファ動作である。
また、I−VOPタイムコードレジスタ142には、リングバッファ141にIーVOP(図では、Iと表示)を書き込む時点で、I−VOPのヘッダの時間情報を基にタイムコードを算出し格納する。2回目以降のI−VOPのタイムコードは、I−VOPタイムコードレジスタ141に上書きする。これにより、I−VOPタイムコードレジスタ141にはリングバッファ141に書き込んだ最新のI−VOPのタイムコードが常に格納されていることになる。
図14では、書き込みポインタWPでリングバッファ141にP(4)を書き込み、読み出しポインタRPでP(3)を読み出し始める状態を示し、I−VOPタイムコードレジスタ142には、I(0)のタイムコードが格納されている。ここで、実際の動作においては、各画像フレームの読み出し時点で次に説明する条件判断処理をし、伝送レート適応型パケット伝送を行っている。
即ち、読み出し条件判断処理は、以下の通りである。なお、d秒は、システムを構成するI-VOP周期などにより適宜設定される。
(1) d秒>(I-VOPタイムコードレジスタ値−読み出し対象VOPのタイムコード)の場合最新I-VOPに読み出しポインタを移動して読み出す。
(1)(2)の条件でない場合対象フレームを読み出す。
伝送レートが高い図14の場合、I−VOPタイムコードレジスタ141に格納されているI(0)よりも時間の遅い(タイムコードの大きい)P(3)を読み出す状態であるため、読み出し条件判断処理の(1)の条件は成立しない。そこで、(2)の読み出し対象フレームP(3)をそのまま読み出すことになる。
一方、図15に示すように低レート伝送路に対しては、読み出し速度が書き込み速度より遅くなる場合がある。この場合の読み出し条件判断処理では、I−VOPタイムコードに格納されているI(n)よりも時間の早い(タイムコードの小さい)P(3)を読み出すことになる。従って、その差分がd秒以上となるため、条件判断処理の(1)の条件が成立することになり、I(n)に読み出しポインタRPを移動してI(n)を読み出す動作となる。
即ち、この動作によりP(3)〜P(n−1)の読み出しがスキップされ、I−VOP周期バッファ133内部でI−VOP直前のデータが破棄されたことになる。このように読み出し速度は、伝送レートに対応したものとなる。これにより伝送レート適応型パケット伝送が可能となる。なお、読み出し条件判断処理のd秒は、I−VOPの周期やネットワーク伝送ジッタなどを考慮して設定される。
また、この伝送レート適応型パケット伝送方式は、回線費用が低コストなベストエフォートの伝送路に対しても有効である。つまり、伝送レートの動的な変動に対しても自動的に適応した画像符号化データの伝送が可能となる。以上、本発明について詳細に説明したが、本発明は、ここに記載された画像伝送方法および画像伝送装置に限定されるものではなく、上記以外に、異なる伝送速度を有する伝送路に動画像を配信する動画像伝送システムに広く適応することが出来ることは、言うまでも無い。
90:圧縮処理部、91:ストリーム出力部、92:ネットワークインターフェース部、93:制御部、94:ストリームデータ、101:アナログ映像信号、102、102':Iピクチャ、103、103':Pピクチャ、111:画像伝送部、112:画像受信部、120:テレビカメラ、122:ネットワーク、124:モニタ。