JP4255685B2

JP4255685B2 - Image transmission method and image transmission apparatus

Info

Publication number: JP4255685B2
Application number: JP2002344385A
Authority: JP
Inventors: 智弘相川; 雄一大波
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2002-02-18
Filing date: 2002-11-27
Publication date: 2009-04-15
Anticipated expiration: 2022-11-27
Also published as: JP2003309847A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像伝送方法および伝送装置に関し、特に、動画像を圧縮してネットワークに動画像を伝送する動画像伝送方法および伝送装置に関するものである。
【０００２】
【従来の技術】
遠隔画像監視システムあるいは画像配信システムでは、公衆回線やインターネットに代表されるように、ＩＰ（Internet Protocol）ネットワークを伝導路とした動画像伝送装置のニーズが急速に拡大している。例えば、従来、MPEG-4（Moving Picture Experts Group Phase 4）における画像のストリームデータ（圧縮データで構成されている。）の配信では、画像伝送部において、送るべき画像データをMPEG-4により、符号化変換を行い、符号化変換された画像データをストリームデータとして画像伝送部の記憶部に一旦格納される。この画像データとしては、静止画、動画、CG（ Computer Graphics）、アニメーション等の画像であり、また、音声、オーディオ、合成音楽等も含まれる。これらの画像データは、ネットワークからの要求により、記憶部から配信される。
【０００３】
このような画像データ、特に、動画像を配信するためには、デジタル化して伝送する必要があるが、デジタル化した場合、その情報量は膨大となるため、その情報の伝送容量を減少させるために動画像の圧縮技術が必要になる。ここで、従来から良く知られている動画像の圧縮方式としてＭＰＥＧ−２あるいはＭＰＥＧ−４等の圧縮の世界標準方式が使用される。
【０００４】
図１２は、一般的なネットワーク型動画像配信システムの一例であって、例えば、動画像監視システムの概略構成を示すブロック図である。図１２において、例えば、一つの監視カメラ１２０の動画像を３箇所の離れた場所の映像モニタ１２４−１、１２４−２および１２４−３で監視する場合が示されている。なお、特に、区別する必要がないときは、映像モニタ１２４と総称する。また、よく使用されるネットワークとして、例えば、ＬＡＮ(Local Area Network)１２２−１、ＡＤＳＬ（Asymmetric, Digital Subscriber Line）１２２−２およびＷ-ＣＤＭＡ（Wide-Code Division Multiple Access）のような第３世代携帯電話網１２２−３が示されている。なお、これについても区別する必要がないときは、ネットワーク１２２と総称する。これらのネットワーク１２２は、異なる伝送速度の伝送路で構成されている。例えば、ＬＡＮ１２２−１は、伝送速度が約６Ｍｂｐｓ程度の比較的高速なネットワークであり、ＡＤＳＬ１２２−２は、５１２ｋｂｐｓそして第３世代携帯電話網１２２−３は、３８４ｋｂｐｓの低速なネットワークである。
【０００５】
而して、カメラ１２０で撮影された監視画像は、エンコーダのような画像伝送部１２１で符号化され、ネットワーク１２２を介してそれぞれデコーダのような画像受信部１２３−１、１２３−２および１２３−３に配信され、ここで復号され、画像モニタ１２４−１、１２４−２および１２４−３にそれぞれ監視画像として表示される。
【０００６】
動画像を圧縮する画像伝送部１２１は、画像伝送部内部の一つの圧縮処理部１２５により所定のビットレート（圧縮率）で圧縮され、ここから生成される画像圧縮データ（ストリーム）を画像受信部１２３−１、１２３−２および１２３−３に伝送し、各画像受信部は、上記ストリームを元の画像データに伸張してモニタに出力する。図１２においては、画像伝送部１２１からはストリームがネットワーク１２２−１、１２２−２、１２２−３に順次シリーズに伝送されている。このような伝送方式をマルチキャスト構成と呼ばれている。
【０００７】
このシステムの動作は、例えば、画像受信部１２３−１からネットワーク１２２−１を経由し、画像送信部１２１にストリームデータを要求する。画像送信部１２１は、ストリームデータの要求があった画像受信部１２３−１にストリームデータを配信する。
【０００８】
画像受信部１２３−１は、ストリームデータを受信し、圧縮されているストリームデータを伸張し、モニタ１２４−１に表示すると共に、必要により記録部（図示せず）に記録される。次に、画像受信部１２３−１は、続いて、ネットワーク１２２−１を経由し、画像送信部１２１に次のストリームデータを要求する。
【０００９】
画像送信部は、ストリームデータ要求があった画像受信部１２３−１に次のストリームデータを伝送する。画像受信部１２３−１は、次のストリームデータを受信し、前述と同様に、圧縮されているストリームデータを伸張し、モニタ１２４−１に表示すると共に、必要により記録部に記録する。
【００１０】
以降も同様であり、また、他の画像受信部１２３−２および１２３−３においても連続してストリームデータの送信要求と受信及び伸長を行なう。
【００１１】
而して、上述のマルチキャスト構成の場合、画像伝送部１２１の内部の圧縮処理部１２５は、一つであることから、画像受信部１２３−１、１２３−２、１２３−３に伝送されるストリームは、全く同一のストリームであり、ストリームのビットレート（圧縮率）も同一である。従って、当然のことながら画像伝送部１２１から出力されるストリームデータのビットレートは、各画像受信部１２３までのネットワーク１２２の中で、最も伝送速度の遅いネットワークに合わせない限り、対象とする画像受信部１２３全てにおいて動画像を伸張することが不可能である。
【００１２】
図１２の場合、第３世代携帯電話網３８４ｋｂｐｓがネックとなるため、画像伝送部１２１から出力されるストリームのビットレートは、３８４ｋｂｐｓ以下に制限される。しかし、これでは高速なネットワーク１２２−１に接続されている画像受信部１２３−１では、本来６Ｍｂｐｓ程度の高ビットレートなストリームデータを伸張し、高品位な画像を映像モニタ１２４−１に出力可能であるにも関わらず、前記制限により３８４ｋｂｐｓ程度の低品位な画像しか得られないことになる。同様に、５１２Ｋｂｐｓのネットワーク１２２−２に接続されている画像受信装置１２３−２でも、結局３８４ｋｂｐｓ程度の低品位な画像しか得られない。
【００１３】
また、高速なネットワーク１２２−１に合わせて４Ｍｂｐｓ程度のストリームを画像伝送装置１２１が出力するようにしてもＡＤＳＬの５１２ｋｂｐｓや第３世代携帯電話網の３８４ｋｂｐｓでは伝送できないため、画像受信部１２３−２や１２３−３にはストリームデータが伝送されず、全く動画像が出力されないことになる。
【００１４】
ここで、ＭＰＥＧ方式の画像圧縮技術について説明する。ＭＰＥＧ−２やＭＰＥＧ−４の画像圧縮データ、即ち、ストリームデータは、Intra Picture（以下、Iピクチャと称する）、Predictive Picture（以下、Ｐピクチャと称する）およびBiderectionally Predictive Picture（以下、Ｂピクチャと称する）の３種類のデータから構成されて、ピクチャ毎に３つの異なる符号化モードで圧縮されている。I ピクチャとは、アナログ映像の１フレーム分全ての画像データをそのフレーム内で符号化変換されたデータである。従って、画像受信部１２３では、このＩピクチャを受信した場合、１つのＩピクチャだけで画像を再生することができる。Ｐピクチャとは、前の画像データ（ＩピクチャまたはＰピクチャ）から一方向のフレーム間予測を行い、差分のデータのみ符号化したものである。従って、画像受信部１２３では、受信したＰピクチャだけでは画像を再生することができず、元になるＩピクチャがなければ画像を再生できない。更に、途中のＰピクチャがなければ、誤った画像、例えば、プロック歪等が発生した画像となる。Ｂピクチャとは、前の画像データと次の画像データの2つの画像データから二方向のフレーム間予測を行い差分データのみ符号化したものである。このＢピクチャは、Ｐピクチャと同様にＢピクチャだけでは元の画像を再生できない。ＰピクチャおよびＢピクチャは、前後のピクチャとの時間軸方向の冗長度を削減しているため、圧縮データ量を少なくできるが、それだけでは元の画像を再生できない。なお、一般的なＭＰＥＧ−２の各ピクチャの組合せの一例を次に示す。
（Ｉ）（Ｂ）（Ｂ）（Ｐ）（Ｂ）（Ｂ）（Ｐ）（Ｂ）（Ｂ）（Ｐ）（Ｂ）（Ｂ）（Ｐ）（Ｂ）（Ｂ）（Ｉ）（Ｂ）（Ｂ）（Ｐ）・・・・・
このようにＩピクチャは、１５ピクチャに１回存在し、これが繰り返される構成が一般的である。
【００１５】
さて、このようなＭＰＥＧ方式で異なる伝送速度のネットワークに画像を伝送する画像伝送装置（例えば、特許文献１参照。）が知られている。この画像伝送装置は、伝送するピクチャ数を変えることなく、符号化データのビットレートを変更する、即ち、符号化データのビットレートと伝送路の所定の伝送レートとの差に基づいて、前に伝送した符号化データに対する画面をコピーしたコピー画面を生成し、本来伝送すべきデータに代えてコピー画面を伝送することにより、データ量を減らし、所定の伝送レートにして伝送する装置である。
【００１６】
この方法は、前に伝送した画面をコピーする方法である。従って、前の画面との差分は、“０”となり、コピーを表わすデータだけを送るため、データ量は大幅に低減でき、所望の伝送レートにして伝送ができる特徴がある。しかし、送る画面がコピー画面であるため、動画像のような動きのある画面では、あまり忠実な動画像を送ることはできない。
【００１７】
【特許文献１】
特開平１０−３３６６７０号公報（第５−６頁、図２−４）
【００１８】
【発明が解決しようとする課題】
従来の技術では、異なる伝送速度を持つネットワークが複数接続された画像伝送システムでは、例えば、カメラで撮影された画像を、異なる伝送速度を持つネットワークを介して配信を要求された、例えば、モニタに配信しようとしても画像を圧縮する画像伝送部（エンコーダ）は、最も低速なネットワークの伝送速度に合わせた低ビットレートのストリームしか生成できず、この低ビットレートのストリームしか画像受信部（デコーダ）に伝送できないため、高速なネットワークに接続された画像受信部においても低ビットレートの低品位な画像しか得られないというという問題があった。
【００１９】
また、高速なネットワークの伝送レートに画像伝送部からのストリームのビットレートを合わせれば、その高速ネットワークに接続された画像受信部では高品位な画像が得られるが、それよりも伝送速度が低いネットワークに接続された画像受信部では、全く画像が再生できないという問題がある。
【００２０】
更に、画像伝送部が、例えば、ストリーム要求があった画像受信部に、最新のストリームデータを送信する場合、伝送速度が遅く、画像伝送部の配信の間隔に間に合わない画像受信部では、不連続なストリーム伸張のため、再生画像にブロック歪が発生する問題があった。
【００２１】
本発明の目的は、伝送速度の異なる伝送路に対してもストリームデータを配信することのできる画像伝送方法および画像伝送装置を提供することである。
【００２２】
本発明の他の目的は、伝送速度が遅く、画像伝送部の配信の間隔に間に合わない低速回線を使用した画像受信部であってもブロック歪の発生しない画像伝送方法および画像伝送装置を提供することである。
【００２３】
本発明の更に他の目的は、伝送速度の異なる伝送路に対しても動画像を最適に配信することのできる画像伝送方法および画像伝送装置を提供することである。
【００２４】
【課題を解決するための手段】
本発明の画像伝送方法は、画像伝送部で動画像符号化技術によって少なくともIピクチャデータとPピクチャデータを作成し、伝送路からの要求に応じて上記Iピクチャデータと所定のPピクチャデータを伝送することにより実現できる。
【００２５】
また、本発明の画像伝送方法において、上記伝送路は、上記画像データの伝送速度の異なる伝送路からなり、上記伝送路の伝送速度に応じて、上記Pピクチャデータの数を変更して伝送する画像伝送方法である。
【００２６】
また、本発明の画像伝送方法において、上記動画像符号化技術として、ＭＰＥＧ−４またはＭＰＥＧ−２のいずれかにより上記画像データを符号化する画像伝送方法である。
【００２７】
また、本発明の画像伝送方法において、次のIピクチャデータの有無を判定し、次のIピクチャデータが有ると判定された場合、現在のIピクチャデータに連続するPピクチャデータの伝送を停止し、次のIピクチャデータから伝送する画像伝送方法である。
【００２８】
また、本発明の画像伝送方法において、上記伝送路の伝送速度に応じて上記Pピクチャデータの数を変更して伝送する場合、上記Ｉピクチャに連続するＰピクチャの数を変更する画像伝送方法である。
【００２９】
更に、本発明の画像伝送装置は、映像信号を符号化する画像伝送部と、上記画像伝送部で符号化された画像データを伝送する伝送路と、上記伝送路から伝送された上記画像データを受信する画像受信部とを有し、上記画像伝送部は、動画像符号化技術によって少なくともIピクチャデータとPピクチャデータを生成する手段と、上記伝送路からの要求に応じて上記Iピクチャデータと所定のPピクチャデータを選択する手段とから構成される。
【００３０】
また、本発明の画像伝送装置において、上記伝送路は、上記画像データの伝送速度の異なる伝送路からなり、上記伝送路からの要求に応じて上記Iピクチャデータと所定のPピクチャデータを選択する手段は、上記伝送路の伝送速度に応じて、上記Pピクチャデータの数を変更して伝送する手段から構成される。
【００３１】
また、本発明の画像伝送装置において、上記伝送路の伝送速度に応じて、上記Pピクチャデータの数を変更して伝送する手段は、上記Ｉピクチャに連続するＰピクチャの数を変更する手段から構成される。
【００３２】
【発明の実施の形態】
本発明は、画像伝送部の圧縮処理部から出力されるストリームデータのビットレートより、伝送速度が速いネットワーク伝送路に接続された画像受信部に対しては、圧縮処理部からのストリームをそのまま出力し、画像伝送部の圧縮処理部から出力されるストリームデータのビットレートよりも伝送速度が遅いネットワーク伝送路に接続された画像受信部に対しては圧縮処理部からのストリームデータの一部分だけを出力する。特に、ＭＰＥＧ−２、ＭＰＥＧ−４などの国際標準符号化方式による圧縮処理の場合、ストリームデータは、ピクチャ間で時間圧縮されているため、単純に一部分だけを出力しても、画像受信部は画像を再生することが不可能である。一般に、ストリームデータの一部分だけでも再生可能な部分は、フレーム内符号化とかイントラピクチャもしくはイントラＶＯＰ（video of plane）と呼ばれる部分である。ＭＰＥＧ−２の場合はＩピクチャに相当し、ＭＰＥＧ−４ではＩ−ＶＯＰ（以下、これらを総称してＩピクチャと呼ぶことにする。）に相当する。従って、ストリームのＩピクチャは、ストリームデータの一部分だけでも画像受信部は、画像再生が可能となる。また、ストリームの一部分だけの情報であるため、ストリーム全体のビットレートより低いネットワーク伝送路に対しても伝送することが可能となる。これにより、各画像受信部に関係するネットワークの伝送速度に最適化された画像再生を可能とするネットワーク動画像伝送装置が可能となる。
【００３３】
図１０は、本発明の一実施例の概略構成を示すブロック図である。図１０において、図１２と同じものには、同じ符号が付されている。１１１は、画像伝送部であり、ネットワーク１２２−１、１２２−２および１２２−３は、それぞれ画像伝送部１１１からの出力が直接供給されるように接続されている。このような伝送方式をユニキャスト構成と呼ばれている。以下、このユニキャスト構成について説明する。
【００３４】
図１０に示す本発明の動作について、図３を用いて説明する。図３は、本発明の画像配信方法の第１の実施例を説明するためのデータフローを示す図である。なお、先の説明では、ＭＰＥＧ方式のストリームデータは、I ピクチャ、P ピクチャＢピクチャで構成されると説明したが、ここでは、説明の都合上、I ピクチャおよびP ピクチャのみで説明する。
【００３５】
図３において、カメラ１２０からのアナログ映像信号101−１、１０１−２、・・・・１０１−ｎは、それぞれ時間方向にMPEG-4に基づく符号化変換が行われ、I ピクチャ 102 、P ピクチャ 103 が作成される。作成された I ピクチャ 102 、P ピクチャ 103 は、画像伝送部１１１内部のストリームバッファ（図示しない）に格納される。
【００３６】
画像受信部１１２−１は、ネットワーク１２２（図１０では、１２２−１）を経由し、画像伝送部１１１にストリームデータを要求する。画像伝送部１１１は、ストリームデータの要求があった画像受信部１１２−１にネットワーク１２２−１を介して I ピクチャ 102 （映像取込1）を伝送する。I ピクチャ 102（映像取込 1 ）を受信した画像受信部１１２−１は、即座にストリームデータを伸張する（I ピクチャ102′（映像伸張1））。そして、画像受信部１１２−１は、ネットワーク１２２−１を経由し、画像伝送部１１１に次のストリームデータを要求する。画像伝送部１１１は、ストリームデータの要求があった画像受信部１１２−１に次のP ピクチャ 103（映像取込2）を伝送する。P ピクチャ 103（映像取込 2 ）を受信した画像受信部１１２−１は、即座にストリームデータを伸張する（P ピクチャ103′（映像伸張2））。以降、続く Pピクチャ 103（映像取込3、4）を同じ手順で要求し、受信し、P ピクチャ 103′（映像伸長3、4）として伸張する。以降、ストリームデータの要求ごとに同じ手順を繰り返す。
【００３７】
また、画像受信部１１２−２もまた、ネットワーク１２２（図１０では、１２２−２）を経由して、画像伝送部１１１にストリームデータを要求する。画像伝送部１１１は、ストリームデータの要求があった画像受信部１１２−２にＩピクチャ102（映像取込1）を伝送する。
【００３８】
回線速度（ネットワークの伝送速度）により遅延されたＩピクチャ102（映像取込1）を受信した画像受信部１１２−２は、即座にストリームデータを伸張する（Ｉピクチャ102′（映像伸長1））。そしてまた、画像受信部１１２−２は、ネットワーク１２２−２を経由し、画像伝送部１１１に次のストリームデータを要求する。画像伝送部１１１は、ストリームデータの要求があった画像受信部１１２−２に次のP ピクチャ103（映像取込 2）を伝送する。以降、ストリームの要求ごと、続くＰピクチャ 103（映像取込 3、4）を同じ手順で要求し、受信及び伸張を繰り返す。
【００３９】
上述のようにネットワーク１２２−２を経由した画像受信部１１２−２のように、回線速度により遅延されたＰピクチャ103（映像伸張2）を受信した画像受信部１１２−２では、Ｉピクチャ102（映像取込1）、Ｐピクチャ103（映像取込2、3、4）を要求及び受信し、Ｉピクチャ102′（映像伸張1）、Ｐピクチャ103′（映像伸張2、3、4）として伸張するが、入力映像との遅延時間が徐々に増大していく。
【００４０】
また、画像受信部１１２−３は、画像受信部１１２−２より更に低速のネットワーク１２２−３を経由し、画像伝送部１１１にストリームデータを要求する。画像伝送部１１１は、ストリームデータの要求があった画像受信部１１２−３にＩピクチャ102（映像取込1）を伝送する。
【００４１】
低速の伝送速度により遅延されたＩピクチャ102（映像取込1）を受信した画像受信部１１２−３は、即座にストリームデータを伸張する（Ｉピクチャ 102′（映像伸張1））。そしてまた、画像受信部１１２−３は、低速のネットワーク１２２−３を経由し、画像伝送部１１１にストリームデータを要求する。
【００４２】
画像伝送部１１１は、ストリームデータの要求があった画像受信部１１２−３に、この時伝送できるＰピクチャ 103（映像取込3）を伝送する。以降、同じ手順でストリームデータを要求し、受信及び伸張を繰り返す。
【００４３】
このとき、画像受信部１１２−３は、Ｉピクチャ 102（映像取込1）を受信・伸張（Ｉピクチャ102′（映像伸張1））した後でＰピクチャ103（映像取込3）を伸張する（Ｐピクチャ103′（映像伸張3））。従って、前のＰピクチャ 103（映像取込2）が欠落しているため、伸張映像がブロック歪状態で表示される。
【００４４】
この様に使用するネットワークの伝送速度が遅いと、伸張画像の遅延、伸張画像のブロック歪が発生する。
【００４５】
回線速度が遅い伝送回線を使用したネットワークを利用した MPEG−４ストリーム配信では、画像受信部１１２の処理速度を高速化しても、データ伝送路の能力が低いため、画像伝送部１１１にてMPEG−４符号化変換した間隔で、画像受信部１１２がストリームデータをタイミングよく受信し、伸張できない。そのため、画像伝送部１１１でMPEG−４で符号化変換されたストリームデータを画像受信部１１２で連続的に受信、伸張を行うと、画像伝送部１１１と画像受信部１１２の伸張映像に時間差が発生し、その時間差は徐々に増加していく。
【００４６】
更に、画像伝送部１１１がストリームデータの要求をした、より低速な伝送回線を使用した画像受信部１１２−３に伝送する場合、最新のストリームデータを送信した場合でも、不連続のストリーム伸張のため映像にブロック歪が発生する。
【００４７】
本発明の第２の実施例は、このような問題を解決するためになされたもので、低速の伝送回線を使用したネットワークでも、画像伝送部１１１側にてＩピクチャとＰピクチャのストリーム管理を行い、要求が発生した画像受信部１１２から I ピクチャに続く、Ｐピクチャの送信ピクチャ数を画像伝送部１１１に通知し、画像伝送部１１１から対応するGOP（Group Of Picture）単位のストリームデータを受信するようにしたものである。
【００４８】
即ち、画像伝送部１１１では、最新のＩピクチャ102（例えば映像取込5）から要求のあった所定のPピクチャの送信ピクチャ数に達するまでストリームデータを蓄積する。蓄積が達成した時点で、Ｉピクチャとこれに続く所定のピクチャ数のPピクチャをGOP 単位に加工して、画像受信部１１２に送信することで、回線状況に合わせたストリームデータ量を任意に指定することができ、回線の効率を最大限に使用できるようにしたものである。
【００４９】
本発明の第２の実施例の動作を図１、図２、図４および図５を用いて説明する。
まず、図１によって、本発明における画像伝送部１１１のGOP単位のストリームデータを配信する状態を説明する。
【００５０】
画像伝送部１１１は、カメラ１２０からのアナログ映像データ１０１−１、１０１−２、・・・・１０１−ｎを時間方向にMPEG−４により符号化変換し、Ｉピクチャ102、Ｐピクチャ103を作成し（図３に示す。）、画像伝送部１１１内部のストリームバッファ（図示しない）に格納する。このＩピクチャ、Ｐピクチャのストリームバッファへの格納時の画像伝送部１１１の処理動作の一例を図４に示すフローチャートを基に説明する。
【００５１】
図４において、ストリームデータを格納する場合、まずステップ402では、格納しようとするストリームデータがＩピクチャか、Ｐピクチャかを判定し、Ｉピクチャの場合にはステップ403に進み、Ｐピクチャの場合にはステップ407に進む。
【００５２】
ステップ403では、ストリームバッファ格納位置情報、画像受信部送信バッファ位置をＩピクチャ位置に設定する。
【００５３】
次に、ステップ404では、現在使用中のストリームバッファ要素を判定し、現在使用中のストリームバッファ要素が要素1（図１に示す。）ならばステップ406に進み、要素2ならばステップ405に進む。
【００５４】
ステップ405では、格納しようとするストリームバッファ要素を現在使用されていない要素１に切り替え、ステップ407に進む。また、ステップ406では、格納しようとするストリームバッファ要素を現在使用されていない要素2に切り替えステップ407に進む。
【００５５】
ステップ407では、ステップ405または406で切替えた現在のストリームバッファ要素、ストリームバッファ格納位置が示すストリームバッファにストリームデータを格納する。ステップ408では、ストリームバッファ格納位置を更新する。
【００５６】
次に、本発明の第２の実施例において、Ｉピクチャ、Ｐピクチャ配信（伝送）時における画像伝送部１１１の処理動作を図５に示すフローチャートを基に説明する。図５において、画像伝送部１１１が画像受信部（例えば、画像受信部１１２−１）からのストリームデータの送信要求を受信した場合、ステップ502では、画像受信部１１２−１からのＰピクチャ要求数を判定し、ストリームバッファに格納されたストリームデータが要求数を満たさない場合には、ステップ503に分岐し、要求Ｐピクチャ数を満足した場合には、ステップ504進む。
【００５７】
ステップ503では、ストリームデータの格納を行い、ステップ502戻る。ステップ504では、Ｉピクチャから始まる要求Ｐピクチャ数をGOP単位として加工し、ステップ505に進む。
【００５８】
ステップ505では、GOP単位で、画像受信装置１１２−１にストリームデータを送信する。
【００５９】
図２は、本発明の第２の実施例によって画像伝送部１１１から配信された GOP単位のストリームデータの画像受信部１１２−１の受信状態の動作を説明するための図である。なお、図１と同じものには、同じ符号が付されている。図２において、画像受信部１１２−１は、画像伝送部１１１でGOP単位のストリームデータに加工されたＩピクチャ102′（映像伸張1）およびＰピクチャ103′（映像伸張２、３、４）が受信され、伸張される。なお、画像受信部１１２−２および１１２−３においても同様であり、ここでは説明を省略する。
【００６０】
このように、本実施例によれば、使用するネットワークの伝送速度に合わせ、画像伝送部と画像受信部のMPEG−４ストリーム遅延時間を最小限にし、ストリームの連続性を確保し、要求されるＰピクチャ数を加工したGOP単位のストリームデータの配信を行うことができる。
【００６１】
次に、本発明の第３の実施例について説明する。第3の実施例では、低速伝送回線のネットワークを使用した場合でも、画像伝送部１１１側にてＩピクチャとＰピクチャのストリームデータの管理を行い、要求が発生した画像受信部１１２に送信するＩピクチャとＰピクチャの送信来歴を画像伝送部１１１にて管理する。
【００６２】
また、画像伝送部１１１が最新のＩピクチャを作成したとき、画像受信部１１２（例えば、画像受信部１１２−１、画像受信部１１２−２、画像受信部１１２−３）への送信来歴を初期化し、画像受信部１１２から次の要求が発生した場合、次のＩピクチャ102（映像取込5）から送信することで、画像伝送部１１１と画像受信部１１２との遅延時間を最小にするようにする。
【００６３】
更に、ストリームデータの連続性を確保することができ、本発明の第１の実施例での画像受信部１１２のような問題も解消できる。
【００６４】
本発明の第３の実施例は、第２の実施例における図５のＩピクチャ、Ｐピクチャ配信（伝送）時における画像伝送部１１１の処理動作の一例を示すフローチャートを図６のフローチャートによって説明する。図６において、画像受信部１１２からのストリームデータの送信要求が発生した場合、ステップ602では、画像受信部１１１の送信バッファ位置が示すストリームデータを送信する。次に、ステップ 603 では、画像受信部送信バッファ位置を更新する
図７は、本発明の第３の実施例の画像伝送部の動作を説明するためのデータフローを示す図である。なお、図３と同じものには、同じ符号が付されている。図７において、画像伝送部１１１から配信されたストリームデータの受信時間が、画像受信部１１２−２では、遅延して受信された場合を示している。Ｐピクチャ103（映像取込3）を受信・伸長（Ｐピクチャ103′（映像伸張3））した後、画像伝送部１１１に画像受信部１１２−２から次のストリームデータの送信要求があった場合、画像伝送部１１１は、Ｐピクチャ103（映像取込4）を配信せずに、Ｉピクチャ102（映像取込5）を配信することで、画像伝送部１１１と画像受信部１１２−２の遅延時間を最小限に制限することができるように構成されている。
【００６５】
また、図７に示す画像伝送部１１１から配信されたストリームデータの受信時間が、画像受信部１１２−３では、次のＩピクチャ102（映像取込5）に重なった場合を示している。この場合、続くＰピクチャ 103（映像取込2、3、4）を受信しても伸長する時間がないことを示している。従って、画像受信部１１２−３からのストリームデータの送信要求の時間に応じて、画像伝送部１１１は、Ｐピクチャ103 を送信せずに、次のIピクチャ102（映像取込5）を送信する。これによって、画像受信部１１２−３は、Ｉピクチャ102（映像取込5）を受信できるので、その画像の表示を行うことができる。
【００６６】
以上説明したように、上記実施例によれば、アナログ回線、インターネット、イントラネット、専用回線などの通信回線の伝送速度に合わせ、MPEG-4等のストリームデータの配信量を変更することにより、異なる伝送速度の伝送路に接続された画像受信部１１２で受信したストリームデータは、連続再生可能なGOP 単位で扱う画像を受信することができる。
【００６７】
ところで、上述した本発明の実施例で、伝送速度の速い伝送路と伝送速度の遅い伝送路が混在している場合、伝送速度の遅い伝送路に画像伝送部１１１からストリームデータを伝送する場合、画像伝送部１１１内で、Pピクチャ103を適宜削除して伝送することで、伝送路の伝送速度に合ったストリームデータを画像受信部１１２に伝送することについて説明した。しかし、この方法を実施する場合、単純に符号化データの一部を削除すると以下に説明するような問題が発生する。
【００６８】
図８は、この問題を説明するための図である。図８において、Ｉは、Ｉピクチャ８０−１、８０−２、Ｐは、Ｐピクチャ８１−１、８１−２、・・・８１−７を表わしている。なお、前述したように、Ｂピクチャは、説明の都合上省略してある。例えば、ＭＰＥＧ−４は、フレーム間予測符号化が基本であり、周期的なＩピクチャ８０と予測符号化されるＰピクチャ８１で構成される。ここで、図８に示すように、全てのＩピクチャとＰピクチャが伝送路の伝送速度の関係から送れないとすると、ＩピクチャまたはＰピクチャのいずれかのピクチャを削除する必要がある。前にも説明したように、Ｉピクチャは、それだけで画像を再生することができるが、Ｐピクチャは、前の画像データとの差分のデータであるため、Ｐピクチャだけでは画像を再生することができない。
【００６９】
従って、いずれかのＰピクチャの一部を削除して伝送した場合、データは、伝送されるが、削除したＰピクチャ以降のＰピクチャは、前の画像データがないので、画像を再生されないと言う問題が発生する。例えば、3個のＰピクチャを削除する場合、図８に示すようにＰピクチャ８１−２、８１−３および８１−４を削除（図８では、×印で示してある。）すると、それ以降のＰピクチャ８１−５、８１−６および８１−７の画像を再生できない。しかし、Ｉピクチャは、その前のフレームとの予測なしに符号化されているので、前のデータを削除してもＩピクチャ８０−２だけで画像を再生できる。
【００７０】
図９は、本発明の他の一実施例を説明するための図であり、図８と同じものには同じ符号が付されている。本発明においては、部分的にデータ（Ｐピクチャ）を削除しても、Ｉピクチャからは画像の再生が可能であることに注目して、所定数のＰピクチャを削除する場合、Ｉピクチャの直前のＰピクチャから所定数前までのＰピクチャを削除する。即ち、図９に示すように、例えば、3個のＰピクチャを削除する場合、Ｉピクチャの直前のＰピクチャ８１−５、８１−６および８１−７を削除する。なお、削除するＰピクチャの数は、伝送する伝送路の伝送速度に応じて変更する。即ち、伝送レート適応型パケット伝送方式を採用することで、伝送速度の異なる伝送路あるいはネットワークが混在するシステムにおいても、適宜動画像を配信することが可能となる。
【００７１】
図１１は、本発明に使用する画像伝送部１１１の一実施例の概略構成を示すブロック図である。図１１において、カメラ１２０から画像伝送部１１１に映像信号が入力される。画像伝送部１１１の内部は、圧縮処理部９０、ストーリーム出力部９１−１、９１−２および９１−３、ネットワークインターフェース部９２、制御部９３からなっている。圧縮処理部９０は、入力された映像信号をＭＰＥＧ−２あるいはＭＰＥＧ−４の圧縮方法でＩピクチャおよびＰピクチャに符号変換され、記憶部（図示せず）に記憶される。一方、符号変換されたストリームデータは、それぞれストリーム出力部９１−１、９１−２および９１−３に印加される。
【００７２】
ストリーム出力部９１−１、９１−２および９１−３は、制御部９３からの制御信号により、その動作が制御され、それぞれの出力をネットワークインターフェース部９２に出力する。ネットワークインターフェース部９２は、それぞれの出力をパケット多重化し、ストリームデータ９４として、各ネットワーク１２２を介して画像受信部１１２に配信する。なお、ストリームデータ９４は、ネットワーク（図１０に示す。）に接続されるため、一般にはＩＰパケットなどのパケット多重となる。また、図１１では、ストリーム出力部９１は、３個示されているが、図１０に示すように画像受信部１１２が３台接続されているために、３台としたものであり、これに限定されるものではない。
【００７３】
次に図１１の動作について説明する。圧縮処理部９０で符号化されたストリームデータは、例えば、２Ｍｂｐｓに圧縮されたＭＰＥＧ−２のストリームデータと仮定する。前述したようにＭＰＥＧ−２で圧縮符号化されたストリームデータは、ピクチャ毎に３つの異なる符号化モードで圧縮され、それぞれ、Ｉピクチャ、ＰピクチャおよびＢピクチャから構成されている。そして映像信号は、３０フレーム／秒であることから、１秒間に１５ピクチャが２回繰り返される。従って、１秒間のＩピクチャ、ＰピクチャおよびＢピクチャのそれぞれの数は、以下のように表わされる。
【００７４】
Ｉピクチャ：２枚、Ｐピクチャ：８枚、Ｂピクチャ：２０枚
また、各ピクチャの符号量の比率は、画像の複雑さにも依存するがおおよそ以下のようである。
【００７５】
Ｉ：Ｐ：Ｂ＝１０：７：５・・・・・・・・・・・・・・・・（１）
ここで、全体を２Mbpsとした場合、Ｉピクチャ８０−１および８０−２だけのビットレートを、式（１）の比率で算出すると式（２）のようになる。
【００７６】
２２７Kbps＝２Mbps×（(10×2)／(10×2＋7×8＋5×20)）・・・（２）
また、Ｉピクチャ８０−１および８０−２とそのＩピクチャにそれぞれ１枚のＰピクチャ（Ｐピクチャは、合計２枚となる）を送るときのビットレートを、式（１）の比率で算出すると式（３）のようになる。
【００７７】
３８６Kbps＝２Mbps×（(10×2＋7×2)／(10×2＋7×8＋5×20)）・・（３）
以上のように伝送するＰあるいはＢピクチャの枚数により伝送する画像のビットレートを変えることができることが分かる。
【００７８】
ここで図１１の動作であるが、制御部９３の制御信号により、例えば、ストリーム出力部９１−１から出力されるストリームデータは、圧縮処理部９０からのストリームデータ、即ち、２Mbpsのビットレートでネットワークインターフェース部９２、ＬＡＮ１２２−１を介して画像受信部１１２−１に伝送される。
【００７９】
また、ストリーム出力部９１−２では、制御部９３の制御、即ち、式（３）に基づいて、Ｉピクチャとそれに続くPピクチャ1枚を選択し、３８６Kbpsのビットレートで、ネットワークインターフェース部９２、ＡＤＳＬ１２２−２を介して画像受信部１１２−２に伝送される。
【００８０】
更に、ストリーム出力部９１−３では、制御部９３の制御、即ち、式（２）に基づいて、２枚のＩピクチャのみを選択し、２２７Kbpsのビットレートで、ネットワークインターフェース部９２、第３世代携帯電話網１２２−３を介して画像受信部１１２−３に伝送される。
【００８１】
なお、制御部９３は、ネットワークインターフェース部９２から伝送路１２２の伝送レートに応じた信号が印加され、この伝送レート信号に応じてストリーム出力部９１−１、９１−２、９１−３の送出するデータ量を制御し、所謂、伝送レート適応型パケット伝送を実現している。
【００８２】
以上説明したように本発明は、異なる伝送レートを有するネットワークに対して、例えば、２Ｍｂｐｓ、３８６ｋｂｐｓあるいは２２７ｋｂｐｓ等のようにビットレートの異なるストリームデータを配信でき、それを受信する画像受信部では、所望とする最適な動画像を再生することが可能となる。
【００８３】
図１３は、本発明に使用する画像伝送部１１１の他の一実施例の概略構成を示すブロック図である。図１３において、カメラ１２０からの映像信号が入力端子１３０を介して画像伝送部１１１に映像信号が入力される。画像伝送部１１１の内部は、符号化処理部１３１およびプロトコル制御部１３２からなる。なお、本実施例では、符号化処理部１３１は、ＭＰＥＧ−４の符号化処理部で説明するが、これに限られるものではなく、ＭＰＥＧ−２等の他の方式の符号化処理部で構成することも可能である。プロトコル制御部１３２は、Ｉ−ＶＯＰ周期バッファ１３３、ＲＴＰ（real time transport protocol）パケット処理部１３４−１、１３４−２、１３４−３およびＴＣＰ（transmission control protocol）＿ＵＤＰ（user datagram protocol）処理部１３５から構成されている。なお、ＴＣＰ＿ＵＤＰ処理部１３５の出力は、出力端子１３６から各々のネットワーク１２２に送られる。ここで、ＲＴＰパケット処理部が３個示されているが、本実施例の場合、異なる伝送速度の伝送路１２２が３種類であるためであり、３個に限定されるものではない。
【００８４】
而して、プロトコル制御部１３２を上記のように構成することにより伝送レート適応型パケット伝送を実現している。以下この構成について、詳細に説明する。なお、Ｉ−ＶＯＰ周期バッファ１３３は、少なくてもＩ−ＶＯＰ（先に説明したＩピクチャに相当する。）から次のＩ−ＶＯＰの直前までの符号化データを蓄積可能な容量を有するバッファである。
【００８５】
ＲＴＰパケット処理部１３４は、ＭＰＥＧ−４符号化データなどをネットワーク上で伝送するのに適したパケットを生成する。即ち、ＲＴＰの基本仕様に従い、符号化データを各ＶＯＰ毎に１〜数パケットに分割したパケットにし、次のＴＣＰ_ＵＤＰ処理部１３５へ出力する。
【００８６】
ＴＣＰ_ＵＤＰ処理部１３５では、コネクション型のＴＣＰプロトコルか、コネクションレス型のＵＤＰプロトコルかの何れか一方のプロトコルでＲＴＰパケットをネットワーク１２２へ伝送する。なお、この選択は、ユーザがパソコン等でリモート設定できるように構成することもできる。
【００８７】
プロトコル制御部１３２は、主にプロセッサによるソフトウェア処理であり、ＲＴＰパケット処理部１３４は、ユニキャストで同時配信するため伝送路に接続される画像受信部１１２の数分だけ動作する。
【００８８】
ＭＰＥＧ−４符号化処理部１３１は、映像信号を入力してＭＰＥＧ−４符号化データを出力し、Ｉ−ＶＯＰ周期バッファ１３３に符号化データを書き込む。ＲＴＰパケット処理部１３４は、ＴＣＰ＿ＵＤＰ処理部１３５からの伝送レートに応じたレディー信号（図１３では点線で示す信号。）により、Ｉ−ＶＯＰ周期バッファ１３３から符号化データを読み出す。即ち、各ＲＴＰパケット処理部１３４−１、１３４−２、１３４−３は、それぞれの画像受信部１１２−１、１１２−２、１１２−３までの伝送路レート（伝送速度）に従ったデータ量をＩ−ＶＯＰ周期バッファ１３３から読み出すことになる。従って、必然的に低レート伝送路に対してはＩ−ＶＯＰ周期バッファ１３３内で画像データが破棄されることになる。このようにして自動的に伝送路の伝送速度にあわせて画像データが伝送される。
【００８９】
なお、ＴＣＰ＿ＵＤＰ処理部１３５で伝送レートに応じたレディー信号を生成する方法は、選択されたプロトコルで異なる。ＴＣＰプロトコルの場合は、コネクション型であるため符号化処理部１３１からの伝送パケットに対する応答により、自動的に伝送レートに応じたレディー信号が生成可能である。
【００９０】
一方、ＵＤＰプロトコルの場合は、コネクションレス型のため自動的にレディー信号を生成することはできない。そこで、画像受信部１１２から、定期的に伝送されるパケット破棄率情報をＴＣＰ＿ＵＤＰ処理部１３５で収集する。この定期的な情報から、パケット破棄率がゼロとなるようにＴＣＰ＿ＵＤＰ処理部１３５がパケットの伝送レートを制御し、それに応じたレディー信号を生成する。これにより、伝送レートに応じたレディー信号の生成が可能となる。
【００９１】
次に、Ｉ−ＶＯＰ周期バッファ１３３の制御について、図１４を用いて説明する。Ｉ−ＶＯＰ周期バッファ１３３は、リングバッファ１４１とＩ−ＶＯＰタイムコードレジスタ１４２から構成される。基本的には、リングバッファ１４１にＭＰＥＧ−４符号化処理部１３１からの符号化データが順次書き込まれ、これをＲＴＰパケット処理部１３４が順次読み出す動作となる。図１４において、リングバッファ１４１は、書き込み／読み出し方向が同一であり、また最終アドレスでスタートに戻る一般的なリングバッファ動作である。
【００９２】
また、Ｉ−ＶＯＰタイムコードレジスタ１４２には、リングバッファ１４１にＩーＶＯＰ（図では、Ｉと表示）を書き込む時点で、Ｉ−ＶＯＰのヘッダの時間情報を基にタイムコードを算出し格納する。２回目以降のＩ−ＶＯＰのタイムコードは、Ｉ−ＶＯＰタイムコードレジスタ１４１に上書きする。これにより、Ｉ−ＶＯＰタイムコードレジスタ１４１にはリングバッファ１４１に書き込んだ最新のＩ−ＶＯＰのタイムコードが常に格納されていることになる。
【００９３】
図１４では、書き込みポインタＷＰでリングバッファ１４１にＰ(４)を書き込み、読み出しポインタＲＰでＰ(３)を読み出し始める状態を示し、Ｉ−ＶＯＰタイムコードレジスタ１４２には、Ｉ(０)のタイムコードが格納されている。ここで、実際の動作においては、各画像フレームの読み出し時点で次に説明する条件判断処理をし、伝送レート適応型パケット伝送を行っている。
【００９４】
即ち、読み出し条件判断処理は、以下の通りである。なお、ｄ秒は、システムを構成するI-VOP周期などにより適宜設定される。
▲１▼ ｄ秒＞（I-VOPタイムコードレジスタ値−読み出し対象ＶＯＰのタイムコード）の場合
最新I-VOPに読み出しポインタを移動して読み出す。
▲２▼ ▲１▼の条件でない場合
対象フレームを読み出す。
【００９５】
伝送レートが高い図１４の場合、Ｉ−ＶＯＰタイムコードレジスタ１４１に格納されているＩ（０）よりも時間の遅い（タイムコードの大きい）Ｐ（３）を読み出す状態であるため、読み出し条件判断処理の▲１▼の条件は成立しない。そこで、▲２▼の読み出し対象フレームＰ（３）をそのまま読み出すことになる。
【００９６】
一方、図１５に示すように低レート伝送路に対しては、読み出し速度が書き込み速度より遅くなる場合がある。この場合の読み出し条件判断処理では、Ｉ−ＶＯＰタイムコードに格納されているＩ（ｎ）よりも時間の早い（タイムコードの小さい）Ｐ（３）を読み出すことになる。従って、その差分がｄ秒以上となるため、条件判断処理の▲１▼の条件が成立することになり、Ｉ（ｎ）に読み出しポインタＲＰを移動してＩ（ｎ）を読み出す動作となる。
【００９７】
即ち、この動作によりＰ（３）〜Ｐ（ｎ−１）の読み出しがスキップされ、Ｉ−ＶＯＰ周期バッファ１３３内部でＩ−ＶＯＰ直前のデータが破棄されたことになる。このように読み出し速度は、伝送レートに対応したものとなる。これにより伝送レート適応型パケット伝送が可能となる。なお、読み出し条件判断処理のｄ秒は、Ｉ−ＶＯＰの周期やネットワーク伝送ジッタなどを考慮して設定される。
【００９８】
また、この伝送レート適応型パケット伝送方式は、回線費用が低コストなベストエフォートの伝送路に対しても有効である。つまり、伝送レートの動的な変動に対しても自動的に適応した画像符号化データの伝送が可能となる。
以上、本発明について詳細に説明したが、本発明は、ここに記載された画像伝送方法および画像伝送装置に限定されるものではなく、上記以外に、異なる伝送速度を有する伝送路に動画像を配信する動画像伝送システムに広く適応することが出来ることは、言うまでも無い。
【００９９】
【発明の効果】
本発明では、伝送速度の異なる複数の伝送路で構成されたシステムにおいて、接続されている画像受信部全てに対し、最適なビットレートのストリームデータを一つの画像伝送部で配信でき、しかも、伝送路に接続されている全ての画像受信部で所望の品質の動画像を再生することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例を説明するためのデータフローを示す図である。
【図２】本発明の他の一実施例を説明するためのデータフローを示す図である。
【図３】本発明の更に他の一実施例を説明するためのデータフローを示す図である。
【図４】本発明のＩピクチャ、Ｐピクチャの格納時の画像伝送部の処理動作の一実施例を示すフローチャートである。
【図５】本発明のＩピクチャ、Ｐピクチャの伝送時の画像伝送部の処理動作の一実施例を示すフローチャートである。
【図６】本発明のＩピクチャ、Ｐピクチャの伝送時の画像伝送部の処理動作の他の一実施例を示すフローチャートである。
【図７】本発明の他の一実施例を説明するためのデータフローを示す図である。
【図８】本発明の更に他の一実施例を説明するための原理説明図である。
【図９】本発明の更に他の一実施例を説明するための原理説明図である。
【図１０】本発明の一実施例のネットワーク画像伝送システムの概略構成を示すブロック図である。
【図１１】本発明の一実施例の画像伝送部の具体的構成を示すブロック図である。
【図１２】従来のネットワーク画像伝送システムの一例の概略構成を示すブロック図である。
【図１３】本発明の一実施例の画像伝送部の他の一実施例の具体的構成を示すブロック図である。
【図１４】図１３に示す画像伝送部の動作を説明するための図である。
【図１５】図１３に示す画像伝送部の動作を説明するための図である。
【符号の説明】
９０：圧縮処理部、９１：ストリーム出力部、９２：ネットワークインターフェース部、９３：制御部、９４：ストリームデータ、１０１：アナログ映像信号、１０２、１０２'：Ｉピクチャ、１０３、１０３'：Ｐピクチャ、１１１：画像伝送部、１１２：画像受信部、１２０：テレビカメラ、１２２：ネットワーク、１２４：モニタ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image transmission method and a transmission apparatus, and more particularly to a moving image transmission method and a transmission apparatus for compressing a moving image and transmitting the moving image to a network.
[0002]
[Prior art]
In remote image monitoring systems or image distribution systems, as represented by public lines and the Internet, needs for moving image transmission apparatuses using an IP (Internet Protocol) network as a conduction path are rapidly expanding. For example, conventionally, in the delivery of image stream data (composed of compressed data) in MPEG-4 (Moving Picture Experts Group Phase 4), the image transmission unit encodes the image data to be sent by MPEG-4. The converted image data is temporarily stored in the storage unit of the image transmission unit as stream data. The image data includes images such as still images, moving images, CG (Computer Graphics), and animation, and also includes voice, audio, synthetic music, and the like. These image data are distributed from the storage unit in response to a request from the network.
[0003]
In order to distribute such image data, in particular, moving images, it is necessary to digitize and transmit, but when digitized, the amount of information becomes enormous, so that the transmission capacity of the information is reduced. In addition, video compression technology is required. Here, as a well-known moving image compression method, a compression world standard method such as MPEG-2 or MPEG-4 is used.
[0004]
FIG. 12 is an example of a general network type moving image distribution system, and is a block diagram showing a schematic configuration of a moving image monitoring system, for example. In FIG. 12, for example, a case where a moving image of one monitoring camera 120 is monitored by video monitors 124-1, 124-2, and 124-3 at three remote locations is shown. In particular, when there is no need to distinguish between them, they are collectively referred to as a video monitor 124. Further, as a frequently used network, for example, a third generation such as a local area network (LAN) 122-1, an asymmetric digital subscriber line (ADSL) 122-2, and a wide-code division multiple access (W-CDMA). A cellular phone network 122-3 is shown. In addition, when it is not necessary to distinguish this, the network 122 is named generically. These networks 122 are composed of transmission lines having different transmission speeds. For example, the LAN 122-1 is a relatively high-speed network with a transmission speed of about 6 Mbps, the ADSL 122-2 is a 512 kbps, and the third-generation mobile phone network 122-3 is a low-speed network of 384 kbps.
[0005]
Thus, the monitoring image captured by the camera 120 is encoded by the image transmission unit 121 such as an encoder, and the image reception units 123-1, 123-2, and 123-such as a decoder via the network 122. 3 is decoded and is displayed as a monitoring image on the image monitors 124-1, 124-2, and 124-3.
[0006]
An image transmission unit 121 that compresses a moving image is compressed at a predetermined bit rate (compression rate) by a single compression processing unit 125 inside the image transmission unit, and image compression data (stream) generated therefrom is converted into an image reception unit. Each image receiving unit expands the stream to the original image data and outputs the original image data to the monitor. In FIG. 12, a stream is sequentially transmitted from the image transmission unit 121 to the networks 122-1, 122-2, and 122-3 in series. Such a transmission method is called a multicast configuration.
[0007]
In the operation of this system, for example, the image receiving unit 123-1 requests stream data from the image transmitting unit 121 via the network 122-1. The image transmission unit 121 distributes the stream data to the image reception unit 123-1 that has requested stream data.
[0008]
The image receiving unit 123-1 receives the stream data, expands the compressed stream data, displays the stream data on the monitor 124-1, and records it in a recording unit (not shown) as necessary. Next, the image reception unit 123-1 requests the next stream data from the image transmission unit 121 via the network 122-1.
[0009]
The image transmission unit transmits the next stream data to the image reception unit 123-1 that requested the stream data. The image receiving unit 123-1 receives the next stream data, expands the compressed stream data, displays it on the monitor 124-1, and records it in the recording unit as necessary.
[0010]
The same applies to the subsequent processes, and the other image receiving units 123-2 and 123-3 continuously perform stream data transmission requests, reception, and decompression.
[0011]
Thus, in the case of the above-described multicast configuration, since there is one compression processing unit 125 in the image transmission unit 121, the streams transmitted to the image reception units 123-1, 123-2, and 123-3. Are exactly the same stream, and the bit rate (compression rate) of the stream is also the same. Therefore, as a matter of course, the bit rate of the stream data output from the image transmission unit 121 is the target image reception unless it matches the network with the slowest transmission speed among the networks 122 up to each image reception unit 123. It is impossible to expand the moving image in all the sections 123.
[0012]
In the case of FIG. 12, since the third generation mobile phone network 384 kbps becomes a bottleneck, the bit rate of the stream output from the image transmission unit 121 is limited to 384 kbps or less. However, in this case, the image receiving unit 123-1 connected to the high-speed network 122-1 can decompress the high bit rate stream data of about 6 Mbps and output a high-quality image to the video monitor 124-1. Nevertheless, only the low-quality image of about 384 kbps can be obtained due to the above-mentioned limitation. Similarly, the image receiving apparatus 123-2 connected to the 512 Kbps network 122-2 can only obtain a low-quality image of about 384 kbps.
[0013]
Further, even if the image transmission apparatus 121 outputs a stream of about 4 Mbps in accordance with the high-speed network 122-1, it cannot be transmitted at 512 kbps of ADSL or 384 kbps of the third generation mobile phone network. No stream data is transmitted to 123-3, and no moving image is output.
[0014]
Here, an MPEG image compression technique will be described. MPEG-2 and MPEG-4 compressed image data, that is, stream data includes Intra Picture (hereinafter referred to as I picture), Predictive Picture (hereinafter referred to as P picture) and Biderectionally Predictive Picture (hereinafter referred to as B picture). ), And each picture is compressed in three different encoding modes. An I picture is data obtained by coding and converting all image data of one frame of analog video within the frame. Therefore, when receiving this I picture, the image receiving unit 123 can reproduce the image with only one I picture. A P picture is obtained by performing inter-frame prediction in one direction from previous image data (I picture or P picture) and encoding only difference data. Therefore, the image receiving unit 123 cannot reproduce an image only with the received P picture, and cannot reproduce an image without an original I picture. Further, if there is no P picture in the middle, an incorrect image, for example, an image in which block distortion or the like has occurred. A B picture is obtained by performing inter-frame prediction in two directions from two image data of the previous image data and the next image data, and encoding only difference data. As with the P picture, the original picture cannot be reproduced with only the B picture. The P picture and the B picture reduce the redundancy in the time axis direction with respect to the preceding and succeeding pictures, so that the amount of compressed data can be reduced, but the original picture cannot be reproduced by itself. An example of a general MPEG-2 picture combination is shown below.
(I) (B) (B) (P) (B) (B) (P) (B) (B) (P) (B) (B) (P) (B) (B) (I) (B ) (B) (P) ...
In this way, an I picture is present once in 15 pictures, and this is generally repeated.
[0015]
Now, an image transmission apparatus (for example, refer to Patent Document 1) that transmits an image to a network having a different transmission speed by the MPEG method is known. This image transmission device changes the bit rate of the encoded data without changing the number of pictures to be transmitted, i.e., based on the difference between the bit rate of the encoded data and the predetermined transmission rate of the transmission line, This is a device that generates a copy screen that is a copy of the screen for the transmitted encoded data and transmits the copy screen in place of the data to be originally transmitted, thereby reducing the amount of data and transmitting at a predetermined transmission rate.
[0016]
This method is a method of copying a previously transmitted screen. Accordingly, the difference from the previous screen is “0”, and only the data representing the copy is sent, so that the amount of data can be greatly reduced and transmission can be performed at a desired transmission rate. However, since the screen to be sent is a copy screen, it is not possible to send a very faithful moving image on a moving screen such as a moving image.
[0017]
[Patent Document 1]
JP-A-10-336670 (page 5-6, FIG. 2-4)
[0018]
[Problems to be solved by the invention]
In the conventional technology, in an image transmission system in which a plurality of networks having different transmission speeds are connected, for example, an image captured by a camera is requested to be distributed via a network having different transmission speeds, for example, to a monitor. An image transmission unit (encoder) that compresses an image even if it is to be distributed can only generate a low bit rate stream that matches the transmission speed of the slowest network, and only this low bit rate stream is sent to the image reception unit (decoder). Since transmission is not possible, there is a problem that only a low-quality image with a low bit rate can be obtained even in an image receiving unit connected to a high-speed network.
[0019]
In addition, if the bit rate of the stream from the image transmission unit is matched with the transmission rate of the high-speed network, a high-quality image can be obtained at the image reception unit connected to the high-speed network, but the network has a lower transmission rate than that. There is a problem in that the image receiving unit connected to can not reproduce the image at all.
[0020]
Further, for example, when the image transmission unit transmits the latest stream data to the image reception unit that requested the stream, the transmission rate is low and the image reception unit that is not in time for the distribution of the image transmission unit is discontinuous. There is a problem that block distortion occurs in the reproduced image due to the stream expansion.
[0021]
An object of the present invention is to provide an image transmission method and an image transmission apparatus capable of distributing stream data to transmission paths having different transmission speeds.
[0022]
Another object of the present invention is to provide an image transmission method and an image transmission apparatus in which block distortion does not occur even in an image receiving unit that uses a low-speed line that has a low transmission speed and does not meet the distribution interval of the image transmission unit. That is.
[0023]
Still another object of the present invention is to provide an image transmission method and an image transmission apparatus capable of optimally delivering a moving image to transmission paths having different transmission speeds.
[0024]
[Means for Solving the Problems]
According to the image transmission method of the present invention, at least I picture data and P picture data are generated by a video encoding technique in an image transmission unit, and the I picture data and predetermined P picture data are transmitted in response to a request from a transmission path. This can be achieved.
[0025]
In the image transmission method of the present invention, the transmission path includes transmission paths having different transmission speeds of the image data, and the transmission is performed by changing the number of the P picture data according to the transmission speed of the transmission path. This is an image transmission method.
[0026]
In the image transmission method of the present invention, the image data is encoded by either MPEG-4 or MPEG-2 as the moving image encoding technique.
[0027]
Also, in the image transmission method of the present invention, the presence or absence of the next I picture data is determined. If it is determined that there is the next I picture data, the transmission of the P picture data continuous to the current I picture data is stopped. This is an image transmission method for transmitting from the next I picture data.
[0028]
In the image transmission method of the present invention, when the transmission is performed by changing the number of the P picture data according to the transmission speed of the transmission path, the image transmission method changes the number of P pictures continuous to the I picture. is there.
[0029]
Furthermore, the image transmission apparatus of the present invention includes an image transmission unit that encodes a video signal, a transmission path that transmits image data encoded by the image transmission unit, and the image data transmitted from the transmission path. An image receiving unit for receiving, and the image transmission unit generates at least I picture data and P picture data by moving picture coding technology, and the I picture data according to a request from the transmission path. And means for selecting predetermined P picture data.
[0030]
In the image transmission apparatus of the present invention, the transmission path includes transmission paths having different transmission speeds of the image data, and selects the I picture data and predetermined P picture data according to a request from the transmission path. The means includes means for changing the number of the P picture data according to the transmission speed of the transmission path.
[0031]
Further, in the image transmission apparatus of the present invention, the means for changing the number of P picture data in accordance with the transmission speed of the transmission path includes means for changing the number of P pictures continuous to the I picture. Composed.
[0032]
DETAILED DESCRIPTION OF THE INVENTION
The present invention outputs the stream from the compression processing unit as it is to the image reception unit connected to the network transmission path whose transmission speed is higher than the bit rate of the stream data output from the compression processing unit of the image transmission unit. However, only a part of the stream data from the compression processing unit is output to the image receiving unit connected to the network transmission path whose transmission speed is slower than the bit rate of the stream data output from the compression processing unit of the image transmission unit. To do. In particular, in the case of compression processing using an international standard encoding method such as MPEG-2 or MPEG-4, since the stream data is time-compressed between pictures, the image receiving unit can be output even if only a part is output. It is impossible to reproduce the image. In general, a part that can be reproduced by only a part of stream data is a part called intra-frame coding or intra picture or intra VOP (video of plane). MPEG-2 corresponds to an I picture, and MPEG-4 corresponds to an I-VOP (hereinafter collectively referred to as an I picture). Therefore, the image receiving unit can reproduce the image even if only a part of the stream data is the I picture of the stream. Further, since the information is only a part of the stream, it can be transmitted over a network transmission path lower than the bit rate of the entire stream. As a result, a network moving image transmission apparatus capable of reproducing an image optimized for the transmission speed of the network related to each image receiving unit is possible.
[0033]
FIG. 10 is a block diagram showing a schematic configuration of an embodiment of the present invention. 10, the same components as those in FIG. 12 are denoted by the same reference numerals. Reference numeral 111 denotes an image transmission unit, and the networks 122-1, 122-2, and 122-3 are connected so that the output from the image transmission unit 111 is directly supplied thereto. Such a transmission method is called a unicast configuration. Hereinafter, this unicast configuration will be described.
[0034]
The operation of the present invention shown in FIG. 10 will be described with reference to FIG. FIG. 3 is a diagram showing a data flow for explaining the first embodiment of the image distribution method of the present invention. In the above description, MPEG stream data has been described as being composed of I picture, P picture, and B picture, but here, for convenience of description, only I picture and P picture will be described.
[0035]
In FIG. 3, analog video signals 101-1, 101-2,... 101-n from the camera 120 are subjected to encoding conversion based on MPEG-4 in the time direction, respectively, so that I picture 102, P picture 103 is created. The created I picture 102 and P picture 103 are stored in a stream buffer (not shown) in the image transmission unit 111.
[0036]
The image reception unit 112-1 requests stream data from the image transmission unit 111 via the network 122 (122-1 in FIG. 10). The image transmission unit 111 transmits the I picture 102 (video capture 1) via the network 122-1 to the image reception unit 112-1 that has requested stream data. The image receiving unit 112-1 that has received the I picture 102 (video capture 1) immediately decompresses the stream data (I picture 102 '(video decompression 1)). Then, the image reception unit 112-1 requests the next stream data from the image transmission unit 111 via the network 122-1. The image transmission unit 111 transmits the next P picture 103 (video capture 2) to the image reception unit 112-1 that has requested stream data. The image receiving unit 112-1 that has received the P picture 103 (video capture 2) immediately expands the stream data (P picture 103 '(video expansion 2)). The subsequent P picture 103 (video capture 3 and 4) is requested and received in the same procedure, and is expanded as P picture 103 ′ (video expansion 3 and 4). Thereafter, the same procedure is repeated for each request for stream data.
[0037]
The image receiving unit 112-2 also requests stream data from the image transmission unit 111 via the network 122 (122-2 in FIG. 10). The image transmission unit 111 transmits the I picture 102 (video capture 1) to the image reception unit 112-2 that has requested stream data.
[0038]
The image receiving unit 112-2 that has received the I picture 102 (video capture 1) delayed by the line speed (network transmission speed) immediately decompresses the stream data (I picture 102 '(video decompression 1)). . In addition, the image receiving unit 112-2 requests the next stream data from the image transmission unit 111 via the network 122-2. The image transmission unit 111 transmits the next P picture 103 (video capture 2) to the image reception unit 112-2 that has requested stream data. Thereafter, for each stream request, the subsequent P picture 103 (video capture 3, 4) is requested in the same procedure, and reception and decompression are repeated.
[0039]
As described above, like the image receiving unit 112-2 via the network 122-2, the image receiving unit 112-2 that has received the P picture 103 (video expansion 2) delayed by the line speed has the I picture 102 ( Request and receive video capture 1), P picture 103 (video capture 2, 3, 4) and decompress as I picture 102 '(video decompression 1) and P picture 103' (video decompression 2, 3, 4) However, the delay time from the input video gradually increases.
[0040]
Also, the image receiving unit 112-3 requests stream data from the image transmission unit 111 via the network 122-3, which is slower than the image receiving unit 112-2. The image transmission unit 111 transmits the I picture 102 (video capture 1) to the image reception unit 112-3 that has requested stream data.
[0041]
The image receiving unit 112-3 that has received the I picture 102 (video capture 1) delayed by the low transmission rate immediately expands the stream data (I picture 102 '(video expansion 1)). The image receiving unit 112-3 requests stream data from the image transmission unit 111 via the low-speed network 122-3.
[0042]
The image transmission unit 111 transmits the P picture 103 (video capture 3) that can be transmitted at this time to the image reception unit 112-3 that has requested stream data. Thereafter, stream data is requested in the same procedure, and reception and decompression are repeated.
[0043]
At this time, the image receiving unit 112-3 receives and decompresses the I picture 102 (video capture 1) (I picture 102 '(video decompression 1)) and then decompresses the P picture 103 (video capture 3). (P picture 103 '(video expansion 3)). Therefore, since the previous P picture 103 (video capture 2) is missing, the expanded video is displayed in a block distortion state.
[0044]
If the transmission speed of the network used in this way is slow, the expansion of the expanded image and block distortion of the expanded image occur.
[0045]
In MPEG-4 stream distribution using a network using a transmission line with a slow line speed, even if the processing speed of the image receiving unit 112 is increased, the data transmission path capability is low. The image receiving unit 112 receives the stream data at a timing at intervals of four encoding conversions and cannot expand the stream data. Therefore, when stream data encoded and converted by MPEG-4 in the image transmission unit 111 is continuously received and decompressed by the image reception unit 112, a time difference occurs between the decompressed videos of the image transmission unit 111 and the image reception unit 112. However, the time difference gradually increases.
[0046]
Further, when the image transmission unit 111 transmits the stream data to the image reception unit 112-3 using a lower-speed transmission line, even when the latest stream data is transmitted, the discontinuous stream expansion is performed. Block distortion occurs in the video.
[0047]
The second embodiment of the present invention has been made to solve such a problem. Even in a network using a low-speed transmission line, stream management of I pictures and P pictures is performed on the image transmission unit 111 side. The image transmission unit 111 notifies the image transmission unit 111 of the number of transmission pictures of P pictures following the I picture from the image reception unit 112 in which the request has occurred, and receives the stream data of the corresponding GOP (Group Of Picture) unit from the image transmission unit 111 It is what you do.
[0048]
That is, the image transmission unit 111 accumulates stream data until the number of transmission pictures of a predetermined P picture requested from the latest I picture 102 (for example, video capture 5) is reached. When accumulation is achieved, the I picture and the P picture of the predetermined number of pictures following it are processed in GOP units and sent to the image receiving unit 112 to arbitrarily specify the amount of stream data according to the line status It is possible to use the maximum efficiency of the line.
[0049]
The operation of the second embodiment of the present invention will be described with reference to FIG. 1, FIG. 2, FIG. 4 and FIG.
First, referring to FIG. 1, a state in which stream data in GOP units of the image transmission unit 111 according to the present invention is distributed will be described.
[0050]
The image transmission unit 111 encodes and converts the analog video data 101-1, 101-2,... 101-n from the camera 120 in the time direction using MPEG-4, and creates an I picture 102 and a P picture 103. (Shown in FIG. 3) and stored in a stream buffer (not shown) inside the image transmission unit 111. An example of the processing operation of the image transmission unit 111 when the I picture and P picture are stored in the stream buffer will be described with reference to the flowchart shown in FIG.
[0051]
In FIG. 4, when storing stream data, first, in step 402, it is determined whether the stream data to be stored is an I picture or a P picture. If it is an I picture, the process proceeds to step 403. Go to step 407.
[0052]
In step 403, the stream buffer storage position information and the image receiver transmission buffer position are set to the I picture position.
[0053]
Next, in step 404, the currently used stream buffer element is determined. If the currently used stream buffer element is element 1 (shown in FIG. 1), the process proceeds to step 406, and if it is element 2, the process proceeds to step 405. .
[0054]
In step 405, the stream buffer element to be stored is switched to element 1 which is not currently used, and the process proceeds to step 407. In step 406, the stream buffer element to be stored is switched to element 2 which is not currently used, and the process proceeds to step 407.
[0055]
In step 407, the stream data is stored in the stream buffer indicated by the current stream buffer element and stream buffer storage position switched in step 405 or 406. In step 408, the stream buffer storage position is updated.
[0056]
Next, in the second embodiment of the present invention, the processing operation of the image transmission unit 111 at the time of I picture and P picture distribution (transmission) will be described based on the flowchart shown in FIG. In FIG. 5, when the image transmission unit 111 receives a stream data transmission request from the image reception unit (for example, the image reception unit 112-1), in step 502, the number of P picture requests from the image reception unit 112-1 If the stream data stored in the stream buffer does not satisfy the requested number, the process branches to step 503. If the requested P picture number is satisfied, the process proceeds to step 504.
[0057]
In step 503, the stream data is stored, and the process returns to step 502. In step 504, the requested number of P pictures starting from the I picture is processed as a GOP unit, and the process proceeds to step 505.
[0058]
In step 505, stream data is transmitted to the image reception device 112-1 in units of GOPs.
[0059]
FIG. 2 is a diagram for explaining the operation of the reception state of the image reception unit 112-1 of the stream data in GOP units distributed from the image transmission unit 111 according to the second embodiment of the present invention. In addition, the same code | symbol is attached | subjected to the same thing as FIG. In FIG. 2, the image receiving unit 112-1 includes an I picture 102 ′ (video expansion 1) and a P picture 103 ′ (video expansions 2, 3, 4) processed into stream data in GOP units by the image transmission unit 111. Received and decompressed. The same applies to the image receiving units 112-2 and 112-3, and the description thereof is omitted here.
[0060]
As described above, according to this embodiment, the MPEG-4 stream delay time of the image transmission unit and the image reception unit is minimized in accordance with the transmission speed of the network to be used, and the continuity of the stream is ensured. It is possible to distribute stream data in GOP units in which the number of P pictures is processed.
[0061]
Next, a third embodiment of the present invention will be described. In the third embodiment, even when a low-speed transmission line network is used, I-picture and P-picture stream data is managed on the image transmission unit 111 side and transmitted to the requested image reception unit 112. The transmission history of pictures and P pictures is managed by the image transmission unit 111.
[0062]
Further, when the image transmission unit 111 creates the latest I picture, the transmission history to the image reception unit 112 (for example, the image reception unit 112-1, the image reception unit 112-2, and the image reception unit 112-3) is initialized. When the next request is generated from the image reception unit 112, the delay time between the image transmission unit 111 and the image reception unit 112 is minimized by transmitting from the next I picture 102 (video capture 5). To.
[0063]
Furthermore, the continuity of the stream data can be ensured, and problems such as the image receiving unit 112 in the first embodiment of the present invention can be solved.
[0064]
In the third embodiment of the present invention, a flowchart illustrating an example of processing operation of the image transmission unit 111 at the time of I picture and P picture distribution (transmission) of FIG. 5 in the second embodiment will be described with reference to the flowchart of FIG. . In FIG. 6, when a stream data transmission request is generated from the image reception unit 112, in step 602, the stream data indicated by the transmission buffer position of the image reception unit 111 is transmitted. Next, in step 603, the image receiver transmission buffer position is updated.
FIG. 7 is a diagram showing a data flow for explaining the operation of the image transmission unit of the third embodiment of the present invention. In addition, the same code | symbol is attached | subjected to the same thing as FIG. FIG. 7 shows a case where the reception time of the stream data distributed from the image transmission unit 111 is received by the image reception unit 112-2 with a delay. After receiving / decompressing P picture 103 (video capture 3) (P picture 103 ′ (video expansion 3)), image transmission unit 111 receives a transmission request for the next stream data from image reception unit 112-2 The image transmission unit 111 distributes the I picture 102 (video capture 5) without distributing the P picture 103 (video capture 4), thereby delaying the image transmission unit 111 and the image reception unit 112-2. It is configured so that time can be limited to a minimum.
[0065]
7 shows a case where the reception time of the stream data distributed from the image transmission unit 111 shown in FIG. 7 overlaps with the next I picture 102 (video capture 5) in the image reception unit 112-3. In this case, it is indicated that there is no time for expansion even when the subsequent P picture 103 (video capture 2, 3, 4) is received. Therefore, the image transmission unit 111 transmits the next I picture 102 (video capture 5) without transmitting the P picture 103 in accordance with the stream data transmission request time from the image reception unit 112-3. . Accordingly, the image receiving unit 112-3 can receive the I picture 102 (video capture 5), and can display the image.
[0066]
As described above, according to the above embodiment, different transmissions are possible by changing the delivery amount of MPEG-4 or other stream data in accordance with the transmission speed of a communication line such as an analog line, the Internet, an intranet, or a dedicated line. The stream data received by the image receiving unit 112 connected to the speed transmission path can receive images handled in GOP units that can be continuously played back.
[0067]
By the way, in the embodiment of the present invention described above, when a transmission line with a high transmission speed and a transmission line with a low transmission speed are mixed, when transmitting stream data from the image transmission unit 111 to a transmission line with a low transmission speed, In the image transmission unit 111, transmission of stream data matching the transmission speed of the transmission path to the image reception unit 112 by appropriately deleting the P picture 103 and transmitting it has been described. However, when this method is carried out, the problem described below occurs when a part of the encoded data is simply deleted.
[0068]
FIG. 8 is a diagram for explaining this problem. 8, I represents I pictures 80-1, 80-2, and P represents P pictures 81-1, 81-2,... 81-7. As described above, the B picture is omitted for convenience of explanation. For example, MPEG-4 is based on inter-frame predictive coding, and is composed of a periodic I picture 80 and a P picture 81 that is predictively coded. Here, as shown in FIG. 8, if all I pictures and P pictures cannot be sent due to the transmission speed relationship of the transmission path, it is necessary to delete either the I picture or the P picture. As described above, an I picture can reproduce an image by itself. However, since a P picture is difference data from the previous image data, an image can be reproduced only by the P picture. Can not.
[0069]
Therefore, when one of the P pictures is deleted and transmitted, the data is transmitted. However, since the P picture after the deleted P picture has no previous image data, the image is not reproduced. A problem occurs. For example, when deleting three P pictures, if P pictures 81-2, 81-3 and 81-4 are deleted (indicated by x in FIG. 8) as shown in FIG. The P pictures 81-5, 81-6 and 81-7 cannot be reproduced. However, since the I picture is encoded without prediction with the previous frame, the image can be reproduced with only the I picture 80-2 even if the previous data is deleted.
[0070]
FIG. 9 is a diagram for explaining another embodiment of the present invention, and the same components as those in FIG. 8 are denoted by the same reference numerals. In the present invention, it is noted that even if data (P picture) is partially deleted, it is possible to reproduce an image from the I picture. When a predetermined number of P pictures are deleted, immediately before the I picture The P pictures from the P picture up to a predetermined number before are deleted. That is, as shown in FIG. 9, for example, when deleting three P pictures, P pictures 81-5, 81-6, and 81-7 immediately before the I picture are deleted. The number of P pictures to be deleted is changed according to the transmission speed of the transmission path. In other words, by adopting a transmission rate adaptive packet transmission method, it is possible to appropriately distribute moving images even in a system in which transmission paths or networks having different transmission speeds are mixed.
[0071]
FIG. 11 is a block diagram showing a schematic configuration of an embodiment of the image transmission unit 111 used in the present invention. In FIG. 11, a video signal is input from the camera 120 to the image transmission unit 111. The image transmission unit 111 includes a compression processing unit 90, story output units 91-1, 91-2, and 91-3, a network interface unit 92, and a control unit 93. The compression processing unit 90 converts the code of the input video signal into an I picture and a P picture using an MPEG-2 or MPEG-4 compression method, and stores it in a storage unit (not shown). On the other hand, the code-converted stream data is applied to the stream output units 91-1, 91-2, and 91-3, respectively.
[0072]
The operations of the stream output units 91-1, 91-2, and 91-3 are controlled by a control signal from the control unit 93, and each output is output to the network interface unit 92. The network interface unit 92 packet-multiplexes each output and distributes the output as stream data 94 to the image receiving unit 112 via each network 122. Since the stream data 94 is connected to a network (shown in FIG. 10), it is generally packet multiplexed such as an IP packet. Also, in FIG. 11, three stream output units 91 are shown. However, since three image receiving units 112 are connected as shown in FIG. It is not limited.
[0073]
Next, the operation of FIG. 11 will be described. The stream data encoded by the compression processing unit 90 is assumed to be, for example, MPEG-2 stream data compressed to 2 Mbps. As described above, stream data compressed and encoded by MPEG-2 is compressed in three different encoding modes for each picture, and is composed of an I picture, a P picture, and a B picture, respectively. Since the video signal is 30 frames / second, 15 pictures are repeated twice per second. Accordingly, the number of I-pictures, P-pictures, and B-pictures per second is expressed as follows.
[0074]
I picture: 2 pictures, P picture: 8 pictures, B picture: 20 pictures
The ratio of the code amount of each picture is as follows, although it depends on the complexity of the image.
[0075]
I: P: B = 10: 7: 5 (1)
Here, when the whole is set to 2 Mbps, when the bit rate of only the I pictures 80-1 and 80-2 is calculated by the ratio of the equation (1), the equation (2) is obtained.
[0076]
227Kbps = 2Mbps × ((10 × 2) / (10 × 2 + 7 × 8 + 5 × 20)) (2)
In addition, when the bit rate for sending one P picture to each of the I pictures 80-1 and 80-2 and the I picture (a total of two P pictures) is calculated by the ratio of Expression (1) Equation (3) is obtained.
[0077]
386Kbps = 2Mbps × ((10 × 2 + 7 × 2) / (10 × 2 + 7 × 8 + 5 × 20)) ... (3)
It can be seen that the bit rate of the image to be transmitted can be changed depending on the number of P or B pictures transmitted as described above.
[0078]
Here, in the operation of FIG. 11, for example, the stream data output from the stream output unit 91-1 by the control signal of the control unit 93 is the stream data from the compression processing unit 90, that is, the bit rate of 2 Mbps. The data is transmitted to the image receiving unit 112-1 via the network interface unit 92 and the LAN 122-1.
[0079]
Further, the stream output unit 91-2 selects an I picture and a P picture that follows it based on the control of the control unit 93, that is, the equation (3), and at a bit rate of 386 Kbps, the network interface unit 92, The data is transmitted to the image receiving unit 112-2 via the ADSL 122-2.
[0080]
Further, the stream output unit 91-3 selects only two I pictures based on the control of the control unit 93, that is, the expression (2), and at the bit rate of 227 Kbps, the network interface unit 92, the third generation The image data is transmitted to the image receiving unit 112-3 via the mobile phone network 122-3.
[0081]
The control unit 93 receives a signal corresponding to the transmission rate of the transmission path 122 from the network interface unit 92, and sends out the stream output units 91-1, 91-2, 91-3 according to the transmission rate signal. The amount of data is controlled to realize so-called transmission rate adaptive packet transmission.
[0082]
As described above, the present invention can deliver stream data having different bit rates, such as 2 Mbps, 386 kbps, or 227 kbps, to a network having different transmission rates. It is possible to reproduce an optimal moving image.
[0083]
FIG. 13 is a block diagram showing a schematic configuration of another embodiment of the image transmission unit 111 used in the present invention. In FIG. 13, the video signal from the camera 120 is input to the image transmission unit 111 via the input terminal 130. The image transmission unit 111 includes an encoding processing unit 131 and a protocol control unit 132. In this embodiment, the encoding processing unit 131 is described as an MPEG-4 encoding processing unit. However, the encoding processing unit 131 is not limited to this, and is configured by an encoding processing unit of another system such as MPEG-2. It is also possible to do. The protocol control unit 132 includes an I-VOP periodic buffer 133, RTP (real time transport protocol) packet processing units 134-1, 134-2, and 134-3, and a TCP (transmission control protocol) _UDP (user datagram protocol) processing unit 135. It is composed of Note that the output of the TCP_UDP processing unit 135 is sent from the output terminal 136 to each network 122. Here, three RTP packet processing units are shown, but in the case of the present embodiment, there are three types of transmission paths 122 having different transmission rates, and the number is not limited to three.
[0084]
Thus, the transmission rate adaptive packet transmission is realized by configuring the protocol control unit 132 as described above. This configuration will be described in detail below. The I-VOP cycle buffer 133 is a buffer having a capacity capable of storing at least encoded data from I-VOP (corresponding to the I picture described above) to immediately before the next I-VOP. is there.
[0085]
The RTP packet processing unit 134 generates a packet suitable for transmitting MPEG-4 encoded data or the like over the network. That is, according to the basic specification of RTP, the encoded data is divided into one to several packets for each VOP and is output to the next TCP_UDP processing unit 135.
[0086]
The TCP_UDP processing unit 135 transmits the RTP packet to the network 122 using either a connection type TCP protocol or a connectionless type UDP protocol. This selection can also be configured so that the user can remotely set it with a personal computer or the like.
[0087]
The protocol control unit 132 is mainly software processing by a processor, and the RTP packet processing unit 134 operates by the number of image reception units 112 connected to the transmission path for simultaneous delivery by unicast.
[0088]
The MPEG-4 encoding processing unit 131 inputs a video signal, outputs MPEG-4 encoded data, and writes the encoded data in the I-VOP cycle buffer 133. The RTP packet processing unit 134 reads the encoded data from the I-VOP cycle buffer 133 using a ready signal (a signal indicated by a dotted line in FIG. 13) corresponding to the transmission rate from the TCP_UDP processing unit 135. That is, each RTP packet processing unit 134-1, 134-2, 134-3 has a data amount according to the transmission path rate (transmission speed) to each image receiving unit 112-1, 112-2, 112-3. Are read from the I-VOP cycle buffer 133. Accordingly, the image data is inevitably discarded in the I-VOP cycle buffer 133 for the low rate transmission path. In this way, the image data is automatically transmitted according to the transmission speed of the transmission path.
[0089]
Note that the method of generating a ready signal according to the transmission rate in the TCP_UDP processing unit 135 differs depending on the selected protocol. In the case of the TCP protocol, since it is a connection type, a ready signal corresponding to the transmission rate can be automatically generated by a response to the transmission packet from the encoding processing unit 131.
[0090]
On the other hand, since the UDP protocol is a connectionless type, a ready signal cannot be automatically generated. Therefore, the TCP_UDP processing unit 135 collects packet discard rate information that is periodically transmitted from the image receiving unit 112. From this periodic information, the TCP_UDP processing unit 135 controls the packet transmission rate so that the packet discard rate becomes zero, and generates a ready signal corresponding thereto. As a result, it is possible to generate a ready signal according to the transmission rate.
[0091]
Next, control of the I-VOP cycle buffer 133 will be described with reference to FIG. The I-VOP cycle buffer 133 includes a ring buffer 141 and an I-VOP time code register 142. Basically, encoded data from the MPEG-4 encoding processing unit 131 is sequentially written in the ring buffer 141, and the RTP packet processing unit 134 sequentially reads the data. In FIG. 14, the ring buffer 141 is a general ring buffer operation in which the writing / reading direction is the same and the process returns to the start at the final address.
[0092]
Further, the time code is calculated and stored in the I-VOP time code register 142 based on the time information of the header of the I-VOP when the I-VOP (indicated as I in the figure) is written to the ring buffer 141. . The I-VOP time code for the second and subsequent times is overwritten in the I-VOP time code register 141. As a result, the latest I-VOP time code written in the ring buffer 141 is always stored in the I-VOP time code register 141.
[0093]
FIG. 14 shows a state in which P (4) is written to the ring buffer 141 with the write pointer WP and P (3) is started to be read with the read pointer RP. The I-VOP time code register 142 stores the time of I (0). The code is stored. Here, in the actual operation, the condition determination process described below is performed at the time of reading each image frame, and transmission rate adaptive packet transmission is performed.
[0094]
That is, the read condition determination process is as follows. Note that d seconds are set as appropriate depending on the I-VOP period constituting the system.
(1) When d seconds> (I-VOP time code register value-time code of read VOP)
Read by moving the read pointer to the latest I-VOP.
(2) If the condition is not (1)
Read the target frame.
[0095]
In the case of FIG. 14 where the transmission rate is high, P (3), which is later in time (larger time code) than I (0) stored in the I-VOP time code register 141, is read. The condition of process (1) is not satisfied. Therefore, the reading target frame P (3) of (2) is read as it is.
[0096]
On the other hand, as shown in FIG. 15, for the low-rate transmission path, the read speed may be slower than the write speed. In the reading condition determination process in this case, P (3) having a time earlier (smaller time code) than I (n) stored in the I-VOP time code is read. Therefore, since the difference is d seconds or more, the condition (1) of the condition determination process is satisfied, and the read pointer RP is moved to I (n) to read I (n).
[0097]
That is, reading of P (3) to P (n-1) is skipped by this operation, and data immediately before the I-VOP is discarded inside the I-VOP cycle buffer 133. Thus, the read speed corresponds to the transmission rate. This enables transmission rate adaptive packet transmission. Note that d seconds of the read condition determination process are set in consideration of the I-VOP period, network transmission jitter, and the like.
[0098]
In addition, this transmission rate adaptive packet transmission system is also effective for a best-effort transmission line with low line cost. That is, it is possible to transmit encoded image data that is automatically adapted to dynamic changes in the transmission rate.
Although the present invention has been described in detail above, the present invention is not limited to the image transmission method and the image transmission apparatus described herein, and in addition to the above, moving images are transmitted on transmission lines having different transmission speeds. Needless to say, it can be widely applied to a moving image transmission system to be distributed.
[0099]
【The invention's effect】
In the present invention, in a system composed of a plurality of transmission paths having different transmission speeds, stream data with an optimum bit rate can be distributed to all connected image receiving units by one image transmitting unit, and transmission is also possible. It is possible to reproduce a moving image having a desired quality by all the image receiving units connected to the road.
[Brief description of the drawings]
FIG. 1 is a diagram showing a data flow for explaining an embodiment of the present invention.
FIG. 2 is a diagram showing a data flow for explaining another embodiment of the present invention.
FIG. 3 is a diagram showing a data flow for explaining still another embodiment of the present invention.
FIG. 4 is a flowchart illustrating an example of processing operation of an image transmission unit when storing an I picture and a P picture according to the present invention.
FIG. 5 is a flowchart illustrating an example of processing operation of an image transmission unit when transmitting an I picture and a P picture according to the present invention.
FIG. 6 is a flowchart showing another embodiment of the processing operation of the image transmission unit when transmitting an I picture and a P picture according to the present invention.
FIG. 7 is a diagram showing a data flow for explaining another embodiment of the present invention.
FIG. 8 is a principle explanatory diagram for explaining still another embodiment of the present invention.
FIG. 9 is a principle explanatory diagram for explaining still another embodiment of the present invention.
FIG. 10 is a block diagram showing a schematic configuration of a network image transmission system according to an embodiment of the present invention.
FIG. 11 is a block diagram illustrating a specific configuration of an image transmission unit according to an embodiment of the present invention.
FIG. 12 is a block diagram showing a schematic configuration of an example of a conventional network image transmission system.
FIG. 13 is a block diagram illustrating a specific configuration of another embodiment of the image transmission unit according to the embodiment of the present invention.
14 is a diagram for explaining the operation of the image transmission unit shown in FIG. 13; FIG.
15 is a diagram for explaining the operation of the image transmission unit shown in FIG. 13;
[Explanation of symbols]
90: compression processing unit, 91: stream output unit, 92: network interface unit, 93: control unit, 94: stream data, 101: analog video signal, 102, 102 ′: I picture, 103, 103 ′: P picture, 111: Image transmission unit, 112: Image reception unit, 120: Television camera, 122: Network, 124: Monitor.

Claims

In an image transmission method for transmitting one stream data obtained by compressing an input moving image by moving image encoding conversion in an image transmission unit to a plurality of image reception units via a plurality of transmission paths having different transmission speeds,
It said one stream data, a plurality of P-picture data related to at least I-picture data and the I picture data in GOP units,
The plurality of image receiving units receive one I picture data or P picture data, make a transmission request for the next stream data,
The image transmission unit transmits one I picture data or P picture data in response to the transmission request when transmitting the one stream data in response to each transmission request from the plurality of transmission paths. In addition, an image transmission method characterized in that the number of P picture data in a GOP to be transmitted is changed in units of the number of pictures in accordance with the transmission speed of each of the transmission paths.

2. The image transmission method according to claim 1, wherein each time the plurality of image reception units receive I picture data or P picture data and decompress the compression, the next image data transmission request is made. An image transmission method, wherein one I picture data or P picture data is transmitted from the plurality of image reception units for each transmission request requested to the image transmission unit via respective transmission paths.

3. The image transmission method according to claim 2, wherein the image transmission unit further includes a stream buffer for storing the one stream data, and determines whether or not there is next I picture data when the stream data is stored in the stream buffer. When it is determined that there is the next I picture data, transmission of the P picture data related to the current I picture data is stopped, and transmission is performed from the next I picture data. .

From an input unit to which a moving image is input, an image transmission unit that encodes the moving image, a plurality of transmission paths that transmit image data encoded by the image transmission unit, and transmission speeds different from each other, and the transmission line A plurality of image receiving units for receiving the transmitted image data,
The plurality of image receiving units receive one I picture data or P picture data and make a transmission request for the next stream data.
The image transmission unit generates at least I picture data and a plurality of P picture data related to the I picture data in GOP units from one stream data compressed by moving image coding conversion, and the plurality of transmission paths Means for selecting the one stream data in response to each request from, and the means for selecting determines the number of P picture data in the GOP to be selected according to the transmission speed of each of the transmission paths. Means for changing in units of the number of pictures, and transmits the I picture data and the changed number of P picture data to the plurality of image receiving units, and one I picture data or P in response to the transmission request An image transmission apparatus for transmitting picture data .

5. The image transmission device according to claim 4 , wherein each of the plurality of image reception units receives the I picture data or the P picture data and decompresses the compression, and requests transmission of the next stream data. An image transmission apparatus that transmits one I picture data or P picture data for each transmission request requested from the plurality of image reception units to the image transmission unit via respective transmission paths.