JP4488958B2

JP4488958B2 - 映像伝送システム及び映像伝送方法

Info

Publication number: JP4488958B2
Application number: JP2005157713A
Authority: JP
Inventors: 健二君山; 浩幸根本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-05-30
Filing date: 2005-05-30
Publication date: 2010-06-23
Anticipated expiration: 2025-05-30
Also published as: JP2006333367A

Description

本発明は、一般的に、映像符号化データをパケット化して伝送する映像伝送システムに関し、特に、パケット欠落発生に伴う映像品質劣化の回復技術に関する。

近年、映像信号をディジタル符号化（以下単に符号化と表記する）した映像符号化データをパケット化して、ネットワーク上で伝送する映像伝送システムが一般化している。このようなシステムは、ディジタル・テレビジョン放送以外にも、例えば遠隔地などに設置した監視カメラにより映像監視を行なう映像監視システムにも適用されつつある。

このような映像監視システムにおいて、伝送中にパケットの欠落が発生すると、受信側で映像信号を再生する場合に再生映像品質が劣化することになる。通常では、パケット欠落の発生による再生映像品質の劣化を回復させるためには、いわゆるイントラ符号化フレームと呼ぶフレーム内符号化データ（ＭＰＥＧ方式でのＩブロックまたはＩピクチャ）が必要となる。しかし、近年の符号化効率の追求により、劣化の回復ポイントであるイントラ符号化フレームの送信間隔が広がっているために、回復までに時間を要する。

そこで、従来では、パケットの欠落があった場合に、受信側から送信側に対して、欠落したパケットの再送要求を行うシステムが提案されている（例えば、特許文献１及び２を参照）。
特開平１１−３３１８３９号公報特開２０００−３４１２５２号公報

前述のような従来のシステムにより、欠落パケットを再送させることにより、再生映像品質の劣化を回復させることが可能となる。しかしながら、従来のシステムでは、再送パケットが到着するまでの待ち時間だけ映像表示が停止することになる。このため、受信側では、伝送された符号化データをある程度バッファリングしなければならないので、映像再生には遅延が発生することになる。また、再送パケットを伝送することで、ネットワーク帯域を消費し、さらなるパケット欠落の発生要因にもなる。

そこで、本発明の目的は、パケット欠落が発生した場合に、再送パケットを伝送することなく、パケット欠落に伴う再生映像品質の劣化を短時間で回復させることを実現する映像伝送システムを提供することにある。

本発明の観点は、パケット欠落を検出したときに、該当するパケットに含まれる映像符号化データのフレームでの再生位置（画面上の位置または範囲）に対応し、次に送信するフレームの部分映像データをフレーム内符号化（部分イントラ符号化）して伝送する映像伝送システムである。なお、再生位置とは、欠落パケットの映像符号化データが再生されたと仮定した場合の表示画面上の表示位置または表示範囲に相当する。

本発明の観点に従った映像伝送システムは、映像フレームを符号化した符号化データをパケット単位に分割して伝送する映像伝送システムにおいて、伝送中のパケットの欠落を検出する検出手段と、前記検出手段により欠落が検出されたパケットに含まれる符号化データが、他の符号化データの復号化での予測画像として使用される参照フレームの符号化データであるか否かを判定する判定手段と、前記判定手段の判定結果が参照フレームの符号化データの場合で、前記欠落が検出されたパケットに含まれる符号化データの前記映像フレームでの再生位置を特定する特定手段と、送信対象の映像フレームを符号化する符号化手段と、前記判定手段の判定結果が参照フレームの符号化データの場合に、次に送信すべき映像フレームでの前記特定手段による前記再生位置に対応する部分映像データをフレーム内符号化する部分フレーム内符号化を前記符号化手段に要求する手段とを有し、前記符号化手段は、前記要求に応じて次に送信すべき映像フレームが参照フレームであるか否かを判定し、前記参照フレームの場合で、全画面映像データをフレーム内符号化する映像フレームの場合には前記部分フレーム内符号化を実行せずに、全画面映像データのフレーム内符号化を実行し、前記参照フレームの場合で、部分映像データをフレーム内符号化する映像フレームの場合には前記部分フレーム内符号化を実行し、かつ前記参照フレームでない場合には、指定の符号化モードでの符号化を実行するように構成されている。

本発明であれば、パケット欠落が発生した場合に、再送パケットを伝送することなく、パケット欠落に伴う再生映像品質の劣化を短時間で回復させることを実現する映像伝送システムを提供することができる。

以下図面を参照して、本発明の実施形態を説明する。

［システムの構成］
図１は、本実施形態に関する映像伝送システムの構成を示すブロック図である。

システムは大別して、図１に示すように、映像送信部１０と、映像受信部２０と、伝送媒体であるネットワーク３０とを有する。

映像送信部１０は、映像入力装置１１から入力される複数の映像フレームからなる映像信号１１０を符号化する映像符号化部１００と、映像パケット送信部１０１と、パケット情報テーブル１０２と、パケットロス情報受信部１０３と、比較エラー位置検出部１０４とを有する。なお、映像フレームは、単にフレームと表記する。

映像入力装置１１は、例えば監視カメラなどの映像撮影用カメラである。映像符号化部１００は、所定の規格、例えばＭＰＥＧ４でのVisual(ISO/IEC14496-2)規格に従って、映像信号１１０をフレーム単位で符号化する。

映像パケット送信部１０１は、映像符号化部１００によりフレーム単位で符号化された映像符号化データ（以下単に符号化データと表記する）１１１をパケット単位の伝送信号に変換し、ネットワーク３０を通じて映像受信部２０に送信する。映像パケット送信部１０１は、映像パケット伝送のトランスポート層プロトコルとして、エラーによるデータの再送が発生しないＵＤＰ(User Datagram Protocol)を使用する。

映像符号化部１００は、符号化データ１１１を映像パケット送信部１０１に出力すると共に、後述するパケット情報をパケット情報テーブル１０２に記録する。パケット情報テーブル１０２は、具体的には図２に示すように、送信したパケットのヘッダに含まれるシーケンス番号とタイムスタンプ以外に、後述する符号化モード及び画面上の位置に関するパケット情報を記録するためのテーブルである。パケット情報テーブル１０２は、不要になった古い記録データが逐次上書き消去される。また、パケット情報テーブル１０２は、ネットワークの伝送遅延と、比較エラー位置検出部１０４の処理時間によって決められるテーブルサイズを有する。

ここで、画面上の位置（画面上位置）に関する情報とは、映像受信部２０で、映像符号化データが再生されるときの表示画面上の位置または範囲を意味する再生位置を示す情報である。また、映像符号化部１００では、映像符号化は、画面を正方形に区切ったブロック単位で行われて、画面上の左上位置から右下位置の順に伝送される。このため、パケット情報テーブル１０２には、パケット毎の開始ブロックと終了ブロックからなる画面上位置が記録される。

なお、パケット化は、例えばＩＥＴＦ(Internet Engineering Task Force)のＲＦＣ(Request for Comments)３０１６に準じて行われる。このため、同じパケットには、複数のフレーム（画面）の符号化データが混在して含まれる事はない。換言すれば、各パケットは、１つのフレーム内の部分符号化データのみからなる。

一方、映像受信部２０は、映像パケット受信部２００と、映像復号化部２０１と、パケットロス検出部２０２と、パケットロス情報送信部２０３とを有する。

映像パケット受信部２００は、映像送信部１０から送信されたパケットを受信し、当該パケットからペイロード（映像コンテンツである符号化データ）を取り出して映像復号化部２０１に出力する。映像復号化部２０１は、例えばＭＰＥＧ４でのVisual(ISO/IEC14496-2)規格に従って符号化データを復号化し、映像出力装置２１に出力する。映像出力装置２１は、復号化された映像信号を再生して、表示画面上に表示する映像モニタなどを含む。

映像パケット受信部２００は、受信したパケットのヘッダをパケットロス検出部２０２に転送する。パケットのヘッダは、図３に示すように、例えばＩＥＴＦ(Internet Engineering Task Force)のＲＦＣ(Request for Comments)３５５０の規格により規定されている形式からなる。

ここで、シーケンス番号は１パケット毎に連続で採番される。タイムスタンプは、そのフレームの時間情報が格納されている。タイムスタンプが同じパケットは、同じフレームを分割して生成されたことを表している。具体的には、図２に示すように、例えばシーケンス番号０１２３，０１２４の各パケットは、同一フレーム内で画面上位置が異なる符号化データをそれぞれ有するものである。

パケットロス検出部２０２は、転送されたヘッダからシーケンス番号を抽出し、当該シーケンス番号が不連続の場合には、パケットが欠落していると判定する。具体的には、パケットロス検出部２０２は、例えばシーケンス番号０１２３の次に、シーケンス番号０１２５のヘッダが入力された場合には、シーケンス番号０１２４のヘッダを有するパケットが欠落したと判定する。

パケットロス検出部２０２は、パケット欠落を検出した場合に、その検出結果をパケットロス情報送信部２０３に出力する。パケットロス情報送信部２０３は、当該検出結果に応じた情報を、ネットワーク３０を通じて映像送信部１０のパケットロス情報受信部１０３宛てに送信する。パケットロス情報送信部２０３は、送信情報として、欠落した前後のパケットのシーケンス番号とタイムスタンプを含むパケットロス情報を送信する。

映像送信部１０では、パケットロス情報受信部１０３は、受信したパケットロス情報を比較エラー位置検出部１０４に転送する。比較エラー位置検出部１０４は、送信時にパケット情報テーブル１０２に記録されたパケット情報と、受信したパケットロス情報とを比較して、エラーで欠落したパケットに含まれる符号化データが再生されたときの画面上位置（画面上の再生範囲）を特定する。比較エラー位置検出部１０４は、特定した画面上位置を示すエラー位置情報を映像符号化部１００に出力する。

ここで、比較エラー位置検出部１０４は、欠落したパケットの符号化モードとして、他のフレーム（符号化データ）の復号化での予測画像として使用（参照）される参照フレームの符号化データであるＰフレーム（Ｐピクチャ）及びＩフレーム（Ｉピクチャ）の場合に、エラー位置情報を映像符号化部１００に出力する。即ち、比較エラー位置検出部１０４は、欠落したパケットの符号化モードがＢフレームの場合には、エラー位置情報を出力しない。

Ｂフレームとは、他のフレームの復号化での予測画像として参照されない符号化データである。Ｉフレームは、他のフレームを予測画像として参照することなく、復号化できるフレーム内符号化データである。Ｉフレーム及びＰフレームは、他のフレームの復号化時には予測画像として参照される。

映像符号化部１００は、後述するように、次に送信するＰフレームで、比較エラー位置検出部１０４からのエラー位置情報により特定された部分（画面上位置）のフレーム内符号化（以下部分イントラ符号化と表記する場合がある）を実行する。なお、動き補償が行われているので、その動きベクトル範囲である周辺部も部分イントラ符号化の対象とすることが好ましい。

［作用効果］
以下、図４から図６を参照して、本実施形態のシステムに関する作用効果を説明する。

まず、映像送信部１０では、映像パケット送信部１０１は、例えば監視カメラである映像入力装置１１から入力された映像信号１１０が符号化された符号化データ１１１を含むパケットを、ネットワーク３０を通じて映像受信部２０に送信する。

映像受信部２０では、受信したパケットに含まれる符号化データを映像信号に復号化して映像出力装置２１に出力する。映像出力装置２１は、フレーム単位で復号化された映像信号を再生して、映像モニタの表示画面上に表示する。

ここで、図５のフローチャートに示すように、映像受信部２０では、パケットロス検出部２０２が受信される一連のパケットから欠落したパケットを検出すると、パケットロス情報送信部２０３はパケットロス情報を映像送信部１０のパケットロス情報受信部１０３に送信する（ステップＳ１のＹＥＳ）。

比較エラー位置検出部１０４は、パケットロス情報受信部１０３からパケットロス情報を受け取ると、当該パケットロス情報と、送信時にパケット情報テーブル１０２に記録されたパケット情報とを比較して、エラーで欠落したパケットを特定する。

比較エラー位置検出部１０４は、エラーで欠落したパケットの符号化モードに基づいて、当該符号化データがＢフレームであるか否かを判定する（ステップＳ３）。比較エラー位置検出部１０４は、判定結果がＢフレームの場合には、他のフレームの復号化での予測画像として参照されない符号化データであるため、本実施形態でのエラー回復処理（次のフレームでの部分イントラ符号化）を実行しない（ステップＳ３のＹＥＳ）。

一方、欠落したパケットの符号化モードがＢフレーム以外のＰフレーム又はＩフレームの場合には、比較エラー位置検出部１０４は、パケット情報テーブル１０２から欠落したパケットの画面上位置（画面上の再生範囲）を特定する（ステップＳ４）。

比較エラー位置検出部１０４は、特定した画面上位置を示すエラー位置情報を映像符号化部１００に出力し、次のフレームに対する部分イントラ符号化を要求する（ステップＳ５）。

次に、図６のフローチャートを参照して、映像送信部１０の映像符号化部１００の動作を説明する。

映像符号化部１００は、比較エラー位置検出部１０４からエラー位置情報及び部分イントラ符号化の要求を受けると、次に送信すべきフレームの符号化モード（符号化タイプ）を判定する（ステップＳ１１のＹＥＳ，Ｓ１２）。ここで、映像符号化部１００は、比較エラー位置検出部１０４からの部分イントラ符号化の要求がない場合には、通常の符号化を実行する（ステップＳ１３）。即ち、映像符号化部１００は、指定の符号化モード（符号化タイプ）に従った符号化を実行する。

また、映像符号化部１００は、部分イントラ符号化の要求を受けて、次に送信すべきフレームの符号化モードがＢフレームの場合には、他のフレームの復号化での予測画像として参照されないため、通常の符号化を実行する（ステップＳ１２のＹＥＳ，Ｓ１３）。即ち、本実施形態でのエラー回復処理（次のフレームでの部分イントラ符号化）を実行しない。

一方、次に送信すべきフレームの符号化モードがＢフレーム以外の場合には、映像符号化部１００は、部分イントラ符号化の要求をクリアした後に、次に送信すべきフレームの符号化モードがＰフレームであるか否かを判定する（ステップＳ１２のＮＯ，Ｓ１４，Ｓ１５）。

映像符号化部１００は、次に送信すべきフレームの符号化モードがＩフレームの場合には、全画面をイントラ符号化するため、結果として部分イントラ符号化の要求を無視し、通常の符号化を実行する（ステップＳ１５のＮＯ，Ｓ１３）。

また、次に送信すべきフレームの符号化モードがＰフレームの場合には、他のフレームの復号化での予測画像として参照されるため、映像符号化部１００は、部分イントラ符号化を実行する（ステップＳ１５のＹＥＳ，Ｓ１６）。即ち、映像符号化部１００は、次に送信すべきＰフレームにおいて、比較エラー位置検出部１０４からエラー位置情報により指定された画面上位置に対応する部分映像データに対してフレーム内符号化を実行する。この場合、映像符号化部１００は、指定された画面上位置及びその周辺部に対応する部分映像データに対してフレーム内符号化を実行してもよい。

以上のようにして本実施形態のシステムであれば、パケットロスを検出した場合に、当該パケットの符号化モードが特にＰフレームの場合には、Ｐフレーム即ち画面上での再生位置（画面上位置）を特定する。そして、映像符号化部１００は、次に送信すべきフレームがＰフレームの場合に、特定された画面上位置に対応する部分映像データをフレーム内符号化する部分イントラ符号化を実行する。

従って、本実施形態のシステムは、パケットロス（パケット欠落）が発生したときに、再送パケットを伝送せずに、その後に送信するＰフレームでの欠落パケットに対応する部分映像を部分イントラ符号化して伝送することにより、再生映像の品質劣化が回復するまでにかかる時間を短縮することが可能となる。以下、図４を参照して具体的に説明する。

今仮に、伝送中のＰフレームから例えば２パケットの欠落が発生した場合に、図４に示すように、当該Ｐフレームを予測画像として参照するＢフレームの復号化では、再生映像の品質劣化が発生する。ここで、本実施形態のシステムでは、その後に送信するＰフレームでの欠落パケットに対応する部分映像を部分イントラ符号化して伝送することにより、エラー回復を実現している。これにより、エラー回復されたＰフレームを予測画像として参照するＢフレームの復号化では、再生映像の品質は回復することになる。

本実施形態のシステムでは、従来のシステムのように再送パケットが到着するまでの待ち時間だけ映像表示が停止することはなく、映像再生には遅延が発生しない。また、受信側では伝送された符号化データをある程度バッファリングするためのバッファリング量を削減でき、かつネットワーク帯域の消費を最小限に抑制できる。

なお、他フレームから復号化時に参照がないために、これ以上の映像品質の劣化が伝播しないＢフレーム、または全画面をフレーム内符号化するＩフレームの場合には、部分イントラ符号化は実行しないため、結果として伝送効率の低下も最小限に抑制できる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の実施形態に関する映像伝送システムの構成を示すブロック図。本実施形態に関するパケット情報テーブルの一例を示す図。本実施形態に関するパケットのヘッダ形式の一例を示す図。本実施形態の作用効果を説明するための図。本実施形態に関するシステムの動作を説明するためのフローチャート。本実施形態に関するシステムの動作を説明するためのフローチャート。

符号の説明

１０…映像送信部、１１…映像入力装置、２０…映像受信部、２１…映像出力装置、
３０…ネットワーク、１００…映像符号化部、１０１…映像パケット送信部、
１０２…パケット情報テーブル、１０３…パケットロス情報受信部、
１０４…比較エラー位置検出部、２００…映像パケット受信部、
２０１…映像復号化部、２０２…パケットロス検出部、
２０３…パケットロス情報送信部。

Claims

映像フレームを符号化した符号化データをパケット単位に分割して伝送する映像伝送システムにおいて、
伝送中のパケットの欠落を検出する検出手段と、
前記検出手段により欠落が検出されたパケットに含まれる符号化データが、他の符号化データの復号化での予測画像として使用される参照フレームの符号化データであるか否かを判定する判定手段と、
前記判定手段の判定結果が参照フレームの符号化データの場合で、前記欠落が検出されたパケットに含まれる符号化データの前記映像フレームでの再生位置を特定する特定手段と、
送信対象の映像フレームを符号化する符号化手段と、
前記判定手段の判定結果が参照フレームの符号化データの場合に、次に送信すべき映像フレームでの前記特定手段による前記再生位置に対応する部分映像データをフレーム内符号化する部分フレーム内符号化を前記符号化手段に要求する手段とを有し、
前記符号化手段は、
前記要求に応じて次に送信すべき映像フレームが参照フレームであるか否かを判定し、
前記参照フレームの場合で、全画面映像データをフレーム内符号化する映像フレームの場合には前記部分フレーム内符号化を実行せずに、全画面映像データのフレーム内符号化を実行し、
前記参照フレームの場合で、部分映像データをフレーム内符号化する映像フレームの場合には前記部分フレーム内符号化を実行し、かつ
前記参照フレームでない場合には、指定の符号化モードでの符号化を実行するように構成されていることを特徴とする映像伝送システム。
伝送するパケットを識別する情報、当該パケットに含まれる符号化データの符号化モード及び前記再生位置を示す情報を記録するテーブル手段を有し、
前記判定手段は、前記テーブル手段に記録された符号化モードに基づいて、前記欠落が検出されたパケットに含まれる符号化データが参照フレームの符号化データであるか否かを判定するように構成されたことを特徴とする請求項１に記載の映像伝送システム。
伝送されたパケットを受信して、前記符号化データを復号化して表示画面に再生するための映像受信手段を有し、
前記検出手段は、前記映像受信手段に含まれることを特徴とする請求項１または請求項２のいずれか１項に記載の映像伝送システム。
伝送するパケットを識別する情報、当該パケットに含まれる符号化データの符号化モード及び前記再生位置を示す情報を記録するテーブル手段と、
前記検出手段によりパケットの欠落が検出されたときに、当該欠落パケットを識別するためのパケットロス情報として、欠落したパケット前後に伝送されたパケットを識別する情報を生成する手段とを有し、
前記判定手段は、前記テーブル手段及び前記パケットロス情報に基づいて、前記欠落が検出されたパケットに含まれる符号化データが参照フレームの符号化データであるか否かを判定するように構成されていることを特徴とする請求項１に記載の映像伝送システム。
映像フレームを符号化した符号化データをパケット単位に分割して伝送する映像伝送システムに適用する映像伝送方法において、
伝送中のパケットの欠落を検出する処理と、
前記欠落が検出されたパケットに含まれる符号化データが、他の符号化データの復号化での予測画像として使用される参照フレームの符号化データであるか否かを判定する処理と、
前記判定結果が参照フレームの符号化データの場合で、前記欠落が検出されたパケットに含まれる符号化データの前記映像フレームでの再生位置を特定する処理と、
送信対象の映像フレームを符号化する処理と、
前記判定結果が参照フレームの符号化データの場合に、次に送信すべき映像フレームでの前記特定手段による前記再生位置に対応する部分映像データをフレーム内符号化する部分フレーム内符号化を要求する処理とを有し、
前記符号化処理は、
前記要求に応じて次に送信すべき映像フレームが参照フレームであるか否かを判定し、
前記参照フレームの場合で、全画面映像データをフレーム内符号化する映像フレームの場合には前記部分フレーム内符号化を実行せずに、全画面映像データのフレーム内符号化を実行し、
前記参照フレームの場合で、部分映像データをフレーム内符号化する映像フレームの場合には前記部分フレーム内符号化を実行し、かつ
前記参照フレームでない場合には、指定の符号化モードでの符号化を実行するように構成されていることを特徴と映像伝送方法。