JP4157740B2 - Image transmission apparatus, image transmission method, and software program - Google Patents

Description

この例では、ビットレートとしては先の例と同じ３種類を選択できるものとした。ここで、ベースレイヤとは、６４ｋｂｐｓのビットレートでエンコードしたストリームである。
【００１３】
又、エンハンスメントレイヤ＃１とは、同じ動画像コンテンツについて、２５０ｋｂｐｓでエンコードして得られるストリームをデコード再生して得られる再生画像と、上記６４ｋｂｐｓでエンコードして得られるストリームをデコード再生して得られる再生画像との間の差データをエンコードして得られるストリームである。
【００１４】
更に、エンハンスメントレイヤ＃２とは、同じ動画像コンテンツについて、５００ｋｂｐｓでエンコードして得られるストリームをデコード再生して得られる再生画像と、上記２５０ｋｂｐｓでエンコードして得られるストリームをデコード再生して得られる再生画像との間の差データについてエンコードして得られるストリームである。
【００１５】
したがって、ベースレイヤ・ストリームのデコード再生画像データにエンハンスメント＃１ストリームのデコード再生画像データを加算することによって、２５０ｋｂｐｓでエンコードして得られるストリームのデコード再生画像と同画質の画像が得られる。同様に、ベースレイヤ・ストリームのデコード再生画像データにエンハンスメント＃１ストリームのデコード再生画像データ及びエンハンスメント＃２ストリームのデコード再生画像データを加算することによって５００ｋｂｐｓでエンコードして得られるストリームのデコード再生画像と同等の画質が得られることになる。
【００１６】
この階層符号化方式によれば、上記ベースレイヤ、エンハンスメントレイヤ＃１、＃２の各ストリームのうち、ベースレイヤのストリームは図１の例の場合の６４ｋｂｐｓでエンコードされたストリームと同容量であるが、他のエンハンスメントレイヤ＃１、＃２の夫々のストリームについては上記の如く「差データ」であるため、夫々２５０ｋｂｐｓでエンコードしたストリーム、５００ｋｂｐｓでエンコードしたストリームに比して、そのデータ容量を明らかに削減可能である。従って、この階層符号化方式によればサーバでのディスク容量削減や、同報配信時のネットワーク帯域利用効率の向上を図れる。しかしながら、選択可能なビットレートの種類を増やすためには上記エンハンスメントレイヤの種類を増やす必要があり、上記同様の問題が生ずることになる。
【００１７】
又上記従来のネットワーク帯域適応配信システムでは、上述の如く、実効許容レートの低下を検出し、低いレートでの配信が選択された場合であっても画面が崩れる等の著しい劣化は防止可能である。しかしながら、この方式では、低レート配信の結果、モスキートノイズやブロック歪みといった符号化に起因する劣化が画面全体に均一生じるため、画面中の特にユーザにとって重要な部分の画質も他のあまり重要でない部分同様に劣化してしまう。その様な場合、結果的に当該ユーザの視聴に耐えないものとなってしまうおそれがある。
【００１８】
このような問題の解決のため、重要と考えられる特定の領域のみ画質を維持し、その分、それ以外の領域の劣化を相対的に大きくする手法にて、トータル的に低いレートでエンコードをしておくことが考えられる。この点に関し、特開平７−２８８８０６号公報では、画像を圧縮して伝送するにあたり、許容伝送量に応じて画像各部の解像度を自動決定し、詳しく見たい部分の解像度を指定可能とした動画像通信システムが開示されている。
【００１９】
当該公報開示技術では、同公報の図１、図２等に示されている如く、動画提供者と受信者との１対１のリアルタイム通信を想定しており、送信の際にカメラ等にてリアルタイムに画像を取り込み、受信者の指示に従って領域毎に異なった解像度で画像圧縮を行う構成である。しかしながらこのシステムでは、送信側通信部にて生成する画像データは１受信者専用のものであり、仮に同システムにて多数の受信者に対して同じ動画像を配信することを想定した場合、受信者毎に高解像度にしたい画像領域が異なるため、受信者毎に少なくとも送信側通信部を設ける必要があり、システム構成が複雑化してしまう。又、当該システムでは受信者からの指示を受信するまでは高解像度とすべき画像領域が確定出来ずに画像圧縮処理が実施不可の為、予め圧縮しておくことが出来ず、オン・デマンド配信には適さない。
【００２０】
本発明は上記問題点に鑑み、比較的簡易な構成にてネットワークの実効伝送レートに応じた細かな画質調整が可能な画像伝送式を提供することを目的とする。
【００２１】
【課題を解決するための手段】
上記目的達成のため、本発明では、所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとから所定の伝送路を介して配信すべき動画像データコンテンツを生成する際、当該動画像データを複数の領域に分割し、所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤのストリームとベースレイヤとの両方のストリームを送信する構成とした。
【００２２】
当該構成では、コンテンツは予めベースレイヤトエンハンスメントレイヤの最低２層分のデータストリームを作成しておき、コンテンツ配信時の実効許容送信レートの範囲内でエンハンスメントレイヤのデータストリームを伝送可能な領域の組み合わせについて、ベースレイヤのデータストリームに加えてエンハンスメントレイヤのデータストリームを送信する。
【００２３】
【発明の実施の形態】
本発明の実施の形態では、予め画面内をいくつかの細かい領域に分割し、検出された伝送路の実効伝送レートで伝送可能な領域のみを選択することにより、１つのストリームにて、より細かく実効許容レートに適応可能とする。又、実施の形態のバリエーションとして、この領域選択をユーザが行うことが出来るようにすることにより、ユーザの嗜好に適した画質での伝送を可能とするものである。
【００２４】
以下に図２と共に、本発明の実施例の概略の構成について説明する。
【００２５】
本発明の実施例では、予めビデオテープレコーダやビデオカメラ等のビデオソース３１から得られた動画像データを、エンコーダ３２を用いて圧縮し、ビデオストリームを作成する。このとき作成されるビデオストリームについては、予め画面内に存在する物体等の領域に関する情報を利用して領域毎に分割して圧縮ストリームを構成する等の操作は特に必要としない。又、ビデオストリームの作成には上記階層符号化方式を用いるが、このとき、必ずしもエンハンスメントレイヤを多数層分作成する必要は無く、１階層分のみでよい。但し、本発明の各実施例では、エンハンスメントレイヤはフレーム内相関のみを利用してエンコードされたものとする。
【００２６】
このビデオストリームをサーバＳに登録する際、領域（分割）情報提供部３５によって提供される領域（分割）情報を基に、エンハンスメントレイヤ・ストリームの連続送信可能な最低単位、即ちパケットに分割しながら行なう。領域分割情報提供部３５による領域分割情報の提供方法としては、例えばビデオストリームの再生中にユーザによって再生画面上においてマウス等で領域を指示する手動入力方式、人の顔やキャプション等を画像処理により抽出する自動判定方式等が考えらる。
【００２７】
又、上記パケット分割の具体的な方式は使用する圧縮方式によって異なるが基本的には図３に示す如く、各領域の境界が分割パケットの境界になるように行うものとする。即ち図３の例では、まず同図（ａ）に示す如く画面をＡ１，Ａ２，Ａ３の３つの領域に分割し、これら分割領域の境界が分割パケットの境界と重なるようにしてパケット分割を行なう。同図（ｂ）はそのようにして得られた分割パケットの例である。同図では、上記領域Ａ１はパケット２，４よりなり、領域Ａ２はパケット６，８よりなり、領域Ａ３はパケット１，１，３，３，５，５，５，７，７，９，９よりなる。よって、各領域間の境界はパケット間の境界と完全に重なっている。
【００２８】
このようにパケット毎に分割されたストリームをサーバＳに、通常ストリーム１２，１３として登録する。ここで、通常ストリーム１２として登録されるストリームは上述のベースレイヤのデータであり、通常ストリーム１３として登録されるストリームは同エンハンスメントレイヤ（この場合一層のみ）のデータである。更に、登録する際に、後述する、領域とパケットとの対応情報を持つ領域テーブル１６、及び同じく後述する、領域と実効伝送レートとの対応情報を持つレートテーブル１７を作成し、これらのテーブルも同時に登録する。
【００２９】
他方、当該登録ストリームのクライアントＣへの配信時には、送出部２０はクライアントＣからの受信実績による実効許容受信レートのフィードバックを受ける等の方法により、実効許容伝送レートＲ＿Ｅｆｆｅｃｔｉｖｅを検出する。又、領域決定部１９は、上記レートテーブル１７に基づき、送出部２０で検出した実効許容レートＲ＿Ｅｆｆｅｃｔｉｖｅの伝送容量範囲内で配信可能な０個又は１個以上の領域を選ぶ。この場合に配信可能領域が０個となるのは、実効許容レートＲ＿Ｅｆｆｅｅｃｔｉｖｅの容量範囲内で伝送可能な領域が存在しない場合である。
【００３０】
又、パケット選択部１８では領域テーブル１６を用いて選ばれた領域を構成するパケットを判断する。ここで選ばれた領域を構成するパケットの各々について、パケット選択スイッチ１５によって通常ストリーム１３のパケットが送出部２０に送られる。他方ここで選ばれなかった領域を構成するパケットについては、パケット選択スイッチ１５によってダミーストリームのパケットが送出され、若しくはパケット無しとして、何も送出されない。
【００３１】
ここでダミーストリームとは画面の情報を持たないストリームであり、情報量が極めて小さいものである。例えばＭＰＥＧ−４方式であればすべてスキップマクロブロックで構成することにより実現され、ビデオパケットヘッダのみで構成出来るものである。このダミーストリームが選択された領域については、ベースレイヤ（通常ストリーム１２）の画面がそのまま出力されることになる。又、シンタックス上、画面情報を送出しない場合にダミーを必要としない符号化方式の場合、上記選択されない領域については該当するパケットを送出しないということも出来る。これの場合は上記「パケット無し」が選択される。
【００３２】
次に、図４に示す第２実施例では、領域選択に対してユーザである視聴者からのフィードバックを利用する構成を有する。この場合、予め複数種類の領域分割態様を用意しておき、視聴者の指示によって選択された領域分割態様と検出Ｒ＿ｅｆｆｅｃｔｉｖｅとから、パケット選択スイッチ１５にて、配信するストリームを選択する。
【００３３】
図５は、上記図４における、複数種類の領域分割態様を用意した場合のパケット分割の態様を示す。この場合、同図（ａ）の領域分割態様１では、領域Ａ１とそれ以外の部分とに分割され、他方同図（ｂ）の領域分割態様２では、領域Ａ２とそれ以外の部分に分割されるものとする。ここで、これら２種類の領域分割態様を合成すると、同図（ｃ）に示す如く、領域Ａ１、Ａ２と、それ以外の部分とに分割されることになる。同図に示す如く、合成した結果領域Ａ１，Ａ２に重なる部分がある場合、この重複部分にも対応するように、パケット分割が行なわれるものとする（図示の例の場合パケット７が該当するパケットである）。
【００３４】
この図５（ｃ）に示す合成領域分割態様における分割領域間の境界に従って上述の如くパケット分割を行なった結果、同図（ｄ）に示す如くの分割パケットが得られる。この場合領域Ａ１に対応するパケットはパケット２，４，７，８であり、領域Ａ２に対応するパケットはパケット６，７，１０，１２となる。図５の例は領域分割態様が２種類の場合の例であったが、この例に限られず、３種類以上の分割であっても上記同様に分割領域の合成結果に対応するようにパケット分割が行なわれるものとする。
【００３５】
このようにして１つのコンテンツに対して複数種類の領域分割態様を用意しておき、配信時には視聴者が選択した領域選択情報番号をクライアントからサーバに送り、選択された領域選択情報番号で指定される領域分割態様に対応して準備されたテーブル１６，１７の項目（エントリ）を用いて図２の実施例における説明と同様の方法にて配信を行う。
【００３６】
以下に、更に詳細に本発明の各実施例について説明する。
【００３７】
まず、上記領域とパケットとの対応情報を格納する領域テーブル１６は。動画像のフレーム毎に領域番号とパケット番号ｐｎｏとを対応付ける構成とされる。即ち、あるフレームのパケット分割が例えば図３に示すようなものであった場合、当該テーブル１６に格納される値は以下の表２に示す如くの値となる。
【００３８】
【表２】

ここで領域の位置や分割態様は領域分割情報提供部３５からの情報に応じてフレーム毎に逐次変化することが考えられ、もって、特に動画像における対象物（例えばサッカー中継画面における個々の選手の画像等）の動きが激しい場合等では、当該テーブル１６にはフレーム毎に異なる値が格納される場合がある。
【００３９】
上記ストリームのパケット分割に関して周知のＭＰＥＧ４の技術を適用した場合を例にとって以下に説明する。ＭＰＥＧ４ではストリームにおいて各ピクチャの開始点にはユニークワード０ｘ０００００１Ｂ６が挿入されているため、容易にピクチャ先頭を検出することができる。しかしマクロブロックの先頭にはこのようなユニークワードは無いため、ピクチャ先頭の情報から通常のビットストリーム解析を行う必要がある。そのためビットストリームシンタックスの解析を行い、一度１ピクチャ分の全マクロブロックにつき、それらの情報を一旦符号化モード、動きベクトル、量子化器、ＤＣＴ係数の夫々の情報に戻す。ＭＰＥＧ４では連続送信可能な最低単位はビデオパケットと呼ばれる単位であるため、このデータによって例えば図３による分割態様に従ってビデオパケットのヘッダを挿入しながら各マクロブロックの情報を再度ビットストリームに変換することにより、所望のパケット分割が施されたストリームを得ることが出来る。
【００４０】
又、所謂ＶＢＲ（Ｖａｒｉａｂｌｅ Ｂｉｔ Ｒａｔｅ)でエンコードされている場合、ビットレートは時刻と共に変化するため、レートテーブル１７もフレーム毎に用意する必要がある。ここで、ある時刻に図３における各領域のみについて取り出したエンハンスメントレイヤのストリームのビットレートが下記のとおりであったとする。
【００４１】
領域Ａ１のビットレートＲ＿Ａ［１］ ＝ １２８（ｋｂｐｓ）
領域Ａ２のビットレートＲ＿Ａ［２］ ＝ ６４（ｋｂｐｓ）
領域Ａ３のビットレートＲ＿Ａ［３］ ＝ ６４（ｋｂｐｓ）
又、ベースレイヤのストリームのビットレートを６４ｋｂｐｓとする。
【００４２】
このとき、当該時刻に該当するフレーム番号のレートテーブル（１７）Ｔ＿Ｒ（ｆｒａｍｅｎｏ，Ｒ＿ｅｆｆｅｃｔｉｖｅ)は以下の表３に示す内容となる。
【００４３】
【表３】

このテーブルは各領域の優先度がＡ１＞Ａ２＞Ａ３であることも示している。この優先度が異なる場合はレートテーブルの内容も異なることとなる。上記表３の内容は、上記各領域毎の所要ビットレートに応じて、以下のようにして決められる。
【００４４】
インターネット等の伝送路の検出実効許容伝送レートからベースレイヤのストリーム分のビットレートである６４ｋｂｐｓを差し引いたＲ＿ｅｆｆｅｃｔｉｖｅが２５６ｋｂｐｓ以上の場合、Ａ１，Ａ２，Ａ３の全ての領域についてベースレイヤに加えてエンハンスメントレイヤのストリームも配信することが可能となる。これは、上記各領域Ａ1、Ａ２、Ａ３のエンハンスメントレイヤの所要ビットレートの合計が２５６ｋｂｐｓであり、上記検出許容ビットレート（２５６ｋｂｐｓ以上）の範囲内に収まるからである。
【００４５】
同様の理由から、同ベースレイヤ分を差し引いたＲ＿ｅｆｆｅｃｔｉｖｅが１９２乃至２５６ｋｂｐｓの範囲であれば、Ａ１，Ａ２の領域についてはベースレイヤに加えてエンハンスメントレイヤのストリームも配信可能であるが、他方領域Ａ３についてはベースレイヤのストリームのみ配信することが可能である。これは、上記各領域Ａ1、Ａ２のエンハンスメントレイヤの所要ビットレートの合計が１９２ｋｂｐｓであり、上記検出許容ビットレート（１９２ｋｂｐｓ以上）の範囲内に収まるからである。
【００４６】
又、同ベースレイヤ分を差し引いたＲ＿ｅｆｆｅｃｔｉｖｅが１２８乃至１９２ｋｂｐｓの範囲であれば、Ａ１の領域についてのみベースレイヤに加えてエンハンスメントレイヤのストリームも配信可能であるが、他方領域Ａ２，Ａ３についてはベースレイヤのストリームのみ配信可能である。これは、上記各領域Ａ1のエンハンスメントレイヤの所要ビットレートの合計が１２８ｋｂｐｓであり、上記検出許容ビットレート（１２８ｋｂｐｓ以上）の範囲内に収まるからである。
【００４７】
更に同Ｒ＿ｅｆｆｅｃｔｉｖｅが１２８ｋｂｐｓ未満の際は、全ての領域についてベースレイヤのストリームのみ配信可能である。これは、検出ビットレートが最も優先順位の高い領域Ａ１のエンハンスメントレイヤの所要ビットレート１２８ｋｂｐｓに満たないからである。
【００４８】
以下、図６と共に、本発明の図２に示す第１実施例による画像伝送方式の処理手順について説明する。尚、同図ではエンハンスメントレイヤ・ストリームの送信手順について示しているが、ベースレイヤ・ストリームは全てパケットについて配信されるものとする。
【００４９】
即ち、先ず配信すべき動画像の最初のフレームについて（ステップＳ１），ステップＳ２にて「領域リスト」を作成する。この領域リストは以下の通りに作成する。即ち、まず、現在の検出実効許容ビットレートから、当該フレームに関する表３の如くのレートテーブル１７を参照し、当該検出実効許容レートの範囲内でエンハンスメントレイヤ・ストリームが配信可能な領域を決定する。次に、当該フレームに関する表２の如くの領域テーブル１６を参照し、上記の如くに決定された、エンハンスメントレイヤ・ストリームが配信可能な領域Ｔ＿Ａを構成するパケット番号ｐｎｏを抽出し、当該抽出されたパケット番号のリストを「領域リストＡＬ」とする。
【００５０】
次に、当該フレームの最初のビデオパケットについて（ステップＳ３）、当該パケット番号が上記領域リストＡＬに含まれているか否かを判定する（ステップＳ４）。その結果含まれていなければ、当該パケットとして上記ダミーパケットを送信するか或いは何も送信しない（ステップＳ６）。ステップＳ４の結果、領域リストＡＬに含まれいれば（Ｙｅｓ）、当該パケットとして該当するエンハンスメントレイヤのデータを送信する（ステップＳ５）。
【００５１】
同様の処理を当該フレームを構成する全てのパケットについて繰り返し（ステップＳ４乃至Ｓ８のループ）、それが終了すると（ステップＳ７のＹｅｓ）、次のフレームの処理に移行し（ステップＳ９）、各フレーム毎に上記処理を繰り返す（ステップＳ２乃至Ｓ１０）。
【００５２】
次に、図４に示す、本発明の第２実施例について詳細に説明する。
【００５３】
本実施例では、ユーザである視聴者からの指示に従って予め準備されている複数の領域分割態様から所定のものを選択し、その領域分割態様に従って配信を行う。この場合の領域、パケット分割例については図５と共に上述した通りである。又、この場合の、あるフレームにおける各領域当たりの所要のビットレート例を以下に示す。
【００５４】
領域分割１の場合
領域Ａ１のビットレート：６４（ｋｂｐｓ）
Ａ1以外の領域のビットレート：１９２（ｋｂｐｓ）
領域分割２の場合
領域Ａ１のビットレート：１２８（ｋｂｐｓ）
Ａ１以外の領域のビットレート：１２８（ｋｂｐｓ）
ここでは、本実施例により、視聴者の嗜好に応じて、同じ動画像について異なる表示方法を選択する場合の例について説明する。
【００５５】
図４において、クライアント・コンピュータＣでは、例えばサッカーなどの試合中継画面を例に取ると、予め視聴者に対して例えば図７に示す如くのメニューを提示することにより選択可能とする。当該メニュー内容はコンテンツ選択時にサーバ・コンピュータＳからクライアント・コンピュータＣに送信されるものとする。
【００５６】
図７の場合、メニュー上の番号が上記領域分割情報番号に相当する。この例では、領域分割情報１を選択した場合、画面中のＡチームの選手が映っている領域について特に高画質で表示する態様が設定され、他方領域分割情報２が選択された場合にはＢチームの選手が映っている領域について特に高画質で表示する態様が設定される。
【００５７】
配信に使用される領域テーブル１６として、上記第１実施例の場合に比して、更に他のパラメタが追加される。ここでは、当該追加パラメタをＴ＿Ａ（ｄｉｖｎｏ，ｐｎｏ) とし、あるフレームについて、図５に対応して、例えば以下の表４の如くに構成するものとする。ここで上記ｄｉｖｎｏは領域分割情報番号を示す。
【００５８】
【表４】

尚、表４において、「領域番号Ｔ＿Ａ」としては以下の値が設定される。
【００５９】
領域分割１(ｄｉｖｎｏ＝１)の場合
領域Ａ１:１
Ａ１以外の領域：２
領域分割２(ｄｉｖｎｏ＝２)の場合
領域Ａ２:１
Ａ２以外：２
またレートテーブル１７についても、パラメタとして上記領域分割情報番号ｄｉｖｎｏを追加してＴ＿Ｒ(ｄｉｖｎｏ，ｆｒａｍｅｎｏ，Ｒ＿ｅｆｆｅｃｔｉｖｅ)とし、同じく図５に対応して例えば以下の表５の如くに構成する。
【００６０】
ここで、Ｒ＿ｅｆｆｅｃｔｉｖｅは、ベースレイヤのストリームのビットレートである６４ｋｂｐｓを、検出された実効許容伝送レートから差し引いたものとする。
【００６１】
【表５】

尚、この例では領域領域分割番号として“1”が選ばれた場合にはＲ＿ｅｆｆｅｃｔｉｖｅが２５６〜６４ｋｂｐｓのときに、当該領域分割情報番号設定時の領域番号１すなわち図５のＡ１の部分のみ選択され、Ａチームの選手の部分が鮮明に見えるようになる。他方、領域領域分割情報番号として“２”が選ばれた場合には、Ｒ＿ｅｆｆｅｃｔｉｖｅが２５６〜１２８ｋｂｐｓのときに、当該領域分割情報番号設定時の領域番号１すなわち図５のＡ２の部分のみ選択され、Ｂチームの選手が鮮明に見えるようになる。
【００６２】
以下、図８と共に、上記本発明の第２実施例による画像伝送方式の処理手順について説明する。尚、第２実施例同様、同図ではエンハンスメントレイヤ・ストリームの送信手順について示しているが、ベースレイヤについては全てパケットについてベースレイヤ・ストリームが配信されるものとする。
【００６３】
即ち、先ず配信すべき動画像の最初のフレームについて（ステップＳ１），視聴者の選択による領域分割情報を受信する(ステップＳ１１)。そして、ステップＳ２にて当該フレームに関する「領域リスト」を作成する。この領域リストは以下の通りに作成する。
【００６４】
即ち、まず、現在の検出実効許容ビットレートから、当該フレームに関する表５の如くのレートテーブル１７のうちの、上記ステップＳ１１にて得られた領域分割情報の番号（ｄｉｖｎｏ）の範囲について参照し、当該検出実効許容レートの範囲内でエンハンスメントレイヤ・ストリームが配信可能な領域を決定する。次に、当該フレームに関する表４の如くの領域テーブル１６のうちの、上記ステップＳ１１にて得られた領域分割情報の番号（ｄｉｖｎｏ）の範囲について参照し、上記の如くに決定され、たエンハンスメントレイヤ・ストリームが配信可能な領域Ｔ＿Ａを構成するパケット番号ｐｎｏを抽出し、当該抽出されたパケット番号のリストを「領域リストＡＬ」とする。
【００６５】
次に、当該フレームの最初のビデオパケットについて（ステップＳ３）、当該パケット番号が上記領域リストＡＬに含まれているか否かを判定する（ステップＳ４）。その結果含まれていなければ、当該パケットとして上記ダミーパケットを送信するか或いは何も送信しない（ステップＳ６）。ステップＳ４の結果、領域リストＡＬに含まれいれば（Ｙｅｓ）、当該パケットとして該当するエンハンスメントレイヤのデータを送信する（ステップＳ５）。
【００６６】
同様の処理を当該フレームを構成する全てのパケットについて繰り返し（ステップＳ４乃至Ｓ８のループ）、それが終了すると（ステップＳ７のＹｅｓ）、次のフレームの処理に移行し（ステップＳ９）、各フレーム毎に上記処理を繰り返す（ステップＳ２乃至Ｓ１０）。
【００６７】
これら各実施例等で実現される本発明によれば、最低ベースレイヤとエンハンスメントレイヤの２階層のみで多数の中間の送信ビットレートの選択が可能となる。即ち、表３の例では４段階の送信ビットレートの選択が可能であり、表５の例では各領域分割態様のついて３段階の送信ビットレートの選択が可能となる。そのため、エンコード処理負荷を削減しながら実効許容ビットレートに即して細かく配信ビットレートを調整可能である。従って、常に現状の実効許容レートに即した、より最良に近い画質での配信が可能となる。
【００６８】
又、１度のエンコードによって得られるパケットの組み合わせによって柔軟に配信ビットレートと特定の画像領域毎の画質との関係を制御可能であるため、再生画像に対するユーザの希望に即した態様での画像配信が可能となる。
【００６９】
尚、本発明の実施例に適用可能な上記の「階層符号化技術（スケーラビリティ）」としては、例えばＭＰＥＧ２に採用されたものとして、夫々公知の、▲１▼画面上の空間解像度に関する空間スケーラビリティ、▲２▼フレームレートに関する時間スケーラビリティ、▲３▼送信データを生成する際のデータ圧縮率に関するＳＮＲスケーラビリティ等がある。このうち、上記各実施例の説明は、▲３▼ＳＮＲスケーラビヒティ技術を主に想定した説明となっている。この場合のデータ圧縮率は、例えば画像圧縮の過程で行なわれる量子化処理における量子化ステップサイズの大小によって決定され得る。
【００７０】
本発明は以下の付記に記載の構成を含む。
【００７１】
（付記１）
所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとから所定の伝送路を介して配信すべき動画像データコンテンツを生成するデータ伝送装置であって、
当該所定の動画像データを複数の領域に分割する分割手段と、
所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤとベースレイヤとの両方のストリームを送信する送信レイヤ決定手段とよりなるデータ伝送装置。
【００７２】
(付記２)
所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとから所定の伝送路を介して配信すべき動画像データコンテンツを生成するデータ伝送装置であって、
当該所定の動画像データを複数の領域に分割する分割手段と、
エンハンスメントレイヤのストリームについて、所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤのストリームを送信し、他の領域についてはダミーデータを送信するか或いは配信を停止するエンハンスメントレイヤ決定手段とよりなるデータ伝送装置。
【００７３】
(付記３)
前記複数の領域の各領域は所定の優先順位を有し、前記送信レイヤ決定手段は前記所定の単位時間毎に上記優先順位に従ってベースレイヤとエンハンスメントレイヤとの両方のストリームを送信する領域を選択する構成の付記１又は２に記載のデータ伝送装置。
【００７４】
(付記４)
前記送信レイヤ決定手段は、予め前記複数の領域のうちから所定の順序で順次各領域を選択していった場合の夫々の場合のエンハンスメントレイヤのストリーム送信のための合計所要送信レートを算出しておき、前記複数の領域のうちから所定の順序で順次各領域を選択していった場合の夫々の場合のうち、前記所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で最大合計所要送信レートとなる場合の選択領域の各々についてエンハンスメントレイヤのストリームを送信する付記１乃至３のうちのいずれかに記載のデータ伝送装置。
【００７５】
(付記５)
前記分割手段は、所定の動画像データについて、選択可能に複数種類設けた領域分割態様の各々について複数の領域に分割する構成の付記１乃至４にうちのいずれかに記載のデータ伝送装置。
【００７６】
(付記６)
前記分割手段による分割領域の各々に対応させてエンハンスメントレイヤのストリームの連続送信可能な最低データ単位の各々を設定する構成の付記１乃至５のうちのいずれかに記載のデータ伝送装置。
【００７７】
（付記７）
所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとから所定の伝送路を介して配信すべき動画像データコンテンツを生成するためのデータ伝送方法であって、
当該所定の動画像データを複数の領域に分割する分割段階と、
所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤとベースレイヤとの両方のストリームを送信する送信レイヤ決定段階とよりなるデータ伝送方法。
【００７８】
(付記８)
所定の動画像データから得られる基本となるベースレイヤのデータストリームと、当該ベースレイヤの動画像データに対して付加することによって画質を向上し得るエンハンスメントレイヤのデータストリームとから所定の伝送路を介して配信すべき動画像データコンテンツを生成するためのデータ伝送方法であって、
当該所定の動画像データを複数の領域に分割する分割段階と、
エンハンスメントレイヤのストリームについて、所定の単位時間毎に前記所定の伝送路の実効許容送信レートの範囲内で上記エンハンスメントレイヤのストリームを送信可能な上記複数の領域のうちの所定の領域についてエンハンスメントレイヤのストリームを送信し、他の領域についてはダミーデータを送信するか或いは配信を停止するエンハンスメントレイヤ決定段階とよりなるデータ伝送方法。
【００７９】
(付記９)
前記複数の領域の各領域は所定の優先順位を有し、前記送信レイヤ決定段階では前記所定の単位時間毎に上記優先順位に従ってベースレイヤとエンハンスメントレイヤとの両方のストリームを送信する領域を選択する構成の付記７又は８に記載のデータ伝送方法。
【００８０】
(付記１０)
前記送信レイヤ決定段階では、予め前記複数の領域のうちから所定の順序で順次各領域を選択していった場合の夫々の場合のエンハンスメントレイヤのストリーム送信のための合計所要送信レートを算出しておき、前記前記複数の領域のうちから所定の順序で順次各領域を選択していった場合の夫々の場合のうち、前記所定の単位時間毎に、前記所定の伝送路の実効許容送信レートの範囲内で最大合計所要送信レートとなる場合の選択領域の各々についてエンハンスメントレイヤのストリームを送信する付記７乃至９のうちのいずれかに記載のデータ伝送方法。
【００８１】
(付記１１)
前記分割段階では、所定の動画像データについて、選択可能に設けた複数種類の領域分割態様の各々について複数の領域に分割する構成の付記７乃至１０にうちのいずれかに記載のデータ伝送方法。
【００８２】
(付記１２)
前記分割段階での分割領域の各々に対応させてエンハンスメントレイヤのストリームの連続送信可能な最低データ単位の各々を設定する構成の付記７乃至１１のうちのいずれかに記載のデータ伝送方法。
【００８３】
(付記１３)
前記付記７乃至１２のうちのいずれかに記載のデータ伝送方法をコンピュータに実行させるためのソフトウェアプログラム。
【００８４】
【発明の効果】
本発明では、配信すべきコンテンツは予めベースレイヤトエンハンスメントレイヤの最低２層分のデータストリームを作成しておき、コンテンツ配信時の実効許容送信レートの範囲内でエンハンスメントレイヤのデータストリームを送信可能な最大限度の領域の組み合わせについてエンハンスメントレイヤのデータストリームをベースレイヤのデータストリームに加えて送信する。そのため、コンテンツ毎に準備すべき階層符号化方式による最低層数は２層であるにもかかわらず、配信時点の実効許容送信レートに応じて、エンハンスメントレイヤのストリームを送信する領域の選択によって様々な送信レートで当該コンテンツを配信可能である。したがって、配信時点の実効許容送信レートに応じ細かく対応して様々な態様の送信データの生成が可能である。もって、比較的簡易な構成にて、伝送路の状態に応じた配信内容の細かな動的適応が可能であり、且つ、階層符号化方式の適用によって伝送路の効率的利用が可能なデータ伝送方式を提供可能である。
【図面の簡単な説明】
【図１】従来の一例の動的帯域適応配信技術を説明するための図である。
【図２】本発明の第１実施例によるデータ伝送システムの概略ブロック図である。
【図３】本発明の第１実施例による領域分割とパケット割り当てについて説明するための図である。
【図４】本発明の第２実施例によるデータ伝送システムの概略ブロック図である。
【図５】本発明の第２実施例による領域分割とパケット割り当てについて説明するための図である。
【図６】本発明の第１実施例によるデータ伝送方法の概略動作フローチャートである。
【図７】本発明の第２実施例におけるクライアント・コンピュータに表示するメニュー画面の一例を説明するための図である。
【図８】本発明の第２実施例によるデータ伝送方法の概略動作フローチャートである。
【符号の説明】
３１ ビデオリソース
３３ エンハンスメントレイヤ・ストリーム格納部
３４ ベースレイヤ・ストリーム格納部
１１ ストリーム分解部
１２ 通常ストリーム（ベースレイヤ）送出部
１３ 通常ストリーム（エンハンスメントレイヤ）送出部
１４ ダミーストリーム送出部
１５ パケット選択スイッチ
１６ 領域テーブル格納部
１７ レートテーブル格納部
１８ パケット選択部
１９ 領域決定部
２０ 送信部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image transmission apparatus, an image transmission method, and a software program, and more particularly to an image transmission apparatus, an image transmission method, and a software program for distributing image information such as a moving image via a communication network such as the Internet.
[0002]
[Prior art]
The problem with the distribution of moving images over the so-called best-effort network such as the Internet is that a packet loss or the like occurs due to a lack of network bandwidth or the like, and as a result, the reproduction image quality due to the distributed information is remarkably deteriorated. There are cases. In order to solve this problem, there is a moving image distribution technique for performing distribution while dynamically adapting to the effective bandwidth capacity.
[0003]
As an example, there is a technology in which moving image content is encoded at a plurality of types of bit rates, stored in a server, and a bit rate stream that can be transmitted at an effective allowable rate at the time of content distribution is dynamically selected and distributed. is there. The outline of the technology will be described below with reference to FIG.
[0004]
Here, encoding at a plurality of types of bit rates described above means that a plurality of types of predetermined data conversion are performed so that the bit rate when moving image content is transmitted by a predetermined transmission means becomes a predetermined plurality of types of rates. This means that data conversion is performed at a rate, for example, data compression is performed at a plurality of predetermined compression rates.
[0005]
In the figure, the sending unit 110 of the server computer 100 measures the effective allowable transmission rate R_effective that can be received by the client computer 200 according to the network NW status at predetermined time intervals, for example, at intervals of 10 seconds. . Then, according to the detected effective allowable rate, the stream selection switch 120 selects a stream encoded in advance at a bit rate that does not exceed R_effective, and distributes the selected stream to the client computer 200 via the network NW.
[0006]
For example, when R_effective = 600 kbps, the stream 130 encoded in advance at 500 kbps is selected, and when it is detected that R_effective = 400 kbps is reduced at the next moment, the stream 140 encoded in advance at 250 kbps is accordingly detected. Is selected. In this way, the transmission data capacity is controlled in advance to eliminate the occurrence of packet loss and the like, thereby suppressing a significant deterioration in reproduction image quality due to distributed information.
[0007]
[Problems to be solved by the invention]
As described above, in the conventional network bandwidth adaptive distribution system, the moving image content is encoded in advance at a plurality of types of bit rates and stored in the server computer for distribution when a decrease in the effective allowable rate is detected. deep. Then, as described above, it is assumed that the effective permissible rate detected at a certain time point is 600 kbps, and when a stream encoded at 500 kbps is selected, a decrease in the effective permissible rate is detected and becomes 400 kbps. At this time, a stream encoded at the next lower bit rate is selected and distributed at 250 kbps.
[0008]
In this case, although there is actually a transmission rate capacity of 400 kbps-250 kbps = 150 kbps, it is necessary to reduce the transmission rate to 250 kbps in order to select from pre-encoded ones. There has been a problem that the image quality is greatly deteriorated more than the degree of actual network situation deterioration.
[0009]
In order to avoid this problem, it is conceivable to encode in advance at various bit rates including 400 kbps, etc., but this requires an encoder with high processing capacity, or for this reason, the encoding processing time is increased. In particular, it is not preferable for moving image distribution.
[0010]
Hierarchical coding has been proposed as a technique for efficiently performing distribution at such multiple bit rates. This method is also referred to as scalability, and differs from the normal method as described above in which information such as a single moving image is encoded (encoded) into a single stream, and has a hierarchical structure with multiple layers, and is independent for each layer. This is a method of encoding as a stream. Here, the most basic layer is referred to as a base layer, and the higher layer stream is referred to as an enhancement layer.
[0011]
In this hierarchical coding method, reproduction is possible with only the base layer, but by adding enhancement layers one layer at a time, information such as moving images with sequentially improved quality can be provided. A specific example in this case is shown in Table 1 below.
[0012]
[Table 1]

In this example, the same three types of bit rates as in the previous example can be selected. Here, the base layer is a stream encoded at a bit rate of 64 kbps.
[0013]
The enhancement layer # 1 is obtained by decoding and reproducing a reproduction image obtained by decoding and reproducing a stream obtained by encoding at 250 kbps and the stream obtained by encoding at 64 kbps with respect to the same moving image content. It is a stream obtained by encoding difference data with a reproduced image.
[0014]
Further, enhancement layer # 2 is obtained by decoding and reproducing a reproduction image obtained by decoding and reproducing a stream obtained by encoding at 500 kbps and a stream obtained by encoding at 250 kbps with respect to the same moving image content. This is a stream obtained by encoding the difference data with the reproduced image.
[0015]
Therefore, by adding the decoded reproduction image data of the enhancement # 1 stream to the decoded reproduction image data of the base layer stream, an image having the same image quality as the decoded reproduction image of the stream obtained by encoding at 250 kbps can be obtained. Similarly, the decoded playback image of the stream obtained by encoding at 500 kbps by adding the decoded playback image data of the enhancement # 1 stream and the decoded playback image data of the enhancement # 2 stream to the decoded playback image data of the base layer stream An equivalent image quality can be obtained.
[0016]
According to this hierarchical encoding method, the base layer stream out of the base layer and enhancement layer # 1 and # 2 streams has the same capacity as the stream encoded at 64 kbps in the example of FIG. Since each of the other enhancement layer # 1 and # 2 streams is “difference data” as described above, its data capacity is clarified in comparison with a stream encoded at 250 kbps and a stream encoded at 500 kbps. Reduction is possible. Therefore, according to this hierarchical encoding method, it is possible to reduce the disk capacity at the server and improve the network bandwidth utilization efficiency during broadcast distribution. However, in order to increase the types of selectable bit rates, it is necessary to increase the types of enhancement layers, which causes the same problem as described above.
[0017]
In the conventional network band adaptive distribution system, as described above, it is possible to detect a decrease in effective allowable rate and prevent a significant deterioration such as a screen collapse even when distribution at a low rate is selected. . However, in this method, degradation due to encoding such as mosquito noise and block distortion occurs uniformly throughout the screen as a result of low-rate delivery, so the image quality of the portion that is particularly important for the user in the screen is also another less important portion. Similarly, it will deteriorate. In such a case, there is a possibility that the user may not endure viewing.
[0018]
To solve this problem, the image quality is maintained only in a specific area that is considered important, and encoding is performed at a lower overall rate by a method that relatively increases the degradation of the other areas. It is possible to keep it. In this regard, in Japanese Patent Laid-Open No. 7-288806, when compressing and transmitting an image, the resolution of each part of the image is automatically determined according to the allowable transmission amount, and the resolution of the part to be viewed in detail can be specified. A communication system is disclosed.
[0019]
In the technique disclosed in the publication, as shown in FIGS. 1 and 2 of the publication, one-to-one real-time communication between the video provider and the receiver is assumed. In this configuration, an image is captured in real time, and image compression is performed at different resolutions for each region in accordance with an instruction from the recipient. However, in this system, the image data generated by the transmission side communication unit is dedicated to one receiver, and if it is assumed that the same moving image is distributed to a large number of receivers in the same system, Since the image area desired to have a high resolution differs for each recipient, it is necessary to provide at least a transmission side communication unit for each recipient, resulting in a complicated system configuration. In addition, in this system, an image area that should be high resolution cannot be determined until an instruction from the recipient is received, and image compression processing cannot be performed. Not suitable for.
[0020]
In view of the above problems, an object of the present invention is to provide an image transmission system capable of fine image quality adjustment according to the effective transmission rate of a network with a relatively simple configuration.
[0021]
[Means for Solving the Problems]
In order to achieve the above object, in the present invention, a basic base layer data stream obtained from predetermined moving image data and an enhancement layer that can improve image quality by being added to the moving image data of the base layer. When generating moving image data content to be distributed from a data stream via a predetermined transmission path, the moving image data is divided into a plurality of regions, and effective transmission of the predetermined transmission path is performed every predetermined unit time. The enhancement layer stream and the base layer stream are transmitted for a predetermined region of the plurality of regions in which the enhancement layer stream can be transmitted within a rate range.
[0022]
In this configuration, the content is a combination of areas in which a data stream for at least two layers of the base layer enhancement layer is created in advance and the enhancement layer data stream can be transmitted within the range of the effective allowable transmission rate at the time of content distribution. In addition to the base layer data stream, the enhancement layer data stream is transmitted.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
In the embodiment of the present invention, the screen is divided into several fine regions in advance, and only a region that can be transmitted at the effective transmission rate of the detected transmission path is selected, so that one stream can be more finely divided. Adaptable to the effective allowable rate. Further, as a variation of the embodiment, by allowing the user to select this area, it is possible to perform transmission with an image quality suitable for the user's preference.
[0024]
The schematic configuration of the embodiment of the present invention will be described below with reference to FIG.
[0025]
In the embodiment of the present invention, moving image data obtained in advance from a video source 31 such as a video tape recorder or a video camera is compressed using an encoder 32 to create a video stream. For the video stream created at this time, there is no particular need for an operation such as forming a compressed stream by dividing information into areas using information on areas such as objects existing in the screen in advance. Further, although the above-described hierarchical encoding method is used for creating a video stream, at this time, it is not always necessary to create a number of enhancement layers, and only one layer is sufficient. However, in each embodiment of the present invention, the enhancement layer is encoded using only intra-frame correlation.
[0026]
When this video stream is registered in the server S, it is divided into the minimum unit in which the enhancement layer stream can be continuously transmitted, that is, the packet based on the area (division) information provided by the area (division) information providing unit 35. Do. As a method of providing region division information by the region division information providing unit 35, for example, a manual input method in which a user designates an area with a mouse or the like on a reproduction screen during reproduction of a video stream, human face, caption, etc. by image processing An automatic determination method or the like for extraction can be considered.
[0027]
The specific method of packet division differs depending on the compression method used, but basically, as shown in FIG. 3, it is assumed that the boundary of each region is the boundary of the divided packet. That is, in the example of FIG. 3, the screen is first divided into three areas A1, A2, and A3 as shown in FIG. 3A, and packet division is performed so that the boundaries of these divided areas overlap the boundaries of the divided packets. . FIG. 2B shows an example of the divided packet obtained in this way. In the figure, the area A1 is composed of packets 2 and 4, the area A2 is composed of packets 6 and 8, and the area A3 is composed of packets 1, 1, 3, 3, 5, 5, 5, 7, 7, 9, 9 It becomes more. Therefore, the boundary between the regions completely overlaps the boundary between the packets.
[0028]
The streams divided for each packet in this way are registered in the server S as normal streams 12 and 13. Here, the stream registered as the normal stream 12 is the above-described base layer data, and the stream registered as the normal stream 13 is the data of the same enhancement layer (in this case, only one layer). Furthermore, when registering, an area table 16 having correspondence information between regions and packets, which will be described later, and a rate table 17 having correspondence information between regions and effective transmission rates, which will be described later, are created. Register at the same time.
[0029]
On the other hand, when the registered stream is distributed to the client C, the sending unit 20 detects the effective allowable transmission rate R_Effective by a method such as receiving feedback of the effective allowable reception rate based on the record of reception from the client C. Further, the area determination unit 19 selects zero or one or more areas that can be distributed within the transmission capacity range of the effective allowable rate R_Effective detected by the transmission unit 20 based on the rate table 17. In this case, the distributable area becomes zero when there is no area that can be transmitted within the capacity range of the effective allowable rate R_Effective.
[0030]
Further, the packet selection unit 18 uses the region table 16 to determine the packets constituting the selected region. The packet of the normal stream 13 is sent to the sending unit 20 by the packet selection switch 15 for each of the packets constituting the region selected here. On the other hand, with respect to the packets constituting the area not selected here, the packet selection switch 15 sends a dummy stream packet or nothing as no packet.
[0031]
Here, the dummy stream is a stream that has no screen information, and has a very small amount of information. For example, in the case of the MPEG-4 system, it is realized by configuring with skip macroblocks, and can be configured with only a video packet header. For the area where the dummy stream is selected, the screen of the base layer (normal stream 12) is output as it is. In addition, in the syntax, in the case of an encoding method that does not require a dummy when screen information is not transmitted, it can be said that the corresponding packet is not transmitted for the non-selected region. In this case, “no packet” is selected.
[0032]
Next, the second embodiment shown in FIG. 4 has a configuration in which feedback from a viewer who is a user is used for region selection. In this case, a plurality of types of region division modes are prepared in advance, and a stream to be distributed is selected by the packet selection switch 15 from the region division modes selected according to the viewer's instruction and the detected R_effective.
[0033]
FIG. 5 shows a packet division mode when a plurality of types of region division modes in FIG. 4 are prepared. In this case, in the area division mode 1 of FIG. 9A, the area is divided into the area A1 and other parts, while in the area division mode 2 of FIG. 5B, the area is divided into the area A2 and other parts. Shall be. Here, when these two types of region division modes are combined, the regions A1 and A2 are divided into other portions as shown in FIG. As shown in the figure, when there are overlapping portions in the combined result areas A1 and A2, packet division is performed so as to correspond to the overlapping portions (in the example shown, packet 7 corresponds to the corresponding packet). Is).
[0034]
As a result of the packet division as described above according to the boundary between the divided areas in the composite area dividing mode shown in FIG. 5C, a divided packet as shown in FIG. 5D is obtained. In this case, the packets corresponding to the area A1 are the packets 2, 4, 7, and 8, and the packets corresponding to the area A2 are the packets 6, 7, 10, and 12. The example in FIG. 5 is an example in which there are two types of area division modes, but the present invention is not limited to this example. Shall be performed.
[0035]
In this way, a plurality of types of area division modes are prepared for one content, and at the time of distribution, the area selection information number selected by the viewer is sent from the client to the server, and designated by the selected area selection information number. Distribution is performed in the same manner as described in the embodiment of FIG. 2 using the items (entries) of the tables 16 and 17 prepared corresponding to the area division mode.
[0036]
In the following, each embodiment of the present invention will be described in more detail.
[0037]
First, an area table 16 that stores correspondence information between the above-described areas and packets. An area number and a packet number pno are associated with each frame of a moving image. That is, when the packet division of a certain frame is as shown in FIG. 3, for example, the values stored in the table 16 are as shown in Table 2 below.
[0038]
[Table 2]

Here, it is conceivable that the position and division mode of the area change sequentially for each frame in accordance with information from the area division information providing unit 35, and in particular, an object in a moving image (for example, an individual player on a soccer relay screen) When the motion of the image or the like is intense, the table 16 may store a different value for each frame.
[0039]
A case where a well-known MPEG4 technique is applied to packet division of the stream will be described below as an example. In MPEG4, since the unique word 0x000001B6 is inserted at the start point of each picture in the stream, the head of the picture can be easily detected. However, since there is no such unique word at the beginning of the macroblock, it is necessary to perform normal bitstream analysis from the information at the beginning of the picture. Therefore, the bitstream syntax is analyzed, and once for all macroblocks for one picture, the information is once returned to the information of the encoding mode, motion vector, quantizer, and DCT coefficient. In MPEG4, since the minimum unit that can be transmitted continuously is a unit called a video packet, the information of each macroblock is converted into a bitstream again while inserting the header of the video packet according to the division mode shown in FIG. Thus, a stream subjected to desired packet division can be obtained.
[0040]
In addition, when the encoding is performed by so-called VBR (Variable Bit Rate), the bit rate changes with time, so it is necessary to prepare the rate table 17 for each frame. Here, it is assumed that the bit rate of the enhancement layer stream extracted for each region in FIG. 3 at a certain time is as follows.
[0041]
Bit rate R_A [1] of area A1 = 128 (kbps)
Bit rate R_A [2] of area A2 = 64 (kbps)
Bit rate R_A [3] of area A3 = 64 (kbps)
The bit rate of the base layer stream is 64 kbps.
[0042]
At this time, the rate table (17) T_R (frameno, R_effective) of the frame number corresponding to the time has the contents shown in Table 3 below.
[0043]
[Table 3]

This table also shows that the priority of each area is A1>A2> A3. When this priority is different, the contents of the rate table are also different. The contents of Table 3 are determined as follows according to the required bit rate for each area.
[0044]
When R_effective is equal to or higher than 256 kbps, which is a base layer stream bit rate of 64 kbps, from the detected effective allowable transmission rate of a transmission path such as the Internet, the enhancement layer in addition to the base layer for all areas A1, A2, and A3 This stream can also be distributed. This is because the total required bit rate of the enhancement layer in each of the areas A1, A2, and A3 is 256 kbps and falls within the range of the detection allowable bit rate (256 kbps or more).
[0045]
For the same reason, if the R_effective value obtained by subtracting the base layer is within a range of 192 to 256 kbps, the enhancement layer stream can be delivered in addition to the base layer in the areas A1 and A2, but the other area A3. Can only deliver base layer streams. This is because the total required bit rate of the enhancement layer in each of the areas A1 and A2 is 192 kbps and falls within the range of the detection allowable bit rate (192 kbps or more).
[0046]
If R_effective after subtracting the same base layer is in the range of 128 to 192 kbps, the enhancement layer stream can be distributed in addition to the base layer only for the area A1, while the base layer for the other areas A2 and A3. Only stream of can be delivered. This is because the total required bit rate of the enhancement layer in each area A1 is 128 kbps and falls within the range of the detection allowable bit rate (128 kbps or more).
[0047]
Furthermore, when the same R_effective is less than 128 kbps, only the base layer stream can be distributed for all areas. This is because the detected bit rate is less than the required bit rate of 128 kbps of the enhancement layer in the area A1 having the highest priority.
[0048]
The processing procedure of the image transmission method according to the first embodiment shown in FIG. 2 of the present invention will be described below with FIG. In the figure, the transmission procedure of the enhancement layer stream is shown, but it is assumed that the base layer stream is all delivered for the packet.
[0049]
That is, first, for the first frame of the moving image to be distributed (step S1), an “area list” is created in step S2. This area list is created as follows. That is, first, from the current detected effective permissible bit rate, a rate table 17 as shown in Table 3 relating to the frame is referred to, and an area where the enhancement layer stream can be distributed within the range of the permissible effective detection rate is determined. Next, referring to the area table 16 as shown in Table 2 regarding the frame, the packet number pno constituting the area T_A to which the enhancement layer stream can be distributed, which is determined as described above, is extracted, and the extracted The list of packet numbers is referred to as “area list AL”.
[0050]
Next, for the first video packet of the frame (step S3), it is determined whether the packet number is included in the area list AL (step S4). If it is not included as a result, the dummy packet is transmitted as the packet, or nothing is transmitted (step S6). If the result of step S4 is not included in the area list AL (Yes), the corresponding enhancement layer data is transmitted as the packet (step S5).
[0051]
The same processing is repeated for all the packets constituting the frame (the loop of steps S4 to S8). When the processing is completed (Yes in step S7), the process proceeds to the next frame (step S9). The above processing is repeated (steps S2 to S10).
[0052]
Next, the second embodiment of the present invention shown in FIG. 4 will be described in detail.
[0053]
In this embodiment, a predetermined one is selected from a plurality of area division modes prepared in advance according to an instruction from a viewer who is a user, and distribution is performed according to the area division mode. The area and packet division example in this case are as described above with reference to FIG. An example of a required bit rate per area in a certain frame in this case is shown below.
[0054]
For area division 1
Bit rate of area A1: 64 (kbps)
Bit rate of area other than A1: 192 (kbps)
For area division 2
Bit rate of area A1: 128 (kbps)
Bit rate of area other than A1: 128 (kbps)
Here, according to the present embodiment, an example in which different display methods are selected for the same moving image according to the viewer's preference will be described.
[0055]
In FIG. 4, for example, in the case of a game relay screen such as soccer, the client computer C can be selected by presenting a menu as shown in FIG. 7 to the viewer in advance. It is assumed that the menu contents are transmitted from the server computer S to the client computer C when selecting the content.
[0056]
In the case of FIG. 7, the number on the menu corresponds to the area division information number. In this example, when the area division information 1 is selected, a mode in which the area in which the players of the team A on the screen are displayed is set with a particularly high image quality, and when the other area division information 2 is selected, A mode in which the area in which the players of the team are shown is displayed with particularly high image quality is set.
[0057]
As the area table 16 used for distribution, other parameters are further added as compared with the case of the first embodiment. Here, it is assumed that the additional parameter is T_A (divno, pno), and a certain frame is configured as shown in Table 4 below, for example, corresponding to FIG. Here, divno indicates a region division information number.
[0058]
[Table 4]

In Table 4, the following values are set as “area number T_A”.
[0059]
In the case of area division 1 (divno = 1)
Area A1: 1
Area other than A1: 2
In case of area division 2 (divno = 2)
Area A2: 1
Other than A2: 2
The rate table 17 is also configured as T_R (divno, frameno, R_effective) by adding the region division information number divno as a parameter, as shown in the following Table 5, for example, corresponding to FIG.
[0060]
Here, R_effective is obtained by subtracting 64 kbps, which is the bit rate of the base layer stream, from the detected effective allowable transmission rate.
[0061]
[Table 5]

In this example, when “1” is selected as the area division number, when R_effective is 256 to 64 kbps, only the area number 1 when the area division information number is set, that is, the portion of A1 in FIG. 5 is selected. , A player's part will be clearly visible. On the other hand, when “2” is selected as the area division information number, when R_effective is 256 to 128 kbps, only the area number 1 when the area division information number is set, that is, the portion of A2 in FIG. 5 is selected. Team B players will be clearly visible.
[0062]
The processing procedure of the image transmission system according to the second embodiment of the present invention will be described below with reference to FIG. As in the case of the second embodiment, the transmission procedure of the enhancement layer stream is shown in the figure, but the base layer stream is distributed for all the base layers.
[0063]
That is, for the first frame of the moving image to be distributed (step S1), the region division information by the viewer selection is received (step S11). In step S2, an “area list” for the frame is created. This area list is created as follows.
[0064]
That is, first, referring to the range of the region division information number (divno) obtained in step S11 in the rate table 17 as shown in Table 5 for the frame from the current detected effective allowable bit rate, An area in which the enhancement layer stream can be distributed within the range of the detected effective allowable rate is determined. Next, with reference to the range (divno) of the area division information obtained in step S11 in the area table 16 as shown in Table 4 regarding the frame, the enhancement layer determined as described above is used. The packet number pno constituting the area T_A in which the stream can be distributed is extracted, and the list of the extracted packet numbers is referred to as “area list AL”.
[0065]
Next, for the first video packet of the frame (step S3), it is determined whether the packet number is included in the area list AL (step S4). If it is not included as a result, the dummy packet is transmitted as the packet, or nothing is transmitted (step S6). If the result of step S4 is not included in the area list AL (Yes), the corresponding enhancement layer data is transmitted as the packet (step S5).
[0066]
The same processing is repeated for all the packets constituting the frame (the loop of steps S4 to S8). When the processing is completed (Yes in step S7), the process proceeds to the next frame (step S9). The above processing is repeated (steps S2 to S10).
[0067]
According to the present invention implemented in each of these embodiments, a number of intermediate transmission bit rates can be selected only in the two layers of the lowest base layer and the enhancement layer. That is, in the example of Table 3, four stages of transmission bit rates can be selected, and in the example of Table 5, three stages of transmission bit rates can be selected for each area division mode. Therefore, it is possible to finely adjust the distribution bit rate in accordance with the effective allowable bit rate while reducing the encoding processing load. Accordingly, it is possible to deliver images with near-best image quality consistent with the current effective permissible rate.
[0068]
In addition, it is possible to flexibly control the relationship between the distribution bit rate and the image quality for each specific image area by combining the packets obtained by one encoding, so that the image distribution in a manner that meets the user's desire for the reproduced image Is possible.
[0069]
As the above-mentioned “hierarchical encoding technique (scalability)” applicable to the embodiment of the present invention, for example, one that is adopted in MPEG2, known as (1) spatial scalability related to spatial resolution on the screen, (2) Time scalability related to the frame rate, and (3) SNR scalability related to the data compression rate when generating transmission data. Of these, the description of each of the above embodiments is mainly based on (3) SNR scalability technology. The data compression rate in this case can be determined by the size of the quantization step size in the quantization process performed in the image compression process, for example.
[0070]
The present invention includes configurations described in the following supplementary notes.
[0071]
(Appendix 1)
A basic base layer data stream obtained from predetermined moving image data and an enhancement layer data stream that can improve image quality by adding to the base layer moving image data via a predetermined transmission path. A data transmission device for generating moving image data content to be distributed,
Dividing means for dividing the predetermined moving image data into a plurality of regions;
Both enhancement layer and base layer streams for a predetermined region of the plurality of regions that can transmit the enhancement layer stream within a range of an effective allowable transmission rate of the predetermined transmission path every predetermined unit time A data transmission apparatus comprising transmission layer determination means for transmitting
[0072]
(Appendix 2)
A basic base layer data stream obtained from predetermined moving image data and an enhancement layer data stream that can improve image quality by adding to the base layer moving image data via a predetermined transmission path. A data transmission device for generating moving image data content to be distributed,
Dividing means for dividing the predetermined moving image data into a plurality of regions;
With regard to an enhancement layer stream, an enhancement layer stream for a predetermined region of the plurality of regions in which the enhancement layer stream can be transmitted within a range of an effective allowable transmission rate of the predetermined transmission path every predetermined unit time. A data transmission apparatus comprising enhancement layer determination means for transmitting dummy data for other areas or for stopping distribution.
[0073]
(Appendix 3)
Each region of the plurality of regions has a predetermined priority, and the transmission layer determining means selects a region for transmitting both base layer and enhancement layer streams according to the priority for each predetermined unit time. The data transmission apparatus according to appendix 1 or 2 of the configuration.
[0074]
(Appendix 4)
The transmission layer determining means calculates a total required transmission rate for enhancement layer stream transmission in each case where each region is sequentially selected in a predetermined order from the plurality of regions in advance. In each case where each region is sequentially selected from the plurality of regions in a predetermined order, the effective transmission rate within the predetermined transmission path is within the predetermined unit time. 4. The data transmission apparatus according to any one of supplementary notes 1 to 3, wherein an enhancement layer stream is transmitted for each of the selected areas when the maximum total required transmission rate is reached.
[0075]
(Appendix 5)
5. The data transmission apparatus according to any one of appendices 1 to 4, wherein the dividing unit divides predetermined moving image data into a plurality of regions for each of a plurality of selectable region dividing modes.
[0076]
(Appendix 6)
6. The data transmission device according to any one of supplementary notes 1 to 5, wherein each of the lowest data units that can be continuously transmitted in an enhancement layer stream is set in correspondence with each of the divided regions by the dividing unit.
[0077]
(Appendix 7)
A basic base layer data stream obtained from predetermined moving image data and an enhancement layer data stream that can improve image quality by adding to the base layer moving image data via a predetermined transmission path. A data transmission method for generating moving image data content to be distributed,
A division step of dividing the predetermined moving image data into a plurality of regions;
Both enhancement layer and base layer streams for a predetermined region of the plurality of regions that can transmit the enhancement layer stream within a range of an effective allowable transmission rate of the predetermined transmission path every predetermined unit time A data transmission method comprising: a transmission layer determining step for transmitting the data.
[0078]
(Appendix 8)
A basic base layer data stream obtained from predetermined moving image data and an enhancement layer data stream that can improve image quality by adding to the base layer moving image data via a predetermined transmission path. A data transmission method for generating moving image data content to be distributed,
A division step of dividing the predetermined moving image data into a plurality of regions;
With regard to an enhancement layer stream, an enhancement layer stream for a predetermined region of the plurality of regions in which the enhancement layer stream can be transmitted within a range of an effective allowable transmission rate of the predetermined transmission path every predetermined unit time. Is transmitted, and dummy data is transmitted for other areas, or the enhancement layer determining step of stopping distribution is performed.
[0079]
(Appendix 9)
Each region of the plurality of regions has a predetermined priority, and in the transmission layer determination step, a region for transmitting both base layer and enhancement layer streams is selected according to the priority for each predetermined unit time. The data transmission method according to appendix 7 or 8 of the configuration.
[0080]
(Appendix 10)
In the transmission layer determination step, a total required transmission rate for enhancement layer stream transmission in each case in which each region is sequentially selected in a predetermined order from the plurality of regions is calculated in advance. In each of the cases where each region is sequentially selected from the plurality of regions in a predetermined order, the effective transmission rate of the predetermined transmission path is determined for each predetermined unit time. 10. The data transmission method according to any one of appendices 7 to 9, wherein an enhancement layer stream is transmitted for each of the selected areas when the maximum total required transmission rate is within the range.
[0081]
(Appendix 11)
11. The data transmission method according to any one of appendices 7 to 10, wherein, in the dividing step, predetermined moving image data is divided into a plurality of regions for each of a plurality of types of region dividing modes provided in a selectable manner.
[0082]
(Appendix 12)
12. The data transmission method according to any one of supplementary notes 7 to 11, wherein each of the lowest data units that can be continuously transmitted in the enhancement layer stream is set in correspondence with each of the divided areas in the division stage.
[0083]
(Appendix 13)
A software program for causing a computer to execute the data transmission method according to any one of appendices 7 to 12.
[0084]
【The invention's effect】
In the present invention, data to be distributed can be generated in advance by creating a data stream for at least two layers of the base layer enhancement layer, and the enhancement layer data stream can be transmitted within the range of the effective transmission rate at the time of content distribution The enhancement layer data stream is transmitted in addition to the base layer data stream for the maximum limit combination of regions. Therefore, although the minimum number of layers according to the hierarchical encoding method to be prepared for each content is two layers, it varies depending on the selection of the area for transmitting the enhancement layer stream according to the effective transmission rate at the time of distribution. The content can be distributed at a transmission rate. Therefore, it is possible to generate various types of transmission data corresponding to the effective allowable transmission rate at the time of distribution. Therefore, with a relatively simple configuration, it is possible to finely adapt the distribution contents according to the state of the transmission path, and data transmission that enables efficient use of the transmission path by applying a hierarchical coding scheme. A scheme can be provided.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a conventional dynamic band adaptive distribution technique.
FIG. 2 is a schematic block diagram of a data transmission system according to a first embodiment of the present invention.
FIG. 3 is a diagram for explaining area division and packet allocation according to the first embodiment of the present invention;
FIG. 4 is a schematic block diagram of a data transmission system according to a second embodiment of the present invention.
FIG. 5 is a diagram for explaining region division and packet allocation according to a second embodiment of the present invention;
FIG. 6 is a schematic operation flowchart of a data transmission method according to the first embodiment of the present invention;
FIG. 7 is a diagram for explaining an example of a menu screen displayed on the client computer in the second embodiment of the present invention.
FIG. 8 is a schematic operation flowchart of a data transmission method according to a second embodiment of the present invention;
[Explanation of symbols]
31 Video resources
33 Enhancement layer stream storage
34 Base layer stream storage
11 Stream decomposition unit
12 Normal stream (base layer) sending part
13 Normal stream (enhancement layer) sending part
14 Dummy stream sending part
15 Packet selection switch
16 Area table storage
17 Rate table storage
18 Packet selector
19 Area determination part
20 Transmitter

Claims (5)

Predetermined transmission using a basic base layer data stream obtained from predetermined moving image data and an enhancement layer data stream that can be added to the base layer moving image data to improve image quality A data transmission device for generating moving image data content to be distributed via a road,
Dividing means for dividing the predetermined moving image data into a plurality of regions;
And a transmission layer determination means for transmitting the predetermined region of the upper Symbol said plurality of regions capable of transmitting data streams of enhancement layer both data streams of enhancement layer and the base layer,
The transmission layer determining means includes
Refer to a rate table having correspondence information between an effective transmission rate and a region in which required transmission rates of both enhancement layer and base layer data streams fall within the range of the effective transmission rate, and detect the effective transmission of the predetermined transmission path. Means for determining an area in which both enhancement layer and base layer data streams can be delivered within an allowable transmission rate;
Means for referring to an area table having correspondence information between a plurality of areas of the predetermined moving image data and a packet constituting each area, and extracting a packet constituting the determined distributable area;
A data transmission apparatus comprising: means for transmitting both the enhancement layer and base layer data streams for the extracted packet . Each region of the plurality of regions of the predetermined moving image data has a predetermined priority, the transmission layer determining means for selecting according to the priority region for transmitting both data streams between base Sureiya and an enhancement layer The data transmission device according to claim 1 having a configuration. 3. The configuration according to claim 1, wherein the dividing unit divides predetermined moving image data into a plurality of regions according to a region division mode of a type selected from a plurality of region division modes that are selectably provided. Data transmission device. Predetermined transmission using a basic base layer data stream obtained from predetermined moving image data and an enhancement layer data stream that can be added to the base layer moving image data to improve image quality A data transmission method for generating moving image data content to be distributed via a road,
A division step of dividing the predetermined moving image data into a plurality of regions;
And a transmission layer determination step of transmitting both data streams for a given area of the upper Symbol said plurality of regions capable of transmitting data streams of enhancement layer and enhancement layer and the base layer,
The transmission layer determination step includes:
Detecting the predetermined transmission path by referring to a rate table having correspondence information between an effective transmission rate and a region where the required transmission rates of both the enhancement layer and the base layer are within the range of the effective transmission rate Determining an area in which both the enhancement layer and base layer data streams can be delivered within the effective allowable transmission rate;
A step of referring to an area table having correspondence information between a plurality of areas of the predetermined moving image data and a packet constituting each area, and extracting a packet constituting the determined distributable area;
Transmitting both the enhancement layer and base layer data streams for the extracted packets .   A software program for causing a computer to execute the data transmission method according to claim 4.

Images