JP3927346B2 - 画像送信装置、画像受信装置、および、画像伝送システム - Google Patents
画像送信装置、画像受信装置、および、画像伝送システム Download PDFInfo
- Publication number
- JP3927346B2 JP3927346B2 JP2000033248A JP2000033248A JP3927346B2 JP 3927346 B2 JP3927346 B2 JP 3927346B2 JP 2000033248 A JP2000033248 A JP 2000033248A JP 2000033248 A JP2000033248 A JP 2000033248A JP 3927346 B2 JP3927346 B2 JP 3927346B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image
- frames
- transmission
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、画像送信装置、画像受信装置、および、画像伝送システムに関し、特に、伝送路の帯域に制約があっても、高い圧縮率での伝送と円滑な動画像の再生とを両立的に実現するための改良に関する。
【０００２】
【従来の技術】
はじめに、本明細書で用いる名称について説明する。本明細書では、冗長な記載を避けるために、その全体を通じて、画像を表現する信号をも、等しく、画像と記載する。
【０００３】
伝送路として既存のネットワークを用いて動画像を伝送する際に、そのネットワークでは必要な通信帯域の確保が困難な場合があり、このことが、動画像の伝送にとって、最大の障害となっている。特に多数のネットワークが介在し、トラフィックが膨大な通信経路等において、この問題が顕在化している。
【０００４】
従来、ネットワークにおいて、圧縮画像を伝送する方式としては、静止画像の圧縮形式であるＪＰＥＧ方式をベースにした、ＭｏｔｉｏｎＪＰＥＧ方式による伝送が行われてきた。この方式では、フレーム単位でのフレーム内圧縮がなされた画像の伝送を、個々に行うため、伝送に必要となる通信帯域が大きくなり、高フレームレートでの伝送が困難であるという問題点があった。ただし、個々のフレームデータが独立しているために、伝送におけるフレーム間引きの自由度が高く、伝送されたフレームの時間配分を均一化し易いという利点があった。
【０００５】
これに対し、近年注目されている動画ベースの圧縮技術においては、ＭＰＥＧ方式をはじめとしてフレーム間圧縮が採用されている。この方式では、直前のフレームに対する差分情報を圧縮して伝送する方式であるため、ＭｏｔｉｏｎＪＰＥＧ方式よりも圧縮率が高いという利点がある。
【０００６】
この動画ベースによる圧縮方式では、伝送される圧縮画像は、図２７または図２８が示すように、基準フレーム（Ｉピクチャ）と差分フレーム（ＰまたはＢピクチャ）から構成されている。Ｉピクチャは、フレーム内圧縮が施されたフレームであり、Ｐピクチャは過去のフレームを基準としてフレーム間圧縮が施されたフレームであり、Ｂピクチャは、過去と未来の双方のフレームを基準としてフレーム間圧縮が施されたフレームである。Ｐピクチャの展開（差分画像から非圧縮画像を再生すること）のためには直前のＩピクチャ及び現フレームまでに存在する全てのＰピクチャが、またＢピクチャの展開のためには近接するＰピクチャの展開画像が、それぞれ必要とされる。
【０００７】
【発明が解決しようとする課題】
このように、圧縮率の高い従来の動画像の伝送方式では、フレーム間圧縮が用いられるので、受信側で画像の再生を行うためには、直前までのフレーム情報が必要となる。このため、基準フレーム（Ｉピクチャ）から各差分フレーム（Ｐピクチャ）を順番に伝送する必要があった。すなわち、任意のフレームを間引いて伝送することが困難であるという問題点があった。
【０００８】
その結果、必要帯域が一定して確保できないような伝送路では、フレームの間引きを均等に行うことが出来ず、受信側で再生される動画像が、視覚上、ぎこちなくなってしまうという問題点があった。言い換えると、必要な帯域を確保できない伝送路においては、Ｉピクチャから次のＩピクチャまでの間に挿入されるＰピクチャの時間的分布が不均一となり、見た目の画像の円滑性が損なわれるという問題点があった。
【０００９】
本発明は、従来の技術における上記した問題点を解消するためになされたもので、伝送路の帯域がすべてのフレームを送信するに十分でない場合でも、高い圧縮率での伝送と円滑な動画像の再生とを両立的に実現する画像送信装置、画像受信装置、および、画像伝送システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
第１の発明の装置は、入力画像を圧縮して出力する画像送信装置であって、前記入力画像の４個以上の連続するフレームを含むフレーム群ごとに、１個の先頭フレームを共通の基準フレームＩとして、前記基準フレームＩに引き続く残りのフレームＰそれぞれと前記基準フレームＩとの間でフレーム間圧縮を施す画像圧縮部と、前記画像圧縮部においてフレーム間圧縮を施された前記フレームＰを、前記フレーム群ごとに、前記フレーム群の２等分を順次繰り返していく規則に従って、前記フレーム群に属するＰピクチャのフレーム数をｋとすると少なくとも前記基準フレームＩ、フレームＰ［ｋ／２］、フレームＰ［ｋ／４］、フレームＰ［３ｋ／４］、およびフレームＰ［ｋ／８］がこの順で先頭から並ぶように（Ｐ［］は、［］内の数値を前記フレーム群における再配列前のフレーム順序とするフレームを表し、［］内の数値が小数を含む場合には、その小数は切り上げられる）、、時系列とは異なる順序に再配列する再配列部と、前記再配列されたフレームをその順に出力する送信制御部と、を備える。
【００１１】
第２の発明の装置では、第１の発明の画像送信装置において、前記画像圧縮部が、前記基準フレームに対して、フレーム内圧縮を施す。
【００１２】
第３の発明の装置では、第１または第２の発明の画像送信装置において、前記再配列されたフレームを順次保持する送信バッファをさらに備え、前記送信制御部は、外部からの要求信号に応答して、前記送信バッファからフレームを、保持された順に読み出し、出力するとともに、一定時間内に一つの前記フレーム群の読み出しが完了しないときには、当該フレーム群内の残されたフレームは廃棄して、つぎのフレーム群に属するフレームを読み出す。
【００１３】
第４の発明の装置は、第１ないし第３のいずれかの発明の画像送信装置が出力する前記画像を受信し、伸張して出力する画像受信装置であって、前記画像送信装置が出力する前記フレームを、順次保持する受信バッファと、前記受信バッファからフレームを、保持された順に読み出し、時系列に沿った順序へ再配列する別の再配列部と、再配列されたフレームに対して、圧縮を解除する処理を施し、出力する画像伸張部と、を備える。
【００１４】
第５の発明の装置は、第４の発明の画像受信装置において、前記画像送信装置が出力する前記フレームを受信するごとに、つぎのフレームの送信を要求する要求信号を出力する送信要求部を、さらに備える。
【００１５】
第６の発明のシステムは、画像伝送システムであって、第１ないし第３のいずれかの発明の画像送信装置と、第４または第５の発明の画像受信装置と、これらを互いに中継する伝送路と、を備える。
【００１６】
【発明の実施の形態】
［1. 装置の全体］
本実施の形態による画像伝送システムでは、図１が示すように、伝送される圧縮画像にはＩピクチャである基準フレームＩと、Ｐピクチャである個々の差分フレームＰ１〜Ｐ３が含まれる。フレームＰ１〜Ｐ３は、いずれも、基準フレームＩに対する差分圧縮画像として生成される。したがって、受信側では、直前の一つのフレームが受信されなくても、基準フレームＩにもとづいて、差分フレームＰ２，Ｐ３を展開することが可能となる。
【００１７】
さらに、図２が示すように、画像の円滑性を確保する上での重要度に対応して、伝送優先度（以下、優先度と略記する）がフレームごとに付され、各フレームの伝送が、優先度に沿った順序で、非時系列的に行われる。したがって、伝送路の帯域が、すべてのフレームを伝送するのに十分でないときでも、画像の円滑性を確保することが可能となる。
【００１８】
すなわち、動画像ベースの圧縮技術であるＭＰＥＧ方式と同等の高い圧縮率と同時に、静止画像をベースとする圧縮技術であるＭｏｔｉｏｎＪＰＥＧ方式と同等のフレーム間引きの自由度が達成され、この間引きの自由度を生かして、重要度を反映した順序で伝送が行われることによって、伝送路の帯域上の制約の中でも、再生画像の視覚上の質が最良となるような動画像の伝送が達成される。
【００１９】
このような特徴的な動作を実現するために、本実施の形態の画像伝送システムは、図３のブロック図が示すように構成される。この画像伝送システム４は、送信装置１、受信装置２、および、それらを中継する伝送路３とを備えている。
【００２０】
画像圧縮部１１は、動画像である入力画像としての画像ＰＳ０に対して、画像圧縮処理を施し、画像ＰＳ１を出力する。画像ＰＳ０は、連続する複数個のフレームを１群とするフレーム群に、観念上分割される。図４は、８個のフレームで構成される一つのフレーム群を例示している。そして、一つのフレーム群の中では、一つのフレームに対して、フレーム内圧縮が施され、Ｉピクチャが生成される。一つのフレーム群の中の、Ｉピクチャを除く他のフレームに対しては、Ｉピクチャを基準フレームとして、フレーム間圧縮が施される。すなわち、ＰピクチャであるフレームＰ１〜Ｐ７は、いずれも、Ｉピクチャである基準フレームＩに対する差分圧縮画像として生成される。
【００２１】
この圧縮方式を、本明細書では、「基準フレーム間圧縮」と仮称する。このようにして、画像ＰＳ１を構成する各フレーム群には、基準フレームである一つのＩピクチャと、これを共通の基準とする複数の差分フレームであるＰピクチャとが含まれる。
【００２２】
再配列部１２では、画像ＰＳ１の各フレーム群の中で、フレームに優先度が付され、この優先度に沿ってフレームの並び替えが行われる。優先度は、一つのフレーム群の中で、再生画像の視覚上の円滑さを保持する上での重要度の高さを反映するように設定される。したがって、基準フレームＩに、最高の優先度（第１優先度）が付与される。第２優先度以下は、例えば、フレーム群を均等に分割する順序で、決定されるとよい。
【００２３】
一つのフレーム群に属するＰピクチャのフレーム数をｋとすると、例えば、Ｉ、Ｐ〔ｋ／２〕、Ｐ〔ｋ／４〕、Ｐ〔３ｋ／４〕、Ｐ〔ｋ／８〕、・・・・の順序で、優先度が付される。ただし、フレーム番号を表す括弧〔〕の中の数値が、小数を含む場合には、その小数は切り上げられる。図２は、ｋ＝７の例を示している。図２において、右端に描かれる基準フレームＩ2は、フレームＩ，Ｐ１，・・，Ｐ７で構成されるフレーム群のつぎに現れるフレーム群の基準フレームである。
【００２４】
並び替えられた画像は、図５が例示するように、並び替えられた順に、画像ＰＳ２として出力される。なお、優先度を決定する一般的手順については、後に詳述する。
【００２５】
送信バッファ１３は、画像ＰＳ２の１フレーム群を保持可能なバッファである。送信インタフェースとしての送信制御部１４は、送信バッファ１３に保持される画像を、保持された順序で画像ＰＳ３として読み出し、画像ＰＳ４として、伝送路３を通じて、送信装置２へ送信する。すなわち、伝送路３を通じて、送信装置１から受信装置２へと、フレーム群ごとに、優先度にもとづく順序で、圧縮画像が伝送される。
【００２６】
受信装置２には、受信インタフェースとしての送信要求部２１が備わり、画像ＰＳ４を構成する１フレームを受信するごとに、つぎのフレームの送信を要求する要求信号ＲＳを、伝送路３を通じて、送信装置１へ送出する。送信制御部１４は、要求信号ＲＳに応答して、つぎの１フレームを送信する。
【００２７】
送信制御部１４は、タイマを備えており、現在の時刻が、つぎのフレーム群を送信すべき時刻に達すると、送信バッファ１３に保持される現在のフレーム群の中で、未だ送信されていないフレームを廃棄し、つぎのフレーム群の送信を開始する。
【００２８】
受信装置２にも、受信バッファ２２が備わっており、受信された画像ＰＳ４は、画像ＰＳ５として、この受信バッファ２２へ入力される。受信バッファ２２は、画像ＰＳ５の１フレーム群を一時的に保持可能である。
【００２９】
例えば、図６が示すように、一つのフレーム群に属する第１〜第４優先の範囲のフレームＩ，Ｐ４，Ｐ２，Ｐ６が伝送が完了した時点では、受信バッファ２２に、フレームＩ，Ｐ４，Ｐ２，Ｐ６が保持されている。そして、図６(a) が示すように、送信バッファ１３には、残りのフレームＰ１，Ｐ５，Ｐ３，Ｐ７につづいて、つぎのフレーム群のフレームＩ2，Ｐ2-１，Ｐ2-２，Ｐ2-３が、すでに保持されている。この状態で、つぎのフレーム群を送信すべき時刻に達すると、送信バッファ１３に残されるフレームＰ１，Ｐ５，Ｐ３，Ｐ７は、図７(a) が示すように、破棄され、その後は、つぎのフレーム群のフレームＩ2，Ｐ2-１，Ｐ2-２，Ｐ2-３，・・・・の送信が開始される。
【００３０】
再配列部２３は、受信バッファ２２に保持される画像を画像ＰＳ６として読み出し、再配列部１２で設定された優先度にもとづいて、図７(b) が示すように、時系列順へと並び替える。そして、並び替えられたフレーム、例えば、フレームＩ，Ｐ４，Ｐ２，Ｐ６は、その本来の時間間隔（図４に例示される時間的位置）をもって、画像ＰＳ７として画像伸張部２７へ送られる。画像ＰＳ７は、画像伸張部２４によって、伸張され（すなわち、圧縮が解かれ）、圧縮解除後の画像ＰＳ８として、出力される。
【００３１】
以上のように、画像伝送システム４では、伝送路３の帯域上の制約のために、フレームの間引きが行われても、等間隔に近いフレームが優先的に伝送されるので、伝送された画像から、視覚上滑らかな動画像を再生することが可能である。フレーム群に属するすべてのＰピクチャが共通のIピクチャを基準とした差分画像として生成されることが、優先度に応じた選択的伝送を可能にしてる。
【００３２】
［2. 優先度の決定手順］
以下に、優先度を決定する手順について説明する。この手順では、各フレームの優先度を格納する配列ｆが定義され、はじめに、最も優先度の高いＩピクチャに対して、優先度が決定される。その後、残りのピクチャに対する優先度が、再帰的に求められる。
【００３３】
図８は、優先度を決定する手順を示すフローチャートである。この処理は、再配列部１２（図３）で実行される。処理が開始されると、まず、ステップＳ１において、配列ｆが定義される。すなわち、１つのフレーム群に属するフレームの個数がｎであるとき、要素数ｎの配列ｆ〔０：ｎ−１〕が定義される。図９が示すように、各要素ｆ〔０〕〜ｆ〔ｎ−１〕には、フレーム群内のＩピクチャ及びＰ〔１〕〜Ｐ〔ｎ−１〕の優先度（０以上の整数。０が最も優先度が高い。）が、順に格納されるものとする。配列ｆの各要素の値（各フレームの優先度）は、配列を定義した段階では全て不定である。なお、要素数ｎは、４以上の整数である。
【００３４】
つづくステップＳ２では、Ｉピクチャの優先度（ｆ〔０〕）が決定される。Ｉピクチャは、それが属するフレーム群内の全てのＰピクチャに対する基準となるため、優先度は最も高い。したがって、図１０が示すように、ｆ〔０〕＝０と決定される。このことは、フレーム数ｎがどのような値であっても、変わりがない。
【００３５】
つぎのステップＳ３では、残るｎ−１個のＰピクチャに対する優先度（ｆ〔１〕〜ｆ〔ｎ・１〕）を決定する処理が実行される。この処理では、再帰アルゴリズムが適用され、「配列分割処理」と仮称する単位処理が、再帰的に反復される。
【００３６】
配列分割処理では、与えられたｆの部分配列（ｆ〔ａ〕〜ｆ〔ｂ〕）を２分し、部分配列の中点に該当する要素を求めることにより、優先度が算出され、代入される。この要素（ｆ〔（ａ＋ｂ）／２〕）により分断された２つの配列（ｆ〔ａ〕〜ｆ〔（ａ＋ｂ）／２−１〕及びｆ〔（ａ＋ｂ）／２＋１〕〜ｆ〔ｂ〕〕に対し、さらなる配列分割処理が、それぞれ適用される。こうして、分割される配列の要素がこれ以上分けられなくなるまで、配列分割処理の適用が再帰的に繰り返される。
【００３７】
図１１は、ステップＳ３の処理の内部手順を示すフローチャートである。サブルーチンとしてのステップＳ３の処理に対しては、呼び出し元（以下、親と称する）である図８の処理からいくつかのパラメータが渡される。配列分割対象となる部分配列の、先頭の添字ａと最終の添字ｂ、親で処理された要素の添字ｘ、親から継承される変数ｍがパラメータとして与えられる。ステップＳ３の処理の開始時点、すなわち、一番最初の配列分割処理の適用時（ｆ〔０〕＝０が代入された直後）には、これらのパラメータは以下のように与えられる。
【００３８】
すなわち、図１２が示すように、先頭の添字ａ＝１；最終の添字ｂ＝ｎ−１；親で処理された要素の添字ｘ＝０；および、親から継承される変数ｍ＝０；と定められる。変数ｍは配列分割処理がおこなわれた回数を表すものであり、はじめて配列分割処理が適用されるときは、ｍ＝０が与えられる。これらの設定は、ステップＳ２（図８）で行われる。ステップＳ３の処理では、与えられた４つのパラメータを用いて、配列分割処理が実行される。
【００３９】
ステップＳ３の処理が開始されると、はじめに、ａとｂの中点ｘ2が求められる（ステップＳ３１）。ｘ2は、親より与えられた部分配列ｆ〔ａ〕〜ｆ〔ｂ〕の中点を求めるための変数であり、図１３が示すように、ａとｂの平均値（ｘ2＝（ａ＋ｂ）／２。ただし、小数点切り捨て。）が代入される。記号ＩＮＴは、小数点以下を切り捨てることにより整数化を行う演算を、表現している。
【００４０】
つぎに、ｆ〔ｘ2〕に対し、優先度が算出され、代入される（ステップＳ３２〜Ｓ３４）。親の添字ｘとの大小関係により、以下のように条件分けがされる。
【００４１】
ｘ＞ｘ2 の時には、ｆ〔ｘ2〕＝ｆ〔ｘ〕＋２(m-1)が与えられる。すなわち、親の添字よりもＸ２が小さいときは、親の優先度に２(m-1)を加えた値が代入される。また、ｘ＜ｘ2 の時には、ｆ〔ｘ2〕＝ｆ〔ｘ〕＋２mが与えられる。すなわち、親の添字よりもｘ2が大きいときは、親の優先度に２mを加えた値が代入される。
【００４２】
つぎに、分割された２つの部分配列に対し、それぞれ配列分割処理が適用される（ステップＳ３５〜Ｓ３８）。すなわち、ｘ2によって分割された２つの部分配列ｆ〔ａ〕〜ｆ〔ｘ2−１〕、ｆ〔ｘ２＋１〕〜ｆ〔ｂ〕に対し、それぞれ配列分割処理が適用される。ただし、適用されるのは、それぞれの部分配列について、分割すべき要素が残っている場合に限られる（ステップＳ３７）。
【００４３】
より具体的には、もしも、ａ≦ｘ2−１であれば、図１４が示すように、先頭の添字＝ａ、最終の添字＝ｘ2−１、親の添字＝ｘ2、継承変数＝ｍ＋１として、配列分割処理が適用される。このとき、継承変数は１増えてｍ＋１となる。
【００４４】
もしも、ｂ≧ｘ2＋１ならば、図１５が示すように、先頭の添字＝ｘ2＋１、最終の添字＝ｂ、親の添字＝ｘ2、継承変数＝ｍ＋１として、配列分割処理が適用される。このとき、継承変数は１増えてｍ＋１となる。
【００４５】
配列分割処理が適用し尽くされると（ステップＳ３９）、図１１の内部処理は終了し、処理は、親（図８の処理）へ戻る。ステップＳ３の処理が終了すると、配列ｆのそれぞれの要素には、優先度が代入されている。各フレームの優先度は、各配列の要素の小さいもの順に高いものとする。
【００４６】
［3. 優先度の決定手順の例］
以下に、ｎ＝７の（１個のＩピクチャと６個のＰピクチャを含む）フレーム群への、図８および図１１の手順の適用例について説明する。
【００４７】
（3.1. 配列の定義）
ｎ＝７であるために、まず、配列として、図１６が示すように、ｆ〔６〕が定義される。
【００４８】
（3.2. 優先度の決定）
つぎに、図１７が示すように、Ｉピクチャの優先度が、ｆ〔０〕＝０と決定される。
【００４９】
（3.3. 配列分割処理の呼び出し）
つづいて、ａ＝１、ｂ＝６、ｘ＝０、ｍ＝０として、配列分割処理が適用される（図１８参照）。
【００５０】
（3.4. 配列分割処理の実行）
（3.4.1.）つぎに、平均値ｘ2が求められる。小数点が切り捨てられるので、ｘ2 ＝（１＋６）／２＝３が与えられる（図１９参照）。
【００５１】
（3.4.2.）つづいて、ｆ〔ｘ2〕に優先度が代入される。ｘ＝０、ｘ2＝３より、ｘ＜ｘ2であるから、ｆ〔ｘ2〕＝ｆ〔ｘ〕＋２m＝０＋１＝１が与えられる（図２０参照）。
【００５２】
（3.4.3.）つぎに、分割されたそれぞれの配列に対して、配列分割処理が再適用される。ａ＝１、ｘ2−１＝２より、ａ＜ｘ2−１であるから、ａ2＝ａ＝１、ｂ2＝ｘ2−１＝２、ｍ2＝ｍ＋１＝１が与えられる（図２１参照）。
【００５３】
（3.4.4.）つづいて、新たに分割された配列に対する配列分処理が行われる。与えられたパラメータは、ａ＝１、ｂ＝２、ｘ＝３、ｍ＝１である。この設定は、ステップＳ３８（図１１）で行われる。図１１において、ａ2，ｂ2，ｍ2は、新たに設定されたａ，ｂ，ｍの値を表している。小数切り捨て後の平均値ｘ2＝（１＋２）／２＝１、ｘ＞ｘ2より、ｆ〔ｘ2〕＝ｆ〔ｘ〕＋２m-1＝２が代入される（図２２参照）。
【００５４】
（3.4.5.）つぎに、さらに細かく分割された配列に対し、配列分割処理が適用される。ただし、ａ＝１、ｘ2−１＝０より、ａ≦ｘ2−１は成立しない。すなわち、これ以上処理を行うべき部分配列が前半部分には存在しない。次に、ｂ＝２、ｘ2＋１＝２より、ｂ≧ｘ2＋１は成立するので、a2＝２、ｂ2＝２、ｍ2＝２、ｘ＝１として後半部分に対して、配列分割処理が適用される（図２３参照）。
【００５５】
（3.4.6.）つぎに、新たな配列分割処理が行われる。平均値ｘ2＝２、ｘ＜ｘ2より、ｆ〔ｘ2〕＝ｆ〔ｘ〕＋２m＝６が代入される。この要素の前後には、これ以上分割すべき配列は存在しない。すなわち、ａ≦ｘ2−１ 、ｂ≧ｘ2＋１のいずれも成立しない。このため、その後、処理は親（上記の手順3.4.5.）へ戻る（図２４参照）。
【００５６】
（3.4.7.）親は、すでに前半後半それぞれの部分配列を呼び出し終えているため、処理は、さらにその親（上記の手順3.4.3.）へ戻る。
【００５７】
（3.4.8.）上記の手順3.4.3.では、前半部分に対する適用はすでに終えているが、後半部分はｂ＝６、ｘ2＋１＝４であり、ｂ≧ｘ2＋１が成立する。したがって、ａ2＝ｘ2＋１＝４、ｂ2＝６、ｘ2＝４、ｍ2＝ｍ＋１＝１として配列分割処理が適用される（図２５参照）。
【００５８】
（3.4.9.）つぎに、新たなパラメータに対して、配列分割処理が適用される。すなわち、ｘ2 ＝（４＋６）／２＝５、ｆ〔ｘ2〕＝ｆ〔ｘ〕＋２m＝１＋２1＝３が代入される。また、ａ≦ｘ2−１が成立するので、更に分割された配列に対して、配列分割処理が適用される。以下の処理はこれまでの手順と同様に行い、ｆ〔４〕＝５、ｆ〔６〕＝７が求められる。ここで全ての要素に対する優先度が求まり、配列分割処理全体が終了する（図２６参照）。
【００５９】
（3.5. 優先度の決定）
各配列の要素の小さいものから高いものへ至る順に、優先度は低くなる。したがって、優先度は、フレームＩ，Ｐ３，Ｐ１，Ｐ５，Ｐ４，Ｐ２，Ｐ６の順に低くなる。
【００６０】
（4. 変形例）
上記実施の形態では、基準フレームに対して、フレーム内圧縮が施されたが、圧縮率は幾分劣るものの、基準フレームに対して圧縮を施さず、基準フレームを非圧縮フレームとすることも可能である。
【００６１】
【発明の効果】
第１の発明の装置では、フレーム群の中で、１個の先頭フレームを共通の基準フレームＩとして、前記基準フレームＩに引き続く他のフレームＰそれぞれと前記基準フレームＩとの間でフレーム間圧縮が施されるので、比較的高い圧縮率とフレーム間引きの自由度とが、両立的に実現する。間引きの自由度を生かして、フレーム群の中で、前記フレーム群の２等分を順次繰り返していく規則に従って、前記フレーム群に属するＰピクチャのフレーム数をｋとすると少なくとも前記基準フレームＩ、フレームＰ［ｋ／２］、フレームＰ［ｋ／４］、フレームＰ［３ｋ／４］、およびフレームＰ［ｋ／８］がこの順で先頭から並ぶように（Ｐ［］は、［］内の数値を前記フレーム群における再配列前のフレーム順序とするフレームを表し、［］内の数値が小数を含む場合には、その小数は切り上げられる）、時系列とは異なる順序にフレームの再配列が行われ、再配列されたフレームがその順に出力される。このため、伝送路の帯域上の制約等により、受信側に、フレーム群内の末尾のフレームに至るまでの全てのフレームの伝達が、達成されない場合でも、出力されたフレームにもとづいて、円滑な動画像を再生することが可能となる。
【００６２】
第２の発明の装置では、基準フレームに対してフレーム内圧縮が施されるので、圧縮率がさらに高められる。
【００６３】
第３の発明の装置では、送信バッファが備わるので、受信側あるいは伝送路の状況に応じて、フレームの伝送レートが自動的に調節され、無用なフレームの出力を回避することができるとともに、フレームを優先度の高い順に確実に受信側へ届けることができる。
【００６４】
第４の発明の装置では、第１の発明の装置が出力するフレームが一時的に保持され、さらに、フレーム群の中で時系列に沿って再配列された上で、伸張処理にかけられる。このため、第１の発明の装置が出力する画像にもとづいて、再生画像を得ることが可能である。
【００６５】
第５の発明の装置では、フレームを受信するごとに、要求信号が出力されるので、要求信号にもとづいてフレームを逐一出力する送信装置と接続することにより、画像受信装置あるいは伝送路の状況に応じて、フレームの伝送レートを自動的に調節することができる。
【００６６】
第６の発明のシステムでは、第１の発明の画像送信装置と、第２の発明の画像受信装置とが、伝送路を通じて中継されているので、伝送路の帯域、混雑度等に由来して、フレーム群内の一部のフレームが伝送されなくても、画像受信装置は円滑な動画像を再生することが可能となる。
【図面の簡単な説明】
【図１】 実施の形態の概略説明図である。
【図２】 実施の形態の概略説明図である。
【図３】 実施の形態のシステムを示すブロック図である。
【図４】 実施の形態の画像圧縮部の動作説明図である。
【図５】 実施の形態の再配列部の動作説明図である。
【図６】 実施の形態のバッファの動作説明図である。
【図７】 実施の形態の送信制御部の動作説明図である。
【図８】 実施の形態の優先度決定の手順を示すフローチャートである。
【図９】 図８の処理の説明図である。
【図１０】 図８の処理の説明図である。
【図１１】 図８のステップＳ３の内部手順を示すフローチャートである。
【図１２】 図１１の処理の説明図である。
【図１３】 図１１の処理の説明図である。
【図１４】 図１１の処理の説明図である。
【図１５】 図１１の処理の説明図である。
【図１６】 図１１の処理の具体例を示す説明図である。
【図１７】 図１１の処理の具体例を示す説明図である。
【図１８】 図１１の処理の具体例を示す説明図である。
【図１９】 図１１の処理の具体例を示す説明図である。
【図２０】 図１１の処理の具体例を示す説明図である。
【図２１】 図１１の処理の具体例を示す説明図である。
【図２２】 図１１の処理の具体例を示す説明図である。
【図２３】 図１１の処理の具体例を示す説明図である。
【図２４】 図１１の処理の具体例を示す説明図である。
【図２５】 図１１の処理の具体例を示す説明図である。
【図２６】 図１１の処理の具体例を示す説明図である。
【図２７】 従来の装置の動作説明図である。
【図２８】 従来の装置の動作説明図である。
【符号の説明】
１ 画像送信装置
３ 伝送路
４ 画像伝送システム
１１ 画像圧縮部
１２ 再配列部
１３ 送信バッファ
１４ 送信制御部
２１ 送信要求部
２２ 受信バッファ
２３ 再配列部
２４ 画像伸張部
ＰＳ０ 入力画像
ＲＳ 要求信号
【発明の属する技術分野】
この発明は、画像送信装置、画像受信装置、および、画像伝送システムに関し、特に、伝送路の帯域に制約があっても、高い圧縮率での伝送と円滑な動画像の再生とを両立的に実現するための改良に関する。
【０００２】
【従来の技術】
はじめに、本明細書で用いる名称について説明する。本明細書では、冗長な記載を避けるために、その全体を通じて、画像を表現する信号をも、等しく、画像と記載する。
【０００３】
伝送路として既存のネットワークを用いて動画像を伝送する際に、そのネットワークでは必要な通信帯域の確保が困難な場合があり、このことが、動画像の伝送にとって、最大の障害となっている。特に多数のネットワークが介在し、トラフィックが膨大な通信経路等において、この問題が顕在化している。
【０００４】
従来、ネットワークにおいて、圧縮画像を伝送する方式としては、静止画像の圧縮形式であるＪＰＥＧ方式をベースにした、ＭｏｔｉｏｎＪＰＥＧ方式による伝送が行われてきた。この方式では、フレーム単位でのフレーム内圧縮がなされた画像の伝送を、個々に行うため、伝送に必要となる通信帯域が大きくなり、高フレームレートでの伝送が困難であるという問題点があった。ただし、個々のフレームデータが独立しているために、伝送におけるフレーム間引きの自由度が高く、伝送されたフレームの時間配分を均一化し易いという利点があった。
【０００５】
これに対し、近年注目されている動画ベースの圧縮技術においては、ＭＰＥＧ方式をはじめとしてフレーム間圧縮が採用されている。この方式では、直前のフレームに対する差分情報を圧縮して伝送する方式であるため、ＭｏｔｉｏｎＪＰＥＧ方式よりも圧縮率が高いという利点がある。
【０００６】
この動画ベースによる圧縮方式では、伝送される圧縮画像は、図２７または図２８が示すように、基準フレーム（Ｉピクチャ）と差分フレーム（ＰまたはＢピクチャ）から構成されている。Ｉピクチャは、フレーム内圧縮が施されたフレームであり、Ｐピクチャは過去のフレームを基準としてフレーム間圧縮が施されたフレームであり、Ｂピクチャは、過去と未来の双方のフレームを基準としてフレーム間圧縮が施されたフレームである。Ｐピクチャの展開（差分画像から非圧縮画像を再生すること）のためには直前のＩピクチャ及び現フレームまでに存在する全てのＰピクチャが、またＢピクチャの展開のためには近接するＰピクチャの展開画像が、それぞれ必要とされる。
【０００７】
【発明が解決しようとする課題】
このように、圧縮率の高い従来の動画像の伝送方式では、フレーム間圧縮が用いられるので、受信側で画像の再生を行うためには、直前までのフレーム情報が必要となる。このため、基準フレーム（Ｉピクチャ）から各差分フレーム（Ｐピクチャ）を順番に伝送する必要があった。すなわち、任意のフレームを間引いて伝送することが困難であるという問題点があった。
【０００８】
その結果、必要帯域が一定して確保できないような伝送路では、フレームの間引きを均等に行うことが出来ず、受信側で再生される動画像が、視覚上、ぎこちなくなってしまうという問題点があった。言い換えると、必要な帯域を確保できない伝送路においては、Ｉピクチャから次のＩピクチャまでの間に挿入されるＰピクチャの時間的分布が不均一となり、見た目の画像の円滑性が損なわれるという問題点があった。
【０００９】
本発明は、従来の技術における上記した問題点を解消するためになされたもので、伝送路の帯域がすべてのフレームを送信するに十分でない場合でも、高い圧縮率での伝送と円滑な動画像の再生とを両立的に実現する画像送信装置、画像受信装置、および、画像伝送システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
第１の発明の装置は、入力画像を圧縮して出力する画像送信装置であって、前記入力画像の４個以上の連続するフレームを含むフレーム群ごとに、１個の先頭フレームを共通の基準フレームＩとして、前記基準フレームＩに引き続く残りのフレームＰそれぞれと前記基準フレームＩとの間でフレーム間圧縮を施す画像圧縮部と、前記画像圧縮部においてフレーム間圧縮を施された前記フレームＰを、前記フレーム群ごとに、前記フレーム群の２等分を順次繰り返していく規則に従って、前記フレーム群に属するＰピクチャのフレーム数をｋとすると少なくとも前記基準フレームＩ、フレームＰ［ｋ／２］、フレームＰ［ｋ／４］、フレームＰ［３ｋ／４］、およびフレームＰ［ｋ／８］がこの順で先頭から並ぶように（Ｐ［］は、［］内の数値を前記フレーム群における再配列前のフレーム順序とするフレームを表し、［］内の数値が小数を含む場合には、その小数は切り上げられる）、、時系列とは異なる順序に再配列する再配列部と、前記再配列されたフレームをその順に出力する送信制御部と、を備える。
【００１１】
第２の発明の装置では、第１の発明の画像送信装置において、前記画像圧縮部が、前記基準フレームに対して、フレーム内圧縮を施す。
【００１２】
第３の発明の装置では、第１または第２の発明の画像送信装置において、前記再配列されたフレームを順次保持する送信バッファをさらに備え、前記送信制御部は、外部からの要求信号に応答して、前記送信バッファからフレームを、保持された順に読み出し、出力するとともに、一定時間内に一つの前記フレーム群の読み出しが完了しないときには、当該フレーム群内の残されたフレームは廃棄して、つぎのフレーム群に属するフレームを読み出す。
【００１３】
第４の発明の装置は、第１ないし第３のいずれかの発明の画像送信装置が出力する前記画像を受信し、伸張して出力する画像受信装置であって、前記画像送信装置が出力する前記フレームを、順次保持する受信バッファと、前記受信バッファからフレームを、保持された順に読み出し、時系列に沿った順序へ再配列する別の再配列部と、再配列されたフレームに対して、圧縮を解除する処理を施し、出力する画像伸張部と、を備える。
【００１４】
第５の発明の装置は、第４の発明の画像受信装置において、前記画像送信装置が出力する前記フレームを受信するごとに、つぎのフレームの送信を要求する要求信号を出力する送信要求部を、さらに備える。
【００１５】
第６の発明のシステムは、画像伝送システムであって、第１ないし第３のいずれかの発明の画像送信装置と、第４または第５の発明の画像受信装置と、これらを互いに中継する伝送路と、を備える。
【００１６】
【発明の実施の形態】
［1. 装置の全体］
本実施の形態による画像伝送システムでは、図１が示すように、伝送される圧縮画像にはＩピクチャである基準フレームＩと、Ｐピクチャである個々の差分フレームＰ１〜Ｐ３が含まれる。フレームＰ１〜Ｐ３は、いずれも、基準フレームＩに対する差分圧縮画像として生成される。したがって、受信側では、直前の一つのフレームが受信されなくても、基準フレームＩにもとづいて、差分フレームＰ２，Ｐ３を展開することが可能となる。
【００１７】
さらに、図２が示すように、画像の円滑性を確保する上での重要度に対応して、伝送優先度（以下、優先度と略記する）がフレームごとに付され、各フレームの伝送が、優先度に沿った順序で、非時系列的に行われる。したがって、伝送路の帯域が、すべてのフレームを伝送するのに十分でないときでも、画像の円滑性を確保することが可能となる。
【００１８】
すなわち、動画像ベースの圧縮技術であるＭＰＥＧ方式と同等の高い圧縮率と同時に、静止画像をベースとする圧縮技術であるＭｏｔｉｏｎＪＰＥＧ方式と同等のフレーム間引きの自由度が達成され、この間引きの自由度を生かして、重要度を反映した順序で伝送が行われることによって、伝送路の帯域上の制約の中でも、再生画像の視覚上の質が最良となるような動画像の伝送が達成される。
【００１９】
このような特徴的な動作を実現するために、本実施の形態の画像伝送システムは、図３のブロック図が示すように構成される。この画像伝送システム４は、送信装置１、受信装置２、および、それらを中継する伝送路３とを備えている。
【００２０】
画像圧縮部１１は、動画像である入力画像としての画像ＰＳ０に対して、画像圧縮処理を施し、画像ＰＳ１を出力する。画像ＰＳ０は、連続する複数個のフレームを１群とするフレーム群に、観念上分割される。図４は、８個のフレームで構成される一つのフレーム群を例示している。そして、一つのフレーム群の中では、一つのフレームに対して、フレーム内圧縮が施され、Ｉピクチャが生成される。一つのフレーム群の中の、Ｉピクチャを除く他のフレームに対しては、Ｉピクチャを基準フレームとして、フレーム間圧縮が施される。すなわち、ＰピクチャであるフレームＰ１〜Ｐ７は、いずれも、Ｉピクチャである基準フレームＩに対する差分圧縮画像として生成される。
【００２１】
この圧縮方式を、本明細書では、「基準フレーム間圧縮」と仮称する。このようにして、画像ＰＳ１を構成する各フレーム群には、基準フレームである一つのＩピクチャと、これを共通の基準とする複数の差分フレームであるＰピクチャとが含まれる。
【００２２】
再配列部１２では、画像ＰＳ１の各フレーム群の中で、フレームに優先度が付され、この優先度に沿ってフレームの並び替えが行われる。優先度は、一つのフレーム群の中で、再生画像の視覚上の円滑さを保持する上での重要度の高さを反映するように設定される。したがって、基準フレームＩに、最高の優先度（第１優先度）が付与される。第２優先度以下は、例えば、フレーム群を均等に分割する順序で、決定されるとよい。
【００２３】
一つのフレーム群に属するＰピクチャのフレーム数をｋとすると、例えば、Ｉ、Ｐ〔ｋ／２〕、Ｐ〔ｋ／４〕、Ｐ〔３ｋ／４〕、Ｐ〔ｋ／８〕、・・・・の順序で、優先度が付される。ただし、フレーム番号を表す括弧〔〕の中の数値が、小数を含む場合には、その小数は切り上げられる。図２は、ｋ＝７の例を示している。図２において、右端に描かれる基準フレームＩ2は、フレームＩ，Ｐ１，・・，Ｐ７で構成されるフレーム群のつぎに現れるフレーム群の基準フレームである。
【００２４】
並び替えられた画像は、図５が例示するように、並び替えられた順に、画像ＰＳ２として出力される。なお、優先度を決定する一般的手順については、後に詳述する。
【００２５】
送信バッファ１３は、画像ＰＳ２の１フレーム群を保持可能なバッファである。送信インタフェースとしての送信制御部１４は、送信バッファ１３に保持される画像を、保持された順序で画像ＰＳ３として読み出し、画像ＰＳ４として、伝送路３を通じて、送信装置２へ送信する。すなわち、伝送路３を通じて、送信装置１から受信装置２へと、フレーム群ごとに、優先度にもとづく順序で、圧縮画像が伝送される。
【００２６】
受信装置２には、受信インタフェースとしての送信要求部２１が備わり、画像ＰＳ４を構成する１フレームを受信するごとに、つぎのフレームの送信を要求する要求信号ＲＳを、伝送路３を通じて、送信装置１へ送出する。送信制御部１４は、要求信号ＲＳに応答して、つぎの１フレームを送信する。
【００２７】
送信制御部１４は、タイマを備えており、現在の時刻が、つぎのフレーム群を送信すべき時刻に達すると、送信バッファ１３に保持される現在のフレーム群の中で、未だ送信されていないフレームを廃棄し、つぎのフレーム群の送信を開始する。
【００２８】
受信装置２にも、受信バッファ２２が備わっており、受信された画像ＰＳ４は、画像ＰＳ５として、この受信バッファ２２へ入力される。受信バッファ２２は、画像ＰＳ５の１フレーム群を一時的に保持可能である。
【００２９】
例えば、図６が示すように、一つのフレーム群に属する第１〜第４優先の範囲のフレームＩ，Ｐ４，Ｐ２，Ｐ６が伝送が完了した時点では、受信バッファ２２に、フレームＩ，Ｐ４，Ｐ２，Ｐ６が保持されている。そして、図６(a) が示すように、送信バッファ１３には、残りのフレームＰ１，Ｐ５，Ｐ３，Ｐ７につづいて、つぎのフレーム群のフレームＩ2，Ｐ2-１，Ｐ2-２，Ｐ2-３が、すでに保持されている。この状態で、つぎのフレーム群を送信すべき時刻に達すると、送信バッファ１３に残されるフレームＰ１，Ｐ５，Ｐ３，Ｐ７は、図７(a) が示すように、破棄され、その後は、つぎのフレーム群のフレームＩ2，Ｐ2-１，Ｐ2-２，Ｐ2-３，・・・・の送信が開始される。
【００３０】
再配列部２３は、受信バッファ２２に保持される画像を画像ＰＳ６として読み出し、再配列部１２で設定された優先度にもとづいて、図７(b) が示すように、時系列順へと並び替える。そして、並び替えられたフレーム、例えば、フレームＩ，Ｐ４，Ｐ２，Ｐ６は、その本来の時間間隔（図４に例示される時間的位置）をもって、画像ＰＳ７として画像伸張部２７へ送られる。画像ＰＳ７は、画像伸張部２４によって、伸張され（すなわち、圧縮が解かれ）、圧縮解除後の画像ＰＳ８として、出力される。
【００３１】
以上のように、画像伝送システム４では、伝送路３の帯域上の制約のために、フレームの間引きが行われても、等間隔に近いフレームが優先的に伝送されるので、伝送された画像から、視覚上滑らかな動画像を再生することが可能である。フレーム群に属するすべてのＰピクチャが共通のIピクチャを基準とした差分画像として生成されることが、優先度に応じた選択的伝送を可能にしてる。
【００３２】
［2. 優先度の決定手順］
以下に、優先度を決定する手順について説明する。この手順では、各フレームの優先度を格納する配列ｆが定義され、はじめに、最も優先度の高いＩピクチャに対して、優先度が決定される。その後、残りのピクチャに対する優先度が、再帰的に求められる。
【００３３】
図８は、優先度を決定する手順を示すフローチャートである。この処理は、再配列部１２（図３）で実行される。処理が開始されると、まず、ステップＳ１において、配列ｆが定義される。すなわち、１つのフレーム群に属するフレームの個数がｎであるとき、要素数ｎの配列ｆ〔０：ｎ−１〕が定義される。図９が示すように、各要素ｆ〔０〕〜ｆ〔ｎ−１〕には、フレーム群内のＩピクチャ及びＰ〔１〕〜Ｐ〔ｎ−１〕の優先度（０以上の整数。０が最も優先度が高い。）が、順に格納されるものとする。配列ｆの各要素の値（各フレームの優先度）は、配列を定義した段階では全て不定である。なお、要素数ｎは、４以上の整数である。
【００３４】
つづくステップＳ２では、Ｉピクチャの優先度（ｆ〔０〕）が決定される。Ｉピクチャは、それが属するフレーム群内の全てのＰピクチャに対する基準となるため、優先度は最も高い。したがって、図１０が示すように、ｆ〔０〕＝０と決定される。このことは、フレーム数ｎがどのような値であっても、変わりがない。
【００３５】
つぎのステップＳ３では、残るｎ−１個のＰピクチャに対する優先度（ｆ〔１〕〜ｆ〔ｎ・１〕）を決定する処理が実行される。この処理では、再帰アルゴリズムが適用され、「配列分割処理」と仮称する単位処理が、再帰的に反復される。
【００３６】
配列分割処理では、与えられたｆの部分配列（ｆ〔ａ〕〜ｆ〔ｂ〕）を２分し、部分配列の中点に該当する要素を求めることにより、優先度が算出され、代入される。この要素（ｆ〔（ａ＋ｂ）／２〕）により分断された２つの配列（ｆ〔ａ〕〜ｆ〔（ａ＋ｂ）／２−１〕及びｆ〔（ａ＋ｂ）／２＋１〕〜ｆ〔ｂ〕〕に対し、さらなる配列分割処理が、それぞれ適用される。こうして、分割される配列の要素がこれ以上分けられなくなるまで、配列分割処理の適用が再帰的に繰り返される。
【００３７】
図１１は、ステップＳ３の処理の内部手順を示すフローチャートである。サブルーチンとしてのステップＳ３の処理に対しては、呼び出し元（以下、親と称する）である図８の処理からいくつかのパラメータが渡される。配列分割対象となる部分配列の、先頭の添字ａと最終の添字ｂ、親で処理された要素の添字ｘ、親から継承される変数ｍがパラメータとして与えられる。ステップＳ３の処理の開始時点、すなわち、一番最初の配列分割処理の適用時（ｆ〔０〕＝０が代入された直後）には、これらのパラメータは以下のように与えられる。
【００３８】
すなわち、図１２が示すように、先頭の添字ａ＝１；最終の添字ｂ＝ｎ−１；親で処理された要素の添字ｘ＝０；および、親から継承される変数ｍ＝０；と定められる。変数ｍは配列分割処理がおこなわれた回数を表すものであり、はじめて配列分割処理が適用されるときは、ｍ＝０が与えられる。これらの設定は、ステップＳ２（図８）で行われる。ステップＳ３の処理では、与えられた４つのパラメータを用いて、配列分割処理が実行される。
【００３９】
ステップＳ３の処理が開始されると、はじめに、ａとｂの中点ｘ2が求められる（ステップＳ３１）。ｘ2は、親より与えられた部分配列ｆ〔ａ〕〜ｆ〔ｂ〕の中点を求めるための変数であり、図１３が示すように、ａとｂの平均値（ｘ2＝（ａ＋ｂ）／２。ただし、小数点切り捨て。）が代入される。記号ＩＮＴは、小数点以下を切り捨てることにより整数化を行う演算を、表現している。
【００４０】
つぎに、ｆ〔ｘ2〕に対し、優先度が算出され、代入される（ステップＳ３２〜Ｓ３４）。親の添字ｘとの大小関係により、以下のように条件分けがされる。
【００４１】
ｘ＞ｘ2 の時には、ｆ〔ｘ2〕＝ｆ〔ｘ〕＋２(m-1)が与えられる。すなわち、親の添字よりもＸ２が小さいときは、親の優先度に２(m-1)を加えた値が代入される。また、ｘ＜ｘ2 の時には、ｆ〔ｘ2〕＝ｆ〔ｘ〕＋２mが与えられる。すなわち、親の添字よりもｘ2が大きいときは、親の優先度に２mを加えた値が代入される。
【００４２】
つぎに、分割された２つの部分配列に対し、それぞれ配列分割処理が適用される（ステップＳ３５〜Ｓ３８）。すなわち、ｘ2によって分割された２つの部分配列ｆ〔ａ〕〜ｆ〔ｘ2−１〕、ｆ〔ｘ２＋１〕〜ｆ〔ｂ〕に対し、それぞれ配列分割処理が適用される。ただし、適用されるのは、それぞれの部分配列について、分割すべき要素が残っている場合に限られる（ステップＳ３７）。
【００４３】
より具体的には、もしも、ａ≦ｘ2−１であれば、図１４が示すように、先頭の添字＝ａ、最終の添字＝ｘ2−１、親の添字＝ｘ2、継承変数＝ｍ＋１として、配列分割処理が適用される。このとき、継承変数は１増えてｍ＋１となる。
【００４４】
もしも、ｂ≧ｘ2＋１ならば、図１５が示すように、先頭の添字＝ｘ2＋１、最終の添字＝ｂ、親の添字＝ｘ2、継承変数＝ｍ＋１として、配列分割処理が適用される。このとき、継承変数は１増えてｍ＋１となる。
【００４５】
配列分割処理が適用し尽くされると（ステップＳ３９）、図１１の内部処理は終了し、処理は、親（図８の処理）へ戻る。ステップＳ３の処理が終了すると、配列ｆのそれぞれの要素には、優先度が代入されている。各フレームの優先度は、各配列の要素の小さいもの順に高いものとする。
【００４６】
［3. 優先度の決定手順の例］
以下に、ｎ＝７の（１個のＩピクチャと６個のＰピクチャを含む）フレーム群への、図８および図１１の手順の適用例について説明する。
【００４７】
（3.1. 配列の定義）
ｎ＝７であるために、まず、配列として、図１６が示すように、ｆ〔６〕が定義される。
【００４８】
（3.2. 優先度の決定）
つぎに、図１７が示すように、Ｉピクチャの優先度が、ｆ〔０〕＝０と決定される。
【００４９】
（3.3. 配列分割処理の呼び出し）
つづいて、ａ＝１、ｂ＝６、ｘ＝０、ｍ＝０として、配列分割処理が適用される（図１８参照）。
【００５０】
（3.4. 配列分割処理の実行）
（3.4.1.）つぎに、平均値ｘ2が求められる。小数点が切り捨てられるので、ｘ2 ＝（１＋６）／２＝３が与えられる（図１９参照）。
【００５１】
（3.4.2.）つづいて、ｆ〔ｘ2〕に優先度が代入される。ｘ＝０、ｘ2＝３より、ｘ＜ｘ2であるから、ｆ〔ｘ2〕＝ｆ〔ｘ〕＋２m＝０＋１＝１が与えられる（図２０参照）。
【００５２】
（3.4.3.）つぎに、分割されたそれぞれの配列に対して、配列分割処理が再適用される。ａ＝１、ｘ2−１＝２より、ａ＜ｘ2−１であるから、ａ2＝ａ＝１、ｂ2＝ｘ2−１＝２、ｍ2＝ｍ＋１＝１が与えられる（図２１参照）。
【００５３】
（3.4.4.）つづいて、新たに分割された配列に対する配列分処理が行われる。与えられたパラメータは、ａ＝１、ｂ＝２、ｘ＝３、ｍ＝１である。この設定は、ステップＳ３８（図１１）で行われる。図１１において、ａ2，ｂ2，ｍ2は、新たに設定されたａ，ｂ，ｍの値を表している。小数切り捨て後の平均値ｘ2＝（１＋２）／２＝１、ｘ＞ｘ2より、ｆ〔ｘ2〕＝ｆ〔ｘ〕＋２m-1＝２が代入される（図２２参照）。
【００５４】
（3.4.5.）つぎに、さらに細かく分割された配列に対し、配列分割処理が適用される。ただし、ａ＝１、ｘ2−１＝０より、ａ≦ｘ2−１は成立しない。すなわち、これ以上処理を行うべき部分配列が前半部分には存在しない。次に、ｂ＝２、ｘ2＋１＝２より、ｂ≧ｘ2＋１は成立するので、a2＝２、ｂ2＝２、ｍ2＝２、ｘ＝１として後半部分に対して、配列分割処理が適用される（図２３参照）。
【００５５】
（3.4.6.）つぎに、新たな配列分割処理が行われる。平均値ｘ2＝２、ｘ＜ｘ2より、ｆ〔ｘ2〕＝ｆ〔ｘ〕＋２m＝６が代入される。この要素の前後には、これ以上分割すべき配列は存在しない。すなわち、ａ≦ｘ2−１ 、ｂ≧ｘ2＋１のいずれも成立しない。このため、その後、処理は親（上記の手順3.4.5.）へ戻る（図２４参照）。
【００５６】
（3.4.7.）親は、すでに前半後半それぞれの部分配列を呼び出し終えているため、処理は、さらにその親（上記の手順3.4.3.）へ戻る。
【００５７】
（3.4.8.）上記の手順3.4.3.では、前半部分に対する適用はすでに終えているが、後半部分はｂ＝６、ｘ2＋１＝４であり、ｂ≧ｘ2＋１が成立する。したがって、ａ2＝ｘ2＋１＝４、ｂ2＝６、ｘ2＝４、ｍ2＝ｍ＋１＝１として配列分割処理が適用される（図２５参照）。
【００５８】
（3.4.9.）つぎに、新たなパラメータに対して、配列分割処理が適用される。すなわち、ｘ2 ＝（４＋６）／２＝５、ｆ〔ｘ2〕＝ｆ〔ｘ〕＋２m＝１＋２1＝３が代入される。また、ａ≦ｘ2−１が成立するので、更に分割された配列に対して、配列分割処理が適用される。以下の処理はこれまでの手順と同様に行い、ｆ〔４〕＝５、ｆ〔６〕＝７が求められる。ここで全ての要素に対する優先度が求まり、配列分割処理全体が終了する（図２６参照）。
【００５９】
（3.5. 優先度の決定）
各配列の要素の小さいものから高いものへ至る順に、優先度は低くなる。したがって、優先度は、フレームＩ，Ｐ３，Ｐ１，Ｐ５，Ｐ４，Ｐ２，Ｐ６の順に低くなる。
【００６０】
（4. 変形例）
上記実施の形態では、基準フレームに対して、フレーム内圧縮が施されたが、圧縮率は幾分劣るものの、基準フレームに対して圧縮を施さず、基準フレームを非圧縮フレームとすることも可能である。
【００６１】
【発明の効果】
第１の発明の装置では、フレーム群の中で、１個の先頭フレームを共通の基準フレームＩとして、前記基準フレームＩに引き続く他のフレームＰそれぞれと前記基準フレームＩとの間でフレーム間圧縮が施されるので、比較的高い圧縮率とフレーム間引きの自由度とが、両立的に実現する。間引きの自由度を生かして、フレーム群の中で、前記フレーム群の２等分を順次繰り返していく規則に従って、前記フレーム群に属するＰピクチャのフレーム数をｋとすると少なくとも前記基準フレームＩ、フレームＰ［ｋ／２］、フレームＰ［ｋ／４］、フレームＰ［３ｋ／４］、およびフレームＰ［ｋ／８］がこの順で先頭から並ぶように（Ｐ［］は、［］内の数値を前記フレーム群における再配列前のフレーム順序とするフレームを表し、［］内の数値が小数を含む場合には、その小数は切り上げられる）、時系列とは異なる順序にフレームの再配列が行われ、再配列されたフレームがその順に出力される。このため、伝送路の帯域上の制約等により、受信側に、フレーム群内の末尾のフレームに至るまでの全てのフレームの伝達が、達成されない場合でも、出力されたフレームにもとづいて、円滑な動画像を再生することが可能となる。
【００６２】
第２の発明の装置では、基準フレームに対してフレーム内圧縮が施されるので、圧縮率がさらに高められる。
【００６３】
第３の発明の装置では、送信バッファが備わるので、受信側あるいは伝送路の状況に応じて、フレームの伝送レートが自動的に調節され、無用なフレームの出力を回避することができるとともに、フレームを優先度の高い順に確実に受信側へ届けることができる。
【００６４】
第４の発明の装置では、第１の発明の装置が出力するフレームが一時的に保持され、さらに、フレーム群の中で時系列に沿って再配列された上で、伸張処理にかけられる。このため、第１の発明の装置が出力する画像にもとづいて、再生画像を得ることが可能である。
【００６５】
第５の発明の装置では、フレームを受信するごとに、要求信号が出力されるので、要求信号にもとづいてフレームを逐一出力する送信装置と接続することにより、画像受信装置あるいは伝送路の状況に応じて、フレームの伝送レートを自動的に調節することができる。
【００６６】
第６の発明のシステムでは、第１の発明の画像送信装置と、第２の発明の画像受信装置とが、伝送路を通じて中継されているので、伝送路の帯域、混雑度等に由来して、フレーム群内の一部のフレームが伝送されなくても、画像受信装置は円滑な動画像を再生することが可能となる。
【図面の簡単な説明】
【図１】 実施の形態の概略説明図である。
【図２】 実施の形態の概略説明図である。
【図３】 実施の形態のシステムを示すブロック図である。
【図４】 実施の形態の画像圧縮部の動作説明図である。
【図５】 実施の形態の再配列部の動作説明図である。
【図６】 実施の形態のバッファの動作説明図である。
【図７】 実施の形態の送信制御部の動作説明図である。
【図８】 実施の形態の優先度決定の手順を示すフローチャートである。
【図９】 図８の処理の説明図である。
【図１０】 図８の処理の説明図である。
【図１１】 図８のステップＳ３の内部手順を示すフローチャートである。
【図１２】 図１１の処理の説明図である。
【図１３】 図１１の処理の説明図である。
【図１４】 図１１の処理の説明図である。
【図１５】 図１１の処理の説明図である。
【図１６】 図１１の処理の具体例を示す説明図である。
【図１７】 図１１の処理の具体例を示す説明図である。
【図１８】 図１１の処理の具体例を示す説明図である。
【図１９】 図１１の処理の具体例を示す説明図である。
【図２０】 図１１の処理の具体例を示す説明図である。
【図２１】 図１１の処理の具体例を示す説明図である。
【図２２】 図１１の処理の具体例を示す説明図である。
【図２３】 図１１の処理の具体例を示す説明図である。
【図２４】 図１１の処理の具体例を示す説明図である。
【図２５】 図１１の処理の具体例を示す説明図である。
【図２６】 図１１の処理の具体例を示す説明図である。
【図２７】 従来の装置の動作説明図である。
【図２８】 従来の装置の動作説明図である。
【符号の説明】
１ 画像送信装置
３ 伝送路
４ 画像伝送システム
１１ 画像圧縮部
１２ 再配列部
１３ 送信バッファ
１４ 送信制御部
２１ 送信要求部
２２ 受信バッファ
２３ 再配列部
２４ 画像伸張部
ＰＳ０ 入力画像
ＲＳ 要求信号
Claims (6)
- 入力画像を圧縮して出力する画像送信装置であって、
前記入力画像の４個以上の連続するフレームを含むフレーム群ごとに、１個の先頭フレームを共通の基準フレームＩとして、前記基準フレームＩに引き続く残りのフレームＰそれぞれと前記基準フレームＩとの間でフレーム間圧縮を施す画像圧縮部と、
前記画像圧縮部においてフレーム間圧縮を施された前記フレームＰを、前記フレーム群ごとに、前記フレーム群の２等分を順次繰り返していく規則に従って、前記フレーム群に属するＰピクチャのフレーム数をｋとすると少なくとも前記基準フレームＩ、フレームＰ［ｋ／２］、フレームＰ［ｋ／４］、フレームＰ［３ｋ／４］、およびフレームＰ［ｋ／８］がこの順で先頭から並ぶように（Ｐ［］は、［］内の数値を前記フレーム群における再配列前のフレーム順序とするフレームを表し、［］内の数値が小数を含む場合には、その小数は切り上げられる）、時系列とは異なる順序に再配列する再配列部と、
前記再配列されたフレームをその順に出力する送信制御部と、
を備える画像送信装置。 - 前記画像圧縮部は、前記基準フレームに対して、フレーム内圧縮を施す、請求項１に記載の画像送信装置。
- 前記再配列されたフレームを順次保持する送信バッファをさらに備え、
前記送信制御部は、外部からの要求信号に応答して、前記送信バッファからフレームを、保持された順に読み出し、出力するとともに、一定時間内に一つの前記フレーム群の読み出しが完了しないときには、当該フレーム群内の残されたフレームは廃棄して、つぎのフレーム群に属するフレームを読み出す、請求項１または請求項２に記載の画像送信装置。 - 請求項１ないし請求項３のいずれかに記載の画像送信装置が出力する前記画像を受信し、伸張して出力する画像受信装置であって、
前記画像送信装置が出力する前記フレームを、順次保持する受信バッファと、
前記受信バッファからフレームを、保持された順に読み出し、時系列に沿った順序へ再配列する別の再配列部と、
再配列されたフレームに対して、圧縮を解除する処理を施し、出力する画像伸張部と、
を備える画像受信装置。 - 前記画像送信装置が出力する前記フレームを受信するごとに、つぎのフレームの送信を要求する要求信号を出力する送信要求部を、さらに備える、請求項４に記載の画像受信装置。
- 請求項１ないし請求項３のいずれかに記載の画像送信装置と、
請求項４または請求項５に記載の画像受信装置と、
これらを互いに中継する伝送路と、
を備える画像伝送システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000033248A JP3927346B2 (ja) | 2000-02-10 | 2000-02-10 | 画像送信装置、画像受信装置、および、画像伝送システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000033248A JP3927346B2 (ja) | 2000-02-10 | 2000-02-10 | 画像送信装置、画像受信装置、および、画像伝送システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001224032A JP2001224032A (ja) | 2001-08-17 |
| JP3927346B2 true JP3927346B2 (ja) | 2007-06-06 |
Family
ID=18557752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000033248A Expired - Fee Related JP3927346B2 (ja) | 2000-02-10 | 2000-02-10 | 画像送信装置、画像受信装置、および、画像伝送システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3927346B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003073763A1 (fr) * | 2002-02-28 | 2003-09-04 | Sony Corporation | Serveur de camera et procede de distribution d'image |
| JP4114596B2 (ja) | 2003-11-19 | 2008-07-09 | オンキヨー株式会社 | ネットワークａｖシステム |
| KR20070104608A (ko) | 2005-01-17 | 2007-10-26 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비디오 프레임들의 순서화된 세트들을 송신 및 수신하기위한 시스템, 송신기, 수신기, 방법 및 소프트웨어 |
| JP5330661B2 (ja) * | 2007-08-27 | 2013-10-30 | パナソニック株式会社 | インターホン親機 |
| JP2009055362A (ja) * | 2007-08-27 | 2009-03-12 | Panasonic Electric Works Co Ltd | 映像送信装置 |
| JP5199621B2 (ja) * | 2007-08-27 | 2013-05-15 | パナソニック株式会社 | 映像送信装置 |
| JP2009055360A (ja) * | 2007-08-27 | 2009-03-12 | Panasonic Electric Works Co Ltd | 映像送信装置 |
| WO2017203555A1 (ja) * | 2016-05-23 | 2017-11-30 | 三菱電機ビルテクノサービス株式会社 | 符号化装置、撮影装置及びプログラム |
-
2000
- 2000-02-10 JP JP2000033248A patent/JP3927346B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001224032A (ja) | 2001-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2134092B1 (en) | Information processing apparatus and method, and program | |
| JP3103301B2 (ja) | Ｍｐｅｇ１規格により符号化された音声映像信号ストリームの多重化方法 | |
| US5796957A (en) | Network system and terminal apparatus | |
| KR100632793B1 (ko) | 동화상을 변환하는 방법 및 장치, 동화상을 전송하는 방법 및 장치, 그리고 이들을 위한 프로그램이 기록된 기록매체 | |
| JP3927346B2 (ja) | 画像送信装置、画像受信装置、および、画像伝送システム | |
| KR100678891B1 (ko) | Ａｖ데이터 수신시 버퍼량을 컨텐츠 속성에 따라탄력적으로 조절하는 방법 및 장치 | |
| JP4373730B2 (ja) | 映像データ送信装置、映像データ送受信システム、及び、その方法 | |
| JP4444623B2 (ja) | 動画像変換装置および方法、動画像配信装置、メール中継装置並びにプログラム | |
| JP2000244836A (ja) | 表示制御装置、表示制御方法、バスシステム、及び記憶媒体 | |
| JPH10136300A (ja) | 繰返し使用データ挿入装置およびディジタル放送送信システム | |
| KR101729904B1 (ko) | 데이터의 손실압축을 통한 무손실 송신 시스템 및 그 방법 | |
| JP3045788B2 (ja) | 画像情報パケット化方法 | |
| KR101754571B1 (ko) | 대역분리 및 감축을 통한 영상신호의 스위칭/라우팅 장치 및 그 방법 | |
| JP3110037B2 (ja) | 画像伝送システム | |
| JPH05145909A (ja) | 音声映像通信方式 | |
| JP2004241885A (ja) | 情報転送システム、情報転送方法、情報転送プログラム及びプログラム記録媒体 | |
| JP2001144775A (ja) | 送信装置およびプログラム記録媒体 | |
| JP3193288B2 (ja) | 可変長符号データ伝送装置 | |
| JP4372881B2 (ja) | ビデオデータストリーム中にアクセスポイントを提供する方法およびその方法を実行するための装置 | |
| JPH10178637A (ja) | 動画像伝送システム | |
| JPH046930A (ja) | パケット組立方式及びパケット分解方式 | |
| Yeung et al. | Multiplexing video traffic using frame-skipping aggregation technique | |
| JP4285802B2 (ja) | 信号処理システム | |
| JPH0435135A (ja) | 画像パケット多重受信装置 | |
| JP2004135081A (ja) | 画像配信システム、その画像配信システムに利用可能な画像配信装置および方法、記録再生装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050719 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051011 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070302 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160309 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |