JP3880438B2

JP3880438B2 - 画像通信装置

Info

Publication number: JP3880438B2
Application number: JP2002113634A
Authority: JP
Inventors: 純牧野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-04-16
Filing date: 2002-04-16
Publication date: 2007-02-14
Anticipated expiration: 2022-04-16
Also published as: JP2003309811A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、送信側から、ディジタル画像を圧縮した画像データを送信し、この受信側で、当該画像データを特殊再生（サーチ再生等）するための装置或いはシステムに用いられる、画像通信装置に関するものである。
【０００２】
【従来の技術】
従来より例えば、動画像をディジタル化し、このディジタル画像データを圧縮して記録／再生する技術が広く用いられている。このときの圧縮方式としては、中でも、ＭＰＥＧ１（ＩＳＯ／ＩＥＣ１１１７２）や、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８）等のＭＰＥＧ方式が広く普及している。
【０００３】
ＭＰＥＧ方式では、画像フレーム間の相関を利用した予測符号化を行うことで、圧縮率を向上させている。このため、図６に示すような、Ｉピクチャ（intra-coded picture）、Ｂピクチャ（bidirectionally predictive-coded picture）、及びＰピクチャ（predictive-coded picture）の３通りの画像タイプが定義されている。
【０００４】
Ｉピクチャは、当該画像フレーム内のみのデータで圧縮される。したがって、Ｉピクチャは、当該画像フレームのデータのみで再生可能である。
【０００５】
Ｐピクチャは、前のＩピクチャ又はＰピクチャのデータとの相関を利用して、予測符号化を行う。したがって、Ｐピクチャの再生には、その前に存在するＩピクチャ又はＰピクチャが必要となる。通常、圧縮率はＩピクチャよりよい。
【０００６】
Ｂピクチャは、前後のＩピクチャ又はＰピクチャのデータとの相関を利用して、双方で予測符号化を行う。したがって、Ｂピクチャの再生には、その前に存在するＩピクチャ又はＰピクチャ、さらにその後に続くＩピクチャ又はＰピクチャ（表示上は後で再生されるピクチャ）のデータが必要となる。通常、圧縮率はＩピクチャ及びＰピクチャよりもよい。
【０００７】
ＭＰＥＧ方式では、上述の３通りのピクチャを組み合わせでＧＯＰ（Group of Picture）という単位を構成している。これにより、予測符号化の誤差が広範囲に波及することを防いでいる。
【０００８】
また、ＭＰＥＧ方式では、複数のＧＯＰでビデオＰＥＳ（Program Elementary Stream）を構成し、さらに、複数のビデオＰＥＳでトランスポート・ストリーム（ＴＳ）を構成している。
通常、ＭＰＥＧ方式による圧縮画像データは、トランスポート・ストリームの形態で、記録或いは転送される。
【０００９】
具体的には、図７（ａ）及び（ｂ）に示すように、先ず、Ｉピクチャ、Ｂピクチャ、及びＰピクチャの２種のフレーム画像から構成される原画像は、フレーム単位で圧縮され、圧縮データとなる。
次に、上記図７（ｃ）に示すように、フレーム毎の圧縮データを複数まとめてＧＯＰとする。
次に、上記図７（ｄ）及び（ｅ）に示すように、ＧＯＰ毎に付加情報を付加し、これをビデオＰＥＳとする。
そして、上記図７（ｆ）及び（ｇ）に示すように、ビデオＰＥＳを適当に分割し、これらの分割データ（Ｖデータ）に対してヘッダ情報を付加すると共に、オーディオデータ（Ａデータ）等の他のＰＥＳと合わせて、１つのＴＳを構成する。
【００１０】
尚、ＴＳは更に分割され、この分割データがＴＳパケットとして利用される。また、ＭＰＥＧ方式におけるストリームとしては、トランスポート・ストリームやプログラム・ストリーム等があり、これらのストリームでは多少の構成が異なるが、本実施の形態では説明の簡単のため、原画像が圧縮されて符号化され、このストリームに対して、オーディオ等の他のストリームが多重化されたストリームを、「ＭＰＥＧストリーム」と呼ぶことにする。
【００１１】
ＧＯＰ内の構成は、ＧＯＰ内のピクチャ数（Ｎ）、及びＩピクチャ又はＰピクチャの現れる周期（Ｍ）で表現される。
ＧＯＰ構成の方法に特に制限は設けられていないが、一般的なＧＯＰ構成としては、例えば、３０フレーム／秒の画像データについて、Ｎ＝１５、Ｍ＝３程度とすれば、圧縮率及び画像劣化のバランスが良いとされている。
【００１２】
図８（ａ）〜（ｅ）は、上記のＧＯＰ構成におけるフレーム画像の並びの様子を、「原画像」、「符号化処理」、「ストリーム上」、「復号処理」、及び「再生画像」のそれぞれの状況で分けて表したものである。
【００１３】
上記図８（ａ）に示すように、「原画像」では、フレーム画像が、Ｂ０，Ｂ１，Ｉ２，…の順で並んでいる。
「符号化処理」では、上記図８（ｂ）に示すように、先ずＩピクチャが処理され、次にＰピクチャが処理され、続いてＢピクチャが処理される。
【００１４】
具体的には、上記図８（ａ）では、先ず、Ｉ２ピクチャが符号化処理された後、Ｂ０，Ｂ２ピクチャが符号化処理され、Ｉ２ピクチャのデータを利用して、Ｐ５ピクチャが符号化処理される。このとき、Ｂ０，Ｂ２ピクチャの符号化処理には、前のＧＯＰのピクチャのデータが必要であるが、これが無い場合、Ｉ２ピクチャのデータのみを用いて符号化処理される。
そして、Ｐ５ピクチャが符号化処理された後、Ｂ３，Ｂ４ピクチャが、Ｉ２，Ｐ５ピクチャのデータを利用して符号化処理される。
【００１５】
「ストリーム上」では、上記図８（ｃ）に示すように、「符号化処理」における処理順に従って、上記図８に示されるようなトランスポート・ストリームが構成される。このトランスポート・ストリームが記録或いは転送される。
【００１６】
「復号処理」では、上記図８（ｄ）に示すように、先ずＩ２ピクチャが復号処理され、次にＢ０，Ｂ２ピクチャが復号処理され、次にＩ２ピクチャのデータを利用してＰ５ピクチャが復号処理される。これに続いて、Ｉ２，Ｐ５ピクチャのデータを利用して、Ｂ３，Ｂ４ピクチャが復号処理される。
【００１７】
「再生画像」では、上記図８（ｅ）に示すように、「復号処理」で得られた復号後のピクチャが、元の順に並び換えられ、これが再生画像（原画像の復元画像）となる。
【００１８】
上述したようなＭＰＥＧ方式により圧縮された画像データ（ＭＰＥＧデータ）は、一つの機器の中で記録／再生処理されるだけでなく、例えば、ディジタル・インターフェースを介して他の機器へ転送され利用される場合がある。
【００１９】
例えば、図９に示すように、ビデオカメラ９１０と、パーソナルコンピュータ（ＰＣ）９２０とが、ＩＥＥＥ１３９４インターフェース９３０を介して接続されてなるシステム９００がある。
【００２０】
システム９００では、ビデオカメラ９１０で生成及び記録されたＭＰＥＧデータを、ＩＥＥＥ１３９４インターフェース９３０を介してＰＣ９２０側に転送し、ＰＣ９２０において、当該ＭＰＥＧデータを再生／表示する。
【００２１】
ＩＥＥＥ１３９４インターフェース９３０を介したＭＰＥＧデータ（トランスポート・ストリーム（ＴＳ）データ）の伝送は、ＩＳＯ／ＩＥＣ６１８８３−４で規格化されている。この規格に従ったデータ伝送は、図１０（ａ）〜（ｇ）に示される。
【００２２】
すなわち、先ず、上記図１０（ａ）〜（ｃ）に示すように、ビデオカメラ９１０で得られたトランスポート・ストリーム（ＴＳ）は、１８８バイトのＴＳパケットに分割される。
次に、上記図１０（ｄ）に示すように、ＴＳパケットが更に８分割された後、同図（ｅ）に示すように、これらが数個まとめられてヘッダ情報が付加され、同図（ｆ）に示すようなアイソクロナス・パケットが生成される。
そして、上記図１０（ｇ）に示すように、アイソクロナス・パケットは、ＩＥＥＥ１３９４インターフェース９３０を介して、アイソクロナスサイクルに従って、ＰＣ９２０へと転送（アイソクロナス転送）される。
【００２３】
ＩＥＥＥ１３９４インターフェース９３０を介したアイソクロナス転送では、必要な転送帯域をアイソクロナス・リソース・マネージャーから獲得し、その転送帯域を利用して、一定量のデータを確実に転送する。これにより、受信先（ここではＰＣ９２０）での動画像の再生が保証される。
【００２４】
ところで、上記図９に示したようなシステム９００では、ＰＣ９２０において、ビデオカメラ９１０から転送されてくるＭＰＥＧデータを早送りサーチ再生することが可能である。
【００２５】
図１１（ａ）〜（ｅ）は、システム９００において、ビデオカメラ９１０から出力されるＭＰＥＧデータ（ＭＰＥＧストリーム）内のＧＯＰ構成が、Ｎ＝１５、Ｍ＝３の場合であり、これをＰＣ９２０で３倍速で再生及び表示する場合の、当該ＧＯＰ構成におけるフレーム画像の並びの様子を、「原ストリーム」、「Ｉ，Ｐ抽出」、「ストリーム再構成」、「復号処理」、及び「再生画像」のそれぞれの状況で分けて表したものである。
【００２６】
ＰＣ９２０は、上記図１１（ａ）及び（ｂ）に示すように、原ストリーム（ビデオカメラ９１０から出力されるＭＰＥＧデータ）を構成するＧＯＰ内の各ピクチャのうち、Ｉピクチャ及びＰピクチャのみを抽出し、同図（ｃ）〜（ｅ）に示すように、これらのＩピクチャ及びＰピクチャを再生することで、３倍速の再生画像を取得する。
【００２７】
すなわち、ＰＣ９２０は、原ストリーム内の各ピクチャのうち、ＩピクチャとＰピクチャのみを抽出し、これらのＩピクチャとＰピクチャからストリーム再構成し（圧縮及び伸長処理を行わない範囲の処理）、当該ストリームを復号処理して再生画像を取得し、これを表示する。
【００２８】
尚、１つのＧＯＰに対する処理の間に、Ｉピクチャのみを転送することも広く行われている。この場合、サーチ画像がコマ送り状態となる。
【００２９】
図１２（ａ）〜（ｅ）は、上記図１１（ａ）〜（ｅ）に示したような３倍速でのサーチ再生及び表示の場合に対して、１５倍速でのサーチ再生及び表示する場合の、ＧＯＰ構成におけるフレーム画像の並びの様子を、「原ストリーム」、「Ｉ抽出」、「ストリーム再構成」、「復号処理」、及び「再生画像」のそれぞれの状況で分けて表したものである。
この場合、上記図１２（ａ）〜（ｅ）に示すように、ＧＯＰ内の各ピクチャのうち、Ｉピクチャのみを抽出して再生することで、１５倍速の再生画像が得られる。
【００３０】
【発明が解決しようとする課題】
しかしながら、上記図９に示したような従来のシステム９００では、ＰＣ９２０において、ビデオカメラ９１０から転送されてくるＭＰＥＧデータをサーチ再生する場合、特に、このときのデータ伝送を、ＩＥＥＥ１３９４インターフェース９３０を介して行う場合、以下に説明するような問題点があった。
【００３１】
まず、ビデオカメラ９１０（送信側）からＭＰＥＧデータをＰＣ９２０に対して転送し、ＰＣ９２０（受信側）で当該ＭＰＥＧデータをサーチ再生する場合、通常よりもデータ量が多くなる。
【００３２】
すなわち、ＩＥＥＥ１３９４インターフェース９３０を介してデータ転送（アイソクロナス転送）する場合、当該アイソクロナス転送の帯域が通常より多くなり、この状態のままでは、サーチ再生のためのＭＰＥＧデータの転送が行えない。
【００３３】
また、サーチ再生時にもＭＰＥＧデータを全て転送している場合、サーチ再生速度に応じてデータ量が増えるため、当然ではあるが、送信側でストリームを再構成して必要なピクチャのみを抽出及び転送する場合であっても、サーチ再生のためのＭＰＥＧデータの転送が行えない。
【００３４】
上記の問題点について具体的に説明すると、例えば、図１３（ａ）に示すような構成のＧＯＰからなるＭＰＥＧデータを、同図（ｂ）に示されるようにして、通常転送するものとする。
また、上記図１３（ａ）及び（ｂ）では、データ量を縦方向で表し、フレーム単位の時間を横方向で表し、ここでのＧＯＰ構成は、Ｎ＝１５、Ｍ＝３であるものとする。
【００３５】
上記図１３（ａ）に示すように、ＧＯＰに含まれる各ピクチャのデータは、１フレーム時間に再生する画像データであるが、それぞれ圧縮方法が異なるため、データ量にも違いがある。一般に、Ｉピクチャ、Ｐピクチャ、及びＢピクチャの順で圧縮率が高くなるため、したがって、この順でデータ量が少なくなる。
【００３６】
尚、実際の圧縮率は、各フレーム、各ＧＯＰ間で異なるが、ここでは説明の簡単のため、Ｉピクチャ、Ｐピクチャ、及びＢピクチャとも同じデータ量とする。
【００３７】
上記図１３（ａ）に示されるＧＯＰ構成のＭＰＥＧデータを通常再生する場合、同図（ｂ）に示すように、それぞれのピクチャのデータが、データ量が一定となるように転送される。
【００３８】
尚、実際のデータ転送では、上記図７を用いて既に説明したように、ビデオＰＥＳと、オーディオ等の他のＰＥＳとから生成されるＴＳがパケット化されて転送されるが、ここでは説明の簡単のため、ビデオＰＥＳ（画像データ）のみに着目して説明する。
【００３９】
したがって、データ量の多いＩピクチャのデータは、フレームにまたがって転送され、データの少ないＢピクチャのデータについては、１フレームに複数のピクチャが転送される場合がある。例えば、１５フレーム（１ＧＯＰ内のフレーム数）に着目すると、平均して、１ＧＯＰ分のデータが転送されることになる。このときの転送帯域幅をＷ１とする。
【００４０】
これに対して、サーチ再生の場合、送信側（ここではビデオカメラ９１０）は、必要なピクチャのみを抽出して転送するが、圧縮率が低いピクチャが多くなり、平均的なデータ量が増える。
【００４１】
例えば、３倍速の再生の場合、図１４に示すように、送信側は、ＩピクチャとＰピクチャのみを抽出し、これを通常の１５フレームの１／３となる５フレームで転送すれば良い。しかしながら、これらのピクチャは圧縮率が低いため、必要な転送帯域幅Ｗ３は、Ｗ１よりも大きい。
尚、上記図１４において、図中の太線はＧＯＰの境界を示す。
【００４２】
また、１５倍速の再生の場合、図１５に示すように、送信側は、Ｉピクチャのみを抽出し、これを通常の１５フレームの１／１５となる１フレームで転送すれば良い。しかしながら、Ｉピクチャは最も圧縮率が低いため、必要な転送帯域幅Ｗ１５は、Ｗ１やＷ３よりも大きくなる。
尚、上記図１５において、図中の太線はＧＯＰの境界を示す。
【００４３】
一方、上述したようなＭＰＥＧデータの特殊再生時の転送については、例えば、特開２００１−２８７４８号等に記載されているが、ここで開示されている構成は、送信側で、記録媒体から再生したデータを一旦復号化し、これを特殊再生した画像を再度符号化して転送するものである。したがって、当該構成では、特殊再生画像がスムーズに実現でき、データ転送量も通常の転送帯域に納めることができるが、送信側でデータの復号化及び符号化を行うため、送信側に要求される処理が重たくなる。
【００４４】
そこで、本発明は、上記の欠点を除去するために成されたもので、サーチ再生のための画像データの転送をスムーズに行える画像通信装置を提供することを目的とする。
【００４５】
【課題を解決するための手段】
本発明に係る画像通信装置は、例えば、Ｉピクチャ、ＰピクチャおよびＢピクチャを複数個集めて構成されたグループを複数個有する第１のビデオストリームを記憶媒体から再生する再生手段と、前記第１のビデオストリームの再生が通常の再生速度よりも早い再生速度で再生される場合において、前記記憶媒体から再生された前記第１のビデオストリームを第２のビデオストリームに再構成する再構成手段と、前記記憶媒体から再生された前記第１のビデオストリーム、前記第１のビデオストリームから再構成された前記第２のビデオストリームのいずれかを外部に転送する転送手段とを有し、前記再構成手段は、前記第１のビデオストリームの中から前記グループの１つを選択し、選択したグループの中から前記第２のビデオストリームの再構成に必要なＩピクチャを選択し、選択したＩピクチャの符号量が、前記第１のビデオストリームの再生速度に基づいて決定された基準値を下回った場合は、前記基準値を超えない範囲で、選択したＩピクチャと同じグループに含まれるＰピクチャを前記第２のビデオストリームの再構成に必要なＰピクチャとして選択し、選択したＩピクチャの符号量が、前記基準値を下回らない場合は、選択したグループの次のグループに含まれるＩピクチャを前記第２のビデオストリームの再構成に必要なＩピクチャとして選択しないようにすることを特徴とする。
【００５１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００５２】
本発明は、例えば、図１に示すような画像通信装置１００に適用される。
本実施の形態の画像通信装置１００は、ＭＰＥＧ方式により圧縮処理した画像データを送信する側（転送側）であり、特に、次のような機能を有する構成としている。
【００５３】
先ず、ＭＰＥＧ方式によるストリーム（ビデオストリーム）のＧＯＰ内のＩピクチャ、Ｐピクチャ、及びＢピクチャの符号量を調べ、転送先でサーチ再生する場合は、そのサーチ倍率、及び確保してある転送帯域の大きさから、ＧＯＰのＮフレームを転送する時間内に転送可能な符号量を求め、当該符号量に基づき、再生ストリームから、サーチ再生表示に不要なストリームを省き、ビデオストリームとして転送可能な限りのＩピクチャ及びＰピクチャを選択して、圧縮状態のピクチャデータを再構成する。
【００５４】
すなわち、ＧＯＰのNフレームを転送する時間内に転送可能な符号量が、少なくとも最初のＩピクチャより多い場合、当該ＧＯＰを転送する時間内で、当該転送可能な符号量を越えない範囲内で、Ｉピクチャ及びＰピクチャを転送し、当該転送可能な符号量を越える分のＩピクチャ又はＰピクチャは破棄して、次のＧＯＰの転送に移る。
【００５５】
一方、ＧＯＰのNフレームを転送する時間内に転送可能な符号量が、少なくとも最初のＩピクチャより少ない場合、当該ＧＯＰのＩピクチャを所定の転送帯域内で転送し終わるまで、これに続くＧＯＰは転送せず廃棄し、先のＩピクチャが転送し終えてから、次のＧＯＰの転送に移る。
【００５６】
上記の構成により、一定の転送帯域を保ちながら、できるかぎりスムーズなサーチ再生のための画像データの転送を行える。
以下、本実施の形態の画像通信装置１００の構成及び動作について具体的に説明する。
【００５７】
＜画像通信装置１００の構成＞
画像通信装置１００は、上記図１に示すように、記憶部１０１、再生処理部１０２、デマルチプレクサ１０３、再構成処理部１０４、パケット化処理部１０５、符号量測定部１０６、コントローラ１０７、コマンド受信部１０８、及び１３９４Ｉ／Ｆ１０９を含む構成としている。
【００５８】
記憶部１０１は、ＭＰＥＧ方式により圧縮処理された画像データを記憶する。記憶部１０１としては、例えば、光ディスクや、ハードディスク、磁気テープ、或いは固体メモリ等の様々な記憶媒体が適用可能である。
【００５９】
再生処理部１０２は、記憶部１０１としての任意の記憶媒体に応じた再生処理を実行する。
例えば、再生処理部１０２は、記憶部１０１に記憶された画像データに対して、該当する復調処理及び誤り訂正処理等を施し、ＭＰＥＧストリームを生成して出力する。
再生処理部１０２から出力されるＭＰＥＧストリームは、デマルチプレクサ１０３及びパケット化処理部１０５に対して入力される。
【００６０】
デマルチプレクサ１０３は、再生処理部１０２からのＭＰＥＧストリームに多重化されたビデオ、オーディオ、及びその他のストリームを分離し、さらにビデオデータについては、ＧＯＰ毎に、Ｉピクチャ、Ｐピクチャ、及びＢピクチャに分離し、これらのピクチャデータを符号量測定部１０６及び再構成処理部１０４に供給する。
【００６１】
符号量測定部１０６は、デマルチプレクサ１０３で得られたＧＯＰ内のＩピクチャ、Ｐピクチャ、及びＢピクチャのそれぞれの符号量を調べ、この結果を、コントローラ１０７へ供給する。
【００６２】
再構成処理部１０４は、コントローラ１０７からの指示に従って、デマルチプレクサ１０３からのＩピクチャ、Ｐピクチャ、及びＢピクチャのデータから、必要なストリームを再構成し、当該ストリームをパケット化処理部１０５に供給する。
【００６３】
パケット化処理部１０５は、再生処理部１０２からのストリーム、又は再構成処理部１０４からのストリームを入力とし、当該入力ストリームから、ＩＥＥＥ１３９４のアイソクロナス・パケットを生成し、当該アイソクロナス・パケットを、ＩＥＥＥ１３９４インターフェース（Ｉ／Ｆ）１０９を介して出力（転送）する。
【００６４】
１３９４Ｉ／Ｆ１０９は、パケット化処理部１０５で得られたアイソクロナス・パケットを外部に転送する一方で、外部からのコマンドを受け付ける。
例えば、１３９４Ｉ／Ｆ１０９は、外部からコマンドを受け付けた場合、これをコマンド受信部１０８に供給する。
【００６５】
コマンド受信部１０８は、１３９４Ｉ／Ｆ１０９からのコマンドをコントローラ１０７に供給する。
コントローラ１０７は、コマンド受信部１０８からのコマンドの内容、及び符号量測定部１０６での測定結果に基づいて、再構成処理部１０４及びパケット化処理部１０５に動作指示する。
【００６６】
＜画像通信装置１００の動作＞
ここでは、画像通信装置１００の動作として、画像データの転送動作に着目して説明する。図２は、画像通信装置１００の画像データ転送動作をフローチャートにより示したものである。
【００６７】
ステップＳ２０２：
先ず、画像データの転送開始に先立ち、コントローラ１０７は、１３９４Ｉ／Ｆ１０９を介して、ＩＥＥＥ１３９４のアイソクロナス転送の帯域を確保する。
具体的には、コントローラ１０７は、記憶部１０１等に記憶されているＭＰＥＧストリームの平均ビットレートから、ＩＥＥＥ１３９４のアイソクロナス転送の帯域幅Ｗ１を算出して決定する。
本実施の形態では、ここで決定した帯域幅Ｗ１を一定して使用するものとする。
【００６８】
そして、コントローラ１０７は、帯域幅Ｗ１（伝送帯域）を、例えば、コントローラ１０７の内部メモリ１０７ａの「伝送帯域記憶領域」に記憶する。
【００６９】
ここで、実用上、帯域幅Ｗ１は、ＭＰＥＧストリームの平均ビットレートよりも大きめに決定するが、ここでは一例として、ＭＰＥＧストリームにはビデオストリームのみが含まれているものとし、通常転送時のビットストリームの帯域と、確保した転送帯域幅Ｗ１が一致しているものとする。
【００７０】
また、通常では、ＭＰＥＧストリームには、ビデオストリーム以外にオーディオストリーム等のような、サーチ再生時には不要となるストリームが含まれている。サーチ再生時に必要な帯域幅Ｗ１は、このようは不要なストリームを削除した状態で決定される。さらに、ＭＰＥＧストリームには、ビデオストリーム以外のヘッダ情報が含まれており、このヘッダ情報には、１３９４Ｉ／Ｆ１０９を介したパケット転送のための情報が含まれているので、これをも考慮して、帯域幅Ｗ１が決定される。
【００７１】
しかしながら、上記のことは本発明の本質では無いため、以下、サーチ再生時の説明が複雑になるのを避けるために、ＭＰＥＧストリーム中にはビデオストリーム（データ）のみが含まれているとして説明する。したがって、Ｎフレーム時間中、転送できるデータは、ＮｘＷ１となる。
【００７２】
ステップＳ２０３：
コントローラ１０７は、コマンド受信部１０８からのコマンドにより、サーチ再生時のデータ転送であるか、或いは通常のデータ転送であるかを判別する。この判別の結果、サーチ再生時のデータ転送である場合にはステップＳ２０５に進み、通常のデータ転送である場合にはステップＳ２０４に進む。
【００７３】
ステップＳ２０４：
ステップＳ２０３の判別の結果、通常のデータ転送である場合、すなわちコマンド受信部１０８からサーチ指示がない場合、コントローラ１０７は、通常再生時の画像データの転送であることを認識し、通常転送のための動作制御を実施し、その後、再びステップＳ２０３へ戻る。
【００７４】
ステップＳ２０５：
ステップＳ２０３の判別の結果、サーチ再生時のデータ転送である場合、すなわちコマンド受信部１０８からサーチ指示があった場合、コントローラ１０７は、サーチ動作制御に移り、このときのサーチ倍率Ｒを、内部メモリ１０７ａの「サーチ倍率記憶領域」に記憶すると共に、符号量測定部１０６によりＧＯＰ内の各ピクチャの符号量を求め、当該符号量を内部メモリ１０７ａの「ピクチャ符号量記憶領域」に記憶する。
【００７５】
ステップＳ２０６：
コントローラ１０７は、内部メモリ１０７ａの「ピクチャ符号量記憶領域」、「サーチ倍率記憶領域」、及び「伝送帯域記憶領域」に記憶した各情報から、転送するピクチャを決定する。
すなわち、コントローラ１０７は、次のステップＳ２０７からの処理を実行することで、転送するピクチャを決定する。
【００７６】
ステップＳ２０７：
まず、ある１つのＧＯＰに着目し、このＧＯＰはＮフレームで構成されていることにより、Ｎフレーム時間に転送できるデータ量は、
Ｎ×Ｗ１
である。そこで、サーチ倍率Ｒが与えられている場合、Ｎ／Ｒフレーム間に転送できるデータ量をＴとすると、このデータ量Ｔは、
Ｔ＝Ｎ／Ｒ×Ｗ１
なる式で表される。
【００７７】
そこで、コントローラ１０７は、データ量Ｔの範囲で、ＧＯＰ内のＩピクチャ及びＰピクチャが、どの程度転送できるかを判断する。すなわち、コントローラ１０７は、先ず、ＧＯＰ内のＩピクチャの符号量に着目して、Ｔ＞Ｉであるか否かを判別する。
この判別の結果、Ｔ＞Ｉである場合にはステップＳ２０８に進み、そうでない場合にはステップＳ２１２に進む。
【００７８】
ステップＳ２０８：
ステップＳ２０７の判別の結果、Ｔ＞Ｉである場合、コントローラ１０７は、Ｉピクチャに続くＰピクチャの符号量に着目し、データ量Ｔを越えない範囲までのＩピクチャ及びＰピクチャを決定し、この決定したピクチャで、再構成処理部１０４により新たなビデオストリームを構成し、当該ビデオストリームを、パケット化処理部１０５及び１３９４Ｉ／Ｆ１０９を介して、転送帯域Ｗ１で転送する。
このとき、コントローラ１０７は、データ量Ｔを越えるＰピクチャは破棄する。
【００７９】
ステップＳ２０９：
コントローラ１０７は、ステップＳ２０８で決定したＩピクチャ及びＰピクチャを全て転送し終えたか否かを判別し、転送終了した場合に、次のステップＳ２１０に進む。
【００８０】
ステップＳ２１０、ステップＳ２１１：
決定ピクチャの転送終了後、コントローラ１０７は、次のフレーム期間までの時間の有無を判別し（ステップＳ２１０）、この判別の結果、時間あり場合、パケット化処理部１０５及び１３９４Ｉ／Ｆ１０９を介して、ＮＵＬＬパケットを転送し（ステップＳ２１１）、時間なしとなった場合に、次のフレーム転送時間から次のＧＯＰの処理に移る。
【００８１】
ステップＳ２１２：
上述のステップＳ２０７の判別の結果、Ｔ＞Ｉでない場合、コントローラ１０７は、当該Ｉピクチャで、再構成処理部１０４により新たなビデオストリームを構成し、当該ビデオストリームを、パケット化処理部１０５及び１３９４Ｉ／Ｆ１０９を介して転送する。
【００８２】
ステップＳ２１３、ステップＳ２１４：
コントローラ１０７は、ステップＳ２０８でＩピクチャを全て転送し終えたか否かを判別し（ステップＳ２１３）、この判別の結果、Ｉピクチャの転送が終了する前に、次のＧＯＰのフレームが始まった場合、当該次のＧＯＰの処理を破棄して（ステップＳ２１４）、Ｉピクチャの転送終了を待つ。
Ｉピクチャの転送終了後、次のステップＳ２１５に進む。
【００８３】
ステップＳ２１５、ステップＳ２１６：
Ｉピクチャの転送終了後、コントローラ１０７は、次のフレーム期間までの時間の有無を判別し（ステップＳ２１５）、この判別の結果、時間あり場合、パケット化処理部１０５及び１３９４Ｉ／Ｆ１０９を介して、ＮＵＬＬパケットを転送し（ステップＳ２１６）、時間なしとなった場合に、次のフレーム転送時間から次のＧＯＰの処理に移る。
【００８４】
以下、上述したような処理によるピクチャの転送の様子を、図３及び図４を用いて具体的に説明する。
【００８５】
まず、１つのＧＯＰが、Ｎ＝１５、Ｍ＝３の場合であり、上記図８（ａ）〜（ｅ）に示したようなＧＯＰ構成（原画像が、ピクチャＢ０からピクチャＰ１４の順で構成）であるものとする。また、ここでは、Ｉ，Ｐ，Ｂに続く数字は、連続したフレーム番号を示す。
この場合、ＧＯＰに含まれているＩピクチャ及びＰピクチャは、ピクチャＩ２、ピクチャＰ５、ピクチャＰ８、ピクチャＰ１１、及びピクチャＰ１４である。
【００８６】
そこで、Ｔ＞Ｉの場合で（上記図２のステップＳ２０７参照）、サーチ倍率が３倍である場合、図３に示されるようなＧＯＰの処理となる。
【００８７】
すなわち、上記図３に示すように、まず、ＧＯＰ内のＩピクチャ及びＰピクチャは、Ｉ２、Ｐ５、Ｐ８、Ｐ１１、及びＰ１４の５ピクチャある。また、ここでは、ＧＯＰは、１５フレームで構成されており、サーチ倍率が３倍であるため、１つのＧＯＰ内のピクチャは、５フレーム時間で転送できればよい。
【００８８】
ピクチャＩ２については、Ｔ＞Ｉ２であるため、ピクチャＩ２は、サーチ再生時の画像データとして転送可能である。ピクチャＰ５については、Ｔ＞Ｉ２＋Ｐ５であるため、ピクチャＰ５も転送可能である。ピクチャＰ８については、Ｔ＜Ｉ２＋Ｐ５＋Ｐ８であるため、ピクチャＰ８以降のＰ８、Ｐ１１、及びＰ１４の各ピクチャをＧＯＰのフレーム時間で転送するには、転送帯域が不足することになる。
【００８９】
したがって、この場合、ピクチＰ８、ピクチャＰ１１、及びピクチャＰ１４は破棄され、最初のＧＯＰのフレーム時間で、ピクチャＩ２及びピクチャＰ５が転送されることになる。
【００９０】
ピクチャＰ５の転送後、次のフレームの開始までは、ＮＵＬＬパケットが転送される。次のＧＯＰでも同様にして、ピクチャＩ１７及びピクチャＰ２０が転送され、さらに次のＧＯＰでもピクチャＩ３２及びピクチャＰ３５が転送されることになる。
【００９１】
上述のようなデータ転送により、３倍サーチ時に、転送帯域の範囲内で、できるだけ多くの画像データを転送することができる。
【００９２】
一方、Ｔ＜Ｉの場合で（上記図２のステップＳ２０７参照）、サーチ倍率が１５倍である場合、図４に示されるようなＧＯＰの処理となる。
【００９３】
すなわち、上記図３に示すように、まず、ＧＯＰ内のＩピクチャは、Ｉ２、Ｉ１７、Ｉ３２、Ｉ４７、Ｉ６２、Ｉ７７、Ｉ９２、Ｉ１０７、・・・・の順のピクチャある。また、ここでは、ＧＯＰは、１５フレームで構成されており、サーチ倍率が１５倍であるため、１つのＧＯＰ内のピクチャは、１フレーム時間で転送できればよい。
【００９４】
ピクチャＩ２については、Ｔ＜Ｉ２であるため、先ずピクチャＩ２が転送される。ＧＯＰのフレーム時間（ここでは１フレーム時間）となったとき、ピクチャＩ２は、まだ転送中の状態にあるため、ピクチャＩ２の転送が引き続き実施される。このとき、次のＧＯＰ内のＩピクチャにあたるピクチャＩ１７は破棄される。これと同様に続くピクチャＩ３２も破棄される。
【００９５】
ピクチャＩ２の転送終了後、次のＧＯＰのフレーム期間の開始までは、ＮＵＬＬパケットが転送される。その後、次のＧＯＰの処理に移り、ピクチャＩ４７、Ｉ９２、及びＩ１３７の転送が行われ、ピクチャＩ６２、Ｉ７７、Ｉ１０７、及びＩ１２２は破棄される。
【００９６】
上述のようなデータ転送により、１５倍サーチ時に、転送帯域の範囲内で、できるだけ多くの画像データを転送することができる。
【００９７】
尚、本発明の目的は、本実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が本実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、本実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって本実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって本実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００９８】
図５は、上記コンピュータの機能６００を示したものである。
コンピュータ機能６００は、上記図５に示すように、ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ６０３と、キーボード（ＫＢ）６０９のキーボードコントローラ（ＫＢＣ）６０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）６１０のＣＲＴコントローラ（ＣＲＴＣ）６０６と、ハードディスク（ＨＤ）６１１及びフレキシブルディスク（ＦＤ）６１２のディスクコントローラ（ＤＫＣ）６０７と、ネットワーク６２０との接続のためのネットワークインターフェースコントローラ（ＮＩＣ）６０８とが、システムバス６０４を介して互いに通信可能に接続された構成としている。
【００９９】
ＣＰＵ６０１は、ＲＯＭ６０２或いはＨＤ６１１に記憶されたソフトウェア、或いはＦＤ６１２より供給されるソフトウェアを実行することで、システムバス６０４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ６０１は、所定の処理シーケンスに従った処理プログラムを、ＲＯＭ６０２、或いはＨＤ６１１、或いはＦＤ６１２から読み出して実行することで、本実施の形態での動作を実現するための制御を行う。
【０１００】
ＲＡＭ６０３は、ＣＰＵ６０１の主メモリ或いはワークエリア等として機能する。
ＫＢＣ６０５は、ＫＢ６０９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ６０６は、ＣＲＴ６１０の表示を制御する。
ＤＫＣ６０７は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、ネットワーク管理プログラム、及び本実施の形態における所定の処理プログラム等を記憶するＨＤ６１１及びＦＤ６１２とのアクセスを制御する。
ＮＩＣ６０８は、ネットワーク６２０上の装置或いはシステムと双方向にデータをやりとりする。
【０１０１】
【発明の効果】
本発明によれば、サーチ再生のための画像データの転送をスムーズに行うことができる。
【図面の簡単な説明】
【図１】本発明を適用した画像通信装置の構成を示すブロック図である。
【図２】上記画像通信装置の動作を説明するためのフローチャートである。
【図３】上記画像通信装置におけるデータ転送（３倍速時のデータ転送）の一例を説明するための図である。
【図４】上記画像通信装置におけるデータ転送（１５倍速時のデータ転送）の一例を説明するための図である。
【図５】上記画像通信装置の機能をコンピュータに実現させるためのプログラムをコンピュータ読出可能な記憶媒体から読み出して実行する当該コンピュータの構成を示すブロック図である。
【図６】ＭＰＥＧ方式におけるＧＯＰ内のＩピクチャ、Ｐピクチャ、及びＢピクチャの関係を説明するための図である。
【図７】ＭＰＥＧストリーム（ＴＳ）の構成を説明するための図である。
【図８】ＧＯＰ内の各ピクチャの並びを説明するための図である。
【図９】ＭＰＥＧストリームによる画像データの転送を行なう従来のシステム構成の一例を説明するための図である。
【図１０】上記従来のシステム構成において、ＴＳパケットをＩＥＥＥ１３９４により転送する方法を説明するための図である。
【図１１】上記従来のシステム構成において、受信側でサーチ再生する場合のデータ転送の一例を説明するための図である。
【図１２】上記従来のシステム構成において、受信側でサーチ再生する場合のデータ転送の他の例を説明するための図である。
【図１３】上記データ転送におけるピクチャの状態を説明するための図である。
【図１４】上記従来のシステム構成において、サーチ再生速度が３倍速の場合のデータ転送において、ピクチャの状態を説明するための図である。
【図１５】上記従来のシステム構成において、サーチ再生速度が１５倍速の場合のデータ転送において、ピクチャの状態を説明するための図である。
【符号の説明】
１００画像通信装置
１０１記憶部
１０２再生処理部
１０３マルチプレクサ
１０４再構成処理部
１０５パケット化処理部
１０６符号量測定部
１０７コントローラ
１０８コマンド受信部
１０９１３９４Ｉ／Ｆ

Claims

Ｉピクチャ、ＰピクチャおよびＢピクチャを複数個集めて構成されたグループを複数個有する第１のビデオストリームを記憶媒体から再生する再生手段と、
前記第１のビデオストリームの再生が通常の再生速度よりも早い再生速度で再生される場合において、前記記憶媒体から再生された前記第１のビデオストリームを第２のビデオストリームに再構成する再構成手段と、
前記記憶媒体から再生された前記第１のビデオストリーム、前記第１のビデオストリームから再構成された前記第２のビデオストリームのいずれかを外部に転送する転送手段とを有し、
前記再構成手段は、
前記第１のビデオストリームの中から前記グループの１つを選択し、
選択したグループの中から前記第２のビデオストリームの再構成に必要なＩピクチャを選択し、
選択したＩピクチャの符号量が、前記第１のビデオストリームの再生速度に基づいて決定された基準値を下回った場合は、前記基準値を超えない範囲で、選択したＩピクチャと同じグループに含まれるＰピクチャを前記第２のビデオストリームの再構成に必要なＰピクチャとして選択し、
選択したＩピクチャの符号量が、前記基準値を下回らない場合は、選択したグループの次のグループに含まれるＩピクチャを前記第２のビデオストリームの再構成に必要なＩピクチャとして選択しないようにすることを特徴とする画像通信装置。
前記基準値を、前記第１のビデオストリームの再生速度だけでなく、前記転送手段の帯域幅、前記グループを構成するフレームの数に基づいて決定することを特徴とする請求項１に記載の画像通信装置。
前記第１のビデオストリームの再生速度を、前記転送手段が受信したコマンドにより決定することを特徴とする請求項１または２に記載の画像通信装置。
前記Ｉピクチャは、フレーム内符号化方式により符号化された１フレーム分の画像データであり、前記Ｐピクチャは、第１のフレーム間符号化方式により符号化された１フレーム分の画像データであり、前記Ｂピクチャは、第２のフレーム間符号化方式により符号化された１フレーム分の画像データであることを特徴とする請求項１から３のいずれか１項に記載の画像通信装置。
前記第１のフレーム間符号化方式は、前方予測を利用したフレーム間符号化方式であり、前記第２のフレーム間符号化方式は、双方向予測を利用したフレーム間符号化方式であることを特徴とする請求項４に記載の画像通信装置。
前記第１のビデオストリームは、ＭＰＥＧ方式に準拠したビデオストリームであること特徴とする請求項１から５のいずれか１項に記載の画像通信装置。
前記グループは、ＭＰＥＧ方式で規定されたＧＯＰであることを特徴とする請求項１から６のいずれか 1 項に記載の画像通信装置。