JP3852838B2 - 動画像送受信システム、動画像送信装置、及び動画像受信装置 - Google Patents
動画像送受信システム、動画像送信装置、及び動画像受信装置 Download PDFInfo
- Publication number
- JP3852838B2 JP3852838B2 JP2002182921A JP2002182921A JP3852838B2 JP 3852838 B2 JP3852838 B2 JP 3852838B2 JP 2002182921 A JP2002182921 A JP 2002182921A JP 2002182921 A JP2002182921 A JP 2002182921A JP 3852838 B2 JP3852838 B2 JP 3852838B2
- Authority
- JP
- Japan
- Prior art keywords
- refresh
- image
- moving image
- information
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像を送信する動画像送信装置、動画像を受信する動画像受信装置、及び、動画像送信装置と動画像受信装置とを有する動画像送受信システムに関する。
【０００２】
【従来の技術】
近年、送信装置が動画像を圧縮符号化して符号化データを送信し、受信装置が送信装置からの符号化データを復号化して動画像を復元するという技術を利用したテレビ会議システムが実現されている。動画像の圧縮符号化には、ＭＰＥＧ（Moving Picture coding Experts Group）というグループの考案したＭＰＥＧ２（MPEG Phase2）という圧縮符号化方法が使用されている。
【０００３】
ＭＰＥＧ２による動画像圧縮では、動画像を構成する各フレーム又は各フィールドを、マクロブロックと呼ばれる１６画素×１６画素の矩形ブロック複数個に分割し、マクロブロック単位で圧縮符号化を行なう。その際、圧縮を行なおうとする画像の各マクロブロックについて、時間的、空間的に前後する画像の中から相関するマクロブロックを抽出し、その抽出したマクロブロックに対する空間的な距離と方位を表す動きベクトルと、上記抽出したマクロブロックとの間の差分とを算出する。そして、算出した動きベクトルと差分の情報に対して、ＤＣＴや、量子化や、可変長符号化を行なってビットストリームに圧縮する。
【０００４】
上記のマクロブロックの抽出方法の違いにより、各フレーム又は各フィールドは、フレーム内予測符号化されるＩｎｔｒａ符号化画像（Ｉピクチャ）と、フレーム間順方向予測符号化されるＰｒｅｄｉｃｔｉｖｅ符号化画像（Ｐピクチャ）と、双方向予測符号化されるＢｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ符号化画像（Ｂピクチャ）の、３つのタイプのいずれかに分別される。
【０００５】
ところで、上記の双方向予測符号化によって時間的に前後するフレーム間で予測符号化を行なうことは復元画像の高画質化へのアドバンテージとなるが、符号化時に画像を符号化する順序を入れ替える（リオーダリングする）必要があり、符号化から復号化の間の遅延時間が長くなる。そこで、符号化から復号化の間の遅延時間を短くするために、上記双方向予測符号化を行なう必要があるＢピクチャを使用せず、ＩピクチャとＰピクチャのみで動画像を構成するように符号化する低遅延モードが用いられる。
【０００６】
しかしながら、Ｉピクチャはフレーム内で予測符号化される画像（ピクチャ）であるので、Ｉピクチャの符号化データの量はＰピクチャの符号化データの量に比べて著しく多くなる。テレビ会議システムなど、リアルタイムに動画像を伝送する場合、情報転送速度は予め決められた一定速度であるので、動画像を構成する各フレーム又は各フィールドの符号化データの量の変動を抑え一定にする必要がある。
【０００７】
そこで、各フレーム又は各フィールドの符号化データの量を均一化するために、ＢピクチャのみならずＩピクチャをも用いずに、イントラスライスを用いる方法が採用されている。そのイントラスライスとは、全体としてはＰピクチャである画像（ピクチャ）上の一部に設けられる帯状の画像を構成する各マクロブロックがフレーム内予測符号化されているスライスのことである。
【０００８】
そのイントラスライスを用いる符号化方法では、上述したように、ＢピクチャのみならずＩピクチャをも用いずに、イントラスライスを含むＰピクチャのみで、又はイントラスライスを含むＰピクチャとイントラスライスを含まないＰピクチャとで動画像を構成するように、その動画像を符号化する。
【０００９】
このイントラスライスを含むＰピクチャを、図１を用いてさらに説明する。図１（ａ）及び（ｂ）は、イントラスライスを含むＰピクチャ（図１の場合のイントラスライスを含む各Ｐピクチャはフレーム構造であるとする。）のみで動画像を構成した場合の、連続する複数の画像の一部を示している。なお、図１において、各画像上の帯状に黒く塗りつぶされている部分は、イントラスライスに基づく帯状の画像である。また、図１中の各画像の上方の数字は、画像の順序を示している。
【００１０】
この図１に示すように、イントラスライスを含むＰピクチャのみで動画像を構成する場合、連続する各画像上のイントラスライスの位置は、時間の経過とともに画像上の下方に少しづつ順次ずれる。そして、図１に示すように、イントラスライスが画像上の最下部に位置すると、その次の画像ではイントラスライスは画像上の最上部に位置する。このように、画像上のイントラスライスの位置は周期的に移動する。この画像上のイントラスライスが設けられる場所が移動する周期を、リフレッシュ周期という。例えば、図１（ａ）の場合ではリフレッシュ周期は４フレーム分の期間となり、図１（ｂ）の場合ではリフレッシュ周期は６フレーム分の期間となる。
【００１１】
なお、イントラスライスが設けられている場所の次の画像の同じ場所の符号化データは、フレーム内予測符号化ではなく、フレーム間順方向予測符号化されたデータであるが、直前のイントラスライスを用いることにより、画像を復元することが可能となっている。したがって、１リフレッシュ周期分の符号化データが揃えば、それ以降の画像の復号は可能となる。
【００１２】
このように、イントラスライスを含むＰピクチャのみで動画像を構成することにより、１ピクチャ毎の符号化データの量を均一化できるとともに、Ｉピクチャを使用しなくても、ストリームの途中から復号が可能になる。同様に、イントラスライスを含むＰピクチャとイントラスライスを含まないＰピクチャとで、動画像を構成しても、１ピクチャ毎の符号化データの量を、Ｉピクチャを使用する場合に比べて均一化できるとともに、１リフレッシュ周期分の符号化データが揃えば、ストリームの途中から復号が可能になる。
【００１３】
以下に、動画像送信装置が動画像をイントラスライスを含むＰピクチャのみで構成するようにその動画像を符号化して符号化データを送信し、動画像受信装置が動画像送信装置からの符号化データを受信して復号化する場合の、従来の動画像送受信システムを、図２〜図６を用いて説明する。なお、以下の説明においても、説明の便宜上、イントラスライスを含む各Ｐピクチャはフレーム構造であるとする。
【００１４】
図２は、従来の動画像送受信システムの全体の一構成例を示した図である。図２に示すように、従来の動画像送受信システムは、例えば、動画像送信装置２１と、動画像送信装置２２と、動画像受信装置５とで構成される。
【００１５】
動画像送信装置２１は、カメラ５１で撮影された入力動画像１１を符号化してストリーム３１を出力する装置であって、動画像送信装置２２は、動画像送信装置２１と同様に、カメラ５２で撮影された入力動画像１２を符号化してストリーム３２を出力する装置である。動画像受信装置５は、動画像送信装置２１からのストリーム３１と、動画像送信装置２２からのストリーム３２とを受信し、チャンネル切替え指示７によりストリーム３１とストリーム３２とのうちのいずれかを選択して復号化を行ない、モニタ８へ出力画像６を出力する装置である。なお、以下では、ストリーム３１をＣＨ１（チャンネル１）のストリーム３１と表記し、ストリーム３２をＣＨ２（チャンネル２）のストリーム３２と表記する。
【００１６】
また、動画像送受信システムは、カメラと動画像送信装置との組を複数設置した遠隔監視システムが最も典型的な例である。図２では説明を簡単にするため、カメラと動画像送信装置との組を２つしか記載していないが、３組以上であっても構わない。
【００１７】
図３は、上記従来の動画像送受信システムを構成する動画像送信装置２１のブロック図である。符号化部２０１は、カメラ５１からの入力動画像１１を、図１（ａ）に示すような、イントラスライスを含むＰピクチャのみで構成されるように圧縮符号化し、ＣＨ１のストリーム３１を出力する。そして、リフレッシュ制御部２０２は、上記動画像受信装置５からのリフレッシュ周期の短縮を要求するリフレッシュ指示４１を受信した場合、上記リフレッシュ周期を短縮させるように、符号化部２０１が行なう符号化を制御する。なお、動画像送信装置２２についても、動画像送信装置２１と同様な構成である。
【００１８】
図４は、上記従来の動画像送受信システムを構成する動画像受信装置５のブロック図である。スイッチ３０４は、ユーザからのチャンネル切替え指示７に基づいて、ＣＨ１のストリーム３１とＣＨ２のストリーム３２とのうちの一方を選択し、復号化部３０１は、スイッチ３０４により選択されたストリームを復号化する。スイッチ３０５は、上記チャンネル切替え指示７に基づいて、復号化部３０１により復号化されたストリームの蓄積先として、フレームメモリ３０２又はフレームメモリ３０３を選択する。そして、表示制御部３０７は、上記チャンネル切替え指示７に基づいてスイッチ３０６を切り替えることにより、フレームメモリ３０２又はフレームメモリ３０３を選択し、選択した方のフレームメモリに蓄積されている画像を出力画像６としてモニタ８へ出力させ、モニタ８により出力画像６を表示させる。
【００１９】
ここで、例えば、スイッチ３０４によりＣＨ１のストリーム３１が選択されている状態で、そのＣＨ１のストリーム３１が復号化されて出力画像６としてモニタ８へ出力されているときに、ユーザがＣＨ２のストリーム３２の方が選択されるようにチャンネル切替え指示７を行なった場合を想定する。
【００２０】
その場合、そのチャンネル切替え指示７に基づいて、スイッチ３０４によりＣＨ２のストリーム３２が選択される。しかしながら、上述したように、ＣＨ２のストリーム３２は、カメラ５２からの入力動画像１２がイントラスライスを含むＰピクチャのみで構成されるように符号化された符号化データであるので、１リフレッシュ周期分の符号化データが揃わないと、それ以降の符号化データを復号して画像を再生することはできない。そのため、１リフレッシュ周期分の符号化データが復号化部３０１において復号されるまで、表示制御部３０７は、ＣＨ２のストリーム３２に基づく出力画像６をモニタ８へ出力させることができない。なお、その間は、フレームメモリ３０２に蓄積されている画像が出力画像６としてモニタ８へ出力される。つまり、チャンネル切替え指示７がなされる直前のＣＨ１のストリーム３１に基づく画像がモニタ８へ出力される。
【００２１】
そこで、特開平１０−３０４３８２号に記載されているように、チャンネル切替え指示７により選択されたストリームに基づく出力画像６をできるだけ早くモニタ８へ出力させるために、従来は、図４に示すように、後述する機能を有するリフレッシュ指示部３０８が動画像受信装置５内に設けられていた。そのリフレッシュ指示部３０８は、チャンネル切替え指示７により選択されたストリームのリフレッシュ周期を短縮させるリフレッシュ指示を行なう手段である。すなわち、リフレッシュ指示部３０８は、ＣＨ１のストリーム３１とＣＨ２のストリーム３２のうちの一方に基づく出力画像６がモニタ８へ出力されている場合に、ユーザがＣＨ１のストリーム３１とＣＨ２のストリーム３２のうちの他方に基づく出力画像６をモニタ８へ出力させる旨のチャンネル切替え指示７を行なったとき（図５のステップ５０１）、上記他方のストリームのリフレッシュ周期の短縮を要求するリフレッシュ指示を、上記他方のストリームに対応する動画像送信装置に送信する（図５のステップ５０２）。
【００２２】
例えば、上記のように、ＣＨ１のストリーム３１に基づく出力画像６がモニタ８へ出力されているときに、ユーザがＣＨ２のストリーム３２に基づく出力画像６がモニタ８へ出力されるようにチャンネル切替え指示７を行なったとする。その場合、リフレッシュ指示部３０８は、ＣＨ２のストリーム３２のリフレッシュ周期の短縮を要求するリフレッシュ指示４２を、ＣＨ２のストリーム３２に対応する動画像送信装置２２に送信する。
【００２３】
そうすると、動画像送信装置２２では、リフレッシュ制御部２０２が、リフレッシュ指示４２に基づいて、図６（ｂ）に示すように、例えば、リフレッシュ周期を６フレーム分の期間から３フレーム分の期間に短縮するように、符号化部２０１が行なう符号化を制御する。なお、図６（ｂ）に示すように、例えば、チャンネル切替え指示７が行なわれて１フレーム分の期間経過後にリフレッシュ指示４２が動画像送信装置２２に送信され、そのリフレッシュ指示４２に基づいて、そのリフレッシュ指示４２が受信された直後の画像から１リフレッシュ周期分だけ、リフレッシュ周期が短縮される。
【００２４】
この規則に基づいて、図６に記載のチャンネル切替え指示７の二つ前の画像が表示されている時に（（ｎ−２）の時に）、チャンネル切替え指示７が行なわれた場合を想定する。その場合、そのチャンネル切替え指示７が行なわれた時から１フレーム分の期間経過後の、図６に記載のチャンネル切替え指示７の一つ前の画像が表示されている時に（（ｎ−１）の時に）、リフレッシュ指示４２が動画像送信装置２２に送信される。そして、そのリフレッシュ指示４２に基づいて、図６に記載のチャンネル切替え指示７の直後の画像が送信される時から（ｎの時から）、１リフレッシュ周期分だけ、リフレッシュ周期が短縮される。
【００２５】
このように、従来は、チャンネル切替え指示７により選択されるストリームのリフレッシュ周期を短縮させていた。
【００２６】
【発明が解決しようとする課題】
上述したように、従来は、例えば、チャンネル切替え指示７が行なわれて１フレーム分の期間経過後にリフレッシュ指示４２が動画像送信装置２２に送信され、そのリフレッシュ指示４２に基づいて、そのリフレッシュ指示４２が受信された直後の画像（ピクチャ）から１リフレッシュ周期分だけ、リフレッシュ周期が短縮される。しかしながら、それは一例であって、例えば、上記リフレッシュ指示４２が受信された後の２フレーム後の画像（ピクチャ）からリフレッシュ周期が短縮される場合もあり、従来は、リフレッシュ周期の短縮の開始時は決められていなかった。
【００２７】
また、上述した例では、リフレッシュ周期は６フレーム分の期間から３フレーム分の期間に短縮されるとしたが、それも一例であって、従来は、リフレッシュ周期の短縮の程度は一律に決められていなかった。
【００２８】
このように、従来は、動画像送信装置２２がリフレッシュ周期をいつ短縮するのかが不明であり、短縮後の最初のリフレッシュ周期の終了時も不明であった。そのため、動画像受信装置５では、短縮後のリフレッシュ周期の終了時を知ることができないので、リフレッシュ指示部３０８は、リフレッシュ指示４２を動画像送信装置２２に送信する際に、表示制御部３０７に対して、リフレッシュ周期の短縮が終了するのに十分な所定の時間ｔ0（図６参照）をカウントできる所定の値を設定し（図５のステップ５０３）、その値までカウントをさせていた（図５のステップ５０４）。そして、表示制御部３０７は、その値までのカウントの終了を待って（図５のステップ５０５）、つまり予め決められた上記所定の時間ｔ0を待って、チャンネル切替え指示７により選択されたストリームに基づく画像（ピクチャ）をモニタ８へ出力し表示させるようにしていた（図５のステップ５０６）。
【００２９】
例えば、図６（ｄ）に示すように、ＣＨ１のストリーム３１に基づく出力画像６がモニタ８へ出力されているときに、ユーザがＣＨ２のストリーム３２に基づく出力画像６がモニタ８へ出力されるようにチャンネル切替え指示７を行なったとする。その場合、図６（ｄ）に示すように、ＣＨ２のストリーム３２のリフレッシュ周期の短縮が終了するのに十分な所定の時間ｔ0を待って、ＣＨ２のストリーム３２に基づく画像がモニタ８へ出力されモニタ８により表示されるようになっていた。つまり、上記チャンネル切替え指示７が行なわれた後８番目の画像（ピクチャ）をモニタ８へ出力する時から（（ｎ＋８）の時から）、ＣＨ２のストリーム３２に基づく画像がモニタ８へ出力されモニタ８により表示されるようになっていた。なお、上記チャンネル切替え指示７が行なわれた後７番目の画像をモニタ８へ出力する時までは（（ｎ＋７）の時までは）、上記チャンネル切替え指示７が行なわれた直後にモニタ８へ出力された画像が表示され続けることになる。
【００３０】
ところで、図６（ｃ）に示すように、上記チャンネル切替え指示７が行なわれた後４番目に復号する画像（ピクチャ）から（（ｎ＋４）の時に復号する画像から）、ＣＨ２のストリーム３２に基づく画像全体の復号ができる状態となる。つまり、上記チャンネル切替え指示７が行なわれた後５番目の画像をモニタ８へ出力する時から（（ｎ＋５）の時から）、ＣＨ２のストリーム３２に基づく画像をモニタ８へ出力しモニタ８により表示させることが可能となる。
【００３１】
しかしながら、上述したように、リフレッシュ周期がいつ短縮されるのかが不明であり、また、短縮後の最初のリフレッシュ周期の終了時も不明であった。そのため、従来は、変更後の最初のリフレッシュ周期の終了時を知ることができず、表示制御部３０７は、チャンネル切替え指示７により選択されたＣＨ２のストリーム３２に基づく画像（ピクチャ）のモニタ８への出力の開始を、そのチャンネル切替え指示７に基づく変更後のＣＨ２のストリーム３２のリフレッシュ周期の短縮が終了した後さらに余分な時間経過するまで待たなければならない、という課題があった。
【００３２】
また、図７に示すように、ＣＨ２のストリーム３２に基づく出力画像６がモニタ８へ出力されている場合に、ユーザがＣＨ１のストリーム３１に基づく出力画像６がモニタ８へ出力されるようにチャンネル切替え指示７を行なったときも、上記課題と同様の課題が生じる。すなわち、図７（ｄ）に示すように、表示制御部３０７は、ＣＨ１のストリーム３１に基づく出力画像６のモニタ８への出力の開始を、上記チャンネル切替え指示７に基づく変更後のＣＨ１のストリーム３１のリフレッシュ周期の短縮が終了した後さらに余分な時間経過するまで待たなければならなかった、ということである。
【００３３】
また、図８に示すような、上記動画像送信装置２１と、上記動画像受信装置５と同様な動画像受信装置５０とで構成される動画像送受信システムにおいても、上述した課題と同じ課題が存在する。その課題は、動画像送信装置２１がＣＨ１のストリーム３１を送信している状態で、動画像受信装置５０がそのＣＨ１のストリーム３１を受信していない場合、ユーザからの新規接続指示９に基づいて、動画像受信装置５０が、上記ＣＨ１のストリーム３１の受信を開始したときに生じる。
【００３４】
つまり、動画像受信装置５０は、ユーザから新規接続指示９を受けるときまでは、動画像送信装置２１からのＣＨ１のストリーム３１を受信していなかったので、ＣＨ１のストリーム３１をすぐに復号することはできない。なぜなら、ＣＨ１のストリーム３１は、イントラスライスを含むＰピクチャのみで入力動画像１１が構成されるように、その入力動画像１１が符号化された符号化データであるからである。したがって、なるべく早くＣＨ１のストリーム３１を復号できるようにするために、図８及び図９に示すように、動画像受信装置５０は、ユーザから新規接続指示９を受けると、直ちに、ＣＨ１のストリーム３１のリフレッシュ周期の短縮を要求するリフレッシュ指示４１を、動画像送信装置２１に送信する。
【００３５】
動画像送信装置２１は、そのリフレッシュ指示４１に基づいて、例えば、図９（ａ）に示すように、リフレッシュ周期を４フレーム分の期間から２フレーム分の期間に短縮して、入力動画像１１を符号化して符号化データを送信する。
【００３６】
しかしながら、従来は、動画像送信装置２１がリフレッシュ周期をいつ短縮するのかが不明であったため、動画像受信装置５０は、リフレッシュ周期の短縮が終了するのに十分な予め設定されている時間（図９（ｃ）の所定の時間ｔ0）を待つ必要があった。つまり、図９（ｂ）に示すように、上記新規接続指示９が行なわれた後３番目に復号する画像から（（ｎ＋３）の時に復号する画像から）、ＣＨ１のストリーム３１に基づく画像全体の復号ができる状態となり、上記新規接続指示９が行なわれた後４番目の画像をモニタ８へ出力できる時から（（ｎ＋４）の時から）、ＣＨ１のストリーム３１に基づく画像をモニタ８へ出力しモニタ８により表示させることが可能となるのにもかかわらず、動画像受信装置５０は、モニタ８へ画像を出力しその画像をモニタ８により表示させるのを、上記新規接続指示９が行なわれた後８番目の画像をモニタ８へ出力する時まで（（ｎ＋８）の時まで）待たなければならなかった。
【００３７】
つまり、従来は、動画像受信装置５，５０がリフレッシュ指示を出し、そのリフレッシュ指示に基づいて動画像送信装置２１，２２がリフレッシュ周期を短縮してストリームを送信しても、短縮後の最初のリフレッシュ周期の終了時が不明であったので、動画像受信装置５，５０は、リフレッシュ周期が短縮された後のストリームを復号しモニタ８へ画像を出力できる状態になっても、さらに余分な時間を待って画像を出力しなければならなかった。この課題は、画像（ピクチャ）がフィールド構造である場合にも生じている。
【００３８】
そこで、本発明は、上述した従来の課題を考慮し、外部からのリフレッシュ指示に基づいてリフレッシュ周期を短縮して符号化データを生成するとともに、短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報を上記符号化データとともに送信する動画像送信装置を提供することを目的とする。
【００３９】
また、本発明は、リフレッシュ周期を短縮して符号化データを送信する動画像送信装置からの、上記符号化データとともに送信されてくる短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報に基づいて、短縮後の最初のリフレッシュ周期の後尾画像から外部の表示装置に画像表示させることができる動画像受信装置を提供することを目的とする。
【００４０】
さらに、本発明は、上記の短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報を符号化データとともに送信する動画像送信装置と、その動画像送信装置からの、上記符号化データとともに送信されてくる短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報に基づいて、短縮後の最初のリフレッシュ周期の後尾画像から外部の表示装置に画像表示させることができる動画像受信装置とを有する動画像送受信システムを提供することを目的とする。
【００４１】
【発明を解決するための手段】
この課題を解決するために、本発明の動画像送受信システムは、画像上のイントラスライスが設けられる場所が連続する画像毎に順次ずらされたフレーム間順方向予測符号化画像を少なくとも一部に含む動画像を送信する動画像送信装置と、上記動画像送信装置からの上記動画像を受信する動画像受信装置とを有することを前提とする。
【００４２】
そして、上記動画像送信装置には、上記動画像受信装置からのリフレッシュ指示に基づいて、上記イントラスライスが設けられる場所が移動するリフレッシュ周期が短くなるように、フレーム間順方向予測符号化画像の生成を制御するリフレッシュ制御部と、上記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の後尾画像を特定することができるリフレッシュ情報を生成するリフレッシュ情報生成部と、上記リフレッシュ情報を上記動画像に多重する多重部とが備えられる。
【００４３】
他方、上記動画像受信装置には、所定の指示に基づいて、上記動画像送信装置に対して、上記イントラスライスが設けられる場所が移動するリフレッシュ周期を短くさせるための上記リフレッシュ指示を行なうリフレッシュ指示部と、上記動画像送信装置から得られた上記リフレッシュ情報に基づいて、上記後尾画像以降のいずれかの画像から、上記動画像を所定の表示装置に表示させる表示制御部とが設けられる。
【００４４】
このような動画像送受信システムによれば、動画像受信装置は、リフレッシュ周期が短縮された後のストリームを復号し所定の表示装置に画像を出力できる状態になると、余分な時間を待たずに直ちに画像を出力し表示させることが可能となる。
【００４５】
また、本発明の動画像送信装置は、画像上のイントラスライスが設けられる場所が連続する画像毎に順次ずらされたフレーム間順方向予測符号化画像を少なくとも一部に含む動画像を送信することを前提とする。
【００４６】
そして、本発明の動画像送信装置は、外部からのリフレッシュ指示に基づいて、上記イントラスライスが設けられる場所が移動するリフレッシュ周期が短くなるように、フレーム間順方向予測符号化画像の生成を制御するリフレッシュ制御部と、上記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の後尾画像を特定することができるリフレッシュ情報を生成するリフレッシュ情報生成部と、上記リフレッシュ情報を上記動画像に多重する多重部とを備えたことを特徴とする。
【００４７】
このような動画像送信装置を用いれば、動画像受信装置がリフレッシュ周期が短縮された後のストリームを復号し所定の表示装置に画像を出力できる状態になると、その動画像受信装置に余分な時間を待たさずに直ちに画像を出力させ表示させることが可能となる。
【００４８】
さらに、本発明の動画像受信装置は、所定の動画像送信装置からの、画像上のイントラスライスが設けられる場所が連続する画像毎に順次ずらされたフレーム間順方向予測符号化画像を少なくとも一部に含む動画像を受信することを前提とする。
【００４９】
そして、本発明の動画像受信装置は、所定の指示に基づいて、上記動画像送信装置に対して、上記イントラスライスが設けられる場所が移動するリフレッシュ周期を短くさせるためのリフレッシュ指示を行なうリフレッシュ指示部と、上記動画像送信装置から得られた、上記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の後尾画像を特定することができるリフレッシュ情報に基づいて、上記後尾画像以降のいずれかの画像から、上記動画像を所定の表示装置に表示させる表示制御部とを備えたことを特徴とする。
【００５０】
このような動画像受信装置は、リフレッシュ周期が短縮された後のストリームを復号し所定の表示装置に画像を出力できる状態になると、余分な時間を待たずに直ちに画像を出力し表示させることが可能となる。
【００５１】
【発明の実施の形態】
以下に、本発明の実施の形態を図面を参照して説明する。
【００５２】
（実施の形態１）
まず、本発明の実施の形態１の動画像送受信システムの構成を図１０に示す。図１０に示すように、本実施の形態１の動画像送受信システムは、図２に示す従来の動画像送受信システムと同様に、動画像送信装置６１と、動画像送信装置６２と、動画像受信装置７０とで構成される。
【００５３】
動画像送信装置６１は、カメラ５１で撮影された入力動画像１１を符号化して、図１（ａ）に示す各画像を構成するＣＨ１のストリーム３１を出力する装置であって、動画像送信装置６２は、カメラ５２で撮影された入力動画像１２を符号化して、図１（ｂ）に示す各画像を構成するＣＨ２のストリーム３２を出力する装置である。動画像受信装置７０は、動画像送信装置６１からのＣＨ１のストリーム３１と、動画像送信装置６２からのＣＨ２のストリーム３２とを受信し、チャンネル切替え指示７によりＣＨ１のストリーム３１とＣＨ２のストリーム３２とのうちのいずれかを選択して復号し、モニタ８へ出力画像６を出力する装置である。
【００５４】
図１１に、本実施の形態１の動画像送受信システムを構成する動画像送信装置６１の構成を示す。動画像送信装置６１では、従来の動画像送信装置２１の場合と同様に、符号化部２０１が、カメラ５１からの入力動画像１１を、図１（ａ）に示すような、イントラスライスを含むＰピクチャのみで構成されるように圧縮符号化し、ＣＨ１のストリーム３１を生成する。なお、説明の便宜上、本実施の形態においては、イントラスライスを含む各Ｐピクチャはフレーム構造であるとする。
【００５５】
そして、上記動画像受信装置７０によりリフレッシュ周期の短縮を要求するリフレッシュ指示４１がなされた場合、リフレッシュ制御部２０３は、ＣＨ１のストリーム３１のリフレッシュ周期を、例えば４フレーム分の期間から２フレーム分の期間に短縮させるように、符号化部２０１が行なう符号化を制御する。その際、リフレッシュ制御部２０３は、リフレッシュ周期が短縮される画像（ピクチャ）については、イントラスライスの幅が広くなるように、符号化部２０１が行なう符号化を制御する。また、リフレッシュ制御部２０３は、短縮後の最初のリフレッシュ周期の後尾画像（短縮後の最初のリフレッシュ周期の終了時）を特定するリフレッシュ情報を生成させるように、リフレッシュ情報生成部２０４を制御する。
【００５６】
そのリフレッシュ制御部２０３の制御に基づいて、リフレッシュ情報生成部２０４はリフレッシュ情報を生成し、多重部２０５は、リフレッシュ情報生成部２０４により生成されたリフレッシュ情報を、符号化部２０１により符号化されたＣＨ１のストリーム３１に多重化して、リフレッシュ情報が多重化されたＣＨ１のストリーム３１を、外部（動画像受信装置７０）へ出力する。
【００５７】
動画像送信装置６２の構成は、動画像送信装置６１の構成と同様である。ただし、動画像送信装置６２では、図１（ｂ）に示すような、イントラスライスを含むＰピクチャのみで構成されるように圧縮符号化されたＣＨ２のストリーム３２が生成され、動画像受信装置７０によりリフレッシュ指示４２がなされた場合、ＣＨ２のストリーム３２のリフレッシュ周期は、例えば６フレーム分の期間から３フレーム分の期間に短縮される。
【００５８】
図１２に、本実施の形態１の動画像送受信システムを構成する動画像受信装置７０の構成を示す。動画像受信装置７０では、従来の動画像受信装置５の場合と同様に、スイッチ３０４が、ユーザからのチャンネル切替え指示７に基づいて、ＣＨ１のストリーム３１とＣＨ２のストリーム３２とのうちの一方を選択し、復号化部３０１は、スイッチ３０４により選択されたストリームを復号する。
【００５９】
スイッチ３０５は、上記チャンネル切替え指示７に基づいて、復号化部３０１により復号されたストリームの蓄積先として、フレームメモリ３０２又はフレームメモリ３０３を選択する。
【００６０】
そして、表示制御部３０９は、上記チャンネル切替え指示７に基づいてスイッチ３０６を切り替えることにより、フレームメモリ３０２又はフレームメモリ３０３を選択し、選択した方のフレームメモリに蓄積されている画像（ピクチャ）を出力画像６としてモニタ８へ出力させ、モニタ８により出力画像６を表示させる。
【００６１】
なお、フレームメモリ３０２及びフレームメモリ３０３は、復号化部３０１により現在復号化されているストリームに基づく画像データを蓄積する。そして、上記チャンネル切替え指示７がなされた場合、そのチャンネル切替え指示７がされるまでに使用されていた方と別のフレームメモリに、そのチャンネル切替え指示７により新たに選択された方のストリームに基づく画像データは蓄積される。
【００６２】
ここで、例えば、図１３（ｄ）に示すように、スイッチ３０４によりＣＨ１のストリーム３１が選択されていて、そのＣＨ１のストリーム３１が復号されて出力画像６としてモニタ８へ出力され表示されているときに、ユーザがＣＨ２のストリーム３２の方が選択されるようにチャンネル切替え指示７を行なったとする（図１４のステップ６０１）。
【００６３】
その場合、そのチャンネル切替え指示７に基づいて、スイッチ３０４によりＣＨ２のストリーム３２が選択されるとともに、リフレッシュ指示部３０８は、ＣＨ２のストリーム３２のリフレッシュ周期の短縮を要求するリフレッシュ指示４２を、ＣＨ２のストリーム３２に対応する動画像送信装置６２に送信する（図１４のステップ６０２）。
【００６４】
動画像送信装置６２では、リフレッシュ制御部２０３が、動画像受信装置７０からの上記リフレッシュ指示４２に基づいて、図１３（ｂ）に示すように、ＣＨ２のストリーム３２のリフレッシュ周期を、例えば６フレーム分の期間から３フレーム分の期間に短縮させるように、符号化部２０１が行なう符号化を制御する。また、リフレッシュ制御部２０３は、短縮後の最初のリフレッシュ周期の後尾画像を特定するリフレッシュ情報を生成させるように、リフレッシュ情報生成部２０４を制御する。
【００６５】
リフレッシュ情報生成部２０４は、リフレッシュ制御部２０３による制御に基づいて、短縮後の最初のリフレッシュ周期が始まる画像の識別子と、短縮後のリフレッシュ周期（例えば３フレーム分の期間）を特定する値とで構成されるリフレッシュ情報を生成する。それら短縮後の最初のリフレッシュ周期が始まる画像の識別子と短縮後のリフレッシュ周期の値とにより、図１３（ｃ）に示すチャンネル切替え指示７が行なわれた後、４番目に復号される画像（（ｎ＋４）の時に復号される画像）が短縮後の最初のリフレッシュ周期の後尾画像であると特定できる。
【００６６】
そして、多重部２０５は、リフレッシュ情報生成部２０４により生成されたリフレッシュ情報を、符号化部２０１により符号化されたＣＨ２のストリーム３２に多重化して、リフレッシュ情報が多重化されたＣＨ２のストリーム３２を、動画像受信装置７０へ送信する。
【００６７】
ここで、上記リフレッシュ情報がＣＨ２のストリーム３２の中のどの位置に多重化されるのかについて、図１５を用いて説明する。図１５は、ＣＨ２のストリーム３２のデータ構成を示す図であって、図１５に示すように、ＣＨ２のストリーム３２のデータは階層構造になっている。そして、図１５に示すように、本実施の形態１では、リフレッシュ情報は、上記階層構造において、短縮後の最初のリフレッシュ周期の先頭ピクチャのユーザデータ（User Data）領域に格納されて、ＣＨ２のストリーム３２に多重化される。なお、ここでは、ＣＨ２のストリーム３２の構成及び、そのＣＨ２のストリーム３２へのリフレッシュ情報の多重のされ方を説明したが、ＣＨ１のストリーム３１の構成も上述したＣＨ２のストリーム３２の構成と同様であって、リフレッシュ情報のＣＨ１のストリーム３１への多重のされ方も、リフレッシュ情報のがＣＨ２のストリーム３２への多重のされ方と同様である。
【００６８】
ユーザデータ領域は、３２ｂｉｔのユーザデータスタートコードで始まり、次のスタートコードが開始するまで８ｂｉｔ毎にユーザが自由にデータを格納することができる領域である。ユーザデータ領域は様々な目的で使用されるので、リフレッシュ情報が格納されていることを判別するための識別子を付加する。その識別子の長さは例えば１６ｂｉｔである。よってこの場合、３２ｂｉｔのユーザデータスタートコードと、１６ｂｉｔのリフレッシュ情報識別子と、８ｂｉｔのリフレッシュ周期の値とで構成される５６ｂｉｔのリフレッシュ情報が、ＣＨ２のストリーム３２に多重化される。
【００６９】
さて、動画像送信装置６２の多重部２０５が、リフレッシュ情報を多重化してリフレッシュ周期が短縮されたＣＨ２のストリーム３２を送信すると、そのＣＨ２のストリーム３２は、動画像受信装置７０により受信される。
【００７０】
動画像受信装置７０では、リフレッシュ情報抽出部３１０が、ＣＨ２のストリーム３２を解析し、解析中にユーザデータ領域を検出すると（図１４のステップ６０３）、ユーザデータ領域からリフレッシュ情報を取り出し（図１４のステップ６０４）、短縮後の最初のリフレッシュ周期の先頭ピクチャ（短縮後の最初のリフレッシュ周期の先頭画像）の情報と、短縮後のリフレッシュ周期の値とを取得する。そして、リフレッシュ情報抽出部３１０は、取得したリフレッシュ周期の値を、表示制御部３０９内のカウンタにセットし（図１４のステップ６０５）、表示制御部３０９内のカウンタは、復号化部３０１がピクチャ単位で行なう復号化処理と同期してカウントを行なう（図１４のステップ６０６）。つまり、上記カウンタは、時間ではなく、ピクチャ単位（画像単位）でカウントのタイミングを取る。表示制御部３０９は、上記カウンタによるカウントが終了したら（図１４のステップ６０７）、スイッチ３０６により出力画像６の取出し先をフレームメモリ３０２からフレームメモリ３０３に切り替える（図１４のステップ６０８）。
【００７１】
このような出力画像６の取出し先の切替えにより、図１３（ｄ）に示すように、図１３（ｃ）に示す（ｎ＋４）の時にリフレッシュが終了し、その（ｎ＋４）の時に復号される画像（チャンネル切替え指示７が行なわれた後、４番目に復号される画像）以降のＣＨ２のストリーム３２に基づく出力画像６が、（ｎ＋５）の時からモニタ８へ出力されそのモニタ８により表示される。
【００７２】
なお、図１３（ｄ）に示すように、チャンネル切替え指示７が出されたときから（ｎ＋４）の時までは、ＣＨ２のストリーム３２の画像全体を復号した画像を出力することはできないので、チャンネル切替え指示７が出されたときにモニタ８に表示された画像が表示され続ける。
【００７３】
従来は、図６を用いて説明したように、動画像受信装置５は短縮されたリフレッシュ周期の後尾画像（終了時）を知ることができなかった。そのため、従来の動画像受信装置５は、チャンネル切替え指示７により選択されたＣＨ２のストリーム３２に基づく画像をモニタ８へ出力し、その画像をモニタ８により表示を開始させるのに、そのチャンネル切替え指示７に基づく変更後のＣＨ２のストリーム３２のリフレッシュ周期の短縮が終了した後さらに余分な時間を待たなければならなかった。つまり、従来は、図６（ｄ）に示すように、リフレッシュ周期が短縮されたＣＨ２のストリーム３２に基づく画像は、（ｎ＋５）の時からモニタ８へ出力されモニタ８により表示されうる状態であったにもかかわらず、（ｎ＋８）の時からモニタ８へ出力されモニタ８により表示されていた。
【００７４】
それに対して、本実施の形態１では、動画像送信装置６２は、リフレッシュ周期の短縮を要求するリフレッシュ指示がなされた場合、短縮後の最初のリフレッシュ周期の後尾画像を特定するリフレッシュ情報を送信するので、動画像受信装置７０は短縮されたリフレッシュ周期の終了時を知ることができる。そのため、本実施の形態１の動画像受信装置７０は、チャンネル切替え指示７により選択されたＣＨ２のストリーム３２に基づく画像を出力し表示させ始めるのに、そのチャンネル切替え指示７に基づく変更後のＣＨ２のストリーム３２のリフレッシュ周期の短縮が終了した後余分な時間を待たずに、その終了時の画像、つまり短縮後の最初のリフレッシュ周期の後尾画像から、ＣＨ２のストリーム３２に基づく出力画像をモニタ８へ出力し表示可能となる。したがって、図１３（ｄ）と図６（ｄ）とを比較すると明らかなように、本実施の形態１においては、リフレッシュ周期が短縮されたＣＨ２のストリーム３２に基づく画像は、従来より３フレーム分の期間前の（ｎ＋５）の時から、モニタ８へ出力されモニタ８により表示される、という効果が得られる。
【００７５】
なお、上述した実施の形態１では、ＣＨ２のストリーム３２からＣＨ１のストリーム３１へのチャンネル切替えの場合について説明したが、ＣＨ１のストリーム３１からＣＨ２のストリーム３２へのチャンネル切替えの場合についても、上記の場合と同様の効果が得られる。すなわち、図１６に示すように、チャンネル切替え指示７に基づく変更後のＣＨ１のストリーム３１のリフレッシュ周期の短縮が終了した後余分な時間を待たずに、その終了時の画像、つまり短縮後の最初のリフレッシュ周期の後尾画像から、ＣＨ１のストリーム３１に基づく出力画像６がモニタ８へ出力されそのモニタ８により表示可能となる。
【００７６】
また、上述した実施の形態１では、リフレッシュ制御部２０３がリフレッシュ指示４２を受けた場合、そのリフレッシュ制御部２０３による制御に基づいて、リフレッシュ情報生成部２０４は、短縮後の最初のリフレッシュ周期の後尾画像を特定できる情報として、短縮後の最初のリフレッシュ周期が始まる画像の識別子と、短縮後のリフレッシュ周期を特定する短縮後のリフレッシュ周期の値とで構成されるリフレッシュ情報を生成するとした。つまり、リフレッシュ情報生成部２０４は、短縮後の最初のリフレッシュ周期の先頭画像を特定する情報の一例としての上記識別子と、短縮後のリフレッシュ周期の長さを特定する情報の一例としての上記リフレッシュ周期の値とで構成されるリフレッシュ情報を生成するとした。
【００７７】
しかしながら、リフレッシュ情報生成部２０４は、リフレッシュ情報を生成する際、短縮後の最初のリフレッシュ周期の後尾画像を直接的に特定する情報をリフレッシュ情報として生成してもよい。
【００７８】
又は、リフレッシュ情報生成部２０４は、リフレッシュ情報として、短縮後の最初のリフレッシュ周期の先頭画像を特定する情報のみをリフレッシュ情報として生成してもよい。ただしこの場合、短縮後の最初のリフレッシュ周期の先頭画像は分かるが、短縮後の最初のリフレッシュ周期の後尾画像がどの画像であるかが不明である。そこで、短縮後のリフレッシュ周期の長さ（例えばフレーム数、又は時間）を予め決めておき、図１７に示すように、その予め決められた短縮後のリフレッシュ周期の長さを記憶する記憶部３１１を動画像受信装置７０内に設けておく。そして、表示制御部３０９は、記憶部３１１に記憶されている上記予め決められた短縮後のリフレッシュ周期の長さに基づくとともに、リフレッシュ情報抽出部３１０からの短縮後の最初のリフレッシュ周期の先頭画像を特定する情報を利用して、短縮後の最初のリフレッシュ周期の後尾画像を特定し、その後尾画像以降の画像をモニタ８へ出力し表示させる。
【００７９】
このようにしても、チャンネル切替え指示７により新たに選択されたストリームに基づく画像をモニタ８へ出力しモニタ８により表示を開始させるのに、その新たに選択されたストリームのリフレッシュ周期の短縮が終了した後余分な時間を待たずに、短縮後の最初のリフレッシュ周期の後尾画像から、新たに選択されたストリームに基づく出力画像をモニタ８へ出力し表示可能となる。
【００８０】
また、上述した実施の形態１では、図１３及び図１５に示すように、リフレッシュ指示４１，４２が出された場合、その直後の１リフレッシュ周期分の符号化データのみが、それまでよりもリフレッシュ周期が短縮されるとしたが、リフレッシュ周期の短縮は、リフレッシュ指示４１，４２が出された直後の１リフレッシュ周期分の符号化データのみに限定されるものではない。リフレッシュ指示４１，４２が出されたら、その後のストリームにおいて、リフレッシュ周期の短縮は続いてもよい。要するに、リフレッシュ指示４１，４２が出されたら、少なくとも１リフレッシュ周期分の符号化データについて、リフレッシュ周期がそれまでよりも短縮されさえすればよい。
【００８１】
そして、動画像送信装置６１，６２は、短縮したリフレッシュ周期を元に戻す場合、短縮したリフレッシュ周期が１周期経過した後であれば、いつ元に戻してもかまわない。また、動画像受信装置７０がリフレッシュ周期を元に戻す時を指示し、その指示に基づいて、動画像送信装置６１，６２は、短縮したリフレッシュ周期を元に戻してもよい。
【００８２】
また、上述した実施の形態１では、ＣＨ１のストリーム３１及びＣＨ２のストリーム３２は、図１を用いて説明したように、入力動画像１１又は入力動画像１２がイントラスライスを含むＰピクチャのみで構成されるように圧縮符号化された符号化データであるとした。しかしながら、ＣＨ１のストリーム３１又はＣＨ２のストリーム３２は、イントラスライスを含むＰピクチャとイントラスライスを含まないＰピクチャとで構成されるように圧縮符号化されてもよい。その場合、リフレッシュ指示４１，４２が出されたら、イントラスライスを含むＰピクチャの符号化データが、少なくとも１リフレッシュ周期分できるだけ早く出力され、そのリフレッシュ周期が、通常時のリフレッシュ周期の長さよりも短くなることが必要となる。
【００８３】
また、上述した実施の形態１では、ＣＨ１のストリーム３１及びＣＨ２のストリーム３２を用いて、チャンネル１から２へのチャンネル切替え指示７がなされた場合について説明した。しかしながら、ストリームの数は上記のＣＨ１のストリーム３１とＣＨ２のストリーム３２との二つに限定されるものではない。三つ以上のストリームが存在する場合、チャンネル切替え指示７に従って選択されたチャンネルのストリームがスイッチ３０４により選択され、選択されたストリームを送信している動画像送信装置にリフレッシュ指示が出される。そして、リフレッシュ指示が出された動画像送信装置は、上記動画像送信装置６１又は上記動画像送信装置６２と同様に、リフレッシュ周期を短縮するとともに、短縮後の最初のリフレッシュ周期の後尾画像を特定するリフレッシュ情報を付加してストリームを送信する。そうすると、動画像受信装置は、上記リフレッシュ情報を利用することにより、上記のように短縮後の最初のリフレッシュ周期の後尾画像から画像をモニタへ出力しモニタにより表示させることができる。
【００８４】
また、上述した実施の形態１では、図１５を用いて説明したように、リフレッシュ情報はユーザデータ領域に格納されてストリームに多重化されるとした。そのユーザデータ領域は自由に実装できる領域なので、リフレッシュ情報をストリーム中に付加できない従来の動画像送信装置２１，２２、と、本実施の形態１の動画像送信装置６１，６２とを組み合わせた場合でも、本実施の形態１の動画像受信装置７０は誤動作しない。
【００８５】
（実施の形態２）
次に、本発明の実施の形態２の動画像送受信システムについて説明する。
【００８６】
本実施の形態２と上述した実施の形態１とは、リフレッシュ情報の内容のみが相違する。つまり、本実施の形態２では、リフレッシュ情報として、短縮後のリフレッシュ周期の後尾画像を特定するピクチャ番号を用い、そのリフレッシュ情報を用いて、短縮後の最初のリフレッシュ周期の後尾画像を特定する。したがって、本実施の形態２の動画像送受信システム、動画像送信装置、及び動画像受信装置の構成は、実施の形態１と同様のため説明は省略する。
【００８７】
図１８に、本発明の実施の形態２の動画像送信装置によりストリーム中に多重化されるリフレッシュ情報の位置と構造を示す。本実施の形態２では、リフレッシュ情報として、短縮後の最初のリフレッシュ周期の後尾画像を特定するピクチャ番号が用いられ、そのリフレッシュ情報は短縮後の最初のリフレッシュ周期の先頭ピクチャのユーザデータ領域に格納されてストリーム中に多重化される。
【００８８】
上記の短縮後の最初のリフレッシュ周期の後尾画像を特定するピクチャ番号として、ピクチャ層のテンポラルリファレンスを使用する。テンポラルリファレンスはＧＯＰ層でリセットされる０〜１０２３までの１０２４個の連続した数字である。イントラスライスによるリフレッシュを行なうストリームでは、後にＩピクチャが必要なＧＯＰヘッダは使用できないので、上記テンポラルリファレンスは、短縮後の最初のリフレッシュ周期の終了を通知するために使用するのに充分な値である。なお、上記テンポラルリファレンスは１０ｂｉｔのデータである。したがって、本実施の形態２では、リフレッシュ情報は、３２ｂｉｔのユーザデータスタートコードと、１６ｂｉｔのリフレッシュ情報識別子と、１０ｂｉｔの上記短縮後の最初のリフレッシュ周期の後尾画像を特定するピクチャ番号とで構成される５８ｂｉｔの情報となる。
【００８９】
以下に、図１９に示すフローチャート用いて、本実施の形態２における動画像送受信システムの動作を説明する。なお、本実施の形態２でも、上記実施の形態１の場合と同様に、図１３（ｄ）に示すように、スイッチ３０４によりＣＨ１のストリーム３１が選択されていて、そのＣＨ１のストリーム３１が復号されて出力画像６としてモニタ８へ出力されモニタ８により表示されているときに、ユーザがＣＨ２のストリーム３２の方が選択されるようにチャンネル切替え指示７を行なった場合を想定する（図１９のステップ７０１）。
【００９０】
この場合、動画像受信装置７０では、そのチャンネル切替え指示７に基づいて、スイッチ３０４によりＣＨ２のストリーム３２が選択されるとともに、リフレッシュ指示部３０８は、ＣＨ２のストリーム３２のリフレッシュ周期の短縮を要求するリフレッシュ指示４２を、ＣＨ２のストリーム３２に対応する動画像送信装置６２に送信する（図１９のステップ７０２）。
【００９１】
動画像送信装置６２では、リフレッシュ制御部２０３が、動画像受信装置７０からの上記リフレッシュ指示４２に基づいて、図１３（ｂ）に示すように、ＣＨ２のストリーム３２のリフレッシュ周期を、６フレーム分の期間から３フレーム分の期間に短縮させるように、符号化部２０１が行なう符号化を制御する。また、リフレッシュ制御部２０３は、上述したリフレッシュ情報を生成させるように、リフレッシュ情報生成部２０４を制御する。
【００９２】
このリフレッシュ制御部２０３による制御により、リフレッシュ情報生成部２０４は、上述したリフレッシュ情報を生成する。そのリフレッシュ情報により、図１３（ｃ）に示す（ｎ＋４）の時に復号される画像が短縮後の最初のリフレッシュ周期の後尾画像であると特定できる。
【００９３】
上記のようにリフレッシュ情報が生成されると、多重部２０５は、リフレッシュ情報生成部２０４により生成されたリフレッシュ情報を、符号化部２０１により符号化されたＣＨ２のストリーム３２に多重化して、リフレッシュ情報が多重化されたＣＨ２のストリーム３２を、動画像受信装置７０へ送信する。
【００９４】
そのＣＨ２のストリーム３２は、動画像受信装置７０により受信され、動画像受信装置７０において、リフレッシュ情報抽出部３１０が、ＣＨ２のストリーム３２を解析する。そして、リフレッシュ情報抽出部３１０は、その解析中にユーザデータ領域を検出すると（図１９のステップ７０３）、ユーザデータ領域からリフレッシュ情報を取り出し（図１９のステップ７０４）、短縮後の最初のリフレッシュ周期の後尾画像を特定するピクチャ番号を取得する。
【００９５】
そのピクチャ番号は表示制御部３０９へ送られ、表示制御部３０９は、送られてきたピクチャ番号と、復号化部３０１で復号化されている画像のピクチャ番号とを比較し（図１９のステップ７０５）、送られてきたピクチャ番号と等しいピクチャ番号を有する画像が出力画像６としてモニタ８へ出力されモニタ８により表示されるように、スイッチ３０６の選択を切り替える（図１９のステップ７０６）。これにより、チャンネルの切替え処理が完了する。
【００９６】
このように、本実施の形態２では、上述した実施の形態１と同様に、ユーザデータ領域を用いることでリフレッシュ情報をストリーム中に多重し、動画像受信装置がそのリフレッシュ情報を基にしてストリームの切替えタイミングを取るので、無駄な時間待ちをすることなくチャンネル切替えが実現できる、という効果が得られる。
【００９７】
また、上述した実施の形態２の場合、上記実施の形態１とは異なり、カウンタを使用しないで出力画像６の切替えタイミングが取れるので処理が簡素化できるという利点もある。
【００９８】
なお、上述した実施の形態２では、リフレッシュ情報として、短縮後の最初のリフレッシュ周期の後尾画像を特定するピクチャ番号を用いたが、その後尾画像の次の画像にあたる、次のリフレッシュ周期の先頭画像を特定するピクチャ番号を、リフレッシュ情報として用いても、上述した場合と同様の効果が得られる。要するに、リフレッシュ情報は、短縮後の最初のリフレッシュ周期の後尾画像を特定する情報でありさえすれば、上述した実施の形態２の場合の同様の効果が得られる。
【００９９】
（実施の形態３）
次に、本発明の実施の形態３の動画像送受信システムについて説明する。
【０１００】
本実施の形態３と上述した実施の形態１及び実施の形態２とは、リフレッシュ情報の内容のみが相違する。本実施の形態３では、リフレッシュ情報として、短縮後のリフレッシュ周期の先頭画像を特定する識別子を利用して、そのリフレッシュ情報を用いて、後述する方法により短縮後の最初のリフレッシュ周期の後尾画像を特定する。したがって、本実施の形態３の動画像送受信システム、動画像送信装置、及び動画像受信装置の構成は、実施の形態１と同様のため説明は省略する。
【０１０１】
図２０に、本発明の実施の形態３の動画像送信装置によりストリーム中に多重化されるリフレッシュ情報の位置と構造を示す。本実施の形態３では、リフレッシュ情報として、短縮後の最初のリフレッシュ周期の先頭画像を特定する識別子のみが用いられ、そのリフレッシュ情報は短縮後の最初のリフレッシュ周期の先頭ピクチャのユーザデータ領域に格納されてストリーム中に多重化される。
【０１０２】
そのため、本実施の形態３では、リフレッシュ情報は、３２ｂｉｔのユーザデータスタートコードと、１６ｂｉｔの上記識別子とで構成される４８ｂｉｔの情報となる。
【０１０３】
以下に、図２１に示すフローチャート用いて、本実施の形態３における動画像送受信システムの動作を説明する。なお、本実施の形態３でも、上述した実施の形態１及び実施の形態２の場合と同様に、図１３（ｄ）に示すように、スイッチ３０４によりＣＨ１のストリーム３１が選択されている状態で、そのＣＨ１のストリーム３１が復号されて出力画像６としてモニタ８へ出力されモニタ８により表示されているときに、ユーザがＣＨ２のストリーム３２の方が選択されるようにチャンネル切替え指示７を行なう場合を想定する（図２１のステップ８０１）。
【０１０４】
その場合、動画像受信装置７０では、そのチャンネル切替え指示７に基づいて、スイッチ３０４によりＣＨ２のストリーム３２が選択されるとともに、リフレッシュ指示部３０８は、ＣＨ２のストリーム３２のリフレッシュ周期の短縮を要求するリフレッシュ指示４２を、ＣＨ２のストリーム３２に対応する動画像送信装置６２に送信する（図２１のステップ８０２）。
【０１０５】
動画像送信装置６２では、リフレッシュ制御部２０３が、動画像受信装置７０からの上記リフレッシュ指示４２に基づいて、図１３（ｂ）に示すように、ＣＨ２のストリーム３２のリフレッシュ周期を、例えば６フレーム分の期間から３フレーム分の期間に短縮させるように、符号化部２０１が行なう符号化を制御する。また、リフレッシュ制御部２０３は、上述したリフレッシュ情報（上記識別子）を生成させるように、リフレッシュ情報生成部２０４を制御する。
【０１０６】
そして、多重部２０５は、リフレッシュ情報生成部２０４により生成されたリフレッシュ情報を、符号化部２０１により符号化されたＣＨ２のストリーム３２に多重化して、リフレッシュ情報が多重化されたＣＨ２のストリーム３２を、動画像受信装置７０へ送信する。
【０１０７】
そのＣＨ２のストリーム３２は、動画像受信装置７０により受信され、動画像受信装置７０において、リフレッシュ情報抽出部３１０が、ＣＨ２のストリーム３２を解析する。リフレッシュ情報抽出部３１０は、その解析中にユーザデータ領域を検出すると（図２１のステップ８０３）、表示制御部３０９内のカウンタに、予め決められている短縮後のリフレッシュ周期を特定する短縮後のリフレッシュ周期の値をセットする（図２１のステップ８０４）。表示制御部３０９内のカウンタは、上記実施の形態１において説明したように、復号化部３０１がピクチャ単位で行なう復号化処理と同期してカウントする（図２１のステップ８０５）。そして、上記カウンタによるカウントが終了したら（図２１のステップ８０６）、表示制御部３０９は、スイッチ３０６により出力画像６の取出し先をフレームメモリ３０２からフレームメモリ３０３に切り替える（図２１のステップ８０７）。
【０１０８】
そうすると、図１３（ｄ）に示すように、図１３（ｃ）に示す（ｎ＋４）の時にリフレッシュが終了し復号される画像以降のＣＨ２のストリーム３２に基づく出力画像６が、（ｎ＋５）の時からモニタ８へ出力されモニタ８により表示される。
【０１０９】
このように、本実施の形態３では、上述した実施の形態１及び実施の形態２と同様に、リフレッシュ情報がストリーム中に多重化されているので、動画像受信装置がそのリフレッシュ情報を基にしてストリームの切替えタイミングを取ることができ、その結果、無駄な時間待ちをすることなくチャンネル切替えが実現できる、という効果が得られる。
【０１１０】
また、上述した本実施の形態３の利点は、ストリーム中に多重するユーザデータの情報を最も簡潔にして実施できることである。
【０１１１】
（実施の形態４）
次に、本発明の実施の形態４の動画像送受信システムについて説明する。
【０１１２】
本実施の形態４では、上述した各実施の形態とは異なり、リフレッシュ情報はユーザデータ領域に格納されるのではなく、短縮後のリフレッシュ周期の先頭ピクチャにのみシーケンスヘッダを挿入することで、リフレッシュ情報を実現するものである。したがって、本実施の形態４の動画像送受信システム、動画像送信装置、及び動画像受信装置の構成は、実施の形態１と同様のため説明は省略する。
【０１１３】
図２２に、本発明の実施の形態４の動画像送信装置によりストリーム中に多重化されるリフレッシュ情報の位置を示す。本実施の形態４では、上記のようにシーケンスヘッダをリフレッシュ情報として使用する。シーケンスヘッダは通常、チャプターの頭出し等の目的で使用されるが、本実施の形態４では、以下で説明するように、短縮後のリフレッシュ周期の先頭ピクチャのところでのみシーケンスヘッダを挿入する。
【０１１４】
以下に、図２３に示すフローチャート用いて、本実施の形態４における動画像送受信システムの動作を説明する。なお、本実施の形態４でも、上記各実施の形態の場合と同様に、図１３（ｄ）に示すように、スイッチ３０４によりＣＨ１のストリーム３１が選択されていて、そのＣＨ１のストリーム３１が復号されて出力画像６としてモニタ８へ出力されモニタ８により表示されているときに、ユーザがＣＨ２のストリーム３２の方が選択されるようにチャンネル切替え指示７を行なったとする（図２３のステップ９０１）。
【０１１５】
そうすると、動画像受信装置７０では、そのチャンネル切替え指示７に基づいて、スイッチ３０４によりＣＨ２のストリーム３２が選択されるとともに、リフレッシュ指示部３０８は、ＣＨ２のストリーム３２のリフレッシュ周期の短縮を要求するリフレッシュ指示４２を、ＣＨ２のストリーム３２に対応する動画像送信装置６２に送信する（図２３のステップ９０２）。
【０１１６】
動画像送信装置６２では、リフレッシュ制御部２０３が、動画像受信装置７０からの上記リフレッシュ指示４２に基づいて、図１３（ｂ）に示すように、ＣＨ２のストリーム３２のリフレッシュ周期を、例えば６フレーム分の期間から３フレーム分の期間に短縮させるように、符号化部２０１が行なう符号化を制御する。また、リフレッシュ制御部２０３は、上述したリフレッシュ情報としてのシーケンスヘッダを生成させるように、リフレッシュ情報生成部２０４を制御する。
【０１１７】
そして、多重部２０５は、リフレッシュ情報生成部２０４により生成されたリフレッシュ情報としてのシーケンスヘッダを、符号化部２０１により符号化されたＣＨ２のストリーム３２に多重化して、リフレッシュ情報としてのシーケンスヘッダが多重化されたＣＨ２のストリーム３２を、動画像受信装置７０へ送信する。
【０１１８】
そのＣＨ２のストリーム３２は、動画像受信装置７０により受信され、動画像受信装置７０において、リフレッシュ情報抽出部３１０が、ＣＨ２のストリーム３２を解析する。リフレッシュ情報抽出部３１０は、その解析中にシーケンスヘッダを検出したら（図２３のステップ９０３）、そのシーケンスヘッダが検出されたという情報に基づいて、表示制御部３０９内のカウンタに、予め決められている短縮後のリフレッシュ周期を特定する短縮後のリフレッシュ周期の値をセットする（図２３のステップ９０４）。表示制御部３０９内のカウンタは、上記実施の形態１において説明したように、復号化部３０１がピクチャ単位で行なう復号化処理と同期してカウントを開始する（図２３のステップ９０５）。そして、上記カウンタによるカウントが終了したら（図２３のステップ９０６）、表示制御部３０９は、スイッチ３０６により出力画像６の取出し先をフレームメモリ３０２からフレームメモリ３０３に切り替える（図２３のステップ９０７）。
【０１１９】
そうすると、図１３（ｄ）に示すように、図１３（ｃ）に示す（ｎ＋４）の時にリフレッシュが終了し復号される画像以降のＣＨ２のストリーム３２に基づく出力画像６が、（ｎ＋５）の時からモニタ８へ出力されモニタ８により表示される。
【０１２０】
このように、本実施の形態４では、短縮後の最初のリフレッシュ周期の先頭ピクチャにリフレッシュ情報としてのシーケンスヘッダがストリーム中に多重化されており、動画像受信装置がそのシーケンスヘッダを基にしてストリームの切替えタイミングを取るので、無駄な時間待ちをすることなくチャンネル切替えが実現できる、という効果が得られる。
【０１２１】
また、上述した本実施の形態４では、本実施の形態４の動画像送信装置と従来の動画像送信装置との相違点がシーケンスヘッダの処理を行なうか否かという点であるので、本実施の形態４の動画像送信装置の従来の動画像送信装置からの修正が少なくてすむ、という利点もある。
【０１２２】
なお、上述した各実施の形態では、図１２を用いて説明したように、動画像受信装置７０では、リフレッシュ指示部３０８は、ユーザからのチャンネル切替え指示７に基づいて、リフレッシュ指示を行なうとした。しかしながら、リフレッシュ指示部３０８は、ユーザからのチャンネル切替え指示７に基づいて、リフレッシュ指示を行なうものであると限定されない。
【０１２３】
例えば、図２４に示すように、ＣＨ１〜ＣＨ４の四つのストリームが動画像受信装置７０に受信され、チャンネル切替制御部３１３が、ユーザからチャンネル切替え指示７が出された場合、上記ＣＨ１〜ＣＨ４の四つのストリームを例えば３０秒毎に順次切り替えるようにスイッチ３０４ａを制御するものとする。そして、チャンネル切替制御部３１３は、スイッチ３０４ａに対して上記ＣＨ１〜ＣＨ４の四つのストリームの切替えを制御する際に、スイッチ３０４ａの切替えにより選択されるストリームを送信する動画像送信装置にリフレッシュ周期を短縮させるためのリフレッシュ指示を出すように、リフレッシュ指示部３０８に対して指示するものとする。その場合、リフレッシュ指示部３０８は、ユーザからのチャンネル切替え指示７に基づいてリフレッシュ指示をするのではなく、チャンネル切替制御部３１３からの指示に基づいてリフレッシュ指示をすることになる。
【０１２４】
また、上述した各実施の形態では、図１０を用いて説明したように、動画像送受信システムは、動画像送信装置６１と、動画像送信装置６２と、動画像受信装置７０とで構成されるとした。しかしながら、図２５に示すように、動画像送受信システムは、図８を用いて説明した従来の動画像送受信システムと同様に、動画像送信装置６１と、動画像受信装置７０とで構成されてもよい。
【０１２５】
その場合、動画像送信装置６１がＣＨ１のストリーム３１を送信している状態で、動画像受信装置７０がそのＣＨ１のストリーム３１を受信していない場合、ユーザからの新規接続指示９に基づいて、動画像受信装置７０が、上記ＣＨ１のストリーム３１の受信を開始し、そのＣＨ１のストリーム３１に基づく画像をモニタ８へ出力しようとする状況を考える。
【０１２６】
そのとき、動画像受信装置７０は、ユーザから新規接続指示９を受けるときまでは、動画像送信装置６１からのＣＨ１のストリーム３１を受信していなかったので、ＣＨ１のストリーム３１をすぐに復号することはできない。そこで、なるべく早くＣＨ１のストリーム３１を復号できるようにするために、動画像受信装置７０は、ＣＨ１のストリーム３１のリフレッシュ周期の短縮を要求するリフレッシュ指示４１を、動画像送信装置６１に送信する。
【０１２７】
動画像送信装置６１は、そのリフレッシュ指示４１に基づいて、図２６（ａ）に示すように、リフレッシュ周期を例えば４フレーム分の期間から２フレーム分の期間に短縮して、入力動画像１１を符号化するとともに、上述したリフレッシュ情報をＣＨ１のストリーム３１に多重化して送信する。
【０１２８】
そうすると、図２６（ｃ）に示すように、動画像受信装置７０は、上記リフレッシュ情報を利用することにより、上述した各実施の形態の場合と同様に、短縮後の最初のリフレッシュ周期の後尾画像を知ることができる。その結果、動画像受信装置７０は、上記後尾画像が復号できたら、その後尾画像以降のＣＨ１のストリーム３１の画像をモニタ８へ出力しモニタ８により表示させることが可能となる。これにより、図９と比較すると明らかなように、表示開始時に乱れた画像が表示される時間が従来より短くなる。
【０１２９】
また、上述した各実施の形態では、ストリームへのリフレッシュ情報の多重化は、リフレッシュ周期が短縮された時に行なわれるとしたが、リフレッシュ周期変更時だけでなく、常時行なわれていてもかまわない。
【０１３０】
また、上述した各実施の形態では、ＣＨ１のストリーム３１においては、リフレッシュ周期は、リフレッシュ指示があるまでは４フレーム分の期間であり、リフレッシュ指示がされたら２フレーム分の期間に短縮され、ＣＨ２のストリーム３２においては、リフレッシュ周期は、リフレッシュ指示があるまでは６フレーム分の期間であり、リフレッシュ指示がされたら３フレーム分の期間に短縮されるとした。しかしながら、短縮後のリフレッシュ周期の長さは、動画像送信装置において任意に設定可能である。したがって、例えばＣＨ２のストリーム３２の場合であれば、リフレッシュ指示がされたら、リフレッシュ周期は、６フレーム分の期間から２フレーム分の期間に短縮されてもよく、短縮後のリフレッシュ期間の長さは限定されない。
【０１３１】
また、上述した各実施の形態では、説明の便宜上、イントラスライスを含む各Ｐピクチャはフレーム構造であるとしたが、フィールド構造であってもよい。
【０１３２】
このように、イントラスライスを含む各Ｐピクチャがフィールド構造である場合、ユーザからチャンネル切替え指示７が出されるまでは、動画像送信装置は、例えば図２７（ａ）に示すように、リフレッシュ周期を例えば８フィールド分の期間とし、１枚目の奇数フィールド（１Ｔ）→１枚目の偶数フィールド（１Ｂ）→２枚目の奇数フィールド（２Ｔ）→２枚目の偶数フィールド（２Ｂ）→３枚目の奇数フィールド（３Ｔ）→３枚目の偶数フィールド（３Ｂ）→・・・の順に、ストリームを構成する各フィールドを送信する。なお、図２７においては、各フィールド上の帯状に黒く塗りつぶされている部分はイントラスライスに基づく画像を示し、また、帯状の斜線部分はフレーム間順方向予測符号化されたスライスに基づく画像を示しており、黒く塗りつぶされてもおらず、斜線も付されていない空白のスライスは、データが存在しないことを示している。
【０１３３】
さてこのような場合、ユーザからチャンネル切替え指示７が出され、それにともなって動画像受信装置からリフレッシュ指示が出されると、動画像送信装置は、例えば図２７（ｂ）に示すように、リフレッシュ周期を例えば６フィールド分の期間に短縮して、ストリームを構成する各フィールドを順に送信する。その際、動画像送信装置は、上述した各実施の形態において説明したように、短縮後の最初のリフレッシュ周期の後尾画像を特定するリフレッシュ情報も送信する。つまり図２７（ｂ）の例では、ピクチャ３’Ｂピクチャが短縮後の最初のリフレッシュ周期の後尾画像（後尾フィールド）であるとするリフレッシュ情報を、動画像送信装置は送信する。
【０１３４】
このように、動画像送信装置は、リフレッシュ指示を受信すると、それまでよりもリフレッシュ周期を短縮するとともに、短縮後の最初のリフレッシュ周期の後尾画像を特定するリフレッシュ情報も送信するので、動画像受信装置は、短縮後の最初のリフレッシュ周期の後尾画像を知ることができる。そのため、動画像受信装置は、チャンネル切替え指示７により選択されたストリームに基づく画像（フィールド）をモニタへ出力しそのモニタにより表示させるのに、その選択されたストリームの短縮されたリフレッシュ周期の終了の後、余分な時間を待たなくてすむ。つまりこの場合、動画像受信装置は、短縮後の最初のリフレッシュ周期の後尾画像（後尾フィールドであるピクチャ３’Ｂ）から、そのストリームに基づく画像（フィールド）をモニタへ出力しそのモニタにより表示させることが可能になる。
【０１３５】
また、チャンネル切替え指示７が行なわれた場合に限らず、新規接続指示９が行なわれた場合も、上記と同様に、動画像送信装置はリフレッシュ情報を送信し、動画像受信装置は、短縮後の最初のリフレッシュ周期の後尾画像（後尾フィールド）から、そのストリームに基づく画像（フィールド）をモニタへ出力しそのモニタにより表示させることが可能になる。
【０１３６】
また、上述した各実施の形態における動画像送信装置６１，６２及び動画像受信装置７０の各構成要素は、ハードウェアで構成されていてもよいし、ソフトウェアで構成されていてもよい。
【０１３７】
さらに、上述した各実施の形態における動画像送信装置６１，６２及び動画像受信装置７０の全部又は一部の構成要素としてコンピュータを機能させるためのプログラムを、所定のコンピュータに適用し、そのコンピュータで、上述した各実施の形態における動画像送信装置６１，６２及び動画像受信装置７０の全部又は一部の構成要素の機能を実現することも可能である。なお、上記プログラムの使用の実施態様の具体例としては、ＣＤ−ＲＯＭ等の記録媒体に上記プログラムを記録することや、そのプログラムが記録された記録媒体を譲渡することや、インターネット等における通信手段で上記プログラムを通信すること等が含まれる。また、コンピュータに、上記プログラムをインストールすることも含まれる。
【０１３８】
【発明の効果】
以上説明したところから明らかなように、本発明は、外部からのリフレッシュ指示に基づいてリフレッシュ周期を短縮して符号化データを生成するとともに、短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報を上記符号化データとともに送信する動画像送信装置を提供することができる。
【０１３９】
また、本発明は、リフレッシュ周期を短縮して符号化データを送信する動画像送信装置からの、上記符号化データとともに送信されてくる短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報に基づいて、短縮後の最初のリフレッシュ周期の後尾画像から外部の表示装置に画像表示させることができる動画像受信装置を提供することができる。
【０１４０】
さらに、本発明は、上記の短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報を符号化データとともに送信する動画像送信装置と、その動画像送信装置からの、上記符号化データとともに送信されてくる短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報に基づいて、短縮後の最初のリフレッシュ周期の後尾画像から外部の表示装置に画像表示させることができる動画像受信装置とを有する動画像送受信システムを提供することができる。
【０１４１】
このように、本発明によれば、動画像送信装置が符号化データ中にリフレッシュ情報を多重化し、動画像受信装置が符号化データ中からリフレッシュ情報を抽出し、表示タイミングを制御することにより、チャンネル切替え時や新規接続時に短い時間で、チャンネル切替えや新規接続に対応する符号化データに基づく画像が表示可能となるという有利な効果が得られる。
【図面の簡単な説明】
【図１】イントラスライスの説明図
【図２】従来の動画像送受信システムの構成図
【図３】従来の動画像送信装置のブロック図
【図４】従来の動画像受信装置のブロック図
【図５】従来のチャンネル切替えの手順を示したフローチャート
【図６】従来のチャンネル切替え時のピクチャの変遷を示した第１の図
【図７】従来のチャンネル切替え時のピクチャの変遷を示した第２の図
【図８】従来の動画像送受信システムの構成図
【図９】従来の新規接続時のピクチャの変遷を示した図
【図１０】本発明の実施の形態の動画像送受信システムの構成図
【図１１】本発明の実施の形態の動画像送信装置のブロック図
【図１２】本発明の実施の形態の動画像受信装置のブロック図
【図１３】本発明の実施の形態におけるチャンネル切替え時のピクチャの変遷を示した第１の図
【図１４】本発明の実施の形態１におけるチャンネル切替えの手順を示したフローチャート
【図１５】本発明の実施の形態１におけるリフレッシュ情報の位置と構造を示した図
【図１６】本発明の実施の形態におけるチャンネル切替え時のピクチャの変遷を示した第２の図
【図１７】本発明の実施の形態の動画像受信装置のブロック図
【図１８】本発明の実施の形態２におけるリフレッシュ情報の位置と構造を示した図
【図１９】本発明の実施の形態２におけるチャンネル切替えの手順を示したフローチャート
【図２０】本発明の実施の形態３におけるリフレッシュ情報の位置と構造を示した図
【図２１】本発明の実施の形態３におけるチャンネル切替えの手順を示したフローチャート
【図２２】本発明の実施の形態３におけるリフレッシュ情報の位置と構造を示した図
【図２３】本発明の実施の形態３におけるチャンネル切替えの手順を示したフローチャート
【図２４】本発明の実施の形態の動画像受信装置のブロック図
【図２５】本発明の実施の形態の動画像送受信システムの構成図
【図２６】本発明の実施の形態における新規接続時のピクチャの変遷を示した図
【図２７】本発明の実施の形態の、フィールドで構成されるストリームのリフレッシュ周期が短縮されたときの表示開始フィールドを説明する図
【符号の説明】
６ 出力画像
７ チャンネル切替え指示
８ モニタ
１１，１２ 入力動画像
３１ ＣＨ１のストリーム
３２ ＣＨ２のストリーム
４１，４２ リフレッシュ指示
５１，５２ カメラ
６１，６２ 動画像送信装置
７０ 動画像受信装置
２０１ 符号化部
２０３ リフレッシュ制御部
２０４ リフレッシュ情報生成部
２０５ 多重部
３０１ 復号化部
３０２，３０３ フレームメモリ
３０４，３０５，３０６ スイッチ
３０８ リフレッシュ指示部
３０９ 表示制御部
３１０ リフレッシュ情報抽出部
【発明の属する技術分野】
本発明は、動画像を送信する動画像送信装置、動画像を受信する動画像受信装置、及び、動画像送信装置と動画像受信装置とを有する動画像送受信システムに関する。
【０００２】
【従来の技術】
近年、送信装置が動画像を圧縮符号化して符号化データを送信し、受信装置が送信装置からの符号化データを復号化して動画像を復元するという技術を利用したテレビ会議システムが実現されている。動画像の圧縮符号化には、ＭＰＥＧ（Moving Picture coding Experts Group）というグループの考案したＭＰＥＧ２（MPEG Phase2）という圧縮符号化方法が使用されている。
【０００３】
ＭＰＥＧ２による動画像圧縮では、動画像を構成する各フレーム又は各フィールドを、マクロブロックと呼ばれる１６画素×１６画素の矩形ブロック複数個に分割し、マクロブロック単位で圧縮符号化を行なう。その際、圧縮を行なおうとする画像の各マクロブロックについて、時間的、空間的に前後する画像の中から相関するマクロブロックを抽出し、その抽出したマクロブロックに対する空間的な距離と方位を表す動きベクトルと、上記抽出したマクロブロックとの間の差分とを算出する。そして、算出した動きベクトルと差分の情報に対して、ＤＣＴや、量子化や、可変長符号化を行なってビットストリームに圧縮する。
【０００４】
上記のマクロブロックの抽出方法の違いにより、各フレーム又は各フィールドは、フレーム内予測符号化されるＩｎｔｒａ符号化画像（Ｉピクチャ）と、フレーム間順方向予測符号化されるＰｒｅｄｉｃｔｉｖｅ符号化画像（Ｐピクチャ）と、双方向予測符号化されるＢｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ符号化画像（Ｂピクチャ）の、３つのタイプのいずれかに分別される。
【０００５】
ところで、上記の双方向予測符号化によって時間的に前後するフレーム間で予測符号化を行なうことは復元画像の高画質化へのアドバンテージとなるが、符号化時に画像を符号化する順序を入れ替える（リオーダリングする）必要があり、符号化から復号化の間の遅延時間が長くなる。そこで、符号化から復号化の間の遅延時間を短くするために、上記双方向予測符号化を行なう必要があるＢピクチャを使用せず、ＩピクチャとＰピクチャのみで動画像を構成するように符号化する低遅延モードが用いられる。
【０００６】
しかしながら、Ｉピクチャはフレーム内で予測符号化される画像（ピクチャ）であるので、Ｉピクチャの符号化データの量はＰピクチャの符号化データの量に比べて著しく多くなる。テレビ会議システムなど、リアルタイムに動画像を伝送する場合、情報転送速度は予め決められた一定速度であるので、動画像を構成する各フレーム又は各フィールドの符号化データの量の変動を抑え一定にする必要がある。
【０００７】
そこで、各フレーム又は各フィールドの符号化データの量を均一化するために、ＢピクチャのみならずＩピクチャをも用いずに、イントラスライスを用いる方法が採用されている。そのイントラスライスとは、全体としてはＰピクチャである画像（ピクチャ）上の一部に設けられる帯状の画像を構成する各マクロブロックがフレーム内予測符号化されているスライスのことである。
【０００８】
そのイントラスライスを用いる符号化方法では、上述したように、ＢピクチャのみならずＩピクチャをも用いずに、イントラスライスを含むＰピクチャのみで、又はイントラスライスを含むＰピクチャとイントラスライスを含まないＰピクチャとで動画像を構成するように、その動画像を符号化する。
【０００９】
このイントラスライスを含むＰピクチャを、図１を用いてさらに説明する。図１（ａ）及び（ｂ）は、イントラスライスを含むＰピクチャ（図１の場合のイントラスライスを含む各Ｐピクチャはフレーム構造であるとする。）のみで動画像を構成した場合の、連続する複数の画像の一部を示している。なお、図１において、各画像上の帯状に黒く塗りつぶされている部分は、イントラスライスに基づく帯状の画像である。また、図１中の各画像の上方の数字は、画像の順序を示している。
【００１０】
この図１に示すように、イントラスライスを含むＰピクチャのみで動画像を構成する場合、連続する各画像上のイントラスライスの位置は、時間の経過とともに画像上の下方に少しづつ順次ずれる。そして、図１に示すように、イントラスライスが画像上の最下部に位置すると、その次の画像ではイントラスライスは画像上の最上部に位置する。このように、画像上のイントラスライスの位置は周期的に移動する。この画像上のイントラスライスが設けられる場所が移動する周期を、リフレッシュ周期という。例えば、図１（ａ）の場合ではリフレッシュ周期は４フレーム分の期間となり、図１（ｂ）の場合ではリフレッシュ周期は６フレーム分の期間となる。
【００１１】
なお、イントラスライスが設けられている場所の次の画像の同じ場所の符号化データは、フレーム内予測符号化ではなく、フレーム間順方向予測符号化されたデータであるが、直前のイントラスライスを用いることにより、画像を復元することが可能となっている。したがって、１リフレッシュ周期分の符号化データが揃えば、それ以降の画像の復号は可能となる。
【００１２】
このように、イントラスライスを含むＰピクチャのみで動画像を構成することにより、１ピクチャ毎の符号化データの量を均一化できるとともに、Ｉピクチャを使用しなくても、ストリームの途中から復号が可能になる。同様に、イントラスライスを含むＰピクチャとイントラスライスを含まないＰピクチャとで、動画像を構成しても、１ピクチャ毎の符号化データの量を、Ｉピクチャを使用する場合に比べて均一化できるとともに、１リフレッシュ周期分の符号化データが揃えば、ストリームの途中から復号が可能になる。
【００１３】
以下に、動画像送信装置が動画像をイントラスライスを含むＰピクチャのみで構成するようにその動画像を符号化して符号化データを送信し、動画像受信装置が動画像送信装置からの符号化データを受信して復号化する場合の、従来の動画像送受信システムを、図２〜図６を用いて説明する。なお、以下の説明においても、説明の便宜上、イントラスライスを含む各Ｐピクチャはフレーム構造であるとする。
【００１４】
図２は、従来の動画像送受信システムの全体の一構成例を示した図である。図２に示すように、従来の動画像送受信システムは、例えば、動画像送信装置２１と、動画像送信装置２２と、動画像受信装置５とで構成される。
【００１５】
動画像送信装置２１は、カメラ５１で撮影された入力動画像１１を符号化してストリーム３１を出力する装置であって、動画像送信装置２２は、動画像送信装置２１と同様に、カメラ５２で撮影された入力動画像１２を符号化してストリーム３２を出力する装置である。動画像受信装置５は、動画像送信装置２１からのストリーム３１と、動画像送信装置２２からのストリーム３２とを受信し、チャンネル切替え指示７によりストリーム３１とストリーム３２とのうちのいずれかを選択して復号化を行ない、モニタ８へ出力画像６を出力する装置である。なお、以下では、ストリーム３１をＣＨ１（チャンネル１）のストリーム３１と表記し、ストリーム３２をＣＨ２（チャンネル２）のストリーム３２と表記する。
【００１６】
また、動画像送受信システムは、カメラと動画像送信装置との組を複数設置した遠隔監視システムが最も典型的な例である。図２では説明を簡単にするため、カメラと動画像送信装置との組を２つしか記載していないが、３組以上であっても構わない。
【００１７】
図３は、上記従来の動画像送受信システムを構成する動画像送信装置２１のブロック図である。符号化部２０１は、カメラ５１からの入力動画像１１を、図１（ａ）に示すような、イントラスライスを含むＰピクチャのみで構成されるように圧縮符号化し、ＣＨ１のストリーム３１を出力する。そして、リフレッシュ制御部２０２は、上記動画像受信装置５からのリフレッシュ周期の短縮を要求するリフレッシュ指示４１を受信した場合、上記リフレッシュ周期を短縮させるように、符号化部２０１が行なう符号化を制御する。なお、動画像送信装置２２についても、動画像送信装置２１と同様な構成である。
【００１８】
図４は、上記従来の動画像送受信システムを構成する動画像受信装置５のブロック図である。スイッチ３０４は、ユーザからのチャンネル切替え指示７に基づいて、ＣＨ１のストリーム３１とＣＨ２のストリーム３２とのうちの一方を選択し、復号化部３０１は、スイッチ３０４により選択されたストリームを復号化する。スイッチ３０５は、上記チャンネル切替え指示７に基づいて、復号化部３０１により復号化されたストリームの蓄積先として、フレームメモリ３０２又はフレームメモリ３０３を選択する。そして、表示制御部３０７は、上記チャンネル切替え指示７に基づいてスイッチ３０６を切り替えることにより、フレームメモリ３０２又はフレームメモリ３０３を選択し、選択した方のフレームメモリに蓄積されている画像を出力画像６としてモニタ８へ出力させ、モニタ８により出力画像６を表示させる。
【００１９】
ここで、例えば、スイッチ３０４によりＣＨ１のストリーム３１が選択されている状態で、そのＣＨ１のストリーム３１が復号化されて出力画像６としてモニタ８へ出力されているときに、ユーザがＣＨ２のストリーム３２の方が選択されるようにチャンネル切替え指示７を行なった場合を想定する。
【００２０】
その場合、そのチャンネル切替え指示７に基づいて、スイッチ３０４によりＣＨ２のストリーム３２が選択される。しかしながら、上述したように、ＣＨ２のストリーム３２は、カメラ５２からの入力動画像１２がイントラスライスを含むＰピクチャのみで構成されるように符号化された符号化データであるので、１リフレッシュ周期分の符号化データが揃わないと、それ以降の符号化データを復号して画像を再生することはできない。そのため、１リフレッシュ周期分の符号化データが復号化部３０１において復号されるまで、表示制御部３０７は、ＣＨ２のストリーム３２に基づく出力画像６をモニタ８へ出力させることができない。なお、その間は、フレームメモリ３０２に蓄積されている画像が出力画像６としてモニタ８へ出力される。つまり、チャンネル切替え指示７がなされる直前のＣＨ１のストリーム３１に基づく画像がモニタ８へ出力される。
【００２１】
そこで、特開平１０−３０４３８２号に記載されているように、チャンネル切替え指示７により選択されたストリームに基づく出力画像６をできるだけ早くモニタ８へ出力させるために、従来は、図４に示すように、後述する機能を有するリフレッシュ指示部３０８が動画像受信装置５内に設けられていた。そのリフレッシュ指示部３０８は、チャンネル切替え指示７により選択されたストリームのリフレッシュ周期を短縮させるリフレッシュ指示を行なう手段である。すなわち、リフレッシュ指示部３０８は、ＣＨ１のストリーム３１とＣＨ２のストリーム３２のうちの一方に基づく出力画像６がモニタ８へ出力されている場合に、ユーザがＣＨ１のストリーム３１とＣＨ２のストリーム３２のうちの他方に基づく出力画像６をモニタ８へ出力させる旨のチャンネル切替え指示７を行なったとき（図５のステップ５０１）、上記他方のストリームのリフレッシュ周期の短縮を要求するリフレッシュ指示を、上記他方のストリームに対応する動画像送信装置に送信する（図５のステップ５０２）。
【００２２】
例えば、上記のように、ＣＨ１のストリーム３１に基づく出力画像６がモニタ８へ出力されているときに、ユーザがＣＨ２のストリーム３２に基づく出力画像６がモニタ８へ出力されるようにチャンネル切替え指示７を行なったとする。その場合、リフレッシュ指示部３０８は、ＣＨ２のストリーム３２のリフレッシュ周期の短縮を要求するリフレッシュ指示４２を、ＣＨ２のストリーム３２に対応する動画像送信装置２２に送信する。
【００２３】
そうすると、動画像送信装置２２では、リフレッシュ制御部２０２が、リフレッシュ指示４２に基づいて、図６（ｂ）に示すように、例えば、リフレッシュ周期を６フレーム分の期間から３フレーム分の期間に短縮するように、符号化部２０１が行なう符号化を制御する。なお、図６（ｂ）に示すように、例えば、チャンネル切替え指示７が行なわれて１フレーム分の期間経過後にリフレッシュ指示４２が動画像送信装置２２に送信され、そのリフレッシュ指示４２に基づいて、そのリフレッシュ指示４２が受信された直後の画像から１リフレッシュ周期分だけ、リフレッシュ周期が短縮される。
【００２４】
この規則に基づいて、図６に記載のチャンネル切替え指示７の二つ前の画像が表示されている時に（（ｎ−２）の時に）、チャンネル切替え指示７が行なわれた場合を想定する。その場合、そのチャンネル切替え指示７が行なわれた時から１フレーム分の期間経過後の、図６に記載のチャンネル切替え指示７の一つ前の画像が表示されている時に（（ｎ−１）の時に）、リフレッシュ指示４２が動画像送信装置２２に送信される。そして、そのリフレッシュ指示４２に基づいて、図６に記載のチャンネル切替え指示７の直後の画像が送信される時から（ｎの時から）、１リフレッシュ周期分だけ、リフレッシュ周期が短縮される。
【００２５】
このように、従来は、チャンネル切替え指示７により選択されるストリームのリフレッシュ周期を短縮させていた。
【００２６】
【発明が解決しようとする課題】
上述したように、従来は、例えば、チャンネル切替え指示７が行なわれて１フレーム分の期間経過後にリフレッシュ指示４２が動画像送信装置２２に送信され、そのリフレッシュ指示４２に基づいて、そのリフレッシュ指示４２が受信された直後の画像（ピクチャ）から１リフレッシュ周期分だけ、リフレッシュ周期が短縮される。しかしながら、それは一例であって、例えば、上記リフレッシュ指示４２が受信された後の２フレーム後の画像（ピクチャ）からリフレッシュ周期が短縮される場合もあり、従来は、リフレッシュ周期の短縮の開始時は決められていなかった。
【００２７】
また、上述した例では、リフレッシュ周期は６フレーム分の期間から３フレーム分の期間に短縮されるとしたが、それも一例であって、従来は、リフレッシュ周期の短縮の程度は一律に決められていなかった。
【００２８】
このように、従来は、動画像送信装置２２がリフレッシュ周期をいつ短縮するのかが不明であり、短縮後の最初のリフレッシュ周期の終了時も不明であった。そのため、動画像受信装置５では、短縮後のリフレッシュ周期の終了時を知ることができないので、リフレッシュ指示部３０８は、リフレッシュ指示４２を動画像送信装置２２に送信する際に、表示制御部３０７に対して、リフレッシュ周期の短縮が終了するのに十分な所定の時間ｔ0（図６参照）をカウントできる所定の値を設定し（図５のステップ５０３）、その値までカウントをさせていた（図５のステップ５０４）。そして、表示制御部３０７は、その値までのカウントの終了を待って（図５のステップ５０５）、つまり予め決められた上記所定の時間ｔ0を待って、チャンネル切替え指示７により選択されたストリームに基づく画像（ピクチャ）をモニタ８へ出力し表示させるようにしていた（図５のステップ５０６）。
【００２９】
例えば、図６（ｄ）に示すように、ＣＨ１のストリーム３１に基づく出力画像６がモニタ８へ出力されているときに、ユーザがＣＨ２のストリーム３２に基づく出力画像６がモニタ８へ出力されるようにチャンネル切替え指示７を行なったとする。その場合、図６（ｄ）に示すように、ＣＨ２のストリーム３２のリフレッシュ周期の短縮が終了するのに十分な所定の時間ｔ0を待って、ＣＨ２のストリーム３２に基づく画像がモニタ８へ出力されモニタ８により表示されるようになっていた。つまり、上記チャンネル切替え指示７が行なわれた後８番目の画像（ピクチャ）をモニタ８へ出力する時から（（ｎ＋８）の時から）、ＣＨ２のストリーム３２に基づく画像がモニタ８へ出力されモニタ８により表示されるようになっていた。なお、上記チャンネル切替え指示７が行なわれた後７番目の画像をモニタ８へ出力する時までは（（ｎ＋７）の時までは）、上記チャンネル切替え指示７が行なわれた直後にモニタ８へ出力された画像が表示され続けることになる。
【００３０】
ところで、図６（ｃ）に示すように、上記チャンネル切替え指示７が行なわれた後４番目に復号する画像（ピクチャ）から（（ｎ＋４）の時に復号する画像から）、ＣＨ２のストリーム３２に基づく画像全体の復号ができる状態となる。つまり、上記チャンネル切替え指示７が行なわれた後５番目の画像をモニタ８へ出力する時から（（ｎ＋５）の時から）、ＣＨ２のストリーム３２に基づく画像をモニタ８へ出力しモニタ８により表示させることが可能となる。
【００３１】
しかしながら、上述したように、リフレッシュ周期がいつ短縮されるのかが不明であり、また、短縮後の最初のリフレッシュ周期の終了時も不明であった。そのため、従来は、変更後の最初のリフレッシュ周期の終了時を知ることができず、表示制御部３０７は、チャンネル切替え指示７により選択されたＣＨ２のストリーム３２に基づく画像（ピクチャ）のモニタ８への出力の開始を、そのチャンネル切替え指示７に基づく変更後のＣＨ２のストリーム３２のリフレッシュ周期の短縮が終了した後さらに余分な時間経過するまで待たなければならない、という課題があった。
【００３２】
また、図７に示すように、ＣＨ２のストリーム３２に基づく出力画像６がモニタ８へ出力されている場合に、ユーザがＣＨ１のストリーム３１に基づく出力画像６がモニタ８へ出力されるようにチャンネル切替え指示７を行なったときも、上記課題と同様の課題が生じる。すなわち、図７（ｄ）に示すように、表示制御部３０７は、ＣＨ１のストリーム３１に基づく出力画像６のモニタ８への出力の開始を、上記チャンネル切替え指示７に基づく変更後のＣＨ１のストリーム３１のリフレッシュ周期の短縮が終了した後さらに余分な時間経過するまで待たなければならなかった、ということである。
【００３３】
また、図８に示すような、上記動画像送信装置２１と、上記動画像受信装置５と同様な動画像受信装置５０とで構成される動画像送受信システムにおいても、上述した課題と同じ課題が存在する。その課題は、動画像送信装置２１がＣＨ１のストリーム３１を送信している状態で、動画像受信装置５０がそのＣＨ１のストリーム３１を受信していない場合、ユーザからの新規接続指示９に基づいて、動画像受信装置５０が、上記ＣＨ１のストリーム３１の受信を開始したときに生じる。
【００３４】
つまり、動画像受信装置５０は、ユーザから新規接続指示９を受けるときまでは、動画像送信装置２１からのＣＨ１のストリーム３１を受信していなかったので、ＣＨ１のストリーム３１をすぐに復号することはできない。なぜなら、ＣＨ１のストリーム３１は、イントラスライスを含むＰピクチャのみで入力動画像１１が構成されるように、その入力動画像１１が符号化された符号化データであるからである。したがって、なるべく早くＣＨ１のストリーム３１を復号できるようにするために、図８及び図９に示すように、動画像受信装置５０は、ユーザから新規接続指示９を受けると、直ちに、ＣＨ１のストリーム３１のリフレッシュ周期の短縮を要求するリフレッシュ指示４１を、動画像送信装置２１に送信する。
【００３５】
動画像送信装置２１は、そのリフレッシュ指示４１に基づいて、例えば、図９（ａ）に示すように、リフレッシュ周期を４フレーム分の期間から２フレーム分の期間に短縮して、入力動画像１１を符号化して符号化データを送信する。
【００３６】
しかしながら、従来は、動画像送信装置２１がリフレッシュ周期をいつ短縮するのかが不明であったため、動画像受信装置５０は、リフレッシュ周期の短縮が終了するのに十分な予め設定されている時間（図９（ｃ）の所定の時間ｔ0）を待つ必要があった。つまり、図９（ｂ）に示すように、上記新規接続指示９が行なわれた後３番目に復号する画像から（（ｎ＋３）の時に復号する画像から）、ＣＨ１のストリーム３１に基づく画像全体の復号ができる状態となり、上記新規接続指示９が行なわれた後４番目の画像をモニタ８へ出力できる時から（（ｎ＋４）の時から）、ＣＨ１のストリーム３１に基づく画像をモニタ８へ出力しモニタ８により表示させることが可能となるのにもかかわらず、動画像受信装置５０は、モニタ８へ画像を出力しその画像をモニタ８により表示させるのを、上記新規接続指示９が行なわれた後８番目の画像をモニタ８へ出力する時まで（（ｎ＋８）の時まで）待たなければならなかった。
【００３７】
つまり、従来は、動画像受信装置５，５０がリフレッシュ指示を出し、そのリフレッシュ指示に基づいて動画像送信装置２１，２２がリフレッシュ周期を短縮してストリームを送信しても、短縮後の最初のリフレッシュ周期の終了時が不明であったので、動画像受信装置５，５０は、リフレッシュ周期が短縮された後のストリームを復号しモニタ８へ画像を出力できる状態になっても、さらに余分な時間を待って画像を出力しなければならなかった。この課題は、画像（ピクチャ）がフィールド構造である場合にも生じている。
【００３８】
そこで、本発明は、上述した従来の課題を考慮し、外部からのリフレッシュ指示に基づいてリフレッシュ周期を短縮して符号化データを生成するとともに、短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報を上記符号化データとともに送信する動画像送信装置を提供することを目的とする。
【００３９】
また、本発明は、リフレッシュ周期を短縮して符号化データを送信する動画像送信装置からの、上記符号化データとともに送信されてくる短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報に基づいて、短縮後の最初のリフレッシュ周期の後尾画像から外部の表示装置に画像表示させることができる動画像受信装置を提供することを目的とする。
【００４０】
さらに、本発明は、上記の短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報を符号化データとともに送信する動画像送信装置と、その動画像送信装置からの、上記符号化データとともに送信されてくる短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報に基づいて、短縮後の最初のリフレッシュ周期の後尾画像から外部の表示装置に画像表示させることができる動画像受信装置とを有する動画像送受信システムを提供することを目的とする。
【００４１】
【発明を解決するための手段】
この課題を解決するために、本発明の動画像送受信システムは、画像上のイントラスライスが設けられる場所が連続する画像毎に順次ずらされたフレーム間順方向予測符号化画像を少なくとも一部に含む動画像を送信する動画像送信装置と、上記動画像送信装置からの上記動画像を受信する動画像受信装置とを有することを前提とする。
【００４２】
そして、上記動画像送信装置には、上記動画像受信装置からのリフレッシュ指示に基づいて、上記イントラスライスが設けられる場所が移動するリフレッシュ周期が短くなるように、フレーム間順方向予測符号化画像の生成を制御するリフレッシュ制御部と、上記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の後尾画像を特定することができるリフレッシュ情報を生成するリフレッシュ情報生成部と、上記リフレッシュ情報を上記動画像に多重する多重部とが備えられる。
【００４３】
他方、上記動画像受信装置には、所定の指示に基づいて、上記動画像送信装置に対して、上記イントラスライスが設けられる場所が移動するリフレッシュ周期を短くさせるための上記リフレッシュ指示を行なうリフレッシュ指示部と、上記動画像送信装置から得られた上記リフレッシュ情報に基づいて、上記後尾画像以降のいずれかの画像から、上記動画像を所定の表示装置に表示させる表示制御部とが設けられる。
【００４４】
このような動画像送受信システムによれば、動画像受信装置は、リフレッシュ周期が短縮された後のストリームを復号し所定の表示装置に画像を出力できる状態になると、余分な時間を待たずに直ちに画像を出力し表示させることが可能となる。
【００４５】
また、本発明の動画像送信装置は、画像上のイントラスライスが設けられる場所が連続する画像毎に順次ずらされたフレーム間順方向予測符号化画像を少なくとも一部に含む動画像を送信することを前提とする。
【００４６】
そして、本発明の動画像送信装置は、外部からのリフレッシュ指示に基づいて、上記イントラスライスが設けられる場所が移動するリフレッシュ周期が短くなるように、フレーム間順方向予測符号化画像の生成を制御するリフレッシュ制御部と、上記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の後尾画像を特定することができるリフレッシュ情報を生成するリフレッシュ情報生成部と、上記リフレッシュ情報を上記動画像に多重する多重部とを備えたことを特徴とする。
【００４７】
このような動画像送信装置を用いれば、動画像受信装置がリフレッシュ周期が短縮された後のストリームを復号し所定の表示装置に画像を出力できる状態になると、その動画像受信装置に余分な時間を待たさずに直ちに画像を出力させ表示させることが可能となる。
【００４８】
さらに、本発明の動画像受信装置は、所定の動画像送信装置からの、画像上のイントラスライスが設けられる場所が連続する画像毎に順次ずらされたフレーム間順方向予測符号化画像を少なくとも一部に含む動画像を受信することを前提とする。
【００４９】
そして、本発明の動画像受信装置は、所定の指示に基づいて、上記動画像送信装置に対して、上記イントラスライスが設けられる場所が移動するリフレッシュ周期を短くさせるためのリフレッシュ指示を行なうリフレッシュ指示部と、上記動画像送信装置から得られた、上記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の後尾画像を特定することができるリフレッシュ情報に基づいて、上記後尾画像以降のいずれかの画像から、上記動画像を所定の表示装置に表示させる表示制御部とを備えたことを特徴とする。
【００５０】
このような動画像受信装置は、リフレッシュ周期が短縮された後のストリームを復号し所定の表示装置に画像を出力できる状態になると、余分な時間を待たずに直ちに画像を出力し表示させることが可能となる。
【００５１】
【発明の実施の形態】
以下に、本発明の実施の形態を図面を参照して説明する。
【００５２】
（実施の形態１）
まず、本発明の実施の形態１の動画像送受信システムの構成を図１０に示す。図１０に示すように、本実施の形態１の動画像送受信システムは、図２に示す従来の動画像送受信システムと同様に、動画像送信装置６１と、動画像送信装置６２と、動画像受信装置７０とで構成される。
【００５３】
動画像送信装置６１は、カメラ５１で撮影された入力動画像１１を符号化して、図１（ａ）に示す各画像を構成するＣＨ１のストリーム３１を出力する装置であって、動画像送信装置６２は、カメラ５２で撮影された入力動画像１２を符号化して、図１（ｂ）に示す各画像を構成するＣＨ２のストリーム３２を出力する装置である。動画像受信装置７０は、動画像送信装置６１からのＣＨ１のストリーム３１と、動画像送信装置６２からのＣＨ２のストリーム３２とを受信し、チャンネル切替え指示７によりＣＨ１のストリーム３１とＣＨ２のストリーム３２とのうちのいずれかを選択して復号し、モニタ８へ出力画像６を出力する装置である。
【００５４】
図１１に、本実施の形態１の動画像送受信システムを構成する動画像送信装置６１の構成を示す。動画像送信装置６１では、従来の動画像送信装置２１の場合と同様に、符号化部２０１が、カメラ５１からの入力動画像１１を、図１（ａ）に示すような、イントラスライスを含むＰピクチャのみで構成されるように圧縮符号化し、ＣＨ１のストリーム３１を生成する。なお、説明の便宜上、本実施の形態においては、イントラスライスを含む各Ｐピクチャはフレーム構造であるとする。
【００５５】
そして、上記動画像受信装置７０によりリフレッシュ周期の短縮を要求するリフレッシュ指示４１がなされた場合、リフレッシュ制御部２０３は、ＣＨ１のストリーム３１のリフレッシュ周期を、例えば４フレーム分の期間から２フレーム分の期間に短縮させるように、符号化部２０１が行なう符号化を制御する。その際、リフレッシュ制御部２０３は、リフレッシュ周期が短縮される画像（ピクチャ）については、イントラスライスの幅が広くなるように、符号化部２０１が行なう符号化を制御する。また、リフレッシュ制御部２０３は、短縮後の最初のリフレッシュ周期の後尾画像（短縮後の最初のリフレッシュ周期の終了時）を特定するリフレッシュ情報を生成させるように、リフレッシュ情報生成部２０４を制御する。
【００５６】
そのリフレッシュ制御部２０３の制御に基づいて、リフレッシュ情報生成部２０４はリフレッシュ情報を生成し、多重部２０５は、リフレッシュ情報生成部２０４により生成されたリフレッシュ情報を、符号化部２０１により符号化されたＣＨ１のストリーム３１に多重化して、リフレッシュ情報が多重化されたＣＨ１のストリーム３１を、外部（動画像受信装置７０）へ出力する。
【００５７】
動画像送信装置６２の構成は、動画像送信装置６１の構成と同様である。ただし、動画像送信装置６２では、図１（ｂ）に示すような、イントラスライスを含むＰピクチャのみで構成されるように圧縮符号化されたＣＨ２のストリーム３２が生成され、動画像受信装置７０によりリフレッシュ指示４２がなされた場合、ＣＨ２のストリーム３２のリフレッシュ周期は、例えば６フレーム分の期間から３フレーム分の期間に短縮される。
【００５８】
図１２に、本実施の形態１の動画像送受信システムを構成する動画像受信装置７０の構成を示す。動画像受信装置７０では、従来の動画像受信装置５の場合と同様に、スイッチ３０４が、ユーザからのチャンネル切替え指示７に基づいて、ＣＨ１のストリーム３１とＣＨ２のストリーム３２とのうちの一方を選択し、復号化部３０１は、スイッチ３０４により選択されたストリームを復号する。
【００５９】
スイッチ３０５は、上記チャンネル切替え指示７に基づいて、復号化部３０１により復号されたストリームの蓄積先として、フレームメモリ３０２又はフレームメモリ３０３を選択する。
【００６０】
そして、表示制御部３０９は、上記チャンネル切替え指示７に基づいてスイッチ３０６を切り替えることにより、フレームメモリ３０２又はフレームメモリ３０３を選択し、選択した方のフレームメモリに蓄積されている画像（ピクチャ）を出力画像６としてモニタ８へ出力させ、モニタ８により出力画像６を表示させる。
【００６１】
なお、フレームメモリ３０２及びフレームメモリ３０３は、復号化部３０１により現在復号化されているストリームに基づく画像データを蓄積する。そして、上記チャンネル切替え指示７がなされた場合、そのチャンネル切替え指示７がされるまでに使用されていた方と別のフレームメモリに、そのチャンネル切替え指示７により新たに選択された方のストリームに基づく画像データは蓄積される。
【００６２】
ここで、例えば、図１３（ｄ）に示すように、スイッチ３０４によりＣＨ１のストリーム３１が選択されていて、そのＣＨ１のストリーム３１が復号されて出力画像６としてモニタ８へ出力され表示されているときに、ユーザがＣＨ２のストリーム３２の方が選択されるようにチャンネル切替え指示７を行なったとする（図１４のステップ６０１）。
【００６３】
その場合、そのチャンネル切替え指示７に基づいて、スイッチ３０４によりＣＨ２のストリーム３２が選択されるとともに、リフレッシュ指示部３０８は、ＣＨ２のストリーム３２のリフレッシュ周期の短縮を要求するリフレッシュ指示４２を、ＣＨ２のストリーム３２に対応する動画像送信装置６２に送信する（図１４のステップ６０２）。
【００６４】
動画像送信装置６２では、リフレッシュ制御部２０３が、動画像受信装置７０からの上記リフレッシュ指示４２に基づいて、図１３（ｂ）に示すように、ＣＨ２のストリーム３２のリフレッシュ周期を、例えば６フレーム分の期間から３フレーム分の期間に短縮させるように、符号化部２０１が行なう符号化を制御する。また、リフレッシュ制御部２０３は、短縮後の最初のリフレッシュ周期の後尾画像を特定するリフレッシュ情報を生成させるように、リフレッシュ情報生成部２０４を制御する。
【００６５】
リフレッシュ情報生成部２０４は、リフレッシュ制御部２０３による制御に基づいて、短縮後の最初のリフレッシュ周期が始まる画像の識別子と、短縮後のリフレッシュ周期（例えば３フレーム分の期間）を特定する値とで構成されるリフレッシュ情報を生成する。それら短縮後の最初のリフレッシュ周期が始まる画像の識別子と短縮後のリフレッシュ周期の値とにより、図１３（ｃ）に示すチャンネル切替え指示７が行なわれた後、４番目に復号される画像（（ｎ＋４）の時に復号される画像）が短縮後の最初のリフレッシュ周期の後尾画像であると特定できる。
【００６６】
そして、多重部２０５は、リフレッシュ情報生成部２０４により生成されたリフレッシュ情報を、符号化部２０１により符号化されたＣＨ２のストリーム３２に多重化して、リフレッシュ情報が多重化されたＣＨ２のストリーム３２を、動画像受信装置７０へ送信する。
【００６７】
ここで、上記リフレッシュ情報がＣＨ２のストリーム３２の中のどの位置に多重化されるのかについて、図１５を用いて説明する。図１５は、ＣＨ２のストリーム３２のデータ構成を示す図であって、図１５に示すように、ＣＨ２のストリーム３２のデータは階層構造になっている。そして、図１５に示すように、本実施の形態１では、リフレッシュ情報は、上記階層構造において、短縮後の最初のリフレッシュ周期の先頭ピクチャのユーザデータ（User Data）領域に格納されて、ＣＨ２のストリーム３２に多重化される。なお、ここでは、ＣＨ２のストリーム３２の構成及び、そのＣＨ２のストリーム３２へのリフレッシュ情報の多重のされ方を説明したが、ＣＨ１のストリーム３１の構成も上述したＣＨ２のストリーム３２の構成と同様であって、リフレッシュ情報のＣＨ１のストリーム３１への多重のされ方も、リフレッシュ情報のがＣＨ２のストリーム３２への多重のされ方と同様である。
【００６８】
ユーザデータ領域は、３２ｂｉｔのユーザデータスタートコードで始まり、次のスタートコードが開始するまで８ｂｉｔ毎にユーザが自由にデータを格納することができる領域である。ユーザデータ領域は様々な目的で使用されるので、リフレッシュ情報が格納されていることを判別するための識別子を付加する。その識別子の長さは例えば１６ｂｉｔである。よってこの場合、３２ｂｉｔのユーザデータスタートコードと、１６ｂｉｔのリフレッシュ情報識別子と、８ｂｉｔのリフレッシュ周期の値とで構成される５６ｂｉｔのリフレッシュ情報が、ＣＨ２のストリーム３２に多重化される。
【００６９】
さて、動画像送信装置６２の多重部２０５が、リフレッシュ情報を多重化してリフレッシュ周期が短縮されたＣＨ２のストリーム３２を送信すると、そのＣＨ２のストリーム３２は、動画像受信装置７０により受信される。
【００７０】
動画像受信装置７０では、リフレッシュ情報抽出部３１０が、ＣＨ２のストリーム３２を解析し、解析中にユーザデータ領域を検出すると（図１４のステップ６０３）、ユーザデータ領域からリフレッシュ情報を取り出し（図１４のステップ６０４）、短縮後の最初のリフレッシュ周期の先頭ピクチャ（短縮後の最初のリフレッシュ周期の先頭画像）の情報と、短縮後のリフレッシュ周期の値とを取得する。そして、リフレッシュ情報抽出部３１０は、取得したリフレッシュ周期の値を、表示制御部３０９内のカウンタにセットし（図１４のステップ６０５）、表示制御部３０９内のカウンタは、復号化部３０１がピクチャ単位で行なう復号化処理と同期してカウントを行なう（図１４のステップ６０６）。つまり、上記カウンタは、時間ではなく、ピクチャ単位（画像単位）でカウントのタイミングを取る。表示制御部３０９は、上記カウンタによるカウントが終了したら（図１４のステップ６０７）、スイッチ３０６により出力画像６の取出し先をフレームメモリ３０２からフレームメモリ３０３に切り替える（図１４のステップ６０８）。
【００７１】
このような出力画像６の取出し先の切替えにより、図１３（ｄ）に示すように、図１３（ｃ）に示す（ｎ＋４）の時にリフレッシュが終了し、その（ｎ＋４）の時に復号される画像（チャンネル切替え指示７が行なわれた後、４番目に復号される画像）以降のＣＨ２のストリーム３２に基づく出力画像６が、（ｎ＋５）の時からモニタ８へ出力されそのモニタ８により表示される。
【００７２】
なお、図１３（ｄ）に示すように、チャンネル切替え指示７が出されたときから（ｎ＋４）の時までは、ＣＨ２のストリーム３２の画像全体を復号した画像を出力することはできないので、チャンネル切替え指示７が出されたときにモニタ８に表示された画像が表示され続ける。
【００７３】
従来は、図６を用いて説明したように、動画像受信装置５は短縮されたリフレッシュ周期の後尾画像（終了時）を知ることができなかった。そのため、従来の動画像受信装置５は、チャンネル切替え指示７により選択されたＣＨ２のストリーム３２に基づく画像をモニタ８へ出力し、その画像をモニタ８により表示を開始させるのに、そのチャンネル切替え指示７に基づく変更後のＣＨ２のストリーム３２のリフレッシュ周期の短縮が終了した後さらに余分な時間を待たなければならなかった。つまり、従来は、図６（ｄ）に示すように、リフレッシュ周期が短縮されたＣＨ２のストリーム３２に基づく画像は、（ｎ＋５）の時からモニタ８へ出力されモニタ８により表示されうる状態であったにもかかわらず、（ｎ＋８）の時からモニタ８へ出力されモニタ８により表示されていた。
【００７４】
それに対して、本実施の形態１では、動画像送信装置６２は、リフレッシュ周期の短縮を要求するリフレッシュ指示がなされた場合、短縮後の最初のリフレッシュ周期の後尾画像を特定するリフレッシュ情報を送信するので、動画像受信装置７０は短縮されたリフレッシュ周期の終了時を知ることができる。そのため、本実施の形態１の動画像受信装置７０は、チャンネル切替え指示７により選択されたＣＨ２のストリーム３２に基づく画像を出力し表示させ始めるのに、そのチャンネル切替え指示７に基づく変更後のＣＨ２のストリーム３２のリフレッシュ周期の短縮が終了した後余分な時間を待たずに、その終了時の画像、つまり短縮後の最初のリフレッシュ周期の後尾画像から、ＣＨ２のストリーム３２に基づく出力画像をモニタ８へ出力し表示可能となる。したがって、図１３（ｄ）と図６（ｄ）とを比較すると明らかなように、本実施の形態１においては、リフレッシュ周期が短縮されたＣＨ２のストリーム３２に基づく画像は、従来より３フレーム分の期間前の（ｎ＋５）の時から、モニタ８へ出力されモニタ８により表示される、という効果が得られる。
【００７５】
なお、上述した実施の形態１では、ＣＨ２のストリーム３２からＣＨ１のストリーム３１へのチャンネル切替えの場合について説明したが、ＣＨ１のストリーム３１からＣＨ２のストリーム３２へのチャンネル切替えの場合についても、上記の場合と同様の効果が得られる。すなわち、図１６に示すように、チャンネル切替え指示７に基づく変更後のＣＨ１のストリーム３１のリフレッシュ周期の短縮が終了した後余分な時間を待たずに、その終了時の画像、つまり短縮後の最初のリフレッシュ周期の後尾画像から、ＣＨ１のストリーム３１に基づく出力画像６がモニタ８へ出力されそのモニタ８により表示可能となる。
【００７６】
また、上述した実施の形態１では、リフレッシュ制御部２０３がリフレッシュ指示４２を受けた場合、そのリフレッシュ制御部２０３による制御に基づいて、リフレッシュ情報生成部２０４は、短縮後の最初のリフレッシュ周期の後尾画像を特定できる情報として、短縮後の最初のリフレッシュ周期が始まる画像の識別子と、短縮後のリフレッシュ周期を特定する短縮後のリフレッシュ周期の値とで構成されるリフレッシュ情報を生成するとした。つまり、リフレッシュ情報生成部２０４は、短縮後の最初のリフレッシュ周期の先頭画像を特定する情報の一例としての上記識別子と、短縮後のリフレッシュ周期の長さを特定する情報の一例としての上記リフレッシュ周期の値とで構成されるリフレッシュ情報を生成するとした。
【００７７】
しかしながら、リフレッシュ情報生成部２０４は、リフレッシュ情報を生成する際、短縮後の最初のリフレッシュ周期の後尾画像を直接的に特定する情報をリフレッシュ情報として生成してもよい。
【００７８】
又は、リフレッシュ情報生成部２０４は、リフレッシュ情報として、短縮後の最初のリフレッシュ周期の先頭画像を特定する情報のみをリフレッシュ情報として生成してもよい。ただしこの場合、短縮後の最初のリフレッシュ周期の先頭画像は分かるが、短縮後の最初のリフレッシュ周期の後尾画像がどの画像であるかが不明である。そこで、短縮後のリフレッシュ周期の長さ（例えばフレーム数、又は時間）を予め決めておき、図１７に示すように、その予め決められた短縮後のリフレッシュ周期の長さを記憶する記憶部３１１を動画像受信装置７０内に設けておく。そして、表示制御部３０９は、記憶部３１１に記憶されている上記予め決められた短縮後のリフレッシュ周期の長さに基づくとともに、リフレッシュ情報抽出部３１０からの短縮後の最初のリフレッシュ周期の先頭画像を特定する情報を利用して、短縮後の最初のリフレッシュ周期の後尾画像を特定し、その後尾画像以降の画像をモニタ８へ出力し表示させる。
【００７９】
このようにしても、チャンネル切替え指示７により新たに選択されたストリームに基づく画像をモニタ８へ出力しモニタ８により表示を開始させるのに、その新たに選択されたストリームのリフレッシュ周期の短縮が終了した後余分な時間を待たずに、短縮後の最初のリフレッシュ周期の後尾画像から、新たに選択されたストリームに基づく出力画像をモニタ８へ出力し表示可能となる。
【００８０】
また、上述した実施の形態１では、図１３及び図１５に示すように、リフレッシュ指示４１，４２が出された場合、その直後の１リフレッシュ周期分の符号化データのみが、それまでよりもリフレッシュ周期が短縮されるとしたが、リフレッシュ周期の短縮は、リフレッシュ指示４１，４２が出された直後の１リフレッシュ周期分の符号化データのみに限定されるものではない。リフレッシュ指示４１，４２が出されたら、その後のストリームにおいて、リフレッシュ周期の短縮は続いてもよい。要するに、リフレッシュ指示４１，４２が出されたら、少なくとも１リフレッシュ周期分の符号化データについて、リフレッシュ周期がそれまでよりも短縮されさえすればよい。
【００８１】
そして、動画像送信装置６１，６２は、短縮したリフレッシュ周期を元に戻す場合、短縮したリフレッシュ周期が１周期経過した後であれば、いつ元に戻してもかまわない。また、動画像受信装置７０がリフレッシュ周期を元に戻す時を指示し、その指示に基づいて、動画像送信装置６１，６２は、短縮したリフレッシュ周期を元に戻してもよい。
【００８２】
また、上述した実施の形態１では、ＣＨ１のストリーム３１及びＣＨ２のストリーム３２は、図１を用いて説明したように、入力動画像１１又は入力動画像１２がイントラスライスを含むＰピクチャのみで構成されるように圧縮符号化された符号化データであるとした。しかしながら、ＣＨ１のストリーム３１又はＣＨ２のストリーム３２は、イントラスライスを含むＰピクチャとイントラスライスを含まないＰピクチャとで構成されるように圧縮符号化されてもよい。その場合、リフレッシュ指示４１，４２が出されたら、イントラスライスを含むＰピクチャの符号化データが、少なくとも１リフレッシュ周期分できるだけ早く出力され、そのリフレッシュ周期が、通常時のリフレッシュ周期の長さよりも短くなることが必要となる。
【００８３】
また、上述した実施の形態１では、ＣＨ１のストリーム３１及びＣＨ２のストリーム３２を用いて、チャンネル１から２へのチャンネル切替え指示７がなされた場合について説明した。しかしながら、ストリームの数は上記のＣＨ１のストリーム３１とＣＨ２のストリーム３２との二つに限定されるものではない。三つ以上のストリームが存在する場合、チャンネル切替え指示７に従って選択されたチャンネルのストリームがスイッチ３０４により選択され、選択されたストリームを送信している動画像送信装置にリフレッシュ指示が出される。そして、リフレッシュ指示が出された動画像送信装置は、上記動画像送信装置６１又は上記動画像送信装置６２と同様に、リフレッシュ周期を短縮するとともに、短縮後の最初のリフレッシュ周期の後尾画像を特定するリフレッシュ情報を付加してストリームを送信する。そうすると、動画像受信装置は、上記リフレッシュ情報を利用することにより、上記のように短縮後の最初のリフレッシュ周期の後尾画像から画像をモニタへ出力しモニタにより表示させることができる。
【００８４】
また、上述した実施の形態１では、図１５を用いて説明したように、リフレッシュ情報はユーザデータ領域に格納されてストリームに多重化されるとした。そのユーザデータ領域は自由に実装できる領域なので、リフレッシュ情報をストリーム中に付加できない従来の動画像送信装置２１，２２、と、本実施の形態１の動画像送信装置６１，６２とを組み合わせた場合でも、本実施の形態１の動画像受信装置７０は誤動作しない。
【００８５】
（実施の形態２）
次に、本発明の実施の形態２の動画像送受信システムについて説明する。
【００８６】
本実施の形態２と上述した実施の形態１とは、リフレッシュ情報の内容のみが相違する。つまり、本実施の形態２では、リフレッシュ情報として、短縮後のリフレッシュ周期の後尾画像を特定するピクチャ番号を用い、そのリフレッシュ情報を用いて、短縮後の最初のリフレッシュ周期の後尾画像を特定する。したがって、本実施の形態２の動画像送受信システム、動画像送信装置、及び動画像受信装置の構成は、実施の形態１と同様のため説明は省略する。
【００８７】
図１８に、本発明の実施の形態２の動画像送信装置によりストリーム中に多重化されるリフレッシュ情報の位置と構造を示す。本実施の形態２では、リフレッシュ情報として、短縮後の最初のリフレッシュ周期の後尾画像を特定するピクチャ番号が用いられ、そのリフレッシュ情報は短縮後の最初のリフレッシュ周期の先頭ピクチャのユーザデータ領域に格納されてストリーム中に多重化される。
【００８８】
上記の短縮後の最初のリフレッシュ周期の後尾画像を特定するピクチャ番号として、ピクチャ層のテンポラルリファレンスを使用する。テンポラルリファレンスはＧＯＰ層でリセットされる０〜１０２３までの１０２４個の連続した数字である。イントラスライスによるリフレッシュを行なうストリームでは、後にＩピクチャが必要なＧＯＰヘッダは使用できないので、上記テンポラルリファレンスは、短縮後の最初のリフレッシュ周期の終了を通知するために使用するのに充分な値である。なお、上記テンポラルリファレンスは１０ｂｉｔのデータである。したがって、本実施の形態２では、リフレッシュ情報は、３２ｂｉｔのユーザデータスタートコードと、１６ｂｉｔのリフレッシュ情報識別子と、１０ｂｉｔの上記短縮後の最初のリフレッシュ周期の後尾画像を特定するピクチャ番号とで構成される５８ｂｉｔの情報となる。
【００８９】
以下に、図１９に示すフローチャート用いて、本実施の形態２における動画像送受信システムの動作を説明する。なお、本実施の形態２でも、上記実施の形態１の場合と同様に、図１３（ｄ）に示すように、スイッチ３０４によりＣＨ１のストリーム３１が選択されていて、そのＣＨ１のストリーム３１が復号されて出力画像６としてモニタ８へ出力されモニタ８により表示されているときに、ユーザがＣＨ２のストリーム３２の方が選択されるようにチャンネル切替え指示７を行なった場合を想定する（図１９のステップ７０１）。
【００９０】
この場合、動画像受信装置７０では、そのチャンネル切替え指示７に基づいて、スイッチ３０４によりＣＨ２のストリーム３２が選択されるとともに、リフレッシュ指示部３０８は、ＣＨ２のストリーム３２のリフレッシュ周期の短縮を要求するリフレッシュ指示４２を、ＣＨ２のストリーム３２に対応する動画像送信装置６２に送信する（図１９のステップ７０２）。
【００９１】
動画像送信装置６２では、リフレッシュ制御部２０３が、動画像受信装置７０からの上記リフレッシュ指示４２に基づいて、図１３（ｂ）に示すように、ＣＨ２のストリーム３２のリフレッシュ周期を、６フレーム分の期間から３フレーム分の期間に短縮させるように、符号化部２０１が行なう符号化を制御する。また、リフレッシュ制御部２０３は、上述したリフレッシュ情報を生成させるように、リフレッシュ情報生成部２０４を制御する。
【００９２】
このリフレッシュ制御部２０３による制御により、リフレッシュ情報生成部２０４は、上述したリフレッシュ情報を生成する。そのリフレッシュ情報により、図１３（ｃ）に示す（ｎ＋４）の時に復号される画像が短縮後の最初のリフレッシュ周期の後尾画像であると特定できる。
【００９３】
上記のようにリフレッシュ情報が生成されると、多重部２０５は、リフレッシュ情報生成部２０４により生成されたリフレッシュ情報を、符号化部２０１により符号化されたＣＨ２のストリーム３２に多重化して、リフレッシュ情報が多重化されたＣＨ２のストリーム３２を、動画像受信装置７０へ送信する。
【００９４】
そのＣＨ２のストリーム３２は、動画像受信装置７０により受信され、動画像受信装置７０において、リフレッシュ情報抽出部３１０が、ＣＨ２のストリーム３２を解析する。そして、リフレッシュ情報抽出部３１０は、その解析中にユーザデータ領域を検出すると（図１９のステップ７０３）、ユーザデータ領域からリフレッシュ情報を取り出し（図１９のステップ７０４）、短縮後の最初のリフレッシュ周期の後尾画像を特定するピクチャ番号を取得する。
【００９５】
そのピクチャ番号は表示制御部３０９へ送られ、表示制御部３０９は、送られてきたピクチャ番号と、復号化部３０１で復号化されている画像のピクチャ番号とを比較し（図１９のステップ７０５）、送られてきたピクチャ番号と等しいピクチャ番号を有する画像が出力画像６としてモニタ８へ出力されモニタ８により表示されるように、スイッチ３０６の選択を切り替える（図１９のステップ７０６）。これにより、チャンネルの切替え処理が完了する。
【００９６】
このように、本実施の形態２では、上述した実施の形態１と同様に、ユーザデータ領域を用いることでリフレッシュ情報をストリーム中に多重し、動画像受信装置がそのリフレッシュ情報を基にしてストリームの切替えタイミングを取るので、無駄な時間待ちをすることなくチャンネル切替えが実現できる、という効果が得られる。
【００９７】
また、上述した実施の形態２の場合、上記実施の形態１とは異なり、カウンタを使用しないで出力画像６の切替えタイミングが取れるので処理が簡素化できるという利点もある。
【００９８】
なお、上述した実施の形態２では、リフレッシュ情報として、短縮後の最初のリフレッシュ周期の後尾画像を特定するピクチャ番号を用いたが、その後尾画像の次の画像にあたる、次のリフレッシュ周期の先頭画像を特定するピクチャ番号を、リフレッシュ情報として用いても、上述した場合と同様の効果が得られる。要するに、リフレッシュ情報は、短縮後の最初のリフレッシュ周期の後尾画像を特定する情報でありさえすれば、上述した実施の形態２の場合の同様の効果が得られる。
【００９９】
（実施の形態３）
次に、本発明の実施の形態３の動画像送受信システムについて説明する。
【０１００】
本実施の形態３と上述した実施の形態１及び実施の形態２とは、リフレッシュ情報の内容のみが相違する。本実施の形態３では、リフレッシュ情報として、短縮後のリフレッシュ周期の先頭画像を特定する識別子を利用して、そのリフレッシュ情報を用いて、後述する方法により短縮後の最初のリフレッシュ周期の後尾画像を特定する。したがって、本実施の形態３の動画像送受信システム、動画像送信装置、及び動画像受信装置の構成は、実施の形態１と同様のため説明は省略する。
【０１０１】
図２０に、本発明の実施の形態３の動画像送信装置によりストリーム中に多重化されるリフレッシュ情報の位置と構造を示す。本実施の形態３では、リフレッシュ情報として、短縮後の最初のリフレッシュ周期の先頭画像を特定する識別子のみが用いられ、そのリフレッシュ情報は短縮後の最初のリフレッシュ周期の先頭ピクチャのユーザデータ領域に格納されてストリーム中に多重化される。
【０１０２】
そのため、本実施の形態３では、リフレッシュ情報は、３２ｂｉｔのユーザデータスタートコードと、１６ｂｉｔの上記識別子とで構成される４８ｂｉｔの情報となる。
【０１０３】
以下に、図２１に示すフローチャート用いて、本実施の形態３における動画像送受信システムの動作を説明する。なお、本実施の形態３でも、上述した実施の形態１及び実施の形態２の場合と同様に、図１３（ｄ）に示すように、スイッチ３０４によりＣＨ１のストリーム３１が選択されている状態で、そのＣＨ１のストリーム３１が復号されて出力画像６としてモニタ８へ出力されモニタ８により表示されているときに、ユーザがＣＨ２のストリーム３２の方が選択されるようにチャンネル切替え指示７を行なう場合を想定する（図２１のステップ８０１）。
【０１０４】
その場合、動画像受信装置７０では、そのチャンネル切替え指示７に基づいて、スイッチ３０４によりＣＨ２のストリーム３２が選択されるとともに、リフレッシュ指示部３０８は、ＣＨ２のストリーム３２のリフレッシュ周期の短縮を要求するリフレッシュ指示４２を、ＣＨ２のストリーム３２に対応する動画像送信装置６２に送信する（図２１のステップ８０２）。
【０１０５】
動画像送信装置６２では、リフレッシュ制御部２０３が、動画像受信装置７０からの上記リフレッシュ指示４２に基づいて、図１３（ｂ）に示すように、ＣＨ２のストリーム３２のリフレッシュ周期を、例えば６フレーム分の期間から３フレーム分の期間に短縮させるように、符号化部２０１が行なう符号化を制御する。また、リフレッシュ制御部２０３は、上述したリフレッシュ情報（上記識別子）を生成させるように、リフレッシュ情報生成部２０４を制御する。
【０１０６】
そして、多重部２０５は、リフレッシュ情報生成部２０４により生成されたリフレッシュ情報を、符号化部２０１により符号化されたＣＨ２のストリーム３２に多重化して、リフレッシュ情報が多重化されたＣＨ２のストリーム３２を、動画像受信装置７０へ送信する。
【０１０７】
そのＣＨ２のストリーム３２は、動画像受信装置７０により受信され、動画像受信装置７０において、リフレッシュ情報抽出部３１０が、ＣＨ２のストリーム３２を解析する。リフレッシュ情報抽出部３１０は、その解析中にユーザデータ領域を検出すると（図２１のステップ８０３）、表示制御部３０９内のカウンタに、予め決められている短縮後のリフレッシュ周期を特定する短縮後のリフレッシュ周期の値をセットする（図２１のステップ８０４）。表示制御部３０９内のカウンタは、上記実施の形態１において説明したように、復号化部３０１がピクチャ単位で行なう復号化処理と同期してカウントする（図２１のステップ８０５）。そして、上記カウンタによるカウントが終了したら（図２１のステップ８０６）、表示制御部３０９は、スイッチ３０６により出力画像６の取出し先をフレームメモリ３０２からフレームメモリ３０３に切り替える（図２１のステップ８０７）。
【０１０８】
そうすると、図１３（ｄ）に示すように、図１３（ｃ）に示す（ｎ＋４）の時にリフレッシュが終了し復号される画像以降のＣＨ２のストリーム３２に基づく出力画像６が、（ｎ＋５）の時からモニタ８へ出力されモニタ８により表示される。
【０１０９】
このように、本実施の形態３では、上述した実施の形態１及び実施の形態２と同様に、リフレッシュ情報がストリーム中に多重化されているので、動画像受信装置がそのリフレッシュ情報を基にしてストリームの切替えタイミングを取ることができ、その結果、無駄な時間待ちをすることなくチャンネル切替えが実現できる、という効果が得られる。
【０１１０】
また、上述した本実施の形態３の利点は、ストリーム中に多重するユーザデータの情報を最も簡潔にして実施できることである。
【０１１１】
（実施の形態４）
次に、本発明の実施の形態４の動画像送受信システムについて説明する。
【０１１２】
本実施の形態４では、上述した各実施の形態とは異なり、リフレッシュ情報はユーザデータ領域に格納されるのではなく、短縮後のリフレッシュ周期の先頭ピクチャにのみシーケンスヘッダを挿入することで、リフレッシュ情報を実現するものである。したがって、本実施の形態４の動画像送受信システム、動画像送信装置、及び動画像受信装置の構成は、実施の形態１と同様のため説明は省略する。
【０１１３】
図２２に、本発明の実施の形態４の動画像送信装置によりストリーム中に多重化されるリフレッシュ情報の位置を示す。本実施の形態４では、上記のようにシーケンスヘッダをリフレッシュ情報として使用する。シーケンスヘッダは通常、チャプターの頭出し等の目的で使用されるが、本実施の形態４では、以下で説明するように、短縮後のリフレッシュ周期の先頭ピクチャのところでのみシーケンスヘッダを挿入する。
【０１１４】
以下に、図２３に示すフローチャート用いて、本実施の形態４における動画像送受信システムの動作を説明する。なお、本実施の形態４でも、上記各実施の形態の場合と同様に、図１３（ｄ）に示すように、スイッチ３０４によりＣＨ１のストリーム３１が選択されていて、そのＣＨ１のストリーム３１が復号されて出力画像６としてモニタ８へ出力されモニタ８により表示されているときに、ユーザがＣＨ２のストリーム３２の方が選択されるようにチャンネル切替え指示７を行なったとする（図２３のステップ９０１）。
【０１１５】
そうすると、動画像受信装置７０では、そのチャンネル切替え指示７に基づいて、スイッチ３０４によりＣＨ２のストリーム３２が選択されるとともに、リフレッシュ指示部３０８は、ＣＨ２のストリーム３２のリフレッシュ周期の短縮を要求するリフレッシュ指示４２を、ＣＨ２のストリーム３２に対応する動画像送信装置６２に送信する（図２３のステップ９０２）。
【０１１６】
動画像送信装置６２では、リフレッシュ制御部２０３が、動画像受信装置７０からの上記リフレッシュ指示４２に基づいて、図１３（ｂ）に示すように、ＣＨ２のストリーム３２のリフレッシュ周期を、例えば６フレーム分の期間から３フレーム分の期間に短縮させるように、符号化部２０１が行なう符号化を制御する。また、リフレッシュ制御部２０３は、上述したリフレッシュ情報としてのシーケンスヘッダを生成させるように、リフレッシュ情報生成部２０４を制御する。
【０１１７】
そして、多重部２０５は、リフレッシュ情報生成部２０４により生成されたリフレッシュ情報としてのシーケンスヘッダを、符号化部２０１により符号化されたＣＨ２のストリーム３２に多重化して、リフレッシュ情報としてのシーケンスヘッダが多重化されたＣＨ２のストリーム３２を、動画像受信装置７０へ送信する。
【０１１８】
そのＣＨ２のストリーム３２は、動画像受信装置７０により受信され、動画像受信装置７０において、リフレッシュ情報抽出部３１０が、ＣＨ２のストリーム３２を解析する。リフレッシュ情報抽出部３１０は、その解析中にシーケンスヘッダを検出したら（図２３のステップ９０３）、そのシーケンスヘッダが検出されたという情報に基づいて、表示制御部３０９内のカウンタに、予め決められている短縮後のリフレッシュ周期を特定する短縮後のリフレッシュ周期の値をセットする（図２３のステップ９０４）。表示制御部３０９内のカウンタは、上記実施の形態１において説明したように、復号化部３０１がピクチャ単位で行なう復号化処理と同期してカウントを開始する（図２３のステップ９０５）。そして、上記カウンタによるカウントが終了したら（図２３のステップ９０６）、表示制御部３０９は、スイッチ３０６により出力画像６の取出し先をフレームメモリ３０２からフレームメモリ３０３に切り替える（図２３のステップ９０７）。
【０１１９】
そうすると、図１３（ｄ）に示すように、図１３（ｃ）に示す（ｎ＋４）の時にリフレッシュが終了し復号される画像以降のＣＨ２のストリーム３２に基づく出力画像６が、（ｎ＋５）の時からモニタ８へ出力されモニタ８により表示される。
【０１２０】
このように、本実施の形態４では、短縮後の最初のリフレッシュ周期の先頭ピクチャにリフレッシュ情報としてのシーケンスヘッダがストリーム中に多重化されており、動画像受信装置がそのシーケンスヘッダを基にしてストリームの切替えタイミングを取るので、無駄な時間待ちをすることなくチャンネル切替えが実現できる、という効果が得られる。
【０１２１】
また、上述した本実施の形態４では、本実施の形態４の動画像送信装置と従来の動画像送信装置との相違点がシーケンスヘッダの処理を行なうか否かという点であるので、本実施の形態４の動画像送信装置の従来の動画像送信装置からの修正が少なくてすむ、という利点もある。
【０１２２】
なお、上述した各実施の形態では、図１２を用いて説明したように、動画像受信装置７０では、リフレッシュ指示部３０８は、ユーザからのチャンネル切替え指示７に基づいて、リフレッシュ指示を行なうとした。しかしながら、リフレッシュ指示部３０８は、ユーザからのチャンネル切替え指示７に基づいて、リフレッシュ指示を行なうものであると限定されない。
【０１２３】
例えば、図２４に示すように、ＣＨ１〜ＣＨ４の四つのストリームが動画像受信装置７０に受信され、チャンネル切替制御部３１３が、ユーザからチャンネル切替え指示７が出された場合、上記ＣＨ１〜ＣＨ４の四つのストリームを例えば３０秒毎に順次切り替えるようにスイッチ３０４ａを制御するものとする。そして、チャンネル切替制御部３１３は、スイッチ３０４ａに対して上記ＣＨ１〜ＣＨ４の四つのストリームの切替えを制御する際に、スイッチ３０４ａの切替えにより選択されるストリームを送信する動画像送信装置にリフレッシュ周期を短縮させるためのリフレッシュ指示を出すように、リフレッシュ指示部３０８に対して指示するものとする。その場合、リフレッシュ指示部３０８は、ユーザからのチャンネル切替え指示７に基づいてリフレッシュ指示をするのではなく、チャンネル切替制御部３１３からの指示に基づいてリフレッシュ指示をすることになる。
【０１２４】
また、上述した各実施の形態では、図１０を用いて説明したように、動画像送受信システムは、動画像送信装置６１と、動画像送信装置６２と、動画像受信装置７０とで構成されるとした。しかしながら、図２５に示すように、動画像送受信システムは、図８を用いて説明した従来の動画像送受信システムと同様に、動画像送信装置６１と、動画像受信装置７０とで構成されてもよい。
【０１２５】
その場合、動画像送信装置６１がＣＨ１のストリーム３１を送信している状態で、動画像受信装置７０がそのＣＨ１のストリーム３１を受信していない場合、ユーザからの新規接続指示９に基づいて、動画像受信装置７０が、上記ＣＨ１のストリーム３１の受信を開始し、そのＣＨ１のストリーム３１に基づく画像をモニタ８へ出力しようとする状況を考える。
【０１２６】
そのとき、動画像受信装置７０は、ユーザから新規接続指示９を受けるときまでは、動画像送信装置６１からのＣＨ１のストリーム３１を受信していなかったので、ＣＨ１のストリーム３１をすぐに復号することはできない。そこで、なるべく早くＣＨ１のストリーム３１を復号できるようにするために、動画像受信装置７０は、ＣＨ１のストリーム３１のリフレッシュ周期の短縮を要求するリフレッシュ指示４１を、動画像送信装置６１に送信する。
【０１２７】
動画像送信装置６１は、そのリフレッシュ指示４１に基づいて、図２６（ａ）に示すように、リフレッシュ周期を例えば４フレーム分の期間から２フレーム分の期間に短縮して、入力動画像１１を符号化するとともに、上述したリフレッシュ情報をＣＨ１のストリーム３１に多重化して送信する。
【０１２８】
そうすると、図２６（ｃ）に示すように、動画像受信装置７０は、上記リフレッシュ情報を利用することにより、上述した各実施の形態の場合と同様に、短縮後の最初のリフレッシュ周期の後尾画像を知ることができる。その結果、動画像受信装置７０は、上記後尾画像が復号できたら、その後尾画像以降のＣＨ１のストリーム３１の画像をモニタ８へ出力しモニタ８により表示させることが可能となる。これにより、図９と比較すると明らかなように、表示開始時に乱れた画像が表示される時間が従来より短くなる。
【０１２９】
また、上述した各実施の形態では、ストリームへのリフレッシュ情報の多重化は、リフレッシュ周期が短縮された時に行なわれるとしたが、リフレッシュ周期変更時だけでなく、常時行なわれていてもかまわない。
【０１３０】
また、上述した各実施の形態では、ＣＨ１のストリーム３１においては、リフレッシュ周期は、リフレッシュ指示があるまでは４フレーム分の期間であり、リフレッシュ指示がされたら２フレーム分の期間に短縮され、ＣＨ２のストリーム３２においては、リフレッシュ周期は、リフレッシュ指示があるまでは６フレーム分の期間であり、リフレッシュ指示がされたら３フレーム分の期間に短縮されるとした。しかしながら、短縮後のリフレッシュ周期の長さは、動画像送信装置において任意に設定可能である。したがって、例えばＣＨ２のストリーム３２の場合であれば、リフレッシュ指示がされたら、リフレッシュ周期は、６フレーム分の期間から２フレーム分の期間に短縮されてもよく、短縮後のリフレッシュ期間の長さは限定されない。
【０１３１】
また、上述した各実施の形態では、説明の便宜上、イントラスライスを含む各Ｐピクチャはフレーム構造であるとしたが、フィールド構造であってもよい。
【０１３２】
このように、イントラスライスを含む各Ｐピクチャがフィールド構造である場合、ユーザからチャンネル切替え指示７が出されるまでは、動画像送信装置は、例えば図２７（ａ）に示すように、リフレッシュ周期を例えば８フィールド分の期間とし、１枚目の奇数フィールド（１Ｔ）→１枚目の偶数フィールド（１Ｂ）→２枚目の奇数フィールド（２Ｔ）→２枚目の偶数フィールド（２Ｂ）→３枚目の奇数フィールド（３Ｔ）→３枚目の偶数フィールド（３Ｂ）→・・・の順に、ストリームを構成する各フィールドを送信する。なお、図２７においては、各フィールド上の帯状に黒く塗りつぶされている部分はイントラスライスに基づく画像を示し、また、帯状の斜線部分はフレーム間順方向予測符号化されたスライスに基づく画像を示しており、黒く塗りつぶされてもおらず、斜線も付されていない空白のスライスは、データが存在しないことを示している。
【０１３３】
さてこのような場合、ユーザからチャンネル切替え指示７が出され、それにともなって動画像受信装置からリフレッシュ指示が出されると、動画像送信装置は、例えば図２７（ｂ）に示すように、リフレッシュ周期を例えば６フィールド分の期間に短縮して、ストリームを構成する各フィールドを順に送信する。その際、動画像送信装置は、上述した各実施の形態において説明したように、短縮後の最初のリフレッシュ周期の後尾画像を特定するリフレッシュ情報も送信する。つまり図２７（ｂ）の例では、ピクチャ３’Ｂピクチャが短縮後の最初のリフレッシュ周期の後尾画像（後尾フィールド）であるとするリフレッシュ情報を、動画像送信装置は送信する。
【０１３４】
このように、動画像送信装置は、リフレッシュ指示を受信すると、それまでよりもリフレッシュ周期を短縮するとともに、短縮後の最初のリフレッシュ周期の後尾画像を特定するリフレッシュ情報も送信するので、動画像受信装置は、短縮後の最初のリフレッシュ周期の後尾画像を知ることができる。そのため、動画像受信装置は、チャンネル切替え指示７により選択されたストリームに基づく画像（フィールド）をモニタへ出力しそのモニタにより表示させるのに、その選択されたストリームの短縮されたリフレッシュ周期の終了の後、余分な時間を待たなくてすむ。つまりこの場合、動画像受信装置は、短縮後の最初のリフレッシュ周期の後尾画像（後尾フィールドであるピクチャ３’Ｂ）から、そのストリームに基づく画像（フィールド）をモニタへ出力しそのモニタにより表示させることが可能になる。
【０１３５】
また、チャンネル切替え指示７が行なわれた場合に限らず、新規接続指示９が行なわれた場合も、上記と同様に、動画像送信装置はリフレッシュ情報を送信し、動画像受信装置は、短縮後の最初のリフレッシュ周期の後尾画像（後尾フィールド）から、そのストリームに基づく画像（フィールド）をモニタへ出力しそのモニタにより表示させることが可能になる。
【０１３６】
また、上述した各実施の形態における動画像送信装置６１，６２及び動画像受信装置７０の各構成要素は、ハードウェアで構成されていてもよいし、ソフトウェアで構成されていてもよい。
【０１３７】
さらに、上述した各実施の形態における動画像送信装置６１，６２及び動画像受信装置７０の全部又は一部の構成要素としてコンピュータを機能させるためのプログラムを、所定のコンピュータに適用し、そのコンピュータで、上述した各実施の形態における動画像送信装置６１，６２及び動画像受信装置７０の全部又は一部の構成要素の機能を実現することも可能である。なお、上記プログラムの使用の実施態様の具体例としては、ＣＤ−ＲＯＭ等の記録媒体に上記プログラムを記録することや、そのプログラムが記録された記録媒体を譲渡することや、インターネット等における通信手段で上記プログラムを通信すること等が含まれる。また、コンピュータに、上記プログラムをインストールすることも含まれる。
【０１３８】
【発明の効果】
以上説明したところから明らかなように、本発明は、外部からのリフレッシュ指示に基づいてリフレッシュ周期を短縮して符号化データを生成するとともに、短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報を上記符号化データとともに送信する動画像送信装置を提供することができる。
【０１３９】
また、本発明は、リフレッシュ周期を短縮して符号化データを送信する動画像送信装置からの、上記符号化データとともに送信されてくる短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報に基づいて、短縮後の最初のリフレッシュ周期の後尾画像から外部の表示装置に画像表示させることができる動画像受信装置を提供することができる。
【０１４０】
さらに、本発明は、上記の短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報を符号化データとともに送信する動画像送信装置と、その動画像送信装置からの、上記符号化データとともに送信されてくる短縮後の最初のリフレッシュ周期の終了時を特定することができるリフレッシュ情報に基づいて、短縮後の最初のリフレッシュ周期の後尾画像から外部の表示装置に画像表示させることができる動画像受信装置とを有する動画像送受信システムを提供することができる。
【０１４１】
このように、本発明によれば、動画像送信装置が符号化データ中にリフレッシュ情報を多重化し、動画像受信装置が符号化データ中からリフレッシュ情報を抽出し、表示タイミングを制御することにより、チャンネル切替え時や新規接続時に短い時間で、チャンネル切替えや新規接続に対応する符号化データに基づく画像が表示可能となるという有利な効果が得られる。
【図面の簡単な説明】
【図１】イントラスライスの説明図
【図２】従来の動画像送受信システムの構成図
【図３】従来の動画像送信装置のブロック図
【図４】従来の動画像受信装置のブロック図
【図５】従来のチャンネル切替えの手順を示したフローチャート
【図６】従来のチャンネル切替え時のピクチャの変遷を示した第１の図
【図７】従来のチャンネル切替え時のピクチャの変遷を示した第２の図
【図８】従来の動画像送受信システムの構成図
【図９】従来の新規接続時のピクチャの変遷を示した図
【図１０】本発明の実施の形態の動画像送受信システムの構成図
【図１１】本発明の実施の形態の動画像送信装置のブロック図
【図１２】本発明の実施の形態の動画像受信装置のブロック図
【図１３】本発明の実施の形態におけるチャンネル切替え時のピクチャの変遷を示した第１の図
【図１４】本発明の実施の形態１におけるチャンネル切替えの手順を示したフローチャート
【図１５】本発明の実施の形態１におけるリフレッシュ情報の位置と構造を示した図
【図１６】本発明の実施の形態におけるチャンネル切替え時のピクチャの変遷を示した第２の図
【図１７】本発明の実施の形態の動画像受信装置のブロック図
【図１８】本発明の実施の形態２におけるリフレッシュ情報の位置と構造を示した図
【図１９】本発明の実施の形態２におけるチャンネル切替えの手順を示したフローチャート
【図２０】本発明の実施の形態３におけるリフレッシュ情報の位置と構造を示した図
【図２１】本発明の実施の形態３におけるチャンネル切替えの手順を示したフローチャート
【図２２】本発明の実施の形態３におけるリフレッシュ情報の位置と構造を示した図
【図２３】本発明の実施の形態３におけるチャンネル切替えの手順を示したフローチャート
【図２４】本発明の実施の形態の動画像受信装置のブロック図
【図２５】本発明の実施の形態の動画像送受信システムの構成図
【図２６】本発明の実施の形態における新規接続時のピクチャの変遷を示した図
【図２７】本発明の実施の形態の、フィールドで構成されるストリームのリフレッシュ周期が短縮されたときの表示開始フィールドを説明する図
【符号の説明】
６ 出力画像
７ チャンネル切替え指示
８ モニタ
１１，１２ 入力動画像
３１ ＣＨ１のストリーム
３２ ＣＨ２のストリーム
４１，４２ リフレッシュ指示
５１，５２ カメラ
６１，６２ 動画像送信装置
７０ 動画像受信装置
２０１ 符号化部
２０３ リフレッシュ制御部
２０４ リフレッシュ情報生成部
２０５ 多重部
３０１ 復号化部
３０２，３０３ フレームメモリ
３０４，３０５，３０６ スイッチ
３０８ リフレッシュ指示部
３０９ 表示制御部
３１０ リフレッシュ情報抽出部
Claims (12)
- 画像上のイントラスライスが設けられる場所が連続する画像毎に順次ずらされたフレーム間順方向予測符号化画像を少なくとも一部に含む動画像を送信する動画像送信装置と、前記動画像送信装置からの前記動画像を受信する動画像受信装置とを有する動画像送受信システムにおいて、
前記動画像送信装置に、前記動画像受信装置からのリフレッシュ指示に基づいて、前記イントラスライスが設けられる場所が移動するリフレッシュ周期が短くなるように、フレーム間順方向予測符号化画像の生成を制御するリフレッシュ制御部と、前記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の後尾画像を特定することができるリフレッシュ情報を生成するリフレッシュ情報生成部と、前記リフレッシュ情報を前記動画像に多重する多重部とを備え、
前記動画像受信装置に、所定の指示に基づいて、前記動画像送信装置に対して、前記イントラスライスが設けられる場所が移動するリフレッシュ周期を短くさせるための前記リフレッシュ指示を行なうリフレッシュ指示部と、前記動画像送信装置から得られた前記リフレッシュ情報に基づいて、前記後尾画像以降のいずれかの画像から、前記動画像を所定の表示装置に表示させる表示制御部とを備えた
動画像送受信システム。 - 画像上のイントラスライスが設けられる場所が連続する画像毎に順次ずらされたフレーム間順方向予測符号化画像を少なくとも一部に含む動画像を送信する動画像送信装置において、
外部からのリフレッシュ指示に基づいて、前記イントラスライスが設けられる場所が移動するリフレッシュ周期が短くなるように、フレーム間順方向予測符号化画像の生成を制御するリフレッシュ制御部と、
前記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の後尾画像を特定することができるリフレッシュ情報を生成するリフレッシュ情報生成部と、
前記リフレッシュ情報を前記動画像に多重する多重部とを
備えた動画像送信装置。 - 前記リフレッシュ制御部は、前記リフレッシュ指示に基づいて、前記イントラスライスの幅が広くなるように、フレーム間順方向予測符号化画像の生成を制御する、請求項２に記載の動画像送信装置。
- 前記リフレッシュ情報は、前記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の後尾画像を特定する情報である請求項２に記載の動画像送信装置。
- 前記リフレッシュ情報は、前記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の先頭画像を特定する情報と、短くなった前記リフレッシュ周期の長さの情報とで構成される情報である請求項２に記載の動画像送信装置。
- 前記リフレッシュ情報は、前記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の先頭画像を特定する情報である請求項２に記載の動画像送信装置。
- 所定の動画像送信装置からの、画像上のイントラスライスが設けられる場所が連続する画像毎に順次ずらされたフレーム間順方向予測符号化画像を少なくとも一部に含む動画像を受信する動画像受信装置において、
所定の指示に基づいて、前記動画像送信装置に対して、前記イントラスライスが設けられる場所が移動するリフレッシュ周期を短くさせるためのリフレッシュ指示を行なうリフレッシュ指示部と、
前記動画像送信装置から得られた、前記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の後尾画像を特定することができるリフレッシュ情報に基づいて、前記後尾画像以降のいずれかの画像から、前記動画像を所定の表示装置に表示させる表示制御部とを
備えた動画像受信装置。 - 前記リフレッシュ情報は、前記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の後尾画像を特定する情報である請求項７に記載の動画像受信装置。
- 前記リフレッシュ情報は、前記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の先頭画像を特定する情報と、短くなった前記リフレッシュ周期の長さの情報とで構成される情報である請求項７に記載の動画像受信装置。
- 前記リフレッシュ周期が短くなったときのリフレッシュ周期の長さの情報を記憶している記憶部を備え、
前記リフレッシュ情報は、前記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の先頭画像を特定する情報であって、
前記表示制御部は、前記記憶部に記憶されている前記リフレッシュ周期の長さの情報をも利用して、前記後尾画像以降のいずれかの画像から、前記動画像を前記表示装置に表示させる
請求項７に記載の動画像受信装置。 - 画像上のイントラスライスが設けられる場所が連続する画像毎に順次ずらされたフレーム間順方向予測符号化画像を少なくとも一部に含む動画像を送信するためのプログラムにおいて、
外部からのリフレッシュ指示に基づいて、前記イントラスライスが設けられる場所が移動するリフレッシュ周期が短くなるように、フレーム間順方向予測符号化画像の生成を制御するリフレッシュ制御部と、
前記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の後尾画像を特定することができるリフレッシュ情報を生成するリフレッシュ情報生成部と、前記リフレッシュ情報を前記動画像に多重する多重部としてコンピュータを機能させるためのプログラム。 - 所定の動画像送信装置からの、画像上のイントラスライスが設けられる場所が連続する画像毎に順次ずらされたフレーム間順方向予測符号化画像を少なくとも一部に含む動画像を受信するためのプログラムにおいて、
所定の指示に基づいて、前記動画像送信装置に対して、前記イントラスライスが設けられる場所が移動するリフレッシュ周期を短くさせるためのリフレッシュ指示を行なうリフレッシュ指示部と、
前記動画像送信装置から得られた、前記リフレッシュ周期が短くなった後の最初のリフレッシュ周期の後尾画像を特定することができるリフレッシュ情報に基づいて、前記後尾画像以降のいずれかの画像から、前記動画像を所定の表示装置に表示させる表示制御部としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002182921A JP3852838B2 (ja) | 2001-06-25 | 2002-06-24 | 動画像送受信システム、動画像送信装置、及び動画像受信装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-190979 | 2001-06-25 | ||
| JP2001190979 | 2001-06-25 | ||
| JP2002182921A JP3852838B2 (ja) | 2001-06-25 | 2002-06-24 | 動画像送受信システム、動画像送信装置、及び動画像受信装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003087800A JP2003087800A (ja) | 2003-03-20 |
| JP3852838B2 true JP3852838B2 (ja) | 2006-12-06 |
Family
ID=26617480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002182921A Expired - Fee Related JP3852838B2 (ja) | 2001-06-25 | 2002-06-24 | 動画像送受信システム、動画像送信装置、及び動画像受信装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3852838B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4492518B2 (ja) * | 2005-10-24 | 2010-06-30 | 日本電気株式会社 | エンコーダ装置、そのストリーム切り替え制御方法、およびコーデック装置 |
| JP4724061B2 (ja) * | 2006-07-06 | 2011-07-13 | 株式会社東芝 | 動画像符号化装置 |
| JP4851911B2 (ja) | 2006-10-23 | 2012-01-11 | 富士通株式会社 | 符号化装置、符号化プログラムおよび符号化方法 |
| JP4710887B2 (ja) * | 2007-08-09 | 2011-06-29 | ソニー株式会社 | 画像処理装置、及び、画像処理装置の制御方法 |
| JP5700728B2 (ja) * | 2013-11-18 | 2015-04-15 | 株式会社メガチップス | 画像符号化装置 |
| JP6027158B2 (ja) * | 2015-02-26 | 2016-11-16 | 株式会社日立国際電気 | 符号化装置を備えた映像切替装置および符号化方法を含む映像切替方法 |
-
2002
- 2002-06-24 JP JP2002182921A patent/JP3852838B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003087800A (ja) | 2003-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4547149B2 (ja) | モザイクを符号化する方法及び装置 | |
| KR100313354B1 (ko) | 압축넌인터레이스주사비디오신호제공장치및압축해제장치 | |
| US7027713B1 (en) | Method for efficient MPEG-2 transport stream frame re-sequencing | |
| KR101178811B1 (ko) | 중복된 비디오 스트림을 사용하여 ｄｓｌ을 통한 디지털 비디오 방송 시스템에서의 고속 채널 변경 방법 및 장치 | |
| JP5029062B2 (ja) | 多視点動画像伝送システム | |
| US6295321B1 (en) | Video decoding method, video decoder and digital TV system using the video decoding method and video decoder | |
| JP2006510303A (ja) | モザイク番組案内方法 | |
| JP2015171114A (ja) | 動画像符号化装置 | |
| JP3852838B2 (ja) | 動画像送受信システム、動画像送信装置、及び動画像受信装置 | |
| JP3744017B2 (ja) | 画像デコーダ | |
| JP5791451B2 (ja) | 符号化装置およびプログラム | |
| WO2011108146A1 (ja) | 画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法 | |
| JPH11168729A (ja) | 画像復号化装置及び画像復号化方法 | |
| JPH07327228A (ja) | ディジタル符号化・伝送システム | |
| WO1996033573A1 (en) | Device and method for coding moving image | |
| JP2007166022A (ja) | 映像表示システム及び映像表示装置 | |
| JP4789127B2 (ja) | 画像配信方法、画像記録方法、およびそれらのプログラム | |
| JPH1070727A (ja) | 動画像伝送方法および動画像伝送装置 | |
| JP2002010263A (ja) | 動画像符号化装置および動画像符号化方法 | |
| KR100626419B1 (ko) | 비디오 전송에서 비트 스트림들간의 교환 | |
| JP2914368B1 (ja) | 時報に合わせた動画像信号符号化方法及び装置 | |
| JP4451022B2 (ja) | 画像配信方法、画像復号化方法、およびそれらのプログラム | |
| JP2001309337A (ja) | 画像送信装置 | |
| JP2004193961A (ja) | 映像伝送システム | |
| JP2003092752A (ja) | 多重化装置、多重化方法、画像復号装置、画像復号方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060901 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060901 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3852838 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |