JPH10117354A - 動画伝送システム - Google Patents

Abstract

(57)【要約】 【課題】 映像信号を、所定の画像フォーマットを有す
る画像データに変換して、フレーム間予測符号化して伝
送中、高速に画像フォーマットを切り替えることができ
る動画像伝送システムを提供する。 【解決手段】 伝送中、ある画像フォーマットへフォー
マットが切り替えられた場合、拡大縮小処理部１１０
は、符号化側参照フレームメモリ１０４に記憶された予
測データを、拡大／縮小処理して、そのフォーマットを
有するデータに変換し、拡大縮小処理部１５８は、復号
化側参照フレームメモリ１５５に記憶された予測データ
を、拡大／縮小処理して、そのフォーマットを有するデ
ータに変換する。そして、フォーマット切り替え時に
も、画像データをフレーム間予測符号化して伝送する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画伝送システム
に関し、より特定的には、テレビ会議やテレビ電話など
の動画像を伝送する動画伝送システムに関する。

【０００２】

【従来の技術】従来、テレビ会議やテレビ電話などの動
画像の符号化では、フレーム方向には、フレーム間の相
関性を利用するフレーム間予測とフレーム内直交変換と
を組み合わせたハイブリッド符号化を行うのが一般的で
ある。１秒間に３０枚の画像（フレーム）で構成される
テレビ動画像は時間軸方向の相関性が高いため、フレー
ム間の相関性を利用して１フレーム前の画面中の同一位
置の画素を予測に用いることにすれば、画面が静止して
いる場合に、最も理想的な予測が行えることになる。し
かし、フレーム間予測符号化において、画面中に動きが
ある場合には、逆に、フレーム間の相関性が低くなり、
むしろ、フィールド内の隣接画素間の相関性に比べても
より低くなってしまう。

【０００３】一方、一つのフレーム内では、各画素は、
それに隣接する画素とのレベル差が小さく、隣接画素間
の相関性が高い。その自己相関関数は、負の指数関数で
近似できるとされている。このとき、自己相関関数のフ
ーリエ変換である電力スペクトル密度は、ゼロ周波数成
分（直流）で最大となり、周波数成分が高くなるにつれ
て単調減少する性質を持っている。周波数領域への直交
変換として最もよく知られているのはフーリエ変換であ
るが、フーリエ変換は複素数演算を含んでいるため、構
成が複雑になることから、画像の符号化では、これに代
わる直交変換として２次元ＤＣＴ（離散コサイン変換）
を用いるのが一般的である。

【０００４】２次元ＤＣＴにより得られた変換係数はそ
れぞれ量子化され、無意係数であるレベルゼロと、有意
係数であるレベル±１からレベル±Ｋまでの整数とで表
現される。そして、無意係数の連続性を符号化するラン
レングス符号化と、生起確率に応じて各有意係数に可変
長符号を割り当てるハフマン符号化とにより、画像デー
タが圧縮される。例えば、ＩＴＵ−Ｔ勧告Ｈ．２６１で
は、以下で説明するように、動きが小さい画像に対し
て、動き補償フレーム間予測を適用して、フレーム間の
予測誤差を符号化し、動きが大きい画像に対しては、フ
レーム間予測を適用せずに、フレーム画素を直接符号化
するよう定められている。

【０００５】図４は、ＩＴＵ−Ｔ勧告Ｈ．２６１に定め
られた方式を用いた、従来の動画伝送装置の構成の一例
を示すブロック図である。図４の装置は、符号化装置４
０１、伝送路１４１および復号化装置４５１を備えてい
る。符号化装置４０１は、画像データ生成部１０２、入
力フレームメモリ１０３、符号化側参照フレームメモリ
１０４、符号化部１０５、復号化部１０６、符号化制御
部１０７、多重化部１０８および送信制御部１０９を含
む。復号化装置４５１は、受信制御部１５２、分離部１
５３、復号化部１５４、復号化側参照フレームメモリ１
５５、出力フレームメモリ１５６および映像信号生成部
１５７を含む。

【０００６】画像データ生成部１０２は、映像信号（Ｎ
ＴＳＣ信号）を、画像フォーマット信号に基づいて、Ｃ
ＩＦ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏ
ｒｍａｔ；共通中間フォーマット）またはＱＣＩＦ（Ｑ
ｕａｒｔｅｒ ＣＩＦ）のいずれかのフォーマットを有
する画像データに変換する。入力フレームメモリ１０３
は、画像データを１フレーム分記憶する。符号化側参照
フレームメモリ１０４は、参照フレームの画像データ
（以下、予測データ）を記憶する。符号化部１０５は、
画像データをフレーム間予測符号化またはフレーム内予
測符号化する。

【０００７】復号化部１０６は、符号化済み画像データ
を復号化する。符号化制御部１０７は、フレーム間予測
符号化またはフレーム内予測符号化を選択し、選択に応
じて、符号化部１０５、復号化部１０６および多重化部
１０８の動作を制御する。多重化部１０８は、符号化済
み画像データと、動き補償に用いた動きベクトルや画像
フォーマット信号などのサイド情報とを多重化する。送
信制御部１０９は、伝送路１４１を介して、多重化され
たデータを復号化装置４５１側に送信する。

【０００８】受信制御部１５２は、符号化装置４０１側
から送信された、多重化されたデータを受信する。分離
部１５３は、多重化されたデータを符号化済み画像デー
タとサイド情報とに分離する。復号化部１５４は、符号
化済み画像データを復号化する。復号化側参照フレーム
メモリ１５５は、予測データを記憶する。出力フレーム
メモリ１５６は、画像データを１フレーム分記憶する。
映像信号生成部１５７は、画像データ（ＣＩＦデータま
たはＱＣＩＦデータ）を、サイド情報に含まれる画像フ
ォーマット信号に基づいて、映像信号に変換する。

【０００９】なお、ＣＩＦおよびＱＣＩＦの各フォーマ
ットは、地域によるテレビジョン方式の違いを解消し、
すべてのコーディック間で、相手の方式を意識すること
なく通信できるように決められたフォーマットである。
図５に、ＣＩＦおよびＱＣＩＦのフォーマットを示す。

【００１０】以下には、図４のシステムの動作について
説明する。映像信号は、画像データ生成部１０２におい
て、画像フォーマット信号に基づいて、ＣＩＦまたはＱ
ＣＩＦのいずれかのフォーマットを有する画像データに
変換された後、入力フレームメモリ１０３に記憶され
る。符号化部１０５は、入力フレームメモリ１０３が記
憶している画像データと符号化側参照フレームメモリ１
０４が記憶している予測データとの差分をとることによ
り、フレーム間の予測誤差を算出する。その際、画像の
動きは、２次元動きベクトルを用いて動き補償される
が、この動きベクトルが画像データとともに復号化部１
０６に送られる。ただし、符号化制御部１０７は、動き
補償が利かないような大きな動きに対しては、予測をし
ないフレーム内予測符号化を選択する。

【００１１】復号化部１０６は、符号化側参照フレーム
メモリ１０４の予測データのうち、復号化しようとする
ブロックからこの動きベクトルだけずらした領域のデー
タに基づいて、画像データの復号化を行う。符号化部１
０５は、予測誤差およびフレーム画素を８画素×８ライ
ンの６４ブロックに分割して、各ブロックに対して２次
元ＤＣＴを施すことにより、各ブロックの画素データを
周波数成分に変換し、さらに、その変換係数を量子化す
る。なお、量子化により、各変換係数は、無意係数であ
るレベル０と、有意係数であるレベル±１からレベル±
１２７までの整数とで表現される。

【００１２】量子化された画像データは、符号化済み画
像データとして多重化部１０８に送られるが、同時に、
復号化部１０６において逆量子化および逆２次元ＤＣＴ
により逆変換され、符号化側参照フレームメモリ１０４
が記憶している予測データに加算される。そして、加算
して得られたデータが次の予測データとして符号化側参
照フレームメモリ１０４に記憶される。多重化部１０８
は、符号化済み画像データと動き補償に用いた動きベク
トルや画像フォーマット信号などのサイド情報とを多重
化し、送信制御部１０９が、多重化されたデータを伝送
路１４１へ出力する。

【００１３】復号化装置４５１では、受信制御部１５２
が多重化されたデータを伝送路１４１から受信すると、
分離部１５３は、そのデータをサイド情報と符号化済み
画像データとに分離する。復号化部１５４は、符号化済
み画像データを逆量子化し、さらに逆２次元ＤＣＴによ
り逆変換する。次に、復号化部１５４は、逆変換して得
た画像データに、サイド情報に含まれる動きベクトルを
用いて動き補償を施した後、復号化側参照フレームメモ
リ１５５から予測データを取得して加算する。そして、
加算して得られた出力画像データは、次の予測データと
して、復号化側参照フレームメモリ１５５に記憶され
る。

【００１４】ただし、画像データがフレーム内データの
場合には、予測データは加算されずに、画像データが直
接逆変換されて出力画像データとして取り出され、復号
化側参照フレームメモリ１５５に記憶される。復号化部
１５４が出力する出力画像データはまた、出力フレーム
メモリ１５６に一時記憶された後、映像信号生成部１５
７において映像信号に変換され、出力される。

【００１５】上記のように、図４の装置は、画像フォー
マット信号の指示に従って、映像信号を、ＣＩＦまたは
ＱＣＩＦのいずれかのフォーマットを有する画像データ
に変換して、通常、フレーム間予測符号化して伝送する
が、伝送中に画像フォーマットが切り替えられた際、一
時的に、符号化済み画像データのフォーマットと、復号
化側参照フレームメモリ１５５に記憶されている予測デ
ータのそれとの不一致が生じ、また、画像データのフォ
ーマットと、符号化側参照フレームメモリ１０４に記憶
されている予測データのそれとの不一致が生じる。この
ため、図４の装置は、フォーマット切り替え時には、フ
レーム間予測符号化を行うことができない。そこで、図
４の装置は、フォーマット切り替え時には、フレーム内
予測符号化を行うとともに、復号化側参照フレームメモ
リ１５５および符号化側参照フレームメモリ１０４の予
測データをリフレッシュする。

【００１６】また、スチル画像をより高精度に伝送する
方法としては、特開平７−２３３５４号公報に記載され
たものが知られている。図６は、上記公報に記載され
た、従来の画像伝送システムの構成を示すブロック図で
ある。図６（Ａ）に示すように、上記システムの送信部
１は、主要な構成要素として、Ａ／Ｄ変換部１１、符号
化部１２、多重化部１３、ユーザデータ処理部１４、多
重分離化部１５およびホストＣＰＵ部１６を備えてい
る。また、図６（Ｂ）に示すように、上記システムの受
信部２は、主な構成要素として、多重分離化部２１、復
号化部２２、Ｄ／Ａ変換部２３、モニタ２４、多重化部
２５、ユーザデータ処理部２６、操作部２７およびホス
トＣＰＵ部２８を備えている。

【００１７】以下には、図６のシステムにおいて、受信
側がスチル画像（動画像のうちの一枚の静止画像）を得
る動作について説明する。受信部２のホストＣＰＵ部２
８は、操作部２７からストップモーション指令信号を与
えられると、復号化部２２に対してストップモーション
指令信号を与えるとともに、ユーザデータ処理部２６に
対してもストップモーション指令信号を与える。応じ
て、ユーザデータ処理部２６は、多重化部２５に指示し
て、ＬＳＤにストップモーション指令制御信号を多重化
して回線３に出力させる。

【００１８】送信部１では、受信部２からのストップモ
ーション指令信号が含まれているＬＳＤを多重分離化部
１５が取り込み、ユーザデータ処理部１４は、ホストＣ
ＰＵ部１６に指示して、多重分離化部１５が分離して得
られたストップモーション指令信号を符号化部１２に向
けて送信させることにより、フレームメモリ１２ａへの
データ書き込みの更新を停止させる。送信側の符号化に
おいてフレームメモリ１２ａへのデータの書き込みが停
止されると、次のフレーム間差分信号の情報量が減るた
め、より量子化精度の高い符号化が可能となり、従っ
て、ストップモーション画像の精度を向上させることが
できる。

【００１９】

【発明の解決しようとする課題】しかし、図４のシステ
ムでは、画像フォーマット切り替え時には、フレーム内
予測符号化が行われるため、発生符号量が多くなる。例
えば、テレビ会議の上半身画像ような、動きの少ない動
画像を伝送する場合、フレーム間予測符号化を行うと、
発生符号量は１フレームにつき数キロバイト程度である
が、フレーム内予測符号化を行えば、その４倍近くの十
数キロバイトが発生することが知られている。そのた
め、画像フォーマットを切り替えてから次のフレームが
表示されるまでに時間がかかり、フォーマットの切り替
えが高速に行えないという問題があった。

【００２０】従って、本発明の目的は、映像信号を、互
いに解像度が異なる２以上の画像フォーマットのうち、
いずれかのフォーマットを有する画像データに変換し
て、フレーム間予測符号化して伝送中、画像フォーマッ
トを高速に切り替えることができる動画伝送システムを
提供することである。

【００２１】また、図６のシステムを、６４Ｋｂｐｓ以
下の低ビットレートの回線を通信路とするテレビ電話、
例えば、アナログ電話回線と２８．８Ｋｂｐｓのモデム
とを組み合わせて通信路とするテレビ電話や、ＰＨＳ用
の３２Ｋｂｐｓの無線回線を通信路とするテレビ電話な
どで実現する場合、動画像を伝送するために、画像フォ
ーマットとしてＱＣＩＦ（解像度１７６画素×１４４ラ
イン）が採用される。この場合、当然ながら、スチル画
像の解像度もＱＣＩＦのものと同等になるが、視覚上、
動画像に要求される解像度とスチル画像に要求される解
像度とが異なるため、図６のシステムでは、満足できる
画質のスチル画像が得られない。なお、上記の程度の低
ビットレートで動画像を伝送しようとすると、ＱＣＩＦ
を用いない場合には、５フレーム／秒程度の簡易な動画
像さえ得られにくい。

【００２２】つまり、低ビットレートで動画像を伝送し
つつ、しかも、満足できる画質のスチル画像を得るため
には、スチル画像のフォーマットを動画像のそれよりも
高解像度のものにして伝送する必要がある。この場合、
受信側は、スチル要求が発生すると送信側にその意を通
知し、応じて、送信側は、フォーマットの切り替えを行
った後、スチル画像を再度、送信することになるため、
スチル要求が発生してからスチル画像が表示されるまで
に時間がかかるという問題が生じる。

【００２３】従って、本発明の他の目的は、通常、低ビ
ットレートで動画像を伝送し、受信側のスチル要求に応
じて、速やかに、高解像度なスチル画像を表示させるこ
とができる動画伝送システムを提供することである。

【００２４】

【課題を解決するための手段および発明の効果】第１の
発明は、互いに解像度が異なる２以上の画像フォーマッ
トが設定されており、映像信号を、当該フォーマットの
うち、いずれかのフォーマットを有する画像データに変
換して、通常、フレーム間予測符号化して伝送する動画
伝送システムであって、受信側には、伝送中、ある画像
フォーマットへフォーマットが切り替えられた場合、フ
レーム間予測符号化済み画像データを復号化する際に参
照される予測データを、拡大／縮小処理して、当該フォ
ーマットを有するデータに変換する第１の拡大縮小処理
手段が設けられ、送信側には、伝送中、ある画像フォー
マットへフォーマットが切り替えられた場合、画像デー
タをフレーム間予測符号化する際に参照される予測デー
タを、拡大／縮小処理して、当該フォーマットを有する
データに変換する第２の拡大縮小処理手段が設けられ、
フォーマット切り替え時にも、画像データをフレーム間
予測符号化して伝送することを特徴としている。

【００２５】上記のように、第１の発明では、互いに解
像度が異なる２以上の画像フォーマットが設定されてお
り、映像信号を、当該フォーマットのうち、いずれかの
フォーマットを有する画像データに変換して、通常、フ
レーム間予測符号化して伝送する。伝送中、ある画像フ
ォーマットへフォーマットが切り替えられた場合、受信
側に設けられた第１の拡大縮小処理手段は、フレーム間
予測符号化済み画像データを復号化する際に参照される
予測データを、拡大／縮小処理して、当該フォーマット
を有するデータに変換し、送信側に設けられた第２の拡
大縮小処理手段は、画像データをフレーム間予測符号化
する際に参照される予測データを、拡大／縮小処理し
て、当該フォーマットを有するデータに変換する。

【００２６】このように、フォーマット切り替え時に
も、フレーム間予測符号化済み画像データのフォーマッ
トと、当該データを復号化する際に参照される予測デー
タのそれとを一致させ、かつ、画像データのフォーマッ
トと、当該データをフレーム間予測符号化する際に参照
される予測データのそれとを一致させたことにより、フ
レーム間予測符号化を行うことができ、従って、フォー
マット切り替え時にフレーム内予測符号化を行うのに比
べて、より高速に、画像フォーマットを切り替えること
ができる。

【００２７】第２の発明は、互いに解像度が異なる２以
上の画像フォーマットが設定されており、映像信号を、
当該フォーマットのうち、いずれかのフォーマットを有
する画像データに変換して伝送する動画伝送システムで
あって、受信側には、ある解像度へ解像度を切り替える
よう指示するための解像度切り替え命令を送出する解像
度切り替え命令送出手段が設けられ、送信側には、解像
度切り替え命令送出手段が送出した解像度切り替え命令
を受信する解像度切り替え命令受信手段が設けられ、映
像信号を、受信側が指示した解像度に対応する画像フォ
ーマットを有する画像データに変換して伝送することを
特徴としている。

【００２８】上記のように、第２の発明では、互いに解
像度が異なる２以上の画像フォーマットが設定されてお
り、映像信号を、当該フォーマットのうち、いずれかの
フォーマットを有する画像データに変換して伝送する。
伝送中、受信側に設けられた解像度切り替え命令送出手
段は、ある解像度へ解像度を切り替えるよう指示するた
めの解像度切り替え命令を送出する。送信側に設けられ
た解像度切り替え命令受信手段は、解像度切り替え命令
送出手段が送出した解像度切り替え命令を受信する。そ
して、映像信号を、受信側が指示した解像度に対応する
画像フォーマットを有する画像データに変換して伝送す
る。

【００２９】これにより、受信側が指示して、解像度を
切り替えることができる。

【００３０】第３の発明は、第２の発明において、受信
側には、スチル要求が発生した場合、当該要求に応じ
て、任意のスチル画像が表示されるよう、映像信号の出
力動作を制御するスチル制御手段がさらに設けられてお
り、解像度切り替え命令送出手段は、スチル要求が発生
した場合、より高い解像度へ解像度を切り替えるよう指
示するための解像度切り替え命令を送出することを特徴
としている。

【００３１】上記のように、第３の発明では、スチル要
求が発生した場合、受信側に設けられた解像度切り替え
命令送出手段が、より高い解像度へ解像度を切り替える
よう指示するための解像度切り替え命令を送出すると、
送信側に設けられた解像度切り替え命令受信手段は、解
像度切り替え命令送出手段が送出した解像度切り替え命
令を受信する。そして、映像信号を、受信側が指示し
た、より高い解像度に対応する画像フォーマットを有す
る画像データに変換して伝送する。受信側に設けられた
スチル制御手段は、スチル要求に応じて、任意のスチル
画像が表示されるよう、映像信号の出力動作を制御す
る。

【００３２】このように、スチル要求が発生した場合、
受信側が、より高い解像度へ解像度を切り替えるよう指
示する。そして、送信側から受信側へ、映像信号を、よ
り高い解像度に対応する画像フォーマットを有する画像
データに変換して伝送する。受信側では、映像信号の出
力動作を制御して、要求されたスチル画像が表示される
ようにする。これにより、受信側が指示して、高解像度
なスチル画像を表示させることができる。

【００３３】第４の発明は、互いに解像度が異なる２以
上の画像フォーマットが設定されており、映像信号を、
当該フォーマットのうち、いずれかのフォーマットを有
する画像データに変換して、通常、フレーム間予測符号
化して伝送する動画伝送システムであって、受信側に
は、ある解像度へ解像度を切り替えるよう指示するため
の解像度切り替え命令を送出する解像度切り替え命令送
出手段と、伝送中、ある画像フォーマットへフォーマッ
トが切り替えられた場合、フレーム間予測符号化済み画
像データを復号化する際に参照される予測データを、拡
大／縮小処理して、当該フォーマットを有するデータに
変換する第１の拡大縮小処理手段とが設けられ、送信側
には、解像度切り替え命令送出手段が送出した解像度切
り替え命令を受信する解像度切り替え命令受信手段と、
伝送中、ある画像フォーマットへフォーマットが切り替
えられた場合、画像データをフレーム間予測符号化する
際に参照される予測データを、拡大／縮小処理して、当
該フォーマットを有するデータに変換する第２の拡大縮
小処理手段とが設けられ、映像信号を、受信側が指示し
た解像度に対応する画像フォーマットを有する画像デー
タに変換して、フォーマット切り替え時にも、フレーム
間予測符号化して伝送することを特徴としている。

【００３４】上記のように、第４の発明では、互いに解
像度が異なる２以上の画像フォーマットが設定されてお
り、映像信号を、当該フォーマットのうち、いずれかの
フォーマットを有する画像データに変換して、通常、フ
レーム間予測符号化して伝送する。伝送中、受信側に設
けられた解像度切り替え命令送出手段が、ある解像度へ
解像度を切り替えるよう指示するための解像度切り替え
命令を送出すると、送信側に設けられた解像度切り替え
命令受信手段は、その解像度切り替え命令を受信する。
受信側が指定する解像度に対応する画像フォーマットへ
画像フォーマットが切り替えられると、受信側では、第
１の拡大縮小処理手段が、フレーム間予測符号化済み画
像データを復号化する際に参照される予測データを、拡
大／縮小処理して、当該フォーマットを有するデータに
変換し、送信側では、第２の拡大縮小処理手段が、画像
データをフレーム間予測符号化する際に参照される予測
データを、拡大／縮小処理して、当該フォーマットを有
するデータに変換する。

【００３５】これにより、受信側が指示して、解像度を
切り替えることができる。また、解像度切り替え時に
も、フレーム間予測符号化済み画像データのフォーマッ
トと、当該データを復号化する際に参照される予測デー
タのそれとを一致させ、かつ、画像データのフォーマッ
トと、当該データをフレーム間予測符号化する際に参照
される予測データのそれとを一致させたことにより、フ
レーム間予測符号化を行うことができ、従って、解像度
切り替え時にフレーム内予測符号化を行うのに比べて、
より高速に、解像度を切り替えることができる。

【００３６】第５の発明は、第４の発明において、受信
側には、スチル要求が発生した場合、当該要求に応じ
て、任意のスチル画像が表示されるよう、映像信号の出
力動作を制御するスチル制御手段がさらに設けられてお
り、解像度切り替え命令送出手段は、スチル要求が発生
した場合、より高い解像度へ解像度を切り替えるよう指
示するための解像度切り替え命令を送出することを特徴
としている。

【００３７】上記のように、第５の発明では、スチル要
求が発生した場合、受信側に設けられた解像度切り替え
命令送出手段が、より高い解像度へ解像度を切り替える
よう指示するための解像度切り替え命令を送出する。送
信側に設けられた解像度切り替え命令受信手段は、解像
度切り替え命令送出手段が送出した解像度切り替え命令
を受信する。より高い解像度に対応する画像フォーマッ
トへフォーマットが切り替えられると、受信側では、第
１の拡大縮小処理手段が、フレーム間予測符号化済み画
像データを復号化する際に参照される予測データを、拡
大／縮小処理して、当該フォーマットを有するデータに
変換し、送信側では、第２の拡大縮小処理手段が、画像
データをフレーム間予測符号化する際に参照される予測
データを、拡大／縮小処理して、当該フォーマットを有
するデータに変換する。

【００３８】これにより、受信側が指示して、高解像度
なスチル画像を表示させることができる。また、解像度
切り替え時にも、フレーム間予測符号化済み画像データ
のフォーマットと、当該データを復号化する際に参照さ
れる予測データのそれとを一致させ、かつ、画像データ
のフォーマットと、当該データをフレーム間予測符号化
する際に参照される予測データのそれとを一致させたこ
とにより、フレーム間予測符号化を行うことができ、従
って、解像度切り替え時にフレーム内予測符号化を行う
のに比べて、より高速に、スチル画像を表示させること
ができる。

【００３９】

【発明の実施の形態】

（第１の実施形態）以下、本発明の第１の実施形態につ
いて、図面を参照しながら説明する。図１は、本発明の
第１の実施形態に係る動画伝送システムの構成を示すブ
ロック図である。図１のシステムは、符号化装置１０
１、伝送路１４１および復号化装置１５１を備えてい
る。符号化装置１０１は、図４の符号化装置４０１にお
いて、拡大縮小処理部１１０をさらに含む。復号化装置
１５１は、図４の復号化装置４５１において、拡大縮小
処理部１５８をさらに含む。

【００４０】拡大縮小処理部１１０および１５８は、画
像フォーマット信号に基づいて、それぞれ符号化側参照
フレームメモリ１０４、復号化側参照フレームメモリ１
５５に記憶された予測データを拡大縮小処理する。他の
構成要素は、図４におけるものと同様の動作を行う。

【００４１】以下には、画像フォーマットが切り替わる
際の、図１のシステムの動作について説明する。なお、
画像フォーマットが切り替わる際以外の、図１のシステ
ムの動作は、図４のシステムのものと同様であるので、
ここでは説明を省略する。画像フォーマット信号がフォ
ーマットの切り替えを指示すると、画像データ生成部１
０２は、映像信号を、他方の画像フォーマットを有する
画像データに変換して、入力フレームメモリ１０３に記
憶させる。また、拡大縮小処理部１１０は、符号化側参
照フレームメモリ１０４から予測データを読み出して、
そのデータを、他方のフォーマットを有するデータに変
換した後、再び、符号化側参照フレームメモリ１０４に
記憶させる。

【００４２】すなわち、拡大縮小処理部１１０は、画像
フォーマット信号の指示により画像フォーマットがＣＩ
ＦからＱＣＩＦへ切り替えられる際、符号化側参照フレ
ームメモリ１０４に記憶されている参照フレームの解像
度が、縦横それぞれ元のものの半分になるよう縮小処理
し、ＱＣＩＦからＣＩＦへ切り替えられる際には、解像
度が縦横それぞれ元のものの２倍になるよう拡大処理す
る。

【００４３】ここで、縮小処理の方法として、例えば、
図７に示すように、横方向で１ドットごとに、縦方向で
は１ラインごとに、それぞれドットを間引く方法や、図
８に示すように、縦横各２ドットの、計４ドットの値を
平均して、４ドットを１ドットに変換する方法などがあ
る。また、拡大処理の方法としては、例えば、図９に示
すように、単純に１ドットを４ドットに変換する方法
や、図１０に示すように、隣り合うドットの値を平均し
て、ドットを補間する方法などがある。

【００４４】次に、符号化部１０５は、入力フレームメ
モリ１０３に記憶された、フォーマット切り替え後の画
像データと、符号化側参照フレームメモリ１０４に記憶
された、フォーマット切り替え後の予測データとを用い
て符号化を行う。符号化済み画像データは、多重化部１
０８においてサイド情報を多重された後、送信制御部１
０９を経て、復号化装置１５１側へ送信される。また、
符号化済み画像データは、復号化部１０６で復号化さ
れ、さらに、符号化側参照フレームメモリ１０４の予測
データに加算される。そして、加算して得られたデータ
が、新たな予測データとして、符号化側参照フレームメ
モリ１０４に記憶される。

【００４５】復号化装置１５１では、受信制御部１５２
が、符号化装置１０１側から伝送路１４１を介して送信
されたデータを受信する。受信されたデータは、分離部
１５３において、符号化済み画像データとサイド情報と
に分離される。拡大縮小処理部１５８は、サイド情報に
含まれる画像フォーマット信号がフォーマットの切り替
えを指示した場合に、符号化装置１０１側の拡大縮小処
理部１１０と同様にして、復号化側参照フレームメモリ
１５５から予測データを読み出して、そのデータを、他
方のフォーマットを有するデータに変換した後、復号化
側参照フレームメモリ１５５に再び記憶させる。

【００４６】復号化部１５４は、復号化側参照フレーム
メモリ１５５に記憶されている予測データを用いて、分
離して得られた符号化済み画像データを復号化する。復
号化して得られた画像データは、出力フレームメモリ１
５６に一時記憶される。そして、映像信号生成部１５７
は、出力フレームメモリ１５６に記憶されている画像デ
ータを映像信号に変換して出力する。復号化して得られ
た画像データはまた、新たな予測データとして、復号化
側参照フレームメモリ１５５に記憶される。

【００４７】以上のように、本実施形態では、互いに解
像度が異なる二つの画像フォーマット（ＱＩＦおよびＱ
ＣＩＦ）が設定されており、映像信号を、当該フォーマ
ットのうち、いずれかのフォーマットを有する画像デー
タに変換して、通常、フレーム間予測符号化して伝送す
る。伝送中、他方のフォーマットへフォーマットが切り
替えられた場合、受信側に設けられた拡大縮小処理部１
５８は、復号化側参照フレームメモリ１５５に記憶され
ている予測データを、拡大／縮小処理して、そのフォー
マットを有するデータに変換する。一方、送信側に設け
られた拡大縮小処理部１１０は、符号化側参照フレーム
メモリ１０４に記憶されている予測データを、拡大／縮
小処理して、そのフォーマットを有するデータに変換す
る。

【００４８】このように、画像フォーマット切り替え時
にも、フレーム間予測符号化済み画像データのフォーマ
ットと、復号化側参照フレームメモリ１５５に記憶され
た予測データのそれとを一致させ、かつ、画像データの
フォーマットと、符号化側参照フレームメモリ１０４に
記憶された予測データのそれとを一致させたことによ
り、フレーム間予測符号化を行うことができ、従って、
フォーマット切り替え時にフレーム内予測符号化を行う
のに比べて、より高速に、画像フォーマットを切り替え
ることができる。

【００４９】なお、システムの構成は、図１のものに限
定されない。例えば、静止画の伝送機能や音声の伝送機
能などが追加されたり、また、双方向に画像を伝送する
よう、送信側と受信側とが相互に図１と同様の構成を備
えていてもよい。

【００５０】（第２の実施形態）以下、本発明の第２の
実施形態について、図面を参照しながら説明する。図２
は、本発明の第２の実施形態に係る動画伝送システムの
構成を示すブロック図である。図２のシステムは、符号
化装置２０１、伝送路１４１および復号化装置２５１を
備えている。符号化装置２０１は、図１の符号化装置１
０１において、解像度切り替え命令受信部２０２をさら
に含む。復号化装置２５１は、図１の復号化装置１５１
において、解像度切り替え命令送出部２５２およびコマ
ンド入力部２５３をさらに含む。

【００５１】コマンド入力部２５３は、入力されるコマ
ンドに応じて、低解像度から高解像度への切り替えを命
じる解像度切り替え命令、または、高解像度から低解像
度への切り替えを命じる解像度切り替え命令を出力す
る。解像度切り替え命令送出部２５２は、コマンド入力
部２５３が出力する命令を、伝送路１４１を介して、符
号化装置２０１側に送出する。解像度切り替え命令受信
部２０２は、復号化装置２５１側から送出された解像度
切り替え命令を受信し、かつ、画像データ生成部１０２
および拡大縮小処理部１１０に対して、画像フォーマッ
ト信号を送信することにより、画像フォーマットの切り
替えを指示する。他の構成要素は、図１におけるものと
同様の動作を行う。

【００５２】以下には、受信側の指示で解像度を切り替
える際の、図２のシステムの動作について説明する。な
お、受信側の指示で解像度を切り替える際以外の、図２
のシステムの動作は、図１のシステムのものと同様であ
るので、ここでは説明を省略する。コマンド入力部２５
３は、例えば、オペレータがボタンを押すたびに、低解
像度から高解像度へ解像度の切り替えを指示する解像度
切り替え命令と、高解像度から低解像度へ解像度の切り
替えを指示する解像度切り替え命令とを交互に出力する
装置である。伝送中、コマンド入力部２５３が上記のい
ずれかの解像度切り替え命令を出力すると、解像度切り
替え命令送出部２５２は、伝送路１４１を介して、その
命令を符号化装置２０１側に向けて送出する。

【００５３】復号化装置２５１側から送出された解像度
切り替え命令を受信すると、解像度切り替え命令受信部
２０２は、画像データ生成部１０２および拡大縮小処理
部１１０に対して、画像フォーマット信号を送信するこ
とにより、画像フォーマットの切り替えを指示する。以
降、第１の実施形態と同様にして、拡大縮小処理部１１
０が符号化側参照フレームメモリ１０４に記憶されてい
る予測データの拡大または縮小処理を行った後、符号化
部１０５は、画像フォーマット切り替え後の、入力フレ
ームの画像データと予測データとの差分を符号化する。
そして、送信制御部１０９は、符号化済み画像データ
を、サイド情報とともに、復号化装置２５１側へ向けて
送出する。

【００５４】復号化装置２５１は、符号化装置２０１側
から符号化済み画像データとともに送出されたサイド情
報により、画像フォーマットが切り替えられたことを知
ると、第１の実施形態と同様にして、拡大縮小処理部１
５８が復号化側参照フレームメモリ１５５に記憶されて
いる予測データの拡大／縮小処理を行った後、復号化部
１５４は、拡大／縮小処理された予測データを用いて、
符号化済み画像データを復号化する。そして、映像信号
生成部１５７が、解像度が切り替わった映像信号を出力
する。

【００５５】以上のように、本実施形態では、互いに解
像度が異なる二つの画像フォーマット（ＣＩＦおよびＱ
ＣＩＦ）が設定されており、映像信号を、これらのフォ
ーマットのうち、いずれかのフォーマットを有する画像
データに変換して、通常、フレーム間予測符号化して伝
送する。伝送中、受信側で解像度切り替え要求が発生し
た場合、受信側に設けられた解像度切り替え命令送出部
２５２が解像度切り替え命令を送出し、送信側に設けら
れた解像度切り替え命令受信部２０２は、その命令を受
信する。他方の解像度に対応する画像フォーマットへフ
ォーマットが切り替えられると、受信側では、拡大縮小
処理部１５８が、復号化側参照フレームメモリ１５５に
記憶されている予測データを、拡大／縮小処理して、そ
のフォーマットを有するデータに変換し、送信側では、
拡大縮小処理部１１０が、符号化側参照フレームメモリ
１０４に記憶されている予測データを、拡大／縮小処理
して、そのフォーマットを有するデータに変換する。

【００５６】これにより、受信側が指示して、解像度を
切り替えることができる。また、解像度切り替え時に
も、フレーム間予測符号化済み画像データのフォーマッ
トと、復号化側参照フレームメモリ１５５に記憶された
予測データのそれとを一致させ、かつ、画像データのフ
ォーマットと、符号化側参照フレームメモリ１０４に記
憶された予測データのそれとを一致させたことにより、
フレーム間予測符号化を行うことができ、従って、解像
度切り替え時にフレーム内予測符号化を行うのに比べ
て、より高速に、解像度を切り替えることができる。

【００５７】なお、本実施形態では、解像度切り替え時
にも、フレーム間予測符号を行うようにしているが、拡
大縮小処理部１５８および拡大縮小処理部１１０を設け
ずに、フレーム内予測符号化を行うようにしてもよい。
この場合、高速に解像度を切り替えることはできないも
のの、受信側が指示して、解像度を切り替えることがで
きる。

【００５８】また、システムの構成は、図２のものに限
定されない。例えば、静止画の伝送機能や、音声の伝送
機能などが追加されたり、また、双方向に画像を伝送す
るよう、送信側と受信側とが相互に図２と同様の構成を
備えていてもよい。

【００５９】（第３の実施形態）以下、本発明の第３の
実施形態について、図面を参照しながら説明する。図３
は、本発明の第３の実施形態に係る動画伝送システムの
構成を示すブロック図である。図３のシステムは、符号
化装置２０１、伝送路１４１および復号化装置３５１を
備えている。復号化装置３５１は、図２の復号化装置２
５１において、コマンド入力部２５３に代えてコマンド
入力部３５２を含み、かつ、スチル制御部３５３および
スイッチ３５４をさらに含む。

【００６０】コマンド入力部３５２は、オペレータが入
力するコマンドに応じて、スチル画像を表示するよう指
示する命令（以下、スチル要求命令）を出力する。スチ
ル制御部３５３は、コマンド入力部３５２からスチル要
求命令を受信すると、解像度切り替え命令送出部２５２
に指示して、画像フォーマット信号を送出させる。スイ
ッチ３５４は、解像度が切り替えられた直後の１フレー
ムが出力フレーム１５６に書き込まれた直後に、復号化
部１５４と出力フレームメモリ１５６との接続を切り離
す。他の構成要素は、図２のものと同様の動作を行う。

【００６１】以下には、受信側の指示でスチル画像を伝
送する際の、図３のシステムの動作について説明する。
なお、受信側の指示でスチル画像を伝送する際以外の、
図３のシステムの動作は、図２システムのものと同様で
あるので、ここでは説明を省略する。コマンド入力部３
５２は、例えば、オペレータがボタンを押すと、スチル
要求命令を出力するような装置である。低解像度の動画
を伝送中、コマンド入力部３５２がスチル要求命令を出
力すると、スチル制御部３５３は、解像度切り替え命令
送出部２５２に指示して、低解像度から高解像へ解像度
を切り替えるよう指示する解像度切り替え命令を符号化
装置２０１側に向けて送出させる。符号化装置２０１の
解像度切り替え命令受信部２０２は、復号化装置３５１
側からの解像度切り替え命令を受信すると、画像データ
生成部１０２および拡大縮小処理部１１０に対して、画
像フォーマット信号を送信することにより、画像フォー
マットの切り替えを指示する。以降、符号化装置２０１
の動作は、第２の実施形態におけるものと同様である。

【００６２】復号化装置３５１は、符号化装置２０１側
から符号化済み画像データとともに送信されたサイド情
報により、画像フォーマットが切り替わったことを知る
と、拡大縮小処理部１５８は、復号化側参照フレームメ
モリ１５５から予測データを読み出して拡大処理を行っ
た後、再び、復号化側参照フレームメモリ１５５に記憶
させるとともに、スチル制御部３５３に対して、解像度
が切り替えられた旨を通知する。

【００６３】スチル制御部３５３は、解像度が切り替え
られた直後の１フレーム分のフレーム間予測符号化済み
画像データの復号化が終了して、出力フレームメモリ１
５６に書き込まれると、その直後、スイッチ３５４に指
示して、復号化部１５４と出力フレームメモリ１５６と
の間の接続を切り離させる。そして、映像信号生成部１
５７が、出力フレームメモリ１５６に記憶されている１
画像フレームを繰り返し読み出して出力することによ
り、高解像度な静止画像が表示される。

【００６４】以上のように、本実施形態では、互いに解
像度が異なる二つの画像フォーマット（ＱＩＦおよびＱ
ＣＩＦ）が設定されており、映像信号を、当該フォーマ
ットのうち、いずれかのフォーマットを有する画像デー
タに変換して、通常、フレーム間予測符号化して伝送す
る。低解像度の動画を伝送中、受信側でスチル要求が発
生した場合、受信側に設けられた解像度切り替え命令送
出部２５２が、より高い解像度へ解像度を切り替えるよ
う指示するための解像度切り替え命令を送出すると、送
信側に設けられた解像度切り替え命令受信部２０２は、
その命令を受信する。低解像度に対応する画像フォーマ
ット（すなわち、ＱＣＩＦ）から高解像度に対応する画
像フォーマット（すなわち、ＣＩＦ）へ、画像フォーマ
ットが切り替えられた際、受信側では、拡大縮小処理部
１５８が、復号化側参照フレームメモリ１５５に記憶さ
れた予測データを、拡大処理して、そのフォーマットを
有するデータに変換し、送信側では、拡大縮小処理部１
１０が、符号化側参照フレームメモリ１０４に記憶され
た予測データを、拡大処理して、そのフォーマットを有
するデータに変換する。

【００６５】これにより、受信側が指示して、高解像度
なスチル画像を表示させることができる。また、解像度
切り替え時にも、フレーム間予測符号化済み画像データ
のフォーマットと、復号化側参照フレームメモリ１５５
に記憶された予測データのそれとを一致させ、かつ、画
像データのフォーマットと、符号化側参照フレームメモ
リ１０４に記憶された予測データのそれとを一致させた
ことにより、フレーム間予測符号化を行うことができ、
従って、解像度切り替え時にフレーム内予測符号化を行
うのに比べて、より速やかに、スチル画像を表示させる
ことができる。

【００６６】なお、本実施形態では、動画像の伝送中、
受信側からのスチル要求に応じて、低解像度から高解像
度に、速やかに解像度を切り替えて、高解像度のスチル
画像を表示させる動作について説明したが、スチル画像
の表示中、高解像度から低解像度に、速やかに解像度を
切り替えて、低解像度の動画像の伝送を再開することも
できる。ただし、この場合、低解像度に対応する画像フ
ォーマットへフォーマットが切り替えられた際、受信側
では、拡大縮小処理部１５８が、復号化側参照フレーム
メモリ１５５に記憶された予測データを、縮小処理し
て、そのフォーマットを有するデータに変換し、送信側
では、拡大縮小処理部１１０が、符号化側参照フレーム
メモリ１０４に記憶された予測データを、縮小処理し
て、そのフォーマットを有するデータに変換する。

【００６７】また、本実施形態では、解像度切り替え時
にも、フレーム間予測符号を行うようにしているが、拡
大縮小処理部１５８および拡大縮小処理部１１０を設け
ずに、フレーム内予測符号化を行うようにしてもよい。
この場合、速やかにスチル画像を表示させることはでき
ないものの、受信側が指示して、高解像度なスチル画像
を表示させることができる。

【００６８】また、本実施形態では、スチル制御部３５
３は、解像度が切り替えられた直後の１フレーム分の符
号化済み画像データの復号化が終了して、出力フレーム
メモリ１５６に書き込まれた直後、スイッチ３５４に指
示して、復号化部１５４と出力フレームメモリ１５６と
の間の接続を切り離させるとしたが、解像度が切り替え
られた直後のフレームと、そのフレームに続く複数フレ
ームの差分和とが出力フレームメモリ１５６に書き込ま
れた後、スイッチ３５４に指示して、復号化部１５４と
出力フレームメモリ１５６との間の接続を切り離させる
としてもよい。この場合、より高精度なスチル画像が得
られる。

【００６９】また、システムの構成は、図３のものに限
定されない。例えば、音声の伝送機能などが追加された
り、また、双方向に画像を伝送するよう、送信側と受信
側とが相互に図３と同様の構成を備えていてもよい。

【００７０】また、第１〜第３の実施形態では、互いに
解像度が異なる二つの画像フォーマット（ＣＩＦおよび
ＱＣＩＦ）が設定されているとしたが、互いに解像度が
異なる三つ以上の画像フォーマットが設定されていても
よい。ただし、この場合、画像フォーマット信号は、フ
ォーマットの切り替えを指示する際、それらのフォーマ
ットのうち、どのフォーマットに切り替えるかを指定す
る必要がある。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る動画伝送システ
ムの構成を示すブロック図である。

【図２】本発明の第２の実施形態に係る動画伝送システ
ムの構成を示すブロック図である。

【図３】本発明の第３の実施形態に係る動画伝送システ
ムの構成を示すブロック図である。

【図４】ＩＴＵ−Ｔ勧告Ｈ．２６１に規定されている方
式を用いた、従来の動画伝送装置の構成の一例を示すブ
ロック図である。

【図５】ＣＩＦおよびＱＣＩＦのフォーマットを示す図
である。

【図６】従来の画像伝送システムの構成の一例を示すブ
ロック図である。

【図７】図１の拡大縮小処理部１１０および１５８が縮
小処理を行う方法の一例を説明するための図である。

【図８】図１の拡大縮小処理部１１０および１５８が縮
小処理を行う方法の他の一例を説明するための図であ
る。

【図９】図１の拡大縮小処理部１１０および１５８が拡
大処理を行う方法の一例を説明するための図である。

【図１０】図１の拡大縮小処理部１１０および１５８が
拡大処理を行う方法の他の一例を説明するための図であ
る。

【符号の説明】

１０１、２０１ 符号化装置 １０２ 画像データ生成部 １０３ 入力フレームメモリ １０４ 符号化側参照フレームメモリ １０５ 符号化部 １０６、１５４ 復号化部 １１０、１５８ 拡大縮小処理部 １５１、２５１、３５１ 復号化装置 １５５ 復号化側参照フレームメモリ １５６ 出力フレームメモリ １５７ 映像信号生成部 ２０２ 解像度切り替え命令受信部 ２５２ 解像度切り替え命令送出部 ２５３、３５２ コマンド入力部 ３５３ スチル制御部 ３５４ スイッチ

Claims (5)

【特許請求の範囲】
1. 【請求項１】 互いに解像度が異なる２以上の画像フォ
   ーマットが設定されており、映像信号を、当該フォーマ
   ットのうち、いずれかのフォーマットを有する画像デー
   タに変換して、通常、フレーム間予測符号化して伝送す
   る動画伝送システムであって、 受信側には、伝送中、ある画像フォーマットへフォーマ
   ットが切り替えられた場合、フレーム間予測符号化済み
   画像データを復号化する際に参照される予測データを、
   拡大／縮小処理して、当該フォーマットを有するデータ
   に変換する第１の拡大縮小処理手段が設けられ、 送信側には、伝送中、ある画像フォーマットへフォーマ
   ットが切り替えられた場合、画像データをフレーム間予
   測符号化する際に参照される予測データを、拡大／縮小
   処理して、当該フォーマットを有するデータに変換する
   第２の拡大縮小処理手段が設けられ、 フォーマット切り替え時にも、画像データをフレーム間
   予測符号化して伝送することを特徴とする動画伝送シス
   テム。
2. 【請求項２】 互いに解像度が異なる２以上の画像フォ
   ーマットが設定されており、映像信号を、当該フォーマ
   ットのうち、いずれかのフォーマットを有する画像デー
   タに変換して伝送する動画伝送システムであって、 受信側には、ある解像度へ解像度を切り替えるよう指示
   するための解像度切り替え命令を送出する解像度切り替
   え命令送出手段が設けられ、 送信側には、前記解像度切り替え命令送出手段が送出し
   た解像度切り替え命令を受信する解像度切り替え命令受
   信手段が設けられ、 映像信号を、受信側が指示した解像度に対応する画像フ
   ォーマットを有する画像データに変換して伝送すること
   を特徴とする動画伝送システム。
3. 【請求項３】 受信側には、スチル要求が発生した場
   合、当該要求に応じて、任意のスチル画像が表示される
   よう、映像信号の出力動作を制御するスチル制御手段が
   さらに設けられており、 前記解像度切り替え命令送出手段は、スチル要求が発生
   した場合、より高い解像度へ解像度を切り替えるよう指
   示するための解像度切り替え命令を送出することを特徴
   とする、請求項２に記載の動画伝送システム。
4. 【請求項４】 互いに解像度が異なる２以上の画像フォ
   ーマットが設定されており、映像信号を、当該フォーマ
   ットのうち、いずれかのフォーマットを有する画像デー
   タに変換して、通常、フレーム間予測符号化して伝送す
   る動画伝送システムであって、 受信側には、 ある解像度へ解像度を切り替えるよう指示するための解
   像度切り替え命令を送出する解像度切り替え命令送出手
   段と、 伝送中、ある画像フォーマットへフォーマットが切り替
   えられた場合、フレーム間予測符号化済み画像データを
   復号化する際に参照される予測データを、拡大／縮小処
   理して、当該フォーマットを有するデータに変換する第
   １の拡大縮小処理手段とが設けられ、 送信側には、 前記解像度切り替え命令送出手段が送出した解像度切り
   替え命令を受信する解像度切り替え命令受信手段と、 伝送中、ある画像フォーマットへフォーマットが切り替
   えられた場合、画像データをフレーム間予測符号化する
   際に参照される予測データを、拡大／縮小処理して、当
   該フォーマットを有するデータに変換する第２の拡大縮
   小処理手段とが設けられ、 映像信号を、受信側が指示した解像度に対応する画像フ
   ォーマットを有する画像データに変換して、フォーマッ
   ト切り替え時にも、フレーム間予測符号化して伝送する
   ことを特徴とする動画伝送システム。
5. 【請求項５】 受信側には、スチル要求が発生した場
   合、当該要求に応じて、任意のスチル画像が表示される
   よう、映像信号の出力動作を制御するスチル制御手段が
   さらに設けられており、 前記解像度切り替え命令送出手段は、スチル要求が発生
   した場合、より高い解像度へ解像度を切り替えるよう指
   示するための解像度切り替え命令を送出することを特徴
   とする、請求項４に記載の動画伝送システム。