JP3652889B2 - 映像符号化方法、映像符号化装置、記録媒体、及び映像通信システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル映像信号を圧縮して符号化する映像符号化方法、その装置、そのプログラムを記録した記録媒体、及び映像通信システムに関し、特に、映像信号に応じて映像データを生成することにより、少ない符号量で再生される映像の画質を向上する映像符号化方法、その装置、そのプログラムを記録した記録媒体、及び映像通信システムに関する。
【０００２】
【従来の技術】
従来から、デジタル映像信号を圧縮して符号化する映像符号化方法及びその装置に関連して、数多くの映像フォーマットが存在している。これらの映像符号化方法及び装置の多くは、直交変換を用いたフレーム内圧縮と、動き予測を用いたフレーム間圧縮とを組み合わせた圧縮方式を採用している。特に、この圧縮方式の中で、ＩＳＯ（International Organization for Standardization）で定める画像圧縮規格の通称ＭＰＥＧ（Motion Picture Experts Group）や、ＩＴＵ（International Telecommunication Unit）で定める画像圧縮規格のＨ．２６１などが、現在広く利用されている。
【０００３】
近年、このようなＭＰＥＧやＨ．２６１などのフォーマットに符号化された圧縮画像を、多様なデジタルネットワークを介して伝送する利用が増えている。このデジタルネットワークとしては、データの転送速度が６４キロビット毎秒などのデジタル動画を伝送する上では遅い転送速度のものから、１００メガビット毎秒を超える速い転送速度のものまで、各種の転送速度のネットワークが存在している。
【０００４】
また、特開平７−９５５６６には、映像信号の少ない情報量で効率よく動画圧縮を行う方法が示されている。この方法によれば、Ｈ．２６１フォーマットの圧縮符号化を行う際、対象となる映像の動きに応じて映像の解像度を変化させることができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の映像符号化方法及びその装置によれば、ネットワークを介して、先に延べたＭＰＥＧやＨ．２６１などのフォーマットの圧縮動画データをリアルタイムに伝送する場合、次に述べるような問題があった。
【０００６】
第１に、広く普及しているＭＰＥＧの場合、フレームレートは２４フレーム毎秒以上の高いフレームレートに限定されており、非常に低い転送ビットレートの映像情報を符号化する場合、転送ビットレートに対してフレームレートが高すぎるため、各フレームの画質が極度に劣化して実用的でないという問題があった。
【０００７】
第２に、ＭＰＥＧ１、ＭＰＥＧ２メインプロファイル・メインレベル、Ｈ．２６１、及びＨ．２６３などの規格では、１つの動画データに対して、各フレームの画質やフレームレートを選択して低下させ、動画の転送レートを低減する機能が含まれていない。そのため、例えば、転送レートの高い動画データをあらかじめ用意して、画質優先又は動き（フレームレート）優先を選択して転送レートを下げるといったような処理ができないため、必要な転送レートのデータを得るために、その都度映像信号の圧縮を行わなければならず、映像処理のコストが増大するという問題があった。
【０００８】
特に、上述した特開平７−９５５６６においては、映像信号を圧縮して符号化する時に映像の解像度を決定するため、再生側で画質の良し悪しを選択することはできず、上記第２の問題を解決することができない。
【０００９】
また、不特定多数の者に動画を伝送することができる汎用性や互換性のある圧縮方式で、上述の問題点を解決した規格のものはない。
【００１０】
したがって、本発明は上述の問題を解決するためになされたもので、その目的は、ＭＰＥＧやＨ．２６１などの汎用性や互換性のある標準的な動画圧縮規格に準拠しながら、固定された高いフレームレートに対して、実質的なフレームレートを低下させて１フレーム当たりの情報量を向上させることができる、映像符号化方法、その装置、記録媒体、及び映像通信システムを提供することである。
【００１１】
また、本発明の目的は、スケーラビリティに対応していない一般的なデコーダでも、フレーム毎の画質を優先させるか、動き（フレームレート）を優先させるかの選択をすることができる、映像符号化方法、その装置、記録媒体、映像通信システムを提供することである。
【００１２】
【課題を解決するための手段】
上記課題を解決するため、本発明の第１態様の映像符号化方法は、複数の映像フレームから成る映像信号を所定の量子化スケールでフレーム間圧縮して符号化する映像符号化方法であって、複数の映像フレームを入力し、入力された複数の映像フレームから符号化する映像フレームを所定のパターンで選択し、選択した映像フレームを次に選択される映像フレームで更新されるまで保持し、保持している映像フレームを符号化して映像データを生成し、映像データを復号して復号映像フレームを生成し、映像フレームを保持している間、映像フレームと復号映像フレームとの差分情報を求め、差分情報を符号化して差分映像データを生成する、ことを特徴とする。
【００１３】
映像フレームを所定のパターンで更新し、映像フレームが次の映像フレームに更新されるまで同一の映像フレームに対する差分情報を映像データとして生成するため、実質的なフレームレートを低下させて１フレーム当たりの情報量を向上させることができる。
【００１４】
また、上記課題を解決するため、本発明の第２態様の映像符号化方法は、複数の映像フレームから成る映像信号を所定の量子化スケールでフレーム間圧縮して符号化する映像符号化方法であって、複数の映像フレームを入力し、入力された複数の映像フレームから符号化する映像フレームを所定のパターンで選択し、選択した映像フレームを次に選択される映像フレームで更新されるまで保持し、保持している映像フレームを符号化して映像データを生成し、映像データを復号して復号映像フレームを生成し、映像フレームを保持している間、映像フレームと、復号映像フレームとの差分情報を求め、差分情報を符号化して差分映像データを生成し、映像フレームが更新されたとき、復号映像フレームに対する更新された映像フレームの動きベクトルを求め、動きベクトルに基づいて差分情報を生成し、更新された映像フレームか差分情報かの何れか一方を符号化して映像データ又は差分映像データを生成する、ことを特徴とする。
【００１５】
第２態様の映像符号化方法においては、上述の第１の態様の映像符号化方法の特徴に加え、復号映像フレームに対する更新された映像フレームの動きベクトルに基づいて差分情報を生成し、符号化するフレームを更新された映像フレーム又はその差分情報から選択するため、実質的な映像の変化があった場合にのみ映像の内容を変化させることができる。
【００１６】
また、上述の第１及び第２態様の映像符号化方法においては、差分映像データを生成する段階で、映像フレームと、復号映像フレームとの差分情報を符号化する際に、量子化スケールを前回の量子化スケールより小さくすることもできる。
【００１７】
量子化スケールを徐々に小さくすることによって、再生される映像の画質の品質をより向上することができる。
【００１８】
また、上述の映像符号化方法においては、映像フレームを所定のパターンで選択する段階で、入力された複数の映像フレームから符号化する映像フレームを所定の間隔で選択してもよく、又は、入力された複数の映像フレームの１つの入力映像フレーム毎に、入力映像フレームと維持されている映像フレームとの変位を測定し、測定された変位が所定の閾値を超えた場合に、維持されている映像フレームを更新するために入力映像フレームを選択するようにしてもよい。さらに、このとき、変位を測定する段階で、入力された複数の映像フレームの１つの入力映像フレーム毎に、入力映像フレームと維持されている映像フレームとの画素値の差分から算出される平均自乗誤差を変位として測定するようにしてもよく、また、入力された複数の映像フレームの１つの入力映像フレーム毎に、入力映像フレームと維持されている映像フレームとを所定のブロックに分割し、各々対応するブロック毎に動きベクトルを求め、該動きベクトルの大きさの総和を変位として測定するようにしてもよい。
【００１９】
符号化される映像フレームを任意に選択することによって、再生される映像に応じて又はデータの通信速度に応じて、映像データを生成することができる。これによって、スケーラビリティに対応していない一般的なデコーダでも、フレーム毎の画質を優先させるか、動き（フレームレート）を優先させるかの選択を容易にすることができる
【００２０】
また、上記課題を解決するため、本発明の映像符号化装置は、信号を入力する入力部と、信号を符号化して圧縮データを生成する符号化部と、圧縮データを出力する出力部とを有する映像符号化装置において、入力部は、複数の映像フレームからなるデジタル映像信号を入力する入力手段と、デジタル映像信号から所定の映像フレームを入力映像フレームとして格納する入力映像バッファと、入力手段で入力したデジタル映像信号から所定のパターンで映像フレームを選択して入力映像バッファに格納されている入力映像フレームを更新する入力映像更新手段と、を備え、符号化部は、符号化するフレームを選択する符号源選択手段と、符号源選択手段により選択されたフレームを所定の量子化スケールで量子化して量子化係数を生成する量子化手段と、量子化手段で生成された量子化係数を符号化して圧縮動画データを生成する符号化手段と、量子化手段で生成された量子化係数に基づいて、復号映像フレーム又は復号差分フレームを生成する復号手段と、復号映像フレームを格納する復号映像バッファと、復号手段で生成されたフレームが復号差分フレームの場合には、復号差分フレームと、復号映像バッファに格納されている復号映像フレームとに基づいて、新たな復号映像フレームを生成し、復号映像バッファの内容を新たな復号映像フレームで更新する復号映像生成手段と、復号映像バッファに格納されている復号映像フレームと、入力映像バッファに格納されている入力映像フレームとから、差分フレームを生成する映像減算手段と、符号源選択手段が入力映像バッファに格納されている入力映像フレームか映像減算手段で生成された差分フレームかの何れか一方を符号化するフレームとして選択するように制御する制御手段と、を備え、出力部は、符号化手段で生成された圧縮動画データを出力する出力手段を備える、ことを特徴とする。
【００２１】
また、上述の本発明の映像符号化装置において、量子化手段は、符号源選択手段により選択されたフレームを所定のブロック単位に直交変換して直交変換係数を生成する手段と、直交変換係数を所定の量子化スケールで量子化して量子化係数を生成する手段と、を備え、符号化手段は、量子化手段で生成された量子化係数を可変長に符号化して可変長符号を生成する可変長符号化手段と、可変長符号化手段で生成された可変長符号にヘッダなどを付加して圧縮動画データを生成する構造符号化手段と、を備え、復号手段は、量子化手段で生成された量子化係数を逆量子化して変換係数を生成する手段と、変換係数を逆直交変換する手段と、を備え、制御手段は、入力部の入力映像バッファと入力映像更新手段、及び符号化部を制御するようにすることもできる。
【００２２】
映像フレームを所定のパターンで更新し、また、同一の映像フレームに対する差分フレームを生成し、この映像フレームか又は差分フレームかを選択することによって、実質的なフレームレートを低下させて１フレーム当たりの情報量を向上させることができる。
【００２３】
また、上述の本発明の映像符号化装置において、符号化部は、量子化スケールを決定する量子化制御手段を備え、量子化制御手段は、符号源選択手段で選択されたフレームが差分フレームの場合には、量子化スケールを前回の量子化スケールよりも小さくするようにすることができる。
【００２４】
選択されたフレームが差分フレームの場合には、量子化スケールを徐々に小さくすることによって、再生される映像の画質の品質をより向上することができる。
【００２５】
また、上述の本発明の映像符号化装置において、入力映像更新手段は、入力手段で入力したデジタル映像信号から所定の間隔で映像フレームを選択して入力映像バッファに格納されている入力映像フレームを更新することができる。また、入力部は、入力手段で入力したデジタル映像信号から１つの映像フレーム毎に、映像フレームと入力映像バッファに格納されている入力映像フレームとの変位を測定し、変位が所定の閾値を超えた場合、入力映像更新手段が映像フレームを選択して入力映像バッファに格納されている入力映像フレームを更新するように制御する映像解析手段を備えることもできる。さらに、この映像解析手段は、映像フレームと入力映像フレームの画素値の平均自乗誤差を変位として測定する誤差測定手段と、誤差測定手段により測定された平均自乗誤差に基づいて、入力映像バッファに格納されている入力映像フレームを更新するか否かの判定をする判定手段とを備えるようにしてもよく、映像フレームと入力映像フレームを所定のブロックに区切り、各々の対応するブロックの単位で動きベクトルを探索し、動きベクトルの大きさの総和を変位として測定する動き測定手段と、動き測定手段によって測定された動きベクトルの大きさの総和に基づいて、入力映像バッファに格納されている入力映像フレームを更新するか否かの判定をする判定手段とを備えるようにしてもよい。
【００２６】
符号化される映像フレームを入力手段で入力したデジタル映像信号から任意に選択することによって、再生される映像に応じて又はデータの通信速度に応じて、映像データを生成することができる。これによって、スケーラビリティに対応していない一般的なデコーダでも、フレーム毎の画質を優先させるか、動き（フレームレート）を優先させるかの選択を容易にすることができる
【００２７】
また、上述の本発明の映像符号化装置において、符号化部は、入力映像バッファに格納されている入力映像フレームが更新されたとき、復号映像バッファに格納されている復号映像フレームに対する更新された入力映像フレームの動きベクトルを求める動きベクトル探索手段を備え、映像減算手段は、動きベクトル探索手段で求められた動きベクトルに基づいて差分フレームを生成し、符号化手段は、動きベクトルと量子化手段で生成された量子化係数とに基づいて可変長符号を生成し、可変長符号に基づいて圧縮動画データを生成するようにしてもよい。
【００２８】
復号映像フレームに対する更新された映像フレームの動きベクトルに基づいて差分フレームを生成し、符号化するフレームを更新された映像フレーム又はその差分フレームから選択するため、実質的な映像の変化があった場合にのみ映像の内容を変化させることができる。
【００２９】
また、上記課題を解決するため、本発明の第１態様のコンピュータ読み取り可能な記録媒体は、複数の映像フレームを入力するステップと、複数の映像フレームから符号化する映像フレームを所定のパターンで選択するステップと、選択した映像フレームを次に選択される映像フレームで更新されるまで保持するステップと、保持している映像フレームを符号化して映像データを生成するステップと、映像データを復号して復号映像フレームを生成するステップと、映像フレームを保持している間、映像フレームと復号映像フレームとの差分情報を求め、差分情報を符号化して差分映像データを生成するステップと、を有する映像符号化方法をコンピュータに実行させるためのプログラムを記録したことを特徴とする。
【００３０】
映像フレームを所定のパターンで更新し、映像フレームが次の映像フレームに更新されるまで同一の映像フレームに対する差分情報を映像データとして生成するため、実質的なフレームレートを低下させて１フレーム当たりの情報量を向上させることができる。
【００３１】
また、上記課題を解決するため、本発明の第２態様のコンピュータ読み取り可能な記録媒体は、複数の映像フレームを入力するステップと、複数の映像フレームから符号化する映像フレームを所定のパターンで選択するステップと、選択した映像フレームを次に選択される映像フレームで更新されるまで保持するステップと、保持している映像フレームを符号化して映像データを生成するステップと、映像データを復号して復号映像フレームを生成するステップと、映像フレームを保持している間、映像フレームと、復号映像フレームとの差分情報を求め、差分情報を符号化して差分映像データを生成するステップと、映像フレームが更新されたとき、復号映像フレームに対する更新された映像フレームの動きベクトルを求め、動きベクトルに基づいて差分情報を生成し、更新された映像フレームか差分情報かの何れか一方を符号化して映像データ又は差分映像データを生成するステップと、を有する映像符号化方法をコンピュータに実行させるためのプログラムを記録したことを特徴とする。
【００３２】
第２態様の記録媒体においては、上述の第１の態様の記録媒体の特徴に加え、復号映像フレームに対する更新された映像フレームの動きベクトルに基づいて差分情報を生成し、符号化するフレームを更新された映像フレーム又はその差分情報から選択するため、実質的な映像の変化があった場合にのみ映像の内容を変化させることができる。
【００３３】
また、上述の第１及び第２態様の記録媒体においては、差分映像データを生成するステップで、映像フレームと、復号映像フレームとの差分情報を、前回の量子化スケールよりも小さい量子化スケールで符号化して差分映像データを生成するようにすることもできる。
【００３４】
量子化スケールを徐々に小さくすることによって、再生される映像の画質の品質をより向上することができる。
【００３５】
また、上述の記録媒体においては、映像フレームを所定のパターンで選択するステップで、複数の映像フレームから符号化する映像フレームを所定の間隔で選択することができ、又は、複数の映像フレームの１つの入力映像フレーム毎に、入力映像フレームと維持されている映像フレームとの変位を測定するステップと、測定された変位が所定の閾値を超えた場合に、維持されている映像フレームを更新するために入力映像フレームを選択するステップとを有するようにしてもよい。さらに、変位を測定するステップは、入力された複数の映像フレームの１つの入力映像フレーム毎に、入力映像フレームと維持されている映像フレームとの画素値の差分から算出される平均自乗誤差を変位として測定することもでき、入力された複数の映像フレームの１つの入力映像フレーム毎に、入力映像フレームと維持されている映像フレームとを所定のブロックに分割するステップと、各々対応するブロック毎に動きベクトルを求めるステップと、動きベクトルの大きさの総和を変位として測定するステップとを有するようにすることもできる。
【００３６】
符号化される映像フレームを任意に選択することによって、再生される映像に応じて又はデータの通信速度に応じて、映像データを生成することができる。これによって、スケーラビリティに対応していない一般的なデコーダでも、フレーム毎の画質を優先させるか、動き（フレームレート）を優先させるかの選択を容易にすることができる
【００３７】
また、上記課題を解決するため、本発明の映像通信システムは、撮影した映像又は記録された映像をデジタル映像信号として出力する映像入力装置と、映像入力装置より出力されるデジタル映像信号を入力して符号化し、圧縮動画データを生成する映像符号化装置と、映像符号化装置により生成された圧縮動画データをネットワーク上に送信する映像送信装置と、ネットワークを介して送信された圧縮動画データを受信し再生する映像受信再生装置と、を備える映像通信システムにおいて、映像符号化装置は、上述した映像符号化装置で構成され、映像送信装置は、ネットワーク上でのデータ転送速度に応じて、圧縮動画データの一部を削除して送信することを特徴とする。
【００３８】
本発明の映像通信システムにおいては、映像符号化装置が上述した構成になっており、映像送信装置がデータ転送速度に応じて圧縮動画データの一部を削除することができるため、ネットワークのデータ転送速度に応じて、実質的なフレームレートを変化させてデータ転送速度に最適なものにすることができる。
【００３９】
また、上述の本発明の映像通信システムにおいて、映像受信再生装置が、圧縮動画データを受信する手段と、受信した圧縮動画データを伸長して映像を再生する再生手段とを備え、再生手段が、再生する映像を固定して、映像の画質を向上させる画質向上手段を有するように構成することができる。また、画質向上手段が、圧縮動画データから再生されている映像に関する差分フレームを復号して映像の画質を向上させる構成にすることもできる。
【００４０】
データの通信速度に応じて、映像データを生成することができるため、スケーラビリティに対応していない一般的な映像受信再生装置（デコーダなど）でも、フレーム毎の画質を優先させるか、動き（フレームレート）を優先させるかの選択を容易にすることができる。
【００４１】
【発明の実施の形態】
以下、図面を参照しつつ本発明の映像符号化方法及びその装置、並びに記録媒体を説明する。
【００４２】
＜第１の実施の形態＞
図１は、本発明による映像符号化装置の全体的な概略を示すブロック図である。この映像符号化装置は、映像信号を入力する入力部100 と、映像信号を圧縮して符号化する符号化部200 と、符号化された映像フォーマットを出力する出力部300 と、入力部100 、符号化部200 、及び出力部300 などの装置の各構成部を制御する制御部１０と、から構成されている。
【００４３】
図２は、図１の入力部100 、符号化部200 、及び出力部300 を詳細に示したブロック図である。図２において、入力部100 は、例えば、３０フレーム毎秒などの高いフレームレートの非圧縮のデジタル映像信号を入力する入力回路101 と、入力回路101 から入力されたデジタル映像信号から例えば３フレームの内１フレームというように一定の間隔でフレームを間引いて入力映像バッファ103 に渡し、入力映像バッファ103 の内容を更新する入力映像更新部102 と、入力映像更新部102 より渡されたデジタル映像信号を一時的に格納する入力映像バッファ103 を備えている。
【００４４】
また、符号化部200 は、符号化部200 内の各構成部と入力部100 の入力映像更新部102 及び入力映像バッファ103 を制御する符号化制御部201 と、入力映像バッファ103 からの映像信号と映像減算部210 からの差分信号とから次に符号化すべき情報を選択して直交変換部203 に渡す符号源選択部202 と、符号源選択部202 から渡された情報をブロック単位に直交変換する直交変換部203 と、直交変換部203 により生成された直交変換係数を量子化する量子化部204 と、量子化部204 により量子化された係数を可変長の符号に符号化する可変長符号化部205 と、該符号にデータ長などの必要な情報をヘッダとして付加し、最終的な映像ストリーム（ＭＰＥＧストリームなど）を生成する構造符号化部206 と、量子化部204 より生成された量子化係数を逆量子化する逆量子化部207 と、逆量子化部207 により生成された変換係数を逆直交変換する逆直交変換部208 と、逆量子化部207 び逆直交変換部208 により復号された差分情報と復号映像バッファ209 に格納されている前の復号映像とを加算する映像復号部211 と、復号映像を一時的に格納する復号映像バッファ209 と、復号映像バッファ209 に格納されている復号映像と入力映像とから差分情報を生成する映像減算部210 とを備えている。
【００４５】
また、出力部300 は、符号化部200 の構造符号化部206 に接続され、生成された映像ストリームを出力する出力回路301 を備えている。次に、本発明の映像符号化装置の動作について説明する。
【００４６】
図３は、図１及び図２に示した本発明の映像符号化装置の全体の動作の流れを示すフローチャートである。図３に示すように、本発明の映像符号化装置は次の流れで処理を行う。
【００４７】

【００４８】
次に、図３のフローチャートで示したステップ4300の映像復号処理について詳述する。
【００４９】
図４は、図３のフローチャートで示したステップ4300の映像復号処理を示すフローチャートである。図４に示すように、映像復号処理は、符号化された情報が入力映像情報か、差分情報かによって処理の内容が異なる。以下その処理について説明する。
【００５０】

【００５１】
以上のように、本発明の映像符号化装置及び映像符号化方法によれば、映像信号をＭＰＥＧフォーマットなどの映像フォーマットに圧縮し、高いフレームレートの信号形式を保持しつつ、実質的なフレームレートを低下させて、極めて低い転送レートにおいても再生される映像の画質を向上させることができるようになった。
【００５２】
次に、入力映像情報（以下、単に「入力映像」とも言う）、復号映像、及び差分情報（以下、単に「差分映像」とも言う）について説明する。
【００５３】
図５（Ａ）は入力映像、（Ｂ）は復号映像、及び（Ｃ）は差分映像のそれぞれについて、１フレームの一部を示す図である。ここで、図５（Ａ）において、Io(x,y) は、横ｘ、縦ｙの位置にある画素の輝度、又は色差の入力の値である。また、図５（Ｂ）において、Ir(x,y) は、横ｘ、縦ｙの位置にある画素の輝度、又は色差の復号された値である。ここで色差の復号された値とは、フレーム内符号化されている符号の場合、一旦直交変換して量子化された値を逆量子化し、逆直交変換して生成された画素値であり、また、フレーム間符号化されている符号の場合、前述のようにして生成された画素値と以前に復号されている画素値とを加算した画素値である。また、図５（Ｃ）において、D(x,y)は、横ｘ、縦ｙの位置にある画素の入力映像と復号映像との輝度の差又は色差を示す画素値である。
【００５４】
図６は、本発明の映像符号化装置の処理と、該装置に使用される入力映像、復号映像、及び出力される映像ストリームとの関係を示した図である。図６において、本発明の映像符号化装置では、最初に入力映像O の１フレーム目が入力映像バッファ103 （図２）に蓄積される。この入力映像O の１フレーム目が図６のO1に対応する。最初の符号化処理（図３及び図４参照）では、この入力映像フレームO1が、直交変換部203 （図２）及び量子化部204 （図２）で直接符号化（イントラ符号化）され、映像ストリームのI ピクチャが生成される。この最初の符号化処理で生成される、映像ストリームのI ピクチャが、図６のI1に対応する。一方、I1に用いられている量子化係数は、上述のようにして逆量子化部207 （図２）及び逆直交変換部208 （図２）で復号映像R に復号されて、復号映像バッファ103 に格納される。この格納される復号映像R が、図６のR11 に対応する。
【００５５】
次の符号化処理では、入力映像O1と復号映像R11 との差分が映像減算部210 （図２）で計算され、その結果の差分情報（O1-R11）が直交変換部203 及び量子化部204 で符号化され、映像ストリームのP ピクチャ（差分映像ストリーム）が生成される。このとき生成される、差分映像ストリームP が、図６のP1に対応する。一方、差分映像ストリームP1に用いられている量子化係数は、逆量子化部207 び逆直交変換部208 で復号されて、復号映像R11 と加算されて新しい復号映像R12 となり、復号映像バッファ103 に格納される（なお、復号映像R11 を復号する前の量子化係数はI1であるので、簡単のために図６では、「（I1+P1 ）を復号」としている）。以下同様にして、差分映像ストリームP2、P3及び復号映像R13 が生成される。差分映像ストリームP3を生成した次の符号化処理を行う際、入力映像バッファ103 の入力映像O が入力映像更新部102 によって更新される。更新された入力映像O が、図６のO2に対応する。以降、入力映像O1に対する符号化と同様に入力映像O2の符号化が行われる。
【００５６】
以上のように、図６の処理の場合、入力映像O は、映像ストリームの４フレーム分、変化しない。この間、フレーム間符号化が行われるが、基となる入力映像O は、すべて同一の映像O1である。そのため、生成された映像ストリームを再生した場合、見かけ上４分の１のフレームレートのように見える。すなわち、図６においては、出力される映像ストリームの実質的なフレームレートは、実際のフレームレートの４分の１となるため、例えば、３０フレーム毎秒のフレームレートをもつＭＰＥＧストリームの場合、実質的な（見かけ上の）フレームレートは７．５フレーム毎秒となる。
【００５７】
さらに、入力映像O が固定されている間、映像ストリームには、P ピクチャとして、基となる入力映像O と、復号映像R との差分情報が符号化されている。この差分情報P は、符号化する前と後との差分であるため、符号化の誤差を示し、言い換えれば符号化時に失われた情報である。そのため、生成された映像ストリームを再生した場合、P ピクチャが再生されている間は、映像（I ピクチャ）は動かず、徐々に鮮明になっていくように見える。
【００５８】
一方、P ピクチャを除いて映像ストリームのI ピクチャのみを選択して再生した場合、上述のようにP ピクチャにより映像が鮮明にならないが、ある一定のフレームレートで動く映像を見ることができる。すなわち、P ピクチャを除いた分だけの符号量（ビットレート）を低下させた場合でも、所定のフレームレートを維持したまま、画質を下げて映像を再生することができる。
【００５９】
以上の説明で明らかなように、本発明の第１の実施の形態の映像符号化装置及び映像符号化方法によれば、例えば、ＭＰＥＧの様に高いフレームレートに限定されたフォーマットであっても、任意に見かけのフレームレートを下げ、符号量を削減して極めて低いビットレートのストリームを生成することができる。
【００６０】
＜第２の実施の形態＞
次に、本発明の映像符号化装置及び映像符号化方法の第２の実施の形態について説明する。本実施の形態と第１の実施の形態との相違点は、本実施の形態の映像符号化装置及び映像符号化方法では、差分情報を符号化する際に量子化スケールを徐々に細かくして量子化することで、より詳細な差分情報を送ることができることである。
【００６１】
図７は、本発明の映像符号化装置のブロック図である。この映像符号化装置の構成は、第１の実施の形態に示した装置の構成と以下の点で相違する。すなわち、第１の実施の形態で示した映像符号化装置が有する各構成部に加えて、第２の実施の形態の映像符号化装置では、符号化部200 内において、量子化部204 に接続され、量子化部204 で使用される量子化スケールを制御する量子化制御部212 備える点である。次に、本実施の形態の映像符号化装置の動作を説明する。
【００６２】
図８は、本実施の形態の映像符号化装置の全体の動作の流れを示すフローチャートである。図８に示す通り、本実施の形態の映像符号化装置の処理の流れは、図３に示したフローチャートにおいて、ステップ1200とステップ1300との間にステップ1210が追加されている点で異なっている。すなわち、本実施の形態の映像符号化装置による映像符号化方法は、以下の様な処理フローとなる。
【００６３】

【００６４】
上述から明らかな通り、第１の実施の形態における処理と異なる点は、本実施の形態の映像符号化装置において、符号化毎に量子化スケールの更新を行う（ステップ1210）点である。なお、図８に示したフローチャートにおいて、符号化毎に量子化スケールの更新を行うステップ（ステップ1210）を、ステップ4100とステップ4200との間に追加するようにしてもよい。
【００６５】
この量子化スケールは、I ピクチャ（図６参照）の符号化時に最も粗い量子化を行い、P ピクチャ（図６参照）が繰り返される毎に徐々に細かい量子化を行えるように更新し、再びI ピクチャの符号化時に最も粗い量子化スケールに戻すようにすると、全てのピクチャの符号化時に最も効率の良い符号化を行うことができる。すなわち、P ピクチャは、その前に符号化された映像の入力映像O に対する誤差（差分）なので、誤差であるP ピクチャを加算して入力映像O を繰り返し符号化すると、入力映像に対する誤差が徐々に減っていくため、その値は徐々に小さくなっていく。
【００６６】
一般に、符号化される誤差の値が、量子化スケールに対して十分小さくなった場合、全ての誤差の値は量子化時に０になってしまい、それ以上の画質の向上ができなくなる。それに対し、本実施の形態の映像符号化装置及び映像符号化方法では、符号化するピクチャが何回目の差分情報かに応じて、量子化スケールを任意に小さくすることができ、さらに映像を鮮明にする差分情報を符号化することができる。
【００６７】
したがって、本実施の形態の映像符号化装置及び映像符号化方法においては、第１の実施の形態に示した特徴に加えて、差分情報を符号化する際に量子化スケールを徐々に細かくして量子化することができるため、より詳細な差分情報を送ることができる。すなわち、本実施の形態の映像符号化装置及び映像符号化方法では、映像を鮮明にするためのP ピクチャを多く挿入して見かけのフレームレートを極めて低く（１０分の１、２０分の１など）する場合に、特に有効なものとなる。
【００６８】
以上の説明で明らかなように、第２の実施の形態の映像符号化装置及び映像符号化方法によれば、入力映像と復号映像との差分を多数回繰り返して符号化する場合においても、効果的に符号化した映像の画質を向上させることができる。
【００６９】
＜第３の実施の形態＞
次に、本発明の映像符号化装置及び映像符号化方法の第３の実施の形態について説明する。本実施の形態と第１の実施の形態との相違点は、本実施の形態の映像符号化装置及び映像符号化方法では、入力映像を更新するフレーム間隔を、一定間隔でなく、入力映像の変化の大きさに応じて任意に変化させることができる点である。
【００７０】
図９は、本実施の形態の映像符号化装置のブロック図である。この映像符号化装置の構成は、第１の実施の形態に示した装置の構成と以下の点で相違する。すなわち、第１の実施の形態で示した映像符号化装置が有する各構成部に加えて、第３の実施の形態の映像符号化装置では、入力部100 内において、入力映像更新部102 及び入力バッファ103 に接続され、入力映像を更新するか否かを、入力映像を参照して決定する映像解析部104 を備える点である。次に、本実施の形態の映像符号化装置の動作を説明する。
【００７１】
図１０は、本実施の形態の映像符号化装置の全体の動作の流れを示すフローチャートである。図１０に示す通り、本実施の形態の映像符号化装置の処理の流れは、図３に示したフローチャートにおいて、ステップ1300がステップ1220及びステップ1310に置き換わっている点で異なっている。すなわち、本実施の形態の映像符号化装置による映像符号化方法は、以下の様な処理フローとなる。
【００７２】

【００７３】
図１０から明らかなように、第１の実施の形態における処理と異なる点は、本実施の形態の映像符号化装置において、映像信号を入力する毎に映像信号を解析し（ステップ1220）、その解析結果に応じて、符号化に用いる映像信号を更新するか否かを判断する（ステップ1310）点である。
【００７４】
図１１（Ａ）及び（Ｂ）は、それぞれ図９で示した映像解析部104 の構成の例を示すブロック図である。図１１（Ａ）において、映像解析部104 は、誤差測定部111 と、判定部112 を備えている。まず、映像解析部104 の誤差測定部111 が、入力回路101 （図９）と入力映像バッファ103 （図９）から映像信号を入力して、２つの映像の各画素値（例えば輝度値）の差分を求めて平均自乗誤差を計算する。次に、判定部112 が、求められた平均自乗誤差の値を予め定められた閾値と比較する。判定部112 は、この平均自乗誤差が閾値より大きい場合、入力映像更新部102 （図９）に入力映像信号を更新することを指示する更新制御信号を送信し、平均自乗誤差が閾値より小さい場合、入力映像信号を更新しないことを指示する更新制御信号を入力映像更新部102 に送信する。
【００７５】
また、図１１（Ｂ）において、映像解析部104 は、動き測定部113 と、判定部112 を備えている。まず、動き測定部113 が入力回路101 （図９）と入力映像バッファ103 （図９）から映像信号を入力して、入力回路101 からの映像の一部分、例えば、各マクロブロックについて、動きベクトルを検出し、すべての動きベクトルの大きさ（距離）の総和を計算する。次に、判定部112 が、求められた動きベクトルの総和をあらかじめ定められた閾値と比較する。判定部112 は、動きベクトルの総和が閾値より大きい場合、入力映像更新部102 （図９）に入力映像信号を更新するように指示する更新制御信号を送信し、動きベクトルの総和が閾値より小さい場合、入力映像信号を更新しないことを指示する更新制御信号を送信する。
【００７６】
ここで、図１１（Ａ）に示す構成で映像解析を行う場合、平均自乗誤差を変化量とするため、解析に要する計算量が少なくてすむという有用な効果がある。但し、映像全体が明るくなったなど、輝度のみが変化して映像の見かけの動きが無い場合でも、入力映像を更新してしまうため、映像の見かけ上の変化と入力映像の更新が一致しない場合が生じる場合もある。
一方、図１１（Ｂ）に示す構成でで映像解析を行う場合、実際の動きベクトルを変化量とするため、映像の見かけ上の変化と入力映像の更新が一致する。但し、この場合には図１１（Ａ）に比べて、動きベクトル検出に多くの計算量を要する。
【００７７】
以上説明したように、本実施の形態の映像符号化装置及び映像符号化方法においては、第１の実施の形態に示した特徴に加えて、入力映像を更新するフレーム間隔を、一定間隔でなく、入力映像の変化の大きさに応じて任意に変化させることができる。すなわち、本実施の形態の映像符号化装置で生成された映像ストリームを再生した場合、元の映像の変化が大きくない部分は、見かけの動きが止まる代わりに徐々に画質が向上し、大きな動きや変化がある部分は、画質の向上を抑えて見かけの動きや変化を滑らかにすることができる。
【００７８】
なお、第３の実施の形態に示す装置に、第２の実施の形態に示した装置の量子化制御部212 を加え、量子化スケールを変化させることも可能であり、第２の実施の形態で説明したような、多数回の差分情報を符号化する場合でも効果的に画質を向上させるという効果を得ることができる。
【００７９】
以上の説明から明らかなように、本実施の形態によれば、固定かつ低い転送レートの圧縮ストリームを生成する場合であっても、動きが大きい場合は動きを優先し、動きが小さい場合は画質を優先させて、圧縮ストリーム映像の品質を向上させることができる。
【００８０】
＜第４の実施の形態＞
次に、本発明の映像符号化装置及び映像符号化方法の第４の実施の形態について説明する。本実施の形態と第１の実施の形態との相違点は、本実施の形態の映像符号化装置及び映像符号化方法では、入力映像自体をI ピクチャだけでなく、P ピクチャとしても符号化することで、第1 の実施の形態と同様の複数の転送レートでの再生を可能にした上で、更に映像の圧縮効率を向上させる点である。
【００８１】
図１２は、本実施の形態の映像符号化装置のブロック図である。この映像符号化装置の構成は、第１の実施の形態に示した装置の構成と以下の点で相違する。すなわち、第１の実施の形態で示した映像符号化装置が有する各構成部に加えて、第４の実施の形態の映像符号化装置では、入力映像バッファ103 、可変長符号化部205 、復号映像バッファ209 、及び映像減算部210 に接続され、入力映像と復号映像とから動きベクトルの検出を行う動きベクトル探索部213 を、符号化部200 内に備える点である。次に、本実施の形態の映像符号化装置の動作を説明する。
【００８２】
図１３は、本実施の形態の映像符号化装置の全体の動作の流れを示すフローチャートである。図１３に示す通り、本実施の形態の映像符号化装置の処理の流れは、図３に示したフローチャートにおいて、ステップ2100とステップ2200の間にステップ2110が追加され、また、ステップ2110で分岐する処理としてステップ2310〜2330が追加されている点で異なっている。すなわち、本実施の形態の映像符号化装置による映像符号化方法は、以下の様な処理フローとなる。
【００８３】

【００８４】
図１３から明らかなように、第１の実施の形態における処理と異なる点は、本実施の形態の映像符号化装置及び映像符号化方法において、入力映像バッファ103 の入力映像信号が更新された時、更新された映像をP ピクチャとして符号化する処理が加わった点（ステップ2110、2310、2320、2330）である。すなわち、本実施の形態の映像符号化装置及び映像符号化方法では、第１の実施の形態の特徴に加えて、入力映像自体をI ピクチャだけでなく、P ピクチャとしても符号化することによって、さらに映像の圧縮効率を向上させることができる。
【００８５】
また、本実施の形態の映像符号化装置及び映像符号化方法では、入力映像バッファ103 の入力映像信号が更新された時、映像減算部210 は、動きベクトル探索部213 から渡される動きベクトルを用いて、動き予測した差分映像を生成する。一方、入力映像バッファ103 の入力映像信号が更新されない場合には、差分情報を生成するステップ3100で、映像減算部210 は、動きベクトル探索部213 から入力映像の動きが無いことを示す０の値を動きベクトルとして受け取って差分情報を生成する。したがって、ここで生成される差分情報は、第１の実施の形態で生成される差分情報と同じものになる。
【００８６】
ここで、上述の第４の実施の形態における、入力される映像信号と符号化される映像情報との関係を、図を用いて説明する。
【００８７】
図１４は、本実施の形態の映像符号化装置の処理と、該映像符号化装置に使用される入力映像、復号映像、及び出力される映像ストリームとの関係を示した図である。この図１４は、第１の実施の形態で示した図６に対応する。第４の実施の形態の映像符号化装置において、最初のI ピクチャからその後に続く３つのP クチャを符号化するまでは、図６に示した第１の実施の形態と同様の処理になる。本実施の形態が第１の実施の形態と異なるのは、入力映像バッファ103 （図１２）の入力映像信号が更新されてからの処理である。
【００８８】
本実施の形態の映像符号化装置では、入力映像バッファ103 に格納されている入力映像O が更新され、更新された入力映像O をP ピクチャ（差分映像ストリーム）として符号化する場合、図１４で示したP ピクチャPO1 を符号化する時の処理が行われる。すなわち、その前に符号化された映像情報を復号した復号映像R13 と、更新された入力映像O2とから、動き補償を用いたP ピクチャの符号化を行い、新しいP ピクチャPO1 を生成する。このP ピクチャPO1 は、図６の映像ストリームI2と同じ内容の映像を符号化したものとなり、差分映像ストリームP1からP3を再生するとき見かけの動きが無いのに対して、P ピクチャPO1 を再生すると、再生映像に動きが生じる。その後は、第１の実施の形態と同様に、入力映像O2と、P ピクチャPO1 を復号した映像との差分を、次のP ピクチャとして符号化して符号化処理を続ける。
【００８９】
このように、本実施の形態の映像符号化装置で生成した映像ストリームを再生すると、第１の実施の形態と同様、見かけのフレームレートが低下する換わりに、各映像フレームの画質が徐々に向上する。
【００９０】
また、この装置で符号化された映像ストリームのI ピクチャと、入力映像を符号化したP ピクチャのみを選択して再生した場合、画質が向上することはないが、見かけのフレームレートは維持される。一方、I ピクチャと、I ピクチャの画質を向上させるP ピクチャ（図１４で示したI1、P1、P2、P3）のみを選択して再生すれば、見かけのフレームレートは低下するが、１フレームごとの画質は向上する。
【００９１】
このように、再生する際に、再生するフレームを選択することで、限られた転送レートであっても、動きを優先させるか、１フレームごとの画質を優先させるかを選択して映像を再生することができる。また、I ピクチャのみを選択して再生すれば、見かけのフレームレートを更に低下させることができ、より低い転送レートの映像ストリームとして扱うことができる。このように、本実施の形態の映像符号化装置により符号化した映像ストリームは、再生側で映像の特徴を選択できる上、一般に利用されている符号化の規格、例えば、ＭＰＥＧなどの規格に準拠した符号化をすることができるため、特殊な再生装置を必要としない。
【００９２】
以上の説明で明らかなように、第４の実施の形態で示したような映像符号化装置及び映像符号化方法によれば、再生される映像ストリームを極めて低い転送レートにすることができ、また、特別な再生装置を用いることなくフレームレートや画質を再生側で選択することができる圧縮映像ストリームを生成することができる。
【００９３】
以上、第１〜第４の実施の形態として映像符号化方法について説明したが、このような処理をコンピュータに実行させるためのプログラムとしてコンピュータ読取り可能な記録媒体に記録することもできる。
【００９４】
＜第５の実施の形態＞
次に、第５の実施の形態として、第１から第４の実施の形態で示したような本発明の映像符号化装置を使用した映像通信システムについて説明する。
【００９５】
図１５は、本発明による映像通信システムの構成を示すブロック図である。この映像通信システムは、映像を撮影してそれをデジタル映像信号として出力するビデオカメラ5100と、ビデオカメラ5100より出力される映像信号を圧縮して映像ストリームに符号化する映像符号化装置5200と、映像符号化装置5200により生成された映像ストリームをネットワーク上に送信する映像送信装置5300と、ＬＡＮ（Local Area Network）などの高速ネットワーク5410と、狭帯域ＩＳＤＮ（Integrated services Digital Network ）などの低速ネットワーク5420と、高速ネットワーク5410又は低速ネットワーク5420を介して送信された映像ストリームを受信してそれを再生する映像受信再生装置5500から構成されている。ここで、映像符号化装置5200は、第１乃至第４のいずれかの実施の形態で説明した、映像符号化装置を用いるとよい。次に、図１５に示した映像通信システムの動作について説明する。
【００９６】
図１６は、本発明による映像通信システムの動作の流れを示すフローチャートである。以下、図１６を用いて本発明の映像通信システムの動作を説明する。

【００９７】
このように、本発明の映像通信システムによれば、ビデオカメラ5100で撮影した映像を、映像符号化装置5200で映像フォーマットに圧縮して符号化し、この生成された映像ストリームを映像送信装置5300で高速及び低速ネットワーク5410、5420を介して送信し、送信された映像ストリームを映像受信再生装置5500で受信して再生することができる。
【００９８】
この処理において、映像符号化装置5200が生成する映像ストリームの全体の転送レートを、高速ネットワーク5410で送信するのに適した転送レートに設定しておき、この映像ストリームを低速ネットワーク5420で送信する場合には、映像送信装置5300が映像ストリームを選択的に間引きして、低速ネットワーク5420で送信するのに適した転送レートにすることができる。このようにすることによって、１度の符号化処理で、複数の転送レートの映像ストリームを得ることができ、映像通信システムの処理効率を向上させることができる。
【００９９】
また、低速ネットワーク5420に接続された映像受信再生装置5500が映像を再生する場合、映像ストリームの転送レートを低く抑えられているために再生中は画質の向上ができないが、再生を一時停止した時、映像フレームを進める必要が無くなるため、映像送信装置5300が、停止した映像フレームに対して画質を向上させる差分情報を送信し、映像受信再生装置5500が送信された差分情報を再生すれば、映像の動きを停止ししたまま、徐々に画質を向上させることができる。
【０１００】
以上、本発明の映像符号化装置、映像符号化方法、記録媒体、及び映像通信システムについて説明したが、上述した本発明は、映像信号の符号化のフォーマットとしてＭＰＥＧ、Ｈ．２６１、Ｈ．２６３などの動画の映像に関する一般的なフォーマットを容易に適用することができる。
【０１０１】
【発明の効果】
以上の説明から明らかなように、本発明の映像符号化装置、映像符号化方法、記録媒体、及び映像通信システムによれば、ＭＰＥＧやＨ．２６１などのフレーム間圧縮とフレーム内圧縮を組み合わせた標準的な動画圧縮規格に準拠しながら、固定された高いフレームレートに対して、実質的なフレームレートを低下させ、１フレームあたりの情報量を向上させることができるようになった。
【０１０２】
また、スケーラビリティに対応していない一般のデコーダで、フレーム毎の画質を優先させるか、動き（フレームレート）を優先させるかの選択ができるようになった。
【０１０３】
さらに、これによって、利用者側に特殊な再生装置やスキルを必要とせず、様々な環境や要求に適応した動画を、低コストで再生することができるようになった。
【図面の簡単な説明】
【図１】本発明の映像符号化装置の全体的なブロック図である。
【図２】本発明の映像符号化装置のブロック図である。
【図３】本発明の映像符号化装置の処理全体のフローチャートである。
【図４】映像復号処理のフローチャートである。
【図５】入力映像、復号映像、及び差分映像を示す図である。
【図６】出力される圧縮データと処理との関係を示す図である。
【図７】本発明の映像符号化装置のブロック図である。
【図８】本発明の映像符号化装置の処理全体のフローチャートである。
【図９】本発明の映像符号化装置のブロック図である。
【図１０】本発明の映像符号化装置の処理全体のフローチャートである。
【図１１】映像解析部のブロック図である。
【図１２】本発明の映像符号化装置のブロック図である。
【図１３】本発明の映像符号化装置の処理全体のフローチャートである。
【図１４】出力される圧縮データと処理との関係を示す図である。
【図１５】本発明の映像通信システムを示す構成図である。
【図１６】本発明の映像配信システムの処理全体のフローチャートである。
【符号の説明】
１０ 制御部
１００ 入力部
１０１ 入力回路
１０２ 入力映像更新部
１０３ 入力映像バッファ
１０４ 映像解析部
１１１ 誤差測定部
１１２ 判定部
１１３ 動き測定部
２００ 符号化部
２０１ 符号化制御部
２０２ 符号源選択部
２０３ 直交変換部
２０４ 量子化部
２０５ 可変長符号化部
２０６ 構造符号化部
２０７ 逆量子化部
２０８ 逆直交変換部
２０９ 復号映像バッファ
２１０ 映像減算部
２１１ 映像加算部
２１２ 量子化制御部
２１３ 動きベクトル探索部
３００ 出力部
３０１ 出力回路
５１００ ビデオカメラ
５２００ 映像符号化装置
５３００ 映像送信装置
５４１０ 高速ネットワーク
５４２０ 低速ネットワーク
５５００ 映像受信再生装置

Claims (23)

1. 複数の映像フレームから成る映像信号を所定の量子化スケールでフレーム間圧縮して符号化する映像符号化方法であって、
   複数の映像フレームを入力し、
   入力された前記複数の映像フレームから符号化する映像フレームを所定のパターンで選択し、
   選択した前記映像フレームを次に選択される映像フレームで更新されるまで保持し、
   保持している前記映像フレームを符号化して符号化映像データを生成し、
   前記符号化映像データを復号した復号映像フレームを生成し、
   前記映像フレームと前記復号映像フレームとの差分情報を求め、符号化して差分映像データを生成し、
   前記映像フレームを保持している間、前記差分映像データを復号した差分映像フレームと前記復号映像フレームを加算して最新の復号映像フレームとして生成し、さらに、前記映像フレームと前記最新の復号映像フレームとの差分情報を求め、符号化して差分映像データを繰り返し生成し、
   前記差分映像データを繰り返し生成する段階は、前記映像フレームと、前記最新の復号映像フレームとの差分情報を、前回の量子化スケールより小さい量子化スケールで符号化して差分映像データを生成する、
   映像符号化方法。
2. 複数の映像フレームから成る映像信号を所定の量子化スケールでフレーム間圧縮して符号化する映像符号化方法であって、
   複数の映像フレームを入力し、
   入力された前記複数の映像フレームから符号化する映像フレームを所定のパターンで選択し、
   選択した前記映像フレームを次に選択される映像フレームで更新されるまで保持し、
   保持している前記映像フレームを符号化して符号化映像データを生成し、
   前記符号化映像データを復号した復号映像フレームを生成し、
   前記映像フレームと前記復号映像フレームとの差分情報を求め、符号化して差分映像データを生成し、
   前記映像フレームを保持している間、前記差分映像データを復号した差分映像フレームと前記復号映像フレームを加算して最新の復号映像フレームとして生成し、さらに、前記映像フレームと前記最新の復号映像フレームとの差分情報を求め、符号化して差分映像データを繰り返し生成し、
   前記差分映像データを繰り返し生成する段階は、前記映像フレームと、前記最新の復号映像フレームとの差分情報を、前回の量子化スケールより小さい量子化スケールで符号化して差分映像データを生成し、
   前記映像フレームが更新された場合に、前記最新の復号映像フレームに対する更新された映像フレームの動きベクトルを求め、前記動きベクトルに基づいて差分情報を生成し、
   前記更新された映像フレームか前記差分情報かの何れか一方を符号化して映像データ又は差分映像データを生成する、
   映像符号化方法。
3. 前記選択された映像フレームが更新されるまで、前記映像フレームの復号映像フレームを保持する復号映像バッファを更に含み、
   前記復号映像バッファに、前記復号映像フレームが蓄積されている場合に、復号映像フレームは、前記最新の復号映像フレーム及び差分映像フレームを加算して生成される請求項１又は２記載の映像符号化方法。
4. 前記映像フレームを所定のパターンで選択する段階は、入力された前記複数の映像フレームから符号化する映像フレームを所定の間隔で選択する請求項１乃至３記載の映像符号化方法。
5. 前記映像フレームを所定のパターンで選択する段階は、入力された前記複数の映像フレームの１つの入力映像フレーム毎に、前記入力映像フレームと維持されている映像フレームとの変位を測定し、測定された前記変位が所定の閾値を超えた場合に、維持されている前記映像フレームを更新するために前記入力映像フレームを選択する請求項１乃至３記載の映像符号化方法。
6. 前記変位を測定する段階は、入力された前記複数の映像フレームの１つの入力映像フレーム毎に、前記入力映像フレームと維持されている映像フレームとの画素値の差分から算出される平均自乗誤差を変位として測定する請求項５記載の映像符号化方法。
7. 前記変位を測定する段階は、入力された前記複数の映像フレームの１つの入力映像フレーム毎に、前記入力映像フレームと維持されている映像フレームとを所定のブロックに分割し、各々対応するブロック毎に動きベクトルを求め、該動きベクトルの大きさの総和を変位として測定する請求項５記載の映像符号化方法。
8. 信号を入力する入力部と、前記信号を符号化して圧縮データを生成する符号化部と、前記圧縮データを出力する出力部とを有する映像符号化装置であって、
   前記入力部は、
   複数の映像フレームからなるデジタル映像信号を入力する入力手段と、
   前記デジタル映像信号から所定の映像フレームを入力映像フレームとして格納する入力映像バッファと、
   前記入力手段で入力した前記デジタル映像信号から所定のパターンで映像フレームを選択して前記入力映像バッファに格納されている入力映像フレームを更新する入力映像更新手段と、を備え、
   前記符号化部は、
   符号化するフレームを選択する符号源選択手段と、
   前記符号源選択手段で選択されたフレームが差分フレームの場合には、前記量子化スケールを前回の量子化スケールよりも小さくする量子化制御手段と、
   前記符号源選択手段により選択された前記フレームを直交変換して直交変換係数を生成する直交変換手段と、
   前記直交変換手段で生成された直交変換係数を前記量子化制御手段が決定した量子化スケールで量子化して量子化係数を生成する量子化手段と、
   前記量子化手段で生成された前記量子化係数を符号化して圧縮動画データを生成する符号化手段と、
   前記量子化手段で生成された前記量子化係数を逆量子化し、変換係数に復元する逆量子化手段と、
   前記逆量子化手段により復元された前記変換係数を逆直交変換し、復号映像フレーム又は復号差分フレームを生成する逆直交変換手段と、
   復号映像フレームを格納する復号映像バッファと、
   前記逆直交変換手段で生成されたフレームが復号差分フレームの場合には、前記復号差分フレームと、復号映像バッファに格納されている復号映像フレームと、を加算し、新たな復号映像フレームを生成し、前記復号映像バッファの内容を前記新たな復号映像フレームで更新する映像加算手段と、
   前記復号映像バッファに格納されている前記復号映像フレームと前記入力映像バッファに格納されている前記入力映像フレームとから、差分フレームを生成する映像減算手段と、
   前記符号源選択手段が、前記入力映像バッファに格納されている前記入力映像フレームか、前記映像減算手段で生成された前記差分フレームか、の何れか一方を符号化するフレームとして選択するように制御する制御手段と、を備え、
   前記出力部は、前記符号化手段で生成された前記圧縮動画データを出力する出力手段を備える、
   映像符号化装置。
9. 前記直交変換手段は、前記符号源選択手段により選択された前記フレームを所定のブロック単位に直交変換して直交変換係数を生成し、
   前記符号化手段は、前記量子化手段で生成された前記量子化係数を可変長に符号化して可変長符号を生成する可変長符号化手段と、前記可変長符号化手段で生成された前記可変長符号にヘッダなどを付加して圧縮動画データを生成する構造符号化手段と、を備え、
   前記制御手段は、前記入力部の前記入力映像バッファと前記入力映像更新手段、及び前記符号化部を制御する、
   請求項８記載の映像符号化装置。
10. 前記入力映像更新手段は、前記入力手段で入力した前記デジタル映像信号から所定の間隔で映像フレームを選択して前記入力映像バッファに格納されている入力映像フレームを更新する請求項８又は９記載の映像符号化装置。
11. 前記入力部は、前記入力手段で入力した前記デジタル映像信号から１つの映像フレーム毎に、前記映像フレームと前記入力映像バッファに格納されている前記入力映像フレームとの変位を測定し、前記変位が所定の閾値を超えた場合、前記入力映像更新手段が前記映像フレームを選択して前記入力映像バッファに格納されている前記入力映像フレームを更新するように制御する映像解析手段を備える請求項８又は９記載の映像符号化装置。
12. 前記映像解析手段は、前記映像フレームと前記入力映像フレームの画素値の平均自乗誤差を前記変位として測定する誤差測定手段と、前記誤差測定手段により測定された平均自乗誤差に基づいて、前記入力映像バッファに格納されている前記入力映像フレームを更新するか否かの判定をする判定手段と、を備える請求項１１記載の映像符号化装置。
13. 前記映像解析手段は、前記映像フレームと前記入力映像フレームを所定のブロックに区切り、各々の対応する前記ブロックの単位で動きベクトルを探索し、前記動きベクトルの大きさの総和を前記変位として測定する動き測定手段と、前記動き測定手段によって測定された前記動きベクトルの大きさの総和に基づいて、前記入力映像バッファに格納されている前記入力映像フレームを更新するか否かの判定をする判定手段と、を備える請求項１１記載の映像符号化装置。
14. 前記符号化部は、前記入力映像バッファに格納されている前記入力映像フレームが更新されたとき、前記復号映像バッファに格納されている前記復号映像フレームに対する更新された入力映像フレームの動きベクトルを求める動きベクトル探索手段を備え、
    前記映像減算手段は、前記動きベクトル探索手段で求められた前記動きベクトルに基づいて差分フレームを生成し、
    前記符号化手段は、前記動きベクトルと前記量子化手段で生成された前記量子化係数とに基づいて可変長符号を生成し、前記可変長符号に基づいて圧縮動画データを生成する、
    請求項８乃至１３記載の映像符号化装置。
15. 複数の映像フレームを入力するステップと、
    前記複数の映像フレームから符号化する映像フレームを所定のパターンで選択するステップと、
    選択した前記映像フレームを次に選択される映像フレームで更新されるまで保持するステップと、
    保持している前記映像フレームを符号化して符号化映像データを生成するステップと、
    前記符号化映像データを復号した復号映像フレームを生成するステップと、
    前記映像フレームと前記復号映像フレームとの差分情報を求め、符号化して差分映像データを生成するステップと、
    前記映像フレームを保持している間、前記差分映像データを復号した差分映像フレームと前記復号映像フレームを加算して最新の復号映像フレームとして生成し、さらに、前記映像フレームと前記最新の復号映像フレームとの差分情報を求め、符号化して差分映像データを繰り返し生成するステップと、を有し、
    前記差分映像データを繰り返し生成するステップは、前記映像フレームと、前記最新の 復号映像フレームとの差分情報を、前回の量子化スケールより小さい量子化スケールで符号化して差分映像データを生成する、
    映像符号化方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
16. 複数の映像フレームを入力するステップと、
    前記複数の映像フレームから符号化する映像フレームを所定のパターンで選択するステップと、
    選択した前記映像フレームを次に選択される映像フレームで更新されるまで保持するステップと、
    保持している前記映像フレームを符号化して符号化映像データを生成するステップと、
    前記符号化映像データを復号した復号映像フレームを生成するステップと、
    前記映像フレームと前記復号映像フレームとの差分情報を求め、符号化して差分映像データを生成するステップと、
    前記映像フレームを保持している間、前記差分映像データを復号した差分映像フレームと前記復号映像フレームを加算して最新の復号映像フレームとして生成し、さらに、前記映像フレームと前記最新の復号映像フレームとの差分情報を求め、符号化して差分映像データを繰り返し生成するステップと、
    前記映像フレームが更新されたとき、前記最新の復号映像フレームに対する更新された映像フレームの動きベクトルを求め、前記動きベクトルに基づいて差分情報を生成し、前記更新された映像フレームか前記差分情報かの何れか一方を符号化して映像データ又は差分映像データを生成するステップと、を有し、
    前記差分映像データを繰り返し生成するステップは、前記映像フレームと、前記最新の復号映像フレームとの差分情報を、前回の量子化スケールより小さい量子化スケールで符号化して差分映像データを生成する、
    映像符号化方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
17. 前記映像フレームを所定のパターンで選択するステップは、前記複数の映像フレームから符号化する映像フレームを所定の間隔で選択することを特徴とする請求項１５又は１６記載の記録媒体。
18. 前記映像フレームを所定のパターンで選択するステップは、前記複数の映像フレームの１つの入力映像フレーム毎に、前記入力映像フレームと維持されている映像フレームとの変位を測定するステップと、測定された前記変位が所定の閾値を超えた場合に、維持されている前記映像フレームを更新するために前記入力映像フレームを選択するステップと、を有することを特徴とする請求項１５又は１６記載の記録媒体。
19. 前記変位を測定するステップは、入力された前記複数の映像フレームの１つの入力映像フレーム毎に、前記入力映像フレームと維持されている映像フレームとの画素値の差分から算出される平均自乗誤差を変位として測定することを特徴とする請求項１８記載の記録媒体。
20. 前記変位を測定するステップは、入力された前記複数の映像フレームの１つの入力映像フレーム毎に、前記入力映像フレームと維持されている映像フレームとを所定のブロックに分割するステップと、各々対応するブロック毎に動きベクトルを求めるステップと、前記動きベクトルの大きさの総和を変位として測定するステップと、を有することを特徴とする請求項１８記載の記録媒体。
21. 撮影した映像又は記録された映像をデジタル映像信号として出力する映像入力装置と、前記映像入力装置より出力される前記デジタル映像信号を入力して符号化し、圧縮動画データを生成する映像符号化装置と、前記映像符号化装置により生成された前記圧縮動画データをネットワーク上に送信する映像送信装置と、前記ネットワークを介して送信された前記圧縮動画データを受信し再生する映像受信再生装置と、を備える映像通信システムであって、
    前記映像符号化装置は、請求項８乃至１４記載の映像符号化装置で構成され、
    前記映像送信装置は、前記ネットワーク上でのデータ転送速度に応じて、前記圧縮動画データの一部を削除して送信する映像通信システム。
22. 前記映像受信再生装置は、前記圧縮動画データを受信する手段と、受信した前記圧縮動画データを伸長して映像を再生する再生手段とを備え、
    前記再生手段は、再生する映像を固定して、前記映像の画質を向上させる画質向上手段を有する、
    請求項２１記載の映像通信システム。
23. 前記画質向上手段は、前記圧縮動画データから再生されている映像に関する差分フレームを復号して前記映像の画質を向上させる構成の請求項２２記載の映像通信システム。

Images