JP3803476B2 - 画像伝送システム及び画像符号化装置 - Google Patents
画像伝送システム及び画像符号化装置 Download PDFInfo
- Publication number
- JP3803476B2 JP3803476B2 JP30286597A JP30286597A JP3803476B2 JP 3803476 B2 JP3803476 B2 JP 3803476B2 JP 30286597 A JP30286597 A JP 30286597A JP 30286597 A JP30286597 A JP 30286597A JP 3803476 B2 JP3803476 B2 JP 3803476B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- information amount
- generated information
- quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、伝送レートが限られた伝送路を通じて画像データを伝送する画像伝送システム及びこのようなシステムで伝送する画像を符号化するのに好適な画像符号化装置に関し、特に遠隔操作によって画質を向上させる領域を指定することができるものに関する。
【０００２】
【従来の技術】
テレビ会議システムにおいては、動画像の画像データが電話回線などの伝送路を通じて伝送される。この動画像の画像データは、データ量がかなり膨大なものとなる一方、伝送路を通じて伝送可能なデータ量（伝送レート）は限られているため、通常、画像データは、圧縮されて伝送される。
【０００３】
しかしながら、画像データは圧縮されて伝送されることによって、この画像データを受信した側において表示される画像の画質が低下する。一方、テレビ会議システムにおいては、普通、画面上に複数の会議の参加者が映し出されるが、表示画面上で注目されているのは、発言者など一部の者だけである。このため、発言者が映し出されている領域は高画質の画像とする必要があるが、他の領域は低画質の画像であっても支障が生じない。すなわち、画面の領域毎に画像データの圧縮率を変えることができれば、便利である。
【０００４】
このような画面の領域毎に画像データの圧縮率を変えることができる技術として、例えば、特開平４−２４６９８９号公報に開示された画像データの圧縮記録・再生方式（以下、従来例１）や、特開平５−３７９０１号公報に開示された画像記録装置（以下、従来例２）がある。
【０００５】
【発明が解決しようとする課題】
従来例１は、分割された領域毎に、そのコントラストに応じて画像データの圧縮率を決定するものである。しかしながら、この場合は、注目されている者が表示される領域のコントラストが高いとは限らない。従って、従来例１をテレビ会議システムに適用しても、必ずしも望み通りの結果が得られるとは限らない。
【０００６】
一方、従来例２は、１フレームの画像を複数の領域に分割し、外部からの入力に応じて領域毎に量子化のステップサイズを変化させて圧縮している。しかしながら、従来例２では、伝送路を通じて遠隔地にリアルタイムで画像を伝送するような場合を考えたものではなく、伝送レートの制限から１フレームあたりのデータ量を制限する技術は開示されていない。
【０００７】
本発明は、上記従来技術の問題点を解消するためになされたものであり、伝送路を通じてリアルタイムで画像データを伝送する場合に、画質を向上させたい領域を指定できると共に、画像データの量を伝送レートに応じて変化させることができる画像伝送システム、及びこの画像伝送システムに適用される画像符号化装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の目的を達成するため、本発明の第１の観点にかかる送信側の画像符号化装置によって外部から供給された画像データを符号化し、符号化した画像データを伝送路を介して受信側に伝送し、受信側の復号化装置で符号化された画像データを復号化して表示装置に表示させる画像伝送システムは、
受信側に設けられ、前記表示装置の画像表示領域のうちの所望の領域を選択し、該選択した領域を示す領域データを前記伝送路を介して送信側の前記画像符号化装置に供給する領域選択手段を備え、
送信側の前記画像符号化装置は、
前記外部から供給された画像データが、前記伝送路を介して前記領域選択手段から供給された前記領域データが示す前記選択した領域のものであるかどうかを識別する領域識別手段と、
前記領域識別手段の識別結果に応じて、前記外部から供給された画像データを圧縮する圧縮手段とを備える、
ことを特徴とする。
【０００９】
上記画像伝送システムでは、前記領域選択手段によって受信側から、例えば、画質を向上させることを望む所望の領域を選択することができる。この選択された領域に関する情報は、伝送路を通じて伝送され、前記領域識別手段に供給される。そして、前記領域識別手段の識別結果に応じて、前記外部から供給された画像データを前記圧縮手段によって圧縮することによって、領域毎で画像データの圧縮率を異なるものとすることができる。しかも、上記の構成では、画像データの圧縮をリアルタイムで行うことができる。これにより、受信側の表示装置には、例えば、選択された領域は高画質の画像が、それ以外の領域は比較的低画質の画像が表示されることとなる。
【００１０】
上記画像伝送システムにおいて、前記圧縮手段は、前記伝送路の伝送レートに従ったものとなるように、前記外部から供給された画像データを圧縮する手段を備えることを好適とする。
【００１１】
この場合、前記伝送路の伝送レートに従って、前記外部から供給された画像データを圧縮する、特に選択された領域外の画像データが伝送レートに応じて圧縮されるので、圧縮された画像データのデータ量は、前記伝送路を通じて伝送するのに好適なものとなる。
【００１２】
上記目的を達成するため、本発明の第２の観点にかかる外部から供給された画像データを符号化し、符号化された画像データを伝送路を通じて伝送する画像符号化装置は、
前記外部から供給された画像データが、外部から供給された領域データが示す所望の領域のものであるかどうかを識別する領域識別手段と、
前記領域識別手段の識別結果に応じて、前記外部から供給された画像データを圧縮する圧縮手段とを備える、
ことを特徴とする。
【００１３】
上記画像符号化装置では、例えば、画質を向上させることを望む所望の領域を外部から選択することができる。前記領域識別手段は、外部から供給された画像データが選択された領域のものかどうかを識別し、この識別結果に応じて、前記圧縮手段は前記外部から供給された画像データを圧縮する。これによって、領域毎で画像データの圧縮率を異なるものとすることができる。しかも、上記の構成では、画像データの圧縮をリアルタイムで行うことができる。
【００１４】
上記画像符号化装置において、前記圧縮手段は、前記伝送路の伝送レートに従ったものとなるように、前記外部から供給された画像データを圧縮する手段を備えることを好適とする。
【００１５】
この場合、前記伝送路の伝送レートに従って、前記外部から供給された画像データを圧縮する、特に選択された領域外の画像データが伝送レートに応じて圧縮されるので、圧縮された画像データのデータ量は、前記伝送路を通じて伝送するのに好適なものとなる。
【００１６】
上記画像符号化装置において、前記圧縮手段は、例えば、
記憶されている量子化幅が異なる複数の量子化テーブルと、
前記領域識別手段の識別結果に応じて、前記複数の量子化テーブルのうちのいずれかの量子化テーブルを選択する選択器と、
前記外部から供給された画像データと１フレーム前の対応する画像データとの差分をとった差分信号を生成する減算器と、
前記減算器が生成した差分信号を離散コサイン変換する離散コサイン変換器と、
前記選択器が選択した量子化テーブルに従って、前記離散コサイン変換器によって離散コサイン変換された差分信号を、量子化する量子化器と、を備えるものとすることができる。
【００１７】
なお、上記画像符号化装置において、前記領域データは、
前記伝送路を通じて前記領域識別手段に供給されるものとしてもよい。
【００１８】
【発明の実施の形態】
以下、添付図面を参照して、本発明の実施の形態について説明する。
この実施の形態では、本発明の画像伝送システムをテレビ会議システムに適用した場合を例として説明する。
【００１９】
図１は、この実施の形態にかかるテレビ会議システムの構成を示すブロック図である。
図示するように、このテレビ会議システムは、電話回線などの伝送路３を介して接続されたリモート側画像伝送装置１と、ローカル側画像伝送装置２とから構成されている。リモート側画像伝送装置１には、カメラ１ａとモニタ１ｂとが接続されている。ローカル側画像伝送装置２には、モニタ２ａ、カメラ２ｂ及びリモコン２ｃとが接続されている。
【００２０】
カメラ１ａ、２ｂは、それぞれ画像を撮影するものであり、撮影した画像に対応するデジタル画像データに同期信号を付加してエンコーダ１１、２１に供給する。モニタ２ａ、１ｂは、それぞれ後述するようにデコーダ１６、２６によって伸張された画像データに対応する動画像を表示する。リモコン２ｃは、後述するように複数の領域に分割された画面のうち、高画質の画像を表示すべき領域を選択して入力するものである。
【００２１】
リモート側画像伝送装置１は、エンコーダ１１と、マルチプレクサ（ＭＵＸ）１２と、送信バッファメモリ１３と、受信バッファメモリ１４と、デマルチプレクサ（ＤＭＵＸ）１５と、デコーダ１６とから構成されている。ローカル側画像伝送装置２は、エンコーダ２１と、マルチプレクサ（ＭＵＸ）２２と、送信バッファメモリ２３と、受信バッファメモリ２４と、デマルチプレクサ２５と、デコーダ２６とから構成されている。
【００２２】
エンコーダ１１、１２は、それぞれカメラ１ａ、２ｂから供給された画像データを圧縮して出力するものである。リモート側画像伝送装置１のエンコーダ１１の構成については、さらに詳しく説明する。マルチプレクサ１２、２２は、それぞれエンコーダ１１、１２から出力された画像データに音声符号化回路（図示せず）によって符号化された音声データを重畳する。マルチプレクサ２２は、さらに、リモートコントローラレシーバ２７から出力された、後述する画面選択信号をも重畳して出力する。送信バッファメモリ１３、２３は、それぞれマルチプレクサ１２、２２の出力信号を蓄積する。
【００２３】
受信バッファメモリ１４、２４は、それぞれ送信バッファメモリ２３、１３に蓄積され、伝送路３を介して伝送された信号を一次記憶する。デマルチプレクサ１５、２５は、それぞれ受信バッファメモリ１４、２４に記憶された信号を信号の種別毎（画像データ、音声データ、画面選択信号の別）を分離する。デマルチプレクサ１５は、画像データをデコーダ１６に供給し、画面選択信号をエンコーダ１１に供給する。デマルチプレクサ２５は、画像データをデコーダ２６に供給する。
【００２４】
デコーダ１６、２６は、それぞれデマルチプレクサ１５、２５から供給された画像データを伸張してモニタ１ｂ、２ａに供給する。デコーダ２６は、後述するエンコーダ１１の量子化テーブルと同様の量子化テーブルを有し、リモートコントローラレシーバ２７から供給された選択された高画質の画像を表示すべき領域を示す信号（画面選択信号）に従って、受信した画像データを伸張する。リモートコントローラレシーバ２７は、リモコン２ｃからの信号を受信し、選択された高画質の画像を表示すべき領域を示す信号（画面選択信号）をマルチプレクサ２２及びデコーダ２６に供給する。
【００２５】
図２は、リモート側画像伝送装置１のエンコーダ１１の構成を示すブロック図である。
図示するように、エンコーダ１１は、フレームカウンタ１１０と、デコーダ回路１１１と、符号化制御回路１１２と、量子化テーブル１１３と、選択器１１４と、減算器１１５と、ＤＣＴ回路１１６と、量子化器１１７と、可変長符号化回路１１８と、逆量子化器１１９と、ＩＤＣＴ回路１２０と、加算器１２１と、フレームメモリ１２２と、Ｔframe算出回路１２３とから構成されている。
【００２６】
フレームカウンタ１１０は、１画素分の画像データが入力する毎にカウントアップし、フレームパルス（垂直同期信号）が入力する毎にクリアされるカウンタであり、そのカウント値が画像データのアドレスを示すものである。フレームカウンタ１１０のカウント値は、デコーダ回路１１１に供給される。デコーダ回路１１１は、デマルチプレクサ１５から供給された画面選択信号とフレームカウンタ１１０から供給されたカウント値をデコードし、ＯＮ／ＯＦＦ信号Ｓａと選択領域信号Ｓｂとを出力する。
【００２７】
Ｔframe算出回路１２３は、伝送路３の伝送レートに応じて下記の数式１に示す計算を行い、伝送レートに対する発生情報量の限界値Ｔframeを算出し、符号化制御回路１１２に供給する。
【数１】
Ｔframe＝（伝送レート）／１秒間のフレーム数
なお、伝送路３の伝送レートが固定である場合は、Ｔframe算出回路１２３はなくてもよい。但し、この場合も発生情報量の限界値Ｔframe（固定値）を符号化制御回路１１２に供給する必要がある。
【００２８】
符号化制御回路１１２は、デコーダ１１１から出力されたＯＮ／ＯＦＦ信号Ｓａと選択領域信号Ｓｂと、Ｔframe算出回路１２３が算出した発生情報量の限界値Ｔframeと、後述する量子化器１１７から供給された情報量Ｓ１、Ｓ２とに基づいて、選択領域の画像データで量子化テーブル１１３を切り替えるための制御信号Ｓｃを出力する。符号化制御回路１１２は、図３に示すように、発生情報量算出回路３１、３２と、仮想バッファ３３、３４と、仮想バッファ算出回路３５、３６と、量子化幅算出回路３７、３８と、選択器３９とから構成されている。
【００２９】
発生情報量算出回路３１は、発生情報量の限界値Ｔframeに後述するｇａｉｎの値を乗算する乗算器３１ａと、乗算器３１ａの乗算結果を画面の分割数で除算する除算器３１ｂとによって構成され、数式２の計算を行って選択領域について目標とする発生情報量Ｔ１を算出する。
【数２】
Ｔ１＝ｇａｉｎ×（Ｔframe／画面の分割数）
【００３０】
発生情報量算出回路３２は、発生情報量の限界値Ｔframeから選択領域の発生情報量Ｔ１を減算する減算器によって構成され、数式３の計算を行って選択領域以外について目標とする発生情報量Ｔ２を算出する。
【数３】
Ｔ２＝Ｔframe−Ｔ１
【００３１】
仮想バッファ３３は、仮想バッファ算出回路３５の出力を１フレーム期間記憶する。仮想バッファ算出回路３５は、量子化器１１７からの実際の情報量Ｓ１から目標とする発生情報量Ｔ１を減算する減算器３５ａと、仮想バッファ３３に記憶された前フレームの情報量ｄ１’と減算器３５ａの出力を加算する加算器３５ｂとから構成され、数式４の計算を行って仮想バッファの値ｄ１を求める。
【数４】
ｄ１＝ｄ１’＋Ｓ１−Ｔ１
【００３２】
仮想バッファ３４は、仮想バッファ算出回路３６の出力を１フレーム期間記憶する。仮想バッファ算出回路３６は、量子化器１１７からの実際の情報量Ｓ２から目標とする発生情報量Ｔ２を減算する減算器３６ａと、仮想バッファ３４に記憶された前フレームの情報量ｄ２’と減算器３６ａの出力を加算する加算器３６ｂとから構成され、数式５の計算を行って仮想バッファの値ｄ２を求める。
【数４】
ｄ２＝ｄ２’＋Ｓ２−Ｔ２
【００３３】
乗算器３７は、仮想バッファの値ｄ１に所定の比例定数ａ１を乗算して、選択領域での量子化幅ｑ１を決定する。乗算器３８は、仮想バッファの値ｄ２に所定の比例定数ａ２を乗算して、選択領域外での量子化幅ｑ２を決定する。選択器３９は、デコーダ回路１１１から供給された選択領域信号Ｓｂに従って選択して、制御信号Ｓｃを出力する。
【００３４】
また、符号化制御回路１１２は、乗算器３１ａに供給するｇａｉｎの値を設定するｇａｉｎ設定回路を有する。このｇａｉｎ設定回路は、図４に示すように、固定設定されたｇａｉｎ設定値のＬＳＢとＯＮ／ＯＦＦ信号Ｓａとの論理和演算をするＯＲ回路４ｘと、固定設定されたｇａｉｎの他のビットとＯＮ／ＯＦＦ信号とを論理積演算するＡＮＤ回路４１〜４ｎとから構成されている。これにより、ｇａｉｎ設定回路は、ＯＮ／ＯＦＦ信号ＳａがＯＦＦのときはｇａｉｎの値として１を、ＯＮのときは固定設定されたｇａｉｎの値を出力する。
【００３５】
図２に示す量子化テーブル１１３は、それぞれ制御信号Ｓｃの値に対応した複数の量子化テーブル（１）〜（ｎ）を有する。選択器１１４は、符号化制御回路１１２から供給された制御信号Ｓｃに従って、量子化テーブル（１）〜（ｎ）のいずれかを選択して量子化器１１７に供給する。
【００３６】
減算器１１５は、カメラ１ａから供給された画像データからフレームメモリ１２２に記憶された画像データを減算した差分データを出力する。ＤＣＴ回路１１６は、減算器１１５からの差分データにＤＣＴ（Discrete Cosine Transform）の変換行列を掛け合わせて、離散コサイン変換する。
【００３７】
量子化器１１７は、選択器１１４から供給された量子化テーブルに従って、離散コサイン変換後の差分データを量子化する。量子化器１１７による発生情報量Ｓ１、Ｓ２は、符号化制御回路１１２の加算器３５ａ、３５ｂに供給される。可変長符号化回路１１８は、ランとレベルとの組み合わせで、出現頻度が多い組には短い符号後を、少ない組には長い符号後を割り当てることによって、ランレングス符号化をする。可変長符号化回路１１８によってランレングス符号化された画像データは、マルチプレクサ１２を介して送信バッファメモリ１３に送られる。
【００３８】
逆量子化器１１９は、量子化器１１７で量子化された差分データを逆量子化する。ＩＤＣＴ回路１２０は、逆量子化器１１９で逆量子化された差分データを逆逆ＤＣＴ変換する。加算器１２１は、ＩＤＣＴ回路１２０で逆ＩＤＣＴ変換された差分データを、フレームメモリ１２２に記憶されている１フレーム前の対応する画素の画像データに加算する。これにより、フレームメモリ１２２の記憶内容は、新たなフレームの画像データに更新される。なお、フレームメモリ１２２は、加算器１２１から出力された画像データを１フレーム分記憶する。
【００３９】
なお、リモコン２ａによる領域の選択は、図４に示すように縦、横をそれぞれ３分割して１画面を９つの領域に分け、それぞれの領域に１〜９の番号をつけた場合に、この番号の指定によって行うことができる。なお、図４では、６番の領域の画質を高くすることが選択されたことを示している。
【００４０】
以下、この実施の形態にかかるテレビ会議システムにおける動作について、説明する。
リモコン３ｃでの選択に従う信号を受信すると、リモートコントローラレシーバ２７は、６番の領域を高画質にすることを指定する画面選択信号を出力する。この画面選択信号は、マルチプレクサ２２、送信バッファメモリ２３、伝送路３、受信バッファメモリ１４及びデマルチプレクサ１５を介してエンコーダ１１のデコーダ回路１１１に供給される。一方、カメラ１ａからのデジタルの画像データがエンコーダ１１の減算器１１５に供給され、画像データと同期信号中のフレームパルスがフレームカウンタ１１０に供給される。
【００４１】
デコーダ回路１１１は、フレームカウンタ１１０のカウント値と画面選択信号とに基づいて、ＯＮ／ＯＦＦ信号Ｓａと選択領域信号Ｓｂとを生成し、符号化制御回路１１２に供給する。符号化制御回路１１２には、また、Ｔframe算出回路１２３からの発生情報量の限界値Ｔframeと、量子化器１１７からの実際の発生情報量Ｓ１、Ｓ２が供給されている。
【００４２】
符号化制御回路１１２では、ＯＮ／ＯＦＦ制御信号Ｓａ、発生情報量の限界値Ｔframe及び実際の発生情報量Ｓ１、Ｓ２に従って、選択領域での量子化幅ｑ１と選択領域外の量子化幅ｑ２との計算が行われる。この選択領域での量子化幅ｑ１と選択領域外の量子化幅ｑ２とのいずれかが、選択領域信号Ｓｂに従って選択器３９によって選択され、制御信号Ｓｃとして出力される。
【００４３】
符号化制御回路１１２から出力された制御信号Ｓｃに従って、すなわち量子化すべき量子化幅に従って、選択器１６によって量子化テーブル１１３中の量子化テーブル（１）〜（ｎ）のいずれかが選択される。選択された量子化テーブルは、量子化器１１７に供給される。
【００４４】
一方、カメラ２ｂから供給された画像データは、減算器１１５によってフレームメモリ２５に記憶されている１フレーム前の対応する画素の画像データと差分がとられる。減算器１１５から出力された差分信号は、ＤＣＴ回路１１６によって離散コサイン変換がされ、さらに選択器１６によって選択された量子化テーブル（１）〜（ｎ）のいずれかに従って量子化される。そして、可変長符号化回路１１８によってランレングス符号化され、マルチプレクサ１２を介して送信バッファメモリ１３に蓄積される。
【００４５】
上記のようにして圧縮され、送信バッファメモリ１３に蓄積された画像データは、伝送路３を介して伝送され、ローカル側画像伝送装置２の受信バッファメモリ２４に蓄積される。
【００４６】
受信バッファメモリ２４に蓄積された圧縮された画像データは、デマルチプレクサ５を介してデコーダ２６に供給される。デコーダ２６では、この圧縮された画像データを圧縮時と逆順の処理によって伸張し、モニタ２ａに供給する。そして、モニタ２ａに、デコーダ２６によって伸張された画像データに対応する画像が表示される。
【００４７】
なお、ローカル側のカメラ２ｂで撮像された画像データは、エンコーダ２１によって圧縮化され、マルチプレクサ２２、送信バッファメモリ２３、伝送路３、受信バッファメモリ１４、デマルチプレクサ１５を介してデコーダ１６に入力される。デコーダ１６は、圧縮された画像データを逆順で伸張し、モニタ１ｂに表示する。もっとも、この場合には領域指定がなされておらず、１画面全体が同じ画質で表示される。また、音声データも圧縮されてから、リモート側とローカル側との間で伝送され、伸張処理が施された後に出力される。
【００４８】
以上説明したように、この実施の形態のテレビ会議システムでは、ローカル側のリモコン２ｃを操作することによって、１画面中の画質を高くしたい所望の領域を選択することができる。この選択された領域に関する情報は、伝送路３を通じて伝送され、画面選択信号としてリモート側画像伝送装置１のエンコーダ１１に供給される。そして、エンコーダ１１では、画面選択信号に従って出力されたＯＮ／ＯＦＦ信号Ｓａ及び選択領域信号Ｓｂに基づいて、符号化制御回路１１２が量子化テーブル１１３中の対応する量子化テーブル（１）〜（ｎ）を選択器１１４に選択させるので、領域に応じて画像データの圧縮率をリアルタイムで変化させることができる。これにより、リモコン２ｃの操作によって選択された領域は高画質で、それ以外の領域は比較的低画質で画像が表示されることとなる。しかも、符号化制御回路１１２は、伝送路３の伝送レートに応じて量子化テーブル（１）〜（ｎ）の選択を切り替えるので、例えば、遠隔地に画像データを伝送するのに適したものとなる。
【００４９】
上記の実施の形態では、デコーダ回路１１１から出力されたＯＮ／ＯＦＦ信号Ｓａは、図４に示す回路によるｇａｉｎの値の設定に用いられていた。これに対して、図６に示すように、符号化制御回路１１２の発生情報量算出回路３１が算出した情報量と発生情報量の限界値Ｔframeとを選択する選択器３Ｘの制御にＯＮ／ＯＦＦ信号Ｓａを用いてもよい。
【００５０】
上記の実施の形態では、１つの画面は９つの同じ大きさの領域に分割されていた。しかしながら、分割する領域の数、大きさ及び形状は、上記のものに限られない。また、分割する領域の数、大きさ及び形状をリモコン２ｃを操作することによって可変指定できるようにしてもよい。さらに、１つの画面を複数の領域に分割するのではなく、高画質の画像データを伝送させる領域を指定できるようにしてもよい。
【００５１】
上記の実施の形態では、本発明を、画像データの伝送が双方向性であるテレビ会議システムに適用した場合について説明した。しかしながら、本発明はこれに限られず、単方向性の画像データの伝送にも適用することができる。また、テレビ会議システムだけでなく、遠隔監視システムや遠隔教育システムなどにも適用することができる。特に、動きの激しい機械を監視する遠隔監視システムでは、限られた伝送レートの中で、機械の動作全体を量子化幅が大きく、画質がそれほど高くない画像データで伝送して機械全体の動きを監視できるようにすると共に、その機械に付設された或いはそばに設置された計器の微妙な動きを量子化幅が小さく、画質が高い画像データで伝送して確認できるようにすることもできる。
【００５２】
【発明の効果】
以上説明したように、本発明では、画質を向上させることを望む所望の領域の選択に従って、外部から供給された画像データが選択された領域のものかどうかが識別される。そして、この識別結果に従って、外部から供給された画像データが圧縮されるので、領域毎に画像データの圧縮率を異なるものとすることができる。しかも、この画像データの圧縮は、リアルタイムで行うことができる。
【００５３】
また、画像の圧縮を伝送路の伝送レートに従って行うことによって、圧縮後の画像データのデータ量は、伝送路を通じた伝送に好適なものとなる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかるテレビ会議システムの構成を示すブロック図である。
【図２】図１のエンコーダの回路構成を示すブロック図である。
【図３】図２の符号化制御回路の構成を示すブロック図である。
【図４】図２の符号化制御回路内に設けられるｇａｉｎ設定回路の構成を示すブロック図である。
【図５】選択画面を模式的に示す図である。
【図６】本発明の実施の形態の変形の符号化制御回路の構成を示すブロック図である。
【符号の説明】
１ リモート側画像伝送装置
２ ローカル側画像伝送装置
３ 伝送路
１ａ カメラ
１ｂ モニタ
２ａ モニタ
２ｂ カメラ
２ｃ リモコン
１１ エンコーダ
１２ マルチプレクサ
１３ 送信バッファメモリ
１４ 受信バッファメモリ
１５ デマルチプレクサ
１６ デコーダ
２１ エンコーダ
２２ マルチプレクサ
２３ 送信バッファメモリ
２４ 受信バッファメモリ
２５ デマルチプレクサ
２６ デコーダ
２７ リモートコントローラレシーバ
３１、３２ 発生情報量算出回路
３３、３４ 仮想バッファ
３５、３６ 仮想バッファ算出回路
３７、３８ 量子化幅算出回路
３９ 選択器
１１０ フレームカウンタ
１１１ デコーダ回路
１１２ 符号化制御回路
１１３ 量子化テーブル
１１４ 選択器
１１５ 加算器
１１６ ＤＣＴ回路
１１７ 量子化器
１１８ 可変長符号化回路
１１９ 逆量子化器
１２０ ＩＤＣＴ回路
１２１ 加算器
１２２ フレームメモリ
１２３ Ｔframe算出回路
【発明の属する技術分野】
本発明は、伝送レートが限られた伝送路を通じて画像データを伝送する画像伝送システム及びこのようなシステムで伝送する画像を符号化するのに好適な画像符号化装置に関し、特に遠隔操作によって画質を向上させる領域を指定することができるものに関する。
【０００２】
【従来の技術】
テレビ会議システムにおいては、動画像の画像データが電話回線などの伝送路を通じて伝送される。この動画像の画像データは、データ量がかなり膨大なものとなる一方、伝送路を通じて伝送可能なデータ量（伝送レート）は限られているため、通常、画像データは、圧縮されて伝送される。
【０００３】
しかしながら、画像データは圧縮されて伝送されることによって、この画像データを受信した側において表示される画像の画質が低下する。一方、テレビ会議システムにおいては、普通、画面上に複数の会議の参加者が映し出されるが、表示画面上で注目されているのは、発言者など一部の者だけである。このため、発言者が映し出されている領域は高画質の画像とする必要があるが、他の領域は低画質の画像であっても支障が生じない。すなわち、画面の領域毎に画像データの圧縮率を変えることができれば、便利である。
【０００４】
このような画面の領域毎に画像データの圧縮率を変えることができる技術として、例えば、特開平４−２４６９８９号公報に開示された画像データの圧縮記録・再生方式（以下、従来例１）や、特開平５−３７９０１号公報に開示された画像記録装置（以下、従来例２）がある。
【０００５】
【発明が解決しようとする課題】
従来例１は、分割された領域毎に、そのコントラストに応じて画像データの圧縮率を決定するものである。しかしながら、この場合は、注目されている者が表示される領域のコントラストが高いとは限らない。従って、従来例１をテレビ会議システムに適用しても、必ずしも望み通りの結果が得られるとは限らない。
【０００６】
一方、従来例２は、１フレームの画像を複数の領域に分割し、外部からの入力に応じて領域毎に量子化のステップサイズを変化させて圧縮している。しかしながら、従来例２では、伝送路を通じて遠隔地にリアルタイムで画像を伝送するような場合を考えたものではなく、伝送レートの制限から１フレームあたりのデータ量を制限する技術は開示されていない。
【０００７】
本発明は、上記従来技術の問題点を解消するためになされたものであり、伝送路を通じてリアルタイムで画像データを伝送する場合に、画質を向上させたい領域を指定できると共に、画像データの量を伝送レートに応じて変化させることができる画像伝送システム、及びこの画像伝送システムに適用される画像符号化装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の目的を達成するため、本発明の第１の観点にかかる送信側の画像符号化装置によって外部から供給された画像データを符号化し、符号化した画像データを伝送路を介して受信側に伝送し、受信側の復号化装置で符号化された画像データを復号化して表示装置に表示させる画像伝送システムは、
受信側に設けられ、前記表示装置の画像表示領域のうちの所望の領域を選択し、該選択した領域を示す領域データを前記伝送路を介して送信側の前記画像符号化装置に供給する領域選択手段を備え、
送信側の前記画像符号化装置は、
前記外部から供給された画像データが、前記伝送路を介して前記領域選択手段から供給された前記領域データが示す前記選択した領域のものであるかどうかを識別する領域識別手段と、
前記領域識別手段の識別結果に応じて、前記外部から供給された画像データを圧縮する圧縮手段とを備える、
ことを特徴とする。
【０００９】
上記画像伝送システムでは、前記領域選択手段によって受信側から、例えば、画質を向上させることを望む所望の領域を選択することができる。この選択された領域に関する情報は、伝送路を通じて伝送され、前記領域識別手段に供給される。そして、前記領域識別手段の識別結果に応じて、前記外部から供給された画像データを前記圧縮手段によって圧縮することによって、領域毎で画像データの圧縮率を異なるものとすることができる。しかも、上記の構成では、画像データの圧縮をリアルタイムで行うことができる。これにより、受信側の表示装置には、例えば、選択された領域は高画質の画像が、それ以外の領域は比較的低画質の画像が表示されることとなる。
【００１０】
上記画像伝送システムにおいて、前記圧縮手段は、前記伝送路の伝送レートに従ったものとなるように、前記外部から供給された画像データを圧縮する手段を備えることを好適とする。
【００１１】
この場合、前記伝送路の伝送レートに従って、前記外部から供給された画像データを圧縮する、特に選択された領域外の画像データが伝送レートに応じて圧縮されるので、圧縮された画像データのデータ量は、前記伝送路を通じて伝送するのに好適なものとなる。
【００１２】
上記目的を達成するため、本発明の第２の観点にかかる外部から供給された画像データを符号化し、符号化された画像データを伝送路を通じて伝送する画像符号化装置は、
前記外部から供給された画像データが、外部から供給された領域データが示す所望の領域のものであるかどうかを識別する領域識別手段と、
前記領域識別手段の識別結果に応じて、前記外部から供給された画像データを圧縮する圧縮手段とを備える、
ことを特徴とする。
【００１３】
上記画像符号化装置では、例えば、画質を向上させることを望む所望の領域を外部から選択することができる。前記領域識別手段は、外部から供給された画像データが選択された領域のものかどうかを識別し、この識別結果に応じて、前記圧縮手段は前記外部から供給された画像データを圧縮する。これによって、領域毎で画像データの圧縮率を異なるものとすることができる。しかも、上記の構成では、画像データの圧縮をリアルタイムで行うことができる。
【００１４】
上記画像符号化装置において、前記圧縮手段は、前記伝送路の伝送レートに従ったものとなるように、前記外部から供給された画像データを圧縮する手段を備えることを好適とする。
【００１５】
この場合、前記伝送路の伝送レートに従って、前記外部から供給された画像データを圧縮する、特に選択された領域外の画像データが伝送レートに応じて圧縮されるので、圧縮された画像データのデータ量は、前記伝送路を通じて伝送するのに好適なものとなる。
【００１６】
上記画像符号化装置において、前記圧縮手段は、例えば、
記憶されている量子化幅が異なる複数の量子化テーブルと、
前記領域識別手段の識別結果に応じて、前記複数の量子化テーブルのうちのいずれかの量子化テーブルを選択する選択器と、
前記外部から供給された画像データと１フレーム前の対応する画像データとの差分をとった差分信号を生成する減算器と、
前記減算器が生成した差分信号を離散コサイン変換する離散コサイン変換器と、
前記選択器が選択した量子化テーブルに従って、前記離散コサイン変換器によって離散コサイン変換された差分信号を、量子化する量子化器と、を備えるものとすることができる。
【００１７】
なお、上記画像符号化装置において、前記領域データは、
前記伝送路を通じて前記領域識別手段に供給されるものとしてもよい。
【００１８】
【発明の実施の形態】
以下、添付図面を参照して、本発明の実施の形態について説明する。
この実施の形態では、本発明の画像伝送システムをテレビ会議システムに適用した場合を例として説明する。
【００１９】
図１は、この実施の形態にかかるテレビ会議システムの構成を示すブロック図である。
図示するように、このテレビ会議システムは、電話回線などの伝送路３を介して接続されたリモート側画像伝送装置１と、ローカル側画像伝送装置２とから構成されている。リモート側画像伝送装置１には、カメラ１ａとモニタ１ｂとが接続されている。ローカル側画像伝送装置２には、モニタ２ａ、カメラ２ｂ及びリモコン２ｃとが接続されている。
【００２０】
カメラ１ａ、２ｂは、それぞれ画像を撮影するものであり、撮影した画像に対応するデジタル画像データに同期信号を付加してエンコーダ１１、２１に供給する。モニタ２ａ、１ｂは、それぞれ後述するようにデコーダ１６、２６によって伸張された画像データに対応する動画像を表示する。リモコン２ｃは、後述するように複数の領域に分割された画面のうち、高画質の画像を表示すべき領域を選択して入力するものである。
【００２１】
リモート側画像伝送装置１は、エンコーダ１１と、マルチプレクサ（ＭＵＸ）１２と、送信バッファメモリ１３と、受信バッファメモリ１４と、デマルチプレクサ（ＤＭＵＸ）１５と、デコーダ１６とから構成されている。ローカル側画像伝送装置２は、エンコーダ２１と、マルチプレクサ（ＭＵＸ）２２と、送信バッファメモリ２３と、受信バッファメモリ２４と、デマルチプレクサ２５と、デコーダ２６とから構成されている。
【００２２】
エンコーダ１１、１２は、それぞれカメラ１ａ、２ｂから供給された画像データを圧縮して出力するものである。リモート側画像伝送装置１のエンコーダ１１の構成については、さらに詳しく説明する。マルチプレクサ１２、２２は、それぞれエンコーダ１１、１２から出力された画像データに音声符号化回路（図示せず）によって符号化された音声データを重畳する。マルチプレクサ２２は、さらに、リモートコントローラレシーバ２７から出力された、後述する画面選択信号をも重畳して出力する。送信バッファメモリ１３、２３は、それぞれマルチプレクサ１２、２２の出力信号を蓄積する。
【００２３】
受信バッファメモリ１４、２４は、それぞれ送信バッファメモリ２３、１３に蓄積され、伝送路３を介して伝送された信号を一次記憶する。デマルチプレクサ１５、２５は、それぞれ受信バッファメモリ１４、２４に記憶された信号を信号の種別毎（画像データ、音声データ、画面選択信号の別）を分離する。デマルチプレクサ１５は、画像データをデコーダ１６に供給し、画面選択信号をエンコーダ１１に供給する。デマルチプレクサ２５は、画像データをデコーダ２６に供給する。
【００２４】
デコーダ１６、２６は、それぞれデマルチプレクサ１５、２５から供給された画像データを伸張してモニタ１ｂ、２ａに供給する。デコーダ２６は、後述するエンコーダ１１の量子化テーブルと同様の量子化テーブルを有し、リモートコントローラレシーバ２７から供給された選択された高画質の画像を表示すべき領域を示す信号（画面選択信号）に従って、受信した画像データを伸張する。リモートコントローラレシーバ２７は、リモコン２ｃからの信号を受信し、選択された高画質の画像を表示すべき領域を示す信号（画面選択信号）をマルチプレクサ２２及びデコーダ２６に供給する。
【００２５】
図２は、リモート側画像伝送装置１のエンコーダ１１の構成を示すブロック図である。
図示するように、エンコーダ１１は、フレームカウンタ１１０と、デコーダ回路１１１と、符号化制御回路１１２と、量子化テーブル１１３と、選択器１１４と、減算器１１５と、ＤＣＴ回路１１６と、量子化器１１７と、可変長符号化回路１１８と、逆量子化器１１９と、ＩＤＣＴ回路１２０と、加算器１２１と、フレームメモリ１２２と、Ｔframe算出回路１２３とから構成されている。
【００２６】
フレームカウンタ１１０は、１画素分の画像データが入力する毎にカウントアップし、フレームパルス（垂直同期信号）が入力する毎にクリアされるカウンタであり、そのカウント値が画像データのアドレスを示すものである。フレームカウンタ１１０のカウント値は、デコーダ回路１１１に供給される。デコーダ回路１１１は、デマルチプレクサ１５から供給された画面選択信号とフレームカウンタ１１０から供給されたカウント値をデコードし、ＯＮ／ＯＦＦ信号Ｓａと選択領域信号Ｓｂとを出力する。
【００２７】
Ｔframe算出回路１２３は、伝送路３の伝送レートに応じて下記の数式１に示す計算を行い、伝送レートに対する発生情報量の限界値Ｔframeを算出し、符号化制御回路１１２に供給する。
【数１】
Ｔframe＝（伝送レート）／１秒間のフレーム数
なお、伝送路３の伝送レートが固定である場合は、Ｔframe算出回路１２３はなくてもよい。但し、この場合も発生情報量の限界値Ｔframe（固定値）を符号化制御回路１１２に供給する必要がある。
【００２８】
符号化制御回路１１２は、デコーダ１１１から出力されたＯＮ／ＯＦＦ信号Ｓａと選択領域信号Ｓｂと、Ｔframe算出回路１２３が算出した発生情報量の限界値Ｔframeと、後述する量子化器１１７から供給された情報量Ｓ１、Ｓ２とに基づいて、選択領域の画像データで量子化テーブル１１３を切り替えるための制御信号Ｓｃを出力する。符号化制御回路１１２は、図３に示すように、発生情報量算出回路３１、３２と、仮想バッファ３３、３４と、仮想バッファ算出回路３５、３６と、量子化幅算出回路３７、３８と、選択器３９とから構成されている。
【００２９】
発生情報量算出回路３１は、発生情報量の限界値Ｔframeに後述するｇａｉｎの値を乗算する乗算器３１ａと、乗算器３１ａの乗算結果を画面の分割数で除算する除算器３１ｂとによって構成され、数式２の計算を行って選択領域について目標とする発生情報量Ｔ１を算出する。
【数２】
Ｔ１＝ｇａｉｎ×（Ｔframe／画面の分割数）
【００３０】
発生情報量算出回路３２は、発生情報量の限界値Ｔframeから選択領域の発生情報量Ｔ１を減算する減算器によって構成され、数式３の計算を行って選択領域以外について目標とする発生情報量Ｔ２を算出する。
【数３】
Ｔ２＝Ｔframe−Ｔ１
【００３１】
仮想バッファ３３は、仮想バッファ算出回路３５の出力を１フレーム期間記憶する。仮想バッファ算出回路３５は、量子化器１１７からの実際の情報量Ｓ１から目標とする発生情報量Ｔ１を減算する減算器３５ａと、仮想バッファ３３に記憶された前フレームの情報量ｄ１’と減算器３５ａの出力を加算する加算器３５ｂとから構成され、数式４の計算を行って仮想バッファの値ｄ１を求める。
【数４】
ｄ１＝ｄ１’＋Ｓ１−Ｔ１
【００３２】
仮想バッファ３４は、仮想バッファ算出回路３６の出力を１フレーム期間記憶する。仮想バッファ算出回路３６は、量子化器１１７からの実際の情報量Ｓ２から目標とする発生情報量Ｔ２を減算する減算器３６ａと、仮想バッファ３４に記憶された前フレームの情報量ｄ２’と減算器３６ａの出力を加算する加算器３６ｂとから構成され、数式５の計算を行って仮想バッファの値ｄ２を求める。
【数４】
ｄ２＝ｄ２’＋Ｓ２−Ｔ２
【００３３】
乗算器３７は、仮想バッファの値ｄ１に所定の比例定数ａ１を乗算して、選択領域での量子化幅ｑ１を決定する。乗算器３８は、仮想バッファの値ｄ２に所定の比例定数ａ２を乗算して、選択領域外での量子化幅ｑ２を決定する。選択器３９は、デコーダ回路１１１から供給された選択領域信号Ｓｂに従って選択して、制御信号Ｓｃを出力する。
【００３４】
また、符号化制御回路１１２は、乗算器３１ａに供給するｇａｉｎの値を設定するｇａｉｎ設定回路を有する。このｇａｉｎ設定回路は、図４に示すように、固定設定されたｇａｉｎ設定値のＬＳＢとＯＮ／ＯＦＦ信号Ｓａとの論理和演算をするＯＲ回路４ｘと、固定設定されたｇａｉｎの他のビットとＯＮ／ＯＦＦ信号とを論理積演算するＡＮＤ回路４１〜４ｎとから構成されている。これにより、ｇａｉｎ設定回路は、ＯＮ／ＯＦＦ信号ＳａがＯＦＦのときはｇａｉｎの値として１を、ＯＮのときは固定設定されたｇａｉｎの値を出力する。
【００３５】
図２に示す量子化テーブル１１３は、それぞれ制御信号Ｓｃの値に対応した複数の量子化テーブル（１）〜（ｎ）を有する。選択器１１４は、符号化制御回路１１２から供給された制御信号Ｓｃに従って、量子化テーブル（１）〜（ｎ）のいずれかを選択して量子化器１１７に供給する。
【００３６】
減算器１１５は、カメラ１ａから供給された画像データからフレームメモリ１２２に記憶された画像データを減算した差分データを出力する。ＤＣＴ回路１１６は、減算器１１５からの差分データにＤＣＴ（Discrete Cosine Transform）の変換行列を掛け合わせて、離散コサイン変換する。
【００３７】
量子化器１１７は、選択器１１４から供給された量子化テーブルに従って、離散コサイン変換後の差分データを量子化する。量子化器１１７による発生情報量Ｓ１、Ｓ２は、符号化制御回路１１２の加算器３５ａ、３５ｂに供給される。可変長符号化回路１１８は、ランとレベルとの組み合わせで、出現頻度が多い組には短い符号後を、少ない組には長い符号後を割り当てることによって、ランレングス符号化をする。可変長符号化回路１１８によってランレングス符号化された画像データは、マルチプレクサ１２を介して送信バッファメモリ１３に送られる。
【００３８】
逆量子化器１１９は、量子化器１１７で量子化された差分データを逆量子化する。ＩＤＣＴ回路１２０は、逆量子化器１１９で逆量子化された差分データを逆逆ＤＣＴ変換する。加算器１２１は、ＩＤＣＴ回路１２０で逆ＩＤＣＴ変換された差分データを、フレームメモリ１２２に記憶されている１フレーム前の対応する画素の画像データに加算する。これにより、フレームメモリ１２２の記憶内容は、新たなフレームの画像データに更新される。なお、フレームメモリ１２２は、加算器１２１から出力された画像データを１フレーム分記憶する。
【００３９】
なお、リモコン２ａによる領域の選択は、図４に示すように縦、横をそれぞれ３分割して１画面を９つの領域に分け、それぞれの領域に１〜９の番号をつけた場合に、この番号の指定によって行うことができる。なお、図４では、６番の領域の画質を高くすることが選択されたことを示している。
【００４０】
以下、この実施の形態にかかるテレビ会議システムにおける動作について、説明する。
リモコン３ｃでの選択に従う信号を受信すると、リモートコントローラレシーバ２７は、６番の領域を高画質にすることを指定する画面選択信号を出力する。この画面選択信号は、マルチプレクサ２２、送信バッファメモリ２３、伝送路３、受信バッファメモリ１４及びデマルチプレクサ１５を介してエンコーダ１１のデコーダ回路１１１に供給される。一方、カメラ１ａからのデジタルの画像データがエンコーダ１１の減算器１１５に供給され、画像データと同期信号中のフレームパルスがフレームカウンタ１１０に供給される。
【００４１】
デコーダ回路１１１は、フレームカウンタ１１０のカウント値と画面選択信号とに基づいて、ＯＮ／ＯＦＦ信号Ｓａと選択領域信号Ｓｂとを生成し、符号化制御回路１１２に供給する。符号化制御回路１１２には、また、Ｔframe算出回路１２３からの発生情報量の限界値Ｔframeと、量子化器１１７からの実際の発生情報量Ｓ１、Ｓ２が供給されている。
【００４２】
符号化制御回路１１２では、ＯＮ／ＯＦＦ制御信号Ｓａ、発生情報量の限界値Ｔframe及び実際の発生情報量Ｓ１、Ｓ２に従って、選択領域での量子化幅ｑ１と選択領域外の量子化幅ｑ２との計算が行われる。この選択領域での量子化幅ｑ１と選択領域外の量子化幅ｑ２とのいずれかが、選択領域信号Ｓｂに従って選択器３９によって選択され、制御信号Ｓｃとして出力される。
【００４３】
符号化制御回路１１２から出力された制御信号Ｓｃに従って、すなわち量子化すべき量子化幅に従って、選択器１６によって量子化テーブル１１３中の量子化テーブル（１）〜（ｎ）のいずれかが選択される。選択された量子化テーブルは、量子化器１１７に供給される。
【００４４】
一方、カメラ２ｂから供給された画像データは、減算器１１５によってフレームメモリ２５に記憶されている１フレーム前の対応する画素の画像データと差分がとられる。減算器１１５から出力された差分信号は、ＤＣＴ回路１１６によって離散コサイン変換がされ、さらに選択器１６によって選択された量子化テーブル（１）〜（ｎ）のいずれかに従って量子化される。そして、可変長符号化回路１１８によってランレングス符号化され、マルチプレクサ１２を介して送信バッファメモリ１３に蓄積される。
【００４５】
上記のようにして圧縮され、送信バッファメモリ１３に蓄積された画像データは、伝送路３を介して伝送され、ローカル側画像伝送装置２の受信バッファメモリ２４に蓄積される。
【００４６】
受信バッファメモリ２４に蓄積された圧縮された画像データは、デマルチプレクサ５を介してデコーダ２６に供給される。デコーダ２６では、この圧縮された画像データを圧縮時と逆順の処理によって伸張し、モニタ２ａに供給する。そして、モニタ２ａに、デコーダ２６によって伸張された画像データに対応する画像が表示される。
【００４７】
なお、ローカル側のカメラ２ｂで撮像された画像データは、エンコーダ２１によって圧縮化され、マルチプレクサ２２、送信バッファメモリ２３、伝送路３、受信バッファメモリ１４、デマルチプレクサ１５を介してデコーダ１６に入力される。デコーダ１６は、圧縮された画像データを逆順で伸張し、モニタ１ｂに表示する。もっとも、この場合には領域指定がなされておらず、１画面全体が同じ画質で表示される。また、音声データも圧縮されてから、リモート側とローカル側との間で伝送され、伸張処理が施された後に出力される。
【００４８】
以上説明したように、この実施の形態のテレビ会議システムでは、ローカル側のリモコン２ｃを操作することによって、１画面中の画質を高くしたい所望の領域を選択することができる。この選択された領域に関する情報は、伝送路３を通じて伝送され、画面選択信号としてリモート側画像伝送装置１のエンコーダ１１に供給される。そして、エンコーダ１１では、画面選択信号に従って出力されたＯＮ／ＯＦＦ信号Ｓａ及び選択領域信号Ｓｂに基づいて、符号化制御回路１１２が量子化テーブル１１３中の対応する量子化テーブル（１）〜（ｎ）を選択器１１４に選択させるので、領域に応じて画像データの圧縮率をリアルタイムで変化させることができる。これにより、リモコン２ｃの操作によって選択された領域は高画質で、それ以外の領域は比較的低画質で画像が表示されることとなる。しかも、符号化制御回路１１２は、伝送路３の伝送レートに応じて量子化テーブル（１）〜（ｎ）の選択を切り替えるので、例えば、遠隔地に画像データを伝送するのに適したものとなる。
【００４９】
上記の実施の形態では、デコーダ回路１１１から出力されたＯＮ／ＯＦＦ信号Ｓａは、図４に示す回路によるｇａｉｎの値の設定に用いられていた。これに対して、図６に示すように、符号化制御回路１１２の発生情報量算出回路３１が算出した情報量と発生情報量の限界値Ｔframeとを選択する選択器３Ｘの制御にＯＮ／ＯＦＦ信号Ｓａを用いてもよい。
【００５０】
上記の実施の形態では、１つの画面は９つの同じ大きさの領域に分割されていた。しかしながら、分割する領域の数、大きさ及び形状は、上記のものに限られない。また、分割する領域の数、大きさ及び形状をリモコン２ｃを操作することによって可変指定できるようにしてもよい。さらに、１つの画面を複数の領域に分割するのではなく、高画質の画像データを伝送させる領域を指定できるようにしてもよい。
【００５１】
上記の実施の形態では、本発明を、画像データの伝送が双方向性であるテレビ会議システムに適用した場合について説明した。しかしながら、本発明はこれに限られず、単方向性の画像データの伝送にも適用することができる。また、テレビ会議システムだけでなく、遠隔監視システムや遠隔教育システムなどにも適用することができる。特に、動きの激しい機械を監視する遠隔監視システムでは、限られた伝送レートの中で、機械の動作全体を量子化幅が大きく、画質がそれほど高くない画像データで伝送して機械全体の動きを監視できるようにすると共に、その機械に付設された或いはそばに設置された計器の微妙な動きを量子化幅が小さく、画質が高い画像データで伝送して確認できるようにすることもできる。
【００５２】
【発明の効果】
以上説明したように、本発明では、画質を向上させることを望む所望の領域の選択に従って、外部から供給された画像データが選択された領域のものかどうかが識別される。そして、この識別結果に従って、外部から供給された画像データが圧縮されるので、領域毎に画像データの圧縮率を異なるものとすることができる。しかも、この画像データの圧縮は、リアルタイムで行うことができる。
【００５３】
また、画像の圧縮を伝送路の伝送レートに従って行うことによって、圧縮後の画像データのデータ量は、伝送路を通じた伝送に好適なものとなる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかるテレビ会議システムの構成を示すブロック図である。
【図２】図１のエンコーダの回路構成を示すブロック図である。
【図３】図２の符号化制御回路の構成を示すブロック図である。
【図４】図２の符号化制御回路内に設けられるｇａｉｎ設定回路の構成を示すブロック図である。
【図５】選択画面を模式的に示す図である。
【図６】本発明の実施の形態の変形の符号化制御回路の構成を示すブロック図である。
【符号の説明】
１ リモート側画像伝送装置
２ ローカル側画像伝送装置
３ 伝送路
１ａ カメラ
１ｂ モニタ
２ａ モニタ
２ｂ カメラ
２ｃ リモコン
１１ エンコーダ
１２ マルチプレクサ
１３ 送信バッファメモリ
１４ 受信バッファメモリ
１５ デマルチプレクサ
１６ デコーダ
２１ エンコーダ
２２ マルチプレクサ
２３ 送信バッファメモリ
２４ 受信バッファメモリ
２５ デマルチプレクサ
２６ デコーダ
２７ リモートコントローラレシーバ
３１、３２ 発生情報量算出回路
３３、３４ 仮想バッファ
３５、３６ 仮想バッファ算出回路
３７、３８ 量子化幅算出回路
３９ 選択器
１１０ フレームカウンタ
１１１ デコーダ回路
１１２ 符号化制御回路
１１３ 量子化テーブル
１１４ 選択器
１１５ 加算器
１１６ ＤＣＴ回路
１１７ 量子化器
１１８ 可変長符号化回路
１１９ 逆量子化器
１２０ ＩＤＣＴ回路
１２１ 加算器
１２２ フレームメモリ
１２３ Ｔframe算出回路
Claims (4)
- 送信側の画像符号化装置によって外部から供給された画像データを符号化し、符号化した画像データを伝送路を介して受信側に伝送し、受信側の復号化装置で符号化された画像データを復号化して表示装置に表示させる画像伝送システムであって、
前記受信側の復号化装置は、前記表示装置の画像表示領域のうち高画質化する領域を選択するための画面選択信号を前記伝送路に送出する画像領域選択手段を備え、
前記送信側の前記画像符号化装置は、
前記画面選択信号を受信する手段と、
複数の量子化レベルを記憶した量子化テーブルから所定の量子化レベルを選択して画像データを量子化する量子化手段と
前記伝送路の伝送レートに基づいて発生情報量限界値Ｔｆｒａｍｅを算出する手段と、
前記画像データのうち前記画面選択信号によって選択された選択領域画像データの発生情報量目標値Ｔ１を前記発生情報量限界値Ｔｆｒａｍｅに基づいて算出する手段と、
前記発生情報量目標値Ｔ１と前記量子化手段によって実際に量子化された画像データの情報量Ｓ１とを基に前記選択画像データの量子化幅ｑ１を算出する手段と、
前記量子化テーブルから前記量子化幅ｑ１に対応した量子化レベルを選択し量子化する手段と、
前記発生情報量限界値Ｔｆｒａｍｅから前記発生情報量目標値Ｔ１を減算することによって、前記画像データのうち前記選択画像データ以外の選択領域外画像データの発生情報量目標値Ｔ２を算出する手段と、
前記発生情報量目標値Ｔ２と前記量子化手段によって実際に量子化された画像データの情報量Ｓ２とを基に前記選択外画像データの量子化幅ｑ２を算出する手段と、
前記量子化テーブルから前記量子化幅ｑ２に対応した量子化レベルを選択し量子化する手段と、
を有することを特徴とする画像伝送システム。 - 前記発生情報量目標値Ｔ１は、
前記発生情報量限界値Ｔｆｒａｍｅに前記画像データの分割数を除算し所定の設定値を乗算することによって算出することを特徴とする請求項１記載の画像伝送システム。 - 前記量子化幅ｑ１は、
前記発生情報量Ｓ１から前記発生情報量目標値Ｔ１を減算し、１フレーム期間記憶されていた仮想バッファ値ｄ１'を加算して算出した仮想バッファ値ｄ１に対して所定の係数ａ１を乗算して算出することを特徴とする請求項１乃至２いずれか記載の画像伝送システム。 - 前記量子化幅ｑ２は、
前記発生情報量Ｓ２から前記発生情報量目標値Ｔ２を減算し、１フレーム期間記憶されていた仮想バッファ値ｄ２'を加算して算出した仮想バッファ値ｄ２に対して所定の係数ａ２を乗算して算出することを特徴とする請求項１乃至３いずれか記載の画像伝送システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30286597A JP3803476B2 (ja) | 1997-11-05 | 1997-11-05 | 画像伝送システム及び画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30286597A JP3803476B2 (ja) | 1997-11-05 | 1997-11-05 | 画像伝送システム及び画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11146395A JPH11146395A (ja) | 1999-05-28 |
| JP3803476B2 true JP3803476B2 (ja) | 2006-08-02 |
Family
ID=17914037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30286597A Expired - Fee Related JP3803476B2 (ja) | 1997-11-05 | 1997-11-05 | 画像伝送システム及び画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3803476B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002300581A (ja) * | 2001-03-29 | 2002-10-11 | Matsushita Electric Ind Co Ltd | 映像符号化装置、及び映像符号化プログラム |
| US8019175B2 (en) * | 2005-03-09 | 2011-09-13 | Qualcomm Incorporated | Region-of-interest processing for video telephony |
| US8977063B2 (en) | 2005-03-09 | 2015-03-10 | Qualcomm Incorporated | Region-of-interest extraction for video telephony |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0583704A (ja) * | 1991-09-19 | 1993-04-02 | Sony Corp | 画像伝送装置 |
| JP3526057B2 (ja) * | 1992-07-31 | 2004-05-10 | キヤノン株式会社 | 動画像伝送装置 |
| JP2915248B2 (ja) * | 1993-05-07 | 1999-07-05 | 沖電気工業株式会社 | 画像通信システム |
| JP3159230B2 (ja) * | 1993-06-10 | 2001-04-23 | 日本電信電話株式会社 | 画像信号用可変レート符号化装置 |
| JPH08336135A (ja) * | 1995-04-07 | 1996-12-17 | Sony Corp | 画像圧縮装置及び方法 |
| US5745178A (en) * | 1996-01-22 | 1998-04-28 | Lucent Technologies Inc. | Global rate control for model-assisted coding of low bit rate video |
-
1997
- 1997-11-05 JP JP30286597A patent/JP3803476B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11146395A (ja) | 1999-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| USRE37057E1 (en) | Apparatus and method for converting an HDTV signal to a non-HDTV signal | |
| KR970000683B1 (ko) | 해상도 가변 적응적 화상압축/복원방법 및 장치 | |
| KR0183688B1 (ko) | 영상부호화방법 및 장치 | |
| JP2828379B2 (ja) | ビデオコーデック | |
| US20040013202A1 (en) | Method and device for indicating quantizer parameters in a video coding system | |
| JPH06153180A (ja) | 画像データ符号化方法及び装置 | |
| JPH06189281A (ja) | 適応的フレーム／フィールドフォーマット圧縮を用いた映像信号符号化装置 | |
| US6014171A (en) | Image encoding and decoding methods and apparatus utilizing the elimination of invalid code | |
| JP2933132B2 (ja) | 多地点テレビ会議制御装置及び画面合成符号化方法 | |
| JPH10178639A (ja) | 画像コーデック部および画像データ符号化方法 | |
| JP4197092B2 (ja) | 圧縮されたｍｐｅｇビデオビットストリームについてワイプを実行するための処理方法および装置 | |
| JPH08149470A (ja) | 変換符号化された画像データの復号化時に生じるブロック歪の低減方法及び変換符号化された画像データの復号化装置 | |
| JP3803476B2 (ja) | 画像伝送システム及び画像符号化装置 | |
| US6430221B1 (en) | Transmitter, receiver, transmitting method and receiving method | |
| JPH0662393A (ja) | 多重化した動画像符号化方法と装置 | |
| JPH04354489A (ja) | 画像符号化装置 | |
| JP2573177B2 (ja) | 電子会議システムにおける図形表示装置 | |
| US6904093B1 (en) | Horizontal/vertical scanning frequency converting apparatus in MPEG decoding block | |
| JP2004208146A (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP4399794B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP2002016911A (ja) | オブジェクト映像符号化装置 | |
| JPH07107464A (ja) | 画像符号化装置および復号化装置 | |
| JPH10145788A (ja) | 映像再生装置 | |
| KR100242832B1 (ko) | 양자화 스텝값 발생장치 | |
| JPH07327229A (ja) | 多重符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041207 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050207 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050329 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060117 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060315 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060508 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090512 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090512 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130512 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140512 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |