JPH05268589A - 双方向簡易動画通信方法 - Google Patents

Abstract

(57)【要約】 【目的】 画素間の相関を利用して画像データを高能率
符号化するＡＤＣＴ圧縮符号化方式のＣＯＤＥＣを用い
た双方向簡易動画通信方法に関し、従来の静止画通信端
末の基本構成を変えることなく、高いデータ圧縮効率を
確保したまま通信画像の画質を向上させることを目的と
する。 【構成】 送信側では入力動画像の画素を間引くことに
よって画素数を減らす画像の第一段階縮小を行い、該縮
小した画像についてデータ圧縮符号化して送信し、受信
側では受信データを伸長復元した第一段階縮小画像をさ
らに間引いて画像を縮小する第二段階縮小を行ってから
表示するようにして、入力動画像に対して所望の縮小率
の表示動画像を得るようにした構成である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画素間の相関を利用し
て画像データを高能率符号化するＡＤＣＴ圧縮符号化方
式のＣＯＤＥＣを用いた双方向簡易動画通信方法に関す
る。

【０００２】近年ＩＳＤＮ等の経済性の良い高速回線の
普及、高密度ＬＳＩ化技術の進歩、高能率自然画像圧縮
方式の標準化などに伴い、カラー写真のような自然画像
をパーソナルコンピュータやワークステーションの様な
小型低価額な装置で表示、処理、伝送することが可能と
なっており、遠隔地間で資料／物／相手を見ながら臨場
感に富むコミュニケーションが図れるようになってき
た。

【０００３】このようなサービスを行う場合に、高精細
な自然画像の通信のみでなく、通信相手の表情や様子を
把握するために動画像の双方向通信もともにできれは極
めて便利である。

【０００４】しかし、現在実現されている動画伝送装置
は、完全な動画通信を目的としているため装置規模が大
きく高価であるため、パーソナルユースの動画コミュニ
ケーションに利用することは困難であった。

【０００５】本発明は、小型、低価格の自然画（静止
画）通信端末を利用して、動きのある自然画（動画）の
双方向通信を高速でかつ高品質で行えるようにした技術
に関するものである。

【０００６】

【従来の技術】動画伝送と静止画伝送では、次のような
相違がある。即ち、動画を完全に滑らかな動きとして表
現するにはテレビと同様３０枚／秒の非常に高速な画像
伝送、表示が必要になる。しかし、画像が次々に変化し
て行く（書き換えられて行く）ので余り細かな部分の表
現は必要でなく、粗い表現でもその粗さが知覚されにく
い。

【０００７】これに対して静止画の場合は、１枚の画像
が長時間にわたって注視される傾向にあるので、細かな
部分の不出来も気付かれ、評価を落としやすい。しか
し、時間的な画像変化がないので、動画に比べて伝送、
表示時間の制限は緩く、比較的低速でよい。

【０００８】このように、動画と静止画では画像の性質
や伝送装置の機能が大幅に異なるため、従来はそれぞれ
の専用装置を使用していた。しかし、動画と静止画とを
扱う端末装置では両系統を併設する必要があるので、装
置が大型化する。また自然画の伝送系と動画の伝送系が
全く別の機能として動作するため動画と自然画とを組み
合わせて使用する場合には、両画像を合成するための処
理やハードウエアが必要となり、装置規模の大型化、処
理の複雑化を招く。

【０００９】この問題を解決するために、本願発明者ら
は先に、静止画通信端末を用いて動画の通信も可能とす
る簡易動画通信方式を発明した。（特願平２−２８１３
６５；平成２年１０月１９日出願） これは、自然画（静止画）通信端末に簡易動画用画像取
込みモードを設け、動画通信時には取込み画像を予め間
引き処理して１画像当たりの伝送データ量を圧縮し簡易
的な動画通信を行うものである。

【００１０】図５は、静止画通信端末に若干の機能を付
加して、簡易動画も送受信、表示ができるようにした従
来の双方向簡易動画通信方法を示す。図５において、外
部ＡＶ入力取込み部11、画像バス制御部22、自然画ＣＯ
ＤＥＣ部13、自然画メモリ15、表示制御部21、送信バッ
ファ23a,受信バッファ23b 通信制御部12、画像バス14、
表示装置17を有する。

【００１１】この端末装置を用いた自然画像の送信は、
外部ＡＶ機器19から入力する自然画像の映像信号を、外
部ＡＶ入力取込み部11がサンプリングクロックSLCK1 で
全画素分のデータをフルサンプリングし、画素単位でデ
ジタル変換して取込み、画像バス14を介して自然画像メ
モリ15に展開する。そして、自然画ＣＯＤＥＣ（圧縮、
伸長）部13でＡＤＣＴ圧縮符号化方式によりデータ圧縮
を行い、送信バッファ23a 、通信制御部12を介して通信
回線に送出する。このＣＯＤＥＣ部13での高能率符号化
は、国際標準であるＡＤＣＴ（Adaptive Descrete Cosi
ne Transfer:適応離散コサイン変換) 符号化方式により
行われる。

【００１２】自然画像の受信は、通信回線から通信制御
部12、受信バッファ23b を介して圧縮符号化された画像
データを受信し、自然画ＣＯＤＥＣ部13で伸長復号し、
画像バス14を介して自然画メモリ15に画素単位に展開す
る。

【００１３】簡易動画通信では、外部ＡＶ入力取込み部
11で画像信号を取り込む際に、自然画データ取込み時の
クロックの４倍周期のサンプリングクロックSLCK2 を用
いて、フルサンプリングに対して水平、垂直方向に1/4
にデータ数を間引いて1/16に画像を縮小し、自然画メモ
リ15のＡ領域に展開する（で示した矢印）。

【００１４】そして、その縮小して画素数が１／１６に
なった画像データを、自然画ＣＯＤＥＣ部13でＡＤＣＴ
方式で圧縮符号化して自然画像データと同様に送信する
（矢印）。

【００１５】受信側では、自然画通信と同様に、圧縮符
号化された画像データを自然画ＣＯＤＥＣ部13で伸長復
号し、画像バス13を介して自然画メモリ15のＢ領域に展
開する（矢印）。自然画メモリ15上には、フル画素数
の自然画と、画面サイズが１／１６に縮小された自分側
動画像、相手側動画像とが表示画面と同じ配列で展開さ
れているので、表示制御部21を介してそのまま取出し映
像信号に変換して表示部17に表示させる。

【００１６】この方法によると、６４ｋｂｐｓの高速通
信回線を用いた場合に、毎秒画像数は１０枚程度の双方
向の画像データ送信が可能となり、ややぎこちない感じ
はでるが動画伝送ができる。

【００１７】そしてこの方法によれば、動画通信を行う
時には、入力動画像のメモリへの展開だけの処理を行え
ば、その他の表示制御や自然画ＣＯＤＥＣ部13から自然
画メモリ15へのアクセス等は静止画通信、動画通信の区
別なく単一処理で可能となるので、装置が簡素化できる
という特徴がある。

【００１８】

【発明が解決しようとする課題】一方、上記方法では動
画像を送信する場合、画像入力の縮小処理をリアルタイ
ムで行う必要があるため複雑な縮小処理が行えず単純な
画素間引き処理しかできない。

【００１９】しかし、一般的なパーソナルコンピュータ
では、その画面サイズは６４０ドット×４８０ドット程
度であり、パーソナルコンピュータを利用した静止画通
信端末では、自然画像もそのサイズに合わせて処理され
る。この時、６４Ｋｂｐｓの回線を利用した場合を想定
すると、画像が使用に耐える限界といわれる１画素あた
り０．５ビットになるように自然画ＣＯＤＥＣ部でデー
タ圧縮を行ったとしても、上記の如く画像サイズを面積
比で１／１６（縦横の長さをそれぞれ１／４にする）に
なるように画素数を間引かなければ、ある程度相手の様
子が分かる双方向動画通信が行えない。

【００２０】ところで、自然画ＣＯＤＥＣ部では、ＡＤ
ＣＴ（Adaptive Descrete Cosine Transfer:適応離散コ
サイン変換) 符号化方式で画像データの圧縮符号化をお
こなっている。

【００２１】ＡＤＣＴ方式は、画素間の相関を利用した
非可逆的（元の画像を完全には復元できない）符号化方
式である。即ち、自然画( カラー画像) データが輝度成
分Ｙと色差成分Ｃｂ，Ｃｒとに分離されたＹ／Ｃ画像デ
ータを対象とし、それぞれの成分に関する全体の画像を
８×８画素からなるブロックに分割し、各ブロックの画
信号を二次元離散コサイン変換（以下ＤＣＴと称する）
により空間周波数分布の係数に変換し、視覚に適応した
閾値で量子化し、求めた量子化係数を統計的に求めたハ
フマン・テーブルにより符号化するものである。この場
合、画素間の相関は隣接する画素の距離が短い程強く、
高い圧縮率と高品質の復元画像が得られる。

【００２２】従って、上記従来技術の如く、圧縮符号化
の前に単純な画素間引きによって表示サイズまで画像を
縮小すると、縮小後の画像では画素間の相関が急激に低
下する。画素間の相関は、画素間距離の２乗に比例して
低下すると言われているため、単純間引きした縮小画像
は極めて圧縮しずらい画像となってしまい、そのような
画像をＡＤＣＴ方式で所定のデータ量に圧縮すると、大
幅な情報欠落が発生し復元画像の品質が損なわれてしま
う。これは、画素を大幅に間引いて縮小した画像は、隣
接画素間でのレベル変化が急激なので、ＤＣＴ（離散コ
サイン変換）後の空間周波数成分に高周波数成分を多く
含むため、量子化閾値を上げて高次成分を切り捨てない
と所定のビット数に圧縮できからである。

【００２３】即ち、符号化前に１段階で最終表示画面サ
イズに縮小する従来の方式では、圧縮符号化の際に失わ
れる情報量が多くなり、受信側で復元した画像の画質の
劣化が激しい。

【００２４】このように、従来の双方向簡易動画通信方
式では十分な圧縮効率が得られないか、または圧縮処理
による大幅な画質劣化が起こるという問題があった。本
発明は、ＡＤＣＴ方式のＣＯＤＥＣを用いた自然画（静
止画）通信端末により簡易動画通信を行う際に、従来の
静止画通信端末の基本構成を変えることなく、高い圧縮
効率を確保したまま通信画像の画質を向上させることを
目的としている。

【００２５】

【課題を解決するための手段】図１は、本発明の双方向
簡易動画通信方法の原理構成図である。上記問題点は、
図１に示すように、原画像信号の取込み部１、自然画メ
モリ４、ＡＤＣＴ（適応離散コサイン変換）圧縮符号化
方式で自然画の圧縮、伸長を行う自然画ＣＯＤＥＣ部
３、自然画メモリに展開された画像データの表示部５と
を有する自然画通信端末を用いて、入力動画像を通信回
線６を介して送受して表示する双方向簡易動画通信方式
において、送信側では入力動画像の画素を間引くことに
よって画素数を減らす画像の第一段階縮小を行い、該縮
小した画像についてデータ圧縮符号化して送信し、受信
側では受信データを伸長復元した第一段階縮小画像をさ
らに間引いて画像を縮小する第二段階縮小を行ってから
表示するようにして、入力動画像に対して所望の縮小率
の表示動画像を得るようにしたことを特徴とする本発明
の双方向簡易動画通信方法により解決される。

【００２６】

【作用】入力動画像を表示画像サイズに縮小するための
画素間引きを２段階に分け、第１段階縮小では画素間相
関が大幅に損なうことがない程度に原画素数Ｐを１／Ｎ
にする画素間引きを行う。受信側では、受信データを画
素数Ｐ／Ｎの画像に一旦伸長復元してから、さらに１／
Ｍに画素数を間引いて最終表示画面サイズにして表示す
る。

【００２７】画素間相関の低下度が少ない１段階目の間
引き縮小後に圧縮符号化を行うので、従来技術と同一デ
ータ量に圧縮しても画像情報の欠落が少なく、入力動画
像を表示画面サイズに縮小してから圧縮符号化する従来
の方式に比べて品質がよい表示画像が得られる。

【００２８】

【実施例】以下添付図により本発明の実施例を説明す
る。図２は本発明の実施例構成図、図３は画像表示例の
説明図、図４はサンプリングの説明図である。なお全図
を通じて、同一符号は同一対象物を表す。

【００２９】図２において、１は外部ＡＶ入力取込み
部、２は画像バス制御部、３は自然画ＣＯＤＥＣ部、４
は自然画メモリ、５は表示制御部、６は通信用バッフ
ァ、７は通信制御部、８は画像バスである。

【００３０】外部ＡＶ入力取込み部１は送信する画像を
外部ＡＶ機器19から入力し、自然画メモリ４に展開する
ためのデジタルデータに変換する。また画像バス制御部
２は、入力映像の自然画メモリへの書込み、画像送信の
ための自然画メモリからの読出し、等の自然画メモリ、
画像バスの管理を行う。また自然画メモリ４は、入力映
像、受信画像の一時記憶及び表示用のメモリとしても使
用される。このため、表示部の画面サイズが同一とする
と従来例に比べて送受信する動画像の画素数が多いの
で、自然画メモリの記憶容量は、従来例のものより大き
くしてある。

【００３１】また自然画ＣＯＤＥＣ部３は、ＡＤＣＴ圧
縮符号化方式により、送信画像データの圧縮、受信画像
データの伸長を行う。送信用バッファ6aと受信用バッフ
ァ6bとは、それぞれ１画面分の圧縮画像データを蓄積で
きる容量を持ち、自然画ＣＯＤＥＣ部３の処理速度と通
信回線の伝送速度との違いを吸収するためのものであ
る。また通信制御部７は、相手側端末との通信制御およ
び回線インタフェイスを行う。

【００３２】画像バス制御部２は、入力映像の自然画メ
モリ４への書込みの際に、外部ＡＶ入力取込み部１を制
御して、自然画モードの時にはフルサンプリンクで全画
素取込みを行わせ、動画モードの時は、水平方向ではサ
ンプリングクロック周波数を１／２に下げることによ
り、また水平方向では取り込むラインを一本おきにする
ことにより自然画像取込み時のフル画素数に対して１／
４の画素数に間引して取り込ませる。また、動作モード
毎に、画像バスの切替えを行うための切替制御信号BSを
出力して，バスバッファアンプ12、13を制御して、画像
バス８を専用バスとして動作させる。

【００３３】自然画ＣＯＤＥＣ部３は、送信画像の圧
縮、受信画像の伸長の他に、送受信バッファ6a,6b への
データのリード／ライト制御を行う。表示制御部５は、
自然画メモリ４に展開された画像データをディスプレイ
表示用映像信号に変換して、ディスプレイに供給する。
この際、自然画メモリ４から、自分側および相手側の動
画画面を取り出す時には、水平、垂直方向で１／２の画
素間引きを行い画面サイズを自然画メモリ上の画像に比
してさらに１／４に縮小する。

【００３４】この装置で双方向簡易動画通信を行い、図
３の様な簡易動画画面表示を行う場合の動作の流れを以
下に説明する。図３において、１３ａは自然画（静止
画）表示エリア、１３ｂは簡易動画表示エリアである。

【００３５】以下の説明における項番は、図１のデータ
の流れを示す線の番号と一致している。 自分画像の取込み； 外部ＡＶ機器10から送信映像
（例えばフルサイズでは６４０×４８０画素に相当する
映像）を外部ＡＶ入力取込み部１を経て入力し、１／２
サンプリング取込みによって画面サイズを１／４（面積
比）に縮小して自然画メモリの動画画面エリア（自分）
に展開する。この時、画像バス８は、映像入力の取込み
機能に専有される。図４に１／２サンプリング取込みの
要領を示す。（１）は映像入力信号であり、（２）は通
常のサンプリングクロックSLCK1によるサンプリング、
(3) は１／２サンプリンククロックSLCK2 によるサンプ
リングを示す。SLCK1 によるサンプリングではデータ(
サンプル……が得られ、SLCK2 によるサンプリング
で２サンプルに１つのサンプル……が得られる。こ
れは水平（ライン）方向の画素間引きであるが、垂直方
向でも１／２ライン毎に１ラインだけ採用という要領で
間引く。

【００３６】 自分画像の圧縮，送信； 自然画メモ
リ４の動画画面エリア（自分）Ａに１／４に縮小されて
展開されている、例えば画素数３２０×２４０の自分画
像を読出し、自然画ＣＯＤＥＣ部３によって一画面分ま
とめてデータ圧縮する。この場合に画素数が従来の１／
１６に比べて４倍の１／４なので、ＡＤＣＴ方式の特徴
から、空間周波数の高次成分が少なくなり、圧縮率を従
来の２倍にしても失われる情報量は少ない。ＣＯＤＥＣ
に供給する量子化閾値を自然画像圧縮時より大きくして
所定の伝送時間以内に送れるようにデータ量を圧縮す
る。圧縮データは１画面分の処理が完了するまで送信バ
ッファ6bに蓄積される。従って、自然画ＣＯＤＥＣ部３
は、他の部分の動作や回線の伝送速度に影響されずに、
最高処理スピードによる高速圧縮処理が可能となる。ま
たこの期間は、回線を使用しないため、相手画像の受信
を平行して進めることができる。

【００３７】送信は一画面分の圧縮データが送信バッフ
ァに入ったとき開始され、送信終了で外部ＡＶ入力取込
み部１による次の画面の間引き取込みを開始する。この
方法で送信画面は１０枚／秒程度になり（通信回線は６
４Kbps) 、擬似動画伝送、表示が可能である。

【００３８】 相手画像のデータ受信待ち; 相手画
像のデータを通信回線、通信制御部７を経て受信バッフ
ァ6aへ取り込む。一画面分受信し終わるまでこれを続け
る。 相手画像の伸長、自然画メモリへの展開; 相手画像
のデータが一画面分受信し終わったところで受信バッフ
ァ6aから相手画像データを読出し、自然画ＣＯＤＥＣ部
３へ入力して一画面分まとめて伸長処理を行い、伸長さ
れたデータをそのまま自然画メモリの動画画面エリア
（相手）に書き込む。このとき画像バス８は、自然画Ｃ
ＯＤＥＣ３から自然画メモリ４へのデータ転送に専有さ
れる。従って、自然画ＣＯＤＥＣ部３は、他の部分の動
作や回線の伝送速度に影響されずに、最高処理スピード
による高速伸長処理が可能となる。またこの期間は、受
信用に回線を使用しないため、自分画像の送信を平行し
て行うことができる。 デイスプレイへの表示；表示制御部は自然画メモリ
上の各エリアの画像データを読出し、映像信号に変換し
て表示する。この際に、動画画面エリアを読み出す時
は、画像データを１画素飛びにまた１ラインおきに読み
出すことによって、１６０×１２０画素にさらに間引き
して、動画画面の原画面に対して面積比１／１６に縮小
したものを、ディスプレイ上に表示させる。なお、自然
画メモリ上の相手画像を画素間引きでさらに縮小するこ
とは、従来の２倍の圧縮率でデータ量を少なく圧縮する
ＣＯＤＥＣ部での符号化、復号化を経たためにぼやけた
受信画像をシャープににするという作用もある。

【００３９】上記〜の動作を連続して行うことによ
り、自分画像、相手画像ともに動きのある簡易動画とし
て表示することができ、また相手画像の品質を向上させ
ることができる。

【００４０】

【発明の効果】以上説明した如く、本発明によれば、自
然画通信端末の基本構成を変えることなく、端末間で動
きの表現のある画像を高品質を保って双方向通信するこ
とが可能となり、自然画検索機能を持ったテレビ電話装
置などの自然画／動画通信装置を小型に構成し、かつ性
能を向上させるための基本技術として寄与するところが
大きい。

【図面の簡単な説明】

【図１】 本発明の双方向簡易動画通信方法の原理構成
図

【図２】 本発明の実施例構成図

【図３】 画像表示例の説明図

【図４】 サンプリングの説明図

【図５】 従来の双方向簡易動画通信方法を示す図

【符号の説明】

１─外部ＡＶ入力取込み部、２…画像バス制御部、３…
自然画ＣＯＤＥＣ部、４…自然画メモリ、５…表示制御
部、6a…送信用バッファ、6b…受信用バッファ、７…通
信制御部、８…画像バス

Claims (1)

【特許請求の範囲】
1. 【請求項１】 原画像信号の取込み部(1) 、自然画メモ
   リ(4) 、ＡＤＣＴ（適応離散コサイン変換）圧縮符号化
   方式で自然画の圧縮、伸長を行う自然画ＣＯＤＥＣ部
   (3) 、自然画メモリに展開された画像データの表示部
   (5) とを有する自然画通信端末を用いて、入力動画像を
   通信回線(6) を介して送受して表示する双方向簡易動画
   通信方式において、 送信側では入力動画像の画素を間引くことによって画素
   数を減らす画像の第一段階縮小を行い、該縮小した画像
   についてデータ圧縮符号化して送信し、受信側では受信
   データを伸長復元した第一段階縮小画像をさらに間引い
   て画像を縮小する第二段階縮小を行ってから表示するよ
   うにして、入力動画像に対して所望の縮小率の表示動画
   像を得るようにしたことを特徴とする双方向簡易動画通
   信方法。