JPH0898163A

JPH0898163A - 画像通信装置およびシステム

Info

Publication number: JPH0898163A
Application number: JP6231196A
Authority: JP
Inventors: Seijirou Yanase; 勢次郎柳瀬
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-09-27
Filing date: 1994-09-27
Publication date: 1996-04-12

Abstract

(57)【要約】【目的】画像の画質が符号化に伴って劣化してしまう
のを防止する。【構成】合成制御部２０６は送信相手の端末の能力に
応じて送信画像合成部２０５と符号化部２０８を制御
し、例えば相手端末が図２と同じような構成を持つ端末
である場合は、自然画像およびグラフィック画像のそれ
ぞれの画像に対して効率の良い符号化を施し、両画像を
合成しないで別々に送信するようにし、別々に送られて
きた画像を受信画像合成部２１１で合成するようにする
ことにより、自然画像とグラフィック画像をそれぞれに
合ったデータ形式で通信するようにして、合成画像の画
質の劣化を少なくすることができるようにする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像通信装置およびシス
テムに関し、特に、ビデオ編集機能を有するテレビ会議
システムやテレビ電話装置などに用いて好適なものであ
る。

【０００２】

【従来の技術】近年、ＶＴＲ（ビデオテープレコー
ダ）、ＬＤ（レーザーディスク）、８ｍｍカメラ等が普
及されるとともに、これらのビデオソースを加工して付
加価値を与えるためのビデオ編集機器が提供されつつあ
る。ビデオ編集機器は、例えば、撮影画面にタイトルを
挿入するタイトラ機能、映像（自然画像）に様々な特殊
効果を施すワイプ機能、グラフィック合成などの機能を
有している。

【０００３】これらのビデオ編集機器は、高速な処理が
求められる。すなわち、映像情報の書き込みおよび読み
出しを１画素ごとに高速に行うことが要求される。これ
を実現するためには、高速なビデオメモリを複数フレー
ム分用意して、処理速度を高速にする必要がある。この
ように、従来のビデオ編集機器は、高価なビデオメモリ
を複数フレーム分備えなければならないので、非常に高
価なものとなってしまっていた。

【０００４】次に、通信に関して言えば、通信技術、半
導体技術および光技術の進歩に伴ってデジタル回線が整
備され、高速で大容量のデータ伝送が可能となってきて
いる。特に、デジタル回線には次のような特徴がある。 1)伝送に伴うデータの品質の劣化が少ない。 2)伝送データのメディアの特性に応じた伝送路を必要と
しない。 3)メディアの統合を図ることが可能である。

【０００５】そこで、これらの特徴を利用して複数のメ
ディアを扱うことが可能なマルチメディア通信端末が製
品化されつつある。また、通常の電話網においても、モ
デムの技術進歩によりデータ伝送速度が飛躍的に向上
し、画像データを伝送することも可能となってきてい
る。

【０００６】一例として、サービス総合デジタル網（Ｉ
ＳＤＮ）を挙げれば、ＩＳＤＮの導入に伴って通信サー
ビスが実用化され、このようなデジタル回線を用いたテ
レビ電話装置やテレビ会議システム等のＡＶ（Audio Vi
sual）サービスが注目されてきている。

【０００７】ＡＶサービス用のサービス規定、プロトコ
ル規定、マルチメディア通信多重化フレーム構成規定
は、ITU-T （旧 CCITT勧告）H.320 、H.242 、H.221 等
として発表されている。勧告H.221 では、64kbps〜1920
kbpsのチャネル上でのＡＶサービスにおけるフレーム構
成および端末能力の交換、通信モードの指定等に使用さ
れるＢＡＳ（Bit Allcation Signal）の符号化割当が定
義されている。また、勧告H.242 では、ＢＡＳを用いた
ＡＶ端末間での能力交換および通信モードの切り替え等
のプロトコルが定義され、勧告H.320 では、ＡＶサービ
ス全般のシステムアスペクトが定義されている。

【０００８】すなわち、上記に示した勧告においては、
いわゆるエンド・ツー・エンドの物理コネクションの設
定およびインチャネルでの同期確立の後、インチャネル
でＢＡＳを用いた端末能力の交換シーケンスや通信モー
ドの指定によるモード切り替えシーケンス等の手順によ
り、端末間で画像、音声、データ等のマルチメディア通
信を行う方法が規定されている。

【０００９】このように、上記のような様々な勧告が整
備されるとともに、今まで独立していたメディアを統合
して通信を行うようになされた様々なマルチメディア通
信端末が開発、製品化されつつある。テレビ電話装置や
テレビ会議システムを例にとっても、様々な端末が作ら
れている。

【００１０】テレビ会議システムにおいては、静止画像
から動画像への変換、高精細なカラー画像への対応、書
画対応等を実現したものが作られている。また、複数の
ビデオ入力からの画像を重ね合わせたり、編集したりす
る機能を備え、画像にインポーズして文字を付加する機
能や、いわゆるピクチャー・イン・ピクチャ−機能等を
持つ端末が作られている。

【００１１】また、蓄積メディアの進歩により、情報量
の多い画像データを蓄積するのに適した大容量の蓄積メ
ディアが開発されてきていることに伴い、今まで以上に
精細な画像データを蓄積することが可能な留守番電話機
能を有するテレビ会議システムも開発されてきている。
また、蓄積した画像やカメラからの画像を編集（ビデオ
画像編集）して相手端末に送信するというプレゼンテー
ション機能を生かした端末もある。しかし、これらの端
末は非常に高価である。

【００１２】一方、テレビ電話端末においては、今まで
のＩＳＤＮ対応のものだけでなく、ＰＳＴＮ（Public S
witched Telephone Network ）等の公衆回線にも接続で
きるようになされた非常に安価なテレビ電話端末も登場
してきている。しかしながら、これらの端末は、相手の
顔を表示することができる程度のものであり、テレビ会
議システムに組み込まれているような画像処理機構は、
それが高価であるために組み込まれていない。

【００１３】また、他の形態として、各家庭にも徐々に
普及されてきているパーソナル・コンピュータを利用し
て、オプショナルボードを挿入し、既存のカメラ、モニ
タ、ＶＴＲ、ＬＤ、８ｍｍカメラ、電話機、ＦＡＸ機
（ファクシミリ）等を組み合わせることにより、低価格
でテレビ電話端末として利用できるようにしたものも提
案されてきている。

【００１４】ビデオ画像編集装置においては、カメラ等
からの入力映像に対して文字、図形等のグラフィック画
像を合成することができるようになされているが、アニ
メーション画像を合成する機能は、高価なシステムを構
築しないと実現することができない。

【００１５】

【発明が解決しようとする課題】しかしながら、上述し
た従来例では、映像とグラフィック画像を合成してから
符号化を行うようになされているために、画面中におい
てグラフィック画像が占める領域は、色数が少なく、動
きが少ないにもかかわらず、符号化を行うことによって
画質が劣化してしまうという問題があった。

【００１６】これは、以下の理由による。すなわち、グ
ラフィック画像は映像と比較すると色数や動きが非常に
少なく、データ量も限定されるため、より適した符号
化、復号化を行うことにより、転送速度の限定される回
線に送出するデータ量を減少させることができるはずで
ある。ところが、上記従来例では、高速な処理を必要と
する符号化、復号化でもって映像だけでなくグラフィッ
ク画像をも符号化および復号化していた。すなわち、本
来、自然画像よりもデータ量が少ないグラフィック画像
に対しても自然画像と同じ処理を施していた。

【００１７】これにより、グラフィック画像には、多過
ぎる色数および動きを処理する符号化、復号化と同じ処
理（グラフィック画像には適さない処理）が施されるこ
ととなるため、グラフィック画像の画質が劣化してしま
う。さらに、グラフィック画像の処理にも多大な時間が
かかることから、肝心な映像の画質も劣化し、フレーム
レートも落ち、動きの追従が遅くなってしまうため、ユ
ーザに視覚的な不自然さを感じさせてしまうことがあっ
た。

【００１８】そこで本発明は、画像の符号化、復号化に
伴って画質が劣化してしまうのを防止することを目的と
する。

【００１９】また、上記従来例では、映像とグラフィッ
ク画像とを合成し、これを符号化してから相手端末に送
信するようになされていた。このため、合成画像の画質
を向上させるためには、ＣＯＤＥＣ（符号化および復号
化）機能を向上させるしか手がなかった。しかしなが
ら、ＣＯＤＥＣ機能の向上にも限度があり、現状の画質
を飛躍的に向上させることは非常に困難であった。この
ことに加えて、上記従来例では、グラフィック画像に適
した通信方法が提供されていなかった。

【００２０】そこで本発明は、より鮮明な合成画像を得
ることができるようにするとともに、相手端末の能力に
合った形式で画像を送信することができるようにするこ
とを目的とする。

【００２１】さらに、上述のように映像とグラフィック
画像とを合成してから通信を行う方法を採用するテレビ
電話端末は、高速なメモリを大量に必要とするために高
価なものとなってしまっていた。このため、安価で提供
することを目的としているテレビ電話端末には上記従来
の方法は採用しにくいという欠点があった。

【００２２】また、ビデオ編集機能に関して言えば、従
来は、グラフィック画像を１ピクセル毎にメモリに書き
込んだり読み出したりしていたので、高速な処理が必要
であった。このため、連続的なグラフィック画像により
構成されるアニメーション等を扱う場合においては、処
理速度の速い高価なＣＰＵを使用しなければならなかっ
た。

【００２３】通信回線に関して言えば、モデムの転送速
度が帯域分割により格段に向上し、データ量の多い映像
をＰＳＴＮ回線で通信できるようになったことにより、
ＰＳＴＮ回線を利用したテレビ電話端末も実現されてい
る。しかし、このようなテレビ電話端末では、送信でき
る画像は、範囲の限定された小さな画面で、しかも画質
もあまり良くないものであった。また、同時に送信され
る音声の帯域も制限されているので、音質も優れている
とは言い難かった。

【００２４】そこで本発明は、グラフィック画像のフォ
ーマットおよび転送方法に独自の技術を提案することに
より、転送速度の遅い通信回線を利用する場合にも高品
質な画像や音声を得ることができるようにすることを目
的とする。

【００２５】

【課題を解決するための手段】本発明の画像通信装置
は、グラフィック画像と自然画像とにより構成される画
像を送受信する画像通信装置であって、上記グラフィッ
ク画像の領域と上記自然画像の領域とを指定する領域指
定手段と、上記領域指定手段により指定された自然画像
の領域のみを符号化する自然画像符号化手段と、上記自
然画像符号化手段により符号化された自然画像と上記グ
ラフィック画像とを多重化して送信する送信手段と、受
信した符号化された自然画像を復号化してグラフィック
画像と合成する受信画像合成手段とを設けたことを特徴
とするものである。

【００２６】また、グラフィック画像と自然画像とによ
り構成される画像を送受信する画像通信装置であって、
上記グラフィック画像の領域と上記自然画像の領域とを
指定する領域指定手段と、上記領域指定手段により指定
された自然画像の領域を符号化する自然画像符号化手段
と、上記自然画像の符号化と異なるグラフィック画像に
適した符号化を上記グラフィック画像に施すグラフィッ
ク画像符号化手段と、上記自然画像符号化手段により符
号化された自然画像と上記グラフィック画像符号化手段
により符号化されたグラフィック画像とを多重化して送
信する送信手段と、受信した符号化された自然画像とグ
ラフィック画像とを復号化して合成する受信画像合成手
段とを設けたことを特徴とするものである。

【００２７】また、グラフィック画像と自然画像とによ
り構成される画像を送受信する画像通信装置であって、
上記グラフィック画像の領域と上記自然画像の領域とを
指定する領域指定手段と、上記領域指定手段により指定
された自然画像の領域のみを符号化する自然画像符号化
手段と、上記自然画像符号化手段により符号化された自
然画像と上記グラフィック画像とを多重化する多重化手
段と、受信した符号化された自然画像を復号化してグラ
フィック画像と合成する受信画像合成手段と、送信する
自然画像とグラフィック画像とを合成し、その合成画像
を符号化する送信画像合成符号化手段と、受信端末の能
力を識別する能力識別手段と、上記能力識別手段による
識別の結果に応じて、上記多重化手段により上記符号化
された自然画像と上記グラフィック画像とを多重化して
送信するか、あるいは上記送信画像合成符号化手段によ
り自然画像とグラフィック画像とを合成、符号化して送
信する送信手段とを設けたことを特徴とするものであ
る。

【００２８】また、グラフィック画像と自然画像とによ
り構成される画像を送受信する画像通信装置であって、
上記グラフィック画像の領域と上記自然画像の領域とを
指定する領域指定手段と、上記領域指定手段により指定
された自然画像の領域を符号化する自然画像符号化手段
と、上記自然画像の符号化と異なるグラフィック画像に
適した符号化を上記グラフィック画像に施すグラフィッ
ク画像符号化手段と、上記自然画像符号化手段により符
号化された自然画像と上記グラフィック画像符号化手段
により符号化されたグラフィック画像とを多重化する多
重化手段と、受信した符号化された自然画像とグラフィ
ック画像とを復号化して合成する受信画像合成手段と、
送信する自然画像とグラフィック画像とを合成し、その
合成画像を符号化する送信画像合成符号化手段と、受信
端末の能力を識別する能力識別手段と、上記能力識別手
段による識別の結果に応じて、上記多重化手段により上
記符号化された自然画像とグラフィック画像とを多重化
して送信するか、あるいは上記送信画像合成符号化手段
により自然画像とグラフィック画像とを合成、符号化し
て送信する送信手段とを設けたことを特徴とするもので
ある。

【００２９】また、上記グラフィック画像符号化手段
を、上記グラフィック画像を２次曲線の集合体として表
現する画像近似手段により構成したことを特徴とするも
のである。

【００３０】また、合成される画像の優先順位、色およ
び合成方法を上記２次曲線の集合体ごとに指定する指定
手段を設けたことを特徴とするものである。

【００３１】本発明の画像通信システムは、自然画像と
グラフィック画像とにより構成される画像を通信回線を
介して通信する画像通信システムであって、上記グラフ
ィック画像の領域と上記自然画像の領域とを指定する領
域指定手段と、上記領域指定手段により指定された領域
の自然画像のみを符号化する自然画像符号化手段と、上
記自然画像符号化手段により符号化された自然画像と上
記グラフィック画像とを多重化して送信する送信手段
と、上記送信手段により送信された画像を受信し、その
受信した符号化された自然画像を復号化してグラフィッ
ク画像と合成する受信画像合成手段とを設けたことを特
徴とするものである。

【００３２】

【作用】上記のように構成した本発明の画像通信装置お
よびシステムによれば、指定された自然画像の領域に対
してのみ自然画像に適した符号化が施され、グラフィッ
ク画像と上記符号化された自然画像とが多重化されて相
手端末に送信される。また、上述のように相手端末から
送られてくるグラフィック画像と符号化された自然画像
とが受信画像合成手段によって合成される。これによ
り、自然画像とグラフィック画像とがそれぞれに合った
データ形式で通信されるようになる。

【００３３】また、グラフィック画像にもそれに適した
符号化を施すようにした場合には、それぞれの画像に適
した符号化が施された自然画像とグラフィック画像とが
多重化されて相手端末に送信されるようになる。これに
より、グラフィック画像にも自然画像と同じ符号化を施
す場合に比べてグラフィック画像の処理が効率化され
る。

【００３４】また、受信端末の能力を識別する能力識別
手段を設けた場合には、送信相手の端末の能力に応じ
て、自然画像とグラフィック画像とを合成して送信する
か、あるいは、上述のように両画像を多重化して別々に
送信するかが制御される。

【００３５】また、グラフィック画像を２次曲線の集合
体として近似するようにした場合には、グラフィック画
像が非常に少ないデータ量で表現されるようになり、デ
ータ量が少なくなった分を自然画像や音声の転送帯域に
割り当てることが可能となる。

【００３６】また、合成される画像の優先順位、色およ
び合成方法を上記２次曲線の集合体ごとに指定するよう
にした場合は、自然画像とグラフィック画像とをどのよ
うに合成するかを自由に定めることが可能となる。

【００３７】

【実施例】以下、本発明の一実施例について図面を参照
して説明する。図１は、本発明の一実施例による画像通
信端末装置（テレビ電話装置）の構成を示すブロック図
である。

【００３８】図１において、１０１はＣＰＵ、１０２は
プログラムを蓄積するＲＯＭ、１０３はワークエリアの
ＲＡＭ、１０４は操作部であり、キーボード、マウス、
タブレット等の入力装置を有している。ＣＰＵ１０１
は、ＲＯＭ１０２に蓄積されているプログラムに従っ
て、種々の処理を実行する。例えば、相手端末の能力を
識別したり、操作部１０４の操作に従って自然画像（映
像）の有効領域を指定したり、後述する各ブロックの制
御を行ったりする。

【００３９】１０５は通信制御部であり、後述する回線
インタフェース部１１１を介して行われる通信の制御を
行う。１０６は表示部であり、例えばＣＲＴやＬＣＤ等
が用いられる。１０７は映像処理部であり、画像処理部
１０８から与えられる合成された画像信号を表示部１０
６に表示するためのアナログ信号に変換するＤＡＣ（デ
ジタル・アナログ変換器）や、カメラ１１２から与えら
れる入力映像をデジタル信号に変換するＡＤＣ（アナロ
グ・デジタル変換器）、ＮＴＳＣコンバータ（あるいは
Ｓ−ＶＨＳコンバータ）、同期回路等を含んでおり、Ｎ
ＴＳＣ方式、Ｓ−ＶＨＳ方式等の動画像の処理を行う。

【００４０】上記画像処理部１０８は、グラフィック画
像を扱うブロックであり、グラフィックコントローラ機
能や動画像を合成する処理を行う。１０９は画像ＣＯＤ
ＥＣ部であり、動画ならば H.261規格やＭＰＥＧ（Movi
ng Picture Image Coding Experts Group ）等、静止画
ならばＪＰＥＧ（Joint Photographic Coding Experts
Group ）等により符号化および復号化することが可能で
あるが、本実施例では、テレビ会議端末あるいはテレビ
電話端末の標準規定である H.261規格について説明す
る。

【００４１】１１０は分離多重化部であり、H.221 規格
に従って、画像ＣＯＤＥＣ部１０９から与えられる画像
と、音声ＣＯＤＥＣ部１１８から与えられる音声と、Ｃ
ＰＵバス１２１を介して送られてくるデータとを多重化
する。また、回線インタフェース部１１１で受信された
通信回線１２０からの受信信号を画像と音声とデータと
に分離する。

【００４２】上述の回線インタフェース部１１１は、Ｉ
ＳＤＮ回線やＰＳＴＮ回線等の通信回線１２０のそれぞ
れに対応したインタフェースを備えている。また、音声
ＣＯＤＥＣ部１１８は、音声の符号化および復号化を行
うものである。また、上記ＣＰＵバス１２１は、各ブロ
ックを制御する制御信号やデータをやり取りするための
経路である。

【００４３】１１３は画像メモリであり、上記画像処理
部１０８の画像ワークエリアとして使用される他に、画
像の蓄積用としても使用可能である。１１４はＣＯＤＥ
Ｃメモリであり、上記画像ＣＯＤＥＣ部１０９に接続さ
れて、画像の蓄積、画像処理の際のワークエリアとして
使用される。

【００４４】１１５は音声入出力用のハンドセット、１
１６は音声を入力あるいは出力するマイク／スピーカ、
１１７は音声処理部であり、上記ハンドセット１１５お
よびマイク／スピーカ１１６に接続されており、音声の
ゲイン調整やエコーキャンセル等の機能を有している。
１１９は音声メモリであり、上記音声ＣＯＤＥＣ部１１
８の音声ワークエリアとして使用される他に、音声の蓄
積用としても使用可能である。

【００４５】図２は、上記映像処理部１０７、画像処理
部１０８および画像ＣＯＤＥＣ部１０９の詳細な構成を
示す図である。図２において、１００番台の符号を付し
たブロックは、図１に示した同じ符号のブロックに対応
している。

【００４６】２０１はカメラ１１２より入力されるＮＴ
ＳＣ信号をデコードするＮＴＳＣデコーダである。本実
施例では、ＮＴＳＣ方式の信号を扱う場合について示し
ているが、ＰＡＬ方式、ＳＥＣＡＭ方式、Ｓ−ＶＨＳ方
式等の信号を扱うことも可能である。この場合、それぞ
れの信号のフォーマットにあったデコーダを上記ＮＴＳ
Ｃデコーダ２０１の代わりに用いればよい。

【００４７】２０２は同期回路であり、上記ＮＴＳＣデ
コーダ２０１に合わせて同期をとり、グラフィック制御
部２０３に対して水平、垂直同期信号を供給する。上記
グラフィック制御部２０３は、グラフィック画像の描
画、自然画像との合成方法、色の調整等を行う。なお、
上記自然画像との合成方法は、図１のＣＰＵ１０１によ
って判断される相手端末の能力に応じて決められる。

【００４８】２０４はグラフィックＲＡＭであり、描画
するグラフィック画像を蓄積する。グラフィック画像
は、上記グラフィック制御部２０３の制御により、図１
に示したＣＰＵバス１２１を介してグラフィックＲＡＭ
２０４に書き込まれる。２０５は送信画像合成部であ
り、グラフィック画像と上記ＮＴＳＣデコーダ２０１か
ら与えられる自然画像とを合成する。

【００４９】２０６は合成制御部であり、グラフィック
制御部２０３からの合成情報に基づいて、グラフィック
画像に対してＮＴＳＣデコーダ２０１から出力される自
然画像をどのように合成するかを、送信画像合成部２０
５に指示する。通常は、両画像を合成してからその合成
画像を相手端末に送信するため、送信画像は送信画像合
成部２０５で合成されるが、本実施例では、合成制御部
２０６から符号化部２０８に上記合成情報を転送するよ
うにしている。

【００５０】２０７は送信スキャンレート変換部であ
り、送信画像合成部２０５から出力される送信画像のス
キャンレートを変換する。上述の符号化部２０８は、画
像を符号化するものであり、自然画像とグラフィック画
像とを合成してから送信する場合には、その合成画像を
符号化する。一方、両画像を合成しないで送信する場合
には、自然画像については合成制御部２０６から与えら
れる合成情報により得られる有効な領域のみを符号化す
る。また、グラフィック画像については上記自然画像に
対する符号化と異なるグラフィック画像に適した符号化
を行う。

【００５１】２０９は復号化部であり、相手端末から受
信した画像を復号化するものである。２１０は受信スキ
ャンレート変換部であり、復号化部２０９から送られて
くる画像データを表示系のスキャンに合わせる処理を行
う。２１１は受信画像合成部であり、受信画像と送信画
像とを合成してＶＧＡ制御部２１２に転送する。送信画
像は、送信画像合成部２０５においてグラフィック画像
と自然画像とを合成することにより生成しているが、こ
れを１つの画像として取り扱う。上記ＶＧＡ制御部２１
２は、ＶＲＡＭ（ビデオ・ラム）２１３に画像を展開す
るとともに、表示部１０６に対して同期にあったタイミ
ングでデータを転送する。

【００５２】次に、上記構成による画像通信装置の動作
について簡単に説明する。合成制御部２０６には、図１
のＣＰＵ１０１によって識別される相手端末の能力に応
じて、グラフィック制御部２０３から所定の合成情報が
与えられている。合成制御部２０６は、与えられた合成
情報に基づいて送信画像合成部２０５を制御する。送信
画像合成部２０５は、合成制御部２０６の制御に従っ
て、自然画像とグラフィック画像との合成を行う。

【００５３】例えば、相手端末が図２に示したような構
成を持たない通常の端末であれば、ＮＴＳＣデコーダ２
０１から入力される自然画像とグラフィックＲＡＭ２０
４から読み出されるグラフィック画像とが送信画像合成
部２０５で合成される。一方、相手端末が図２に示した
ような構成を持つものであれば、自然画像とグラフィッ
ク画像との合成は行われない。

【００５４】上記合成制御部２０６に入力された合成情
報は、合成制御部２０６から符号化部２０８に転送され
ている。これにより、符号化部２０８もこの合成情報に
応じてその動作が制御される。すなわち、送信画像合成
部２０５で自然画像とグラフィック画像とを合成した場
合は、符号化部２０８は、その合成した画像を符号化し
て分離多重化部１１０に供給する。一方、自然画像とグ
ラフィック画像とを合成しない場合は、符号化部２０８
は、自然画像の指定領域とグラフィック画像とをそれぞ
れに合った手法で符号化する。

【００５５】以上のようにして符号化された画像は、分
離多重化部１１０で音声、データに多重化されて相手端
末に送信される。このように、本実施例では、相手端末
の能力に応じて、自然画像とグラフィック画像とが合成
された後で送信されたり、両画像が合成されずに別々に
送信されたりする。

【００５６】受信側では、自然画像とグラフィック画像
との合成画像が送信側から送られてきたときは、受信し
た合成画像を復号化部２０９で復号化する。一方、自然
画像とグラフィック画像とが別々に送られてきたとき
は、自然画像とグラフィック画像とをそれぞれ復号化部
２０９で復号化し、その後、受信画像合成部２１１で合
成するようにする。

【００５７】図３は、自然画像とグラフィック画像の処
理の一例を示す説明図である。図３において、３０１〜
３０４の番号を付した画像は、従来のように自然画像と
グラフィック画像とを合成してから相手端末に送信する
方法を示している。

【００５８】すなわち、まず送信側において自然画像３
０１とグラフィック画像３０２とを合成することによ
り、合成画像３０３を得る。そして、この合成画像３０
３を、H.261 の規格に従って符号化して受信側に送信す
る。受信側では、受信した画像を復号化することにより
画像３０４を得る。

【００５９】このように、従来は、自然画像３０１とグ
ラフィック画像３０２とを合成してから符号化を行って
いたため、合成されたグラフィック画像、特に文字の部
分はブロック歪み等により画質が劣化してしまうことが
多かった。

【００６０】これに対して、３０５〜３１１の番号を付
した画像は、自然画像とグラフィック画像とを受信側に
別々に送信し、受信側で両画像を合成するという、本実
施例が提案する方法を示している。

【００６１】すなわち、まず送信側において自然画像３
０５の全領域の中からグラフィック画像３０６が合成さ
れたときに実際に表示される部分を指定する。この指定
に際しては、例えば、グラフィック画像３０６に動画を
はめ込む領域を指定すると、自動的に指定領域の画像３
０７のみの符号化を行うようにする。そして、こうして
実際に表示される指定領域のみを符号化した自然画像を
受信側に送信する。

【００６２】一方、グラフィック画像３０６は、自然画
像３０５が合成されたときに自然画像の入る領域が、デ
ータ量の少ない画像（例えば、全黒、全白の画像）３０
８に置き換えられる。そして、このグラフィック画像３
０８がデータとして受信側に送信される。なお、上記の
ように画像の置き換えを行う代わりに、必要なブロック
のみを選択してグラフィック画像にあった圧縮をかける
ようにしてもよいし、データ量が少なければそのまま送
信するようにしてもよい。

【００６３】受信側では、別々に送信されてきた自然画
像３０９とグラフィック画像３１０のうち、自然画像３
０９のみを復号化する。そして、この復号化した自然画
像３０９とグラフィック画像３１０とを合成することに
より画像３１１を得る。

【００６４】以上のような通信を行うことにより、自然
画像は表示される画像領域のみを対象とすればよく、デ
ータ量が少なくなるので、フレームレートを上げること
ができ、画質の向上を図ることができる。また、グラフ
ィック画像に適した圧縮をかけることによりグラフィッ
ク画像の画質も向上させることができる。この場合、グ
ラフィック画像が静止画であるならば、特に文字の部分
は読み易くなり、効果はより顕著なものとなる。

【００６５】特に、テレビ会議端末やテレビ電話端末で
は、表示対象となる人物領域全体の動きは小さく、背景
はできれば映像として伝送したくない場合が多い。この
ような場合、本実施例に示すように、背景をグラフィッ
ク画像としてデータ量を減らし、これにより効率化され
た分を人物領域の伝送の方に処理を割り振れば、今まで
の映像では分かりにくかった顔の表情などの細かい部分
も鮮明に表現できるようになる。また、背景をグラフィ
ック画像で見やすい色に変えることができるので、より
使い易いテレビ会議端末やテレビ電話端末を提供するこ
とができる。

【００６６】図４および図５は、本実施例による通信動
作を示すフローチャートであり、図４は送信側の動作を
示し、図５は受信側の動作を示している。

【００６７】図４において、まずステップ４０１で発呼
を行うと、次のステップ４０２で相手端末の能力を識別
する。ＩＳＤＮ回線なら、端末能力識別子を見るか、Ｕ
ＵＩデータを使用するかして簡単に相手端末の能力を判
断することができる。また、ＰＳＴＮ回線なら、回線閉
結後にＤＴＭＦ（Dual Tone Multi Frequeney ）信号等
を用いて相手端末の情報を知ることが可能である。この
能力識別についての詳細は後述する。

【００６８】次に、ステップ４０３で、上記ステップ４
０２にて得た情報から領域指定合成が可能かどうかを判
断する。領域指定合成が不可能な場合（相手端末が図２
のような構成を持たない通常の端末である場合）は、ス
テップ４０４でグラフィック画像と自然画像とを合成
し、ステップ４０５で合成画像を符号化してステップ４
１３に進む。

【００６９】一方、上記ステップ４０３で領域指定合成
が可能であると判断した場合は、ステップ４０６に進
み、グラフィック画像と自然画像とをそれぞれ別のルー
トで相手端末に送信するようにする。すなわち、自然画
像の場合は、まずステップ４０７で自然画像の有効領域
を指定し、ステップ４０８で同期信号を付加する。この
同期信号は、自然画像とグラフィック画像との遅延を補
正するための目的で挿入する。

【００７０】次のステップ４０９では、自然画像の符号
化を行う。ここで、ＭＰＥＧやＪＰＥＧでは単位ブロッ
ク毎に領域指定をして符号化することが可能であるの
で、上記ステップ４０７にて指定した領域のみを符号化
することは容易である。しかし、H.261 規格の場合は、
領域指定ができないので、指定された領域以外の画像に
データ量が少なくなるようなパターンを挿入して１フレ
ーム毎に処理する。

【００７１】また、グラフィック画像の場合は、ステッ
プ４０６からステップ４１０に進み、まずグラフィック
画像領域の指定を行う。そして、ステップ４１１で同期
信号を付加し、ステップ４１２でグラフィック画像をデ
ータとして分離多重化部１１０に送出する。

【００７２】次に、ステップ４１３で、上述のようにし
て符号化された画像データを、分離多重化部１１０で他
の音声データと多重化し、これをステップ４１４で相手
端末に送信する。

【００７３】図５に示す受信側の動作では、まずステッ
プ５０１で着信があると、ステップ５０２で相手端末の
能力を識別する。次に、ステップ５０３で、着信した画
像が領域指定合成に基づく画像であるかどうかを判断す
る。そして、領域指定合成に基づく画像でない場合（送
信側において自然画像とグラフィック画像とが既に合成
されている場合）は、ステップ５０４でその合成画像を
復号化してステップ５０８に進む。

【００７４】一方、上記ステップ５０３にて着信画像が
領域指定合成に基づく画像であると判断した場合（送信
側において自然画像とグラフィック画像とが合成され
ず、両画像が別々に送信されてきた場合）は、ステップ
５０５に進み、指定領域の画像の復号化を実行する。

【００７５】次に、ステップ５０６で自然画像とグラフ
ィック画像との同期をとり、ステップ５０７で自然画像
とグラフィック画像とを合成して、ステップ５０８に進
む。ステップ５０８では、通信が終了したかどうかを判
断し、通信が終了した場合には、処理を終わる。

【００７６】ここで、上述した相手端末の能力を識別す
る手段を、図６〜図８を用いて説明する。図６は、ＩＳ
ＤＮ回線における回線交換呼制御手順を示す概念図であ
る。図６において、６０１は発信端末の状態、６０２は
網の状態、６０３は着信端末の状態をそれぞれ示してい
る。

【００７７】本実施例による相手端末の能力を識別する
ための技術手段は、特に発信端末６０１に関することな
ので、ここでは発信端末６０１に注目して説明する。ま
ず、発信端末６０１から発呼されると、「呼設定」メッ
セージが網６０２に送出される。その後、網６０２から
「呼設定受付」メッセージを受けると、発呼状態から発
呼受付状態に移行し、網６０２からの「呼出」メッセー
ジを待つ。

【００７８】そして、発信端末６０１が「呼出」メッセ
ージを受けると、呼出通知状態に移行し、網６０２から
の「応答」メッセージを待つ。発信端末６０１が「応
答」メッセージを受けると、「応答確認」メッセージを
網６０２に返し、通信中状態に移行する。通信を終了す
る場合は、「切断」メッセージを網６０２に送ることに
より切断要求状態に移行する。その後、網６０２から
「解放」メッセージを受けると、「解放完了」メッセー
ジを網６０２に返して空状態に戻る。このようなやり取
りの中で、発信端末６０１が相手端末（着信端末６０
３）の能力を判断できるのは、「呼設定受付」メッセー
ジを受けた時点である。

【００７９】図７は、上記「呼設定」メッセージ等、網
と端末とのインタフェースを規定した勧告I.430 のレイ
ヤ３メッセージのフォーマットの一例を示す図である。
また、図８は、実際の「呼設定」メッセージであって、
μ-lawの音声で回線交換を使ってＢ１チャネルに接続し
た場合の一例を示す図である。

【００８０】図７および図８から明らかなように、図６
の発信端末６０１が上記「呼設定」メッセージに応答し
て着信端末６０３から送られてくる「呼設定受付」メッ
セージを受けた時点で相手端末の所望する能力を判別す
ることができる。これにより、その能力に応じて自然画
像とグラフィック画像とを合成してから送信するか、両
画像を合成しないで各画像に適した方法で送信するかの
いずれかを選択することができる。

【００８１】以上のようにして相手端末の能力を判別し
た後、自然画像にグラフィック画像を合成するか否かに
よって、すなわち、図４のステップ４０４〜４０５の処
理を行うか、あるいはステップ４０６〜４１２の処理を
行うかによって、次のステップ４１３における多重化方
法が異なってくる。以下に、この多重化方法について説
明する。

【００８２】図９は、H.221 規格で多重化する場合の１
フレームを表す構成図である。図９（ａ）はフレームの
構成を示す図であり、１フレームは８ビット×８０オク
テットで構成されている。また、各ビット番号ごとにサ
ブチャネルＳＣ１〜ＳＣ８が構成され、原則として、信
号の割り当てはサブチャネル単位で行われるようになっ
ている。

【００８３】なお、第８ビットにはサブチャネルＳＣ８
の他に、ＦＡＳ（フレーム同期信号）とＢＡＳ（ビット
レート割当信号）とが含まれている。ＦＡＳは、その文
字通りフレームの同期に使用される信号である。また、
ＢＡＳはフレームのビットの割り当てを決めるために使
用される信号であり、このＢＡＳによって音声、画像、
データの割り当てが行われる。

【００８４】上述したように、呼設定により相手端末の
能力を判別したとき、相手端末が通常の端末である場合
は、グラフィック画像を自然画像に合成し符号化した後
に、多重化を行う。したがって、この場合は、データ
（グラフィック画像）のみを多重化するチャネルはな
く、音声と合成画像とで全てのサブチャネルＳＣ１〜Ｓ
Ｃ８が割り当てられる。

【００８５】一方、上述した本実施例による独自の合成
方法を行うための構成が相手端末に備えられている場合
は、図９（ｂ）に例示するように、音声：24Kbit、画像
（自然画像）：32Kbit、データ（グラフィック画像）：
6.4Kbit を割り当てる。これにより、グラフィック画像
を自然画像に合成しないでデータ量の少ないデータとし
て相手端末に伝送するとともに、自然画像も指定された
領域のみを伝送し、両画像を受信側端末で合成するよう
にする。

【００８６】つまり、自然画像については、図４のステ
ップ４０９で示したように有効領域のみを符号化する。
また、グラフィック画像については、ステップ４１２に
示したようにデータ量の少ないデータに圧縮する。そし
て、このように自然画像とグラフィック画像とをそれぞ
れにあった手法により圧縮したデータを図９（ｂ）のよ
うに多重化して受信側に伝送し、両画像を受信側で合成
するようにしているので、より鮮明で見やすい合成画像
を得ることができる。

【００８７】図１０は、グラフィック画像を２次曲線の
集合体のデータとして表す場合の２次曲線の近似方法を
説明するための図である。

【００８８】２次曲線の一般式は、ｙ＝ａｘ²＋ｂｘ＋ｃ …（式１）で表される。上記（式１）の１次微分および２次微分を
求めると、ｙ’＝２ａｘ＋ｂ …（式２）ｙ”＝２ａ …（式３）となる。

【００８９】上記（式１）のｘに実際に定数を代入する
と（式４）のようになる。また、（式４）で示される複
数の式を一般化すると（式５）のようになる。この（式
５）から明らかなように、２次曲線は、２回の微分と２
回の加算で示される。

【００９０】

【数１】

【００９１】このような２回の微分と２回の加算は、処
理としては非常に簡単であり、図１０に示す各座標ｙ
(1),ｙ(2),…を座標ｙ(0) ＝ｃから計算で容易に導き出
すことができる。したがって、グラフィック画像をビッ
トマップに展開するとすれば高速なビット処理と多くの
メモリが必要になるが、上記に示した２次曲線で近似す
るようにすれば、少ないメモリで、簡単な処理のためグ
ラフィック画像を高速に処理することが可能となる。こ
のため、通常のグラフィック画像の処理でアニメーショ
ンも実現できるようになる。

【００９２】上述の２次曲線は、２次曲線の一般式であ
る（式１）、スタートライン、エンドライン、スタート
の定数ｃ、色を示すビット、レイヤ構造の優先順位（ど
の図形が一番上にきて表示されるか）を決定するビット
の各情報を有することにより表すことができる。これに
より、グラフィック画像（アニメーション）を少ないデ
ータで表現することができる。ちなみに、図１０に示す
Δｘの間隔を小さくすれば、高精細な画像を表現するこ
ともできる。この場合でも（式５）に示した近似式は同
一の回路を流用して実現することができる。

【００９３】図１１は、簡単な図形を２次曲線の集合体
として表した場合の一例を示す図である。従来のよう
に、これらの図形をビットマップ等で描画しようとする
と、図形の面積に比例して多くのメモリが必要であっ
た。これに対して、本実施例のように図形を２次曲線の
集合体で表すと、それぞれの図形が持つ２次曲線の数に
比例するメモリで十分であることが分かる。

【００９４】例えば、水平１０２４×垂直７６８×２５
６色の図形のデータ量を考えると、ビットマップでは25
Ｍbyteのデータが必ず必要である。一方、これを２次曲
線の集合体で表すと、１つの２次曲線を表すのに（スタ
ートの定数ｃ：10bit ）＋（スタートライン：10bit ）
＋（エンドライン：10bit ）＋（優先順位：10bit ）＋
（色数：8bit）でトータル48bit 必要であるとして、図
形が１０００本の２次曲線の集合体であるとしても、デ
ータ量は6Kbyteのみであり、非常に少ないデータでグラ
フィック画像を表現することができる。

【００９５】また、２次曲線上の座標を求めるための処
理も２回の微分と２回の加算を行うだけで済むので、非
常に簡単である。したがって、図形を高速に展開するこ
とが可能であり、アニメーションも容易に実現すること
ができるようになる。また、優先順位として、グラフィ
ック画像よりも自然画像を優先する順位を割り当てれ
ば、自然画像とグラフィック画像（アニメーション）と
を合成することも簡単に実現することができる。

【００９６】しかも、上述したように、グラフィック画
像を２次曲線の集合体として表すことにより、グラフィ
ック画像を非常に少ないデータで表現することができる
ので、グラフィック画像のデータ量を少なくした分だけ
自然画像や音声に転送帯域を割り当てることができる。
このため、例えばＰＳＴＮ等の転送速度が遅い通信回線
を使用する場合でも、高品質な画像や音声を伝送するこ
とができる。

【００９７】

【発明の効果】以上説明したように本発明によれば、指
定された自然画像の領域に対してのみ自然画像に適した
符号化を施し、この符号化した自然画像とグラフィック
画像とを多重化して送信するようにしたので、自然画像
とグラフィック画像とをそれぞれに合ったデータ形式で
通信することができ、画質劣化を少なくすることができ
る。

【００９８】また、本発明の他の特徴によれば、自然画
像に対する符号化と異なる画質劣化の少ない符号化をグ
ラフィック画像に施すようにしたので、自然画像と同じ
符号化を施す場合に比べてグラフィック画像の処理を効
率化することができ、効率の良くなった分を自然画像や
音声の処理に振り分けることで、より高品質な画像を得
ることができる。したがって、本発明の画像通信装置を
転送速度の遅い回線に接続しても、合成画像の画質を一
定以上の高品質に維持することができる。

【００９９】また、本発明のその他の特徴によれば、送
信相手の端末の能力に応じて画像の合成方法を制御する
ようにしたので、相手端末の能力に合ったデータ形式で
通信を行うことができるようになり、例えば従来の画像
通信装置のように本発明に特有の構成を持たない装置と
の間でも通信を行うことができる。

【０１００】また、本発明のその他の特徴によれば、上
記グラフィック画像を２次曲線の集合体として近似する
ようにしたので、簡単な処理でもってグラフィック画像
を少ないデータ量で表現することができ、アニメーショ
ン画像を容易に実現することができる。また、データ量
が少なくなった分を自然画像や音声の転送帯域に割り当
てることで、より高品質な画像や音声を得ることができ
る。また、高速なメモリやＣＰＵを用いる必要がないの
で、コストが安くなる。

【０１０１】また、本発明のその他の特徴によれば、合
成される画像の優先順位、色および合成方法を、グラフ
ィック画像を近似した２次曲線の集合体ごとに制御する
ようにしたので、画像の重なり具合や背景の色を調整す
ることなどによって、より見やすい合成画像を得ること
ができる。

【図面の簡単な説明】

【図１】本発明の一実施例による画像通信装置の構成を
示すブロック図である。

【図２】図１に示した映像処理部、画像処理部および画
像ＣＯＤＥＣ部の詳細な構成を示す図である。

【図３】自然画像とグラフィック画像の処理の一例を示
す説明図である。

【図４】本実施例の画像通信装置による送信動作を示す
フローチャートである。

【図５】本実施例の画像通信装置による受信動作を示す
フローチャートである。

【図６】ＩＳＤＮ回線における回線交換呼制御手順を示
す概念図である。

【図７】網と端末とのインタフェースを規定した勧告I.
430 のレイヤ３メッセージのフォーマットの一例を示す
図である。

【図８】実際の「呼設定」メッセージの一例を示す図で
ある。

【図９】H.221 規格で画像、音声、データを多重化する
場合の１フレームの構成を示す図である。

【図１０】グラフィック画像を２次曲線の集合体で表す
場合の２次曲線の近似方法を説明するための図である。

【図１１】簡単な図形を２次曲線の集合体として表した
場合の一例を示す図である。

【符号の説明】

１０７映像処理部１０８画像処理部１０９画像ＣＯＤＥＣ部２０１ＮＴＳＣデコーダ２０３グラフィック制御部２０５送信画像合成部２０６合成制御部２０８符号化部２０９復号化部２１１受信画像合成部

Claims

【特許請求の範囲】

【請求項１】グラフィック画像と自然画像とにより構
成される画像を送受信する画像通信装置であって、上記グラフィック画像の領域と上記自然画像の領域とを
指定する領域指定手段と、上記領域指定手段により指定された自然画像の領域のみ
を符号化する自然画像符号化手段と、上記自然画像符号化手段により符号化された自然画像と
上記グラフィック画像とを多重化して送信する送信手段
と、受信した符号化された自然画像を復号化してグラフィッ
ク画像と合成する受信画像合成手段とを設けたことを特
徴とする画像通信装置。
【請求項２】グラフィック画像と自然画像とにより構
成される画像を送受信する画像通信装置であって、上記グラフィック画像の領域と上記自然画像の領域とを
指定する領域指定手段と、上記領域指定手段により指定された自然画像の領域を符
号化する自然画像符号化手段と、上記自然画像の符号化と異なるグラフィック画像に適し
た符号化を上記グラフィック画像に施すグラフィック画
像符号化手段と、上記自然画像符号化手段により符号化された自然画像と
上記グラフィック画像符号化手段により符号化されたグ
ラフィック画像とを多重化して送信する送信手段と、受信した符号化された自然画像とグラフィック画像とを
復号化して合成する受信画像合成手段とを設けたことを
特徴とする画像通信装置。
【請求項３】グラフィック画像と自然画像とにより構
成される画像を送受信する画像通信装置であって、上記グラフィック画像の領域と上記自然画像の領域とを
指定する領域指定手段と、上記領域指定手段により指定された自然画像の領域のみ
を符号化する自然画像符号化手段と、上記自然画像符号化手段により符号化された自然画像と
上記グラフィック画像とを多重化する多重化手段と、受信した符号化された自然画像を復号化してグラフィッ
ク画像と合成する受信画像合成手段と、送信する自然画像とグラフィック画像とを合成し、その
合成画像を符号化する送信画像合成符号化手段と、受信端末の能力を識別する能力識別手段と、上記能力識別手段による識別の結果に応じて、上記多重
化手段により上記符号化された自然画像と上記グラフィ
ック画像とを多重化して送信するか、あるいは上記送信
画像合成符号化手段により自然画像とグラフィック画像
とを合成、符号化して送信する送信手段とを設けたこと
を特徴とする画像通信装置。
【請求項４】グラフィック画像と自然画像とにより構
成される画像を送受信する画像通信装置であって、上記グラフィック画像の領域と上記自然画像の領域とを
指定する領域指定手段と、上記領域指定手段により指定された自然画像の領域を符
号化する自然画像符号化手段と、上記自然画像の符号化と異なるグラフィック画像に適し
た符号化を上記グラフィック画像に施すグラフィック画
像符号化手段と、上記自然画像符号化手段により符号化された自然画像と
上記グラフィック画像符号化手段により符号化されたグ
ラフィック画像とを多重化する多重化手段と、受信した符号化された自然画像とグラフィック画像とを
復号化して合成する受信画像合成手段と、送信する自然画像とグラフィック画像とを合成し、その
合成画像を符号化する送信画像合成符号化手段と、受信端末の能力を識別する能力識別手段と、上記能力識別手段による識別の結果に応じて、上記多重
化手段により上記符号化された自然画像とグラフィック
画像とを多重化して送信するか、あるいは上記送信画像
合成符号化手段により自然画像とグラフィック画像とを
合成、符号化して送信する送信手段とを設けたことを特
徴とする画像通信装置。
【請求項５】上記グラフィック画像符号化手段は、上
記グラフィック画像を２次曲線の集合体として表現する
画像近似手段により構成されることを特徴とする請求項
２または４記載の画像通信装置。
【請求項６】合成される画像の優先順位、色および合
成方法を上記２次曲線の集合体ごとに指定する指定手段
を設けたことを特徴とする請求項５記載の画像通信装
置。
【請求項７】自然画像とグラフィック画像とにより構
成される画像を通信回線を介して通信する画像通信シス
テムであって、上記グラフィック画像の領域と上記自然画像の領域とを
指定する領域指定手段と、上記領域指定手段により指定された領域の自然画像のみ
を符号化する自然画像符号化手段と、上記自然画像符号化手段により符号化された自然画像と
上記グラフィック画像とを多重化して送信する送信手段
と、上記送信手段により送信された画像を受信し、その受信
した符号化された自然画像を復号化してグラフィック画
像と合成する受信画像合成手段とを設けたことを特徴と
する画像通信システム。