JPH0884331A - 画像通信装置およびその画像通信方法 - Google Patents

Abstract

(57)【要約】 【目的】 グラフィック画像の画質の劣化を防いだ通信
を行なえる画像通信装置を提供する。 【構成】 画像通信装置はＣＰＵ１０１、合成処理を行
なうグラフィックコントローラ１０８、画像ＣＯＤＥＣ
部１０９、多重化部１１０、回線インターフェース部１
１１、音声ＣＯＤＥＣ部１１７などを備える。画像通信
装置はグラフィック画像と自然画像を別々に送信し、受
信側で合成する。自然画像３０７の実際に表示される部
分のみを符号化して送信する。グラフィック画像３０８
では自然画像の入る領域はデータの少ない画像（例え
ば、前黒、前白）に置き換えて送信する。自然画像のう
ち表示される画像領域のみを対象として送信することに
より、データ量が少なくなるので、フレームレートを上
げることが可能であるし、画質も向上する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像通信装置に関し、
特に画像編集機能を搭載したＴＶ会議システムやＴＶ電
話端末装置に使用される画像通信装置に関する。

【０００２】

【従来の技術】近年、ＶＴＲ、ＬＤ、８ｍｍカメラ等の
普及に伴い、これらのビデオソースを加工して付加価値
を高めたビデオ編集機器が提供されつつある。例えば、
タイトルを挿入するタイトラ機能、映像に様々な特殊効
果を施すワイプ機能、グラフィック合成などの機能であ
る。これらのビデオ編集機器は高速な処理に応えるため
に高速のビデオメモリを複数フレーム分備えているの
で、高価になってしまっていた。つまり、１画素毎に書
き込みや読み出しを高速で行わなければならず、これを
補うために高価なビデオメモリを複数フレーム分用意し
て、処理速度の遅れを吸収しなければ出力できないから
である。

【０００３】また、通信に関しては、通信技術、半導体
技術や光技術の進歩に伴い、デジタル回線が整備され、
高速で大容量のデータ伝送が可能となっている。特に、
デジタル回線の特徴として、伝送による品質の低下が少
なく、伝送データのメディアの特性に応じた伝送路を必
要とせず、メディアの統合が図れることなどがあり、複
数のメディアを扱うことが可能なマルチメディア通信端
末が製品化されつつある。また、通常の電話網において
もモデムの技術の進歩により伝送速度が飛躍的に向上
し、画像を伝送することも可能となってきている。

【０００４】一例として、サービス統合デジタル網（Ｉ
ＳＤＮ）をあげれば、ＩＳＤＮ導入に伴い、通信サービ
スが実用化され、このようなデジタル回線を用いたテレ
ビ電話、テレビ会議システム等のＡＶ（オーディオビジ
ュアル）サービスが注目されてきている。ＡＶサービス
用のサービス規定、プロトコル規定、マルチメディア通
信多重化フレーム構成規定がＩＴＵ−Ｔ Ｈ．３２０、
Ｈ．２４２、Ｈ．２２１等として発表されている。

【０００５】Ｈ．２２１で６４Ｋｂｐｓから１９２０Ｋ
ｂｐｓチャネル上でのＡＶサービスにおけるフレーム構
成及び端末能力の交換、通信モードの指定等に使用され
るＢＡＳ（ビットアロケーション信号）の符号化割当が
定義されている。Ｈ．２４２ではＢＡＳを用いたＡＶ機
器間での能力交換及び通信モード切替等のプロトコルが
定義され、Ｈ．３２０ではＡＶサービス全般のシステム
アスペクトが定義されている。上記に示す勧告において
は、エンド・ツー・エンドの物理コネクションの設定及
びインチャネルで同期確立後、インチャネルでＢＡＳを
用いた端末能力の交換シーケンス、通信モードの指定に
よるモード切り替えシーケンス等の手順により端末間で
画像、音声、データ等のマルチメディア通信を行なう方
法が規定されている。

【０００６】上記に示す勧告も整備されるとともに、今
まで独立していたメディアを複合し、マルチメディア通
信として様々な製品が開発、製品化されつつある。テレ
ビ電話装置、テレビ会議システムを例にとっても、様々
な端末装置が作られている。

【０００７】テレビ会議システムにおいては、静止画像
から動画像へと、また高精細なカラー画像への対応、書
画対応、および複数ビデオ入力からの画像を重ね合わ
せ、編集する機能などを備え、インポーズして文字を付
加したり、ＰｉｎＰ機能などを持つテレビ電話装置が作
られている。また、蓄積メディアの進歩により画像デー
タを蓄積するのに適した大容量の蓄積メディアが開発さ
れ、今まで以上に精細な画像データを蓄積し留守番電話
機能を有するテレビ会議システムも開発されてきてい
る。

【０００８】また、蓄積した画像や、カメラからの画像
を編集して（ビデオ画像編集）相手端末に送信し、プレ
ゼンテーション機能を生かした端末もある。しかし、こ
れらのシステムは非常に高価である。

【０００９】一方、ＴＶ電話端末においては、今までの
ＩＳＤＮ対応のものだけでなく、ＰＳＴＮ回線等の公衆
回線に接続でき、非常に安価なＴＶ電話端末が登場して
きている。これらの端末は、相手の顔を表示する程度の
もので、ＴＶ会議システムに組み込まれているような画
像処理機能は高価なために組み込まれていない。

【００１０】また、他の形態として、家庭にも徐々に普
及されてきているパソコンを使用して、オプションボー
ドを挿入し、既存のカメラ、モニタ、ＶＴＲ、８ｍｍ、
ＬＤ、電話機、ＦＡＸ等を組み合わせてＴＶ電話端末と
して低価格で実現できるものも出始めた。

【００１１】また、ビデオ画像編集装置においては、グ
ラフィック画像を合成することはできるが、アニメーシ
ョン画像を合成する機能は、高価なシステムを構築しな
いと実現できない。

【００１２】

【発明が解決しようとする課題】しかしながら、上記従
来例では、映像とグラフィック画像を合成してから符号
化を行なうためのグラフィック画像の領域は色数も少な
く、動きも少ないにもかかわらず、符号化を行なうこと
によって画質が劣化してしまう。これは、グラフィック
画像は色数や動きも映像に比較すると非常に少なくデー
タ量も限定されるため、より適した符号化、復号化ある
いは圧縮を行なうことにより、転送速度の限定される回
線に流すデータ量も減少させることができるはずであ
る。

【００１３】加えて、高速な処理を必要とする符号化、
復号化でもグラフィック画像を符号化、復号化を行って
いるため、本来、自然画像よりもデータ量の少ないグラ
フィック画像も自然画像と同じ処理を施してしまうため
に、グラフィック画像は劣化してしまうことは勿論のこ
と、グラフィック画像の処理にも時間がかかり肝心な映
像領域は画質が劣化し、フレームレートも下がり、動き
の追従が遅くなってしまいユーザに不自然さを感じさせ
てしまう。

【００１４】そこで、本発明はグラフィック画像の画質
の劣化を防いだ通信を行なえる画像通信装置を提供する
ことを第１の目的とする。

【００１５】また、ＴＶ会議システム／電話端末装置で
は、任意の領域（人物画像）の映像以外の背景は必須の
ものではなく、却って背景が通信されることにより必要
としない映像情報まで送信してしまうために不都合が生
じることもある。

【００１６】そこで、本発明は必要とする映像情報を送
信する画像通信装置を提供することを第２の目的とす
る。

【００１７】さらに、上記従来例では、グラフィック画
像を合成し、符号化してから送信していたため、合成し
た画像の質を向上させることはＣＯＤＥＣ機能を向上さ
せるしかなかったが、ＣＯＤＥＣ機能の向上にも限度が
あり、現状の画質を飛躍的に向上させることは難しくな
ってきている。加えて、グラフィック画像に適した通信
方法を提供していなかった。

【００１８】そこで、本発明は、グラフィックの合成さ
れた画像を提供する場合には合成してから送信するよう
な相手端末との通信を補償し、独自モードで動作した場
合は、より鮮明な合成画像を提供する画像通信装置を提
供することを第３の目的とする。

【００１９】またさらに、上記従来例に示したように映
像とグラフィック画像を合成してから通信を行なう方法
は高速メモリを大量に必要とするので、高価なものとな
ってしまい、安価なＴＶ電話端末装置に搭載しにくいと
いう問題があった。また、ビデオ編集機能に関して、グ
ラフィック画像を１ピクセル毎にメモリにリードライト
しているので高速な処理を必要とし、アニメーションな
どのグラフィック画像の連続であるものも処理速度の速
いＣＰＵを使用しなければならなかった。

【００２０】通信回線に関して、モデムの転送速度も帯
域分割により格段に向上してデータ量の多い映像をＰＳ
ＴＮ回線で通信できるようになり、ＰＳＴＮ回線に接続
されるＴＶ電話端末も実現されているが限定された小さ
な画面で、しかも画質があまりよくない。また、同時に
通信される音声の帯域も制限しているので、音質も良い
とはいい難い。これは画像データ量が多く、転送速度の
限定される通信回線を使用する場合には、画像のデータ
量を効率良く圧縮してできる限り音声の帯域を広く取る
必要があった。

【００２１】そこで、本発明は上記のような課題を解決
するためにグラフィック画像のフォーマット及び、転送
方法に独自の技術を提案する画像通信装置を提供するこ
とを第４の目的とする。

【００２２】

【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項１に係る画像通信装置は、送信すべ
き映像から所定の映像領域を抽出する抽出手段と、該抽
出手段により、抽出された所定の映像領域の映像を符号
化する符号化手段と、前記抽出された所定の映像領域の
外部領域に付与すべきグラフィック画像を発生する発生
手段と、該グラフィック画像と前記符号化された映像と
を組み合わせて送信する送信手段とを備える。

【００２３】請求項２に係る画像通信装置は、受信した
映像を復号化する復号化手段と、該復号化された映像の
外部領域に受信したグラフィック画像を入力する入力手
段と、該入力されたグラフィック画像を前記復号化され
た映像に合成する合成手段とを備える。

【００２４】請求項３に係る画像通信装置は、送信すべ
き映像から所定の映像領域を抽出する抽出手段と、該抽
出手段により抽出された所定の映像領域にマージン領域
を付加する付加手段と、該マージン領域が付加された前
記所定の映像領域のうち、前記映像領域の映像を符号化
する符号化手段と、前記抽出された所定の映像領域の外
部領域に付与すべきグラフィック画像を発生する発生手
段と、前記符号化された映像とグラフィック画像を組み
合わせて送信する送信手段とを備える。

【００２５】請求項４に係る画像通信装置は、受信した
映像を復号化する復号化手段と、該復号化された映像お
よびマージン領域の外部領域に受信したグラフィック画
像を入力する入力手段と、該入力されたグラフィック画
像を前記復号化された映像およびマージンに合成する合
成手段とを備える。

【００２６】請求項５に係る画像通信装置は、請求項１
に係る画像通信装置において呼の接続に際して、相手端
末の能力を識別する識別手段と、該識別された相手端末
の能力に応じて、前記送信手段は該相手端末に適したデ
ータ形式でデータを送信することを特徴とする。

【００２７】請求項６に係る画像通信装置では、請求項
１に係る画像通信装置において、前記発生手段は、前記
外部領域に書き込むグラフィック画像を２次曲線の集合
体として表現する表現手段と、複数のレイヤを有し、該
レイヤのそれぞれに優先順位を付ける優先順位付け手段
と、前記２次曲線の集合体毎にレイヤを設定する設定手
段と、前記２次曲線の集合体毎に色、合成方法を指定す
る指定手段と、前記設定された優先順位および前記指定
された色、合成方法に応じて、前記２次曲線の集合体を
出力する出力手段とを備える。

【００２８】請求項７に係る画像通信方法は、送信すべ
き映像から所定の映像領域を抽出し、該抽出された所定
の映像領域の映像を符号化し、前記抽出された所定の映
像領域の外部領域に付与すべきグラフィック画像を発生
し、該グラフィック画像と前記符号化された映像とを組
み合わせて送信する。

【００２９】請求項８に係る画像通信方法は、受信した
映像を復号化し、該復号化された映像の外部領域に受信
した付与すべきグラフィック画像を入力する。

【００３０】

【作用】本発明の請求項１に係る画像通信装置では、抽
出手段により送信すべき映像から所定の映像領域を抽出
し、該抽出された所定の映像領域の映像を符号化手段に
より符号化し、発生手段により前記抽出された所定の映
像領域の外部領域に付与すべきグラフィック画像を発生
し、該グラフィック画像と前記符号化された映像とを組
み合わせて送信手段により送信する。

【００３１】請求項２に係る画像通信装置では、復号化
手段により受信した映像を復号化し、入力手段により該
復号化された映像の外部領域に受信したグラフィック画
像を入力し、該入力されたグラフィック画像を合成手段
により前記復号化された映像に合成する。

【００３２】請求項３に係る画像通信装置では、抽出手
段により送信すべき映像から所定の映像領域を抽出し、
付加手段により前記抽出手段により抽出された所定の映
像領域にマージン領域を付加し、該マージン領域が付加
された前記所定の映像領域のうち、符号化手段により前
記映像領域の映像を符号化し、発生手段により前記抽出
された所定の映像領域の外部領域に付与すべきグラフィ
ック画像を発生し、送信手段により前記符号化された映
像とグラフィック画像を組み合わせて送信する。

【００３３】請求項４に係る画像通信装置では、復号化
手段により受信した映像を復号化し、入力手段により該
復号化された映像およびマージン領域の外部領域に受信
したグラフィック画像を入力し、合成手段により該入力
されたグラフィック画像を前記復号化された映像に合成
する。

【００３４】請求項５に係る画像通信装置は、呼の接続
に際して、識別手段により相手端末の能力を識別し、該
識別された相手端末の能力に応じて、前記送信手段は該
相手端末に適したデータ形式でデータを送信する。

【００３５】請求項６に係る画像通信装置では、前記発
生手段は、表現手段により前記外部領域に書き込むグラ
フィック画像を２次曲線の集合体として表現し、複数の
レイヤを有し、優先順位付け手段により該レイヤのそれ
ぞれに優先順位を付け、設定手段により前記２次曲線の
集合体毎にレイヤを設定し、指定手段により前記２次曲
線の集合体毎に色、合成方法を指定し、前記設定された
優先順位および前記指定された色、合成方法に応じて、
出力手段により前記２次曲線の集合体を出力する。

【００３６】

【実施例】つぎに、本発明の画像通信装置の実施例につ
いて説明する。

【００３７】図１はＴＶ電話装置としての画像通信装置
の電気的構成を示すブロック図である。図において、１
０１はＣＰＵ、１０２はプログラムを格納するＲＯＭ、
１０３はワークエリアとしてのＲＡＭ、１０４はキーボ
ード、マウス、タブレットなどの入力装置を備えた操作
部である。

【００３８】また、１０６はＣＲＴ、ＬＣＤなどの表示
部である。１０７は映像処理部であり、画像処理部１０
８からの合成された画像信号を表示部１０６に表示する
ためのＤＡＣなどの制御およびカメラ１１２からの入力
画像をデジタル信号に変換するＡ／Ｄコンバータ、ＮＴ
ＳＣコンバータ（あるいはＳ−ＶＨＳ）、同期回路等を
含んでおり、ＮＴＳＣ、Ｓ−ＶＨＳなどの動画像を処理
する。

【００３９】１０８はグラフィック画像を取り扱うグラ
フィックコントローラ機能と、動画像を合成する処理機
能を有する。１１３は画像処理部１０８の画像ワークエ
リアとしての使用される他に、画像を蓄積するために使
用される。１０９は画像ＣＯＤＥＣ部であり、動画のと
きＨ．２６１、ＭＰＥＧ、静止画のときＪＰＥＧ等の符
号化、復号化方法を有する。システムに応じて選択され
るが、本実施例ではＴＶ会議／電話端末の標準である
Ｈ．２６１について説明する。

【００４０】１１４は画像ＣＯＤＥＣ部１０９に接続さ
れるＣＯＤＥＣメモリであり、画像の蓄積や画像処理の
際のワークエリアとして使用される。１１０は多重化部
であり、Ｈ．２２１規格に従って、音声ＣＯＤＥＣ部１
１７からの音声、画像ＣＯＤＥＣ部１０９からの画像、
ＣＰＵバス１２１を経由したデータを多重化する。１１
１は回線ｉ／ｆ部であり、ＩＳＤＮ回線、ＰＳＴＮ回線
等の接続される回線１２０に応じたそれぞれのｉ／ｆを
備える。

【００４１】１１５はハンドセット、１１８は音声を入
出力するマイク／スピーカであり、１１６はハンドセッ
ト１１５やマイク／スピーカ１１８と接続される音声処
理部であり、ゲイン調整、エコーキャンセル機能を備え
ている。１１７は音声ＣＯＤＥＣ部で音声の符号化、復
号化を行っており、１１９は音声ＣＯＤＥＣ部１１７の
ワークエリアとして、音声蓄積用のメモリとして使用さ
れる音声メモリである。１２０は接続される回線でＩＳ
ＤＮ、ＰＳＴＮ回線などが接続される。１２１はＣＰＵ
バスであり、各ブロックを制御する制御信号及びデータ
が経由する。

【００４２】図２は映像処理部１０７および画像処理部
１０８の電気的構成を示すブロック図である。図２にお
いて、１ｘｘの番号を付加しているブロックは、図１と
同じ番号のブロックに対応する。２０１はＶＧＡ制御部
であり、ＶＲＡＭ２０５に画像を展開し、表示部１０６
に対して同期するタイミングでデータを転送する機能を
有する。２０２は受信画像合成部であり、受信した画像
と、送信する画像を合成してＶＧＡ制御部２０１に転送
する。このとき、送信画像はグラフィック画像と自然画
像を合成しているが、１つの画像として取り扱う。

【００４３】２０３は受信スキャンレート変換部であ
り、復号化部２０４から送られてきた画像データを表示
系の走査に合わせる処理を行なう。２０４は画像ＣＯＤ
ＥＣ部１０９の復号化部、２０９は画像ＣＯＤＥＣ部１
０９の符号化部である。

【００４４】２０６はカメラ１１２から入力されるＮＴ
ＳＣ信号のデコーダで、本実施例ではＮＴＳＣの場合を
示しているが、ＰＡＬ、ＳＥＣＡＭ、Ｓ−ＶＨＳなどの
信号でも、２０６にそれぞれの信号フォーマットにあっ
たデコーダを置き換えることにより実現可能である。２
１０は同期回路で、ＮＴＳＣデコーダに合わせて同期を
とり、グラフィック制御部２１１に対して水平、垂直同
期信号を供給する。グラフィック制御部２１１はグラフ
ィック画像の描画、自然画との合成方法、色の調整など
を行なう。

【００４５】２１３はグラフィックＲＡＭであり、描画
するグラフィック画像を蓄積する。グラフィック画像は
ＣＰＵバス１２１を経由してグラフィック制御部２１１
の制御によりグラフィックＲＡＭ２１３に書き込まれ
る。２１２は合成制御部であり、グラフィック制御部２
１１の合成情報に基づいてグラフィック画像にＮＴＳＣ
デコーダ２０６からの自然画像をどのように合成するか
を送信画像合成部２０７に対して指示を行なう。

【００４６】通常は、合成してから送信するため送信画
像は送信画像合成部２０７で合成されるが、本実施例で
は合成制御部２１２から符号化部２０９に合成情報を転
送する。送信スキャンレート変換部２０８では送信画像
のスキャンレートを変換しており、符号化部２０９では
合成制御部２１２からの合成情報により得られた有効な
自然画像の領域のみの符号化を行なっている。

【００４７】図３は自然画像と合成画像の処理を示す説
明図である。図において、３０１〜３０４は従来例に示
したグラフィック画像と自然画像を合成してから送信す
る方法である。自然画像３０１とグラフィック画像３０
２を送信側で合成した３０３の合成画像を、Ｈ．２６１
の規格に従って符号化して送信する。受信側は、受信し
た画像を復号化して画像３０４を得る。

【００４８】このとき、合成されたグラフィック画像、
特に文字の部分はブロック歪みなどで画質が落ちる。３
０５〜３１１は本実施例のグラフィック画像と自然画像
を別々に送信し、受信側で合成するという方法である。
３０５は自然画像で、３０７は自然画像３０５のうち、
合成された後に実際に表示される部分のみを符号化して
送信する。３０６はグラフィック画像で、３０８は合成
された後に自然画像の入る領域はデータの少ない画像
（例えば、前黒、前白）に置き換えるか、必要なブロッ
クのみ選択してグラフィック画像にあった圧縮をかけて
も良いし、データ量が少なければそのまま送信しても良
い。

【００４９】このような送信を行なうことにより、自然
画像は表示される画像領域のみを対象とすることによ
り、データ量が少なくなるので、フレームレートをあげ
ることができ、画質も向上する。また、グラフィック画
像に適した圧縮をかけることによりグラフィック画像の
画質を向上できる。さらに、グラフィック画像が静止画
であるとき、特に文字の部分などは読み易くなり、効果
はより顕著なものとなる。

【００５０】自然画像３０５の領域を指定する方法とし
て、３０６のグラフィック画像に動画をはめ込む領域を
指定すると、自動的に指定領域３０６のみの符号化を行
なうようになる。特に、ＴＶ会議／電話端末は、対象と
する人物領域全体の動きは小さく、背景はできれば映像
として伝送したくない場合が多い。

【００５１】このような場合、本実施例のように背景を
グラフィック画像としてデータ量を減らし、人物領域の
伝送に機能を割り振れば、今までの映像でわかりにくか
った、顔の表情などの細かい部分も鮮明に伝送すること
もできるし、背景にグラフィック画像で見易い色に変え
たりすることができるので、使い易いＴＶ会議／電話端
末を提供できる。

【００５２】図４は任意の領域を指定する手段として、
前フレームの画像と現フレームの画像を比較し、差分を
検出する方法を示す説明図である。図において、４０１
は任意の時間ｔ１におけるフレーム構成である。ここ
で、４０２は前フレームと比較して差分がある一定以上
を越えるブロックを示す。つまり、画像に動きがある領
域であり、ＴＶ会議／電話端末などにおいてはほぼ人物
画像を取り巻く各ブロックに相当する。ここで、映像領
域を領域４０２として符号化し、あまり動きのない領域
４０３の符号化に使用する処理能力を省き、その分、映
像領域としての領域４０２に処理を割り当てることがで
きる。

【００５３】また、全体としてのデータも少なくなり、
伝送速度の低い電話回線などでもこのような方法を用い
れば、画質の良い画像を提供することができる。４０４
は映像領域が変化したときのフレームの画像を示す。４
０５は今までの映像領域外で差分が一定値を越えたこと
を示す。この場合は、領域４０５も加えて映像領域とし
て符号化を行なう。ＴＶ会議／電話端末に関して言え
ば、ほとんどが顔の表情を移すだけであり、動きも目、
鼻、口などあまり動きが大きくなく、ある任意のブロッ
クで領域を捕らえれば追随することが可能である。

【００５４】４０６は映像領域にあらかじめマージン領
域を設定しておき、符号化する映像領域の切り替えを少
なくするような手段である。４０７は符号化しない領域
を示し、４０９は差分を検知した領域、４１０はマージ
ン領域でこれはユーザが設定を行なう。４０８は領域４
０９とマージン領域４１０を合わせた実際に符号化する
領域である。上記のように、マージンを設けることによ
りＴＶ会議／電話端末における人物画像の領域はほとん
どがこの領域内で推移し、符号化する映像領域の切り替
えが少なくて済むという利点がある。４１２はカメラを
動かしたり、人物が移動した場合で符号化する映像領域
を切り替えない場合であり、４１３は差分が一定値を越
えた領域が映像領域内に隣接したため符号化する映像領
域を変更した場合である。

【００５５】図５は画像通信装置が実行する送信処理ル
ーチンを示すフローチャートである。ステップＳ５０１
〜ステップＳ５１４は送信側の動作、ステップＳ５１６
以降は受信側の動作である。まず、発呼を行なうと（ス
テップＳ５０１）、相手端末能力を識別する（ステップ
Ｓ５０２）。ＩＳＤＮ回線であるならば端末能力識別子
を調べるか、ＵＵＩデータを使用して簡単に相手端末の
能力を判断することができる。ＰＳＴＮ回線であるなら
ば、回線閉結後にＤＴＭＦ信号などを用いて相手端末の
情報を知ることが可能である。

【００５６】ステップＳ５０２で得た情報から領域指定
合成が可能であるか否かを判別する（ステップＳ５０
３）。領域指定合成が不可能である場合（通常の端末の
場合）は、グラフィック画像と自然画像を合成し（ステ
ップＳ５０４）、符号化する（ステップＳ５０５）。

【００５７】ステップＳ５０３で相手端末が領域指定合
成が可能な場合はステップＳ５０８に移行し、グラフィ
ック画像と自然画像をそれぞれ別ルートで送信する。自
然画像のときは自然画像の有効領域を指定し（ステップ
Ｓ５０９）、同期信号を付加する（ステップＳ５１
０）。この同期信号は、自然画像とグラフィック画像の
遅延を補正するための目的で挿入する。つづいて、符号
化を行なう（ステップＳ５１１）。ここで、ＭＰＥＧや
ＪＰＥＧでは単位ブロック毎に領域指定して符号化が可
能であるので、容易であるが、Ｈ．２６１の場合は、領
域指定できないので、指定された領域以外の画像をデー
タの少なくなるようなパターンを挿入して１フレーム毎
に処理する。

【００５８】一方、ステップＳ５０８でグラフィック画
像の場合は、グラフィック画像領域の指定を行ない（ス
テップＳ５１２）、同期信号を付加して（ステップＳ５
１３）データとして送出する（ステップＳ５１４）。こ
の後、符号化された画像データとデータ形式のグラフィ
ック画像を多重化して（ステップＳ５０６）相手端末に
送信する（ステップＳ５０７）。

【００５９】図６は画像通信装置が実行する受信処理ル
ーチンを示すフローチャートである。まず、着信すると
（ステップＳ５１６）、相手端末能力を識別する（ステ
ップＳ５１７）。着信した画像が領域指定合成画像であ
るか否かを判別する（ステップＳ５１８）。領域指定合
成画像でないときは復号化し（ステップＳ５１９）、通
信終了を待って（ステップＳ５２０）処理を終える。

【００６０】一方、ステップＳ５１８で領域指定合成画
像でないときは指定領域を復号化し（ステップＳ５２
１）、同期信号を確立して（ステップＳ５２２）グラフ
ィック画像を合成する。この後は通信終了を待って（ス
テップＳ５２０）処理を終える。

【００６１】つぎに、相手端末の能力を識別する手段を
説明する。図７はＩＳＤＮ回線における回線交換呼制御
手順を示す説明図である。６０１は発信端末、６０２は
網、６０３は着信端末である。発信端末６０１に注目し
て説明を行なうと、発信端末６０１から発呼されると、
「呼設定」を網６０２に送出し、網６０２から「呼設定
受付」を受けると、発呼状態から発呼受付状態に移行
し、網６０２からの「応答」を待って「応答確認」を網
６０２に対して返し、通信中に移行する。

【００６２】通信を終了する場合は「切断」を網６０２
に送り、切断要求に移行し、網６０２から「解放」を受
け取ると「解放完了」を網６０２に返して空状態に戻
る。ここで、発信端末６０１が相手端末（つまり、着信
端末６０３）の能力が判断できるのは「呼設定受付」を
受けた時点で判断できることになる。

【００６３】図８は「呼設定」などの網と端末とのイン
ターフェースを規定した勧告Ｉ．４３０のレイヤ３のメ
ッセージのフォーマットを示す説明図である。図９は実
際の「呼設定」メッセージでμ−ｌａｗの音声で回線交
換を使ってＢ１ｃｈに接続した場合を示す説明図であ
る。図８および図９を見ても分かるように、図７の発信
端末６０１で呼設定受付を受けた時点で相手端末の所望
する能力が判別できるので、能力に応じて送信する画像
を合成してから送信するか、合成せずに画像に適した方
法で送信するかを選択することができる。相手端末の能
力を判別した後、グラフィック画像を合成するか合成し
ないかによって多重化方法が異なるので、つぎに多重化
方法について説明する。

【００６４】図１０はＨ．２２１で多重化する場合の１
フレームの構成を示す説明図である。８０１はフレーム
構成を示し、１フレームは８ビット×８０オクテットで
構成されている。また、ビット番号毎にサブチャネル
（ＳＣ１〜ＳＣ８）を構成し、割り当ては原則としてサ
ブチャネル単位で行なわれる。ただし、ＳＣ８は例外で
ある。８０１に示されるＦＡＳとはフレーム同期信号の
略である。文字通りフレームに同期して使用される信号
である。

【００６５】つぎに、ＢＡＳとはビットレート割り当て
信号の略で、フレームのビットの割り当てを決める信号
である。ここでは、音声、画像、データの割り当てを行
なう。８０２は、音声：２４Ｋ、画像：３２Ｋ、デー
タ：６．４Ｋの割り当てを行なった場合のフレーム構成
である。上述したように、呼設定により相手端末の能力
が判別すると、通常の端末の場合はグラフィック画像を
自然画像に合成し、符号化した後に多重化を行なうた
め、８０２に示すようにデータを多重化するチャネルは
なく、音声と画像で全てのサブチャネルが割り当てられ
る。

【００６６】もし、相手端末に上述した独自の合成方法
がある場合は、一例として８０２に示すような音声：２
４Ｋ（８０３）、画像：３２Ｋ（８０４：自然画像）、
データ：６．４Ｋ（８０５：グラフィック画像）のよう
に割り当て、グラフィック画像を合成せずに少ないデー
タで伝送し、自然画像も指定された領域のみを伝送し、
受信端末側で合成を行なうため、より鮮明で見易い合成
画像を提供できる。

【００６７】図１１はグラフィック画像を２次曲線の集
合体で表す場合の２次曲線の近似方法を示す説明図であ
る。１００１に２次曲線の一般式を示す。１００２は２
次曲線の一般式１００１の１回微分を行なった式であ
る。１００３は２次曲線の一般式１００１の２回微分を
行なった式である。１００４は実際に定数を代入した値
で、１００５に示すように２次曲線は２回微分と２回加
算で示されることになる。これは処理としては、非常に
簡単でつぎに示す座標を容易に計算で導き出すことがで
きる。

【００６８】ビットマップに展開すると、高速なビット
処理と多くのメモリを必要とするが、上記の２次曲線の
近似により処理も簡単でメモリも少なくて済み、グラフ
ィック画像を高速に処理することが可能になり、通常の
グラフィック画像処理でアニメーションも実現できるよ
うになる。

【００６９】上述した２次曲線を表すには、２次曲線の
式１００１、ＳＴＡＲＴの定数Ｃ１００９、ＳＴＡＲＴ
ＬＩＮＥ１０１２、ＥＮＤＬＩＮＥ１０１３および色を
示すビット、レイヤ構造の優先順位を決定するビットを
有することにより（どの図形が一番上にきて表示される
か？）グラフィック画像（アニメーション）を少ないデ
ータで表現することができる。ちなみに、ｘ’を小さく
すれば高精細の画像も表現できるし、その場合でも近似
式１０１１に示す同一の回路を流用できる。

【００７０】図１２は簡単な図形を２次曲線の集合体と
して示した説明図である。今までのように、これらの図
形をビットマップなどで描画使用とすると、図形の面積
に比例してメモリが必要であったが、２次曲線の集合体
で示すと、図形の持つ２次曲線の下図に比例することが
分かる。例えば、１０２４×７６８×２５６色の場合の
データ量を考えると、２５Ｍバイトのデータが必ず必要
であるが、２次曲線の集合体で表すと、１つの２次曲線
を表すのにＳＴＡＲＴの定数：１０ビット＋ＳＴＡＲＴ
ＬＩＮＥ：１０ビット＋ＥＮＤＬＩＮＥ：１０ビット＋
色数：８ビットでトータル４８ビットを必要として、１
０００本の２次曲線の集合体としても６Ｋバイトであ
り、非常に少ないデータでグラフィック画像を表すこと
ができるはずである。また、処理も２回微分と２回加算
するだけなので、簡単な処理で済み、高速に展開するこ
とができ、アニメーションも実現できるようになる。

【００７１】また、優先順位に自然画像を優先する順位
を割り当てれば自然画像とグラフィック画像（アニメー
ション）を合成することも簡単に実現できる。

【００７２】

【発明の効果】本発明の請求項１に係る画像通信装置に
よれば、抽出手段により送信すべき映像から所定の映像
領域を抽出し、該抽出された所定の映像領域の映像を符
号化手段により符号化し、発生手段により前記抽出され
た所定の映像領域の外部領域に付与すべきグラフィック
画像を発生し、該グラフィック画像と前記符号化された
映像とを組み合わせて送信手段により送信するので、映
像とグラフィック画像をそれぞれにあったデータ形式で
通信し、グラフィック画像では劣化の少ない効率の良い
符号化を行える。また、グラフィック画像で効率の良く
なった分を自然画像の処理に振り分け、転送速度の低い
回線に接続しても合成した画像の画質を維持できる。

【００７３】請求項２にかかる画像通信装置によれば、
復号化手段により受信した映像を復号化し、入力手段に
より該復号化された映像の外部領域に受信したグラフィ
ック画像を入力し、該入力されたグラフィック画像を合
成手段により前記復号化された映像に合成するので、映
像とグラフィック画像をそれぞれにあったデータ形式で
通信し、グラフィック画像では劣化の少ない効率の良い
符号化を行える。また、グラフィック画像で効率の良く
なった分を自然画像の処理に振り分け、転送速度の低い
回線に接続しても合成した画像の画質を維持できる。

【００７４】請求項３に係る画像通信装置によれば、抽
出手段により送信すべき映像から所定の映像領域を抽出
し、付加手段により前記抽出手段により抽出された所定
の映像領域にマージン領域を付加し、該マージン領域が
付加された前記所定の映像領域のうち、符号化手段によ
り前記映像領域の映像を符号化し、発生手段により前記
抽出された所定の映像領域の外部領域に付与すべきグラ
フィック画像を発生し、送信手段により前記符号化され
た映像とグラフィック画像を組み合わせて送信するの
で、ＴＶ会議／電話端末における人物画像などの任意の
領域の画質を向上させることが可能となる。

【００７５】請求項４に係る画像通信装置によれば、復
号化手段により受信した映像を復号化し、入力手段によ
り該復号化された映像およびマージン領域の外部領域に
受信したグラフィック画像を入力し、合成手段により該
入力されたグラフィック画像を前記復号化された映像に
合成するので、ＴＶ会議／電話端末における人物画像な
どの任意の領域の画質を向上させることが可能となる。

【００７６】請求項５に係る画像通信装置によれば、呼
の接続に際して、識別手段により相手端末の能力を識別
し、該識別された相手端末の能力に応じて、前記送信手
段は該相手端末に適したデータ形式でデータを送信する
ので、画像に適したデータ形式で通信を行なうことが可
能で通常のように合成してから送信するような端末にお
いても通信性を確保できる。

【００７７】請求項６に係る画像通信装置によれば、前
記発生手段は、表現手段により前記外部領域に書き込む
グラフィック画像を２次曲線の集合体として表現し、複
数のレイヤを有し、優先順位付け手段により該レイヤの
それぞれに優先順位を付け、設定手段により前記２次曲
線の集合体毎にレイヤを設定し、指定手段により前記２
次曲線の集合体毎に色、合成方法を指定し、前記設定さ
れた優先順位および前記指定された色、合成方法に応じ
て、出力手段により前記２次曲線の集合体を出力するの
で、グラフィック画像を少ないデータで表現し、アニメ
ーション画像を実現できるばかりでなく、自然画像や音
声により転送帯域を割り当てて、より高品質な合成画像
を提供できる。

【００７８】請求項７に係る画像通信方法によれば、送
信すべき映像から所定の映像領域を抽出し、該抽出され
た所定の映像領域の映像を符号化し、前記抽出された所
定の映像領域の外部領域に付与すべきグラフィック画像
を発生し、該グラフィック画像と前記符号化された映像
とを組み合わせて送信するので、映像とグラフィック画
像をそれぞれにあったデータ形式で通信し、グラフィッ
ク画像では劣化の少ない効率の良い符号化を行ない、グ
ラフィック画像で効率の良くなった分を自然画像の処理
に振り分け、転送速度の低い回線に接続しても合成した
画像の画質を維持できる。

【００７９】請求項８に係る画像通信方法によれば、受
信した映像を復号化し、該復号化された映像の外部領域
に受信した付与すべきグラフィック画像を入力するの
で、映像とグラフィック画像をそれぞれにあったデータ
形式で通信し、グラフィック画像では劣化の少ない効率
の良い符号化を行ない、グラフィック画像で効率の良く
なった分を自然画像の処理に振り分け、転送速度の低い
回線に接続しても合成した画像の画質を維持できる。

【図面の簡単な説明】

【図１】ＴＶ電話装置としての画像通信装置の電気的構
成を示すブロック図である。

【図２】映像処理部１０７および画像処理部１０８の電
気的構成を示すブロック図である。

【図３】自然画像と合成画像の処理を示す説明図であ
る。

【図４】任意の領域を指定する手段として、前フレーム
の画像と現フレームの画像を比較し、差分を検出する方
法を示す説明図である。

【図５】画像通信装置が実行する送信処理ルーチンを示
すフローチャートである。

【図６】画像通信装置が実行する受信処理ルーチンを示
すフローチャートである。

【図７】ＩＳＤＮ回線における回線交換呼制御手順を示
す説明図である。

【図８】「呼設定」などの網と端末とのインターフェー
スを規定した勧告Ｉ．４３０のレイヤ３のメッセージの
フォーマットを示す説明図である。

【図９】実際の「呼設定」メッセージでμ−ｌａｗの音
声で回線交換を使ってＢ１ｃｈに接続した場合を示す説
明図である。

【図１０】Ｈ．２２１で多重化する場合の１フレームの
構成を示す説明図である。

【図１１】グラフィック画像を２次曲線の集合体で表す
場合の２次曲線の近似方法を示す説明図である。

【図１２】簡単な図形を２次曲線の集合体として示した
説明図である。

【符号の説明】

１０１ … ＣＰＵ １０７ … 映像処理部 １０８ … 画像処理部 １０９ … 画像ＣＯＤＥＣ部 １１０ … 多重化部 １１６ … 音声処理部 １１７ … 音声ＣＯＤＥＣ部 ３０５ … 自然画像 ３０６ … グラフィック画像 ３１１ … 合成画像

Claims (8)

【特許請求の範囲】
1. 【請求項１】 送信すべき映像から所定の映像領域を抽
   出する抽出手段と、 該抽出手段により、抽出された所定の映像領域の映像を
   符号化する符号化手段と、 前記抽出された所定の映像領域の外部領域に付与すべき
   グラフィック画像を発生する発生手段と、 該グラフィック画像と前記符号化された映像とを組み合
   わせて送信する送信手段とを備えた画像通信装置。
2. 【請求項２】 受信した映像を復号化する復号化手段
   と、 該復号化された映像の外部領域に受信したグラフィック
   画像を入力する入力手段と、 該入力されたグラフィック画像を前記復号化された映像
   に合成する合成手段とを備えた画像通信装置。
3. 【請求項３】 送信すべき映像から所定の映像領域を抽
   出する抽出手段と、 該抽出手段により抽出された所定の映像領域にマージン
   領域を付加する付加手段と、 該マージン領域が付加された前記所定の映像領域のう
   ち、前記映像領域の映像を符号化する符号化手段と、 前記抽出された所定の映像領域の外部領域に付与すべき
   グラフィック画像を発生する発生手段と、 前記符号化された映像とグラフィック画像を組み合わせ
   て送信する送信手段とを備えた画像通信装置。
4. 【請求項４】 受信した映像を復号化する復号化手段
   と、 該復号化された映像およびマージン領域の外部領域に受
   信したグラフィック画像を入力する入力手段と、 該入力されたグラフィック画像を前記復号化された映像
   およびマージンに合成する合成手段とを備えた画像通信
   装置。
5. 【請求項５】 呼の接続に際して、相手端末の能力を識
   別する識別手段と、 該識別された相手端末の能力に応じて、前記送信手段は
   該相手端末に適したデータ形式でデータを送信すること
   を特徴とする請求項１記載の画像通信装置。
6. 【請求項６】 前記発生手段は、 前記外部領域に書き込むグラフィック画像を２次曲線の
   集合体として表現する表現手段と、 複数のレイヤを有し、該レイヤのそれぞれに優先順位を
   付ける優先順位付け手段と、 前記２次曲線の集合体毎にレイヤを設定する設定手段
   と、 前記２次曲線の集合体毎に色、合成方法を指定する指定
   手段と、 前記設定された優先順位および前記指定された色、合成
   方法に応じて、前記２次曲線の集合体を出力する出力手
   段とを備えたことを特徴とする請求項１記載の画像通信
   装置。
7. 【請求項７】 送信すべき映像から所定の映像領域を抽
   出し、 該抽出された所定の映像領域の映像を符号化し、 前記抽出された所定の映像領域の外部領域に付与すべき
   グラフィック画像を発生し、 該グラフィック画像と前記符号化された映像とを組み合
   わせて送信することを特徴とする画像通信方法。
8. 【請求項８】 受信した映像を復号化し、 該復号化された映像の外部領域に受信した付与すべきグ
   ラフィック画像を入力することを特徴とする画像通信方
   法。