JPH07203071A

JPH07203071A - マルチメディア通信装置

Info

Publication number: JPH07203071A
Application number: JP5351691A
Authority: JP
Inventors: Masatoshi Otani; 正寿大谷
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-12-29
Filing date: 1993-12-29
Publication date: 1995-08-04

Abstract

(57)【要約】【目的】動画像情報を同時に取り扱うための蓄積容量
の増大を抑制しつつ、テレビ電話における留守番応答メ
ッセージを通常の電話の留守番応答メッセージと同等に
機能させることができるようにしたマルチメディア通信
装置を提供する。【構成】システム制御部１５により予め応答メッセー
ジ用の映像情報が静止画として１フレーム分作成され、
通信開始後は、システム制御部１５により、同一フレー
ムを相手装置に連続して送信するように制御される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声情報・画像情報・
データ等のマルチメディア情報を多重化して相互通信す
ることが可能な、テレビ電話装置・テレビ会議システム
等のＡＶ（ＡｕｄｉｏＶｉｓｕａｌ）通信装置を代表
とするマルチメディア通信装置に関する。

【０００２】

【従来の技術】近年、ＩＳＤＮ（サービス総合デジタル
網）回線による通信サービスの実用化が開始され、この
様なデジタル回線を用いたテレビ電話装置・テレビ会議
システム等のＡＶサービスが注目されている。ＡＶサー
ビス用のサービス規定、プロトコル規定、マルチメディ
ア多重化フレーム構造及び動画像情報の符号化方式等
が、ＣＣＩＴＴ（国際電信電話諮問委員会）勧告「Ｈ．
３２０」、「Ｈ．２４２」、「Ｈ．２２１」、「Ｈ．２
３０」、「Ｈ．２６１」等として規定されている。
「Ｈ．２２１」では、６４ｋｂｐｓ〜１９２０ｋｂｐｓ
チャネル上でのＡＶサービスにおけるフレーム構造が規
定されている。

【０００３】図４は６４ｋｂｐｓｘ１チャネル上での
「Ｈ．２２１」のフレーム構造を示すものであり、横軸
の１〜８の数字はビット番号、縦軸の１〜８０の数字は
オクテット番号であり、８０オクテットで１フレームを
構成する。同図におけるＦＡＳ（フレーム同期信号）に
より、フレーム同期・マルチフレーム同期の制御、通信
品質の監視機能及び警報情報通知等の制御を行なう。

【０００４】図５は、上記ＦＡＳの１マルチフレーム＝
８サブマルチフレーム（１サブマルチフレーム＝２フレ
ーム）間でのビットアサインを示す図である。また、Ｂ
ＡＳ（ビットレート割当信号）により端末の能力、実際
のフレーム内の各メディアごとのビットレート割当の指
定及びその他各種の制御と通知を行なう。図５に示す様
に、ＢＡＳは偶数フレームにて伝送され、奇数フレーム
では対応する誤り訂正ビットが伝送される。

【０００５】「Ｈ．２４２」ではＡＶ端末間でのインチ
ャネルでのＢＡＳを用いた能力情報交換シーケンス・モ
ード切換シーケンス等の通信手順が規定されている。
「Ｈ．３２０」ではＡＶサービス全般のシステムアスペ
クトが規定されている。「Ｈ．２３０」ではＡＶサービ
スに必要な機能に対する付加情報として、伝送フレーム
同期或は緊急の応答を必要とする各種の制御と通知につ
いて規定している。「Ｈ．２６１」ではｐｘ６４ｋｂｐ
ｓ（ｐ＝１〜３０）の速度における動画像情報の符号化
／復号化方式が規定されている。

【０００６】上記勧告に従って、画像、音声、データ
（画像、音声以外の全てのユーザ情報）等のマルチメデ
ィア通信を行なう際の基本的なシーケンスを図６に示
す。まず通信を開始したいマルチメディア通信装置（以
下発信側装置と云う）よりの起動により、アウトチャネ
ル呼制御が起動され相手側装置に着信が通知される。Ｉ
ＳＤＮ回線の場合はＤチャネル（ｃｈ）による呼設定シ
ーケンスが起動される。

【０００７】着信側装置では、まず、ステップ６０１に
て着信がテレビ電話の呼か否かを判断する。ＩＳＤＮ回
線ではＤｃｈ呼制御上のｓｅｔｕｐメッセージ中のＢＣ
（伝達能力）情報要素及びＨＬＣ（高位レイヤ整合性）
情報要素・ＬＬＣ（低位レイヤ整合性）情報要素等によ
り電話呼かテレビ電話呼かあるいは全く別の呼かを判断
する。

【０００８】テレビ電話呼と考えられる場合は、ステッ
プ６０２に進みＤｃｈ呼設定を行なう。次いで、ステッ
プ６０３に進んで、設定されたコネクション上（ＩＳＤ
ＮではＢｃｈ，Ｈｃｈ等に相当する）にてＦＡＳ探索・
検出及びＡビット＝０の送出・検出によってフレーム同
期確立を行なう。該同期確立後、ステップ６０４にて能
力ＢＡＳ送信・受信検出による能力情報交換シーケンス
によって相手装置の能力を判断する。次いで、ステップ
６０５にて第１コネクション上でのマルチメディア多重
化割当を決定して、ＢＡＳコマンド送信・受信によるモ
ード切換シーケンスを行ないマルチメディア多重化通信
を開始する。

【０００９】実際にはこのケースでは、追加コネクショ
ン確立を継続して行う場合等は音声情報通信のみを行な
うケースが多い。例えば音声５６ｋｂｐｓ・Ｈ２６１画
像ＯＦＦのモードにて通信を開始する。その後、ステッ
プ６０６に進み、追加コネクション能力が自装置側・相
手装置側共にあると判断された場合、ステップ６０７に
進み追加コネクションの確立を行なう。その後、ステッ
プ６０８にて追加コネクションのＦＡＳ探索・検出及び
Ａビットを利用してフレーム同期・マルチフレーム同期
及び第１チャネルとの同期確立処理を行なった後、前記
ステップ６０６に戻り再び更に追加コネクションの必要
があるか否かを判断する。

【００１０】追加コネクションの必要がなくなれば、ス
テップ６０９にて全チャネル利用に適した動作モードを
決定しＢＡＳコマンドの送信・受信によるモード切換シ
ーケンスを行ない、例えば「Ｈ．２６１」映像送信オン
（ＯＮ）・音声符号化も両端末間にて最適な符号化に変
更して、マルチメディア多重通信を行なった後、本処理
動作を終了する。但し、前記ステップ６０９にて行なう
ＢＡＳコマンドによるモード切換シーケンスは、追加コ
ネクション毎の同期確立ステップ６０８の実行後、直ち
に毎回行なってもよい。

【００１１】テレビ電話装置・テレビ会議システムにお
いて通常の電話の音声情報のみの応答メッセージ及び留
守録（留守番記録）モードの音声情報のみの応答メッセ
ージとは異なり、映像情報を含んだ音声情報の応答メッ
セージを送信しようとする場合、伝送路中の多重化した
形で音声情報・映像情報を送信するが、どの様多重化に
なるかは実際に接続された相手装置との間の能力情報交
換シーケンス後でないと判断できない。また、「Ｈ．２
６１」の映像符号化がフレーム間予測符号化を用いてい
るため、単純に符号化された音声情報・映像情報を応答
メッセージとして記録しておくだけでは、いつも利用で
きるとは限らない。単純な方法としてＶＴＲ（ビデオテ
ープレコーダ）等のアナログ映像・音声蓄積メディアを
利用して応答メッセージを送信する方法や、ＨＤ（ハー
ドディスク）・ＭＯＤ（光磁気ディスク）等のデジタル
記憶メディア上に単純にデジタル化された音声情報・映
像情報を応答メッセージとして利用する方法が可能であ
る。また、音声情報に関しては単純に符号化蓄積して、
応答メッセージとして送信する場合は、復号化後に再び
符号化して送信する方法はアナログ電話でも一部行われ
ている。

【００１２】

【発明が解決しようとする課題】しかしながら、上記従
来例ではＶＴＲ等のアナログ蓄積メディアを利用するケ
ースでは後で再生する際は、複数の応答メッセージのダ
イナミックな選択がすぐには行えず、しかも装置自体が
大型化し且つ高価になってしまうという問題点があっ
た。

【００１３】また、ＨＤ等のデジタル蓄積メディアを利
用する場合は、動画情報を蓄積するので非常に膨大な蓄
積容量を必要とするという問題点があった。更に単純な
動画像符号化情報の蓄積では、送信しても相手装置上の
復号表示がうまく機能しないという問題点があった。

【００１４】本発明は上述した従来の技術の有するこの
ような問題点に鑑みてなされたものであり、その目的と
するところは、動画情報を同時に取り扱うための蓄積容
量の増大を抑制しつつ、テレビ電話における留守番応答
メッセージを通常の電話の留守番応答メッセージと同等
に機能させることができるようにしたマルチメディア通
信装置を提供しようとするものである。

【００１５】

【課題を解決するための手段】上記目的を達成するため
本発明は、回線を介して受信される音声情報及び映像情
報を含む多重化マルチメディア情報を所定のメディア情
報毎に分離する分離化手段と、応答用の映像情報を所定
フレーム分記憶する記憶手段と、前記多重化マルチメデ
ィア情報の着信後、前記応答用の映像情報を送信側装置
の通信能力に応じて所定の方法で送信する送信手段とを
有することを特徴とする。

【００１６】

【作用】本発明のマルチメディア通信装置では、分離化
手段で回線を介して受信される音声情報および映像情報
を含む多重化マルチメディア情報を所定のメディア情報
毎に分離し、記憶手段で応答用の映像情報を所定のフレ
ーム分記憶し、送信手段で、多重化マルチメディア情報
の着信後、応答用映像情報を送信側装置の通信能力に応
じて所定の方法で送信する。従って、送信側装置におけ
る最も良好な通信形態で送信をすることができる。

【００１７】

【実施例】以下、本発明の実施例を図１〜図３に基づき
説明する。

【００１８】〔第１実施例〕図１は、本発明の第１実施
例に係るマルチメディア通信装置の構成を示すブロック
図である。同図において、１は音声入／出力手段の一つ
であるハンドセット、２は音声入力手段の一つであるマ
イク、３は音声出力手段の一つであるスピーカ、４は音
声インタフェース（Ｉ／Ｆ）部で、後述するシステム制
御部１５の指示により、音声入／出力手段としてのハン
ドセット１、マイク２、スピーカ３を切り換える機能、
ハンドセット１がオンフック状態またはオフフック状態
のいずれにあるかを検出するオン／オフフック検出機
能、音声入／出力手段としてマイク２とスピーカ３を使
用した時にエコーを消去するためのエコーキャンセル機
能、ダイヤルトーン、呼出音、ビジートーン、着信音等
のトーン生成機能を持っている。５は、音声符号化／
復号化部で、後述するシステム制御部１５の指示によ
り、６４ｋｂｐｓＰＣＭ（Ａ−ｌａｗ）、６４ｋｂｐ
ｓＰＣＭ（μ−ｌａｗ）、６４ｋｂｐｓ／５６ｋｂｐ
ｓ／４８ｋｂｐｓＳＢ−ＡＤＰＣＭ、３２ｋｂｐｓ
ＡＤＰＣＭ、ＬＤ−ＣＥＬＰ、１６ｋｂｐｓ、８ｋｂｐ
ｓ等の音声信号（情報）符号化／復号化アルゴリズムに
従って、送信音声信号（情報）をＡ／Ｄ変換して符号化
する機能及び受信音声信号をＤ／Ａ変換して復号化する
機能をもっている。

【００１９】６はＶＴＲ（ビデオテープレコーダ）等の
音声・映像入出力部、７は映像入力手段の一つであり、
自画像等を入力するためのカメラ、８は画像入力手段の
一つであり、絵や図面等を入力するための書画カメラ、
９はカメラ７または書画カメラ８からの入力画像、相手
からの受信画像及び操作画面等を表示する表示部、１０
はビデオインタフェース（Ｉ／Ｆ）部で、後述するシス
テム制御部１５の指示により、画像入力手段としてのカ
メラ７及び書画カメラ８を切り換える機能、入力画像と
受信画像と操作画面の表示切り換え及びそれらを表示部
９上で分割表示するための画像信号合成処理機能を持っ
ている。

【００２０】１１はビデオ（映像）符号化／復号化部
（画像コーデック部）で、ＣＣＩＴＴ勧告「Ｈ．２６
１」に従って送信映像信号（情報）をＡ／Ｄ変換して符
号化する機能及び受信映像信号（情報）をＤ／Ａ変換し
て復号化する機能を持っている。１２はデータの送受信
を行なうデータ端末、１３はデータインタフェース部
で、データ端末１２及びシステム制御部１５からの送信
データを多重化／分離化部１６へ通知すると共に、受信
データをデータ端末１２またはシステム制御部１５へ通
知するものである。

【００２１】１４は本装置全体を制御するための制御情
報を入力するために使用するキーボード等の操作部、１
５はシステム制御部で、ＣＰＵ、ＲＯＭ、ＲＡＭ及び補
助記憶装置等を備え、各部の状態を監視して本装置全体
の制御、入力制御情報・利用回線状態等により各メディ
アへの割当伝送速度を計算し且つ最終的なモードの判断
・制御、状態に応じた操作／表示画面の作成及びマンマ
シンインタフェース等のアプリケーションプログラムの
実行等を行なうものである。

【００２２】１６は多重化／分離化部で、ＣＣＩＴＴ勧
告「Ｈ．２２１」に従って音声符号化／復号化部５から
の音声信号、ビデオ符号化／復号化部１０からの映像信
号、データインタフェース部１３からのデータ、システ
ム制御部１５からのデータ及びＣＣＩＴＴ勧告「Ｈ．２
２１」，「Ｈ．２４２」等の制御情報を送信フレーム単
位に多重化すると共に、受信フレームを構成単位の各メ
ディアに分離して、音声符号化／復号化部５、ビデオ符
号化／復号化部１１、データインタフェース部１３、シ
ステム制御部１５等に通知するものである。１７はＩＳ
ＤＮユーザ・網インタフェースに従って回線１９を制御
する回線インタフェース部である。１８は各種制御情報
を記憶する記憶部である。

【００２３】図２は、本実施例に係るマルチメディア通
信装置の音声情報・映像情報のアナログ入出力部から多
重化／分離化部までの間の流れを示すブロック図であ
る。同図中、１０１は本装置へ入力するアナログ音声信
号と本装置から出力するアナログ音声信号とを制御する
アナログ音声インタフェース（Ｉ／Ｆ）部、１０２は入
力アナログ音声信号をデジタル音声信号に変換する第１
Ａ／Ｄ変換部、１０３は第１Ａ／Ｄ変換部１０２により
デジタル化された音声信号を符号化する音声符号化部、
１０４は後述する音声復号化部１０５により復号化され
たデジタル音声信号をアナログ音声信号に変換する第１
Ｄ／Ａ変換部、１０５は受信符号化音声信号を復号化す
る音声復号化部、１０６は本装置へ入力するアナログ映
像信号と本装置から出力するアナログ映像信号とを制御
するアナログ映像インタフェース（Ｉ／Ｆ）部、１０７
は入力アナログ映像信号をデジタル映像信号に変換する
第２Ａ／Ｄ変換部、１０８は第２Ａ／Ｄ変換部１０７に
よりデジタル化された映像信号を符号化するビデオ符号
化部、１０９は後述するビデオ復号化部１１０により復
号化されたデジタル映像信号をアナログ映像信号に変換
する第２Ｄ／Ａ変換部、１１０は受信符号化映像信号を
復号化するビデオ復号化部である。

【００２４】１１１は図１のシステム制御部１５の指示
により音声符号化部１０３からの音声符号化信号及びビ
デオ符号化部１０８からの映像符号化信号を多重化して
図１の回線インタフェース部１７へ送信する多重化部、
１１２は図１の回線インタフェース部１７からの受信信
号を分離して、音声信号は音声復号化部１０５、映像信
号はビデオ復号化部１１０へ転送する分離化部、１１３
は光磁気ディスク／ＨＤ（ハードディスク）等よりなり
且つ映像・音声信号のデジタル記憶が可能なデジタル記
録部、１１４はＶＴＲ等のアナログＩ／Ｆにより音声・
映像信号を同期して入力可能で、逆にアナログＩ／Ｆに
て出力されてきた音声・映像信号を同期をとって記憶す
ることが可能なアナログ記憶部、１１５は各種デジタル
映像信号を合成・編集するデジタルビデオ処理部であ
る。１１６は第２Ａ／Ｄ変換部１０７からの出力及びビ
デオ符号化部１０８への出力を制御するためにデジタル
ビデオ処理部１１５が制御する第１フレームメモリ、１
１７はビデオ復号化部１１５が制御する第２フレームメ
モリである。

【００２５】以下、上記構成のマルチメディア通信装置
の動作を図３のフローチャートに基づき詳述する。

【００２６】まず、テレビ電話着信がなされた時ステッ
プＳ３０１にて、現在留録モードであるか否かを判断
し、留守録モードでなければ何もせずに本処理動作を終
了する。また、留守録モードであればステップＳ３０２
に進み自動的に着信を受け付け、第１コネクションの確
立・インチャネル上でのフレーム同期確立・ＢＡＳによ
る能力情報交換シーケンス・ＢＡＳによるモード切り換
えを行う。次にステップＳ３０３に進んで追加コネクシ
ョン設定の要求があるか否かを判断し、要求があればス
テップＳ３０４に進み追加コネクションの確立・フレー
ム同期確立・マルチフレーム同期確立・第１コネクショ
ンとの同期確立を行なった後、ステップＳ３０５に進
む。また、前記ステップＳ３０３において追加コネクシ
ョン設定の要求がなければ前記ステップＳ３０４をスキ
ップしてステップＳ３０５に進む。

【００２７】このステップＳ３０５では、前記ステップ
Ｓ３０２における能力情報交換シーケンスにてＪＰＥＧ
静止画伝送能力が共にあるか否かを判別し、能力がなけ
ればステップＳ３０６に進んで能力に応じた音声符号化
モード・「Ｈ．２６１」映像符号化モード（ＣＩＦ／Ｑ
ＣＩＦ等）のモード選択を行い、相手に応じた応答メッ
セージを選択する。次にステップＳ３０７に進んで映像
コーデックは「Ｈ．２６１」コーデックを選択し、コー
デックのモード設定を行う。次いでステップＳ３０８に
進み音声応答メッセージを選択した符号化モードに応じ
て、図２の音声復号化部１０５→音声符号化部１０３の
パス設定または直接音声符号化部１０５へのパス設定を
行う。

【００２８】次にステップＳ３０９に進んで選択された
図２のビデオ符号化部１０８へのデジタル映像信号入力
制御を行うデジタルビデオ処理部１１５へ同一フレーム
を連続して出力するように指示すると共に、ビデオ符号
化部１０８への入力ビデオの第１フレームメモリ１１６
へ、選択された応答映像フレームメッセージを転送して
セットする。パスはこの固定された第１フレームメモリ
１１６→ビデオ符号化部１０８との固定接続となる。次
にステップＳ３１０に進み音声応答メッセージ送信終了
を監視する。送信終了が検知されたなら、ステップＳ３
１２に進んで通常の受信パスを設定し、受信メッセージ
の記録処理を行なった後、本処理動作を終了する。

【００２９】一方、前記ステップＳ３０５においてＪＰ
ＥＧ静止画伝送能力があると判断された場合は、ステッ
プＳ３１３に進み、能力に応じた音声符号化モード・Ｌ
ＳＤ／ＨＳＤによるＪＰＥＧ静止画モード選択を行い、
ＢＡＳコマンド送信して送信モードを通知する。この時
「Ｈ．２６１」はオフ（ＯＦＦ）とする。同時に相手に
応じた応答メッセージを選択する。次にステップＳ３１
４に進み映像コーデックとしてＪＰＥＧコーデックを選
択し、各種モード設定を行った後、前記ステップＳ３０
８に戻り、「Ｈ．２６１」による送信時と同様のパス設
定を行う。

【００３０】〔その他の実施例〕尚、上述した実施例で
は、同一フレーム連続送信時のＪＰＥＧ静止画伝送時と
「Ｈ．２６１」伝送時とで同じフレームを利用する場合
について述べたが、これに限られるものではなく、別々
に用意しても構わない。また、受信側では静止映像を受
信するため、映像情報と音声情報の同期化はさほど重要
ではないので、応答メッセージとしての音声情報と映像
情報は全く独立していても問題はない。更に、１フレー
ムだけしか送信しないように限定する必要はなく、１０
数秒単位或は数１０秒単位にて送信フレームを変更して
もよい。

【００３１】以上説明したように、本発明の請求項１の
マルチメディア通信装置によれば、留守番モード時の応
答メッセージを１映像フレーム分だけ蓄積しておくだけ
で、実際の接続時のマルチメディア多重化状態により映
像伝送に割当可能な伝送レートが変化しても同一フレー
ム「Ｈ．２６１」の符号化部へ連続して送信するだけで
よく、大幅に少ない蓄積容量にて応答メッセージの作成
が可能となり且つ複数の応答メッセージ単位に１フレー
ム分の映像情報を複数用意しても、ダイナミックなアク
セス・再生が簡単に行なえる。また、この時受信側のマ
ルチメディア通信装置での受信映像表示部においては、
送信側にて同一フレームを連続的に符号化しいるため、
基本的には、ＣＩＦ／ＱＣＩＦの解像度の範囲内で非常
に鮮明な受信映像表示が、通常の通信と同様に単に
「Ｈ．２６１」のコーデックで通常受信を行なうだけで
可能となる。従って、スーパーインポーズ文字にて、留
守録中である旨の表示等を行なったフレームを連続送信
することも有効になる。

【００３２】また、例えば、ＪＰＥＧ静止画通信能力が
あれば、上述した請求項１のマルチメディア通信装置に
おける応答メッセージの映像フレームと同一のものを用
いて、ＪＰＥＧでの解像度の範囲内で、より鮮明な受信
映像を受信することが可能となる。

【００３３】

【発明の効果】以上に説明したように、本発明のマルチ
メディア通信装置によれば、記憶手段に記憶した応答用
の映像情報を送信側装置の通信能力に応じて所定の方法
で送信するから、送信側装置における最も良好な通信形
態で送信をすることができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係るマルチメディア通信装
置の構成を示すブロック図である。

【図２】同実施例に係るマルチメディア通信装置の音声
情報・映像情報のアナログ入出力部から多重化／分離化
部までの間の流れを示すブロック図である。

【図３】同実施例に係るマルチメディア通信装置の動作
を示すフローチャートである。

【図４】ＣＣＩＴＴ勧告「Ｈ．２２１」に示されるフレ
ーム構成図である。

【図５】ＣＣＩＴＴ勧告「Ｈ．２２１」に示されるＦＡ
Ｓ・ＢＡＳのマルチフレーム内でのビット割当図であ
る。

【図６】従来のＣＣＩＴＴ「Ｈシリーズ勧告」準拠のテ
レビ電話装置・テレビ会議システムにおける基本的な接
続シーケンスを示すフローチャートである。

【符号の説明】

５音声符号化／復号化部（音声符号化／復号化手段）１１ビデオ符号化／復号化部（映像符号化／復号化手
段）１５システム制御部（留守録制御手段、記録制御手
段、静止画作成手段、第１、第２送信制御手段、判別手
段）１６多重化／分離化部（多重化／分離化手段）１８記憶部（記録部）１０６アナログ記憶部（記録部）１１１多重化部（多重化手段）１１２分離化部（分離化手段）１１３デジタル記憶部（記録部）

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 1/32 Ｄ 7/14

Claims

【特許請求の範囲】

【請求項１】回線を介して受信される音声情報及び映
像情報を含む多重化マルチメディア情報を所定のメディ
ア情報毎に分離する分離化手段と、応答用の映像情報を
所定フレーム分記憶する記憶手段と、前記多重化マルチ
メディア情報の着信後、前記応答用の映像情報を送信側
装置の通信能力に応じて所定の方法で送信する送信手段
とを有することを特徴とするマルチメディア通信装置。