JPH066483A

JPH066483A - マルチメディア端末装置

Info

Publication number: JPH066483A
Application number: JP4187598A
Authority: JP
Inventors: Makoto Senda; 誠千田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1992-06-22
Filing date: 1992-06-22
Publication date: 1994-01-14

Abstract

(57)【要約】【目的】動作中のアプリケーションを中断することな
く、着信の応答が可能なマルチメディア端末装置を提供
する。【構成】制御部１４が表示部８に画像を表示させて動
作中に相手端末装置から着信があった場合、制御部１４
からの画像または相手端末装置から受信した画像のいず
れか一方をフル画面に他方をサブ画面に縮小して表示部
８に表示し、端末受信能力を音声のみにして受信可能に
して受信した後、相手端末装置からの画像を受信するか
否かを選択し、一時的に表示動作中の制御部１４からの
画像を相手端末装置から受信した画像に切り換えて表示
後、通信終了時該表示動作中の制御部１４からの画面に
再度切り換えて表示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、デジタル回線を介し
て、画像及び音声の送受信を行なう電話器等のマルチメ
ディア端末装置に関する。

【０００２】

【従来の技術】従来のアナログ回線による電話器の場
合、音声のみしか伝送できないと共に、データも低速で
しか伝送できなかった。

【０００３】しかし、近年、通信技術や半導体技術或は
光技術等の進歩に伴い、ＩＳＤＮ（サービス総合デジタ
ル網）等のデジタル回線が整備され、大容量のデータを
高速で伝送することが可能になった。

【０００４】特に、デジタル伝送の特徴としては、伝送
による品質低下がないと共に、同レベルの品質が保たれ
ること、及び伝送データのメディアの特性に応じた伝送
路を必要とせず、そのメディアの統合が図れること等が
あり、マルチメディア端末装置間の伝送が可能になっ
た。よって、近年、従来の音声のみしか伝送できない電
話器から、音声と画像とを同時に伝送できるマルチメデ
ィア端末装置としての電話器が出現している。

【０００５】こうした状況の中、互いに異なるマルチメ
ディア端末装置間においても相互通信が可能になるよう
に、ＣＣＩＴＴ（国際電信電話諮問委員会）による国際
標準化が進められており、デジタル回線を用いたテレビ
電話システムや、テレビ会議システムなどのＡＶ（Audi
o Visual）サービス用のサービス規定、プロトコル規
定、或はマルチメディア多重化フレーム構成規定等がＣ
ＣＩＴＴ勧告（または草案）「Ｈ．３２０」、「Ｈ．２
４２」、「Ｈ．２２１」等として発表されている。

【０００６】前記「Ｈ．２２１」では、６４Ｋｂｐｓか
ら１９２０ＫｂｐｓまでのＡＶサービスにおけるフレー
ム構成及び端末装置の能力の交換や、通信モードのＦＡ
Ｓ（Fram Alignment Signal），ＢＡＳ（Bit Allocatio
n Signal）の符号割当が定義されている。

【０００７】また前記「Ｈ．２４２」では前記ＢＡＳを
用いたＡＶ端末装置間での能力交換及び通信モード切り
換え等のプロトコルが定義されている。

【０００８】更に、前記「Ｈ．３２０」ではＡＶサービ
ス全般のシステムアスペクトが定義されている。

【０００９】前記勧告（または草案）においては、エン
ドツーエンドの物理コネクションの設定及びインチャネ
ルでの前記ＦＡＳによる同期確立後、インチャネルで前
記ＢＡＳを用いた端末装置の能力の交換シーケンス等の
手順により端末装置間で画像、音声、データ等のマルチ
メディア通信を行なうための方法が規定されている。

【００１０】但し、各端末装置において自己の端末装置
の能力を状況に応じて変化させたり、或は交換された能
力の範囲内でどの通信モードを用いるかは規定範囲外で
ある。

【００１１】マルチメディア通信における各メディアの
情報転送速度は、音声情報については音声符号化方式を
指定することで決定され、データ情報については、その
使用の有無、使用する場合の転送速度を指定することに
より決定され、設定した通信路全体の情報転送速度か
ら、音声情報の転送速度とデータ情報の転送速度を引い
た残りが画像情報の転送速度になる。

【００１２】

【発明が解決しようとする課題】しかしながら、上記従
来のマルチメディア端末装置によれば、各端末装置間で
画像データを通信する場合は、通常、相手端末装置と接
続されたとき表示部の画面は、マルチメディア端末装置
用の操作画面の表示から受信した画像に切り換わり、そ
の後は通信終了か、または、操作者が意図的に画面を切
り換えない限り、受信画像を表示し続けてしまうので、
操作者が他のアプリケーションを起動している時に着信
があった場合にも、やはり受信した画像に切り換わって
しまい、通信中は前記動作を中断しなければならないと
いう問題点があった。

【００１３】また、送信する場合においても、やはり前
記動作を一旦中断しなければならないという問題点があ
った。

【００１４】更に、内容によっては音声のみで済ませる
ことでも、相手端末装置が画像を送信してきた場合に
は、やはり、その画像を受信して画面を切り換えざるを
得ないという問題点があった。

【００１５】本発明は上記事情に鑑みてなされたもの
で、その第１の目的とするところは、動作中のアプリケ
ーションを中断することなく着信の応答が可能なマルチ
メディア端末装置を提供することにある。

【００１６】また、本発明の第２の目的とするところ
は、動作中のアプリケーションを中断することなく通信
することが可能なマルチメディア端末装置を提供するこ
とにある。

【００１７】また、本発明の第３の目的とするところ
は、アプリケーション動作中に着呼があった場合、相手
端末装置によって通信方法を自動的に判断して応答する
ことが可能なマルチメディア端末装置を提供することに
ある。

【００１８】また、本発明の第４の目的とするところ
は、動作中のアプリケーションを中断することなく通信
することが可能で、相手端末装置によって通信方法を自
動的に判断して応答することが可能なマルチメディア端
末装置を提供することにある。

【００１９】

【課題を解決するための手段】上述した第１の目的を達
成するため本発明の第１発明は、音声入出力部と画像入
出力部とデータ入出力部とを備えたマルチメディア端末
装置において、制御部が表示部に画像を表示させて動作
中に相手端末装置から着信があった場合に前記制御部か
らの画像または相手端末装置から受信した画像のいずれ
か一方をフル画面に他方をサブ画面に縮小して表示部に
表示させる画面切換手段と、端末受信能力を音声のみ受
信可能にして受信した後前記相手端末装置からの画像を
受信するか否かを選択する第１選択手段と、一時的に表
示動作中の前記制御部からの画像を前記相手端末装置か
ら受信した画像に切り換えて表示させた後通信終了時に
該表示動作中の前記制御部からの画像に再度切り換えて
表示部に表示する表示切換手段と、前記各手段のうちの
いずれの手段を実行するかを選択する第２選択手段とを
具備したことを特徴とするものである。

【００２０】また上述した第２の目的を達成するため本
発明の第２発明は、音声入出力部と画像入出力部とデー
タ入出力部とを備えたマルチメディア端末装置におい
て、制御部が表示部に画像を表示させて動作中に相手端
末装置へ発信する場合に前記制御部からの画像または相
手端末装置から受信した画像のいずれか一方をフル画面
に他方をサブ画面に縮小して表示部に表示させる画面切
換手段と、端末受信能力を音声のみ受信可能にして音声
を受信した後前記相手端末装置からの画像を受信するか
否かを選択する第１選択手段と、一時的に表示動作中の
前記制御部からの画像を前記相手端末装置から受信した
画像に切り換えて表示させた後通信終了時に該表示動作
中の前記制御部からの画像に再度切り換え表示する表示
切換手段と、前記各手段のうちのいずれの手段を実行す
るかを選択する第２選択手段とを具備したことを特徴と
するものである。

【００２１】また上述した第３の目的を達成するため本
発明の第３発明は、音声入出力部と画像入出力部とデー
タ入出力部とを備えたマルチメディア端末装置におい
て、制御部が表示部に画像を表示させて動作中に相手端
末装置から着信があった場合に前記制御部からの画像ま
たは相手端末装置から受信した画像のいずれか一方をフ
ル画面に他方をサブ画面に縮小して表示部に表示させる
画面切換手段と、端末受信能力を音声のみ受信可能にし
て受信した後前記相手端末装置からの画像を受信するか
否かを選択する第１選択手段と、一時的に表示動作中の
前記制御部からの画像を前記相手端末装置から受信した
画像に切り換えて表示させた後通信終了時に該表示動作
中の前記制御部からの画像に再度切り換えて表示する表
示切換手段と、前記各手段のうちのいずれの手段を実行
するかを選択する第２選択手段と、前記各手段に対して
着信する相手端末装置ごとにいずれの手段で応答するか
を選択して登録する登録手段と、前記相手端末装置から
の着信時に前記登録手段により選択された手段での応答
を実行する実行手段とを具備したことを特徴とするもの
である。

【００２２】更に、上述した第４の目的を達成するため
本発明の第４発明は、音声入出力部と画像入出力部とデ
ータ入出力部とを備えたマルチメディア端末装置におい
て、制御部が表示部に画像を表示させて動作中に相手端
末装置へ発信する場合に前記制御部からの画像または相
手端末装置から受信した画像のいずれか一方をフル画面
に他方をサブ画面に縮小して表示部に表示させる画面切
換手段と、端末受信能力を音声のみ受信可能にして受信
した後前記相手端末装置からの画像を受信するか否かを
選択する第１選択手段と、一時的に表示動作中の前記制
御部からの画像を前記相手端末装置から受信した画像に
切り換えて表示させた後通信終了時に該表示動作中の前
記制御部からの画像に再度切り換えて表示する表示切換
手段と、前記各手段のうちのいずれの手段を実行するか
を選択する第２選択手段と、前記各手段に対して発信す
る相手端末装置ごとにいずれの手段で通信するかを選択
して登録する登録手段と、前記相手端末装置への発信時
に前記登録手段により選択された手段での通信を実行す
る実行手段とを具備したことを特徴とするものである。

【００２３】

【作用】本発明の第１発明に係るマルチメディア端末装
置は、各手段のうちのいずれかの手段を実行するかを選
択して、制御部が表示部に画像を表示させて動作中に相
手端末から着信があった場合、前記制御部からの画像ま
たは相手端末装置から受信した画像のいずれか一方をフ
ル画面に他方をサブ画面に縮小表示させ、また端末受信
能力を音声のみ受信可能にして音声を受信した後、相手
端末装置からの画像を受信するか否かを選択し、また一
時的に表示動作中の前記制御部からの画像を前記相手端
末装置から受信した画像に切り換えて表示させた後、通
信終了時に該表示動作中の前記制御部からの画像に再度
切り換えて表示する。

【００２４】また、本発明の第２発明に係るマルチメデ
ィア端末装置は、各手段のうちのいずれかの手段を実行
するかを選択して、制御部が表示部に画像を表示させて
動作中に相手端末へ発信する場合、前記制御部からの画
像または相手端末装置から受信した画像のいずれか一方
をフル画面に他方をサブ画面に縮小表示させ、また端末
受信能力を音声のみ受信可能にして音声を受信した後、
相手端末装置からの画像を受信するか否かを選択し、ま
た一時的に表示動作中の前記制御部からの画像を前記相
手端末装置から受信した画像に切り換えて表示させた
後、通信終了時に該表示動作中の前記制御部からの画像
に再度切り換えて表示する。

【００２５】また、本発明の第３発明に係るマルチメデ
ィア端末装置は、相手端末装置からの着信時に、予め選
択して登録された手段での応答を実行するもので、制御
部が表示部に画像を表示させて動作中に相手端末から着
信があった場合、前記制御部からの画像または相手端末
装置から受信した画像のいずれか一方をフル画面に他方
をサブ画面に縮小表示させ、また端末受信能力を音声の
み受信可能にして音声を受信した後、相手端末装置から
の画像を受信するか否かを選択し、また一時的に表示動
作中の前記制御部からの画像を前記相手端末装置から受
信した画像に切り換えて表示させた後、通信終了時に該
表示動作中の前記制御部からの画像に再度切り換えて表
示する。

【００２６】更に、本発明の第４発明に係るマルチメデ
ィア端末装置は、相手端末装置への発信時に、予め選択
して登録された手段での通信を実行するもので、制御部
が表示部に画像を表示させて動作中に相手端末へ発信す
る場合、前記制御部からの画像または相手端末装置から
受信した画像のいずれか一方をフル画面に他方をサブ画
面に縮小表示させ、また端末受信能力を音声のみ受信可
能にして音声を受信した後、相手端末装置からの画像を
受信するか否かを選択し、また、一時的に表示動作中の
前記制御部からの画像を前記相手端末装置から受信した
画像に切り換えて表示させた後、通信終了時に該表示動
作中の前記制御部からの画像に再度切り換えて表示す
る。

【００２７】

【実施例】以下、本発明の実施例を図面に基づき説明す
る。

【００２８】［第１実施例］図１は本発明の第１実施例
に係るマルチメディア端末装置のブロック構成図であ
る。同図において、１は音声入／出力手段の１つである
ハンドセット、２は音声入力手段の１つであるマイク、
３は音声出力手段の１つであるスピーカ、４は音声イン
ターフェース（Ｉ／Ｆ）部で、後述するシステム制御部
１４の指示により、音声入／出力手段としてのハンドセ
ット１、マイク２、スピーカ３を切り換える機能、音声
レベル調整のための利得調整機能、ハンドセット１がオ
ンフック状態かオフフック状態かを検出するオン／オフ
フック検出機能、音声入／出力手段としてマイク２とス
ピーカ３を使用した時にエコーを消去するためのエコー
キャンセル機能、及びダイヤルトーン、呼出トーン、ビ
ジートーン、着信トーン等のトーン生成機能をもってい
る。

【００２９】５は音声符号化部５ａと音声復号化部５ｂ
とからなる音声符号化／復号化部で、後述するシステム
制御部１４の指示により、６４ｋｂｐｓＰＣＭ（Ａ−ｌ
ａｗ），６４ｋｂｐｓＰＣＭ（μ−ｌａｗ），７ｋＨｚ
オーディオ（ＳＢ−ＡＤＰＣＭ），３２ｋｂｐｓＡＤＰ
ＣＭ，１６ｋｂｐｓ（例えば、ＡＰＣ−ＡＢ）８ｋｂｐ
ｓ等の音声符号化／復号化アルゴリズムに従って、送信
音声信号をＡ／Ｄ変換して符号化する機能及び受信音声
信号をＤ／Ａ変換して復号化する機能をもっている。

【００３０】６は画像入力手段の１つであり、自画像等
を入力するためのカメラ、７は画像入力手段の１つであ
り、絵や図面等を入力するための書画カメラ、８はカメ
ラ６または書画カメラ７からの入力画像、相手からの受
信画像及び後述するシステム制御部１４からの画像等を
表示する表示部、９は画像入力部９ａと画像出力部９ｂ
とからなるビデオインターフェース部で、後述するシス
テム制御部１４の指示により、画像入力手段としてのカ
メラ６、書画カメラ７を切り換える機能、上述した各画
像の表示切り換え並びに表示分割機能、及び各画像入出
力部の画像信号と電気的／物理的に整合をとるための信
号変換機能をもっている。

【００３１】１０は画像符号化部１０ａと画像復号化部
１０ｂとからなる画像符号化／復号化部で、送信画像信
号をＡ／Ｄ変換して符号化する機能及び受信画像信号を
Ｄ／Ａ変換して復号化する機能をもつもので、大容量の
画像の生データに、動き補償、駒落とし、フレーム間補
償並びに、ＤＣＴ変換及びベクトル量子化変換等の種々
の手法によって帯域圧縮を行ない、小容量化してデジタ
ル回線で伝送可能にしている。

【００３２】現在、ＩＳＤＮ（サービス総合デジタル
網）回線の基本インターフェースは６４ｋｂｐｓである
が、この伝送速度でも伝送可能な画像の符号化方式とし
てはＣＣＩＴＴ勧告草案「Ｈ．２６１」がある。

【００３３】１１はデータ通信を行なうためのデータ端
末、１２はデータインターフェース部（データ入出力
部）で、データ端末１１及び後述するシステム制御部１
４からの送信データを後述する多重分離化部１５へ通知
すると共に、受信データをデータ端末１１または後述す
るシステム制御部１４へ通知するものである。１３は本
装置を制御するための制御情報を入力するために使用す
るキーボード、タッチパネルなどの操作部、１４はシス
テム制御部で、ＣＰＵ，ＲＯＭ，ＲＡＭ，補助記憶装
置、キャラクタジェネレータ、画像信号生成回路等を備
え、各部の状態を監視し本装置全体の制御、入力制御情
報、利用回線状態に応じた操作／表示画面の作成及びア
プリケーションプログラムの実行等を行なうものであ
る。

【００３４】１５は多重分離化部で、音声符号化／復号
化部５からの音声データ、画像符号化／復号化部１０か
らの画像データ、データインターフェース部１２からの
データ、システム制御部１４からのＢＡＳを送信フレー
ム単位に多重化すると共に、受信フレームを構成単位の
各メディアに分離し各部に通知するものであり、ＣＣＩ
ＴＴ勧告としては、「Ｈ．２２１」がある。

【００３５】１６はＩＳＤＮユーザ網インターフェース
に従ってＩＳＤＮ回線２７を制御する回線インターフェ
ース部である。１７は画像合成部で、画像復号化部１０
ｂからの受信画像信号とシステム制御部１４からの画像
信号とを合成した画像を画像出力部９ｂへ伝送するもの
である。１８は同期検知部で、画像復号化部１０ｂから
の受信画像信号の同期を検知してシステム制御部１４へ
通知するものである。この同期検知部１８は、画像信号
の中の水平／垂直同期信号を監視し、この同期信号が発
生していれば同期とみなし、同期信号が発生していない
場合は、同期はずれとみなし、システム制御部１４へそ
の旨を通知するものである。

【００３６】画像復号化部１０ｂでは、画像復号時、エ
ラーが発生した場合に、前記同期信号が乱れることで同
期検知部１８が作動する。また画像復号化部１０ｂが画
像復号時に多大な影響を与えるほどの復号不可能なエラ
ーが発生したときは同期はずれとみなし、画像復号化部
１０ｂがこのエラーを同期検知部１８に通知すること
で、上述と同様に同期はずれとみなし、システム制御部
１４へその旨を通知する方法もある。

【００３７】次に、端末能力のネゴシエーションや端末
能力の変更を行なう方法について述べる。まず、ＩＳＤ
Ｎ回線で通信する場合、図２に示すように、アウトバン
ド信号即ちＤチャネル（ｃｈ）を用いて発呼する。

【００３８】図２に示すように、端末装置Ａから端末装
置Ｂへの呼設定と、端末装置Ｂから端末装置Ａへの応答
でＢチャネル（ｃｈ）での通信が可能になる。

【００３９】通信路としては、ほかにＤｃｈ，Ｈ０，Ｈ
１などもあるがＢｃｈのみで説明し、以下は省略する。

【００４０】次に、この通信可能となったＢｃｈｌを用
いて勧告「Ｈ．２４２」に従い、図３に示すようにＢｃ
ｈのインバンド信号手順（つまり、Ｂｃｈ内をデータ部
と制御部に割り付け、その制御部によって制御する）が
行なわれる。

【００４１】この制御を、インチャネル制御というの
で、以後は、この名称を用いる。このインチャネル制御
を実行するに当たり、Ｂｃｈ内に制御ビットが必要にな
るので、そのフレーム構成が「Ｈ．２２１」で規定され
ている。

【００４２】このフレーム構成を図４に示す。図４のマ
ルチフレーム構造は、Ｂｃｈ（６４ｋｂｐｓ）時のもの
である。

【００４３】まず、マルチフレーム構造は、１オクテッ
ト／１２５μｓｅｃを基本として、図４（ａ）のよう
に、１フレーム＝８０オクテット、図４（ｂ）のよう
に、１サブマルチフレーム＝２フレーム、図４（ｃ）の
ように、１マルチフレーム＝８サブマルチフレームの構
造を有し、ビット方向には、８ｋｂｐｓのサブチャネル
が＃１から＃８まで定義されている。

【００４４】但し、＃８サブチャネルだけは、転送レー
トが、６．４ｋｂｐｓとなり、制御ビットとして、ＦＡ
ＳとＢＡＳの信号が挿入されている。

【００４５】このＦＡＳとＢＡＳによりＢｃｈのインチ
ャネル制御が可能となる。

【００４６】ＦＡＳは、フレーム及びマルチフレーム同
期に使用されている。

【００４７】ＢＡＳは、サブチャネルなどの多重方法を
決定するのに必要な端末能力の情報の交換或は能力設定
に使用される。特に、ＢＡＳは、データ通信中であって
もサブマルチフレーム（２０ｍｓｅｃ）ごとに切り換え
は可能である。

【００４８】次に、図３を用いて、インチャネル制御手
順を説明する。

【００４９】まず、Ｂｃｈが通信可能状態になると、端
末装置Ａ，Ｂともに、ＦＡＳを送信する。この時の端末
能力は、初期状態のモード０（オーディオとＦＡＳ，Ｂ
ＡＳのみのモード）である。このＦＡＳは、相手端末装
置で探索され、「Ｈ．２４２」で規定されたフレーム同
期確立の条件が満たされると、図５に示すＦＡＳ内のビ
ット構成の中のＡを“０”にして送信する。Ａ＝０を端
末装置が受信することで、相手端末装置のフレーム同期
が確立したことが確認される。

【００５０】もし、この時点で、お互いが通信可能であ
れば、データの通信が開始される。能力変更が必要な場
合は、同様に、ＢＡＳを用いてコマンドとして端末能力
を送信し、相手端末装置がその能力を設定完了後、デー
タの通信を開始する。

【００５１】データの通信は送受信で独立しており、フ
レーム同期の確立も端末能力の設定も別々に行なわれ
る。よって、片方向だけ同期はずれが発生したり、送受
信でデータの種別が異なる場合もある。

【００５２】データの通信が完了して呼を切断するとき
には、まず切断する側の端末装置（図４では端末装置
Ａ）がＢＡＳを用いてモード０にする。

【００５３】これにより、Ｂｃｈのインチャネル制御は
初期状態に戻る。

【００５４】次に、図２に示すように、Ｄｃｈのアウト
バンド手順で切断と解放が行なわれて、総ての通信が完
了する。

【００５５】図５は、ＦＡＳ内のビット構成を示してい
る。

【００５６】図５（ａ）のＡビットは、フレーム同期は
ずれの表示である。Ｅビットは、ＣＲＣ誤りが発生した
か否かの表示である。Ｃ₁，Ｃ₂，Ｃ₃，Ｃ₄は、ＣＲＣ４
のビットである。

【００５７】図５（ｂ）のＮ１からＮ５は、マルチフレ
ームの番号付け用である。

【００５８】図５（ｂ），（ｃ）のＲ１からＲ４は、チ
ャネル番号である。

【００５９】ＴＥＡは、端末装置アラームで、端末装置
内部の故障により入力信号を受け取ったり、これに反応
できない場合に“１”をセットする。

【００６０】図６は、ＢＡＳ内のビット構成を示してい
る。

【００６１】図６（ａ）に示すように、上位３ビット
は、属性を表わし、残り５ビットで、その属性値を表わ
す。

【００６２】図６（ｂ）は、属性の内容を示している。
属性値は、例えば、転送レート値、コーデック種別、各
メディア特有のパラメータ値等が定義されている。

【００６３】画像合成部１７の内部構成を図７に示す。

【００６４】まず、フル画面は第１スイッチ（ＳＷ）１
９により画像復号化部１０ｂからの受信画像とシステム
制御部１４からの画像のどちらかが選択されて第３スイ
ッチ（ＳＷ）２５に転送される。

【００６５】サブ画面は、第２スイッチ（ＳＷ）２０に
より画像復号化部１０ｂからの受信画像とシステム制御
部１４からの画像のどちらかが選択され、画像縮小処理
部２１に転送される。

【００６６】第２スイッチ１９により選択された画像は
画像縮小処理部２１により、フル画面サイズをサブ画面
サイズに縮小処理されて第３スイッチ２５に転送され
る。

【００６７】制御部２３は、第１スイッチ１９と第２ス
イッチ２０の切り換え制御を指示し、切換タイミング発
生部２４に対してサブ画面のための切り換え位置を指定
する。

【００６８】同期検知部２２は、第１スイッチ１９より
出力された画像から水平同期信号と垂直同期信号とを抽
出して切換タイミング発生部２４に転送する。

【００６９】切換タイミング発生部２４は、同期検知部
２２から転送された同期信号により上記指定された切り
換え位置のタイミング信号を発生して第３スイッチ２５
を切り換える。

【００７０】第３スイッチ２５は、第１スイッチ１９か
らのフル画面の画像と、第２スイッチ２０からのサブ画
面の画像とを切り換えることで、フル画面にサブ画面を
嵌め込み合成することが可能となる。

【００７１】また、画像の合成方法としては、フル画面
の画像データと、サブ画面の画像データを同一の画像メ
モリに書き込むことで合成する方法がある。

【００７２】次に、本発明の動作を図８〜図１２のフロ
ーチャートを用いて説明する。

【００７３】まず、図８において、ステップ８０１で発
着呼があるか否かを判別し、なければ有るまでこのステ
ップ８０１を繰り返して実行する。そして、発信時には
マルチメディア端末装置による通信か電話による通信か
を選択し、着信時にはステップ８０２へ進んでマルチメ
ディア端末による通信か電話による通信かを呼制御情報
から判別する。

【００７４】電話による通信の場合には、ステップ８０
３に進んで電話通信を行なう。ここでの電話通信時は、
画像合成部１７においてシステム制御部１４からの画像
のみを入力し、表示部８へシステム制御部１４が作成し
た電話用の画像が表示される。

【００７５】例としては、発呼時は、テンキー、電話帳
の番号一覧表、及びキー入力された電話番号等が表示さ
れ、着呼時は、もし相手がわかる場合には、相手の電話
番号等が表示され、通話中には、通話時間等が表示され
る。

【００７６】ハンドセット１、マイク２、スピーカ３、
音声インターフェース部４及び音声符号化／復号化部５
からなる音声部は、起動状態になり呼が切断されるまで
維持される。

【００７７】そして次のステップ８０４で通信が終了し
たか否かを判別し、終了しなければ終了するまでこのス
テップ８０４を実行する。通信が終了すれば、ステップ
８０５に進んで、回線を切断して本処理動作を終了す
る。

【００７８】次にマルチメディア端末装置による通信の
場合には、ステップ８０６に進んでシステム制御部１４
が動作中で表示部８にシステム制御部１４からの画像を
表示させているか否かを判別する。

【００７９】マルチメディア端末装置用の画面内容の例
としては、発呼時は、通信に使用する伝達能力の設定や
上述した電話の場合と同様にテンキー、端末装置の番号
帳及びキー入力された端末装置番号等が表示され、着信
時は、相手端末装置の能力、伝送中の能力、及び相手端
末装置番号がわかる場合には、その端末装置番号等が表
示される。

【００８０】また、上記のマルチメディア端末装置の通
信用操作以外のアプリケーション（例えば、表計算、数
値演算、ワードプロセッサ、ＤＴＰ等）を起動中にシス
テム制御部１４からの画像を表示していることもある。

【００８１】前記ステップ８０６での判別の結果、シス
テム制御部１４が動作中で上記画像を表示している場合
には、ステップ８０７に進み着呼及び発呼時に相手端末
装置との通信方法を操作者が操作部１３からのキー入力
等により選択する。

【００８２】次に選択された通信方法に基づいて以下の
動作に入る。

【００８３】まず、図９のステップ９０１で相手端末装
置からの受信画像を表示するか否かを判別する。

【００８４】相手端末装置からの画像を表示しない場合
には、図１０のステップ１００１に進んで自端末装置の
受信能力を音声のみとして相手端末装置にＢＡＳ情報と
して通知した後、ステップ１００２で音声のみの通信を
行ない、画像合成部１７はそのままシステム制御部１４
からの画像のみを入力し、このシステム制御部１４から
の画像を表示部８に表示したままとする。この場合に
は、システム制御部１４の動作は継続される。

【００８５】また、図９のステップ９０１で相手端末装
置の画像を表示する場合には、ステップ９０２に進んで
自端末装置の受信能力を音声と画像とで相手端末装置に
通知して画像と音声の通信を行なうが、画像合成部１７
は相手端末装置の画像を表示部８へ表示するために以下
の動作に入る。

【００８６】まず、図９のステップ９０３で相手端末装
置から受信した画像とシステム制御部１４からの画像を
同時に表示するか相手端末装置から受信した画像のみを
表示するかを判別する。

【００８７】同時表示する場合には、図１１のルーチン
を実行し、画像合成部１７は相手端末装置から受信した
画像とシステム制御部１４からの画像の２系統の画像を
入力する。

【００８８】更に、画像合成部１７は入力したこの２系
統の画像に対し、フル画面とサブ画面の割り付け或は画
面分割等を行なって合成する必要がある。

【００８９】そこで、まず、図１１のステップ１１０１
で画像を縮小表示するか否かを判別し、縮小表示しなけ
ればステップ１１０２に進んでフル画面に受信した画像
を表示した後、ステップ１１０３に進んでシステム制御
部１４の画像をサブ画面のサイズに縮小してサブ画面と
してフル画面の受信した画像と合成して表示部８に表示
した後、前記図９のステップ９０６に移る。

【００９０】また、前記図１１のステップ１１０１で縮
小表示すれば、ステップ１１０４に進んで、フル画面に
システム制御部１４からの画像を表示した後、ステップ
１１０５に進んで、受信した画像をサブ画面のサイズに
縮小してサブ画面としてフル画面のシステム制御部１４
からの画像と合成されて表示部８に表示した後、前記図
９のステップ９０６に移る。

【００９１】画面分割では必要に応じてサイズ変換して
合成する。

【００９２】システム制御部１４は上記の状態において
は、現在継続中の動作をそのまま続行可能となる。一
方、前記図９のステップ９０３で両画像を同時表示せず
に相手端末装置から受信した画像のみを表示する場合に
は、次のステップ９０４でシステム制御部１４の現在継
続中の動作を一時中断し、システム制御部１４からの画
像を表示せず、次のステップ９０５で画像合成部１７は
相手端末装置から受信した画像のみを入力して画面に表
示する。

【００９３】このようにして通信が開始された後、次の
ステップ９０６で動作状態の変更が有るか否かを判別
し、変更が有れば前記ステップ９０３に戻り、なければ
次のステップ９０７に進んで受信能力の変更が有るか否
かを判別する。変更が有れば、前記ステップ９０１に戻
り、なければ次のステップ９０８に進んで呼切断された
か否かを判別する。呼切断されなければ前記ステップ９
０６に戻り、呼切断されれば、図１２のルーチンを実行
する。即ち、図１２のステップ１２０１で回線を切断
後、次のステップ１２０２でシステム制御部１４の動作
が復帰したか否かを判別し、復帰しなければ本処理動作
を終了し、復帰すれば次のステップ１２０３に進んで、
表示画面をシステム制御部１４からの画像に切り換える
と共に、システム制御部１４において中断していた動作
があれば復帰させることで、通信中に一時中断していた
動作を再開した後本処理動作を終了する。

【００９４】このように通信開始後にも、通信するメデ
ィア種別の変更をしたい場合には（例えば、音声のみの
通信から画像を追加したい場合）、変更された受信能力
を再度相手端末装置に送信して通信を行なうものであ
る。

【００９５】また、画像の合成方法などの表示状態の変
更も、発生時点で随時変更可能である。

【００９６】［第２実施例］次に本発明の第２実施例を
図１３〜図１６に基づき説明する。図１３は本実施例に
係るマルチメディア端末装置のブロック構成図であり、
同図において上述した第１実施例の図１と同一部分には
同一符号を付してある。

【００９７】本実施例において、上述した第１実施例と
異なる点は、操作者が、事前に、他のアプリケーション
が動作中の発／着信時の通信方法を操作部１３から登録
することができるようにしたことであり、そのために、
その登録情報を蓄積するための蓄積部（登録手段）２６
がシステム制御部１４に設けられている。

【００９８】この蓄積部２６に蓄積される登録情報を図
１４に示す。この図１４の場合は、回線番号と、その回
線番号との通信時の通信方法が登録されている。

【００９９】この図１４を基に具体的に説明すると、例
えば、回線番号“００１”に発／着信があった場合に
は、もし、他のアプリケーションが動作中であれば、音
声のみの通信に制限される。

【０１００】しかし、通信中の変更は許可されるので、
その後に画像を追加変更することは可能である。

【０１０１】また、他のアプリケーションが動作中でな
ければ、上記制限はなく、画像と音声とを共に通信する
ことは可能である。

【０１０２】なお、図１３において、その他の構成は上
述した第１実施例と同一であるから、図面に同一符号を
付して、その説明を省略する。

【０１０３】次に本実施例の動作を図１５及び図１６を
用いて説明する。

【０１０４】まず、図１５中、ステップ１５０１〜１５
０６は上述した第１実施例における図８のステップ８０
１〜８０６とそれぞれ同一であるからその説明を省略す
る。

【０１０５】図１５のステップ１５０６でシステム制御
部１４が動作中で、表示部８にシステム制御部１４から
の画像を表示している場合には、次のステップ１５０７
に進んで、図１４に示す登録情報の中から、対象となる
回線番号を検索する。そして、次のステップ１５０８
で、回線番号が有るか否かを判別する。上記回線番号が
なければ、ステップ１５１０に進んで、デフォルトの登
録情報を解読してデフォルトで登録されている通信手段
を選択（図１４の場合、音声のみなので、音声のみで通
信を開始する。）した後、図１６のステップ１６０１に
進む。

【０１０６】また、前記図１５のステップ１５０８で回
線番号が有れば、次のステップ１５０９に進んで、その
回線番号の登録情報を解読して、その通信手段が選択さ
れた後、前記図１６のステップ１６０１に移る。

【０１０７】なお、この図１６において、ステップ１６
０１〜ステップ１６０８は、上述した第１実施例におけ
る図９のステップ９０１〜ステップ９０８とそれぞれ同
一であるから、その説明を省略する。

【０１０８】

【発明の効果】以上の如く、本発明の第１及び第２発明
のマルチメディア通信装置によれば、他のアプリケーシ
ョンを動作中他の端末装置からの受信あるいは、他の端
末装置への送信を行なう際に、音声のみの通信やメイン
画面とサブ画面による画像表示により、通信中に他のア
プリケーションの動作を継続することができるので、通
信中であっても、マルチメディア端末装置の他の機能を
動作させることができ、従って、動作に無駄がなくな
り、時間の短縮が図れるという効果がある。

【０１０９】また、通信中に他のアプリケーションの動
作を一時中断しても、通信終了と共に復帰させることが
できるので、マン・マシン・インターフェースの利便性
が向上するという効果がある。

【０１１０】また、本発明の第３及び第４発明のマルチ
メディア通信装置によれば、上述した第１及び第２発明
と同様に、動作に無駄がなくなり、時間の短縮が図れ
る。

【０１１１】更に、事前に登録しておき、その登録に従
い自動的に上記のような着信を行なうことができると共
に、相手に合わせて必要のないデータの通信を避けて通
信することができるので、通信の効率と経済性が向上す
るという効果がある。

【図面の簡単な説明】

【図１】本発明の第１実施例に係るマルチメディア端末
装置のブロック構成図である。

【図２】同装置におけるＤチャネルでの通信制御手順を
示す図である。

【図３】同装置におけるＢチャネルでの通信制御手順を
示す図である。

【図４】「Ｈ．２２１」で規定されたフレーム構成を示
す図である。

【図５】ＦＡＳ内のビット構成を示す図である。

【図６】ＢＡＳ内のビット構成を示す図である。

【図７】図１に示す装置における画像合成部の内部構成
図である。

【図８】同装置の動作を示すフローチャートである。

【図９】同装置の動作を示すフローチャートである。

【図１０】同装置の動作を示すフローチャートである。

【図１１】同装置の動作を示すフローチャートである。

【図１２】同装置の動作を示すフローチャートである。

【図１３】本発明の第２実施例に係るマルチメディア端
末装置のブロック構成図である。

【図１４】同装置における通信方法の登録情報を示す図
である。

【図１５】同装置の動作を示すフローチャートである。

【図１６】同装置の動作を示すフローチャートである。

【符号の説明】

１ハンドセット（音声入出力部）２マイク（音声入力部）３スピーカ（音声出力部）４音声Ｉ／Ｆ部（音声入出力部）８表示部（表示手段）９画像入出力部９ａ画像入力部９ｂ画像出力部１１データ端末（データ入出力部）１２データＩ／Ｆ部（データ入出力部）１４システム制御部（第１、第２選択手段、画面切換
手段、表示切換手段、実行手段）２６蓄積部（登録手段）

Claims

【特許請求の範囲】

【請求項１】音声入出力部と画像入出力部とデータ入
出力部とを備えたマルチメディア端末装置において、制
御部が表示部に画像を表示させて動作中に相手端末装置
から着信があった場合に前記制御部からの画像または相
手端末装置から受信した画像のいずれか一方をフル画面
に他方をサブ画面に縮小して表示部に表示させる画面切
換手段と、端末受信能力を音声のみ受信可能にして受信
した後前記相手端末装置からの画像を受信するか否かを
選択する第１選択手段と、一時的に表示動作中の前記制
御部からの画像を前記相手端末装置から受信した画像に
切り換えて表示させた後通信終了時に該表示動作中の前
記制御部からの画像に再度切り換えて表示部に表示する
表示切換手段と、前記各手段のうちのいずれの手段を実
行するかを選択する第２選択手段とを具備したことを特
徴とするマルチメディア端末装置。
【請求項２】音声入出力部と画像入出力部とデータ入
出力部とを備えたマルチメディア端末装置において、制
御部が表示部に画像を表示させて動作中に相手端末装置
へ発信する場合に前記制御部からの画像または相手端末
装置から受信した画像のいずれか一方をフル画面に他方
をサブ画面に縮小して表示部に表示させる画面切換手段
と、端末受信能力を音声のみ受信可能にして音声を受信
した後前記相手端末装置からの画像を受信するか否かを
選択する第１選択手段と、一時的に表示動作中の前記制
御部からの画像を前記相手端末装置から受信した画像に
切り換えて表示させた後通信終了時に該表示動作中の前
記制御部からの画像に再度切り換え表示する表示切換手
段と、前記各手段のうちのいずれの手段を実行するかを
選択する第２選択手段とを具備したことを特徴とするマ
ルチメディア端末装置。
【請求項３】音声入出力部と画像入出力部とデータ入
出力部とを備えたマルチメディア端末装置において、制
御部が表示部に画像を表示させて動作中に相手端末装置
から着信があった場合に前記制御部からの画像または相
手端末装置から受信した画像のいずれか一方をフル画面
に他方をサブ画面に縮小して表示部に表示させる画面切
換手段と、端末受信能力を音声のみ受信可能にして受信
した後前記相手端末装置からの画像を受信するか否かを
選択する第１選択手段と、一時的に表示動作中の前記制
御部からの画像を前記相手端末装置から受信した画像に
切り換えて表示させた後通信終了時に該表示動作中の前
記制御部からの画像に再度切り換えて表示する表示切換
手段と、前記各手段のうちのいずれの手段を実行するか
を選択する第２選択手段と、前記各手段に対して着信す
る相手端末装置ごとにいずれの手段で応答するかを選択
して登録する登録手段と、前記相手端末装置からの着信
時に前記登録手段により選択された手段での応答を実行
する実行手段とを具備したことを特徴とする請求項１記
載のマルチメディア端末装置。
【請求項４】音声入出力部と画像入出力部とデータ入
出力部とを備えたマルチメディア端末装置において、制
御部が表示部に画像を表示させて動作中に相手端末装置
へ発信する場合に前記制御部からの画像または相手端末
装置から受信した画像のいずれか一方をフル画面に他方
をサブ画面に縮小して表示部に表示させる画面切換手段
と、端末受信能力を音声のみ受信可能にして受信した後
前記相手端末装置からの画像を受信するか否かを選択す
る第１選択手段と、一時的に表示動作中の前記制御部か
らの画像を前記相手端末装置から受信した画像に切り換
えて表示させた後通信終了時に該表示動作中の前記制御
部からの画像に再度切り換えて表示する表示切換手段
と、前記各手段のうちのいずれの手段を実行するかを選
択する第２選択手段と、前記各手段に対して発信する相
手端末装置ごとにいずれの手段で通信するかを選択して
登録する登録手段と、前記相手端末装置への発信時に前
記登録手段により選択された手段での通信を実行する実
行手段とを具備したことを特徴とするマルチメディア端
末装置。