JP3065647B2 - マルチメディア端末およびその受信映像表示方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】

本発明は、通信回線を介して相手端末と通信を行うマ
ルチメディア端末およびその受信映像表示方法に関す
る。

【０００２】

【従来の技術】

従来のアナログの電話回線の場合、電話は音声のみを
伝送可能であり、データも低速でしか伝送できなかっ
た。しかし、近年、通信技術や半導体技術、光技術の進
歩に伴い、デジタル回線が整備され、高速で大容量のデ
ータの伝送が可能になった。特に、デジタル伝送の特徴
としては、伝送による品質低下がなく同一レベルの品質
が保たれること、伝送データの複数のメディアの特性に
夫々応じた複数の伝送路を必要とせず、メディアの統合
が図れること等があり、マルチメディア端末間の伝送が
可能になった。よって、従来のように音声だけでなく、
映像をも同時に伝送する電話端末が出現している。

【０００３】 このようなマルチメディア端末の一例を図４に示す。
同図において、１は音声入出力手段の一つであるハンド
セット、２は音声入力手段の一つであるマイク、３は音
声出力手段の一つであるスピーカ、４は後述のシステム
制御部14の指示により、音声入出力手段としてのハンド
セット１、マイク２、スピーカ３を切り換える機能、音
量レベル調整のために利得を調整する利得調整機能、ハ
ンドセット１がオンフック状態かオフフック状態かを検
知するオン／オフ検知機能、音声入出力手段としてマイ
ク２とスピーカ３を使用したときにエコーを消去するエ
コーキャンセル機能、ダイヤルトーン・呼び出し音・ビ
ジートーン・着信音等のトーンを生成するトーン生成機
能をもつ音声インタフェース部、５はシステム制御部14
の指示により64Kbps PCM（Ａ−law）、64KbpsPCM（μ−
law）、64Kbps/56Kbps/48Kbps（SB−ADPCM）、32Kbps A
DPCM、16Kbps（例えばAPC−AB）、8Kbps等の音声符号化
／復号化アルゴリズムに従って送信音声信号をA/D変換
して符号化する機能、受信音声信号を復号化してD/A変
換する機能をもつ音声符号化復号化部である。

【０００４】 ６は画像入力手段の１つであり、自画像等を入力する
ためのカメラ、７は画像入力手段の１つであり絵や図面
等を入力するための書画カメラ、８はカメラ６または書
画カメラ７よりの入力画像、相手からの受信画像やシス
テム制御部14からの画像を表示する表示部（表示手
段）、９はシステム制御部14の指示により生じる画像入
力手段の切換え機能、上述した各画像の表示切換え及び
表示分割機能、および各画像入出力部の映像信号と電気
的／物理的に整合をとるための信号変換機能をもつビデ
オインタフェース部、10は送信画像をA/D変換して符号
化する機能、受信画像を復号化してD/A変換する機能を
もつ画像符号化復号化部であり、画像符号化復号化部10
は、大容量の画像の生データに、動き補償、コマ落し、
フレーム間補償及びフレーム内補償、DCT変換、ベクト
ル量子化変換などの種々の手法によって帯域圧縮を行
い、小容量化し、デジタル回線で画像データを伝送可能
にしている。現在、ISDN回線の基本インタフェースが64
Kbpsであるが、この伝送速度でも伝送可能な画像の符号
化方式としてはCCITT勧告草案H.261がある。

【０００５】 11はデータ通信を行うためのデータ端末、12はデータ
端末11及びシステム制御部14からの送信データを多重分
離化部15へ通知するとともに、受信データをデータ端末
11またはシステム制御部14へ通知するデータインタフェ
ース部、13は第４図の装置の制御をするために制御情報
入力に使用するキーボード、タッチパネル等の操作部、
14はCPU、ROM、RAM、補助記憶装置、キャラクタジェネ
レータ、画像信号生成回路等を備え、各部の状態を監視
し、装置全体の制御、状態に応じた操作／表示画面の作
成及びアプリケーションプログラムの実行等を行うシス
テム制御部、15は音声符号化復号化部５からの音声デー
タ、ビデオ符号化復号化部10からの画像データ、データ
インタフェース部12からのデータ、システム制御部14か
らのBASを送信フレーム単位に多重化するとともに、受
信フレームを構成単位の各メディアに分離し各部に通知
する多重分離化部であり、CCITT勧告のH.221に従ったも
のである。16はISDNユーザー網インタフェースに従って
回線を制御する回線インタフェース部である。

【０００６】 前述した状況の中、異なるマルチメディア端末間にお
いても相互通信が可能になるようCCITTなどによる国際
標準化が進められており、デジタル回線を用いたテレビ
電話・テレビ会議システム等のAV（Audio Visual）サー
ビスのため、AVサービス用のサービス規定、プロトコル
規定、マルチメディア多重化フレーム構成規定が、CCIT
T勧告または勧告草案H.320,H.242,H.221等として発表さ
れている。H.221では、64Kbps〜1920Kbpsチャネル上で
のAVサービスにおけるフレーム構成及び端末能力の交
換、通信モードの指定等に使用されるBAS（ビットレー
ト割当信号、Bit−rate Allocation Signal）の符号化
割当てが定義されている。H.242ではBASを用いたAV端末
間での能力交換及び通信モード切替え等のプロトコルが
定義され、H.320ではAVサービス全般のシステムアスペ
クトが定義されている。

【０００７】 上記勧告または勧告草案においては、エンドツーエン
ドの物理コネクションの設定及びインチャネルでの同期
確立後、インチャネルでBASを用いた端末能力の交換シ
ーケンス、通信モードの指定によるモード切替えシーケ
ンス等の手順により、端末間で画像、音声、データ等の
マルチメディア通信を行うための方法が規定されてい
る。但し、各端末において自己の端末能力を状況に応じ
て変化させたり、交換された能力の範囲内でどの通信モ
ードを用いるかは規定の範囲外である。

【０００８】 マルチメディア通信における各メデイアの情報転送速
度は、音声情報は音声符号化方式を指定することで決定
され、データ情報はその使用の有無、使用する場合の転
送速度を指定することにより決定され、設定した通信路
全体の情報転送速度から音声情報の転送速度とデータ情
報の転送速度を引いた残りが画像情報の転送速度にな
る。従って、BASで自己の通信モードを相手に通知する
際に指定する転送速度に関する情報は、音声符号化方式
とデータ転送速度であり、画像に関してはシステム内で
自動的に転送速度が設定される。

【０００９】 このように、画像が伝送できるようになることで、遠
く離れた場所の人とも顔を合わせて話ができるため、従
来の電話に比べて、臨場感が飛躍的に向上する。よっ
て、遠隔地にいる人々と対話をするという新しい会議形
態が可能となり、現在、注目されている。

【００１０】

【発明が解決しようとする課題】

しかしながら、上記従来のマルチメディア端末によれ
ば、端末間で画像データの通信中に、回線上で障害が発
生したり、端末の画像受信部において障害が発生した場
合、あるいは相手端末との接続／切断や伝達能力変更時
等に画像データを切り換えた場合には、画像データの抜
けや乱れが発生し、表示中の画面にそのままその状態が
映し出されてしまうため、画面が真暗になったり、映像
乱れなどが発生するという問題があった。

【００１１】 また、受信装置自体の異常により映像が表示されない
のか、受信状態が悪く画像が乱れているために映像が表
示されないのか、またはもともと映像自体を受信してい
ないのかを知ることができない。

【００１２】 本発明は上記事情に鑑みてなされたものであり、その
目的とするところは、受信装置自体の異常により画像が
表示されないのか、受信状態が悪いなどの理由によって
画像の同期が取れずに画像が乱れているために画像が表
示されないのか、またはもともと画像自体を受信してい
ないので画像が表示されないのかを、表示装置を観察し
ている使用者に認識させることができるマルチメディア
端末およびその受信映像表示方法を提供することにあ
る。

【００１３】

【課題を解決するための手段】

上記目的を達成するために本発明は、通信回線を介し
て相手端末と通信を行うマルチメディア端末であって、
前記相手端末から画像および音声の少なくとも一方のメ
ディアデータを受信する受信手段と、前記画像を表示装
置に表示するように制御するための表示制御手段と、前
記受信手段により受信した画像の同期が取れているか否
かを検出する同期検出手段と、前記受信した画像の同期
が取れていないことを通知するための画像を生成する第
１生成手段と、前記画像を受信していないことを通知す
るための画像を生成する第２生成手段とを有し、前記表
示制御手段は、前記受信した画像の同期が取れていない
ことが検出された場合、前記第１生成手段により生成さ
れた画像を前記表示装置に表示し、前記受信手段が前記
画像を受信していない場合、前記第２生成手段により生
成された画像を前記表示装置に表示し、前記受信した画
像の同期が取れている場合、該画像を前記表示装置に表
示するように制御することを特徴とする。

【００１４】 また、上記目的を達成するために本発明は、通信回線
を介して相手端末と通信を行うマルチメディア端末の受
信映像表示方法であって、前記相手端末から画像および
音声の少なくとも一方のメディアデータを受信する工程
と、前記相手端末から受信した画像の同期が取れている
か否かを検出する工程と、前記相手端末から受信した画
像を表示装置に表示するための表示制御を行う工程とを
有し、前記表示制御は、前記受信された画像の同期が取
れていないことを検出した場合、前記受信した画像の同
期が取れていないことを通知するための画像を生成して
前記表示装置に表示するように制御する処理と、前記画
像が受信されていない場合、前記画像を受信していない
ことを通知するための画像を生成して前記表示装置に表
示するように制御する処理と、前記受信された画像の同
期が取れている場合、該画像を前記表示装置に表示する
ように制御する処理とを含むことを特徴とする。

【００１５】

【作用】

本発明によるマルチメディア端末およびその受信映像
表示方法においては、受信した画像の同期が取れていな
いことが検出された場合、受信した画像の同期が取れて
いないことを通知するための画像を表示装置に表示し、
画像を受信していない場合、受信した画像の同期が取れ
ていないことを通知するための画像を表示装置に表示
し、受信した画像の同期が取れている場合、該画像を表
示装置に表示するように制御するので、受信装置自体の
異常により画像が表示されないのか、受信状態が悪いな
どの理由によって画像の同期が取れずに画像が乱れてい
るために画像が表示されないのか、またはもともと画像
自体を受信していないので画像が表示されないのかを、
表示装置を観察している使用者に認識させることが可能
になる。

【００１６】

【実施例】

以下、本発明の一実施例を図面を参照して説明する。
図１は、本発明の一実施例に係るマルチメディア端末の
ブロック図である。図１において図４と同一部分又は相
当部分には同一符号を付し、同一機能を有する部分の説
明を省略する。

【００１７】 同図において、9aおよび9bはビデオインタフェース部
を構成する画像入力部および画像出力部（画像入出力手
段）、10aおよび10bはビデオ符号化復号化部を構成する
画像符号化部および画像復号化部、17は画像復号化部10
bからの受信画像信号およびシステム制御部14からの制
御画像信号のいずれかを選択して画像出力部9bへ伝送す
る画像切換回路（画像切換手段）、18は上記画像復号化
部10bからの受信画像信号の同期を検知してシステム制
御部（制御手段）14へ知らせる同期検知部（同期検知手
段）である。

【００１８】 同期検知部18は、受信画像信号であるビデオ信号の中
の水平／垂直同期信号を監視し、一定の正しい周期信号
が発生していれば同期中とみなし、同期信号が発生して
いない場合あるいは正しい周期でない等の場合に周期は
ずれとみなし、システム制御部14へその旨を通知するも
のである。

【００１９】 画像復号化部10bでは画像復号化時エラーが発生した
場合に上記同期信号が乱れることで同期検知部18が作動
する。または、画像復号化時エラーが発生した場合、画
像は音声同様に実時間処理のため訂正ビットによる訂正
が不可能なエラーは再送などによるリカバリーができな
いので同期はずれとみなせるため、このエラー発生を同
期検知部18に通知することで同期はずれとみなし、シス
テム制御部14へその旨を通信する方法もある。

【００２０】 次に、本実施例の動作フローを図２と図３に示す。図
２において、まず、マルチメディア端末による通信か電
話（即ち、音声のみ）による通信かを選択し（ステップ
S1）、電話による通信の場合には画像切換部17をＣ−Ｂ
間に接続し（ステップS2,S3）、表示部８へはシステム
制御部14が作成した電話用の画面（制御画像信号）が表
示される（ステップS4）。画面としては、電話に必要な
メニュー画面が表示される。例えば、発呼時は、電話帳
の番号一覧やキー入力された電話番号が表示され、着呼
時は、もし相手が分かる場合には相手の電話番号等が表
示される。通話中には、通話時間等が表示される。次
に、構成要素１〜５から成る音声部は起動状態になり
（ステップS5）、切断されるまで維持される（ステップ
S6,S7）。切断後は、初期画面、例えばマルチメディア
端末や電話その他の端末を選択するためのメニュー画面
が表示される。

【００２１】 次に、マルチメディア端末による通信の場合には、画
像切換部17をＣ−Ｂ間に接続し（ステップS8）、表示部
８へは、システム制御部14が作成したマルチメディア端
末用の画面が表示される（ステップS9）。画面として
は、マルチメディア端末に必要なメニュー画面が表示さ
れる。例えば、発呼時に通信に使用するメディアの種類
の選択や各メディアにおける能力の設定、電話と同じく
相手端末番号一覧やキー入力された番号が表示される。
着呼時には、相手端末の能力またはお互いの能力交換の
結果決定した能力が表示され、相手の端末番号が分かる
場合にはその番号が表示される。

【００２２】 相手端末と接続され、能力交換をしてネゴシエーショ
ン（ステップS10）をした結果、能力として、音声があ
れば音声部を起動し（ステップS11,S12）、データがあ
れば構成要素11、12から成るデータ部を起動し（ステッ
プS13,S14）、画像があれば、同期検知部18により映像
信号の同期／同期はずれを検知し（ステップS15,S1
6）、相手端末からの映像を受信し、映像信号の同期が
確立すると、システム制御部14は、これを認識し、画像
切換部17をＣ−Ａ間に接続して、画像復号化部10bで復
号された相手の画像を画像出力部9bに出力させ、表示部
８に出力する（ステップS17）。同期はずれの場合に
は、画像切換部17をＣ−Ｂ間に接続し、システム制御部
14が作成した画像（受信した画像の同期が取れていない
ことを通知するための画像）を表示部へ表示する（ステ
ップS18）。表示の例としては、「しばらくお待ち下さ
い」などのメッセージを表示し、相手画像の受信待ち状
態であることを操作者へ伝える。次に、操作部13から、
キー入力などの手段により、表示切換指示があった場
合、システム制御部14は、画像切換部17を現在のスイッ
チ位置の逆側にスイッチを切換える（ステップS19,S2
0）。例えば、Ｃ−Ａ間が接続されていれば、Ｃ−Ｂ間
へ切換え、Ｃ−Ｂ間が接続されていればＣ−Ａ間へ切換
える。ステップS15で画像が無い場合、画像切換部17を
Ｃ−Ｂ間に接続し、システム制御部14からの画像を表示
部８に表示する（ステップS21）。

【００２３】 次に伝達能力の変更（ステップS22）があった場合、
自端末からの変更は操作部13から伝達能力の変更を指示
し、システム制御部14は多重分離化部15を介してインチ
ャネルのBASコマンドにより相手端末へ伝達能力の変更
を通知すると同時に、自端末における能力変更も行う。
例えば、音声がなければ、音声部の起動を停止し（ステ
ップS11）、データがなければ、データ部の起動を停止
し（ステップS13）、画像がなければ、画像切換部17を
Ｃ−Ｂ間に接続して、システム制御部14が作成する画像
（画像を受信していないことを通知するための画像）を
表示部８に表示する（ステップS15,S21）。表示の例と
しては、現在の伝達能力を表示し、画像が伝達されてい
ない旨を操作者へ伝える。あるいは、動画像以外のメデ
ィアの情報（描画、静止画、テキストデータなど）をイ
ンチャネルのデータとして送受し、システム制御部14で
上記データを画像に変換して表示させる。相手端末から
の伝達能力の変更指示は、インチャネルの相手からのBA
Sコマンドにより認識し、それに応じて、自端末の能力
変更を上述と同様に実施する。

【００２４】 次に、自端末から又は相手端末から切断要求があった
場合には（ステップS23）、システム制御部14は、画像
切換部17をＣ−Ｂ間に接続し、システム制御部14からの
画像を表示部８へ表示する（ステップS24）。表示の例
として、操作者へ回線が切断される旨を伝える。あるい
は、通信時間を伝える画面を表示する。その後、回線が
切断され（ステップS25）、次の通信の準備が完了した
時に、システム制御部14は、初期画面を表示部８へ表示
する。 なお、マルチメディア端末による通信でもなく、電話
による通信でもない場合には、その他の端末処理を行う
（ステップS1,S2,S26）。

【００２５】

【発明の効果】

以上説明したように、本発明のマルチメディア端末お
よびその受信映像表示方法によれば、受信した画像の同
期が取れていないことが検出された場合、受信した画像
の同期が取れていないことを通知するための画像を表示
装置に表示し、画像を受信していない場合、受信した画
像の同期が取れていないことを通知するための画像を表
示装置に表示し、受信した画像の同期が取れている場
合、該画像を表示装置に表示するように制御するので、
受信装置自体の異常により画像が表示されないのか、受
信状態が悪いなどの理由によって画像の同期が取れずに
画像が乱れているために画像が表示されないのか、また
はもともと画像自体を受信していないので画像が表示さ
れないのかを、表示装置を観察している使用者に認識さ
せることができる。

【図面の簡単な説明】

【図１】 本発明の一実施例に係わるマルチメディア端末の構成を
示すブロック図である。

【図２】 図１のマルチメディア端末における制御手順を示すフロ
ーチャートである。

【図３】 図１のマルチメディア端末における制御手順を示すフロ
ーチャートである。

【図４】 従来の端末の構成を示すブロック図である。

【符号の説明】

１……ハンドセット ２……マイク ３……スピーカ ４……音声インタフェース部 ５……音声符号化復号化部 ６……カメラ ７……書画カメラ ８……表示部（表示装置） ９……ビデオインタフェース部 10……ビデオ符号化復号化部 11……データ端末 12……データインタフェース部 13……操作部 14……システム制御部（第１生成手段、第２生成手段、
表示制御手段） 15……多重分離化部（受信手段） 16……回線インタフェース部 17……画像切換部 18……同期検知部（同期検出手段）

フロントページの続き (56)参考文献 特開 平１−318483（ＪＰ，Ａ) 特開 昭64−54981（ＪＰ，Ａ) 特開 平１−228333（ＪＰ，Ａ) 特開 平３−52484（ＪＰ，Ａ) 特開 昭62−200994（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04M 11/00 - 11/10 H04N 7/14 H04N 7/173

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】通信回線を介して相手端末と通信を行うマ
   ルチメディア端末であって、 前記相手端末から画像および音声の少なくとも一方のメ
   ディアデータを受信する受信手段と、 前記画像を表示装置に表示するように制御するための表
   示制御手段と、 前記受信手段により受信した画像の同期が取れているか
   否かを検出する同期検出手段と、 前記受信した画像の同期が取れていないことを通知する
   ための画像を生成する第１生成手段と、 前記画像を受信していないことを通知するための画像を
   生成する第２生成手段とを有し、 前記表示制御手段は、前記受信した画像の同期が取れて
   いないことが検出された場合、前記第１生成手段により
   生成された画像を前記表示装置に表示し、前記受信手段
   が前記画像を受信していない場合、前記第２生成手段に
   より生成された画像を前記表示装置に表示し、前記受信
   した画像の同期が取れている場合、該画像を前記表示装
   置に表示するように制御する ことを特徴とするマルチメディア端末。
2. 【請求項２】通信回線を介して相手端末と通信を行うマ
   ルチメディア端末の受信映像表示方法であって、 前記相手端末から画像および音声の少なくとも一方のメ
   ディアデータを受信する工程と、 前記相手端末から受信した画像の同期が取れているか否
   かを検出する工程と、 前記相手端末から受信した画像を表示装置に表示するた
   めの表示制御を行う工程とを有し、 前記表示制御は、前記受信された画像の同期が取れてい
   ないことを検出した場合、前記受信した画像の同期が取
   れていないことを通知するための画像を生成して前記表
   示装置に表示するように制御する処理と、前記画像が受
   信されていない場合、前記画像を受信していないことを
   通知するための画像を生成して前記表示装置に表示する
   ように制御する処理と、前記受信された画像の同期が取
   れている場合、該画像を前記表示装置に表示するように
   制御する処理とを含む ことを特徴とするマルチメディア端末の受信映像表示方
   法。