JPH0818622A - 情報通信端末装置 - Google Patents

Abstract

(57)【要約】 【目的】伝送帯域の制限された伝送路を用いて高品質の
情報伝送を行うことができる情報通信端末装置を提供す
る。 【構成】符号化された情報をメモリ１７を介さずに伝送
する第１の伝送モードと、メモリ１７内を介して伝送す
る第２の伝送モードと、該情報の一部をメモリ１７を介
さずに実時間で符号化して伝送すると共に、該情報の他
の一部をメモリ１７を介して伝送する第３の伝送モード
を有する送信装置と、該送信装置から第１の伝送モード
により伝送されてきた情報をメモリ２４を介さずに実時
間で受信する第１の受信モードと、第２の伝送モードに
より伝送されてきた情報をメモリ２４を介して受信する
第２の受信モードと、第３の伝送モードにより伝送され
てきた情報のうち実時間で伝送されてきた情報について
はメモリ２４を介さずに実時間で受信し、メモリ１７を
介して伝送されてきた情報についてはメモリ２４を介し
て受信する第３の受信モードを有する受信装置とからな
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は情報通信端末装置に係
り、特に文字、画像、音声などのいわゆるマルチメディ
ア情報の通信に適した情報通信端末装置に関する。

【０００２】

【従来の技術】

（１）画像情報や音声情報を限られた帯域の伝送路を用
いて伝送する場合、情報の圧縮が不可能になる。その場
合、画質・音質の劣化は避けられず、この様な劣化をい
かに低減するか、あるいはこの様な劣化をどこまで許容
するか等が従来より課題となっていた。伝送路の帯域が
狭い場合には、十分に劣化の少ない画像・音声情報を得
たいという要求には答えられないというのが現状であっ
た。

【０００３】（２）一方、携帯可能な通信端末（携帯型
通信端末）においては、装置サイズが小さいことから、
情報を蓄積するメモリの容量も十分にとれない。そのた
め、帯域の狭い低速の伝送路を使って高精細画像情報の
ような情報量の多いデータの通信を行おうとすると、受
信側では画像再生のために一時的に受信した画像情報を
メモリに蓄積する必要がある。現状では、受信側の情報
蓄積用メモリの空き状況によらず送信側から大容量の画
像情報を送出することが可能なシステムが一般的である
ため、メモリの容量を越えた情報を送出した場合には、
メモリがオーバーフローする結果、受信側で画像情報が
欠落し、画質の劣化、情報再送によるスループットの低
下などの問題を引き起こしていた。

【０００４】（３）また、文字、画像、音声などのマル
チメディア情報の通信には電子メール、ファクシミリ、
音声電話、静止画伝送装置、ＴＶ会議、ＴＶ電話などの
端末装置が利用されている。しかし、これらの端末装置
はメディア毎あるいはサービス毎に独立して使われてお
り、統合化された形で有機的に使用されていない。ま
た、電子メールのような文字情報と動画像情報を一体化
して表示し一覧化することができなかった。

【０００５】（４）また、従来の電子メールシステムで
は、テキストデータのほかに静止画や動画の情報を電子
メール形式としてマルチメディアメールの受信機能を備
えていない端末に対して送信することはできなかった。

【０００６】（５）また、携帯型通信端末から文書や電
子メールなどのデータベースへのアクセスは、従来、一
般の電話網などを用いてモデムによりデータベース装置
に接続することにより行っていた。例えば、携帯電話機
を携帯型通信端末に内蔵もしくは外付けすることによ
り、ホスト上の文書データベースや電子メールボックス
を利用する方法が採られている。ＵＮＩＸシステム上の
電子メールシステムでは、図２５に示すように受信メー
ルは一つのファイルの中に一件毎に区切り記号により区
切られて蓄積されており、携帯型通信端末の利用者はそ
れを一件毎に順番に読み出していた。また、これらのシ
ステムは主に文字データを扱うものであるため、利用者
はそれら各メール中に含まれる文字列を始めから順番に
読み出していた。

【０００７】また、図２６に示すように画像などを含む
場合には、一旦画像情報の伝送が始まるとそれが完了す
るまで利用者は待つ必要があった。つまり、図２７に示
すように、例えば電子メールシステムではデータの送信
順序が予め決まっており、それを順次送信してゆくため
に、情報端末装置や伝送路の性能の差によりその使い勝
手に大きな違いが生じていた。

【０００８】一方、近年、小型の携帯型情報端末におい
ては、プロセッサの処理能力向上、液晶表示装置等の高
精細化・カラー化に伴い、端末上で動画像や音声などの
情報量が多く、かつ時間的に連続しているデータを含む
文書や電子メールなどを扱いたいという要求が生じてい
る。現時点でも、広帯域の伝送能力を持つ通信網を用い
て動画像や音声を扱うことはできるが、そのような通信
網を携帯情報端末において直接利用することは、費用や
技術的問題から必ずしも容易ではない。また、現在の一
般電話網等を利用したモデムによる接続方式を行って
も、高速の情報伝送が不可能なため、例えば画像や音声
付きの電子メール等を読み出すことにかなりの待ち時間
を要することとなり、実用的ではなかった。

【０００９】（６）一定の帯域幅の通信路で２つ以上の
メディアを通信するシステムにおいては、予め各メディ
アに割り当てられた帯域幅に圧縮して伝送される。各メ
ディアの発生情報量が一定でない場合、例えば画像と音
声を送る通信において、例えば、音声が無音になった場
合でも画像に割り当てられる帯域は一定であり、符号化
は独立して行われる。また、情報を複数回線の伝送路を
用いて通信する場合、一定の回線数の伝送路が接続され
ていた。

【００１０】このように一定の帯域幅または回線数で伝
送すると、情報発生量にかかわらず帯域幅が決まってい
るので、情報量が少ない場合にも一定帯域が割り当てら
れ、効率がよくないという問題点があった。また、各メ
ディアは独立して符号化されており、メディア間の相関
は利用されていなかった。特に、蓄積された情報では情
報の発生と同時に送信を行うと、各メディアの情報量の
違いにより伝送帯域に空きができる。

【００１１】

【発明が解決しようとする課題】本発明の第１の目的
は、伝送帯域の制限された伝送路を用いて高品質の情報
伝送を行うことができる情報通信端末装置を提供するこ
とにある。

【００１２】本発明の第２の目的は、受信側のメモリの
空き状況を送信側に通知することで送信側の画像情報送
出フロー制御を行なうことができる情報通信端末装置を
提供することにある。

【００１３】本発明の第３の目的は、電子メールのよう
な文字情報と動画像情報を一体化して表示し一覧化する
ことができる情報通信端末装置を提供することにある。

【００１４】本発明の第４の目的は、静止画や動画の情
報を電子メール形式としてマルチメディアメールの受信
機能を備えていない端末に対して送信することができる
情報通信端末装置を提供することにある。

【００１５】本発明の第５の目的は、動画像や音声など
を含む情報を伝送帯域の制限された伝送路を用いてもよ
り効果的に利用可能とするための情報通信端末装置を提
供することにある。

【００１６】本発明の第６の目的は、実時間通信および
蓄積情報の通信において帯域を有効に活用することを可
能とした情報通信端末装置を提供することにある。

【００１７】本発明の第７の目的は、複数回線の伝送路
を用いた通信において情報量に応じて回線を接続するこ
とにより通信コストを低減できる情報通信端末装置を提
供することにある。

【００１８】

【課題を解決するための手段】第１の目的を達成するた
め、第１の発明に係る情報通信端末装置は、伝送すべき
情報を第１のメモリを介さずに実時間で伝送する第１の
伝送モードと、該情報を該第１のメモリを介して伝送す
る第２の伝送モードと、該情報の一部を第１のメモリを
介さずに実時間で伝送すると共に、該情報の他の一部を
該第１のメモリを介して伝送する第３の伝送モードを有
する送信装置と、該送信装置から前記第１の伝送モード
により伝送されてきた情報を第２のメモリを介さずに実
時間で受信する第２の受信モードと、前記第２の伝送モ
ードにより伝送されてきた情報を該第２のメモリを介し
て受信する第２の受信モードと、前記第３の伝送モード
により伝送されてきた情報のうち実時間で伝送されてき
た情報については該第２のメモリを介さずに実時間で受
信し、前記第１のメモリを介して伝送されてきた情報に
ついては該第２のメモリを介して受信する第３の受信モ
ードを有する受信装置とからなることを特徴とする。

【００１９】また、前記受信装置は記録手段を有し、前
記送信装置から前記第１の伝送モードにより伝送されて
きた情報については該情報を該記録手段により記録し、
前記送信装置から前記第３の伝送モードで伝送されてき
た情報については該情報のうち実時間で伝送されてきた
情報と前記第１のメモリを介して伝送されてきた情報と
を統合した後に該記録手段により記録することを特徴と
する。

【００２０】第２の目的を達成するため、第２の発明に
係る情報通信端末装置は、伝送すべき情報を第１の蓄積
手段に一旦蓄積して所定の伝送レートで送信する送信装
置と、この送信装置から伝送されてきた情報を受信し第
２の蓄積手段に一旦蓄積して出力する受信装置とからな
る情報通信端末装置において、前記受信装置は、前記第
２の蓄積手段の蓄積可能な情報量を伝達するための手段
と、前記送信装置から伝送された情報の受信時に前記第
２の蓄積手段に蓄積可能な情報量を前記送信装置に対し
て伝達するための手段を有し、前記送信装置は前記受信
装置により伝達された前記第２の蓄積手段の蓄積可能な
情報量に応じて前記伝送レートを制御する手段を有する
ことを特徴とする。

【００２１】第３の目的を達成するため、第３の発明に
係る情報通信端末装置は、文字情報と、圧縮符号化され
た画像情報および圧縮符号化された音声情報の少なくと
も一方とを統合し、かつこれら画像情報または音声情報
に見出し用フラッグを付加して統合ファイルとして伝送
する送信手段と、この送信手段から送信された統合ファ
イルを受信する受信手段と、この受信手段により受信さ
れた統合ファイルより送信者および題名の情報を抽出す
る手段と、前記受信手段により受信された統合ファイル
より前記フラッグが付加された画像情報または音声情報
の少なくとも一方を見出し情報として取り出す手段と、
前記送信者および題名と見出し用情報を再統合して表形
式に編集する編集手段と、この編集手段により得られた
編集結果を表示する表示手段とを具備することを特徴と
する。

【００２２】第４の目的を達成するため、第４の発明に
係る情報通信端末装置は、画像情報を圧縮符号化する符
号化手段と、受信側の復号化手段で用いる復号化方式を
示す復号プログラムを選択するとともに、前記符号化手
段で用いる圧縮符号化の方式を該復号プログラムに対応
して選択する選択手段と、この選択手段により選択され
た復号プログラムまたは該復号プログラムを示す識別情
報を前記圧縮符号化手段の出力信号に付加して伝送する
手段ととを具備することを特徴とする。

【００２３】第５の目的を達成するため、第５の発明に
係る情報通信端末装置は、マルチメディアデータベース
装置と情報処理端末装置からなり、マルチメディアデー
タベース装置は、複数種類のメディアに属するデータか
らなるマルチメディアデ−タを記憶するマルチメディア
データ記憶手段と、このマルチメディアデータ記憶手段
に記憶されたマルチメディアデータについてメディアの
種類毎に各データセグメントの送信手順を制御するデー
タ送信制御手段と、このデータ送信制御手段による制御
に従って各データセグメントを送信するデータ送信手段
とを有し、情報処理端末装置は、該マルチメディアデー
タベ−ス装置に伝送路を介して接続され、前記データ送
信手段により送信されたデータセグメントを受信するデ
ータ受信手段と、このデータ受信手段を制御するデータ
受信制御手段と、前記データ受信手段により受信された
各データセグメントを一時蓄積する受信データ一時蓄積
手段と、このデータ一時蓄積手段に蓄積されたデータセ
グメントを任意の順序で表示するマルチメディアデータ
表示手段とを有することを特徴とする。

【００２４】また、第５の発明において利用者が前記デ
ータ送信制御手段および前記データ受信制御手段におけ
る制御情報を任意に指定するためのデータ送受信方式選
択手段をさらに具備してもよい。

【００２５】第６の目的を達成するため、第６の発明に
係る情報通信端末装置は、複数種類のメディアに属する
情報を符号化する複数の符号化手段と、これら複数の符
号化手段から出力される符号化信号を多重化する多重化
手段と、前記複数種類のメディアに属する情報の状態を
解析する複数の解析手段と、これらの解析手段による解
析結果に基づいて前記複数の符号化手段からそれぞれ出
力される符号化信号の符号量の配分を決定する符号量配
分手段とを具備することを特徴とする。

【００２６】また、第６の発明において前記複数の符号
化手段は、前記複数のメディアに属する情報として少な
くとも音声情報と画像情報を符号化するものであり、前
記画像情報を符号化する符号化手段は、動き補償予測符
号化を行うものであり、前記解析手段が前記音声情報の
状態を解析して得られた有音／無声判定情報に基づい
て、有音区間において顔の口付近の動きを探索する際に
上下方向の動きを細かく探索することを特徴とする。

【００２７】第６の発明に係る情報通信端末装置は、よ
り具体的には例えば、音声情報を符号化する音声符号化
手段と、画像情報を符号化する画像符号化手段と、前記
音声符号化手段および前記画像符号化手段から出力され
る符号化信号を多重化する多重化手段と、前記音声情報
の状態を有音と無音の判定を行うことにより解析する音
声状態解析手段と、前記画像情報の状態を画像情報の情
報量を検出することによって解析する画像状態解析手段
と、前記音声状態解析手段および前記画像状態解析手段
の解析結果に基づいて前記音声符号化手段および画像符
号化手段のそれぞれの符号化レートの配分を決定するレ
ート配分手段と、このレート配分手段により決定された
符号化レートを示す情報を前記多重化手段の出力に付加
する手段とにより構成される。

【００２８】第６の目的を達成するため、第７の発明に
係る情報通信端末装置は、複数種類のメディアに属する
情報を符号化する複数の符号化手段と、これら複数の符
号化手段から出力される符号を多重化する多重化手段
と、この多重化化手段により多重化された符号を所定の
伝送路を介して送信する送信手段と、前記複数種類のメ
ディアに属する情報の未来の情報発生スケジュールに基
づいて、前記伝送路の伝送帯域幅に合わせて前記送信手
段での各メディアに属する情報の符号の送信スケジュー
ルと前記符号化手段における符号化パラメータを決定す
る手段とを具備することを特徴とする。

【００２９】第７の目的を達成するため、第８の発明に
係る情報通信端末装置は、情報発生源から発生される情
報を複数の伝送路に分配する分配手段と、前記情報発生
源から発生される情報の情報量をモニタするモニタ手段
と、このモニタ手段のモニタ結果に基づいて前記分配手
段と前記複数の伝送路との接続を制御する制御手段と
と、この制御手段からの前記複数の接続を制御するため
の制御信号を伝送する手段と、前記モニタ手段によるモ
ニタ結果に基づいて、前記情報源から前記分配手段に接
続されている伝送路の容量を上回る情報が発生した場合
にその情報を一時記憶するための一時記憶手段とを具備
することを特徴とする。

【００３０】

【作用】第１の発明では、従来の実時間での通信が出来
る機能に加えて、送信側・受信側にメモリを持ち、伝送
すべき情報を一度メモリ内に取り込んだ後、それを発信
者が要求する画質・音質で符号化伝送する機能を備えて
いる。従って、例えば留守番電話の様に実時間通信が必
要でない場合は、その情報を一度メモリ内に取り込み、
時間をかけてその情報を精細に符号化して伝送出来る。

【００３１】また、実時間通信が必要な場合は、ある程
度画質・音質の劣化を許容する従来のモードに加えて、
狭い帯域で伝送可能な情報のみは実時間で通信すること
により、従来画質・音質レベルの情報伝達が出来、さら
に精細な情報を作成するために必要な残りの情報は一度
メモリに取り込んだ後、非実時間で受信側に伝送するこ
とができる。受信側では、実時間で伝送されてきた情報
と、一度メモリに取り込まれた情報とを統合し、それを
記録することによって、後から今行った通信内容を精細
な画質・音質で再現出来る。

【００３２】このように第１の発明によれば、従来と同
等の狭い帯域を用いていながら、従来と同等レベルの画
質・音質での実時間通信に加えて、精細情報の通信も可
能になるので、ユーザが要求する画質・音質での情報伝
達が可能になる。

【００３３】第２の発明では、受信装置において送信装
置から伝送された情報の受信時に受信装置が持っている
メモリに蓄積可能な情報量を送信装置に対して表示し、
送信装置でそれに基づいて示された前記第１の蓄積手段
の蓄積可能な情報量に応じて伝送レートを制御すること
により、携帯型通信端末のように情報蓄積用メモリの容
量が十分にとれない場合でも、そのメモリの空き状況に
応じて送信装置の情報送出フロー制御を行うことで、メ
モリのオーバーフローによる情報の欠落や品質の劣化が
防止され、また情報再送によるスループットの低下とい
う問題も解決される。

【００３４】第３の発明では、送信者および題名と見出
し用情報を表形式に編集して一覧敵に表示することがで
きる。

【００３５】第４の発明では、静止画や動画の情報を電
子メール形式としてマルチメディアメールの受信機能を
備えていない、すなわち特定の復号プログラムによる復
号機能しか容易されていない受信端末に対しても送信す
ることができる。

【００３６】第５の発明では、移動可能な端末装置など
において比較的狭帯域の伝送路を用いた場合にも、遠隔
のデータベース装置からの文字・図形・音声・動画像等
のマルチメディア情報を表示可能にするため、送信する
各種データをセグメント化し、各データセグメントの送
受信の順序を表示順序の事情に応じて一部入れ替えた
り、再送信を防止するか、もしくは一部のデータセグメ
ントについては送受信を行わないなどにより、必要とさ
れる情報伝送能力を軽減し、かつ利用者による効果的な
情報アクセスを可能にする。また、マルチメディアデー
タベース装置と情報処理端末装置との間の各データの送
受信の方式をデータベースシステム装置が選択したり、
あるいは利用者が任意に選択したりすることもできる。

【００３７】第６の発明では、例えば実時間通信で画像
と音声の情報を伝送する場合、各情報の状態解析を行
い、音声が無音であればほとんどの帯域を画像情報の伝
送に割り当て、動画像で動きのほとんどない場合は音声
情報の伝送に割り当てる帯域を増やすなどの符号化レー
トの制御を行うことにより、実時間通信および蓄積情報
の通信において帯域を有効に活用することができる。こ
の場合、音声の情報を利用して動き探索する方向に偏り
を持たせることも有効である。

【００３８】第７の発明では、蓄積情報の通信の場合、
画像の発生する前の時間から時間方向に伸張して送信す
るために多くの符号量を割り当てることにより、帯域を
有効に活用することができる。

【００３９】第８の発明では、複数回線の伝送路による
通信において、通常は最低限の回線で送信を行い、通信
容量を上回る情報量が発生すると新しい回線を接続し、
つながるまでの間にあふれた情報は一時記憶手段である
バッファに蓄積して、接続後に送信することにより、通
信コストを効果的に低減することができる。

【００４０】

【実施例】以下、本発明の実施例を図面を用いて説明す
る。

【００４１】（実施例１）図１は、本実施例に係る情報
通信端末装置のブロック図であり、（ａ）は送信装置、
（ｂ）は受信装置を示している。

【００４２】図１（ａ）に示す送信装置では、まずカメ
ラ１１を通じて画像情報が、またマイク１２を通じて音
声情報がそれぞれ取り込まれ、これら画像情報および音
声情報が符号化部１３で符号化される。一方、キーボー
ドなどの入力部１４からは送信者が要求する画質・音質
（モード）が設定できるようになっており、これに基づ
いてモード発生部１５で要求された画質・音質に相当す
るモード情報が出力される。

【００４３】符号化部１３では、モード発生部１５から
のモード情報によりどの程度の圧縮率で符号化すべき
か、つまり符号化レートが決定され、それに基づいて例
えば量子化ステップサイズの値や、１秒間に符号化する
フレームの枚数などが設定される。符号化部１３からの
符号化情報は、次段の信号分離部１６に送られる。信号
分離部１６では、モード発生部１５からのモード情報に
より、実時間で伝送すべき情報と、メモリ１７に一度取
り込んでから改めて伝送する情報を分離して出力する。
多重化部１８では、信号分離部１６からの符号化情報と
モード情報が多重化される。この多重化部１８の出力
は、図示しない伝送路を介して図１（ｂ）に示す受信装
置に伝送される。

【００４４】本実施例において、送信装置は第１〜第３
の伝送モードを有する。以下、送信装置の動作を第１〜
第３の伝送モード毎に説明する。

【００４５】＜第１の伝送モード＞今、ユーザによって
実時間での通信のみが入力部１４を介して要求されたと
すると、モード発生部１５からはその時に使用している
伝送路の帯域に合った符号化レートを指示するモード情
報が符号化部１３へ出力され、符号化部１３ではそれに
応じてその符号化レートを越えないように例えば量子化
ステップサイズが適応的に変化され、圧縮符号化が行わ
れる、また、信号分離部１６では同様にモード発生部１
５からのモード情報により、符号化部１３からの符号化
情報は全て伝送路に送出しても良いことが分かっている
ので、符号化部１３からの符号化情報は全て多重化部１
８を通って伝送路へ送出される。

【００４６】＜第２の伝送モード＞一方、非実時間での
精細情報での通信のみが入力部１４を介して要求された
とすると、モード発生部１５からは要求された精細情報
が得られる程度の符号化レートを指示するモード情報が
符号化部１３へ出力され、符号化部１３ではそれに応じ
て圧縮符号化が行われる。このとき、伝送路の帯域が上
記符号化レート以下であったとすると、符号化部１３か
ら出力される符号化情報の全てを実時間で送出すること
は不可能である。従って、モード発生部１５からの「全
て非実時間伝送で良い」という情報により、信号分離部
１６ではこれら符号化部１３からの符号化情報を全て一
度メモリ１７へ格納する。その後、メモリ１７の内容は
伝送路の帯域に合った伝送レートで読み出され、多重化
部１８を通じて伝送路へ送出される。

【００４７】＜第３の伝送モード＞また、実時間での通
信は行ないたいが、さらにそのときの内容を後で精細画
像として再度確認したいという要求が入力部１４を介し
て要求されたとする。この時は、どの程度の精細画像を
必要としているかの情報も同時に入力部１４から入力さ
れるので、その精細度を達成できるような符号化レート
を指示するモード情報がモード発生部１５から出力され
る。符号化部１３では、この情報を基に圧縮符号化が行
われ、その信号が信号分離部１６に送られるが、ここで
は実時間通信が可能な情報量、つまり伝送路の帯域以下
の伝送レートになるように情報が分離される。例えば低
周波成分から情報量を計算していき、所定の情報量（伝
送路で伝送可能な情報量）になった段階で残りの情報は
メモリ１７に取り込まれる。こうしてメモリ１７に取り
込まれた情報も、多重化部１８を通して伝送路に送出さ
れるが、ここで信号分離部１６からの出力情報とメモリ
１７からの出力情報とは多重化部１８で多重化されて伝
送路に送出される。

【００４８】従って、これら２系統の情報量の合計が伝
送路の帯域に収まるように、信号分離部１６から直接出
力される実時間通信用の情報量と、メモリ１７から出力
される詳細用情報とがモード発生部１５からのモード情
報により、それぞれ信号分離部１６とメモリ１７の内部
で制御される。また、実時間通信用情報と精細用情報と
はいずれもヘッダを有しており、実時間通信用情報のヘ
ッダにはその情報の番号が、また精細詳細用情報のヘッ
ダには、その精細用情報がどの実時間通信用情報に対す
る精細用情報なのかを示す番号がそれぞれ付加されてい
る。

【００４９】一方、送信装置の第１〜第３の伝送モード
に対応して、受信装置は第１〜第３の受信モードを有す
る。すなわち、受信装置では各伝送モードに応じて処理
が異なるが、その判定は送信側から送られてくるモード
情報により行われる。以下、受信装置の動作を第１〜第
３の受信モード毎に説明する。

【００５０】＜第１の受信モード＞まず、実時間通信の
みが要求されている場合は、伝送路から送られてきた情
報はそのまま分離部２１を通って復号化部２３で復号化
され、画像情報はモニタ２６に、音声情報はスピーカ２
７からそれぞれ出力される。なお、これら復号化された
情報は例えばＶＴＲやディスクメモリのような記録部２
５に記憶しておくことが可能で、その内容を後から参照
することも出来る。

【００５１】＜第２の受信モード＞一方、非実時間での
精細情報通信のみが要求された場合は、それを示すモー
ド情報により分離部２１からの出力信号は全て一度メモ
リ２４に取り込まれ、その後、復号化部２３で復号化さ
れてモニタ２６やスピーカ２７から出力される。また、
これら情報も記録部２５に記録することが可能で、後で
その内容を参照することもできる。

【００５２】＜第３の受信モード＞また、実時間通信を
行いながら、さらに後でその内容を精細情報で確認した
い要求があった場合は、そのことを示すモード情報によ
り、分離部２１で情報が２系統に分離される。一方は実
時間通信用情報であり、これはそのまま復号化部２３で
復号化されてモニタ２６やスピーカ２７から出力され
る。もう一方は実時間通信用情報と精細用情報が含まれ
た全情報であり、これは各情報のヘッダ部に書かれてい
る番号情報に基づいて、同じ情報源から信号分離部２１
で分離された情報どうしが結合されるように、メモリ２
４内に取り込まれる。その後実時間通信が終了した段階
でメモリ２４から読み出され、復号化部２３により復号
化されてモニタ２６やスピーカ２７に出力されたり、記
録部で２５で記録される。記録部２５に記録された情報
は精細情報であり、通信が終了してから精細画像にて内
容を確認できる。

【００５３】なおこの場合、復号化部２３内にもメモリ
を有していれば、分離部２１からメモリ２４に取り込ま
れる情報は精細用情報のみで良く、実時間通信用情報は
復号化部２３内のメモリに格納されていて、後で精細情
報を復号化する際に、それら２つの情報を結合してから
実際の復号化を行うことも可能である。

【００５４】（実施例２）図２は、本実施例に係る情報
通信端末装置のブロック図であり、（ａ）は送信装置、
（ｂ）は受信装置を示している。図１と相対応する部分
に同一符号を付して説明すると、本実施例では送信装置
の符号化部１３と信号分離部１６の位置、および受信装
置の分離部２１復号化部２３の位置がそれぞれ図１の場
合と入れ替わっている点と、受信装置に切り替え部２８
が追加されている点が異なる。実施例１と同様に、モー
ド別に動作を説明する。

【００５５】（第１の伝送モード＞今、実時間での通信
のみが入力部１４を介して要求されたとすると、モード
発生部１５はその時に使用している伝送路の帯域にあっ
た符号化レートを指示するモード情報を出力し、それに
応じてその符号化レートを越えないように、例えば画像
の場合は画素のサブサンプリングによる情報の分離や、
フレームの一部のみを実時間通信の対象にするなどの処
理により、信号分離部１６で画像・音声情報の分離が行
われる。なお、符号化部１３では同様にモード発生部１
５からのモード情報により、信号分離部１６からの情報
は全て伝送路に送出することが分かっているので、量子
化スッテプサイズなどを調節して伝送路で伝送可能な符
号量に圧縮符号化を行い、伝送路へ送出する。なお、こ
こでは信号分離部１６で情報の削減を行ったが、符号化
部１３のみ所望の精細度に圧縮して出力しても良い。

【００５６】＜第２の伝送モード＞一方、非実時間での
精細情報での通信のみが入力部１４を介して要求された
とすると、モード発生部１５からは要求された精細情報
が得られる程度の符号化レートを指示するモード情報が
出力され、それに応じて信号分離部１６で情報が削減さ
れ、メモリ１７に取り込まれる。その後、伝送路で伝送
可能なレートで再びメモリ１７から読み出され、符号化
部１３で圧縮符号化が行われた後、伝送路へ送出され
る。なお、ここでも信号分離部１６で情報の削減を行っ
たが、このモードの場合も、信号分離部１６での圧縮は
行わず、符号化部１３でのみ所望の精細度に圧縮して出
力しても良い。

【００５７】＜第３の伝送モード＞また、実時間での通
信は行ないたいが、さらにそのときの内容を後で精細画
像として再度確認したいという要求が入力部１４を介し
てなされたとする。この時はどの程度の精細画像を必要
としているかも同時に入力部１４から入力されるので、
その精細度を達成できる符号化レートを指示するモード
情報がモード発生部１５から出力される。信号分離部１
６では、このモード情報をもとにサブサンプリング等に
よる信号の分離が行われ、そのうちの一部が符号化部１
３に送られ、残りの信号がメモリ１７に取り込まれる。
符号化部１３では、実時間通信が可能な情報量、つまり
伝送路の帯域以下の伝送レートになるように量子化スッ
テプサイズ等を調整して圧縮符号化が行われた後、伝送
路に送出される。一方、メモリ１７内の情報は、実時間
通信の最中に符号化部１３から出力される情報との合計
が上記伝送レート以下になるように読み出され、符号化
されて伝送路に送出されても良いし、あるいはまた実時
間通信が終了した段階でメモリ１７内の情報の符号化を
開始しても良い。

【００５８】なお、実時間通信用情報と精細用情報とは
いずれもヘッダを有しており、実時間通信用情報のヘッ
ダにはその情報の番号が、また精細用情報のヘッダに
は、その精細用情報がどの実時間通信用情報に対する精
細用情報なのかを示す番号がそれぞれ付加されている。

【００５９】一方、送信装置の第１〜第３の伝送モード
に対応して、受信装置は第１〜第３の受信モードを有す
る。すなわち、受信装置では各伝送モードに応じて処理
が異なるが、その判定は送信側から送られてくるモード
情報により行われる。以下、受信装置の動作を第１〜第
３の受信モード毎に説明する。

【００６０】＜第１の受信モード＞実時間通信のみが要
求されている場合は、伝送路から送られてきた情報はそ
のまま復号化部２３で復号化され、分離部２１、切替部
２８を通過して、画像情報はモニタ２６に、音声情報は
スピーカ２７からそれぞれ出力される。なお、これら復
号化された情報は記録部２５により記録しておくことも
可能で、その内容を後から参照することも出来る。

【００６１】＜第２の受信モード＞一方、非実時間での
精細情報通信のみが要求された場合、それを示すモード
情報により、復号化部２３の復号化信号は全て分離部２
１によりメモリ２４に取り込まれる。その後、メモリ２
４から情報が読み出され、切替部２８を通過して実際に
図２のカメラ１１、マイク１２から取り込まれたスピー
ドでモニタ２６、スピーカ２７から出力される。また、
これら情報も記録部２５により記録することが可能で、
後にその内容を参照することもできる。

【００６２】＜第３の受信モード＞また、実時間通信を
行いながら、さらに後でその内容を精細情報で確認した
い要求があった場合は、そのことを示すモード情報によ
り、復号化部２３で復号化された情報は、分離部２１で
２系統に分離される。一方は実時間通信用情報であり、
これはすぐに切替部２８を通過してモニタ２６やスピー
カ２７から出力される。もう一方は実時間通信用情報と
精細用情報が含まれた情報であり、これは各情報のヘッ
ダ部に書かれている番号情報に基づいて、同じ情報源か
ら信号分離部２１で分離された情報どうしが結合される
ように、メモリ２４内に取り込まれる。その後、実時間
通信が終了した段階でメモリ２４から情報が読み出さ
れ、切替部２８により今度はメモリ２４からの情報がモ
ニタ２６やスピーカ２７から出力されるか、またはこれ
ら情報が記録部２５に記録される。記録部２５に記録さ
れた情報は精細情報であり、通信が終了してから精細画
像によってその内容を確認できる。

【００６３】なおこの場合、分離部２１内にもメモリを
有していれば、分離部２１からメモリ２４に取り込まれ
る情報は精細用情報のみで良く、実時間通信用情報は分
離部２１内のメモリに格納されていて、後で精細情報を
復号化する際に、それら２つの情報を切替部２８内で結
合してから実際の出力を行うことも可能である。

【００６４】（実施例３）図３は、本実施例に係る情報
通信端末装置のブロック図であり、（ａ）は送信装置、
（ｂ）は受信装置を示している。なお、本発明はメモリ
の容量を余り大きくできない携帯型情報通信端末に特に
有効であり、送信装置および受信装置は各端末に備えら
れることになる。

【００６５】図３（ａ）に示す送信装置は、符号化部３
１、メモリ３２、蓄積可能量表示部３３、切替部３４お
よび無線通信部３５を有する。ここで、符号化部３１
は、入力された画像情報を圧縮符号化し、符号化した情
報を情報蓄積手段であるメモリ３２と切替部３４へ送出
する機能を持つ。メモリ３２は、符号化部３１で符号化
された画像情報を蓄積し、切替部３４からの指示に従っ
て切替部３４へ画像情報を送出する。蓄積可能量表示部
３３は、自装置のメモリ３２の蓄積可能量を示す機能
と、通信相手のメモリの蓄積可能量を得てその値を示す
機能を持つ。切替部３４は、外部からの指示に従って符
号化部３１からの情報とメモリ３２からの情報を無線通
信部３５へ転送する機能を持つ。無線通信部３５は、各
携帯端末への通信処理を行なう機能を持つ。

【００６６】一方、図３（ｂ）に示す受信装置は、無線
通信部４１、切替部４２、復号化部４３、メモリ４４お
よび蓄積可能量表示部４５を有する。なお、無線通信部
３５と無線通信部４１は共通の無線通信部を用いてもよ
い。無線通信部４１は、各携帯端末への通信処理を行な
う機能を持つ。切替部４２は、無線通信部４１から得た
受信画像信号を外部からの指示に従って復号化部４３と
メモリ４４へ転送する機能を持つ。復号化部４３は、切
替部４２、メモリ４４から入力された画像符号化情報か
ら画像信号を復号化する処理を行なう機能を持つ。メモ
リ４４は、切替部４２から転送された画像情報を蓄積
し、指示に従って復号化部４２へ転送する機能を持つ。
蓄積可能量表示部４５は、自装置のメモリ４４の蓄積可
能量を示す機能と、自装置のメモリ４４の蓄積可能量を
送信側へ通知するための情報を切替部４２へ転送する機
能と、通信相手のメモリ（この場合、送信装置のメモリ
３２）の蓄積可能量を得てその値を示す機能を持つ。

【００６７】次に、本実施例の動作を説明する。

【００６８】図３（ａ）に示す送信装置では、画像情報
を送信する場合、まず任意の時間において、切替部３４
が相手側端末の図３（ｂ）に示す受信装置の切替部４２
に対し、無線通信部３５を経由してメモリ４４に蓄積可
能な情報量を問い合わせる。この問い合わせを無線通信
部４１を介して受け取った受信装置側の切替部４２で
は、蓄積可能量表示部４５から蓄積可能量の情報、つま
りメモリ４４の残り容量の情報を受け、送信装置側の切
替部３４へ送信する。

【００６９】蓄積可能量の情報を受けた送信装置側の切
替部３４は、その値を蓄積可能量表示部３３に記録す
る。そして、この蓄積可能量表示部３３に示された値に
従って蓄積可能量表示部３３が符号化部３１またはメモ
リ３２に規制を行なうことによって、画像情報の送信レ
ートを制御する。なお、この送信レートの制御は切替部
３４が蓄積可能量表示部３３に示された値に従って行う
ようにしてもよい。

【００７０】このように本実施例によれば、受信側のメ
モリ４４の空き状況を蓄積可能量の情報の形式で送信側
に伝達することにより、送信側からの画像情報などの情
報送出フロー制御を行うことができる。

【００７１】（実施例４）次に、本発明に係る情報通信
端末装置における送受信画面の表示に関する実施例につ
いて説明する。図４は、本実施例に係る情報通信端末装
置に含まれるコンピュータシステムの構成図であり、キ
ーボード５１、マウス５２、演算制御部（ＣＰＵ）５
３、ディスクメモリ５４、ＲＡＭ５５、モニタ５６、ス
ピーカ５７、ネットワークコントローラ５８およびメー
ルサーバ５９からなる。

【００７２】（実施例４−１）図５は、本発明の一実施
例に係る情報端末の送受信画面である。図５に示す送信
画面において、Ｔｏ：１２１は宛先を記入する欄、Ｓｕ
ｂｊｅｃｔ：１２２は通信内容の題名を記入する欄、文
字ウィンド１２３は通信文を書き込んでいく欄、Ｔｅｘ
ｔ：１２４は文字情報部分を伝送するかしないかを選択
する欄で○×の表示１２７で選択する。Ｉｍａｇｅ：１
２５は画像を伝送するかしないかを選択する欄、Ｓｏｕ
ｎｄ：１２６は音声を伝送するかしないかを選択する欄
であり、画像および音声に関して圧縮をするかしないか
を選択欄１２９で選択する。

【００７３】画像の圧縮符号化については、例えば国際
標準方式であるＪＰＥＧ、ＭＰＥＧ１、ＭＰＥＧ２その
他、音声の圧縮符号化については、例えば国際標準方式
であるＧ．７２８、ＬＤーＣＥＬＰや、各種８ｋｂｐ
ｓ、４ｋｂｐｓ、２ｋｂｐｓ、１ｋｂｐｓなどの方式を
選択できる。

【００７４】動画像は、ウィンド１３１に再生等の操作
を実行するボタン状のアイコン１３０とともに表示され
ており、ここをマウスでクリックすれば動画像の再生表
示、停止、逆転再生などが実行できる。動画像ファイル
の全体量に比べて始点からの位置をパーセントで棒グラ
フ状に表示１３２で行う。音声はファイル名を示す欄１
３４にボタン表示１３３と棒グラフ１３５が表示されて
いる。この送信側画面に表示されている文字、画像、音
声の情報は、上記選択操作により指定されたものが送信
ボタン１２８により送信される。

【００７５】この送信動作は、図４に示したコンピュー
タシステムにより実行できる。すなわち、キーボード５
１の操作により演算制御部５３が文字データを作り、ハ
ードディスクなどの大容量ディスクメモリ５４に書き込
むとともに、表示部分を切り出し、表示用メモリである
ＲＡＭ５５に転送する。ＲＡＭ５５に記憶された１画面
分の情報は、モニタ５６に送られ表示される。動画像、
音声データは必要により取り込むこともできる。予めデ
ィスクメモリ５４に蓄積されているデータは必要により
取り出され、動画像データは逐次ディスクメモリ５４を
書き換えることにより、図５のウィンド１３１に動画像
として表示される。また、音声はマウス５２などによる
操作指示によりスピーカ５７から出力される。送信デー
タは、ネットワークコントローラ５８を介して電子メー
ルサーバ５９へ送られ、回線を介して受信側へ送られ
る。

【００７６】受信側では、以上とほぼ逆の動作によりデ
ータの復元が行われ、図５（ｂ）に示すように表示が行
われる。すなわち、受信データは受信側に番号付けさ
れ、図５（ｂ）の左側の欄１３６に記入される。また送
信者名が次の欄１３７に、受信日または日時が欄１３８
に、題名が欄１３９に記入される。また動画像などの画
像データはその第１フレーム、第１フレーム以外の適当
なフレームなどが取り出され、圧縮符号化されたデータ
は復元されて、また画面サイズは見出し用に縮小されて
小ウィンドの欄１４０ａ，１４０ｂ，１４０ｃなどに表
示される。また音声情報がある場合には、それを示すマ
ーク１４１ａ，１４１ｂが表示される。また音声がない
場合には、マークの欄１４１ｃが空欄であったり、薄文
字であったり、欄自体が省略されていることによって示
される。これらの表形式の一覧表は情報部をマウス等で
クリックすれば、文字情報がウィンド表示される。また
画像見出し部分をクリックすれば、動画像ウィンド（図
５（ａ）の１３１とおなじもの）が開き、さらに上部の
ボタン操作により、動画像表示、停止などを実行するこ
とができる。

【００７７】図６は、図５の送受信画面の表示を実現す
るための送信側の構成を示す機能ブロック図である。図
６においては、テキストデータ１０１、動画データ１０
２、音声データ１０３が入力される。テキストデータ１
０１と動画データ１０２は、合成・編集部１０４で合成
されかつ編集され、音声データ１０３は編集部１０５で
編集される。テキストデータ１０１は表示部１０６とメ
ール合成処理部１１０に送られ、合成・編集部１０４の
合成・編集結果は表示部１０６に送られるとともに、圧
縮部１０８で圧縮符号化された後メール合成処理部１１
０に送られる。編集部１０５の編集結果は再生部１０７
に送られるとともに、圧縮部１０９で圧縮符号化された
後メール合成処理部１１０に送られる。各部に与えられ
る制御サイズ位置１１１、取り込み区間１１２、同期制
御１１３および確定送出データ１１４などの各種制御信
号は、図４のキーボード５１またはマウス５２によって
入力される。

【００７８】（実施例４−２）図７は本実施例に係る画
面の表示例であり、（ａ）が見出しを設定する前の画面
で、画面上部の操作ボタンに低速再生を指示できるボタ
ン（ＳＬＯＷ）１５１がある。このボタン１５１をクリ
ックし、動画像を低速再生ないしは駒送り状態にしてお
き、見出しとして設定したい場面で「見出し設定ボタ
ン」１５２をクリックすれば、見出しとして登録され、
（ｂ）のごとく小画面に縮小された見出し１５３，１５
４などが次々と生成される。この場合、単に画面の縮小
だけでなく、位置的に特定部分を指定して、その部分を
見出し画面を見出し画面に登録することもできる。見出
し情報の伝送方法として、 （１）送信側において、動画像系列の特定のフレームに
見出しであることを示すフラッグを付加し、受信側でフ
ラッグ情報より見出し画面を再生する。必要により、さ
らに位置情報を付加する。

【００７９】（２）送信側において作成した見出し情報
を動画像情報に追加して伝送する。この場合、見出しと
して始めの動画像系列から作成した画像だけでなく、こ
れとは異なる静止画像や、図７（ｂ）中に示すようなマ
ーク１５５や、自己の顔画像１５６あるいはサインなど
の画像を添付して伝送することもできる。

【００８０】図８は、図７の表示画面を実現するための
送信側の構成を示す機能ブロック図である。図８におい
て、動画ファイル２０１からは可変速度読出し・表示制
御部２０２で動画像情報が読み出される。この場合、読
み出し・表示速度は標準速度データ２０３のほかに、図
４のキーボード５１またはマウス５２からの速度指示デ
ータ２０４によって高速および低速も指定可能となって
いる。また、キーボード５１またはマウス５２により設
定可能な設定メモリ２０５は、動画像系列の特定のフレ
ームに見出しであることを示すフラッグを発生する。こ
の設定メモリ２０５の出力は可変速度読出し・表示制御
部２０２からの動画像情報とともに表示部２０６で表示
され、さらに送信データとして送信される。この送信デ
ータを受けて、受信側では図７のような表示を行う。

【００８１】（実施例４−３）図９は、本実施例におけ
る受信画面である。受信画面が小さい場合は画像の見出
し画面も小さくせざるを得ないので、図９のように文字
の一行相当まで縮小して表示する。

【００８２】図１０は、図９の表示画面を実現するため
の送信側の構成を示すブロック図である。図１０におい
ては、テキストデータ３０１、動画データ３０２、音声
データ３０３が入力され、テキストデータ３０１と動画
データ３０２は、合成・編集部３０４で合成されかつ編
集され、音声データ３０３は編集部３０５で編集され
る。テキストデータ３０１は図示しないメール合成処理
部に送られる。

【００８３】合成・編集部３０４の合成・編集結果は、
縮小処理部３０６により図９のようなし縮小表示を可能
とするために縮小処理された後、メモリ３０７を介して
表示部３０８および図示しないメール合成処理部に送ら
れる。また、編集部３０５の編集結果は再生部３０９に
送られるとともに、メモリ３０７を介して図示しないメ
ール合成処理部に送られる。各部に与えられる制御信号
は、図４のキーボード５１またはマウス５２によって入
力される。

【００８４】（実施例４−４）図１１は、本実施例の受
信側の表示画面である。図４において、ハードディスク
などのディスクメモリ５４は、大量の動画像データが蓄
積されるすぐに満杯になってしまうので、動画像はもち
ろん音声や文字情報のアクセスが不便となる。そこで、
大量のデータを蓄積できる媒体へ情報を移動させること
が望ましい。本実施例では、表形式の表示欄１６１にデ
ィスクメモリ５４であるハードディスクとは異なる補助
記憶装置として用いられる媒体の名称が列挙されてい
る。ＨＤＤはディスクメモリ５４とは別のハードディス
クであり、例えばＤ、Ｅ、Ｆ、Ｇ、Ｈと５種ある。ＳＣ
ＳＩはＳＣＳＩインタフェースの別のハードディスクで
あり、０から７まで８個ある。またＭＯは光磁気ディス
ク、Ｔａｐｅは磁気テープなどのテープ媒体である。光
磁気ディスクやテープはオフラインで接続されている場
合もあり、必要に応じて光磁気ディスクの交換、テープ
の挿入巻き戻し、頭出しなどの補助操作を行う。またこ
れらの媒体への転送は、マニュアル操作により行っても
よいが、ハードディスクであるディスクメモリ５４の使
用量（残容量）を常時監視し、一定限度を越えたら、規
則的に順次補助記憶装置に転送してもよい。転送後は例
えばＳＣＳＩ、ＭＯといった転送先の媒体名１６２，１
６３などが表示される。

【００８５】（実施例４−５）図１２は、本実施例に係
る送信側の構成を示す機能ブロック図である。図１２に
おいては、テキストデータ４０１と動画データ４０２が
入力される。テキストデータ４０１と動画データ４０２
は、合成・編集部４０４で合成されかつ編集された後、
圧縮部４０５で圧縮符号化されてメール合成処理部４０
６に送られる。、テキストデータ４０１は、さらにテキ
スト付加部４０３を介してメール合成処理部４０６に送
られる。

【００８６】復号プログラムファイル４０８は、圧縮符
号化された動画像データに対する受信側での種々の方式
の復号プログラムまたはＩＤを格納している。宛先リス
ト（宛先受信機の能力リスト）４０９に従って圧縮部４
０５での圧縮符号化の方式が選択されるとともに、その
圧縮符号化方式に対応した復号プログラムまたはＩＤが
復号プログラムファイル４０８から読み出され、メール
合成処理部４０６に入力される。

【００８７】なお、サイズ、位置、配置、動画取り込み
区間といった制御情報は、図４のキーボード５１または
マウス５２によって入力される。

【００８８】（実施例５）図１３は、本実施例に係るマ
ルチメディア情報伝送システムの構成図である。このマ
ルチメディア情報伝送システムはマルチメディアデータ
ベース装置５１０とマルチメディア情報端末装置５２０
からなる。

【００８９】まず、マルチメディアデータベース装置５
１０について説明すると、マルチメディアデータ記憶部
５１１は磁気ディスク装置や半導体メモリ装置などの記
憶媒体により、マルチメディア文書や電子メールなどの
多くのマルチメディアデータを蓄積する。また、データ
送信部５１２はネットワークで接続されたマルチメディ
ア情報端末装置５２０からの要求に応じて、それぞれの
データを送信する。データ送信制御部５１３は、利用者
の要求する情報の種類に応じて、データベース中のデー
タを一定のデータセグメントに分割し、マルチメディア
情報端末装置５２０に順次送信する。

【００９０】このデータセグメントは、文字や図形、音
声、動画像などのデータの種類毎に適度な大きさに分割
したもので、例えば文字データの場合には、表示端末に
おける行や段落といった単位が、また動画像データの場
合には、コマ単位あるいはさらにその一コマの一部分と
いった単位がこれに当たる。これらのデータセグメント
の構成や大きさに関する設定は、データベースシステム
の管理者や管理プログラムが決定するようにしてもよい
し、マルチメディア情報端末装置５２０の利用者が指示
することも可能である。

【００９１】さらに、各データセグメントには、マルチ
メディア情報端末装置５２０における表示を制御する情
報、例えば表示位置座標や表示サイズ、表示色やフォン
ト種別、線種などの表示属性情報も付随する。さらに、
これらの各データセグメントの送出順序は、各データセ
グメントのデータ種別やサイズにより順序の入れ替えが
行われたり、あるいは不必要なデータセグメントについ
ては送出されない等、動的に変更され得る。

【００９２】一方、マルチメディア情報端末装置５２０
においては、マルチメディアデータベース装置５１０か
ら送信された各データセグメントをデータ受信部５２１
で受信し、それらをマルチメディアデータ一時記憶部５
２２に蓄積する。蓄積された各データセグメントは、利
用者の要求に応じマルチメディアデータ表示部５２３上
にマルチメディアデータ表示制御部５２４の制御により
表示される。マルチメディアデータ一時記憶部５２２
は、例えば先入れ先出し（ＦＩＦＯ）、あるいはＬＲＵ
（Least Recently Used)などのアルゴリズムにより管理
されるバッファ記憶装置として実現することができる。
これにより、一度送信されたデータセグメントは一定時
間再送信なしに何度も再表示が可能となる。また、マル
チメディアデータ一時記憶部５２２において増設可能な
記憶媒体を用いることで、その記憶可能サイズを用途や
利用頻度に応じて変更するようにすると、さらに効率的
な情報表示を行うことができる。

【００９３】次に、本実施例の動作を図１４〜図１７を
参照して説明する。

【００９４】図１４および図１５は、動画像データを例
にデータセグメントの送信方法を図示したものである。
図１４は、データベース上に６コマからなる動画像デー
タがあり、これをマルチメディア情報端末装置５２０へ
伝送する手順の一例を示している。ここでは、それぞれ
のコマ（フレーム）を動画像のデータセグメントとして
扱う。最初にフレーム１を送信し、次にフレーム２およ
び３を飛び越してフレーム４を送信する。以降、フレー
ム２、５、３、６の順に送信することにより、全ての動
画像データが送信できる。

【００９５】ここで、フレーム４を送信完了した時刻Ｔ
１においては、マルチメディア情報端末装置５２０にお
いては既に２つのフレームを受信しているので、フレー
ム１および４を表示することでユーザはこの動画像のお
およその画像を判別することができ、万一不要な動画像
であることが判明すれば、それ以降の動画像の送信は必
要でなくなる。一方、必要な場合には何度か再生を繰り
返してゆく間に残りのフレームの伝送が完了してくるの
で、時刻Ｔ３においては完全なる動画像データが再生可
能となる。このようなフレームの送信順序には、上記の
ほか、まず先頭フレーム、次に最終フレーム、その後、
中間フレームという具合に２分探索方式での順序付け
等、さまざまな順序付けが考えられる。

【００９６】一方、図１５はデータベース上に３つのフ
レームからなる動画像があり、その各１コマの４分の１
をデータセグメントとしたものである。図に示すよう
に、たとえば、フレーム１−パート（ｃ）、２−
（ｃ）、３−（ｃ）という具合に、画像の左下部分を最
初に送信し、以降パート（ｄ）、パート（ｂ）、パート
（ａ）という具合にデータセグメントを送信する。より
変化の激しいパートを最初に送ることで、利用者はマル
チメディア情報端末装置５２０において動画像データの
要点をより早く知ることができる。

【００９７】図１６では、データベース上の画像の空間
的解像度を落とすことによって伝送することにより、伝
送データを削減することができる。それにより早くフレ
ーム終了まで伝送でき、利用者は画像の大まかな内容を
早く確認することができる。表示側では、画面サイズを
小さくして表示する。また、画質を落として表示すれば
データベース上の画像と同じ大きさに表示することも可
能である。

【００９８】図１７は、上述の例えば動画像データの送
信方法を用いた電子メールシステムへの適用の一例であ
る。ここでは、文字列セグメントＴ１…Ｔ８と動画像セ
グメントＶ１ａ…Ｖ３ｄが入り混じって送信されてい
る。セグメントＶ１ｄが送信完了した時刻ｔ１におい
て、利用者はおおよその動画像と電子メールと意図する
ところを大まかに理解でき、必要であればそのまま受信
を続行したり、あるいは必要でなければ受信を停止し、
次の電子メールの表示に移行することができる。伝送が
全て完了した状態において、動画像データの完全な再生
が可能にある。

【００９９】以上、図１４〜図１７を用いて動画像なら
びに文字列データセグメントの伝送方法について説明し
たが、図形や音声などのデータについても、同様にセグ
メント化して、順次あるいは送信順序の入れ替えを行う
ことで、利用者の要求に合ったマルチメディアデータの
伝送と表示が実現できる。音声の場合には、複数のチャ
ンネルが存在する音声多重あるいはステレオ方式の場合
には、一方のチャンネルから先に伝送することも可能で
あるし、図形の場合にはキー図形となりうる可能性のあ
る図形種、あるいは表示サイズの大きい図形から優先し
て送信するというような実現方法が考えられる。

【０１００】図１８には、図１３のマルチメディア情報
端末装置５２０に備えられたデータ送受信方式選択部５
２５を用いて利用者が表示したい情報の種類（文字、図
形、画像、音声）や表示内容の選択を行った場合の設定
画面の例を示す。

【０１０１】（実施例６）図１９は、本実施例に係る情
報通信端末装置のブロック図であり、（ａ）は送信装
置、（ｂ）は受信装置を示している。

【０１０２】図１９（ａ）に示す送信装置では、画像信
号と音声信号が入力される。電力解析部６０１は、音声
の状態を解析するために信号電力を求め、この信号電力
が雑音を考慮して設定されたしきい値より大きい場合は
有音であると判定し、しきい値以下の場合は無音である
と判定する。情報量解析部６０２は動画像の情報量を解
析する。例えば、対象フレーム（現フレーム）と前フレ
ームとのフレーム間差分を求めて残差信号の和をとる
か、あるいは画像符号化部６０５で符号化を行って量子
化する前の各フレームの符号量を計算する。これらの値
が大きいときは情報量が多く、小さいときは情報量が少
ないと判定する。

【０１０３】レート配分部６０３は、電力解析部６０１
で判定された状態に応じて通信路の帯域幅を音声および
画像の伝送に対してどのように配分するか決める。音声
が無音の場合は、帯域のほとんどを画像の伝送に使うよ
うに配分し、画像情報が少なく音声が有音の場合は音声
の帯域が広くなるように配分する。音声符号化部６０４
および画像符号化部６０５では、レート配分部６０３で
決められた符号量に基づき音声信号、画像信号をそれぞ
れ圧縮符号化する。一方、一定時間毎にレート配分部６
０３で決められたレート配分を表すフラグをフラグ発生
部６０６で作成する。多重化部６０７は、音声符号化部
６０４および画像符号化部６０５からの符号化された信
号をフラグ発生部６０６で作られるフラグを付けて多重
化し出力する。

【０１０４】図２３に、画像と音声のレート配分の一例
を示す。１フレームから２０フレームまでは有音で画像
の情報量が多いため、画像と音声はそれぞれ８Ｋｂｐｓ
と４Ｋｂｐｓに分けられ、また２１フレームから４０フ
レームまでは有音で画像の情報量が少ないため画像と音
声はそれぞれ６Ｋｂｐｓと６Ｋｂｐｓに分けられ、さら
に４１フレームから７０フレームまでは無音なので、画
像のみ１２Ｋｂｐｓで符号化される。このときフラグ発
生部６０６では、画像信号の伝送レートをフラグとして
多重している。

【０１０５】一方、図１９（ｂ）に示す受信装置では図
１９（ａ）の送信装置から伝送されてきた多重化された
信号を受信し、前記フラグから音声と画像のレート配分
を読み取り、分離部６０８により音声と画像の符号化信
号を分離する。音声および画像の符号化信号は、それぞ
れ音声復号化部６０９および画像復号化部６１０で復号
化されて出力される。

【０１０６】以上により、音声や画像の状態に応じてレ
ート配分を変えることによって、情報量の多い信号に多
くのレートを割り当てることができ、通信路の有効活用
が可能となる。

【０１０７】（実施例７）従来の動き補償予測では、画
像のみの情報を用いているので、どの方向も一様に探索
するか、木探索によって全方向の中で予測誤差の少ない
方向を細かく探索していた。実施例７の画像符号化部６
０５において、さらに音声の電力解析部６０１からの有
音／無音判定情報を用いて、音声信号が有音区間の場合
は画面中央の顔の口の付近は上下方向に動きベクトルの
探索点を増やすこともできる。このように音声の状態に
基づいて動きベクトルの探索点を設定することにより、
音声情報にあった適切な動きベクトルの探索ができる。

【０１０８】本実施例を図２０によりさらに具体的に説
明する。図２０は、図１９の画像符号化部６０５として
用いられ得る動き補償予測方式による動画像符号化装置
の構成を示している。端子７００に入力される画像信号
は、減算器７０１で動き補償予測回路７０９からの予測
信号との差（予測誤差）がとられる。この予測誤差信号
は、ＤＣＴ（離散コサイン変換）回路７０２でＤＣＴ係
数に変換され、さらに量子化回路７０３で量子化された
後、可変長符号化回路７１１で可変長符号化される。

【０１０９】一方、量子化回路７０３の出力は、逆量子
化回路７０４および逆ＤＣＴ回路７０５を経て局部復号
され、加算器７０６で予測信号と加算された後、フレー
ムメモリ７０８を介して動き補償予測回路７０９に入力
される。動き補償予測回路７０９は、入力の動画像信号
とフレームメモリ７０８に蓄積されている画像信号から
動きベクトルを求め、この動きベクトルを用いて動き補
償予測を行って予測信号を作成する。動きベクトルの情
報は、可変長符号化回路７１２にも入力される。可変長
符号化回路７１１，７１２の出力はマルチプレクサ７１
３で合成され、出力される。

【０１１０】ここで、動き補償予測回路７０９における
動きベクトルの探索点は、動きベクトル探索点設定部７
１０により設定される。この動きベクトル探索点設定部
７１０は、図１９の電力解析部６０１からの有音／無音
判定情報が入力され、この有音／無音判定情報に基づい
て、前述のように音声信号が有音区間の場合は画面中央
の顔の口の付近は上下方向に動きベクトルの探索点を増
やすように動きベクトルの探索点を設定する。

【０１１１】（実施例８）図２１は、本実施例に係る情
報通信端末装置のブロック図であり、（ａ）は送信装
置、（ｂ）は受信装置を示している。

【０１１２】図２１（ａ）に示す送信装置では、図２４
（ａ）のような蓄積された画像・音声・文字データ等の
２つ以上のメディア情報を持つ信号を圧縮して決まった
帯域幅で伝送する。すなわち、蓄積されている信号から
検出した各メディアの情報発生スケジュールＦ１，Ｆ
２，…，Ｆｎをスケジューラ６１１に入力する。図２４
（ｂ）のように動画を一度に送ろうとすると、伝送帯域
幅に合わせて動画像を圧縮しなければならず、動画像を
送り始めるまでの期間Ａでは伝送帯域幅に空きがある。
この空いている帯域を利用して動画像情報を時間の過去
の方向に伸張し帯域を圧縮すると、失われる情報量は少
なくなるため、画像の劣化が少ない。このように未来の
情報発生スケジュールに基づいて圧縮するために、スケ
ジューラ６１１で各メディアの送信スケジュールと伝送
ビットレートを決定する。例えば図２４（ａ）の信号を
伝送する場合、図２４（ｃ）のように期間Ａの０〜６０
秒まで動画、文字、音声をそれぞれ１０Ｋｂｐｓ，２Ｋ
ｂｐｓ，４Ｋｂｐｓで伝送し、６０秒から９０秒まで動
画の期間は動画、音声を１２Ｋｂｐｓ，４Ｋｂｐｓでそ
れぞれ伝送する。このようなスケジュールに従った時の
伝送レートを概算してみる。動画を伝送するレートは９
６０Ｋｂｐｓになり、動画を１０Ｈｚで送るとフレーム
数は３００フレームになるので、１フレーム当たり３．
２Ｋｂｉｔに圧縮することになる。図２４（ｂ）のよう
にそのまま伝送した場合、動画像は１フレームあたり
１．２Ｋｂｐｓになる。

【０１１３】本実施例ではマルチメディア信号と一緒に
情報発生スケジュールを送るので、概算よりやや小さく
なるが、図２４（ｂ）よりは大きい伝送レートで送るこ
とが可能となる。スケジューラ６１１で決定された伝送
レートに応じて符号化部６１２で各メディア信号Ｓ１，
Ｓ２，…，Ｓｎが符号化される。この符号化された信号
をバッファ６１３で時間方向に伸張し、多重化部６１４
で各メディア信号、情報発生スケジュールを多重化して
出力する。

【０１１４】一方、図２１（ｂ）に示す受信装置では、
分離部６１５で各メディア信号と情報発生スケジュール
を分離し、メディア信号はバッファ６１６に送り、情報
発生スケジュールはタイミング発生器６１７に送る。バ
ッファ６１６とタイミング発生器６１７で情報発生スケ
ジュールに合わせて復号化部６１８で復号化を行って出
力する。

【０１１５】このように本実施例によれば、未来の情報
発生スケジュールからスケジューラ６１１で許容伝送帯
域を有効に利用するように伝送スケジュールを作成し、
これに基づいて符号化を行うことによって、メディアの
品質（画質・音質）を向上させることができる。

【０１１６】（実施例９）図２２は、本実施例に係る遠
隔地監視用の情報通信端末装置のブロック図であり、
（ａ）は送信装置、（ｂ）は受信装置を示している。

【０１１７】図２２（ａ）において、監視カメラ６２１
で得られた画像情報は画像符号化・多重化部６２２で符
号化され多重化される。多重化信号は情報分配部６２６
でいくつかの通信路に分配され、受信側に伝送される。

【０１１８】図２２（ｂ）の受信装置では伝送路を経て
伝送されてきた信号が情報複合部６３１によって複合さ
れ、さらに分離・画像復号化部６２９で分離、復号され
てモニタ６３０に出力される。

【０１１９】本実施例では、画像に変化の少ない監視で
は通常は最低限の回線を使用して情報を伝送する。接続
された通信路の容量を上回る情報が発生した場合、新し
い回線を接続して伝送容量をふやすため、送信装置にお
いて情報量モニタ６２３によって多重化した信号の情報
量の変化をモニタする。ここで、現在の伝送容量を上回
る情報が検出された場合は、通信路制御部６２４によっ
て情報分配部６２６と新しい回線を接続する。制御信号
多重化部６２５で回線制御信号を通常接続されている通
信路の信号に多重化し、受信装置側に送る。

【０１２０】受信装置では制御信号分離部６２８で上記
の回線制御信号を分離して、この制御信号に従って新し
い回線が受信側と接続される。通信路の接続が完了した
ことを示す信号を送信装置側に送り返し、情報分配部６
２６が接続完了を確認して各回線に情報分配を始める。
新しい回線がつながれるまでの間に、あふれた信号はバ
ッファ６２７に蓄積しておき、新しい回線がつながった
後に伝送する。

【０１２１】このように本実施例によれば、画像の変化
の少ない場合は最低限の回線数で、情報量が伝送容量を
上回れば新しい回線を接続して伝送する。そして、接続
されるまでにあふれた信号はバッファ６２７に蓄積して
おくことによって情報が失われず、また監視画像の発生
符号量によって回線数を制御していることにより、回線
使用コストを下げることができる。

【０１２２】

【発明の効果】以上説明したように、本発明によれば以
下の効果が得られる。

【０１２３】第１の発明によれば、メモリを介さずに実
時間で送受信を行うモードと、メモリを介して送受信を
行うモードおよび情報の一部をメモリを介さずに実時間
で残りの一部をメモリを介して送受信するモードを選択
できるため、従来と同等の狭い帯域を用いていながら、
従来と同等レベルの画質・音質での実時間通信に加え
て、精細情報の通信も可能になり、ユーザが要求する画
質・音質での情報伝達が可能になる。

【０１２４】第２の発明によれば、受信装置において送
信装置から伝送された情報の受信時に受信装置が持って
いるメモリに蓄積可能な情報量を送信装置に対して表示
し、送信装置でそれに基づいて示された蓄積可能な情報
量に応じて伝送レートを制御することにより、携帯型通
信端末のように情報蓄積用メモリの容量が十分にとれな
い場合でも、そのメモリの空き状況に応じて送信装置の
情報送出フロー制御を行うことで、メモリのオーバーフ
ローによる情報の欠落や品質の劣化が防止され、また情
報再送によるスループットの低下という問題も解決され
る。

【０１２５】第３の発明によれば、送信者および題名と
見出し用情報を表形式に編集して一覧敵に表示すること
ができる。

【０１２６】第４の発明によれば、静止画や動画の情報
を電子メール形式としてマルチメディアメールの受信機
能を備えていない、すなわち特定の復号プログラムによ
る復号機能しか容易されていない受信端末に対しても送
信することができる。

【０１２７】第５の発明によれば、特に移動可能な端末
装置などにおいて比較的狭帯域の伝送路を用いた場合に
も、遠隔のデータベース装置からの文字・図形・音声・
動画像等のマルチメディア情報を表示可能にするため、
送信する各種データをセグメント化し、各データセグメ
ントの送受信の順序を表示順序の事情に応じて一部入れ
替えたり、再送信を防止するか、もしくは一部のデータ
セグメントについては送受信を行わないなどにより、必
要とされる情報伝送能力を軽減し、かつ利用者による効
果的な情報アクセスを可能にすることができ、さらにマ
ルチメディアデータベース装置と情報処理端末装置との
間の各データの送受信の方式をデータベースシステム装
置が選択したり、あるいは利用者が任意に選択したりす
ることもできる。

【０１２８】第６の発明によれば、実時間通信で画像と
音声の情報を伝送する場合において各情報の状態解析を
行い、音声が無音であればほとんどの帯域を画像情報の
伝送に割り当て、動画像で動きのほとんどない場合は音
声情報の伝送に割り当てる帯域を増やすなどの符号化レ
ートの制御を行うことにより、実時間通信および蓄積情
報の通信において帯域を有効に活用することができる。
この場合、音声の情報を利用して動き探索する方向に偏
りを持たせることも有効である。

【０１２９】第７の発明によれば、蓄積情報の通信の場
合、画像の発生する前の時間から時間方向に伸張して送
信するために多くの符号量を割り当てることにより、帯
域を有効に活用することができる。

【０１３０】第８の発明によれば、複数回線の伝送路に
よる通信において、通常は最低限の回線で送信を行い、
通信容量を上回る情報量が発生すると新しい回線を接続
し、つながるまでの間にあふれた情報は一時記憶手段で
あるバッファに蓄積して、接続後に送信することによ
り、通信コストを効果的に低減することができる。

【図面の簡単な説明】

【図１】実施例１に係る情報通信端末装置の構成を示す
ブロック図

【図２】実施例２に係る情報通信端末装置の構成を示す
ブロック図

【図３】実施例３に係る情報通信端末装置の構成を示す
ブロック図

【図４】実施例４に係る情報通信端末装置の構成を示す
ブロック図

【図５】実施例４−１に係る表示画面例を示す図

【図６】図５の表示画面を実現する送信側の構成を示す
機能ブロック図

【図７】実施例４−２に係る表示画面例を示す図

【図８】図７の表示を実現する送信側の構成を示す機能
ブロック図

【図９】実施例４−３に係る表示画面例を示す図

【図１０】図９の表示を実現する送信側の構成を示す機
能ブロック図

【図１１】実施例４−４に係る表示画面例を示す図

【図１２】実施例４−５に係る送信側の構成を示す機能
ブロック図

【図１３】実施例５に係る情報通信端末装置の構成を示
すブロック図

【図１４】実施例５における動画像データの第１の伝送
例を示す図

【図１５】実施例５における動画像データの第１の伝送
例を示す図

【図１６】実施例５における表示方法を説明するための
図

【図１７】実施例５に係る電子メールデータの伝送例を
示す図

【図１８】実施例５に係るデータ送受信方式設定画面の
例を示す図

【図１９】実施例６に係る情報通信端末装置の構成を示
すブロック図

【図２０】実施例７における画像符号化部の構成を示す
図

【図２１】実施例８に係る情報通信端末装置の構成を示
すブロック図

【図２２】実施例９に係る情報通信端末装置の構成を示
すブロック図

【図２３】実施例６における音声と画像情報のレート配
分を示す図

【図２４】実施例９における伝送スケジュールを示す図

【図２５】従来技術による電子メールシステムの利用例
を示す図

【図２６】従来技術による電子メールシステムの利用例
を示す図

【図２７】従来技術による電子メールシステムの実現例
を示す図

【符号の説明】

１１…ＴＶカメラ １２…マイク １３…符号化部 １４…入力部 １５…モード発生部 １６…信号分離部 １７…第１のメモリ １８…多重化部 ２１…分離部 ２２…モード情報
抽出部 ２３…復号化部 ２４…第２のメモ
リ ２５…記録部 ２６…モニタ ２７…スピーカ ３１…符号化部 ３２…第１のメモリ ３３…蓄積可能量
表示部 ３４…切替部 ３５…無線通信部 ４１…無線通信部 ４２…切替部 ４３…復号化部 ４４…第１のメモ
リ ４５…蓄積可能量表示部 ５１０…マルチメディアデータベース装置 ５２０…マルチメディア情報端末装置 ６０１…電力解析部 ６０２…情報量解
析部 ６０３…レート配分部 ６０４…音声符号
化部 ６０５…画像符号化部 ６０６…フラグ発
生部 ６０７…多重化部 ６０８…分離部 ６０９…音声復号化部 ６１０…画像復号
化部 ６１１…スケジューラ ６１２…符号化部 ６１３…バッファ ６１４…多重化部 ６１５…分離部 ６１６…バッファ ６１７…タイミング発生器 ６１８…復号化部 ６２１…監視カメラ ６２２…画像符号
化・多重化部 ６２３…情報量モニタ ６２４…通信路制
御部 ６３５…制御信号多重化部 ６２６…情報分配
部 ６２７…バッファ ６２８…制御信号
分離部 ６２９…分離・復号化部 ６３０…モニタ ６３１…情報複合部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｌ 12/58 29/12 13/08 9371−5Ｋ Ｈ０４Ｎ 7/14 9466−5Ｋ Ｈ０４Ｌ 11/20 １０１ Ｂ 9371−5Ｋ 13/00 ３１７ (72)発明者 渡邊 敏明 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 山口 浩司 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 山下 明延 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 倉立 尚明 大阪府大阪市北区大淀中一丁目１番30号 株式会社東芝関西支社内

Claims (12)

【特許請求の範囲】
1. 【請求項１】伝送すべき情報を第１のメモリを介さずに
   実時間で伝送する第１の伝送モードと、該情報を該第１
   のメモリを介して伝送する第２の伝送モードと、該情報
   の一部を第１のメモリを介さずに実時間で伝送すると共
   に、該情報の他の一部を該第１のメモリを介して伝送す
   る第３の伝送モードを有する送信装置と、 該送信装置から前記第１の伝送モードにより伝送されて
   きた情報を第２のメモリを介さずに実時間で受信する第
   １の受信モードと、前記第２の伝送モードにより伝送さ
   れてきた情報を該第２のメモリを介して受信する第２の
   受信モードと、前記第３の伝送モードにより伝送されて
   きた情報のうち実時間で伝送されてきた情報については
   該第２のメモリを介さずに実時間で受信し、前記第１の
   メモリを介して伝送されてきた情報については該第２の
   メモリを介して受信する第３の受信モードを有する受信
   装置とからなることを特徴とする情報通信端末装置。
2. 【請求項２】前記受信装置は記録手段を有し、前記送信
   装置から前記第１の伝送モードにより伝送されてきた情
   報については該情報を該記録手段により記録し、前記送
   信装置から前記第３の伝送モードで伝送されてきた情報
   については該情報のうち実時間で伝送されてきた情報と
   前記第１のメモリを介して伝送されてきた情報とを統合
   した後に復号化して該記録手段により記録することを特
   徴とする請求項１に記載の情報通信端末装置。
3. 【請求項３】伝送すべき情報を第１の蓄積手段に一旦蓄
   積して所定の伝送レートで送信する送信装置と、この送
   信装置から伝送されてきた情報を受信し第２の蓄積手段
   に一旦蓄積して出力する受信装置とからなる情報通信端
   末装置において、 前記受信装置は、前記第２の蓄積手段の蓄積可能な情報
   量を伝達するための手段と、前記送信装置から伝送され
   た情報の受信時に前記第２の蓄積手段に蓄積可能な情報
   量を前記送信装置に対して伝達するための手段を有し、 前記送信装置は前記受信装置により伝達された前記第２
   の蓄積手段の蓄積可能な情報量に応じて前記伝送レート
   を制御する手段を有することを特徴とする情報通信端末
   装置。
4. 【請求項４】文字情報と、圧縮符号化された画像情報お
   よび圧縮符号化された音声情報の少なくとも一方とを統
   合し、かつこれら画像情報または音声情報に見出し用フ
   ラッグを付加して統合ファイルとして伝送する送信手段
   と、 この送信手段から送信された統合ファイルを受信する受
   信手段と、 この受信手段により受信された統合ファイルより送信者
   および題名の情報を抽出する手段と、 前記受信手段により受信された統合ファイルより前記フ
   ラッグが付加された画像情報または音声情報の少なくと
   も一方を見出し情報として取り出す手段と、 前記送信者および題名と見出し用情報を再統合して表形
   式に編集する編集手段と、 この編集手段により得られた編集結果を表示する表示手
   段とを具備することを特徴とする情報通信端末装置。
5. 【請求項５】画像情報を圧縮符号化する符号化手段と、 受信側の復号化手段で用いる復号化方式を示す復号プロ
   グラムを選択するとともに、前記符号化手段で用いる圧
   縮符号化の方式を該復号プログラムに対応して選択する
   選択手段と、 この選択手段により選択された復号プログラムまたは該
   復号プログラムを示す識別情報を前記圧縮符号化手段の
   出力信号に付加して伝送する手段ととを具備することを
   特徴とする情報通信端末装置。
6. 【請求項６】複数種類のメディアに属するデータからな
   るマルチメディアデ−タを記憶するマルチメディアデー
   タ記憶手段と、このマルチメディアデータ記憶手段に記
   憶されたマルチメディアデータについてメディアの種類
   毎に各データセグメントの送信手順を制御するデータ送
   信制御手段と、このデータ送信制御手段による制御に従
   って各データセグメントを送信するデータ送信手段とを
   有するマルチメディアデータベース装置と、 このマルチメディアデータベ−ス装置に伝送路を介して
   接続され、前記データ送信手段により送信されたデータ
   セグメントを受信するデータ受信手段と、このデータ受
   信手段を制御するデータ受信制御手段と、前記データ受
   信手段により受信された各データセグメントを一時蓄積
   する受信データ一時蓄積手段と、このデータ一時蓄積手
   段に蓄積されたデータセグメントを任意の順序で表示す
   るマルチメディアデータ表示手段とを有する情報処理端
   末装置とを具備することを特徴とする情報通信端末装
   置。
7. 【請求項７】利用者が前記データ送信制御手段および前
   記データ受信制御手段における制御情報を任意に指定す
   るためのデータ送受信方式選択手段を具備することを特
   徴とする請求項６に記載の情報通信端末装置。
8. 【請求項８】複数種類のメディアに属する情報を符号化
   する複数の符号化手段と、 これら複数の符号化手段から出力される符号化信号を多
   重化する多重化手段と、 前記複数種類のメディアに属する情報の状態を解析する
   複数の解析手段と、 これらの解析手段による解析結果に基づいて前記複数の
   符号化手段からそれぞれ出力される符号化信号の符号量
   の配分を決定する符号量配分手段とを具備することを特
   徴とする情報通信端末装置。
9. 【請求項９】前記複数の符号化手段は、前記複数のメデ
   ィアに属する情報として少なくとも音声情報と画像情報
   を符号化するものであり、 前記画像情報を符号化する符号化手段は、動き補償予測
   符号化を行うものであり、前記解析手段が前記音声情報
   の状態を解析して得られた有音／無声判定情報に基づい
   て、有音区間において顔の口付近の動きを探索する際に
   上下方向の動きを細かく探索することを特徴とする請求
   項８に記載の情報通信端末装置。
10. 【請求項１０】音声情報を符号化する音声符号化手段
    と、 画像情報を符号化する画像符号化手段と、 前記音声符号化手段および前記画像符号化手段から出力
    される符号化信号を多重化する多重化手段と、 前記音声情報の状態を有音と無音の判定を行うことによ
    り解析する音声状態解析手段と、 前記画像情報の状態を画像情報の情報量を検出すること
    によって解析する画像状態解析手段と、 前記音声状態解析手段および前記画像状態解析手段の解
    析結果に基づいて前記音声符号化手段および画像符号化
    手段のそれぞれの符号化レートの配分を決定するレート
    配分手段と、 このレート配分手段により決定された符号化レートを示
    す情報を前記多重化手段の出力に付加する手段とを具備
    することを特徴とする情報通信端末装置。
11. 【請求項１１】複数種類のメディアに属する情報を符号
    化する複数の符号化手段と、 これら複数の符号化手段から出力される符号を多重化す
    る多重化手段と、 この多重化手段により多重化された符号を所定の伝送路
    を介して送信する送信手段と、 前記複数種類のメディアに属する情報の未来の情報発生
    スケジュールに基づいて、前記伝送路の伝送帯域幅に合
    わせて前記送信手段での各メディアに属する情報の符号
    の送信スケジュールと前記符号化手段における符号化パ
    ラメータを決定する手段とを具備することを特徴とする
    情報通信端末装置。
12. 【請求項１２】情報発生源から発生される情報を複数の
    伝送路に分配する分配手段と、 前記情報発生源から発生される情報の情報量をモニタす
    るモニタ手段と、 このモニタ手段のモニタ結果に基づいて前記分配手段と
    前記複数の伝送路との接続を制御する制御手段と、 この制御手段からの前記複数の接続を制御するための制
    御信号を伝送する手段と、 前記モニタ手段によるモニタ結果に基づいて、前記情報
    源から前記分配手段に接続されている伝送路の容量を上
    回る情報が発生した場合にその情報を一時記憶するため
    の一時記憶手段とを具備することを特徴とする情報通信
    端末装置。