JP3510491B2 - 音声多重通信装置及び音声多重通信システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、伝送遅延が少ない
ことが重要な音声等のリアルタイム系のデータと画像や
計算機データ等とを多重して伝送する音声多重通信装置
及び音声多重通信システムに関する。

【０００２】

【従来の技術】例えばテレビ電話システムを実現するた
めには、音声のデータと画像のデータとを実質上同時に
伝送する必要がある。従って、この種の音声多重通信を
行う場合、通常は１つの通信回線上に音声のデータと画
像のデータとを時分割などにより多重化して伝送するこ
とになる。

【０００３】実際には、送信側においては、音声エンコ
ーダから出力される符号化データと所定の画像処理回路
で符号化した画像データとに基づいて伝送用の情報フレ
ームを組み立て、この情報フレームを送信回路に転送す
る。また、通常は伝送する情報フレームに音声の領域と
画像の領域とを識別するためのフラグが付加される。ま
た、受信側においては、順次に受信される音声と画像と
が多重化された情報フレームの全体を入力した後、情報
フレームに含まれるフラグを参照して、音声データと画
像データとを分離する。そして、抽出された音声データ
については音声デコーダで復号化して再生し、画像デー
タについても画像処理回路で復号化して再生する。

【０００４】このため、受信側では、受信した信号から
音声を再生するまでに、少なくとも伝送される情報フレ
ームの全体を受信するための受信遅延時間と、情報フレ
ームから音声を抽出するための抽出遅延時間と、音声を
復号化するための復号化遅延時間とが必要になり、更に
実際には各回路間でのデータ転送に伴うバッファリング
遅延時間も生じる。送信側においても、同様の遅延が発
生する。従って、受信した音声は遅延して再生される。

【０００５】例えば、CS−ACELP(符号化レート８ｋbit/
s）で符号化された８０ビット長（10ｍsec周期）の符号
化された音声データを６４０ビット長の情報フレーム上
に多重化し、ＰＨＳ（Personal Handy Phone System）
のような３２ｋbit/sの通信回線を用いて伝送する場合
には、多重化フレーム（６４０ビット）生成時に、最大
で２０ｍsecのバッファリング遅延が送信側と受信側と
の両方で生じる。

【０００６】

【発明が解決しようとする課題】しかしながら、音声は
リアルタイム性の高い情報であるため、上記のような遅
延は著しく通信品質を低下させる。音声だけを伝送する
電話などの場合には遅延は比較的少ないが、音声と画像
とを多重化して伝送する場合には上記のように処理が複
雑になるため、遅延時間が増大し通信品質が低下する。

【０００７】本発明は、上記のような音声多重通信装置
及び音声多重通信システムにおいて、多重化に伴う音声
再生までの遅延時間の増大を抑制して通信品質を改善す
ることを目的とする。

【０００８】

【課題を解決するための手段】本発明では、フラグ同期
ではなく、例えば特開平９−２１９６８４号公報に示さ
れるようなタイミング同期を採用するとともに、メモリ
上でのフレームの組み立てや分解の処理を無くし、音声
コーデックと通信インタフェースとの間で直接音声符号
化データをやり取りすることによりバッファリング遅延
を低減する。

【０００９】具体的には、信号を処理する処理装置側に
は一定の周期で送信および受信のタイミングを通知する
割込を発生するとともに、一定長のデータを読み書きす
る。通信回線側に網クロックに同期してデータを送受信
する通信インタフェース部に対しては、送信側では受信
側と同期を取ったタイミングで通信インタフェース部か
らの割込を契機としてメモリ上の計算機データあるいは
音声符号化データを通信インタフェース部へ書き込む。
また、受信側では通信インタフェース部からの割込を契
機としてデータを読み出すとともに送信側と同期を取っ
たタイミングでメモリ及び音声デコーダにデータを振り
分けて書き込む制御を行い、処理装置のローカルバスに
接続される各回路の間で固定長のデータを転送すること
により、遅延の少ないメディア多重伝送機能を実現す
る。

【００１０】伝送する多重信号に音声が現れるタイミン
グと画像などが現れるタイミングとを把握し、それに同
期して信号処理を行うことによって、フレームの組立や
分解の必要がなくなり、各回路間でデータを直接転送す
ることによりバッファリング遅延を最小化できる。

【００１１】

【００１２】

【００１３】

【００１４】

【００１５】

【００１６】

【００１７】

【００１８】

【００１９】請求項１は、定期的に現れる網クロック信
号が利用可能な通信回線を介して、音声などの第１のデ
ータと画像などの第２のデータとを予め決定した並びの
複数の情報フレームを用いて多重伝送する音声多重通信
装置において、音声の信号を符号化する音声コーデック
部と、画像などのデータを出力する計算機データ出力部
と、固定長のデータの書き込み及び読み出しが可能なデ
ータレジスタと、前記データレジスタに書き込まれた固
定長のデータを前記網クロック信号に同期して回線側に
送信する通信インタフェース部と、前記通信インタフェ
ース部の送信のタイミングを通知するために割込信号を
一定の周期で生成する割込信号生成手段と、前記複数の
情報フレームのタイミングに同期して前記第１のデータ
のタイミングと第２のデータのタイミングとを識別する
と共に、前記割込信号に応答して、前記音声コーデック
部に出力される第１のデータ又は前記計算機データ出力
部に出力される第２のデータを前記データレジスタに書
き込む制御手段とを設けたことを特徴とする。

【００２０】請求項１においては、音声コーデック部が
音声の信号を符号化する。計算機データ出力部は画像な
どのデータを出力する。データレジスタは、固定長のデ
ータの書き込み及び読み出しが可能に構成される。ま
た、通信インタフェース部は、前記データレジスタに書
き込まれた固定長のデータを前記網クロック信号に同期
して回線側に送信する。

【００２１】割込信号生成手段は、前記通信インタフェ
ース部の送信のタイミングを通知するために割込信号を
一定の周期で生成する。制御手段は、前記複数の情報フ
レームのタイミングに同期して前記第１のデータのタイ
ミングと第２のデータのタイミングとを識別すると共
に、前記割込信号に応答して、前記音声コーデック部に
出力される第１のデータ又は前記計算機データ出力部に
出力される第２のデータを前記データレジスタに書き込
む。

【００２２】請求項１によれば、音声などの第１のデー
タと画像などの第２のデータとを予め決定した並びの複
数の情報フレームを用いて多重伝送することを想定して
いるので、第１のデータと第２のデータとを固定長のデ
ータとして扱う場合には、第１のデータのタイミングと
第２のデータのタイミングとを区別し、前記割込信号に
応答して一定の周期で同じ転送動作を繰り返すだけで、
送信対象の多重化信号を生成することができる。

【００２３】従って、情報フレームの組み立てのために
特別な処理を行う必要がなく、情報フレームの組み立て
のためにバッファを用いる必要もないので、送信側のバ
ッファリング遅延が低減される。請求項２は、定期的に
現れる網クロック信号が利用可能な通信回線を介して、
音声などの第１のデータと画像などの第２のデータとを
予め決定した並びの複数の情報フレームを用いて多重伝
送する音声多重通信装置において、音声の信号を復号化
する音声コーデック部と、画像などのデータを処理する
計算機データ処理部と、固定長のデータの書き込み及び
読み出しが可能なデータレジスタと、回線側から入力さ
れる固定長のデータを、前記網クロック信号に同期して
受信し前記データレジスタに書き込む通信インタフェー
ス部と、前記通信インタフェース部の受信のタイミング
を通知するために割込信号を一定の周期で生成する割込
信号生成手段と、前記複数の情報フレームのタイミング
に同期して前記第１のデータのタイミングと第２のデー
タのタイミングとを識別すると共に、前記割込信号に応
答して、前記データレジスタから読み出した第１のデー
タ又は第２のデータを前記音声コーデック部又は前記計
算機データ処理部に与える制御手段とを設けたことを特
徴とする。

【００２４】請求項２では、音声コーデック部が音声の
信号を復号化する。計算機データ処理部は入力される画
像などのデータを処理する。データレジスタは、固定長
のデータの書き込み及び読み出しが可能に構成される。
通信インタフェース部は、回線側から入力される固定長
のデータを前記網クロック信号に同期して受信し前記デ
ータレジスタに書き込む。

【００２５】また、割込信号生成手段は、前記通信イン
タフェース部の受信のタイミングを通知するために割込
信号を一定の周期で生成する。制御手段は、前記複数の
情報フレームのタイミングに同期して前記第１のデータ
のタイミングと第２のデータのタイミングとを識別する
と共に、前記割込信号に応答して、前記データレジスタ
から読み出した第１のデータ又は第２のデータを前記音
声コーデック部又は前記計算機データ処理部に与える。

【００２６】請求項２によれば、音声などの第１のデー
タと画像などの第２のデータとを予め決定した並びの複
数の情報フレームを用いて多重伝送することを想定して
いるので、第１のデータと第２のデータとを固定長のデ
ータとして扱う場合には、第１のデータのタイミングと
第２のデータのタイミングとを区別し、前記割込信号に
応答して一定の周期で同じ転送動作を繰り返すだけで、
受信した多重化信号から第１のデータと第２のデータと
を分離できる。

【００２７】従って、情報フレームの分解のために特別
な処理を行う必要がなく、情報フレームの分解のために
バッファを用いる必要もないので、受信側のバッファリ
ング遅延が低減される。請求項３は、定期的に現れる網
クロック信号が利用可能な通信回線を介して、音声など
の第１のデータと画像などの第２のデータとを予め決定
した並びの複数の情報フレームを用いて多重伝送する音
声多重通信装置において、音声の信号を符号化及び復号
化する音声コーデック部と、画像などのデータを処理す
る計算機データ処理部と、固定長のデータの書き込み及
び読み出しが可能なデータレジスタと、前記データレジ
スタに書き込まれた固定長のデータを前記網クロック信
号に同期して回線側に送信するとともに、回線側から入
力されるデータを前記網クロック信号に同期して受信し
前記データレジスタに書き込む通信インタフェース部
と、前記通信インタフェース部の送信及び受信のタイミ
ングを通知するために割込信号を一定の周期で生成する
割込信号生成手段と、前記複数の情報フレームのタイミ
ングに同期して前記第１のデータのタイミングと第２の
データのタイミングとを識別すると共に、送信用の前記
割込信号に応答して、前記音声コーデック部に出力され
る第１のデータ又は前記計算機データ処理部に出力され
る第２のデータを前記データレジスタに書き込み、受信
用の前記割込信号に応答して、前記データレジスタから
読み出した固定長のデータを前記音声コーデック部又は
前記計算機データ処理部に与える制御手段とを設けたこ
とを特徴とする。

【００２８】請求項３では、音声コーデック部が音声の
信号を符号化及び復号化する。計算機データ処理部は、
入力される画像などのデータを処理する。データレジス
タは、固定長のデータの書き込み及び読み出しが可能に
構成される。通信インタフェース部は、前記データレジ
スタに書き込まれた固定長のデータを前記網クロック信
号に同期して回線側に送信するとともに、回線側から入
力されるデータを前記網クロック信号に同期して受信し
前記データレジスタに書き込む。

【００２９】また、割込信号生成手段は、前記通信イン
タフェース部の送信及び受信のタイミングを通知するた
めに割込信号を一定の周期で生成する。制御手段は、前
記複数の情報フレームのタイミングに同期して前記第１
のデータのタイミングと第２のデータのタイミングとを
識別すると共に、送信用の前記割込信号に応答して、前
記音声コーデック部に出力される第１のデータ又は前記
計算機データ処理部に出力される第２のデータを前記デ
ータレジスタに書き込み、受信用の前記割込信号に応答
して、前記データレジスタから読み出した固定長のデー
タを前記音声コーデック部又は前記計算機データ処理部
に与える。

【００３０】請求項３によれば、音声などの第１のデー
タと画像などの第２のデータとを予め決定した並びの複
数の情報フレームを用いて多重伝送することを想定して
いるので、第１のデータと第２のデータとを固定長のデ
ータとして扱う場合には、第１のデータのタイミングと
第２のデータのタイミングとを区別し、前記割込信号に
応答して一定の周期で同じ転送動作を繰り返すだけで、
送信対象の多重化信号を生成するとともに、受信した多
重化信号から第１のデータ及び第２のデータを分離する
ことができる。

【００３１】従って、情報フレームの組み立て及び分解
のために特別な処理を行う必要がなく、情報フレームの
組み立て及び分解のためにバッファを用いる必要もない
ので、送信側及び受信側のバッファリング遅延が低減さ
れる。請求項４は、請求項１又は請求項３の音声多重通
信装置において、前記音声コーデック部が、固定長単位
毎に符号化の終了を示す音声割込信号を前記制御手段に
与えるとともに、前記制御手段が前記第１のデータを前
記データレジスタに書き込むタイミングの直前のタイミ
ングで前記音声割込信号を通知するように信号のタイミ
ングを定めることを特徴とする。

【００３２】固定長の音声データを符号化するには所定
の処理時間を必要とする。符号化が終了してからそのデ
ータを送信のために転送するまでの待ち時間が長いと、
送信側における音声の遅延時間が増大する。請求項４に
おいては、前記制御手段が前記第１のデータを前記デー
タレジスタに書き込むタイミングの直前のタイミングで
前記音声割込信号を通知するように信号のタイミングを
定めるので、音声の符号化が終了した直後にそのデータ
を送信のために転送することになり、音声の遅延時間が
短縮される。

【００３３】請求項５は、定期的に現れる網クロック信
号が利用可能な通信回線を介して、音声などの第１のデ
ータと画像などの第２のデータとを予め決定した並びの
複数の情報フレームを用いて多重伝送する送信端末と受
信端末とを備える音声多重通信システムにおいて、音声
の信号を符号化する音声符号化部と、画像などのデータ
を出力する計算機データ出力部と、固定長のデータの書
き込み及び読み出しが可能な送信用データレジスタと、
前記送信用データレジスタに書き込まれた固定長のデー
タを前記網クロック信号に同期して回線側に送信する送
信用通信インタフェース部と、前記送信用通信インタフ
ェース部の送信のタイミングを通知するために割込信号
を一定の周期で生成する送信用割込信号生成手段と、前
記複数の情報フレームのタイミングに同期して前記第１
のデータのタイミングと第２のデータのタイミングとを
識別すると共に、前記割込信号に応答して、前記音声符
号化部に出力される第１のデータ又は前記計算機データ
出力部に出力される第２のデータを前記送信用データレ
ジスタに書き込む送信用制御手段とを前記送信端末に設
け、音声の信号を復号化する音声復号化部と、画像など
のデータを処理する計算機データ処理部と、固定長のデ
ータの書き込み及び読み出しが可能な受信用データレジ
スタと、回線側から入力される固定長のデータを、前記
網クロック信号に同期して受信し前記受信用データレジ
スタに書き込む受信用通信インタフェース部と、前記受
信用通信インタフェース部の受信のタイミングを通知す
るために割込信号を一定の周期で生成する受信用割込信
号生成手段と、前記複数の情報フレームのタイミングに
同期して前記第１のデータのタイミングと第２のデータ
のタイミングとを識別すると共に、前記割込信号に応答
して、前記受信用データレジスタから読み出した第１の
データ又は第２のデータを前記音声復号化部又は前記計
算機データ処理部に与える受信用制御手段とを前記受信
端末に設けたことを特徴とする。

【００３４】請求項５の送信端末においては、音声符号
化部が、音声の信号を符号化する。計算機データ出力部
は、画像などのデータを出力する。送信用データレジス
タは、固定長のデータの書き込み及び読み出しが可能に
構成される。送信用通信インタフェース部は、前記送信
用データレジスタに書き込まれた固定長のデータを前記
網クロック信号に同期して回線側に送信する。

【００３５】また、送信用割込信号生成手段は、前記送
信用通信インタフェース部の送信のタイミングを通知す
るために割込信号を一定の周期で生成する。送信用制御
手段は、前記複数の情報フレームのタイミングに同期し
て前記第１のデータのタイミングと第２のデータのタイ
ミングとを識別すると共に、前記割込信号に応答して、
前記音声符号化部に出力される第１のデータ又は前記計
算機データ出力部に出力される第２のデータを前記送信
用データレジスタに書き込む。

【００３６】また、請求項５の受信端末においては、音
声復号化部が、音声の信号を復号化する。計算機データ
処理部は、画像などの入力されたデータを処理する。受
信用データレジスタは、固定長のデータの書き込み及び
読み出しが可能に構成される。受信用通信インタフェー
ス部は、回線側から入力される固定長のデータを、前記
網クロック信号に同期して受信し前記受信用データレジ
スタに書き込む。

【００３７】また、受信用割込信号生成手段は、前記受
信用通信インタフェース部の受信のタイミングを通知す
るために割込信号を一定の周期で生成する。受信用制御
手段は、前記複数の情報フレームのタイミングに同期し
て前記第１のデータのタイミングと第２のデータのタイ
ミングとを識別すると共に、前記割込信号に応答して、
前記受信用データレジスタから読み出した第１のデータ
又は第２のデータを前記音声復号化部又は前記計算機デ
ータ処理部に与える。

【００３８】請求項５によれば、音声などの第１のデー
タと画像などの第２のデータとを予め決定した並びの複
数の情報フレームを用いて多重伝送することを想定して
いるので、第１のデータと第２のデータとを固定長のデ
ータとして扱う場合には、第１のデータのタイミングと
第２のデータのタイミングとを区別し、前記割込信号に
応答して一定の周期で同じ転送動作を繰り返すだけで、
送信対象の多重化信号を生成するとともに、受信した多
重化信号から第１のデータ及び第２のデータを分離する
ことができる。

【００３９】従って、情報フレームの組み立て及び分解
のために特別な処理を行う必要がなく、情報フレームの
組み立て及び分解のためにバッファを用いる必要もない
ので、送信端末及び受信端末のバッファリング遅延が低
減される。

【００４０】

【発明の実施の形態】本発明の音声多重通信装置及び音
声多重通信システムの１つの実施の形態を図１〜図６に
示す。この形態は、全ての請求項に対応する。

【００４１】図１は通信インタフェースユニット１３０
の構成を示すブロック図である。図２はＣＰＵ１３４の
割込処理を示すフローチャートである。図３は伝送する
信号のタイミングの例を示すタイムチャートである。図
４は音声コーデックからの割込のタイミングを示すタイ
ムチャートである。図５は通信システムの構成例を示す
ブロック図である。図６は移動端末装置上のプロトコル
構成を示すプロトコルスタック図である。

【００４２】

【００４３】

【００４４】

【００４５】

【００４６】この形態では、請求項１の音声多重通信装
置，音声コーデック部，計算機データ出力部，データレ
ジスタ，通信インタフェース部，割込信号生成手段及び
制御手段は、それぞれ移動端末装置１００，音声コーデ
ック１３２，送信バッファ６２，データレジスタ５５，
32kbps回線インタフェース１３５，割込ハンドラ５３及
びＣＰＵ１３４に対応する。

【００４７】請求項２の音声多重通信装置，音声コーデ
ック部，計算機データ処理部，データレジスタ，通信イ
ンタフェース部，割込信号生成手段及び制御手段は、そ
れぞれ移動端末装置１００，音声コーデック１３２，受
信バッファ６３，データレジスタ５５，32kbps回線イン
タフェース１３５，割込ハンドラ５３及びＣＰＵ１３４
に対応する。

【００４８】請求項３の音声多重通信装置，音声コーデ
ック部，計算機データ処理部，データレジスタ，通信イ
ンタフェース部，割込信号生成手段及び制御手段は、そ
れぞれ移動端末装置１００，音声コーデック１３２，メ
モリ１３３，データレジスタ５５，32kbps回線インタフ
ェース１３５，割込ハンドラ５３及びＣＰＵ１３４に対
応する。

【００４９】請求項５の送信端末及び受信端末は移動端
末装置１００，センタ端末装置２００に対応し、請求項
５の音声符号化部，計算機データ出力部，送信用データ
レジスタ，送信用通信インタフェース部，送信用割込信
号生成手段，送信用制御手段，音声復号化部，計算機デ
ータ処理部，受信用データレジスタ，受信用通信インタ
フェース部，受信用割込信号生成手段及び受信用制御手
段は、それぞれ音声コーデック１３２，送信バッファ６
２，データレジスタ５５，32kbps回線インタフェース１
３５，割込ハンドラ５３，ＣＰＵ１３４，音声コーデッ
ク１３２，受信バッファ６３，データレジスタ５５，32
kbps回線インタフェース１３５，割込ハンドラ５３及び
ＣＰＵ１３４に対応する。

【００５０】この形態では、図５に示すように、移動端
末装置１００とセンタ端末装置２００を用いて通信シス
テムを構成している。勿論、同一構成の移動端末装置１
００を複数用いて、複数の移動端末装置１００同士の間
で通信を行うことも可能である。図５に示す移動端末装
置１００は、携帯型パーソナルコンピュータ１１０，キ
ャプチャ機能付きカメラ１２０，通信インタフェースユ
ニット１３０，ＰＨＳ端末１４０，ＰＣカードインタフ
ェース１５０及び１６０で構成されている。

【００５１】携帯型パーソナルコンピュータ１１０は、
市販されている標準的な構成の小型のコンピュータであ
る。キャプチャ機能付きカメラ１２０は、ＣＣＤなどの
２次元撮像素子を用いたカメラであり、所定のタイミン
グで繰り返し撮像を行い、取り込んだ画像データを順次
出力する。キャプチャ機能付きカメラ１２０は、市販の
ＰＣカードインタフェース１５０を用いて携帯型パーソ
ナルコンピュータ１１０と接続されている。

【００５２】一方、通信インタフェースユニット１３０
には、通話回路１３１，音声コーデック１３２，メモリ
１３３，ＣＰＵ１３４及び32kbps回線インタフェース１
３５が備わっている。通信インタフェースユニット１３
０の内部バスは、市販のＰＣカードインタフェース１６
０を介して携帯型パーソナルコンピュータ１１０と接続
されている。また、32kbps回線インタフェース１３５に
ＰＨＳ端末１４０が接続されている。

【００５３】従って、移動端末装置１００は、ＰＨＳ端
末１４０を介して無線信号の送受信を行うことができ
る。この例ではＰＨＳ端末１４０を用いているので、デ
ータ伝送速度は32kbpsである。ＰＨＳ端末１４０と無線
通信を行うＰＨＳ基地局３１０は、ＩＳＤＮ網３２０と
有線で接続されている。そして、このＩＳＤＮ網３２０
にセンタ端末装置２００が接続されている。

【００５４】センタ端末装置２００のコンピュータ２１
０には、通信インタフェースユニット２２０がＰＣＩバ
スインタフェース２３０を介して接続されている。通信
インタフェースユニット２２０には、ＣＰＵ２２１，メ
モリ２２２，音声コーデック２２３，通信回路２２４，
32kbps回線インタフェース２２５，速度変換回路２２６
及びＩＳＤＮ用インタフェース２２７が備わっている。

【００５５】ＣＰＵ２２１，メモリ２２２，音声コーデ
ック２２３，通信回路２２４，32kbps回線インタフェー
ス２２５及びＰＣＩバスインタフェース２３０は、通信
インタフェースユニット２２０の内部バスを介して互い
に接続されている。32kbps回線インタフェース２２５
は、速度変換回路２２６を介してＩＳＤＮ用インタフェ
ース２２７と接続されている。

【００５６】速度変換回路２２６は、32kbps回線インタ
フェース２２５とＩＳＤＮ用インタフェース２２７との
データ伝送速度を整合させるためにデータ伝送速度の変
換を実施する。ＩＳＤＮ用インタフェース２２７はＩＳ
ＤＮ網３２０と接続されている。移動端末装置１００に
おいては、キャプチャ機能付きカメラ１２０の撮影によ
り得られたディジタル画像と通話回路１３１から入力さ
れる音声とをＰＨＳ端末１４０を介して無線信号の形で
送信できる。実際には、ディジタル画像及び音声はいず
れも符号化され、ディジタル画像と音声とを多重化した
信号として送信される。

【００５７】また、ディジタル画像と音声とを多重化し
た信号をＰＨＳ端末１４０が受信した場合には、ディジ
タル画像と音声とを分離してそれぞれ復号化し、通話回
路１３１から音声を出力し、携帯型パーソナルコンピュ
ータ１１０に内蔵された表示器に画像を表示する。セン
タ端末装置２００は、移動端末装置１００とほぼ同じ機
能を備えている。但し実際には、センタ端末装置２００
は同時に４つの移動端末装置１００と通信できるように
構成してある。

【００５８】移動端末装置１００における制御系のプロ
トコルは、図６のように構成されている。図６に示すよ
うに、携帯型パーソナルコンピュータ１１０上の制御系
は伝送フレーム生成５１０，画像符号化／復号化５２
０，通信制御５３０，画像キャプチャリング５４０及び
画像表示５５０の各々を実現するプロトコルで構成され
ている。これらのプロトコルは、携帯型パーソナルコン
ピュータ１１０のソフトウェアの実行により実現され
る。

【００５９】一方、通信インタフェースユニット１３０
における制御系のプロトコルは、32kbpsディジタルベア
ラ４１０，メディア多重４２０，音声符号化／復号化４
３０及び伝送フレームのＡＲＱ（Automatic Request fo
r Repetition）制御４４０の各々を実現するプロトコル
で構成されている。

【００６０】通信インタフェースユニット１３０上のプ
ロトコルは、専用のハードウェアによる処理及び内蔵さ
れたＣＰＵ１３４が実行するソフトウェアによって実現
される。例えば、音声符号化／復号化４３０のプロトコ
ルは、音声コーデック１３２のハードウェアにより実現
される。ＰＨＳ通信においては、時分割多重により時系
列で形成されるタイムスロットのそれぞれの空き領域を
利用してデータを伝送することができる。また、ＰＨＳ
通信においては、１つの情報フレーム（Ｔ−ＣＨフレー
ム）と３つの通信チャネルとが多重されているが、移動
端末装置１００及びセンタ端末装置２００は情報伝送用
に割り当てられたＴ−ＣＨフレームだけを使用する。

【００６１】すなわち、この例ではＰＨＳ32kbpsディジ
タルベアラ端末が５ｍsec 単位で送受信する１６０ビッ
ト長のＴ−ＣＨフレーム単位で、音声などのリアルタイ
ム情報と計算機データや画像データなどの非リアルタイ
ム情報とを時分割多重して伝送する。実際に移動端末装
置１００とセンタ端末装置２００との間で伝送される信
号は、例えば、図３のように構成される。すなわち、送
信データには一定の時間周期ｔで繰り返し現れる各フレ
ームのタイミングに、画像送信フレームと音声送信フレ
ームとが情報フレームとして割り当てられている。

【００６２】また、受信データには一定の時間周期ｔで
繰り返し現れる各フレームのタイミングに、音声受信フ
レームと画像受信フレームとが情報フレームとして割り
当てられている。この例では、画像送信フレーム，音声
送信フレーム，音声受信フレーム及び画像受信フレーム
のフレーム長は全て同一である。図３の送信データにお
いては、１つの音声送信フレームと３つの画像送信フレ
ームとで１つの出現パターンが構成され、同じ順序の出
現パターンで、４フレーム毎に１つの音声送信フレーム
と３つの画像送信フレームとが繰り返し現れる。同様
に、図３の受信データにおいては、１つの音声受信フレ
ームと３つの画像受信フレームとで１つの出現パターン
が構成され、同じ順序の出現パターンで、４フレーム毎
に１つの音声受信フレームと３つの画像受信フレームと
が繰り返し現れる。

【００６３】つまり、図３の例では、画像伝送用のフレ
ームに、音声伝送用フレームの３倍の伝送帯域を割り当
ててある。この出現パターンは、互いに通信を行う送信
側の端末と受信側の端末との間で同期のための通信によ
り予め決定される。同じ出現パターンが繰り返すので、
受信側では、出現パターンに対して同期を確立した後
は、各々のフレームの内容を参照しなくても、タイミン
グだけで音声受信フレームと画像受信フレームとを識別
できる。

【００６４】この例では、音声などのリアルタイム情報
を含む音声送信フレーム及び音声受信フレームについて
は、再送制御の対象外とする。また、これらのフレーム
にはＣＲＣコードは付けず、フレーム誤りのチェックも
省略する。一方、計算機データや画像データなどの非リ
アルタイム情報を含む画像送信フレーム及び画像受信フ
レームについては、再送制御を実施する。これらのフレ
ームには伝送誤りを検出するためにＣＲＣコードが付加
される。伝送誤りが検出されるとその情報フレームの再
送が実施される。

【００６５】通信インタフェースユニット１３０は、詳
細には図１のように構成されている。なお、センタ端末
装置２００の通信インタフェースユニット２２０につい
ても構成は図１とほぼ同一である。図１を参照すると、
32kbps回線インタフェース１３５は、回線インターフェ
ース部５０に含まれている。回線インターフェース部５
０には、32kbps回線インタフェース１３５の他に、５
１，データバッファ５２，割込ハンドラ５３，制御レジ
スタ５４及びデータレジスタ５５が備わっている。

【００６６】回線インターフェース部５０は内部バス６
０と接続されている。音声コーデック１３２は音声イン
ターフェース６１を介して内部バス６０と接続され、メ
モリ１３３及びＣＰＵ１３４は直接、内部バス６０と接
続されている。メモリ１３３上には、送信バッファ６２
及び受信バッファ６３が備わっている。32kbps回線イン
タフェース１３５は、ビットシリアルで伝送される送信
データ及び受信データをＰＨＳ端末１４０との間で転送
する。フレーム同期部５１は、送信側の端末と受信側の
端末との間でビットシリアルで伝送されるデータについ
てフレーム毎に同期を確立する。

【００６７】データバッファ５２は、回線からのデータ
受信時にはビットシリアルで受信されたデータを32kbps
回線インタフェース１３５から受け取ってデータレジス
タ５５のデータ長（固定長）分バッファリングする。ま
た、データ送信時にはデータレジスタ５５からから渡さ
れるデータをビットシリアルで32kbps回線インタフェー
ス１３５に渡す。

【００６８】データレジスタ５５は、固定長のデータの
書き込み及び読み出しが可能なレジスタであり、回線イ
ンターフェース部５０とＣＰＵ１３４との間でデータの
やりとりを行う際に利用される。割込ハンドラ５３は、
回線インターフェース部５０におけるフレーム単位のデ
ータの送信及び受信の度に、それらのタイミングを検出
して割込信号をＣＰＵ１３４に与える。実際には、図３
に示すように送信データの各フレームが終了する毎に送
信割込が発生し、受信データの各フレームが修理要する
毎に受信割込が発生する。送信割込及び受信割込を示す
信号がＣＰＵ１３４に印加される。

【００６９】制御レジスタ５４は、回線インターフェー
ス部５０とＣＰＵ１３４との間で制御情報をやりとりす
る際に利用される。内部バス６０と音声コーデック１３
２との間に配置された音声インターフェース６１は、Ｆ
ＩＦＯ（ファーストイン・ファーストアウト）メモリ及
び制御レジスタを内蔵している。送信バッファ６２及び
受信バッファ６３は、メモリ１３３上にデータ保持用の
領域を持っている。

【００７０】送信対象の画像などのデータは送信バッフ
ァ６２上に配置されから送信され、受信した信号に含ま
れる画像などのデータは受信バッファ６３上に現れる。
図１に示す回路の動作について以下に説明する。通信を
開始するときには、32kbps回線インタフェース１３５を
介して受信したビットシリアルのデータに含まれる同期
用フラグ（相手装置のフレーム同期部５１によって書き
込まれる）を自装置のフレーム同期部５１で引き込ん
で、送信側と受信側との間で固定長のフレーム同期を確
立する。

【００７１】その後、この確立したフレーム同期タイミ
ングに同期して、32kbps回線インタフェース１３５から
受け取ったビットシリアルのデータをデータバッファ５
２にバッファリングする。そして、フレーム長分の固定
長データがデータバッファ５２にたまると、制御レジス
タ５４に受信ビットを立てるとともに、割込ハンドラ５
３が発生する受信割込の信号により、ＣＰＵ１３４にフ
レーム単位でのデータの受信を通知する。

【００７２】また、データ送信時には、固定長の（伝送
フレームサイズ／回線速度）で決まるタイミングで制御
レジスタ５４に送信ビットを立てるとともに、割込ハン
ドラ５３が発生する送信割込の信号により、ＣＰＵ１３
４にフレーム単位でのデータの送信が可能なことを通知
する。割込ハンドラ５３が受信割込の信号及び送信割込
の信号をＣＰＵ１３４に与えるのは、互いに通信を行う
端末（１００，２００）の間で固定長フレームの同期が
確立した後である。

【００７３】また、音声などのリアルタイムデータと画
像データや計算機データなどの非リアルタイムデータと
を多重化して伝送するのは、図３に示すような音声送信
フレームと画像送信フレームとの出現順序及びタイミン
グ、並びに音声受信フレームと画像受信フレームとの出
現順序及びタイミングを互いに通信する端末の間で同期
させ、かつこの同期状態を維持している間である。

【００７４】ＣＰＵ１３４は、多重化された各フレーム
に同期したタイミングと、割込ハンドラ５３から与えら
れる送信割込及び受信割込の信号に従って、情報の送信
及び受信のための制御を実施する。また、音声コーデッ
ク１３２において音声の固定長の符号化が終了する度
に、データが揃ったことを通知する割込の信号が音声イ
ンターフェース６１からＣＰＵ１３４に印加される。

【００７５】割込ハンドラ５３からの受信割込，送信割
込及び音声インターフェース６１からの割込の各々の信
号に応答してＣＰＵ１３４が実行する処理の内容を図２
に示す。図２のステップＳ１１，Ｓ１５，Ｓ１８では、
それぞれ割込の原因を調べる。送信割込の信号によって
図２の処理を実行した場合には、ステップＳ１１からＳ
１２に進み、受信割込の信号によって図２の処理を実行
した場合には、ステップＳ１５からＳ１６に進み、音声
符号化の終了を示す割込の信号によって図２の処理を実
行した場合には、ステップＳ１８からＳ１９に進む。

【００７６】ステップＳ１２では、そのときのタイミン
グが音声と画像のいずれを送信するタイミングかを識別
する。すなわち、図３に示すように予め出現順序が決め
られた音声送信フレームと画像送信フレームとのいずれ
のタイミングに適合するかをフレームの順序関係とタイ
ミングに基づいて識別する。例えば、図３に示す時間
（Ｔ１＋ｔ）に相当するタイミングでは、次のフレーム
に音声送信フレームが割り当てられているので、図２の
ステップＳ１２からＳ１４に進む。また、図３に示す時
間（Ｔ１＋２ｔ）に相当するタイミングでは、次のフレ
ームに画像送信フレームが割り当てられているので、図
２のステップＳ１２からＳ１３に進む。

【００７７】ステップＳ１３では、送信バッファ６２に
予めセットされた固定長の画像データ（あるいは計算機
データ）を、ＣＰＵ１３４がデータレジスタ５５に転送
する。また、ステップＳ１４では、音声コーデック１３
２によって予め符号化された固定長の音声データを、Ｃ
ＰＵ１３４が音声インターフェース６１を介して読み出
し、データレジスタ５５に転送する。ここでＣＰＵ１３
４が扱う固定長の画像データの長さと固定長の音声デー
タの長さとは同一である。

【００７８】ステップＳ１６では、そのときのタイミン
グが音声と画像のいずれを受信するタイミングかを識別
する。すなわち、図３に示すように予め出現順序が決め
られた音声受信フレームと画像受信フレームとのいずれ
のタイミングに適合するかをフレームの順序関係とタイ
ミングに基づいて識別する。例えば、図３に示す時間
（Ｔ２）に相当するタイミングでは、次のフレームに音
声受信フレームが割り当てられているので、図２のステ
ップＳ１６からＳ２０に進む。また、図３に示す時間
（Ｔ２＋ｔ）に相当するタイミングでは、次のフレーム
に画像受信フレームが割り当てられているので、図２の
ステップＳ１６からＳ１７に進む。

【００７９】ステップＳ１７では、データレジスタ５５
に保持されている固定長のデータを、画像データ（ある
いは計算機データ）とみなして、ＣＰＵ１３４が受信バ
ッファ６３に転送する。また、ステップＳ２０では、デ
ータレジスタ５５に保持されている固定長のデータを、
音声データとみなして、ＣＰＵ１３４が音声インターフ
ェース６１を介して音声コーデック１３２に転送する。
ここでＣＰＵ１３４が扱う固定長の画像データの長さと
固定長の音声データの長さとは同一である。

【００８０】なお、ステップＳ１４において音声データ
を音声インターフェース６１からデータレジスタ５５に
転送するのは、符号化された音声データが音声インター
フェース６１に揃っているときである。ＣＰＵ１３４
は、音声インターフェース６１からの割込の信号を受け
ると、ステップＳ１８からＳ１９に進み、符号化された
音声データが音声インターフェース６１に揃ったことを
認識する。この後で、送信割込の信号に応答してＣＰＵ
１３４がステップＳ１４を実行すると、符号化された音
声データを音声インターフェース６１からデータレジス
タ５５に転送する。

【００８１】このように、多重化される送信データの組
み立てのためにＣＰＵ１３４が行う処理は、単に音声と
画像とのタイミングを識別した結果に応じて、送信割込
に同期して音声インターフェース６１及び送信バッファ
６２のいずれかの固定長データをデータレジスタ５５に
転送することだけである。また、多重化された受信デー
タの分解のためにＣＰＵ１３４が行う処理は、単に単に
音声と画像とのタイミングを識別した結果に応じて、送
信割込に同期してデータレジスタ５５の固定長データを
音声インターフェース６１及び受信バッファ６３のいず
れかに振り分けて転送することだけである。

【００８２】例えば、図４に示すように音声と画像デー
タとを等しい速度比で多重化する場合には、次が音声を
送信するタイミングであれば、ＣＰＵ１３４は送信割込
を受けると音声インターフェース６１から固定長フレー
ムと等しいサイズの音声符号化データを回線インターフ
ェース部５０のデータレジスタ５５に転送し、次の送信
割込みに対しては、送信バッファ６２のデータ領域のデ
ータを固定長フレーム分、データレジスタ５５に書き込
む。

【００８３】音声インターフェース６１は内蔵されたＦ
ＩＦＯメモリを介して内部バス６０から受信された音声
データを受け取り、パラレル・シリアル変換して音声コ
ーデック１３２にデータを渡す。このように、受信側で
バッファリング処理が必要なのは、回線インターフェー
ス部５０のデータバッファ５２のみであり、データバッ
ファ５２からのデータ読みだしと、音声インターフェー
ス６１へのデータ転送の遅延時間は無視できるほど小さ
い。

【００８４】ところで、音声コーデック１３２における
符号化処理にはある程度の時間が必要である。従って、
音声を送信する場合には、音声コーデック１３２で符号
化が終了してから、符号化された音声データがデータレ
ジスタ５５に転送されるまでの待ち時間に対応する遅延
が生じる。

【００８５】この遅延を最小化するために、この例で
は、図４に示す時間Ｔ０において、音声コーデック１３
２の初期化を実行する。時間Ｔ０は、次のようにして決
定する。予め予想される最初の送信割込が発生するタイ
ミングの直前の時間Ｔｉ(1)を決定する。そして、時間
Ｔｉ(1)で最初の音声符号化が終了して音声インターフ
ェース６１から割込が発生するように、時間Ｔｉ(1)よ
りも時間ＴＡだけ前の時間Ｔ０を決定する。時間ＴＡ
は、音声コーデック１３２の１周期の符号化処理に必要
な所要時間ＴＣと音声コーデック１３２の初期化処理の
所要時間との和である。

【００８６】例えば、伝送帯域が３２ｋbit/sec、フレ
ーム長が１６０ビット、フレーム周期が５ｍsec、音声
符号化速度が１６ｋbit/secの場合、音声送信用のフレ
ームとして、１０ｍsec（＝ＴＣ）に１回の割合で、１
６０ビット（＝ＬＣ）の符号化データが周期的に音声コ
ーデック１３２から出力される。つまり、音声コーデッ
ク１３２の符号化終了のタイミングが一定の周期ＴＣで
現れるので、この周期ＴＣと多重化信号に音声送信フレ
ームが現れる繰り返し周期とを等しく定めたうえで、最
初の音声符号化が終了するタイミングＴｉ(1)が最初の
音声送信フレームの送信割込のタイミングの直前になる
ように、音声コーデック１３２を初期化するタイミング
Ｔ０を定めれば、一定の周期ＴＣ毎に現れる音声符号化
終了の割込のタイミングＴｉ(1)，Ｔｉ(2)，Ｔｉ(3)，
・・・は、常に音声送信フレームの送信割込の直前のタ
イミングと一致する。従って、音声コーデック１３２の
符号化が終了してからそのデータがデータレジスタ５５
に転送されるまでの遅延時間が最小限に抑制される。

【００８７】

【発明の効果】以上説明したように、本発明によれば、
多重化される信号の組み立て及び分解が単純な処理で行
われるので、それに伴うバッファリングの遅延がほとん
ど生じない。従って、伝送される音声の品質が大幅に改
善される。

【図面の簡単な説明】

【図１】通信インタフェースユニット１３０の構成を示
すブロック図である。

【図２】ＣＰＵ１３４の割込処理を示すフローチャート
である。

【図３】伝送する信号のタイミングの例を示すタイムチ
ャートである。

【図４】音声コーデックからの割込のタイミングを示す
タイムチャートである。

【図５】通信システムの構成例を示すブロック図であ
る。

【図６】移動端末装置上のプロトコル構成を示すプロト
コルスタック図である。

【符号の説明】

５０ 回線インターフェース部 ５１ フレーム同期部 ５２ データバッファ ５３ 割込ハンドラ ５４ 制御レジスタ ５５ データレジスタ ６０ 内部バス ６１ 音声インターフェース ６２ 送信バッファ ６３ 受信バッファ １００ 移動端末装置 １１０ 携帯型パーソナルコンピュータ １２０ キャプチャ機能付きカメラ １３０ 通信インタフェースユニット １３１ 通話回路 １３２ 音声コーデック １３３ メモリ １３４ ＣＰＵ １３５ 32kbps回線インタフェース １４０ ＰＨＳ端末 １５０，１６０ ＰＣカードインタフェース ２００ センタ端末装置 ２１０ コンピュータ ２２０ 通信インタフェースユニット ２２１ ＣＰＵ ２２２ メモリ ２２３ 音声コーデック ２２４ 通信回路 ２２５ 32kbps回線インタフェース ２２６ 速度変換回路 ２２７ ＩＳＤＮ用インタフェース ２３０ ＰＣＩバスインタフェース ３１０ ＰＨＳ基地局 ３２０ ＩＳＤＮ網 ４１０ 32kbpsディジタルベアラ ４２０ メディア多重 ４３０ 音声符号化／復号化 ４４０ 伝送フレームのＡＲＱ制御 ５１０ 伝送フレーム生成 ５２０ 画像符号化／復号化 ５３０ 通信制御 ５４０ 画像キャプチャリング ５５０ 画像表示

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−35661（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04J 3/00

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 定期的に現れる網クロック信号が利用可
   能な通信回線を介して、音声などの第１のデータと画像
   などの第２のデータとを予め決定した並びの複数の情報
   フレームを用いて多重伝送する音声多重通信装置におい
   て、 音声の信号を符号化する音声コーデック部と、 画像などのデータを出力する計算機データ出力部と、 固定長のデータの書き込み及び読み出しが可能なデータ
   レジスタと、 前記データレジスタに書き込まれた固定長のデータを前
   記網クロック信号に同期して回線側に送信する通信イン
   タフェース部と、 前記通信インタフェース部の送信のタイミングを通知す
   るために割込信号を一定の周期で生成する割込信号生成
   手段と、 前記複数の情報フレームのタイミングに同期して前記第
   １のデータのタイミングと第２のデータのタイミングと
   を識別すると共に、前記割込信号に応答して、前記音声
   コーデック部に出力される第１のデータ又は前記計算機
   データ出力部に出力される第２のデータを前記データレ
   ジスタに書き込む制御手段とを設けたことを特徴とする
   音声多重通信装置。
2. 【請求項２】 定期的に現れる網クロック信号が利用可
   能な通信回線を介して、音声などの第１のデータと画像
   などの第２のデータとを予め決定した並びの複数の情報
   フレームを用いて多重伝送する音声多重通信装置におい
   て、 音声の信号を復号化する音声コーデック部と、 画像などのデータを処理する計算機データ処理部と、 固定長のデータの書き込み及び読み出しが可能なデータ
   レジスタと、 回線側から入力される固定長のデータを、前記網クロッ
   ク信号に同期して受信し前記データレジスタに書き込む
   通信インタフェース部と、 前記通信インタフェース部の受信のタイミングを通知す
   るために割込信号を一定の周期で生成する割込信号生成
   手段と、 前記複数の情報フレームのタイミングに同期して前記第
   １のデータのタイミングと第２のデータのタイミングと
   を識別すると共に、前記割込信号に応答して、前記デー
   タレジスタから読み出した第１のデータ又は第２のデー
   タを前記音声コーデック部又は前記計算機データ処理部
   に与える制御手段とを設けたことを特徴とする音声多重
   通信装置。
3. 【請求項３】 定期的に現れる網クロック信号が利用可
   能な通信回線を介して、音声などの第１のデータと画像
   などの第２のデータとを予め決定した並びの複数の情報
   フレームを用いて多重伝送する音声多重通信装置におい
   て、 音声の信号を符号化及び復号化する音声コーデック部
   と、 画像などのデータを処理する計算機データ処理部と、 固定長のデータの書き込み及び読み出しが可能なデータ
   レジスタと、 前記データレジスタに書き込まれた固定長のデータを前
   記網クロック信号に同期して回線側に送信するととも
   に、回線側から入力されるデータを前記網クロック信号
   に同期して受信し前記データレジスタに書き込む通信イ
   ンタフェース部と、 前記通信インタフェース部の送信及び受信のタイミング
   を通知するために割込信号を一定の周期で生成する割込
   信号生成手段と、 前記複数の情報フレームのタイミングに同期して前記第
   １のデータのタイミングと第２のデータのタイミングと
   を識別すると共に、送信用の前記割込信号に応答して、
   前記音声コーデック部に出力される第１のデータ又は前
   記計算機データ処理部に出力される第２のデータを前記
   データレジスタに書き込み、受信用の前記割込信号に応
   答して、前記データレジスタから読み出した固定長のデ
   ータを前記音声コーデック部又は前記計算機データ処理
   部に与える制御手段とを設けたことを特徴とする音声多
   重通信装置。
4. 【請求項４】 請求項１又は請求項３の音声多重通信装
   置において、前記音声コーデ ック部が、固定長単位毎に
   符号化の終了を示す音声割込信号を前記制御手段に与え
   るとともに、前記制御手段が前記第１のデータを前記デ
   ータレジスタに書き込むタイミングの直前のタイミング
   で前記音声割込信号を通知するように信号のタイミング
   を定めることを特徴とする音声多重通信装置。
5. 【請求項５】 定期的に現れる網クロック信号が利用可
   能な通信回線を介して、音声などの第１のデータと画像
   などの第２のデータとを予め決定した並びの複数の情報
   フレームを用いて多重伝送する送信端末と受信端末とを
   備える音声多重通信システムにおいて、 音声の信号を符号化する音声符号化部と、 画像などのデータを出力する計算機データ出力部と、 固定長のデータの書き込み及び読み出しが可能な送信用
   データレジスタと、 前記送信用データレジスタに書き込まれた固定長のデー
   タを前記網クロック信号に同期して回線側に送信する送
   信用通信インタフェース部と、 前記送信用通信インタフェース部の送信のタイミングを
   通知するために割込信号を一定の周期で生成する送信用
   割込信号生成手段と、 前記複数の情報フレームのタイミングに同期して前記第
   １のデータのタイミングと第２のデータのタイミングと
   を識別すると共に、前記割込信号に応答して、前記音声
   符号化部に出力される第１のデータ又は前記計算機デー
   タ出力部に出力される第２のデータを前記送信用データ
   レジスタに書き込む送信用制御手段とを前記送信端末に
   設け、 音声の信号を復号化する音声復号化部と、 画像などのデータを処理する計算機データ処理部と、 固定長のデータの書き込み及び読み出しが可能な受信用
   データレジスタと、 回線側から入力される固定長のデータを、前記網クロッ
   ク信号に同期して受信し前記受信用データレジスタに書
   き込む受信用通信インタフェース部と、 前記受信用通信インタフェース部の受信のタイミングを
   通知するために割込信号を一定の周期で生成する受信用
   割込信号生成手段と、 前記複数の情報フレームのタイミングに同期して前記第
   １のデータのタイミングと第２のデータのタイミングと
   を識別すると共に、前記割込信号に応答して、前記受信
   用データレジスタから読み出した第１のデータ又は第２
   のデータを前記音声復号化部又は前記計算機データ処理
   部に与える受信用制御手段とを前記受信端末に設けたこ
   とを特徴とする音声多重通信システム。